WO2020194915A1 - Control data generation device, user device, and information processing system - Google Patents

Control data generation device, user device, and information processing system Download PDF

Info

Publication number
WO2020194915A1
WO2020194915A1 PCT/JP2019/049097 JP2019049097W WO2020194915A1 WO 2020194915 A1 WO2020194915 A1 WO 2020194915A1 JP 2019049097 W JP2019049097 W JP 2019049097W WO 2020194915 A1 WO2020194915 A1 WO 2020194915A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
unit
user
time zone
voice
Prior art date
Application number
PCT/JP2019/049097
Other languages
French (fr)
Japanese (ja)
Inventor
田中　彰
翔 七尾
充弘 小形
誠 村▲崎▼
昇悟 池田
広樹 石塚
Original Assignee
株式会社Ｎｔｔドコモ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｎｔｔドコモ filed Critical 株式会社Ｎｔｔドコモ
Priority to JP2021508743A priority Critical patent/JP7369181B2/en
Publication of WO2020194915A1 publication Critical patent/WO2020194915A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231—Monitoring the presence, absence or movement of users
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Telephonic Communication Services (AREA)
  • Debugging And Monitoring (AREA)

Abstract

In the present invention, a server device 100A comprises: an acquisition unit 120A that acquires log data in which a time is associated with operation content including an operation performed using the voice of a user at a user device 200A; an estimation unit 122A that, on the basis of log data LG, estimates a non-operated time slot during which no operations using voice are performed, from among a plurality of time slots obtained by dividing up one day; and a control data generation unit 124 that generates control data for instructing that a sound input device 252 which receives voice input be turned off during the non-operated time slot.

Description

制御データ生成装置、ユーザ装置及び情報処理システムControl data generator, user device and information processing system
　本発明は、ユーザ装置における消費電力の削減に関する。 The present invention relates to reduction of power consumption in a user device.
　従来より、ユーザの音声を認識して、認識結果に基づいて装置を制御する技術が知られている。ユーザの音声は音入力装置を用いて入力されるため、音声による操作を実行するためには、音入力装置に電力を供給する必要がある。特許文献１には、音入力装置に電力を供給してユーザの音声を待ち受ける通常モードと音入力装置に電力を供給しない省電力モードとを備える装置が開示されている。２つのモードを備える装置は、通常モードと省電力モードとを時間帯ごとに指定するテーブルを参照して、モードを選択する。 Conventionally, a technique of recognizing a user's voice and controlling a device based on the recognition result has been known. Since the user's voice is input using the sound input device, it is necessary to supply electric power to the sound input device in order to perform the operation by voice. Patent Document 1 discloses a device including a normal mode in which power is supplied to the sound input device to wait for a user's voice and a power saving mode in which power is not supplied to the sound input device. A device having two modes selects a mode by referring to a table that specifies a normal mode and a power saving mode for each time zone.
特開２０１４－２１２６４１号公報Japanese Unexamined Patent Publication No. 2014-212641
　しかし、従来の技術では、どの時間帯に省電力モードを選択するかが予め定められているため、ユーザごとに、省電力モードを選択する時間を設定することができなかった。即ち、従来の技術では、音声による操作の傾向をユーザごとに把握して、音入力装置をオフ状態に制御することによって、ユーザ装置の消費電力を削減することができなかった。 However, in the conventional technology, since the time zone for selecting the power saving mode is predetermined, it is not possible to set the time for selecting the power saving mode for each user. That is, in the conventional technique, it has not been possible to reduce the power consumption of the user device by grasping the tendency of the operation by voice for each user and controlling the sound input device to the off state.
　以上の課題を解決するために、本発明の好適な態様に係る制御データ生成装置は、ユーザ装置におけるユーザの音声による操作を含む動作内容と時間を対応付けたログデータを取得する取得部と、前記ログデータに基づいて、１日を区分した複数の時間帯のうち前記音声による操作がなされない未操作時間帯を推定する推定部と、前記未操作時間帯に前記音声の入力を受け付ける音入力装置をオフ状態にすることを指示する制御データを生成する制御データ生成部と、を備える。 In order to solve the above problems, the control data generation device according to the preferred embodiment of the present invention includes an acquisition unit that acquires log data in which the operation content including the operation by the user's voice in the user device and the time are associated with each other. Based on the log data, an estimation unit that estimates an unoperated time zone in which the voice operation is not performed out of a plurality of time zones that divide the day, and a sound input that accepts the voice input in the non-operation time zone. It includes a control data generation unit that generates control data instructing the device to be turned off.
　また、本発明の好適な態様に係る情報処理システムは、ユーザが管理するユーザ装置と、前記ユーザ装置と通信可能なサーバ装置とを備える情報処理システムであって、前記ユーザ装置は、ユーザの音声の入力を受け付ける音入力装置と、制御データに基づいて前記音入力装置をオフ状態にさせる制御部と、前記ユーザ装置における前記ユーザの音声による操作を含む動作内容と時間を対応付けたログデータを前記サーバ装置に送信し、前記サーバ装置から送信される前記制御データを受信する第１通信装置と、を備え、前記サーバ装置は、前記ユーザ装置から送信される前記ログデータを受信し、前記制御データを前記ユーザ装置に送信する第２通信装置と、前記ログデータに基づいて、１日を区分した複数の時間帯のうち前記音声による操作がなされない未操作時間帯を推定する推定部と、前記未操作時間帯に前記音声の入力を受け付ける音入力装置をオフ状態にすることを指示する前記制御データを生成する制御データ生成部と、を備える。 Further, the information processing system according to a preferred embodiment of the present invention is an information processing system including a user device managed by the user and a server device capable of communicating with the user device, and the user device is a user's voice. A sound input device that accepts the input of, a control unit that turns off the sound input device based on the control data, and log data in which the operation content including the operation by the user's voice in the user device and the time are associated with each other. A first communication device that transmits to the server device and receives the control data transmitted from the server device is provided, and the server device receives the log data transmitted from the user device and controls the control. A second communication device that transmits data to the user device, an estimation unit that estimates an unoperated time zone in which the voice operation is not performed among a plurality of time zones that divide the day based on the log data, and an estimation unit. It includes a control data generation unit that generates the control data instructing the sound input device that receives the input of the voice to be turned off during the non-operation time zone.
　本発明によれば、音声による操作の傾向をユーザごとに把握して、音入力装置をオフ状態に制御することによって、ユーザ装置の消費電力を削減することができる。 According to the present invention, it is possible to reduce the power consumption of the user device by grasping the tendency of the operation by voice for each user and controlling the sound input device to the off state.
本発明の第１実施形態に係る情報処理システムの全体構成を示すブロック図である。It is a block diagram which shows the whole structure of the information processing system which concerns on 1st Embodiment of this invention. ログデータの一例を示す説明図である。It is explanatory drawing which shows an example of log data. 学習部が教師データを生成する過程を示す説明図である。It is explanatory drawing which shows the process which a learning part generates teacher data. 第１実施形態に係る情報処理システムの動作例を示すフローチャートである。It is a flowchart which shows the operation example of the information processing system which concerns on 1st Embodiment. 第２実施形態に係るサーバ装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the server apparatus which concerns on 2nd Embodiment. 行動データの一例を示す説明図である。It is explanatory drawing which shows an example of the behavior data. 第２実施形態に係る情報処理システムの動作例を示すフローチャートである。It is a flowchart which shows the operation example of the information processing system which concerns on 2nd Embodiment. 第３実施形態に係るユーザ装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the user apparatus which concerns on 3rd Embodiment. 第４実施形態に係る情報処理システムの全体構成を示すブロック図である。It is a block diagram which shows the whole structure of the information processing system which concerns on 4th Embodiment. 第４実施形態に係る情報処理システムの動作例を示すフローチャートである。It is a flowchart which shows the operation example of the information processing system which concerns on 4th Embodiment.
[１．第１実施形態]
　図１は、第１実施形態に係る情報処理システム１０の全体構成を示すブロック図である。図１に例示するように、情報処理システム１０は、サーバ装置１００Ａと、ユーザが所持するユーザ装置２００Ａとを備える。以下の説明では、ユーザ装置２００Ａとしてスマートフォンを想定する。但し、ユーザ装置２００Ａとしては、任意の情報処理装置を採用することができる。例えば、ユーザ装置２００Ａは、ノートパソコン、ウェアラブル機器及びタブレット端末等の可搬型の情報端末であってもよい。
　また、ユーザ装置２００Ａは、ユーザの音声によって動作を制御可能な音声操作の機能を有する。 [1. First Embodiment]
FIG. 1 is a block diagram showing an overall configuration of the information processing system 10 according to the first embodiment. As illustrated in FIG. 1, the information processing system 10 includes a server device 100A and a user device 200A owned by the user. In the following description, a smartphone is assumed as the user device 200A. However, any information processing device can be adopted as the user device 200A. For example, the user device 200A may be a portable information terminal such as a notebook computer, a wearable device, or a tablet terminal.
Further, the user device 200A has a voice operation function capable of controlling the operation by the voice of the user.
[１-１．サーバ装置]
　サーバ装置１００Ａは、処理装置１１０、記憶装置１３０、及び通信装置１４０を備える。サーバ装置１００Ａの各要素は、情報を通信するための単体又は複数のバスで相互に接続される。なお、本明細書における「装置」という用語は、回路、デバイス又はユニット等の他の用語に読替えてもよい。また、サーバ装置１００Ａ及びユーザ装置２００Ａの各要素は、単数又は複数の機器で構成されていてもよい。サーバ装置１００Ａ及びユーザ装置２００Ａの一部の要素は省略されてもよい。 [1-1. Server device]
The server device 100A includes a processing device 110, a storage device 130, and a communication device 140. Each element of the server device 100A is connected to each other by a single bus or a plurality of buses for communicating information. The term "device" in the present specification may be read as another term such as a circuit, a device or a unit. Further, each element of the server device 100A and the user device 200A may be composed of a single device or a plurality of devices. Some elements of the server device 100A and the user device 200A may be omitted.
　処理装置１１０は、ユーザ装置２００Ａの全体を制御するプロセッサであり、例えば、単数又は複数のチップで構成される。処理装置１１０は、例えば、周辺装置とのインタフェース、演算装置及びレジスタ等を含む中央処理装置（ＣＰＵ：Central Processing Unit）で構成される。なお、処理装置１１０の機能の一部又は全部を、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）等のハードウェアによって実現してもよい。処理装置１１０は、各種の処理を並列的又は逐次的に実行する。 The processing device 110 is a processor that controls the entire user device 200A, and is composed of, for example, a single or a plurality of chips. The processing device 110 is composed of, for example, a central processing unit (CPU: Central Processing Unit) including an interface with peripheral devices, an arithmetic unit, registers, and the like. A part or all of the functions of the processing device 110 are realized by hardware such as DSP (Digital Signal Processor), ASIC (Application Specific Integrated Circuit), PLD (Programmable Logic Device), FPGA (Field Programmable Gate Array). You may. The processing device 110 executes various processes in parallel or sequentially.
　記憶装置１３０は、処理装置１１０が読取可能な記録媒体であり、処理装置１１０が実行する制御プログラムＰ１を含む複数のプログラム、並びに処理装置１１０が使用する学習モデルＭ１及びログデータＬＧなどの各種のデータを記憶する。 The storage device 130 is a recording medium that can be read by the processing device 110, is a plurality of programs including the control program P1 executed by the processing device 110, and various types such as the learning model M1 and the log data LG used by the processing device 110. Store data.
　ログデータＬＧは、ユーザ装置２００Ａによって生成され、サーバ装置１００Ａに送信される。ログデータＬＧは、ユーザ装置２００Ａにおける動作内容と時間を対応付けたデータである。動作内容にはユーザの音声による操作が含まれる。ユーザの音声による操作は、常に実行されるわけではない。
　以下の説明では、１日を区分した複数の時間帯Ｔｚのうち音声による操作がなされない時間帯Ｔｚを未操作時間帯Ｔｘと称する。本実施形態では、１日を７２個の時間帯Ｔｚ１～Ｔｚ７２に区分する（図３参照）。７２個の時間帯Ｔｚ１～Ｔｚ７２の各々において時間幅は２０分である。なお、各時間帯Ｔｚ１～Ｔｚ７２を区別しない場合は、任意の時間帯を単に時間帯Ｔｚと表記する。また、時間帯Ｔｚの数は７２に限定されず、２以上であればよい。また、各時間帯Ｔｚの時間幅は異なっていてもよい。例えば、ユーザが就寝している可能性の高い２時から５時までの３時間を一つの時間帯Ｔｚに割り当ててもよい。 The log data LG is generated by the user device 200A and transmitted to the server device 100A. The log data LG is data in which the operation content and the time in the user device 200A are associated with each other. The operation content includes the operation by the user's voice. The user's voice operation is not always performed.
In the following description, of the plurality of time zones Tz in which one day is divided, the time zone Tz in which no voice operation is performed is referred to as an unoperated time zone Tx. In the present embodiment, one day is divided into 72 time zones Tz1 to Tz72 (see FIG. 3). The time width is 20 minutes in each of the 72 time zones Tz1 to Tz72. When each time zone Tz1 to Tz72 is not distinguished, any time zone is simply referred to as a time zone Tz. Further, the number of time zones Tz is not limited to 72, and may be 2 or more. Further, the time width of each time zone Tz may be different. For example, 3 hours from 2:00 to 5:00, when the user is likely to be sleeping, may be assigned to one time zone Tz.
　記憶装置１３０は、例えば、ＲＯＭ（Read　Only　Memory）、ＥＰＲＯＭ（Erasable　Programmable　ＲＯＭ）、ＥＥＰＲＯＭ（Electrically　Erasable　Programmable　ＲＯＭ）、ＲＡＭ（Random　Access　Memory）、フラッシュメモリ等の少なくとも１つによって構成されてもよい。記憶装置１３０は、レジスタ、キャッシュ、メインメモリ（主記憶装置）等と呼ばれてもよい。 The storage device 130 may be composed of at least one such as a ROM (Read Only Memory), an EPROM (Erasable Programmable ROM), an EPROM (Electrically Erasable Programmable ROM), a RAM (Random Access Memory), and a flash memory. The storage device 130 may be called a register, a cache, a main memory (main storage device), or the like.
　通信装置１４０は、他の装置と通信を行うためのハードウェア（送受信デバイス）である。通信装置１４０は、例えば、ネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュール等とも呼ばれる。 The communication device 140 is hardware (transmission / reception device) for communicating with other devices. The communication device 140 is also called, for example, a network device, a network controller, a network card, a communication module, or the like.
　処理装置１１０は、記憶装置１３０から制御プログラムＰ１を読み出して当該プログラムを実行することによって、取得部１２０Ａ、推定部１２２Ａ、制御データ生成部１２４、及び送信制御部１２６として機能する。なお、制御プログラムＰ１は、ネットワークを介して他の装置から送信されてもよい。 The processing device 110 functions as an acquisition unit 120A, an estimation unit 122A, a control data generation unit 124, and a transmission control unit 126 by reading the control program P1 from the storage device 130 and executing the program. The control program P1 may be transmitted from another device via the network.
　取得部１２０Ａは、通信装置１４０を用いて、ログデータＬＧを取得する。図２にログデータＬＧの一例を示す。図２に示すログデータＬＧは、２０１９年３月１１日におけるユーザ装置２００Ａの動作内容のうち、午前８時から午前８時４０分までの時間帯におけるユーザ装置２００Ａの動作内容を示す。この例において、ログデータＬＧはレコードｒ１～ｒ１４を含む。例えば、レコードｒ１は、8：00にユーザ装置２００Ａのロック解除がなされたことを示している。また、レコードｒ５は、8：12に音声による操作がなされたことを示している。なお、レコードｒ１～ｒ８は、時間帯Ｔｚ２４に属し、レコードｒ９～ｒ１４は時間帯Ｔｚ２５に属する。このように、図２の例において、ログデータＬＧは、各時間帯において、ユーザ装置２００Ａにおける動作内容と時間との複数組（複数レコード）を有するデータである。 The acquisition unit 120A acquires the log data LG by using the communication device 140. FIG. 2 shows an example of log data LG. The log data LG shown in FIG. 2 shows the operation contents of the user device 200A in the time zone from 8:00 am to 8:40 am among the operation contents of the user device 200A on March 11, 2019. In this example, the log data LG includes records r1 to r14. For example, record r1 indicates that the user device 200A was unlocked at 8:00. The record r5 also shows that the voice operation was performed at 8:12. The records r1 to r8 belong to the time zone Tz24, and the records r9 to r14 belong to the time zone Tz25. As described above, in the example of FIG. 2, the log data LG is data having a plurality of sets (plural records) of the operation content and the time in the user device 200A in each time zone.
　推定部１２２Ａは、ログデータＬＧに基づいて、１日を区分した複数の時間帯Ｔｚのうち音声による操作がなされない未操作時間帯Ｔｘを推定する。推定部１２２Ａは、学習部１２２１と予測部１２２２とを備える。
　学習部１２２１は、ログデータＬＧと未操作時間帯Ｔｘとの関係を学習モデルＭ１に機械学習させる。学習部１２２１が用いる未操作時間帯Ｔｘは、実際に、音声による操作がなされなかった時間帯を表す。予測部１２２２は、学習モデルＭ１を用いて、将来の時間帯における音声による操作の有無を示す予測データＤｐを生成する。予測データＤｐは1以上の時間帯Ｔｚについて音声による操作の有無を示す。例えば、予測データＤｐは、1日単位で７２個の時間帯Ｔｚ１～Ｔｚ７２の各々について、音声による操作の有無を示す。また、現在の日時が３月１１日午前８時１５分である場合、予測データＤｐは、３月１１日午前８時２０分から３月１２日午前８時２０分までの各時間帯Ｔｚについて、音声による操作の有無を示してもよい。そして、予測データＤｐが音声操作無しを示す時間帯Ｔｚが上記の未操作時間帯Ｔｘであると推定される時間帯Ｔｚである。 Based on the log data LG, the estimation unit 122A estimates the unoperated time zone Tx in which no voice operation is performed among the plurality of time zone Tz that divide the day. The estimation unit 122A includes a learning unit 1221 and a prediction unit 1222.
The learning unit 1221 causes the learning model M1 to machine learn the relationship between the log data LG and the unoperated time zone Tx. The unoperated time zone Tx used by the learning unit 1221 represents a time zone in which no voice operation is actually performed. The prediction unit 1222 uses the learning model M1 to generate prediction data Dp indicating the presence or absence of voice operation in a future time zone. The prediction data Dp indicates the presence or absence of voice operation for a time zone Tz of 1 or more. For example, the prediction data Dp indicates the presence or absence of voice operation for each of the 72 time zones Tz1 to Tz72 on a daily basis. If the current date and time is 8:15 am on March 11, the forecast data Dp is for each time zone Tz from 8:20 am on March 11 to 8:20 am on March 12. The presence or absence of voice operation may be indicated. Then, the time zone Tz in which the predicted data Dp indicates that there is no voice operation is the time zone Tz estimated to be the above-mentioned unoperated time zone Tx.
　より、具体的には、学習部１２２１は、ログデータＬＧを基に予測データＤｐの正誤を示すラベルデータＤｌを生成する。予測データＤｐが複数の時間帯Ｔｚについて音声の操作の有無を示す場合には、ラベルデータＤｌは複数の時間帯Ｔｚについて正誤を示す。即ち、ラベルデータＤｌは、予測データＤｐに対応する時間帯Ｔｚに対して正誤を示す。学習部１２２１は、予測データＤｐに対応する時間帯Ｔｚについて、当該時間帯のログデータＬＧを参照することによって正誤を判定し、判定結果を示すラベルデータＤｌを生成する。
　また、学習部１２２１は、ラベルデータＤｌと予測データＤｐに対応する時間帯Ｔｚより前のログデータＬＧとの組を教師データＤｔとして生成し、教師データＤｔを学習モデルＭ１に学習させる。 More specifically, the learning unit 1221 generates label data Dl indicating the correctness of the prediction data Dp based on the log data LG. When the prediction data Dp indicates the presence or absence of voice operation for a plurality of time zones Tz, the label data Dl indicates correctness for the plurality of time zones Tz. That is, the label data Dl indicates correctness with respect to the time zone Tz corresponding to the prediction data Dp. The learning unit 1221 determines the correctness of the time zone Tz corresponding to the prediction data Dp by referring to the log data LG of the time zone, and generates label data Dl indicating the determination result.
Further, the learning unit 1221 generates a pair of the label data Dl and the log data LG before the time zone Tz corresponding to the prediction data Dp as the teacher data Dt, and causes the learning model M1 to learn the teacher data Dt.
　図３は、学習部１２２１が教師データＤｔを生成する過程を示す説明図である。例えば、予測日が３月１１日である場合、予測部１２２２が予測データＤｐを生成するのは、３月１１日より前である。この例では、３月１０日に予測データＤｐが生成されることとする。学習部１２２１は、３月１１日に当日のログデータＬＧに基づいて、予測日の各時間帯Ｔｚにおいて、音声操作の有無を示す音声操作データＤｒを生成する。音声操作データＤｒにおいて、「１」は音声操作がなされなかったことを示し、「０」は音声操作がなされたことを示す。 FIG. 3 is an explanatory diagram showing a process in which the learning unit 1221 generates teacher data Dt. For example, when the forecast date is March 11, the forecast unit 1222 generates the forecast data Dp before March 11. In this example, it is assumed that the forecast data Dp is generated on March 10. The learning unit 1221 generates voice operation data Dr indicating the presence or absence of voice operation in each time zone Tz of the predicted day based on the log data LG of the day on March 11. In the voice operation data Dr, "1" indicates that the voice operation was not performed, and "0" indicates that the voice operation was performed.
　図３に示す例では、音声操作データＤｒは、時間帯Ｔｚ２４（08:00～08:20）及び時間帯Ｔｚ２５（08:20～08:40）において、音声操作有り（音声操作がなされたこと）を示す。一方、予測データＤｐは、時間帯Ｔｚ２４（08:00～08:20）では音声操作有り（音声操作がなされると予測されたこと）を示し及び時間帯Ｔｚ２５（08:20～08:40）では音声操作無し（音声操作がなされないと予測されたこと）を示す。従って、学習モデルＭ１を用いた未操作時間帯Ｔｘの予測は、時間帯Ｔｚ２５において誤っていたことになる。学習部１２２１は、ラベルデータＤｌを生成する。ラベルデータＤｌは、予測が正しい時間帯Ｔｚでは「１」となり、予測が誤った時間帯Ｔｚでは「０」となる。図３に示す例では、学習部１２２１は、時間帯Ｔｚ２５において誤りを示すラベルデータＤｌを生成する。 In the example shown in FIG. 3, the voice operation data Dr has voice operation (voice operation has been performed) in the time zone Tz24 (08: 00-08: 20) and the time zone Tz25 (08: 20-08: 40). ) Is shown. On the other hand, the prediction data Dp indicates that there is voice operation (it was predicted that voice operation will be performed) in the time zone Tz24 (08: 00-08: 20) and time zone Tz25 (08: 20-08: 40). Indicates that there is no voice operation (it was predicted that no voice operation would be performed). Therefore, the prediction of the unoperated time zone Tx using the learning model M1 is incorrect in the time zone Tz25. The learning unit 1221 generates label data Dl. The label data Dl is "1" in the time zone Tz where the prediction is correct, and is "0" in the time zone Tz where the prediction is incorrect. In the example shown in FIG. 3, the learning unit 1221 generates label data Dl indicating an error in the time zone Tz25.
　また、図３に示す例では、学習部１２２１は、予測日である３月１１日より前の３月１０日のログデータＬＧとラベルデータＤｌの組を教師データＤｔとして生成する。この教師データＤｔを学習モデルＭ１に機械学習させることによって、未操作時間帯Ｔｘの推定の精度が向上する。 Further, in the example shown in FIG. 3, the learning unit 1221 generates a pair of log data LG and label data Dl on March 10 before the predicted date of March 11 as teacher data Dt. By making the learning model M1 machine-learn the teacher data Dt, the accuracy of estimating the unoperated time zone Tx is improved.
　説明を図１に戻す。制御データ生成部１２４は、推定部１２２Ａによって推定された予測データＤｐの音声操作無しを示す時間帯Ｔｚ、即ち、予測データＤｐの示す未操作時間帯Ｔｘにおいて音声の入力を受け付ける音入力装置２５２をオフ状態にすることを指示する制御データＤｃを生成する。制御データＤｃは、予測データＤｐと同じであってもよいし、或いは、音入力装置２５２がオフ状態となる期間の開始時刻と終了時刻を示してもよい。例えば、予測データＤｐが図３に示される例である場合、制御データＤｃは予測データＤｐと同じ７２ビットのデータであってもよいし、或いは、開始時刻08:20と終了時刻08：40とを示してもよい。 Return the explanation to Fig. 1. The control data generation unit 124 uses a sound input device 252 that receives voice input in the time zone Tz indicating that the predicted data Dp estimated by the estimation unit 122A has no voice operation, that is, in the unoperated time zone Tx indicated by the predicted data Dp. Generates control data Dc instructing to turn it off. The control data Dc may be the same as the prediction data Dp, or may indicate the start time and end time of the period during which the sound input device 252 is in the off state. For example, when the predicted data Dp is an example shown in FIG. 3, the control data Dc may be the same 72-bit data as the predicted data Dp, or the start time is 08:20 and the end time is 08:40. May be indicated.
　次に、送信制御部１２６は、通信装置１４０を制御して、通信装置１４０に制御データＤｃをユーザ装置２００Ａへ送信させる。 Next, the transmission control unit 126 controls the communication device 140 to cause the communication device 140 to transmit the control data Dc to the user device 200A.
[１-２．ユーザ装置]
　次に、ユーザ装置２００Ａは、処理装置２１０、記憶装置２３０、通信装置２４０、入力装置２５０、出力装置２６０、動き検出装置２７０、及びＧＰＳ装置２８０を備える。処理装置２１０は、ユーザ装置２００Ａの全体を制御するプロセッサであり、処理装置１１０と同様に構成される。 [1-2. User device]
Next, the user device 200A includes a processing device 210, a storage device 230, a communication device 240, an input device 250, an output device 260, a motion detection device 270, and a GPS device 280. The processing device 210 is a processor that controls the entire user device 200A, and is configured in the same manner as the processing device 110.
　記憶装置２３０は、処理装置２１０が読取可能な記録媒体であり、処理装置２１０が実行する制御プログラムＰ２を含む複数のプログラム、及び処理装置２１０が使用する各種のデータを記憶する。記憶装置２３０は、例えば、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＲＡＭ等の少なくとも１つによって構成されてもよい。 The storage device 230 is a recording medium that can be read by the processing device 210, and stores a plurality of programs including the control program P2 executed by the processing device 210 and various data used by the processing device 210. The storage device 230 may be composed of, for example, at least one of ROM, EPROM, EEPROM, RAM and the like.
　通信装置２４０は、他の装置と通信を行うためのハードウェア（送受信デバイス）である。通信装置２４０は、通信装置１４０と同様に構成されてもよい。通信装置２４０は、第１通信装置の一例である。 The communication device 240 is hardware (transmission / reception device) for communicating with other devices. The communication device 240 may be configured in the same manner as the communication device 140. The communication device 240 is an example of the first communication device.
　入力装置２５０は、外部からの入力を受け付ける入力デバイスである。例えば、入力装置２５０は、数字及び文字等の符号を処理装置２１０に入力するための操作を受け付ける。入力操作は、ユーザのタッチ操作とユーザの音声による操作を含む。タッチ操作については、例えば、表示装置２６１の表示面に対するユーザの指の接触を検出するタッチパネルが入力装置２５０として好適である。なお、ユーザが操作可能な複数の操作子を入力装置２５０が含んでもよい。 The input device 250 is an input device that accepts input from the outside. For example, the input device 250 accepts an operation for inputting a code such as a number and a character into the processing device 210. Input operations include user touch operations and user voice operations. Regarding the touch operation, for example, a touch panel that detects the contact of the user's finger with the display surface of the display device 261 is suitable as the input device 250. The input device 250 may include a plurality of controls that can be operated by the user.
　また、ユーザの音声による操作は音入力装置２５２が受け付ける。音入力装置２５２は、音を電気信号に変換するマイクロフォンとマイクロフォンの出力信号を増幅するアンプと、アンプの出力信号をデジタル信号に変換するＡＤ変換器とを有する。更に、音入力装置２５２は、アンプ及びＡＤ変換器と電源を供給する電源ラインとの間に設けられたスイッチを備える。スイッチがオン状態になると、音入力装置２５２に電源が供給され、音入力装置２５２がオン状態となる。音入力装置２５２は、オン状態では、ユーザの音声を音データに変換して出力可能となる。一方、スイッチがオフ状態になると、音入力装置２５２に電源が供給されない。この場合、音入力装置２５２がオフ状態となる。オフ状態の音入力装置２５２は、ユーザの音声を音データに変換することが不能になる。スイッチは処理装置２１０によって制御される。本明細書において、音入力装置２５２がオン状態とは、音を音データに変換可能な動作状態を意味する。また、音入力装置２５２がオフ状態とは、音を音データに変換不能な動作状態を意味する。このため、オフ状態は、オン状態に遷移するまでの時間が短いスリープ状態を含む。スリープ状態では、オン状態と比較して小さな電力を消費する。スリープ状態は、ユーザ装置２００Ａの電力が全く消費されない完全なオフ状態と相違する。 In addition, the sound input device 252 accepts the user's voice operation. The sound input device 252 includes a microphone that converts sound into an electric signal, an amplifier that amplifies the output signal of the microphone, and an AD converter that converts the output signal of the amplifier into a digital signal. Further, the sound input device 252 includes a switch provided between the amplifier and the AD converter and the power supply line for supplying power. When the switch is turned on, power is supplied to the sound input device 252, and the sound input device 252 is turned on. When the sound input device 252 is on, the user's voice can be converted into sound data and output. On the other hand, when the switch is turned off, power is not supplied to the sound input device 252. In this case, the sound input device 252 is turned off. The sound input device 252 in the off state cannot convert the user's voice into sound data. The switch is controlled by the processing device 210. In the present specification, the on state of the sound input device 252 means an operating state capable of converting sound into sound data. Further, the off state of the sound input device 252 means an operating state in which sound cannot be converted into sound data. Therefore, the off state includes a sleep state in which the time until the transition to the on state is short is short. The sleep state consumes less power than the on state. The sleep state is different from the completely off state in which the power of the user device 200A is not consumed at all.
　出力装置２６０は、ユーザ装置２００Ａの外部への出力を実施するデバイスである。出力装置２６０は、例えば、画像を表示する表示装置２６１、音を出力する音出力装置２６２を含む。表示装置２６１は、処理装置２１０による制御のもとで各種の画像を表示する。例えば、液晶表示パネル及び有機ＥＬ（Electro　Luminescence）表示パネル等の各種の表示パネルが表示装置２６１として好適に利用される。 The output device 260 is a device that outputs the user device 200A to the outside. The output device 260 includes, for example, a display device 261 for displaying an image and a sound output device 262 for outputting sound. The display device 261 displays various images under the control of the processing device 210. For example, various display panels such as a liquid crystal display panel and an organic EL (Electro Luminescence) display panel are preferably used as the display device 261.
　動き検出装置２７０は、ユーザ装置２００Ａの動きを検出して、動きデータを出力する。動き検出装置２７０としては、角加速度を検出するジャイロセンサー及び加速度を検出する加速度センサーなどの慣性センサーが該当する。動き検出装置２７０によって、所定値より大きな加速度が検出される場合は、ユーザが乗り物（例えば、電車又は車）に乗って高速で移動中であることがわかる。反対に、動き検出装置２７０によって、所定値より小さな加速度が検出される場合は、ユーザが歩行している、或いは、ランニング中であることが検出できる。 The motion detection device 270 detects the motion of the user device 200A and outputs motion data. The motion detection device 270 corresponds to an inertial sensor such as a gyro sensor that detects angular acceleration and an acceleration sensor that detects acceleration. When the motion detection device 270 detects an acceleration larger than a predetermined value, it means that the user is moving at high speed in a vehicle (for example, a train or a car). On the contrary, when the motion detection device 270 detects an acceleration smaller than a predetermined value, it can be detected that the user is walking or running.
　ＧＰＳ装置２８０は、複数の衛星からの電波を受信し、受信した電波を用いて位置データを生成する。位置データは、ユーザ装置２００Ａの位置を示す。位置データは、位置を特定できるのであれば、どのような形式であってもよい。位置データは、例えば、ユーザ装置２００Ａの緯度と経度とを示す。この例では、位置データはＧＰＳ装置２８０から得られることを例示するが、ユーザ装置２００Ａは、どのような方法で位置データを取得してもよい。例えば、ユーザ装置２００Ａの通信先となる基地局に割り当てられたセルＩＤを用いて位置データを取得してもよい。さらに、ユーザ装置２００Ａが無線ＬＡＮ（Local Area Network）のアクセスポイントと通信する場合には、ユーザ装置２００Ａは、アクセスポイントに割り当てられたネットワーク上の識別アドレス（ＭＡＣ（Media Access Control）アドレス）と実際の住所（位置）とを互いに対応付けたデータベースを参照して位置データを取得してもよい。さらに、ユーザ装置２００Ａは、ＢＬＥ(Bluetooth Low Energy)規格に準拠したアドバタイズメント・パケットに含まれるＩＤ情報を受信し、ＩＤ情報に基づいて位置データを取得してもよい。 The GPS device 280 receives radio waves from a plurality of satellites and generates position data using the received radio waves. The position data indicates the position of the user device 200A. The position data may be in any format as long as the position can be specified. The position data indicates, for example, the latitude and longitude of the user device 200A. In this example, it is illustrated that the position data is obtained from the GPS device 280, but the user device 200A may acquire the position data by any method. For example, the position data may be acquired using the cell ID assigned to the base station that is the communication destination of the user device 200A. Further, when the user device 200A communicates with the access point of the wireless LAN (Local Area Network), the user device 200A actually has an identification address (MAC (Media Access Control) address) on the network assigned to the access point. The location data may be acquired by referring to a database in which the addresses (locations) of the above are associated with each other. Further, the user device 200A may receive the ID information included in the advertisement packet conforming to the BLE (Bluetooth Low Energy) standard, and may acquire the position data based on the ID information.
　処理装置２１０は、記憶装置２３０から制御プログラムＰ２を読み出して当該プログラムを実行することによって、制御データ取得部２２０、制御部２２２、音声エージェント部２２４、及び送信制御部２２６として機能する。なお、制御プログラムＰ２はネットワークを介して他の装置から送信されてもよい。 The processing device 210 functions as a control data acquisition unit 220, a control unit 222, a voice agent unit 224, and a transmission control unit 226 by reading the control program P2 from the storage device 230 and executing the program. The control program P2 may be transmitted from another device via the network.
　制御データ取得部２２０は、通信装置２４０を用いて、サーバ装置１００Ａから制御データＤｃを取得する。
　制御部２２２は、制御データＤｃに基づいて音入力装置２５２をオフ状態にさせる。制御データＤｃが未操作時間帯Ｔｘの開始時刻と終了時刻とを示す場合には、制御部２２２は、現在時刻と開始時刻が一致するとスイッチをオフ状態にさせる。一方、現在時刻と終了時刻とが一致すると、制御部２２２は、スイッチをオン状態にさせる。
　また、制御部２２２は、ユーザ装置２００Ａの動作内容と時間とを対応付けたログデータＬＧを生成し、記憶装置２３０に記憶する。 The control data acquisition unit 220 acquires the control data Dc from the server device 100A by using the communication device 240.
The control unit 222 turns off the sound input device 252 based on the control data Dc. When the control data Dc indicates the start time and the end time of the non-operation time zone Tx, the control unit 222 turns off the switch when the current time and the start time match. On the other hand, when the current time and the end time match, the control unit 222 turns on the switch.
Further, the control unit 222 generates the log data LG in which the operation content of the user device 200A and the time are associated with each other, and stores the log data LG in the storage device 230.
　音声エージェント部２２４は音入力装置２５２から出力される音データに基づいて、音声を認識し、ユーザの音声による操作指示を解釈して、ユーザ装置２００Ａを制御する。例えば、ユーザの音声が「今日の天気は？」を示すのであれば、音声エージェント部２２４は、天気予報のサイトにアクセスして、今日の天気予報を取得し、ユーザに音声又は画像を用いて今日の天気を知らせる。 The voice agent unit 224 recognizes the voice based on the sound data output from the sound input device 252, interprets the operation instruction by the user's voice, and controls the user device 200A. For example, if the user's voice indicates "What is the weather today?", The voice agent unit 224 accesses the weather forecast site, obtains the weather forecast for today, and uses the voice or image to the user. Let me know the weather today.
　送信制御部２２６は、通信装置２４０を用いて、通信装置２４０に、記憶装置２３０に記憶されているログデータＬＧをサーバ装置１００Ａへ送信させる。 The transmission control unit 226 causes the communication device 240 to transmit the log data LG stored in the storage device 230 to the server device 100A by using the communication device 240.
[１-３．情報処理システムの動作]
　次に、情報処理システム１０の動作について説明する。図４は情報処理システムの動作を示すフローチャートである。 [1-3. Information processing system operation]
Next, the operation of the information processing system 10 will be described. FIG. 4 is a flowchart showing the operation of the information processing system.
　まず、ユーザ装置２００Ａの処理装置２１０は、制御部２２２として機能し、ログデータＬＧを生成して、ログデータＬＧを記憶装置２３０に記憶させる（Ｓ２００）。 First, the processing device 210 of the user device 200A functions as the control unit 222, generates the log data LG, and stores the log data LG in the storage device 230 (S200).
　次に、処理装置２１０は、送信制御部２２６として機能し、通信装置２４０を制御して、通信装置２４０にログデータＬＧをサーバ装置１００Ａへ送信させる（Ｓ２１０）。ログデータＬＧの送信は、例えば、１日１回など定期的な送信であってもよい。或いは、ログデータＬＧは、新たなログデータＬＧが所定数発生するたびに、送信されてもよい。 Next, the processing device 210 functions as a transmission control unit 226, controls the communication device 240, and causes the communication device 240 to transmit the log data LG to the server device 100A (S210). The transmission of the log data LG may be a periodic transmission such as once a day. Alternatively, the log data LG may be transmitted every time a predetermined number of new log data LGs are generated.
　次に、サーバ装置１００Ａの処理装置１１０は、取得部１２０Ａとして機能し、ユーザ装置２００Ａから送信されるログデータＬＧを取得する（Ｓ１００）。具合的には、取得部１２０Ａは、通信装置１４０にユーザ装置２００Ａから送信されるログデータＬＧを受信させる。この受信によって、取得部１２０Ａは、ログデータＬＧを取得する。 Next, the processing device 110 of the server device 100A functions as the acquisition unit 120A and acquires the log data LG transmitted from the user device 200A (S100). Specifically, the acquisition unit 120A causes the communication device 140 to receive the log data LG transmitted from the user device 200A. Upon this reception, the acquisition unit 120A acquires the log data LG.
　ステップＳ１１０において、処理装置１１０は、学習部１２２１として機能し、１日のログデータＬＧに基づいて、音声操作データＤｒを生成する。音声操作データＤｒは、時間帯Ｔｚごとに音声操作の有無を示す。 In step S110, the processing device 110 functions as a learning unit 1221 and generates voice operation data Dr based on the daily log data LG. The voice operation data Dr indicates the presence or absence of voice operation for each time zone Tz.
　ステップＳ１２０において、処理装置１１０は、学習部１２２１として機能し、ラベルデータＤｌを生成する。この例では、処理装置１１０は、1日単位でラベルデータＤｌを生成する。具体的には、処理装置１１０は、音声操作データＤｒに対応する予測日の予測データＤｐと音声操作データＤｒとを、時間帯Ｔｚごとに比較して、予測の正誤を示すラベルデータＤｌを生成する。 In step S120, the processing device 110 functions as a learning unit 1221 and generates label data Dl. In this example, the processing device 110 generates label data Dl on a daily basis. Specifically, the processing device 110 compares the prediction data Dp of the prediction date corresponding to the voice operation data Dr and the voice operation data Dr for each time zone Tz, and generates label data Dl indicating the correctness of the prediction. To do.
　ステップＳ１３０において、処理装置１１０は、学習部１２２１として機能し、ラベルデータＤｌと予測日のログデータＬＧとの組みを教師データＤｔとして生成し、教師データＤｔを学習モデルＭ１に学習させる。 In step S130, the processing device 110 functions as a learning unit 1221, generates a set of label data Dl and log data LG of the predicted date as teacher data Dt, and trains the teacher data Dt in the learning model M1.
　ステップＳ１４０において、処理装置１１０は、予測部１２２２として機能し、学習モデルＭ１に、予測日より前のログデータＬＧを入力し、予測日にける未操作時間帯Ｔｘを示す予測データＤｐを生成する。予測日より前とは、例えば、予測日の前日である。例えば、予測日が翌日であれば、予測日より前のログデータＬＧは、当日のログデータＬＧである。 In step S140, the processing device 110 functions as the prediction unit 1222, inputs the log data LG before the prediction date to the learning model M1, and generates the prediction data Dp indicating the unoperated time zone Tx on the prediction date. .. The term before the forecast date is, for example, the day before the forecast date. For example, if the forecast date is the next day, the log data LG before the forecast date is the log data LG of the current day.
　ステップＳ１５０において、処理装置１１０は、制御データ生成部１２４として機能し、未操作時間帯Ｔｘに音入力装置２５２をオフ状態にすることを指示する制御データＤｃを生成する。 In step S150, the processing device 110 functions as the control data generation unit 124 and generates the control data Dc instructing the sound input device 252 to be turned off during the non-operation time zone Tx.
　ステップＳ１６０において、処理装置１１０は、送信制御部１２６として機能し、通信装置１４０を用いて、制御データＤｃをユーザ装置２００Ａへ送信させる。 In step S160, the processing device 110 functions as a transmission control unit 126, and the communication device 140 is used to transmit the control data Dc to the user device 200A.
　次に、ユーザ装置２００Ａの処理装置２１０は、ステップＳ２２０において、制御データ取得部２２０として機能し、通信装置２４０を用いて、通信装置２４０にサーバ装置１００Ａから送信される制御データＤｃを受信させる。 Next, the processing device 210 of the user device 200A functions as the control data acquisition unit 220 in step S220, and causes the communication device 240 to receive the control data Dc transmitted from the server device 100A by using the communication device 240.
　ステップＳ２３０において、処理装置２１０は、制御部２２２として機能し、制御データＤｃに基づいて、未操作時間帯Ｔｘにおいて音入力装置２５２をオフ状態に制御する。 In step S230, the processing device 210 functions as the control unit 222, and controls the sound input device 252 to the off state in the non-operation time zone Tx based on the control data Dc.
　以上説明したように本実施形態によれば、サーバ装置１００Ａは、ユーザ装置２００Ａにおけるユーザの音声による操作を含む動作内容と時間を対応付けたログデータＬＧを取得する取得部１２０Ａと、ログデータＬＧに基づいて、１日を区分した複数の時間帯Ｔｚのうち音声による操作がなされない未操作時間帯Ｔｘを推定する推定部１２２Ａとを備える。推定部１２２Ａにおける未操作時間帯Ｔｘの推定は、ユーザ装置２００Ａの動作内容に基づくものであるため、ユーザがユーザ装置２００Ａをどのように操作したかを考慮した推定となっている。従って、音声による操作の傾向をユーザごとに把握して、未操作時間帯Ｔｘを推定することができる。また、サーバ装置１００Ａは、未操作時間帯Ｔｘに、音声の入力を受け付ける音入力装置２５２をオフ状態にすることを指示する制御データＤｃを生成する制御データ生成部１２４を備える。制御データＤｃをユーザ装置２００Ａが用いることにより、推定された未操作時間帯Ｔｘに音入力装置２５２がオフ状態に制御される。この制御によって、ユーザ装置２００Ａの消費電力を削減することが可能となる。 As described above, according to the present embodiment, the server device 100A has the acquisition unit 120A for acquiring the log data LG in which the operation content including the operation by the user's voice in the user device 200A is associated with the time, and the log data LG. Based on the above, the estimation unit 122A is provided to estimate the unoperated time zone Tx in which the operation by voice is not performed among the plurality of time zones Tz that divide the day. Since the estimation of the non-operated time zone Tx in the estimation unit 122A is based on the operation content of the user device 200A, it is an estimation considering how the user operates the user device 200A. Therefore, it is possible to grasp the tendency of the operation by voice for each user and estimate the non-operation time zone Tx. Further, the server device 100A includes a control data generation unit 124 that generates control data Dc instructing the sound input device 252 that accepts voice input to be turned off during the non-operation time zone Tx. By using the control data Dc by the user device 200A, the sound input device 252 is controlled to be in the off state during the estimated non-operation time zone Tx. This control makes it possible to reduce the power consumption of the user device 200A.
　また、推定部１２２Ａは、ログデータＬＧと未操作時間帯Ｔｘとの関係を学習モデルＭ１に学習させる学習部１２２１と、学習モデルＭ１を用いて、将来の時間帯Ｔｚにおける音声による操作の有無を示す予測データＤｐを生成する予測部１２２２とを備える。学習モデルＭ１によってログデータＬＧと未操作時間帯Ｔｘとの関係が機械学習されるので、学習モデルＭ１を用いた未操作時間帯Ｔｘの予測精度を、機械学習の程度が進むにつれ、次第に向上させることができる。この場合、制御データ生成部１２４は、予測データＤｐの示す未操作時間帯Ｔｘに音入力装置２５２をオフ状態にすることを指示する制御データＤｃを生成する。制御データＤｃをユーザ装置２００Ａが用いることにより、予測データＤｐの示す未操作時間帯Ｔｘに音入力装置２５２をオフ状態に制御することができる。この結果、ユーザ装置２００Ａの消費電力を削減することが可能となる。 Further, the estimation unit 122A uses the learning unit 1221 that causes the learning model M1 to learn the relationship between the log data LG and the unoperated time zone Tx, and the learning model M1 to determine whether or not there is an operation by voice in the future time zone Tz. It is provided with a prediction unit 1222 that generates the prediction data Dp shown. Since the relationship between the log data LG and the unoperated time zone Tx is machine-learned by the learning model M1, the prediction accuracy of the unoperated time zone Tx using the learning model M1 is gradually improved as the degree of machine learning progresses. be able to. In this case, the control data generation unit 124 generates the control data Dc instructing the sound input device 252 to be turned off during the non-operation time zone Tx indicated by the prediction data Dp. By using the control data Dc by the user device 200A, the sound input device 252 can be controlled to be in the off state during the non-operation time zone Tx indicated by the predicted data Dp. As a result, it is possible to reduce the power consumption of the user device 200A.
　また、学習部１２２１は、ログデータＬＧを基に予測データＤｐの正誤を示すラベルデータＤｌを生成し、ラベルデータＤｌと予測データＤｐに対応する時間帯Ｔｚより前のログデータＬＧとの組を教師データＤｔとして学習モデルＭ１に学習させる。
　即ち、学習部１２２１は、教師データＤｔを用いて学習モデルＭ１に機械学習させる。このため、教師データ無しで学習モデルＭ１を構築する場合と比較して、短い期間で学習モデルＭ１による学習が可能となる。 Further, the learning unit 1221 generates label data Dl indicating the correctness of the predicted data Dp based on the log data LG, and sets the label data Dl and the log data LG before the time zone Tz corresponding to the predicted data Dp. The learning model M1 is trained as the teacher data Dt.
That is, the learning unit 1221 causes the learning model M1 to perform machine learning using the teacher data Dt. Therefore, learning by the learning model M1 becomes possible in a short period of time as compared with the case where the learning model M1 is constructed without the teacher data.
　なお、第１実施形態のサーバ装置１００Ａに含まれる、取得部１２０Ａ、推定部１２２Ａ、及び制御データ生成部１２４は、制御データを生成する制御データ生成装置の一例である。 The acquisition unit 120A, the estimation unit 122A, and the control data generation unit 124 included in the server device 100A of the first embodiment are examples of the control data generation device that generates control data.
[２．第２実施形態]
　第２実施形態に係る情報処理システム１０は、サーバ装置１００Ａの替わりにサーバ装置１００Ｂが備えられている点を除いて、図１に示す第１実施形態の情報処理システム１０と同様に構成されている。 [2. Second Embodiment]
The information processing system 10 according to the second embodiment is configured in the same manner as the information processing system 10 of the first embodiment shown in FIG. 1, except that the server device 100B is provided instead of the server device 100A. There is.
　図５は、サーバ装置１００Ｂの構成例を示すブロック図である。サーバ装置１００Ｂは、推定部１２２Ａの替わりに推定部１２２Ｂが用いられる点、記憶装置１３０が制御プログラムＰ１の替わりに制御プログラムＰ３を記憶する点、記憶装置１３０が学習モデルＭ１の替わりに学習モデルＭ２を記憶する点、及び記憶装置１３０が行動データＤａを記憶する点を除いて、第１実施形態のサーバ装置１００Ａと同様に構成されている。サーバ装置１００Ａでは、ログデータＬＧとラベルデータＤｌの組を教師データＤｔとしたが、サーバ装置１００Ｂでは、行動データＤａとラベルデータＤｌの組を教師データＤｔとする。
　処理装置１１０は、記憶装置１３０から制御プログラムＰ３を読み出して当該プログラムを実行することによって、取得部１２０Ａ、推定部１２２Ｂ、制御データ生成部１２４、及び送信制御部１２６として機能する。 FIG. 5 is a block diagram showing a configuration example of the server device 100B. In the server device 100B, the estimation unit 122B is used instead of the estimation unit 122A, the storage device 130 stores the control program P3 instead of the control program P1, and the storage device 130 stores the control program P3 instead of the learning model M1. It is configured in the same manner as the server device 100A of the first embodiment except that the storage device 130 stores the action data Da. In the server device 100A, the set of the log data LG and the label data Dl is used as the teacher data Dt, but in the server device 100B, the set of the action data Da and the label data Dl is used as the teacher data Dt.
The processing device 110 functions as an acquisition unit 120A, an estimation unit 122B, a control data generation unit 124, and a transmission control unit 126 by reading the control program P3 from the storage device 130 and executing the program.
　推定部１２２Ｂは、学習部１２２３及び予測部１２２２を備える。学習部１２２３は、取得部１２０Ａが、ユーザ装置２００Ａから取得したログデータＬＧに基づいてユーザの行動内容と行動がなされた時間とを対応付けた行動データＤａを生成する。行動データＤａは、ログデータＬＧそのものではなく、ログデータＬＧを解釈してユーザの行動内容にあてはめたものである。 The estimation unit 122B includes a learning unit 1223 and a prediction unit 1222. The learning unit 1223 generates the action data Da in which the action content of the user and the time when the action is taken are associated with each other based on the log data LG acquired from the user device 200A by the acquisition unit 120A. The action data Da is not the log data LG itself, but is an interpretation of the log data LG and applied to the action content of the user.
　ユーザの行動内容を例示すれば、アプリケーションの実行に関して、動画再生、音楽再生、ゲーム実行、メール、web検索などがある。これらの行動内容は、ログデータＬＧに記録されているアプリケーションから特定される。また、ユーザの所在する場所も行動内容に含まれる。例えば、自宅、会社、カフェが該当する。これらの場所は、ログデータＬＧに含まれる位置データに基づいて特定される。また、ユーザの移動に関する行動内容には、歩行、ランニング、電車で移動などが含まれる。これらの行動内容は、ログデータＬＧに含まれる加速度データから生成される。 To give an example of user behavior, there are video playback, music playback, game execution, email, web search, etc. regarding application execution. These action contents are specified from the application recorded in the log data LG. In addition, the location of the user is also included in the action content. For example, home, office, cafe. These locations are identified based on the location data contained in the log data LG. In addition, the action contents related to the movement of the user include walking, running, moving by train, and the like. These action contents are generated from the acceleration data included in the log data LG.
　例えば、図２に示される午前８時から午前８時４０分までの時間帯におけるユーザ装置２００Ａの動作内容を示すログデータＬＧに基づいて、図６に示す行動データＤａが生成される。この例では、図２に示されるログデータＬＧのレコードｒ１～ｒ１４が、行動データＤａのレコードＲ１～Ｒ１０に圧縮されている。また、行動データＤａのレコードＲ４とレコードＲ８には、行動内容として「通勤経路」が割り当てられている。このように、図６の例において、行動データＤａは、各時間帯において、ユーザの行動内容と時間との複数組（複数レコード）を有するデータである。 For example, the action data Da shown in FIG. 6 is generated based on the log data LG showing the operation content of the user device 200A in the time zone from 8:00 am to 8:40 am shown in FIG. In this example, the records r1 to r14 of the log data LG shown in FIG. 2 are compressed into the records R1 to R10 of the action data Da. Further, a "commuting route" is assigned as an action content to the record R4 and the record R8 of the action data Da. As described above, in the example of FIG. 6, the behavior data Da is data having a plurality of sets (plural records) of the user's behavior content and time in each time zone.
　学習部１２２３は、行動データＤａとラベルデータＤｌとの組を教師データＤｔとして生成し、教師データＤｔを学習モデルＭ２に学習させる。なお、ラベルデータＤｌは、第１実施形態の学習部１２２１と同様に生成される。行動データＤａでは、ユーザの行動内容の観点からログデータＬＧの内容が抽象化されているので、学習効率を向上させることができる。 The learning unit 1223 generates a set of behavior data Da and label data Dl as teacher data Dt, and causes the learning model M2 to learn the teacher data Dt. The label data Dl is generated in the same manner as the learning unit 1221 of the first embodiment. In the behavior data Da, since the content of the log data LG is abstracted from the viewpoint of the behavior content of the user, the learning efficiency can be improved.
　次に、第２実施形態に係る情報処理システム１０の動作を説明する。図７は第２実施形態に係る情報処理システム１０の動作を示すフローチャートである。図７に示すフローチャートが図４に示すフローチャートと相違するのは、ステップＳ１３０の替わりにステップＳ１３１を採用した点、及びステップ１２０とステップＳ１３１との間にステップＳ１２２を設けた点である。 Next, the operation of the information processing system 10 according to the second embodiment will be described. FIG. 7 is a flowchart showing the operation of the information processing system 10 according to the second embodiment. The flowchart shown in FIG. 7 differs from the flowchart shown in FIG. 4 in that step S131 is adopted instead of step S130, and step S122 is provided between step 120 and step S131.
　ステップＳ１２２において処理装置１１０は、学習部１２２３として機能し、ログデータＬＧに基づいて行動データＤａを生成する。更に、ステップＳ１３１において、処理装置１１０は、学習部１２２３として機能し、行動データＤａとラベルデータＤｌの組みを教師データＤｔとして生成し、教師データＤｔを学習モデルＭ２に学習させる。 In step S122, the processing device 110 functions as a learning unit 1223 and generates action data Da based on the log data LG. Further, in step S131, the processing device 110 functions as a learning unit 1223, generates a set of action data Da and label data Dl as teacher data Dt, and causes the learning model M2 to learn the teacher data Dt.
　以上説明したように第２実施形態によれば、学習部１２２３は、ログデータＬＧを基に予測データＤｐの正誤を示すラベルデータＤｌを生成し、予測データＤｐに対応する時間帯Ｔｚより前のログデータＬＧを基にユーザの行動内容と行動がなされた時間とを対応付けた行動データＤａを生成し、ラベルデータＤｌと行動データＤａの組を教師データＤｔとして学習モデルＭ２に学習させる。行動データＤａではユーザの行動の観点からログデータＬＧの内容が抽象化されているので、学習モデルＭ２の学習効率を向上させることができる。 As described above, according to the second embodiment, the learning unit 1223 generates label data Dl indicating the correctness of the predicted data Dp based on the log data LG, and is before the time zone Tz corresponding to the predicted data Dp. Based on the log data LG, the action data Da in which the action content of the user and the time when the action is performed is associated with each other is generated, and the pair of the label data Dl and the action data Da is trained by the learning model M2 as the teacher data Dt. Since the content of the log data LG is abstracted from the viewpoint of the user's behavior in the behavior data Da, the learning efficiency of the learning model M2 can be improved.
　なお、第２実施形態のサーバ装置１００Ｂに含まれる、取得部１２０Ａ、推定部１２２Ｂ、及び制御データ生成部１２４は、制御データを生成する制御データ生成装置の一例である。 The acquisition unit 120A, the estimation unit 122B, and the control data generation unit 124 included in the server device 100B of the second embodiment are examples of the control data generation device that generates control data.
[３．第３実施形態]
　図８は、第３実施形態に係るユーザ装置２００Ｂの構成例を示すブロック図である。ユーザ装置２００Ｂは、推定部１２２Ａが備えられている点、取得部１２０Ｂが備えられている点、記憶装置２３０に制御プログラムＰ１の替わりに制御プログラムＰ４が記憶される点、及び記憶装置２３０に学習モデルＭ１が備えられている点で図１に示す第１実施形態のユーザ装置２００Ａと相違する。 [3. Third Embodiment]
FIG. 8 is a block diagram showing a configuration example of the user device 200B according to the third embodiment. The user device 200B has a point that the estimation unit 122A is provided, a point that the acquisition unit 120B is provided, a point that the control program P4 is stored in the storage device 230 instead of the control program P1, and a point that the storage device 230 learns. It differs from the user apparatus 200A of the first embodiment shown in FIG. 1 in that the model M1 is provided.
　即ち、第１実施形態では、ユーザ装置２００Ａがサーバ装置１００ＡにログデータＬＧを送信し、サーバ装置１００Ａが学習モデルＭ１を構築したが、第３実施形態ではユーザ装置２００ＢがログデータＬＧに基づいて学習モデルＭ１を構築し、これを用いて予測される未操作時間帯Ｔｘにおいてユーザ装置２００Ｂが音入力装置２５２をオフ状態にさせる。 That is, in the first embodiment, the user device 200A transmits the log data LG to the server device 100A, and the server device 100A constructs the learning model M1, but in the third embodiment, the user device 200B is based on the log data LG. The learning model M1 is constructed, and the user device 200B turns off the sound input device 252 in the unoperated time zone Tx predicted by using the learning model M1.
　処理装置２１０は、記憶装置２３０から制御プログラムＰ４を読み出して当該プログラムを実行することによって、取得部１２０Ｂ、推定部１２２Ａ、制御データ生成部１２４、制御部２２２、及び音声エージェント部２２４として機能する。 The processing device 210 functions as an acquisition unit 120B, an estimation unit 122A, a control data generation unit 124, a control unit 222, and a voice agent unit 224 by reading the control program P4 from the storage device 230 and executing the program.
　取得部１２０Ｂは、記憶装置２３０からログデータＬＧを読み出して当該ログデータを取得する。この点で、ユーザ装置２００ＡからログデータＬＧを取得する第１実施形態の取得部１２０Ａと相違する。推定部１２２Ａは、ログデータＬＧに基づいて未操作時間帯Ｔｘを推定する。具体的には、予測部１２２２が学習モデルＭ１を用いて予測データＤｐを生成する。制御部２２２は、制御データＤｃに基づいて未操作時間帯Ｔｘに音入力装置２５２をオフ状態に制御する。 The acquisition unit 120B reads the log data LG from the storage device 230 and acquires the log data. In this respect, it differs from the acquisition unit 120A of the first embodiment in which the log data LG is acquired from the user device 200A. The estimation unit 122A estimates the non-operation time zone Tx based on the log data LG. Specifically, the prediction unit 1222 generates prediction data Dp using the learning model M1. The control unit 222 controls the sound input device 252 to the off state during the non-operation time zone Tx based on the control data Dc.
　第３実施形態のユーザ装置２００Ｂは、ログデータＬＧをサーバ装置１００Ａに送信しないので、通信資源を節約することができる。また、ログデータＬＧには、個人情報が含まれるので、ユーザ装置２００Ｂは、個人情報を保護する観点からセキュリティを高めることができる。 Since the user device 200B of the third embodiment does not transmit the log data LG to the server device 100A, communication resources can be saved. Further, since the log data LG includes personal information, the user device 200B can enhance the security from the viewpoint of protecting the personal information.
　第３実施形態のユーザ装置２００Ｂに含まれる、取得部１２０Ｂ、推定部１２２Ａ、及び制御データ生成部１２４は、制御データを生成する制御データ生成装置の一例である。
　また、上述したユーザ装置２００Ｂにおいて、推定部１２２Ａの替わりに第２実施形態で説明した推定部１２２Ｂを用いてもよい。推定部１２２Ｂを用いる場合は、推定部１２２Ａを用いる場合と比較して、学習モデルＭ２の学習効率を高めることができる。 The acquisition unit 120B, the estimation unit 122A, and the control data generation unit 124 included in the user device 200B of the third embodiment are examples of the control data generation device that generates control data.
Further, in the user device 200B described above, the estimation unit 122B described in the second embodiment may be used instead of the estimation unit 122A. When the estimation unit 122B is used, the learning efficiency of the learning model M2 can be improved as compared with the case where the estimation unit 122A is used.
[４．第４実施形態]
　上述した第１実施形態、第２実施形態、及び第３実施形態では、未操作時間帯Ｔｘが学習モデルＭ１又はＭ２を用いて推定された。これに対して、第４実施形態では、機械学習を用いることなくログデータＬＧを分析して、未操作時間帯Ｔｘが特定される。 [4. Fourth Embodiment]
In the first embodiment, the second embodiment, and the third embodiment described above, the unoperated time zone Tx was estimated using the learning model M1 or M2. On the other hand, in the fourth embodiment, the log data LG is analyzed without using machine learning, and the non-operation time zone Tx is specified.
　図９は、第４実施形態に係る情報処理システム１０の構成例を示すブロック図である。第４実施形態に係る情報処理システム１０は、サーバ装置１００Ａの替わりにサーバ装置１００Ｃを用いる点を除いて、第１実施形態の情報処理システム１０と同様に構成されている。 FIG. 9 is a block diagram showing a configuration example of the information processing system 10 according to the fourth embodiment. The information processing system 10 according to the fourth embodiment is configured in the same manner as the information processing system 10 according to the first embodiment, except that the server device 100C is used instead of the server device 100A.
　サーバ装置１００Ｃは、推定部１２２Ａの替わりに推定部１２２Ｃを用いる点、記憶装置１３０が制御プログラムＰ１に替わりに制御プログラムＰ５を記憶する点、及び記憶装置１３０が学習モデルＭ１を記憶しない点で、第１実施形態のサーバ装置１００Ａと相違する。 The server device 100C uses the estimation unit 122C instead of the estimation unit 122A, the storage device 130 stores the control program P5 instead of the control program P1, and the storage device 130 does not store the learning model M1. It is different from the server device 100A of the first embodiment.
　以下、相違点を中心に説明する。推定部１２２Ｃは、ログデータＬＧに基づいて、未操作時間帯Ｔｘを推定する。推定部１２２Ｃは、算出部１２２４及び特定部１２２５を備える。算出部１２２４は、ログデータＬＧに基づいて、複数の時間帯Ｔｚの各々について音声による操作がなされない可能性の程度を示す評価値を算出する。例えば、評価値が小さい場合と比較して評価値が大きい場合、音声による操作がなされない可能性が高くなる。逆に、評価値が大きい場合と比較して評価値が小さい場合、音声による操作がなされない可能性が高くなってもよい。例えば、評価値には、時間帯Ｔｚごとに音声による操作がなされた回数が用いられる。評価値に音声による操作がなされた回数が用いられる場合、評価値が大きい場合と比較して評価値が小さい場合、音声による操作がなされない可能性が高くなる。 The differences will be mainly explained below. The estimation unit 122C estimates the non-operation time zone Tx based on the log data LG. The estimation unit 122C includes a calculation unit 1224 and a specific unit 1225. Based on the log data LG, the calculation unit 1224 calculates an evaluation value indicating the degree of possibility that the operation by voice is not performed for each of the plurality of time zones Tz. For example, when the evaluation value is large as compared with the case where the evaluation value is small, there is a high possibility that the operation by voice is not performed. On the contrary, when the evaluation value is small as compared with the case where the evaluation value is large, there is a high possibility that the operation by voice is not performed. For example, as the evaluation value, the number of times the voice operation is performed for each time zone Tz is used. When the number of times the voice operation is performed is used as the evaluation value, when the evaluation value is smaller than when the evaluation value is large, there is a high possibility that the voice operation is not performed.
　特定部１２２５は、評価値を所定値と比較した比較結果に基づいて、未操作時間帯Ｔｘを特定する。所定値より小さい評価値を持つ時間帯Ｔｚが未操作時間帯Ｔｘとして特定される。 The identification unit 1225 specifies the non-operation time zone Tx based on the comparison result of comparing the evaluation value with the predetermined value. A time zone Tz having an evaluation value smaller than a predetermined value is specified as an unoperated time zone Tx.
　制御データ生成部１２４は、特定部１２２５で特定された未操作時間帯Ｔｘにおいて音入力装置２５２をオフ状態にすることを指示する制御データＤｃを生成し、制御部２２２は制御データＤｃに従って音入力装置２５２をオフ状態に制御する。 The control data generation unit 124 generates control data Dc instructing the sound input device 252 to be turned off in the unoperated time zone Tx specified by the specific unit 1225, and the control unit 222 inputs sound according to the control data Dc. The device 252 is controlled to the off state.
　図１０は、第４実施形態に係る情報処理システム１０の動作を説明するためのフローチャートである。図１０に示すフローチャートが図４に示すフローチャートと相違するのは、ステップＳ１２０、ステップＳ１３０及びステップＳ１４０の替わりに、ステップＳ１０２及びステップＳ１０４を設けた点である。相違点について説明する。 FIG. 10 is a flowchart for explaining the operation of the information processing system 10 according to the fourth embodiment. The flowchart shown in FIG. 10 is different from the flowchart shown in FIG. 4 in that steps S102 and S104 are provided instead of steps S120, S130 and S140. The differences will be described.
　ステップＳ１０２において、処理装置１１０は算出部１２２４として機能し、ログデータＬＧに基づいて、複数の時間帯Ｔｚの各々について評価値を算出する。具体的には、算出部１２２４は、例えば、現在から所定期間（例えば、1ヶ月）だけ過去のログデータＬＧを抽出し、時間帯Ｔｚごとに音声による操作がなされた回数を算出し、回数を評価値とする。例えば、8：20～8：40の時間帯Ｔｚ２５に50回、10：00～10：20の時間帯Ｔｚ２６に２回、といった具合である。 In step S102, the processing device 110 functions as the calculation unit 1224, and calculates the evaluation value for each of the plurality of time zones Tz based on the log data LG. Specifically, the calculation unit 1224 extracts the past log data LG for a predetermined period (for example, one month) from the present, calculates the number of times the voice operation is performed for each time zone Tz, and calculates the number of times. Use as an evaluation value. For example, 50 times in the time zone Tz25 from 8:20 to 8:40, twice in the time zone Tz26 from 10:00 to 10:20, and so on.
　ステップＳ１０４において、処理装置１１０は特定部１２２５として機能し、評価値を所定値と比較した比較結果に基づいて、未操作時間帯Ｔｘを特定する。上述した例において、所定値が「３」であれば、所定値より小さい評価値「２」を持つ時間帯Ｔｚ２６が未操作時間帯Ｔｘとして特定される。 In step S104, the processing device 110 functions as a specific unit 1225, and specifies the non-operation time zone Tx based on the comparison result of comparing the evaluation value with the predetermined value. In the above example, if the predetermined value is "3", the time zone Tz26 having an evaluation value "2" smaller than the predetermined value is specified as the unoperated time zone Tx.
　本実施形態のサーバ装置１００Ｃは、ログデータＬＧに基づいて、複数の時間帯Ｔｚの各々について音声による操作がなされない可能性の程度を示す評価値を算出する算出部１２２４と、評価値を所定値と比較した比較結果に基づいて、未操作時間帯Ｔｘを特定する特定部１２２５とを備える。このため、学習モデルＭ１又はＭ２を用いる場合と比較して、簡易に未操作時間帯Ｔｘを推定することができる。 The server device 100C of the present embodiment determines the evaluation value and the calculation unit 1224 that calculates the evaluation value indicating the degree of possibility that the operation by voice is not performed for each of the plurality of time zones Tz based on the log data LG. A specific unit 1225 for specifying the non-operation time zone Tx based on the comparison result compared with the value is provided. Therefore, the unoperated time zone Tx can be easily estimated as compared with the case where the learning model M1 or M2 is used.
　なお、第４実施形態のサーバ装置１００Ｃに含まれる、取得部１２０Ａ、推定部１２２Ｃ、及び制御データ生成部１２４は、制御データを生成する制御データ生成装置の一例である。 The acquisition unit 120A, the estimation unit 122C, and the control data generation unit 124 included in the server device 100C of the fourth embodiment are examples of the control data generation device that generates control data.
　また、第３実施形態のユーザ装置２００Ｂにおいて、推定部１２２Ａの替わりに推定部１２２Ｃを用い、記憶装置２３０から学習モデルＭ１を設けなくてもよい。 Further, in the user device 200B of the third embodiment, the estimation unit 122C may be used instead of the estimation unit 122A, and the learning model M1 may not be provided from the storage device 230.
[５．変形例]
　本発明は、以上に例示した実施形態に限定されない。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様を併合してもよい。 [5. Modification example]
The present invention is not limited to the embodiments exemplified above. A specific mode of modification is illustrated below. Two or more aspects arbitrarily selected from the following examples may be merged.
[第１変形例]
　上述した第２実施形態において、取得部１２０Ａは、ログデータＬＧの他に、ユーザの行動に関するスケジュールを示すスケジュールデータを取得してもよい。スケジュールデータはユーザ装置２００Ａから取得されてもよいし、他のサーバ装置から取得されてもよい。例えば、ユーザがクラウド上にスケジュールデータを保存しているのであれば、スケジュールデータは、当該スケジュールデータを管理するサーバ装置から取得されてもよい。
　学習部１２２３は、予測データＤｐに対応する時間帯より前のログデータＬＧとスケジュールデータとに基づいて、行動データＤａを生成すればよい。
　第１変形例によれば、ログデータＬＧのみならずスケジュールデータを考慮して、行動データＤａが生成されるので、より正確な行動データＤａに基づいて予測日における未操作時間帯Ｔｘを推定することできる。この結果、未操作時間帯Ｔｘの推定精度を向上させることができ、ひいては、ユーザ装置２００Ａの消費電力を削減できる。 [First modification]
In the second embodiment described above, the acquisition unit 120A may acquire schedule data indicating a schedule related to the user's behavior in addition to the log data LG. The schedule data may be acquired from the user apparatus 200A or may be acquired from another server apparatus. For example, if the user stores the schedule data on the cloud, the schedule data may be acquired from the server device that manages the schedule data.
The learning unit 1223 may generate the action data Da based on the log data LG and the schedule data before the time zone corresponding to the prediction data Dp.
According to the first modification, since the action data Da is generated in consideration of not only the log data LG but also the schedule data, the unoperated time zone Tx on the predicted date is estimated based on the more accurate action data Da. Can be done. As a result, the estimation accuracy of the non-operating time zone Tx can be improved, and the power consumption of the user device 200A can be reduced.
[第２変形例]
　上述した各実施形態において、ユーザ装置２００Ａ又は２００Ｂは、ユーザ装置２００Ａ又は２００Ｂが使用される状態を検出する検出装置を備えてもよい。検出装置は、例えば、近接センサーである。制御部２２２は、制御データＤｃが音入力装置２５２をオフ状態にすることを指定しない時間帯Ｔｚにおいて、検出装置の検出結果が所定の状態である場合、音入力装置２５２をオフ状態にさせる。例えば、制御部２２２は、近接センサーの出力データによって、表示装置２６１の表示面が物体（例えば、テーブル）に近接していると判定した場合、音入力装置２５２をオフ状態にさせる。或いは、制御部２２２は、音入力装置２５２から出力される音データに基づいて検出装置を用いてＳＮ比を検出し、検出されたＳＮ比が所定値より低い場合、音入力装置２５２をオフ状態にさせる。ＳＮ比は人の声の帯域のエネルギー成分を信号成分Ｓに適用し、それ以外の帯域のエネルギー成分をノイズ成分Ｎに適用することで算出されてもよい。ＳＮ比が所定値より低い場合には、音声認識が不能になる可能性が高い。このため、音入力装置２５２がオフ状態であっても、ユーザ装置２００Ａ又は２００Ｂの操作性を大きく損なうことなく、これらユーザ装置の消費電力を削減することができる。 [Second modification]
In each of the above embodiments, the user device 200A or 200B may include a detection device that detects a state in which the user device 200A or 200B is in use. The detection device is, for example, a proximity sensor. The control unit 222 turns off the sound input device 252 when the detection result of the detection device is in a predetermined state in the time zone Tz in which the control data Dc does not specify that the sound input device 252 is turned off. For example, when the control unit 222 determines based on the output data of the proximity sensor that the display surface of the display device 261 is close to an object (for example, a table), the control unit 222 turns off the sound input device 252. Alternatively, the control unit 222 detects the SN ratio using the detection device based on the sound data output from the sound input device 252, and when the detected SN ratio is lower than the predetermined value, the sound input device 252 is turned off. Let me. The signal-to-noise ratio may be calculated by applying the energy component of the human voice band to the signal component S and applying the energy component of the other band to the noise component N. When the SN ratio is lower than the predetermined value, there is a high possibility that voice recognition becomes impossible. Therefore, even when the sound input device 252 is in the off state, the power consumption of the user devices 200A or 200B can be reduced without significantly impairing the operability of the user devices 200A or 200B.
[第３変形例]
　上述した第１実施形態、第２実施形態及び第４実施形態では、制御データＤｃがサーバ装置１００Ａ又は１００Ｃからユーザ装置２００Ａに送信されたが、ユーザ装置２００Ａのユーザが所持する他の装置に制御データＤｃが送信されてもよい。他の装置としては、例えば、ウェアラブル機器が該当する。この場合、ユーザ装置２００ＡのログデータＬＧから生成される制御データＤｃをウェアラブル機器に適用できる。ウェアラブル機器はログデータＬＧをサーバ装置１００Ａ又は１００Ｃに送信しなくてもよいので、ウェアラブル機器の消費電力を削減することができる。なお、ユーザが所持する他の装置は、いわゆるＡＩスピーカーであってもよい。 [Third variant]
In the first embodiment, the second embodiment, and the fourth embodiment described above, the control data Dc is transmitted from the server device 100A or 100C to the user device 200A, but is controlled by another device owned by the user of the user device 200A. Data Dc may be transmitted. As another device, for example, a wearable device is applicable. In this case, the control data Dc generated from the log data LG of the user device 200A can be applied to the wearable device. Since the wearable device does not have to transmit the log data LG to the server device 100A or 100C, the power consumption of the wearable device can be reduced. The other device owned by the user may be a so-called AI speaker.
[６．その他]
（１）上述した実施形態では、記憶装置１３０及び２３０は、処理装置１１０又は２１０が読取可能な記録媒体であり、ＲＯＭ及びＲＡＭなどを例示したが、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリデバイス(例えば、カード、スティック、キードライブ)、ＣＤ－ＲＯＭ（Compact　Disc－ＲＯＭ）、レジスタ、リムーバブルディスク、ハードディスク、フロッピー（登録商標）ディスク、磁気ストリップ、データベース、サーバその他の適切な記憶媒体である。また、プログラムは、電気通信回線を介してネットワークから送信されてもよい。また、プログラムは、電気通信回線を介して通信網から送信されてもよい。 [6. Others]
(1) In the above-described embodiment, the storage devices 130 and 230 are recording media that can be read by the processing device 110 or 210, and examples thereof include a ROM and a RAM, but a flexible disk, a magneto-optical disk (for example, a compact disk) , Digital versatile discs, Blu-ray® discs), smart cards, flash memory devices (eg cards, sticks, key drives), CD-ROMs (Compact Disc-ROMs), registers, removable disks, hard disks, Floppy® disks, magnetic strips, databases, servers and other suitable storage media. The program may also be transmitted from the network via a telecommunication line. The program may also be transmitted from the communication network via a telecommunication line.
（２）上述した実施形態において、説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。 (2) In the above-described embodiment, the described information, signals, and the like may be represented using any of a variety of different techniques. For example, data, instructions, commands, information, signals, bits, symbols, chips, etc. that may be referred to throughout the above description may be voltage, current, electromagnetic waves, magnetic fields or magnetic particles, light fields or photons, or any of these. It may be represented by a combination of.
（３）上述した実施形態において、入出力された情報等は特定の場所（例えば、メモリ）に保存されてもよいし、管理テーブルを用いて管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。 (3) In the above-described embodiment, the input / output information and the like may be stored in a specific place (for example, a memory) or may be managed by using a management table. Input / output information and the like can be overwritten, updated, or added. The output information and the like may be deleted. The input information or the like may be transmitted to another device.
（４）上述した実施形態において、判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：true又はfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。 (4) In the above-described embodiment, the determination may be made by a value represented by 1 bit (0 or 1) or by a boolean value (Boolean: true or false). , May be done by numerical comparison (eg, comparison with a given value).
（５）上述した実施形態において例示した処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素を提示しており、提示した特定の順序に限定されない。 (5) The order of the processing procedures, sequences, flowcharts, etc. exemplified in the above-described embodiment may be changed as long as there is no contradiction. For example, the methods described in the present disclosure present elements of various steps using exemplary order, and are not limited to the particular order presented.
（６）図１、図５、図８及び図９に例示された各機能は、ハードウェア及びソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的又は論理的に結合した１つの装置を用いて実現されてもよいし、物理的又は論理的に分離した２つ以上の装置を直接的又は間接的に（例えば、有線、無線などを用いて）接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記１つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。 (6) Each of the functions illustrated in FIGS. 1, 5, 8 and 9 is realized by any combination of at least one of hardware and software. Further, the method of realizing each functional block is not particularly limited. That is, each functional block may be realized by using one physically or logically connected device, or directly or indirectly (for example, two or more physically or logically separated devices). , Wired, wireless, etc.) and may be realized using these plurality of devices. The functional block may be realized by combining the software with the one device or the plurality of devices.
（７）上述した実施形態で例示したプログラムは、ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。 (7) In the program illustrated in the above-described embodiment, the software is an instruction, an instruction set, a code, regardless of whether the software is called software, firmware, middleware, microcode, hardware description language, or another name. It should be broadly interpreted to mean code segments, program code, programs, subprograms, software modules, applications, software applications, software packages, routines, subroutines, objects, executable files, execution threads, procedures, features, etc. ..
　また、ソフトウェア、命令、情報などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術（同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ：Digital　Subscriber　Line）など）及び無線技術（赤外線、マイクロ波など）の少なくとも一方を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。 In addition, software, instructions, information, etc. may be transmitted and received via a transmission medium. For example, a website that uses at least one of wired technology (coaxial cable, fiber optic cable, twisted pair, digital subscriber line (DSL: Digital Subscriber Line), etc.) and wireless technology (infrared, microwave, etc.) When transmitted from a server, or other remote source, at least one of these wired and wireless technologies is included within the definition of transmission medium.
（８）上述した実施形態において、「接続された(connected)」、「結合された(coupled)」という用語、又はこれらのあらゆる変形は、２又はそれ以上の要素間の直接的又は間接的なあらゆる接続又は結合を意味し、互いに「接続」又は「結合」された２つの要素間に１又はそれ以上の中間要素が存在することを含むことができる。要素間の結合又は接続は、物理的なものであっても、論理的なものであっても、或いはこれらの組み合わせであってもよい。例えば、「接続」は「アクセス」で読み替えられてもよい。本開示で使用する場合、２つの要素は、１又はそれ以上の電線、ケーブル及びプリント電気接続の少なくとも一つを用いて、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域及び光（可視及び不可視の両方）領域の波長を有する電磁エネルギーなどを用いて、互いに「接続」又は「結合」されると考えることができる。 (8) In the embodiments described above, the terms "connected", "coupled", or any variation thereof, are direct or indirect between two or more elements. It means any connection or connection and can include the presence of one or more intermediate elements between two elements that are "connected" or "connected" to each other. The connection or connection between the elements may be physical, logical, or a combination thereof. For example, "connection" may be read as "access". As used in the present disclosure, the two elements use at least one of one or more wires, cables and printed electrical connections, and, as some non-limiting and non-comprehensive examples, the radio frequency domain. Can be considered to be "connected" or "coupled" to each other using electromagnetic energy having wavelengths in the microwave and light (both visible and invisible) regions.
（９）上述した実施形態において、「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。 (9) In the above embodiments, the statement "based on" does not mean "based on" unless otherwise stated. In other words, the statement "based on" means both "based only" and "at least based on".
（１０）上述した実施形態において、「含む（include）」、「含んでいる（including）」及びそれらの変形が使用されている場合、これらの用語は、用語「備える（comprising）」と同様に、包括的であることが意図される。更に、本開示において使用されている用語「又は（or）」は、排他的論理和ではないことが意図される。 (10) When "include", "including" and variants thereof are used in the above-described embodiments, these terms are similar to the term "comprising". , Intended to be comprehensive. Furthermore, the term "or" used in the present disclosure is intended not to be an exclusive OR.
（１１）本開示において、例えば、英語でのa,　an及びtheのように、翻訳により冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。 (11) In the present disclosure, when articles are added by translation, for example, a, an and the in English, the disclosure also includes the plural nouns following these articles. Good.
（１２）本開示において、「ＡとＢが異なる」という用語は、「ＡとＢが互いに異なる」ことを意味してもよい。なお、当該用語は、「ＡとＢがそれぞれＣと異なる」ことを意味してもよい。「離れる」、「結合される」等の用語も、「異なる」と同様に解釈されてもよい。 (12) In the present disclosure, the term "A and B are different" may mean "A and B are different from each other". The term may mean that "A and B are different from C". Terms such as "separate" and "combined" may be interpreted in the same way as "different".
（１３）本開示において説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。 (13) Each aspect / embodiment described in the present disclosure may be used alone, in combination, or may be switched according to the execution. Further, the notification of predetermined information (for example, the notification of "being X") is not limited to the explicit notification, but is performed implicitly (for example, the notification of the predetermined information is not performed). May be good.
　以上、本開示について詳細に説明したが、当業者にとっては、本開示が本開示中に説明した実施形態に限定されるものではないということは明らかである。本開示は、請求の範囲の記載により定まる本開示の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。従って、本開示の記載は、例示説明を目的とするものであり、本開示に対して何ら制限的な意味を有するものではない。 Although the present disclosure has been described in detail above, it is clear to those skilled in the art that the present disclosure is not limited to the embodiments described in the present disclosure. The present disclosure may be implemented as an amendment or modification mode without departing from the purpose and scope of the present disclosure, which is determined by the description of the claims. Therefore, the description of this disclosure is for the purpose of exemplary explanation and does not have any restrictive meaning to this disclosure.
　１０…情報処理システム、１００Ａ，１００Ｂ，１００Ｃ…サーバ装置、１１０，２１０…処理装置、１２０Ａ，１２０Ｂ…取得部、１２２Ａ，１２２Ｂ，１２２Ｃ…推定部、１２４…制御データ生成部、２００Ａ，２００Ｂ…ユーザ装置、２２２…制御部、２５２…音入力装置、１２２１，１２２３…学習部、１２２２…予測部、１２２４…算出部、１２２５…特定部、Ｄａ…行動データ、Ｄｃ…制御データ、Ｄｌ…ラベルデータ、Ｄｐ…予測データ、Ｄｔ…教師データ、ＬＧ…ログデータ、Ｍ１，Ｍ２…学習モデル、Ｔｘ…未操作時間帯。 10 ... Information processing system, 100A, 100B, 100C ... Server device, 110, 210 ... Processing device, 120A, 120B ... Acquisition unit, 122A, 122B, 122C ... Estimating unit, 124 ... Control data generation unit, 200A, 200B ... User Device, 222 ... Control unit, 252 ... Sound input device, 1221, 1223 ... Learning unit, 1222 ... Prediction unit, 1224 ... Calculation unit, 1225 ... Specific unit, Da ... Behavior data, Dc ... Control data, Dl ... Label data, Dp ... Prediction data, Dt ... Teacher data, LG ... Log data, M1, M2 ... Learning model, Tx ... Unoperated time zone.

Claims (9)

  1. 　ユーザ装置におけるユーザの音声による操作を含む動作内容と時間を対応付けたログデータを取得する取得部と、
    　前記ログデータに基づいて、１日を区分した複数の時間帯のうち前記音声による操作がなされない未操作時間帯を推定する推定部と、
    　前記未操作時間帯に前記音声の入力を受け付ける音入力装置をオフ状態にすることを指示する制御データを生成する制御データ生成部と、
    　を備える制御データ生成装置。     An acquisition unit that acquires log data that associates time with operation content including user voice operations on the user device.
    Based on the log data, an estimation unit that estimates an unoperated time zone in which the voice operation is not performed among a plurality of time zones in which one day is divided,
    A control data generation unit that generates control data instructing the sound input device that accepts the voice input to be turned off during the non-operation time zone.
    A control data generator comprising.
  2. 　前記推定部は、
    　前記ログデータと前記音声による操作がなされなかった時間帯との関係を学習モデルに学習させる学習部と、
    　前記学習モデルを用いて、将来の時間帯における前記音声による操作の有無を示す予測データを生成する予測部とを備え、
    　前記制御データは、前記予測データの示す前記未操作時間帯に前記音入力装置をオフ状態にすることを指示するデータである、
    　請求項１に記載の制御データ生成装置。     The estimation unit
    A learning unit that causes the learning model to learn the relationship between the log data and the time zone in which the voice operation was not performed.
    It is provided with a prediction unit that generates prediction data indicating the presence or absence of the voice operation in a future time zone using the learning model.
    The control data is data instructing the sound input device to be turned off during the non-operation time zone indicated by the prediction data.
    The control data generation device according to claim 1.
  3. 　前記学習部は、前記ログデータを基に前記予測データの正誤を示すラベルデータを生成し、前記ラベルデータと前記予測データに対応する時間帯より前のログデータとの組を教師データとして前記学習モデルに学習させる、
    　請求項２に記載の制御データ生成装置。     The learning unit generates label data indicating the correctness of the predicted data based on the log data, and uses the pair of the label data and the log data before the time zone corresponding to the predicted data as teacher data for the learning. Let the model learn
    The control data generation device according to claim 2.
  4. 　前記学習部は、
    　前記ログデータを基に前記予測データの正誤を示すラベルデータを生成し、
    　前記予測データに対応する時間帯より前のログデータを基に前記ユーザの行動内容と行動がなされた時間とを対応付けた行動データを生成し、
    　前記ラベルデータと前記行動データの組を教師データとして前記学習モデルに学習させる、
    　請求項２に記載の制御データ生成装置。     The learning unit
    Label data indicating the correctness of the predicted data is generated based on the log data.
    Based on the log data before the time zone corresponding to the predicted data, the action data in which the action content of the user and the time when the action was performed are associated with each other is generated.
    The training model is trained using the set of the label data and the behavior data as teacher data.
    The control data generation device according to claim 2.
  5. 　前記取得部は、前記ユーザの行動に関するスケジュールを示すスケジュールデータを取得し、
    　前記学習部は、前記予測データに対応する時間帯より前のログデータと前記スケジュールデータとに基づいて、前記行動データを生成する、
    　請求項４に記載の制御データ生成装置。     The acquisition unit acquires schedule data indicating a schedule related to the user's behavior, and obtains schedule data.
    The learning unit generates the action data based on the log data before the time zone corresponding to the prediction data and the schedule data.
    The control data generation device according to claim 4.
  6. 　前記推定部は、
    　前記ログデータに基づいて、前記複数の時間帯の各々について前記音声よる操作がなされない可能性の程度を示す評価値を算出する算出部と、
    　前記評価値を所定値と比較した比較結果に基づいて、前記未操作時間帯を特定する特定部と、
    　を備える請求項１に記載の制御データ生成装置。     The estimation unit
    Based on the log data, a calculation unit that calculates an evaluation value indicating the degree of possibility that the operation by voice is not performed for each of the plurality of time zones, and a calculation unit.
    Based on the comparison result of comparing the evaluation value with the predetermined value, the specific unit for specifying the non-operation time zone and the specific unit
    The control data generation device according to claim 1.
  7. 　請求項１から６までのうち、いずれか1項に記載の制御データ生成装置と、
    　前記ユーザの音声の入力を受け付ける音入力装置と、
    　前記制御データに基づいて前記音入力装置をオフ状態にさせる制御部と、
    　を備えるユーザ装置。
          The control data generator according to any one of claims 1 to 6,
    A sound input device that accepts the user's voice input,
    A control unit that turns off the sound input device based on the control data,
    A user device comprising.
  8. 　ユーザが管理するユーザ装置と、前記ユーザ装置と通信可能なサーバ装置とを備える情報処理システムであって、
    　前記ユーザ装置は、
    　ユーザの音声の入力を受け付ける音入力装置と、
    　制御データに基づいて前記音入力装置をオフ状態にさせる制御部と、
    　前記ユーザ装置における前記ユーザの音声による操作を含む動作内容と時間を対応付けたログデータを前記サーバ装置に送信し、前記サーバ装置から送信される前記制御データを受信する第１通信装置と、を備え、
    　前記サーバ装置は、
    　前記ユーザ装置から送信される前記ログデータを受信し、前記制御データを前記ユーザ装置に送信する第２通信装置と、
    　前記ログデータに基づいて、１日を区分した複数の時間帯のうち前記音声による操作がなされない未操作時間帯を推定する推定部と、
    　前記未操作時間帯に前記音声の入力を受け付ける音入力装置をオフ状態にすることを指示する前記制御データを生成する制御データ生成部と、を備える、
    情報処理システム。     An information processing system including a user device managed by a user and a server device capable of communicating with the user device.
    The user device is
    A sound input device that accepts user voice input,
    A control unit that turns off the sound input device based on the control data,
    A first communication device that transmits log data associated with time and operation content including a voice operation of the user in the user device to the server device, and receives the control data transmitted from the server device. Prepare,
    The server device
    A second communication device that receives the log data transmitted from the user device and transmits the control data to the user device.
    Based on the log data, an estimation unit that estimates an unoperated time zone in which the voice operation is not performed among a plurality of time zones in which one day is divided, and an estimation unit.
    It includes a control data generation unit that generates the control data instructing the sound input device that receives the voice input to be turned off during the non-operation time zone.
    Information processing system.
  9. 　前記ユーザ装置は、
    　前記ユーザ装置が使用される状態を検出する検出装置を備え、
    　前記制御部は、前記制御データが前記音入力装置をオフ状態にすることを指定しない時間帯において、前記検出装置の検出結果が所定の状態である場合、前記音入力装置をオフ状態にさせる、
    　請求項８に記載の情報処理システム。     The user device is
    A detection device for detecting a state in which the user device is used is provided.
    The control unit turns the sound input device off when the detection result of the detection device is a predetermined state in a time zone in which the control data does not specify that the sound input device is turned off.
    The information processing system according to claim 8.
PCT/JP2019/049097 2019-03-28 2019-12-16 Control data generation device, user device, and information processing system WO2020194915A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021508743A JP7369181B2 (en) 2019-03-28 2019-12-16 Control data generation device, user device and information processing system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-062807 2019-03-28
JP2019062807 2019-03-28

Publications (1)

Publication Number Publication Date
WO2020194915A1 true WO2020194915A1 (en) 2020-10-01

Family

ID=72608790

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/049097 WO2020194915A1 (en) 2019-03-28 2019-12-16 Control data generation device, user device, and information processing system

Country Status (2)

Country Link
JP (1) JP7369181B2 (en)
WO (1) WO2020194915A1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013114023A (en) * 2011-11-29 2013-06-10 Sharp Corp Image forming device with learning function in power-saving mode and control device thereof
WO2014068737A1 (en) * 2012-10-31 2014-05-08 楽天株式会社 Portable terminal, control method for portable terminal, program and recording medium

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3956837B2 (en) 2002-11-20 2007-08-08 日本電気株式会社 Mobile terminal device
JP2005182357A (en) 2003-12-18 2005-07-07 Matsushita Electric Ind Co Ltd Dialog system
JP4325467B2 (en) 2004-03-31 2009-09-02 日本電気株式会社 Automatic power control system
JP2012049749A (en) 2010-08-25 2012-03-08 Sony Corp Information processor and information processing method
JP6701979B2 (en) 2016-06-01 2020-05-27 富士通株式会社 Learning model difference providing program, learning model difference providing method, and learning model difference providing system
JP6901871B2 (en) 2017-03-01 2021-07-14 大和ハウス工業株式会社 Interface unit
JP6577542B2 (en) 2017-09-05 2019-09-18 ファナック株式会社 Control device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013114023A (en) * 2011-11-29 2013-06-10 Sharp Corp Image forming device with learning function in power-saving mode and control device thereof
WO2014068737A1 (en) * 2012-10-31 2014-05-08 楽天株式会社 Portable terminal, control method for portable terminal, program and recording medium

Also Published As

Publication number Publication date
JPWO2020194915A1 (en) 2020-10-01
JP7369181B2 (en) 2023-10-25

Similar Documents

Publication Publication Date Title
CN107172590B (en) Mobile terminal and activity state information processing method and device based on same
US8744413B2 (en) Mobile terminal and method for displaying standby screen according to analysis result of user's behavior
CN109427333A (en) Activate the method for speech-recognition services and the electronic device for realizing the method
CN1993701B (en) Method and apparatus for accessing information on an external machine-readable tag
CN106104528A (en) Begin a project for screen and select and the method based on model of disambiguation
EP2567318A2 (en) Application state and activity transfer between devices
CN113220388A (en) Application suggestion based on detected trigger events
CN109150674A (en) Fault cues system, method and device thereof, equipment, storage medium
CN103403644A (en) Delayed shut down of computer
KR101531059B1 (en) Rfid reader, rfid tag, and controlling method thereof
KR101886058B1 (en) User terminal device and information providing method using the same
CN103488666A (en) Information processing apparatus, electronic device, information processing method and program
CN103455472A (en) Information processing apparatus, information processing method and program
CN106791120A (en) Mobile terminal puts out the control method and device of screen
CN109683728A (en) Group member adding method and device
CN106897134A (en) A kind of positioning function management method and device
WO2020194915A1 (en) Control data generation device, user device, and information processing system
US20220301004A1 (en) Click rate prediction model construction device
JP5241271B2 (en) Information providing apparatus, control method thereof, and program
CN108540651A (en) A kind of the recommendation method and mobile terminal of application program
US10685555B2 (en) Information processing apparatus, information processing method, and program
US11748424B2 (en) Visiting destination prediction device and visiting destination prediction method
CN100466585C (en) Method and apparatus for implementing leaf node proxy in network
CN113780975B (en) Intelligent schedule information reminding method, equipment, storage medium and software program product
CN116723560A (en) Network awakening method and device, electronic equipment and vehicle

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19921906

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021508743

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19921906

Country of ref document: EP

Kind code of ref document: A1