JP6432859B2 - Service providing system and program - Google Patents

Service providing system and program Download PDF

Info

Publication number
JP6432859B2
JP6432859B2 JP2014172512A JP2014172512A JP6432859B2 JP 6432859 B2 JP6432859 B2 JP 6432859B2 JP 2014172512 A JP2014172512 A JP 2014172512A JP 2014172512 A JP2014172512 A JP 2014172512A JP 6432859 B2 JP6432859 B2 JP 6432859B2
Authority
JP
Japan
Prior art keywords
user
data
learning
server
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014172512A
Other languages
Japanese (ja)
Other versions
JP2016048417A (en
Inventor
豊 塚本
豊 塚本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KABUSIKIGAISYAFUTUREEYE
Original Assignee
KABUSIKIGAISYAFUTUREEYE
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=55649301&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP6432859(B2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by KABUSIKIGAISYAFUTUREEYE filed Critical KABUSIKIGAISYAFUTUREEYE
Priority to JP2014172512A priority Critical patent/JP6432859B2/en
Publication of JP2016048417A publication Critical patent/JP2016048417A/en
Application granted granted Critical
Publication of JP6432859B2 publication Critical patent/JP6432859B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、たとえば、人工知能による機械学習を利用したサービス提供システムおよびプログラムに関する。詳しくは、人工知能による機械学習を利用したサービスを提供するサービス提供システム、および、人工知能による機械学習を利用したサービスをユーザが受けるためにコンピュータにより実行されるプログラムに関する。   The present invention relates to a service providing system and program using machine learning by artificial intelligence, for example. More particularly, the present invention relates to a service providing system that provides a service using machine learning using artificial intelligence, and a program executed by a computer so that a user can receive a service using machine learning using artificial intelligence.

人工知能による機械学習を行なうために複数の情報源のそれぞれから学習データを作成するものがあった(例えば、特許文献1)。   In order to perform machine learning using artificial intelligence, there is one that creates learning data from each of a plurality of information sources (for example, Patent Document 1).

特開2011−232997号公報JP 2011-232997 A

しかし、機械学習のための学習データは膨大な量必要であり、この膨大な学習データを作成するためには、情報源から必要な情報を大量に収集しなければならず、機械学習を実用化するためには、この情報収集に要する労力とコストを抑えることが必要不可欠である。   However, an enormous amount of learning data is required for machine learning, and in order to create such an enormous amount of learning data, a large amount of necessary information must be collected from information sources, and machine learning is put to practical use. In order to do this, it is essential to reduce the labor and cost required to collect this information.

また、例えば、不特定多数の大衆から大量の情報を収集して膨大な学習データにより機械学習を行なってモデル化された一般的なモデルは、不特定多数の大衆全体についての平均的なモデルとなってしまう傾向があり、その一般的モデルを用いて各々個人差のある各ユーザにサービスを提供した場合には、その平均から外れているユーザにはマッチしないサービスとなってしまう虞が生じる。   In addition, for example, a general model modeled by collecting a large amount of information from an unspecified large number of people and performing machine learning with a large amount of learning data is an average model for the entire unspecified large number of people. If the general model is used to provide a service to each user having individual differences, there is a possibility that the service does not match a user who is out of the average.

本発明は、かかる実情に鑑み考え出されたものであり、その目的は、学習データを作成するために必要な膨大な量の情報収集に要する労力とコストを抑えることである。さらなる目的は、機械学習の結果の一般的なモデルを用いたサービスがユーザにマッチしない場合が生じる不都合を解決することである。   The present invention has been conceived in view of such circumstances, and an object of the present invention is to reduce the labor and cost required for collecting an enormous amount of information necessary for creating learning data. A further object is to solve the disadvantage that a service using a general model of machine learning results may not match the user.

課題を解決するための手段の具体例およびその効果Specific examples of means for solving the problems and their effects

次に、課題を解決するための各種手段と実施の形態との対応関係の一例を以下に括弧書で示す。   Next, an example of the correspondence between various means for solving the problem and the embodiment is shown in parentheses below.

本発明は、人工知能による機械学習を利用したサービスを提供するサービス提供システム(例えば、図9と図10等)であって、
ユーザから送られてくる複数ユーザ分の情報(例えば、ユーザ70が見ている映像や視線の位置、音声、GPS位置データなどのアラウンドデータ等)を基にした学習データを入力して機械学習によりモデル化した一般的なモデル(例えば、暗記学習モデルTi=T0・I、筋トレモデルFi=F0+(i-1)/a等)を生成するための機械学習手段(例えば、S189、S214、図15等)と、
ユーザから送られてくる当該ユーザ1人分の情報に基づいて前記一般的なモデルを当該ユーザに適したモデルにパーソナライズ化するためのパーソナライズ化手段(例えば、S191とS204、S223とS228等)と、
前記パーソナライズ化されたモデルを用いて当該ユーザにパーソナライズ化されたサービス(例えば、最も効率的な復習計画に基づいた学習事項の提供、最も効率的な筋トレ計画に基づいた筋トレメニューの提供等)を提供するサービス提供手段(例えば、S206、S229等)と、を備え、
前記ユーザから送られてくる情報を前記機械学習と前記パーソナライズ化との両方に利用し、
前記パーソナライズ化されたモデルは、当該パーソナライズ化に用いられた前記ユーザ1人分の情報の送信元を特定可能であり(例えば、図10のユーザID:1、ユーザID:2、ユーザID:3)、
前記パーソナライズ化されたモデルを用いて提供される前記サービスを、当該パーソナライズ化されたモデルにより特定可能な前記送信元のユーザが享受する(例えば、S206、S207)
The present invention is a service providing system (for example, FIG. 9 and FIG. 10) that provides a service using machine learning by artificial intelligence,
Machine learning is performed by inputting learning data based on information for a plurality of users sent from a user (for example, video data viewed by the user 70, gaze position, voice, around data such as GPS position data). Machine learning means (for example, S189, S214, figure) for generating a modeled general model (for example, memorization learning model Ti = T0 · I, muscle training model Fi = F0 + (i-1) / a, etc.) 15 mag)
Personalization means (for example, S191 and S204, S223 and S228, etc.) for personalizing the general model into a model suitable for the user based on information for one user sent from the user; ,
Services personalized to the user using the personalized model (for example, provision of learning items based on the most efficient review plan, provision of muscle training menu based on the most efficient muscle training plan, etc.) Service providing means (for example, S206, S229, etc.) for providing
Using information sent from the user for both the machine learning and the personalization ,
The personalized model can specify the transmission source of the information for one user used for the personalization (for example, user ID: 1, user ID: 2, user ID: 3 in FIG. 10). ),
Wherein the service to be provided using a personalized model, user identifiable the sender by the personalized model to enjoy (e.g., S206, S207).

このような構成によれば、機械学習の結果を利用したサービスをユーザに提供することにより、多数のユーザが自ら率先して学習データのための情報提供を行なうようになる。しかも、ユーザから提供された情報が、一般的なモデルを当該ユーザに適したモデルにパーソナライズ化するためのも用いられるために、各ユーザが学習データのための情報提供を他人任せにしてサービスだけ享受するという不都合を極力防止できる。   According to such a configuration, by providing a user with a service using the result of machine learning, a large number of users take the initiative to provide information for learning data. Moreover, since the information provided by the user is also used to personalize a general model into a model suitable for the user, each user can only provide information for learning data and provide services. The inconvenience of enjoying can be prevented as much as possible.

好ましくは、前記機械学習手段は、ユーザ毎に差異のある要素(例えば、暗記力や筋トレ用の初期負荷や負荷増加係数などの個人の能力差、嗜好等)を定数(例えばT0,F0,a等)として前記一般的なモデルを生成し(例えば、S189、S214、図15等)、
前記パーソナライズ化手段は、
ユーザから送られてくる情報に基づいて、前記一般的なモデル中の定数部分に当てはまる当該ユーザの実際の値(例えばTK,FK,az,CT等)を導出するための値導出手段(例えば、S191、S223等)と、
該値導出手段により導出された実際の値を前記一般的なモデル中の定数部分に代入して当該ユーザに適したモデルにパーソナライズ化するための代入手段(例えば、S204、228等)と、を含む。
より好ましくは、前記機械学習手段は、専門業者(例えば、筋トレ専門業者等)から送られてくる情報を基にした学習データも入力して機械学習によりモデル化した一般的なモデルを生成する(例えば、S214等)
Preferably, the machine learning means uses constants (for example, T0, F0, etc.) that have different elements for each user (for example, personal ability differences such as memorization ability, initial load for muscle training, load increase coefficient, etc.). a) and the like as a general model (for example, S189, S214, FIG. 15, etc.)
The personalization means is:
Based on the information sent from the user, a value deriving means (for example, TK, FK, az, CT, etc.) for deriving the actual value of the user that applies to the constant part in the general model (for example, S191, S223, etc.)
Substitution means (for example, S204, 228, etc.) for substituting the actual value derived by the value derivation means into a constant part in the general model and personalizing it into a model suitable for the user, Including.
More preferably, the machine learning means also inputs learning data based on information sent from a specialist (for example, a muscle training specialist) and generates a general model modeled by machine learning. (For example, S214) .

IoTデバイス仲介システムと機械学習を利用したサービス提供システムとの全体構成を示すシステム図である。It is a system diagram which shows the whole structure of the IoT device mediation system and the service provision system using machine learning. (a)はIoT用デバイスの制御回路を示すブロック図であり、(b)はモバイル通信装置の制御回路を示すブロック図である。(A) is a block diagram showing the control circuit of the IoT device, (b) is a block diagram showing the control circuit of the mobile communication device. PCやサーバの制御回路を示すブロック図である。It is a block diagram which shows the control circuit of PC and a server. モバイル通信装置と人工知能サーバとのメインルーチンプログラムを示すフローチャートである。It is a flowchart which shows the main routine program of a mobile communication apparatus and an artificial intelligence server. IoT用処理のサブルーチンプログラムを示すフローチャートとIoT用デバイス(センサ)およびIoTサーバのフローチャートである。It is the flowchart which shows the subroutine program of the process for IoT, and the flowchart of the device for IoT (sensor) and IoT server. IoT用処理のサブルーチンプログラムを示すフローチャートとIoT用デバイス(アクチュエータ)およびIoTサーバのフローチャートである。It is the flowchart which shows the subroutine program of the process for IoT, and the flowchart of the device for IoT (actuator) and IoT server. IoT用処理のサブルーチンプログラムを示すフローチャートとIoT用デバイス(アクチュエータ)およびIoTサーバのフローチャートである。It is the flowchart which shows the subroutine program of the process for IoT, and the flowchart of the device for IoT (actuator) and IoT server. IoT用処理のサブルーチンプログラムを示すフローチャートとワイヤレスセンサネットワークおよびIoTサーバのフローチャートである。It is the flowchart which shows the subroutine program of the process for IoT, and the flowchart of a wireless sensor network and an IoT server. 機械学習を利用したサービス提供システムの概略を示す説明図である。It is explanatory drawing which shows the outline of the service provision system using machine learning. 機械学習を利用したサービス提供システムを示す機能ブロック図である。It is a functional block diagram which shows the service provision system using machine learning. 外部ディスプレー処理およびディスプレー処理のサブルーチンプログラムを示すフローチャートとデジタルメニューボードのフローチャートである。It is the flowchart which shows the subroutine program of an external display process and a display process, and the flowchart of a digital menu board. (a)は専門家データ処理のサブルーチンプログラムを示すフローチャートであり、(b)はメンテナンスデータ処理のサブルーチンプログラムを示すフローチャートとメンテナンス専門業者のPCのフローチャートである。(A) is a flowchart which shows the subroutine program of expert data processing, (b) is the flowchart which shows the subroutine program of maintenance data processing, and the flowchart of PC of a maintenance specialist. (a)はアラウンドデータ端末処理およびアラウンドデータサーバ処理のサブルーチンプログラムを示すフローチャートであり、(b)はパーソナルサービス端末処理およびパーソナルサービスサーバ処理のサブルーチンプログラムを示すフローチャートである。(A) is a flowchart which shows the subroutine program of an around data terminal process and an around data server process, (b) is a flowchart which shows the subroutine program of a personal service terminal process and a personal service server process. ユーザ用学習端末処理およびユーザ用学習サーバ処理のサブルーチンプログラムを示すフローチャートである。It is a flowchart which shows the subroutine program of the learning terminal process for users, and the learning server process for users. 一般的なモデルの作成手法を説明する説明図である。It is explanatory drawing explaining the preparation method of a general model. 学習サービス端末処理および学習サービスサーバ処理のサブルーチンプログラムを示すフローチャートである。It is a flowchart which shows the subroutine program of a learning service terminal process and a learning service server process. 筋トレデータ処理のサブルーチンプログラムを示すフローチャートと筋トレ専門業者のPCのフローチャートである。It is the flowchart which shows the subroutine program of a muscle training data process, and the flowchart of PC of a muscle training specialist. (a)は筋トレ端末処理および筋トレサーバ処理のサブルーチンプログラムを示すフローチャートであり、(b)は筋トレサービス端末処理および筋トレサービスサーバ処理のサブルーチンプログラムを示すフローチャートである。(A) is a flowchart which shows the subroutine program of a muscle training terminal process and a muscle training server process, (b) is a flowchart which shows the subroutine program of a muscle training service terminal process and a muscle training service server process. (a)は人工知能DBに記憶された対話モデルの具体例を示す図であり、(b)はユーザDBに記憶された対話用のパーソナライズデータの具体例を示す図である。(A) is a figure which shows the specific example of the dialog model memorize | stored in artificial intelligence DB, (b) is a figure which shows the specific example of the personalization data for dialog memorize | stored in user DB. 対話端末処理および対話サーバ処理のサブルーチンプログラムを示すフローチャートである。It is a flowchart which shows the subroutine program of a dialog terminal process and a dialog server process. (a)は人工知能DBに記憶されたタスク処理モデルの具体例を示す図であり、(b)はユーザDBに記憶されたタスク処理用のパーソナライズデータの具体例を示す図である。(A) is a figure which shows the specific example of the task processing model memorize | stored in artificial intelligence DB, (b) is a figure which shows the specific example of the personalization data for task processing memorize | stored in user DB. タスク端末処理およびタスクサーバ処理のサブルーチンプログラムを示すフローチャートである。It is a flowchart which shows the subroutine program of a task terminal process and a task server process. タスク端末処理およびタスクサーバ処理のサブルーチンプログラムを示すフローチャートである。It is a flowchart which shows the subroutine program of a task terminal process and a task server process.

[IoT用デバイス仲介システム]
先ず、図1〜図8に基づいてIoT用デバイス仲介システムを説明する。IoTとは、Internet of Thingsの略で、モノがインターネットプロトコルでネットワークされており、モノが自ら信号をインターネット上に発信するものである。IoT用デバイス仲介システムとは、インターネットに接続して通信するための機能を備えていないIoT用デバイス(IoT用の各種センサやアクチュエータ等)群2に対しユーザのモバイル通信装置3が通信を仲介し、IoT用デバイス群2をモバイル通信装置3経由でインターネット1に接続して通信可能にするためのシステムである。
[Device brokerage system for IoT]
First, an IoT device mediation system will be described with reference to FIGS. IoT is an abbreviation of Internet of Things, where things are networked using the Internet protocol, and things send their own signals over the Internet. The IoT device mediation system means that the user's mobile communication device 3 mediates communication with the IoT devices (various sensors and actuators for IoT) 2 that do not have a function to connect to the Internet and communicate. This is a system for connecting the IoT device group 2 to the Internet 1 via the mobile communication device 3 to enable communication.

図1の全体システムを参照し、インターネット1に、ユーザのウェアラブルコンピュータ等で代表されるモバイル通信装置3と、ユーザ宅のロボット6と、ユーザ宅のパーソナルコンピュータ(以下「PC」と言う)7と、IoTサーバ8と、人工知能サーバ9と、各種専門業者のPC10と、SNSサーバ11とが接続されて、互いに通信可能に構成されている。モバイル通信装置3は、IoT用デバイス群2とワイヤレスセンサネットワーク4とデジタルメニューボード等のディスプレー群5と通信するための機能を備えている。通信方式としては、例えば、Wi-FiやBluetooth、Wi-Fi Direct、Zigbee(登録商標)、Zwave、Ant+などを想定している。また、OSとしてはiOSやAndroid、Linux(登録商標)、Tizen、およびその他のリアルタイムOSへ対応する。送受信用の無線規格としてIEEE802.15.4を採用する。また、Internet ProtocolとしてIPv6(Internet Protocol Version 6)を採用する。   Referring to the entire system shown in FIG. 1, a mobile communication device 3 represented by a wearable computer of a user, a robot 6 at a user's home, a personal computer (hereinafter referred to as “PC”) 7 at a user's home, The IoT server 8, the artificial intelligence server 9, the PCs 10 of various specialists, and the SNS server 11 are connected to be communicable with each other. The mobile communication device 3 has a function for communicating with a display group 5 such as a device group 2 for IoT, a wireless sensor network 4, and a digital menu board. As a communication method, for example, Wi-Fi, Bluetooth, Wi-Fi Direct, Zigbee (registered trademark), Zwave, Ant +, and the like are assumed. The OS supports iOS, Android, Linux (registered trademark), Tizen, and other real-time OSs. IEEE802.15.4 is adopted as a wireless standard for transmission and reception. In addition, IPv6 (Internet Protocol Version 6) is adopted as the Internet Protocol.

ワイヤレスセンサネットワーク4とは、複数のセンサ付無線端末を空間に散在させ、それらが協調して環境や物理的状況を採取することを可能とする無線ネットワークのことである。例えばエネルギーハーベスティングかM2Mあるいは電池などでセンサ装置を作り、例えば金属疲労の劣化等を圧力センサやゲージセンサで常時モニターしておき、その変化があると知らせる。主に橋梁やトンネル等の建造物に設置される。一般的に、複数のセンサノードとゲートウェイセンサノードとを含む。それらノードは、通常1個以上のセンサ、無線チップ、マイクロプロセッサ、電源(電池など)により構成される。ノードの制御回路のハードウェア構成は、図2(a)に示すものと同じである。ワイヤレスセンサネットワークは、通常、アドホック(ad hoc)機能と、各ノードから中枢ノードへデータを送るためのルーティング機能(routing algorithm)を持つ。つまり、ノード間の通信に障害がでると別の通信経路を自律的に再構築する機能がある。ノードがグループとして連携するため分散処理の要素もある。加えて、外部から電力供給を受けずに長期間動作する機能もあり、そのために省電力機能または自己発電機能を持つ。本実施の形態では、ワイヤレスセンサネットワーク4は、IoT用デバイス群2の一種である。   The wireless sensor network 4 is a wireless network in which a plurality of wireless terminals with sensors are scattered in a space, and they can collect the environment and physical state in cooperation with each other. For example, a sensor device is made with energy harvesting, M2M, or a battery, for example, deterioration of metal fatigue is constantly monitored with a pressure sensor or a gauge sensor, and a change is notified. It is mainly installed in buildings such as bridges and tunnels. Generally, it includes a plurality of sensor nodes and gateway sensor nodes. These nodes are usually composed of one or more sensors, a wireless chip, a microprocessor, and a power source (battery, etc.). The hardware configuration of the node control circuit is the same as that shown in FIG. A wireless sensor network typically has an ad hoc function and a routing algorithm for sending data from each node to a central node. That is, there is a function of autonomously reconstructing another communication path when a failure occurs in communication between nodes. There are also elements of distributed processing because the nodes cooperate as a group. In addition, there is a function that operates for a long time without receiving power supply from the outside, and therefore has a power saving function or a self-power generation function. In the present embodiment, the wireless sensor network 4 is a kind of the IoT device group 2.

IoTサーバ8は、IoT用デバイスのデータベース(以下「DB」と言う)であるIoT用デバイスDB15に対してデータの書込みおよび読出しが可能である。人工知能サーバ9は、人工知能DB17とユーザDB12と学習DB60とに対してデータの書込みおよび読出しが可能である。SNSサーバはSNSDB13に対してデータの書込みおよび読出しが可能である。   The IoT server 8 can write and read data to and from the IoT device DB 15 which is a database of IoT devices (hereinafter referred to as “DB”). The artificial intelligence server 9 can write and read data to and from the artificial intelligence DB 17, the user DB 12, and the learning DB 60. The SNS server can write and read data to and from the SNSDB 13.

次に、図2(a)を参照して、IoT用デバイス2の制御回路のハードウェア構成を説明する。IoT用デバイス群2は、地球上に隈なく設置されたセンサやアクチュエータであり、全体をコントロールするためのCPU(Central Processing Unit)18と、各種機能を実行するためのプログラムを保存したROM(Read Only Member)20と、CPU18のワークエリアであるRAM(Random Access Memory)19と、例えばWi-FiやBluetooth(登録商標)、Wi-Fi Direct、Zigbee、Zwave、Ant+などを用いた無線通信インタフェース部22とを含む。IoT用デバイス2がセンサの場合にはセンサ部14を含む。一方、IoT用デバイス2がアクチュエータの場合には、上記センサブ14の代わりにまたはそれに加えて、アクチュエータ部21が設けられる。CPU18とRAM19、ROM20、無線通信インタフェース部22、センサ部14、アクチュエータ部21は、信号のやり取りが可能に接続されている。   Next, the hardware configuration of the control circuit of the IoT device 2 will be described with reference to FIG. The IoT device group 2 is sensors and actuators installed on the earth, and includes a CPU (Central Processing Unit) 18 for controlling the whole and a ROM (Read that stores programs for executing various functions) Only Member) 20, RAM (Random Access Memory) 19, which is a work area of the CPU 18, and a wireless communication interface unit using, for example, Wi-Fi, Bluetooth (registered trademark), Wi-Fi Direct, Zigbee, Zwave, Ant +, etc. 22. When the IoT device 2 is a sensor, the sensor unit 14 is included. On the other hand, when the IoT device 2 is an actuator, an actuator unit 21 is provided instead of or in addition to the sensor 14. The CPU 18, the RAM 19, the ROM 20, the wireless communication interface unit 22, the sensor unit 14, and the actuator unit 21 are connected so that signals can be exchanged.

次に、図2(b)を参照して、モバイル通信装置3の一例のウェアラブルコンピュータの制御回路のハードウェア構成を説明する。このウェアラブルコンピュータ3はスマートグラス等で代表されるものであり、CPU23、RAM24およびROM25、EEPROM(Electronically Erasable and Programmable Read Only Memory)26がバス27により接続されている。CPU23、RAM24およびROM25の働きは、IoT用デバイス2における上述した説明と基本的に同じである。EEPROM26には、インターネット1を通じてダウンロードしたアプリケーションプログラム等が記憶されている。   Next, a hardware configuration of a control circuit of a wearable computer as an example of the mobile communication device 3 will be described with reference to FIG. The wearable computer 3 is represented by a smart glass or the like, and a CPU 23, a RAM 24 and a ROM 25, and an EEPROM (Electronically Erasable and Programmable Read Only Memory) 26 are connected by a bus 27. The functions of the CPU 23, the RAM 24, and the ROM 25 are basically the same as described above in the IoT device 2. The EEPROM 26 stores application programs downloaded through the Internet 1.

バス27は、インタフェース部28を介して種々のデバイスが接続されている。例えば、ユーザの周辺の映像(ユーザの視線方向の映像等)を撮影するデジタルビデオカメラ入力部29、スマートグラスのレンズ部に情報等をオーバーレイ表示する表示部30、基地局と無線通信してインターネット1を介してサーバ等とデータ通信する無線通信処理部31、ユーザがウェアラブルコンピュータ3のCPU23に希望する機能を実行させるための入力操作部32、ユーザが音声により通話をするための音声出力部33と音声入力部34、衛星からのGPS情報と基地局からの電波と無線LANアクセスポイントからの無線電波とに基づいて、現在位置を取得するための位置情報取得部35、Wi-FiやBluetooth、Wi-Fi Direct、Zigbee、Zwave、Ant+などを用いてIoT用デバイス群2と通信する無線通信インタフェース部36、ユーザの視線位置を検出して、デジタルビデオカメラ入力部29で撮影した映像でのユーザ視線の位置を特定するための視線位置検出部37、各種センサ38などが、インタフェース部28に接続されている。   Various devices are connected to the bus 27 via an interface unit 28. For example, a digital video camera input unit 29 that captures images around the user (images in the direction of the user's line of sight, etc.), a display unit 30 that overlays information etc. on the lens unit of a smart glass, and the Internet through wireless communication with a base station 1, a wireless communication processing unit 31 that performs data communication with a server or the like through 1, an input operation unit 32 for causing the CPU 23 of the wearable computer 3 to execute a desired function, and an audio output unit 33 for allowing a user to make a voice call And voice input unit 34, position information acquisition unit 35 for acquiring the current position based on GPS information from the satellite, radio waves from the base station, and radio waves from the wireless LAN access point, Wi-Fi and Bluetooth, Wireless communication interface unit 36 that communicates with IoT device group 2 using Wi-Fi Direct, Zigbee, Zwave, Ant +, etc., user's line of sight By detecting the location, line-of-sight position detecting unit 37 for identifying the position of the user line of sight of the video captured by a digital video camera input unit 29, various sensors 38 is connected to the interface unit 28.

入力操作部32は、ユーザによる手動操作を受付けるものばかりでなく、ユーザのジェスチャや特定のウインク等による指示も受付ける。なお、ユーザの音声による指示は音声入力部34により受付ける。各種センサ38は、ウェアラブルコンピュータ3に取り付けられた気温や湿度や照度や紫外線等のセンサである。なお、この図2(a)に示したハードウェア構成に対し、各種センサ38を削除してムーブメント用駆動回路を追加したものが、ロボットの制御回路のハードウェア構成となる。   The input operation unit 32 receives not only a manual operation by the user but also an instruction by a user's gesture or a specific wink. The user's voice instruction is received by the voice input unit 34. The various sensors 38 are sensors such as temperature, humidity, illuminance, and ultraviolet light attached to the wearable computer 3. Note that the hardware configuration of the robot control circuit is obtained by deleting the various sensors 38 and adding a movement drive circuit to the hardware configuration shown in FIG.

次に、図3に基づいて、PCや各種サーバ7〜11の制御回路のハードウェア構成を説明する。前述と同様に、CPU40、RAM41およびROM42がバス43により接続されている。そのバス43が接続されているインタフェース部44には、インターネット1等との通信部45、オペレータに映像や情報を表示する表示部46、オペレータからの操作を受付ける入力操作部47が接続されている。   Next, the hardware configuration of the control circuits of the PC and the various servers 7 to 11 will be described with reference to FIG. As described above, the CPU 40, the RAM 41, and the ROM 42 are connected by the bus 43. The interface unit 44 to which the bus 43 is connected is connected to a communication unit 45 with the Internet 1 and the like, a display unit 46 for displaying video and information to the operator, and an input operation unit 47 for receiving operations from the operator. .

次に、図4に基づいて、モバイル通信装置3のCPU23と人工知能サーバ9のCPU40とが実行する制御処理のメインプログラムのフローチャートを説明する。モバイル通信装置3はS1によりIoT用処理を行なう。これは、IoT用デバイス群2とインターネット1とをモバイル通信装置3が仲介して接続し、IoT用デバイス(センサ)2の検出データをIoTサーバ8へ送信し、IoTサーバ8からの指令信号(アクチュエータ制御信号)をIoT用デバイス(アクチュエータ)2へ送信するための処理である。   Next, a flowchart of a main program of control processing executed by the CPU 23 of the mobile communication device 3 and the CPU 40 of the artificial intelligence server 9 will be described with reference to FIG. The mobile communication device 3 performs IoT processing through S1. This is because the mobile communication device 3 connects and connects the IoT device group 2 and the Internet 1, transmits the detection data of the IoT device (sensor) 2 to the IoT server 8, and sends a command signal ( This is a process for transmitting the actuator control signal) to the IoT device (actuator) 2.

次に、モバイル通信装置3はS2により外部ディスプレー処理を行なうと共に人工知能サーバ9はS3によりディスプレー処理を行なう。これは、ユーザがインターネット上にアップロードしている動画や静止画等をデジタルメニューボード等のディスプレー5に表示させるための処理である。次に、モバイル通信装置3はS4によりアラウンドデータ端末処理を行なうと共に人工知能サーバ9はS5によりアラウンドデータサーバ処理を行なう。これは、ウェアラブルコンピュータ等のモバイル通信装置3によりユーザ周りの映像や音声を人工知能サーバ9で収集して機械学習用の情報として利用するための処理である。   Next, the mobile communication device 3 performs an external display process in S2, and the artificial intelligence server 9 performs a display process in S3. This is a process for displaying a moving image, a still image, or the like uploaded by the user on the Internet on the display 5 such as a digital menu board. Next, the mobile communication device 3 performs around data terminal processing in S4, and the artificial intelligence server 9 performs around data server processing in S5. This is a process for collecting video and audio around the user by the artificial intelligence server 9 using the mobile communication device 3 such as a wearable computer and using it as information for machine learning.

次に、モバイル通信装置3はS7によりパーソナルサービス端末処理を行なうと共に人工知能サーバ9はS8によりパーソナルサービスサーバ処理を行なう。これは、人工知能による機械学習の結果を利用してパーソナライズされたサービスをユーザに提供するための処理である。次に、モバイル通信装置3はS9により対話端末処理を行なうと共に人工知能サーバ9はS10により対話サーバ処理を行なう。これは、ユーザと人工知能とが各種の対話を行なうための処理である。次に、モバイル通信装置3はS11によりタスク端末処理を行なうと共に人工知能サーバ9はS12によりタスクサーバ処理を行なう。これは、ユーザの仕事上の質問や相談に機械学習を終えた人工知能が応答するための処理である。   Next, the mobile communication device 3 performs personal service terminal processing in S7, and the artificial intelligence server 9 performs personal service server processing in S8. This is a process for providing a user with a personalized service using the result of machine learning by artificial intelligence. Next, the mobile communication device 3 performs dialogue terminal processing in S9, and the artificial intelligence server 9 performs dialogue server processing in S10. This is a process for the user and the artificial intelligence to perform various kinds of dialogues. Next, the mobile communication device 3 performs task terminal processing in S11, and the artificial intelligence server 9 performs task server processing in S12. This is a process for the artificial intelligence that has finished machine learning to respond to a user's work question or consultation.

次に、図5〜図8に基づいて、上記S1に示したIoT用処理のサブルーチンプログラムのフローチャートを説明する。先ず図5を参照して、IoT用デバイス(センサ)2とモバイル通信装置3とIoTサーバ8とで行われる処理を説明する。   Next, a flowchart of the subroutine program for the IoT process shown in S1 will be described with reference to FIGS. First, processing performed by the IoT device (sensor) 2, the mobile communication device 3, and the IoT server 8 will be described with reference to FIG.

IoT用デバイス(センサ)2のCPU18は、S20によりセンサ部14による検出データをRAM19に記憶する処理を行ない、S21により送信指令信号を受信したか否かの判定を行ない、受信していない場合にはS20に戻り、S20→21→S20のループを繰り返し巡回する。   When the CPU 18 of the IoT device (sensor) 2 stores the detection data from the sensor unit 14 in the RAM 19 in S20, determines whether or not a transmission command signal is received in S21, and does not receive it. Returns to S20 and repeats the loop of S20 → 21 → S20.

一方、モバイル通信装置3のCPU23は、S22で、GPS情報と基地局からの電波と無線LANアクセスポイントからの無線電波等に基づいた位置情報をIoTサーバ8へ送信する。それをS24により受信したIoTサーバ8は、S25によりIoT用デバイスDB15を検索し、位置情報を送信してきたモバイル通信装置3の近辺に受信したいIoT用デバイス2が存在するか否かを、S26により判定する。IoTサーバ8は、IoT用デバイス(センサ)2の検出データを定期的に収集するのが理想であり、IoT用デバイスDB15を検索して定期受信時期が来たIoT用デバイス(センサ)2を割出す。受信したいIoT用デバイス2が存在する場合には、S26によりYESの判定がなされて制御がS27へ進み、受信用の指令信号をモバイル通信装置3へ送信する。   On the other hand, the CPU 23 of the mobile communication device 3 transmits position information based on the GPS information, the radio wave from the base station, the radio wave from the wireless LAN access point, and the like to the IoT server 8 in S22. The IoT server 8 that has received it in S24 searches the IoT device DB 15 in S25 and determines whether or not there is an IoT device 2 to be received in the vicinity of the mobile communication device 3 that has transmitted the location information by S26. judge. Ideally, the IoT server 8 should periodically collect the detection data of the IoT device (sensor) 2 and search the IoT device DB 15 to allocate the IoT device (sensor) 2 that has reached the regular reception time. put out. If there is an IoT device 2 to be received, a determination of YES is made in S26, the control proceeds to S27, and a reception command signal is transmitted to the mobile communication device 3.

一方、受信したいIoT用デバイス2が存在しない場合には、S26によりNOの判定がなされて制御がS38へ進み、近辺に指令信号(アクチュエータ制御信号)を送信したいIoT用デバイス(アクチュエータ)2が存在するか否か判定する。存在する場合には制御がS39に進み、送信用の指令信号と送信情報(アクチュエータ部21を制御するための情報)とをモバイル通信装置3へ送信する。S27またはS39による指令信号を受信したモバイル通信装置3は、S23によりYESの判定を行なって制御がS28へ進み、その受信した指令信号が受信用であるか否か判定する。S38により送信されてきた送信用の指令信号の場合には制御がS47に移行するが、S27により送信されてきた受信用の指令信号の場合には制御がS29に進み、送信指令信号を近辺のIoT用デバイス(センサ)2へ送信する。   On the other hand, if there is no IoT device 2 to be received, NO is determined in S26, the control proceeds to S38, and there is an IoT device (actuator) 2 to which a command signal (actuator control signal) is to be transmitted in the vicinity. Judge whether to do. If it exists, the control advances to S39, and a transmission command signal and transmission information (information for controlling the actuator unit 21) are transmitted to the mobile communication device 3. The mobile communication device 3 that has received the command signal in S27 or S39 makes a determination of YES in S23, the control proceeds to S28, and determines whether or not the received command signal is for reception. In the case of the transmission command signal transmitted in S38, the control proceeds to S47. However, in the case of the reception command signal transmitted in S27, the control proceeds to S29, and the transmission command signal is changed to a nearby command signal. Send to IoT device (sensor) 2.

それをS21で受信したモバイル通信装置3は、S30により、RAMに記憶されている検出データとデバイスIDとをモバイル通信装置3へ送信して、S20に戻る。それをS31で受信したモバイル通信装置3は、その受信データをS32によりIoTサーバ8へ送信する。それをS33で受信したモバイル通信装置3は、S34により、IoT用デバイスDB15の記憶データの内、受信したデバイスIDに対応するIoT用デバイスの記憶データを受信したデータに更新する。   The mobile communication device 3 that has received it in S21 transmits the detection data and device ID stored in the RAM to the mobile communication device 3 in S30, and returns to S20. The mobile communication device 3 that has received it in S31 transmits the received data to the IoT server 8 in S32. The mobile communication device 3 that has received it in S33 updates the storage data of the IoT device corresponding to the received device ID to the received data in S34 of the storage data of the IoT device DB15.

次にIoTサーバ8は、S35により特典の一例のポイントをモバイル通信装置3へ送信した後制御がS61へ移行する。それをS36で受信したモバイル通信装置3は、EEPROM26に記憶されているポイントを加算更新した後(S37)、制御がS60へ移行する。このEEPROM26に記憶されているポイントは、IoTサーバ8を運営している業者から種々のサービスを受けるために使用可能である。例えば、ポイントを使って、高速道路の料金を支払ったり、JRや私鉄の乗車券や定期券を購入したりできる。また、ポイントを換金できるようにしてもよい。これにより、ユーザにIoT用デバイスの仲介に対するインセンティブを与えることができる。   Next, the IoT server 8 transmits a point of an example of a privilege to the mobile communication device 3 in S35, and then the control shifts to S61. The mobile communication device 3 that received it in S36 adds and updates the points stored in the EEPROM 26 (S37), and then the control shifts to S60. The points stored in the EEPROM 26 can be used to receive various services from a business operator who operates the IoT server 8. For example, you can use points to pay for highways, purchase JR and private railway tickets and commuter passes. Also, the points may be exchanged. This can give the user an incentive to mediate IoT devices.

一方、S38によりNOと判定された場合には制御がS40へ進み、受信したいモバイル通信装置3の各種センサ38があるか否か判断する。つまり、S24で受信した位置情報に位置するモバイル通信装置3に設けられている各種センサ38の内、当該地理的位置での検出データを送信してもらいたいものがあるか否か判定する。ない場合には制御がS24へ移行するが、ある場合には制御がS62へ移行する。   On the other hand, if it is determined NO in S38, the control proceeds to S40, and it is determined whether there are various sensors 38 of the mobile communication device 3 that are desired to be received. That is, it is determined whether or not there is a sensor that is requested to transmit detection data at the geographical position among the various sensors 38 provided in the mobile communication device 3 located in the position information received in S24. If there is no control, the control proceeds to S24, but if there is, the control proceeds to S62.

次に、図6を参照して、IoT用デバイス(アクチュエータ)2に対する処理を説明する。IoT用デバイス(アクチュエータ)2は、IoTサーバ8から送信されてきてRAM19に記憶している送信情報に基づいた動作制御処理を行なう(S45)。次に、S46により、モバイル通信装置3からの受信指令信号を受信したか否かの判定を行なう。受信していない場合には制御がS45の戻り、S45→S46→S45のループを繰り返し巡回する。この状態で、送信用の指令信号と送信情報とを受信したモバイル通信装置3は、S47により、受信指令信と送信情報とをIoT用デバイス(アクチュエータ)2へ送信する。それを受信したIoT用デバイス(アクチュエータ)2は、S46によりYESの判定を行ない、制御がS48に進み、その受信した送信情報(アクチュエータ部21を制御するための情報)をRAM19に記憶し、S49により、受信完了信号とデバイスIDとをモバイル通信装置3へ送信する。   Next, processing for the IoT device (actuator) 2 will be described with reference to FIG. The IoT device (actuator) 2 performs an operation control process based on transmission information transmitted from the IoT server 8 and stored in the RAM 19 (S45). Next, in S46, it is determined whether or not a reception command signal from the mobile communication device 3 has been received. If not received, the control returns to S45, and the loop of S45 → S46 → S45 is repeated. In this state, the mobile communication device 3 that has received the transmission command signal and the transmission information transmits the reception command signal and the transmission information to the IoT device (actuator) 2 through S47. The IoT device (actuator) 2 that has received it makes a determination of YES in S46, the control proceeds to S48, stores the received transmission information (information for controlling the actuator unit 21) in the RAM 19, and S49 Thus, the reception completion signal and the device ID are transmitted to the mobile communication device 3.

それをS50により受信したモバイル通信装置3は、S51により、完了信号をIoTサーバ8に送信する。それをS52で受信したIoTサーバ8は、S53により、デバイスIDに基づいてIoT用デバイスDBを検索し、デバイスIDに対応するデータを更新する。例えば、「○時○分△×送信情報を送信済み」等のように更新する。そして、S54によりポイントをモバイル通信装置3へ送信した後、制御がS61へ移行する。それをS55で受信したモバイル通信装置3は、EEPROM26に記憶されているポイントを加算更新する(S56)。その後、制御がS60へ移行する。   The mobile communication device 3 that has received it in S50 transmits a completion signal to the IoT server 8 in S51. The IoT server 8 that has received it in S52 searches the device DB for IoT based on the device ID and updates the data corresponding to the device ID in S53. For example, the update is performed such as “○ hour ○ minute Δ × transmission information has been transmitted”. And after transmitting a point to the mobile communication apparatus 3 by S54, control transfers to S61. The mobile communication device 3 that has received it in S55 adds and updates the points stored in the EEPROM 26 (S56). Thereafter, the control proceeds to S60.

S60では、IoTサーバ8から、モバイル受信用の指令信号とデータ特定信号とを受信したか否か判定され、受信していない場合には、制御がS84へ移行する。一方、IoTサーバ8は、S24により受信した位置において受信したいモバイル通信装置3の各種センサ38があると判断した場合には、S40によりYESと判断し、S62により、モバイル受信用の指令信号とデータ特定信号とを送信する。それを受信したモバイル通信装置3は、S60によりYESと判定して制御がS63へ進み、データ特定信号で特定されたデータ(温度や湿度や照度や紫外線等)は検出所要時間を要するか否かの判断を行なう。照度や紫外線の場合には、一瞬で検出でき検出所要時間を要しないため、S63によりNOと判断されて制御がS64に進み、特定されたデータを対応するセンサ38で検出する処理を行ない、その検出データをIoTサーバ8へ送信する(S65)。   In S60, it is determined whether or not the mobile reception command signal and the data specifying signal are received from the IoT server 8, and if not, the control shifts to S84. On the other hand, if the IoT server 8 determines that there are various sensors 38 of the mobile communication device 3 to be received at the position received at S24, the IoT server 8 determines YES at S40, and the command signal and data for mobile reception at S62. A specific signal is transmitted. The mobile communication device 3 that has received it determines YES in S60 and the control proceeds to S63, and whether or not the data (temperature, humidity, illuminance, ultraviolet light, etc.) specified by the data specifying signal requires a detection time. Make a decision. In the case of illuminance or ultraviolet light, since it can be detected in an instant and does not require the time required for detection, it is determined NO in S63, the control proceeds to S64, and processing for detecting the specified data with the corresponding sensor 38 is performed. The detection data is transmitted to the IoT server 8 (S65).

それをS66で受信したIoTサーバ8は、S67により、IoT用デバイスDB15を検索して受信した新たな検出データに更新する。そして、S68によりポイントをモバイル通信装置3へ送信する。それをS69で受信したモバイル通信装置3は、EEPROM26に記憶されているポイントを加算更新する(S70)。その後、制御がS84へ移行する。   The IoT server 8 having received it in S66 searches the IoT device DB 15 and updates it to the new detection data received in S67. Then, the point is transmitted to the mobile communication device 3 in S68. The mobile communication device 3 that has received it in S69 adds and updates the points stored in the EEPROM 26 (S70). Thereafter, control proceeds to S84.

一方、温度や湿度のように、データ特定信号で特定されたデータが検出所要時間を要する場合には、S63でYESの判定がなされ、制御がS71へ進み、表示部30により検出所要時間(例えば30秒等)をユーザに報知する。それを見たユーザは、センサ検出データの送信に協力する場合には、現在位置で30秒間とどまり検出が完了するのを待つが、協力する気がない場合には、とどまることなく移動する。S71による報知後S72により、特定されたデータを対応するセンサ38で検出処理を行ない、S73で検出が完了したか否か判定し、未だ完了していない場合には、S74により検出エリア内にとどまっているか否か判定し、とどまっている場合にはS72へ戻るループを繰り返し実行する。検出が完了する前にユーザのモバイル通信装置3が検出エリア外に移動した場合には、制御がS84へ移行するが、検出が完了するまでユーザのモバイル通信装置3が検出エリア内にとどまっていた場合には、制御がS75に進み、検出データをIoTサーバ8へ送信した後、制御がS69へ移行する。   On the other hand, if the data specified by the data specifying signal such as temperature and humidity requires the required detection time, YES is determined in S63, the control advances to S71, and the display 30 performs the required detection time (for example, 30 seconds). When the user who sees it cooperates with transmission of sensor detection data, it stays at the current position for 30 seconds and waits for the detection to be completed, but when it does not intend to cooperate, it moves without staying. After the notification in S71, in S72, the corresponding data is detected by the corresponding sensor 38, and in S73, it is determined whether or not the detection has been completed. If the detection has not been completed, the process remains in the detection area in S74. If it stays, the loop returning to S72 is repeatedly executed. If the user's mobile communication device 3 moves out of the detection area before the detection is completed, the control proceeds to S84, but the user's mobile communication device 3 remains within the detection area until the detection is completed. In this case, the control proceeds to S75, and after the detection data is transmitted to the IoT server 8, the control proceeds to S69.

それをS66で受信したIoTサーバ8は、S67により、IoT用デバイスDB15を検索して受信した新たな検出データに更新する。そしてS68によりポイントをモバイル通信装置3へ送信する。それをS69で受信したモバイル通信装置3は、EEPROM26に記憶されているポイントを加算更新する(S70)。その後、制御がS84へ移行する。   The IoT server 8 having received it in S66 searches the IoT device DB 15 and updates it to the new detection data received in S67. In step S68, the points are transmitted to the mobile communication device 3. The mobile communication device 3 that has received it in S69 adds and updates the points stored in the EEPROM 26 (S70). Thereafter, control proceeds to S84.

なお、図5〜図7に示した制御では、IoT用デバイス群2とIoTサーバ8との間で情報のやり取りの必要があるIoT用デバイスが存在するか否かを判定するための判定手段(例えばS26、S38、S49等)をIoTサーバ8側に設けたものを示したが、この判定手段をIoT用デバイス群2側に設けてもよい。これにより、IoTサーバ8側の制御負担を軽減できる。   In the control shown in FIG. 5 to FIG. 7, determination means for determining whether or not there is an IoT device that needs to exchange information between the IoT device group 2 and the IoT server 8 ( For example, although S26, S38, S49, etc.) are provided on the IoT server 8 side, this determination means may be provided on the IoT device group 2 side. Thereby, the control burden on the IoT server 8 side can be reduced.

次に、図8を参照してワイヤレスセンサネットワーク4に対する処理を説明する。ワイヤレスセンサネットワーク4は、S80により、各センサの検出データを収集しセンサID毎に対応付けて記憶する。次に、S81により、その各検出データ中に緊急送信すべきものがあるか否か判定する。緊急送信すべきものがないときには、制御がS82に進み、定期送信時(例えば24時間毎)になったか否か判定する。定期送信時になっていない場合には制御がS80に戻り、S80→S81→S82のループを繰り返し巡回する。   Next, processing for the wireless sensor network 4 will be described with reference to FIG. In S80, the wireless sensor network 4 collects the detection data of each sensor and stores the data in association with each sensor ID. Next, in S81, it is determined whether or not there is an emergency transmission among the detected data. When there is nothing to be urgently transmitted, the control proceeds to S82, and it is determined whether or not the periodical transmission has occurred (for example, every 24 hours). If the periodical transmission has not been reached, control returns to S80, and the loop of S80 → S81 → S82 is repeated.

このループの巡回途中で、ワイヤレスセンサネットワーク4側で判断することのできる明らかな異常が各検出データ中から見つかり、緊急送信すべきものがあるとS81により判断された場合には、制御がS83に進む。またS82により定期送信時期になったと判定された場合にも制御がS83に進む。   If a clear abnormality that can be determined on the wireless sensor network 4 side is found in each detection data during the loop, and if it is determined in S81 that there is an emergency transmission, the control proceeds to S83. . The control also proceeds to S83 if it is determined in S82 that the regular transmission time has come.

S83では、送信信号を発信する処理がなされる。次にS86により、モバイル通信装置3からの応答信号を受信したか否かの判定を行ない、受信していない場合はS80に戻り、S80〜S83→S86→S80のループを繰り返し巡回する。   In S83, processing for transmitting a transmission signal is performed. Next, in S86, it is determined whether or not a response signal from the mobile communication device 3 has been received. If it has not been received, the process returns to S80, and the loop of S80 to S83 → S86 → S80 is repeated.

この状態で、モバイル通信装置3を持ったユーザがワイヤレスセンサネットワーク4の近くを通りかかった時に、S83による送信信号を受信し、S84によりYESの判定を行ない、制御がS85に進む。モバイル通信装置3は、S85により応答信号をワイヤレスセンサネットワーク4へ送信し、それを受信したワイヤレスセンサネットワーク4はS86によりYESの判定を行ない、制御がS87へ進む。ワイヤレスセンサネットワーク4は、S80により収集した検出データをセンサID毎にモバイル通信装置3へ送信する(S87)。それをS89により受信したモバイル通信装置3は、S90により、その受信した検出データとセンサIDとを送信信号と共にIoTサーバ8へ送信する。   In this state, when the user with the mobile communication device 3 passes near the wireless sensor network 4, the transmission signal by S83 is received, YES is determined by S84, and the control proceeds to S85. The mobile communication device 3 transmits a response signal to the wireless sensor network 4 in S85, and the wireless sensor network 4 that has received the response signal makes a YES determination in S86, and the control advances to S87. The wireless sensor network 4 transmits the detection data collected in S80 to the mobile communication device 3 for each sensor ID (S87). The mobile communication device 3 that has received it in S89 transmits the received detection data and sensor ID to the IoT server 8 together with a transmission signal in S90.

すると、IoTサーバ8は、S61によりYESの判定を行ない、制御がS91に進み、受信した検出データ中に緊急検出データがあればそれをセンサIDと共に異常報知した後、S92により、検出データのセンサIDに基づいてワイヤレスセンサDB16を検索して検出データを受信した新たなものに更新する。次にS93により、ポイントをモバイル通信装置3へ送信した後制御がS24へ戻る。それをS94で受信したモバイル通信装置3は、EEPROM26に記憶されているポイントを加算更新した後(S95)、リターンして制御がS2へ移行する。   Then, the IoT server 8 makes a determination of YES through S61, the control proceeds to S91, and if there is emergency detection data in the received detection data, the abnormality is notified together with the sensor ID. The wireless sensor DB 16 is searched based on the ID and updated to a new one that has received the detection data. Next, after transmitting the points to the mobile communication device 3 through S93, the control returns to S24. The mobile communication device 3 that received it in S94 adds and updates the points stored in the EEPROM 26 (S95), returns, and the control shifts to S2.

なお、図8に示した制御では、ワイヤレスセンサネットワーク4とIoTサーバ8との間で情報のやり取りの必要があるIoT用デバイスが存在するか否かを判定するための判定手段(例えばS82)をワイヤレスセンサネットワーク4側に設けたものを示したが、この判定手段をIoTサーバ8側に設けてもよい。   In the control shown in FIG. 8, a determination means (for example, S82) for determining whether or not there is an IoT device that needs to exchange information between the wireless sensor network 4 and the IoT server 8 is provided. Although what was provided in the wireless sensor network 4 side was shown, you may provide this determination means in the IoT server 8 side.

以上説明したIoTデバイス仲介システムでは、ユーザのモバイル通信装置(例えば、スマートグラス等のウェアラブルコンピュータ、スマートフォン、通信機能を備えた自動車等の車両等)が、IoT用デバイス群2とインターネット1とを仲介して接続するために、IoT用デバイス群2側にインターネット接続機能が必ずしも必要ではなく、その分コストを安価に抑えることが可能となる。しかも、ユーザがモバイル通信装置による上記仲介を行なうことにより、当該ユーザに特典(例えばポイント等)が付与されるため、ユーザの上記仲介に対するインセンティブを持たせることができ、ユーザの仲介行為を促進させることが可能となる。   In the IoT device mediation system described above, a user's mobile communication device (for example, a wearable computer such as smart glasses, a smartphone, or a vehicle such as a car equipped with a communication function) mediates between the IoT device group 2 and the Internet 1. Therefore, the Internet connection function is not necessarily required on the IoT device group 2 side, and the cost can be reduced accordingly. In addition, since the user performs the mediation by the mobile communication device, the user is given a privilege (for example, points), so that the user can have an incentive for the mediation and promote the user's mediation act. It becomes possible.

さらに、IoT用デバイス群2に対してウェアラブルコンピュータ3が仲介する仲介先コンピュータ(例えば、IoTサーバ8やネットワーククラウド等)側に、情報のやり取りの必要があるIoT用デバイス(モバイル通信装置3の各種センサ38を含む)が存在するか否かを判定するための判定手段(例えば、S26、S38、S49等)を設けたために、IoT用デバイス群2側で上記の判定をする必要がなく、IoT用デバイス群2側の処理負担を軽減でき、より一層コストを抑えることができる。しかも、判定手段を有するIoTサーバ8により、情報のやり取りの必要があるIoT用デバイス群2を割出して(例えば、S26、S38、S49等)、割出されたIoT用デバイス2の位置情報をウェアラブルコンピュータ3に通知してユーザに報知すれば、ユーザに上記仲介行為を促すことができる利点がある。   Furthermore, IoT devices (various types of mobile communication devices 3) that need to exchange information on the side of a mediating destination computer (for example, IoT server 8 or network cloud) mediated by the wearable computer 3 with respect to the IoT device group 2 Since there is a determination means (for example, S26, S38, S49, etc.) for determining whether or not there is a sensor 38), it is not necessary to make the above determination on the IoT device group 2 side. The processing burden on the device group 2 side can be reduced, and the cost can be further reduced. In addition, the IoT server group 8 having the determination means calculates the IoT device group 2 that needs to exchange information (for example, S26, S38, S49, etc.), and the position information of the calculated IoT device 2 is obtained. If the wearable computer 3 is notified and notified to the user, there is an advantage that the user can be urged to perform the mediating action.

また、ウェアラブルコンピュータ3に設けられた各種センサ38を利用して、所望の位置での各種センサ38による検出データをインターネット上に収集する際に、検出するのに或る程度の所要時間を要する場合にその検出所要時間をウェアラブルコンピュータ3によりユーザに報知(例えばS71)しているため、所用時間を要する検出データの収集に対する協力をユーザに促すことができる。   In addition, when various types of sensors 38 provided in the wearable computer 3 are used to collect data detected by the various sensors 38 at a desired position on the Internet, a certain amount of time is required for detection. In addition, since the wearable computer 3 notifies the user of the required time for detection (for example, S71), the user can be encouraged to cooperate in collecting the detection data that requires the required time.

[機械学習を利用したサービス提供システム]
次に、図9〜図23に基づいて機械学習を利用したサービス提供システムを説明する。
機械学習を実用化するにおいて現在大きな課題となっていることは、いかにして大量の学習データを安価に収集するかである。本システムは、機械学習の結果を利用したサービスをユーザに提供することにより、多数のユーザが自ら率先して学習データをシステム側に提供する仕組みを構築するものである。特に、図9に示すように、各ユーザがシステム側に提供する学習データ(身の回りのデータ等)をパーソナライズ化にも利用し、機械学習の結果得た一般的なモデルを各ユーザに最適化(パーソナライズ化)したものにした上で、各ユーザにパーソナライズ化されたサービスを提供する。これにより、各ユーザが学習データの提供を他人任せにしてサービスだけ享受するという不都合を防止する。
[Service provision system using machine learning]
Next, a service providing system using machine learning will be described with reference to FIGS.
A major challenge in putting machine learning into practical use is how to collect a large amount of learning data at low cost. This system builds a mechanism in which a large number of users take the initiative to provide learning data to the system side by providing users with a service using the results of machine learning. In particular, as shown in FIG. 9, learning data (personal data, etc.) provided by each user to the system side is also used for personalization, and a general model obtained as a result of machine learning is optimized for each user ( Personalized services are provided to each user after being personalized. This prevents the inconvenience that each user enjoys only the service while leaving the provision of learning data to others.

先ず、図9を参照してシステムの概略を説明する。
各ユーザ70は、例えばウェアラブルコンピュータ等のモバイル通信装置3により収集したアラウンドデータ(ユーザ70が見ている映像や視線の位置、音声、GPSなどの位置データ等)を機械学習72に送信して機械学習72の学習データとして用いられるとともに、それらデータがパーソナライズ化74にも用いられる。
First, an outline of the system will be described with reference to FIG.
Each user 70 transmits, for example, around data collected by the mobile communication device 3 such as a wearable computer (video data, position of the line of sight, sound, position data such as GPS, etc., viewed by the user 70) to the machine learning 72. It is used as learning data for learning 72 and also used for personalization 74.

例えば、各ユーザ70が学校や自宅等で学習している状態をシステム側に送信して、機械学習(強化学習や回帰)72によりモデル化し、人間が反復して行なう復習のトータル時間が最少になる一般的なモデルを作成する。その際、ユーザ毎に差異のある要素(暗記力等)を定数として一般的なモデルを生成する。また、各ユーザ70からシステム側に送信されたデータはパーソナライズ化74にも用いられ、ユーザ毎に差異のある要素(暗記力等)をユーザ毎に算出し、一般的なモデルの定数部分に代入することにより、ユーザ毎にパーソナライズ化されたモデルを生成する。そのパーソナライズ化モデルを用いて各ユーザにパーソナライズ化されたサービス、例えば、次回の復習時期を提示して復習のトータル時間が最少になる復習計画に従った指導を行なう。   For example, the state in which each user 70 is learning at school or at home is transmitted to the system side, modeled by machine learning (reinforcement learning or regression) 72, and the total review time that humans repeat is minimized. Create a general model. At that time, a general model is generated with constant elements (such as memorization ability) that are different for each user. The data transmitted from each user 70 to the system side is also used for personalization 74, and an element (memorization ability, etc.) that is different for each user is calculated for each user and assigned to a constant part of a general model. By doing so, a personalized model is generated for each user. Using the personalized model, personalized services are provided to each user, for example, guidance is given according to a review plan that presents the next review time and minimizes the total review time.

なお、学習データは、ユーザ以外にも各種専門業者71からも提供される。例えば、スポーツジムの専門業者71から、多数の会員の筋肉トレーニング(以下「筋トレ」と記載する)の集計結果をシステム側に送信する。この集計結果の学習データに基づいて機械学習(強化学習や回帰)72によりモデル化し、人間が反復して行なう筋トレによる効果が最大になる一般的なモデルを作成する。その際、ユーザ毎に差異のある要素(バーベルなどの初期負荷や負荷増加係数等)を定数として一般的なモデルを生成する。また、各ユーザ70から筋トレの集計結果がシステム側に送信されてパーソナライズ化74にも用いられ、ユーザ毎に差異のある要素(初期負荷や負荷増加係数等)をユーザ毎に算出し、一般的なモデルの定数部分に代入することにより、ユーザ毎にパーソナライズ化されたモデルを生成する。   Note that the learning data is provided from various specialists 71 in addition to the user. For example, a total result of muscle training (hereinafter referred to as “muscle training”) of a large number of members is transmitted from the specialist 71 of the gym to the system side. Based on the learning data of the total result, a model is created by machine learning (reinforcement learning or regression) 72 to create a general model that maximizes the effect of muscle training that is repeatedly performed by humans. At this time, a general model is generated with constant elements such as an initial load such as a barbell or a load increase coefficient that are different for each user. Also, the total results of muscle training are transmitted from each user 70 to the system side and used for personalization 74, and elements (initial load, load increase coefficient, etc.) that are different for each user are calculated for each user. By substituting in the constant part of a typical model, a personalized model is generated for each user.

そのパーソナライズ化モデルを用いて各ユーザにパーソナライズ化されたサービス、例えば、次回の筋トレ時期と負荷を提示して筋トレによる効果が最大になる筋トレ計画に従った指導を行なう。その際、筋トレの集計結果からなる学習データを提供した専門業者(スポーツジム等)71の広告を筋トレスケジュールとともに提示する。これにより、学習データの提供に対するモチベションを各種専門業者に持たせることができる。   The personalized model is used to provide personalized services to each user, for example, guidance according to a muscle training plan that presents the next muscle training time and load and maximizes the effect of muscle training. At that time, an advertisement of a specialist (such as a gym) 71 who has provided learning data consisting of the total results of muscle training is presented together with the muscle training schedule. Thereby, it is possible to give various specialists motivation for providing learning data.

以上説明した図9の全体システムをもう少し詳しく表したものが図10である。
図10を参照して、各種専門業者のPC10から専門データが人工知能サーバ9へ提供される。また、多数のユーザのウェアラブルコンピュータ等のモバイル通信装置3により収集したデータ(ユーザ70が見ている映像や視線の位置、音声、GPSなどの位置データ等のアラウンドデータ)が人工知能サーバ9へ提供される。人工知能サーバ9では、それら提供されたデータを数値・ラベル集合へのデータ化51を行ない、学習データを生成する。この学習データの生成は、生データを数値・ラベル集合にするため、深層学習(ディープラーニング)を用いる。また、複数の規則性が混在した生データを扱うため、「異種混合学習」を用いる。これは収集したデータの中に複数の規則性が存在する場合に、それぞれのパターンごとに適したモデルを生成する手法である。
FIG. 10 shows the whole system of FIG. 9 described above in more detail.
Referring to FIG. 10, specialized data is provided to artificial intelligence server 9 from PCs 10 of various specialists. Also, data collected by the mobile communication device 3 such as wearable computers of a large number of users (around data such as video, position of line of sight, voice, position data such as GPS, etc. viewed by the user 70) is provided to the artificial intelligence server 9 Is done. The artificial intelligence server 9 converts the provided data into a numerical value / label set 51 and generates learning data. The learning data is generated using deep learning in order to make the raw data into numerical value / label sets. Also, “heterogeneous mixed learning” is used to handle raw data in which a plurality of regularities are mixed. This is a method of generating a model suitable for each pattern when there are a plurality of regularities in the collected data.

例えば、ビルの電力消費に関する時系列のデータを収集して、電力消費を予測するモデルを作る場合、ビルの電力消費は、曜日や時間帯ごとにパターンが変化する。従来においては、どのようなタイミングでパターンが切り替わるか、人間が専門知識を動員して場合分けを行ない、それぞれの場合に適したモデルを作っていた。この「異種混合学習」では、パターンの切り替わり自体を機械学習によって見つけ出し、パターンごとにモデルを生成する。新たにデータが発生した際には、生成したモデルとの適合を確認し、うまくモデルが適合しなかった場合はパターンの切り替わりの判定からやり直す。つまり「パターンの場合分け」と「モデルの作成」を機械が繰り返すことで、パターンごとの最適モデルを作る。   For example, when collecting time-series data relating to the power consumption of a building and creating a model for predicting the power consumption, the pattern of the power consumption of the building changes for each day of the week or time zone. In the past, humans mobilized expertise to classify when patterns change, and models suitable for each case were created. In this “heterogeneous mixed learning”, pattern switching itself is found by machine learning, and a model is generated for each pattern. When new data is generated, the matching with the generated model is confirmed. If the model does not fit well, the determination is made again from the pattern switching. In other words, the machine repeats “pattern classification” and “model creation” to create an optimal model for each pattern.

なお、深層学習を用いても数値・ラベル集合へのデータ化を行なうことができないデータの場合には、人工知能業者が人為的に数値・ラベル集合へのデータ化を行なう。   In the case of data that cannot be converted into a numerical value / label set even by using deep learning, an artificial intelligence agent artificially converts the data into a numerical value / label set.

この人工知能サーバ9は、ノイマン型の一般的なコンピュータを用いているが、ニューラル・ネット・プロセッサー(NNP)を用いてもよい。NNPのチップ上には本物のニューロンをモデルにした「人工ニューロン」が多数搭載されており、各ニューロンはネットワークでそれぞれ連携し合う。   The artificial intelligence server 9 uses a general Neumann computer, but may also use a neural network processor (NNP). A large number of “artificial neurons” modeled on real neurons are mounted on the NNP chip, and each neuron cooperates in a network.

また、「量子アニーリング方式」を採用した量子コンピュータを用いてもよい。これにより、機械学習における最適化計算の所要時間を大幅に短縮できる。なお、「人工知能」とは、ソフトウェアエージェントを含む広い概念である。   Further, a quantum computer employing a “quantum annealing method” may be used. Thereby, the time required for the optimization calculation in machine learning can be greatly shortened. “Artificial intelligence” is a broad concept that includes software agents.

数値・ラベル集合にデータ化された学習データは学習アルゴリズム52に送られてモデル化53される。学習アルゴリズム52としては、例えば、教師あり学習としての回帰や識別、教師なし学習としてのモデル推定やデータマイニング、中間的手法としての強化学習や深層学習等、種々のものが用意されている。学習アルゴリズム52を用いたモデル化は、例えば、ユーザ毎に差異のある要素(個人の能力差や嗜好等)を定数として一般的なモデルを生成する。その生成された一般的モデルが人工知能DB17に記憶される。図10では、記憶されている一般的モデルの具体例として、例えば、建造物の保守点検モデル、暗記学習モデル、筋トレモデル、対話モデル、タスク処理モデル等が示されている。前述の学習データは学習DB60にも記憶される。   The learning data converted into numerical value / label sets is sent to the learning algorithm 52 and modeled 53. As the learning algorithm 52, various algorithms such as regression and identification as supervised learning, model estimation and data mining as unsupervised learning, reinforcement learning and deep learning as intermediate methods, and the like are prepared. Modeling using the learning algorithm 52 generates, for example, a general model with elements (differences in personal abilities, preferences, etc.) that are different for each user as constants. The generated general model is stored in the artificial intelligence DB 17. In FIG. 10, as a specific example of the stored general model, for example, a building maintenance check model, a memorization learning model, a muscle training model, a dialogue model, a task processing model, and the like are shown. The aforementioned learning data is also stored in the learning DB 60.

暗記学習モデルとしてのTi=T0・iは、人間が反復して行なう復習のトータル時間が最少になる一般的モデルであり、iは何回目の反復かを示す反復回数、T0は初学習から忘れる直前までの期間(具体的には初学習から記憶保持率が70%になるまでの時間)、Tiは反復回数が(i−1)からiまでの時間を表している。この一般的モデル中のT0が、ユーザ毎に差異のある要素(記憶力等の個人の能力差)であり、定数として表されている。この暗記学習モデルとしてのTi=T0・iの生成方法は、後に詳しく説明する。 Ti = T 0 · i as a memorization learning model is a general model that minimizes the total review time that humans repeat, i is the number of iterations indicating the number of iterations, and T 0 is the first learning From the first learning to the time immediately before forgetting (specifically, the time from the initial learning until the memory retention rate becomes 70%), Ti represents the time from the number of iterations (i-1) to i. T 0 in this general model is an element (difference between individual abilities such as memory ability) that is different for each user, and is expressed as a constant. A method of generating Ti = T 0 · i as the memorization learning model will be described in detail later.

筋トレモデルとしてのFi=F0+(i-1)/aは、人間が反復して行なう筋トレによる効果が最大になる一般的モデルであり、iは何回目の反復かを示す反復回数、F0は初回の筋トレでの負荷(バーベルの重量等)、aは筋トレの反復に伴って増加する負荷増加係数である。 Fi = F 0 + (i-1) / a as a muscle training model is a general model that maximizes the effects of muscle training performed repeatedly by humans, and i is the number of iterations indicating the number of iterations. , F 0 is the initial load on the muscle training (barbell weight, etc.), and a is the load increase factor that increases with repeated muscle training.

対話モデルは、ユーザが人工知能と対話するときに用いられる一般的モデルであり、男性知的系や女性萌え系や有名タレントなどの初期対象の対話テンプレート等、喜怒哀楽の変化関数等からなる。これについては図19に基づいて詳細に説明する。   The dialogue model is a general model used when a user interacts with artificial intelligence, and consists of change functions of emotions and emotions, such as dialogue templates for initial targets such as male intellectuals, female moe and famous talents. . This will be described in detail with reference to FIG.

タスク処理モデルは、ユーザが仕事等のタスクを処理するときに用いる一般的モデルであり、弁理士や弁護士や有名科学者などの初期対象の知識活用関数等からなる。これについては図21に基づいて詳細に説明する。   The task processing model is a general model used when a user processes a task such as a job, and includes a knowledge utilization function of an initial target such as a patent attorney, a lawyer, or a famous scientist. This will be described in detail with reference to FIG.

ユーザのモバイル通信装置3から送られてくるアラウンドデータは人工知能サーバ9において各種モデル用に分類され54、各種モデル用のパーソナライズデータが作成される55。そのパーソナライズデータがユーザDB12に記憶される。図10では、各種モデル用の具体例として、暗記学習用、筋トレ用、対話用、タスク処理用等が示されている。   Around data sent from the user's mobile communication device 3 is classified 54 for various models in the artificial intelligence server 9, and personalized data for various models is created 55. The personalized data is stored in the user DB 12. In FIG. 10, as specific examples for various models, memorization learning, muscle training, dialogue, task processing, and the like are shown.

ユーザDB12には、ユーザID毎にパーソナライズデータとアラウンドデータとが対応付けられて記憶される。暗記学習用のパーソナライズデータとしては、初学習から忘れる直前までの期間(具体的には初学習から記憶保持率が70%になるまでの時間)TKである。人間の記憶情報は、心理学者ヘルマン・エビングハウスの忘却曲線に従って減少する。この忘却曲線に従って記憶保持率が70%になるまでの時間をTKとしている。このTKは、ユーザIDが「1」の実際のユーザが記憶保持率が70%になるまでの時間であり、実際の数値で表される。   In the user DB 12, personalized data and around data are stored in association with each other for each user ID. The personalized data for memorization learning is a period TK from the first learning to immediately before forgetting (specifically, the time from the first learning until the memory retention rate becomes 70%) TK. Human memory information decreases according to the forgetting curve of psychologist Hermann Ebbinghaus. The time until the memory retention rate reaches 70% according to this forgetting curve is defined as TK. This TK is the time until an actual user with the user ID “1” reaches 70% of the memory retention rate, and is represented by an actual numerical value.

筋トレ用のパーソナライズデータとしては、初回の筋トレでのバーベルの重量等の初期負荷FK、筋トレの反復に伴って増加する負荷増加係数az、超回復時間CT等である。これらは、ユーザIDが「1」の実際のユーザについて実際の数値で表されたものである。なお、「超回復」とは、トレーニング後、48時間〜72時間の休息を取ることで筋力水準がトレーニング前よりも上昇する現象のことを言う。その超回復に要する時間が「超回復時間」である。   The personalized data for muscle training includes an initial load FK such as the weight of a barbell in the first muscle training, a load increase coefficient az that increases with repeated muscle training, and a super recovery time CT. These are actual numerical values for an actual user whose user ID is “1”. Note that “super recovery” refers to a phenomenon in which the muscle strength level increases more than before training by taking a rest for 48 to 72 hours after training. The time required for the super recovery is “super recovery time”.

対話用のパーソナライズデータとしては、男性知的系や女性萌え系や有名タレントなどの初期対象の中からユーザが選択した初期対象と、喜怒哀楽のパーソナル重み等からなる。一般的モデルでは、各初期対象の喜怒哀楽の初期重みが決まっており、ユーザが選択した初期対象と対話している最中にユーザからの要求等に応じて喜怒哀楽の初期重みを徐々に改変し、最終的に当該ユーザに最適なパーソナル重みにしてユーザの好みにマッチする喜怒哀楽を表す対話を可能にする。これについては後に詳しく説明する。   Personalized data for dialogue includes an initial object selected by the user from initial objects such as male intellectual, female moe and famous talents, personal weight of emotion, etc. In the general model, the initial weights of emotions and emotions of each initial object are determined, and the initial weights of emotions and emotions are gradually increased according to the user's request while interacting with the initial object selected by the user. It is possible to make an interaction that expresses emotions that match the user's preference with the personal weight most suitable for the user. This will be described in detail later.

タスク処理用のパーソナライズデータとしては、弁理士や弁護士や有名科学者などの初期対象の中からユーザが選択した初期対象と、各知識のパーソナライズ重み等からなる。一般的モデルでは、各初期対象の知識の初期重みが決まっており、ユーザが選択した初期対象と仕事の対話をしている最中にユーザからの質問や要求等に応じて活用する知識の初期重みを徐々に改変し、最終的に当該ユーザに最適なパーソナル重みにして、ユーザが仕事上要求する知識にマッチする回答やアドバイスを可能にする。これについては後に詳しく説明する。   The personalized data for task processing includes an initial object selected by the user from among initial objects such as a patent attorney, a lawyer, and a famous scientist, and personalized weights of each knowledge. In the general model, the initial weight of knowledge of each initial object is determined, and the initial knowledge to be used in response to questions and requests from the user during the work dialogue with the initial object selected by the user. The weight is gradually changed, and finally the personal weight that is optimal for the user is used, so that answers and advice matching the knowledge required by the user can be provided. This will be described in detail later.

人工知能サーバ9は、以上のようなパーソナライズデータを用いて各ユーザにパーソナライズされた指導(サービス)を行なう。具体的には、暗記学習用パーソナライズデータを用いてユーザの復習のトータル時間が最少になる復習計画(復習スケジュール)に従った指導を行ない、筋トレ用パーソナライズデータを用いて反復して行なう筋トレによる効果が最大になる筋トレスケジュールに従った指導を行ない、対話用パーソナライズデータを用いてユーザの好みにマッチする喜怒哀楽を表す対話を行ない、タスク処理用パーソナライズデータを用いてユーザが仕事上要求する知識にマッチする回答やアドバイスを行なう。   The artificial intelligence server 9 performs personalized guidance (service) for each user using the personalized data as described above. Specifically, the personalized data for memorization learning is used to provide guidance according to the review plan (review schedule) that minimizes the total review time for the user, and the muscle training is performed repeatedly using the personalized data for muscle training. Guidance is performed according to the muscle training schedule that maximizes the effects of, and personalized data for dialogue is used to conduct dialogue that expresses emotions that match the user's preferences. Give answers and advice that match your knowledge.

次に、図11を参照し、図4の外部ディスプレー処理(S2)とディスプレー処理(S3)とSNSサーバ11によるイイネ処理とのサブルーチンプログラムのフローチャートを説明する。   Next, a flowchart of a subroutine program of the external display process (S2), the display process (S3) of FIG.

図11では、ディスプレー5の一例のデジタルメニューボードについての処理を示している。デジタルメニューボードとは、飲食店等に設置されるメニュー表示用のディスプレーであり、メニューをデジタル表示にすることで、売り切れの即時表示、メニュー変更など、店側の時間とコストが大幅に削減できる。本実施の形態では、図1に示したようにデジタルメニューボード5がインターネット1に接続されて人工知能サーバ9やSNSサーバ11と通信可能に構成されている。この図11のフローチャートでは、ユーザがウェアラブルコンピュータ3等で撮影してSNSDB13やユーザDB12等にアップされている画像や動画をデジタルメニューボード5に表示させて一緒に来店した仲間同士で閲覧い合って楽しみながら飲食できるようにしたものである。   FIG. 11 shows processing for a digital menu board as an example of the display 5. A digital menu board is a display for menu display installed in restaurants, etc. By making the menu digital, the time and cost on the store side, such as immediate display of sold-out and menu changes, can be greatly reduced. . In the present embodiment, as shown in FIG. 1, the digital menu board 5 is connected to the Internet 1 and configured to be able to communicate with the artificial intelligence server 9 and the SNS server 11. In the flowchart of FIG. 11, a user can view images and videos taken by the wearable computer 3 or the like and uploaded to the SNSDB 13 or the user DB 12 on the digital menu board 5, and can be viewed with each other who come together. You can eat and drink while having fun.

先ず、S100によりメニューの更新があったか否か判断する。店側が本日のメニューを更新する操作をすれば制御がS101へ進みメニューの更新処理がなされる。次に制御がS102へ進み、メニューの表示がなされる。   First, it is determined whether or not the menu has been updated in S100. If the store side performs an operation to update the menu of today, the control proceeds to S101 and the menu is updated. Next, the control advances to S102 and a menu is displayed.

次に、ユーザがウェアラブルコンピュータ3等で撮影してSNSDB13やユーザDB12等にアップされている画像や動画をデジタルメニューボード5に表示させたい場合には、先ず人工知能サーバ9にアクセスする操作を行なう。すると、S104によりYESの判断がなされて制御がS105へ進み、ユーザIDとアクセス要求等を人工知能サーバ9へ送信してアクセス処理がなされる。アクセス要求を受けた人工知能サーバ9は、S106でYESの判断を行なう。モバイル通信装置3では、S107とS108とにより人工知能サーバ9と交信してユーザがデジタルメニューボード5に表示させたい画像や動画を選択指定する。人工知能サーバ9は、S108によりユーザDB12を検索してその選択指定された画像や動画を特定する。   Next, when the user wants to display on the digital menu board 5 an image or a moving image captured by the wearable computer 3 or the like and uploaded to the SNSDB 13 or the user DB 12 or the like, first, an operation to access the artificial intelligence server 9 is performed. . Then, YES is determined in S104, and the control advances to S105, where the user ID and the access request are transmitted to the artificial intelligence server 9 to perform the access process. The artificial intelligence server 9 that has received the access request makes a YES determination in S106. In the mobile communication device 3, the user communicates with the artificial intelligence server 9 through S107 and S108, and the user selects and designates an image or a moving image that the user wants to display on the digital menu board 5. The artificial intelligence server 9 searches the user DB 12 in S108 and identifies the selected image or moving image.

表示させたい画像が特定できた段階でユーザ(来店客)はデジタルメニューボード5のタッチ画面をタップして交信操作を行なう。すると、S103によりYESの判断が行われ、S109によりウェアラブルコンピュータ3との交信開始処理がなされる。また、ユーザ(来店客)は自分のウェアラブルコンピュータ3の交信操作を行なう。すると、S108でYESと判断され制御がS110へ進み、交信開始処理がなされ、ウェアラブルコンピュータ3とデジタルメニューボード5との間で通信のための接続が確立される。   When the image to be displayed can be specified, the user (store visitor) taps the touch screen of the digital menu board 5 to perform the communication operation. Then, a determination of YES is made in S103, and communication start processing with the wearable computer 3 is performed in S109. Further, the user (visitor) performs a communication operation of his / her wearable computer 3. Then, YES is determined in S108, the control proceeds to S110, a communication start process is performed, and a connection for communication is established between the wearable computer 3 and the digital menu board 5.

次にデジタルメニューボード5は、当該デジタルメニューボード5に割り振られているディスプレーIDをウェアラブルコンピュータ3へ送信する(S111)。それをS112により受信したウェアラブルコンピュータ3は、そのディスプレーIDを人工知能サーバ9へ送信する(S113)。それをS114で受信した人工知能サーバ9は、前述のS108で特定したデータを受信したIDのディスプレー5へ送信する(S105)。それを受信したデジタルメニューボード5は、S116でYESの判断を行なって受信したデータを表示する(S117)。これにより、ユーザ(来店客)が指定した画像や動画がデジタルメニューボード5に表示される。その結果、デジタルメニューボード5という比較的大きな表示画面により画像や動画を閲覧することができる。   Next, the digital menu board 5 transmits the display ID assigned to the digital menu board 5 to the wearable computer 3 (S111). The wearable computer 3 that has received it in S112 transmits the display ID to the artificial intelligence server 9 (S113). The artificial intelligence server 9 that received it in S114 transmits the data specified in S108 described above to the display 5 of the received ID (S105). The digital menu board 5 that has received it makes a determination of YES in S116 and displays the received data (S117). As a result, the image or moving image designated by the user (customer) is displayed on the digital menu board 5. As a result, images and moving images can be viewed on a relatively large display screen called the digital menu board 5.

以上説明した制御で注目すべき点は、ユーザがネット上にアップロードしているデータを選択指定する際に、ディスプレー5を経由することなく自己のモバイル通信端末3で直接人工知能サーバ9にアクセスして特定している点である。ディスプレー5自体がネットに接続されており且つそのディスプレー5に表示させるデータを特定するのであれば、その表示先のディスプレー5経由でネット上のデータにアクセスしてそのデータをディスプレー5で表示させた方が手っ取り早い。しかし、ユーザがネット上にアップロードしているデータはユーザのプライバシーに関わる個人情報であり、その個人情報にアクセスするためにユーザのID等をディスプレー5経由で送信した場合には、ユーザのIDや個人情報が漏洩する虞が生じる。故に、本実施の形態では、ユーザがネット上にアップロードしているデータを選択指定する際に、ディスプレー5を経由することなく自己のモバイル通信端末3で直接人工知能サーバ9にアクセスして指定しているのである   The point to be noted in the control described above is that when the user selects and designates data uploaded on the network, the user directly accesses the artificial intelligence server 9 with his / her mobile communication terminal 3 without going through the display 5. It is a point that is specified. If the display 5 itself is connected to the network and the data to be displayed on the display 5 is specified, the data on the network is accessed via the display 5 of the display destination and the data is displayed on the display 5. It is quicker. However, the data uploaded by the user on the network is personal information related to the user's privacy. When the user's ID is transmitted via the display 5 in order to access the personal information, the user's ID or There is a risk of leakage of personal information. Therefore, in this embodiment, when the user selects and designates the data uploaded on the network, the user accesses the artificial intelligence server 9 directly with his / her mobile communication terminal 3 without going through the display 5 and designates it. ing

次に、デジタルメニューボード5ではS118によりデータ表示が終了したか否かの判断がなされ、終了すれば制御がS119に進み、ユーザ(来店客)を店のホームページにアクセスさせる処理がなされる。具体的には、店のホームページのURLをモバイル通信端末3に送信する。それを受けたモバイル通信端末3は、S120によりそのURLのページへのアクセス要求をSNSサーバ11へ送信する。S121によりそれを受けたSNSサーバ11は、S122により店のホームページをモバイル通信装置3へ送信する。   Next, in the digital menu board 5, it is determined whether or not the data display has been completed in S118, and if completed, the control proceeds to S119, where the user (visitor) accesses the store's homepage. Specifically, the URL of the store home page is transmitted to the mobile communication terminal 3. Receiving it, the mobile communication terminal 3 transmits an access request to the page of the URL to the SNS server 11 in S120. The SNS server 11 that has received it in S121 transmits the store homepage to the mobile communication device 3 in S122.

それを受けたモバイル通信装置3は、S123により店のホームページを表示する。一方、デジタルメニューボード5ではS124により「当店ホームページのイイネにタップしてください」のメッセージ表示がなされる。それを見たユーザ(来店客)がイイネをタップすれば、S125でYESの判断がなされて制御がS126へ進み、イイネ信号がSNSサーバ11へ送信される。それをS127により受付けたSNSサーバ11は、S128によりイイネの登録処理を行なう。その結果、店からユーザ(来店客)への情報提供がSNSを通じて可能となる。例えば、季節限定の新メニューの紹介やクーポンの配信やイベント開催の通知等を行なうことが可能となり、再来店につなげることができる。   Receiving it, the mobile communication device 3 displays the store's homepage in S123. On the other hand, on the digital menu board 5, a message “Please tap on“ like ”on our homepage” ”is displayed in S124. If the user (visitor) who sees it taps the “like”, a determination of YES is made in S125, the control advances to S126, and a like signal is transmitted to the SNS server 11. The SNS server 11 that has received it in S127 performs a rice registration process in S128. As a result, information can be provided from the store to the user (customer) through the SNS. For example, it is possible to introduce new seasonal menus, distribute coupons, notify events, etc., and connect to the store again.

なお、外部ディスプレー処理においてリターンすればS4へ進み、ディスプレー処理においてリターンすればS5へ進む。   If the process returns in the external display process, the process proceeds to S4. If the process returns in the display process, the process proceeds to S5.

次に図12(a)を参照して、図4のS6に示した専門家データ処理のサブルーチンプログラムのフローチャートを説明する。S135によりメンテナンスデータ処理が行われ、S136により筋トレデータ処理が行われ、S137によりその他の処理が行われ、リターンしてS8へ進む。メンテナンスデータ処理は、各種専門業者の一例のメンテナンス専門業者から送られてくる建造物の保守点検結果のデータを受付けて処理するものである。筋トレデータ処理は、各種専門業者の一例のスポーツジムから送られてくる多数の会員の筋トレ結果の集計データを受付けて処理するものである。   Next, a flowchart of the expert data processing subroutine program shown in S6 of FIG. 4 will be described with reference to FIG. Maintenance data processing is performed in S135, muscle training data processing is performed in S136, other processing is performed in S137, and the process returns to S8. The maintenance data processing accepts and processes data on the results of maintenance inspections of buildings sent from a maintenance specialist as an example of various specialists. The muscle training data processing is to accept and process aggregate data of muscle training results of a large number of members sent from a sports gym as an example of various specialists.

次に図12(b)を参照して、前述のメンテナンスデータ処理のサブルーチンプログラムのフローチャートを説明する。メンテナンス専門業者は、図8に示したワイヤレスセンサネットワーク4から送信されてワイヤレスセンサDB16に記憶されている検出データに基づいて建造物の保守点を行ない、その結果(KO,NG等)をセンサID毎にPC10に入力する(S140)。   Next, with reference to FIG. 12B, a flowchart of the above-mentioned maintenance data processing subroutine program will be described. The maintenance specialist performs a maintenance point of the building based on the detection data transmitted from the wireless sensor network 4 shown in FIG. 8 and stored in the wireless sensor DB 16, and the result (KO, NG, etc.) is used as the sensor ID. Each time it is input to the PC 10 (S140).

すると、メンテナンス専門業者のPC10は、S141によりその入力された点検結果をセンサID毎に人工知能サーバ9へ送信する。人工知能サーバ9は、S145により点検結果を受信したか否か判断し、受信していない場合には制御がS151へ移行する。一方、点検結果を受信した場合には制御がS146へ進み、学習DB60に点検結果データをセンサID毎に追加記憶する。次にS147により、ワイヤレスセンサDB16からワイヤレスセンサデータを読出して点検結果データを付した上でデータマイニングを行ない、NG時のパターンNGP1を見つけ出す処理が行われる。例えば、歪と振動周期とが所定の関係になれば異常(NG)の点検結果となる確率が高い等のパターンNGP1を見つけ出す。   Then, the maintenance specialist PC 10 transmits the inspection result input in S141 to the artificial intelligence server 9 for each sensor ID. The artificial intelligence server 9 determines whether or not the inspection result has been received in S145, and if not, the control proceeds to S151. On the other hand, when the inspection result is received, the control proceeds to S146, and the inspection result data is additionally stored in the learning DB 60 for each sensor ID. Next, in S147, the wireless sensor data is read from the wireless sensor DB 16, attached with the inspection result data, data mining is performed, and the process of finding the pattern NGP1 during NG is performed. For example, if the strain and the vibration period have a predetermined relationship, a pattern NGP1 having a high probability of being an abnormal (NG) inspection result is found.

次にS148により、NGP1は今まで見つけ出したものと異なる新たなものか否か判定される。今まで見つけ出したNG時のパターンは全て人工知能DB17の「建造物の保守点検モデル」の記憶エリアに記憶されており、今回見つけ出されたNGP1が既に人工知能DB17に記憶されているか否か判定する。同じものが既に記憶されていると判定された場合には制御がS151へ移行するが、未だ記憶されていないと判定された場合には制御がS149へ進み、NG時のパターンとしてNGP1を人工知能DB17の「建造物の保守点検モデル」の記憶エリアに追加記憶する。   Next, in S148, it is determined whether or not NGP1 is a new one different from the one found so far. All the NG patterns found so far are stored in the storage area of the “building maintenance inspection model” in the artificial intelligence DB 17, and it is determined whether or not the NGP1 found this time is already stored in the artificial intelligence DB 17. To do. If it is determined that the same is already stored, the control proceeds to S151. If it is determined that the same is not yet stored, the control proceeds to S149, and NGP1 is set as an artificial intelligence pattern as an NG pattern. It is additionally stored in the storage area of “Building Maintenance and Inspection Model” in DB 17.

次にS150により、ワイヤレスセンサDB16を検索してワイヤレスセンサで定期チェック済の中からNGP1のパターンを有するセンサIDを抽出して報知する。ワイヤレスセンサは一定時間毎(例えば24時間毎)に定期チェックが行われており(S151、S152)、既に定期チェックを行なった過去のセンサデータについて新たに見つかったNGP1を適用して再チェックを行なうのである。   Next, in S150, the wireless sensor DB 16 is searched and the sensor ID having the NGP1 pattern is extracted from the periodic check with the wireless sensor and notified. The wireless sensor is regularly checked at regular intervals (for example, every 24 hours) (S151, S152), and re-checked by applying newly found NGP1 to past sensor data that has already been periodically checked. It is.

次に、S151により定期チェックの時期が来たか否か判定され、定期チェックの時期が来ればS152により、ワイヤレスセンサDB16を検索することにより、前回の定期チェック後に追加記憶されたワイヤレスセンサデータの中からNG時パターンを有するセンサIDを抽出してNG報知する処理がなされる。前述してように、ワイヤレスセンサDB16には随時新たなセンサデータが追加記憶されており、未だ定期チェックされていない新たなセンサデータについて、人工知能DBに記憶されている全てのNG時パターンを適用してチェックするのである。S152の処理の後リターンし、制御がS136へ移行する。   Next, it is determined whether or not the time for the periodic check has come in S151. If the time for the periodic check has come, the wireless sensor DB 16 is searched in S152 to search for the contents of the wireless sensor data additionally stored after the previous periodic check. The sensor ID which has a pattern at the time of NG is extracted from NG, and the process which carries out NG alerting | reporting is made. As described above, new sensor data is additionally stored in the wireless sensor DB 16 as needed, and all NG time patterns stored in the artificial intelligence DB are applied to new sensor data that has not been regularly checked. And check it. After the process of S152, the process returns, and the control shifts to S136.

次に、図13(a)を参照して、図4のS4に示されたアラウンドデータ端末処理とS5に示されたアラウンドデータサーバ処理とのサブルーチンプログラムのフローチャートを説明する。   Next, a flowchart of a subroutine program of the around data terminal process shown in S4 of FIG. 4 and the around data server process shown in S5 will be described with reference to FIG.

S160によりユーザ用学習端末処理が実行され、S161によりユーザ用学習サーバ処理が実行され、S162により筋トレ端末処理が実行され、S163により筋トレサーバ処理が実行され、S164とS165によりその他の処理が実行される。   User learning terminal processing is executed in S160, user learning server processing is executed in S161, muscle training terminal processing is executed in S162, muscle training server processing is executed in S163, and other processing is executed in S164 and S165. Is done.

ユーザ用学習端末処理およびユーザ用学習サーバ処理は、学習中の各ユーザからアラウンドデータを収集してユーザ用の一般的暗記学習モデルを作成するとともに、ユーザ毎の学習用のパーソナライズデータを生成するための処理である。筋トレ端末処理および筋トレサーバ処理は、筋トレ中の各ユーザからアラウンドデータを収集して、ユーザ毎の筋トレ用のパーソナライズデータを生成するための処理である。   The user learning terminal process and the user learning server process collect around data from each learning user to create a general memorization learning model for the user and generate personalized data for learning for each user. It is processing of. The muscle training terminal process and the muscle training server process are processes for collecting around data from each user in the muscle training and generating personalized data for muscle training for each user.

次に、図13(b)を参照して、図4のS7に示されたパーソナルサービス端末処理とS8に示されたパーソナルサービスサーバ処理とのサブルーチンプログラムのフローチャートを説明する。   Next, a flowchart of a subroutine program of the personal service terminal process shown in S7 of FIG. 4 and the personal service server process shown in S8 will be described with reference to FIG.

S170により学習サービス端末処理が実行され、S171により学習サービスサーバ処理が実行され、S172により筋トレサービス端末処理が実行され、S173により筋トレサービスサーバ処理が実行される。   A learning service terminal process is executed in S170, a learning service server process is executed in S171, a muscle training service terminal process is executed in S172, and a muscle training service server process is executed in S173.

学習サービス端末処理は、ユーザ用の一般的暗記学習モデルと学習用のパーソナライズデータとに基づいてユーザに最も効率的な復習計画に従った指導を行なうものである。筋トレサービス端末処理と筋トレサービスサーバ処理とは、ユーザ用の一般的筋トレモデルと筋トレ用のパーソナライズデータとに基づいてユーザに最も効率的な筋トレ計画に従った指導を行なうものである。   The learning service terminal process is to provide guidance to the user according to the most efficient review plan based on the general memorization learning model for the user and the personalized data for learning. The muscle training service terminal processing and the muscle training service server processing are instructions for the user according to the most efficient muscle training plan based on the general muscle training model for users and the personalized data for muscle training. is there.

次に、図14を参照して、ユーザ用学習端末処理とユーザ用学習サーバ処理とのサブルーチンプログラムのフローチャートを説明する。   Next, a flowchart of a subroutine program of the user learning terminal process and the user learning server process will be described with reference to FIG.

S180によりユーザが学習中であるか否か判断される。この判断は、ユーザの明示的な意思表示を受付けて判断してもよいが、ユーザの音声を自然言語処理により処理したりユーザの視線方向の映像を解析したりして人工知能サーバ9が自律的に判断してもよい。ユーザが学習中でないと判断した場合にはリターンして制御がS162移行するが、学習中であると判断すれば制御がS181へ進み、ユーザの視線方向の映像と視線位置と音声等のアラウンドデータを人工知能サーバ9へ送信する。それをS182により受信した人工知能サーバ9は、S183により、受信したアラウンドデータから現在学習している事項に関する過去の入試出題頻度および出題校等の有用情報を所定のDBから検索してユーザ(ウェアラブルコンピュータ等のモバイル通信装置3)へ送信する。   In S180, it is determined whether the user is learning. This determination may be made by accepting the user's explicit intention display, but the artificial intelligence server 9 is autonomous by processing the user's voice by natural language processing or analyzing the image in the user's gaze direction. Judgment may be made. If it is determined that the user is not learning, the process returns and the control proceeds to S162. If it is determined that learning is being performed, the control proceeds to S181. Is transmitted to the artificial intelligence server 9. The artificial intelligence server 9 that has received it in S182 searches the predetermined database for useful information such as the frequency of past entrance examinations and the questioning school related to the item currently being learned from the received around data, and searches the user (wearable wearable) in S183. To a mobile communication device 3) such as a computer.

それをS184により受信したユーザのモバイル通信装置3は、S185により、受信した有用データをAR(Augmented Reality)を用いてオーバーレイ表示する。ユーザは、学習中のアラウンドデータを人工知能サーバ9へ送信することにより最も効率的な復習計画に従った指導を受けることができるため、自ら率先してアラウンドデータを人工知能サーバ9へ送信することになるが、上記入試出題頻度等の有用情報の表示により益々インセンティブが向上してアラウンドデータを人工知能サーバ9へ送信することになる。   The mobile communication device 3 of the user who has received it in S184 displays the received useful data as an overlay using AR (Augmented Reality) in S185. Since the user can receive guidance according to the most efficient review plan by transmitting the learning around data to the artificial intelligence server 9, the user must take the initiative to send the around data to the artificial intelligence server 9. However, the incentive is further improved by displaying useful information such as the frequency of the above-mentioned entrance examination questions, and the around data is transmitted to the artificial intelligence server 9.

次に、人工知能サーバ9は、S186により、受信データを各種モデル用に分類してユーザDB12と学習DB60とに記憶する処理を行なう。次にS187により、暗記学習モデルが完成済であるか否か判定する。未だ完成していない場合には、制御がS188へ進み、受信データを数値やラベルにして機械学習用のデータを作成し、S189により、学習アルゴリズム(強化学習や回帰等)を用いてモデル化する。このモデル化の一例を説明する。   Next, the artificial intelligence server 9 performs processing of classifying the received data for various models and storing it in the user DB 12 and the learning DB 60 in S186. Next, in S187, it is determined whether or not the memorization learning model has been completed. If it is not completed yet, the control proceeds to S188, and machine learning data is created using the received data as numerical values and labels, and modeling is performed using a learning algorithm (reinforcement learning, regression, etc.) in S189. . An example of this modeling will be described.

ユーザ毎に収集された過去の膨大な学習中アラウンドデータを学習データとして利用し、ユーザ毎に入試試験日等の所定の終点における記憶保持率が一定値(例えば90%)を維持できるという条件の下で、初学習から上記終点までに反復する復習のトータル時間が最少となる復習計画を、強化学習で見つけ出す。例えば、i回目の復習から次に復習するまでの期間をTi、i回目の復習に要した時間をTHiとした場合に、復習のトータル時間T=ΣTHi となる。終点記憶保持率≧90% を満たす条件下で上記Tが最小となるTiを強化学習する。   Using a large amount of past learning around data collected for each user as learning data, the storage retention rate at a predetermined end point such as an entrance examination date can be maintained at a constant value (for example, 90%) for each user. Below, a review plan is found by reinforcement learning that minimizes the total review time from the first study to the end point. For example, when the period from the i-th review to the next review is Ti and the time required for the i-th review is THi, the total review time T = ΣTHi. Reinforcement learning is performed for Ti that minimizes the above T under the condition that the end-point memory retention ratio ≧ 90%.

強化学習において、状態stで行為atを行なうときの価値をQ(st,at)とした場合のQ値を推定する方法として、環境をモデル化する知識、すなわち、状態遷移確率と報酬の確率分布が与えられている場合はモデルベースの手法を用いればよいが、環境モデルが未知の場合、TD(Temporal Difference)学習を用いる。先ず、環境の探索が必要なため、ε-greedy法を用いる。探索の初期はいろいろな行為を試し、落ち着いてくると最適な行為を多く選ぶように、温度の概念を導入する。温度をTとして、次の式で表される確率に従って行為を選ぶ。   In the reinforcement learning, as a method of estimating the Q value when the value when performing the action at in the state st is Q (st, at), knowledge for modeling the environment, that is, the probability distribution of the state transition probability and the reward However, if the environmental model is unknown, TD (Temporal Difference) learning is used. First, since it is necessary to search the environment, the ε-greedy method is used. At the beginning of the search, we will try various actions, and introduce the concept of temperature so that the best action will be selected when it settles down. The action is selected according to the probability expressed by the following equation, where T is the temperature.

P(a|s)={exp(Q(s,a)/T)}/{Σexp(Q(s,b)/T} (なおΣの下にb∈Aが記載されており、上記式ではその記載を省略している)
ここに、aは行為、Q(s,a)は状態sで行為aを行なうときの価値、
P (a | s) = {exp (Q (s, a) / T)} / {Σexp (Q (s, b) / T} (note that b∈A is written under Σ, and the above formula (The description is omitted.)
Where a is an action, Q (s, a) is the value of performing action a in state s,

Tをアニーリング(焼き鈍し)における温度とよび、高ければ行為を等確率に近い確率で選択し、低ければ最適なものに偏らせる。学習が進むにつれて、Tの値を小さくすることで、学習結果が安定する。このようにして選んだ行為をユーザに指示して実際に実行してもらい、積極的に学習データを収集するようにしてもよい。   T is called the temperature in annealing (annealing). If it is high, the action is selected with a probability close to equal probability, and if it is low, it is biased to the optimum one. As the learning progresses, the learning result is stabilized by decreasing the value of T. The action selected in this manner may be instructed to the user to be actually executed, and learning data may be actively collected.

その強化学習の結果の一例を図15に示す。図15を参照して、グラフの縦軸がTi(復習インターバル)、横軸がi(何回目の復習かを示す復習回数)である。○で示したものがユーザID:1のユーザにおける強化学習の結果をプロットしたものである。×で示したものがユーザID:2のユーザにおける強化学習の結果をプロットしたものである。△で示したものがユーザID:3のユーザにおける強化学習の結果をプロットしたものである。   An example of the result of the reinforcement learning is shown in FIG. Referring to FIG. 15, the vertical axis of the graph is Ti (review interval), and the horizontal axis is i (review number indicating the number of reviews). The circles indicate the results of reinforcement learning for the user with the user ID: 1. What is indicated by x is a plot of the result of reinforcement learning for the user with the user ID: 2. What is indicated by Δ is a plot of the results of reinforcement learning for the user with user ID 3.

次に、「回帰」のアルゴリズムを用いて、これらの複数のユーザの機械学習結果のデータを入力データとし、これらの入力データが或る関数に基づいてターゲットを出力していると考え、その関数を求める。その求められた関数が、
Ti=T0・i
の直線の一次関数である。係数T0がユーザ毎に差異のある要素(暗記力等)である。具体的には、各ユーザにおける初学習から忘れる直前までの期間(具体的には初学習から記憶保持率が70%になるまでの時間)である。このように、ユーザ毎に差異のある要素(暗記力等)を定数T0として一般的なモデルで表したものが、
Ti=T0・i
である。
Next, using the algorithm of “regression”, the data of the machine learning results of the plurality of users is set as input data, and these input data are output as targets based on a certain function. Ask for. The calculated function is
Ti = T 0 · i
Is a linear function of. The coefficient T 0 is an element (memorizing power, etc.) having a difference for each user. Specifically, it is a period from the first learning to just before forgetting for each user (specifically, the time from the first learning until the memory retention rate becomes 70%). In this way, an element that is different for each user (such as memorization ability) is expressed as a constant T 0 by a general model,
Ti = T 0 · i
It is.

図14に戻り、S190により、人工知能DB17に暗記学習モデル(Ti=T0・i)を記憶させる。既に古くて不完全な暗記学習モデルが記憶されている場合には、より新しい完全な暗記学習モデル(Ti=T0・i)に更新する。 Returning to FIG. 14, the memorization learning model (Ti = T 0 · i) is stored in the artificial intelligence DB 17 in S190. If an old and incomplete memorization learning model is already stored, it is updated to a newer complete memorization learning model (Ti = T 0 · i).

一方、S187により暗記学習モデルが未だ完成されていないと判断された場合は、制御がS191に進み、分類された受信データに基づいてパーソナライズデータを作成してユーザDB12に記憶する処理がなされる。この場合の「パーソナライズデータ」は、上記ユーザ毎に差異のある要素(暗記力等)T0、つまり、初学習から記憶保持率が70%になるまでの時間である。これは、ユーザDB12に記憶されているユーザの学習中のアラウンドデータから容易に導き出せる。 On the other hand, if it is determined in S187 that the memorization learning model has not yet been completed, the control proceeds to S191, where personalized data is created based on the classified received data and stored in the user DB 12. The “personalized data” in this case is an element (memorization ability, etc.) T 0 that differs for each user, that is, the time from the initial learning until the memory retention rate becomes 70%. This can be easily derived from the user's learning around data stored in the user DB 12.

次に、図16を参照して、図13(b)のS170で示した学習サービス端末処理およびS171で示した学習サービスサーバ処理のサブルーチンプログラムのフローチャートを説明する。   Next, with reference to FIG. 16, the flowchart of the subroutine program of the learning service terminal process shown by S170 and the learning service server process shown by S171 of FIG.13 (b) is demonstrated.

ウェアラブルコンピュータ等のモバイル通信装置3は、S200により、ユーザからの復習要求があったか否かの判断を行なう。復習要求がなかった場合にはリターンして制御がS172へ移行するが、復習要求があった場合にはS201により復習要求を人工知能サーバ9へ送信する。それをS202で受信した人工知能サーバ9は、S203により、暗記学習モデルが完成しているか否か判定する。完成していない場合には制御がS205へ移行するが、既に完成している場合には制御がS204に進み、一般的な暗記学習モデルTi=T0・i に、T0=TK を代入して、反復復習の時期が近い学習事項をユーザDB12のアラウンドデータから抽出する。なお、上記TKとは、当該ユーザの初学習から忘れる直前までの期間(具体的には初学習から記憶保持率が70%になるまでの時間)のことである。 The mobile communication device 3 such as a wearable computer determines whether or not there is a review request from the user in S200. If there is no review request, the process returns to S172, but if there is a review request, the review request is transmitted to the artificial intelligence server 9 in S201. Artificial intelligence server 9 which received it by S202 judges whether the memorization learning model is completed by S203. If it has not been completed, control proceeds to S205. If it has already been completed, control proceeds to S204, and T 0 = TK is substituted for a general memorization learning model Ti = T 0 · i. Thus, learning items that are near the time of repeated review are extracted from the around data of the user DB 12. The TK is a period from the initial learning of the user to immediately before forgetting (specifically, the time from the initial learning until the memory retention rate becomes 70%).

次に、S205により、ユーザが授業中等においてよそ見中の学習事項をユーザDB12のアラウンドデータから抽出する。これは、学習中のユーザの視線位置がアラウンドデータとして人工知能サーバ9へ送信されて(S181)ユーザDB12に記憶されるため、ユーザがよそ見中であるか否かの判断が可能となる。次にS206により、S204とS205とで抽出された学習事項をモバイル通信装置3へ送信する。それをS207で受信したモバイル通信装置3は、S208により、受信した学習事項をユーザに復習させる処理を行なう。   Next, in S205, a learning item that the user is looking away during a class or the like is extracted from the around data of the user DB 12. This is because the line-of-sight position of the user who is learning is transmitted as around data to the artificial intelligence server 9 (S181) and stored in the user DB 12, so that it can be determined whether or not the user is looking away. Next, in S206, the learning items extracted in S204 and S205 are transmitted to the mobile communication device 3. The mobile communication device 3 that has received it in S207 performs a process of allowing the user to review the received learning items in S208.

また、よそ見中であることに代えてまたはそれに加えて、ユーザが授業中等において無駄話をしている最中の学習事項をユーザに復習させる制御を行なってもよい。つまり、学習中のユーザの態度を特定できる情報を収集するための収集手段と、当該ユーザが受けている学習内容を記録するための記録手段と、前記収集手段で収集された情報から学習に不適切なユーザの態度部分を判別するための判別手段と、該判別手段で判別された部分に相当する学習内容を前記記録手段から抽出するための抽出手段と、該抽出手段により抽出された学習内容をユーザ端末へ送信するための送信手段とを備えている。尚、上記S205は必ずしも行わなくてもよい。S206の処理の後はリターンして制御がS173へ移行する。   Further, instead of or in addition to being looking away, control may be performed to allow the user to review the learning items that the user is talking about in vain during a class or the like. That is, the collection means for collecting information that can identify the attitude of the user who is learning, the recording means for recording the learning contents received by the user, and the information collected by the collection means are not effective for learning. Discrimination means for discriminating an appropriate user's attitude part, extraction means for extracting learning content corresponding to the part discriminated by the discrimination means from the recording means, and learning content extracted by the extraction means For transmitting to the user terminal. Note that S205 is not necessarily performed. After the process of S206, the process returns and the control proceeds to S173.

なお、上記の制御では、一般的モデルに当該ユーザのパーソナライズデータを代入して当該ユーザ専用のパーソナライズモデルにした上で、そのパーソナライズモデルを利用してパーソナライズサービスを当該ユーザに提供しているが、当該ユーザのための手作りのパーソナライズモデルを生成し、それを利用してパーソナライズサービスを当該ユーザに提供してもよい。例えば、図14のS187でYESの判断がなされた時点で、その一般的学習モデルの作成に寄与した複数のユーザ(被験者)各々の機械学習の結果が出ている(図15参照)。故に、それら被験者のユーザ各々は、自分の学習について行われたその機械学習の結果が手作りのパーソナライズモデルになり得るのであり、そのパーソナライズモデルを利用してパーソナライズサービスを当該ユーザに提供するように制御してもよい。さらに、上記被験者以外のユーザであっても、あえて自分のための手作りのパーソナライズモデルの生成を希望する場合には、自己の学習データ(復習データ)を大量に人工知能サーバ9に提供して手作りのパーソナライズモデルを作成してもらうように制御してもよい。   In the above control, the personalized data of the user is substituted into the general model to make a personalized model dedicated to the user, and then the personalized service is provided to the user using the personalized model. A handmade personalized model for the user may be generated and used to provide a personalization service to the user. For example, when YES is determined in S187 of FIG. 14, the results of machine learning for each of a plurality of users (subjects) who contributed to the creation of the general learning model are obtained (see FIG. 15). Therefore, each of the users of these subjects can control the result of the machine learning performed on their own learning to be a handmade personalized model, and provide a personalized service to the user using the personalized model. May be. Furthermore, even if a user other than the above-mentioned subjects, if he / she wants to generate a personalized personalized model for himself / herself, he / she provides a large amount of his / her learning data (review data) to the artificial intelligence server 9 It may be controlled so that a personalized model is created.

次に、図17を参照して、図12(a)のS136で示した筋トレデータ処理のサブルーチンプログラムのフローチャートを説明する。   Next, a flowchart of a subroutine program for muscle training data processing shown in S136 of FIG. 12A will be described with reference to FIG.

専門業者の一例のスポーツジムのPC10は、S210により、多数の会員(被験者)の筋トレデータを集計して人工知能サーバ9へ送信する。筋トレデータは、例えば、被験者の初期負荷、筋トレ時間や回数、前回の筋トレから今回の筋トレまでの筋トレインターバル、負荷増加係数、筋肉の太さの計測値データ等である。その筋トレデータをS211で受信して人工知能サーバ9は、S212により、受信データを各種モデル用に分類して学習DB60に記憶する。次に、S213により、受信データを数値やラベル集合のデータにして学習データを作成する。   The PC 10 of the sports gym as an example of a specialist trades the muscle training data of a large number of members (subjects) and transmits it to the artificial intelligence server 9 in S210. The muscle training data includes, for example, the initial load of the subject, the muscle training time and number, the muscle training interval from the previous muscle training to the current muscle training, the load increase coefficient, and the measurement data of the muscle thickness. Upon receiving the muscle training data in S211, the artificial intelligence server 9 classifies the received data for various models and stores it in the learning DB 60 in S212. Next, in S213, the received data is converted into numerical data or label set data to create learning data.

次に、S214により、その学習データに基づいて、強化学習や回帰等の学習アルゴリズムを用いてモデル化する。このモデル化の手法は、図15に基づいて説明したものと同様のやり方である。筋トレの一般的なモデルは、
Fi=F0+(i−1)/a
である。ここに、iは何回目の反復筋トレかを示す反復回数、Fiはi回目の筋トレでの負荷(バーベルの重量等)、F0は初回の筋トレでの負荷(バーベルの重量等)、aは筋トレの反復に伴って増加する負荷増加係数である。これらF0とaは、ユーザ毎に差異のある要素(筋力の個人差等)である。
Next, in S214, modeling is performed using a learning algorithm such as reinforcement learning or regression based on the learning data. This modeling method is the same as that described with reference to FIG. The general model of muscle training is
Fi = F 0 + (i−1) / a
It is. Here, i is the number of repetitions indicating the number of repeated muscle training, Fi is the load at the i-th muscle training (barbell weight, etc.), and F 0 is the load at the first muscle training (barbell weight, etc.) , A is a load increase coefficient that increases with repeated muscle training. These F 0 and a is a but differentiated for each user elements (individual differences of muscle strength, etc.).

次に、S215により、上記一般的モデル(Fi=F0+(i−1)/a)を人工知能DB17の筋トレ学習モデルの記憶エリアに記憶する。既に古くて不完全な筋トレ学習モデルが記憶されている場合には、より新しい完全な暗記学習モデル(Fi=F0+(i−1)/a)に更新する。 Next, the general model (Fi = F 0 + (i−1) / a) is stored in the storage area of the muscle training learning model in the artificial intelligence DB 17 through S215. If an old and incomplete muscle training learning model is already stored, it is updated to a newer complete memorization learning model (Fi = F 0 + (i−1) / a).

次に、図18(a)を参照して、図13(a)のS162で示した筋トレ端末処理およびS163で示した筋トレサーバ処理のサブルーチンプログラムのフローチャートを説明する。   Next, with reference to FIG. 18A, a flowchart of a subroutine program of the muscle training terminal process shown in S162 and the muscle training server process shown in S163 in FIG. 13A will be described.

ユーザのモバイル通信装置3は、S220により、ユーザが筋トレ中か否か判断する。筋トレ中でなければリターンして制御がS164へ移行する。筋トレ中の場合には、制御がS221に進み、ユーザの筋トレデータを集計して人工知能サーバ9へ送信する。それをS222により受信いた人工知能サーバ9は、S113により、受信データを学習DB60に記憶するとともに、ユーザの初期負荷FK、負荷増加係数az、超回復時間CTを算出してユーザDB12に記憶する。S113の後リターンして制御がS165へ移行する。   In step S220, the user's mobile communication device 3 determines whether the user is performing muscle training. If it is not during muscle training, the process returns and the control proceeds to S164. If the muscle training is in progress, the control proceeds to S221, where the user's muscle training data is aggregated and transmitted to the artificial intelligence server 9. The artificial intelligence server 9 that has received it in S222 stores the received data in the learning DB 60 in S113, calculates the user's initial load FK, load increase coefficient az, and super recovery time CT, and stores them in the user DB 12. After S113, control returns to S165.

次に、図18(b)を参照して、図13(b)のS172で示した筋トレサービス端末処理およびS173で示した筋トレサービスサーバ処理のサブルーチンプログラムのフローチャートを説明する。   Next, a flowchart of a subroutine program of the muscle training service terminal process shown in S172 and the muscle training service server process shown in S173 in FIG. 13B will be described with reference to FIG.

ユーザのモバイル通信装置3は、S226により、ユーザの筋トレメニューの要求に応じて筋トレメニュー要求信号を人工知能サーバ9へ送信する。それをS227で受信した人工知能サーバ9は、S228により、ユーザの初期負荷FK、負荷増加係数az、超回復時間CTをユーザDB12から読出し、一般的筋トレモデル(Fi=F0+(i−1)/a)に代入し、今回の筋トレメニューを作成する。そして、S229により、その筋トレメニューと、筋トレデータを提供してくれた筋トレ専門業者(S210参照)の広告とを、ユーザのモバイル通信装置3へ送信する。それをS230で受信したモバイル通信装置3は、S231により、受信した筋トレメニューと筋トレ専門業者の広告とをユーザに報知する。S231の後リターンして制御がS9へ移行し、S229の後リターンして制御がS10へ移行する。 In step S226, the user's mobile communication device 3 transmits a muscle training menu request signal to the artificial intelligence server 9 in response to the user's muscle training menu request. The artificial intelligence server 9 that has received it in S227 reads out the user's initial load FK, load increase coefficient az, and super recovery time CT from the user DB 12 in S228, and generates a general muscle training model (Fi = F 0 + (i− 1) Substitute into / a) to create the current muscle training menu. In S229, the muscle training menu and the advertisement of the muscle training specialist (see S210) who provided the muscle training data are transmitted to the mobile communication device 3 of the user. The mobile communication device 3 that has received it in S230 notifies the user of the received muscle training menu and the advertisement of the muscle training specialist in S231. After S231, the control returns to S9, and after S229, the control returns to S10.

図19(a)は、図10の人工知能DB17中の対話モデルの記憶エリアに記憶されているデータの詳細(具体例)を示したものである。対話モデルの記憶エリアには、初期対象、対話テンプレート、喜怒哀楽初期重み、喜怒哀楽変化関数の各データが記憶されている。初期対象には、男性知的系、女性知的系、男性ワイルド系、女性萌え系、タレントA、タレントB、タレントC等の各種選択対象が記憶されている。対話テンプレート、喜怒哀楽初期重み、喜怒哀楽変化関数の各データは、各初期対象の種類毎に異なり、それぞれのデータが各初期対象の種類毎に対応付けられて記憶されている。対話テンプレートは、ユーザの対話に対する応答をテンプレートマッチングで見つけ出すために大量に集められた対話テンプレートである。例えば男性知的系の場合、知的な対話テンプレートの割合が多くなっている。   FIG. 19A shows the details (specific example) of data stored in the storage area of the dialogue model in the artificial intelligence DB 17 of FIG. In the storage area of the dialog model, data of an initial object, a dialog template, initial emotional weight, and an emotional change function are stored. In the initial target, various selection targets such as male intellectual system, female intellectual system, male wild system, female moe system, talent A, talent B, and talent C are stored. Each data of the dialogue template, emotional initial weight, and emotional change function is different for each initial target type, and each data is stored in association with each initial target type. The dialogue template is a dialogue template collected in large quantities to find a response to the user's dialogue by template matching. For example, in the case of male intellectuals, the ratio of intelligent dialogue templates is increasing.

喜怒哀楽初期重みと喜怒哀楽変化関数とは、対話に応じて喜怒哀楽の感情の変化を制御するためのものである。ユーザが褒めれば「喜」の感情に変化するように制御し、ユーザが貶せば「怒」の感情に変化するように制御し、ユーザが悲しめば「哀」の感情に変化するように制御し、ユーザが楽しめば「楽」の感情に変化するように制御する。   The initial emotional weight and the emotional change function are used to control the emotional change of emotion depending on the dialogue. If the user gives up, it is controlled to change to the emotion of “joy”. If the user gives up, the control is changed to change to the emotion of “anger”. If the user is sad, the emotion changes to “feeling of sadness”. If it is enjoyed by the user, it is controlled so as to change to “Easy” emotion.

但し、初期対象の種類によって喜怒哀楽の重みが異なり変化の態様もことなるため、それぞれの初期対象の種類によって異なる喜怒哀楽初期重みと喜怒哀楽変化関数とにしている。喜怒哀楽初期重みと喜怒哀楽変化関数とは、多数のユーザとの対話で収集された多数の対話内容を学習データにして機械学習により見つけ出す。多数のユーザを男性知的系、女性知的系、男性ワイルド系、女性萌え系に分類し、それぞれの系毎の平均を算出して各初期対象に見合った喜怒哀楽初期重みと喜怒哀楽変化関数とを作成する。なお、タレントA、タレントB、タレントC等については、実際の或るタレント(例えばタレントA)の対話で収集された多数の対話データを学習データにして機械学習により喜怒哀楽初期重みと喜怒哀楽変化関数とを見つけ出す。なお、喜怒哀楽変化関数は全ての人間で共通の統一的な関数にして、各人の差異(ばらつき)を喜怒哀楽初期重みで調整するように制御してもよい。   However, since the weight of the emotion is different depending on the type of the initial object and the mode of the change is different, the initial weight of the emotion and the emotion change function are different depending on the type of the initial object. The initial emotion weight and emotion change function are found by machine learning using a large number of dialogue contents collected by dialogue with a large number of users as learning data. A large number of users are classified into male intellectuals, female intellectuals, male wilds, and female moe, and the average of each system is calculated and the initial emotions and emotions are appropriate for each initial target. Create a change function. For talent A, talent B, talent C, etc., initial weights and emotions are expressed by machine learning using a lot of conversation data collected in an actual conversation of a certain talent (for example, talent A) as learning data. Find the sorrow change function. It should be noted that the emotion change function may be a unified function common to all humans, and the difference (variation) of each person may be controlled by adjusting the initial weight of emotion.

喜怒哀楽変化関数F(x)の一例としては、例えば次のようなものが考えられる。喜怒哀楽をそれぞれK、D、I、Rと表し、無感情な状態をMと表し、ユーザによる、褒めた回数をx1、貶した回数をx2、悲しんだ回数をx3、楽しんだ回数をx4とし、喜怒哀楽初期重みをそれぞれK、D、I、Rとする。また、シグモイド関数1/(1+e-x)を便宜上S(x)と表現すと、
F(x)=KS(x1−K)+DS(x2−D)+IS(x3−I)+RS(x4−R)+M(1−S(x1−K)−S(2x−D)−S(x3−I)−S(x4−R))
となる。つまり、x1、x2、x3、x4のいずれかが各々の閾値(初期重み)K、D、I、Rを越えればその越えた感情(喜K怒D哀I楽Rのいずれか)に変化するが、いずれも上記閾値を越えなければ無感情Mとなる。
An example of the emotion change function F (x) is as follows. The emotions are expressed as K, D, I, and R, respectively, the emotional state is expressed as M, the number of times of praise by the user is x1, the number of times of disappointment is x2, the number of sad times is x3, and the number of times of enjoyment is x4 And the initial emotional weights are K, D, I, and R, respectively. In addition, when the sigmoid function 1 / (1 + e −x ) is expressed as S (x) for convenience,
F (x) = KS (x1-K) + DS (x2-D) + IS (x3-I) + RS (x4-R) + M (1-S (x1-K) -S (2x-D) -S (x3 -I) -S (x4-R))
It becomes. That is, if any of x1, x2, x3, and x4 exceeds the respective threshold values (initial weights) K, D, I, and R, the emotions that exceed the thresholds (any of K, K, D, and I) are changed. However, if neither of the above thresholds is exceeded, no emotion M is obtained.

図19(b)は、図10のユーザDB12中の対話用のパーソナライズデータの記憶エリアに記憶されているデータの詳細を示したものである。図19(b)では、ユーザID:1のユーザが対話モデルの初期対象として「タレントA」を選択指定した場合が示されている。そして、喜怒哀楽のパーソナル重みとして「0.7AK,1.5AD,1.3AI,0.5AR」が記憶されている。   FIG. 19B shows details of the data stored in the personalized data storage area for dialogue in the user DB 12 of FIG. FIG. 19B shows a case where the user with the user ID: 1 selects and designates “talent A” as the initial target of the dialogue model. And “0.7AK, 1.5AD, 1.3AI, 0.5AR” is stored as personal weight of emotion.

「タレントA」の喜怒哀楽初期重みは、図19(a)に記載されているように「AK,AD,AI,AR」であるが、ユーザがこの喜怒哀楽初期重みに基づいた対話を行なっている最中に当該ユーザの要請に従って喜怒哀楽初期重み「AK,AD,AI,AR」が徐々に改変され、現時点で「0.7AK,1.5AD,1.3AI,0.5AR」となっている。その結果、このユーザの喜怒哀楽のパーソナル重み「0.7AK,1.5AD,1.3AI,0.5AR」での喜怒哀楽変化関数は次のようになる。
F(x)=KS(x1−0.7AK)+DS(x2−1.5AD)+IS(x3−1.3AI)+RS(x4−0.5AR)+M(1−S(x1−0.7AK)−S(2x−1.5AD)−S(x3−1.3AI)−S(x4−0.5AR))
As shown in FIG. 19A, the initial weight of “talent A” is “AK, AD, AI, AR”, but the user performs dialogue based on this initial emotion weight. During the process, the initial emotional weight “AK, AD, AI, AR” was gradually modified according to the user's request, and it is now “0.7AK, 1.5AD, 1.3AI, 0.5AR”. . As a result, the emotion change function with personal weight “0.7AK, 1.5AD, 1.3AI, 0.5AR” of the user's emotion is as follows.
F (x) = KS (x1-0.7AK) + DS (x2-1.5AD) + IS (x3-1.3AI) + RS (x4-0.5AR) + M (1-S (x1-0.7AK) -S (2x-1.5 AD) -S (x3-1.3AI) -S (x4-0.5AR))

その結果、実際のタレントAに比べて、喜Kと楽Rとが現れやすく、怒Dと哀Iとが現れにくくなっている。   As a result, in comparison with the actual talent A, joy K and comfort R are more likely to appear, and anger D and sorrow I are less likely to appear.

このように、ユーザの好みに合った初期対象を選択指定できる上に、さらに対話を重ねるうちに当該ユーザの好みがより反映された喜怒哀楽のパーソナル重みに改変することができる。つまり、人間相手の場合には、相手を自分の理想の人間に変えることなどほとんど不可能であるが、人工知能の場合には相手(人工知能)を自分の理想の相方に作り上げる(育て上げる)ことができる。今までは、理想の恋人、理想の親友、理想の相棒を探し求めて巡り合う時代であったが、今後の未来世界では、ネットワーク上(クラウド上)に自分の理想の恋人、理想の親友、理想の相棒を作り上げる時代となる。   In this way, an initial target that suits the user's preference can be selected and specified, and the user's preference can be changed to a personal weight that reflects the user's preference as the user's preference is further reflected. In other words, in the case of a human partner, it is almost impossible to change the partner to your ideal human being, but in the case of artificial intelligence, creating (bringing up) your partner (artificial intelligence) to your ideal partner. Can do. Up until now, it was an era when we searched for the ideal lover, ideal best friend and ideal partner, but in the future world, our ideal lover, ideal best friend, ideal It will be an era to build a partner.

次に、図20を参照して、図4のS9に示された対話端末処理とS10に示された対話サーバ処理とのサブルーチンプログラムのフローチャートを説明する。   Next, with reference to FIG. 20, the flowchart of the subroutine program of the dialog terminal process shown in S9 of FIG. 4 and the dialog server process shown in S10 will be described.

ウェアラブルコンピュータ等のモバイル通信装置3は、S235により、ユーザ側が対話を開始したか否か判断し、開始していない場合にはリターンして制御がS11へ移行する。ユーザ側が対話を開始した場合には制御がS236へ進み、ユーザIDと対話開始信号とを人工知能サーバ9へ送信する。それを受信した人工知能サーバ9はS241によりYESの判断を行ない、S242により初期対象を受信したか否かの判定を行ない、受信していない場合には制御がS244へ移行する。   The mobile communication device 3 such as a wearable computer determines whether or not the user side has started the dialogue in S235, and if not, returns and the control proceeds to S11. When the user side starts the dialogue, the control proceeds to S236, and the user ID and the dialogue start signal are transmitted to the artificial intelligence server 9. The artificial intelligence server 9 that has received it makes a determination of YES in S241, determines whether or not an initial object has been received in S242, and if not, the control moves to S244.

一方、モバイル通信装置3では、S237により、初期対象の選択指定があったか否かの判断を行なう。選択指定がされていない場合には制御がS239へ移行するが、選択指定された場合には、S238により、その指定された初期対象を人工知能サーバ9へ送信する。それを受信した人工知能サーバ9は、S242によりYESの判断を行なってS243により、ユーザDB12中のユーザIDに対応する対話用初期対象を指定されたものに更新する処理を行なう。   On the other hand, the mobile communication device 3 determines in S237 whether or not an initial target has been selected. If the selection is not specified, the control proceeds to S239. If the selection is specified, the specified initial target is transmitted to the artificial intelligence server 9 through S238. The artificial intelligence server 9 that has received it makes a determination of YES in S242 and performs a process of updating the initial target for interaction corresponding to the user ID in the user DB 12 to the designated one in S243.

次に、モバイル通信装置3はS239により、人工知能サーバ9はS244により、互いに対話を行なう。その際、人工知能サーバ9では、ユーザDB12中のユーザIDに対応する対話用初期対象と喜怒哀楽のパーソナル重みと人工知能DB17中の対応する喜怒哀楽変化関数とに従って対話する。人工知能サーバ9は自然言語処理エンジンを備えており、「形態素解析」および「構文解析(文節と文節の係り受け関係を判定する処理)」というテキストマイニング時の処理に加え、文章の構造を把握するのに必要な「文脈解析」と文章の意図を理解するのに必要な「意味解析」の2つの技術が組み込まれている。これにより、ユーザの声を「より速く」「より精緻」に解析することが可能となる。   Next, the mobile communication device 3 interacts with each other through S239, and the artificial intelligence server 9 interacts with each other through S244. At that time, the artificial intelligence server 9 performs dialogue according to the initial object for dialogue corresponding to the user ID in the user DB 12, the personal weight of emotion and emotion, and the corresponding emotion change function in the artificial intelligence DB 17. Artificial intelligence server 9 is equipped with a natural language processing engine, which grasps the structure of sentences in addition to text mining processes such as "morpheme analysis" and "syntax analysis (processing to determine dependency relation between clauses)" It incorporates two techniques: “context analysis” necessary to do this and “semantic analysis” necessary to understand the intention of the sentence. This makes it possible to analyze the user's voice “faster” and “more elaborately”.

人工知能サーバ9では、上記対話中に、喜怒哀楽のパーソナル重みを変更する必要が生じたか否か判断する(S245)し、必要が生じればS246により、喜怒哀楽のパーソナル重みを更新する。例えば、「怒の重みをもう少し軽減してくれ」等の予め定められた決まり文句をユーザが発したことを人工知能サーバ9が認識して、喜怒哀楽のパーソナル重みを更新する制御を行なう。なお、上記決まり文句に代えてまたは決まり文句に加えて、「君起こりすぎだよ」等のユーザの発言に応じて、怒哀楽のパーソナル重みを更新する制御を行なってもよい。   The artificial intelligence server 9 determines whether or not it is necessary to change the personal weight for emotion during the conversation (S245), and if necessary, the personal weight for emotion is updated in S246. . For example, the artificial intelligence server 9 recognizes that the user has issued a predetermined phrase such as “reduce the anger weight a little more” and performs control to update the personal weight of emotion. In addition, instead of or in addition to the above-mentioned fixed phrases, control for updating personal weights of emotions may be performed in response to a user's remarks such as “You happened too much”.

次に人工知能サーバ9では、S247により、対話内容が仕事に関するものか否か判断する。仕事に関するものでない場合には、S249へ進み、対話が終了したか否か判断するが、仕事に関するものの場合には、S248に進み、タスクサーバ処理が行われる。   Next, in step S247, the artificial intelligence server 9 determines whether the conversation content is related to work. If it is not related to work, the process proceeds to S249, and it is determined whether or not the dialogue is ended. If it is related to work, the process proceeds to S248, and task server processing is performed.

人工知能サーバ9では、S249により対話が終了していないと判断された場合には制御がS244へ移行し、S244〜S249のステップを繰り返し実行し、対話が終了した時点でリターンして制御がS12へ移行する。一方、モバイル通信装置3では、S240により対話が終了していないと判断された場合には制御がS237へ移行し、S237〜S240のステップを繰り返し実行し、対話が終了した時点でリターンして制御がS11へ移行する。   In the artificial intelligence server 9, when it is determined in S249 that the dialogue has not ended, the control shifts to S244, the steps of S244 to S249 are repeatedly executed, and when the dialogue is completed, the control is returned and the control is performed in S12. Migrate to On the other hand, in the mobile communication device 3, when it is determined in S240 that the dialogue has not ended, the control proceeds to S237, and the steps of S237 to S240 are repeatedly executed, and when the dialogue is finished, the control is returned to the control. Shifts to S11.

図21(a)は、図10の人工知能DB17中のタスク処理モデルの記憶エリアに記憶されているデータの詳細(具体例)を示したものである。タスク処理モデルの記憶エリアには、初期対象、各知識の初期重み、知識活用関数の各データが記憶されている。初期対象には、弁理士、弁護士、物理学者、化学者、科学者A、科学者B、科学者C等の各種選択対象が記憶されている。各知識の初期重み、知識活用関数の各データは、各初期対象の種類毎に異なり、それぞれのデータが各初期対象の種類毎に対応付けられて記憶されている。   FIG. 21A shows details (specific example) of data stored in the storage area of the task processing model in the artificial intelligence DB 17 of FIG. The storage area of the task processing model stores each data of the initial object, the initial weight of each knowledge, and the knowledge utilization function. In the initial object, various selection objects such as a patent attorney, a lawyer, a physicist, a chemist, a scientist A, a scientist B, and a scientist C are stored. The initial weight of each knowledge and each data of the knowledge utilization function differ for each initial object type, and each data is stored in association with each initial object type.

各知識の初期重みと知識活用関数とは、仕事等のタスク処理を行なう際にそれぞれの初期対象がその専門分野にマッチした知識を利用しやすくするためのものである。各知識の初期重みと知識活用関数とは、多数のユーザとの仕事上の対話で収集された多数の対話内容を学習データにして機械学習により見つけ出す。多数のユーザを弁理士、弁護士、物理学者、化学者等の専門職毎に分類し、それぞれの専門職の平均を算出して各初期対象に見合った各知識の初期重みと知識活用関数とを作成する。   The initial weight of each knowledge and the knowledge utilization function are intended to make it easier for each initial object to use knowledge that matches the specialized field when performing task processing such as work. The initial weight of each knowledge and the knowledge utilization function are found by machine learning by using a large number of dialogue contents collected in a dialogue with a large number of users as learning data. A large number of users are classified according to professionals such as patent attorneys, lawyers, physicists, chemists, etc., the average of each professional is calculated, and the initial weight of each knowledge and the knowledge utilization function that match each initial target create.

例えば、弁理士のユーザが人工知能サーバ9に対し仕事上で多数の質問や相談を行ない、人工知能サーバ9からの応答に対し「満足した」とか「満足しない」等の反応等からなる大量のデータを学習データとして、強化学習や回帰等のアルゴリズムにより、モデル化する。なお、科学者A、科学者B、科学者C等については、実際の或る科学者の対話で収集された多数の対話データを学習データにして機械学習により知識の初期重みと知識活用関数とを見つけ出す。なお、知識活用関数は全ての人間で共通の統一的な関数にして、各人の差異(ばらつき)を知識の初期重みで調整するように制御してもよい。   For example, a patent attorney user asks the artificial intelligence server 9 a number of questions and consultations on the job, and responds to the response from the artificial intelligence server 9 with a large amount of responses such as “satisfied” or “not satisfied”. The data is modeled as learning data by an algorithm such as reinforcement learning or regression. For scientist A, scientist B, scientist C, etc., an initial weight of knowledge and a knowledge utilization function are obtained by machine learning using a large number of dialogue data collected in an actual scientist dialogue as learning data. Find out. Note that the knowledge utilization function may be a unified function common to all humans, and may be controlled so that the difference (variation) of each person is adjusted by the initial weight of knowledge.

知識活用関数G(x)の一例としては、例えば次のようなものが考えられる。各知識をそれぞれn1、n2、n3、・・・と表し、各知識に対してのユーザによる、「満足した」等の肯定的反応の回数をx1k、x2k、x3k、・・・「満足しない」等の否定的反応の回数をx1h、x2h、x3h、・・・とし、各知識の初期重みをそれぞれw、w、w、・・・とする。また、シグモイド関数1/(1+e-x)を便宜上S(x)と表現すと、
G(x)=wn1S(x1k−x1h)+wn2S(x2k−x2h)+wn3S(x3k−x3h)+・・・
となる。つまり、否定的反応の回数よりも肯定的反応の回数が上回った知識が利用するのに有効な知識とされ、かつ、各知識n1、n2、n3、・・・の係数(重みw、w、w、・・・)が大きな値の知識から優先的に利用されるように制御可能となる。
An example of the knowledge utilization function G (x) is as follows. Each knowledge is represented as n1, n2, n3,... And the number of positive responses such as “satisfied” by the user for each knowledge is x1k, x2k, x3k,. x1h the number of negative reactions etc., and x2h, x3h, and ..., w 1 the initial weight of each knowledge, respectively, w 2, w 3, and .... In addition, when the sigmoid function 1 / (1 + e −x ) is expressed as S (x) for convenience,
G (x) = w 1 n1S (x1k−x1h) + w 2 n2S (x2k−x2h) + w 3 n3S (x3k−x3h) +.
It becomes. That is, the knowledge that the number of positive reactions exceeds the number of negative reactions is regarded as effective knowledge to be used, and the coefficients (weights w 1 , w, etc.) of the respective knowledge n1, n2, n3,. 2 , w 3 ,...) Can be controlled so as to be used preferentially from knowledge of a large value.

図21(b)は、図10のユーザDB12中のタスク処理用のパーソナライズデータの記憶エリアに記憶されているデータの詳細を示したものである。図21(b)では、ユーザID:1のユーザが対話モデルの初期対象として「弁理士」を選択指定した場合が示されている。そして、各知識nのパーソナル重みwとして「1.2・1w11n1,0.8・1w21n2,0.7・1w31n3,1.3・1w41n4」が記憶されている。 FIG. 21B shows details of data stored in the storage area of personalized data for task processing in the user DB 12 of FIG. FIG. 21B shows a case where the user with user ID: 1 selects and designates “patent attorney” as the initial target of the dialogue model. Then, “1.2 · 1w 1 1n 1 , 0.8 · 1w 2 1n 2 , 0.7 · 1w 3 1n 3 , 1.3 · 1w 4 1n 4 ” is stored as the personal weight w of each knowledge n.

「弁理士」の各知識の初期重みは、図21(a)に記載されているように「1w11n1,1w21n2,1w31n3,1w41n4」であるが、ユーザがこの各知識の初期重みに基づいた仕事上の対話を行なっている最中に当該ユーザの要請に従って各知識の初期重み「1w11n1,1w21n2,1w31n3,1w41n4」が徐々に改変され、現時点で「1.2・1w11n1,0.8・1w21n2,0.7・1w31n3,1.3・1w41n4」となっている。このように、ユーザの専門職に合った初期対象を選択指定できる上に、さらに仕事上の対話を重ねるうちに当該ユーザの質問や相談内容がより反映された各知識のパーソナル重みに改変することができる。つまり、今後の未来世界では、ネットワーク上(クラウド上)に自分の理想の仕事上のパートナ(相棒)を作り上げる時代となる。 The initial weight of each knowledge of “patent attorney” is “1w 1 1n 1 , 1w 2 1n 2 , 1w 3 1n 3 , 1w 4 1n 4 ” as shown in FIG. During the work dialogue based on the initial weight of each knowledge, the initial weight of each knowledge “1w 1 1n 1 , 1w 2 1n 2 , 1w 3 1n 3 , 1w 4 1n according to the request of the user” “ 4 ” is gradually changed to “1.2 · 1w 1 1n 1 , 0.8 · 1w 2 1n 2 , 0.7 · 1w 3 1n 3 , 1.3 · 1w 4 1n 4 ” at the present time. In this way, it is possible to select and specify an initial target suitable for the user's profession, and to further change the personal weight of each knowledge that reflects the user's questions and consultation content while further work dialogues are repeated Can do. In other words, in the future future world, it will be an era when you will create your ideal work partner on the network (on the cloud).

次に、図22を参照して、図4のS11に示すタスク端末処理およびS12と図20のS248に示すタスクサーバ処理のサブルーチンプログラムのフローチャートを説明する。   Next, a flowchart of the subroutine program of the task terminal process shown in S11 of FIG. 4 and the task server process shown in S248 of FIG. 20 will be described with reference to FIG.

ユーザのモバイル通信装置3は、S255により、自分(ユーザ)のパーソナル重みを初期対象として人工知能DB17に登録する旨の要請がユーザからあったか否か判定する。なければ制御がS259に移行し、初期対象の更新要求があったか否か判定され、なければ制御がS265に移行する。   In S255, the user's mobile communication device 3 determines whether or not the user has requested that the personal weight of the user (user) be registered in the artificial intelligence DB 17 as an initial target. If not, control proceeds to S259, where it is determined whether or not an initial target update request has been made, and if not, control proceeds to S265.

一方、S255により自分(ユーザ)のパーソナル重みを初期対象として人工知能DB17に登録する旨の要請があった場合にはS255によりYESと判定され、制御がS256に進み、ユーザIDと初期対象登録要求を人工知能サーバ9へ送信する処理がなされる。   On the other hand, if there is a request to register the personal weight of the user (user) as an initial target in the artificial intelligence DB 17 in S255, YES is determined in S255, the control proceeds to S256, and the user ID and the initial target registration request Is transmitted to the artificial intelligence server 9.

人工知能サーバ9では、S257により、初期対象登録要求を受信したか否か判断され、受信していない場合には制御がS261へ移行し、要求初期対象を受信したか否か判断され、受信していない場合には制御がS267へ移行する。   In the artificial intelligence server 9, it is determined whether or not an initial target registration request has been received in S257. If not received, the control moves to S261, and it is determined whether or not a request initial target has been received and received. If not, control proceeds to S267.

S256の処理に従ってモバイル通信装置3からユーザIDと初期対象登録要求とが送信されてくれば、S257によりYESの判断がなされ、制御がS258へ進み、ユーザIDに対応する各知識のパーソナライズ重みをユーザDB12から読み出してユーザ名とともに人工知能DB17に登録する処理がなされる。このように、本実施の形態では、ユーザが自己の各知識のパーソナライズ重みを人工知能DB17に登録して広く一般に流通させることができる。例えば、自分の仕事上の部下を効率的に教育して一人前の専門家に仕立て上げる際に、上司である自分の今までに培ってきた仕事上の各知識のパーソナライズ重みをその部下に譲渡すれば、自分に代って人工知能サーバ9が部下の質問や相談に応答してくれ、部下の教育を人工知能サーバ9が肩代わりしてくれる。ユーザが自己の各知識のパーソナライズ重みを他人に譲渡する際に、譲受人との間で決済する決済手段を設けて有償で譲渡するようにしてもよい。   If the user ID and the initial target registration request are transmitted from the mobile communication device 3 in accordance with the process of S256, a determination of YES is made in S257, the control proceeds to S258, and the personalized weight of each knowledge corresponding to the user ID is set to the user. A process of reading from the DB 12 and registering it in the artificial intelligence DB 17 together with the user name is performed. As described above, in this embodiment, the user can register the personalized weights of his / her knowledge in the artificial intelligence DB 17 and circulate widely. For example, when you efficiently educate your subordinates and make them into full-time specialists, you transfer the personalized weight of each of your work knowledge that you have cultivated so far to your subordinates. Then, the artificial intelligence server 9 responds to the subordinate's questions and consultations on behalf of him, and the artificial intelligence server 9 takes over the subordinate's education. When the user assigns personalized weights of his / her own knowledge to another person, a settlement means for settlement with the assignee may be provided and transferred for a fee.

ユーザがモバイル通信装置3に対して初期対象を更新する要求を行なって新たな初期対象(要求初期対象)を指定すれば、S259によりYESの判断がなされて制御がS260へ進み、ユーザIDと要求初期対象とが人工知能サーバ9へ送信される。それを受信した人工知能サーバ9は、S261によりYESの判断を行なって制御がS262へ進み、受信した要求初期対象が当該ユーザによって以前使用されたものであるか否か判定する。未だ使用されたことのないものの場合には、S264により、要求された初期対象を人工知能DB17から読み出してユーザDB12のユーザIDに対応して記憶する処理を行ない、制御がS267へ進む。   If the user makes a request for updating the initial target to the mobile communication device 3 and designates a new initial target (request initial target), a determination of YES is made in S259 and the control advances to S260, and the user ID and request The initial target is transmitted to the artificial intelligence server 9. The artificial intelligence server 9 having received it makes a determination of YES through S261, and the control advances to S262 to determine whether or not the received request initial target has been used before by the user. If it has not been used yet, in S264, the requested initial object is read from the artificial intelligence DB 17 and stored in correspondence with the user ID of the user DB 12, and the control advances to S267.

受信した要求初期対象が当該ユーザによって以前使用されたものである場合には、当該初期対象が既にユーザDB12に記憶されており、その初期対象の使用に伴ってパーソナル重みが更新されている場合がある(S271参照)。よって、受信した要求初期対象が当該ユーザによって以前使用されたものである場合には、制御がS263へ進み、ユーザDB12に記憶されている以前使用した知識のパーソナル重みを使用することとなる。   If the received request initial target is one that has been used before by the user, the initial target may already be stored in the user DB 12, and the personal weight may be updated as the initial target is used. Yes (see S271). Therefore, if the received request initial target is one that was previously used by the user, the control proceeds to S263, and the personal weight of the knowledge that was previously used stored in the user DB 12 is used.

次に図23を参照して、人工知能サーバ9は、S267により、ユーザDB12のユーザIDに対応する初期対象と各知識のパーソナル重みとを読み出し、S268により、その読み出した初期対象に対応する知識活用関数を人工知能DB17より読み出す。そして、ユーザがモバイル通信装置3を用いて仕事上の対話を行なえば、モバイル通信装置3側のS265と人工知能サーバ9側のS269とで対話を行なう。S269では、読み出した知識活用関数とパーソナル重みとを用いて仕事上の対話を行なうように処理する。モバイル通信装置3側では、S266により仕事上の対話が終了したと判断されるまでS265による仕事上の対話制御が継続される。人工知能サーバ9側では、S274により仕事上の対話が終了したと判断されるまでS267〜S274の制御が繰り返し行われてS269による仕事上の対話制御が継続される。   Next, referring to FIG. 23, the artificial intelligence server 9 reads the initial object corresponding to the user ID of the user DB 12 and the personal weight of each knowledge in S267, and the knowledge corresponding to the read initial object in S268. The utilization function is read from the artificial intelligence DB 17. Then, when the user performs a business dialogue using the mobile communication device 3, the dialogue is performed in S265 on the mobile communication device 3 side and S269 on the artificial intelligence server 9 side. In S269, processing is performed so as to perform a work dialogue using the read knowledge utilization function and personal weights. On the mobile communication device 3 side, the work conversation control in S265 is continued until it is determined in S266 that the work conversation has been completed. On the artificial intelligence server 9 side, the control in S267 to S274 is repeatedly performed until it is determined in S274 that the work conversation has ended, and the work conversation control in S269 is continued.

S267〜S274の制御が繰り返し行われている最中にS270によりパーソナル重みの変更の必要が生じたと判断された場合には制御がS271へ進み、ユーザDB12のパーソナル重みを更新する。そのパーソナル重みが当該ユーザによって人工知能DB17にも登録されている場合には(S255〜S258参照)、S272によりYESの判断がなされ、S273により人工知能DB17の重みも更新する。このS270による判断は、例えば、人工知能サーバ9からの応答に対し「満足した」とか「満足しない」等の予め定められた決まり文句をユーザが言うことにより、人工知能サーバ9側において使用している知識の重みの変更の必要性を判断する。なお、上記決まり文句に代えてまたはそれに加えて、「素晴らしい回答ありがとう」等のユーザの通常の会話に基づいて判断してもよい。   If it is determined in S270 that it is necessary to change the personal weight while the control in S267 to S274 is being repeated, the control proceeds to S271 and the personal weight in the user DB 12 is updated. If the personal weight is also registered in the artificial intelligence DB 17 by the user (see S255 to S258), a determination of YES is made in S272, and the weight of the artificial intelligence DB 17 is also updated in S273. For example, the determination by S270 is performed on the artificial intelligence server 9 side when the user says a predetermined phrase such as “satisfied” or “not satisfied” with respect to the response from the artificial intelligence server 9. Determine the need for changing the weight of knowledge. Note that instead of or in addition to the above phrase, the determination may be made based on the user's normal conversation such as “Thank you for a wonderful answer”.

そして、モバイル通信装置3側のS266により仕事上の対話が終了したと判断された場合には、S273により、仕事上の対話終了指示が人工知能サーバ9へ送信されて、リターンし制御がS1へ移行する。それを受信した人工知能サーバ9は、S274でYESの判断を行ない、リターンし制御がS3へ移行する。   If it is determined in S266 on the mobile communication device 3 side that the work conversation has ended, a work conversation end instruction is transmitted to the artificial intelligence server 9 in S273, and the process returns to S1. Transition. The artificial intelligence server 9 that received it makes a determination of YES in S274, returns, and the control shifts to S3.

以上説明した実施の形態の変形例や特徴点を以下に記載する。
(1) IoTサーバ9およびIoT用デバイスDB15、人工知能サーバ9、人工知能DB17、ユーザDB12および学習DB60、ならびに、SNSサーバ11およびSNSDB13の、少なくとも1つまたは全てを、ネットワーククラウドで構成してもよい。また、以上説明して実施の形態では、ユーザ側の端末として主にモバイル通信装置3を例に挙げて説明したが、ユーザ側の端末としては、ユーザPC7やロボット6でもよい。また、モバイル通信装置3の具体例として、スマートグラス等で代表されるウェアラブルコンピュータを示したが、それに限定されるものではなく、例えば、携帯電話、スマートフォン、通信機能を有する自動車等の車両など、種々のものが考えられる。
Modifications and feature points of the embodiment described above will be described below.
(1) Even if at least one or all of the IoT server 9 and the IoT device DB 15, the artificial intelligence server 9, the artificial intelligence DB 17, the user DB 12 and the learning DB 60, and the SNS server 11 and the SNS DB 13 are configured in a network cloud Good. In the embodiment described above, the mobile communication device 3 has been mainly described as an example of the user side terminal, but the user PC 7 or the robot 6 may be used as the user side terminal. In addition, as a specific example of the mobile communication device 3, a wearable computer represented by smart glasses or the like is shown, but the present invention is not limited thereto, for example, a mobile phone, a smartphone, a vehicle such as a car having a communication function, etc. Various things are possible.

(2) IoTサーバ8に、情報のやり取りの必要があるIoT用デバイスを割出すための割出し手段(S24〜S26、S38、S40)が設けられている。そして、その割出し手段により割出されたIoT用デバイスの地理的位置をウェアラブルコンピュータに送信してユーザに報知するように制御し、ユーザに仲介行為を促すようにしてもよい。その際、特に仲介の必要性の高いIoT用デバイスについて高い得点(ポイント等)を付与する旨をユーザに報知するように制御してもよい。   (2) The IoT server 8 is provided with indexing means (S24 to S26, S38, S40) for indexing IoT devices that need to exchange information. Then, control may be performed so that the geographical position of the IoT device indexed by the indexing means is transmitted to the wearable computer and notified to the user, thereby prompting the user to act as an intermediary. In that case, you may control to alert | report to a user that a high score (point etc.) is provided about the IoT device with especially high necessity of mediation.

(3) 限られた数のIoT用デバイスのみに対して高額の特典(ポイント等)を付与するように制御し、宝くじと同様の心理を利用して仲介行為を促進させるようにしてもよい。また、地理的位置に敷設されたIoT用デバイスの仲介行為を位置ゲーを利用して行わせるように制御してもよい。   (3) Control may be performed so as to give a high-priced privilege (points, etc.) only to a limited number of IoT devices, and mediation may be promoted using the same psychology as a lottery ticket. Further, it may be controlled so that the mediating action of the IoT device laid at the geographical position is performed using the position game.

(4) 以上説明した実施の形態には以下の発明が開示されている。
この発明は、例えば、地球上に隈なく敷設されるIoT用デバイス(センサやアクチュエータ等)のコストを抑え、IoTを安価に実現するシステムに関する。
(4) The following invention is disclosed in the embodiment described above.
The present invention relates to a system that realizes IoT at a low cost, for example, by suppressing the cost of IoT devices (sensors, actuators, etc.) that are laid on the earth.

IoTを安価に実現するシステムに関する背景技術として、例えば次のものがあった。IoT用のセンサとインターネット上のサーバとの間にボーダルータ(ゲートウェイ装置)を導入し、センサにはサーバのアドレスを設定せず、自身のアドレスが確定した後にセンサデータ情報をボーダルータに対して送信する。ボーダルータはセンサ情報をセンサデータ管理サーバまで中継してデータ収集を実施する。これによりサーバ側はセンサのアドレスを検出し、センサアドレス宛のPull型データ収集も実施できる(特開2014−78773号公報)。   For example, there are the following as background technologies related to a system for realizing IoT at a low cost. A border router (gateway device) is introduced between the IoT sensor and the server on the Internet, and the server address is not set in the sensor. Send. The border router relays the sensor information to the sensor data management server and performs data collection. As a result, the server side can detect the sensor address and collect the pull-type data addressed to the sensor address (Japanese Patent Laid-Open No. 2014-78773).

しかし、この背景技術の場合、サーバ側からセンサアドレス宛のPull型データ収集が可能であるが、各センサにネットワークI/F等のインターネット接続機能を設けるか、あるいはネットワークに接続するための独自規格のアダプタを用意する必要があり、これがIoTを実現する上でのコストアップの原因となるという欠点があった。   However, in the case of this background technology, it is possible to collect pull-type data addressed to the sensor address from the server side, but each sensor is provided with an Internet connection function such as a network I / F or is a proprietary standard for connecting to a network It was necessary to prepare the adapter of this, and there was a fault that this caused the cost increase in realizing IoT.

一方、地球上に隈なく敷設されるIoT用デバイスの中には必ずしもサーバ側からセンサアドレス宛のPull型データ収集を行なう必要のないものもある。例えば、年間を通じての照度を集計するために設置された照度センサの場合は、定期的な照度検出結果をメモリに記憶しておき、サーバ側において年に一回行われる年間を通じての照度の集計時期までにその記憶した照度検出結果をサーバへ送信すれば事足りる。また、人間の往来が多い場所に設置されたIoT用デバイスの場合には、その人間を利用した人為的な手法により、IoT用デバイスのデータをサーバへ送信する方法も考えられる。   On the other hand, some IoT devices laid on the earth are not necessarily required to collect pull-type data addressed to the sensor address from the server side. For example, in the case of an illuminance sensor installed to aggregate the illuminance throughout the year, the periodic illuminance detection results are stored in memory, and the illuminance aggregation period throughout the year that is performed once a year on the server side It is sufficient to send the stored illuminance detection result to the server. In addition, in the case of an IoT device installed in a place where there is a lot of human traffic, there can be a method of transmitting data of the IoT device to the server by an artificial method using the human.

この発明は、かかる実情に鑑み考え出されたものであり、その目的は、IoTを実現する上でのコストを抑えることのできるシステムを提供することである。   The present invention has been conceived in view of such circumstances, and an object of the present invention is to provide a system capable of suppressing the cost for realizing IoT.

この発明は、ユーザが所持するウェアラブルコンピュータと、
該ウェアラブルコンピュータとインターネットを介して通信するサーバと、
IoT用デバイス群とを備え、
前記IoT用デバイス群は、前記ウェアラブルコンピュータと通信するための通信手段を含み、
前記ウェアラブルコンピュータは、
前記IoT用デバイス群と通信するための対デバイス通信手段と、
前記サーバとインターネットを介して通信するための対サーバ通信手段と、
前記対デバイス通信手段による通信相手のIoT用デバイスと前記対サーバ通信手段による通信相手のサーバとを仲介して両者間で情報のやり取りを可能にする仲介手段と、を含む、IoTシステム。
The present invention provides a wearable computer possessed by a user,
A server that communicates with the wearable computer via the Internet;
IoT device group,
The IoT device group includes a communication means for communicating with the wearable computer,
The wearable computer is:
Device communication means for communicating with the IoT device group,
Server-to-server communication means for communicating with the server via the Internet;
An IoT system comprising: an intermediary unit that mediates between a communication partner IoT device by the device-to-device communication unit and a communication partner server by the server-to-server communication unit, and enables exchange of information between the two.

このような構成によれば、IoT用デバイス群側に必ずしもインターネット接続機能が必要ではなく、その分コストを抑えることができ、安価にIoTを実現できる。   According to such a configuration, the Internet connection function is not necessarily required on the IoT device group side, and the cost can be reduced correspondingly, and IoT can be realized at a low cost.

好ましくは、前記サーバは、前記仲介手段による仲介を行なった前記ウェアラブルコンピュータに対して所定の特典を付与するための特典付与手段をさらに含む。   Preferably, the server further includes a privilege grant unit for granting a predetermined privilege to the wearable computer that has been mediated by the mediation unit.

このような構成によれば、ユーザに仲介に対するインセンティブを与えることができ、ユーザの仲介行為を促進させることが可能となる。   According to such a configuration, an incentive for mediation can be given to the user, and the user's mediation action can be promoted.

より好ましくは、前記サーバは、情報のやり取りの必要があるIoT用デバイスが存在するか否かを判定するための判定手段をさらに含む。   More preferably, the server further includes determination means for determining whether or not there is an IoT device that needs to exchange information.

このような構成によれば、IoT用デバイス群側で情報のやり取りの必要が生じたか否かの判断機能を有する必要がなく、IoT用デバイス群側の処理負担を軽減でき、より一層コストを抑えることができる。   According to such a configuration, there is no need to have a function for determining whether or not information needs to be exchanged on the IoT device group side, the processing load on the IoT device group side can be reduced, and the cost can be further reduced. be able to.

より好ましくは、前記ウェアラブルコンピュータは、現在位置を特定可能な情報を前記サーバに送信する位置情報送信手段をさらに含み、
前記サーバは、
前記位置情報送信手段により送信されてきた情報により位置が特定された前記ウェアラブルコンピュータの近辺に、前記割出し手段により割出された前記IoT用デバイスが存在するか否か判定する位置判定手段と、
該位置判定手段により存在すると判定された場合に、当該IoT用デバイスに対し前記仲介手段による仲介を行なうための指令信号を前記ウェアラブルコンピュータへ送信する仲介指令送信手段と、をさらに含み、
前記仲介手段は、前記介指令送信手段よる前記指令信号に従って仲介を行なう。
More preferably, the wearable computer further includes position information transmitting means for transmitting information capable of specifying a current position to the server,
The server
Position determining means for determining whether or not the IoT device indexed by the indexing means exists in the vicinity of the wearable computer whose position is specified by the information transmitted by the position information transmitting means;
An intermediary command transmitting means for transmitting an instruction signal for mediating by the mediating means to the IoT device when it is determined by the position determining means to be transmitted to the wearable computer;
The mediation means mediates according to the command signal from the intervention command transmission means.

このような構成によれば、ウェアラブルコンピュータ側から仲介が必要なIoT用デバイスに対し仲介を働きかけるため、IoT用デバイス群側から仲介の要求信号を発信する必要がない。   According to such a configuration, since the mediation is acted on the IoT device that requires mediation from the wearable computer side, it is not necessary to send a mediation request signal from the IoT device group side.

より好ましくは、前記ウェアラブルコンピュータは、
検出するのに所定の時間を要するセンサと、
所望の地理的位置で前記センサを利用しての検出を行なう際に、当該センサによる検出所要時間をユーザに報知する報知手段(例えばS71)と、さらに含み、
前記所望の地理的位置の検出エリア内で前記センサが前記検出所要時間検出を行なうことができた場合に、該検出データを前記仲介手段により仲介して前記サーバへ送信する。
More preferably, the wearable computer is
A sensor that takes a predetermined time to detect;
A notification means (for example, S71) for notifying the user of the time required for detection by the sensor when performing detection using the sensor at a desired geographical position;
When the sensor can detect the required detection time within the detection area of the desired geographical position, the detection data is mediated by the mediating means and transmitted to the server.

このような構成によれば、検出するのに或る程度の所要時間を要する場合にその検出所要時間をウェアラブルコンピュータによりユーザに報知しているため、所用時間を要する検出データの収集に対する協力をユーザに促すことができる。   According to such a configuration, when a certain amount of time is required for detection, the wearable computer notifies the user of the time required for detection. Can be encouraged.

(5) 以上説明した実施の形態では、機械学習の具体例として、建造物の保守点検モデル、暗記学習モデル、筋トレモデル、対話モデル、およびタスク処理モデルの作成を示したが、これらに限定されるものではなく、例えば、幼児用学習モデル、人工秘書用モデル、人工家庭教師用モデル等、種々のものが考えられる。また、パーソナライズデータも、暗記学習用、筋トレ用、対話用、タスク処理用に限定されず、例えば、幼児用学習用、人工秘書用、人工家庭教師用等、種々のものが考えられる。これらの一般的モデルおよびパーソナライズデータを、ユーザの状況に応じて切換えて使い分けるように制御する。その結果、人間は、生まれて間もなく、自分専用のパーソナライズデータを使用しての人工知能に基づいたパーソナライズサービスを受けながら成長し、人工知能と共に生涯を全うするようになる。つまり、今後の未来世界では、人間と人工知能とがワンペア化された世界になる。それは、人間と人工知能とがワンペア化されて1つの人格が構成された世界である。
また、一般的モデルおよびパーソナライズデータの使い分けに際して、本実施の形態では、対話用のパーソナライズデータはユーザの切換え意思表示がない限り従前のものを使用したが、一般的モデルおよびパーソナライズデータの切換え時に対話用のパーソナライズデータも他の相応しいものに自動的に切換えるように制御してもよい。例えば、一般的な日常会話のときには対話用の初期対象としてタレントAを用い、仕事上の対話時には女性知的系(図19参照)に自動的に切換えるように制御する。
(5) In the embodiment described above, as a specific example of machine learning, building maintenance inspection model, memorization learning model, muscle training model, dialogue model, and task processing model are shown. However, the present invention is not limited to these. For example, various models such as an infant learning model, an artificial secretary model, and an artificial tutor model can be considered. Also, personalized data is not limited to memorization learning, muscle training, dialogue, and task processing. For example, various types of data such as for infant learning, for an artificial secretary, and for an artificial tutor can be considered. These general models and personalized data are controlled so as to be switched and used according to the user's situation. As a result, humans will soon grow while receiving personalized services based on artificial intelligence using their own personalized data, and will complete their lives with artificial intelligence. In other words, in the future future world, it will become a world where humans and artificial intelligence are paired. It is a world where humans and artificial intelligence are paired into one personality.
In the present embodiment, the personalized data for dialogue is used as long as there is no indication of switching intention by the user when using the general model and personalized data separately. The personalized data may be controlled to automatically switch to another suitable data. For example, the talent A is used as an initial target for dialogue during general daily conversation, and control is performed so as to automatically switch to the female intelligent system (see FIG. 19) during dialogue at work.

(6) モバイル通信装置3等によりユーザから収集されたアラウンドデータ等に基づいて、当該ユーザにマッチすると思われる人工知能や一般的モデルを推薦するレコメンド制御を行なってもよい。また、ユーザが人工知能や一般的モデルを検索した際にリスト表示される検索結果を、上記ユーザから収集されたアラウンドデータ等に基づいて、当該ユーザにマッチすると思われるものから優先的に表示するように制御してもよい。さらに、人工知能や一般的モデルに対するユーザからの口コミを収取して表示するように制御してもよい。その際、前述したように、人間と人工知能とがワンペア化されて1つの人格が構成されるため、そのワンペア化された人間と人工知能とを一組としてそれに対しての口コミを収取して表示するように制御してもよい。   (6) Based on around data collected from a user by the mobile communication device 3 or the like, recommendation control for recommending artificial intelligence or a general model that seems to match the user may be performed. In addition, search results displayed when a user searches for artificial intelligence and general models are displayed preferentially from those that appear to match the user based on the around data collected from the user. You may control as follows. Furthermore, it may be controlled to collect and display word-of-mouth from the user for artificial intelligence and general models. At that time, as described above, since humans and artificial intelligence are paired together to form one personality, the one-paired human and artificial intelligence are taken as a set to collect reviews. You may control to display.

(7) 上記幼児用学習用の般的モデルおよびパーソナライズデータを用いて学習された幼児について、その提供された学習材料(学習情報)と学習結果とからなる膨大なデータを収集し、それを機械学習のための学習データにして人間の知的成長を機械学習(教師あり学習等)するようにしてもよい。上記幼児に提供された学習材料(学習情報)と同じものを人工知能にも提供し、その結果知的成長を遂げた人工知能と実際の幼児との学習結果とを比較し、相違点が最少になるような強化学習や回帰を行なってもよく、人間に近い学習を可能にするための人工知能用学習モデルを作成する。特に、人工知能が苦手としている分野(例えば、常識、感情、創造性等)において、両者の学習結果の比較により、人工知能にとって有益な機械学習(教師あり学習等)になると考えられる。   (7) For the infants learned using the above-mentioned general model for infant learning and personalized data, collect enormous data consisting of the provided learning materials (learning information) and learning results and You may make it machine learning (supervised learning etc.) of human intellectual growth as learning data for learning. The same learning materials (learning information) provided to the above infants are also provided to artificial intelligence. As a result, the artificial intelligence that has achieved intellectual growth and the learning results of actual infants are compared, and the differences are minimal. Reinforcement learning or regression may be performed, and a learning model for artificial intelligence is created to enable learning close to humans. In particular, in a field where artificial intelligence is not good (for example, common sense, emotion, creativity, etc.), it is considered that machine learning (supervised learning, etc.) useful for artificial intelligence is made by comparing the learning results of both.

(8) 本実施の形態では、ユーザから送られてくる情報に基づいて前記一般的なモデルを当該ユーザに適したモデルにパーソナライズ化するためのパーソナライズ化手段(例えば、S191、S223、S246、S271)を、人工知能サーバ9に設けたが、それに代えてまたはそれに加えて、ユーザ側の端末(例えば、ウェアラブルコンピュータ等のモバイル通信装置3、ユーザPC、ロボット等)に設けてもよい。   (8) In the present embodiment, personalization means (for example, S191, S223, S246, and S271) for personalizing the general model into a model suitable for the user based on information sent from the user. ) Is provided in the artificial intelligence server 9, but may be provided in a terminal on the user side (for example, a mobile communication device 3, such as a wearable computer, a user PC, a robot, or the like).

以上のように本発明の実施の形態について説明を行なったが、今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。この発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味、および範囲内でのすべての変更が含まれることが意図される。   Although the embodiment of the present invention has been described as above, the embodiment disclosed this time should be considered as illustrative in all points and not restrictive. The scope of the present invention is defined by the terms of the claims, rather than the description above, and is intended to include any modifications within the scope and meaning equivalent to the terms of the claims.

1 インターネット、2 IoT用デバイス、3 モバイル通信装置、4 ワイヤレスセンサネットワーク、8 IoTサーバ、9 人工知能サーバ、10 各種専門業者のPC、12 ユーザDB、15 IoT用デバイスDB、17 人工知能DB、60 学習DB、38 各種センサ。 1 Internet, 2 IoT devices, 3 Mobile communication devices, 4 Wireless sensor networks, 8 IoT servers, 9 Artificial intelligence servers, 10 PCs of various specialists, 12 User DBs, 15 IoT device DBs, 17 Artificial intelligence DBs, 60 Learning DB, 38 Various sensors.

Claims (3)

人工知能による機械学習を利用したサービスを提供するサービス提供システムであって、
ユーザから送られてくる複数ユーザ分の情報を基にした学習データを入力して機械学習によりモデル化した一般的なモデルを生成するための機械学習手段と、
ユーザから送られてくる当該ユーザ1人分の情報に基づいて前記一般的なモデルを当該ユーザに適したモデルにパーソナライズ化するためのパーソナライズ化手段と、
前記パーソナライズ化されたモデルを用いて当該ユーザにパーソナライズ化されたサービスを提供するサービス提供手段と、を備え、
前記ユーザから送られてくる情報を前記機械学習と前記パーソナライズ化との両方に利用し、
前記パーソナライズ化されたモデルは、当該パーソナライズ化に用いられた前記ユーザ1人分の情報の送信元を特定可能であり、
前記パーソナライズ化されたモデルを用いて提供される前記サービスを、当該パーソナライズ化されたモデルにより特定可能な前記送信元のユーザが享受する、サービス提供システム。
A service providing system for providing a service using machine learning by artificial intelligence,
Machine learning means for generating general models modeled by machine learning by inputting learning data based on information for a plurality of users sent from a user;
Personalization means for personalizing the general model into a model suitable for the user based on information for the user sent from the user;
Service providing means for providing a personalized service to the user using the personalized model,
Using information sent from the user for both the machine learning and the personalization,
The personalized model can identify the source of the information for the one user used for the personalization,
A service providing system in which the service provided by using the personalized model is enjoyed by a user of the transmission source that can be specified by the personalized model.
前記機械学習手段は、ユーザ毎に差異のある要素を定数として前記一般的なモデルを生成し、
前記パーソナライズ化手段は、
ユーザから送られてくる情報に基づいて、前記一般的なモデル中の定数部分に当てはまる当該ユーザの実際の値を導出するための値導出手段と、
該値導出手段により導出された実際の値を前記一般的なモデル中の定数部分に代入して当該ユーザに適したモデルにパーソナライズ化するための代入手段と、を含む、請求項1に記載のサービス提供システム。
The machine learning means generates the general model with constant elements that are different for each user,
The personalization means is:
A value deriving means for deriving an actual value of the user that applies to a constant part in the general model based on information sent from the user;
2. Substitution means for substituting an actual value derived by the value derivation means into a constant part in the general model to personalize the model suitable for the user. Service provision system.
前記機械学習手段は、専門業者から送られてくる情報を基にした学習データも入力して機械学習によりモデル化した一般的なモデルを生成する、請求項1または請求項2に記載のサービス提供システム The service provision according to claim 1, wherein the machine learning means also inputs learning data based on information sent from a specialist and generates a general model modeled by machine learning. System .
JP2014172512A 2014-08-27 2014-08-27 Service providing system and program Active JP6432859B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014172512A JP6432859B2 (en) 2014-08-27 2014-08-27 Service providing system and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014172512A JP6432859B2 (en) 2014-08-27 2014-08-27 Service providing system and program

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018175586A Division JP6562328B2 (en) 2018-09-20 2018-09-20 Support system

Publications (2)

Publication Number Publication Date
JP2016048417A JP2016048417A (en) 2016-04-07
JP6432859B2 true JP6432859B2 (en) 2018-12-05

Family

ID=55649301

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014172512A Active JP6432859B2 (en) 2014-08-27 2014-08-27 Service providing system and program

Country Status (1)

Country Link
JP (1) JP6432859B2 (en)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107644279A (en) * 2016-07-21 2018-01-30 阿里巴巴集团控股有限公司 The modeling method and device of evaluation model
CN109074607B (en) * 2017-02-03 2022-04-29 松下知识产权经营株式会社 Learned model providing method and learned model providing device
JP6984863B2 (en) * 2017-05-09 2021-12-22 広島県公立大学法人 Deep learning automatic learning system and client equipment
EP3639149A4 (en) * 2017-06-16 2021-04-07 Woodenshark LLC Systems including a server storing sensor data, and related methods
JP6950362B2 (en) * 2017-08-29 2021-10-13 京セラドキュメントソリューションズ株式会社 Information processing systems and programs
JP7106827B2 (en) * 2017-09-11 2022-07-27 富士フイルムビジネスイノベーション株式会社 Information processing device, program and control method
KR20190060021A (en) * 2017-11-23 2019-06-03 주식회사 모다 Customized intelligent system and operation method thereof
KR20190088128A (en) * 2018-01-05 2019-07-26 삼성전자주식회사 Electronic device and control method thereof
EP3518156A1 (en) * 2018-01-29 2019-07-31 Siemens Aktiengesellschaft A method for collaborative machine learning of analytical models
JP7445240B2 (en) * 2018-06-14 2024-03-07 株式会社アスコン Service provision system and user equipment
JP7026032B2 (en) * 2018-10-19 2022-02-25 Kddi株式会社 Recommendation system and recommendation method
KR102115486B1 (en) * 2019-06-07 2020-05-26 (주)이루미에듀테크 System, method, and apparatus of diagnosing reading ability
KR102345410B1 (en) * 2019-11-19 2021-12-30 주식회사 피씨엔 Big data intelligent collecting method and device
WO2023085165A1 (en) * 2021-11-12 2023-05-19 株式会社アラヤ Item recommendation device and item recommendation method

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002162989A (en) * 2000-11-28 2002-06-07 Ricoh Co Ltd System and method for sound model distribution
JP2003049703A (en) * 2001-08-07 2003-02-21 Mazda Motor Corp Vehicle development data acquiring server, vehicle development data acquiring method and vehicle development data acquiring program
JP4092710B2 (en) * 2006-02-14 2008-05-28 ソニー株式会社 Program search method and apparatus
KR100979516B1 (en) * 2007-09-19 2010-09-01 한국전자통신연구원 Service recommendation method for network-based robot, and service recommendation apparatus

Also Published As

Publication number Publication date
JP2016048417A (en) 2016-04-07

Similar Documents

Publication Publication Date Title
JP6432859B2 (en) Service providing system and program
JP6617263B2 (en) Learning support system
JP6562328B2 (en) Support system
Poniszewska-Maranda et al. Studying usability of AI in the IoT systems/paradigm through embedding NN techniques into mobile smart service system
JP7067755B2 (en) Service provision system and terminal
Al-Hmouz et al. Modeling and simulation of an adaptive neuro-fuzzy inference system (ANFIS) for mobile learning
Wang et al. Human Digital Twin in the context of Industry 5.0
KR102404511B1 (en) Method, device and system for recommending customized product information based on artificial intelligence
Sánchez-Pi et al. A knowledge-based system approach for a context-aware system
KR102546871B1 (en) Method, device and system for recommending order information through pattern analysis of order history regarding distribustion of food materials and subsidiary materials for business to business based on artificial intelligence model
JP7208603B2 (en) Service provision system and terminal
Connier et al. Perception assistance for the visually impaired through smart objects: concept, implementation, and experiment scenario
JP6899103B2 (en) Service provision system and program
WO2021176795A1 (en) Matching system, matching method, and matching program
KR102601446B1 (en) Method, device and system for providing sales product matching platform service based on influencer using artificial intelligence model
KR102552856B1 (en) Method, device and system for automating creation of content template and extracting keyword for platform service that provide content related to commerce
JP7444489B2 (en) Learning support system and service provision method
KR102615445B1 (en) Method, apparatus and system for providing nutritional information based on fecal image analysis
Zhou Deep learning‐driven distributed communication systems for cluster online educational platform considering human–computer interaction
KR102530527B1 (en) Method, device and system for providing restaurant recommendation service based on health information
KR102619389B1 (en) Method, device and system for providing interface of metaverse memorial hall service based on constellation
KR102561832B1 (en) Method, device and system for providing online education content based on artificial intelligence
KR102475813B1 (en) Method for driving simulation of smart factory based on artificial intelligence
CN115309258B (en) Intelligent learning guiding method and device and electronic equipment
KR102568001B1 (en) O2o-based user-customized online repair platform service provision method, device and system

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20170715

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170720

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170816

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170920

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180724

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180807

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180915

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181016

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181016

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181026

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181026

R150 Certificate of patent or registration of utility model

Ref document number: 6432859

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R157 Certificate of patent or utility model (correction)

Free format text: JAPANESE INTERMEDIATE CODE: R157

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250