WO2018163890A1 - 要因推定装置、要因推定システム、および要因推定方法 - Google Patents

要因推定装置、要因推定システム、および要因推定方法 Download PDF

Info

Publication number
WO2018163890A1
WO2018163890A1 PCT/JP2018/007022 JP2018007022W WO2018163890A1 WO 2018163890 A1 WO2018163890 A1 WO 2018163890A1 JP 2018007022 W JP2018007022 W JP 2018007022W WO 2018163890 A1 WO2018163890 A1 WO 2018163890A1
Authority
WO
WIPO (PCT)
Prior art keywords
state
situation
information
learning
classification
Prior art date
Application number
PCT/JP2018/007022
Other languages
English (en)
French (fr)
Inventor
宮田 喜一郎
安藤 丹一
宏之 宮浦
Original Assignee
オムロン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オムロン株式会社 filed Critical オムロン株式会社
Priority to CN201880011267.7A priority Critical patent/CN110291542B/zh
Priority to US16/490,915 priority patent/US20200012955A1/en
Priority to EP18763801.0A priority patent/EP3594864A4/en
Publication of WO2018163890A1 publication Critical patent/WO2018163890A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/04Inference or reasoning models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/12Computing arrangements based on biological models using genetic models
    • G06N3/126Evolutionary algorithms, e.g. genetic algorithms or genetic programming
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/02Knowledge representation; Symbolic representation
    • G06N5/022Knowledge engineering; Knowledge acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/04Inference or reasoning models
    • G06N5/045Explanation of inference; Explainable artificial intelligence [XAI]; Interpretable artificial intelligence

Definitions

  • the present invention relates to a technique for estimating a factor that has resulted in a result.
  • the present invention has been made paying attention to the above circumstances, and an object of the present invention is to provide a factor estimation device, a factor estimation system, and a factor estimation method that can estimate a factor that has produced a result. .
  • the factor estimation device includes a target information input unit that receives information about a target, a state information extraction unit that extracts status information from the received information, and a first of the targets.
  • a state specifying unit that specifies a predetermined state for one object, and state information that is extracted by the state information extracting unit and that corresponds to the predetermined state;
  • the status classification unit for classification, the status information extraction unit for extracting status information from the received information, the status specifying unit for specifying the status up to the predetermined status, and the status information extraction unit Receiving the input of the situation information corresponding to the specified situation, the situation classification unit for classifying the specified situation, the classification result of the predetermined state, and the specified Based on the classification result of the situation, and a factor estimating unit that estimates a situation that caused leading to the predetermined state.
  • the factor estimating unit maintains a history of a situation change pattern indicating a situation in a period of changing from the first state to the second state, and the predetermined of the situation change patterns is stored. A situation common to both the situation change pattern corresponding to the classification result of the state and the classification result of the identified situation is identified as the factor.
  • a factor estimation system includes the above-described factor estimation device, a state classification learning device that performs learning related to state classification, and a situation classification learning device that performs learning related to situation classification, The state classification unit performs state classification using a learning result obtained by the state classification learning device, and the situation classification unit performs situation classification using a learning result obtained by the situation classification learning device.
  • the state and situation of the object are classified, and the situation that causes the object to reach a predetermined state is estimated based on the classification result.
  • the factor which brought the result can be estimated, without requiring manual intervention.
  • a situation that is a factor is specified with reference to the history of the situation change pattern. As a result, it becomes easy to identify the situation that is a factor.
  • the result of machine learning by the state classification learning device and the situation classification learning device is given to the state classification unit and the situation classification unit, whereby the state classification unit and the situation classification unit acquire classification ability. be able to. Because machine learning is used, there is no human intervention and it is possible to avoid threats caused by humans such as privacy and security.
  • a factor estimation device it is possible to provide a factor estimation device, a factor estimation system, and a factor estimation method that can estimate a factor that has produced a result.
  • FIG. 1 is a diagram illustrating an overview of a factor estimation method according to an embodiment.
  • FIG. 2 is a diagram illustrating an overview of the factor estimation method according to the present embodiment.
  • FIG. 3 is a diagram illustrating an overview of the factor estimation method according to the present embodiment.
  • FIG. 4 is a block diagram illustrating a configuration example of the factor estimation system according to the present embodiment.
  • FIG. 5 is a block diagram illustrating a hardware configuration example of a computer.
  • FIG. 6 is a block diagram illustrating a hardware configuration example of the server type computer.
  • FIG. 7 is a functional block diagram illustrating a configuration example of the support device illustrated in FIG.
  • FIG. 8 is a functional block diagram showing a configuration example of the target information database apparatus shown in FIG. FIG.
  • FIG. 9 is a block diagram illustrating a configuration example of the learning data generation system illustrated in FIG.
  • FIG. 10 is a functional block diagram illustrating a configuration example of the target information acquisition apparatus illustrated in FIG.
  • FIG. 11 is a block diagram illustrating a configuration example of sensor devices included in the target information sensor device group illustrated in FIG. 4.
  • FIG. 12 is a block diagram illustrating another example of the hardware configuration of the server type computer.
  • FIG. 13 is a functional block diagram illustrating a configuration example of the state classification learning device illustrated in FIG.
  • FIG. 14 is a functional block diagram illustrating a configuration example of a neural network.
  • FIG. 15 is a functional block diagram illustrating a configuration example of the situation classification learning device illustrated in FIG. FIG.
  • FIG. 16 is a functional block diagram illustrating a configuration example of the exclusion status learning device illustrated in FIG. 4.
  • FIG. 17 is a functional block diagram illustrating a configuration example of the factor estimating apparatus illustrated in FIG.
  • FIG. 18 is a flowchart illustrating an example of a learning procedure according to the present embodiment.
  • FIG. 19 is a flowchart illustrating a procedure example from the factor estimation request to the output of the estimation result according to the present embodiment.
  • FIG. 20 is a flowchart illustrating an example of a learning procedure in the state classification learning device according to the present embodiment.
  • FIG. 21 is a flowchart illustrating an example of a learning procedure in the situation classification learning apparatus according to the present embodiment.
  • FIG. 22 is a flowchart illustrating an example of a learning procedure in the exclusion state learning apparatus according to the present embodiment.
  • FIG. 23 is a flowchart illustrating a procedure example of factor estimation in the factor estimation device according to the present embodiment.
  • Embodiments of the present invention relate to a factor estimation system including a factor estimation device that estimates a factor that has produced a result.
  • a machine for example, a computer
  • a machine can efficiently acquire the ability to estimate a factor by learning using a large amount of data related to a target.
  • deep learning technology is used in order to cause the machine to acquire classification ability. Deep learning makes it possible to find similar patterns contained in data that are multidimensional vectors. This allows the machine to determine that data containing similar patterns are the same classification. If the causal relationship is unknown, teacher data cannot be created. It is possible to acquire a predetermined classification ability by learning using unsupervised data.
  • Allows the machine to determine unknown causal relationships by allowing the machine to acquire classification ability by deep learning using unsupervised data. However, simply classifying input data cannot acquire the ability to determine causal relationships.
  • the ability of the machine to determine the causal relationship is acquired by the following method.
  • the target is not limited to a person, and may be, for example, an organism other than a person, an action of a person or an organism, an object, an action of an object.
  • any object whose factor can be estimated from the result can be handled.
  • This embodiment includes acquiring a large amount of data related to the person and the environment for a large number of people, and recording the acquired data so that it can be used as learning data.
  • Data about the person himself / herself can be acquired from, for example, an operation of a business application or a smartphone application, an automobile control device or sensor, a wearable sensor, a health check application, or the like.
  • Data relating to the environment can be acquired from, for example, IoT (Internet of Things) type sensors and various devices around us.
  • IoT Internet of Things
  • the target is modeled as shown in FIG.
  • the object changes from the state A to the state B according to the factor X included in any one of one or a plurality of situations (three situations in the example of FIG. 1).
  • Each situation includes external or voluntary factors that can be a factor.
  • External factors indicate the environment that affects the subject.
  • Self-factors indicate the subject's own state or behavior.
  • Each situation may include external factors or voluntary factors that may not be a factor.
  • the task corresponds to estimating the factor X that the subject person changes (transitions) from state A to state B. Any of the situations causes a change from state A to state B. When modeled in this way, the factor X is included in any situation.
  • the user subscribes to a service (for example, a support service) through a user terminal device (not shown). At the time of subscription, the user concludes a contract for receiving services under predetermined conditions.
  • the support service allows the user to monitor the state or situation of many objects (hereinafter also referred to as watching objects) via the network.
  • the support service can be implemented using, for example, an IoT system. Service requests are made for each target.
  • the support service may be implemented using an existing technology such as the technology disclosed in Japanese Patent No. 4150965, or may be implemented by creating a support application.
  • Japanese Patent No. 4150965 discloses a technology for acquiring information on actions performed by a user with respect to work using work support content that outputs work instructions according to the situation and supports the work of the user (target). It is disclosed.
  • a user can perform business with support by the business support content by downloading the business support content to a smartphone or a personal computer (PC) and using it.
  • Information related to the environment, information related to users, information indicating the status of work, and the like are acquired. Since the content of the business support content is updated according to the use of each user, a different service can be provided for each user.
  • the target to be watched over and the surrounding environment are included in the set of objects that can be monitored.
  • the object to be watched affects the surrounding environment by its presence, action, movement, and the like.
  • the watching target is affected by the surrounding environment.
  • the watching target changes from the state A to the state B due to mutual influence with the environment.
  • the environment around the watching target transitions from the situation 1 to the situation 2 and further to the situation 3.
  • the task corresponds to estimating a factor that the object has changed from state A to state B.
  • the support service includes functions for action support, state monitoring, environment grasping, situation monitoring, machine learning, and factor estimation.
  • Behavioral support is a function that supports the behavior of the target person. If the target is a thing, it supports the movement of the target. In the process of providing support, information on the state or situation of the target can be obtained.
  • the state monitoring is a function for monitoring a target state.
  • the grasping of the environment is a function for grasping the target environment and acquiring information about the environment such as the state of the environment.
  • the situation monitoring is a function for acquiring information about the object and its environment and monitoring the situation of the object.
  • Machine learning is a function in which a machine collects information about an object and its environment, generates learning data, and performs predetermined learning.
  • the factor estimation is a function for estimating a factor when the target is in a predetermined state B.
  • the machine will perform all of the above support services. As a result, more detailed services can be provided for each target. Since no people are involved, threats caused by people, such as privacy and security, can be avoided. Furthermore, it becomes easy to automatically acquire information relating to the human environment. Furthermore, the service can be provided 24 hours a day, 365 days a year without human intervention.
  • This embodiment includes acquiring the ability to classify data composed of multidimensional vectors by machine learning.
  • the classification ability can be acquired by, for example, deep learning. In order to facilitate the construction of the learning program, it is desirable to match the dimensionality of the input vector.
  • the method for acquiring the classification ability is not limited to deep learning.
  • any method known as AI (Artificial Intelligence) technology or machine learning technology can be used. Learning does not necessarily need to be a technique called AI.
  • a method of obtaining input data and devising a distribution of multidimensional vectors and a determination logic in advance are prepared, and Monte Carlo is prepared.
  • a method of learning a threshold parameter by a method such as a method or a genetic algorithm can be used.
  • FIG. 3 shows an overview of a method for acquiring the ability to estimate factors according to the present embodiment.
  • the method includes obtaining time series data (sensor data) for each object included in the set of objects. When the number of objects and the frequency of data acquisition are high, the acquired data is big data.
  • the method includes selecting data to be analyzed from the data acquired for the subject, depending on the individual subject. Specifically, the method includes extracting data relating to a target state and generating a state information vector that is one or a plurality of data indicating the target state or a combination thereof from the extracted data.
  • the state information vector can be expressed by a plurality of sensor data obtained for the object itself.
  • the state information vector includes biometric data obtained by measuring human biometric information (for example, blood pressure, heart rate, etc.), and action history data in which human actions are recorded.
  • a set of state information vectors can be obtained by acquiring data of many objects at many points in time.
  • the method includes extracting data related to the subject's situation and generating a situation information vector from the extracted data.
  • the situation information vector refers to data related to an event that can be a factor that causes a target to be in a predetermined state.
  • the situation information vector includes an external factor vector and a self factor vector.
  • the external factor vector and the internal factor vector are one or a plurality of data or a combination thereof.
  • the situation information vector preferably includes both the external factor vector and the self factor vector, but may not include either the external factor vector or the self factor vector. For example, there may be no spontaneous behavior such as behavior against external factors.
  • the external factor vector can be expressed by a plurality of sensor data obtained for the environment around the target.
  • the self-factor vector can be expressed by a plurality of sensor data obtained for the object itself.
  • the self factor vector includes, for example, data output by a wearable sensor, a mobile terminal, a business application, a machine such as a car operated by a person.
  • the self factor vector may include a part or all of the state information vector.
  • a set of situation information vectors can be obtained by acquiring data of many objects at many points in time.
  • the method includes performing unsupervised learning to classify state information vectors and gaining the ability to classify human states.
  • the state information vectors obtained for a large number of objects are classified into a predetermined number (for example, 10,000 types) of state classifications. Similar state information vectors are classified into the same state classification.
  • the ability to classify the state information vector is acquired by learning, and the target state at an arbitrary time can be classified. This ability is called state classification ability. A set in which the states of many objects are classified is obtained.
  • the method includes performing unsupervised learning to classify situation information vectors and gaining the ability to classify human situations.
  • the situation information vectors obtained for a large number of objects are classified into a predetermined number (for example, 10,000 types) of situation classifications. Similar situation information vectors are classified into the same situation classification.
  • the ability to classify situation information vectors is acquired by learning, and it becomes possible to classify the situation of an object at an arbitrary time. This ability is called the situation classification ability.
  • a set that classifies the status of many objects is obtained. You may make it perform learning for acquiring the situation classification ability for every person's state.
  • the method includes specifying the state before and after the factor is estimated as a state A (also referred to as a prior state) and a state B (also referred to as a post-state).
  • a state A also referred to as a prior state
  • a state B also referred to as a post-state
  • the prior state and the posterior state may be a state recognized by the subject person himself / herself.
  • the state of last week is specified as a prior state
  • the state at the time of input is specified as a post-event state.
  • the pre-state and the post-state may be specified based on information about the state of the person acquired by the wearable sensor or the smartphone.
  • a predetermined state determined by the application may be used as the pre-state and the post-state.
  • the pre-state and the post-state may be a state before and after the occurrence of the current state determined by a predetermined method.
  • the state can be specified by an arbitrary method.
  • Situation 1, Situation 2 and Situation 3 are determined to be similar as a result of classification of the situation information vectors in a period in which any one or a plurality of objects have changed from state A to state B by AI. It is a set of situations. In this example, there are three types of situations, but the situation set may be one, two, or four or more types of situations. For example, when the situation 2 and the situation 4 are detected as the situation in the period in which the target changes from the state A to the state B, the situation 2 is estimated as a factor.
  • the learning data includes data of a large number of people indicating the situation when the state A changes to the state B.
  • new learning data excluding information indicating an unrelated situation may be generated. Since the state and situation are classification results, the amount of data is much less than the original data. Therefore, learning can be performed efficiently.
  • the ability to identify the situational similarity necessary to estimate the situation that caused the person to change from state A to state B is obtained as follows.
  • the ability to classify the factor estimation learning data into 1000 types is acquired. For example, the ability to classify the data of a large number of people indicating the situation when changing from state A to state B into a predetermined number (for example, 1000 types) is acquired. Similar data among the data indicating the situation when the person changes from the state A to the state B is classified into the same classification.
  • the method involves acquiring the ability to classify unrelated situations. Specifically, the method includes extracting data that has entered state B after the subject has entered state A and data that has not entered state B after the subject has entered state A. By using these data, it is possible to create teacher data for classifying less relevant situations. By excluding situations with low relevance, the amount of processing is reduced, and it becomes possible to determine the factors more quickly. Furthermore, it is possible to suppress generation of useless classifications due to unrelated events in the situation classification.
  • the above processing may be performed for each target type or attribute. For example, you may make it classify
  • FIG. 4 shows a configuration example of a factor estimation system according to an embodiment.
  • the factor estimation system 400 illustrated in FIG. 4 includes a user terminal device 401, a support device 402, a target information database device 403, a learning data generation system 404, a target information acquisition device 405, a target information sensor device group 406, a learning database device 407, A state classification learning device 408, a situation classification learning device 409, an exclusion situation learning device 410, and a factor estimation device 411 are provided, and these are connected to a network 412 such as the Internet.
  • the factor estimation system 400 is configured assuming a distributed system such as a data center or a cloud system.
  • the factor estimation system 400 may be implemented as a single device.
  • the factor estimation system 400 can be realized by a single computer to which a sensor device is connected. Further, a plurality of devices in the factor estimation system 400 may be implemented as one device. For example, the state classification learning device 408, the situation classification learning device 409, and the exclusion situation learning device 410 can be realized by a single computer. Furthermore, a change may be made to include a part of an element in any device in another device. Any device may also be further distributed to allow parallel operation.
  • the user terminal device 401 provides a support service to the user.
  • the user terminal device 401 for example, a PC, a smartphone, a smart watch, a wearable device, a home appliance, a health device, a medical device, a business terminal, a public terminal, a voice terminal, a car console, a head-up display, a car control device,
  • a specific business terminal such as a telematics terminal, factory work support device, ATM, or ticket vending machine can be used.
  • any device that can output at least a factor estimation result can be used.
  • the user terminal device 401 may be one of functions that constitute a cloud service or an IoT service.
  • the user can use a support application (sometimes called a support program or support content) on the user terminal device 401.
  • a support application can be prepared for each target or purpose to be supported.
  • the support application provides a support service in cooperation with a support program executed by the support device 402.
  • the user uses the user terminal device 401 to request support such as monitoring of the target.
  • the user terminal device 401 sends a support request message including information such as a monitoring method to the support device 402.
  • the user can use the user terminal device 401 to request factor estimation by designating the target and a state (state B) resulting from some factor.
  • the user may specify two states (state A and state B). For example, the user terminal device 401 displays the states in time order, and the user selects two of the displayed states. Further, the user may specify two times (date and time).
  • the setting that state A is the state immediately before state B may be made. In this case, the user designates only the state B.
  • a condition for the user to detect the state A and the state B may be set in advance.
  • the setting that the state A is the initial state may be made.
  • the state A and the state B may be determined from information input to the user terminal device 401 by the user.
  • the support application designates the state at any time of the day before yesterday as state A and the current state as state B.
  • the support application may detect that the target state has changed significantly, and specify the state before the change as state A and the state after the change as state B. Further, the support application may detect that the performance of a target such as a business result has greatly changed, and specify the state before the change as state A and the state after the change as state B.
  • the user terminal device 401 sends information for specifying the state A and the state B to the support device 402.
  • the user terminal device 401 may have the function of the target information acquisition device 405.
  • the user terminal device 401 may further have a sensor function.
  • the user terminal device 401 can also have the function of the factor estimating device 411.
  • FIG. 5 shows a hardware configuration example of a computer that realizes the user terminal device 401.
  • a computer 500 illustrated in FIG. 5 includes a user interface 501.
  • the user interface 501 receives an instruction (for example, a factor estimation request) from the user, and outputs information (for example, a factor estimation result) to the user.
  • the user interface 501 includes a display device 502, a keyboard 503, and a mouse 504.
  • the user interface 501 includes a touch screen.
  • the computer further includes a CPU (Central Processing Unit), a memory, and a communication unit (all not shown).
  • the memory includes ROM (read only memory), RAM (random access memory), and a storage device.
  • a hard disk drive can be used as the storage device.
  • Various functions of the user terminal device 401 can be realized by the CPU reading various programs recorded in the ROM or storage device to the RAM and executing them.
  • the communication unit includes an interface for connecting to the network 412.
  • the support device 402 can be implemented by, for example, a support program executed on a server computer.
  • the support program can be implemented as a Web application, for example.
  • the user can use the Web application using the browser on the user terminal device 401.
  • the support program may be executed on the user terminal device 401 using REST (Representational State Transfer) or the like.
  • the support device 402 may have the function of the target information database device 403.
  • FIG. 6 shows a hardware configuration example of the server type computer.
  • the support device 402, the target information database device 403, each device in the learning data generation system 404, the target information acquisition device 405, or the learning database device 407 can be implemented by the server computer 600 shown in FIG.
  • the computer 600 includes a CPU 601, a ROM 602, a RAM 603, a storage device 604, an input / output unit 605, and a communication unit 606, which are connected to each other by a bus 607.
  • Various functions of the device such as the support device 402 can be realized by the CPU 601 reading out various programs recorded in the ROM 602 or the storage device 604 to the RAM 603 and executing them.
  • the storage device 604 for example, an HDD can be used.
  • the input / output unit 605 inputs and outputs information.
  • the input / output unit 605 includes a display device, a keyboard, and a mouse.
  • the communication unit 606 includes an interface for connecting to a network (for example, the network 412 in FIG. 4).
  • FIG. 7 is a functional block diagram illustrating a configuration example of the support device 402. 7 includes a communication unit 701, a support user interface unit 702, a learning request information acquisition unit 703, a target monitoring activation unit 704, a learning program activation unit 705, an external program activation unit 706, a factor estimation control unit 707, And a factor estimation result output unit 708.
  • the communication unit 701 exchanges data with other devices connected via the network 412.
  • the support user interface unit 702 provides a user interface for the support program.
  • the support user interface unit 702 enables the user to subscribe to the support service. For example, the support user interface unit 702 receives a request for support from a user. Further, the support user interface unit 702 may accept a request for factor estimation from the user. The support user interface unit 702 may accept a setting for state detection.
  • the learning request information acquisition unit 703 receives a request for acquiring the ability to perform factor estimation via the support user interface unit 702. Specifically, the learning request information acquisition unit 703 acquires information for specifying the state A and the state B. The learning request information acquisition unit 703 may accept a request for a learning target other than factor estimation.
  • the target monitoring activation unit 704 sends a command to start monitoring the target specified by the user to the target information acquisition device 405. A command to start monitoring is sent for each object.
  • the learning program starting unit 705 sends a command to start a predetermined program to each device. For example, the learning program starting unit 705 sends a command for starting a monitoring program for monitoring a target to the target information sensor device group 406. In one or a plurality of sensor devices included in the target information sensor device group 406, a monitoring program for monitoring according to the target is started. Further, the learning program activation unit 705 sends an instruction to activate a learning data generation program for generating learning data to the learning data generation system 404. Furthermore, the learning program starting unit 705 sends a command for starting a learning program for performing learning.
  • the learning program starting unit 705 sends a command to start the state classification learning program to the state classification learning device 408, sends a command to start the situation classification learning program to the situation classification learning device 409, and starts the exclusion situation learning program.
  • the command is sent to the exclusion status learning device 410.
  • the external program activation unit 706 activates the program of the external device as necessary in order to respond to the request from the user.
  • the external program activation unit 706 can activate a surveillance camera in a room where the object exists in order to photograph the object.
  • the external program activation unit 706 can activate a business support application that supports a specific business.
  • the external program activation unit 706 can reproduce fitness support content for the user.
  • the factor estimation control unit 707 controls the factor estimation device 411.
  • the factor estimation control unit 707 applies these learning results to the factor estimation device 411 so that the learning results generated by the state classification learning device 408, the situation classification learning device 409, and the exclusion situation learning device 410 can be used.
  • the factor estimation control unit 707 sets a neural network of the factor estimation device 411 in accordance with these learning results.
  • the factor estimation control unit 707 receives information for specifying the state A and the state B from the user terminal device 401
  • the factor estimation control unit 707 sends a factor estimation command to the factor estimation device 411.
  • the factor estimation control unit 707 receives the estimation result from the factor estimation device 411 and passes the received estimation result to the factor estimation result output unit 708.
  • the factor estimation result output unit 708 receives the estimation result from the factor estimation control unit 707 and sends the estimation result to the user terminal device 401.
  • the target information database device 403 records data related to a target acquired by a sensor device that acquires information related to the target in accordance with a command from the target information acquisition device 405.
  • the target information database device 403 records data so that the state information vector and the data based on the status information vector can be extracted for the specified target.
  • FIG. 8 is a functional block diagram showing a configuration example of the target information database apparatus 403.
  • the target information database device 403 illustrated in FIG. 8 includes a communication unit 801, a target information DB (database) 802, a state information DB 803, and a situation information DB 804.
  • the communication unit 801 exchanges data with other devices connected via the network 412.
  • the target information DB 802 records data related to the target acquired by the target information acquisition device 405.
  • the status information DB 803 records data related to the status extracted from the data recorded in the target information DB 802.
  • the situation information DB 804 records data related to the situation extracted from the data recorded in the target information DB 802.
  • the learning data generation system 404 creates learning data used for learning based on the data related to the object acquired by the object information acquisition apparatus 405 and stored in the object information database apparatus 403. For example, the learning data generation system 404 acquires data related to a target from the target information database device 403, and generates learning data based on the acquired data. Since a plurality of objects can exist, the learning data generation system 404 needs to extract information on the state, information on the situation, and information indicating the situation to be excluded for each object.
  • FIG. 9 shows a configuration example of the learning data generation system 404.
  • the learning data generation system 404 illustrated in FIG. 9 includes a communication unit 901, a state information extraction device 902, a situation information extraction device 903, and an exclusion situation information extraction device 904.
  • the communication unit 901, the status information extraction device 902, the status information extraction device 903, and the exclusion status information extraction device 904 may be implemented as one device.
  • the communication unit 901, the status information extraction device 902, the status information extraction device 903, and the exclusion status information extraction device 904 are connected to a network such as Ethernet (registered trademark).
  • the communication unit 901 exchanges data with other devices connected via a network (for example, the network 412).
  • the state information extraction device 902 extracts information related to the target state from the data related to the target. This is output as learning data used to acquire the ability to classify states.
  • the situation information extraction device 903 extracts information related to the status of the target from the data related to the target. This is output as learning data used to acquire the ability to classify situations.
  • the exclusion status information extraction device 904 extracts information regarding the status to be excluded from the data regarding the target. This is output as learning data used to acquire the ability to exclude situation information.
  • FIG. 10 is a functional block diagram illustrating a configuration example of the target information acquisition apparatus 405.
  • a target information acquisition apparatus 405 illustrated in FIG. 10 includes a communication unit 1001, an instruction unit 1002, a target information acquisition unit 1003, and a target information storage unit 1004.
  • the communication unit 1001 exchanges data with other devices connected via the network 412.
  • the instruction unit 1002 receives an instruction to start monitoring the target from the support device 402, the target information sensor device group 406 starts to monitor the target and records the data obtained thereby in the target information database device 403.
  • the instruction unit 1002 may manage what information is acquired for each target. This makes it possible to extract desired information from the data recorded in the target information database device 403.
  • the instruction unit 1002 may change the monitoring method according to the target state.
  • the instruction unit 1002 may instruct the target information sensor device group 406 to select a predetermined sensor and monitor information related to the target.
  • the target information acquisition unit 1003 can acquire data related to the target output from the target information sensor device group 406 and can store the acquired data in the target information storage unit 1004.
  • the target information sensor device group 406 includes a plurality of sensor devices. Each sensor device detects information about the object and outputs sensor data.
  • the sensor device may be any device as long as it can acquire information about the object.
  • the sensor device may be a device that diverts a sensor function included in a device installed for another purpose. For example, a sensor provided in a smartphone or a car can be used. Information detected by an application running on a PC or smartphone may be used as sensor data.
  • the sensor device can be implemented as, for example, a dedicated sensor that acquires specific information.
  • the sensor device may be a sensor installed in a distributed manner in the IoT system.
  • the sensor device may be a virtual sensor configured virtually in the cloud so as to operate in the same manner as the actual sensor. Data acquired by each sensor device is recorded in the target information database device 403.
  • FIG. 11 shows a configuration example of the sensor device.
  • FIG. 11 shows a computer 1100 incorporating a sensor device.
  • a computer 1100 includes a CPU 1101, a ROM 1102, a RAM 1103, a storage device 1104, a sensor unit 1105, an input / output unit 1106, and a communication unit 1107, which are connected to each other by a bus 1108.
  • the sensor unit 1105 includes one or more sensor devices.
  • the CPU 1101 controls the operation of the sensor unit 1105 according to a control program recorded in the ROM 1102 or the storage device 1104.
  • the input / output unit 1106 inputs and outputs information.
  • the communication unit 1107 includes an interface for connecting to a network (for example, the network 412 in FIG. 4).
  • Learning database device 407 records the learning data generated by learning data generation system 404.
  • the learning data includes data used for learning the state classification, data used for learning the situation classification, and data used for learning the excluded situation, which are the state classification learning apparatus 408, the situation classification learning apparatus 409, and the exclusion situation learning, respectively. Used by device 410.
  • the learning database device 407 can sequentially output a plurality of target state information vectors and situation information vectors included in the learning data. Further, the learning database device 407 can sequentially output a state information vector and a state information vector of a specific target included in the learning data. This makes it possible to perform learning using only data relating to a specific object.
  • the learning database device 407 may be configured to record learning data for each target type or attribute. This makes it possible to handle a plurality of types of objects. In addition, it is possible to extract desired data by designating the type or attribute.
  • the learning database device 407 may record the learning results generated by the state classification learning device 408, the situation classification learning device 409, and the exclusion situation learning device 410.
  • FIG. 12 shows a configuration example of a server type computer that realizes the state classification learning device 408.
  • a server type computer 1200 illustrated in FIG. 12 includes a GPU (Graphics Processing Unit) 1201, a CPU 1202, a ROM 1203, a RAM 1204, a storage device 1205, an input / output unit 1206, and a communication unit 1207.
  • the state classification learning device 408 has a very large amount of processing. For this reason, the computer 1200 has a configuration in which a GPU 1201 is added to a normal computer.
  • CPU 1202, ROM 1203, RAM 1204, storage device 1205, input / output unit 1206, and communication unit 1207 correspond to CPU 601, ROM 602, RAM 603, storage device 604, input / output unit 605, and communication unit 606 shown in FIG. Therefore, description thereof will be omitted.
  • the GPU 1201 can execute repetitive calculation in learning of the neural network at a higher speed than the CPU 1202.
  • the state classification learning device 408 may be realized by a blade PC in which a plurality of computers having the same configuration as the computer 1200 are combined. Further, the state classification learning device 408 may be realized by a composite server device in which a plurality of blade PCs are combined. Furthermore, when handling large-scale learning data, the state classification learning device 408 may be realized by a data sensor in which a plurality of composite server devices are combined.
  • the configuration shown in FIG. 12 is a configuration for performing deep learning learning by software. Part or all of the software processing may be performed by hardware. Thereby, the processing can be speeded up.
  • FIG. 13 is a functional block diagram showing a configuration example of the state classification learning device 408.
  • a state classification learning device 408 shown in FIG. 13 includes a communication unit 1301, a state classification learning control unit 1302, a neural network 1303, a learning result extraction unit 1304, and a learning result output unit 1305.
  • the communication unit 1301 exchanges data with other devices connected via the network 412.
  • the state classification learning control unit 1302 controls processing for acquiring the ability to classify states.
  • the state classification learning control unit 1302 sets hyper parameters of the neural network 1303 and performs learning by deep learning. Learning is not limited to deep learning, and any learning method that a machine learns can be used.
  • the state classification learning control unit 1302 extracts data relating to one or more objects from data recorded in the object information DB 802 of the object information database device 403. In the present embodiment, at least data related to the designated object is used. Data regarding one or more other objects may also be used. Effective when there is little data about the specified target.
  • the state classification learning control unit 1302 selects the state information vector shown in FIG. 3 from the extracted data. A program for selection can be prepared in advance for each target type or attribute.
  • the state information vector can be designed to represent the state of interest.
  • the state information vector may be defined for each target type or attribute.
  • the state classification learning control unit 1302 gives learning data including a large number of state information vectors to the neural network 1303, and uses the neural network 1303 to classify the large number of state information vectors into a predetermined number (for example, 10,000 types) of state classifications. Do learning. As a result of learning, the ability to classify states is acquired. A learning result for executing the acquired ability by another device is extracted by the learning result extraction unit 1304. The extracted information is collected into a file or the like by the learning result output unit 1305 and sent to the factor estimating device 411.
  • FIG. 14 shows a configuration example of the neural network.
  • a neural network 1400 illustrated in FIG. 14 corresponds to the neural network 1303 illustrated in FIG.
  • the neural network 1400 includes a neural network input unit 1401, a deep neural network 1402, and a neural network output unit 1403.
  • a deep neural network 1402 is used.
  • the neural network input unit 1401 inputs learning data to the deep neural network 1402.
  • the deep neural network 1402 performs learning using the learning data. As a result of learning, the ability to classify states is acquired.
  • the neural network output unit 1403 outputs data from which a learning result for implementing the acquired ability in another device can be extracted.
  • the situation classification learning device 409 performs learning for classifying situations.
  • the situation classification learning device 409 can have the same hardware configuration as the state classification learning device 408.
  • the situation classification learning device 409 can be realized by the server type computer 1200 shown in FIG.
  • FIG. 15 is a functional block diagram showing a configuration example of the situation classification learning device 409.
  • a situation classification learning device 409 shown in FIG. 15 includes a communication unit 1501, a situation classification learning control unit 1502, a neural network 1503, a learning result extraction unit 1504, and a learning result output unit 1505.
  • the communication unit 1501 exchanges data with other devices connected via the network 412.
  • the situation classification learning control unit 1502 controls processing for acquiring the ability to classify situations.
  • the situation classification learning control unit 1502 sets hyper parameters of the neural network 1503 and performs learning by deep learning.
  • the neural network 1503 can have the same configuration as the neural network 1400 shown in FIG. Learning is not limited to deep learning, and any learning method that a machine learns can be used.
  • the situation classification learning control unit 1502 extracts data related to one or more objects from the data recorded in the object information DB 802 of the object information database device 403. In the present embodiment, at least data relating to the target specified in the factor estimation request is used. Data regarding one or more other objects may also be used. Effective when there is little data about the specified target.
  • the situation classification learning control unit 1502 selects the situation information vector shown in FIG. 3 from the extracted data. A program for selection can be prepared in advance for each target type or attribute.
  • the situation information vector can be designed to represent the situation of interest.
  • the situation information vector includes an external factor vector and a self factor vector.
  • the external factor vector represents an external factor that affects the target.
  • the self factor vector represents a factor caused by the object itself.
  • the situation information vector can be defined as a vector combining an external factor vector and a self factor vector, for example.
  • the situation information vector may be defined for each target type or attribute.
  • the situation classification learning control unit 1502 gives learning data including a large number of situation information vectors to the neural network 1503, and classifies the large number of situation information vectors into a predetermined number (for example, 10,000 types) of situation classifications using the neural network 1503. Do learning. As a result of learning, the ability to classify situations is gained.
  • a learning result for executing the acquired ability by another device is extracted by the learning result extraction unit 1504.
  • Information extracted by the learning result extraction unit 1504 is collected into a file or the like by the learning result output unit 1505 and sent to the factor estimation device 411.
  • the exclusion situation learning device 410 performs learning for classifying the exclusion situation.
  • the exclusion status learning device 410 can have the same hardware configuration as the state classification learning device 408.
  • the excluded situation learning apparatus 410 can be realized by the server type computer 1200 shown in FIG.
  • FIG. 16 is a functional block diagram illustrating a configuration example of the exclusion status learning device 410.
  • An exclusion situation learning apparatus 410 illustrated in FIG. 16 includes a communication unit 1601, an exclusion situation learning control unit 1602, a neural network 1603, a learning result extraction unit 1604, and a learning result output unit 1605.
  • the communication unit 1601 exchanges data with other devices connected via the network 412.
  • the exclusion situation learning control unit 1602 controls processing for acquiring the ability to classify the exclusion situation.
  • the excluded situation learning control unit 1602 sets hyper parameters of the neural network 1603 and performs learning by deep learning.
  • the neural network 1603 can have the same configuration as the neural network 1400 shown in FIG. Learning is not limited to deep learning, and any learning method that a machine learns can be used.
  • the exclusion status learning control unit 1602 extracts data related to one or more targets from the data recorded in the target information DB 802 of the target information database device 403. In the present embodiment, at least data related to the designated object is used. Data regarding one or more other objects may also be used. Effective when there is little data about the specified target.
  • the exclusion status learning control unit 1602 extracts data when the target changes from the state A to the state B. This is teacher data when the state A changes to the state B. Furthermore, the exclusion status learning control unit 1602 extracts data other than when the target changes from the state A to the state B. This is teacher data when the state A does not change to the state B.
  • the excluded situation learning control unit 1602 selects the situation information vector shown in FIG. 3 from the extracted data.
  • a program for selection can be prepared in advance for each target type or attribute.
  • the situation information vector represents the situation of the object.
  • the situation information vector may be defined for each target type or attribute.
  • the ability to classify the situation information vector into a situation information vector similar to the situation information vector when the state A changes from the state A to the state B is acquired.
  • the ability to classify the excluded situation is acquired.
  • a learning result for implementing the acquired ability by another device is extracted by the learning result extraction unit 1604.
  • Information extracted by the learning result extraction unit 1604 is collected into a file or the like by the learning result output unit 1605 and sent to the factor estimation device 411.
  • the factor estimation device 411 estimates the factor that the designated target has changed from the state A to the state B based on the factor estimation request from the user.
  • the factor estimation device 411 performs factor estimation using the learning result output from the state classification learning device 408 and the learning result output from the situation classification learning device 409.
  • the factor estimation device 411 may further use the learning result output from the exclusion situation learning device 410.
  • a neural network equivalent to each of the state classification learning device 408, the situation classification learning device 409, and the excluded situation learning device 410 can be configured.
  • FIG. 17 is a functional block diagram showing a configuration example of the factor estimating device 411.
  • the factor estimation device 411 illustrated in FIG. 17 includes a communication unit 1701, a target information input unit 1702, a state information extraction unit 1703, a state identification unit 1704, a state classification unit 1705, a state classification learning result setting unit 1706, a situation information extraction unit 1707, A situation identification unit 1708, a situation classification unit 1709, a situation classification learning result setting unit 1710, a factor estimation unit 1711, and a factor estimation result output unit 1712 are provided.
  • the communication unit 1701 exchanges data with other devices connected via the network 412.
  • the target information input unit 1702 receives information about the target from the target information database device 403.
  • the target information input unit 1702 may receive information about the target from the target information sensor device group 406.
  • the target includes a target (first target) whose factor is to be estimated.
  • the state information extraction unit 1703 extracts state information (state information vector) from the information received by the target information input unit 1702.
  • the state specifying unit 1704 specifies a predetermined state for the first target, and extracts state information corresponding to the predetermined state from the state information extracted by the state information extracting unit 1703.
  • the predetermined state corresponds to the resulting state B.
  • the state B can be, for example, a state that it is desirable for the user to perform factor estimation.
  • the state specifying unit 1704 may further specify the state A that is a prior state. State A and state B can be detected by other devices.
  • the support service program of the support device 402 starts a program that performs an individual support service according to the use of the user on any of the devices that the user can use. For example, a business support application is activated. The business support application detects the state A and the state B according to a predetermined condition.
  • an automobile telematics terminal uses a sensor that detects the state of the driver. For example, a state where it is desirable to give advice to the driver is detected as the state B.
  • the health care application may detect the target state A and state B.
  • the state specifying unit 1704 receives a notification indicating that the first target has entered a predetermined state from another device, and specifies the predetermined state based on the received notification.
  • the notification includes time information indicating the time at which the first target is in a predetermined state, and the state specifying unit 1704 outputs the first information at the time from the state information extracted by the state information extracting unit 1703. Is output to the state classification unit 1705.
  • the state classification unit 1705 receives state information corresponding to a predetermined state from the state specifying unit 1704 and classifies the predetermined state.
  • the state classification unit 1705 can include a neural network similar to the neural network shown in FIG.
  • the state classification learning result setting unit 1706 receives the learning result from the state classification learning device 408, and sets the hyperparameter of the neural network of the state classification unit 1705 using the received learning result. As a result, the state classification unit 1705 can classify the states.
  • the state classification unit 1705 classifies the input state information and outputs the state classification result to the factor estimation unit 1711.
  • the status information extraction unit 1707 extracts status information from the information received by the target information input unit 1702.
  • the situation specifying unit 1708 specifies a situation until the first target reaches a predetermined state, and extracts situation information corresponding to the specified situation from the situation information extracted by the situation information extracting unit 1707.
  • the situation specifying unit 1708 receives information indicating a period until the first target changes from the state A to the state B from the state specifying unit 1704, and from the situation information extracted by the situation information extracting unit 1707, The state information of the first object in a period until the one object changes from the state A to the state B is extracted.
  • the situation identifying unit 1708 may extract situation information corresponding to the identified situation from other than the situation information classified by the excluded situation learning device 410 and input the situation information to the situation classification unit 1709.
  • the situation classification unit 1709 receives the input of situation information corresponding to the situation identified by the situation identification unit 1708, classifies the identified situation, and outputs a situation classification result including one or more situations (situation classification) To do.
  • the situation classification unit 1709 can include a neural network similar to the neural network shown in FIG.
  • the situation classification learning result setting unit 1710 receives the learning result from the situation classification learning device 409, and sets the hyperparameter of the neural network of the situation classification unit 1709 using the received learning result. As a result, the situation classification unit 1709 can classify the situation.
  • the factor estimating unit 1711 estimates a situation that causes a predetermined state based on the status classification result from the status classification unit 1705 and the status classification result from the status classification unit 1709. For example, the factor estimation unit 1711 holds a history of status change patterns indicating the status in the period of change from the first status to the second status, and the status corresponding to the status classification result from the status change patterns in the history A change pattern is selected, and a situation common to the selected situation change pattern and the situation classification result is specified as a factor. More specifically, when it is detected that the state A has changed to the state B, the factor is estimated as follows.
  • the factor estimating unit 1711 receives from the situation classification unit 1709 a situation change pattern indicating a result of classifying situation information vectors in a period in which the target changes from the state A to the state B.
  • the factor estimation unit 1711 determines that the situation indicated by the situation change pattern is a factor.
  • the factor estimation unit 1711 selects a situation change pattern that matches the situation change pattern included in the history from the situation change patterns received from the situation classification unit 1709. The situation classification indicated by the selected situation change pattern is determined as a factor.
  • the factor estimating unit 1711 may output one or a plurality of factors. Alternatively, when there are a plurality of matching situation change patterns, the factor estimation unit 1711 may output the situation that occurred first as a factor. Moreover, the classification result of deep learning can output the similarity with respect to a predetermined classification as a numerical value. Using this numerical value, the closest factor may be determined as a factor.
  • FIG. 18 shows an example of a learning procedure according to the present embodiment.
  • the process shown in FIG. 18 is started in response to a learning request.
  • the learning data generation system 404 generates learning data, and records the generated learning data in the learning database device 407.
  • each learning device performs a series of learning based on the learning data.
  • the state classification learning device 408 acquires the ability to classify the target state, and generates a learning result for implementing the acquired ability in another device.
  • the situation classification learning device 409 acquires the ability to classify the target state, and generates a learning result for implementing the obtained ability in another device.
  • the excluded situation learning device 410 acquires the ability to classify a situation unrelated to the change from the state A to the state B, and generates a learning result for implementing the obtained ability in another device.
  • each learning device outputs a learning result.
  • the factor estimation device 411 receives a learning result from each learning device.
  • the factor estimation device 411 acquires factor estimation capability using the received learning result.
  • step S1809 it is determined whether there is another learning request. If there is another learning request, the process returns to step S1801, and if there is no other learning request, the process ends.
  • FIG. 19 shows processing from the factor estimation request to the output of the estimation result according to the present embodiment.
  • the user activates the support application by designating a target on the user terminal device 401.
  • a support service for the target is started.
  • the user requests the factor estimation by designating the prior state A and the posterior state B.
  • the learning device learns about an event that changes from state A to state B. Details will be described in a state classification learning apparatus, a situation classification learning apparatus, and an excluded situation learning apparatus, which will be described later, in respective learning procedure examples.
  • an ability such as the ability to classify a situation unrelated to the event changing from state A to state B is acquired.
  • step S1906 the learning device outputs a learning result.
  • step S1907 the factor estimation device 411 receives the learning result.
  • step S1908 the factor estimation device 411 acquires factor estimation capability using the received learning result.
  • step S1909 the factor estimation device 411 estimates the factor that the target has changed from the state A to the state B, and outputs the estimation result.
  • FIG. 20 shows an example of a learning procedure in the state classification learning device 408 according to the present embodiment.
  • the state classification learning device 408 is instructed to start learning.
  • the state classification learning device 408 requests the learning database device 407 for data related to the designated target.
  • the state classification learning device 408 sets the number of classifications. The number of classifications is variable. For example, the number of classifications is set by the operator of the factor estimation system.
  • the state classification learning device 408 receives data related to the designated target state from the learning database device 407 and performs learning.
  • step S2005 the state classification learning device 408 determines whether or not a learning abort condition is satisfied. If the learning abort condition is not satisfied, the process proceeds to step S2006. If the learning abort condition is satisfied, the process ends.
  • step S2006 the state classification learning device 408 determines whether or not the learning level has reached a predetermined level. When the learning level has not reached the predetermined level, the process returns to step S2004, and the state classification learning device 408 acquires data on the state of another object from the learning database device 407 and performs learning again. When the learning level reaches a predetermined level, the process proceeds to step S2007, and in step S2007, the state classification learning device 408 outputs a learning result.
  • FIG. 21 shows an example of a learning procedure in the situation classification learning apparatus 409 according to the present embodiment.
  • the situation classification learning device 409 is instructed to start learning.
  • the situation classification learning device 409 requests the learning database device 407 for data related to the designated target.
  • the situation classification learning device 409 sets the number of classifications.
  • the number of classifications is variable. For example, the number of classifications is set by the operator of the factor estimation system. The number of classifications in the situation classification may be different from the number of classifications in the state classification.
  • step S ⁇ b> 2104 the situation classification learning device 409 receives data from the learning database device 407 regarding the designated target situation and performs learning.
  • step S2105 the situation classification learning device 409 determines whether or not a learning abort condition is satisfied. If the learning abort condition is not satisfied, the process proceeds to step S2106. If the learning abort condition is satisfied, the process ends.
  • step S2106 the situation classification learning device 409 determines whether or not the learning level has reached a predetermined level. If the learning level has not reached the predetermined level, the process returns to step S2104, and the situation classification learning apparatus 409 acquires data on the situation of another object from the learning database apparatus 407 and performs learning again. When the learning level reaches a predetermined level, the process proceeds to step S2107, and in step S2107, the situation classification learning device 409 outputs a learning result.
  • FIG. 22 shows an example of a learning procedure in the exclusion status learning apparatus 410 according to the present embodiment.
  • the excluded situation learning apparatus 410 receives situation change pattern data from the learning database apparatus 407.
  • the excluded situation learning device 410 generates data of a situation change pattern that has changed from state A to state B as non-excluded teacher data.
  • the excluded situation learning device 410 generates, as excluded teacher data, data of situation change patterns other than the situation change pattern changed from the state A to the state B.
  • the non-excluded teacher data and the excluded teacher data may be created by the learning data generation system 404.
  • step S2204 the exclusion situation learning apparatus 410 performs learning for identifying the exclusion situation using the non-exclusion teacher data and the exclusion teacher data.
  • step S2205 the exclusion status learning device 410 determines whether or not a learning abort condition is satisfied. If the learning abort condition is not satisfied, the process proceeds to step S2206. If the learning abort condition is satisfied, the process ends.
  • step S2206 the exclusion status learning device 410 determines whether or not the learning level has reached a predetermined level. When the learning level has not reached the predetermined level, the process returns to step S2201, and the excluded situation learning apparatus 410 acquires additional data of the situation change pattern and performs learning again. When the learning level reaches a predetermined level, the process proceeds to step S2207, and in step S2207, the excluded situation learning apparatus 410 outputs a learning result.
  • FIG. 23 shows a procedure example of processing by the factor estimating apparatus 411 according to the present embodiment.
  • the factor estimating unit 1711 acquires a situation classification history including a plurality of situation change patterns.
  • the state classification learning result setting unit 1706 sets the learning result received from the state classification learning device 408 in the state classification unit 1705.
  • the situation classification learning result setting unit 1710 sets the learning result received from the situation classification learning device 409 in the situation classification unit 1709.
  • step S2304 the state information extraction unit 1703 inputs the target state information vector to the state specifying unit 1704.
  • step S2305 the state specifying unit 1704 determines whether or not the target is in a state A that is a prior state. If the target state is not state A, the process returns to step S2304. If the target state is state A, the state specifying unit 1704 selects a state information vector corresponding to state A from the input state information vectors. The process proceeds to step S2306.
  • step S2306 the state information extracting unit 1703 further inputs the target state information vector to the state specifying unit 1704.
  • step S2307 the state identifying unit 1704 determines whether or not the target has entered state B, which is a posterior state. If the target state is not state B, the process returns to step S2306. If the target state is state B, the state specifying unit 1704 selects a state information vector corresponding to state B from the input state information vectors. The process proceeds to step S2308.
  • step S2308 the situation classification unit 1709 generates a situation change pattern.
  • step S2309 the factor estimating unit 1711 searches the situation classification history for a situation change pattern that matches the generated situation change pattern.
  • step S2310 the factor estimating unit 1711 determines a situation included in the matched situation change pattern as an estimation result.
  • step S2310 the factor estimation result output unit 1712 outputs the estimation result.
  • Deep learning can learn to acquire a predetermined ability such as classification or prediction based on a large amount of data.
  • a predetermined ability such as classification or prediction based on a large amount of data.
  • learning cannot be completed within a predetermined time using a device of a predetermined scale.
  • a large amount of data including data irrelevant to the watching target is acquired. For this reason, it may be necessary to limit the range of data used to estimate the factors.
  • the data range may be limited according to predetermined conditions. For example, when the target is a person, a subset of a number smaller than the total number of persons may be generated using attributes such as age, gender, nationality, residential area, and occupation type. Even if the data range is limited by attributes, the amount of data may still be large. In this case, it is necessary to further reduce the data amount. However, if the amount of data is reduced too much, there is a high possibility that a factor will be missed. It is desirable to exclude data that is unlikely to contain factors.
  • Some data on external factors may be excluded. For example, exclude data on external factors that are known to be very unlikely to be affected. Data on external factors that can be determined to be unaffected by watch attributes, data on sports that are not watched, watch interests are not interested, are not included in new news, and visited in the past.
  • a condition for designating data to be excluded may be set, such as data relating to a region that is not generally known.
  • the amount of data can be reduced by classifying input data.
  • Data composed of multidimensional vectors often has a sparse distribution. In general, the distribution tends to be sparse as the number of dimensions increases.
  • the amount of data can be greatly reduced.
  • the classification results are arranged in time series, the data amount can be greatly reduced by further classifying the arrangement of the classified results.
  • the input data includes information about the person himself and information about the environment around the person. Information about people themselves should be managed with privacy in mind. It is possible to determine what information is to be acquired according to a request from the user, a contract with the user, a configuration of the apparatus, and the like.
  • Information on the person himself / herself can include information on the state of the living body.
  • Information on the state of the living body can be acquired using a wearable sensor such as a smartphone, a smart watch, a biological information sensor, or the like.
  • Information on the state of the living body can be acquired from an acceleration sensor included in the smartphone or an application executed on the smartphone. Since the smart watch is in contact with the body, the smart watch can acquire a more detailed method than the information acquired from the smartphone.
  • the biological information sensor measures, for example, heart rate and oxygen saturation.
  • the biological information sensor is connected to, for example, a smartphone or built in a smart watch.
  • Information on the state of the living body can also be obtained using an environmental sensor. For example, information related to the state of a living body can be acquired using IoT.
  • an existing device in a person's environment can be used as a sensor that acquires information about the person. For example, when information is obtained that “a person was detected at the first floor of the building and then detected on the fourth floor”, the physical momentum of the person can be calculated from this information. .
  • Such information can be obtained by combining a surveillance camera and a face recognition device.
  • Information on the state of the living body can include information on food and drink. Information published by cooking recipes and restaurants can be used. The information of food and drink can be input by the person who is watching over, for example.
  • Information about a person can include a person's action history.
  • the action history can include a history of momentum and a history of workload.
  • Information on the amount of exercise can be acquired using a wearable sensor.
  • the information related to the workload includes, for example, information related to behavior such as driving a car.
  • Information relating to the workload can be obtained from an application used in an IT terminal such as a PC or a smartphone. For example, information related to driving a car can be acquired from a car or a smartphone.
  • Information on the environment around a person can be obtained from, for example, a device attached to the building.
  • various devices installed in individual houses or apartment houses can be used.
  • various devices installed in buildings such as offices and schools can be used.
  • Information about the visitor can be acquired from the surveillance camera.
  • Information about the human environment can be acquired from the air conditioning system.
  • Information regarding a person's condition and behavior can be acquired from a training device installed in the fitness club.
  • Information on purchasing behavior can be acquired from the sales management system installed in the shopping mall.
  • Information regarding the visit to the facility can be obtained from the equipment installed in the amusement facility.
  • Information on the state of a person can be acquired from a device installed in a hospital.
  • Information on the environment around a person can be obtained from a device attached to a moving object such as an automobile or public transportation.
  • a person since a person uses various business apps or educational apps on a device in the environment, information related to business or education can be acquired from the business apps or educational apps. By extracting the usage history of each application, it is possible to acquire information related to the fact that a person has been affected during business or learning.
  • the information regarding the environment around a person can include information from a business operator.
  • the information from the business operator is, for example, information related to the use performed by the user in the business provided by each business operator.
  • information about the environment around a person can include information from an information service provider.
  • the information from the information service provider is, for example, information on the contents of information provided by each information service provider and information service usage. Also, information about the environment around the person can include information from the IoT service.
  • the information from the IoT service includes, for example, information about a person obtained from an IoT terminal and information about a person obtained from a server or a cloud system.
  • the input data can include information obtained from the object that is the object and information obtained from the surrounding devices.
  • the object of interest and the surrounding devices can be connected to a network.
  • the method for inputting data will be explained using an integrated support service as an example.
  • the integrated support service is a service for comprehensively watching a person's 365 days activity.
  • a user is provided with a support service by a support program or support content of a terminal device such as a PC, a smartphone, or a specific business terminal being used.
  • the support device provides an integrated support service.
  • the integrated support service is executed by the support program of the support device.
  • This support program can operate in cooperation with a support program or support content executed by a terminal device used by a user.
  • the support program uses a device in the surrounding environment to support the target person. Thereby, the support program can acquire information on the person and the surrounding environment. By specifying a target, it is possible to acquire information on the state and status of the target.
  • the user can request in advance to perform factor estimation when a predetermined result is detected.
  • the result of the factor estimation is notified by vibration and display in a terminal device such as a smartphone or a smart watch.
  • the user may request factor estimation at an arbitrary timing.
  • the user designates two states (preliminary state A and posterior state B). If the user does not specify the prior state, the initial state of the target may be determined as the prior state A. If the user can designate the current state as the state B, the input of information for specifying the state such as the time can be omitted. Further, when the wearable sensor detects that the target is in a specific state (for example, a state in which a strong stress is applied to the target), the state of the target at that time may be determined as state B.
  • a specific state for example, a state in which a strong stress is applied to the target
  • the first application example is a service that monitors the state of a person. With this service, it is possible to acquire information on the state and status of a person's exercise, meal, and work as follows, and estimate the situation that caused the person to reach a specific state based on the acquired information .
  • Exercise affects people's life patterns. People with similar constitutions and lifestyle patterns often have similar results due to similar factors.
  • the information regarding exercise includes, for example, exercise amount and activity amount.
  • the amount of exercise and the amount of activity can be acquired using an activity amount sensor, a smart watch, a smartphone, or the like. It is known that weight changes according to calorie intake and exercise.
  • the contents of meals have a great influence on the condition of people.
  • Information on the contents of meals can be obtained by using, for example, a method of extracting information such as a purchased lunch from a payment record of a credit card or electronic money.
  • a person may input information about meal contents using a terminal device such as a smartphone or a PC.
  • information related to meal contents can be acquired from a payment terminal in the cafeteria.
  • the payment terminal holds a correspondence table in which meals and meal contents are associated with each other, and acquires information on meal contents by referring to the correspondence table with input meal information.
  • Information regarding work can be acquired using, for example, a business support application described later.
  • the information related to work includes, for example, information related to work performed by a person during work and the environment thereof.
  • the service that monitors the human condition has a function to give advice.
  • Estimating and notifying the factors that have become the current state is effective advice.
  • a person can accurately remember the amount of exercise the day before, but can hardly remember the amount of exercise a week ago. Since the increase or decrease in weight is affected by the amount of exercise during a period of several months, many people do not grasp the history of the amount of exercise.
  • By estimating and notifying factors of weight increase / decrease it becomes possible for a person to grasp the good points and bad points of their lifestyle habits from their actions. This makes it possible to improve lifestyle habits. Further, by performing learning using information on many people, it is possible to predict a change in weight when the current state is continued. It is also effective to notify such information as advice.
  • the factor estimation system can be applied to a service for monitoring a human condition.
  • the method described here can be applied to the following application examples.
  • the second application example is a service that supports human work.
  • the human condition affects the business.
  • this service it is possible to acquire information related to a person's business and information about the situation, and to estimate the situation that caused the person to reach a specific state based on the acquired information.
  • the service according to the second application example can make a proposal for improving the work efficiency when a specific state is detected.
  • this service estimates an influence of a life pattern when a predetermined abnormality is detected for an employee at the start of morning work, and proposes an improvement of the life pattern based on the estimation result.
  • the service notifies the employee's supervisor if a predetermined anomaly is detected for the employee at the start of the afternoon work.
  • the boss can call on the employee such as "Did you have anything?" Or "How about a break?"
  • the service can detect a state of excessive stress based on a state information vector indicated by the employee's biological information sensor.
  • this service specifies the state A before the period when the business efficiency is increasing and the state B during the period, and the factor that changed from the state A to the state B is a factor that increases the business efficiency. Can be estimated.
  • the service according to the second application example can detect information related to the change and estimate the influence of the change on the employee who performs the business with a predetermined logic.
  • Examples of incidents include a monitoring apparatus failure, a business system failure, a change in work target, and an employee change. If the monitoring device fails, it is recorded that the record data is missing.
  • the degree of influence is determined and recorded based on the failure occurrence time and content obtained from the business system.
  • Information related to the change of the object is acquired from a sensor attached to the work object on which the employee is working. Based on this information and the relationship between the work object and the employee, the degree of influence on the employee is estimated.
  • Employee changes have a major impact on operational efficiency. It is desirable to record the factors that caused employee changes.
  • Employee incidents include, for example, work interruption, excessive activity, biometric information being different from normal, location information (for example, it was detected that the employee is in a location different from the planned location), etc. There is.
  • the third application example is a service that supports driving of a car.
  • the state and situation when the driver is not in the vehicle cannot be grasped only by the control device mounted on the vehicle. Therefore, the support content or the support application stored in the support device (for example, the support device 402 shown in FIG. 4) is downloaded to the telematics terminal of the automobile.
  • the telematics terminal can assist the driver who is driving and can notify the vehicle control apparatus of the driver information.
  • the telematics terminal can acquire information indicating the state of the driver from a driver monitor camera or a biological information sensor mounted on the automobile, a wearable terminal or smart watch mounted on the driver, a smartphone, or the like.
  • the support application can grasp the state and situation detected before the driver gets into the car.
  • the support application can estimate a factor that the driver has changed from the state A to the state B, and can support driving based on the estimation result.
  • the fourth application example is a service that supports human activities at home or on the go (for example, work place, school, accommodation facility).
  • home environmental factors such as temperature, humidity, atmospheric pressure, noise, and off-flavor have a great influence on people. Abnormal low or high temperatures are particularly significant.
  • By detecting and recording such an environmental factor with a sensor it is possible to estimate the degree of influence of the environmental factor on a person. Further, if detailed information on environmental factors can be acquired from an air conditioner or the like, it becomes possible to grasp the degree of influence of environmental factors in detail.
  • the factor estimation system can cope with the case where the target is a machine in the same manner as when the target is a person. For example, when a person operates a machine, that person becomes part of the environment for the machine.
  • the support application can acquire information on the driver who has a great influence on the car in the same manner as described when the target is a person.
  • the support application can acquire information on the state of the vehicle, the travel history, and the environment during travel from the control device of the vehicle.
  • the support application can acquire information on roads, weather, earthquakes, and the like from the outside.
  • the factor estimation system can acquire the ability to estimate factors by performing learning using these pieces of information.
  • the target is a processing device
  • information on the status of the processing device can be obtained from the devices around it.
  • the processing apparatus is influenced by peripheral apparatuses and apparatuses connected via a network. From the factor estimation system, this is the same as when a person is affected by the environment. Therefore, it is possible to acquire the ability to estimate the factor that has become a certain state by learning.
  • the state classification learning device acquires the ability to classify the target state by performing learning to classify data (state information vector) related to the target state, A state classification learning result for implementing the acquired ability by another device is generated, and this state classification learning result is applied to the neural network of the factor estimating device.
  • the factor estimating apparatus can acquire the ability to classify the target state.
  • the situation classification learning device acquires the ability to classify the situation of the object by learning to classify the data (situation information vector) related to the situation of the object, and the situation for the acquired ability to be implemented in another device A classification learning result is generated, and this situation classification learning result is applied to the neural network of the factor estimation device.
  • the factor estimating device can acquire the ability to classify the target situation.
  • the factor estimation device classifies the state of the target, detects that the target is in state A and state B, and classifies the status of the target, so that the target is changed from the previous state A to the posterior state.
  • the situation of the object in the period until it changes to B is detected.
  • the factor estimation device acquires a situation classification history including a situation change pattern indicating a situation in a period in which the state A changes from the state A to the situation B, and the situation estimation history includes a situation change pattern indicating a situation that matches the detected situation
  • the detected situation is determined as a factor. This makes it possible to estimate the factors that have resulted in the result.
  • the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. Further, various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the embodiment. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, you may combine suitably the component covering different embodiment.
  • a hardware processor A hardware processor; A memory connected to the hardware processor; Comprising The hardware processor is Accept information about the subject, Extracting state information from the received information; Identifying a predetermined state for a first of the objects; Receiving the input of the state information corresponding to the predetermined state that is the extracted state information, and classifying the predetermined state; Extracting situation information from the received information; Identify the situation leading up to the predetermined state, Receiving the input of the situation information corresponding to the identified situation that is the extracted situation information, and classifying the identified situation; A factor estimation device configured to estimate a situation that has caused a factor leading to the predetermined state based on the classification result of the predetermined state and the classification result of the specified situation.
  • (Appendix 2) Receiving information about the object using at least one hardware processor; Using at least one hardware processor to extract state information from the received information; Identifying a predetermined state for a first of the objects using at least one hardware processor; Using at least one hardware processor to receive the extracted state information corresponding to the predetermined state and classifying the predetermined state; Using at least one hardware processor to extract status information from the received information; Using at least one hardware processor to identify a situation leading to the predetermined state; Using at least one hardware processor to receive the extracted situation information corresponding to the identified situation and classify the identified situation; Using at least one hardware processor to estimate, based on the classification result of the predetermined state and the classification result of the specified situation, the situation that has caused the predetermined state;
  • a factor estimation method comprising:

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Genetics & Genomics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Alarm Systems (AREA)

Abstract

本発明の一態様に係る要因推定装置は、対象についての情報を受け付け、前記受け付けた情報の中から状態情報を抽出し、前記対象のうちの第1の対象についての所定の状態を特定し、前記抽出された状態情報であって前記所定の状態に対応する状態情報の入力を受けて、当該所定の状態を分類し、前記受け付けた情報の中から状況情報を抽出し、前記所定の状態に至るまでの状況を特定し、前記状況情報抽出部によって抽出された状況情報であって前記特定された状況に対応する状況情報の入力を受けて、当該特定された状況を分類する。続いて、要因推定装置は、前記所定の状態の分類結果と前記前記特定された状況の分類結果とに基づいて、前記所定の状態に至る要因となった状況を推定する。

Description

要因推定装置、要因推定システム、および要因推定方法
 本発明は、結果をもたらした要因を推定する技術に関する。
 一般に、人が業務を行うあるいは日常生活を送るなかで発生する結果(例えば人が特定の状態になったこと)をもたらした要因を分析することは困難である。特定業務用機械などの物に関しても同様である。因果関係が知られている場合、人は結果がどの要因によってもたらされたかを推定することができる。しかしながら、因果関係が未知である場合、人は結果がどの要因によってもたらされたかを類推することができない。例えば、人の特定の行動または人の周辺で生じた特定の事象を、結果を引き起こした要因として特定することは、多くの外的要因が影響するため、容易ではない。
 ところで、近年、ディープラーニングを利用した技術が急速に進化している。特に、画像を認識する技術は、ディープラーニング技術を利用することで人のレベルに近い能力を獲得するまでに至っている。一方で、人が持っていない能力を機械に獲得させることは容易ではない。これは、例えば因果関係が未知である場合などのように、学習に用いる教師データを作成することができないためである。
 機械が学習によって獲得した能力を用いて結果との関係が知られていない要因を推定するサービスまたは装置は、現時点で実用化されていない。
 本発明は、上記の事情に着目してなされたものであり、その目的は、結果をもたらした要因を推定することができる要因推定装置、要因推定システム、および要因推定方法を提供することである。
 本発明の第1の態様では、要因推定装置は、対象についての情報を受け付ける対象情報入力部と、前記受け付けた情報の中から状態情報を抽出する状態情報抽出部と、前記対象のうちの第1の対象についての所定の状態を特定する状態特定部と、前記状態情報抽出部によって抽出された状態情報であって前記所定の状態に対応する状態情報の入力を受けて、当該所定の状態を分類する状態分類部と、前記受け付けた情報の中から状況情報を抽出する状況情報抽出部と、前記所定の状態に至るまでの状況を特定する状況特定部と、前記状況情報抽出部によって抽出された状況情報であって前記特定された状況に対応する状況情報の入力を受けて、当該特定された状況を分類する状況分類部と、前記所定の状態の分類結果と前記前記特定された状況の分類結果とに基づいて、前記所定の状態に至る要因となった状況を推定する要因推定部と、を備える。
 本発明の第2の態様では、前記要因推定部は、第1の状態から第2の状態へ変化する期間における状況を示す状況変化パターンの履歴を保持し、前記状況変化パターンのうちの前記所定の状態の分類結果に対応する状況変化パターンと前記特定された状況の分類結果とに共通する状況を前記要因として特定する。
 本発明の第3の態様では、要因推定システムは、上述の要因推定装置と、状態の分類に関する学習を行う状態分類学習装置と、状況の分類に関する学習を行う状況分類学習装置と、を備え、前記状態分類部は、前記状態分類学習装置による学習結果を利用して状態の分類を行い、前記状況分類部は、前記状況分類学習装置による学習結果を利用して状況の分類を行う。
 第1の態様によれば、対象の状態および状況が分類され、それらの分類結果に基づいて対象が所定の状態に至る要因となった状況が推定される。これにより、人手を介することなしに、結果をもたらした要因を推定することができる。
 第2の態様によれば、状況変化パターンの履歴を参照して要因となる状況が特定される。これにより、要因となる状況の特定が容易になる。
 第3の態様によれば、状態分類学習装置および状況分類学習装置による機械学習の結果が状態分類部および状況分類部に与えられ、それにより、状態分類部および状況分類部は分類能力を獲得することができる。機械学習を用いるので、人の介在がなく、プライバシーやセキュリティなど、人が要因となる脅威を回避することができる。
 本発明によれば、結果をもたらした要因を推定することができる要因推定装置、要因推定システム、および要因推定方法を提供することができる。
図1は、一実施形態に係る要因推定方法の概要を説明する図である。 図2は、本実施形態に係る要因推定方法の概要を説明する図である。 図3は、本実施形態に係る要因推定方法の概要を説明する図である。 図4は、本実施形態に係る要因推定システムの構成例を示すブロック図である。 図5は、コンピュータのハードウェア構成例を示すブロック図である。 図6は、サーバ型コンピュータのハードウェア構成例を示すブロック図である。 図7は、図4に示した支援装置の構成例を示す機能ブロック図である。 図8は、図4に示した対象情報データベース装置の構成例を示す機能ブロック図である。 図9は、図4に示した学習データ生成システムの構成例を示すブロック図である。 図10は、図4に示した対象情報取得装置の構成例を示す機能ブロック図である。 図11は、図4に示した対象情報センサ装置群に含まれるセンサ装置の構成例を示すブロック図である。 図12は、サーバ型コンピュータのハードウェア構成の別の例を示すブロック図である。 図13は、図4に示した状態分類学習装置の構成例を示す機能ブロック図である。 図14は、ニューラルネットワークの構成例を示す機能ブロック図である。 図15は、図4に示した状況分類学習装置の構成例を示す機能ブロック図である。 図16は、図4に示した除外状況学習装置の構成例を示す機能ブロック図である。 図17は、図4に示した要因推定装置の構成例を示す機能ブロック図である。 図18は、本実施形態に係る学習の手順例を示すフローチャートである。 図19は、本実施形態に係る要因推定依頼から推定結果の出力までの手順例を示すフローチャートである。 図20は、本実施形態に係る状態分類学習装置における学習の手順例を示すフローチャートである。 図21は、本実施形態に係る状況分類学習装置における学習の手順例を示すフローチャートである。 図22は、本実施形態に係る除外状況学習装置における学習の手順例を示すフローチャートである。 図23は、本実施形態に係る要因推定装置における要因推定の手順例を示すフローチャートである。
 以下、図面を参照しながら本発明の実施形態を説明する。
 本発明の実施形態は、結果をもたらした要因を推定する要因推定装置を含む要因推定システムに関する。本実施形態の要因推定システムによれば、機械(例えばコンピュータ)が、対象に関する大量のデータを用いた学習によって、要因を推定する能力を効率よく獲得することができる。本実施形態では、機械に分類能力を獲得させるために、ディープラーニング技術を用いる。ディープラーニングは、多次元ベクトルであるデータに含まれる類似するパターンを見つけることを可能にする。これにより、機械が、類似するパターンを含むデータを同じ分類と判定することができるようになる。因果関係が未知の場合には、教師データを作成することができない。教師なしデータを用いた学習によって所定の分類能力を獲得することは可能である。教師なしデータを用いたディープラーニングにより機械に分類能力を獲得させることによって、機械が未知の因果関係を判定することを可能にする。しかしながら、単純に入力データを分類させるだけでは、因果関係を判定する能力を獲得することはできない。本実施形態では、以下に示す方法で、機械が因果関係を判定する能力を獲得する。
 理解を容易にするために、対象を人とした例について説明する。対象は、人に限定されず、例えば、人以外の生物、人または生物の行為、物、物の動作などであってもよい。その他、結果から要因を推定することができる任意の対象を扱うことができる。
 本実施形態は、多数の人について人自身および環境に関する大量のデータを取得し、取得したデータを学習データとして利用できるように記録することを含む。人自身に関するデータは、例えば、業務アプリまたはスマホアプリの操作、自動車の制御装置またはセンサ、ウェアラブルセンサ、ヘルスチェックアプリなどから取得することができる。環境に関するデータは、例えば、IoT(Internet of Things)型のセンサ、身の回りにある様々な装置から取得することができる。
 本実施形態では、対象を図1に示すようにモデル化する。対象は、1つまたは複数の状況(図1の例では3つの状況)のいずれかの状況に含まれる要因Xに応じて、状態Aから状態Bに変化する。各状況は、要因となる可能性がある外部要因または自発要因を含む。外部要因は、対象に影響を与える環境を示す。自己要因は、対象自身の状態または行動を示す。各状況は、要因となる可能性がない外部要因または自発要因を含んでいてもよい。課題は、対象である人が状態Aから状態Bに変化(遷移)した要因Xを推定することに相当する。状況のいずれかが要因となって、状態Aから状態Bに変化する結果を引き起こす。このようにモデル化すると、要因Xはいずれかの状況に含まれる。
 図2を参照して、本実施形態において想定するサービスおよび装置の機能について説明する。以下の説明には、本発明に含まれない部分がある。
 利用者は、図示しない利用者端末装置を通じて、サービス(例えば支援サービス)に加入する。利用者は、加入時に、所定の条件でサービスを受ける契約を締結する。支援サービスは、利用者がネットワークを介して多くの対象(以下、見守り対象ともいう)について状態または状況を監視することを可能にする。支援サービスは、例えば、IoTシステムを利用して実施することができる。サービスの依頼は対象ごとに行われる。支援サービスは、例えば、日本国特許第4150965号に開示された技術などの既存の技術を利用して実施されてもよく、あるいは、支援アプリを作成することで実施されてもよい。
 日本国特許第4150965号には、状況に応じて業務指示を出力して利用者(対象)の業務を支援する業務支援コンテンツを用いて、業務に関して利用者が行う行動に関する情報を取得する技術が開示されている。利用者は、スマートフォンまたはパーソナルコンピュータ(PC)に業務支援コンテンツをダウンロードして利用することで、業務支援コンテンツによる支援を受けて業務を行うことができる。環境に関する情報、利用者に関する情報、業務の状態を示す情報などが取得される。各利用者の利用に応じて業務支援コンテンツの内容が更新されるので、利用者ごとに異なるサービスを提供することができる。
 見守り対象とその周囲の環境にいる対象は、監視可能な対象の集合に含まれる。見守り対象は、その存在、行為、動作などによって、周囲の環境に対して影響を与える。逆に、見守り対象は、周囲の環境から影響を受ける。このとき、見守り対象は、環境との間で相互に影響を受けて、状態Aから状態Bに変化する。状態Aから状態Bに変化するまでの間に、見守り対象の周囲の環境は、状況1から状況2へ、さらに状況3へと遷移する。前述したように、課題は、対象が状態Aから状態Bに変化した要因を推定することに相当する。これは、例えば、次に示すような統合的な支援サービスを行うことで実現することができる。支援サービスは、行動支援、状態監視、環境の把握、状況監視、機械学習、および要因推定の機能を備える。
 行動支援は、対象である人の行動の支援を行う機能である。対象が物である場合、対象の動作の支援を行う。支援を行う過程で対象の状態または状況に関する情報を取得することができる。状態監視は、対象の状態を監視する機能である。環境の把握は、対象の環境を把握し、環境の状態などの環境に関する情報を取得する機能である。状況監視は、対象とその環境とに関する情報を取得し、対象の状況を監視する機能である。機械学習は、機械が、対象とその環境とに関する情報を収集して学習データを生成し、所定の学習を行う機能である。要因推定は、対象が所定の状態Bとなったときの要因を推定する機能である。
 上記のような支援サービスをすべて機械が行う。それにより、各対象についてよりきめの細かいサービスを提供することができる。人が介在しないので、プライバシーやセキュリティなど、人が要因となる脅威を回避することができる。さらに、人の環境に関する情報を自動的に取得することが容易になる。さらに、人の介在なく、24時間365日サービスを提供することができる。
 本実施形態は、機械学習によって多次元ベクトルで構成されるデータを分類する能力を獲得することを含む。分類能力は、例えば、ディープラーニングによって獲得することができる。学習プログラムの構築を容易にするために、入力となるベクトルの次元数を合わせることが望ましい。分類能力を獲得するための方法は、ディープラーニングに限定されない。分類能力の獲得には、AI(Artificial Intelligence)技術や機械学習技術として知られている任意の方法を用いることができる。学習は、必ずしもAIと呼ばれる技術である必要はなく、例えば、入力データの取得方法を工夫して、多次元ベクトルの分布が事象ごとに分離するようにする方法、判定ロジックをあらかじめ用意し、モンテカルロ法や遺伝アルゴリズムなどの手法で閾値パラメータを学習させる方法などを用いることができる。
 対象である人に関して集めた大量のデータをもとに、以下のようにして要因を推定する能力が獲得される。図3は、本実施形態に係る要因を推定する能力を獲得する方法の概要を示している。方法は、対象の集合に含まれる対象それぞれに関する時系列データ(センサデータ)を取得することを含む。対象の数およびデータ取得頻度が多い場合、取得されたデータはビッグデータとなる。方法は、対象について取得されたデータから、個々の対象に応じて、分析するデータを選択することを含む。具体的には、方法は、対象の状態に関するデータを抽出し、抽出したデータから対象の状態を示す1または複数のデータ、またはその組合せである状態情報ベクトルを生成することを含む。状態情報ベクトルは、対象自身について得られた複数個のセンサデータで表現することができる。例えば、状態情報ベクトルは、人の生体情報(例えば、血圧、心拍数など)を測定することで得られた生体データ、人の行動を記録した行動履歴のデータを含む。多数の対象の多くの時点でのデータを取得することで、状態情報ベクトルの集合が得られる。さらに、方法は、対象の状況に関するデータを抽出し、抽出したデータから状況情報ベクトルを生成することを含む。状況情報ベクトルとは、対象が所定の状態になる要因になり得る事象に関するデータのことを指す。状況情報ベクトルは、外部要因ベクトルおよび自己要因ベクトルを含む。外部要因ベクトルおよび内部要因ベクトルは、1または複数のデータまたはその組合せである。状況情報ベクトルは、外部要因ベクトルおよび自己要因ベクトルの両方を含むことが望ましいが、外部要因ベクトルまたは自己要因ベクトルのいずれかを含まなくてもよい。例えば、外部要因に対する行動など、自発的行動がないことがある。外部要因ベクトルは、対象の周囲の環境について得られた複数個のセンサデータで表現することができる。自己要因ベクトルは、対象自身について得られた複数個のセンサデータで表現することができる。自己要因ベクトルは、例えば、ウェアラブルセンサ、モバイル端末、業務用アプリ、人が操作する自動車のような機械が出力するデータを含む。自己要因ベクトルは、状態情報ベクトルの一部または全部を含んでいてもよい。多数の対象の多くの時点でのデータを取得することで、状況情報ベクトルの集合が得られる。
 方法は、状態情報ベクトルを分類する教師なし学習を行い、人の状態を分類する能力を獲得することを含む。多数の対象について得られた状態情報ベクトルは所定数(例えば1万種類)の状態分類に分類される。類似する状態情報ベクトルが同じ状態分類に分類される。学習により状態情報ベクトルを分類する能力が獲得されて、任意の時刻における対象の状態を分類することが可能になる。この能力を状態分類能力と呼ぶ。多数の対象の状態を分類した集合が得られる。
 方法は、状況情報ベクトルを分類する教師なし学習を行い、人の状況を分類する能力を獲得することを含む。多数の対象について得られた状況情報ベクトルを所定数(例えば1万種類)の状況分類に分類される。類似する状況情報ベクトルが同じ状況分類に分類される。学習により状況情報ベクトルを分類する能力が獲得されて、任意の時刻における対象の状況を分類することが可能になる。この能力を状況分類能力と呼ぶ。多数の対象の状況を分類した集合が得られる。人の状態ごとに状況分類能力を獲得するための学習を行うようにしてもよい。
 方法は、要因を推定したい前と後の状態を状態A(事前状態ともいう)と状態B(事後状態ともいう)として特定することを含む。例えば、事前状態および事後状態は、対象である人自身が認識した状態でよい。対象が「先週よりも今は腕が疲れている。」と入力した場合、先週の状態が事前状態として特定され、入力時点の状態が事後状態として特定される。事前状態および事後状態は、ウェアラブルセンサまたはスマートフォンによって取得された人の状態に関する情報に基づいて特定されてもよい。事前状態および事後状態は、アプリケーションが判断する所定の状態を用いてもよい。事前状態および事後状態は、所定の方法で判断した今の状態が発生する前と後の状態でもよい。その他、任意の方法で状態を特定することができる。
 図1に示したように、対象が状態Aから状態Bに変化した要因Xを推定することが求められる。多数の対象について、状態Aから状態Bへの変化を示すデータが抽出される。これを状態変化ベクトルとする。多数の対象について、状態Aから状態Bに変化する期間における状況を示すデータが抽出される。これを状況変化パターンとする。例えば、状態Aから状態Bに変化する期間において3つの状況が抽出された場合、以下の3つの状況変化パターンが想定される。
 ・状態A → 状況1 → 状態B
 ・状態A → 状況2 → 状態B
 ・状態A → 状況3 → 状態B
 ここで、状況1、状況2、および状況3は、任意の1または複数の対象が状態Aから状態Bに変化した期間における状況情報ベクトルがAIによって分類された結果、類似の状況と判定された状況の集合である。この例では、状況の集合が3種類の状況であるが、状況の集合は、1、2、または4以上の種類の状況であってもよい。例えば、対象が状態Aから状態Bに変化する期間における状況として状況2および状況4が検出された場合、状況2が要因と推定される。
 状態情報ベクトルの分類結果として状態が状態Aから状態Bに変化した事例が3つあり、その変化それぞれの間に複数の(例えば3つの)状況情報ベクトルがあり得る。例えば、下記の3つの状況変化パターンが得られたとする。
 ・状態A → 状況1 → 状況4 → 状況6 → 状態B
 ・状態A → 状況2 → 状況3 → 状況4 → 状態B
 ・状態A → 状況3 → 状況5 → 状況7 → 状態B
 対象が状態Aから状態Bに変化する期間における対象の状況情報ベクトルを分類した結果として状況1、状況10、および状況20が検出された場合、状況1が要因Xとして推定される。
 状態Aから状態Bに変化した要因Xを推定する能力を獲得する方法例について説明する。状態Aから状態Bへの変化が特定の人で頻繁に起きる場合、その人について得られたデータを用いて要因を特定することが可能である。状態Aから状態Bへの変化が特定の分類に属する人に共通する場合、これらの人について得られたより多くのデータを用いて要因を特定することが可能である。全ての対象について、状態Aと状態Bをこの順序で含むデータが抽出される。これを状態変化ベクトルとする。状態Aから状態Bに変化する期間における状況のデータが抽出される。これを状況推移リストとする。状態変化ベクトルと状況推移リストを組み合わせて要因推定のための学習データとする。これを状況変化パターンとする。学習データは、状態Aから状態Bに変化する際の状況を示す、多数の人のデータを含む。状態Aから状態Bに変化する際の状況が複数ある場合には、関係のない状況を示す情報を除いた新たな学習データが生成されてもよい。状態および状況は分類結果であるので、元のデータよりもそのデータ量ははるかに少ない。従って、効率よく学習を行うことができる。人が状態Aから状態Bに変化した要因となった状況を推定するために必要な状況の類似性を識別する能力を以下のように獲得する。要因推定の学習データを1000種類に分類する能力が獲得される。例えば、状態Aから状態Bに変化する際の状況を示す多数の人のデータを所定数(例えば1000種類)に分類する能力が獲得される。人が状態Aから状態Bに変化した際の状況を示すデータのうちの類似するものが同じ分類に分類される。
 方法は、無関係な状況を分類する能力を獲得することを含む。具体的には、方法は、対象が状態Aとなった後に状態Bとなったデータと、対象が状態Aとなった後に状態Bとならなかったデータと、を抽出することを含む。これらのデータを用いることで、関連性の薄い状況を分類するための教師データを作成することができる。関連性の薄い状況を除外することで、処理量が減り、より早く要因を判定することが可能になる。さらに、状況の分類で無関係な事象によって無駄な分類が生成されることを抑制することが可能になる。
 上記の処理を対象の種類または属性ごとに行うようにしてもよい。例えば、人を性別、年齢、体力などの属性で分類するようにしてもよい。
 図4は、一実施形態に係る要因推定システムの構成例を示している。図4に示す要因推定システム400は、利用者端末装置401、支援装置402、対象情報データベース装置403、学習データ生成システム404、対象情報取得装置405、対象情報センサ装置群406、学習データベース装置407、状態分類学習装置408、状況分類学習装置409、除外状況学習装置410、および要因推定装置411を備え、これらは、インターネットなどのネットワーク412に接続されている。図4に示す例では、要因推定システム400は、データセンタまたはクラウドシステムのような分散システムを想定した構成となっている。要因推定システム400は1つの装置として実施してもよい。例えば、要因推定システム400は、センサ装置が接続された1台のコンピュータにより実現することができる。また、要因推定システム400内の複数の装置を1つの装置として実施してもよい。例えば、状態分類学習装置408、状況分類学習装置409、および除外状況学習装置410は、1台のコンピュータにより実現することができる。さらに、任意の装置内の要素の一部を他の装置に含むように変更がなされてもよい。また、任意の装置は、並行動作を可能にするようにさらに分散されてもよい。
 利用者端末装置401は、利用者に支援サービスを提供する。利用者端末装置401として、例えば、PC、スマートフォン、スマートウォッチ、ウェアラブルデバイス、家電機器、健康機器、医療機器、業務端末、公共端末、音声端末、自動車のコンソール、ヘッドアップディスプレイ、自動車の制御装置、テレマティクス端末、工場の作業支援装置、ATMまたは券売機などの特定業務端末を用いることができる。その他、少なくとも要因の推定結果を出力することができる任意の装置を用いることができる。例えば、利用者端末装置401は、クラウドサービスまたはIoTサービスを構成する機能の1つであってもよい。
 利用者は、利用者端末装置401で支援アプリ(支援プログラム、支援コンテンツなどと呼ぶこともある)を利用することができる。支援アプリは、支援する対象または目的ごとに用意されることができる。支援アプリは、支援装置402で実行される支援プログラムと連携して支援サービスを提供する。
 利用者は、利用者端末装置401を用いて、対象の監視などの支援の依頼を行う。利用者端末装置401は、監視方法などの情報を含む支援依頼メッセージを支援装置402に送る。
 利用者は、利用者端末装置401を用いて、対象と何らかの要因による結果としてもたらされた状態(状態B)とを指定することで要因推定の依頼を行うことができる。利用者は、2つの状態(状態Aおよび状態B)を指定してもよい。例えば、利用者端末装置401が時間順に状態を表示し、利用者は表示された状態のうちの2つを選択する。また、利用者は、2つの時刻(日時)を指定してもよい。状態Aは状態Bの直前の状態であるという設定がなされてもよい。この場合、利用者は状態Bのみを指定することになる。利用者が状態Aおよび状態Bを検出する条件を予め設定してもよい。状態Aは最初の状態であるという設定がなされてもよい。利用者が利用者端末装置401に入力した情報から状態Aおよび状態Bが決定されてもよい。例えば、利用者が「一昨日までは眠くなかったが、今日は眠い」と入力する。この場合、例えば、支援アプリが、一昨日のいずれかの時刻の状態を状態A、現在の状態を状態Bと指定する。支援アプリが、対象の状態が大きく変化したことを検出し、変化前の状態を状態A、変化後の状態を状態Bと指定してもよい。また、支援アプリが、業務成果などの対象のパフォーマンスが大きく変動したことを検出し、変動前の状態を状態A、変動後の状態を状態Bと指定してもよい。利用者端末装置401は、状態Aおよび状態Bを特定するための情報を支援装置402に送る。
 利用者端末装置401は、対象情報取得装置405の機能を備えてもよい。利用者端末装置401は、さらに、センサ機能を備えてもよい。利用者端末装置401の処理能力が高い場合、利用者端末装置401は、要因推定装置411の機能を備えることもできる。
 図5は、利用者端末装置401を実現するコンピュータのハードウェア構成例を示している。図5に示すコンピュータ500は、ユーザインタフェース501を備える。ユーザインタフェース501は、利用者から指示(例えば要因推定の依頼)を受け取り、利用者に情報(例えば要因の推定結果)を出力する。図5に示す例では、ユーザインタフェース501は、表示装置502、キーボード503、およびマウス504を含む。他の例では、ユーザインタフェース501は、タッチスクリーンを含む。コンピュータは、CPU(Central Processing Unit)、メモリ、および通信部(いずれも図示せず)をさらに備える。一例として、メモリは、ROM(read only memory)、RAM(random access memory)、および記憶装置を備える。記憶装置として、例えば、ハードディスクドライブ(HDD)を用いることができる。利用者端末装置401の各種機能は、CPUがROMまたは記憶装置に記録された各種プログラムをRAMに読み出して実行することで実現することができる。通信部は、ネットワーク412に接続するためのインタフェースを含む。
 支援装置402は、例えば、サーバ型コンピュータで実行される支援プログラムにより実施することができる。支援プログラムは、例えば、Webアプリとして実施することができる。利用者は、利用者端末装置401でブラウザを用いてWebアプリを利用することができる。支援プログラムは、REST(Representational State Transfer)などを用いて利用者端末装置401上で実行されてもよい。支援装置402は、対象情報データベース装置403の機能を備えてもよい。
 図6は、サーバ型コンピュータのハードウェア構成例を示している。例えば、支援装置402、対象情報データベース装置403、学習データ生成システム404内の各装置、対象情報取得装置405、または学習データベース装置407は、図6に示すサーバ型コンピュータ600により実施することができる。
 コンピュータ600は、CPU601、ROM602、RAM603、記憶装置604、入出力部605、および通信部606を含み、これらは、バス607によって相互に接続される。支援装置402などの装置の各種機能は、CPU601がROM602または記憶装置604に記録された各種プログラムをRAM603に読み出して実行することで実現することができる。記憶装置604として、例えば、HDDを用いることができる。入出力部605は、情報の入出力を行う。一例として、入出力部605は、表示装置、キーボード、およびマウスを含む。通信部606は、ネットワーク(例えば図4のネットワーク412)に接続するためのインタフェースを含む。
 図7は、支援装置402の構成例を示す機能ブロック図である。図7に示す支援装置402は、通信部701、支援ユーザインタフェース部702、学習依頼情報取得部703、対象監視起動部704、学習プログラム起動部705、外部プログラム起動部706、要因推定制御部707、および要因推定結果出力部708を含む。通信部701は、ネットワーク412を介して接続された他の装置とデータをやり取りする。
 支援ユーザインタフェース部702は、支援プログラムのユーザインタフェースを提供する。支援ユーザインタフェース部702は、利用者が支援サービスへ加入することを可能にする。例えば、支援ユーザインタフェース部702は、利用者から支援の依頼を受ける。また、支援ユーザインタフェース部702は、利用者からの要因推定の依頼を受け付けてもよい。支援ユーザインタフェース部702は、状態検出の設定を受け付けてもよい。
 学習依頼情報取得部703は、支援ユーザインタフェース部702を介して、要因推定を行う能力を取得する依頼を受け付ける。具体的には、学習依頼情報取得部703は、状態Aおよび状態Bを特定するための情報を取得する。学習依頼情報取得部703は、要因推定以外の学習目標についての依頼を受け付けてもよい。
 対象監視起動部704は、利用者によって指定された対象の監視を開始する指令を対象情報取得装置405に送る。監視を開始する指令は対象ごとに送られる。
 学習プログラム起動部705は、各装置に対して所定のプログラムを起動する指令を送る。例えば、学習プログラム起動部705は、対象を監視するための監視プログラムを起動する指令を対象情報センサ装置群406に送る。対象情報センサ装置群406に含まれる1つまたは複数のセンサ装置において、対象に応じた監視を行うための監視プログラムが起動される。さらに、学習プログラム起動部705は、学習データを生成するための学習データ生成プログラムを起動する指令を学習データ生成システム404に送る。さらに、学習プログラム起動部705は、学習を行うための学習プログラムを起動する指令を送る。例えば、学習プログラム起動部705は、状態分類学習プログラムを起動する指令を状態分類学習装置408に送り、状況分類学習プログラムを起動する指令を状況分類学習装置409に送り、除外状況学習プログラムを起動する指令を除外状況学習装置410に送る。
 外部プログラム起動部706は、利用者からの依頼に対応するために、必要に応じて、外部装置のプログラムを起動する。例えば、外部プログラム起動部706は、対象を撮影するために、対象が存在している部屋の監視カメラを起動することができる。外部プログラム起動部706は、特定の業務を支援する業務支援アプリを起動することができる。外部プログラム起動部706は、利用者に対してフィットネス支援コンテンツを再生することができる。
 要因推定制御部707は、要因推定装置411を制御する。要因推定制御部707は、状態分類学習装置408、状況分類学習装置409、および除外状況学習装置410によって生成された学習結果を利用できるように、これらの学習結果を要因推定装置411に適用する。具体的には、要因推定制御部707は、これらの学習結果に合わせて要因推定装置411のニューラルネットワークを設定する。要因推定制御部707は、利用者端末装置401から状態Aおよび状態Bを特定するための情報を受けると、要因推定を行う指令を要因推定装置411に送る。その後に、要因推定制御部707は、要因推定装置411から推定結果を受け取り、受け取った推定結果を要因推定結果出力部708に渡す。要因推定結果出力部708は、要因推定制御部707から推定結果を受け取り、この推定結果を利用者端末装置401に送る。
 対象情報データベース装置403は、対象情報取得装置405の指令に従って対象に関する情報を取得するセンサ装置によって取得された、対象に関するデータを記録する。対象情報データベース装置403は、指定された対象について状態情報ベクトルおよび状況情報ベクトルのもとになるデータを抽出できるようにデータを記録する。
 図8は、対象情報データベース装置403の構成例を示す機能ブロック図である。図8に示す対象情報データベース装置403は、通信部801、対象情報DB(データベース)802、状態情報DB803、および状況情報DB804を備える。通信部801は、ネットワーク412を介して接続された他の装置とデータをやり取りする。対象情報DB802は、対象情報取得装置405によって取得された対象に関するデータを記録する。状態情報DB803は、対象情報DB802に記録されたデータから抽出された状態に関するデータを記録する。状況情報DB804は、対象情報DB802に記録されたデータから抽出された状況に関するデータを記録する。
 学習データ生成システム404は、対象情報取得装置405によって取得されて対象情報データベース装置403に記憶された対象に関するデータをもとに、学習に用いる学習データを作成する。例えば、学習データ生成システム404は、対象情報データベース装置403から対象に関するデータを取得し、取得したデータに基づいて学習データを生成する。対象は複数存在することができるので、学習データ生成システム404は、対象ごとに、状態に関する情報、状況に関する情報、および除外する状況を示す情報を抽出する必要がある。
 図9は、学習データ生成システム404の構成例を示す。図9に示す学習データ生成システム404は、通信部901、状態情報抽出装置902、状況情報抽出装置903、および除外状況情報抽出装置904を備える。通信部901、状態情報抽出装置902、状況情報抽出装置903、および除外状況情報抽出装置904は、1つの装置として実施されてもよい。
 通信部901、状態情報抽出装置902、状況情報抽出装置903、および除外状況情報抽出装置904は、イーサネット(登録商標)などのネットワークに接続されている。通信部901は、ネットワーク(例えばネットワーク412)を介して接続された他の装置とデータをやり取りする。
 状態情報抽出装置902は、対象に関するデータから対象の状態に関する情報を抽出する。これは状態を分類する能力を獲得するために使用される学習データとして出力される。状況情報抽出装置903は、対象に関するデータから対象の状況に関する情報を抽出する。これは状況を分類する能力を獲得するために使用される学習データとして出力される。除外状況情報抽出装置904は、対象に関するデータから、除外する状況に関する情報を抽出する。これは状況情報を除外する能力を獲得するために使用される学習データとして出力される。
 図10は、対象情報取得装置405の構成例を示す機能ブロック図である。図10に示す対象情報取得装置405は、通信部1001、指示部1002、対象情報取得部1003、および対象情報記憶部1004を備える。通信部1001は、ネットワーク412を介して接続された他の装置とデータをやり取りする。指示部1002は、支援装置402から対象の監視を開始する指令を受け取ると、対象の監視を開始してそれにより得られたデータを対象情報データベース装置403に記録するように対象情報センサ装置群406に指示する。指示部1002は、対象ごとにどのような情報を取得するかを管理してもよい。これにより、対象情報データベース装置403に記録されたデータから所望する情報を抽出することが可能になる。指示部1002は、対象の状態に応じて監視方法を変更してもよい。対象の特定の状態が検出されたときに、指示部1002は、その対象に関する情報を所定のセンサを選択して監視を行うように対象情報センサ装置群406に指示してもよい。対象情報取得部1003は、対象情報センサ装置群406から出力された対象に関するデータを取得し、取得したデータを対象情報記憶部1004に保存することができる。
 対象情報センサ装置群406は、複数のセンサ装置を含む。各センサ装置は、対象に関する情報を検出し、センサデータを出力する。センサ装置は、対象に関する情報を取得できるものであれば、いかなるものであってもよい。センサ装置は、別の目的で設置された装置が備えるセンサ機能を流用したものであってもよい。例えば、スマートフォンまたは自動車に設けられたセンサを利用することができる。PCまたはスマートフォン上で動作するアプリが検出した情報をセンサデータとして利用してもよい。センサ装置は、例えば、特定の情報を取得する専用のセンサとして実施することができる。センサ装置は、IoTシステムにおいて分散して設置されたセンサであってよい。センサ装置は、実体があるセンサと同様に動作するようにクラウド内で仮想的に構成した仮想センサであってもよい。各センサ装置によって取得されたデータは対象情報データベース装置403に記録される。
 図11は、センサ装置の構成例を示している。具体的には、図11は、センサ装置を組み込んだコンピュータ1100を示している。コンピュータ1100は、CPU1101、ROM1102、RAM1103、記憶装置1104、センサ部1105、入出力部1106、および通信部1107を備え、これらは、バス1108によって相互に接続される。センサ部1105は、1つまたは複数のセンサ装置を含む。CPU1101は、ROM1102または記憶装置1104に記録された制御プログラムに従ってセンサ部1105の動作を制御する。入出力部1106は、情報の入出力を行う。通信部1107は、ネットワーク(例えば図4のネットワーク412)に接続するためのインタフェースを含む。
 学習データベース装置407は、学習データ生成システム404によって生成された学習データを記録する。学習データは、状態分類の学習に用いるデータ、状況分類の学習に用いるデータ、および除外状況の学習に用いるデータを含み、これらはそれぞれ状態分類学習装置408、状況分類学習装置409、および除外状況学習装置410によって用いられる。学習データベース装置407は、学習データに含まれる複数の対象の状態情報ベクトルおよび状況情報ベクトルを順次出力することができる。また、学習データベース装置407は、学習データに含まれる特定の対象の状態情報ベクトルおよび状況情報ベクトルを順次出力することができる。これにより、特定の対象に関するデータのみを用いて学習を行うことが可能になる。
 学習データベース装置407は、対象の種類または属性ごとに学習データを記録するように構成されてもよい。これにより、複数種類の対象を扱うことが可能になる。また、種類または属性を指定することで、所望するデータを抽出することが可能になる。
 学習データベース装置407は、状態分類学習装置408、状況分類学習装置409、および除外状況学習装置410によって生成された学習結果を記録してもよい。
 状態分類学習装置408は、状態を分類するための学習を行う。図12は、状態分類学習装置408を実現するサーバ型コンピュータの構成例を示している。図12に示すサーバ型コンピュータ1200は、GPU(Graphics Processing Unit)1201、CPU1202、ROM1203、RAM1204、記憶装置1205、入出力部1206、および通信部1207を備える。状態分類学習装置408は、処理量が非常に多い。このため、コンピュータ1200は、通常のコンピュータにGPU1201を追加した構成となっている。CPU1202、ROM1203、RAM1204、記憶装置1205、入出力部1206、および通信部1207はそれぞれ、図6に示したCPU601、ROM602、RAM603、記憶装置604、入出力部605、および通信部606に対応するものであるので、これらについての説明は省略する。GPU1201は、ニューラルネットワークの学習における繰り返し計算をCPU1202よりも高速に実行することができる。
 状態分類学習装置408は、コンピュータ1200と同様の構成を有する複数のコンピュータを組み合わせたブレードPCによって実現されてもよい。また、状態分類学習装置408は、複数のブレードPCを組み合わせた複合型サーバ装置によって実現されてもよい。さらに大規模な学習データを扱う場合には、状態分類学習装置408は、複合型サーバ装置を複数組み合わせたデータセンサによって実現されてもよい。図12に示す構成は、ソフトウェアによってディープラーニングの学習を行うための構成である。ソフトウェア処理の一部または全部はハードウェアによって実施されてもよい。それにより、処理を高速化することができる。
 図13は、状態分類学習装置408の構成例を示す機能ブロック図である。図13に示す状態分類学習装置408は、通信部1301、状態分類学習制御部1302、ニューラルネットワーク1303、学習結果抽出部1304、および学習結果出力部1305を備える。通信部1301は、ネットワーク412を介して接続された他の装置とデータをやり取りする。
 状態分類学習制御部1302は、状態を分類する能力を獲得するための処理を制御する。状態分類学習制御部1302は、ニューラルネットワーク1303のハイパーパラメータを設定し、ディープラーニングによる学習を行う。学習はディープラーニングに限定されず、機械が学習する任意の学習方法を用いることができる。状態分類学習制御部1302は、対象情報データベース装置403の対象情報DB802に記録されているデータから、1以上の対象に関するデータを抽出する。本実施形態では、少なくとも指定された対象に関するデータを使用する。1以上の他の対象に関するデータも使用してもよい。指定された対象に関するデータが少ない場合などでは効果が上がる。状態分類学習制御部1302は、抽出されたデータから、図3に示した状態情報ベクトルを選択する。選択するためのプログラムは、対象の種類または属性ごとに予め用意することができる。状態情報ベクトルは、対象の状態を表すように設計することができる。状態情報ベクトルは、対象の種類または属性ごとに定義するようにしてもよい。状態分類学習制御部1302は、多数の状態情報ベクトルを含む学習データをニューラルネットワーク1303に与え、ニューラルネットワーク1303を用いて多数の状態情報ベクトルを所定数(例えば1万種類)の状態分類に分類する学習を行う。学習の結果として、状態を分類する能力が獲得される。獲得された能力を他の装置で実施するための学習結果が学習結果抽出部1304によって抽出される。抽出された情報は、学習結果出力部1305によってファイルなどにまとめられて要因推定装置411に送られる。
 図14は、ニューラルネットワークの構成例を示している。図14に示すニューラルネットワーク1400は、図13に示したニューラルネットワーク1303に相当する。ニューラルネットワーク1400は、ニューラルネットワーク入力部1401、深層ニューラルネットワーク1402、およびニューラルネットワーク出力部1403を備える。ディープラーニングでは、深層ニューラルネットワーク1402が用いられる。ニューラルネットワーク入力部1401は、学習データを深層ニューラルネットワーク1402に入力する。深層ニューラルネットワーク1402は、学習データを用いて学習を行う。学習の結果として、状態を分類する能力が獲得される。ニューラルネットワーク出力部1403は、獲得された能力を他の装置で実施するための学習結果を抽出可能なデータを出力する。
 状況分類学習装置409は、状況を分類するための学習を行う。状況分類学習装置409は、状態分類学習装置408と同様のハードウェア構成を有することができる。例えば、状況分類学習装置409は、図12に示したサーバ型コンピュータ1200により実現することができる。
 図15は、状況分類学習装置409の構成例を示す機能ブロック図である。図15に示す状況分類学習装置409は、通信部1501、状況分類学習制御部1502、ニューラルネットワーク1503、学習結果抽出部1504、および学習結果出力部1505を備える。通信部1501は、ネットワーク412を介して接続された他の装置とデータをやり取りする。
 状況分類学習制御部1502は、状況を分類する能力を獲得するための処理を制御する。状況分類学習制御部1502は、ニューラルネットワーク1503のハイパーパラメータを設定し、ディープラーニングによる学習を行う。ニューラルネットワーク1503は、図14に示したニューラルネットワーク1400と同様の構成を有することができる。学習はディープラーニングに限定されず、機械が学習する任意の学習方法を用いることができる。
 状況分類学習制御部1502は、対象情報データベース装置403の対象情報DB802に記録されたデータから、1以上の対象に関するデータを抽出する。本実施形態では、要因推定の依頼において指定された対象に関するデータを少なくとも使用する。1以上の他の対象に関するデータも使用してもよい。指定された対象に関するデータが少ない場合などでは効果が上がる。状況分類学習制御部1502は、抽出されたデータから図3に示した状況情報ベクトルを選択する。選択するためのプログラムは、対象の種類または属性ごとに予め用意することができる。状況情報ベクトルは、対象の状況を表すように設計することができる。状況情報ベクトルは、外部要因ベクトルおよび自己要因ベクトルを含む。外部要因ベクトルは、対象に影響を与える外部の要因を表す。自己要因ベクトルは、対象自身に起因する要因を表す。状況情報ベクトルは、例えば、外部要因ベクトルと自己要因ベクトルを組み合わせたベクトルとして定義することができる。状況情報ベクトルは、対象の種類または属性ごとに定義するようにしてもよい。状況分類学習制御部1502は、多数の状況情報ベクトルを含む学習データをニューラルネットワーク1503に与え、ニューラルネットワーク1503を用いて多数の状況情報ベクトルを所定数(例えば1万種類)の状況分類に分類する学習を行う。学習の結果として、状況を分類する能力が獲得される。獲得された能力を他の装置で実施するための学習結果が学習結果抽出部1504によって抽出される。学習結果抽出部1504によって抽出された情報は、学習結果出力部1505によってファイルなどにまとめられて要因推定装置411に送られる。
 除外状況学習装置410は、除外する状況を分類するための学習を行う。除外状況学習装置410は、状態分類学習装置408と同様のハードウェア構成を有することができる。例えば、除外状況学習装置410は、図12に示したサーバ型コンピュータ1200により実現することができる。
 図16は、除外状況学習装置410の構成例を示す機能ブロック図である。図16に示す除外状況学習装置410は、通信部1601、除外状況学習制御部1602、ニューラルネットワーク1603、学習結果抽出部1604、および学習結果出力部1605を備える。通信部1601は、ネットワーク412を介して接続された他の装置とデータをやり取りする。
 除外状況学習制御部1602は、除外する状況を分類する能力を獲得するための処理を制御する。除外状況学習制御部1602は、ニューラルネットワーク1603のハイパーパラメータを設定し、ディープラーニングによる学習を行う。ニューラルネットワーク1603は、図14に示したニューラルネットワーク1400と同様の構成を有することができる。学習はディープラーニングに限定されず、機械が学習する任意の学習方法を用いることができる。
 除外状況学習制御部1602は、対象情報データベース装置403の対象情報DB802に記録されたデータから、1以上の対象に関するデータを抽出する。本実施形態では、少なくとも指定された対象に関するデータを使用する。1以上の他の対象に関するデータも使用してもよい。指定された対象に関するデータが少ない場合などでは効果が上がる。除外状況学習制御部1602は、対象が状態Aから状態Bに変化したときのデータを抽出する。これを状態Aから状態Bに変化したときの教師データとする。さらに、除外状況学習制御部1602は、対象が状態Aから状態Bに変化したとき以外のデータを抽出する。これを状態Aから状態Bに変化しなかったときの教師データとする。除外状況学習制御部1602は、抽出されたデータから図3に示した状況情報ベクトルを選択する。選択するためのプログラムは、対象の種類または属性ごとに予め用意することができる。状況情報ベクトルは、対象の状況を表す。状況情報ベクトルは、対象の種類または属性ごとに定義するようにしてもよい。多数の教師あり学習データを用いて、状況情報ベクトルを状態Aから状態Bになったときの状況情報ベクトルと類似するものと、そうではないものに分類する能力が獲得される。状態Aから状態Bになったときの状況情報ベクトルと類似するもの以外を除外することで、要因の候補となるデータのデータ量を大幅に削減することができる。これによって、学習の処理量が削減され、学習時間が短縮される。
 学習の結果として、除外する状況を分類する能力が獲得される。獲得された能力を他の装置で実施するための学習結果が学習結果抽出部1604によって抽出される。学習結果抽出部1604によって抽出された情報は、学習結果出力部1605によってファイルなどにまとめられて要因推定装置411に送られる。
 要因推定装置411は、利用者からの要因推定依頼に基づいて、指定された対象が状態Aから状態Bに変化した要因を推定する。要因推定装置411は、状態分類学習装置408から出力される学習結果および状況分類学習装置409から出力される学習結果を用いて要因推定を行う。また、要因推定装置411は、除外状況学習装置410から出力される学習結果をさらに用いてもよい。学習結果に含まれるデータを用いることで、状態分類学習装置408、状況分類学習装置409および除外状況学習装置410それぞれのニューラルネットワークと同等のニューラルネットワークを構成することができる。
 図17は、要因推定装置411の構成例を示す機能ブロック図である。図17に示す要因推定装置411は、通信部1701、対象情報入力部1702、状態情報抽出部1703、状態特定部1704、状態分類部1705、状態分類学習結果設定部1706、状況情報抽出部1707、状況特定部1708、状況分類部1709、状況分類学習結果設定部1710、要因推定部1711、および要因推定結果出力部1712を備える。通信部1701は、ネットワーク412を介して接続された他の装置とデータをやり取りする。
 対象情報入力部1702は、対象情報データベース装置403から対象についての情報を受け取る。対象情報入力部1702は、対象情報センサ装置群406から対象についての情報を受け取ってもよい。対象は、要因を推定することになる対象(第1の対象)を含む。状態情報抽出部1703は、対象情報入力部1702によって受け取られた情報の中から状態情報(状態情報ベクトル)を抽出する。
 状態特定部1704は、第1の対象についての所定の状態を特定し、状態情報抽出部1703によって抽出された状態情報の中から所定の状態に対応する状態情報を抽出する。所定の状態は、結果である状態Bに対応する。状態Bは、例えば、利用者が要因推定を行うことが望ましいと考える状態であり得る。状態特定部1704は、事前状態である状態Aをさらに特定してもよい。状態Aおよび状態Bは、他の装置によって検出されることができる。支援装置402の支援サービスプログラムは、利用者の利用に応じて個別の支援サービスを行うプログラムを、利用者が利用可能な装置のいずれかで起動する。例えば、業務支援アプリが起動される。業務支援アプリが所定の条件に従って状態Aおよび状態Bを検出する。例えば、自動車のテレマティクス端末が運転者の状態を検出するセンサを用いる。例えば、運転者へのアドバイスを行うことが望ましい状態が状態Bとして検出される。例えば、ヘルスケアアプリが対象の状態Aおよび状態Bを検出してもよい。状態特定部1704は、他の装置から第1の対象が所定の状態になったことを示す通知を受け取り、受け取った通知に基づいて所定の状態を特定する。例えば、通知は、第1の対象が所定の状態になった時刻を示す時刻情報を含み、状態特定部1704は、状態情報抽出部1703によって抽出された状態情報の中から、その時刻における第1の対象の状態情報を状態分類部1705に出力する。
 状態分類部1705は、状態特定部1704から所定の状態に対応する状態情報の入力を受けて、所定の状態を分類する。例えば、状態分類部1705は、図14に示したニューラルネットワークと同様のニューラルネットワークを含むことができる。状態分類学習結果設定部1706は、状態分類学習装置408から学習結果を受け取り、受け取った学習結果を用いて状態分類部1705のニューラルネットワークのハイパーパラメータを設定する。これにより、状態分類部1705は、状態を分類することが可能になる。状態分類部1705は、入力された状態情報を分類し、状態分類結果を要因推定部1711に出力する。
 状況情報抽出部1707は、対象情報入力部1702によって受け取られた情報の中から状況情報を抽出する。状況特定部1708は、第1の対象が所定の状態に至るまでの状況を特定し、状況情報抽出部1707によって抽出された状況情報から、特定した状況に対応する状況情報を抽出する。例えば、状況特定部1708は、状態特定部1704から、第1の対象が状態Aから状態Bに変化するまでの期間を示す情報を受け取り、状況情報抽出部1707によって抽出された状況情報から、第1の対象が状態Aから状態Bに変化するまでの期間における第1の対象の状態情報を抽出する。状況特定部1708は、除外状況学習装置410で分類された状況情報以外の中から、特定した状況に対応する状況情報を抽出し、それを状況分類部1709に入力してもよい。
 状況分類部1709は、状況特定部1708によって特定された状況に対応する状況情報の入力を受けて、特定された状況を分類し、1または複数の状況(状況分類)を含む状況分類結果を出力する。例えば、状況分類部1709は、図14に示したニューラルネットワークと同様のニューラルネットワークを含むことができる。状況分類学習結果設定部1710は、状況分類学習装置409から学習結果を受け取り、受け取った学習結果を用いて状況分類部1709のニューラルネットワークのハイパーパラメータを設定する。これにより、状況分類部1709は、状況を分類することが可能になる。
 要因推定部1711は、状態分類部1705からの状態分類結果と状況分類部1709からの状況分類結果とに基づいて、所定の状態に至る要因となった状況を推定する。例えば、要因推定部1711は、第1の状態から第2の状態へ変化する期間における状況を示す状況変化パターンの履歴を保持し、履歴中の状況変化パターンの中から状態分類結果に対応する状況変化パターンを選択し、選択した状況変化パターンと状況分類結果とに共通する状況を要因として特定する。より具体的には、状態Aから状態Bに変化したことが検出された場合に、次のように要因を推定する。要因推定部1711は、状況分類部1709から、対象が状態Aから状態Bに変化する期間における状況情報ベクトルを分類した結果を示す状況変化パターンを受け取る。要因推定部1711は、状況分類部1709から受け取った状況変化パターンが履歴に含まれるいずれかの状況変化パターンと一致する場合に、その状況変化パターンによって示される状況を要因と判定する。状況分類部1709が複数の状況変化パターンを生成した場合、要因推定部1711は、状況分類部1709から受け取った状況変化パターンの中から、履歴に含まれる状況変化パターンと一致する状況変化パターンを選択し、選択した状況変化パターンによって示される状況分類を要因と判定する。一致する状況変化パターンが複数ある場合には、要因推定部1711は、1つまたは複数の要因を出力してもよい。あるいは、一致する状況変化パターンが複数ある場合には、要因推定部1711は、最も先に発生した状況を要因として出力するようにしてもよい。また、ディープラーニングの分類結果は、所定の分類に対する類似度を数値として出力することができる。この数値を用いて、最も近いものを要因と判定するようにしてもよい。
 図18は、本実施形態に係る学習の手順例を示している。図18に示す処理は、学習依頼に応答して開始される。ステップS1801において、学習データ生成システム404が学習データを生成し、生成した学習データを学習データベース装置407に記録する。ステップS1802において、各学習装置が、学習データに基づいて一連の学習を行う。具体的には、ステップS1803において、状態分類学習装置408が、対象の状態を分類する能力を獲得し、獲得した能力を他の装置で実施するための学習結果を生成する。ステップS1804において、状況分類学習装置409が、対象の状態を分類する能力を獲得し、獲得した能力を他の装置で実施するための学習結果を生成する。ステップS1805において、除外状況学習装置410が、状態Aから状態Bへの変化と無関係な状況を分類する能力を獲得し、獲得した能力を他の装置で実施するための学習結果を生成する。
 ステップS1806において、各学習装置が学習結果を出力する。ステップS1807において、要因推定装置411が各学習装置から学習結果を受け取る。ステップS1808において、要因推定装置411が、受け取った学習結果を用いて要因推定能力を獲得する。
 ステップS1809において、他の学習依頼があるか否かが判定される。他の学習依頼がある場合、ステップS1801に戻り、他の学習依頼がない場合、処理が終了になる。
 図19は、本実施形態に係る要因推定依頼から推定結果の出力までの処理を示している。図19のステップS1901において、利用者が、利用者端末装置401で、対象を指定して支援アプリを起動する。ステップS1902において、対象に対する支援サービスが開始される。ステップS1903において、利用者が、事前状態Aおよび事後状態Bを指定して要因推定を依頼する。ステップS1904において、学習装置が状態Aから状態Bに変化する事象について学習を行う。詳細は、後述する、状態分類学習装置、状況分類学習装置、除外状況学習装置、それぞれの学習の手順例において説明する。ステップS1905において、状態Aから状態Bに変化する事象と無関係な状況を分類する能力などの能力が獲得される。ステップS1906において、学習装置が学習結果を出力する。ステップS1907において、要因推定装置411が学習結果を受け取る。ステップS1908において、要因推定装置411が、受け取った学習結果を用いて要因推定能力を獲得する。ステップS1909において、要因推定装置411が、対象が状態Aから状態Bに変化した要因を推定し、推定結果を出力する。
 図20は、本実施形態に係る状態分類学習装置408における学習の手順例を示している。図20のステップS2001において、状態分類学習装置408に学習の開始が指令される。ステップS2002において、状態分類学習装置408が、指定された対象に関するデータを学習データベース装置407に要求する。ステップS2003において、状態分類学習装置408が、分類数を設定する。分類数は可変である。例えば、分類数は、要因推定システムのオペレータによって設定される。ステップS2004において、状態分類学習装置408が、学習データベース装置407から、指定された対象の状態に関するデータを受け取り、学習を行う。
 ステップS2005において、状態分類学習装置408は、学習打ち切り条件を満たすか否かを判定する。学習打ち切り条件を満たさない場合、ステップS2006に進み、学習打ち切り条件を満たす場合、処理が終了となる。
 ステップS2006において、状態分類学習装置408は、学習レベルが所定のレベルに到達したか否かを判定する。学習レベルが所定のレベルに到達していない場合、ステップS2004に戻り、状態分類学習装置408は、学習データベース装置407から他の対象の状態に関するデータを取得して再度学習を行う。学習レベルが所定のレベルに到達した場合、ステップS2007に進み、ステップS2007において、状態分類学習装置408は、学習結果を出力する。
 図21は、本実施形態に係る状況分類学習装置409における学習の手順例を示している。図21のステップS2101において、状況分類学習装置409に学習の開始が指令される。ステップS2102において、状況分類学習装置409が、指定された対象に関するデータを学習データベース装置407に要求する。ステップS2103において、状況分類学習装置409が、分類数を設定する。分類数は可変である。例えば、分類数は、要因推定システムのオペレータによって設定される。状況分類における分類数は状態分類における分類数と異なっていてもよい。ステップS2104において、状況分類学習装置409が、学習データベース装置407から、指定された対象の状況に関するデータを受け取り、学習を行う。
 ステップS2105において、状況分類学習装置409は、学習打ち切り条件を満たすか否かを判定する。学習打ち切り条件を満たさない場合、ステップS2106に進み、学習打ち切り条件を満たす場合、処理が終了となる。
 ステップS2106において、状況分類学習装置409は、学習レベルが所定のレベルに到達したか否かを判定する。学習レベルが所定のレベルに到達していない場合、ステップS2104に戻り、状況分類学習装置409は、学習データベース装置407から他の対象の状況に関するデータを取得して再度学習を行う。学習レベルが所定のレベルに到達した場合、ステップS2107に進み、ステップS2107において、状況分類学習装置409は、学習結果を出力する。
 図22は、本実施形態に係る除外状況学習装置410における学習の手順例を示している。図22のステップS2201において、除外状況学習装置410は、学習データベース装置407から状況変化パターンのデータを受け取る。ステップS2202において、除外状況学習装置410は、状態Aから状態Bに変化した状況変化パターンのデータを非除外教師データとして生成する。ステップS2203において、除外状況学習装置410は、状態Aから状態Bに変化した状況変化パターン以外の状況変化パターンのデータを除外教師データとして生成する。非除外教師データおよび除外教師データは学習データ生成システム404によって作成されてもよい。
 ステップS2204において、除外状況学習装置410は、非除外教師データおよび除外教師データを用いて、除外する状況を識別する学習を行う。ステップS2205において、除外状況学習装置410は、学習打ち切り条件を満たすか否かを判定する。学習打ち切り条件を満たさない場合、ステップS2206に進み、学習打ち切り条件を満たす場合、処理が終了となる。
 ステップS2206において、除外状況学習装置410は、学習レベルが所定のレベルに到達したか否かを判定する。学習レベルが所定のレベルに到達していない場合、ステップS2201に戻り、除外状況学習装置410は、状況変化パターンのさらなるデータを取得して再度学習を行う。学習レベルが所定のレベルに到達した場合、ステップS2207に進み、ステップS2207において、除外状況学習装置410は、学習結果を出力する。
 図23は、本実施形態に係る要因推定装置411による処理の手順例を示している。図23のステップS2301において、要因推定部1711は、複数の状況変化パターンを含む状況分類履歴を取得する。ステップS2302において、状態分類学習結果設定部1706は、状態分類学習装置408から受け取った学習結果を状態分類部1705に設定する。ステップS2303において、状況分類学習結果設定部1710は、状況分類学習装置409から受け取った学習結果を状況分類部1709に設定する。
 ステップS2304において、状態情報抽出部1703は、対象の状態情報ベクトルを状態特定部1704に入力する。ステップS2305において、状態特定部1704は、対象が事前状態である状態Aになったか否かを判定する。対象の状態が状態Aでない場合、ステップS2304に戻り、対象の状態が状態Aである場合、状態特定部1704は、入力された状態情報ベクトルの中から状態Aに対応する状態情報ベクトルを選択し、ステップS2306に進む。
 ステップS2306において、状態情報抽出部1703は、対象の状態情報ベクトルを状態特定部1704にさらに入力する。ステップS2307において、状態特定部1704は、対象が事後状態である状態Bになったか否かを判定する。対象の状態が状態Bでない場合、ステップS2306に戻り、対象の状態が状態Bである場合、状態特定部1704は、入力された状態情報ベクトルの中から状態Bに対応する状態情報ベクトルを選択し、ステップS2308に進む。
 ステップS2308において、状況分類部1709は、状況変化パターンを生成する。ステップS2309において、要因推定部1711は、状況分類履歴から、生成された状況変化パターンと一致する状況変化パターンを探す。ステップS2310において、要因推定部1711は、一致した状況変化パターンに含まれる状況を推定結果と判定する。ステップS2310において、要因推定結果出力部1712は、推定結果を出力する。
 以上に、要因推定システムの構成および動作について説明した。以下に、具体的な補足説明を行う。
 ディープラーニングは、大量のデータをもとに、分類または予測などの所定の能力を獲得するために学習を行うことができる。しかしながら、データ量が多すぎると、所定の規模の装置を用いて所定の時間内で学習を完了することができない。要因推定システムでは、見守り対象に関係のないデータを含む膨大なデータが取得される。このため、要因を推定するために用いるデータの範囲を制限することが必要になることがある。利用者に対して提供するサービスまたは装置に応じて制限を設けることが望ましい。例えば、利用者との契約に応じて制限を設けることができる。この場合、データ範囲が利用者との合意に応じて制限されるので、システム側の責任範囲を明確にすることができる。
 データ範囲は所定の条件に応じて制限されてもよい。例えば、対象が人である場合に、年齢、性別、国籍、居住地域、職種などの属性を用いて、人全体の数よりも少ない数の部分集合が生成されてもよい。データ範囲を属性で制限してもなおデータ量が多いことがある。この場合、データ量をさらに減らす必要がある。しかし、データ量を減らしすぎると、要因を見逃す可能性が高くなる。要因を含む可能性が低いデータを除外することが望ましい。
 外部要因に関するデータの一部を除外してもよい。例えば、影響を受ける可能性が極めて低いことがあらかじめ分かっている外部要因に関するデータを除外する。見守り対象の属性から影響を受けないと判定できる外部要因に関するデータ、見守り対象が行っていないスポーツに関するデータ、見守り対象が関心を持っておらず、新しいニュースに含まれておらず、過去に訪問したことがなく、一般に知られていない地域に関するデータのように、除外するデータを指定する条件が設定されてもよい。
 また、入力データを分類することにより、データ量を減らすことができる。多次元ベクトルで構成されるデータは、疎(スパース)な分布となっていることが多い。一般に、次元数が増えるほど、分布は疎となる傾向がある。疎な分布となっている多次元ベクトルは、分類することでデータ量を大幅に減らすことができる。分類結果が時系列で並ぶときに、分類した結果の並びをさらに分類することでデータ量を大幅に削減することができる。
 入力データの例について説明する。 
 対象が人である場合、入力データは、人自身に関する情報と、人の周囲の環境に関する情報と、を含む。人自身に関する情報はプライバシーに配慮して管理されることが望ましい。利用者からの要望、利用者との契約、装置の構成などに応じて、どのような情報を取得するかを決定することができる。
 人自身に関する情報は、生体の状態に関する情報を含むことができる。生体の状態に関する情報は、ウェアラブルセンサ、例えば、スマートフォン、スマートウォッチ、生体情報センサなどを用いて取得することができる。スマートフォンに含まれる加速度センサまたはスマートフォン上で実行されるアプリケーションから生体の状態に関する情報を取得することができる。スマートウォッチは身体と接触しているので、スマートフォンから取得される情報よりも詳細な方法をスマートウォッチで取得することできる。生体情報センサは、例えば、心拍、酸素飽和度などを測定する。生体情報センサは、例えば、スマートフォンに接続され、あるいは、スマートウォッチに内蔵される。生体の状態に関する情報は、環境型センサを用いて取得することもできる。例えば、生体の状態に関する情報は、IoTを利用して取得することができる。具体的には、人の環境にある既存の装置を、人に関する情報を取得するセンサとして利用することができる。例えば、「人がビル1階の階段入口で検出され、その後に4階のフロアで検出された」という情報が得られた場合、この情報からその人の物理的な運動量を計算することができる。このような情報は、監視カメラと顔認識装置を組み合わせることで得ることができる。生体の状態に関する情報は、飲食物の情報を含むことができる。調理レシピおよび飲食店が公開する情報を利用することができる。飲食物の情報は、例えば、見守り対象である人によって入力されることができる。
 人自身に関する情報は、人の行動履歴を含むことができる。行動履歴は、運動量の履歴および業務量の履歴を含むことができる。運動量に関する情報は、ウェアラブルセンサを用いて取得することができる。業務量に関する情報は、例えば、自動車の運転などの行動に関する情報を含む。業務量に関する情報は、PCまたはスマートフォンなどのIT端末で利用されるアプリケーションから取得することができる。例えば、自動車の運転に関する情報は、自動車またはスマートフォンなどから取得することができる。
 人の周囲の環境に関する情報は、例えば、建物に付随する装置から取得することができる。例えば、個別住宅や集合住宅などに設置された各種装置を利用することができる。また、オフィスや学校などのビルに設置された各種装置を利用することができる。監視カメラからは、訪問者に関する情報を取得することができる。空調システムからは、人の環境に関する情報を取得することができる。フィットネスクラブに設置されたトレーニング装置からは、人の状態および行動に関する情報を取得することができる。ショッピングモールに設置された売買監理システムからは、購買行動に関する情報を取得することができる。アミューズメント施設に設置された機器からは、施設への来場に関する情報を取得することができる。病院に設置された機器からは、人の状態に関する情報を取得することができる。
 人の周囲の環境に関する情報は、自動車または公共交通機関などの移動体に付随する装置から取得することができる。また、人は環境にある装置で様々な業務アプリまたは教育アプリを利用するので、業務アプリまたは教育アプリから業務または教育に関する情報を取得することができる。各アプリの利用履歴を抽出することで、人が業務または学習中に影響を受けたことに関する情報を取得することができる。また、人の周囲の環境に関する情報は、事業者からの情報を含むことができる。事業者からの情報は、例えば、各事業者が提供する事業で利用者が行った利用に関する情報である。また、人の周囲の環境に関する情報は、情報サービス提供者からの情報を含むことができる。情報サービス提供者からの情報は、例えば、各情報サービス提供者が提供する情報の内容および情報サービスの利用に関する情報である。また、人の周囲の環境に関する情報は、IoTサービスからの情報を含むことができる。IoTサービスからの情報は、例えば、IoT端末から得られる人に関する情報、サーバまたはクラウドシステムから得られる人に関する情報を含む。
 対象が物(例えば機械)である場合、入力データは、対象である物から得られる情報と、その周囲の装置から得られる情報と、を含むことができる。対象である物およびその周囲の装置は、ネットワークに接続されることができる。
 データを入力する方法について、統合型支援サービスを例に挙げて説明する。統合型支援サービスは、人の365日の活動を総合的に見守るサービスである。利用者は、使用しているPCまたはスマートフォンあるいは特定業務用端末などの端末装置の支援プログラムまたは支援コンテンツによって、支援サービスの提供を受ける。支援装置は、統合支援サービスを提供する。統合支援サービスは、支援装置の支援プログラムによって実行される。この支援プログラムは、利用者が使用する端末装置で実行される支援プログラムまたは支援コンテンツと連携して動作することができる。支援プログラムは、対象である人を支援するために、周囲の環境にある装置を利用する。これにより、支援プログラムは、人およびその周囲の環境に関する情報を取得することができる。対象を特定することで、その対象の状態および状況に関する情報を取得することが可能である。
 要因推定を依頼する方法について説明する。例えば、利用者は、所定の結果が検出されたときに要因推定を行うようにあらかじめ依頼することができる。要因推定の結果は、例えば、スマートフォンまたはスマートウォッチなどの端末装置において振動および表示で通知する。また、利用者が任意のタイミングで要因推定を依頼してもよい。
 結果である状態Bを特定する方法例について説明する。要因を推定する際には、例えば、利用者が2つの状態(事前状態Aおよび事後状態B)を指定する。利用者が事前状態を指定しない場合、対象の最初の状態が事前状態Aと決定されてもよい。利用者が現在の状態を状態Bとして指定することができるようにすれば、時刻などの状態を特定するための情報の入力を省略することができる。また、ウェアラブルセンサが、対象が特定の状態(例えば、対象に強いストレスがかかった状態)になったことを検出した場合に、その時刻における対象の状態を状態Bに決定してもよい。
 要因推定システムの応用例について説明する。 
 まず、対象が人である場合の応用例について説明する。以下に説明する複数の応用例を組み合わせることで、情報の相互活用が可能となり、要因推定に関して統合したサービスを提供することができる。
 第1の応用例は、人の状態を監視するサービスである。このサービスでは、次のように、人の運動、食事、仕事に関する状態および状況の情報を取得し、取得した情報に基づいて人が特定の状態に至る要因となった状況を推定することができる。
 運動は、人の生活パターンに影響を与える。体質や生活パターンが似ている人は、同じような要因で同じような結果となることが多い。運動に関する情報は、例えば、運動量、活動量を含む。運動量および活動量は、活動量センサ、スマートウォッチ、スマートフォンなどを用いて取得することができる。カロリー摂取量および運動量に応じて体重が変化することが知られている。
 食事の内容は人の状態に大きな影響を与える。食事内容に関する情報は、例えば、クレジットカードまたは電子マネーの決済記録から購入した弁当などの情報を抽出する方法を用いて取得することができる。また、人が、スマートフォンやPCなどの端末装置を用いて食事内容に関する情報を入力してもよい。また、食事内容に関連する情報は、食堂の支払端末から取得することができる。例えば、支払端末は、食事と食事内容とを互いに関連付けた対応表を保持し、入力された食事の情報で対応表を参照して食事内容に関する情報を取得する。
 仕事に関する情報は、例えば、後に説明する業務支援アプリを用いて取得することができる。仕事に関する情報は、例えば、人が業務中に行った業務やその環境に関する情報を含む。
 人の状態を監視するサービスがアドバイスを行う機能を備えることが望ましい。現在の状態となった要因を推定して通知することは、効果的なアドバイスとなる。一般に、運動量と体重の増減には高い相関関係があることが知られている。人は、1日前の運動量を正確に覚えていることができるが、1週間程度前の運動量を思い出すことはほとんどできない。体重の増減は、数か月程度の期間における運動量に影響されるので、多くの人は、運動量の履歴を把握していない。体重の増減の要因を推定して通知することで、人が自分の行動のなかから生活習慣の良い点および悪い点を把握することができるようになる。これによって、生活習慣の改善を図ることが可能になる。また、多くの人に関する情報を用いて学習を行うことで、現在の状態を続けたときの体重の変化を予測することが可能になる。このような情報をアドバイスとして通知することも効果的である。
 以上のように、要因推定システムは人の状態を監視するサービスに応用することができる。ここで説明した手法は、以下の応用例にも適用することができる。
 第2の応用例は、人の業務を支援するサービスである。人の状態は業務に影響を及ぼす。このサービスでは、人の業務に関する情報および状況の情報を取得し、取得した情報に基づいて人が特定の状態に至る要因となった状況を推定することができる。
 過労については、社会問題となっており、企業にはその対応が求められている。一方で、企業が業務時間外の従業員の情報を取得することには制限がある。企業が外部に従業員の見守りを委託することで、過労の問題を回避することが可能となる。本実施形態に係る要因推定システムを用いることで、人の介在なしに対象(例えば従業員)の状態および状況を監視することが可能になる。
 また、第2の応用例に係るサービスは、特定の状態を検出した場合に、業務効率を改善するための提案を行うことができる。一例では、このサービスは、朝の業務開始時に従業員について所定の異常を検出した場合、生活パターンの影響を推定し、推定結果に基づき生活パターンの改善を提案する。他の例では、このサービスは、午後の業務開始時点で従業員について所定の異常を検出した場合、その従業員の上司に通知を行う。通知を受けて、上司は、従業員に対し「何かありましたか?」、「一息ついてはいかがですか」などの声掛けをすることができる。さらなる例では、このサービスは、従業員の生体情報センサが示す状態情報ベクトルをもとに、過度のストレスを受けている状態を検出することができる。また他の例では、このサービスは、業務効率が上がっている期間の前における状態Aとその期間中における状態Bを特定し、状態Aから状態Bに変化した要因を、業務効率を上げる要因と推定することができる。
 さらに、第2の応用例に係るサービスは、異変に関する情報を検出し、業務を行っている従業員への異変の影響を所定のロジックで推定することができる。異変としては、例えば、監視装置の故障、業務システムの障害、作業対象の異変、従業員の異変などがある。監視装置が故障した場合、記録デーが欠落することが記録される。業務システムに障害が発生した場合、業務システムから得られた障害の発生時刻および内容に基づいて影響度が判定され記録される。従業員が作業を行っている作業対象に取り付けたセンサから対象の異変に関する情報が取得される。この情報および作業対象と従業員の関係をもとに従業員への影響度が推定される。従業員の異変は業務効率に大きな影響を与える。従業員の異変をもたらした要因は記録しておくことが望ましい。従業員の異変としては、例えば、作業の中断、過大なアクティビティ、生体情報が通常と異なること、位置情報(例えば従業員が予定される位置とはことなる場所にいることが検出された)などがある。
 第3の応用例は、自動車の運転を支援するサービスである。自動車に搭載されている制御装置だけでは、運転者が自動車に乗っていないときの状態および状況を把握することができない。そこで、支援装置(例えば図4に示した支援装置402)に格納されている支援コンテンツまたは支援アプリが自動車のテレマティクス端末にダウンロードされる。これにより、テレマティクス端末は、運転中の運転者を支援し、運転者の情報を車両制御装置に通知することができる。テレマティクス端末は、運転者の状態を示す情報を、自動車に搭載されたドライバモニタカメラまたは生体情報センサ、運転者に装着されたウェアラブル端末またはスマートウォッチ、スマートフォンなどから取得することができる。支援アプリは、運転者が自動車に乗る前に検出された状態および状況を把握することができる。支援アプリは、運転者が状態Aから状態Bに変化した要因を推定し、推定結果に基づき運転を支援することができる。
 第4の応用例は、家や外出先(例えば、勤務先、学校、宿泊施設)における人の活動を支援するサービスである。人に影響を与える要因は、多くのシーンに存在する。例えば、温度、湿度、気圧、騒音、異臭などの家の環境要因は、人に大きな影響を与える。異常な低温または高温は特に影響が大きい。このような環境要因をセンサで検出して記録することで、環境要因の人に対する影響度を推定することができる。また、空調装置などから、環境要因の詳細な情報を取得することができるようにすれば、環境要因の影響度を詳細に把握することが可能になる。家に関する情報としては、例えば、セキュリティシステムに含まれる防犯センサから取得することができる。さらに、人は、家族(例えば、親、子供、配偶者)やペットに関する情報またはニュース情報などに関心があり、これらから影響を受ける。留守中のペットの状態について気がかりであることが多く、ペットの状態を人に通知することは、安心感につながる。また、ニュース配信サービスなどへの配信依頼情報を用いることで、人の関心事項を特定することができる。個人ごとに関心事項を判定する条件をあらかじめ設定することで、個人に与えるニュースの影響度を推定することが可能である。
 以上に示したように、特定の人に影響を与える要因は、多くのシーンで存在する。従来の分野ごとのサービスでは、何が現在の状態に影響を与えているかが分からないことが多い。以上のように、システムを構成することで、要因の見落としまたは要因の誤判定を抑制することができる。
 次に、対象が機械である場合の応用例について説明する。本実施形態に係る要因推定システムは、対象が機械である場合にも、対象が人である場合と同じように対応することができる。例えば、人が機械を操作する場合、機械にとってその人が環境の一部となる。
 対象が自動車である場合、支援アプリは、対象が人である場合に説明したものと同様にして、自動車に大きな影響を与える運転者の情報を取得することができる。支援アプリは、自動車の制御装置から自動車の状態、走行履歴、走行中の環境に関する情報を取得することができる。また、支援アプリは、外部から、道路、天候、地震などに関する情報を取得することができる。要因推定システムは、これらの情報を用いて学習を行うことによって、要因を推定する能力を獲得することができる。
 対象が加工装置である場合、加工装置に関する状況の情報は、その周囲にある装置から取得することができる。加工装置は、周囲にある装置およびネットワークを介して接続された装置の影響を受ける。これは、要因推定システムから見ると、人が環境の影響を受ける場合と同様である。従って、ある状態となった要因を推定する能力を学習によって獲得することが可能である。
 以上のように、本実施形態に係る要因推定システムでは、状態分類学習装置が、対象の状態に関するデータ(状態情報ベクトル)を分類する学習を行うことで対象の状態を分類する能力を獲得し、獲得した能力を他の装置で実施するための状態分類学習結果を生成し、この状態分類学習結果が要因推定装置のニューラルネットワークに適用される。これにより、対象の状態を分類する能力を要因推定装置に獲得させることができる。さらに、状況分類学習装置が、対象の状況に関するデータ(状況情報ベクトル)を分類する学習を行うことで対象の状況を分類する能力を獲得し、獲得した能力を他の装置で実施するための状況分類学習結果を生成し、この状況分類学習結果が要因推定装置のニューラルネットワークに適用される。これにより、対象の状況を分類する能力を要因推定装置に獲得させることができる。要因推定装置は、対象の状態を分類することで、対象が状態Aになったことおよび状態Bになったことを検出し、対象の状況を分類することで、対象が事前状態Aから事後状態Bに変化するまでの期間における対象の状況を検出する。要因推定装置は、状態Aから状態Bに変化する期間における状況を示す状況変化パターンを含む状況分類履歴を取得し、状況分類履歴が検出された状況と一致する状況を示す状況変化パターンを含む場合に、検出された状況を要因と決定する。これにより、結果をもたらした要因を推定することが可能となる。
 本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
 また、上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
 (付記1)
 ハードウェアプロセッサと、
 前記ハードウェアプロセッサに接続されたメモリと、
 を具備し、
 前記ハードウェアプロセッサは、
 対象についての情報を受け付け、
 前記受け付けた情報の中から状態情報を抽出し、
 前記対象のうちの第1の対象についての所定の状態を特定し、
 前記抽出された状態情報であって前記所定の状態に対応する状態情報の入力を受けて、当該所定の状態を分類し、
 前記受け付けた情報の中から状況情報を抽出し、
 前記所定の状態に至るまでの状況を特定し、
 前記抽出された状況情報であって前記特定された状況に対応する状況情報の入力を受けて、当該特定された状況を分類し、
 前記所定の状態の分類結果と前記前記特定された状況の分類結果とに基づいて、前記所定の状態に至る要因となった状況を推定する
 ように構成された、要因推定装置。
 (付記2)
 少なくとも1つのハードウェアプロセッサを用いて、対象についての情報を受け付けることと、
 少なくとも1つのハードウェアプロセッサを用いて、前記受け付けた情報の中から状態情報を抽出することと、
 少なくとも1つのハードウェアプロセッサを用いて、前記対象のうちの第1の対象についての所定の状態を特定することと、
 少なくとも1つのハードウェアプロセッサを用いて、前記抽出された状態情報であって前記所定の状態に対応する状態情報の入力を受けて、当該所定の状態を分類することと、
 少なくとも1つのハードウェアプロセッサを用いて、前記受け付けた情報の中から状況情報を抽出することと、
 少なくとも1つのハードウェアプロセッサを用いて、前記所定の状態に至るまでの状況を特定することと、
 少なくとも1つのハードウェアプロセッサを用いて、前記抽出された状況情報であって前記特定された状況に対応する状況情報の入力を受けて、当該特定された状況を分類することと、
 少なくとも1つのハードウェアプロセッサを用いて、前記所定の状態の分類結果と前記特定された状況の分類結果とに基づいて、前記所定の状態に至る要因となった状況を推定することと、
 を具備する要因推定方法。

Claims (4)

  1.  対象についての情報を受け付ける対象情報入力部と、
     前記受け付けた情報の中から状態情報を抽出する状態情報抽出部と、
     前記対象のうちの第1の対象についての所定の状態を特定する状態特定部と、
     前記状態情報抽出部によって抽出された状態情報であって前記所定の状態に対応する状態情報の入力を受けて、当該所定の状態を分類する状態分類部と、
     前記受け付けた情報の中から状況情報を抽出する状況情報抽出部と、
     前記所定の状態に至るまでの状況を特定する状況特定部と、
     前記状況情報抽出部によって抽出された状況情報であって前記特定された状況に対応する状況情報の入力を受けて、当該特定された状況を分類する状況分類部と、
     前記所定の状態の分類結果と前記前記特定された状況の分類結果とに基づいて、前記所定の状態に至る要因となった状況を推定する要因推定部と、
     を備える要因推定装置。
  2.  前記要因推定部は、第1の状態から第2の状態へ変化する期間における状況を示す状況変化パターンの履歴を保持し、前記状況変化パターンのうちの前記所定の状態の分類結果に対応する状況変化パターンと前記特定された状況の分類結果とに共通する状況を前記要因として特定する、請求項1に記載の要因推定装置。
  3.  請求項1または2に記載の要因推定装置と、
     状態の分類に関する学習を行う状態分類学習装置と、
     状況の分類に関する学習を行う状況分類学習装置と、を備え、
     前記状態分類部は、前記状態分類学習装置による学習結果を利用して状態の分類を行い、
     前記状況分類部は、前記状況分類学習装置による学習結果を利用して状況の分類を行う、要因推定システム。
  4.  対象についての情報を受け付けることと、
     前記受け付けた情報の中から状態情報を抽出することと、
     前記対象のうちの第1の対象についての所定の状態を特定することと、
     前記抽出された状態情報であって前記所定の状態に対応する状態情報の入力を受けて、当該所定の状態を分類することと、
     前記受け付けた情報の中から状況情報を抽出することと、
     前記所定の状態に至るまでの状況を特定することと、
     前記抽出された状況情報であって前記特定された状況に対応する状況情報の入力を受けて、当該特定された状況を分類することと、
     前記所定の状態の分類結果と前記特定された状況の分類結果とに基づいて、前記所定の状態に至る要因となった状況を推定することと、
     を備える要因推定方法。
PCT/JP2018/007022 2017-03-08 2018-02-26 要因推定装置、要因推定システム、および要因推定方法 WO2018163890A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201880011267.7A CN110291542B (zh) 2017-03-08 2018-02-26 主要原因估计装置、主要原因估计系统以及主要原因估计方法
US16/490,915 US20200012955A1 (en) 2017-03-08 2018-02-26 Device, system and method for factor estimation
EP18763801.0A EP3594864A4 (en) 2017-03-08 2018-02-26 FACTOR INFERENCE DEVICE, FACTOR INFERENCE SYSTEM AND FACTOR INFERENCE PROCEDURE

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-044375 2017-03-08
JP2017044375A JP6418260B2 (ja) 2017-03-08 2017-03-08 要因推定装置、要因推定システム、および要因推定方法

Publications (1)

Publication Number Publication Date
WO2018163890A1 true WO2018163890A1 (ja) 2018-09-13

Family

ID=63448176

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/007022 WO2018163890A1 (ja) 2017-03-08 2018-02-26 要因推定装置、要因推定システム、および要因推定方法

Country Status (5)

Country Link
US (1) US20200012955A1 (ja)
EP (1) EP3594864A4 (ja)
JP (1) JP6418260B2 (ja)
CN (1) CN110291542B (ja)
WO (1) WO2018163890A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6798968B2 (ja) * 2017-11-22 2020-12-09 ファナック株式会社 ノイズ発生原因推定装置
US11429725B1 (en) * 2018-04-26 2022-08-30 Citicorp Credit Services, Inc. (Usa) Automated security risk assessment systems and methods
KR102502441B1 (ko) * 2019-12-24 2023-02-22 한국과학기술원 소수의 데이터를 이용하여 트레이닝되지 않은 상황에 적응하는 모바일 센싱장치 및 방법
WO2021140670A1 (ja) * 2020-01-10 2021-07-15 オリンパス株式会社 情報伝達装置および情報伝達方法
JP7128236B2 (ja) * 2020-07-22 2022-08-30 ヤフー株式会社 特定装置、特定方法及び特定プログラム
US11934840B2 (en) * 2020-12-17 2024-03-19 Hewlett Packard Enterprise Development Lp Classification of hardware components
JP7556284B2 (ja) 2020-12-23 2024-09-26 トヨタ自動車株式会社 製品評価装置及び製品評価方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07110771A (ja) * 1993-10-13 1995-04-25 Nippon Telegr & Teleph Corp <Ntt> 因果律獲得学習装置
JP4150965B2 (ja) 2003-05-12 2008-09-17 オムロン株式会社 端末装置、業務指示方法、コンテンツ提供装置、コンテンツ提供方法、記録媒体、プログラム、業務管理システム、および業務管理方法
JP2011175504A (ja) * 2010-02-25 2011-09-08 Nec Corp イベント予測システムおよびイベント予測方法、ならびにコンピュータ・プログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11175144A (ja) * 1997-12-05 1999-07-02 Toshiba Corp プラント機器の保守支援装置
JP3861986B2 (ja) * 2001-09-17 2006-12-27 関西ティー・エル・オー株式会社 医療看護業務のリスク管理方法及びリスク管理支援システム
JP3952066B2 (ja) * 2005-05-30 2007-08-01 オムロン株式会社 情報処理装置、情報処理方法、プログラム、および、プログラムを記録したコンピュータ読み取り可能な記録媒体
JP4735172B2 (ja) * 2005-10-06 2011-07-27 オムロン株式会社 生産管理装置、生産管理方法、生産管理プログラム、生産管理プログラムを記録した記録媒体、および生産システム
JP5044968B2 (ja) * 2006-04-03 2012-10-10 オムロン株式会社 要因推定装置、要因推定方法、プログラムおよびコンピュータ読取可能記録媒体
EP1955830B1 (en) * 2007-02-06 2014-04-09 Abb Research Ltd. A method and a control system for monitoring the condition of an industrial robot
JP5489085B2 (ja) * 2009-05-15 2014-05-14 日本電気株式会社 障害原因推定システム、障害原因推定方法、及び障害原因推定プログラム
JP5427107B2 (ja) * 2010-05-20 2014-02-26 株式会社日立製作所 監視診断装置および監視診断方法
JP5555662B2 (ja) * 2011-05-06 2014-07-23 株式会社日立製作所 無線通信装置、無線通信システムおよび通信制御方法
JP6035812B2 (ja) * 2012-03-28 2016-11-30 カシオ計算機株式会社 情報処理装置、情報処理方法及びプログラム
CN104956331A (zh) * 2013-09-18 2015-09-30 株式会社日立制作所 管理计算机系统的管理系统及其管理方法
JP6294268B2 (ja) * 2015-07-31 2018-03-14 ファナック株式会社 射出成形機の異常診断装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07110771A (ja) * 1993-10-13 1995-04-25 Nippon Telegr & Teleph Corp <Ntt> 因果律獲得学習装置
JP4150965B2 (ja) 2003-05-12 2008-09-17 オムロン株式会社 端末装置、業務指示方法、コンテンツ提供装置、コンテンツ提供方法、記録媒体、プログラム、業務管理システム、および業務管理方法
JP2011175504A (ja) * 2010-02-25 2011-09-08 Nec Corp イベント予測システムおよびイベント予測方法、ならびにコンピュータ・プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3594864A4

Also Published As

Publication number Publication date
EP3594864A1 (en) 2020-01-15
JP6418260B2 (ja) 2018-11-07
JP2018147407A (ja) 2018-09-20
CN110291542B (zh) 2023-04-18
CN110291542A (zh) 2019-09-27
EP3594864A4 (en) 2021-01-13
US20200012955A1 (en) 2020-01-09

Similar Documents

Publication Publication Date Title
JP6418260B2 (ja) 要因推定装置、要因推定システム、および要因推定方法
Hung et al. Web usage mining for analysing elder self-care behavior patterns
Agnihotri et al. Building a student at-risk model: An end-to-end perspective from user to data scientist
WO2009011820A2 (en) System and method for determining relative preferences for marketing, financial, internet, and other commercial applications
CN102282584A (zh) 活动数据呈现装置、活动数据呈现方法以及记录介质
D′ Aniello et al. A new DSS based on situation awareness for smart commerce environments
Ares et al. A soft computing framework for classifying time series based on fuzzy sets of events
US20230075408A1 (en) Methods and systems for interactively counseling a user with respect to supervised content
Durães et al. Modelling a smart environment for nonintrusive analysis of attention in the workplace
Liu et al. [Retracted] Deep Learning and Collaborative Filtering‐Based Methods for Students’ Performance Prediction and Course Recommendation
Altulayan et al. Contextual bandit learning for activity-aware things-of-interest recommendation in an assisted living environment
Korkmaz Tan et al. Adaptive parameter tuning for agent-based modeling and simulation
Peiqing [Retracted] Multidimensional State Data Reduction and Evaluation of College Students’ Mental Health Based on SVM
CN111340540B (zh) 广告推荐模型的监控方法、推荐方法及装置
CN107533811A (zh) 信息处理装置、信息处理方法和程序
Zhong et al. Big data analytics on customer behaviors with kinect sensor network
JP4938367B2 (ja) セキュリティ診断システム
JP6320353B2 (ja) デジタルマーケティングシステム
JP7527784B2 (ja) 予測システム、予測方法、及びプログラム
Elbayoudi et al. Determining behavioural trends in an ambient intelligence environment
JP2017518592A (ja) 評価を実施するための方法及びシステム
Kwon Psychological model based attitude prediction for context-aware services
Hawas et al. Location–Based in recommendation system using naive Bayesian algorithm
Alikhanov et al. Design of Contextual Filtered Features for Better Smartphone-User Receptivity Prediction
Oliveira et al. Convolutional neural network for elderly wandering prediction in indoor scenarios

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18763801

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018763801

Country of ref document: EP

Effective date: 20191008