WO2025115502A1 - 情報収集装置、情報提供装置、情報収集方法及び情報提供方法 - Google Patents

情報収集装置、情報提供装置、情報収集方法及び情報提供方法 Download PDF

Info

Publication number
WO2025115502A1
WO2025115502A1 PCT/JP2024/038742 JP2024038742W WO2025115502A1 WO 2025115502 A1 WO2025115502 A1 WO 2025115502A1 JP 2024038742 W JP2024038742 W JP 2024038742W WO 2025115502 A1 WO2025115502 A1 WO 2025115502A1
Authority
WO
WIPO (PCT)
Prior art keywords
series data
time series
information
feature vector
query
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2024/038742
Other languages
English (en)
French (fr)
Inventor
真衣 黒瀬
颯 黒木
将 小津野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Publication of WO2025115502A1 publication Critical patent/WO2025115502A1/ja
Anticipated expiration legal-status Critical
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/092—Reinforcement learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2123/00—Data types
    • G06F2123/02—Data types in the time domain, e.g. time-series data

Definitions

  • the present invention relates to an information collection device, an information provision device, an information collection method, and an information provision method.
  • Non-Patent Document 1 proposes a method that uses data obtained by image search in offline reinforcement learning. This method increases the reusability of data, and is expected to reduce the cost of collecting new data for the target environment or task.
  • the inventors of the present invention have found that the above-mentioned conventional method has the following problems. That is, behavioral sequences are taken into consideration when controlling the operation of a robot device. In contrast, in conventional methods, image data at one time is the subject of a search. Therefore, only the degree of visual similarity is referenced in a search, making it difficult to perform a search that takes behavioral sequences into consideration. It is possible to generate time-series data corresponding to a behavioral sequence by performing repeated searches and piecing together the obtained data in a chronological order. However, since the generated time-series data may include data with low relevance, the accuracy of extracting time-series data corresponding to a behavioral sequence is likely to be poor.
  • time-series data corresponding to the behavioral sequence of a robot device.
  • this type of problem does not only occur when searching for data to be used in machine learning. This problem can occur in any situation where time-series data is searched. For example, this type of problem can occur even when simply searching for data, such as searching for actions similar to a desired action of a robot device.
  • the present invention was made in consideration of these circumstances, and its purpose is to provide a technique for improving the accuracy of extracting time series data.
  • the present invention employs the following configurations to solve the above-mentioned problems. Note that the configurations of the following inventions can be combined as appropriate.
  • the information collection device includes a control unit.
  • the control unit is configured to acquire time series data indicating state transitions of one or more agents, convert the acquired time series data into a feature vector using an encoder configured to encode the data by incorporating information of multiple times, and store the acquired feature vector in a database in association with the time series data.
  • an encoder incorporates information about multiple times contained in the time series data into a feature vector.
  • the generated feature vector is stored in association with the time series data.
  • this feature vector as meta-information (tag) in a search, the state transition series can be taken into account in the search, which is expected to enable the extraction of appropriate time series data for the series being searched. Therefore, with this configuration, it is expected that the accuracy of extracting time series data showing the state transitions of one or more agents can be improved.
  • the time series data may be configured to indicate state transitions of the agents, and the encoder may be configured to encode the data by further incorporating spatial information.
  • image data of a single agent is the search target. Therefore, in the search, only the similarity in appearance of the entire environment is referenced, and it is difficult to perform a search that takes into account the behavioral sequences of multiple agents. It is possible to generate time series data corresponding to a behavioral sequence by repeatedly searching the image data of a single agent and piecing together the obtained data in a time series.
  • the generated time series data may include data with low relevance
  • the accuracy of extracting time series data corresponding to a behavioral sequence is likely to be poor, making it difficult to apply this method to time series data of multiple agents.
  • this configuration it is possible to efficiently extract time series data of multiple agents.
  • the encoder may be configured to be trained to predict a future state from the state transitions of one or more agents, and to incorporate information from multiple times into the encoding. Because a future state is related to previous states at multiple times, an encoder trained in this way can be expected to have properly acquired the ability to incorporate information from multiple times into a feature vector. Therefore, according to this configuration, by using such an encoder, time series data can be properly encoded, and by using the resulting feature vector, it is expected that the accuracy of extracting time series data can be improved.
  • the time series data may include trajectory data.
  • the time series data may include video data.
  • control unit may be configured to further acquire attribute information of the one or more agents.
  • Converting the acquired time series data into a feature vector may be configured by converting the acquired time series data and the attribute information of the one or more agents into a feature vector.
  • the attribute information of the agent can be further incorporated into the feature vector. This makes it possible to search for data that further takes into account the attributes of the agent, which is expected to further improve the accuracy of extracting time series data.
  • the time series data may be configured to further indicate state transitions of one or more objects
  • the encoder may be configured to further incorporate spatial information for encoding.
  • control unit may be configured to further acquire attribute information of the one or more objects.
  • Converting the acquired time series data into a feature vector may be configured by converting the acquired time series data and the attribute information of the one or more objects into a feature vector.
  • the attribute information of the object can be further incorporated into the feature vector. This makes it possible to search for data that further takes into account the attributes of the object, which is expected to further improve the accuracy of extracting time series data.
  • control unit may be configured to further acquire environmental information related to the environment in which the one or more agents exist.
  • Converting the acquired time series data into a feature vector may be configured by converting the acquired time series data and the environmental information into a feature vector. With this configuration, environmental information can be further incorporated into the feature vector. This makes it possible to search for data that further takes into account the environment in which the agent exists, and thus further improvement in the accuracy of extracting time series data can be expected.
  • the agent may be a robotic device or a living organism.
  • the agent in the search query does not necessarily have to match the agent in the extracted time series data.
  • the target agent in the search query may at least partially match the agent in the extracted time series data, or may be different.
  • the form of the present invention does not have to be limited to an information processing device for the above-mentioned information collection.
  • One aspect of the present invention may be an information processing device that provides collected time series data.
  • the time series data may be provided for any purpose, such as use in machine learning, or for referring to similar behavior.
  • an information providing device is connected to a database that stores feature vectors associated with time series data, and includes a control unit.
  • the time series data is configured to indicate state transitions of one or more agents.
  • the feature vectors are obtained by converting the time series data using an encoder configured to encode the data by incorporating information from a plurality of times.
  • the control unit is configured to receive a query to the database from a requester, extract a feature vector that matches the query from the database as a related feature vector, and return time series data associated with the extracted related feature vector to the requester as related time series data. This configuration can be expected to perform highly accurate extraction of time series data that matches a target series and provide suitable time series data.
  • accepting the query may be configured by accepting a plurality of the queries
  • extracting the related feature vector may be configured by extracting a plurality of related feature vectors that match each of the plurality of queries.
  • the information source of the time series data associated with some of the related feature vectors may be allowed to differ from the information source of the time series data associated with the other related feature vectors.
  • the type of the one or more agents in the related time series data may be allowed to differ from the type of one or more target agents in the task targeted by the query.
  • the query may be generated by encoding the time series data of the target by the encoder.
  • the scale of the time series data of the target may be changed by the requester. This configuration is expected to increase the search matching rate and improve convenience.
  • receiving the query from the requester may include receiving time series data of a target from the requester, changing the scale of the time series data of the target, and encoding the changed time series data of the target with the encoder to generate the query.
  • This configuration is expected to increase the search precision and improve convenience.
  • returning the time series data to the requester as related time series data may include changing the scale of the related time series data and returning the changed related time series data to the requester. This configuration is expected to improve convenience.
  • one aspect of the present invention may be an information processing method that realizes all or part of each of the above configurations, or may be a program, or may be a storage medium that stores such a program and is readable by a machine such as a computer.
  • a storage medium that is readable by a machine such as a computer is a medium that stores information such as a program by electrical, magnetic, optical, mechanical, or chemical action.
  • an information gathering method may be an information processing method in which a computer acquires time series data indicating state transitions of one or more agents, converts the acquired time series data into a feature vector using an encoder configured to encode the data by incorporating information of multiple times, and stores the acquired feature vector in a database in association with the time series data.
  • an information providing method may be an information processing method by a computer connected to a database that stores feature vectors associated with time series data.
  • the computer may receive a query to the database from a requester, extract feature vectors that match the query from the database as related feature vectors, and return time series data associated with the extracted related feature vectors to the requester as related time series data.
  • the present invention makes it possible to improve the accuracy of extracting time series data.
  • FIG. 1 shows a schematic diagram of an example of a situation in which the present invention is applied.
  • FIG. 2 is a schematic diagram showing an example of a configuration of an encoder according to an embodiment.
  • FIG. 3 is a schematic diagram showing an example of a configuration of time-series data according to an embodiment.
  • FIG. 4 is a schematic diagram showing an example of input and output of an encoder according to an embodiment.
  • FIG. 5 is a diagram illustrating an example of a hardware configuration of an information collection device according to an embodiment.
  • FIG. 6 is a diagram illustrating an example of a hardware configuration of an information providing device according to an embodiment.
  • FIG. 7 is a diagram illustrating an example of a software configuration of the information collection device according to the embodiment.
  • FIG. 1 shows a schematic diagram of an example of a situation in which the present invention is applied.
  • FIG. 2 is a schematic diagram showing an example of a configuration of an encoder according to an embodiment.
  • FIG. 3 is a schematic diagram showing an example of a
  • FIG. 8 is a diagram illustrating an example of a software configuration of the information providing device according to the embodiment.
  • FIG. 9 is a flowchart illustrating an example of a processing procedure of the information collecting device according to the embodiment.
  • FIG. 10 is a flowchart illustrating an example of a processing procedure of the information providing device according to the embodiment.
  • FIG. 11 shows the experimental results of the example and the comparative example.
  • this embodiment an embodiment of one aspect of the present invention (hereinafter also referred to as "this embodiment") will be described with reference to the drawings.
  • this embodiment described below is merely an example of the present invention in all respects.
  • Various improvements or modifications may be made without departing from the scope of the present invention.
  • a specific configuration according to the embodiment may be appropriately adopted. Note that while the data appearing in this embodiment is described in natural language, more specifically, it is specified in pseudo-language, commands, parameters, machine language, etc. that can be recognized by a computer.
  • FIG. 1 shows a schematic diagram of an example of a situation to which the present invention is applied.
  • the system according to this embodiment includes an information collection device 1, a database R, and an information provision device 2.
  • the information collection device 1 is one or more computers configured to collect time series data 30.
  • the information provision device 2 is one or more computers configured to provide related time series data 60 (time series data 30) in response to a query S from a request source U.
  • the information collection device 1 acquires time series data 30 indicating state transitions of one or more agents K.
  • the information collection device 1 converts (i.e., encodes) the acquired time series data 30 into a feature vector 35 using an encoder 5.
  • the encoder 5 is configured to encode information from multiple points in time.
  • the information collection device 1 associates the acquired feature vector 35 with the time series data 30 and stores it in the database R.
  • the information providing device 2 is connected to a database R that stores feature vectors 35 associated with time series data 30.
  • the information providing device 2 receives a query S for the database R from a requester U.
  • the information providing device 2 extracts feature vectors 35 that match the query S from the database R as associated feature vectors 65.
  • the information providing device 2 returns the time series data 30 associated with the extracted associated feature vector 65 to the requester U as associated time series data 60.
  • the encoder 5 weaves information on multiple times contained in the time series data 30 into the feature vector 35.
  • the feature vector 35 obtained by the conversion is stored by the information collection device 1 in association with the time series data 30.
  • this feature vector 35 is used as meta-information (tag) in a search, so that the state transition series can be taken into consideration in the search, and it is expected that appropriate time series data 30 for the search target series will be extracted. Therefore, with the information collection device 1 of this embodiment, it is expected that the accuracy of extracting time series data 30 showing state transitions of one or more agents K will be improved. With the information provision device 2 of this embodiment, it is expected that such time series data 30 will be extracted with high accuracy and that appropriate time series data 30 will be provided.
  • the agent K is a target whose state transition is recorded as time-series data.
  • the type of the agent K may not be particularly limited and may be appropriately selected according to the embodiment.
  • the agent K may be any object (object) whose state transition can be tracked.
  • the agent K may be a robot device or a living thing.
  • the robot device may not be particularly limited and may be appropriately selected according to the embodiment.
  • the robot device may be, for example, an industrial robot in a production line, an autonomous robot configured to be able to operate autonomously, a mobile body configured to be able to move, etc.
  • the industrial robot may be, for example, a vertical articulated robot, a horizontal articulated robot (SCARA robot), a parallel link robot, an orthogonal robot, etc.
  • SCARA robot horizontal articulated robot
  • the autonomous robot may be, for example, a humanoid robot, a guide robot, an agricultural robot, a care robot, a security robot, a transport robot, etc.
  • the content of the autonomous processing may be appropriately selected according to the embodiment.
  • the mobile body may include, for example, a cleaning robot, the autonomous robot (including a mobile robot) configured to be able to move, a vehicle configured to be able to be automatically driven, an air vehicle (drone, etc.) capable of automatically flying, etc.
  • the living thing may be a human being, or may be another living thing other than a human being.
  • the type of living thing may be appropriately selected depending on the embodiment.
  • the agent K may be, for example, a flock-forming living thing such as a bird, a fish, or a sheep. According to one example of the present embodiment, it is expected that the extraction accuracy is improved when searching for time-series data of a robot device or a living thing (time-series data 30).
  • the agent K may be an entity in a
  • the number of agents K is not particularly limited and may be appropriately selected depending on the embodiment.
  • the time series data 30 may be configured to show state transitions of multiple agents K.
  • image data of a single agent is the search target, and it is difficult to apply this to searching for multiple agents.
  • the type of each agent K may be appropriately selected depending on the embodiment.
  • the types of all agents K may be the same or may be at least partially different.
  • the time series data 30 may be configured to show state transitions of a single agent K.
  • the number of agents K may be the same or may be at least partially different among the collected time series data 30.
  • the encoder 5 is configured to perform encoding so as to incorporate information of multiple times in the time series data. Incorporating information of multiple times means incorporating (e.g., integrating, aggregating, etc.) information of multiple times into one vector so as to reflect the association between the times.
  • the encoder 5 may be configured to further incorporate spatial information for encoding.
  • Incorporating spatial information means incorporating information on multiple objects existing in space into one vector so as to reflect the associations between the objects.
  • the spatial information may include any information related to the state of an object in real space or virtual space.
  • the spatial information may include position information of an object (e.g., coordinate values, image information, etc.).
  • the spatial information may further include other information other than position, such as the object's speed, attitude (tilt), etc.
  • the configuration of the encoder 5 is not particularly limited and may be determined appropriately depending on the embodiment.
  • the encoder 5 may be configured with a trained machine learning model.
  • the machine learning model is configured to have one or more computation parameters that can be adjusted by machine learning.
  • the one or more computation parameters are used in the computation of the desired inference.
  • the desired inference is the conversion of time series data into a feature vector.
  • the machine learning model may be configured with, for example, a neural network, a regression model, a decision tree model, a support vector machine, or other functional formulas (computation models), etc.
  • the encoder 5 may include a neural network.
  • the structure of the neural network is not particularly limited and may be appropriately determined depending on the embodiment.
  • the structure of the neural network may be specified by, for example, the number of layers from the input layer to the output layer, the type of each layer, the number of nodes (neurons) included in each layer, the connection relationship between the nodes in each layer, etc.
  • the neural network may include any mechanism such as a recurrent structure, a self-attention mechanism, or a cross-attention mechanism.
  • the neural network may include any layer such as a fully connected layer, a convolutional layer, a pooling layer, a deconvolutional layer, an unpooling layer, a normalization layer, a dropout layer, a long short-term memory (LSTM), a gated recurrent unit (GRU), etc.
  • the neural network may include any type of model such as a diffusion model, a transformer model, a generative model, etc.
  • the weights of the connections between each node included in the neural network and the threshold value of each node are examples of calculation parameters.
  • the machine learning method may be appropriately selected according to the embodiment, such as the type and structure of the machine learning model to be adopted (for example, backpropagation method, etc.).
  • Machine learning is to adjust (optimize) the values of calculation parameters using training samples.
  • multiple data sets each of which is composed of a combination of input samples (training samples) and true values (teacher signals, labels), may be collected.
  • the values of the calculation parameters of the machine learning model may be adjusted so that the output obtained from the machine learning model by providing an input sample matches the corresponding true value.
  • the values of the calculation parameters of the entire machine learning model constituting the encoder 5 may be adjusted, or the values of some of the calculation parameters may be adjusted.
  • the machine learning model constituting the encoder 5 may be trained together with other modules, such as in the machine learning of an autoencoder, for example.
  • the encoder 5 may be configured to be trained to predict a future state from the state transitions (time series data) of one or more agents K, and to encode the data by incorporating information of multiple times.
  • the feature vector 35 obtained by the encoder 5 is a prediction result (prediction value) of the future state of one or more agents K.
  • the number of time steps (times) of the state transitions in the input data may not be particularly limited, and may be determined appropriately depending on the embodiment.
  • the number of time steps of the state transitions in the input data may be fixed or variable.
  • the future time steps (times) to be predicted may not be particularly limited, and may be determined appropriately depending on the embodiment.
  • the number of future time steps to be predicted may be one or more.
  • the encoder 5 may be trained to predict the state of an object at one or more future times.
  • the number of time steps of a state transition in the input data may be given by n
  • the number of time steps between the last (latest) state in the input data and a future state may be given by k
  • the number of future time steps to be predicted may be 1.
  • the encoder 5 is trained to predict a state at time t+k from states (time series data) from time t-n+1 to time t.
  • n may be 2 or more
  • k may be 1 or more.
  • the values of n and k may be determined appropriately depending on the embodiment.
  • the interval between the time steps corresponds to the sampling period.
  • the interval between the time steps may be determined appropriately depending on the embodiment.
  • time series data including state transitions of n+k or more time steps may be collected.
  • the time series data used for machine learning may be collected by any method.
  • the time series data may be collected by, for example, manual demonstration, manually designed control, automatic control using a policy obtained by machine learning (reinforcement learning), passive data recording, mixing of collected data, data augmentation, etc.
  • Manually designed control may include the use of some control algorithm.
  • Control using a policy obtained by machine learning may be performed for any task.
  • Passive data recording may include, for example, recording of user interactions, recording of autonomous control of a robot device (e.g., autonomous driving of a vehicle), etc.
  • Data recording may be performed, for example, by taking (recording) images.
  • Time series data may be obtained by generating multiple policies by machine learning and mixing data obtained from demonstrations using each policy.
  • multiple policies obtained by machine learning may be mixed, and time-series data may be obtained from demonstrations performed using the obtained policies.
  • the multiple policies preferably include policies of different natures (i.e., policies that select different actions) due to differences in training algorithms, differences in proficiency, etc.
  • the demonstration and control may be performed in a real space, or may be performed in a virtual space such as a simulator.
  • the scale of the obtained data e.g., time scale, space scale, etc.
  • the change in scale may include at least one of scale up (e.g., extension, enlargement) and scale down (e.g., contraction, reduction).
  • the change in scale may include applying different change processes to each part, such as scaling up a part and scaling down the rest. Other known methods may be used to expand the data.
  • data for n steps may be obtained as training samples, and data k steps ahead from the training samples may be obtained as true values.
  • One or more datasets may be obtained from one sample of time series data. By repeatedly obtaining training samples and true values, multiple datasets can be collected. By training using the above method using the multiple collected datasets, an encoder 5 (trained machine learning model) can be generated.
  • a future state is related to states at multiple previous times. Therefore, it can be expected that the encoder 5 trained as described above has properly acquired the ability to incorporate information at multiple times into the feature vector. Therefore, according to one example of the present embodiment, the encoder 5 trained in this way can be used to properly encode the time series data 30. Then, by using the obtained feature vector 35, it can be expected that the accuracy of extracting the time series data 30 can be improved. Note that, as long as it is possible to acquire the ability to incorporate information at multiple times, the method of obtaining the encoder 5 is not limited to this example, and may be appropriately changed depending on the embodiment. In another example, the encoder 5 may be trained to restore the input of the current state (time t) rather than predicting a future state.
  • FIG. 2 is a schematic diagram showing an example of the configuration of the encoder 5 according to the present embodiment.
  • the encoder 5 trained to predict the above-mentioned future state is used to weave together a plurality of pieces of time and space information.
  • the feature vector 35 obtained by the encoder 5 is a predicted value of the state of each agent K at time t+1, calculated from the time series data of each agent K from time t-n+1 to time t.
  • a plurality of data sets each composed of a combination of a training sample including state transitions from time t-n+1 to time t and a true value 45 of the state at time t+1 may be used for training the encoder 5.
  • the value of k may be changed as appropriate to a value other than 1.
  • the encoder 5 is equipped with a self-attention mechanism 51 and a cross-attention mechanism 53.
  • Information on each agent K at each time is input to the self-attention mechanism 51.
  • the self-attention mechanism 51 is configured to calculate the degree of association between the agents K at each time.
  • the calculation results of the self-attention mechanism 51 are input to the cross-attention mechanism 53.
  • information on each agent K at time t is input to the cross-attention mechanism 53.
  • the cross-attention mechanism 53 is configured to predict the state of each agent K at time t+1 from the state of each agent K at time t, reflecting the calculation results of the self-attention mechanism 51.
  • the specific configuration of the self-attention mechanism 51 and the cross-attention mechanism 53 may be a known configuration proposed in, for example, references (Ashish Vaswaniet al., "Attention Is All You Need", [online], [searched November 17, 2023], Internet ⁇ URL: https://arxiv.org/abs/1706.03762>) etc.
  • the self-attention mechanism 51 incorporates spatial information through its calculations
  • the cross-attention mechanism 53 incorporates multiple pieces of time information through its calculations. Therefore, according to the structure of FIG. 2, the encoder 5 can incorporate multiple pieces of time and space information for encoding.
  • the input/output form of at least one of the self-attention mechanism 51 and the cross-attention mechanism 53 does not have to be limited to the example of FIG. 2 and may be changed as appropriate depending on the embodiment.
  • the structure for incorporating multiple pieces of time and space information does not have to be limited to the structure of FIG. 2 and may be changed as appropriate depending on the embodiment.
  • the encoder 5 may be configured to incorporate multiple pieces of time and space information for encoding by having a recurrent structure, an LSTM, a GRU, or other RNN (Recurrent Neural Network) or a structure similar thereto.
  • the time series data 30 is configured to indicate the state transition of the agent K by arranging information on the state of the agent K in a time series. That is, the time series data 30 includes information on the state of the agent K at a plurality of times.
  • the information on the state may be any information defined in a space, such as a position, a speed, or a posture (inclination).
  • the state transition of the agent K may correspond to the behavior sequence of the agent K.
  • the time series data 30 may be acquired by any method.
  • the time series data 30 may be acquired by, for example, a manual demonstration, a manually designed control, a control by a measure obtained by machine learning, a passive data recording, a mixture of collected data, an expansion of data, or the like.
  • the time series data 30 may further include any time series information on things other than the agent K.
  • FIG. 3 is a schematic diagram showing an example of the configuration of the time series data 30 according to this embodiment.
  • the time series data 30 may be configured to further indicate state transitions of one or more objects L.
  • the encoder 5 may be configured to further incorporate spatial information for encoding.
  • the state transitions of the object L can be further incorporated into the feature vector 35. This makes it possible to search for data that further takes into account the state transitions of the object L, which is expected to further improve the accuracy of extracting the time series data 30.
  • the time series data 30 includes information 301 on the state of one or more agents K and information 303 on the state of one or more objects L at each of a plurality of times, and is configured to indicate state transitions of the agent K and the object L.
  • the object L may be something other than the agent K that exists in the environment.
  • the type of the object L is not particularly limited and may be appropriately selected according to the embodiment.
  • the object L may include an object operated by the agent K, an object involved in the operation of the agent K, other objects existing in the environment, etc.
  • the object operated by the agent K may include an object involved in a task, such as an object to be carried by the agent K.
  • the object involved in the operation of the agent K may include an object that may affect the operation of the agent K, such as a floor or an obstacle. Note that when a form including state transitions of the object L is adopted together with a form of generating the encoder 5 so as to predict the above-mentioned future state, the obtained feature vector 35 may or may not include a prediction result of the future state of one or more objects L.
  • the data format of the information included in the time series data 30 is not particularly limited and may be appropriately selected depending on the embodiment.
  • the information may be expressed in any format, such as a numerical value, an image, etc.
  • the time series data 30 may include at least one of trajectory data and video data. According to one example of the present embodiment, it is expected that the accuracy of data extraction can be improved in a scene where at least one of trajectory data and video data is searched.
  • the trajectory data is configured to indicate state transitions by trajectories.
  • the data format of the trajectory may be selected as appropriate depending on the embodiment.
  • the trajectory data may include numerical data of at least one of position and velocity at each of a plurality of times.
  • the trajectory may be expressed by numerical data of at least one of position (coordinate values) and velocity.
  • the trajectory data may further include numerical data other than position and attitude, such as attitude (tilt).
  • the trajectory data may be configured by numerical data other than position and velocity.
  • the video data is composed of multiple images.
  • the correspondence between the images and the time may be determined appropriately depending on the embodiment.
  • one or more images may correspond to information at one time. That is, one or more images may show the state of agent K and object L at one time.
  • each image may be encoded as it is.
  • an analysis process pre-processing
  • identification of objects depicted and segmentation may be applied to each image.
  • the results of the analysis process may be obtained as numerical data such as object categories and segmentation ranges.
  • the results of the analysis process obtained from each image may be encoded as time series data 30.
  • a sensor may be used to acquire the time series data 30.
  • the sensor may include, for example, a camera, a depth sensor, an infrared sensor, an optical sensor, a radar, a LiDAR (Light Detection And Ranging), a position sensor, an encoder, a motion capture, a tactile sensor, a force sensor, an acceleration sensor, a gyro sensor, an inertial measurement unit, and other measurement sensors.
  • the position sensor may include, for example, a GPS (Global Positioning System) sensor, a GNSS (Global Navigation Satellite System) sensor, and the like.
  • the sensing data obtained by the sensor may be used as the time series data 30 as is, or the result of performing any arithmetic processing on the sensing data may be used as the time series data 30.
  • the data format of the feature vector 35 is not particularly limited and may be appropriately selected depending on the embodiment.
  • the feature vector 35 may be composed of a plurality of numerical values. Each numerical value may be held in any format.
  • the feature vector 35 may be composed of an array of numerical values.
  • each numerical value may correspond to a pixel value, and the feature vector 35 may be composed in an image format.
  • each numerical value included in the feature vector 35 may have a predetermined meaning corresponding to an inference task. When a form is adopted in which the encoder 5 is generated so as to predict the above-mentioned future state, the inference task is to predict the future state, and each numerical value included in the feature vector 35 may correspond to the future state.
  • the form of the feature vector 35 is not limited to such an example.
  • the encoder 5 may be configured to encode without an inference task such as predicting the above-mentioned future state.
  • each numerical value included in the feature vector 35 may have no meaning other than the inference task of incorporating information of multiple times.
  • the configuration of the input/output data of the encoder 5 is not particularly limited and may be appropriately determined depending on the embodiment.
  • the encoder 5 may be configured to further accept input of information other than the time series data 30.
  • the encoder 5 may be configured to further output information other than the feature vector 35.
  • FIG. 4 is a schematic diagram showing an example of input and output of the encoder 5 according to this embodiment.
  • the information collection device 1 may further acquire attribute information 31 of one or more agents K, attribute information 32 of one or more objects L, and environmental information 33 related to the environment in which the one or more agents K exist.
  • the attribute information 31 of the agent K, the attribute information 32 of the object L, and the environmental information 33 may be input to the encoder 5. Accordingly, converting the acquired time series data 30 into a feature vector 35 may be performed by converting the acquired time series data 30, the attribute information 31 of one or more agents K, the attribute information 32 of one or more objects L, and the environmental information 33 into the feature vector 35.
  • the attribute information (31, 32) may include any information related to the attributes of the target (agent K, object L).
  • the attribute information (31, 32) may include static information such as the type, material, hardness, shape, size (dimensions), and range of motion of the target.
  • the size (dimensions) may include the size of each part, such as the wheel diameter of a robot device.
  • the attribute information (31, 32) may also include dynamic information such as the temperature of the target. Dynamic information is information that may change over time, and static information is information that is unlikely to change over time.
  • the environmental information 33 may include any information related to the environment.
  • the environment may include all events related to the situation of the thing (agent K, object L).
  • the environment may be composed of at least one of a real environment and a virtual environment.
  • the environment may be composed of both a real environment and a virtual environment, such as AR (Augmented Reality), MR (Mixed Reality), etc.
  • the environment may include VR (Virtual Reality), etc.
  • the environmental information 33 may include, for example, the type of environment (land/on water/underwater, downhill/flat/uphill, etc.), temperature, humidity, weather, brightness (illuminance, etc.), etc.
  • the dynamic information among the attribute information (31, 32) and the environmental information 33 may be observed by a sensor.
  • the information collection device 1 may acquire the dynamic information directly from the sensor or indirectly via another computer.
  • the attribute information (31, 32) and the environmental information 33 may be stored in advance or may be provided by an operator's input.
  • the information collection device 1 may store at least a portion of the attribute information (31, 32) and the environmental information 33 in advance, acquire it from an external computer, or acquire it via an operator's input.
  • the input unit of the encoder 5 may be appropriately configured to accept input of attribute information (31, 32) and environmental information 33 together with the time series data 30.
  • the encoder 5 may be configured to further accept input of attribute information (31, 32) and environmental information 33 by increasing the number of input nodes of the self-attention mechanism 51 by the amount of the attribute information (31, 32) and environmental information 33.
  • the configuration of the input unit of the encoder 5 is not limited to this example, and may be changed as appropriate depending on the embodiment.
  • the attribute information 31 of agent K, the attribute information 32 of object L, and the environmental information 33 can be further incorporated into the feature vector 35. This allows data to be searched for with further consideration given to the attributes of agent K, the attributes of object L, and the environment. This is expected to further improve the accuracy of extracting the time series data 30.
  • the configuration of the input data to the encoder 5 does not need to be limited to this example.
  • At least one of the attribute information 31 of agent K, the attribute information 32 of object L, and the environmental information 33 may be omitted. Accordingly, the relevant information may be omitted in the information acquisition process and conversion (encoding) process.
  • the format of the input data (time series data 30, attribute information 31, attribute information 32, and environmental information 33) provided to the encoder 5 may be appropriately determined depending on the embodiment.
  • the input data may be provided to the encoder 5 as it is.
  • preprocessing may be applied to at least a portion of the input data, and the input data after the preprocessing may be provided to the encoder 5.
  • the preprocessing may include any arithmetic processing such as a process of analyzing information, a process of adding information, or a process of reducing information.
  • the arithmetic model that performs the preprocessing may be included in the encoder 5, or may be prepared separately from the encoder 5.
  • the arithmetic model may be configured by at least one of a trained machine learning model and a rule-based model.
  • the rule-based model may be configured to derive an inference result (a result of preprocessing) from a given input according to a rule.
  • the rule may be set appropriately.
  • the output format of the encoder 5 may also be determined appropriately depending on the embodiment.
  • the output of the encoder 5 may be configured to directly indicate the feature vector 35.
  • the output of the encoder 5 may be configured to indirectly indicate the feature vector 35.
  • the feature vector 35 may be obtained by performing any information processing (e.g., interpretation processing) on the output of the encoder 5.
  • the requester U issues the query S by a computer.
  • the requester U may not be particularly limited and may be appropriately selected according to the embodiment.
  • the requester U may be a user, and the computer of the requester U may be a user terminal.
  • the requester U may be an operator who operates the information providing device 2.
  • the computer of the requester U may be the same as the information providing device 2 (i.e., the information providing device 2 may be the computer of the requester U).
  • the computer of the requester U may be a terminal connected to the information providing device 2.
  • the requester U may not be limited to a person such as a user or an operator.
  • the requester U may be the computer itself.
  • the query S may be issued by automatic processing of the computer.
  • the computer of the requester U may be a general-purpose server device, a general-purpose PC (Personal Computer), a tablet PC, a mobile device, a terminal device, etc., in addition to an information processing device designed exclusively for the service provided.
  • the mobile device may include, for example, a smartphone, etc.
  • the query S is generated in response to the feature vector 35 to obtain desired time series data.
  • the query S may be generated as appropriate depending on the embodiment.
  • the query S may be generated by encoding the target time series data by the encoder 5.
  • the target time series data is configured to show state transitions of one or more target agents.
  • a target agent is an agent that appears in the time series data that is the subject of query S. If one or more objects are present in the target environment, the target time series data may be configured to further show state transitions of one or more target objects.
  • a target object is an object that appears in the time series data that is the subject of query S.
  • Agent K in the data stored in database R may be referred to as the first agent, and the target agent in query S may be referred to as the second agent.
  • object L may be referred to as the first object, and the target object in query S may be referred to as the second object.
  • the time series data on which the query S is based may be obtained by any method, such as manual generation, automatic generation by a computer, observation by a sensor, data expansion, etc. Conversion from the time series data to the query S (i.e., generation of the query S) may be performed by the computer of the requester U, the information providing device 2, and an external computer. If the computer of the requester U generates the query S, the issuance of the query S by the requester U may be constituted by generating the query S. If the information providing device 2 or an external computer generates the query S, the issuance of the query S by the requester U may be constituted by providing the time series data on which the query S is based to the information providing device 2 or the external computer.
  • At least one of the attribute information 31 of the agent K, the attribute information 32 of the object L, and the environmental information 33 is reflected in the feature vector 35
  • at least one of the attribute information of the target agent, the attribute information of the target object, and the environmental information related to the target environment may also be reflected in the query S.
  • Matching the query S may include that the query S and the feature vector 35 match, and that the feature vector 35 exists in the vicinity of the query S.
  • the range of the vicinity may be determined appropriately according to the embodiment.
  • the index for comparing the query S and the feature vector 35 may be selected appropriately according to the embodiment. In one example, at least one of Euclidean distance and cosine similarity may be used as the index for comparison.
  • the related feature vector 65 is the feature vector 35 that matches the query S among the feature vectors 35 stored in the database R.
  • the related time series data 60 is the time series data 30 associated with the feature vector 35 (related feature vector 65) that matches the query S among the accumulated time series data 30. In one example, the type and number of agents in the related time series data 60 may match the target agent in the query S.
  • At least one of the type and number of agents in the related time series data 60 may be different from the target agent in the query S.
  • the type and number of objects in the related time series data 60 may match the target object in the query S.
  • at least one of the type and number of objects in the related time series data 60 may be different from the target objects in the query S.
  • the related time series data 60 may be read as the matching time series data
  • the related feature vector 65 may be read as the matching feature vector.
  • the time series data 30 may be obtained from the same information source, or may be obtained from at least partially different information sources.
  • the type and number of information sources from which the time series data 30 is obtained may not be particularly limited and may be appropriately determined according to the embodiment.
  • the time series data 30 may be collected from various information sources.
  • accepting a query S may be configured by accepting multiple queries S.
  • the multiple queries S may be issued for a series of state transitions (e.g., a behavioral series).
  • Extracting the related feature vectors 65 may be configured by extracting multiple related feature vectors 65 that match each of the multiple queries S.
  • the information source of the time series data 30 (related time series data 60) associated with some of the related feature vectors 65 may be allowed to differ from the information source of the time series data 30 (related time series data 60) associated with the other related feature vectors 65.
  • search results in which time series data 30 obtained from different information sources are mixed may be obtained.
  • the different information sources may be constituted by at least partially different conditions under which the time series data 30 was obtained.
  • the different information sources may be constituted by different aspects of at least one of the agent K, the object L, and the environment. According to one example of the present embodiment, by allowing time series data 30 from different information sources to be mixed as search results, the time series data 30 becomes easier to search. As a result, it is expected that the reusability of the time series data 30 can be improved.
  • the time series data 30 may be collected in a scene where one or more agents K perform a task.
  • the task may be, for example, work, movement, etc.
  • the task may be, for example, assembly, cooking, cleaning, chemical experiments, etc.
  • the goal of the task may be given as appropriate.
  • the task may be transporting an object, guiding the movement of an object, etc.
  • Transporting an object may include, for example, transporting supplies at a disaster site, transporting equipment in a planetary exploration, etc.
  • Guiding the movement of an object by an agent may include, for example, a robotic device controlling the flow of people, a robotic device controlling the movement of livestock, etc.
  • a task (target task) that is the target of the search may be set in the query S.
  • the type of agent K in the time series data 30 extracted as a search result may match or may be different from the target agent in the target task of query S.
  • the type of one or more agents (agent K) in the related time series data 60 may be allowed to differ from the type of one or more target agents in the target task of query S.
  • time series data 30 of an agent of a type different from the target agent set in query S may be extracted as a search result for query S.
  • the number of agents K in the time series data 30 extracted as a search result may match the target agents in the target task of query S, or may be different.
  • the number of agents (agents K) in the related time series data 60 may be allowed to differ from the number of target agents in the target task of query S.
  • time series data 30 of a number of agents different from the number of target agents in query S may be extracted as a search result for query S.
  • the task performed by agent K in the time series data 30 extracted as a search result may match or may differ from the target task in query S.
  • the task performed by one or more agents (agent K) in the related time series data 60 may be allowed to differ from the target task in query S.
  • time series data 30 of a scene in which a task different from the target task set in query S is performed may be extracted as a search result for query S.
  • a query aimed at obtaining time series data showing the operation of a group of robotic devices may extract time series data showing the operation of a flock of living organisms such as fish or birds as a search result.
  • the operation of the flock of living organisms may be diverted to the operation of a group of robotic devices.
  • a query aimed at obtaining time series data showing the operation of a robotic device that guides a flock of livestock may extract time series data showing the operation of a sheepdog that guides a flock of sheep as a search result.
  • the operation of the sheepdog may be diverted to the operation of a robotic device. Operation in virtual space may be diverted to real space, and operation in real space may be diverted to virtual space.
  • the time series data 30 becomes easier to search, as in the above example. As a result, it is expected that the reusability of the time series data 30 will be improved.
  • the system according to the present embodiment may search the time series data 30 for any purpose.
  • the time series data 30 may be searched to obtain data to be used in machine learning such as imitation learning and offline reinforcement learning.
  • the time series data 30 may be searched to refer to actions similar to a desired action, such as to obtain reference actions of cleaning patterns of multiple cleaning robots.
  • the provided time series data 30 (related time series data 60) may be used as is, or may be used after processing such as data expansion is applied.
  • the scale (e.g., time scale, spatial scale, etc.) of the provided time series data 30 may be changed to expand the data, thereby generating new time series data.
  • the change in scale may include at least one of scaling up (e.g., stretching, enlarging) and scaling down (e.g., contracting, reducing).
  • the change in scale may include applying different modification processes to each part, such as scaling up a part and scaling down the rest.
  • the generated new time series data may be used together with the provided time series data 30, or only the generated new time series data may be used.
  • the change in scale of this time series data 30 may be performed in at least one of the requester U's computer, the external computer, and the information providing device 2.
  • the requester U's computer may change the scale of the time series data 30 received from the information providing device 2, and use the changed time series data 30 together with the time series data 30 in the original scale for the target information processing.
  • the requester U's computer may change the scale of the time series data 30 to suit the target information processing, and use only the changed time series data 30 for the target information processing.
  • the requester U's computer may also generate multiple pieces of time series data 30 by applying different scale changes to each piece, and use the generated multiple pieces of time series data 30 for the target information processing.
  • the information providing device 2 may change the scale of the time series data 30 (related time series data 60). That is, returning the time series data 30 to the requester U as the related time series data 60 may include changing the scale of the related time series data 60 and returning the changed related time series data 60 to the requester U.
  • the information providing device 2 may change the scale of the searched time series data 30 (related time series data 60) and return the changed time series data 30 to the requester U together with the time series data 30 in the original scale.
  • the information providing device 2 may return only the changed time series data 30 to the requester U.
  • the information providing device 2 may also generate multiple pieces of time series data 30 by applying different scale changes to each piece, and return the generated multiple pieces of time series data 30 to the requester U. This is expected to improve convenience by increasing the amount of data provided.
  • the scale change may be performed at a timing other than the timing of collecting the above data and the timing of providing the data.
  • the scale change may be performed at the timing of generating the query S. That is, the query S may be generated by encoding the time series data of the target with the encoder 5, and the scale of the time series data of the target may be changed as appropriate.
  • This scale change may be performed in at least one of the computer of the requester U, the external computer, and the information providing device 2.
  • the change in scale in the query S may be performed in the computer of the requester U. That is, for the query S acquired by the information providing device 2, the scale of the target time series data may be changed by the requester U.
  • the computer of the requester U may send both the query S in the original scale and the query S with the changed scale to the information providing device 2 and request a search with each query S.
  • the computer of the requester U may request a search only with the query S with the changed scale.
  • the computer of the requester U may generate multiple queries S by applying different scale changes to each of them and request a search with each query S. This can be expected to increase the search precision and improve convenience by increasing the amount of data provided.
  • the change in scale in the query S may be performed in the information providing device 2. That is, in the information providing device 2, receiving the query S from the requester U may include receiving the target time series data from the requester U, changing the scale of the target time series data, and generating the query S by encoding the changed target time series data with the encoder 5.
  • the information providing device 2 may perform a search using both the query S with the original scale and the query S with the changed scale, and return the matched related time series data 60 to the requester U.
  • the information providing device 2 may perform a search using only the changed query S, and return the matched related time series data 60 to the requester U.
  • the information providing device 2 may generate multiple queries S by applying different scale changes to each of them, and may perform a search using each query S. This can be expected to increase the search precision and improve convenience by increasing the amount of data provided.
  • the change in scale in the query S and the change in scale in the time series data 30 to be provided may be performed either alone or both.
  • the computer of the requester U, the external computer, and the information providing device 2 may freely change the scale in the query S and the related time series data 60.
  • the computer of the requester U or the information providing device 2 may change the scale in the query S, and a search may be performed using the changed query S. If a feature vector 35 matching the query S is not extracted in the search, the scale in the query S may be further changed, and a search may be performed again using the changed query S. This change in scale and search may be repeated until a feature vector 35 matching the query S is extracted.
  • the computer of the requester U or the information providing device 2 may change the scale inversely to the change in scale applied in the query S (i.e., a change to return the scale to the original). This increases the probability of providing time series data 30 (related time series data 60) that is on the same scale as the target time series data, which is expected to improve convenience.
  • the information collecting device 1, the database R, and the information providing device 2 may be connected to each other via a network.
  • the information providing device 2 and the computer of the requester U may also be connected to each other via a network.
  • the type of network may be appropriately selected from, for example, the Internet, a wireless communication network, a mobile communication network, a telephone network, a dedicated network, and the like.
  • the method of data exchange between each device is not limited to such an example, and may be appropriately selected depending on the embodiment.
  • the database R may be stored in any storage area accessible from the information collecting device 1 and the information providing device 2.
  • the database R may be located in an internal storage area of at least one of the information collecting device 1 and the information providing device 2, or may be located in an external storage area of the information collecting device 1 and the information providing device 2.
  • the internal storage area may be a memory resource of at least one of the information collecting device 1 and the information providing device 2.
  • the external storage area may be a memory resource of an external computer, such as a NAS (Network Attached Storage).
  • Storing the feature vector 35 by the information collecting device 1 in the database R may include the information collecting device 1 directly storing the feature vector 35 in the database R and storing it indirectly via an external computer. Storing it indirectly may include giving an instruction to cause the external computer to store the feature vector 35.
  • the time series data 30 may be stored in any storage area as long as it can be read from the corresponding feature vector 35.
  • the time series data 30 may be stored in the database R together with the feature vector 35, or may be stored in a database separate from the database R.
  • the time series data 30 may be appropriately stored in any storage area accessible from the information collection device 1 and the information provision device 2.
  • the database that stores the time series data 30 may be arranged in an internal storage area of at least one of the information collection device 1 and the information provision device 2, or may be arranged in an external storage area of the information collection device 1 and the information provision device 2.
  • the data format of the database R is not particularly limited and may be appropriately selected depending on the embodiment.
  • the data format may include, for example, a table format, a distributed ledger format, etc. The same applies to the database that stores the time series data 30.
  • the information collection device 1 and the information provision device 2 may be separate computers.
  • the information collection device 1 and the information provision device 2 may be configured as an integrated computer.
  • one or more computers may operate as the information collection device 1 and the information provision device 2.
  • At least one of the information collection device 1 and the information provision device 2 may be configured as multiple computers.
  • FIG. 5 is a schematic diagram illustrating an example of a hardware configuration of the information collection device 1 according to the present embodiment.
  • the information collection device 1 according to the present embodiment is a computer to which a control unit 11, a storage unit 12, an external interface 13, an input device 14, an output device 15, and a drive 16 are electrically connected.
  • the control unit 11 includes a hardware processor such as a CPU (Central Processing Unit), a RAM (Random Access Memory), and a ROM (Read Only Memory), and is configured to execute information processing based on programs and various data.
  • the control unit 11 (CPU) is an example of a processor resource.
  • the memory unit 12 may be configured, for example, as a hard disk drive, a solid state drive, etc.
  • the memory unit 12, the RAM, and the ROM are examples of memory resources.
  • the memory unit 12 stores various information such as a program 81, encoder data 500, etc.
  • the program 81 is a program for causing the information collecting device 1 to execute information processing (see FIG. 9 described below) related to the collection of time series data 30.
  • the program 81 includes a series of instructions for the information processing.
  • the encoder data 500 indicates information related to the encoder 5.
  • the configuration of the encoder data 500 is not particularly limited and may be appropriately determined according to the embodiment.
  • the encoder data 500 may include information indicating values of calculation parameters adjusted by machine learning.
  • the encoder data 500 may further include information indicating the configuration of the machine learning model (e.g., the structure of a neural network, etc.).
  • the encoder data 500 may be incorporated into the program 81.
  • the external interface 13 is configured to connect to an external device via a wired or wireless connection.
  • the external interface 13 may be, for example, a Universal Serial Bus (USB) port, a communication port, a dedicated port, etc.
  • USB Universal Serial Bus
  • the type and number of the external interfaces 13 may be determined appropriately depending on the embodiment. If the external interface 13 includes a communication port, the communication standard of the communication port may be selected arbitrarily.
  • the information collection device 1 may be connected to the database R via the external interface 13.
  • the input device 14 is, for example, a device for inputting data such as a mouse or keyboard.
  • the output device 15 is, for example, a device for outputting data such as a display or speaker. An operator can operate the information collection device 1 by using the input device 14 and the output device 15.
  • the input device 14 and the output device 15 may be connected via the external interface 13.
  • the input device 14 and the output device 15 may be integrated into one device such as a touch panel display.
  • the drive 16 is a device for reading various information such as a program stored in the storage medium 91. At least one of the above program 81 and the encoder data 500 may be stored in the storage medium 91 instead of or together with the storage unit 12.
  • the storage medium 91 is configured to store various information (stored programs, etc.) by electrical, magnetic, optical, mechanical, or chemical action so that a machine such as a computer can read the information.
  • the information collection device 1 may acquire at least one of the above program 81 and the encoder data 500 from the storage medium 91.
  • the storage medium 91 may be a disk-type storage medium such as a CD or DVD, or may be a non-disk type storage medium such as a semiconductor memory (e.g., a flash memory).
  • the type of the drive 16 may be appropriately selected depending on the type of the storage medium 91.
  • the drive 16 may be connected via an external interface 13.
  • the control unit 11 may include multiple hardware processors.
  • the hardware processor may be configured with a microprocessor, a field-programmable gate array (FPGA), a digital signal processor (DSP), a graphics processing unit (GPU), an application specific integrated circuit (ASIC), or the like.
  • the storage unit 12 may be configured with a RAM and a ROM included in the control unit 11. At least one of the external interface 13, the input device 14, the output device 15, and the drive 16 may be omitted.
  • the information collection device 1 may be configured with multiple computers. In this case, the hardware configuration of each computer may or may not be the same.
  • the information collection device 1 may be an information processing device designed specifically for the service provided, as well as a general-purpose server device, a general-purpose PC, a tablet PC, a mobile device, a terminal device, or the like.
  • FIG. 6 is a schematic diagram showing an example of a hardware configuration of the information providing device 2 according to the present embodiment.
  • the information providing device 2 according to the present embodiment is a computer in which a control unit 21, a storage unit 22, an external interface 23, an input device 24, an output device 25, and a drive 26 are electrically connected.
  • the control unit 21 to the drive 26 and the storage medium 92 of the information providing device 2 may be configured similarly to the control unit 11 to the drive 16 and the storage medium 91 of the information collecting device 1.
  • the control unit 21 (CPU) is an example of a processor resource of the information providing device 2
  • the storage unit 22 (and RAM, ROM) is an example of a memory resource of the information providing device 2.
  • the storage unit 22 stores various information such as the program 82.
  • the program 82 is a program for causing the information providing device 2 to execute information processing (see FIG. 10 described below) related to the provision of time series data 30.
  • the program 82 includes a series of instructions for the information processing.
  • the program 82 may be stored in the storage medium 92 instead of or together with the storage unit 22.
  • the information providing device 2 may acquire the program 82 from the storage medium 92.
  • the encoder data 500 may be stored in at least one of the storage unit 22 and the storage medium 92.
  • the information providing device 2 may be connected to the database R via an external interface 23. Furthermore, if the computer of the requester U is an external computer, the information providing device 2 may perform data communication with the computer of the requester U via the external interface 23.
  • the information providing device 2 may be equipped with multiple external interfaces 23, and different external interfaces 23 may be used to connect the database R and the computer of the requester U. An operator can operate the information providing device 2 by using the input device 24 and output device 25.
  • the control unit 21 may include multiple hardware processors.
  • the hardware processor may be configured with a microprocessor, FPGA, DSP, GPU, ASIC, etc. At least one of the external interface 23, the input device 24, the output device 25, and the drive 26 may be omitted.
  • the information providing device 2 may be configured with multiple computers. In this case, the hardware configuration of each computer may or may not be the same.
  • the information providing device 2 may be an information processing device designed specifically for the service provided, as well as a general-purpose server device, a general-purpose PC, a tablet PC, a mobile device, a terminal device, etc.
  • [Software configuration] (Information gathering device) 7 illustrates an example of a software configuration of the information collecting device 1 according to the present embodiment.
  • the control unit 11 of the information collecting device 1 expands the program 81 stored in the storage unit 12 into the RAM, and executes the instructions included in the program 81 by the CPU.
  • the information collecting device 1 operates as a computer including a data acquiring unit 111, a converting unit 112, and a saving processing unit 113 as software modules. That is, in the present embodiment, each software module of the information collecting device 1 is realized by the control unit 11 (CPU).
  • the data acquisition unit 111 is configured to acquire time series data 30 indicating state transitions of one or more agents K.
  • the conversion unit 112 includes an encoder 5 configured to hold encoder data 500 and to encode the data by incorporating information on multiple points in time.
  • the conversion unit 112 is configured to convert the acquired time series data 30 into a feature vector 35 using the encoder 5.
  • the storage processing unit 113 is configured to associate the acquired feature vector 35 with the time series data 30 and store it in the database R.
  • (Information providing device) 8 illustrates an example of a software configuration of the information providing device 2 according to this embodiment.
  • the control unit 21 of the information providing device 2 loads a program 82 stored in the storage unit 22 into the RAM, and executes instructions included in the program 82 using the CPU.
  • the information providing device 2 operates as a computer including a receiving unit 211, an extracting unit 212, and a responding unit 213 as software modules. That is, in this embodiment, each software module of the information providing device 2 is realized by the control unit 21 (CPU).
  • the reception unit 211 is configured to receive a query S for the database R from the requester U.
  • the reception unit 211 may include the encoder 5 by holding encoder data 500.
  • the extraction unit 212 is configured to extract a feature vector 35 that matches the query S from the database R as an associated feature vector 65.
  • the response unit 213 is configured to return the time series data 30 associated with the extracted associated feature vector 65 to the requester U as associated time series data 60.
  • each software module of the information collecting device 1 and the information providing device 2 is realized by a general-purpose CPU.
  • some or all of the above software modules may be realized by one or more dedicated processors or chipsets.
  • Each of the above modules may be realized as a hardware module.
  • modules may be omitted, replaced, or added as appropriate depending on the embodiment.
  • FIG. 9 is a flowchart showing an example of a processing procedure of the information collecting device 1 according to the present embodiment.
  • the following processing procedure is an example of an information collecting method executed by a computer.
  • the following processing procedure of the information collecting device 1 is merely an example, and each step may be changed as much as possible.
  • steps may be omitted, replaced, or added to the following processing procedure as appropriate depending on the embodiment.
  • Step S101 the control unit 11 operates as the data acquisition unit 111 and acquires the time-series data 30 indicating the state transitions of one or more agents K.
  • control unit 11 may acquire the time series data 30 by a method such as manual generation, automatic generation by a computer, observation by a sensor, data expansion, etc.
  • the control unit 11 may acquire the time series data 30 by an operator's input or by executing information processing.
  • the control unit 11 may acquire the time series data 30 from a sensor or an external computer.
  • the control unit 11 may acquire time series data 30 indicating state transitions of multiple agents K.
  • the control unit 11 may acquire time series data 30 indicating state transitions of one or more agents K and one or more objects L.
  • the control unit 11 may acquire time series data 30 including at least one of trajectory data and video data.
  • control unit 11 may further acquire at least one of attribute information 31 of one or more agents K, attribute information 32 of one or more objects L, and environmental information 33 related to the environment in which the one or more agents K exist.
  • the order in which the information is acquired is not particularly limited and may be determined appropriately depending on the embodiment. After acquiring the time series data 30, the control unit 11 proceeds to the next step S102.
  • Step S102 the control unit 11 operates as the conversion unit 112 and converts the acquired time-series data 30 into a feature vector 35 using the encoder 5.
  • control unit 11 inputs the time series data 30 to the encoder 5 and executes the arithmetic processing of the encoder 5. Through this conversion (encoding) processing, the control unit 11 acquires a feature vector 35.
  • the encoder 5 is configured to perform encoding so as to incorporate information of multiple times. In one example, the encoder 5 may be configured to perform encoding so as to incorporate information of multiple times by being trained to predict future states. In one example, the encoder 5 may be configured to perform encoding so as to incorporate information of multiple times and spaces.
  • the control unit 11 may input at least one of the acquired attribute information (31, 32) and the environmental information 33 together with the time series data 30 to the encoder 5, and execute the calculation process of the encoder 5. As a result, the control unit 11 may use the encoder 5 to convert the time series data 30 and at least one of the attribute information (31, 32) and the environmental information 33 into a feature vector 35. At least one of the attribute information (31, 32) and the environmental information 33 may be reflected in the feature vector 35 obtained by this encoding. After acquiring the feature vector 35, the control unit 11 proceeds to the next step S103.
  • Step S103 the control unit 11 operates as the storage processing unit 113, and stores the obtained feature vector 35 in the database R in association with the time series data 30.
  • the control unit 11 may store the feature vector 35 and the time series data 30 in association with each other in the database R.
  • the control unit 11 may store the feature vector 35 in the database R, and store the time series data 30 associated with the feature vector 35 in another database.
  • control unit 11 ends the processing procedure of the information collection device 1 according to this operation example.
  • the control unit 11 may accumulate the time series data 30 and the feature vectors 35 by executing the processing of steps S101 to S103 each time time series data 30 is obtained.
  • [Information providing device] 10 is a flowchart showing an example of a processing procedure of the information providing device 2 according to this embodiment.
  • the following processing procedure is an example of an information providing method executed by a computer.
  • the following processing procedure of the information providing device 2 is merely an example, and each step may be changed as much as possible.
  • steps may be omitted, replaced, or added to the following processing procedure as appropriate depending on the embodiment.
  • Step S201 the control unit 21 operates as the reception unit 211 and receives a query S for a database R from a request source U.
  • the query S may be generated from the time series data of the target.
  • the time series data of the target may be obtained by a method such as manual generation, automatic generation by a computer, observation by a sensor, data expansion, etc.
  • the conversion from the time series data to the query S i.e., generation of the query S
  • the requester U's computer may generate the query S from the time series data of the target, and the control unit 21 may receive the generated query S from the requester U's computer.
  • the control unit 21 may receive the query S from an external computer.
  • the requester U's computer or the information providing device 2 may provide the target's time series data to the external computer.
  • the control unit 21 may receive the target's time series data from the requester U's computer, and obtain the query S by encoding the time series data using the encoder 5.
  • the scale of the target time series data may be changed in at least one of the requester U's computer, the external computer, and the information providing device 2. Upon receiving the query S, the control unit 21 proceeds to the next step S202.
  • Step S202 the control unit 21 operates as the extraction unit 212 and extracts the feature vector 35 that matches the query S from the database R as the related feature vector 65.
  • control unit 21 may extract feature vectors 35 that match the query S or exist in the vicinity of the query S from the database R.
  • the method for searching the vicinity range is not particularly limited and may be selected appropriately depending on the embodiment.
  • a publicly known method may be used as the method for searching the vicinity range.
  • the number of items to be extracted is not particularly limited and may be determined appropriately depending on the embodiment.
  • control unit 21 ends the processing procedure of the information providing device 2 according to this operation example.
  • the control unit 21 may return a notification to the requester U indicating that a matching time series data 30 does not exist.
  • an associated feature vector 65 is extracted. After extracting the associated feature vector 65, the control unit 21 proceeds to the next step S203.
  • Step S203 the control unit 21 operates as the response unit 213 and acquires the time series data 30 associated with the extracted associated feature vector 65 as associated time series data 60.
  • the control unit 21 may acquire the associated time series data 60 from the database R.
  • the control unit 21 may acquire the associated time series data 60 from the other database. The control unit 21 may return the acquired associated time series data 60 to the request source U.
  • the control unit 21 may receive a plurality of queries S in step S201, and may extract a related feature vector 65 that matches each query S in step S202. In this case, a search result in which time series data 30 obtained from different information sources is mixed may be obtained. In step S203, the control unit 21 may return to the requester U a search result in which related time series data 60 obtained from different information sources is mixed. In one example, differences in at least one of the type, number, and task of agents may be allowed between the query S and the search result. Accordingly, in step S203, the control unit 21 may return to the requester U a search result in which at least one of the type, number, and task of agents differs from that of the query S. In one example, the scale of the related time series data 60 provided may be changed in at least one of the computer of the requester U, the external computer, and the information providing device 2.
  • control unit 21 ends the processing procedure of the information providing device 2 according to this operation example.
  • the control unit 21 may execute the processes of steps S201 to S203 to provide the requester U with the time series data 30 that matches the query S as the related time series data 60.
  • step S103 information on a plurality of times included in the time series data 30 is woven into the feature vector 35 by encoding by the encoder 5 in step S102.
  • step S103 the feature vector 35 obtained by the conversion is stored in association with the time series data 30.
  • the feature vector 35 is used as meta information in the search by the process of step S202, so that the sequence of state transitions can be taken into consideration in the search.
  • step S203 extraction of appropriate time series data 30 for the sequence to be searched can be expected. Therefore, according to the information collecting device 1 according to the present embodiment, improvement in the accuracy of extracting the time series data 30 can be expected. Furthermore, according to the information providing device 2 according to the present embodiment, implementation of highly accurate extraction of such time series data 30 and provision of suitable time series data 30 can be expected.
  • At least one of the computer of the requester U, the external computer, and the information providing device 2 may use an inference model to generate time-series data of the query S or the target from an instruction in natural language.
  • the instruction in natural language may be given by the requester U in any method such as text input, voice input, image input, etc.
  • a trained machine learning model may be used as the inference model.
  • the configuration of the machine learning model is not particularly limited and may be appropriately selected depending on the embodiment.
  • the machine learning model (inference model) may be appropriately trained to acquire the ability to perform such inference.
  • the inference model may be a trained machine learning model capable of in-context learning, i.e., acquiring the ability to make certain inferences through the context of input (prompts), e.g., input/output samples.
  • the inference model may be, for example, a large language model (LLM), a large vision-language model (LVLM), etc.
  • the large vision-language model may include a visual question answering model, an open vocabulary object detection model, an open vocabulary object segmentation model, etc.
  • the inference model may be a large language model combined with one or more other modalities (e.g., sound), e.g., Audio Question Answering.
  • the inference model may be a large model of one or more other modalities other than language, e.g., a Large Audio Model.
  • the data format of the input to the inference model is not particularly limited and may be selected appropriately depending on the embodiment.
  • an input/output sample consisting of a combination of a natural language instruction and a query S or time-series data may be provided to the inference model before or when an instruction in natural language is provided. This may encourage in-context learning in the inference model and improve the accuracy of inference.
  • the generated time series data may be appropriately converted into a query S by the encoder 5.
  • the query S can be generated based on an instruction in natural language.
  • the processes of steps S201 to S203 may be automatically executed.
  • This allows a search result of the related time-series data 60 to be obtained from an instruction in natural language.
  • re-prompting may be performed in any manner depending on whether the search result is appropriate. This makes it easier to obtain appropriate search results by correcting the search result.
  • management information such as owner information and deadline information
  • the management information may be obtained as appropriate depending on the embodiment.
  • the management information may be used to manage the time series data 30, such as to confirm the owner and specify the storage deadline.
  • an encoder network composed of an encoder-decoder type Transformer was prepared.
  • the encoder and decoder were set to two layers.
  • the embedding dimension of the encoder i.e., the dimension of the feature vector
  • a trained encoder network was generated by performing supervised learning of the encoder network using a dataset composed of a combination of past trajectories and future trajectories.
  • a feature vector was generated by encoding the time series data for learning using the encoder in the generated trained encoder network.
  • a database was constructed by associating the generated feature vector with the time series data.
  • a query was generated by encoding the time series data for the query using an encoder. Using the generated query, a search similar to steps S202 and S203 of the information providing device 2 was performed. As a result, 5,000 pieces of time series data were extracted from the 30,000 pieces of time series data. The time series data for the query was added to the extracted 5,000 pieces of time series data, and 5,500 pieces of time series data were set as the target for imitation learning.
  • the time series data for queries 500 items was set as the target of imitation learning.
  • the time series data for learning 30,000 items was set as the target of imitation learning.
  • the time series data for queries was used as is as a query by comparing the time series data, and 5,000 items of time series data were extracted from the 30,000 items of time series data. Euclidean distance was used as the comparison index.
  • the time series data for queries was added to the extracted 5,000 items of time series data, and 5,500 items of time series data were set as the target of imitation learning.
  • FIG. 11 shows the experimental results of the example and each comparative example. As shown in FIG. 11, the experimental example was able to obtain a strategy with a higher success rate than each comparative example. From this result, it was found that the above embodiment can extract time series data suitable for imitation learning. In other words, it was found that the above embodiment can improve the accuracy of extracting suitable time series data. This demonstrates the usefulness of the above embodiment.
  • An information collection device (1) including a control unit (11), The control unit (11) acquiring time series data (30) indicative of state transitions of one or more agents (K); converting the acquired time series data (30) into a feature vector (35) using an encoder (5) configured to encode the data by incorporating information on a plurality of times; and storing the obtained feature vector (35) in a database (R) in association with the time series data (30); configured to execute Information gathering device (1).
  • the time series data (30) is configured to indicate state transitions of a plurality of the agents (K); 2.
  • the encoder (5) is configured to encode information of a plurality of times by being trained to predict a future state of one or more agents (K) from their state transitions.
  • the information collecting device (1) according to claim 1 or 2.
  • the time series data (30) includes trajectory data. 4.
  • the time series data (30) includes video image data. 5.
  • the control unit (11) is further configured to acquire attribute information (31) of the one or more agents (K); Converting the acquired time series data (30) into a feature vector (35) is configured by converting the acquired time series data (30) and the attribute information (31) of the one or more agents (K) into a feature vector (35).
  • An information collecting device (1) according to any one of Supplementary Note 1 to Supplementary Note 5.
  • the time series data (30) is further configured to indicate state transitions of one or more objects; 7.
  • the control unit (11) is further configured to acquire attribute information (32) of the one or more objects; Converting the acquired time series data (30) into a feature vector (35) comprises converting the acquired time series data (30) and the attribute information (32) of the one or more objects into a feature vector (35).
  • the information collecting device (1) according to appendix 7.
  • the control unit (11) is further configured to acquire environmental information (33) regarding an environment in which the one or more agents (K) exist; Converting the acquired time series data (30) into a feature vector (35) comprises converting the acquired time series data (30) and the environmental information (33) into a feature vector (35).
  • An information collecting device (1) according to any one of Supplementary Note 1 to Supplementary Note 8.
  • the agent (K) is a robotic device or a living organism. 10.
  • An information collecting device (1) according to any one of Supplementary Note 1 to Supplementary Note 9.
  • An information providing device (2) connected to a database (R) that stores feature vectors (35) associated with time-series data (30), and comprising a control unit (21),
  • the time series data (30) indicates state transitions of one or more agents (K);
  • the feature vector (35) is obtained by converting the time series data (30) using an encoder (5) configured to encode information of a plurality of times.
  • the control unit (21) receiving a query (S) for the database (R) from a requester (U); extracting a feature vector (35) that matches the query (S) from the database (R) as a related feature vector (65); and returning time series data (30) associated with the extracted related feature vector (65) to a request source (U) as related time series data (60). configured to execute Information providing device (2).
  • accepting the query (S) comprises accepting a plurality of the queries (S); Extracting the relevant feature vectors (65) comprises extracting a plurality of relevant feature vectors (65) that match each of the plurality of queries (S); For the plurality of extracted related feature vectors (65), the information source of the time series data (30) associated with some of the related feature vectors (65) is allowed to be different from the information source of the time series data (30) associated with the other related feature vectors (65). 12. The information providing device (2) according to claim 11. [Appendix 13] For the extracted feature vector (35), the type of the one or more agents in the related time-series data (60) is allowed to be different from the type of one or more target agents in the task targeted by the query (S); 13.
  • An information providing device (2) according to claim 11 or 12.
  • the query (S) is generated by encoding target time series data with the encoder (5); The scale of the time series data of the target is changed by the request source (U); 14.
  • Receiving the query (S) from the request source (U) Receiving time series data of a target from the request source (U); rescaling the target time series data; and encoding the rescaled target time series data with the encoder (5) to generate the query (S); Including, 15.
  • An information providing device according to any one of claims 11 to 14.
  • [Appendix 16] Returning the time series data (30) to the request source (U) as related time series data (60) changing the scale of the related time series data (60); and returning the changed related time series data (60) to the request source (U); Including, 16.
  • An information providing device according to any one of claims 11 to 15.
  • [Appendix 17] A computer (1), acquiring time series data (30) indicative of state transitions of one or more agents (K); converting the acquired time series data (30) into a feature vector (35) using an encoder (5) configured to encode the data by incorporating information on a plurality of times; and storing the obtained feature vector (35) in a database (R) in association with the time series data (30); Execute How information is collected.
  • the time series data (30) indicates state transitions of one or more agents (K);
  • the feature vector (35) is obtained by converting the time series data (30) using an encoder (5) configured to encode information of a plurality of times.
  • the computer (2) receiving a query (S) for the database (R) from a requester (U); extracting a feature vector (35) that matches the query (S) from the database (R) as a related feature vector (65); and returning time series data (30) associated with the extracted related feature vector (65) to a request source (U) as related time series data (60).
  • Execute Information provision method comprising the steps of:
  • the time series data (30) indicates state transitions of one or more agents (K);
  • the feature vector (35) is obtained by converting the time series data (30) using an encoder (5) configured to encode information of a plurality of times.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本発明の一側面に係る情報収集装置は、１以上のエージェントの状態遷移を示す時系列データを取得し、複数の時刻の情報を織り込んで符号化するように構成されたエンコーダを用いて、取得された時系列データを特徴ベクトルに変換し、得られた特徴ベクトルを時系列データと関連付けてデータベースに保存する。情報提供装置は、依頼元からクエリを受け付け、クエリに適合する特徴ベクトルを関連特徴ベクトルとしてデータベースから抽出し、抽出された関連特徴ベクトルに関連付けられた時系列データを関連時系列データとして依頼元に返す。

Description

情報収集装置、情報提供装置、情報収集方法及び情報提供方法
　本発明は、情報収集装置、情報提供装置、情報収集方法及び情報提供方法に関する。
　近年、ロボット装置の制御モデルを機械学習により生成する様々な手法が開発されている。その機械学習では、事前に収集されたデータを用いることがある。例えば、模倣学習では、事前に収集されたデモンストレーションデータ（教示データ）を用いて、方策の学習が行われる。また、例えば、強化学習において、事前に収集されたデータをエピソードとして用いることがある。その他、教師あり学習及び教師なし学習でも、事前に収集されたデータを用いて、モデルの学習が行われる。しかしながら、このようなデータをタスク毎に個々に収集するのはコストがかかる。
　そこで、事前に大規模に収集されたデータから適合的なデータを選択し、選択されたデータを機械学習に用いる手法が検討されている。例えば、非特許文献１では、オフライン強化学習において、画像検索により得られるデータを用いる手法が提案されている。この方法によれば、データの再利用性が高まるため、対象環境又は対象タスクで新規なデータを収集するコストの低減を期待することができる。
Peter C. Humphreys et al., "Large-Scale Retrieval for Reinforcement Learning", [online], [令和５年１１月１７日検索], インターネット＜ＵＲＬ：https://arxiv.org/abs/2206.05314＞
　本件発明者らは、上記従来の方法には、次のような問題点があることを見出した。すなわち、ロボット装置の動作制御では、行動系列を考慮することになる。これに対して、従来の方法では、１時刻の画像データが検索の対象である。そのため、検索において、見た目の類似度しか参照されず、行動系列を考慮した検索が困難である。繰り返し検索を行い、得られたデータを時系列につなぎ合わせることで、行動系列に対応する時系列データを生成することは可能である。しかしながら、生成される時系列データは関連性の低いデータを含む可能性があるため、行動系列に対応する時系列データを抽出する精度は悪くなる可能性が高い。
　したがって、従来の方法では、ロボット装置の行動系列に対応する時系列データを精度よく抽出することが困難であった。なお、このような問題点が生じるのは、機械学習に用いるデータを検索する場面に限られない。時系列データを検索するあらゆる場面にこの問題点は生じ得る。例えば、ロボット装置の所望の動作に類似する動作を検索する等のデータを単に検索する場面でも、このような問題点は生じ得る。
　本発明は、一側面では、このような事情を鑑みてなされたものであり、その目的は、時系列データを抽出する精度の向上を図るための技術を提供することである。
　本発明は、上述した課題を解決するために、以下の構成を採用する。なお、以下の発明の構成は適宜組み合わせ可能である。
　本発明の一側面に係る情報収集装置は制御部を備える。前記制御部は、１以上のエージェントの状態遷移を示す時系列データを取得すること、複数の時刻の情報を織り込んで符号化するように構成されたエンコーダを用いて、取得された前記時系列データを特徴ベクトルに変換すること、及び得られた前記特徴ベクトルを前記時系列データと関連付けてデータベースに保存することを実行するように構成される。
　当該構成では、エンコーダにより、時系列データに含まれる複数の時刻の情報が特徴ベクトルに織り込まれる。生成された特徴ベクトルは、時系列データに関連付けられて保存される。この特徴ベクトルをメタ情報（タグ）として検索に用いることで、その検索において、状態遷移の系列を考慮することができ、これにより、検索対象の系列に対する適切な時系列データの抽出を期待することができる。したがって、当該構成によれば、１以上のエージェントの状態遷移を示す時系列データを抽出する精度の向上を期待することができる。
　上記一側面に係る情報収集装置において、前記時系列データは、複数の前記エージェントの状態遷移を示すように構成されてよく、前記エンコーダは、空間の情報を更に織り込んで符号化するように構成されてよい。上記従来の方法では、単一エージェントの画像データが検索対象である。そのため、検索において、環境全体の見た目の類似度しか参照されず、複数のエージェントの行動系列を考慮した検索が困難である。単一エージェントの画像データに対して繰り返し検索を行い、得られたデータを時系列につなぎ合わせることで、行動系列に対応する時系列データを生成することは可能である。しかしながら、生成される時系列データは関連性の低いデータを含む可能性があるため、行動系列に対応する時系列データを抽出する精度は悪くなる可能性が高く、複数エージェントの時系列データには適用が困難である。これに対して、当該構成によれば、複数のエージェントの時系列データを効率的に抽出することができる。
　上記一側面に係る情報収集装置において、前記エンコーダは、１以上のエージェントの状態遷移からその未来の状態を予測するように訓練されることで、複数の時刻の情報を織り込んで符号化するように構成されてよい。未来の状態はそれまでの複数の時刻の状態に関連するため、そのように訓練されたエンコーダは、複数の時刻の情報を特徴ベクトルに織り込む能力を適切に習得していることを期待することができる。したがって、当該構成によれば、そのようなエンコーダを用いることで、時系列データを適正に符号化することができ、得られた特徴ベクトルを用いることで、時系列データを抽出する精度の向上を期待することができる。
　上記一側面に係る情報収集装置において、前記時系列データは、軌跡データを含んでよい。当該構成によれば、軌跡データを検索する場面で、抽出精度の向上を期待することができる。
　上記一側面に係る情報収集装置において、前記時系列データは、動画像データを含んでよい。当該構成によれば、動画像データを検索する場面で、抽出精度の向上を期待することができる。
　上記一側面に係る情報収集装置において、前記制御部は、前記１以上のエージェントの属性情報を更に取得するように構成されてよい。取得された前記時系列データを特徴ベクトルに変換することは、取得された前記時系列データ及び前記１以上のエージェントの前記属性情報を特徴ベクトルに変換することにより構成されてよい。当該構成によれば、エージェントの属性情報を特徴ベクトルに更に織り込むことができる。これにより、エージェントの属性を更に考慮したデータの検索を行うことができるため、時系列データを抽出する精度の更なる向上を期待することができる。
　上記一側面に係る情報収集装置において、前記時系列データは、１以上のオブジェクトの状態遷移を更に示すように構成されてよく、前記エンコーダは、空間の情報を更に織り込んで符号化するように構成されてよい。当該構成によれば、オブジェクトの状態遷移（複数の時刻の情報）を特徴ベクトルに更に織り込むことができる。これにより、オブジェクトの状態遷移を更に考慮したデータの検索を行うことができるため、時系列データを抽出する精度の更なる向上を期待することができる。
　上記一側面に係る情報収集装置において、前記制御部は、前記１以上のオブジェクトの属性情報を更に取得するように構成されてよい。取得された前記時系列データを特徴ベクトルに変換することは、取得された前記時系列データ及び前記１以上のオブジェクトの前記属性情報を特徴ベクトルに変換することにより構成されてよい。当該構成によれば、オブジェクトの属性情報を特徴ベクトルに更に織り込むことができる。これにより、オブジェクトの属性を更に考慮したデータの検索を行うことができるため、時系列データを抽出する精度の更なる向上を期待することができる。
　上記一側面に係る情報収集装置において、前記制御部は、前記１以上のエージェントの存在する環境に関する環境情報を更に取得するように構成されてよい。取得された前記時系列データを特徴ベクトルに変換することは、取得された前記時系列データ及び前記環境情報を特徴ベクトルに変換することにより構成されてよい。当該構成によれば、環境情報を特徴ベクトルに更に織り込むことができる。これにより、エージェントの存在する環境を更に考慮したデータの検索を行うことができるため、時系列データを抽出する精度の更なる向上を期待することができる。
　上記一側面に係る情報収集装置において、前記エージェントは、ロボット装置又は生物であってよい。当該構成によれば、ロボット装置又は生物の時系列データを検索する場面で、抽出精度の向上を期待することができる。なお、検索のクエリにおけるエージェント（対象エージェント）は、抽出される時系列データにおけるエージェントと必ずしも一致していなくてもよい。検索のクエリにおける対象エージェントは、抽出される時系列データにおけるエージェントと少なくとも部分的に一致していてもよいし、異なっていてもよい。
　また、本発明の形態は、上記情報収集に関する情報処理装置に限られなくてもよい。本発明の一側面は、収集された時系列データを提供する情報処理装置であってもよい。時系列データの提供は、例えば、機械学習での利用、類似する動作の参照等の任意の目的で行われてよい。
　例えば、本発明の一側面に係る情報提供装置は、時系列データと関連付けられた特徴ベクトルを記憶するデータベースに接続され、制御部を備える。前記時系列データは、１以上のエージェントの状態遷移を示すように構成される。前記特徴ベクトルは、複数の時刻の情報を織り込んで符号化するように構成されたエンコーダを用いて、前記時系列データを変換することで得られる。前記制御部は、前記データベースに対するクエリを依頼元から受け付けること、前記クエリに適合する特徴ベクトルを関連特徴ベクトルとして前記データベースから抽出すること、及び抽出された前記関連特徴ベクトルに関連付けられる時系列データを関連時系列データとして依頼元に返すことを実行するように構成される。当該構成によれば、対象の系列に適合する時系列データの高精度な抽出の実施及び適合的な時系列データの提供を期待することができる。
　上記一側面に係る情報提供装置において、前記クエリを受け付けることは、複数の前記クエリを受け付けることにより構成されてよく、前記関連特徴ベクトルを抽出することは、前記複数のクエリそれぞれにそれぞれ適合する複数の関連特徴ベクトルを抽出することにより構成されてよい。そして、抽出される前記複数の関連特徴ベクトルについて、一部の関連特徴ベクトルに関連付けられる時系列データの情報源が、その他の関連特徴ベクトルに関連付けられる時系列データの情報源と相違することが許容されてよい。当該構成によれば、時系列データの再利用性の向上を期待することができる。
　上記一側面に係る情報提供装置において、抽出される前記特徴ベクトルについて、前記関連時系列データにおける前記１以上のエージェントの種類が、前記クエリでターゲットとなるタスクにおける１以上の対象エージェントの種類と相違することが許容されてよい。当該構成によれば、時系列データの再利用性の向上を期待することができる。
　上記一側面に係る情報提供装置において、前記クエリは、ターゲットの時系列データを前記エンコーダで符号化することにより生成されたものであってよい。前記ターゲットの時系列データのスケールは前記依頼元で変更されてよい。当該構成によれば、検索の適合率を高め、利便性の向上を期待することができる。
　上記一側面に係る情報提供装置において、前記クエリを前記依頼元から受け取ることは、ターゲットの時系列データを前記依頼元から受け取ること、前記ターゲットの時系列データのスケールを変更すること、及び変更後の前記ターゲットの時系列データを前記エンコーダで符号化することで、前記クエリを生成することを含んでよい。当該構成によれば、検索の適合率を高め、利便性の向上を期待することができる。
　上記一側面に係る情報提供装置において、前記時系列データを関連時系列データとして依頼元に返すことは、前記関連時系列データのスケールを変更すること、及び変更後の前記関連時系列データを前記依頼元に返すことを含んでよい。当該構成によれば、利便性の向上を期待することができる。
　なお、本発明の形態は、上記情報処理装置（情報収集装置、情報提供装置）に限られなくてよい。上記各側面に係る情報処理装置の別の態様として、本発明の一側面は、上記各構成の全部又はその一部を実現する情報処理方法であってもよいし、プログラムであってもよいし、このようなプログラムを記憶した、コンピュータ等の機械が読み取り可能な記憶媒体であってもよい。コンピュータ等の機械が読み取り可能な記憶媒体とは、プログラム等の情報を、電気的、磁気的、光学的、機械的、又は化学的作用によって蓄積する媒体である。
　例えば、本発明の一側面に係る情報収集方法は、コンピュータが、１以上のエージェントの状態遷移を示す時系列データを取得すること、複数の時刻の情報を織り込んで符号化するように構成されたエンコーダを用いて、取得された前記時系列データを特徴ベクトルに変換すること、及び得られた前記特徴ベクトルを前記時系列データと関連付けてデータベースに保存することを実行する情報処理方法であってよい。
　また、例えば、本発明の一側面に係る情報提供方法は、時系列データと関連付けられた特徴ベクトルを記憶するデータベースに接続されるコンピュータによる情報処理方法であってよい。前記コンピュータは、前記データベースに対するクエリを依頼元から受け付けること、前記クエリに適合する特徴ベクトルを関連特徴ベクトルとして前記データベースから抽出すること、及び抽出された前記関連特徴ベクトルに関連付けられる時系列データを関連時系列データとして依頼元に返すことを実行してもよい。
　本発明によれば、時系列データを抽出する精度の向上を図ることができる。
図１は、本発明が適用される場面の一例を模式的に示す。 図２は、実施の形態に係るエンコーダの構成の一例を模式的に示す。 図３は、実施の形態に係る時系列データの構成の一例を模式的に示す。 図４は、実施の形態に係るエンコーダの入出力の一例を模式的に示す。 図５は、実施の形態に係る情報収集装置のハードウェア構成の一例を模式的に示す。 図６は、実施の形態に係る情報提供装置のハードウェア構成の一例を模式的に示す。 図７は、実施の形態に係る情報収集装置のソフトウェア構成の一例を模式的に示す。 図８は、実施の形態に係る情報提供装置のソフトウェア構成の一例を模式的に示す。 図９は、実施の形態に係る情報収集装置の処理手順の一例を示すフローチャートである。 図１０は、実施の形態に係る情報提供装置の処理手順の一例を示すフローチャートである。 図１１は、実施例及び比較例の実験結果を示す。
　以下、本発明の一側面に係る実施の形態（以下、「本実施形態」とも表記する）を、図面に基づいて説明する。ただし、以下で説明する本実施形態は、あらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良又は変形が行われてよい。本発明の実施にあたって、実施の形態に応じた具体的構成が適宜採用されてもよい。なお、本実施形態において登場するデータを自然言語により説明しているが、より具体的には、コンピュータが認識可能な疑似言語、コマンド、パラメータ、マシン語等で指定される。
　§１　適用例
　図１は、本発明が適用される場面の一例を模式的に示す。本実施形態に係るシステムは、情報収集装置１、データベースＲ及び情報提供装置２を備える。情報収集装置１は、時系列データ３０を収集するように構成された１台以上のコンピュータである。情報提供装置２は、依頼元ＵからのクエリＳに応じて、関連時系列データ６０（時系列データ３０）を提供するように構成された１台以上のコンピュータである。
　具体的に、本実施形態に係る情報収集装置１は、１以上のエージェントＫの状態遷移を示す時系列データ３０を取得する。情報収集装置１は、エンコーダ５を用いて、取得された時系列データ３０を特徴ベクトル３５に変換する（すなわち、符号化する）。エンコーダ５は、複数の時刻の情報を織り込んで符号化するように構成されている。情報収集装置１は、得られた特徴ベクトル３５を時系列データ３０と関連付けてデータベースＲに保存する。
　一方、本実施形態に係る情報提供装置２は、時系列データ３０と関連付けられた特徴ベクトル３５を記憶するデータベースＲに接続される。情報提供装置２は、データベースＲに対するクエリＳを依頼元Ｕから受け付ける。情報提供装置２は、クエリＳに適合する特徴ベクトル３５を関連特徴ベクトル６５としてデータベースＲから抽出する。情報提供装置２は、抽出された関連特徴ベクトル６５に関連付けられる時系列データ３０を関連時系列データ６０として依頼元Ｕに返す。
　以上のとおり、本実施形態では、エンコーダ５により、時系列データ３０に含まれる複数の時刻の情報が特徴ベクトル３５に織り込まれる。変換により得られる特徴ベクトル３５は、情報収集装置１により、時系列データ３０に関連付けられて保存される。情報提供装置２では、この特徴ベクトル３５をメタ情報（タグ）として検索に用いることで、その検索において、状態遷移の系列を考慮することができ、これにより、検索対象の系列に対する適切な時系列データ３０の抽出を期待することができる。したがって、本実施形態に係る情報収集装置１によれば、１以上のエージェントＫの状態遷移を示す時系列データ３０を抽出する精度の向上を期待することができる。本実施形態に係る情報提供装置２によれば、そのような時系列データ３０の高精度な抽出の実施及び適合的な時系列データ３０の提供を期待することができる。
　［エージェント］
　エージェントＫは、時系列データとして状態遷移を記録する対象である。エージェントＫの種類は、特に限られなくてよく、実施の形態に応じて適宜選択されてよい。エージェントＫは、状態遷移を追跡可能な任意のモノ（物）であってよい。一例では、エージェントＫは、ロボット装置又は生物であってもよい。ロボット装置は、特に限られなくてよく、実施の形態に応じて適宜選択されてよい。ロボット装置は、例えば、生産ラインにおける産業用ロボット、自律的に動作可能に構成された自律ロボット、移動可能に構成された移動体等であってよい。産業用ロボットは、例えば、垂直多関節ロボット、水平多関節ロボット（スカラロボット）、パラレルリンクロボット、直交ロボット等であってよい。自律ロボットは、例えば、人型ロボット、案内ロボット、農業用ロボット、介護用ロボット、セキュリティロボット、運搬ロボット等であってよい。自律処理の内容は、実施の形態に応じて適宜選択されてよい。移動体は、例えば、掃除ロボット、移動可能に構成された上記自律ロボット（モバイルロボットを含む）、自動運転可能に構成された車両、自動飛行可能な飛行体（ドローン等）等を含んでよい。生物は、人間であってもよいし、人間以外の他の生物であってもよい。生物の種類は、実施の形態に応じて適宜選択されてよい。エージェントＫは、例えば、鳥類、魚類、羊等の群れを形成する生物であってもよい。本実施形態の一例によれば、ロボット装置又は生物の時系列データ（時系列データ３０）を検索する場面で、抽出精度の向上を期待することができる。なお、エージェントＫは、実空間又は仮想空間の存在であってよい。
　エージェントＫの数は、特に限られなくてよく、実施の形態に応じて適宜選択されてよい。時系列データ３０は、複数のエージェントＫの状態遷移を示すように構成されてよい。上記従来の方法では、単一エージェントの画像データを検索対象としており、これを複数エージェントの検索に適用することは困難である。これに対して、本実施形態の一例によれば、複数のエージェントＫの時系列データ３０を効率的に抽出可能となる。なお、時系列データ３０に複数のエージェントＫが登場する場合、各エージェントＫの種類は、実施の形態に応じて適宜選択されてよい。全てのエージェントＫの種類は同一であってもよいし、少なくとも部分的に異なっていてもよい。また、時系列データ３０は、単一のエージェントＫの状態遷移を示すように構成されてもよい。収集される時系列データ３０の間で、エージェントＫの数は同一であってもよいし、少なくとも部分的に異なっていてもよい。
　［エンコーダ］
　エンコーダ５は、時系列データにおける複数の時刻の情報を織り込むよう符号化を行うように構成される。複数の時刻の情報を織り込むことは、時刻間の関連性を反映するように、複数の時刻の情報を一つのベクトルに組み入れる（例えば、統合する、集約する等）ことである。
　時系列データ３０が複数のエージェントＫの状態遷移を示すように構成される等、時系列データに複数のモノが登場する場合、エンコーダ５は、空間の情報を更に織り込んで符号化するように構成されてよい。空間の情報を織り込むとは、モノ間の関連性を反映するように、空間に存在する複数のモノの情報を一つのベクトルに組み入れることである。空間の情報は、実空間又は仮想空間におけるモノの状態に関する任意の情報を含んでよい。一例では、空間の情報は、モノの位置情報（例えば、座標値、画像情報等）を含んでよい。空間の情報は、モノの速度、姿勢（傾き）等の位置以外の他の情報を更に含んでよい。
　上記のような情報を織り込む演算処理を実行可能であれば、エンコーダ５の構成は、特に限られなくてよく、実施の形態に応じて適宜決定されてよい。典型的な一例では、エンコーダ５は、訓練済み機械学習モデルにより構成されてよい。機械学習モデルは、機械学習により調整可能な１つ以上の演算パラメータを有するように構成される。１つ以上の演算パラメータは、目的とする推論の演算に使用される。本実施形態では、目的とする推論は、時系列データから特徴ベクトルへの変換である。機械学習モデルは、例えば、ニューラルネットワーク、回帰モデル、決定木モデル、サポートベクタマシン、その他の関数式（演算モデル）等により構成されてよい。
　一例では、エンコーダ５は、ニューラルネットワークを含んでよい。ニューラルネットワークの構造は、特に限られなくてよく、実施の形態に応じて適宜決定されてよい。ニューラルネットワークの構造は、例えば、入力層から出力層までの層の数、各層の種類、各層に含まれるノード（ニューロン）の数、各層のノード同士の結合関係等により特定されてよい。一例では、ニューラルネットワークは、再帰構造、自己注意機構、交差注意機構等の任意の機構を含んでよい。また、ニューラルネットワークは、例えば、全結合層、畳み込み層、プーリング層、逆畳み込み層、アンプーリング層、正規化層、ドロップアウト層、LSTM（Long short-term memory）、GRU（Gated Recurrent Unit）等の任意の層を含んでよい。ニューラルネットワークは、diffusionモデル、transformerモデル、生成モデル等の任意のタイプのモデルを含んでよい。ニューラルネットワークに含まれる各ノード間の結合の重み及び各ノードの閾値が、演算パラメータの一例である。
　機械学習の方法は、例えば、採用する機械学習モデルの種類、構造等の実施の形態に応じて適宜選択されてよい（例えば、誤差逆伝播法等）。機械学習は、訓練サンプルを使用して、演算パラメータの値を調整（最適化）することである。典型的には、入力サンプル（訓練サンプル）及び真値（教師信号、ラベル）の組み合わせによりそれぞれ構成される複数のデータセットが収集されてよい。機械学習では、入力サンプルを与えることで機械学習モデルより得られる出力が対応する真値に適合するものとなるように、機械学習モデルの演算パラメータの値が調整されてよい。機械学習では、エンコーダ５を構成する機械学習モデル全体の演算パラメータの値が調整されてもよいし、一部の演算パラメータの値が調整されてもよい。また、例えば、オートエンコーダの機械学習等のように、エンコーダ５を構成する機械学習モデルは、他のモジュールと共に訓練されてもよい。
　一例では、エンコーダ５は、１以上のエージェントＫの状態遷移（時系列データ）からその未来の状態を予測するように訓練されることで、複数の時刻の情報を織り込んで符号化するように構成されてよい。この場合、エンコーダ５により得られる特徴ベクトル３５は、１以上のエージェントＫの未来の状態の予測結果（予測値）である。入力データにおける状態遷移のタイムステップ（時刻）数は、特に限られなくてよく、実施の形態に応じて適宜決定されてよい。入力データにおける状態遷移のタイムステップ数は、固定であってもよいし、可変であってもよい。また、予測の対象となる未来のタイムステップ（時刻）も、特に限られなくてよく、実施の形態に応じて適宜決定されてよい。予測対象の未来のタイムステップ数は１以上であってよい。すなわち、エンコーダ５は、１以上の未来の時刻におけるモノの状態を予測するように訓練されてよい。
　例えば、入力データにおける状態遷移のタイムステップ数がｎで与えられてよく、入力データにおける最後（最新）の状態から未来の状態までの間のタイムステップ数がｋで与えられてよく、予測対象の未来のタイムステップ数が１であってよい。この場合、エンコーダ５は、時刻ｔ－ｎ＋１～時刻ｔの状態（時系列データ）から時刻ｔ＋ｋの状態を予測するように訓練される。ｎは２以上であってよく、ｋは１以上であってよい。ｎ及びｋの各値は、実施の形態に応じて適宜決定されてよい。タイムステップの間隔は、サンプリング周期に対応する。タイムステップの間隔は、実施の形態に応じて適宜決定されてよい。
　この訓練を実施する場合、ｎ＋ｋ以上のタイムステップの状態遷移を含む時系列データが収集されてよい。機械学習に使用する時系列データは、任意の方法で収集されてよい。時系列データは、例えば、人手によるデモンストレーション、人手によりデザインされた制御、機械学習（強化学習）により得られた方策による自動制御、受動的なデータの記録、収集されたデータの混合、データの拡張（augmentation）等の方法で収集されてよい。人手でデザインされた制御は、何らかの制御アルゴリズムを使用することを含んでよい。機械学習により得られた方策による制御は、任意のタスクに対して実行されてよい。受動的なデータの記録は、例えば、ユーザのインタラクションの記録、ロボット装置の自律制御（例えば、車両の自律走行）の記録等を含んでよい。データの記録は、例えば、画像の撮影（録画）により行われてよい。データの混合は、同一の方法で収集されたデータ間で行われてもよいし、異なる方法で収集されたデータ間で行われてもよい。一例では、機械学習により複数の方策を生成し、各方策によるデモンストレーションから得られるデータを混合することで、時系列データが得られてよい。他の一例では、機械学習により得られた複数の方策が混合され、得られた方策により実行されたデモンストレーションから時系列データが得られてよい。複数の方策は、訓練のアルゴリズムが相違する、習熟度が相違する等により、性質の異なる方策（すなわち、異なる行動を選択する方策）を含んでいるのが好ましい。デモンストレーション及び制御は、実空間上で行われてもよいし、例えば、シミュレータ等の仮想空間上で行われてもよい。また、一例では、得られたデータのスケール（例えば、時間スケール、空間のスケール等）を変更することでデータ拡張し、これにより、データの件数を増やしてよい。スケールの変更は、スケールアップ（例えば、伸長、拡大）及びスケールダウン（例えば、収縮、縮小）の少なくともいずれかを含んでよい。スケールの変更は、一部をスケールアップし、残りをスケールダウンする等のように、部分毎に適用する変更処理が異なることを含んでもよい。その他、データの拡張の方法には、公知の方法が採用されてよい。
　得られた時系列データのうち、ｎステップ分のデータが訓練サンプルとして取得され、訓練サンプルからｋステップ先のデータが真値として取得されてよい。これにより、訓練サンプル及び真値で構成されるデータセットを得ることができる。時系列データの１サンプルから１以上のデータセットが取得されてよい。訓練サンプル及び真値の取得を繰り返すことで、複数のデータセットを収集することができる。収集された複数のデータセットを用いて、上記方法で訓練することで、エンコーダ５（訓練済み機械学習モデル）を生成することができる。
　未来の状態は、それまでの複数の時刻の状態に関連する。そのため、上記のように訓練されたエンコーダ５は、複数の時刻の情報特徴ベクトルに織り込む能力を適切に習得していることを期待することができる。したがって、本実施形態の一例によれば、このように訓練されたエンコーダ５を用いることで、時系列データ３０を適正に符号化することができる。そして、得られた特徴ベクトル３５を用いることで、時系列データ３０を抽出する精度の向上を期待することができる。なお、複数の時刻の情報を織り込む能力を獲得可能であれば、エンコーダ５を得る方法は、このような例に限られなくてよく、実施の形態に応じて適宜変更されてよい。他の一例では、エンコーダ５は、未来の状態を予測するのではなく、現在（時刻ｔ）の状態の入力を復元するように訓練されてもよい。
　（エンコーダの構成例）
　図２は、本実施形態に係るエンコーダ５の構成の一例を模式的に示す。図２の一例では、複数のエージェントＫが存在し、複数の時刻及び空間の情報を織り込むため、上記未来の状態を予測するように訓練されたエンコーダ５を用いる場面を想定している。具体的には、エンコーダ５は、時刻ｔ－ｎ＋１～時刻ｔの状態から未来（時刻ｔ＋１）の状態を予測するように訓練されている。ｋ＝１である。エンコーダ５により得られる特徴ベクトル３５は、各エージェントＫの時刻ｔ－ｎ＋１～時刻ｔの時系列データから算出される、各エージェントＫの時刻ｔ＋１における状態の予測値である。エンコーダ５の訓練には、時刻ｔ－ｎ＋１～時刻ｔの状態遷移を含む訓練サンプル及び時刻ｔ＋１における状態の真値４５の組み合わせによりそれぞれ構成される複数のデータセットが用いられてよい。ｋの値は、１以外に適宜変更されてよい。
　図２の一例では、複数の時刻及び空間の情報を織り込むため、エンコーダ５は、自己注意（self-attention）機構５１及び交差注意（cross-attention）機構５３を備えている。自己注意機構５１には、各時刻における各エージェントＫの情報が入力される。自己注意機構５１は、各時刻におけるエージェントＫ間の関連性の程度を算出するように構成される。自己注意機構５１の演算結果は、交差注意機構５３に入力される。交差注意機構５３には、自己注意機構５１の演算結果の他、時刻ｔにおける各エージェントＫの情報が入力される。交差注意機構５３は、自己注意機構５１の演算結果を反映して、各エージェントＫの時刻ｔの状態から時刻ｔ＋１の状態を予測するように構成される。自己注意機構５１及び交差注意機構５３の具体的な構成には、例えば、参考文献（Ashish Vaswaniet al., “Attention Is All You Need”, [online], [令和５年１１月１７日検索], インターネット＜ＵＲＬ：https://arxiv.org/abs/1706.03762＞）等で提案される公知の構成が採用されてよい。
　自己注意機構５１の演算により、空間の情報が織り込まれ、交差注意機構５３の演算により、複数の時刻の情報が織り込まれる。そのため、この図２の構造によれば、エンコーダ５は、複数の時刻及び空間の情報を織り込んで符号化することができる。なお、自己注意機構５１及び交差注意機構５３の少なくとも一方の入出力の形態は、図２の例に限られなくてよく、実施の形態に応じて適宜変更されてよい。また、複数の時刻及び空間の情報を織り込むための構造は、図２の構造に限られなくてよく、実施の形態に応じて適宜変更されてよい。他の一例では、エンコーダ５は、再帰構造、LSTM、GRU等のRNN（Recurrent Neural Network）又はそれに類似する構造を有することで、複数の時刻及び空間の情報を織り込んで符号化するように構成されてよい。
　［時系列データ］
　時系列データ３０は、エージェントＫの状態に関する情報が時系列に並んでいることで、エージェントＫの状態遷移を示すように構成される。すなわち、時系列データ３０は、複数の時刻におけるエージェントＫの状態に関する情報を含む。状態に関する情報は、例えば、位置、速度、姿勢（傾き）等の空間内で定義される任意の情報であってよい。エージェントＫの状態遷移は、エージェントＫの行動系列に対応し得る。上記機械学習に使用する時系列データのサンプルと同様に、時系列データ３０は、任意の方法で取得されてよい。時系列データ３０は、例えば、人手によるデモンストレーション、人手によりデザインされた制御、機械学習により得られた方策による制御、受動的なデータの記録、収集されたデータの混合、データの拡張等の方法で取得されてよい。また、エージェントＫの存在する空間には、例えば、オブジェクト等のエージェントＫ以外のモノが存在し得る。そのため、時系列データ３０は、エージェントＫ以外のモノに関する時系列の任意の情報を更に含んでもよい。
　図３は、本実施形態に係る時系列データ３０の構成の一例を模式的に示す。図３に例示されるように、時系列データ３０は、１以上のオブジェクトＬの状態遷移を更に示すように構成されてよい。これに応じて、エンコーダ５は、空間の情報を更に織り込んで符号化するように構成されてよい。本実施形態の一例によれば、オブジェクトＬの状態遷移を特徴ベクトル３５に更に織り込むことができる。これにより、オブジェクトＬの状態遷移を更に考慮したデータの検索を行うことができるため、時系列データ３０を抽出する精度の更なる向上を期待することができる。
　図３の一例では、時系列データ３０は、複数の時刻それぞれにおける１以上のエージェントＫの状態に関する情報３０１及び１以上のオブジェクトＬの状態に関する情報３０３を含むことで、エージェントＫ及びオブジェクトＬの状態遷移を示すように構成されている。オブジェクトＬは、環境に存在するエージェントＫ以外のモノであってよい。オブジェクトＬの種類は、特に限られなくてよく、実施の形態に応じて適宜選択されてよい。一例では、オブジェクトＬは、エージェントＫにより操作する対象物、エージェントＫの動作に関与する物体、その他環境に存在する物体等を含んでよい。エージェントＫにより操作する対象物は、例えば、エージェントＫにより運搬する対象の物体等のタスクに関与する物体を含んでよい。エージェントＫの動作に関与する物体は、例えば、床、障害物等のエージェントＫの動作に影響を与え得る物体を含んでよい。なお、オブジェクトＬの状態遷移を含む形態を、上記未来の状態を予測するようにエンコーダ５を生成する形態と共に採用した場合、得られる特徴ベクトル３５は、１以上のオブジェクトＬの未来の状態の予測結果を含んでもよいし、含んでいなくてもよい。
　（データ形式）
　時系列データ３０に含まれる情報のデータ形式は、特に限られなくてよく、実施の形態に応じて適宜選択されてよい。情報は、例えば、数値、画像等の任意の形式で表現されてよい。一例では、時系列データ３０は、軌跡データ及び動画像データの少なくとも一方を含んでよい。本実施形態の一例によれば、軌跡データ及び動画像データの少なくとも一方を検索する場面で、データの抽出精度の向上を期待することができる。
　なお、軌跡データは、軌跡により状態遷移を示すように構成される。軌跡のデータ形式は、実施の形態に応じて適宜選択されてよい。一例では、軌跡データは、複数の時刻それぞれにおける位置及び速度の少なくとも一方の数値データを含んでよい。軌跡は、位置（座標値）及び速度の少なくとも一方の数値データにより表現されてよい。軌跡データは、例えば、姿勢（傾き）等の位置及び姿勢以外の数値データを更に含んでもよい。他の一例では、軌跡データは、位置及び速度以外の他の数値データにより構成されてもよい。
　動画像データは、複数枚の画像により構成される。画像及び時刻の間の対応関係は、実施の形態に応じて適宜決定されてよい。一例では、１枚以上の画像が、１時刻の情報に対応してよい。すなわち、１枚以上の画像が、１時刻におけるエージェントＫ及びオブジェクトＬの状態を示してよい。一例では、各画像は、そのまま符号化されてよい。他の一例では、写るモノの識別、セグメンテーション等の解析処理（前処理）が、各画像に適用されてよい。解析処理の結果は、例えば、モノのカテゴリ、セグメンテーションの範囲等の数値データで得られてよい。各画像から得られた解析処理の結果が、時系列データ３０として符号化されてもよい。
　一例では、時系列データ３０の取得には、センサが用いられてよい。センサは、例えば、カメラ、深度センサ、赤外線センサ、光学センサ、レーダ、LiDAR（Light Detection And Ranging）、位置センサ、エンコーダ、モーションキャプチャ、触覚センサ、力覚センサ、加速度センサ、ジャイロセンサ、慣性計測ユニット（Inertial Measurement Unit）、その他の測定センサ等を含んでよい。位置センサは、例えば、ＧＰＳ（Global Positioning System）センサ、ＧＮＳＳ（Global Navigation Satellite System）センサ等を含んでよい。センサにより得られるセンシングデータがそのまま時系列データ３０として用いられてもよいし、センシングデータに対する任意の演算処理を実行した結果が時系列データ３０として用いられてもよい。
　特徴ベクトル３５のデータ形式は、特に限られなくてよく、実施の形態に応じて適宜選択されてよい。特徴ベクトル３５は、複数の数値により構成されてよい。各数値は、任意の形式で保持されてよい。一例では、特徴ベクトル３５は、数値の配列で構成されてよい。他の一例では、各数値は、画素値に対応してよく、特徴ベクトル３５は、画像形式で構成されてもよい。また、一例では、特徴ベクトル３５に含まれる各数値は、推論タスクに対応する所定の意味を有していてもよい。上記未来の状態を予測するようにエンコーダ５を生成する形態を採用した場合、推論タスクは、未来の状態を予測することであり、特徴ベクトル３５に含まれる各数値は、未来の状態に対応し得る。ただし、特徴ベクトル３５の形態は、このような例に限られなくてよい。他の一例では、エンコーダ５は、上記未来の状態を予測する等の推論タスクを伴わずに符号化するように構成されてよい。これに応じて、特徴ベクトル３５に含まれる各数値は、複数の時刻の情報が織り込まれている他に、何ら意味を有していなくてもよい。
　［エンコーダの入出力］
　入力データが時系列データ３０を含み、出力データが特徴ベクトル３５を含んでいれば、エンコーダ５の入出力データの構成は、特に限られなくてよく、実施の形態に応じて適宜決定されてよい。エンコーダ５は、時系列データ３０以外の情報の入力を更に受け付けるように構成されてよい。エンコーダ５は、特徴ベクトル３５以外の情報を更に出力するように構成されてよい。
　図４は、本実施形態に係るエンコーダ５の入出力の一例を模式的に示す。図４に例示されるとおり、情報収集装置１は、１以上のエージェントＫの属性情報３１、１以上のオブジェクトＬの属性情報３２、及び１以上のエージェントＫの存在する環境に関する環境情報３３を更に取得してよい。エンコーダ５には、時系列データ３０の他に、エージェントＫの属性情報３１、オブジェクトＬの属性情報３２及び環境情報３３が入力されてよい。これに応じて、取得された時系列データ３０を特徴ベクトル３５に変換することは、取得された時系列データ３０、１以上のエージェントＫの属性情報３１、１以上のオブジェクトＬの属性情報３２、及び環境情報３３を特徴ベクトル３５に変換することにより構成されてよい。
　属性情報（３１、３２）は、対象（エージェントＫ、オブジェクトＬ）の属性に関する任意の情報を含んでよい。属性情報（３１、３２）は、例えば、対象の種別、材質、硬度、形状、大きさ（寸法）、可動範囲等の静的な情報を含んでよい。大きさ（寸法）は、例えば、ロボット装置の車輪径等の各部の大きさを含んでよい。また、属性情報（３１、３２）は、例えば、対象の温度等の動的な情報を含んでよい。動的な情報は、時間経過により変化し得る情報であり、静的な情報は、時間経過により変化し難い情報である。環境情報３３は、環境に関する任意の情報を含んでよい。環境は、モノ（エージェントＫ、オブジェクトＬ）の状況に関するあらゆる事象を含んでよい。環境は、実環境及び仮想環境の少なくともいずれかにより構成されてよい。例えば、ＡＲ（Augmented Reality）、ＭＲ（Mixed Reality）等のように、環境は、実環境及び仮想環境の両方により構成されてもよい。環境は、ＶＲ（Virtual Reality）等を含んでもよい。環境情報３３は、例えば、環境の種別（陸上／水上／水中、下り坂／平坦／上り坂等）、温度、湿度、天気、明るさ（照度等）等を含んでよい。
　属性情報（３１、３２）及び環境情報３３のうちの動的な情報はセンサにより観測されてもよい。情報収集装置１は、センサから直接的又は他のコンピュータを介して間接的に動的な情報を取得してよい。属性情報（３１、３２）及び環境情報３３は予め保持されてもよいし、オペレータの入力により与えられてもよい。情報収集装置１は、属性情報（３１、３２）及び環境情報３３の少なくとも一部を予め保持してもよいし、外部コンピュータから取得してもよいし、オペレータの入力を介して取得してもよい。
　エンコーダ５の入力部は、時系列データ３０と共に属性情報（３１、３２）及び環境情報３３の入力を受け付けるように適宜構成されてよい。一例では、エンコーダ５が図２の構造を有する場合、属性情報（３１、３２）及び環境情報３３の分だけ自己注意機構５１の入力ノードを増やすことで、エンコーダ５は、属性情報（３１、３２）及び環境情報３３の入力を更に受け付けるように構成されてよい。ただし、エンコーダ５の入力部の構成は、このような例に限られなくてよく、実施の形態に応じて適宜変更されてよい。
　本実施形態の一例によれば、エージェントＫの属性情報３１、オブジェクトＬの属性情報３２及び環境情報３３を特徴ベクトル３５に更に織り込むことができる。これにより、エージェントＫの属性、オブジェクトＬの属性及び環境を更に考慮したデータの検索を行うことができる。そのため、時系列データ３０を抽出する精度の更なる向上を期待することができる。なお、エンコーダ５の入力データの構成は、このような例に限られなくてよい。エージェントＫの属性情報３１、オブジェクトＬの属性情報３２及び環境情報３３の少なくともいずれかは省略されてよい。これに応じて、情報を取得する処理及び変換（符号化）処理において、該当の情報は省略されてよい。
　（入出力形式）
　入力データ（時系列データ３０、属性情報３１、属性情報３２、環境情報３３）をエンコーダ５に与える形式は、実施の形態に応じて適宜決定されてよい。一例では、入力データは、そのままの状態でエンコーダ５に与えられてよい。他の一例では、入力データの少なくとも一部には前処理が適用されてよく、前処理後の入力データが、エンコーダ５に与えられてよい。前処理は、情報を解析する処理、情報を付加する処理、情報を削減する処理等の任意の演算処理を含んでよい。前処理を実行する演算モデルは、エンコーダ５に含まれてもよいし、エンコーダ５とは別個に用意されてもよい。演算モデルは、訓練済み機械学習モデル及びルールベースモデルの少なくともいずれかにより構成されてよい。ルールベースモデルは、ルールに従って、与えられた入力から推論結果（前処理の結果）を導出するように構成されてよい。ルールは、適宜設定されてよい。
　また、エンコーダ５の出力形式も、実施の形態に応じて適宜決定されてよい。一例では、エンコーダ５の出力は、特徴ベクトル３５を直接的に示すように構成されてよい。他の一例では、エンコーダ５の出力は、特徴ベクトル３５を間接的に示すように構成されてよい。この場合、特徴ベクトル３５は、エンコーダ５の出力に対して任意の情報処理（例えば、解釈処理）を実行することにより得られてよい。
　［依頼元］
　依頼元Ｕは、コンピュータによりクエリＳを発行する。依頼元Ｕは、特に限られなくてよく、実施の形態に応じて適宜選択されてよい。典型的な一例では、依頼元Ｕはユーザであってよく、依頼元Ｕのコンピュータはユーザ端末であってよい。他の一例では、依頼元Ｕは、情報提供装置２を操作するオペレータであってよい。直接的に操作する場合、依頼元Ｕのコンピュータは、情報提供装置２と同一であってよい（すなわち、情報提供装置２が依頼元Ｕのコンピュータであってよい）。間接的に制御する場合、依頼元Ｕのコンピュータは、情報提供装置２に接続される端末であってよい。依頼元Ｕは、ユーザ、オペレータ等の人に限られなくてよい。他の一例では、依頼元Ｕは、コンピュータそのものであってよい。この場合、クエリＳは、コンピュータの自動処理により発行されてよい。依頼元Ｕのコンピュータは、提供されるサービス専用に設計された情報処理装置の他、汎用のサーバ装置、汎用のＰＣ（Personal Computer）、タブレットＰＣ、携帯装置、端末装置等であってもよい。携帯装置は、例えば、スマートフォン等を含んでよい。
　［クエリ］
　クエリＳは、所望の時系列データを得るため、特徴ベクトル３５に対応して生成される。クエリＳは、実施の形態に応じて適宜生成されてよい。一例では、クエリＳは、ターゲットの時系列データをエンコーダ５により符号化することで生成されてよい。
　ターゲットの時系列データは、１以上の対象エージェントの状態遷移を示すように構成される。対象エージェントは、クエリＳの対象となる時系列データに登場するエージェントである。ターゲットの環境において、１以上のオブジェクトが存在する場合、ターゲットの時系列データは、１以上の対象オブジェクトの状態遷移を更に示すように構成されてよい。対象オブジェクトは、クエリＳの対象となる時系列データに登場するオブジェクトである。データベースＲに格納されるデータにおけるエージェントＫを第１エージェントと称し、クエリＳにおける対象エージェントを第２エージェントと称してよい。同様に、オブジェクトＬを第１オブジェクトと称し、クエリＳにおける対象オブジェクトを第２オブジェクトと称してよい。
　クエリＳの元となる時系列データは、例えば、人手による生成、コンピュータによる自動生成、センサによる観測、データ拡張等の任意の方法で取得されてよい。時系列データからクエリＳへの変換（すなわち、クエリＳの生成）は、依頼元Ｕのコンピュータ、情報提供装置２及び外部コンピュータにより実行されてよい。依頼元ＵのコンピュータがクエリＳを生成する場合、依頼元ＵによるクエリＳの発行は、クエリＳを生成することにより構成されてよい。情報提供装置２又は外部コンピュータがクエリＳを生成する場合、依頼元ＵによるクエリＳの発行は、クエリＳの元となる時系列データを情報提供装置２又は外部コンピュータに提供することにより構成されてよい。エージェントＫの属性情報３１、オブジェクトＬの属性情報３２及び環境情報３３の少なくともいずれかが特徴ベクトル３５に反映されている場合、対象エージェントの属性情報、対象オブジェクトの属性情報、及びターゲットの環境に関する環境情報の少なくともいずれかがクエリＳにも反映されてよい。
　クエリＳに適合することは、クエリＳ及び特徴ベクトル３５が一致すること、並びにクエリＳの近傍に特徴ベクトル３５が存在することを含んでよい。近傍の範囲は、実施の形態に応じて適宜決定されてよい。クエリＳ及び特徴ベクトル３５の比較の指標は、実施の形態に応じて適宜選択されてよい。一例では、比較の指標として、ユークリッド距離及びコサイン類似度の少なくともいずれかが用いられてよい。関連特徴ベクトル６５は、データベースＲに蓄積された特徴ベクトル３５のうち、クエリＳに適合した特徴ベクトル３５である。関連時系列データ６０は、蓄積された時系列データ３０のうち、クエリＳに適合した特徴ベクトル３５（関連特徴ベクトル６５）に関連付けられた時系列データ３０である。一例では、関連時系列データ６０におけるエージェントの種類及び数は、クエリＳにおける対象エージェントと一致していてもよい。他の一例では、関連時系列データ６０におけるエージェントの種類及び数の少なくとも一方は、クエリＳにおける対象エージェントと異なっていてもよい。オブジェクトに関しても同様である。一例では、関連時系列データ６０におけるオブジェクトの種類及び数は、クエリＳにおける対象オブジェクトと一致していてもよい。他の一例では、関連時系列データ６０におけるオブジェクトの種類及び数の少なくとも一方は、クエリＳにおける対象オブジェクトと異なっていてもよい。なお、関連時系列データ６０を適合時系列データと読み替え、関連特徴ベクトル６５を適合特徴ベクトルと読み替えてもよい。
　時系列データ３０は、全て同一の情報源から得られてもよいし、少なくとも部分的に異なる情報源から得られてもよい。時系列データ３０を得る情報源の種類及び数は、特に限られなくてよく、実施の形態に応じて適宜決定されてよい。時系列データ３０は、様々な情報源から収集されてよい。情報提供装置２では、クエリＳを受け付けることは、複数のクエリＳを受け付けることにより構成されてよい。複数のクエリＳは、一連の状態遷移（例えば、行動系列）に対して発行されてよい。関連特徴ベクトル６５を抽出することは、複数のクエリＳそれぞれにそれぞれ適合する複数の関連特徴ベクトル６５を抽出することにより構成されてよい。抽出される複数の関連特徴ベクトル６５について、一部の関連特徴ベクトル６５に関連付けられる時系列データ３０（関連時系列データ６０）の情報源が、その他の関連特徴ベクトル６５に関連付けられる時系列データ３０（関連時系列データ６０）の情報源と相違することが許容されてよい。すなわち、一連の状態遷移に関して、複数の検索を実行した場合に、異なる情報源から得られた時系列データ３０が混在する検索結果が得られてよい。一例では、情報源が異なることは、時系列データ３０を得た条件が少なくとも部分的に異なることにより構成されてよい。例えば、情報源が異なることは、エージェントＫ、オブジェクトＬ及び環境の少なくともいずれかの態様が異なることであってよい。本実施形態の一例によれば、異なる情報源の時系列データ３０が検索結果として混在することを許容することで、時系列データ３０は検索されやすくなる。その結果、時系列データ３０の再利用性の向上を期待することができる。
　また、時系列データ３０は、１以上のエージェントＫがタスクを遂行する場面で収集されてよい。タスクは、例えば、作業、移動等であってよい。作業は、例えば、組み立て、調理、掃除、化学実験等であってよい。タスクの目標は、適宜与えられてよい。一例として、タスクは、オブジェクトを運搬すること、オブジェクトの移動を誘導すること等であってよい。オブジェクトを運搬することは、例えば、災害現場で物資を運搬すること、惑星探査で機材を運搬すること等を含んでよい。エージェントがオブジェクトの移動を誘導することは、例えば、ロボット装置が人流を制御すること、ロボット装置が家畜の移動を制御すること等を含んでよい。タスクの遂行場面における時系列データ３０が蓄積されていることに応じて、クエリＳにおいて、検索のターゲットとなるタスク（ターゲットタスク）が設定されてよい。
　検索結果として抽出される時系列データ３０におけるエージェントＫの種類は、クエリＳのターゲットタスクにおける対象エージェントと一致していてもよいし、異なっていてもよい。一例では、抽出される特徴ベクトル３５について、関連時系列データ６０における１以上のエージェント（エージェントＫ）の種類が、クエリＳのターゲットタスクにおける１以上の対象エージェントの種類と相違することが許容されてよい。すなわち、クエリＳで設定された対象エージェントとは異なる種類のエージェントの時系列データ３０が、クエリＳに対する検索結果として抽出されてよい。
　また、検索結果として抽出される時系列データ３０におけるエージェントＫの数も、クエリＳのターゲットタスクにおける対象エージェントと一致していてもよいし、異なっていてもよい。一例では、抽出される特徴ベクトル３５について、関連時系列データ６０におけるエージェント（エージェントＫ）の数が、クエリＳのターゲットタスクにおける対象エージェントの数と相違することが許容されてよい。すなわち、クエリＳにおける対象エージェントの数と相違する数のエージェントの時系列データ３０が、クエリＳに対する検索結果として抽出されてよい。
　また、検索結果として抽出される時系列データ３０におけるエージェントＫの遂行するタスクも、クエリＳにおけるターゲットタスクと一致していてもよいし、異なっていてもよい。一例では、抽出される特徴ベクトル３５について、関連時系列データ６０における１以上のエージェント（エージェントＫ）の遂行するタスクが、クエリＳにおけるターゲットタスクと相違することが許容されてよい。すなわち、クエリＳで設定されたターゲットタスクとは異なるタスクを遂行する場面の時系列データ３０が、クエリＳに対する検索結果として抽出されてよい。
　例えば、ロボット装置群（群ロボット、ドローン群等）の動作を示す時系列データを得ることを目的とするクエリにより、魚類、鳥類等の生物の群れの動作を示す時系列データが検索結果として抽出されてよい。これにより、生物の群れの動作がロボット装置群の動作に転用されてよい。また、例えば、家畜の群れを誘導するロボット装置の動作を示す時系列データを得ることを目的とするクエリにより、羊の群れを誘導する牧羊犬の動作を示す時系列データが検索結果として抽出されてよい。これにより、牧羊犬の動作がロボット装置の動作に転用されてよい。仮想空間の動作が実空間に転用されてもよいし、実空間の動作が仮想空間に転用されてもよい。
　本実施形態の一例によれば、クエリＳと検索結果との間で、エージェントの種類、数、及びタスクの少なくともいずれかの相違を許容することにより、上記の例のように、時系列データ３０が検索されやすくなる。その結果、時系列データ３０の再利用性の向上を期待することができる。
　［利用場面］
　本実施形態に係るシステムによる時系列データ３０の検索は、任意の目的で行われてよい。一例では、時系列データ３０の検索は、模倣学習、オフライン強化学習等の機械学習に用いるデータを得るために行われてよい。他の一例では、時系列データ３０の検索は、例えば、複数台の掃除ロボットの掃除パターンの参照動作を得る等の所望の動作に類似する動作を参照するために行われてもよい。
　提供される時系列データ３０（関連時系列データ６０）は、そのまま利用されてもよいし、データ拡張等の加工処理が適用された後に利用されてもよい。一例では、提供された時系列データ３０のスケール（例えば、時間スケール、空間のスケール等）を変更することでデータ拡張し、これにより、新たな時系列データが生成されてもよい。上記データ収集の場面と同様に、スケールの変更は、スケールアップ（例えば、伸長、拡大）及びスケールダウン（例えば、収縮、縮小）の少なくともいずれかを含んでよい。スケールの変更は、一部をスケールアップし、残りをスケールダウンする等のように、部分毎に適用する変更処理が異なることを含んでもよい。生成された新たな時系列データは、提供された時系列データ３０と共に利用されてもよいし、生成された新たな時系列データのみが利用されてもよい。
　この時系列データ３０（関連時系列データ６０）におけるスケールの変更は、依頼元Ｕのコンピュータ、外部コンピュータ及び情報提供装置２の少なくともいずれかにおいて実行されてよい。一例では、依頼元Ｕのコンピュータは、情報提供装置２から受け取った時系列データ３０のスケールを変更し、元のスケールの時系列データ３０と共に、変更後の時系列データ３０を目的の情報処理に利用してよい。依頼元Ｕのコンピュータは、目的の情報処理に適合するように時系列データ３０のスケールを変更し、変更後の時系列データ３０のみを目的の情報処理に利用してもよい。また、依頼元Ｕのコンピュータは、それぞれ異なるスケールの変更を適用することで、複数件の時系列データ３０を生成し、生成された複数件の時系列データ３０を目的の情報処理に利用してもよい。
　他の一例では、情報提供装置２が、時系列データ３０（関連時系列データ６０）のスケールを変更してもよい。すなわち、時系列データ３０を関連時系列データ６０として依頼元Ｕに返すことは、関連時系列データ６０のスケールを変更すること、及び変更後の関連時系列データ６０を依頼元Ｕに返すことを含んでよい。これにより、利便性の向上を期待することができる。例えば、情報提供装置２は、検索された時系列データ３０（関連時系列データ６０）のスケールを変更し、元のスケールの時系列データ３０と共に、変更後の時系列データ３０を依頼元Ｕに返してよい。情報提供装置２は、変更後の時系列データ３０のみを依頼元Ｕに返してもよい。また、情報提供装置２は、それぞれ異なるスケールの変更を適用することで、複数件の時系列データ３０を生成し、生成された複数件の時系列データ３０を依頼元Ｕに返してもよい。これにより、提供するデータを増やすことで利便性の向上を期待することができる。
　また、スケールの変更は、上記データを収集するタイミング及びデータを提供するタイミング以外のタイミングで実行されてもよい。一例では、クエリＳを生成するタイミングで、スケールの変更が行われてもよい。すなわち、クエリＳは、ターゲットの時系列データをエンコーダ５で符号化することにより生成されたものであってよく、ターゲットの時系列データのスケールは適宜変更されてよい。このスケールの変更は、依頼元Ｕのコンピュータ、外部コンピュータ及び情報提供装置２の少なくともいずれかにおいて行われてよい。
　一例では、クエリＳにおけるスケールの変更は、依頼元Ｕのコンピュータにおいて実行されてよい。すなわち、情報提供装置２で取得されるクエリＳについて、ターゲットの時系列データのスケールは依頼元Ｕで変更されていてよい。これにより、検索の適合率を高め、利便性の向上を期待することができる。例えば、依頼元Ｕのコンピュータは、元のスケールのクエリＳ及びスケールを変更したクエリＳの両方を情報提供装置２に送信し、各クエリＳでの検索を要求してもよい。依頼元Ｕのコンピュータは、スケールを変更したクエリＳでのみ検索の要求を行ってもよい。また、依頼元Ｕのコンピュータは、それぞれ異なるスケールの変更を適用することで複数のクエリＳを生成してよく、各クエリＳで検索を要求してもよい。これにより、検索の適合率を高めることができ、提供されるデータを増やすことで利便性の向上を期待することができる。
　他の一例では、クエリＳにおけるスケールの変更は、情報提供装置２において実行されてよい。すなわち、情報提供装置２において、クエリＳを依頼元Ｕから受け取ることは、ターゲットの時系列データを依頼元Ｕから受け取ること、ターゲットの時系列データのスケールを変更すること、及び変更後のターゲットの時系列データをエンコーダ５で符号化することで、クエリＳを生成することを含んでよい。これにより、検索の適合率を高め、利便性の向上を期待することができる。例えば、情報提供装置２は、元のスケールのクエリＳ及びスケールを変更したクエリＳの両方で検索を行い、適合した関連時系列データ６０を依頼元Ｕに返してもよい。情報提供装置２は、変更後のクエリＳのみで検索を行い、適合した関連時系列データ６０を依頼元Ｕに返してもよい。また、情報提供装置２は、それぞれ異なるスケールの変更を適用することで複数のクエリＳを生成してよく、各クエリＳで検索を行ってもよい。これにより、検索の適合率を高めることができ、提供するデータを増やすことで利便性の向上を期待することができる。
　上記クエリＳにおけるスケールの変更及び上記提供する時系列データ３０におけるスケールの変更は、いずれか一方のみ実行されてもよいし、両方とも実行されてもよい。両方とも実行する場合、依頼元Ｕのコンピュータ、外部コンピュータ及び情報提供装置２は、クエリＳ及び関連時系列データ６０において自由にスケールの変更を行ってよい。例えば、依頼元Ｕのコンピュータ又は情報提供装置２は、クエリＳにおけるスケールの変更を行ってよく、変更後のクエリＳにより検索が行われてよい。検索においてクエリＳに適合する特徴ベクトル３５が抽出されない場合、クエリＳにおけるスケールを更に変更し、変更後のクエリＳによる検索が再度実行されてよい。このスケールの変更及び検索は、クエリＳに適合する特徴ベクトル３５が抽出されるまで繰り返されてよい。そして、適合した関連時系列データ６０を依頼元Ｕに提供する際に、依頼元Ｕのコンピュータ又は情報提供装置２は、クエリＳで適用したスケールの変更とは逆のスケールの変更（すなわち、スケールを元に戻すための変更）を行ってよい。これにより、ターゲットの時系列データとスケールが同じ時系列データ３０（関連時系列データ６０）の提供確率を高めることができるため、利便性の向上を期待することができる。
　［システム構成］
　一例では、情報収集装置１、データベースＲ及び情報提供装置２は、ネットワークを介して互いに接続されてよい。また、情報提供装置２及び依頼元Ｕのコンピュータも、ネットワークを介して互いに接続されてよい。ネットワークの種類は、例えば、インターネット、無線通信網、移動通信網、電話網、専用網等から適宜選択されてよい。ただし、各装置間におけるデータ交換の方法は、このような例に限られなくてよく、実施の形態に応じて適宜選択されてよい。
　データベースＲは、情報収集装置１及び情報提供装置２からアクセス可能な任意の記憶領域に保存されてよい。データベースＲは、情報収集装置１及び情報提供装置２の少なくとも一方の内部の記憶領域に配置されてもよいし、情報収集装置１及び情報提供装置２の外部の記憶領域に配置されてもよい。内部の記憶領域は、情報収集装置１及び情報提供装置２の少なくとも一方のメモリ・リソースであってよい。外部の記憶領域は、例えば、ＮＡＳ（Network Attached Storage）等の外部コンピュータのメモリ・リソースであってよい。情報収集装置１による特徴ベクトル３５をデータベースＲに保存することは、情報収集装置１が特徴ベクトル３５をデータベースＲに直接的に保存すること、及び外部コンピュータを介して間接的に保存することを含んでよい。間接的に保存することは、指示を与えることで、外部コンピュータに特徴ベクトル３５を格納させることであってよい。
　時系列データ３０は、対応する特徴ベクトル３５から読み出し可能であれば、任意の記憶領域に保存されてよい。時系列データ３０は、特徴ベクトル３５と共にデータベースＲに保存されてもよいし、データベースＲとは別のデータベースで保存されてもよい。時系列データ３０は、情報収集装置１及び情報提供装置２からアクセス可能な任意の記憶領域で適宜保存されてよい。時系列データ３０を蓄積するデータベースは、情報収集装置１及び情報提供装置２の少なくとも一方の内部の記憶領域に配置されてもよいし、情報収集装置１及び情報提供装置２の外部の記憶領域に配置されてもよい。データベースＲのデータ形式は、特に限られなくてよく、実施の形態に応じて適宜選択されてよい。データ形式は、例えば、テーブル形式、分散型台帳形式等を含んでよい。時系列データ３０を蓄積するデータベースについても同様である。
　また、一例では、図１に示されるように、情報収集装置１及び情報提供装置２は、互いに別個のコンピュータであってよい。他の一例では、情報収集装置１及び情報提供装置２は、一体のコンピュータにより構成されてもよい。この場合、１台以上のコンピュータが、情報収集装置１及び情報提供装置２として動作してよい。情報収集装置１及び情報提供装置２の少なくとも一方は、複数台のコンピュータにより構成されてよい。
　§２　構成例
　［ハードウェア構成］
　（情報収集装置）
　図５は、本実施形態に係る情報収集装置１のハードウェア構成の一例を模式的に例示する。図５の一例では、本実施形態に係る情報収集装置１は、制御部１１、記憶部１２、外部インタフェース１３、入力装置１４、出力装置１５、及びドライブ１６が電気的に接続されたコンピュータである。
　制御部１１は、ハードウェアプロセッサであるＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を含み、プログラム及び各種データに基づいて情報処理を実行するように構成される。制御部１１（ＣＰＵ）は、プロセッサ・リソースの一例である。記憶部１２は、例えば、ハードディスクドライブ、ソリッドステートドライブ等で構成されてよい。記憶部１２、ＲＡＭ及びＲＯＭは、メモリ・リソースの一例である。本実施形態では、記憶部１２は、プログラム８１、エンコーダデータ５００等の各種情報を記憶する。
　プログラム８１は、時系列データ３０の収集に関する情報処理（後述の図９）を情報収集装置１に実行させるためのプログラムである。プログラム８１は、当該情報処理の一連の命令を含む。エンコーダデータ５００は、エンコーダ５に関する情報を示す。符号化の際にエンコーダ５を再生可能であれば、エンコーダデータ５００の構成は、特に限られなくてよく、実施の形態に応じて適宜決定されてよい。一例では、機械学習モデルによりエンコーダ５が構成される場合、エンコーダデータ５００は、機械学習により調整された演算パラメータの値を示す情報を含んでよい。場合によって、エンコーダデータ５００は、機械学習モデルの構成（例えば、ニューラルネットワークの構造等）を示す情報を更に含んでもよい。エンコーダデータ５００は、プログラム８１に組み込まれてもよい。
　外部インタフェース１３は、有線又は無線で外部装置と接続するように構成される。外部インタフェース１３は、例えば、ＵＳＢ（Universal Serial Bus）ポート、通信ポート、専用ポート等であってよい。外部インタフェース１３の種類及び数は、実施の形態に応じて適宜決定されてよい。外部インタフェース１３が通信ポートを含む場合、通信ポートの通信規格は、任意に選択されてよい。本実施形態では、データベースＲが外部に配置される場合、情報収集装置１は、外部インタフェース１３を介して、データベースＲに接続されてよい。
　入力装置１４は、例えば、マウス、キーボード等の入力を行うための装置である。出力装置１５は、例えば、ディスプレイ、スピーカ等の出力を行うための装置である。オペレータは、入力装置１４及び出力装置１５を利用することで、情報収集装置１を操作することができる。入力装置１４及び出力装置１５は、外部インタフェース１３を介して接続されてよい。入力装置１４及び出力装置１５は、例えば、タッチパネルディスプレイ等により一体的に構成されてもよい。
　ドライブ１６は、記憶媒体９１に記憶されたプログラム等の各種情報を読み込むための装置である。上記プログラム８１及びエンコーダデータ５００の少なくとも一方は、記憶部１２に代えて又は記憶部１２と共に、記憶媒体９１に格納されていてもよい。記憶媒体９１は、コンピュータ等の機械が各種情報（記憶されたプログラム等）を読み取り可能なように、電気的、磁気的、光学的、機械的又は化学的作用により当該情報を蓄積するように構成される。情報収集装置１は、上記プログラム８１及びエンコーダデータ５００の少なくとも一方を記憶媒体９１から取得してよい。なお、記憶媒体９１は、ＣＤ、ＤＶＤ等のディスク型の記憶媒体であってもよいし、半導体メモリ（例えば、フラッシュメモリ）等のディスク型以外の記憶媒体であってもよい。ドライブ１６の種類は、記憶媒体９１の種類に応じて適宜選択されてよい。ドライブ１６は、外部インタフェース１３を介して接続されてもよい。
　なお、情報収集装置１の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換及び追加が可能である。例えば、制御部１１は、複数のハードウェアプロセッサを含んでもよい。ハードウェアプロセッサは、マイクロプロセッサ、ＦＰＧＡ（field-programmable gate array）、ＤＳＰ（digital signal processor）、ＧＰＵ（Graphics Processing Unit）、ＡＳＩＣ（application specific integrated circuit）等により構成されてよい。記憶部１２は、制御部１１に含まれるＲＡＭ及びＲＯＭにより構成されてもよい。外部インタフェース１３、入力装置１４、出力装置１５、及びドライブ１６の少なくともいずれかは省略されてもよい。情報収集装置１は、複数台のコンピュータで構成されてもよい。この場合、各コンピュータのハードウェア構成は、一致していてもよいし、一致していなくてもよい。また、情報収集装置１は、提供されるサービス専用に設計された情報処理装置の他、汎用のサーバ装置、汎用のＰＣ、タブレットＰＣ、携帯装置、端末装置等であってもよい。
　（情報提供装置）
　図６は、本実施形態に係る情報提供装置２のハードウェア構成の一例を模式的に示す。図６の一例では、本実施形態に係る情報提供装置２は、制御部２１、記憶部２２、外部インタフェース２３、入力装置２４、出力装置２５及びドライブ２６が電気的に接続されたコンピュータである。
　情報提供装置２の制御部２１～ドライブ２６及び記憶媒体９２はそれぞれ、上記情報収集装置１の制御部１１～ドライブ１６及び記憶媒体９１それぞれと同様に構成されてよい。制御部２１（ＣＰＵ）は、情報提供装置２のプロセッサ・リソースの一例であり、記憶部２２（及びＲＡＭ、ＲＯＭ）は、情報提供装置２のメモリ・リソースの一例である。本実施形態では、記憶部２２は、プログラム８２等の各種情報を記憶する。
　プログラム８２は、時系列データ３０の提供に関する情報処理（後述の図１０）を情報提供装置２に実行させるためのプログラムである。プログラム８２は、当該情報処理の一連の命令を含む。プログラム８２は、記憶部２２に代えて又は記憶部２２と共に、記憶媒体９２に格納されていてもよい。情報提供装置２は、プログラム８２を記憶媒体９２から取得してもよい。また、情報提供装置２が、エンコーダ５を用いて、依頼元Ｕから受け取った時系列データからクエリＳを生成する場合、記憶部２２及び記憶媒体９２の少なくとも一方に、エンコーダデータ５００が記憶されていてもよい。
　データベースＲが外部に配置される場合、情報提供装置２は、外部インタフェース２３を介して、データベースＲに接続されてよい。また、依頼元Ｕのコンピュータが外部コンピュータである場合、情報提供装置２は、外部インタフェース２３を介して、依頼元Ｕのコンピュータとの間でデータ通信を行ってもよい。情報提供装置２は複数の外部インタフェース２３を備えてもよく、データベースＲ及び依頼元Ｕのコンピュータの接続には、互いに異なる外部インタフェース２３が用いられてよい。オペレータは、入力装置２４及び出力装置２５を利用することで、情報提供装置２を操作することができる。
　なお、情報提供装置２の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換及び追加が可能である。例えば、制御部２１は、複数のハードウェアプロセッサを含んでもよい。ハードウェアプロセッサは、マイクロプロセッサ、ＦＰＧＡ、ＤＳＰ、ＧＰＵ、ＡＳＩＣ等により構成されてよい。外部インタフェース２３、入力装置２４、出力装置２５及びドライブ２６の少なくともいずれかは省略されてもよい。情報提供装置２は、複数台のコンピュータにより構成されてよい。この場合、各コンピュータのハードウェア構成は、一致していてもよいし、一致していなくてもよい。情報提供装置２は、提供されるサービス専用に設計された情報処理装置の他、汎用のサーバ装置、汎用のＰＣ、タブレットＰＣ、携帯装置、端末装置等であってもよい。
　［ソフトウェア構成］
　（情報収集装置）
　図７は、本実施形態に係る情報収集装置１のソフトウェア構成の一例を模式的に例示する。情報収集装置１の制御部１１は、記憶部１２に記憶されたプログラム８１をＲＡＭに展開し、プログラム８１に含まれる命令をＣＰＵにより実行する。これにより、情報収集装置１は、データ取得部１１１、変換部１１２及び保存処理部１１３をソフトウェアモジュールとして備えるコンピュータとして動作する。すなわち、本実施形態では、情報収集装置１の各ソフトウェアモジュールは、制御部１１（ＣＰＵ）により実現される。
　データ取得部１１１は、１以上のエージェントＫの状態遷移を示す時系列データ３０を取得するように構成される。変換部１１２は、エンコーダデータ５００を保持することで、複数の時刻の情報を織り込んで符号化するように構成されたエンコーダ５を備える。変換部１１２は、エンコーダ５を用いて、取得された時系列データ３０を特徴ベクトル３５に変換するように構成される。保存処理部１１３は、得られた特徴ベクトル３５を時系列データ３０と関連付けてデータベースＲに保存するように構成される。
　（情報提供装置）
　図８は、本実施形態に係る情報提供装置２のソフトウェア構成の一例を模式的に例示する。情報提供装置２の制御部２１は、記憶部２２に記憶されたプログラム８２をＲＡＭに展開し、プログラム８２に含まれる命令をＣＰＵにより実行する。これにより、情報提供装置２は、受付部２１１、抽出部２１２及び応答部２１３をソフトウェアモジュールとして備えるコンピュータとして動作する。すなわち、本実施形態では、情報提供装置２の各ソフトウェアモジュールは、制御部２１（ＣＰＵ）により実現される。
　受付部２１１は、データベースＲに対するクエリＳを依頼元Ｕから受け付けるように構成される。情報提供装置２においてエンコーダ５を用いてクエリＳを生成する場合、受付部２１１は、エンコーダデータ５００を保持することで、エンコーダ５を備えてよい。抽出部２１２は、クエリＳに適合する特徴ベクトル３５を関連特徴ベクトル６５としてデータベースＲから抽出するように構成される。応答部２１３は、抽出された関連特徴ベクトル６５に関連付けられる時系列データ３０を関連時系列データ６０として依頼元Ｕに返すように構成される。
　（その他）
　なお、本実施形態では、情報収集装置１及び情報提供装置２の各ソフトウェアモジュールがいずれも汎用のＣＰＵによって実現される例について説明している。しかしながら、上記ソフトウェアモジュールの一部又は全部は、１又は複数の専用のプロセッサ又はチップセットにより実現されてもよい。上記各モジュールは、ハードウェアモジュールとして実現されてもよい。情報収集装置１及び情報提供装置２のソフトウェア構成に関して、実施形態に応じて、適宜、モジュールの省略、置換及び追加が行われてもよい。
　§３　動作例
　［情報収集装置］
　図９は、本実施形態に係る情報収集装置１の処理手順の一例を示すフローチャートである。以下の処理手順は、コンピュータにより実行される情報収集方法の一例である。ただし、以下の情報収集装置１の処理手順は、一例に過ぎず、各ステップは可能な限り変更されてよい。また、以下の処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。
　（ステップＳ１０１）
　ステップＳ１０１では、制御部１１は、データ取得部１１１として動作し、１以上のエージェントＫの状態遷移を示す時系列データ３０を取得する。
　一例では、制御部１１は、人手による生成、コンピュータによる自動生成、センサによる観測、データ拡張等の方法により、時系列データ３０を取得してよい。制御部１１は、オペレータの入力又は情報処理の実行により、時系列データ３０を取得してよい。制御部１１は、センサ又は外部コンピュータから時系列データ３０を取得してもよい。一例では、制御部１１は、複数のエージェントＫの状態遷移を示す時系列データ３０を取得してよい。一例では、制御部１１は、１以上のエージェントＫ及び１以上のオブジェクトＬの状態遷移を示す時系列データ３０を取得してよい。一例では、制御部１１は、軌跡データ及び動画像データの少なくとも一方を含む時系列データ３０を取得してよい。
　また、一例では、制御部１１は、１以上のエージェントＫの属性情報３１、１以上のオブジェクトＬの属性情報３２、及び１以上のエージェントＫの存在する環境に関する環境情報３３の少なくともいずれかを更に取得してよい。情報を取得する順序は、特に限られなくてよく、実施の形態に応じて適宜決定されてよい。時系列データ３０を取得すると、制御部１１は、次のステップＳ１０２に処理を進める。
　（ステップＳ１０２）
　ステップＳ１０２では、制御部１１は、変換部１１２として動作し、エンコーダ５を用いて、取得された時系列データ３０を特徴ベクトル３５に変換する。
　一例では、制御部１１は、時系列データ３０をエンコーダ５に入力し、エンコーダ５の演算処理を実行する。この変換（符号化）処理により、制御部１１は、特徴ベクトル３５を取得する。エンコーダ５は、複数の時刻の情報を織り込むよう符号化を行うように構成される。一例では、エンコーダ５は、未来の状態を予測するように訓練されることで、複数の時刻の情報を織り込むよう符号化を行うように構成されてよい。一例では、エンコーダ５は、複数の時刻及び空間の情報を織り込むよう符号化を行うように構成されてよい。
　属性情報（３１、３２）及び環境情報３３の少なくともいずれかを取得している場合、制御部１１は、取得された属性情報（３１、３２）及び環境情報３３の少なくともいずれかを時系列データ３０と共にエンコーダ５に入力し、エンコーダ５の演算処理を実行してよい。これにより、制御部１１は、エンコーダ５を用いて、時系列データ３０並びに属性情報（３１、３２）及び環境情報３３の少なくともいずれかを特徴ベクトル３５に変換してもよい。この符号化により、得られる特徴ベクトル３５には、属性情報（３１、３２）及び環境情報３３の少なくともいずれかが反映されてよい。特徴ベクトル３５を取得すると、制御部１１は、次のステップＳ１０３に処理を進める。
　（ステップＳ１０３）
　ステップＳ１０３では、制御部１１は、保存処理部１１３として動作し、得られた特徴ベクトル３５を時系列データ３０と関連付けてデータベースＲに保存する。一例では、制御部１１は、特徴ベクトル３５及び時系列データ３０を互いに関連付けてデータベースＲに保存してよい。他の一例では、制御部１１は、特徴ベクトル３５をデータベースＲに保存し、特徴ベクトル３５に関連付けられた時系列データ３０を他のデータベースに保存してもよい。
　時系列データ３０及び特徴ベクトル３５の保存が完了すると、制御部１１は、本動作例に係る情報収集装置１の処理手順を終了する。制御部１１は、時系列データ３０が得られる度に、ステップＳ１０１～ステップＳ１０３の処理を実行することで、時系列データ３０及び特徴ベクトル３５を蓄積してよい。
　［情報提供装置］
　図１０は、本実施形態に係る情報提供装置２の処理手順の一例を示すフローチャートである。以下の処理手順は、コンピュータにより実行される情報提供方法の一例である。ただし、以下の情報提供装置２の処理手順は、一例に過ぎず、各ステップは可能な限り変更されてよい。また、以下の処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。
　（ステップＳ２０１）
　ステップＳ２０１では、制御部２１は、受付部２１１として動作し、データベースＲに対するクエリＳを依頼元Ｕから受け付ける。
　一例では、クエリＳは、ターゲットの時系列データから生成されてよい。ターゲットの時系列データは、人手による生成、コンピュータによる自動生成、センサによる観測、データ拡張等の方法により、取得されてよい。また、時系列データからクエリＳへの変換（すなわち、クエリＳの生成）は、依頼元Ｕのコンピュータ、外部コンピュータ及び情報提供装置２の少なくともいずれかにおいて実行されてよい。一例では、依頼元Ｕのコンピュータがターゲットの時系列データからクエリＳを生成し、制御部２１は、生成されたクエリＳを当該依頼元Ｕのコンピュータから受け取ってよい。他の一例では、制御部２１は、外部コンピュータからクエリＳを受け取ってよい。ターゲットの時系列データの外部コンピュータへの提供は、依頼元Ｕのコンピュータ又は情報提供装置２により行われてよい。更に他の一例では、制御部２１は、ターゲットの時系列データを依頼元Ｕのコンピュータから受け取り、エンコーダ５を用いて、時系列データを符号化することで、クエリＳを取得してよい。一例では、ターゲットの時系列データのスケールは、依頼元Ｕのコンピュータ、外部コンピュータ及び情報提供装置２の少なくともいずれかにおいて変更されてもよい。クエリＳを受け取ると、制御部２１は、次のステップＳ２０２に処理を進める。
　（ステップＳ２０２）
　ステップＳ２０２では、制御部２１は、抽出部２１２として動作し、クエリＳに適合する特徴ベクトル３５を関連特徴ベクトル６５としてデータベースＲから抽出する。
　一例では、制御部２１は、クエリＳと一致する又はクエリＳの近傍に存在する特徴ベクトル３５をデータベースＲから抽出してよい。近傍の範囲を検索する方法は、特に限られなくてよく、実施の形態に応じて適宜選択されてよい。近傍の範囲を検索する方法には、公知の方法が用いられてよい。抽出する件数は、特に限られなくてよく、実施の形態に応じて適宜決定されてよい。
　適合する特徴ベクトル３５が存在しない場合、制御部２１は、本動作例に係る情報提供装置２の処理手順を終了する。制御部２１は、適合する時系列データ３０が存在しないことを示す通知を依頼元Ｕに返してよい。一方、適合する特徴ベクトル３５が存在する場合、関連特徴ベクトル６５が抽出される。関連特徴ベクトル６５を抽出すると、制御部２１は、次のステップＳ２０３に処理を進める。
　（ステップＳ２０３）
　ステップＳ２０３では、制御部２１は、応答部２１３として動作し、抽出された関連特徴ベクトル６５に関連付けられた時系列データ３０を関連時系列データ６０として取得する。特徴ベクトル３５と共に時系列データ３０がデータベースＲに保存されている場合、制御部２１は、データベースＲから関連時系列データ６０を取得してよい。データベースＲとは異なる他のデータベースに時系列データ３０が保存されている場合、制御部２１は、他のデータベースから関連時系列データ６０を取得してよい。制御部２１は、取得された関連時系列データ６０を依頼元Ｕに返してよい。
　一例では、制御部２１は、ステップＳ２０１において、複数のクエリＳを受け付けてよく、ステップＳ２０２では、各クエリＳに適合する関連特徴ベクトル６５を抽出してよい。この場合に、異なる情報源から得られた時系列データ３０が混在する検索結果が得られてよい。ステップＳ２０３では、制御部２１は、異なる情報源から得られた関連時系列データ６０が混在する検索結果を依頼元Ｕに返してよい。また、一例では、クエリＳと検索結果との間で、エージェントの種類、数、及びタスクの少なくともいずれかの相違が許容されてよい。これに応じて、ステップＳ２０３では、制御部２１は、エージェントの種類、数、及びタスクの少なくともいずれかがクエリＳと相違する検索結果を依頼元Ｕに返してよい。また、一例では、依頼元Ｕのコンピュータ、外部コンピュータ及び情報提供装置２の少なくともいずれかにおいて、提供される関連時系列データ６０のスケールが変更されてよい。
　関連時系列データ６０（時系列データ３０）の提供が完了すると、制御部２１は、本動作例に係る情報提供装置２の処理手順を終了する。制御部２１は、依頼元ＵからクエリＳを受け取る度に、ステップＳ２０１～ステップＳ２０３の処理を実行することで、クエリＳに適合する時系列データ３０を関連時系列データ６０として依頼元Ｕに提供してよい。
　［特徴］
　本実施形態に係る情報収集装置１では、ステップＳ１０２におけるエンコーダ５による符号化により、時系列データ３０に含まれる複数の時刻の情報が特徴ベクトル３５に織り込まれる。ステップＳ１０３において、変換により得られる特徴ベクトル３５は、時系列データ３０に関連付けられて保存される。本実施形態に係る情報提供装置２では、ステップＳ２０２の処理により、この特徴ベクトル３５をメタ情報として検索に用いることで、その検索において、状態遷移の系列を考慮することができる。これにより、ステップＳ２０３では、検索対象の系列に対する適切な時系列データ３０の抽出を期待することができる。したがって、本実施形態に係る情報収集装置１によれば、時系列データ３０を抽出する精度の向上を期待することができる。また、本実施形態に係る情報提供装置２によれば、そのような時系列データ３０の高精度な抽出の実施及び適合的な時系列データ３０の提供を期待することができる。
　§４　変形例
　以上、本発明の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。上記実施形態において、種々の改良又は変更が適宜行われてよい。例えば、以下のような変更が可能である。なお、以下では、上記実施形態と同様の構成要素に関しては同様の符号を用い、上記実施形態と同様の点については、適宜説明を省略した。以下の変形例は適宜組み合わせ可能である。
　＜４．１＞
　上記実施形態において、依頼元Ｕのコンピュータ、外部コンピュータ及び情報提供装置２の少なくともいずれかは、推論モデルを用いて、自然言語による指示からクエリＳ又はターゲットの時系列データを生成してよい。自然言語による指示は、テキスト入力、音声入力、画像入力等の任意の方法で依頼元Ｕから与えられてよい。
　推論モデルには、訓練済み機械学習モデルが用いられてよい。自然言語の指示からクエリＳ又は時系列データを生成する推論を実行可能であれば、機械学習モデルの構成は、特に限られなくてよく、実施の形態に応じて適宜選択されてよい。機械学習モデル（推論モデル）は、そのような推論をする能力を獲得するように適宜訓練されてよい。
　一例では、推論モデルには、コンテキスト内学習（in-context learning）の能力を有する訓練済み機械学習モデルが用いられてよい。コンテキスト内学習とは、例えば、入出力サンプル等の入力（プロンプト）の文脈を通じて特定の推論を行う能力を習得することである。この推論モデルは、例えば、大規模言語モデル（LLM：Large Language Model）、大規模視覚言語モデル（LVLM：Large Vision-Language Model）等であってよい。大規模視覚言語モデルは、visual question answering model、open vocabulary object detection model、open vocabulary object segmentation model等を含んでよい。その他、推論モデルは、例えば、Audio Question Answering等の１つ以上の他のモダリティ（音等）と組み合わされた大規模言語モデルであってもよい。更には、推論モデルは、例えば、Large Audio Model等の言語以外の１つ以上の他のモダリティの大規模モデルであってもよい。推論モデルの入力のデータ形式は、特に限られなくてよく、実施の形態に応じて適宜選択されてよい。コンテキスト内学習の能力を有する推論モデルを用いる場合、自然言語による指示を与える前又は与える際に、自然言語の指示及びクエリＳ又は時系列データの組み合わせにより構成される入出力サンプルを推論モデルに与えてよい。これにより、推論モデルにおいてコンテキスト内学習を促し、推論の精度を高めてよい。
　時系列データを生成する場合、生成された時系列データは、エンコーダ５によりクエリＳに適宜変換されてよい。本変形例によれば、自然言語の指示によりクエリＳを生成することができる。
　また、クエリＳ又はターゲットの時系列データが生成された後、上記ステップＳ２０１～ステップＳ２０３の処理が自動的に実行されてよい。これにより、自然言語の指示から関連時系列データ６０の検索結果を得ることができる。コンテキスト内学習の能力を有する推論モデルを用いる場合、検索結果が不適当であることに応じて、任意の方法で、再プロンプトが行われてよい。これにより、検索結果を修正することで、適切な検索結果を得やすくすることができる。
　＜４．２＞
　上記実施形態において、情報収集装置１（制御部１１）は、時系列データ３０を保存する際、例えば、所有者情報、期限情報等の管理情報を時系列データ３０に更に関連付けてよい。管理情報は、実施の形態に応じて適宜得られてよい。管理情報は、例えば、所有者の確認、保存期限の指定等の時系列データ３０の管理に用いられてよい。
　§５　実験例
　上記実施形態の有効性を検証するため、以下の実験を行った。ただし、本発明は、以下の実施例に限定されるものではない。
　（事前準備）
　模倣学習のシミュレーション環境において、エージェントとして３台のロボット装置を定義し、オブジェクトとして棒を定義した。ターゲットタスクとして、３台のロボット装置により棒を所定の位置に運搬する作業を定義した。各ロボット装置の形状は円形状に設定し、各ロボット装置の直径は３ｃｍに設定した。棒の形状は矩形状に設定し、棒の寸法は２４ｃｍ×２ｃｍ×３ｃｍに設定した。開始地点から目標地点までの距離は０ｃｍ～２０ｃｍの間で設定した。
　強化学習のSoft Actor-Critic（SAC）法により、上記タスクを遂行するための方策を訓練した。訓練終了時の累積報酬の値によって、習熟度が低い、中及び高いの３種類に方策を区分けすることで、３つの方策を用意した。得られた３つの方策で各ロボット装置を駆動し、各ロボット装置及び棒の位置及び速度を記録することで、各方策による時系列データを収集した。そして、各方策により収集された時系列データを統合することで、学習用の時系列データを生成した。生成した学習用の時系列データの件数は、30,000件であった。また、習熟度が高い方策により各ロボット装置を駆動することで、クエリの元となる時系列データを生成した。生成したクエリ用の時系列データの件数は、500件であった。
　（実施例）
　実施例では、エンコーダ－デコーダ型のTransformerで構成されるエンコーダネットワークを用意した。エンコーダ及びデコーダは２層に設定した。エンコーダの埋め込み次元数（すなわち、特徴ベクトルの次元数）は、512に設定した。過去軌跡及び将来軌跡の組み合わせにより構成されるデータセットを用いて、エンコーダネットワークの教師あり学習を行うことで、訓練済みのエンコーダネットワークを生成した。生成された訓練済みのエンコーダネットワーク内のエンコーダを用いて、学習用の時系列データを符号化することで、特徴ベクトルを生成した。生成された特徴ベクトルを時系列データに関連付けることで、データベースを構築した。
　また、エンコーダを用いて、クエリ用の時系列データを符号化することで、クエリを生成した。生成されたクエリにより、上記情報提供装置２のステップＳ２０２及びステップＳ２０３と同様の検索を行った。これにより、30,000件の時系列データから5,000件の時系列データを抽出した。抽出された5,000件の時系列データにクエリ用の時系列データを加えて、5,500件の時系列データを模倣学習の対象に設定した。
　（比較例）
　第１比較例では、クエリ用の時系列データ（500件）を模倣学習の対象に設定した。第２比較例では、学習用の時系列データ（30,000件）を模倣学習の対象に設定した。第３比較例では、時系列データの比較により、クエリ用の時系列データをそのままクエリとして用いて、30,000件の時系列データから5,000件の時系列データを抽出した。比較の指標には、ユークリッド距離を用いた。抽出された5,000件の時系列データにクエリ用の時系列データを加えて、5,500件の時系列データを模倣学習の対象に設定した。
　（学習条件）
　実施例及び各比較例で対象に設定された時系列データを用いて、ターゲットタスクを遂行する方策の模倣学習を行った。方策のモデル構成には、エンコーダと同じものを採用した。学習アルゴリズムにはAdamを用いた。学習のエポック数は50に設定した。損失関数には、Mean Squared Error (MSE)を採用した。将来の速度の予測誤差を損失として用いた。これにより、得られた学習済みの方策を用いて、ターゲットタスクの遂行を行った。１００回の試行を行い、成功率を計算した。
　（実験結果）
　図１１は、実施例及び各比較例の実験結果を示す。図１１に示されるとおり、各比較例に比べて、実験例によれば、成功率の高い方策を得ることができた。この結果から、上記実施形態によれば、模倣学習に適切な時系列データを抽出可能であることが分かった。すなわち、上記実施形態によれば、適切な時系列データを抽出する精度の向上を図ることができることが分かった。これにより、上記実施形態の有用性を示すことができた。
　本明細書は以下の開示を含む。
　［付記１］
　制御部（１１）を備える情報収集装置（１）であって、
　前記制御部（１１）は、
　　１以上のエージェント（Ｋ）の状態遷移を示す時系列データ（３０）を取得すること、
　　複数の時刻の情報を織り込んで符号化するように構成されたエンコーダ（５）を用いて、取得された前記時系列データ（３０）を特徴ベクトル（３５）に変換すること、及び
　　得られた前記特徴ベクトル（３５）を前記時系列データ（３０）と関連付けてデータベース（Ｒ）に保存すること、
を実行するように構成される、
情報収集装置（１）。
　［付記２］
　前記時系列データ（３０）は、複数の前記エージェント（Ｋ）の状態遷移を示すように構成され、
　前記エンコーダ（５）は、空間の情報を更に織り込んで符号化するように構成される、付記１に記載の情報収集装置（１）。
　［付記３］
　前記エンコーダ（５）は、１以上のエージェント（Ｋ）の状態遷移からその未来の状態を予測するように訓練されることで、複数の時刻の情報を織り込んで符号化するように構成される、
付記１又は付記２に記載の情報収集装置（１）。
　［付記４］
　前記時系列データ（３０）は、軌跡データを含む、
付記１から付記３のいずれか１つに記載の情報収集装置（１）。
　［付記５］
　前記時系列データ（３０）は、動画像データを含む、
付記１から付記４のいずれか１つに記載の情報収集装置（１）。
　［付記６］
　前記制御部（１１）は、前記１以上のエージェント（Ｋ）の属性情報（３１）を更に取得するように構成され、
　取得された前記時系列データ（３０）を特徴ベクトル（３５）に変換することは、取得された前記時系列データ（３０）及び前記１以上のエージェント（Ｋ）の前記属性情報（３１）を特徴ベクトル（３５）に変換することにより構成される、
付記１から付記５のいずれか１つに記載の情報収集装置（１）。
　［付記７］
　前記時系列データ（３０）は、１以上のオブジェクトの状態遷移を更に示すように構成され、
　前記エンコーダ（５）は、空間の情報を更に織り込んで符号化するように構成される、付記１から付記６のいずれか１つに記載の情報収集装置（１）。
　［付記８］
　前記制御部（１１）は、前記１以上のオブジェクトの属性情報（３２）を更に取得するように構成され、
　取得された前記時系列データ（３０）を特徴ベクトル（３５）に変換することは、取得された前記時系列データ（３０）及び前記１以上のオブジェクトの前記属性情報（３２）を特徴ベクトル（３５）に変換することにより構成される、
付記７に記載の情報収集装置（１）。
　［付記９］
　前記制御部（１１）は、前記１以上のエージェント（Ｋ）の存在する環境に関する環境情報（３３）を更に取得するように構成され、
　取得された前記時系列データ（３０）を特徴ベクトル（３５）に変換することは、取得された前記時系列データ（３０）及び前記環境情報（３３）を特徴ベクトル（３５）に変換することにより構成される、
付記１から付記８のいずれか１つに記載の情報収集装置（１）。
　［付記１０］
　前記エージェント（Ｋ）は、ロボット装置又は生物である、
付記１から付記９のいずれか１つに記載の情報収集装置（１）。
　［付記１１］
　時系列データ（３０）と関連付けられた特徴ベクトル（３５）を記憶するデータベース（Ｒ）に接続され、制御部（２１）を備える情報提供装置（２）であって、
　前記時系列データ（３０）は、１以上のエージェント（Ｋ）の状態遷移を示し、
　前記特徴ベクトル（３５）は、複数の時刻の情報を織り込んで符号化するように構成されたエンコーダ（５）を用いて、前記時系列データ（３０）を変換することで得られ、
　前記制御部（２１）は、
　　前記データベース（Ｒ）に対するクエリ（Ｓ）を依頼元（Ｕ）から受け付けること、
　　前記クエリ（Ｓ）に適合する特徴ベクトル（３５）を関連特徴ベクトル（６５）として前記データベース（Ｒ）から抽出すること、及び
　　抽出された前記関連特徴ベクトル（６５）に関連付けられる時系列データ（３０）を関連時系列データ（６０）として依頼元（Ｕ）に返すこと、
を実行するように構成される、
情報提供装置（２）。
　［付記１２］
　前記クエリ（Ｓ）を受け付けることは、複数の前記クエリ（Ｓ）を受け付けることにより構成され、
　前記関連特徴ベクトル（６５）を抽出することは、前記複数のクエリ（Ｓ）それぞれにそれぞれ適合する複数の関連特徴ベクトル（６５）を抽出することにより構成され、
　抽出される前記複数の関連特徴ベクトル（６５）について、一部の関連特徴ベクトル（６５）に関連付けられる時系列データ（３０）の情報源が、その他の関連特徴ベクトル（６５）に関連付けられる時系列データ（３０）の情報源と相違することが許容される、
付記１１に記載の情報提供装置（２）。
　［付記１３］
　抽出される前記特徴ベクトル（３５）について、前記関連時系列データ（６０）における前記１以上のエージェントの種類が、前記クエリ（Ｓ）でターゲットとなるタスクにおける１以上の対象エージェントの種類と相違することが許容される、
付記１１又は付記１２に記載の情報提供装置（２）。
　［付記１４］
　前記クエリ（Ｓ）は、ターゲットの時系列データを前記エンコーダ（５）で符号化することにより生成されたものであり、
　前記ターゲットの時系列データのスケールは前記依頼元（Ｕ）で変更されている、
付記１１から付記１３のいずれか１つに記載の情報提供装置。
　［付記１５］
　前記クエリ（Ｓ）を前記依頼元（Ｕ）から受け取ることは、
　　ターゲットの時系列データを前記依頼元（Ｕ）から受け取ること、
　　前記ターゲットの時系列データのスケールを変更すること、及び
　　変更後の前記ターゲットの時系列データを前記エンコーダ（５）で符号化することで、前記クエリ（Ｓ）を生成すること、
を含む、
付記１１から付記１４のいずれか１つに記載の情報提供装置。
　［付記１６］
　前記時系列データ（３０）を関連時系列データ（６０）として依頼元（Ｕ）に返すことは、
　　前記関連時系列データ（６０）のスケールを変更すること、及び
　　変更後の前記関連時系列データ（６０）を前記依頼元（Ｕ）に返すこと、
を含む、
付記１１から付記１５のいずれか１つに記載の情報提供装置。
　［付記１７］
　コンピュータ（１）が、
　　１以上のエージェント（Ｋ）の状態遷移を示す時系列データ（３０）を取得すること、
　　複数の時刻の情報を織り込んで符号化するように構成されたエンコーダ（５）を用いて、取得された前記時系列データ（３０）を特徴ベクトル（３５）に変換すること、及び
　　得られた前記特徴ベクトル（３５）を前記時系列データ（３０）と関連付けてデータベース（Ｒ）に保存すること、
を実行する、
情報収集方法。
　［付記１８］
　時系列データ（３０）と関連付けられた特徴ベクトル（３５）を記憶するデータベース（Ｒ）に接続されるコンピュータ（２）による情報提供方法であって、
　前記時系列データ（３０）は、１以上のエージェント（Ｋ）の状態遷移を示し、
　前記特徴ベクトル（３５）は、複数の時刻の情報を織り込んで符号化するように構成されたエンコーダ（５）を用いて、前記時系列データ（３０）を変換することで得られ、
　前記コンピュータ（２）が、
　　前記データベース（Ｒ）に対するクエリ（Ｓ）を依頼元（Ｕ）から受け付けること、
　　前記クエリ（Ｓ）に適合する特徴ベクトル（３５）を関連特徴ベクトル（６５）として前記データベース（Ｒ）から抽出すること、及び
　　抽出された前記関連特徴ベクトル（６５）に関連付けられる時系列データ（３０）を関連時系列データ（６０）として依頼元（Ｕ）に返すこと、
を実行する、
情報提供方法。
　１…情報収集装置、
　１１…制御部、１２…記憶部、１３…外部インタフェース、
　１４…入力装置、１５…出力装置、１６…ドライブ、
　８１…プログラム、９１…記憶媒体、
　１１１…データ取得部、１１２…変換部、１１３…保存処理部、
　２…情報提供装置、
　２１…制御部、２２…記憶部、２３…外部インタフェース、
　２４…入力装置、２５…出力装置、２６…ドライブ、
　８２…プログラム、９２…記憶媒体、
　２１１…受付部、２１２…抽出部、２１３…応答部、
　３０…時系列データ、３１・３２…属性情報、３３…環境情報、
　３５…特徴ベクトル、４５…真値、
　５…エンコーダ、５００…エンコーダデータ、
　５１…自己注意機構、５３…交差注意機構、
　６０…関連時系列データ、６５…関連特徴ベクトル、
　Ｋ…エージェント、Ｌ…オブジェクト、
　Ｒ…データベース、Ｓ…クエリ、Ｕ…依頼元

Claims (18)

  1. 　制御部を備える情報収集装置であって、
    　前記制御部は、
    　　１以上のエージェントの状態遷移を示す時系列データを取得すること、
    　　複数の時刻の情報を織り込んで符号化するように構成されたエンコーダを用いて、取得された前記時系列データを特徴ベクトルに変換すること、及び
    　　得られた前記特徴ベクトルを前記時系列データと関連付けてデータベースに保存すること、
    を実行するように構成される、
    情報収集装置。
  2. 　前記時系列データは、複数の前記エージェントの状態遷移を示すように構成され、
    　前記エンコーダは、空間の情報を更に織り込んで符号化するように構成される、
    請求項１に記載の情報収集装置。
  3. 　前記エンコーダは、１以上のエージェントの状態遷移からその未来の状態を予測するように訓練されることで、複数の時刻の情報を織り込んで符号化するように構成される、
    請求項１に記載の情報収集装置。
  4. 　前記時系列データは、軌跡データを含む、
    請求項１に記載の情報収集装置。
  5. 　前記時系列データは、動画像データを含む、
    請求項１に記載の情報収集装置。
  6. 　前記制御部は、前記１以上のエージェントの属性情報を更に取得するように構成され、
    　取得された前記時系列データを特徴ベクトルに変換することは、取得された前記時系列データ及び前記１以上のエージェントの前記属性情報を特徴ベクトルに変換することにより構成される、
    請求項１に記載の情報収集装置。
  7. 　前記時系列データは、１以上のオブジェクトの状態遷移を更に示すように構成され、
    　前記エンコーダは、空間の情報を更に織り込んで符号化するように構成される、
    請求項１に記載の情報収集装置。
  8. 　前記制御部は、前記１以上のオブジェクトの属性情報を更に取得するように構成され、
    　取得された前記時系列データを特徴ベクトルに変換することは、取得された前記時系列データ及び前記１以上のオブジェクトの前記属性情報を特徴ベクトルに変換することにより構成される、
    請求項７に記載の情報収集装置。
  9. 　前記制御部は、前記１以上のエージェントの存在する環境に関する環境情報を更に取得するように構成され、
    　取得された前記時系列データを特徴ベクトルに変換することは、取得された前記時系列データ及び前記環境情報を特徴ベクトルに変換することにより構成される、
    請求項１に記載の情報収集装置。
  10. 　前記エージェントは、ロボット装置又は生物である、
    請求項１に記載の情報収集装置。
  11. 　時系列データと関連付けられた特徴ベクトルを記憶するデータベースに接続され、制御部を備える情報提供装置であって、
    　前記時系列データは、１以上のエージェントの状態遷移を示し、
    　前記特徴ベクトルは、複数の時刻の情報を織り込んで符号化するように構成されたエンコーダを用いて、前記時系列データを変換することで得られ、
    　前記制御部は、
    　　前記データベースに対するクエリを依頼元から受け付けること、
    　　前記クエリに適合する特徴ベクトルを関連特徴ベクトルとして前記データベースから抽出すること、及び
    　　抽出された前記関連特徴ベクトルに関連付けられる時系列データを関連時系列データとして依頼元に返すこと、
    を実行するように構成される、
    情報提供装置。
  12. 　前記クエリを受け付けることは、複数の前記クエリを受け付けることにより構成され、
    　前記関連特徴ベクトルを抽出することは、前記複数のクエリそれぞれにそれぞれ適合する複数の関連特徴ベクトルを抽出することにより構成され、
    　抽出される前記複数の関連特徴ベクトルについて、一部の関連特徴ベクトルに関連付けられる時系列データの情報源が、その他の関連特徴ベクトルに関連付けられる時系列データの情報源と相違することが許容される、
    請求項１１に記載の情報提供装置。
  13. 　抽出される前記特徴ベクトルについて、前記関連時系列データにおける前記１以上のエージェントの種類が、前記クエリでターゲットとなるタスクにおける１以上の対象エージェントの種類と相違することが許容される、
    請求項１１に記載の情報提供装置。
  14. 　前記クエリは、ターゲットの時系列データを前記エンコーダで符号化することにより生成されたものであり、
    　前記ターゲットの時系列データのスケールは前記依頼元で変更されている、
    請求項１１に記載の情報提供装置。
  15. 　前記クエリを前記依頼元から受け取ることは、
    　　ターゲットの時系列データを前記依頼元から受け取ること、
    　　前記ターゲットの時系列データのスケールを変更すること、及び
    　　変更後の前記ターゲットの時系列データを前記エンコーダで符号化することで、前記クエリを生成すること、
    を含む、
    請求項１１に記載の情報提供装置。
  16. 　前記時系列データを関連時系列データとして依頼元に返すことは、
    　　前記関連時系列データのスケールを変更すること、及び
    　　変更後の前記関連時系列データを前記依頼元に返すこと、
    を含む、
    請求項１１に記載の情報提供装置。
  17. 　コンピュータが、
    　　１以上のエージェントの状態遷移を示す時系列データを取得すること、
    　　複数の時刻の情報を織り込んで符号化するように構成されたエンコーダを用いて、取得された前記時系列データを特徴ベクトルに変換すること、及び
    　　得られた前記特徴ベクトルを前記時系列データと関連付けてデータベースに保存すること、
    を実行する、
    情報収集方法。
  18. 　時系列データと関連付けられた特徴ベクトルを記憶するデータベースに接続されるコンピュータによる情報提供方法であって、
    　前記時系列データは、１以上のエージェントの状態遷移を示し、
    　前記特徴ベクトルは、複数の時刻の情報を織り込んで符号化するように構成されたエンコーダを用いて、前記時系列データを変換することで得られ、
    　前記コンピュータが、
    　　前記データベースに対するクエリを依頼元から受け付けること、
    　　前記クエリに適合する特徴ベクトルを関連特徴ベクトルとして前記データベースから抽出すること、及び
    　　抽出された前記関連特徴ベクトルに関連付けられる時系列データを関連時系列データとして依頼元に返すこと、
    を実行する、
    情報提供方法。
PCT/JP2024/038742 2023-11-28 2024-10-30 情報収集装置、情報提供装置、情報収集方法及び情報提供方法 Pending WO2025115502A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2023201124A JP2025086821A (ja) 2023-11-28 2023-11-28 情報収集装置、情報提供装置、情報収集方法及び情報提供方法
JP2023-201124 2023-11-28

Publications (1)

Publication Number Publication Date
WO2025115502A1 true WO2025115502A1 (ja) 2025-06-05

Family

ID=95897630

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2024/038742 Pending WO2025115502A1 (ja) 2023-11-28 2024-10-30 情報収集装置、情報提供装置、情報収集方法及び情報提供方法

Country Status (2)

Country Link
JP (1) JP2025086821A (ja)
WO (1) WO2025115502A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023059382A (ja) * 2021-10-15 2023-04-27 オムロン株式会社 経路計画システム、経路計画方法、ロードマップ構築装置、モデル生成装置、及びモデル生成方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023059382A (ja) * 2021-10-15 2023-04-27 オムロン株式会社 経路計画システム、経路計画方法、ロードマップ構築装置、モデル生成装置、及びモデル生成方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KOSHIKAWA, SHUNPEI; KUME, JUN; HIGUCHI, KOKI; TAKAHASHI, TATSUJI; OHTA, HIROYUKI: "1B4-GS-2-05 Deep reinforcement learning with planning based on replay of similar experiences", PROCEEDINGS OF THE 32ND ANNUAL CONFERENCE OF THE JAPANESE SOCIETY FOR ARTIFICIAL INTELLIGENCE DVD [DVD-ROM] THE 32ND ANNUAL CONFERENCE OF THE JAPANESE SOCIETY FOR ARTIFICIAL INTELLIGENCE, JAPANESE SOCIETY FOR ARTIFICIAL INTELLIGENCE, JP, vol. 37, 6 June 2023 (2023-06-06) - 2023-06-09, JP, pages 1 - 4, XP009565451, ISSN: 2758-7347, DOI: 10.11517/pjsai.JSAI2023.0_1B4GS205 *
SOROUSH NASIRIANY; TIAN GAO; AJAY MANDLEKAR; YUKE ZHU: "Learning and Retrieval from Prior Data for Skill-based Imitation Learning", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 15 November 2022 (2022-11-15), 201 Olin Library Cornell University Ithaca, NY 14853, XP091368617 *

Also Published As

Publication number Publication date
JP2025086821A (ja) 2025-06-09

Similar Documents

Publication Publication Date Title
US11663474B1 (en) Artificially intelligent systems, devices, and methods for learning and/or using a device's circumstances for autonomous device operation
US12462423B2 (en) Scene embedding for visual navigation
US11663441B2 (en) Action selection neural network training using imitation learning in latent space
CN112119409B (zh) 具有关系存储器的神经网络
US20240029436A1 (en) Action classification in video clips using attention-based neural networks
US12248875B2 (en) Controlling agents using scene memory data
Ye et al. Efficient robotic object search via hiem: Hierarchical policy learning with intrinsic-extrinsic modeling
KR20240172221A (ko) 이미지에서의 개방형 어휘 객체 검출
US20250209340A1 (en) Intra-agent speech to facilitate task learning
CN120765961B (zh) 基于结构感知和知识增强推理的机器人操作轨迹生成方法
CN119693671A (zh) 用于大视觉-语言模型的可伸缩提示学习
US12469186B2 (en) Systems and methods for generating multimodal data using a single-tower architecture with a data generation subsystem
EP3948680A1 (en) Neural network-based memory system with variable recirculation of queries using memory content
CN119478878A (zh) 用于生成机器人导航中的跨任务泛化的统一目标表示的系统和方法
US20220305647A1 (en) Future prediction, using stochastic adversarial based sampling, for robotic control and/or other purpose(s)
CN120604238A (zh) 使用多模态语言模型的开放词表机器人控制
CN120530398A (zh) 训练超大规模视觉Transformer神经网络
US20200334530A1 (en) Differentiable neuromodulated plasticity for reinforcement learning and supervised learning tasks
Pallavoor et al. Gesture and speech recognition for real-time multi-modal human–robot interaction using deep learning based approach
US20250111109A1 (en) Generating motion tokens for simulating traffic using machine learning models
KR20260066049A (ko) 신경망을 위한 진화하는 프롬프트
JP2025086821A (ja) 情報収集装置、情報提供装置、情報収集方法及び情報提供方法
CN117824622A (zh) 基于分层关系及状态正则化的目标驱动导航方法及系统
You et al. Visual landmark learning via attention-based deep neural networks
WO2025165950A1 (en) Conformal abstention for neural networks

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24897191

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE