WO2019026703A1 - 学習済モデル統合方法、装置、プログラム、ｉｃチップ、及びシステム - Google Patents

学習済モデル統合方法、装置、プログラム、ｉｃチップ、及びシステム Download PDF

Info

Publication number
WO2019026703A1
WO2019026703A1 PCT/JP2018/027774 JP2018027774W WO2019026703A1 WO 2019026703 A1 WO2019026703 A1 WO 2019026703A1 JP 2018027774 W JP2018027774 W JP 2018027774W WO 2019026703 A1 WO2019026703 A1 WO 2019026703A1
Authority
WO
WIPO (PCT)
Prior art keywords
learning
nodes
node
learned
integrating
Prior art date
Application number
PCT/JP2018/027774
Other languages
English (en)
French (fr)
Inventor
天海 金
純一 出澤
志門 菅原
Original Assignee
株式会社エイシング
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社エイシング filed Critical 株式会社エイシング
Priority to JP2019534067A priority Critical patent/JP6713099B2/ja
Priority to EP18815931.3A priority patent/EP3663992A4/en
Priority to US16/232,333 priority patent/US11475371B2/en
Publication of WO2019026703A1 publication Critical patent/WO2019026703A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G06F16/9027—Trees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound

Definitions

  • the present invention relates to a learned model integration method, apparatus, program, IC chip, and system for integrating a learned model generated by a predetermined learning process, and in particular, integrates a learned model having a tree structure.
  • the present invention relates to a learned model integration method, apparatus, program, IC chip, and system.
  • Patent Document 1 proposes a new machine learning framework having a tree structure (Patent Document 1).
  • FIG. 13 is an explanatory view showing a framework of the new machine learning, that is, an explanatory view showing a structure of a learning tree.
  • FIG. 13A shows the structure of a learning tree in the learning method
  • FIG. 13B shows an image of a state space corresponding to the structure.
  • each node corresponding to each hierarchically divided state space is from the top node (start node or root node) to the bottom node (end node or leaf node) , It is comprised by arrange
  • the figure shows an example in the case where N is 2 and d is 2 and n is 2 in a learning tree of N levels and d dimensions and n, and the first level of the learning tree shown in FIG. 13A.
  • the numbers 1 to 4 assigned to the four terminal nodes of the nodes correspond to the four state spaces shown in FIG. 13 (b), respectively.
  • the present invention has been made under the technical background described above, and the purpose of the present invention is to combine a plurality of learned models obtained using a new machine learning framework having a tree structure.
  • the learned model integration method relates to a learning model having a tree structure configured by hierarchically arranging a plurality of nodes associated with each other in hierarchically divided state spaces.
  • the node is duplicated, and the corresponding positions of the plurality of learned models
  • the plurality of different learned models are singled by integrating the respective corresponding nodes with each other. Integrating to trained model, and a, and integration steps.
  • the node when there is a node in only one learned model, the node may be configured to be replicated together with all the nodes existing under the node.
  • Each of the nodes of the plurality of different learned models is associated with a learning related parameter generated in the process of the learning and the number of data included in the state space corresponding to each of the nodes;
  • the integrating step further corresponds to a data number adding step of adding the data numbers of a plurality of nodes to be integrated when integrating the nodes, and a plurality of nodes to be integrated when integrating the nodes.
  • An error amount addition step of weighting and adding each of the learning related parameters according to the number of data.
  • weighted addition is performed according to the number of data included in integration of nodes, so that learning related parameters can be integrated according to reliability.
  • the learning related parameter may be an error amount generated in the learning process at each of the nodes and corresponding to prediction accuracy.
  • the integration of the error amount at the time of integration of the nodes is performed according to the number of data, the integration of the error amount according to the reliability can be performed.
  • the data reading step further includes a parameter file reading step of reading a parameter file including parameters corresponding to each learning condition of each of the learned models, and the learned model integration method further corresponds to each of the learning conditions.
  • the integration step is performed when predetermined parameters of the respective parameters match each other, and the determination step where the integration step is not performed when the predetermined parameters do not match each other. May be
  • the present disclosure can also be conceptualized as a learned model integration device. That is, the learned model integration device according to the present disclosure relates to a learning model having a tree structure configured by hierarchically arranging a plurality of nodes associated with each other in the hierarchically divided state space.
  • a learned model integration device for integrating a plurality of different learned models obtained by learning a predetermined data group, and reading out data on the plurality of different learned models from a predetermined storage unit; For each node constituting the tree structure related to the plurality of different learned models, when there is a node only in one learned model, the node is duplicated, and the corresponding positions of the plurality of learned models In the case where there are nodes respectively, the plurality of different learned models are single-learned by integrating the respective corresponding nodes with each other. Integration with Dell, and a, and integration unit.
  • the present disclosure can also be conceptualized as a learned model integration program. That is, the learned model integration program according to the present disclosure is a learning that has a tree structure configured by hierarchically arranging a plurality of nodes each associated with a computer in a hierarchically divided state space.
  • a learned model integration program that functions as a learned model integration device that integrates a plurality of different learned models obtained by causing a model to learn a predetermined data group
  • the plurality of learned model integration programs comprising: In the data reading step of reading out data on different learned models, and for each node constituting a tree structure related to the plurality of different learned models, when there is a node in only one learned model, copy the node If there are nodes at corresponding positions of a plurality of learned models, the corresponding nodes By integrating, integrating said plurality of different learned models to each other into a single learned model, and a, and integration steps.
  • the present disclosure can be conceived as an IC chip.
  • the IC chip according to the present disclosure is a predetermined data group for a learning model having a tree structure configured by hierarchically arranging a plurality of nodes associated with each other in hierarchically divided state spaces.
  • An IC chip having a function of integrating a plurality of different learned models obtained by learning a plurality of data, wherein the plurality of data reading units read data related to the plurality of different learned models from a predetermined storage unit; For each node constituting the tree structure according to different learned models, when there is a node only in one learned model, the node is duplicated, and the nodes exist in corresponding positions of a plurality of learned models. If necessary, the plurality of different learned models are integrated into a single learned model by integrating the corresponding nodes. And a consolidation unit.
  • the present disclosure can be conceived as an integrated processing system of a learned model. That is, the integrated processing system according to the present disclosure is determined based on a learning model having a tree structure configured by hierarchically arranging a plurality of nodes respectively associated with hierarchically divided state spaces.
  • a learning device layer comprising one or more learning devices for performing learning processing based on the data group of the above to generate a learned model, and each of the learning devices connected with the learning device layer via communication
  • An integrated processing system comprising: an integrated device layer including one or more learned model integrated devices for integrating the learned models; wherein the learned model integrated device is configured to calculate the different learned models from a predetermined storage unit.
  • the different learned models are integrated by integrating the nodes and integrating the corresponding nodes when there are nodes at corresponding positions of a plurality of learned models. It has a department.
  • FIG. 1 is an explanatory view showing a hardware configuration.
  • FIG. 2 is a general flowchart related to learning processing.
  • FIG. 3 is a flowchart related to the calculation process of the error.
  • FIG. 4 is a flowchart regarding prediction processing.
  • FIG. 5 is a general flowchart of the integration process.
  • FIG. 6 is a detailed flowchart of the integration process.
  • FIG. 7 is a conceptual diagram regarding the integration of learning trees.
  • FIG. 8 is a conceptual diagram related to integration processing.
  • FIG. 9 shows an experimental result (part 1).
  • FIG. 10 shows an experimental result (part 2).
  • FIG. 11 is a schematic block diagram of a large scale integrated processing system.
  • FIG. 12 is a schematic block diagram of an information processing system.
  • FIG. 13 is an explanatory view showing a structure of a learning tree.
  • FIG. 1 is an explanatory view showing a hardware configuration of the integrated processing apparatus 10 according to the present embodiment.
  • the integrated processing apparatus 10 includes a control unit 1, an I / O unit 2 that controls input / output with an external device, a communication unit 3 that controls wireless or wired communication, and a storage unit 4 And they are connected via a system bus.
  • the control unit 1 includes a CPU and executes various programs including a program for performing integration processing of a learned model having a tree structure described later.
  • a microprocessor, a microcontroller, a GPU (Graphics Processing Unit), or the like may be used instead of the CPU or the like.
  • the storage unit 4 is, for example, various storage devices including a ROM, a RAM, a flash memory, a hard disk, etc.
  • the configuration of the integrated processing apparatus 10 is not limited to the configuration shown in the figure, and can be freely changed within the scope of technical common sense at the time of application. Therefore, for example, the storage unit 4 may be separately disposed as an external storage or the like. Further, distributed processing and the like may be performed on the control unit 1 in cooperation with control units and the like of other information processing apparatuses. Furthermore, processing using virtualization technology may be performed.
  • FIG. 2 is a general flowchart related to learning processing.
  • a learning model having a tree structure S101.
  • a state space to which the data should belong and a node corresponding to the state space are specified, and thereby, one path from the root node to the end node is specified. (S102).
  • S102 a state space to which the data should belong and a node corresponding to the state space
  • S102 one path from the root node to the end node
  • a new node is generated at the position.
  • calculation processing of an error corresponding to the prediction error of each node is performed (S103).
  • FIG. 3 is a flowchart showing the details of the error calculation process (S103).
  • a root node is set as a target node (S1031).
  • an error update process is performed on the target node according to the following equation (S1032).
  • E t + 1 represents an error after updating
  • E t represents an error before updating
  • ⁇ represents a forgetting factor (0 ⁇ ⁇ 1)
  • the updated error E t + 1 is stored in the storage unit 4 as an error E in association with the node of interest (S1033).
  • the focused node is the lowermost node (S1034), and if it is not the lowermost node, the focused node is changed to a node lower by one (S1035). ).
  • the process of changing to a node lower by one on the route of the node of interest (S1035), the process of updating the error (S1032), and the saving process (S1033) are all the way down to the lowest layer node (S1034 NO), It will be repeated.
  • the focused node has reached the lowermost node (end node) (YES in S1034) (YES in S1034), the process ends. That is, according to this series of processing, an error E corresponding to the prediction accuracy is generated for all the nodes on the path.
  • the method of calculating the error E is not limited to the above. Therefore, for example, an error or the like obtained by referring to a node existing on a path lower than the focused node may be used.
  • FIG. 4 is a flowchart regarding prediction processing.
  • new input data is read from the storage unit 4 (S201).
  • a state space (node) to which it should belong is specified, whereby one path consisting of a series of nodes is specified (S202).
  • a node with the smallest error E on the route is specified (S203), and a prediction is made based on the arithmetic mean of the values or vectors of the respective data corresponding to the error E minimum node.
  • An output is generated (S204). That is, the predicted output is generated based on the error minimum node on the path.
  • the predicted output can be generated based on the node expected to have relatively high prediction accuracy.
  • the predicted output is generated based on data corresponding to the error minimum node on the path, but the present invention is not limited to such processing. Therefore, for example, the prediction output may be generated on the basis of data always corresponding to the end node.
  • FIG. 5 is a general flowchart of the integration process.
  • the parameter file contains, for example, a range to be learned (learning space), that is, the maximum value and the minimum value of input / output data, structural information of a learning model (N layer d dimension n division), and the like. It is determined whether or not the learning sections match or approximately match (S302). If they do not match (S302 NO), an error notifying the user that integration can not be performed via a display (not shown) or the like The message is output (S303), and the process ends. On the other hand, if this learning space matches or roughly matches.
  • Data files related to nodes of two learned models are read out (S304). Thereafter, after integration processing of learning trees related to two different learned models to be described later is performed (S305), the processing ends.
  • the approximate agreement of the learning intervals means, for example, within a range in which the maximum value / minimum value of the data included in one of the learned models is provided with a margin of a predetermined ratio (for example, about 10%). , It means that the maximum value and the minimum value of the data included in other learned models are included.
  • FIG. 6 is a detailed flowchart of the integration process (S305).
  • the first node position is set as a target position (S3051).
  • a determination process is performed as to whether there is a node in any learning tree at the target position (S3052).
  • S3053 integration processing of the two nodes is performed.
  • FIG. 8 is a conceptual diagram related to node integration processing (S3053).
  • FIG. 8A is a first example of integration in the case of integrating the two upper and lower colored nodes into one lower colored node.
  • E represents the above-mentioned error
  • C represents the number of data contained so far.
  • the error E of the upper left node is ⁇ (> 0)
  • the number of data C is k (an integer of 0 or more)
  • the error E of the upper right node is ⁇ (> 0)
  • the number of data C is m (0 or more Integer).
  • the error E after integration is calculated by weighted addition of the above-mentioned errors ⁇ and ⁇ using the data numbers k and m.
  • the number of data C after integration is calculated by adding the numbers of data k and m.
  • integration of nodes is performed by performing weighted addition according to the number of included data, so that learning related parameters can be integrated according to the reliability based on the number of data. .
  • FIG. 8B is a second example of integration in the case of integrating the two upper and lower colored nodes into one lower colored node.
  • the error E of the upper left node is ⁇ (> 0)
  • the number of data C is n (an integer greater than or equal to 0)
  • the error E of the upper right node is ⁇
  • the number of data C is one.
  • the fact that the error E is ⁇ is a value given for convenience because the number of data associated with the node is still one and the error is not defined.
  • the error E after integration is calculated as ⁇ based on the above-mentioned errors ⁇ and ⁇ .
  • the number of data C after integration is calculated as n + 1 by adding the number of data n and 1 together.
  • each data, error E, and data number C corresponding to each node are to be integration targets, but the integration targets are these. It is not limited to the parameters. Therefore, when integrating the nodes, it goes without saying that other parameters associated with the nodes may be targets of integration.
  • FIG. 7 is a conceptual diagram regarding the integration of learning trees. As is apparent from the figure, when the first learning tree at the upper left of the figure and the second learning tree at the upper right of the figure are integrated, integration processing is performed for black nodes, as shown in the lower part of the figure. On the other hand, for white nodes, nodes of the first learning tree or the second learning tree will be replicated.
  • FIG. 9 shows an experimental result (No. 1) in the case where integration processing of two learned models is performed.
  • FIG. 9 (a) is a predicted output of the first learned model in the case of learning a half cycle from a range of ⁇ to 0 for a sine curve (sine curve).
  • FIG. 9 (b) is a predicted output of the second learned model in the case of learning a half cycle from 0 to ⁇ with respect to a sine curve (sine curve).
  • FIG. 10 shows an experimental result (part 2) in the case where integration processing of two learned models is performed.
  • FIG. 10 (a) is a predicted output of the first learned model in the case of learning with rough accuracy for one cycle of ⁇ to ⁇ .
  • FIG. 10B although the sine curve is learned with high accuracy in the range of - ⁇ / 2 to ⁇ / 2, the range of - ⁇ to - ⁇ / 2 and ⁇ / 2 to ⁇ It is a predicted output of the second learned model in the case of learning so as to become line segments parallel to the horizontal axis so as to be each extension in the range.
  • FIG. 11 is a schematic block diagram of the large scale integrated processing system 80.
  • the large-scale integrated processing system 80 includes, from the top, the uppermost layer 81 including one or more integrated processing devices 10, and the first middle layer including one or more integrated processing devices 10. 82, a second intermediate layer 83 including one or more learning processing devices, and a device layer 84 including a plurality of devices, each layer being connected to each other by wired or wireless communication.
  • Data to be learned (for example, sensor data, etc.) acquired in each device of the device layer 84 is transmitted to the second intermediate layer 83, and the second intermediate layer 83 based on the data
  • a learning process is performed on a learning model having a tree structure.
  • a plurality of learned models are generated on the second intermediate layer 83.
  • the first intermediate layer receives data on the learned models on the second intermediate layer and performs integration processing of the respective learned models.
  • a plurality of integrated learned models are generated.
  • the data relating to the learned model on the first middle tier 82 is then sent to the top tier, where the consolidation processing is performed again in the top tier integration processor.
  • the learned model generated in the learning device layer (second intermediate layer) including one or more learning devices is integrated with the integrated device layer (uppermost layer 81 or the first intermediate layer 82).
  • a system suitable for large-scale learning and integration processing can be provided, which can be appropriately integrated by one or more of the learned model integration devices.
  • the integration processing of the learned model is performed in the integrated processing apparatus 10.
  • the present disclosure is not limited to such a configuration. Therefore, for example, the information processing system (server client system or SaaS system) configured by the server device 40 and the client device 30 may be configured.
  • FIG. 12 is a schematic block diagram of the information processing system 100.
  • the client device 30 includes a control unit 31 that controls the client device 30, an I / O unit 32 that performs input and output, a communication unit 33 that communicates with the server device 40, and a storage unit 34 that stores various information.
  • the server device 40 includes a control unit 41 that controls the server device 40, an I / O unit 42 that performs input and output, a communication unit 43 that communicates with the client device 30, and a storage unit that stores various information. It consists of 44 and.
  • the server device 40 executes learning processing based on the data file. After completion of the learning process, the server device 40 returns, to the user as a binary file, a parameter file including learning conditions (input / output dimensions, various parameters, etc.) and a data file related to the learned model.
  • the user transmits a plurality of (for example, two) different parameter files and data files to the server device 40, and sends an integrated processing command to the server device 40 via the communication, whereby the user can execute the server device Data integration processing can be performed on 40.
  • the client device 30 since the client device 30 does not have to have high computing ability and storage ability, it is easy to perform learning processing or integration processing.
  • Learned model integration method, apparatus, program, IC chip, and system for integrating processing of learned models generated by predetermined learning processing in particular, learned model integration method for integrating learned models having a tree structure , Devices, programs, IC chips, and systems that can be used in the industry.
  • Control unit 2 I / O unit 3 communication unit 4 storage unit 10 integrated processing device 30 client device 31 control unit 32 I / O unit 33 communication unit 34 storage unit 40 server device 41 control unit 42 I / O unit 43 communication unit 44 Storage unit 80 Large-scale integrated processing system 81 Top layer 82 First middle layer 83 Second middle layer 84 Device layer 100 Information processing system (server client system)

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)

Abstract

【課題】　木構造を有する新たな機械学習の枠組みを利用して得られた複数の学習済モデル同士を統合することにより単一の学習済モデルを生成すること。 【解決手段】　木構造を有する学習モデルに対して所定のデータ群を学習させることにより得られた複数の異なる学習済モデルを統合する学習済モデル統合方法であって、所定の記憶部から前記複数の異なる学習済モデルに関するデータを読み出す、データ読出ステップと、前記複数の異なる学習済モデルに係る木構造を構成する各ノードについて、一の学習済モデルのみにノードが存在する場合には当該ノードを複製し、複数の学習済モデルの対応する位置にそれぞれノードが存在する場合には対応する各前記ノード同士を統合することにより、前記複数の異なる学習済モデル同士を単一の学習済モデルへと統合する、統合ステップと、を備える学習済モデル統合方法が提供される。

Description

学習済モデル統合方法、装置、プログラム、ＩＣチップ、及びシステム
　この発明は、所定の学習処理により生成された学習済モデルの統合処理を行う学習済モデル統合方法、装置、プログラム、ＩＣチップ、及びシステムに関し、特に、木構造を有する学習済モデルの統合を行う学習済モデル統合方法、装置、プログラム、ＩＣチップ、及びシステムに関する。
　近年、計算機の演算機能の飛躍的な向上等により機械学習の分野が高い注目を集めている。このような背景の中、本願の発明者らは、木構造を有する新たな機械学習の枠組みを提唱している（特許文献１）。
　図１３は、上記新たな機械学習の枠組みについて示す説明図、すなわち、学習木の構造について示す説明図である。図１３（ａ）には、当該学習手法における学習木の構造が示されており、図１３（ｂ）には、当該構造に対応する状態空間のイメージが示されている。同図から明らかな通り、学習木構造は、階層的に分割された各状態空間に対応する各ノードを、最上位ノード（始端ノード又は根ノード）から最下端ノード（末端ノード又は葉ノード）まで、樹形状乃至格子状に配置することにより構成されている。なお、同図は、Ｎ階層ｄ次元ｎ分割の学習木においてＮが２、ｄが２、ｎが２の場合の例を示しており、図１３（ａ）に記載の学習木の１階層目の４つの末端ノードに付された１～４の番号は、それぞれ、図１３（ｂ）に記載の４つの状態空間に対応している。
　上記学習木を用いて学習処理を行う際には、入力されるデータが、逐次、分割された各状態空間に対応付けられ、それらが各状態空間に蓄積されていくこととなる。このとき、それまでデータが存在しなかった状態空間に新たにデータが入力された場合には、新たなノードが順次生成されていく。予測出力は、学習後に各状態空間に内包される各データの値又はベクトルの相加平均を取ることで算出されることとなる。
特開２０１６－１７３６８６号公報
　ところで、近年の機械学習の普及に伴い、既に学習済のモデル同士を統合してより包括的な予測を行うことが可能な学習済モデルを生成することが要望されている。
　しかしながら、例えばニューラルネットワーク等の従前の機械学習手法を用いた学習済モデル同士を統合することはその性質上困難であった。
　本発明は、上述の技術的背景の下になされたものであり、その目的とすることころは、木構造を有する新たな機械学習の枠組みを利用して得られた複数の学習済モデル同士を統合することにより単一の学習済モデルを生成する装置、方法、プログラム、ＩＣチップ及びシステム等を提供することにある。
　本発明のさらに他の目的並びに作用効果については、明細書の以下の記述を参照することにより、当業者であれば容易に理解されるであろう。
　上述の技術的課題は、以下の構成を有する情報処理装置により解決することができる。
　すなわち、本開示に係る学習済モデル統合方法は、階層的に分割された状態空間へとそれぞれ対応付けられた複数のノードを階層的に配置することにより構成された木構造を有する学習モデルに対して所定のデータ群を学習させることにより得られた複数の異なる学習済モデルを統合する学習済モデル統合方法であって、所定の記憶部から前記複数の異なる学習済モデルに関するデータを読み出す、データ読出ステップと、前記複数の異なる学習済モデルに係る木構造を構成する各ノードについて、一の学習済モデルのみにノードが存在する場合には当該ノードを複製し、複数の学習済モデルの対応する位置にそれぞれノードが存在する場合には対応する各前記ノード同士を統合することにより、前記複数の異なる学習済モデル同士を単一の学習済モデルへと統合する、統合ステップと、を備えている。
　このような構成によれば、木構造を有する学習済モデルが統合に好適であるという性質を利用して、異なる学習済モデル同士の統合を行うことができ、これにより、部分的な学習を行った複数の学習済モデルから単一のより完全な学習済モデルを生成することができる。
　前記統合ステップにおいて、一の学習済モデルのみにノードが存在する場合には当該ノードと共に当該ノード以下に存在するすべてのノードが複製される、ように構成してもよい。
　このような構成によれば、あるノードが一の学習済モデルのみに存在する場合には当該ノード以下のノードについても当該一の学習済モデルにのみに存在することを利用して、効率的な統合処理を行うことができる。
　前記複数の異なる学習済モデルの各前記ノードには、前記学習の過程において生成された学習関連パラメータと、各前記ノードに対応する状態空間に包含されるデータ数と、が対応付けられており、前記統合ステップは、さらに、前記ノードを統合するに際して統合対象となる複数のノードの前記データ数をそれぞれ加算するデータ数加算ステップと、前記ノードを統合するに際して統合対象となる複数のノードに対応付けられた各前記学習関連パラメータを前記各データ数に応じて重み付け加算する誤差量加算ステップと、を備えてもよい。
　このような構成によれば、ノード同士の統合に際して包含されるデータ数に応じて重み付け加算を行うので、信頼性に応じた学習関連パラメータの統合を行うことができる。
　前記学習関連パラメータは、各前記ノードにおいて前記学習の過程において生成され、かつ予測精度に相当する誤差量であってもよい。
　このような構成によれば、ノード同士の統合に際しての誤差量の統合をデータ数に応じて行うので、信頼性に応じた誤差量の統合を行うことができる。
　前記データ読出ステップは、さらに、各前記学習済モデルの各学習条件に相当するパラメータを含むパラメータファイルを読み出すパラメータファイル読出ステップを含み、前記学習済モデル統合方法は、さらに、各前記学習条件に相当する各パラメータのうちの所定のパラメータが互いに一致する場合には前記統合ステップを行い、かつ、各前記所定のパラメータが互いに一致しない場合には前記統合ステップを行わない判定ステップ、を含むものであってもよい。
　このような構成によれば、学習条件に相当するパラメータを含むパラメータファイルのうちの所定のパラメータに基づいて、学習済モデル同士の統合の可否を事前に判定するので、統合の前提条件が揃った適切な統合処理のみを行うことができる。
　また、本開示は、学習済モデル統合装置として観念することもできる。すなわち、本開示に係る学習済モデル統合装置は、階層的に分割された状態空間へとそれぞれ対応付けられた複数のノードを階層的に配置することにより構成された木構造を有する学習モデルに対して所定のデータ群を学習させることにより得られた複数の異なる学習済モデルを統合する学習済モデル統合装置であって、所定の記憶部から前記複数の異なる学習済モデルに関するデータを読み出す、データ読出部と、前記複数の異なる学習済モデルに係る木構造を構成する各ノードについて、一の学習済モデルのみにノードが存在する場合には当該ノードを複製し、複数の学習済モデルの対応する位置にそれぞれノードが存在する場合には対応する各前記ノード同士を統合することにより、前記複数の異なる学習済モデル同士を単一の学習済モデルへと統合する、統合部と、を備えている。
　さらに、本開示は、学習済モデル統合プログラムとして観念することもできる。すなわち、本開示に係る学習済モデル統合プログラムは、コンピュータを、階層的に分割された状態空間へとそれぞれ対応付けられた複数のノードを階層的に配置することにより構成された木構造を有する学習モデルに対して所定のデータ群を学習させることにより得られた複数の異なる学習済モデルを統合する学習済モデル統合装置として機能させる学習済モデル統合プログラムであって、所定の記憶部から前記複数の異なる学習済モデルに関するデータを読み出す、データ読出ステップと、前記複数の異なる学習済モデルに係る木構造を構成する各ノードについて、一の学習済モデルのみにノードが存在する場合には当該ノードを複製し、複数の学習済モデルの対応する位置にそれぞれノードが存在する場合には対応する各前記ノード同士を統合することにより、前記複数の異なる学習済モデル同士を単一の学習済モデルへと統合する、統合ステップと、を備えている。
　加えて、本開示は、ＩＣチップとして観念することもできる。本開示に係るＩＣチップは、階層的に分割された状態空間へとそれぞれ対応付けられた複数のノードを階層的に配置することにより構成された木構造を有する学習モデルに対して所定のデータ群を学習させることにより得られた複数の異なる学習済モデルを統合する機能を有するＩＣチップであって、所定の記憶部から前記複数の異なる学習済モデルに関するデータを読み出す、データ読出部と、前記複数の異なる学習済モデルに係る木構造を構成する各ノードについて、一の学習済モデルのみにノードが存在する場合には当該ノードを複製し、複数の学習済モデルの対応する位置にそれぞれノードが存在する場合には対応する各前記ノード同士を統合することにより、前記複数の異なる学習済モデル同士を単一の学習済モデルへと統合する、統合部と、を備えている。
　また、本開示は、学習済モデルの統合処理システムとして観念することもできる。すなわち、本開示に係る統合処理システムは、階層的に分割された状態空間へとそれぞれ対応付けられた複数のノードを階層的に配置することにより構成された木構造を有する学習モデルに基づいて所定のデータ群に基づく学習処理を行い学習済モデルを生成する学習装置を１又は２以上備える学習装置層と、前記学習装置層と通信を介して接続され、各前記学習装置にて生成された各前記学習済モデルを統合する学習済モデル統合装置を１又は２以上備える統合装置層と、から成る統合処理システムであって、前記学習済モデル統合装置は、所定の記憶部から前記異なる学習済モデルに関するデータを読み出す、データ読出部と、前記異なる学習済モデルに係る木構造を構成する各ノードについて、一の学習済モデルのみにノードが存在する場合には当該ノードを複製し、複数の学習済モデルの対応する位置にそれぞれノードが存在する場合には対応する各前記ノード同士を統合することにより、前記異なる学習済モデル同士を統合する、統合部と、を備えている。
　このような構成によれば、１又は２以上学習装置を含む学習装置層にて生成された学習済モデルを統合装置層の１又は２以上の学習済モデル統合装置により適宜統合することができるシステム、特に、大規模な学習・統合処理に好適なシステムを提供することができる。
　本開示によれば、木構造を有する学習済モデルが統合に好適であるという性質を利用して、異なる学習済モデル同士の統合を行うことができ、これにより、複数の学習済モデルから単一の包括的な学習済モデルを生成することができる。
図１は、ハードウェア構成について示す説明図である。 図２は、学習処理に関するゼネラルフローチャートである。 図３は、誤差の演算処理に関するフローチャートである。 図４は、予測処理に関するフローチャートである。 図５は、統合処理に関するゼネラルフローチャートである。 図６は、統合処理に関する詳細フローチャートである。 図７は、学習木の統合に関する概念図である。 図８は、統合処理に関する概念図である。 図９は、実験結果（その１）である。 図１０は、実験結果（その２）である。 図１１は、大規模統合処理システムの概略構成図である。 図１２は、情報処理システムの概略構成図である。 図１３は、学習木の構造について示す説明図である。
　以下、本発明に係る統合処理装置の実施の一形態を、添付の図面を参照しつつ、詳細に説明する。
　＜１．第１の実施形態＞
  ＜１．１　装置構成＞
  図１は、本実施形態に係る統合処理装置１０のハードウェア構成について示す説明図である。同図から明らかな通り、統合処理装置１０は、制御部１、外部装置との間の入出力を制御するＩ／Ｏ部２、無線又は有線の通信を制御する通信部３、及び記憶部４とを含み、それらはシステムバスを介して接続されている。制御部１は、ＣＰＵから成り、後述の木構造を有する学習済モデルの統合処理を行うプログラムを含む各種プログラムを実行する。なお、このＣＰＵ等の代わりにマイクロプロセッサやマイクロコントローラ、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等を用いてもよい。また、記憶部４は、例えば、ＲＯＭ、ＲＡＭ、フラッシュメモリ、ハードディスク等を含む各種の記憶装置であって、例えば、木構造を有する学習済モデルに関する各種のデータ、教師データに相当するデータ、学習済モデルの統合処理を行う機能を有するプログラム等を一時的又は非一時的に記憶している。
　なお、統合処理装置１０の構成は、同図の構成に限定されず、出願時の技術常識の範囲で自在に変更可能である。従って、例えば、記憶部４を外部ストレージ等として別途配置してもよい。また、制御部１についても、他の情報処理装置の制御部等と協働して分散処理等を行ってもよい。さらに仮想化技術を用いた処理等が行われてもよい。
　＜１．２　装置の動作＞
  ＜１．２．１　学習処理＞
  図２～図３を参照しつつ、統合処理装置１０により統合される対象となる学習済モデルを生成するための学習処理の一例について説明する。
　図２は、学習処理に関するゼネラルフローチャートである。処理が開始すると、まず、学習対象となるデータが木構造を有する学習モデルへと入力される（Ｓ１０１）。次に、入力されたデータについて、当該データが属すべき状態空間とその状態空間に対応するノードが特定され、これにより、複数のノード、すなわち、根ノードから末端ノードへと至る一の経路が特定される（Ｓ１０２）。このとき、過去にアクティブとなったことのないノードが当該経路上に存在する場合には、当該位置に新たなノードが生成される。その後、当該経路上の各ノードについて、各ノードの予測誤差に相当する誤差の演算処理が行われる（Ｓ１０３）。
　図３は、誤差の演算処理（Ｓ１０３）の詳細について示したフローチャートである。処理が開始すると、まず、根ノードが着目ノードとして設定される（Ｓ１０３１）。次に、着目ノードについて、次式より誤差の更新処理が行われる（Ｓ１０３２）。
Figure JPOXMLDOC01-appb-M000001
　ここで、Ｅｔ＋１は更新後の誤差、Ｅｔは更新前の誤差、αは忘却係数（０＜α＜１）を表し、同式から明らかな通り、更新後の誤差Ｅｔ＋１は、更新前の誤差Ｅｔと、着目ノードに包含された各データの値又はベクトルに基づく予測出力Ｏ（例えば、着目ノードに包含された各データの値又はベクトルの相加平均値）と教師データに相当する値又はベクトルとの差分の絶対値とを、忘却係数αを用いて重み付け加算することにより演算される。すなわち、着目ノードに包含された各データの値又はベクトルに基づく予測出力Ｏと、教師データに相当する値又はベクトルとの差分が小さい程、Ｅｔ＋１は小さくなるので、誤差Ｅｔ＋１が小さい程、予測精度が良いということとなる。更新された誤差Ｅｔ＋１は、当該着目ノードと対応付けられて誤差Ｅとして記憶部４へと保存される（Ｓ１０３３）。
　その後、この着目ノードが最下層のノードであるか否かの判定処理が行われ（Ｓ１０３４）、最下層ノードでない場合には着目ノードを１つ下位のノードへと変更する処理が行われる（Ｓ１０３５）。この一連の処理、着目ノードの経路上の１つ下位のノードへの変更処理（Ｓ１０３５）、誤差の更新処理（Ｓ１０３２）、保存処理（Ｓ１０３３）は、最下層ノードへと至るまで（Ｓ１０３４ＮＯ）、繰り返し行われる。一方、着目ノードが最下層ノード（末端ノード）へと至った場合（Ｓ１０３４ＹＥＳ）、処理は終了する。すなわち、この一連の処理によれば、経路上のすべてのノードについてそれぞれ予測精度に相当する誤差Ｅが生成されることとなる。
　なお、誤差Ｅの算出手法は上記に限定されない。従って、例えば、着目ノードより下位の経路上に存在するノードを参照する等して得られた誤差等を利用してもよい。
　＜１．２．２　予測処理＞
  次に、図４を参照しつつ、上述の学習処理が行われた学習済モデルを用いた予測処理の一例について説明する。図４は、予測処理に関するフローチャートである。同図から明らかな通り、処理が開始すると、まず、新たな入力データが記憶部４から読み出される（Ｓ２０１）。次に、当該入力データに基づいて、属すべき状態空間（ノード）が特定され、それにより、複数の一連のノードがから成る一の経路が特定される（Ｓ２０２）。一の経路が特定されると、当該経路上において誤差Ｅが最小となるノードが特定され（Ｓ２０３）、当該誤差Ｅ最小ノードに対応する各データの値又はベクトルの相加平均に基づいて、予測出力が生成される（Ｓ２０４）。すなわち、経路上の誤差最小ノードに基づいて予測出力が生成される。これにより、予測精度が比較的良いと見込まれるノードに基づいて予測出力を生成することができる。
　なお、本実施形態においては、予測出力は、経路上の誤差最小ノードに対応するデータに基づいて生成したが、このような処理に限定されない。従って、例えば、常に末端ノードに対応するデータに基づいて予測出力を生成するよう構成してもよい。
　＜１．２．３　複数の学習済モデルの統合処理＞
  次に、図５～図８を参照しつつ、本実施形態に係る統合処理装置１０を用いた学習済モデルの統合処理について説明する。
　図５は、統合処理に関するゼネラルフローチャートである。処理が開始すると、学習済モデルを生成する際に生成されたパラメータファイルが、２つの異なる学習済モデルについて、読み出される（Ｓ３０１）。このパラメータファイルは、例えば、学習対象となる値域（学習空間）、すなわち、入出力データの最大値及び最小値や、学習モデルの構造情報（Ｎ階層ｄ次元ｎ分割）等を含んでいる。この学習区間が一致又はおよそ一致するか否かを判定し（Ｓ３０２）、一致しない場合には（Ｓ３０２ＮＯ）、ユーザに対して図示しないディスプレイなど介して統合を行うことが出来ない旨を通知するエラーメッセージを出力し（Ｓ３０３）、処理は終了する。一方、この学習空間が一致又はおよそ一致する場合には。２つの学習済モデルのノードに関するデータファイルの読み出しが行われる（Ｓ３０４）。その後、後述する２つの異なる学習済モデルに係る学習木の統合処理が行われた後（Ｓ３０５）、処理が終了する。なお、ここで、学習区間のおよその一致とは、例えば、一方の学習済モデルに含まれるデータの最大値・最小値に所定割合（例えば、１０％程度）の余裕を持たせた範囲内に、他の学習済モデルに含まれるデータの最大値・最小値が含まれることをいう。
　このような構成によれば、学習条件に相当するパラメータを含むパラメータファイルのうちの所定のパラメータに基づいて、学習済モデル同士の統合の可否を事前に判定することができるので、統合の前提条件が合致する適切な統合処理のみを行うことができる。
　図６は、統合処理（Ｓ３０５）に関する詳細フローチャートである。処理が開始すると、第１番目のノード位置を着目位置として設定する（Ｓ３０５１）。次に、着目位置において、いずれの学習木においてもノードが存在するかについての判定処理を行う（Ｓ３０５２）。着目位置において、いずれの学習木においてもノードが存在する場合には（Ｓ３０５２ＹＥＳ）、当該２つのノードの統合処理を行う（Ｓ３０５３）。
　ここで、本実施形態に係るノードの統合処理の態様について説明する。図８は、ノードの統合処理（Ｓ３０５３）に関する概念図である。図８（ａ）は、上方左右の２つの着色されたノードを下方の１つの着色されたノードへと統合する場合の第１の統合例である。同図において、Ｅは前述の誤差を表し、Ｃはこれまでに包含したデータ数を表している。上方左側のノードの誤差Ｅはα（＞０）、データ数Ｃはｋ（０以上の整数）であり、上方右側のノードの誤差Ｅはβ（＞０）、データ数Ｃはｍ（０以上の整数）である。これらのノードを統合する際、各ノードに対応付けられたデータは１つのノードに対応付けられるように統合される。また、統合後の誤差Ｅは、上述の各誤差αとβとを各データ数ｋ及びｍを用いて重み付け加算することにより算出される。さらに、統合後のデータ数Ｃは各データ数ｋ及びｍを足し合わせることにより算出される。
　このような構成によれば、ノード同士の統合は包含されるデータ数に応じて重み付け加算を行うことにより行われるので、データ数に基づく信頼性に応じた学習関連パラメータの統合を行うことができる。
　図８（ｂ）は、上方左右の２つの着色されたノードを下方の１つの着色されたノードへと統合する場合の第２の統合例である。上方左側のノードの誤差Ｅはα（＞０）、データ数Ｃはｎ（０以上の整数）であり、上方右側のノードの誤差Ｅは∞、データ数Ｃは１である。ここで、誤差Ｅが∞となっているのは、当該ノードに対応付けられたデータ数が未だ１個であり、誤差が定義されていないことから便宜的に付与された値である。これらのノードを統合する際、各ノードに対応付けられたデータは１つのノードに対応付けられるように統合される。また、統合後の誤差Ｅは、上述の各誤差αと∞とに基づき、αとして算出される。さらに、統合後のデータ数Ｃは各データ数ｎ及び１を足し合わせることによりｎ＋１として算出される。
　なお、本実施形態においては、ノードの統合処理を行う上で、各ノードに対応付けられる各データ、誤差Ｅ、及びデータ数Ｃが統合の対象となるものとしたが、統合の対象はこれらのパラメータに限定されるものではない。従って、ノードの統合に際して、ノードへと対応付けられた他のパラメータを統合の対象としてもよいことは勿論である。
　図６に戻り、ノードの統合処理（Ｓ３０５３）が完了すると、統合後のノードが記憶部４へと記憶される（Ｓ３０５３）。その後、全てのノード位置が処理されたか否かの判定処理が行われる（Ｓ３０５５）。
　一方、着目位置において、いずれの学習木においてもノードが存在する場合でない場合（Ｓ３０５２ＮＯ）、次に、いずれか一方の学習木においてノードが存在するか否かの判定処理が行われる（Ｓ３０５７）。いずれか一方の学習木においてノードが存在しない場合（Ｓ３０５７ＮＯ）、すべてのノード位置が処理されたか否かの判定処理が行われる（Ｓ３０５５）。いずれか一方の学習木の着目位置においてノードが存在する場合（Ｓ３０５７ＹＥＳ）、存在する一方の学習木のデータの着目ノード以下のノードを統合後のデータとして複製・保存する（Ｓ３０５８）。その後、全てのノード位置が処理されたか否かの判定処理が行われる（Ｓ３０５５）。
　このような構成によれば、あるノードが一方の学習済モデルのみに存在する場合には当該ノード以下のノードについても当該一方の学習済モデルにのみに存在することを利用して、効率的な統合処理を行うことができる。
　すべてのノード位置について処理が行われた場合（Ｓ３０５５ＹＥＳ）、処理は終了する。一方、未だすべてのノード位置について処理が行われていない場合（Ｓ３０５５）、着目位置を所定の次のノード位置へと変更設定する処理が行われ（Ｓ３０５６）、再び、ノードの統合処理（Ｓ３０５３）、或いは一方のノードの複製処理（Ｓ３０５８）等が行われる。なお、このとき、上位のノード位置から順に着目位置の設定（深さ優先探索）が行われる。これは、一方の学習木のみにノードが存在する場合に（Ｓ３０５７）、着目ノード以下のノードの複製を行うことから（Ｓ３０５８）、上位のノード位置から探索を行った方が効率的なためである。
　図７は、学習木の統合に関する概念図である。同図から明らかな通り、同図左上の第１の学習木と、同図右上の第２の学習木とを統合すると、同図下段に示されるように、黒色のノードについては統合処理が行われ、一方、白色のノードについては第１の学習木又は第２の学習木のノードが複製されることとなる。
　＜１．３　実験結果＞
  以下では、図９～図１０を参照しつつ、本実施形態に係る統合処理装置１０を用いて、２つの学習済モデルの統合処理を行った場合の実験結果を示す。
　＜１．３．１　実験結果（その１）＞
  図９は、２つの学習済モデルの統合処理を行った場合の実験結果（その１）である。図９（ａ）は、正弦曲線（サインカーブ）について、－πから０の範囲まで１／２周期分学習させた場合の第１の学習済モデルの予測出力である。一方、図９（ｂ）は、正弦曲線（サインカーブ）について、０からπまでの１／２周期分学習させた場合の第２の学習済モデルの予測出力である。これらの２つの学習済モデルを統合処理装置１０を用いて統合すると単一の学習済モデルとなり、その予測出力は図９（ｃ）に示す通りとなる。すなわち、これらの図から明らかな通り、－πから０までの半周期分と、０からπまでの半周期分とを統合することにより、－πからπまでの１周期分の正弦曲線をその全領域にわたり精度良く予測できる学習済モデルが生成されたことが確認される。
　＜１．３．２　実験結果（その２）＞
  図１０は、２つの学習済モデルの統合処理を行った場合の実験結果（その２）である。図１０（ａ）は、－πからπの１周期分、荒い精度で学習させた場合の第１の学習済モデルの予測出力である。一方、図１０（ｂ）は、－π／２からπ／２の範囲においては精度良く正弦曲線を学習しているものの、－πから－π／２の範囲、及びπ／２からπまでの範囲においてはおよそそれぞれの延長となるように横軸に平行な線分となるよう学習している場合の第２の学習済モデルの予測出力である。これらの２つの学習済モデルを統合処理装置１０を用いて統合すると単一の学習済モデルとなり、その予測出力は図１０（ｃ）に示す通りとなる。すなわち、－πから－π／２の範囲においては、荒く正弦曲線が再現されており、－π／２からπ／２の範囲においては、精度良く正弦曲線が再現されており、π／２からπまでの範囲においては、荒く正弦曲線が再現されている。これより、精度良く学習させた範囲については精度よく、荒く学習させた範囲については大まかな予測出力を生成する学習済モデルを生成することができることが確認される。
　＜２．その他＞
  上述の実施形態においては、単一の統合処理装置１０内で２つの異なる学習済モデルを統合する処理について説明したが、本開示はそのような構成に限定されない。従って、例えば、大規模な統合処理システムとして構成してもよい。
　図１１は、大規模統合処理システム８０の概略構成図である。同図から明らかな通り、大規模統合処理システム８０は、上位から、１又は２以上の統合処理装置１０を含む最上位層８１、１又は２以上の統合処理装置１０を含む第１の中間層８２、１又は２以上の学習処理装置を含む第２の中間層８３、及び、複数のデバイスを含むデバイス層８４から構成され、各層は互いに、有線又は無線通信により接続されている。
　デバイス層８４の各デバイスにて取得された学習対象となるデータ（例えば、センサデータ等）は、第２の中間層８３へと送信され、第２の中間層８３では、当該データに基づいて、木構造を有する学習モデル上で学習処理が行われる。この学習処理の結果、第２の中間層８３上には、複数の学習済モデルが生成されることとなる。第１の中間層は、上記第２の中間層上の学習済モデルに関するデータを受信すると共に、各学習済モデルの統合処理を行う。これにより、第１の中間層８２上には、複数の統合した学習済モデルが生成されることとなる。第１の中間層８２上の学習済モデルに関するデータは、その後、最上位層へと送信され、最上位層の統合処理装置において再度統合処理が行われる。以上のような構成によれば、大規模なシステムであっても、各層の学習処理乃至統合処理の負荷は小さく、かつ、最上位層８１には包括的な学習済モデルが生成されることとなる。
　このような構成によれば、１又は２以上学習装置を含む学習装置層（第２の中間層）にて生成された学習済モデルを統合装置層（最上位層８１又は第１の中間層８２）の１又は２以上の学習済モデル統合装置により適宜統合することができるシステム、特に、大規模な学習・統合処理に好適なシステムを提供することができる。
　また、上述の実施形態では、学習済モデルの統合処理は、いずれも統合処理装置１０内にて行う構成とした。しかしながら、本開示はそのような構成に限定されない。従って、例えば、サーバ装置４０とクライアント装置３０とから構成される情報処理システム（サーバ・クライアント・システム或いはＳａａＳシステム）として構成してもよい。
　図１２は、上記情報処理システム１００の概略構成図である。クライアント装置３０は、クライアント装置３０の制御を行う制御部３１、入出力を行うためのＩ／Ｏ部３２、サーバ装置４０と通信を行う通信部３３、及び種々の情報を記憶する記憶部３４とから構成されている。また、サーバ装置４０は、サーバ装置４０の制御を行う制御部４１、入出力を行うためのＩ／Ｏ部４２、クライアント装置３０と通信を行う通信部４３、及び種々の情報を記憶する記憶部４４とから構成されている。
　このような情報処理システム１００において、ユーザがクライアント装置３０から学習対象となるデータファイルをサーバ装置４０へと送信すると、サーバ装置４０は、当該データファイルに基づいて学習処理を実行する。当該学習処理の完了後、サーバ装置４０は、学習条件（入出力次元や種々のパラメータ等）を含むパラメータファイルと、学習済モデルに関するデータファイルとをバイナリファイルとしてユーザへと返送する。
　その後、ユーザは、複数（例えば、２つ）の異なるパラメータファイルとデータファイルをサーバ装置４０へと送信すると共に、サーバ装置４０へと通信を介して統合処理指令を行うことで、ユーザはサーバ装置４０上でデータの統合処理を行うことができる。このような構成によれば、クライアント装置３０が高い演算能力や記憶能力を持つ必要がないので学習処理乃至統合処理が行いやすくなる。
　所定の学習処理により生成された学習済モデルの統合処理を行う学習済モデル統合方法、装置、プログラム、ＩＣチップ、及びシステム、特に、木構造を有する学習済モデルの統合を行う学習済モデル統合方法、装置、プログラム、ＩＣチップ、及びシステムを製造等する産業にて利用可能である。
１　　制御部
２　　Ｉ／Ｏ部
３　　通信部
４　　記憶部
１０　　統合処理装置
３０　　クライアント装置
３１　　制御部
３２　　Ｉ／Ｏ部
３３　　通信部
３４　　記憶部
４０　　サーバ装置
４１　　制御部
４２　　Ｉ／Ｏ部
４３　　通信部
４４　　記憶部
８０　　大規模統合処理システム
８１　　最上位層
８２　　第１の中間層
８３　　第２の中間層
８４　　デバイス層
１００　　情報処理システム（サーバ・クライアント・システム）

Claims (9)

  1. 　階層的に分割された状態空間へとそれぞれ対応付けられた複数のノードを階層的に配置することにより構成された木構造を有する学習モデルに対して所定のデータ群を学習させることにより得られた複数の異なる学習済モデルを統合する学習済モデル統合方法であって、
    　所定の記憶部から前記複数の異なる学習済モデルに関するデータを読み出す、データ読出ステップと、
    　前記複数の異なる学習済モデルに係る木構造を構成する各ノードについて、一の学習済モデルのみにノードが存在する場合には当該ノードを複製し、複数の学習済モデルの対応する位置にそれぞれノードが存在する場合には対応する各前記ノード同士を統合することにより、前記複数の異なる学習済モデル同士を単一の学習済モデルへと統合する、統合ステップと、
    を備える学習済モデル統合方法。
  2. 　前記統合ステップにおいて、
    　一の学習済モデルのみにノードが存在する場合には当該ノードと共に当該ノード以下に存在するすべてのノードが複製される、請求項１に記載の学習済モデル統合方法。
  3. 　前記複数の異なる学習済モデルの各前記ノードには、前記学習の過程において生成された学習関連パラメータと、各前記ノードに対応する状態空間に包含されるデータ数と、が対応付けられており、
    　前記統合ステップは、さらに、
    　前記ノードを統合するに際して統合対象となる複数のノードの前記データ数をそれぞれ加算するデータ数加算ステップと、
    　前記ノードを統合するに際して統合対象となる複数のノードに対応付けられた各前記学習関連パラメータを前記各データ数に応じて重み付け加算する誤差量加算ステップと、を備える請求項１に記載の学習済モデル統合方法。
  4. 　前記学習関連パラメータは、各前記ノードにおいて前記学習の過程において生成され、かつ予測精度に相当する誤差量である、請求項３に記載の学習済モデル統合方法。
  5. 　前記データ読出ステップは、さらに、
    　各前記学習済モデルの各学習条件に相当するパラメータを含むパラメータファイルを読み出すパラメータファイル読出ステップを含み、
    　前記学習済モデル統合方法は、さらに、
    　各前記学習条件に相当する各パラメータのうちの所定のパラメータが互いに一致する場合には前記統合ステップを行い、かつ、各前記所定のパラメータが互いに一致しない場合には前記統合ステップを行わない判定ステップ、を含む請求項１に記載の学習済モデル統合方法。
  6. 　階層的に分割された状態空間へとそれぞれ対応付けられた複数のノードを階層的に配置することにより構成された木構造を有する学習モデルに対して所定のデータ群を学習させることにより得られた複数の異なる学習済モデルを統合する学習済モデル統合装置であって、
    　所定の記憶部から前記複数の異なる学習済モデルに関するデータを読み出す、データ読出部と、
    　前記複数の異なる学習済モデルに係る木構造を構成する各ノードについて、一の学習済モデルのみにノードが存在する場合には当該ノードを複製し、複数の学習済モデルの対応する位置にそれぞれノードが存在する場合には対応する各前記ノード同士を統合することにより、前記複数の異なる学習済モデル同士を単一の学習済モデルへと統合する、統合部と、
    を備える学習済モデル統合装置。
  7. 　コンピュータを、階層的に分割された状態空間へとそれぞれ対応付けられた複数のノードを階層的に配置することにより構成された木構造を有する学習モデルに対して所定のデータ群を学習させることにより得られた複数の異なる学習済モデルを統合する学習済モデル統合装置として機能させる学習済モデル統合プログラムであって、
    　所定の記憶部から前記複数の異なる学習済モデルに関するデータを読み出す、データ読出ステップと、
    　前記複数の異なる学習済モデルに係る木構造を構成する各ノードについて、一の学習済モデルのみにノードが存在する場合には当該ノードを複製し、複数の学習済モデルの対応する位置にそれぞれノードが存在する場合には対応する各前記ノード同士を統合することにより、前記複数の異なる学習済モデル同士を単一の学習済モデルへと統合する、統合ステップと、
    を備える学習済モデル統合プログラム。
  8. 　階層的に分割された状態空間へとそれぞれ対応付けられた複数のノードを階層的に配置することにより構成された木構造を有する学習モデルに対して所定のデータ群を学習させることにより得られた複数の異なる学習済モデルを統合する機能を有するＩＣチップであって、
    　所定の記憶部から前記複数の異なる学習済モデルに関するデータを読み出す、データ読出部と、
    　前記複数の異なる学習済モデルに係る木構造を構成する各ノードについて、一の学習済モデルのみにノードが存在する場合には当該ノードを複製し、複数の学習済モデルの対応する位置にそれぞれノードが存在する場合には対応する各前記ノード同士を統合することにより、前記複数の異なる学習済モデル同士を単一の学習済モデルへと統合する、統合部と、
    を備えるＩＣチップ。
  9. 　階層的に分割された状態空間へとそれぞれ対応付けられた複数のノードを階層的に配置することにより構成された木構造を有する学習モデルに基づいて所定のデータ群に基づく学習処理を行い学習済モデルを生成する学習装置を１又は２以上備える学習装置層と、
    　前記学習装置層と通信を介して接続され、各前記学習装置にて生成された各前記学習済モデルを統合する学習済モデル統合装置を１又は２以上備える統合装置層と、から成る統合処理システムであって、
    　前記学習済モデル統合装置は、
    　所定の記憶部から前記異なる学習済モデルに関するデータを読み出す、データ読出部と、
    　前記異なる学習済モデルに係る木構造を構成する各ノードについて、一の学習済モデルのみにノードが存在する場合には当該ノードを複製し、複数の学習済モデルの対応する位置にそれぞれノードが存在する場合には対応する各前記ノード同士を統合することにより、前記異なる学習済モデル同士を統合する、統合部と、
    を備える統合処理システム。
PCT/JP2018/027774 2017-07-31 2018-07-24 学習済モデル統合方法、装置、プログラム、ｉｃチップ、及びシステム WO2019026703A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019534067A JP6713099B2 (ja) 2017-07-31 2018-07-24 学習済モデル統合方法、装置、プログラム、ｉｃチップ、及びシステム
EP18815931.3A EP3663992A4 (en) 2017-07-31 2018-07-24 METHOD OF INTEGRATING A LEARNING LEARNING MODEL, DEVICE, PROGRAM, IC CHIP AND SYSTEM
US16/232,333 US11475371B2 (en) 2017-07-31 2018-12-26 Learned model integration method, apparatus, program, IC chip, and system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017148319 2017-07-31
JP2017-148319 2017-07-31

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/232,333 Continuation US11475371B2 (en) 2017-07-31 2018-12-26 Learned model integration method, apparatus, program, IC chip, and system

Publications (1)

Publication Number Publication Date
WO2019026703A1 true WO2019026703A1 (ja) 2019-02-07

Family

ID=65232554

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/027774 WO2019026703A1 (ja) 2017-07-31 2018-07-24 学習済モデル統合方法、装置、プログラム、ｉｃチップ、及びシステム

Country Status (4)

Country Link
US (1) US11475371B2 (ja)
EP (1) EP3663992A4 (ja)
JP (1) JP6713099B2 (ja)
WO (1) WO2019026703A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11240153B1 (en) 2020-07-31 2022-02-01 Cisco Technology, Inc. Scoring policies for predictive routing suggestions

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016173686A (ja) 2015-03-16 2016-09-29 国立大学法人岩手大学 情報処理装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7293000B2 (en) * 2002-02-22 2007-11-06 Lee Shih-Jong J Information integration method for decision regulation in hierarchic decision systems
US7480640B1 (en) * 2003-12-16 2009-01-20 Quantum Leap Research, Inc. Automated method and system for generating models from data
JP2006293442A (ja) * 2005-04-05 2006-10-26 Sony Corp 情報処理装置および方法、並びにプログラム
US8805861B2 (en) * 2008-12-09 2014-08-12 Google Inc. Methods and systems to train models to extract and integrate information from data sources
US8429110B2 (en) * 2010-06-10 2013-04-23 Microsoft Corporation Pattern tree-based rule learning
JP2012008659A (ja) * 2010-06-22 2012-01-12 Sony Corp データ処理装置、データ処理方法、およびプログラム
JP2012108748A (ja) * 2010-11-18 2012-06-07 Sony Corp データ処理装置、データ処理方法、およびプログラム
US8620837B2 (en) * 2011-07-11 2013-12-31 Accenture Global Services Limited Determination of a basis for a new domain model based on a plurality of learned models
US8209271B1 (en) * 2011-08-15 2012-06-26 Google Inc. Predictive model training on large datasets
US20140236875A1 (en) * 2012-11-15 2014-08-21 Purepredictive, Inc. Machine learning for real-time adaptive website interaction
US20140358828A1 (en) * 2013-05-29 2014-12-04 Purepredictive, Inc. Machine learning generated action plan
US9646262B2 (en) * 2013-06-17 2017-05-09 Purepredictive, Inc. Data intelligence using machine learning
JP6444494B2 (ja) * 2014-05-23 2018-12-26 データロボット， インコーポレイテッド 予測データ分析のためのシステムおよび技術
US10452992B2 (en) * 2014-06-30 2019-10-22 Amazon Technologies, Inc. Interactive interfaces for machine learning model evaluations
EP3214585A4 (en) * 2014-10-28 2018-06-13 Nec Corporation Estimated result display system, estimated result display method and estimated result display program
US20180039905A1 (en) * 2016-08-03 2018-02-08 International Business Machines Corporation Large scale distributed training of data analytics models

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016173686A (ja) 2015-03-16 2016-09-29 国立大学法人岩手大学 情報処理装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CHYON HAE KIM , IPSJ SIG TECHNICAL REPORT, MATHEMATICAL MODELING AND PROBLEM SOLVING (MPS, vol. 2017 -MP-112, no. 25, February 2017 (2017-02-01), pages 1 - 5, XP009515834, ISSN: 2188-8833 *
IDESAWA, JUNICHI ET AL.: "Japan first'' ''world first'' machine control AI, DeepBinaryTree:DBT, ''A machine learning algorithm that can be implemented on lightweight edge devices", LECTURE MATERIALS, 27 April 2018 (2018-04-27), pages 1 - 28, XP009515772, Retrieved from the Internet <URL:http://www.jasa.or.jp/TOP/download/technical/JASA _IoT_ 2018.04.27 _aising.pdf> [retrieved on 20180906] *
OTANI, NORIKO ET AL.: "Examination of partial solution in symbiotic evolution for decision tree generation", IEICE TECHNICAL REPORT, vol. 103, no. 725, 9 March 2004 (2004-03-09), pages 101 - 106, XP009515743, ISSN: 0913-5685 *
See also references of EP3663992A4

Also Published As

Publication number Publication date
JP6713099B2 (ja) 2020-06-24
JPWO2019026703A1 (ja) 2020-05-28
EP3663992A1 (en) 2020-06-10
US11475371B2 (en) 2022-10-18
US20190138936A1 (en) 2019-05-09
EP3663992A4 (en) 2021-05-05

Similar Documents

Publication Publication Date Title
CN110268422B (zh) 利用强化学习的设备布局优化
CN110651280B (zh) 投影神经网络
US11556861B2 (en) Debugging correctness issues in training machine learning models
CN110192210B (zh) 构建和处理用于动态结构化机器学习模型的计算图
US10936807B1 (en) Systems and methods for displaying effects of code changes
JP6648352B2 (ja) 汎用学習済モデルの生成方法
EP3602419A1 (en) Neural network optimizer search
CN107003834B (zh) 行人检测设备和方法
JP2022529178A (ja) 人工知能推奨モデルの特徴処理方法、装置、電子機器、及びコンピュータプログラム
CN113762502B (zh) 神经网络模型的训练方法及装置
CN108008942A (zh) 对数据记录进行处理的方法及系统
CN110163252A (zh) 数据分类方法及装置、电子设备、存储介质
US20240202381A1 (en) Customizable reinforcement learning of column placement in structural design
JP2020140676A (ja) 学習方法、抽出方法、学習プログラムおよび情報処理装置
KR20200010631A (ko) 클라우드 기반의 인공지능 연산 서비스 방법 및 이를 수행하는 장치
CN112819151A (zh) 用于识别图像的方法和设备以及训练方法
CN108520532B (zh) 识别视频中物体运动方向的方法及装置
WO2019026703A1 (ja) 学習済モデル統合方法、装置、プログラム、ｉｃチップ、及びシステム
CN113591881A (zh) 基于模型融合的意图识别方法、装置、电子设备及介质
CN115204387B (zh) 分层目标条件下的学习方法、装置和电子设备
US20220245291A1 (en) Apparatus, system and method for three-dimensional (3d) modeling with a plurality of linked metadata feeds
CN113190339B (zh) 任务处理方法和装置
US20230012316A1 (en) Automation of leave request process
JP7342544B2 (ja) 学習プログラムおよび学習方法
JP7462206B2 (ja) 学習装置、学習方法、及び学習プログラム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018815931

Country of ref document: EP

Effective date: 20181231

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18815931

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019534067

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE