WO2019176824A1 - Data creator, data classifier, data acquisition system, data creation method, data classification method, and recording medium - Google Patents

Data creator, data classifier, data acquisition system, data creation method, data classification method, and recording medium Download PDF

Info

Publication number
WO2019176824A1
WO2019176824A1 PCT/JP2019/009574 JP2019009574W WO2019176824A1 WO 2019176824 A1 WO2019176824 A1 WO 2019176824A1 JP 2019009574 W JP2019009574 W JP 2019009574W WO 2019176824 A1 WO2019176824 A1 WO 2019176824A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
database
item
metadata
estimation model
Prior art date
Application number
PCT/JP2019/009574
Other languages
French (fr)
Japanese (ja)
Inventor
要 松村
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2020506495A priority Critical patent/JP7010364B2/en
Publication of WO2019176824A1 publication Critical patent/WO2019176824A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N99/00—Subject matter not provided for in other groups of this subclass

Definitions

  • the present invention relates to a data creation device, a data classification device, a data acquisition system, a data creation method, a data classification method, and a program.
  • ICT Information and Communication Technology
  • Patent Document 1 describes a data conversion device that converts heterogeneous input data and facilitates automatic processing by a computer.
  • the present invention has been made to solve the above-described problems, and has as its main object to provide a data acquisition system that efficiently converts data in various formats.
  • the data creation device is configured to provide metadata that constitutes extended metadata including metadata indicating the characteristics of an item and a conversion function indicating a procedure for converting the item into a data format for each of the items constituting the database.
  • the feature value calculation means for calculating the feature value representing the feature of the record data corresponding to each of the items using the record data corresponding to each of the items in the database
  • the extended metadata and the feature value Teacher data generation means for generating teacher data for a learning device that generates an estimation model for classifying data registered in the database.
  • the data classification device corresponds to data based on a result estimated by using an estimation model for classifying data registered in a database generated by learning by a learning device.
  • Metadata analysis means for specifying database items
  • data conversion means for converting the data format of the data using a conversion function included in extended metadata representing the characteristics of the specified items, and the converted data in the database
  • Data registration means for registering to the specified item.
  • the data acquisition system learns teacher data generated by the above-described data creation device, the above-described data classification device, and the teacher data generation unit, thereby acquiring data registered in the database.
  • a learning unit that generates an estimation model for classification, and the metadata analysis unit identifies a database item corresponding to the data based on a result estimated using the estimation model generated by the learning unit .
  • the data creation method includes, for each item constituting the database, extended metadata including metadata indicating the feature of the item and a conversion function indicating a procedure for converting the item into a data format.
  • extended metadata including metadata indicating the feature of the item
  • conversion function indicating a procedure for converting the item into a data format.
  • the data classification method is based on the result of estimation by the estimation model for classifying data registered in the database, which is generated by learning by the learning device.
  • the item is specified, the format of the data is converted using a conversion function included in the extended metadata representing the characteristics of the specified item, and the converted data is registered in the specified item in the database.
  • the program configures extended metadata including metadata indicating the characteristics of an item and a conversion function indicating a procedure for converting the item into a data format for each of the items constituting the database.
  • extended metadata including metadata indicating the characteristics of an item
  • conversion function indicating a procedure for converting the item into a data format for each of the items constituting the database.
  • the program according to one embodiment of the present invention is a database corresponding to data based on a result estimated by an estimation model for classifying data registered in the database generated by learning by a learning device in a computer.
  • the converted data is registered in the specified item in the database. And processing to be executed.
  • each component of each device or system represents a functional unit block. Part or all of each component of each apparatus or system is realized by an arbitrary combination of an information processing apparatus 1000 and a program as shown in FIG. 8, for example.
  • the information processing apparatus 1000 includes the following configuration as an example.
  • CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • a storage device 1005 that stores the program 1004
  • a drive device 1007 that reads and writes the recording medium 1006
  • a communication interface 1008 connected to the communication network 1009 -I / O interface 1010 for inputting / outputting data -Bus 1011 connecting each component
  • Each component of each device or system in each embodiment is realized by the CPU 1001 acquiring and executing a program 1004 that realizes these functions.
  • the program 1004 that realizes the function of each component of each device is stored in advance in the storage device 1005 or the RAM 1003, for example, and is read out by the CPU 1001 as necessary.
  • the program 1004 may be supplied to the CPU 1001 via the communication network 1009, or may be stored in the recording medium 1006 in advance, and the drive device 1007 may read the program and supply it to the CPU 1001.
  • each device or system may be realized by an arbitrary combination of the information processing apparatus 1000 and a program that are different for each component.
  • a plurality of components included in each device may be realized by any combination of one information processing device 1000 and a program.
  • each device or system are realized by a general-purpose or dedicated circuit including a processor or a combination thereof. These may be configured by a single chip or may be configured by a plurality of chips connected via a bus. Part or all of each component of each device may be realized by a combination of the above-described circuit and the like and a program.
  • each device or system When some or all of the components of each device or system are realized by a plurality of information processing devices and circuits, the plurality of information processing devices and circuits may be centrally arranged or distributedly arranged. May be.
  • the information processing apparatus, the circuit, and the like may be realized as a form in which each is connected via a communication network, such as a client and server system and a cloud computing system.
  • FIG. 1 is a diagram showing a data creation device according to an embodiment of the present invention.
  • FIG. 2 is a diagram showing a data classification device according to the embodiment of the present invention.
  • FIG. 3 is a diagram showing a data processing system according to the embodiment of the present invention.
  • the data creation device 100 includes a metadata configuration unit 110, a feature value calculation unit 120, and a teacher data generation unit 130.
  • the metadata configuration unit 110 configures extended metadata including metadata indicating characteristics of each item and a conversion function indicating a conversion procedure of each item into a data format for each of the items constituting the database.
  • the feature value calculation unit 120 uses the record data corresponding to each item in the database to calculate a feature value representing the feature of the record data corresponding to each item in the database.
  • the teacher data generation unit 130 generates teacher data for a learning device that generates an estimation model for classifying data registered in the database based on the extended metadata and the feature values.
  • the data classification device 200 includes a metadata analysis unit 210, a data conversion unit 220, and a data registration unit 230.
  • the metadata analysis unit 210 identifies a database item corresponding to the data registered in the database based on the result estimated using the estimation model for classifying the data registered in the database.
  • the estimation model is generated by learning with a learner.
  • the data conversion unit 220 converts a data format, which is a type of data registered in the database, using a conversion function included in the extended metadata representing the characteristics of the specified database item.
  • the data registration unit 230 registers the converted data in the specified item of the database.
  • the data processing system 10 in the embodiment of the present invention includes a data creation device 100, a data classification device 200, and a learning device 11.
  • the data creation device 100 and the data classification device 200 are the same devices as those described above.
  • the learning device 11 generates an estimation model for classifying data newly registered in the database 20 by learning the teacher data generated by the teacher data generation unit 130.
  • the metadata analysis unit 210 of the data classification device 200 selects the database item corresponding to the registered data based on the result estimated using the estimation model generated by the learning device. Identify.
  • the data processing system 10 is a system used for newly registering data in the database 20.
  • the format and type of data newly registered in the database 20 are not particularly limited. For this reason, when data is newly stored in the database 20, it may be necessary to convert the data format such as normalization or conversion of the data. However, when converting data in any of various formats, there is a case where the conversion work is difficult, for example, a manual operation is required.
  • the data processing system 10 automatically converts and registers the data format of data registered in the database 20 into a format that can be registered in each item constituting the database 20.
  • the database item corresponding to the data format of the data registered in the database 20 is estimated by the estimation model generated by machine learning in the learning device 11.
  • the data creation device 100 generates teacher data used for learning in the learning device 11. Further, the data classification device 200 converts the data format of the data registered in the database 20 into a format corresponding to the item of the database 20 according to the estimation result by the estimation model.
  • the data processing system 10 is described as a system separate from the database 20, but the data processing system 10 may be used as a system integrated with the database 20.
  • each element of the data creation device 100 will be described.
  • the metadata configuration unit 110 configures extended metadata for each item constituting the database 20.
  • the extended metadata includes metadata and conversion functions for each item in the database 20.
  • the metadata is data indicating characteristics of each item in the database 20.
  • the conversion function is a function indicating a conversion procedure in the case where arbitrary data is converted into the data format of each item of the database 20.
  • the conversion function is prepared in advance according to the database 20 like the conversion function 30 shown in FIG.
  • the extended metadata configured by the metadata configuration unit 110 is used to determine items of the database 20 to which the data can correspond when new data having an arbitrary format is stored in the database 20. Data.
  • the extended metadata configured by the metadata configuration unit 110, the metadata included in the extended metadata, and the conversion function will be described with reference to the examples of FIGS.
  • FIG. 4 is a diagram illustrating an example of the database 20.
  • Each column in the database 20 represents a database item.
  • the database 20 includes five items “id”, “price”, “weight”, “rank”, and “area”.
  • the five items are items representing the data identification number, price, value weight, rank, and location, respectively. Note that the items of the database 20 are not limited to this, and may be appropriately determined according to data stored in the database 20.
  • Each row of the database 20 represents record data that is specific data for each item in the database. That is, FIG. 4 shows an example in which the database 20 includes four record data.
  • FIG. 5 shows an example of teacher data generated by the data creation device 100 for the database 20 shown in FIG.
  • the metadata configuration unit 110 configures the contents shown in the column “extended metadata”.
  • Metadata is data indicating the characteristics of each item in the database 20.
  • the metadata is related to each item of the database 20 and may be data indicating characteristics of each item, and the type thereof is not particularly limited.
  • item names and data types are shown as metadata for each item in the database 20.
  • As the data type two types, a numeric type and a character type, are shown.
  • the metadata configuration unit 110 extracts any type of data related to the items in the database 20 stored in a data dictionary (not shown) of the database 20 as metadata.
  • the conversion function is a function for converting arbitrary data into a record data format corresponding to each item of the database 20.
  • the conversion function is not limited as long as it can be used for data format conversion, and an arbitrary function or its inverse function is appropriately used as the conversion function.
  • the conversion function includes not changing the data format. In the example shown in FIG. 5, conversion functions of no conversion, standardization, normalization, character string classification, and character string binarization are shown as conversion functions for each item of the database 20.
  • the conversion function is stored in advance in any storage means.
  • the metadata configuration unit 110 refers to the storage unit as appropriate, and acquires a conversion function corresponding to each item of the database 20.
  • the metadata configuration unit 110 configures extended metadata for one item of the database 20 by combining the metadata extracted from the data dictionary of the database 20 and the acquired conversion function. And the metadata structure part 110 comprises extended metadata similarly about all the items of the database 20. FIG.
  • the feature value calculation unit 120 calculates a feature value that represents the feature of each record data item of the database 20.
  • the feature value is calculated using record data for each item in the database 20.
  • the feature value calculation unit 120 configures the contents shown in the “feature value” column of the teacher data shown in FIG.
  • the feature value is a value that represents the feature of each record data item of the database 20.
  • the feature value includes, for example, a statistic representing the feature by summarizing the features of each record data, such as the average, variance, skewness of the record data, and the appearance frequency of each value included in the record data.
  • the feature value is not limited to the above-described example, and any kind of value representing the feature of each record data item of the database 20 is used as the feature value.
  • the teacher data generation unit 130 generates teacher data based on the extended metadata configured by the metadata configuration unit 110 and the feature values calculated by the feature value calculation unit 120.
  • the teacher data generated by the teacher data generation unit 130 is teacher data for the learning device 11.
  • the teacher data shown in FIG. 5 described above is an example of teacher data generated by the teacher data generation unit 130.
  • the learning device 11 learns the teacher data generated by the teacher data generation unit 130, thereby generating an estimation model for classifying data newly registered in the database 20. That is, in the learning device 11, learning is also performed on the feature of each item of the database 20 included in the extended metadata and the record data of each item of the database 20 represented by the feature value.
  • the learning device 11 acquires the teacher data generated by the teacher data generation unit 130, performs learning, and generates a learned estimated model.
  • the learned estimation model estimates the extension metadata and conversion function candidates corresponding to the data registered in the database 20.
  • the learned estimation model estimates the extended metadata or conversion function that best corresponds to the data registered in the database 20.
  • the learned estimation model may estimate one or more extended metadata and conversion function candidates that may correspond to data registered in the database 20.
  • the metadata analysis unit 210 identifies items in the database 20 corresponding to data registered in the database 20 based on the results estimated using the estimation model.
  • the estimation model is a learned model for classifying data newly registered in the database 20 generated by learning by the learning device 11.
  • the metadata analysis unit 210 inputs the data to the estimation model of the learning device 11 to acquire an estimation result, and identifies an item in the database 20 corresponding to the data based on the acquired estimation result. To do.
  • the data format and type of data newly stored in the database 20 are not particularly limited.
  • the method for obtaining data newly stored in the database 20 is not particularly limited, and data obtained by any method can be newly stored in the database 20.
  • the metadata analysis unit 210 analyzes the items of the database 20 corresponding to the extended metadata estimated by the estimation model with respect to the data registered in the database 20, and specifies the items of the database 20 corresponding to the data. To do.
  • the analysis in this case includes, for example, an analysis of whether the data type defined by the metadata included in the estimated extended metadata matches the data type of the data registered in the database 20. Further, in the analysis in this case, whether or not the data format of the data registered in the database 20 can be converted into the data type defined by the metadata by the conversion function included in the estimated extended metadata. Analysis may be included.
  • the estimation model generated by the learning device 11 estimates a feature value that matches the value of data registered in the database 20.
  • the metadata analysis unit 210 may analyze that the value of the data is not inconsistent with the range of the feature value and specify the item of the database 20 corresponding to the data. Such an analysis may be performed in combination with the above-described analysis, or may be performed separately from the above-described analysis.
  • the metadata analysis unit 210 uses, for example, any one of the above-described methods as the item corresponding to the extended metadata most suitable for the data as the item of the database 20 corresponding to the data. You may specify.
  • the data conversion unit 220 converts the data format of data registered in the database 20 using a conversion function.
  • the conversion function used in this case is a conversion function for the items in the database 20 specified by the metadata analysis unit 210.
  • the data conversion unit 220 converts the data format of the data registered in the database 20 to the data format of the corresponding item in the database 20.
  • the data registration unit 230 stores the data registered in the database 20 converted into the data format of each item of the database 20 by the data conversion unit 220 in the database 20.
  • the feature value calculation unit 120 of the data creation device 100 may acquire new data stored in the database 20 by the data registration unit 230 and recalculate the feature values. Then, the teacher data generation unit 130 of the data creation device 100 may generate new teacher data. Further, the learning device 11 may learn newly generated teacher data.
  • the estimation accuracy of the items in the database 20 with respect to the data registered in the database 20 performed using the estimation model generated by the learning device 11 is improved.
  • the accuracy of estimation using the estimation model the accuracy of classification for each item of the database 20 for data registered in the database 20 performed by the data classification device 200 is similarly improved.
  • the metadata construction unit 110 and the feature value calculation unit 120 read the database 20 that is a target for storing new data (step S101).
  • the metadata configuration unit 110 reads information necessary for creating the conversion function 30 and other teacher data.
  • the metadata configuration unit 110 and the feature value calculation unit 120 select one of the items constituting the database 20 read in step S101 (step S102).
  • the metadata construction unit 110 extracts metadata related to the item of the database 20 selected in step S102 from a data dictionary (not shown) of the database 20 (step S103). Then, the metadata configuration unit 110 configures extended metadata by combining the extracted metadata and the conversion function (step S104).
  • the feature value calculation unit 120 extracts the record data of the item of the database 20 selected in step S102 (step S105). Then, the feature value calculation unit 120 calculates a feature value related to the record data extracted in step S105 (step S106).
  • steps S103 and S104 and the processes in steps S105 and S106 are performed in parallel.
  • the order of the processing of steps S103 and S104 and the processing of steps S105 and S106 is not limited to this example, and may be executed sequentially.
  • step S104 and step S106 When the processing of step S104 and step S106 is performed, the teacher data generation unit 130 generates teacher data for the item of the database 20 selected in step S102 (step S107).
  • step S107 When teacher data is created in step S107, the metadata constructing unit 110 and the feature value calculating unit 120 determine whether or not teacher data has been created for all items in the database 20 (step S108).
  • the teacher data generation unit 130 transmits teacher data to the learning device 11, for example (step S109).
  • the learning device 11 learns the transmitted teacher data and generates the above-described estimation model.
  • the teacher data generation unit 130 may store the teacher data in a storage unit or the like that can be referred to by the learning device 11 without directly transmitting the teacher data to the learning device 11.
  • step S108 If it is determined that the creation of teacher data for all items has not been completed (step S108: No), the process returns to step S102, and the processes after step S102 are repeated. That is, the metadata configuration unit 110 and the feature value calculation unit 120 select one of the unselected items from the items configuring the database 20 and execute the subsequent processing.
  • the metadata analysis unit 210 acquires data newly registered in the database 20 (step S201).
  • the metadata analysis unit 210 inputs the data acquired in step S201 to the estimation model of the learning device 11.
  • the estimation model of the learning device 11 estimates the extended metadata for the input data as an example (step S202).
  • the estimation model may estimate a conversion function or other information for input data.
  • the metadata analysis unit 210 identifies an item in the database 20 corresponding to the new data based on the result estimated using the estimation model of the learning device 11 in step S202 (step S203).
  • the data conversion unit 220 converts the data format of the data registered in the database 20 using the conversion function for the item of the database 20 identified in step S203 (step S204).
  • the data registration unit 230 stores the data whose data format is converted in step S205 in the database 20 (step S205).
  • the data creation device 100 classifies new data registered in the database 20 using the extended metadata and feature values for each of the databases 20.
  • Teacher data is generated for the learning device 11 that generates an estimation model.
  • the data classification device 200 identifies an item in the database 20 corresponding to an arbitrary type of data using the estimation model obtained by learning using the teacher data generated by the data creation device 100.
  • the data creation device 100 creates a model that can be appropriately estimated by creating teacher data using the metadata, record data, conversion function, and the like of the database 20. Is possible. Further, by using the learned model generated by the data classification device 200 using the teacher data created by the data creation device 100, new data can be stored in appropriate items in the database 20. .
  • the data processing system 10 in the present embodiment makes it possible to efficiently convert various types of data.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

Provided are a data acquisition system, etc., for efficiently converting data that are in various formats. The data acquisition system is provided with a data creator, a data classifier, and a learner. The data creator is provided with a metadata configuration means, a feature value calculation means, and a data generation means. The data classifier is provided with a metadata analysis means, a data conversion means, and a data registration means. The learner learns teaching data created by the data creator and thereby generates an estimation model that is used by the data classifier when classifying the data registered in a database.

Description

データ作成装置、データ分類装置、データ取得システム、データ作成方法、データ分類方法及び記録媒体Data creation device, data classification device, data acquisition system, data creation method, data classification method, and recording medium
　本発明は、データ作成装置、データ分類装置、データ取得システム、データ作成方法、データ分類方法及びプログラムに関する。 The present invention relates to a data creation device, a data classification device, a data acquisition system, a data creation method, a data classification method, and a program.
　ＩＣＴ（Information and Communication Technology）の発展に伴い、多種多様な大量の情報をリアルタイムに取得することが容易になっている。これらの情報を活用することによって、人間の勘や経験によって判断されていた作業において、取得したデータを根拠とした判断に基づく作業を行うことが可能になりつつある。そのため、データの取得に関する様々な技術が開発されている。 With the development of ICT (Information and Communication Technology), it has become easy to obtain a large amount of various information in real time. By utilizing such information, it is becoming possible to perform work based on judgment based on acquired data in work that has been judged by human intuition and experience. Therefore, various techniques related to data acquisition have been developed.
　特許文献１には、ヘテロ性を持つ入力データを変換し、計算機で自動処理しやすくすることができるデータ変換装置等が記載されている。 Patent Document 1 describes a data conversion device that converts heterogeneous input data and facilitates automatic processing by a computer.
国際公開第２０１５／０２９１５８号International Publication No. 2015/029158
　取得した大量のデータの活用に際しては、データの多様性への対処が必要となる場合がある。例えば、取得した様々な形式のデータを、特定の形式のデータベースへ格納する必要が生じる場合がある。つまり、特許文献１等に記載の技術に対して、多様な形式のデータを効率的に変換するための技術が求められている。 ∙ When using a large amount of acquired data, it may be necessary to deal with the diversity of data. For example, the acquired various types of data may need to be stored in a specific type of database. That is, a technique for efficiently converting data in various formats is required for the technique described in Patent Document 1 and the like.
　本発明は、上記課題を解決するためになされたものであって、多様な形式のデータを効率的に変換するデータ取得システム等を提供することを主たる目的とする。 The present invention has been made to solve the above-described problems, and has as its main object to provide a data acquisition system that efficiently converts data in various formats.
　本発明の一態様におけるデータ作成装置は、データベースを構成する項目の各々に関して、項目の特徴を示すメタデータ及び項目のデータ形式への変換手順を示す変換関数を含む拡張メタデータを構成するメタデータ構成手段と、データベースの項目の各々に対応するレコードデータを用いて、項目の各々に対応するレコードデータの特徴を表す特徴値を算出する特徴値算出手段と、拡張メタデータ及び特徴値に基づいて、データベースに登録されるデータを分類するための推定モデルを生成する学習器に対する教師データを生成する教師データ生成手段と、を備える。 The data creation device according to one aspect of the present invention is configured to provide metadata that constitutes extended metadata including metadata indicating the characteristics of an item and a conversion function indicating a procedure for converting the item into a data format for each of the items constituting the database. Based on the configuration means, the feature value calculation means for calculating the feature value representing the feature of the record data corresponding to each of the items using the record data corresponding to each of the items in the database, and the extended metadata and the feature value Teacher data generation means for generating teacher data for a learning device that generates an estimation model for classifying data registered in the database.
　また、本発明の一態様におけるデータ分類装置は、学習器による学習によって生成された、データベースに登録されるデータを分類するための推定モデルを用いて推定された結果に基づいて、データに対応するデータベースの項目を特定するメタデータ解析手段と、特定された項目の特徴を表す拡張メタデータに含まれる変換関数を用いて、データのデータ形式を変換するデータ変換手段と、変換されたデータをデータベースの特定された項目へ登録するデータ登録手段と、を備える。 The data classification device according to one embodiment of the present invention corresponds to data based on a result estimated by using an estimation model for classifying data registered in a database generated by learning by a learning device. Metadata analysis means for specifying database items, data conversion means for converting the data format of the data using a conversion function included in extended metadata representing the characteristics of the specified items, and the converted data in the database Data registration means for registering to the specified item.
　また、本発明の一態様におけるデータ取得システムは、上述のデータ作成装置と、上述のデータ分類装置と、教師データ生成手段により生成された教師データを学習することにより、データベースに登録されるデータを分類するための推定モデルを生成する学習器とを備え、メタデータ解析手段は、学習器によって生成された推定モデルを用いて推定された結果に基づいて、データに対応するデータベースの項目を特定する。 In addition, the data acquisition system according to one aspect of the present invention learns teacher data generated by the above-described data creation device, the above-described data classification device, and the teacher data generation unit, thereby acquiring data registered in the database. A learning unit that generates an estimation model for classification, and the metadata analysis unit identifies a database item corresponding to the data based on a result estimated using the estimation model generated by the learning unit .
　また、本発明の一態様におけるデータ作成方法は、データベースを構成する項目の各々について、項目の特徴を示すメタデータ及び項目のデータ形式への変換手順を示す変換関数を含む拡張メタデータを構成し、データベースの項目の各々に対応するレコードデータを用いて、項目の各々に対応するレコードデータの特徴を表す特徴値を算出し、拡張メタデータ及び特徴値に基づいて、データベースに登録されるデータを分類するための推定モデルを生成する学習器に対する教師データを生成する。 The data creation method according to one aspect of the present invention includes, for each item constituting the database, extended metadata including metadata indicating the feature of the item and a conversion function indicating a procedure for converting the item into a data format. Using the record data corresponding to each item of the database, the feature value representing the feature of the record data corresponding to each of the items is calculated, and the data registered in the database is calculated based on the extended metadata and the feature value. Teacher data for a learning device that generates an estimation model for classification is generated.
　また、本発明の一態様におけるデータ分類方法は、学習器による学習によって生成された、データベースに登録されるデータを分類するための推定モデルによって推定された結果に基づいて、データに対応するデータベースの項目を特定し、特定された項目の特徴を表す拡張メタデータに含まれる変換関数を用いて、データの形式を変換し、変換されたデータをデータベースの特定された項目へ登録する。 Further, the data classification method according to one aspect of the present invention is based on the result of estimation by the estimation model for classifying data registered in the database, which is generated by learning by the learning device. The item is specified, the format of the data is converted using a conversion function included in the extended metadata representing the characteristics of the specified item, and the converted data is registered in the specified item in the database.
　また、本発明の一態様におけるプログラムは、コンピュータに、データベースを構成する項目の各々について、項目の特徴を示すメタデータ及び項目のデータ形式への変換手順を示す変換関数を含む拡張メタデータを構成する処理と、データベースの項目の各々に対応するレコードデータを用いて、項目の各々に対応するレコードデータの特徴を表す特徴値を算出する処理と、拡張メタデータ及び特徴値に基づいて、データベースに登録されるデータを分類するための推定モデルを生成する学習器に対する教師データを生成する処理と、を実行させる。 The program according to one aspect of the present invention configures extended metadata including metadata indicating the characteristics of an item and a conversion function indicating a procedure for converting the item into a data format for each of the items constituting the database. To the database based on the extended metadata and the feature value, the process for calculating the feature value representing the feature of the record data corresponding to each item, using the record data corresponding to each item of the database Processing for generating teacher data for a learning device that generates an estimation model for classifying registered data.
　また、本発明の一態様におけるプログラムは、コンピュータに、学習器による学習によって生成された、データベースに登録されるデータを分類するための推定モデルによって推定された結果に基づいて、データに対応するデータベースの項目を特定する処理と、特定された項目の特徴を表す拡張メタデータに含まれる変換関数を用いて、データの形式を変換する処理と、変換されたデータをデータベースの特定された項目へ登録する処理と、を実行させる。 The program according to one embodiment of the present invention is a database corresponding to data based on a result estimated by an estimation model for classifying data registered in the database generated by learning by a learning device in a computer. Using the conversion function included in the extended metadata that represents the characteristics of the specified item and the conversion function included in the extended metadata that represents the characteristics of the specified item, the converted data is registered in the specified item in the database. And processing to be executed.
　本発明によると、多様な形式のデータを効率的に変換するデータ取得システム等を提供することができる。 According to the present invention, it is possible to provide a data acquisition system that efficiently converts data of various formats.
本発明の実施形態におけるデータ作成装置を示す図である。It is a figure which shows the data preparation apparatus in embodiment of this invention. 本発明の実施形態におけるデータ分類装置を示す図である。It is a figure which shows the data classification device in embodiment of this invention. 本発明の実施形態におけるデータ処理システムを示す図である。It is a figure which shows the data processing system in embodiment of this invention. 本発明の実施形態におけるデータ処理システムが対象とするデータベースに含まれるデータの例を示す図である。It is a figure which shows the example of the data contained in the database which the data processing system in embodiment of this invention makes object. 本発明の実施形態におけるデータ作成装置において生成される教師データである拡張メタデータ及び特徴値の例を示す図である。It is a figure which shows the example of the extended metadata and the feature value which are the teacher data produced | generated in the data creation apparatus in embodiment of this invention. 本発明の実施形態におけるデータ作成装置の一動作例を示すフローチャートである。It is a flowchart which shows one operation example of the data preparation apparatus in embodiment of this invention. 本発明の実施形態におけるデータ分類装置の一動作例を示すフローチャートである。It is a flowchart which shows one operation example of the data classification device in embodiment of this invention. 本発明の実施形態におけるデータ取得システム及び各装置等を実現する情報処理装置の例を示す図である。It is a figure which shows the example of the information processing apparatus which implement | achieves the data acquisition system and each apparatus etc. in embodiment of this invention.
　本発明の実施形態について、添付の図面を参照して説明する。本発明の実施形態において、各装置又はシステムの各構成要素は、機能単位のブロックを示している。各装置又はシステムの各構成要素の一部又は全部は、例えば図８に示すような情報処理装置１０００とプログラムとの任意の組み合わせにより実現される。情報処理装置１０００は、一例として、以下のような構成を含む。 Embodiments of the present invention will be described with reference to the accompanying drawings. In the embodiment of the present invention, each component of each device or system represents a functional unit block. Part or all of each component of each apparatus or system is realized by an arbitrary combination of an information processing apparatus 1000 and a program as shown in FIG. 8, for example. The information processing apparatus 1000 includes the following configuration as an example.
　　・ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１００１
　　・ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１００２
　　・ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１００３
　　・ＲＡＭ１００３にロードされるプログラム１００４
　　・プログラム１００４を格納する記憶装置１００５
　　・記録媒体１００６の読み書きを行うドライブ装置１００７
　　・通信ネットワーク１００９と接続する通信インターフェース１００８
　　・データの入出力を行う入出力インターフェース１０１０
　　・各構成要素を接続するバス１０１１
　各実施形態における各装置又はシステムの各構成要素は、これらの機能を実現するプログラム１００４をＣＰＵ１００１が取得して実行することで実現される。各装置の各構成要素の機能を実現するプログラム１００４は、例えば、予め記憶装置１００５やＲＡＭ１００３に格納されており、必要に応じてＣＰＵ１００１が読み出す。なお、プログラム１００４は、通信ネットワーク１００９を介してＣＰＵ１００１に供給されてもよいし、予め記録媒体１００６に格納されており、ドライブ装置１００７が当該プログラムを読み出してＣＰＵ１００１に供給してもよい。 CPU (Central Processing Unit) 1001
ROM (Read Only Memory) 1002
RAM (Random Access Memory) 1003
A program 1004 loaded into the RAM 1003
A storage device 1005 that stores the program 1004
A drive device 1007 that reads and writes the recording medium 1006
A communication interface 1008 connected to the communication network 1009
-I / O interface 1010 for inputting / outputting data
-Bus 1011 connecting each component
Each component of each device or system in each embodiment is realized by the CPU 1001 acquiring and executing a program 1004 that realizes these functions. The program 1004 that realizes the function of each component of each device is stored in advance in the storage device 1005 or the RAM 1003, for example, and is read out by the CPU 1001 as necessary. The program 1004 may be supplied to the CPU 1001 via the communication network 1009, or may be stored in the recording medium 1006 in advance, and the drive device 1007 may read the program and supply it to the CPU 1001.
　各装置の実現方法には、様々な変形例がある。例えば、各装置又はシステムは、構成要素毎にそれぞれ別個の情報処理装置１０００とプログラムとの任意の組み合わせにより実現されてもよい。また、各装置が備える複数の構成要素が、一つの情報処理装置１０００とプログラムとの任意の組み合わせにより実現されてもよい。 There are various modifications to the method of realizing each device. For example, each device or system may be realized by an arbitrary combination of the information processing apparatus 1000 and a program that are different for each component. In addition, a plurality of components included in each device may be realized by any combination of one information processing device 1000 and a program.
　また、各装置又はシステムの各構成要素の一部又は全部は、プロセッサ等を含む汎用または専用の回路（ｃｉｒｃｕｉｔｒｙ）や、これらの組み合わせによって実現される。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。 Also, some or all of the components of each device or system are realized by a general-purpose or dedicated circuit including a processor or a combination thereof. These may be configured by a single chip or may be configured by a plurality of chips connected via a bus. Part or all of each component of each device may be realized by a combination of the above-described circuit and the like and a program.
　各装置又はシステムの各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。 When some or all of the components of each device or system are realized by a plurality of information processing devices and circuits, the plurality of information processing devices and circuits may be centrally arranged or distributedly arranged. May be. For example, the information processing apparatus, the circuit, and the like may be realized as a form in which each is connected via a communication network, such as a client and server system and a cloud computing system.
　本発明の実施形態におけるシステム及び装置の各々について説明する。図１は、本発明の実施形態におけるデータ作成装置を示す図である。図２は、本発明の実施形態におけるデータ分類装置を示す図である。図３は、本発明の実施形態におけるデータ処理システムを示す図である。 Each of the system and apparatus in the embodiment of the present invention will be described. FIG. 1 is a diagram showing a data creation device according to an embodiment of the present invention. FIG. 2 is a diagram showing a data classification device according to the embodiment of the present invention. FIG. 3 is a diagram showing a data processing system according to the embodiment of the present invention.
　図１に示すとおり、本発明の実施形態におけるデータ作成装置１００は、メタデータ構成部１１０と、特徴値算出部１２０と、教師データ生成部１３０とを備える。メタデータ構成部１１０は、データベースを構成する項目の各々に関して、各々の項目の特徴を示すメタデータ及び各々の項目のデータ形式への変換手順を示す変換関数を含む拡張メタデータを構成する。特徴値算出部１２０は、データベースの項目の各々に対応するレコードデータを用いて、データベースの項目の各々に対応するレコードデータの特徴を表す特徴値を算出する。教師データ生成部１３０は、拡張メタデータ及び特徴値に基づいて、データベースに登録されるデータを分類するための推定モデルを生成する学習器に対する教師データを生成する。 As shown in FIG. 1, the data creation device 100 according to the embodiment of the present invention includes a metadata configuration unit 110, a feature value calculation unit 120, and a teacher data generation unit 130. The metadata configuration unit 110 configures extended metadata including metadata indicating characteristics of each item and a conversion function indicating a conversion procedure of each item into a data format for each of the items constituting the database. The feature value calculation unit 120 uses the record data corresponding to each item in the database to calculate a feature value representing the feature of the record data corresponding to each item in the database. The teacher data generation unit 130 generates teacher data for a learning device that generates an estimation model for classifying data registered in the database based on the extended metadata and the feature values.
　また、図２に示すとおり、本発明の実施形態におけるデータ分類装置２００は、メタデータ解析部２１０と、データ変換部２２０と、データ登録部２３０とを備える。メタデータ解析部２１０は、データベースに登録されるデータを分類するための推定モデルを用いて推定された結果に基づいて、データベースに登録されるデータに対応するデータベースの項目を特定する。推定モデルは、学習器による学習によって生成される。データ変換部２２０は、特定されたデータベースの項目の特徴を表す拡張メタデータに含まれる変換関数を用いて、データベースに登録されるデータの型であるデータ形式を変換する。データ登録部２３０は、変換されたデータを、データベースの特定された項目へ登録する。 As shown in FIG. 2, the data classification device 200 according to the embodiment of the present invention includes a metadata analysis unit 210, a data conversion unit 220, and a data registration unit 230. The metadata analysis unit 210 identifies a database item corresponding to the data registered in the database based on the result estimated using the estimation model for classifying the data registered in the database. The estimation model is generated by learning with a learner. The data conversion unit 220 converts a data format, which is a type of data registered in the database, using a conversion function included in the extended metadata representing the characteristics of the specified database item. The data registration unit 230 registers the converted data in the specified item of the database.
　また、図３に示すとおり、本発明の実施形態におけるデータ処理システム１０は、データ作成装置１００と、データ分類装置２００と、学習器１１とを備える。データ作成装置１００及びデータ分類装置２００は、それぞれ上述した装置と同じ装置である。学習器１１は、教師データ生成部１３０により生成された教師データを学習することにより、新規にデータベース２０に登録されるデータを分類するための推定モデルを生成する。また、データ処理システム１０において、データ分類装置２００のメタデータ解析部２１０は、学習器によって生成された推定モデルを用いて推定された結果に基づいて、登録されるデータに対応するデータベースの項目を特定する。 Further, as shown in FIG. 3, the data processing system 10 in the embodiment of the present invention includes a data creation device 100, a data classification device 200, and a learning device 11. The data creation device 100 and the data classification device 200 are the same devices as those described above. The learning device 11 generates an estimation model for classifying data newly registered in the database 20 by learning the teacher data generated by the teacher data generation unit 130. In the data processing system 10, the metadata analysis unit 210 of the data classification device 200 selects the database item corresponding to the registered data based on the result estimated using the estimation model generated by the learning device. Identify.
　データ処理システム１０は、データベース２０に新たにデータを登録するために用いられるシステムである。 The data processing system 10 is a system used for newly registering data in the database 20.
　本実施形態において、データベース２０に新たに登録されるデータの形式や種類は、特に限定されない。そのため、データベース２０に新たにデータが格納される場合には、データの正規化や変換といった、データの形式の変換が必要となる場合がある。しかしながら、任意の様々な形式のデータを変換する場合には、人手による作業が必要となる等、変換のための作業が困難な場合があった。 In the present embodiment, the format and type of data newly registered in the database 20 are not particularly limited. For this reason, when data is newly stored in the database 20, it may be necessary to convert the data format such as normalization or conversion of the data. However, when converting data in any of various formats, there is a case where the conversion work is difficult, for example, a manual operation is required.
　そこで、データ処理システム１０は、データベース２０に登録されるデータのデータ形式を、データベース２０を構成する各項目に登録可能な形式に自動的に変換して登録する。データベース２０に登録されるデータのデータ形式に対応するデータベースの項目は、学習器１１において機械学習によって生成された推定モデルにより推定される。 Therefore, the data processing system 10 automatically converts and registers the data format of data registered in the database 20 into a format that can be registered in each item constituting the database 20. The database item corresponding to the data format of the data registered in the database 20 is estimated by the estimation model generated by machine learning in the learning device 11.
　また、データ処理システム１０を構成する要素のうち、データ作成装置１００は、学習器１１において学習に用いられる教師データを生成する。また、データ分類装置２００は、推定モデルによる推定結果に応じて、データベース２０に登録されるデータのデータ形式を、データベース２０の項目に応じた形式に変換する。 Of the elements constituting the data processing system 10, the data creation device 100 generates teacher data used for learning in the learning device 11. Further, the data classification device 200 converts the data format of the data registered in the database 20 into a format corresponding to the item of the database 20 according to the estimation result by the estimation model.
　なお、図３に示す例では、データ処理システム１０は、データベース２０と別個のシステムとして記載されているが、データ処理システム１０は、データベース２０と一体のシステムとして用いられてもよい。 In the example shown in FIG. 3, the data processing system 10 is described as a system separate from the database 20, but the data processing system 10 may be used as a system integrated with the database 20.
　続いて、データ作成装置１００及びデータ分類装置２００の各々における構成要素について説明する。まずは、データ作成装置１００の各要素について説明する。 Subsequently, components in each of the data creation device 100 and the data classification device 200 will be described. First, each element of the data creation device 100 will be described.
　メタデータ構成部１１０は、データベース２０を構成する項目の各々に関して、拡張メタデータを構成する。拡張メタデータは、データベース２０の項目の各々についてのメタデータ及び変換関数を含む。メタデータは、データベース２０の項目の各々についての特徴を示すデータである。変換関数は、任意のデータを、データベース２０の項目の各々のデータ形式へ変換する場合における変換手順を示す関数である。変換関数は、図３に示す変換関数３０のように、データベース２０に応じて予め用意される。 The metadata configuration unit 110 configures extended metadata for each item constituting the database 20. The extended metadata includes metadata and conversion functions for each item in the database 20. The metadata is data indicating characteristics of each item in the database 20. The conversion function is a function indicating a conversion procedure in the case where arbitrary data is converted into the data format of each item of the database 20. The conversion function is prepared in advance according to the database 20 like the conversion function 30 shown in FIG.
　すなわち、メタデータ構成部１１０によって構成される拡張メタデータは、任意の形式である新規のデータがデータベース２０に格納される際に、当該データが該当しうるデータベース２０の項目を判断するために用いられるデータである。 That is, the extended metadata configured by the metadata configuration unit 110 is used to determine items of the database 20 to which the data can correspond when new data having an arbitrary format is stored in the database 20. Data.
　図４及び図５の例を用いて、メタデータ構成部１１０によって構成される拡張メタデータと、拡張メタデータに含まれるメタデータ及び変換関数について説明する。 The extended metadata configured by the metadata configuration unit 110, the metadata included in the extended metadata, and the conversion function will be described with reference to the examples of FIGS.
　図４は、データベース２０の一例を示す図である。データベース２０の列の各々は、データベースの項目を表す。図４に示す例では、データベース２０には、“ｉｄ”、“ｐｒｉｃｅ”、“ｗｅｉｇｈｔ”、“ｒａｎｋ”、“ａｒｅａ”の５つの項目が含まれる。この例では、５つの項目は、それぞれ、データの識別番号、価格、値の重み、ランク及び場所を表す項目である。なお、データベース２０の項目はこれには限られず、データベース２０に格納されるデータに応じて適宜定められればよい。 FIG. 4 is a diagram illustrating an example of the database 20. Each column in the database 20 represents a database item. In the example illustrated in FIG. 4, the database 20 includes five items “id”, “price”, “weight”, “rank”, and “area”. In this example, the five items are items representing the data identification number, price, value weight, rank, and location, respectively. Note that the items of the database 20 are not limited to this, and may be appropriately determined according to data stored in the database 20.
　また、データベース２０の行の各々は、データベースの各項目に対する具体的なデータであるレコードデータを表す。すなわち、図４では、データベース２０に４つのレコードデータが含まれる例が示されている。 Each row of the database 20 represents record data that is specific data for each item in the database. That is, FIG. 4 shows an example in which the database 20 includes four record data.
　図５は、図４に示すデータベース２０に対して、データ作成装置１００が生成する教師データの例を示す。図５に示す教師データのうち、メタデータ構成部１１０は、「拡張メタデータ」の欄に示す内容を構成する。 FIG. 5 shows an example of teacher data generated by the data creation device 100 for the database 20 shown in FIG. Among the teacher data shown in FIG. 5, the metadata configuration unit 110 configures the contents shown in the column “extended metadata”.
　メタデータは、データベース２０の項目の各々についての特徴を示すデータである。メタデータは、データベース２０の項目の各々に関連し、項目の各々についての特徴を示すデータであればよく、その種類は特に限定されない。図５に示す例では、データベース２０の項目の各々に対して、メタデータとして、項目名及びデータ型が示されている。データ型には、数値型及び文字型の２つの型が示されている。メタデータ構成部１１０は、例えば、データベース２０の図示しないデータディクショナリに格納された、データベース２０の項目に関する任意の種類のデータを、メタデータとして抽出する。 Metadata is data indicating the characteristics of each item in the database 20. The metadata is related to each item of the database 20 and may be data indicating characteristics of each item, and the type thereof is not particularly limited. In the example shown in FIG. 5, item names and data types are shown as metadata for each item in the database 20. As the data type, two types, a numeric type and a character type, are shown. For example, the metadata configuration unit 110 extracts any type of data related to the items in the database 20 stored in a data dictionary (not shown) of the database 20 as metadata.
　変換関数は、任意のデータを、データベース２０の項目の各々に対応するレコードデータの形式へ変換する関数である。変換関数は、データ形式の変換に利用可能であれば種類は限られず、任意の関数やその逆関数が変換関数として適宜用いられる。また、変換関数には、データの形式を変更しないことも含まれる。図５に示す例では、データベース２０の項目の各々に対して、変換関数として、無変換、標準化、正規化、文字列の階級化、文字列の２値化の変換関数が示されている。 The conversion function is a function for converting arbitrary data into a record data format corresponding to each item of the database 20. The conversion function is not limited as long as it can be used for data format conversion, and an arbitrary function or its inverse function is appropriately used as the conversion function. The conversion function includes not changing the data format. In the example shown in FIG. 5, conversion functions of no conversion, standardization, normalization, character string classification, and character string binarization are shown as conversion functions for each item of the database 20.
　変換関数は予め、任意の記憶手段等に格納される。メタデータ構成部１１０は、当該記憶手段を適宜参照して、データベース２０の項目の各々に対応する変換関数を取得する。 The conversion function is stored in advance in any storage means. The metadata configuration unit 110 refers to the storage unit as appropriate, and acquires a conversion function corresponding to each item of the database 20.
　メタデータ構成部１１０は、データベース２０のデータディクショナリから抽出したメタデータと、取得した変換関数とを組み合わせて、データベース２０の一つの項目に対する拡張メタデータを構成する。そして、メタデータ構成部１１０は、データベース２０の全ての項目に対して、同様に拡張メタデータを構成する。 The metadata configuration unit 110 configures extended metadata for one item of the database 20 by combining the metadata extracted from the data dictionary of the database 20 and the acquired conversion function. And the metadata structure part 110 comprises extended metadata similarly about all the items of the database 20. FIG.
　特徴値算出部１２０は、データベース２０の項目の各々のレコードデータの特徴を表す特徴値を算出する。特徴値は、データベース２０の項目の各々に対するレコードデータを用いて算出される。特徴値算出部１２０は、図５に示す教師データのうち、「特徴値」の欄に示す内容を構成する。 The feature value calculation unit 120 calculates a feature value that represents the feature of each record data item of the database 20. The feature value is calculated using record data for each item in the database 20. The feature value calculation unit 120 configures the contents shown in the “feature value” column of the teacher data shown in FIG.
　特徴値は、データベース２０の項目の各々のレコードデータの特徴を表す値である。特徴値には、例えば、レコードデータの平均、分散、歪度、レコードデータに含まれる各値の出現頻度といった、各々のレコードデータの特徴を要約して特徴を表す統計量が含まれる。ただし、特徴値は上述した例に限られず、データベース２０の項目の各々のレコードデータの特徴を表す任意の種類の値が、特徴値として用いられる。 The feature value is a value that represents the feature of each record data item of the database 20. The feature value includes, for example, a statistic representing the feature by summarizing the features of each record data, such as the average, variance, skewness of the record data, and the appearance frequency of each value included in the record data. However, the feature value is not limited to the above-described example, and any kind of value representing the feature of each record data item of the database 20 is used as the feature value.
　教師データ生成部１３０は、メタデータ構成部１１０によって構成された拡張メタデータ及び特徴値算出部１２０によって算出された特徴値に基づいて、教師データを生成する。教師データ生成部１３０によって生成される教師データは、学習器１１に対する教師データである。上述した図５に示す教師データは、教師データ生成部１３０によって生成される教師データの一例である。 The teacher data generation unit 130 generates teacher data based on the extended metadata configured by the metadata configuration unit 110 and the feature values calculated by the feature value calculation unit 120. The teacher data generated by the teacher data generation unit 130 is teacher data for the learning device 11. The teacher data shown in FIG. 5 described above is an example of teacher data generated by the teacher data generation unit 130.
　上述のように、学習器１１は、教師データ生成部１３０により生成された教師データを学習することにより、新規にデータベース２０に登録されるデータを分類するための推定モデルを生成する。すなわち、学習器１１においては、拡張メタデータに含まれるデータベース２０の項目毎の特徴や、特徴値によって表される、データベース２０の項目毎のレコードデータに関しても学習が行われる。 As described above, the learning device 11 learns the teacher data generated by the teacher data generation unit 130, thereby generating an estimation model for classifying data newly registered in the database 20. That is, in the learning device 11, learning is also performed on the feature of each item of the database 20 included in the extended metadata and the record data of each item of the database 20 represented by the feature value.
　学習器１１においては、拡張メタデータ及び特徴値の内容やその他のデータベース２０に関する条件に応じて、公知の学習の手法が適宜用いられる。学習器１１は、教師データ生成部１３０により生成された教師データを取得して学習を行い、学習済の推定モデルを生成する。 In the learning device 11, a known learning method is appropriately used according to the contents of the extended metadata and feature values and other conditions relating to the database 20. The learning device 11 acquires the teacher data generated by the teacher data generation unit 130, performs learning, and generates a learned estimated model.
　また、学習済の推定モデルは、データベース２０に登録されるデータに対応する拡張メタデータや変換関数の候補を推定する。例えば、学習済の推定モデルは、データベース２０に登録されるデータに最もよく対応する拡張メタデータ又は変換関数を推定する。又は、学習済の推定モデルは、データベース２０に登録されるデータに対応する可能性がある、一つ以上の拡張メタデータや変換関数の候補を推定してもよい。データベース２０に登録されるデータに対応する拡張メタデータや変換関数の候補が推定されることで、当該データが格納されるべきデータベース２０の項目の特定が可能となる。 In addition, the learned estimation model estimates the extension metadata and conversion function candidates corresponding to the data registered in the database 20. For example, the learned estimation model estimates the extended metadata or conversion function that best corresponds to the data registered in the database 20. Alternatively, the learned estimation model may estimate one or more extended metadata and conversion function candidates that may correspond to data registered in the database 20. By estimating the extension metadata and conversion function candidates corresponding to the data registered in the database 20, it is possible to specify the item of the database 20 in which the data is to be stored.
　次に、データ分類装置２００の各要素について説明する。 Next, each element of the data classification device 200 will be described.
　メタデータ解析部２１０は、推定モデルを用いて推定された結果に基づいて、データベース２０に登録されるデータに対応するデータベース２０の項目を特定する。推定モデルは、学習器１１による学習によって生成された、新規にデータベース２０に登録されるデータを分類するための学習済モデルである。メタデータ解析部２１０は、一動作例として、学習器１１の推定モデルに当該データを入力して推定結果を取得し、取得した推定結果に基づいて、当該データに対応するデータベース２０の項目を特定する。 The metadata analysis unit 210 identifies items in the database 20 corresponding to data registered in the database 20 based on the results estimated using the estimation model. The estimation model is a learned model for classifying data newly registered in the database 20 generated by learning by the learning device 11. As an operation example, the metadata analysis unit 210 inputs the data to the estimation model of the learning device 11 to acquire an estimation result, and identifies an item in the database 20 corresponding to the data based on the acquired estimation result. To do.
　上述のように、データベース２０に新たに格納されるデータのデータ形式や種類は特に限定されない。また、データの形式や種類と同様に、データベース２０に新たに格納されるデータの入手方法は特に限定されず、任意の方法で得られたデータが、データベース２０に新たに格納され得る。 As described above, the data format and type of data newly stored in the database 20 are not particularly limited. Similarly to the format and type of data, the method for obtaining data newly stored in the database 20 is not particularly limited, and data obtained by any method can be newly stored in the database 20.
　メタデータ解析部２１０は、例えば、データベース２０に登録されるデータに対して推定モデルによって推定された拡張メタデータが対応するデータベース２０の項目を解析し、当該データに対応するデータベース２０の項目を特定する。 For example, the metadata analysis unit 210 analyzes the items of the database 20 corresponding to the extended metadata estimated by the estimation model with respect to the data registered in the database 20, and specifies the items of the database 20 corresponding to the data. To do.
　この場合の解析には、例えば、推定された拡張メタデータに含まれるメタデータによって規定されるデータ型とデータベース２０に登録されるデータのデータ型が合致するかの解析が含まれる。また、この場合の解析には、推定された拡張メタデータに含まれる変換関数によって、データベース２０に登録されるデータのデータ形式を、当該メタデータによって規定されるデータ型へ変換可能であるかの解析が含まれてもよい。 The analysis in this case includes, for example, an analysis of whether the data type defined by the metadata included in the estimated extended metadata matches the data type of the data registered in the database 20. Further, in the analysis in this case, whether or not the data format of the data registered in the database 20 can be converted into the data type defined by the metadata by the conversion function included in the estimated extended metadata. Analysis may be included.
　また、学習器１１によって生成された推定モデルが、データベース２０に登録されるデータの値と合致する特徴値を推定した場合が想定される。この場合には、メタデータ解析部２１０は、当該データの値が、特徴値の範囲と矛盾しないことを解析して、当該のデータに対応するデータベース２０の項目を特定してもよい。このような解析は、上述した解析と併せて行われてもよいし、上述した解析とは別に行われてもよい。 Also, it is assumed that the estimation model generated by the learning device 11 estimates a feature value that matches the value of data registered in the database 20. In this case, the metadata analysis unit 210 may analyze that the value of the data is not inconsistent with the range of the feature value and specify the item of the database 20 corresponding to the data. Such an analysis may be performed in combination with the above-described analysis, or may be performed separately from the above-described analysis.
　更に、推定モデルによって、データベース２０に登録されるデータに対して複数の拡張メタデータが推定されている場合が想定される。この場合には、メタデータ解析部２１０は、例えば上記のいずれかの方法を用いて、当該データに対して最も適した拡張メタデータに対応する項目を、当該データに対応するデータベース２０の項目として特定してもよい。 Furthermore, it is assumed that a plurality of extended metadata is estimated for the data registered in the database 20 by the estimation model. In this case, the metadata analysis unit 210 uses, for example, any one of the above-described methods as the item corresponding to the extended metadata most suitable for the data as the item of the database 20 corresponding to the data. You may specify.
　データ変換部２２０は、変換関数を用いて、データベース２０に登録されるデータのデータ形式を変換する。この場合に用いられる変換関数は、メタデータ解析部２１０によって特定されたデータベース２０の項目についての変換関数である。すなわち、データ変換部２２０によって、データベース２０に登録されるデータのデータ形式が、データベース２０の対応する項目のデータ形式となるように変換される。 The data conversion unit 220 converts the data format of data registered in the database 20 using a conversion function. The conversion function used in this case is a conversion function for the items in the database 20 specified by the metadata analysis unit 210. In other words, the data conversion unit 220 converts the data format of the data registered in the database 20 to the data format of the corresponding item in the database 20.
　データ登録部２３０は、データ変換部２２０によってデータベース２０の各項目のデータ形式に変換された、データベース２０に登録されるデータを、データベース２０へ格納する。 The data registration unit 230 stores the data registered in the database 20 converted into the data format of each item of the database 20 by the data conversion unit 220 in the database 20.
　なお、データ作成装置１００の特徴値算出部１２０は、データ登録部２３０によってデータベース２０へ格納される新規のデータを取得し、特徴値を再計算してもよい。そして、データ作成装置１００の教師データ生成部１３０は、新たな教師データを生成してもよい。更に、学習器１１は、新たに生成された教師データを学習してもよい。 Note that the feature value calculation unit 120 of the data creation device 100 may acquire new data stored in the database 20 by the data registration unit 230 and recalculate the feature values. Then, the teacher data generation unit 130 of the data creation device 100 may generate new teacher data. Further, the learning device 11 may learn newly generated teacher data.
　このようにすることで、学習器１１によって生成される推定モデルを用いて行われる、データベース２０に登録されるデータに対するデータベース２０の項目の推定精度が向上する。そして、推定モデルによる推定の精度が向上することによって、データ分類装置２００によって行われる、データベース２０に登録されるデータについてのデータベース２０の項目の各々に対する分類の精度が同様に向上する。 By doing in this way, the estimation accuracy of the items in the database 20 with respect to the data registered in the database 20 performed using the estimation model generated by the learning device 11 is improved. Then, by improving the accuracy of estimation using the estimation model, the accuracy of classification for each item of the database 20 for data registered in the database 20 performed by the data classification device 200 is similarly improved.
　続いて、図６及び図７に示すフローチャートを用いて、本実施形態におけるデータ作成装置１００及びデータ分類装置２００の動作の一例を説明する。 Subsequently, an example of the operations of the data creation device 100 and the data classification device 200 in the present embodiment will be described using the flowcharts shown in FIGS.
　まず、図６に示すフローチャートを用いて、本実施形態におけるデータ作成装置１００の動作を説明する。 First, the operation of the data creation device 100 in the present embodiment will be described using the flowchart shown in FIG.
　最初に、メタデータ構成部１１０及び特徴値算出部１２０は、データが新たに格納される対象となるデータベース２０を読み込む（ステップＳ１０１）。この場合に、メタデータ構成部１１０は、変換関数３０やその他の教師データの作成に必要となる情報を読み込む。 First, the metadata construction unit 110 and the feature value calculation unit 120 read the database 20 that is a target for storing new data (step S101). In this case, the metadata configuration unit 110 reads information necessary for creating the conversion function 30 and other teacher data.
　次に、メタデータ構成部１１０及び特徴値算出部１２０は、ステップＳ１０１において読み込まれたデータベース２０を構成する項目の一つを選択する（ステップＳ１０２）。 Next, the metadata configuration unit 110 and the feature value calculation unit 120 select one of the items constituting the database 20 read in step S101 (step S102).
　次に、メタデータ構成部１１０は、データベース２０の図示しないデータディクショナリ等から、ステップＳ１０２で選択されたデータベース２０の項目に関するメタデータを抽出する（ステップＳ１０３）。そして、メタデータ構成部１１０は、抽出したメタデータと変換関数とを組み合わせて、拡張メタデータを構成する（ステップＳ１０４）。 Next, the metadata construction unit 110 extracts metadata related to the item of the database 20 selected in step S102 from a data dictionary (not shown) of the database 20 (step S103). Then, the metadata configuration unit 110 configures extended metadata by combining the extracted metadata and the conversion function (step S104).
　また、ステップＳ１０３及びステップＳ１０４の処理と並行して、特徴値算出部１２０は、ステップＳ１０２で選択されたデータベース２０の項目のレコードデータを抽出する（ステップＳ１０５）。そして、特徴値算出部１２０は、ステップＳ１０５において抽出したレコードデータに関する特徴値を算出する（ステップＳ１０６）。 Further, in parallel with the processing of step S103 and step S104, the feature value calculation unit 120 extracts the record data of the item of the database 20 selected in step S102 (step S105). Then, the feature value calculation unit 120 calculates a feature value related to the record data extracted in step S105 (step S106).
　なお、図６に示すフローチャートでは、ステップＳ１０３及びＳ１０４の処理と、ステップＳ１０５及びステップＳ１０６の処理とが並行に行われることが示されている。ただし、ステップＳ１０３及びＳ１０４の処理と、ステップＳ１０５及びステップＳ１０６の処理との順番は、この例に限られず、逐次的に実行されてもよい。 In the flowchart shown in FIG. 6, it is shown that the processes in steps S103 and S104 and the processes in steps S105 and S106 are performed in parallel. However, the order of the processing of steps S103 and S104 and the processing of steps S105 and S106 is not limited to this example, and may be executed sequentially.
　ステップＳ１０４及びステップＳ１０６の処理が行われると、教師データ生成部１３０は、ステップＳ１０２において選択されたデータベース２０の項目に対する教師データを生成する（ステップＳ１０７）。 When the processing of step S104 and step S106 is performed, the teacher data generation unit 130 generates teacher data for the item of the database 20 selected in step S102 (step S107).
　ステップＳ１０７において教師データが作成されると、メタデータ構成部１１０及び特徴値算出部１２０は、データベース２０の全ての項目に対して教師データを作成したか否かを判断する（ステップＳ１０８）。 When teacher data is created in step S107, the metadata constructing unit 110 and the feature value calculating unit 120 determine whether or not teacher data has been created for all items in the database 20 (step S108).
　全ての項目に対して教師データが作成されていると判断された場合（ステップＳ１０８：Ｙｅｓ）には、教師データ生成部１３０は、例えば教師データを学習器１１へ送信する（ステップＳ１０９）。学習器１１に教師データが送信されると、学習器１１は、送信された教師データの学習を行い、上述した推定モデルを生成する。なお、ステップＳ１０９においては、教師データ生成部１３０は、学習器１１に教師データを直接送信せず、学習器１１が参照可能な記憶手段等に教師データを格納してもよい。 If it is determined that teacher data has been created for all items (step S108: Yes), the teacher data generation unit 130 transmits teacher data to the learning device 11, for example (step S109). When the teacher data is transmitted to the learning device 11, the learning device 11 learns the transmitted teacher data and generates the above-described estimation model. In step S109, the teacher data generation unit 130 may store the teacher data in a storage unit or the like that can be referred to by the learning device 11 without directly transmitting the teacher data to the learning device 11.
　全ての項目に対する教師データの作成が終了していないと判断された場合（ステップＳ１０８：Ｎｏ）には、ステップＳ１０２に戻り、ステップＳ１０２以降の処理が繰り返し行われる。すなわち、メタデータ構成部１１０及び特徴値算出部１２０は、データベース２０を構成する項目のうち、未選択の項目の一つを選択して、以降の処理を実行する。 If it is determined that the creation of teacher data for all items has not been completed (step S108: No), the process returns to step S102, and the processes after step S102 are repeated. That is, the metadata configuration unit 110 and the feature value calculation unit 120 select one of the unselected items from the items configuring the database 20 and execute the subsequent processing.
　次に、図７に示すフローチャートを用いて、本実施形態におけるデータ分類装置２００の動作を説明する。 Next, the operation of the data classification device 200 in this embodiment will be described using the flowchart shown in FIG.
　最初に、メタデータ解析部２１０は、新たにデータベース２０へ登録されるデータを取得する（ステップＳ２０１）。 First, the metadata analysis unit 210 acquires data newly registered in the database 20 (step S201).
　続いて、メタデータ解析部２１０は、ステップＳ２０１にて取得したデータを、学習器１１の推定モデルに入力する。学習器１１の推定モデルは、一例として入力されたデータに対する拡張メタデータを推定する（ステップＳ２０２）。推定モデルは、入力されたデータに対する変換関数やその他の情報を推定してもよい。 Subsequently, the metadata analysis unit 210 inputs the data acquired in step S201 to the estimation model of the learning device 11. The estimation model of the learning device 11 estimates the extended metadata for the input data as an example (step S202). The estimation model may estimate a conversion function or other information for input data.
　次に、メタデータ解析部２１０は、ステップＳ２０２において学習器１１の推定モデルを用いて推定された結果に基づいて、新規のデータに対応するデータベース２０の項目を特定する（ステップＳ２０３）。 Next, the metadata analysis unit 210 identifies an item in the database 20 corresponding to the new data based on the result estimated using the estimation model of the learning device 11 in step S202 (step S203).
　次に、データ変換部２２０は、ステップＳ２０３において特定されたデータベース２０の項目についての変換関数を用いて、データベース２０へ登録されるデータのデータ形式を変換する（ステップＳ２０４）。 Next, the data conversion unit 220 converts the data format of the data registered in the database 20 using the conversion function for the item of the database 20 identified in step S203 (step S204).
　そして、データ登録部２３０は、ステップＳ２０５においてデータ形式が変換されたデータを、データベース２０へ格納する（ステップＳ２０５）。 Then, the data registration unit 230 stores the data whose data format is converted in step S205 in the database 20 (step S205).
　以上のとおり、本実施形態におけるデータ処理システム１０では、データ作成装置１００が、データベース２０を構成する各々についての拡張メタデータ及び特徴値を用いて、データベース２０に登録される新規のデータを分類するための推定モデルを生成する学習器１１に対する教師データを作成する。そして、データ分類装置２００が、データ作成装置１００によって生成された教師データを用いた学習によって得られた推定モデルを用いて、任意の種類のデータに対応するデータベース２０の項目を特定する。 As described above, in the data processing system 10 according to the present embodiment, the data creation device 100 classifies new data registered in the database 20 using the extended metadata and feature values for each of the databases 20. Teacher data is generated for the learning device 11 that generates an estimation model. Then, the data classification device 200 identifies an item in the database 20 corresponding to an arbitrary type of data using the estimation model obtained by learning using the teacher data generated by the data creation device 100.
　すなわち、本実施形態におけるデータ処理システム１０では、データ作成装置１００が、データベース２０のメタデータやレコードデータ、変換関数等を用いて教師データを作成することで、適切な推定が可能なモデルの生成が可能となる。また、データ分類装置２００が、データ作成装置１００によって作成された教師データを用いて生成された学習済モデルを用いることで、新たなデータをデータベース２０の適切な項目へ格納することが可能となる。 That is, in the data processing system 10 according to the present embodiment, the data creation device 100 creates a model that can be appropriately estimated by creating teacher data using the metadata, record data, conversion function, and the like of the database 20. Is possible. Further, by using the learned model generated by the data classification device 200 using the teacher data created by the data creation device 100, new data can be stored in appropriate items in the database 20. .
　したがって、本実施形態におけるデータ処理システム１０は、多様な形式のデータを効率的に変換することを可能にする。 Therefore, the data processing system 10 in the present embodiment makes it possible to efficiently convert various types of data.
　以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、各実施形態における構成は、本発明のスコープを逸脱しない限りにおいて、互いに組み合わせることが可能である。 The present invention has been described above with reference to the embodiments, but the present invention is not limited to the above embodiments. Various changes that can be understood by those skilled in the art can be made to the configuration and details of the present invention within the scope of the present invention. The configurations in the embodiments can be combined with each other without departing from the scope of the present invention.
　この出願は２０１８年３月１４日に出願された日本出願特願２０１８－０４６１３７を基礎とする優先権を主張し、その開示の全てをここに取り込む。 This application claims priority based on Japanese Patent Application No. 2018-046137 filed on Mar. 14, 2018, the entire disclosure of which is incorporated herein.
　１０　　データ処理システム
　１１　　学習器
　２０　　データベース
　３０　　変換関数
　１００　　データ作成装置
　１１０　　メタデータ構成部
　１２０　　特徴値算出部
　１３０　　教師データ生成部
　２００　　データ分類装置
　２１０　　メタデータ解析部
　２２０　　データ変換部
　２３０　　データ登録部 DESCRIPTION OF SYMBOLS 10 Data processing system 11 Learning device 20 Database 30 Conversion function 100 Data preparation apparatus 110 Metadata structure part 120 Feature value calculation part 130 Teacher data generation part 200 Data classification apparatus 210 Metadata analysis part 220 Data conversion part 230 Data registration part

Claims (10)

  1. 　データベースを構成する項目の各々に関して、前記項目の特徴を示すメタデータ及び前記項目のデータ形式への変換手順を示す変換関数を含む拡張メタデータを構成するメタデータ構成手段と、
    　前記データベースの前記項目の各々に対応するレコードデータを用いて、前記項目の各々に対応する前記レコードデータの特徴を表す特徴値を算出する特徴値算出手段と、
    　前記拡張メタデータ及び前記特徴値に基づいて、前記データベースに登録されるデータを分類するための推定モデルを生成する学習器に対する教師データを生成する教師データ生成手段と、
    　を備えるデータ作成装置。     For each item constituting the database, metadata configuring means for configuring extended metadata including metadata indicating the characteristics of the item and a conversion function indicating a conversion procedure to the data format of the item;
    Using the record data corresponding to each of the items of the database, feature value calculating means for calculating a feature value representing the characteristics of the record data corresponding to each of the items;
    Teacher data generation means for generating teacher data for a learning device that generates an estimation model for classifying data registered in the database based on the extended metadata and the feature value;
    A data creation device comprising:
  2. 　前記特徴値算出手段は、前記レコードデータの特徴を示す統計量を前記特徴値として算出する、
    　請求項１に記載のデータ作成装置。     The feature value calculating means calculates a statistic indicating the feature of the record data as the feature value;
    The data creation device according to claim 1.
  3. 　前記メタデータは、前記項目のデータ型を含む、
    　請求項１又は２に記載のデータ作成装置。     The metadata includes the data type of the item.
    The data creation apparatus according to claim 1 or 2.
  4. 　学習器による学習によって生成された、データベースに登録されるデータを分類するための推定モデルを用いて推定された結果に基づいて、前記データに対応する前記データベースの項目を特定するメタデータ解析手段と、
    　特定された前記項目の特徴を表す拡張メタデータに含まれる変換関数を用いて、前記データのデータ形式を変換するデータ変換手段と、
    　変換された前記データを前記データベースの特定された前記項目へ登録するデータ登録手段と、
    　を備えるデータ分類装置。     Metadata analysis means for identifying an item in the database corresponding to the data based on a result estimated by using an estimation model for classifying data registered in the database generated by learning by a learning device; ,
    Data conversion means for converting the data format of the data using a conversion function included in the extended metadata representing the characteristics of the identified item,
    Data registration means for registering the converted data in the specified item of the database;
    A data classification device comprising:
  5. 　前記メタデータ解析手段は、前記データに対して推定モデルによって推定された拡張メタデータが対応する前記データベースの項目を解析することで、前記データに対応する前記データベースの項目を特定する、
    　請求項４に記載のデータ分類装置。     The metadata analysis means identifies the database item corresponding to the data by analyzing the database item corresponding to the extended metadata estimated by the estimation model for the data.
    The data classification device according to claim 4.
  6. 　請求項１から３のいずれか一項に記載のデータ作成装置と、
    　請求項４又は５に記載のデータ分類装置と、
    　前記教師データ生成手段により生成された前記教師データを学習することにより、前記データベースに登録される前記データを分類するための前記推定モデルを生成する前記学習器とを備え、
    　前記メタデータ解析手段は、前記学習器によって生成された前記推定モデルを用いて推定された結果に基づいて、前記データに対応する前記データベースの前記項目を特定する、
    　データ処理システム。     The data creation device according to any one of claims 1 to 3,
    A data classification device according to claim 4 or 5,
    The learning unit that generates the estimation model for classifying the data registered in the database by learning the teacher data generated by the teacher data generation unit,
    The metadata analysis means identifies the item of the database corresponding to the data based on a result estimated using the estimation model generated by the learner.
    Data processing system.
  7. 　データベースを構成する項目の各々について、前記項目の特徴を示すメタデータ及び前記項目のデータ形式への変換手順を示す変換関数を含む拡張メタデータを構成し、
    　前記データベースの前記項目の各々に対応するレコードデータを用いて、前記項目の各々に対応する前記レコードデータの特徴を表す特徴値を算出し、
    　前記拡張メタデータ及び前記特徴値に基づいて、前記データベースに登録されるデータを分類するための推定モデルを生成する学習器に対する教師データを生成する
    　データ作成方法。     For each of the items that make up the database, configure extended metadata including metadata indicating the characteristics of the item and a conversion function indicating a conversion procedure to the data format of the item,
    Using the record data corresponding to each of the items of the database, calculating a feature value representing the characteristics of the record data corresponding to each of the items,
    A data creation method for generating teacher data for a learning device that generates an estimation model for classifying data registered in the database based on the extended metadata and the feature value.
  8. 　学習器による学習によって生成された、データベースに登録されるデータを分類するための推定モデルによって推定された結果に基づいて、前記データに対応する前記データベースの項目を特定し、
    　特定された前記項目の特徴を表す拡張メタデータに含まれる変換関数を用いて、前記データのデータ形式を変換し、
    　変換された前記データを前記データベースの特定された前記項目へ登録する
    　データ分類方法。     Based on the result generated by the learning by the learning device and estimated by the estimation model for classifying the data registered in the database, the database item corresponding to the data is identified,
    Using the conversion function included in the extended metadata representing the characteristics of the identified item, the data format of the data is converted,
    A data classification method for registering the converted data in the specified item of the database.
  9. 　コンピュータに、
    　データベースを構成する項目の各々について、前記項目の特徴を示すメタデータ及び前記項目のデータ形式への変換手順を示す変換関数を含む拡張メタデータを構成する処理と、
    　前記データベースの前記項目の各々に対応するレコードデータを用いて、前記項目の各々に対応する前記レコードデータの特徴を表す特徴値を算出する処理と、
    　前記拡張メタデータ及び前記特徴値に基づいて、前記データベースに登録されるデータを分類するための推定モデルを生成する学習器に対する教師データを生成する処理と、
    　を実行させるプログラムを格納する記録媒体。     On the computer,
    For each item constituting the database, processing for configuring extended metadata including metadata indicating the characteristics of the item and a conversion function indicating a conversion procedure to the data format of the item;
    Using the record data corresponding to each of the items in the database, a process of calculating a feature value representing the characteristics of the record data corresponding to each of the items;
    Generating teacher data for a learner that generates an estimation model for classifying data registered in the database based on the extended metadata and the feature value;
    A recording medium for storing a program for executing the program.
  10. 　コンピュータに、
    　学習器による学習によって生成された、データベースに登録されるデータを分類するための推定モデルによって推定された結果に基づいて、前記データに対応する前記データベースの項目を特定する処理と、
    　特定された前記項目の特徴を表す拡張メタデータに含まれる変換関数を用いて、前記データのデータ形式を変換する処理と、
    　変換された前記データを前記データベースの特定された前記項目へ登録する処理と、
    　を実行させるプログラムを格納する記録媒体。     On the computer,
    A process of identifying an item in the database corresponding to the data based on a result estimated by an estimation model for classifying data registered in the database, generated by learning by a learning device;
    A process of converting the data format of the data using a conversion function included in extended metadata representing the characteristics of the identified item;
    Registering the converted data in the specified item of the database;
    A recording medium for storing a program for executing the program.
PCT/JP2019/009574 2018-03-14 2019-03-11 Data creator, data classifier, data acquisition system, data creation method, data classification method, and recording medium WO2019176824A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020506495A JP7010364B2 (en) 2018-03-14 2019-03-11 Data creation device, data classification device, data processing system, data creation method, data classification method and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-046137 2018-03-14
JP2018046137 2018-03-14

Publications (1)

Publication Number Publication Date
WO2019176824A1 true WO2019176824A1 (en) 2019-09-19

Family

ID=67906674

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/009574 WO2019176824A1 (en) 2018-03-14 2019-03-11 Data creator, data classifier, data acquisition system, data creation method, data classification method, and recording medium

Country Status (2)

Country Link
JP (1) JP7010364B2 (en)
WO (1) WO2019176824A1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63100547A (en) * 1986-10-17 1988-05-02 Mitsubishi Electric Corp Data base controlling system
JP2012027690A (en) * 2010-07-23 2012-02-09 Fujitsu Ltd Information integration program, apparatus and method
WO2017208922A1 (en) * 2016-05-31 2017-12-07 株式会社東新システム Data exchange system, data exchange method, and data exchange program
US20180018579A1 (en) * 2016-07-15 2018-01-18 ROKITT Inc. Primary Key-Foriegn Key Relationship Determination Through Machine Learning

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63100547A (en) * 1986-10-17 1988-05-02 Mitsubishi Electric Corp Data base controlling system
JP2012027690A (en) * 2010-07-23 2012-02-09 Fujitsu Ltd Information integration program, apparatus and method
WO2017208922A1 (en) * 2016-05-31 2017-12-07 株式会社東新システム Data exchange system, data exchange method, and data exchange program
US20180018579A1 (en) * 2016-07-15 2018-01-18 ROKITT Inc. Primary Key-Foriegn Key Relationship Determination Through Machine Learning

Also Published As

Publication number Publication date
JP7010364B2 (en) 2022-01-26
JPWO2019176824A1 (en) 2021-03-11

Similar Documents

Publication Publication Date Title
US20210043283A1 (en) Method and apparatus for identifying heterogeneous graph and property of molecular space structure and computer device
JP6551565B2 (en) Process analysis apparatus, process analysis method, and process analysis program
US20180300609A1 (en) Facilitating machine-learning and data analysis by computing user-session representation vectors
CN106662986B (en) The browser render process of optimization
CN109783785B (en) Method and device for generating experiment detection report and computer equipment
CN111611797B (en) Method, device and equipment for marking prediction data based on Albert model
CN110276456A (en) A kind of machine learning model auxiliary construction method, system, equipment and medium
US11100369B2 (en) Training method for tag identification network, tag identification apparatus/method and device
JP6506360B2 (en) Method of generating teacher data, method of generating learned model, learned model, computer and program
CN110249312A (en) Data integration operation changing
CN110728328A (en) Training method and device for classification model
CN112507623A (en) Algorithm middling station construction method and system
CN114594927A (en) Low code development method, device, system, server and storage medium
CN110532449A (en) A kind of processing method of service profile, device, equipment and storage medium
CN114297535A (en) Page display method, device and equipment for query conditions and storage medium
WO2020179378A1 (en) Information processing system, information processing method, and recording medium
CN117235527A (en) End-to-end containerized big data model construction method, device, equipment and medium
WO2019176824A1 (en) Data creator, data classifier, data acquisition system, data creation method, data classification method, and recording medium
US20240126979A1 (en) Information acquisition apparatus, information acquisition method, and information acquisition program
CN113010687B (en) Exercise label prediction method and device, storage medium and computer equipment
CN111176624B (en) Method and device for generating stream type calculation index
CN107430600A (en) Expansible web data extraction
JP7136329B2 (en) Abnormality detection device, control method, and program
CN113435168A (en) Method, system, terminal and medium for automatically editing rubber picture
JP5600826B1 (en) Unstructured data processing system, unstructured data processing method and program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19768313

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020506495

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19768313

Country of ref document: EP

Kind code of ref document: A1