WO2025225461A1 - データ処理装置、データ処理方法及びデータ処理プログラム - Google Patents
データ処理装置、データ処理方法及びデータ処理プログラムInfo
- Publication number
- WO2025225461A1 WO2025225461A1 PCT/JP2025/014829 JP2025014829W WO2025225461A1 WO 2025225461 A1 WO2025225461 A1 WO 2025225461A1 JP 2025014829 W JP2025014829 W JP 2025014829W WO 2025225461 A1 WO2025225461 A1 WO 2025225461A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- data
- column
- data processing
- unit
- generated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16C—COMPUTATIONAL CHEMISTRY; CHEMOINFORMATICS; COMPUTATIONAL MATERIALS SCIENCE
- G16C20/00—Chemoinformatics, i.e. ICT specially adapted for the handling of physicochemical or structural data of chemical particles, elements, compounds or mixtures
- G16C20/70—Machine learning, data mining or chemometrics
Definitions
- This disclosure relates to a data processing device, a data processing method, and a data processing program.
- WO 2021/045058 discloses a material design device, material design method, and material design program for polymer materials that simultaneously satisfy multiple desired material properties.
- the experimental data from past material prototypes reflects the thinking of material developers.
- prototyping materials there was no technology available to analyze what thinking the material developers had based the past experimental data on, or in other words, what characteristics exist in the data being processed, such as experimental data.
- This disclosure has been made in consideration of the above points, and aims to provide a data processing device, data processing method, and data processing program that can extract data characteristics from data to be processed.
- a data processing device includes a duplication unit that duplicates a first table storing data to be analyzed to generate a second table; a join unit that cross-joins the first table and the second table based on an identification column for identifying the data to generate a new third table; a calculation unit that calculates the difference between the column of explanatory variables in the first table and the column of explanatory variables in the second table in the third table generated by the join unit and stores the difference in a newly generated column in the third table; and an extraction unit that extracts features from the column generated by the calculation unit.
- a data processing device is a data processing device according to the first aspect, wherein the extraction unit extracts, as a feature, information related to the identification sequence used by the combination unit for cross-combining.
- a data processing device is the data processing device according to the first aspect, wherein the extraction unit extracts features by dimensionality reduction processing.
- a data processing device is the data processing device according to the first aspect, in which the extraction unit extracts features using the results of unsupervised learning that generates latent variables.
- a data processing device is the data processing device according to the first aspect, in which the extraction unit extracts features using the results of supervised learning.
- a processor generates a second table by duplicating a first table in which data to be analyzed is stored, cross-links the first table and the second table based on an identification column for identifying the data to generate a new third table, calculates the difference between the column of explanatory variables in the first table and the column of explanatory variables in the second table in the generated third table, stores the difference in a newly generated column in the third table, and executes processing to extract features from the generated column.
- a data processing program causes a computer to: generate a second table by duplicating a first table in which data to be analyzed is stored; generate a new third table by cross-linking the first table and the second table based on an identification column for identifying the data; calculate the difference between the column of explanatory variables in the first table and the column of explanatory variables in the second table in the generated third table; store the difference in a newly generated column in the third table; and execute a process to extract features from the generated column.
- This disclosure provides a data processing device, data processing method, and data processing program that can extract data characteristics from data to be processed.
- FIG. 1 is a diagram illustrating an overview of a data processing device according to an embodiment of the disclosed technology.
- FIG. 2 is a block diagram showing a hardware configuration of the data processing device.
- FIG. 2 is a block diagram illustrating an example of a functional configuration of a data processing device.
- FIG. 10 illustrates an example of a replication process.
- FIG. 10 is a diagram illustrating an example of a joining process.
- FIG. 10 is a diagram illustrating an example of calculation processing.
- FIG. 10 illustrates an example of extraction processing.
- 10A and 10B are diagrams illustrating the effect of data processing by the data processing device.
- FIG. 10 is a diagram showing a state in which feature amounts are stored in a table when extraction processing is performed directly on processing target data without performing join processing and calculation processing.
- 10 is a graph showing the relationship between the feature amounts shown in FIG. 9 .
- 10 is a flowchart showing the flow of data processing by the data processing device.
- FIG. 1 is a diagram showing an overview of a data processing device according to this embodiment.
- the data processing device 10 is a device that executes data processing on target data and outputs the processing results.
- the data processing device 10 is, for example, a personal computer that stores a computer program that executes data processing.
- the data processing device 10 accepts table-format data as the data to be processed.
- the table-format data can be of any type, for example, data stored in a database or entered into a spreadsheet.
- the data to be processed can be, for example, past test data for the prototyping of a product, and can include information such as the compounding amounts of materials used to manufacture a certain product, the characteristics of materials obtained from experimental results such as analysis or simulation results (molecular weight, softening point, particle shape, etc.), the processing time of the materials, and the test results of the prototype product.
- the data processing device 10 executes processing to extract features of the data to be processed, and outputs the extracted features as processed data.
- the data processing device 10 performs data processing on the target data by extracting features from the target data and outputting the extracted features, thereby presenting what features the target data possesses. If the target data is past test data, it can present what features the past test data possesses. Note that, as will be described later, the data processing device 10 does not simply perform feature extraction processing on the target data, but rather performs preprocessing on the target data before performing feature extraction processing.
- Figure 2 is a block diagram showing the hardware configuration of the data processing device 10.
- the data processing device 10 has a CPU (Central Processing Unit) 11, a ROM (Read Only Memory) 12, a RAM (Random Access Memory) 13, storage 14, an input unit 15, a display unit 16, and a communication interface (I/F) 17.
- CPU Central Processing Unit
- ROM Read Only Memory
- RAM Random Access Memory
- storage 14 an input unit
- I/F communication interface
- Each component is connected to each other via a bus 19 so that they can communicate with each other.
- CPU 11 is a central processing unit that executes various programs and controls each component. That is, CPU 11 reads programs from ROM 12 or storage 14 and executes them using RAM 13 as a work area. CPU 11 controls the above components and performs various arithmetic operations in accordance with the programs recorded in ROM 12 or storage 14. In this embodiment, ROM 12 or storage 14 stores a data processing program that executes data processing on data to be processed.
- ROM 12 stores various programs and data.
- RAM 13 temporarily stores programs or data as a working area.
- Storage 14 is composed of a storage device such as an HDD (Hard Disk Drive), SSD (Solid State Drive), or flash memory, and stores various programs including the operating system, and various data.
- the input unit 15 includes a pointing device such as a mouse and a keyboard, and is used to perform various inputs.
- the display unit 16 is, for example, a liquid crystal display, and displays various information.
- the display unit 16 may also be a touch panel type and function as the input unit 15.
- the communication interface 17 is an interface for communicating with other devices, and uses standards such as Ethernet (registered trademark), FDDI, and Wi-Fi (registered trademark).
- the data processing device 10 When executing the above data processing program, the data processing device 10 uses the above hardware resources to realize various functions. The functional configuration realized by the data processing device 10 will be explained below.
- Figure 3 is a block diagram showing an example of the functional configuration of the data processing device 10.
- the data processing device 10 has, as its functional components, a replication unit 101, a combination unit 102, a calculation unit 103, and an extraction unit 104.
- Each functional component is realized by the CPU 11 reading and executing a data processing program stored in the ROM 12 or storage 14.
- the duplication unit 101 executes a duplication process to duplicate the data to be processed. That is, the duplication unit 101 duplicates the data to be processed in table format.
- the data to be processed in table format is an example of the first table of the present disclosure
- the table generated by the duplication process is an example of the second table of the present disclosure.
- the duplication unit 101 may store the table generated by the duplication process in RAM 13 or storage 14.
- Figure 4 is a diagram showing an example of the replication process performed by the replication unit 101.
- the replication unit 101 replicates table 200A to generate table 200B, which contains exactly the same data.
- the columns “Test Set” and “#” are columns that store information that identifies experimental data. Of these, column “Test Set” is an identification column that stores identification information used during the joining process and calculation process described below.
- Columns “NR,” “BR,” and “BR molecular weight” are columns that store experimental data values. The experimental data values are examples of explanatory variables in this disclosure.
- table 200A will also be referred to as “table A,” and table 200B will also be referred to as “table B.”
- column “Test Set” will be referred to as column (a), column “NR” as column (b1), column “BR” as column (b2), and column “BR molecular weight” as column (b3).
- table 200A has only one identification column called "Test Set,” but the data to be processed may have multiple identification columns, for example.
- the duplication unit 101 may perform any preprocessing such as feature design such as ratio calculation, normalization, nonlinear transformation, etc. before the duplication process.
- the replication unit 101 may display a user interface on the display unit 16 to allow the user to select the target data to be replicated.
- the join unit 102 performs join processing to cross-join the data to be processed and data that is a copy of the data to be processed, using the identification column as the criterion. Specifically, the join unit 102 performs join processing to cross-join the data to be processed and data that is a copy of the data to be processed, using the identification information in the data to be processed as a key, using the identification column as the criterion to generate new data.
- the table generated by the join processing is an example of the third table of the present disclosure.
- the join unit 102 may store the table generated by the join processing in RAM 13 or storage 14.
- Figure 5 is a diagram showing an example of join processing by the join unit 102.
- the join unit 102 cross-joins tables 200A and 200B for all combinations of rows with the same column (a) in tables 200A and 200B to generate a new table 200C.
- the join unit 102 joins the data in the first row of table 200A with four rows of data in table 200B where column (a) is "A0001".
- the join unit 102 joins the data in the second to fourth rows of table 200A with four rows of data in table 200B where column (a) is "A0001".
- the join unit 102 generates 16 rows of data with column (a) "A0001" through join processing.
- the combining unit 102 may or may not perform the combining process on all of the data to be processed.
- the combining unit 102 may display a user interface on the display unit 16 to allow the user to select key identification information.
- the calculation unit 103 executes calculations on any column of the data generated by the join unit 102 in the join process. Specifically, as a calculation, the calculation unit 103 performs subtraction on the same columns in the two original tables for the data generated in the join process, and stores the results of the subtraction in a new column.
- the column in which the results of the subtraction are stored is also called a difference column.
- Figure 6 is a diagram showing an example of calculation processing by calculation unit 103.
- the " ⁇ NR” column is a difference column that stores values obtained by subtracting the values in the "NR” column from table B from the values in the "NR” column from table A.
- the " ⁇ BR” column is a difference column that stores values obtained by subtracting the values in the "BR” column from table B from the values in the "BR” column from table A.
- the " ⁇ molecular weight” column is a difference column that stores values obtained by subtracting the values in the "BR molecular weight” column from table B from the values in the "BR molecular weight” column from table A.
- Calculation unit 103 performs a calculation process for the same column in table 200C, subtracting the value derived from table B from the value derived from table A, and storing the results in a new column.
- the values derived from table A and table B are the same, so calculation unit 103 stores 0 in the " ⁇ NR”, “ ⁇ BR”, and " ⁇ molecular weight” columns.
- calculation unit 103 stores the values obtained by subtracting the value derived from table B from the value derived from table A in the " ⁇ NR", " ⁇ BR”, and " ⁇ molecular weight” columns, respectively.
- calculation unit 103 may perform any preprocessing such as feature design, normalization, nonlinear transformation, etc., such as ratio calculation, before subtraction.
- the extraction unit 104 performs extraction processing to extract features for each difference column in which the results of the calculation processing by the calculation unit 103 are stored. Specifically, the extraction unit 104 extracts, for each difference column, information related to the identification column used by the combining unit 102 to cross-join the two tables as a feature. In other words, the extraction unit 104 extracts, for each difference column, information that expresses the difference between the identification columns used by the combining unit 102 to cross-join the two tables as a feature. In other words, the extraction unit 104 extracts, for each difference column, information that is common to each element of the identification column used by the combining unit 102 to cross-join the two tables as a feature.
- the extraction unit 104 can extract features using any method, but as an example, it extracts features using dimensionality reduction processing (ICA (Independent Component Analysis), PCA (Principal Component Analysis), LSI (Latent Semantic Indexing), LDA (Linear Discriminant Analysis), IA, MDS, NMF, etc.), unsupervised learning (t-SNE) that generates latent variables, and supervised learning (NN).
- ICA Independent Component Analysis
- PCA Principal Component Analysis
- LSI Local Semantic Indexing
- LDA Linear Discriminant Analysis
- FIG. 7 is a diagram showing an example of extraction processing by the extraction unit 104.
- the "IC component 1", “IC component 2”, and “IC component 3" columns in table 200C in FIG. 7 are columns in which feature quantities corresponding to the values stored in the " ⁇ NR", “ ⁇ BR”, and “ ⁇ molecular weight” columns are stored.
- the extraction unit 104 uses ICA to extract feature quantities from the values stored in the " ⁇ NR”, “ ⁇ BR”, and “ ⁇ molecular weight” columns using any method as described above, and stores the extracted feature quantities in the "IC component 1", “IC component 2", and “IC component 3” columns, respectively.
- the extraction unit 104 may perform any preprocessing, such as normalization or nonlinear transformation, on each difference sequence before the extraction process.
- Figure 8 is a diagram explaining the effect of data processing by the data processing device 10.
- Figure 8 shows a graph of the relationship between IC component column 1 and IC component column 3 shown in Figure 7, a graph of the relationship between IC component column 2 and IC component column 3, and a graph of the relationship between IC component column 1 and IC component column 2.
- Figure 9 shows the feature amounts stored in table 200A when extraction processing is performed directly on the data to be processed without performing join processing or calculation processing. Even in this case, feature amounts are extracted for the values stored in the " ⁇ NR", “ ⁇ BR”, and " ⁇ molecular weight” columns by ICA.
- Figure 10 shows graphs of the relationship between IC component 1 column and IC component 3 column shown in Figure 9, the relationship between IC component 2 column and IC component 3 column, and the relationship between IC component 1 column and IC component 2 column.
- the data processing device 10 performs combining and arithmetic processing on the data to be processed, then executes extraction processing to extract feature quantities, making it possible to understand what technical thinking or hypotheses are expressed as parameters in the data to be processed.
- FIG. 11 is a flowchart showing the flow of data processing by the data processing device 10. Data processing is performed by the CPU 11 reading a data processing program from the ROM 12 or storage 14, expanding it into the RAM 13, and executing it.
- step S101 the CPU 11 acquires data to be processed.
- Table-format data is used as the data to be processed.
- the data to be processed is, for example, past test data, and may include information such as the compound amounts of materials used to manufacture a certain product, the processing time of the materials, etc.
- step S102 the CPU 11 executes a replication process to replicate the table of the data to be processed. Details of the replication process are as described above as the processing of the replication unit 101.
- step S103 the CPU 11 executes a join process that cross-joins the target data and the data that is a copy of the target data. Details of the join process are as described above as the processing of the join unit 102.
- step S104 the CPU 11 executes a calculation process for any column of the data generated by the join process. Details of the calculation process are as described above as the processing of the calculation unit 103.
- step S105 the CPU 11 executes extraction processing to extract feature quantities from each difference sequence in which the results of the calculation processing are stored. Details of the extraction processing are as described above as the processing of the extraction unit 104.
- the data processing device 10 executes a series of processes to extract features from the data to be processed, making it possible to understand what technical thinking or hypotheses are expressed as parameters in the data to be processed.
- the effects described in the above embodiments are descriptive or exemplary, and are not limited to those described in the above embodiments.
- the technology of the present disclosure may achieve other effects in addition to, or in place of, the effects described in the above embodiments, that would be obvious to a person with ordinary skill in the technical field of the present disclosure from the description in the above embodiments.
- processors may also be performed by various processors other than the CPU.
- processors in this case include PLDs (Programmable Logic Devices) such as FPGAs (Field-Programmable Gate Arrays), whose circuit configuration can be changed after manufacture, and dedicated electrical circuits, such as ASICs (Application Specific Integrated Circuits), which are processors with circuit configurations specifically designed to perform specific processing.
- data processing may be performed by one of these various processors, or by a combination of two or more processors of the same or different types (e.g., multiple FPGAs, or a combination of a CPU and an FPGA).
- the hardware structure of these various processors is, more specifically, an electrical circuit that combines circuit elements such as semiconductor devices.
- the program may also be provided in a form recorded on a non-transitory recording medium such as a CD-ROM (Compact Disk Read Only Memory), a DVD-ROM (Digital Versatile Disk Read Only Memory), or a USB (Universal Serial Bus) memory.
- the program may also be downloaded from an external device via a network.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Mathematical Physics (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Entrepreneurship & Innovation (AREA)
- General Business, Economics & Management (AREA)
- Pure & Applied Mathematics (AREA)
- Development Economics (AREA)
- Mathematical Optimization (AREA)
- Game Theory and Decision Science (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Algebra (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Chemical & Material Sciences (AREA)
- Crystallography & Structural Chemistry (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computing Systems (AREA)
- Complex Calculations (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
解析対象のデータが格納された第1テーブルを複製して第2テーブルを生成する複製部と、前記第1テーブルと前記第2テーブルとを、前記データの識別のための識別列に基づいて交差結合して新たな第3テーブルを生成する結合部と、前記結合部が生成した前記第3テーブルにおける、前記第1テーブルの説明変数の列と前記第2テーブルの説明変数の列との差分を演算し、前記第3テーブルに新たに生成した列に格納する演算部と、前記演算部が生成した列に対して特徴量を抽出する抽出部と、を備える、データ処理装置が提供される。
Description
本開示は、データ処理装置、データ処理方法及びデータ処理プログラムに関する。
材料の設計は、材料開発者の経験に基づいて組成を調整しながら試作を繰り返すことによって行われる。例えば国際公開第2021/045058号には、所望の複数の材料物性を同時に満たすポリマー材料の材料設計装置、材料設計方法、及び材料設計プログラムが開示されている。
過去の材料の試作の際の実験データは、材料開発者の思考が込められたものである。材料を試作する際に、過去の実験データが材料開発者のどのような思考に基づいて作られたものであるか、言い換えれば、実験データのような処理対象データに、どのような特徴があるかを解析によって把握するための技術は存在しなかった。
本開示は、上記の点に鑑みてなされたものであり、処理対象データにおけるデータの特徴を抽出できるデータ処理装置、データ処理方法及びデータ処理プログラムを提供することを目的とする。
本開示の第1態様に係るデータ処理装置は、解析対象のデータが格納された第1テーブルを複製して第2テーブルを生成する複製部と、前記第1テーブルと前記第2テーブルとを、前記データの識別のための識別列に基づいて交差結合して新たな第3テーブルを生成する結合部と、前記結合部が生成した前記第3テーブルにおける、前記第1テーブルの説明変数の列と前記第2テーブルの説明変数の列との差分を演算し、前記第3テーブルに新たに生成した列に格納する演算部と、前記演算部が生成した列に対して特徴量を抽出する抽出部と、を備える。
本開示の第2態様に係るデータ処理装置は、第1態様に係るデータ処理装置であって、前記抽出部は、前記結合部が交差結合に用いた前記識別列に関連する情報を特徴量として抽出する。
本開示の第3態様に係るデータ処理装置は、第1態様に係るデータ処理装置であって、前記抽出部は、次元圧縮処理により特徴量を抽出する。
本開示の第4態様に係るデータ処理装置は、第1態様に係るデータ処理装置であって、前記抽出部は、潜在変数を生成する教師なし学習の結果を用いて特徴量を抽出する。
本開示の第5態様に係るデータ処理装置は、第1態様に係るデータ処理装置であって、前記抽出部は、教師あり学習の結果を用いて特徴量を抽出する。
本開示の第6態様に係るデータ処理方法は、プロセッサが、解析対象のデータが格納された第1テーブルを複製して第2テーブルを生成し、前記第1テーブルと前記第2テーブルとを、前記データの識別のための識別列に基づいて交差結合して新たな第3テーブルを生成し、生成した前記第3テーブルにおける、前記第1テーブルの説明変数の列と前記第2テーブルの説明変数の列との差分を演算し、前記第3テーブルに新たに生成した列に格納し、生成した列に対して特徴量を抽出する処理を実行する。
本開示の第7態様に係るデータ処理プログラムは、コンピュータに、解析対象のデータが格納された第1テーブルを複製して第2テーブルを生成し、前記第1テーブルと前記第2テーブルとを、前記データの識別のための識別列に基づいて交差結合して新たな第3テーブルを生成し、生成した前記第3テーブルにおける、前記第1テーブルの説明変数の列と前記第2テーブルの説明変数の列との差分を演算し、前記第3テーブルに新たに生成した列に格納し、生成した列に対して特徴量を抽出する処理を実行させる。
本開示によれば、処理対象データにおけるデータの特徴を抽出できるデータ処理装置、データ処理方法及びデータ処理プログラムを提供することができる。
以下、本開示の実施形態の一例を、図面を参照しつつ説明する。なお、各図面において同一または等価な構成要素および部分には同一の参照符号を付与している。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。
図1は、本実施形態に係るデータ処理装置の概要を示す図である。データ処理装置10は、処理対象データに対するデータ処理を実行して、処理結果を出力する装置である。データ処理装置10は、例えばデータ処理を実行するコンピュータプログラムが格納されたパーソナルコンピュータである。
本実施形態では、データ処理装置10は、テーブル形式のデータを処理対象データとして受け付ける。テーブル形式のデータはどのようなものであってもよく、例えば、データベースに格納されたものであってもよく、スプレッドシートに記入されたものであってもよい。処理対象データとしては、例えば製品の試作のための過去のテストデータであり、ある製品を製造するための材料の配合量、分析等の実験結果又はシミュレーション結果から得られた材料の特徴量(分子量、軟化点、粒形など)、材料の加工時間、試作製品の試験結果等の情報が含まれうる。
そしてデータ処理装置10は、処理対象データに対するデータ処理として、処理対象データの特徴量を抽出する処理を実行し、抽出した特徴量を処理済みデータとして出力する。
データ処理装置10は、処理対象データに対するデータ処理として、処理対象データの特徴量を抽出する処理を実行し、抽出した特徴量を出力することで、処理対象データがどのような特徴量を有しているのかを提示できる。処理対象データが過去のテストデータであれば、その過去のテストデータがどのような特徴量を有しているのかを提示できる。なお、データ処理装置10は、後述するように、単に処理対象データに対して特徴量を抽出する処理を実行するのではなく、処理対象データに対する前処理を実行してから、特徴量を抽出する処理を実行する。
次に、データ処理装置10のハードウェア構成を説明する。図2は、データ処理装置10のハードウェア構成を示すブロック図である。
図2に示すように、データ処理装置10は、CPU(Central Processing Unit)11、ROM(Read Only Memory)12、RAM(Random Access Memory)13、ストレージ14、入力部15、表示部16及び通信インタフェース(I/F)17を有する。各構成は、バス19を介して相互に通信可能に接続されている。
CPU11は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、CPU11は、ROM12またはストレージ14からプログラムを読み出し、RAM13を作業領域としてプログラムを実行する。CPU11は、ROM12またはストレージ14に記録されているプログラムにしたがって、上記各構成の制御および各種の演算処理を行う。本実施形態では、ROM12またはストレージ14には、処理対象データに対するデータ処理を実行するデータ処理プログラムが格納されている。
ROM12は、各種プログラムおよび各種データを格納する。RAM13は、作業領域として一時的にプログラムまたはデータを記憶する。ストレージ14は、HDD(Hard Disk Drive)、SSD(Solid State Drive)またはフラッシュメモリ等の記憶装置により構成され、オペレーティングシステムを含む各種プログラム、および各種データを格納する。
入力部15は、マウス等のポインティングデバイス、およびキーボードを含み、各種の入力を行うために使用される。
表示部16は、たとえば、液晶ディスプレイであり、各種の情報を表示する。表示部16は、タッチパネル方式を採用して、入力部15として機能しても良い。
通信インタフェース17は、他の機器と通信するためのインタフェースであり、たとえば、イーサネット(登録商標)、FDDI、Wi-Fi(登録商標)等の規格が用いられる。
上記のデータ処理プログラムを実行する際に、データ処理装置10は、上記のハードウェア資源を用いて、各種の機能を実現する。データ処理装置10が実現する機能構成について説明する。
図3は、データ処理装置10の機能構成の例を示すブロック図である。
図3に示すように、データ処理装置10は、機能構成として、複製部101、結合部102、演算部103及び抽出部104を有する。各機能構成は、CPU11がROM12またはストレージ14に記憶されたデータ処理プログラムを読み出し、実行することにより実現される。
複製部101は、処理対象データを複製する複製処理を実行する。すなわち、複製部101は、テーブル形式の処理対象データを複製する。テーブル形式の処理対象データは、本開示の第1テーブルの一例であり、複製処理により生成されたテーブルは本開示の第2テーブルの一例である。複製部101は、複製処理により生成したテーブルを、RAM13又はストレージ14に格納してもよい。
図4は、複製部101による複製処理の例を示す図である。複製部101は、テーブル200Aを複製して、全く同じデータを有するテーブル200Bを生成する。列「Test Set」及び列「#」は実験データを識別する情報が格納される列であり、そのうち、列「Test Set」は、後述の結合処理及び演算処理の際に用いられる識別情報が格納される識別列であり、列「NR」、列「BR」、列「BR分子量」は、それぞれ実験データの値が格納される列である。実験データの値は、本開示の説明変数の一例である。以下の説明では、テーブル200Aを「テーブルA」、テーブル200Bを「テーブルB」とも称する。また以下の説明では、列「Test Set」を列(a)、列「NR」を列(b1)、列「BR」を列(b2)、列「BR分子量」を列(b3)と称する。
なお、処理対象データであるテーブル形式のデータの構造は、かかる例に限定されるものではない。図4には、テーブル200Aには「Test Set」という識別列が1つだけ存在しているが、例えば、処理対象データには識別列が複数存在してもよい。
また、複製部101は、複製処理の前に、比率計算などの特徴量設計、正規化、非線形変換等の任意の前処理を行ってもよい。
また、複製部101は、複製処理に先立って、複製処理の対象となる処理対象データをユーザに選択させるためのユーザインタフェースを表示部16に表示してもよい。
結合部102は、処理対象データと、処理対象データを複製したデータとを、識別列を基準として交差結合する結合処理を実行する。具体的には、結合部102は、処理対象データにおける識別情報をキーとして、処理対象データと、処理対象データを複製したデータとを、識別列を基準として交差結合して新たなデータを生成する結合処理を実行する。結合処理によって生成されたテーブルは、本開示の第3テーブルの一例である。結合部102は、結合処理により生成したテーブルを、RAM13又はストレージ14に格納してもよい。
図5は、結合部102による結合処理の例を示す図である。結合部102は、テーブル200A、200Bの、同一の列(a)を持つ行の全ての組み合わせにおいて、テーブル200A、200Bを交差結合して、新たなテーブル200Cを生成する。図示している例では、結合部102は、テーブル200Aの1行目のデータについて、テーブル200Bの列(a)が「A0001」の4行分のデータを結合する。同様に、テーブル200Aの2~4行目のデータについて、テーブル200Bの列(a)が「A0001」の4行分のデータを結合する。すなわち、図示している例では、結合部102は、列(a)が「A0001」のデータを、結合処理により16行分生成する。
結合部102は、結合処理の際に、処理対象データの全てのデータに対して結合処理を実行してもよく、処理対象データの全てのデータに対して結合処理を実行しなくてもよい。
また、結合部102は、結合処理の際に、キーとなる識別情報をユーザに選択させるためのユーザインタフェースを表示部16に表示してもよい。
演算部103は、結合部102が結合処理で生成したデータに対し、任意の列に対して演算する演算処理を実行する。具体的には、演算部103は、演算処理として、結合処理で生成したデータに対し、元の2つのテーブルにおける同じ列に対する減算を行い、減算の結果を新たな列に格納する。減算の結果が格納される列を差分列とも称する。
図6は、演算部103による演算処理の例を示す図である。「ΔNR」列は、テーブルA由来の「NR」列の値からテーブルB由来の「NR」列の値を減算した値が格納される差分列である。「ΔBR」列は、テーブルA由来の「BR」列の値からテーブルB由来の「BR」列の値を減算した値が格納される差分列である。「Δ分子量」列は、テーブルA由来の「BR分子量」列の値からテーブルB由来の「BR分子量」列の値を減算した値が格納される差分列である。
演算部103は、テーブル200Cの同一の列に対して、テーブルA由来の値からテーブルB由来の値を減算し、新たな列に格納する演算処理を実行する。図6の例では、1行目は、テーブルA由来の値とテーブルB由来の値とは同一であるため、演算部103は、「ΔNR」列、「ΔBR」列、「Δ分子量」列にいずれも0を格納する。2行目以降は、テーブルA由来の値とテーブルB由来の値とに違いがあるため、演算部103は、「ΔNR」列、「ΔBR」列、「Δ分子量」列に、それぞれテーブルA由来の値からテーブルB由来の値を減算した値を格納する。
なお、演算部103は、減算の前に比率計算などの特徴量設計、正規化、非線形変換等の任意の前処理を行ってもよい。
抽出部104は、演算部103による演算処理の結果が格納される各差分列に対して、特徴量を抽出する抽出処理を実行する。具体的に、抽出部104は、各差分列に対して、結合部102が2つのテーブルの交差結合に用いた識別列に関連する情報を特徴量として抽出する。言い換えれば、抽出部104は、各差分列に対して、結合部102が2つのテーブルの交差結合に用いた識別列の違いを表現する情報を特徴量として抽出する。また言い換えれば、抽出部104は、各差分列に対して、結合部102が2つのテーブルの交差結合に用いた識別列の要素ごとに共通する情報を特徴量として抽出する。抽出部104は、任意の手法により特徴量を抽出することができるが、一例を挙げれば、次元圧縮処理(ICA(独立成分分析),PCA(主成分分析),LSI(潜在的意味インデキシング),LDA(線形判別分析),IA,MDS,NMFなど)、潜在変数を生成する教師なし学習(t-SNE)、教師あり学習(NN)などにより特徴量の抽出を行う。抽出された特徴量は、処理対象データに対するデータ解析に用いられうる。
ここで、処理対象データに対して結合処理及び演算処理を行ってから抽出処理を行った例を示す。
図7は、抽出部104による抽出処理の例を示す図である。図7のテーブル200Cにおける「IC成分1」列、「IC成分2」列、「IC成分3」列は、「ΔNR」列、「ΔBR」列及び「Δ分子量」列に格納された値に対する特徴量が格納される列である。本実施形態では、抽出部104は、ICAにより、「ΔNR」列、「ΔBR」列、「Δ分子量」列に格納された値から、上述したように任意の手法により特徴量を抽出し、抽出した特徴量を「IC成分1」列、「IC成分2」列、「IC成分3」列にそれぞれ格納している。
なお、抽出部104は、抽出処理の前に、各差分列に対して正規化、非線形変換等の任意の前処理を行なって良い。
図8は、データ処理装置10によるデータ処理の効果を説明する図である。図8は、図7に示したIC成分1列とIC成分3列との関係のグラフ、IC成分2列とIC成分3列との関係のグラフ、及びIC成分1列とIC成分2列との関係のグラフを示している。
図8のグラフで示したように、データ処理装置10によるデータ処理の結果として抽出される特徴量には、所定の関係性があることが見て取れる。すなわち、処理対象データに対して結合処理及び演算処理を行って抽出処理を行った場合は、処理対象データから抽出された特徴量がどのような特徴を有するものであるかを把握することが容易となる。
一方、処理対象データに対して結合処理及び演算処理を行わず、いきなり抽出処理を行った例を示す。
図9は、処理対象データに対して結合処理及び演算処理を行わず、いきなり抽出処理を行った場合の特徴量がテーブル200Aに格納された状態を示す図である。この場合においても、ICAにより、「ΔNR」列、「ΔBR」列、「Δ分子量」列に格納された値に対する特徴量を抽出している。そして図10は、図9に示したIC成分1列とIC成分3列との関係のグラフ、IC成分2列とIC成分3列との関係のグラフ、及びIC成分1列とIC成分2列との関係のグラフを示している。
図10のグラフで示したように、処理対象データに対して結合処理及び演算処理を行わず、いきなり抽出処理を行った場合は、抽出される特徴量に関係性が見出せないことがわかる。すなわち、処理対象データに対して結合処理及び演算処理を行わず、いきなり抽出処理を行った場合は、処理対象データから抽出された特徴量がどのような特徴を有するものであるかを把握することが困難である。
本実施形態に係るデータ処理装置10は、処理対象データに対して結合処理及び演算処理を行った上で、抽出処理を実行して、特徴量を抽出することで、処理対象データにどのような技術的思考又は仮説がパラメータとして表現されているのかが把握可能となる。
次に、データ処理装置10の作用について説明する。
図11は、データ処理装置10によるデータ処理の流れを示すフローチャートである。CPU11がROM12又はストレージ14からデータ処理プログラムを読み出して、RAM13に展開して実行することにより、データ処理が行われる。
CPU11は、ステップS101において、処理対象データを取得する。処理対象データとしては、テーブル形式のデータが用いられる。処理対象データは、例えば過去のテストデータであり、ある製品を製造するための材料の配合量、材料の加工時間等の情報が含まれうる。
ステップS101に続いて、CPU11は、ステップS102において、処理対象データのテーブルを複製する複製処理を実行する。複製処理の詳細は、上述の複製部101の処理として説明した通りである。
ステップS102に続いて、CPU11は、ステップS103において、処理対象データと、処理対象データを複製したデータとを交差結合する結合処理を実行する。結合処理の詳細は、上述の結合部102の処理として説明した通りである。
ステップS103に続いて、CPU11は、ステップS104において、結合処理で生成したデータに対し、任意の列に対して演算する演算処理を実行する。演算処理の詳細は、上述の演算部103の処理として説明した通りである。
ステップS104に続いて、CPU11は、ステップS105において、演算処理の結果が格納される各差分列に対して、特徴量を抽出する抽出処理を実行する。抽出処理の詳細は、上述の抽出部104の処理として説明した通りである。
本実施形態に係るデータ処理装置10は、一連の処理を実行して、処理対象データにおける特徴量を抽出することで、処理対象データにどのような技術的思考又は仮説がパラメータとして表現されているのかが把握可能となる。
以上、添付図面を参照しながら本開示の実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらの変更例または修正例についても、当然に本開示の技術的範囲に属するものと了解される。
また、上記実施形態において記載された効果は、説明的又は例示的なものであり、上記実施形態において記載されたものに限定されない。つまり、本開示に係る技術は、上記実施形態において記載された効果とともに、又は上記実施形態において記載された効果に代えて、上記実施形態における記載から、本開示の技術分野における通常の知識を有する者には明らかな他の効果を奏しうる。
なお、上記各実施形態でCPUがソフトウェア(プログラム)を読み込んで実行したデータ処理を、CPU以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、FPGA(Field-Programmable Gate Array)等の製造後に回路構成を変更可能なPLD(Programmable Logic Device)、及びASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、データ処理を、これらの各種のプロセッサのうちの1つで実行してもよいし、同種又は異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGA、及びCPUとFPGAとの組み合わせ等)で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
また、上記各実施形態では、データ処理のプログラムがROMまたはストレージに予め記憶(インストール)されている態様を説明したが、これに限定されない。プログラムは、CD-ROM(Compact Disk Read Only Memory)、DVD-ROM(Digital Versatile Disk Read Only Memory)、及びUSB(Universal Serial Bus)メモリ等の非一時的(non-transitory)記録媒体に記録された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
なお、2024年4月26日に出願された日本国特許出願2024-72837号の開示は、その全体が参照により本明細書に取り込まれる。また、本明細書に記載された全ての文献、特許出願および技術規格は、個々の文献、特許出願、および技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
Claims (7)
- 解析対象のデータが格納された第1テーブルを複製して第2テーブルを生成する複製部と、
前記第1テーブルと前記第2テーブルとを、前記データの識別のための識別列に基づいて交差結合して新たな第3テーブルを生成する結合部と、
前記結合部が生成した前記第3テーブルにおける、前記第1テーブルの説明変数の列と前記第2テーブルの説明変数の列との差分を演算し、前記第3テーブルに新たに生成した列に格納する演算部と、
前記演算部が生成した列に対して特徴量を抽出する抽出部と、
を備える、データ処理装置。 - 前記抽出部は、前記結合部が交差結合に用いた前記識別列に関連する情報を特徴量として抽出する、請求項1に記載のデータ処理装置。
- 前記抽出部は、次元圧縮処理により特徴量を抽出する、請求項1に記載のデータ処理装置。
- 前記抽出部は、潜在変数を生成する教師なし学習の結果を用いて特徴量を抽出する、請求項1に記載のデータ処理装置。
- 前記抽出部は、教師あり学習の結果を用いて特徴量を抽出する、請求項1に記載のデータ処理装置。
- プロセッサが、
解析対象のデータが格納された第1テーブルを複製して第2テーブルを生成し、
前記第1テーブルと前記第2テーブルとを、前記データの識別のための識別列に基づいて交差結合して新たな第3テーブルを生成し、
生成した前記第3テーブルにおける、前記第1テーブルの説明変数の列と前記第2テーブルの説明変数の列との差分を演算し、前記第3テーブルに新たに生成した列に格納し、
生成した列に対して特徴量を抽出する
処理を実行する、データ処理装置。 - コンピュータに、
解析対象のデータが格納された第1テーブルを複製して第2テーブルを生成し、
前記第1テーブルと前記第2テーブルとを、前記データの識別のための識別列に基づいて交差結合して新たな第3テーブルを生成し、
生成した前記第3テーブルにおける、前記第1テーブルの説明変数の列と前記第2テーブルの説明変数の列との差分を演算し、前記第3テーブルに新たに生成した列に格納し、
生成した列に対して特徴量を抽出する
処理を実行させる、データ処理プログラム。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2024072837A JP7532698B1 (ja) | 2024-04-26 | 2024-04-26 | データ処理装置、データ処理方法及びデータ処理プログラム |
| JP2024-072837 | 2024-04-26 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2025225461A1 true WO2025225461A1 (ja) | 2025-10-30 |
Family
ID=92261353
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2025/014829 Pending WO2025225461A1 (ja) | 2024-04-26 | 2025-04-15 | データ処理装置、データ処理方法及びデータ処理プログラム |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP7532698B1 (ja) |
| WO (1) | WO2025225461A1 (ja) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180203918A1 (en) * | 2017-01-17 | 2018-07-19 | International Business Machines Corporation | Automatic feature extraction from a relational database |
| JP2019144022A (ja) * | 2018-02-16 | 2019-08-29 | 株式会社三菱総合研究所 | 飲料の特性予測方法、特性予測プログラムおよび特性予測装置 |
| JP2020149230A (ja) * | 2019-03-12 | 2020-09-17 | 富士通株式会社 | 機械学習プログラム、機械学習方法および機械学習システム |
| US20200394542A1 (en) * | 2019-06-11 | 2020-12-17 | International Business Machines Corporation | Automatic visualization and explanation of feature learning output from a relational database for predictive modelling |
| JP7419520B2 (ja) * | 2020-05-21 | 2024-01-22 | 株式会社島津製作所 | 分析データ管理システムにおける教師用データ生成方法 |
| JP2024030856A (ja) * | 2022-08-25 | 2024-03-07 | トヨタ自動車株式会社 | 情報処理装置 |
| US20240078224A1 (en) * | 2022-09-06 | 2024-03-07 | Sap Se | Configuring a distributed database |
-
2024
- 2024-04-26 JP JP2024072837A patent/JP7532698B1/ja active Active
-
2025
- 2025-04-15 WO PCT/JP2025/014829 patent/WO2025225461A1/ja active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180203918A1 (en) * | 2017-01-17 | 2018-07-19 | International Business Machines Corporation | Automatic feature extraction from a relational database |
| JP2019144022A (ja) * | 2018-02-16 | 2019-08-29 | 株式会社三菱総合研究所 | 飲料の特性予測方法、特性予測プログラムおよび特性予測装置 |
| JP2020149230A (ja) * | 2019-03-12 | 2020-09-17 | 富士通株式会社 | 機械学習プログラム、機械学習方法および機械学習システム |
| US20200394542A1 (en) * | 2019-06-11 | 2020-12-17 | International Business Machines Corporation | Automatic visualization and explanation of feature learning output from a relational database for predictive modelling |
| JP7419520B2 (ja) * | 2020-05-21 | 2024-01-22 | 株式会社島津製作所 | 分析データ管理システムにおける教師用データ生成方法 |
| JP2024030856A (ja) * | 2022-08-25 | 2024-03-07 | トヨタ自動車株式会社 | 情報処理装置 |
| US20240078224A1 (en) * | 2022-09-06 | 2024-03-07 | Sap Se | Configuring a distributed database |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7532698B1 (ja) | 2024-08-13 |
| JP2025167862A (ja) | 2025-11-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zaitseva et al. | Reliability analysis of multi-state system with application of multiple-valued logic | |
| CN107633155B (zh) | 用于组件故障树的基于计算机的生成的方法和设备 | |
| CN107832231A (zh) | 一种系统测试方法、装置及介质 | |
| US8875077B1 (en) | Fault sensitivity analysis-based cell-aware automated test pattern generation flow | |
| US8010930B2 (en) | Extracting consistent compact model parameters for related devices | |
| US9817932B2 (en) | Recognizing and utilizing circuit topology in an electronic circuit design | |
| Brujic et al. | CAD based shape optimization for gas turbine component design | |
| Lu | Towards a fully automated 3D printability checker | |
| Zashcholkin et al. | The Control Technology of Integrity and Legitimacy of LUT-Oriented Information Object Usage by Self-Recovering Digital Watermark. | |
| Fu et al. | A generalize hardware debugging approach for large language models semi-synthetic, datasets | |
| WO2021100156A1 (ja) | テストデータ生成装置、テストデータ生成方法、及びプログラム | |
| Jung | ZBDD algorithm features for an efficient Probabilistic Safety Assessment | |
| Seiler et al. | Atomic: Automatic tool for memristive imply based circuit-level simulation and validation | |
| JP7532698B1 (ja) | データ処理装置、データ処理方法及びデータ処理プログラム | |
| JP7550337B1 (ja) | 情報処理装置、情報処理方法、及び情報処理プログラム | |
| JP5396406B2 (ja) | モデル検査装置、モデル検査方法およびモデル検査プログラム | |
| Gregorio-Rodríguez et al. | Extending mCRL2 with ready simulation and iocos input-output conformance simulation | |
| JP2026050151A (ja) | 生成装置、生成方法及び生成プログラム | |
| Lim et al. | A test vector selection method based on machine learning for efficient presilicon verification | |
| WO2023199413A1 (ja) | 機械学習プログラム、機械学習方法および情報処理装置 | |
| JP2026050152A (ja) | 予測装置、予測方法及び予測プログラム | |
| JP2026050153A (ja) | 予測装置、予測方法及び予測プログラム | |
| JP2026050154A (ja) | 予測装置、予測方法及び予測プログラム | |
| US20250117559A1 (en) | Method and apparatus for simulation modelling | |
| CN120822470B (zh) | 组合逻辑电路优化方法、装置、设备、介质和程序产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 25793614 Country of ref document: EP Kind code of ref document: A1 |