WO2025009102A1 - データ転移装置、方法およびプログラム - Google Patents

データ転移装置、方法およびプログラム Download PDF

Info

Publication number
WO2025009102A1
WO2025009102A1 PCT/JP2023/024938 JP2023024938W WO2025009102A1 WO 2025009102 A1 WO2025009102 A1 WO 2025009102A1 JP 2023024938 W JP2023024938 W JP 2023024938W WO 2025009102 A1 WO2025009102 A1 WO 2025009102A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
pairing
unit
clusters
transfer device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2023/024938
Other languages
English (en)
French (fr)
Inventor
テキ リ
晴久 野末
憲男 山本
文香 浅井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2025530888A priority Critical patent/JPWO2025009102A1/ja
Priority to PCT/JP2023/024938 priority patent/WO2025009102A1/ja
Publication of WO2025009102A1 publication Critical patent/WO2025009102A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Definitions

  • Embodiments of the present invention relate to a data transfer device, method, and program.
  • One method of responding to network faults is to classify the vast amount of alarm and log information collected from the network using clustering techniques, compare the information collected from the network with rules created from past experience, and use artificial intelligence (AI) to identify and respond to the location of the fault.
  • AI artificial intelligence
  • Non-Patent Document 1 In order to train AI on large amounts of data, a method is known in which past data is used as learning data, i.e., transferred (see, for example, Non-Patent Document 1). This method combines and classifies data acquired from the network of the target environment (sometimes called the production environment) and networks of existing similar environments by processing them with hierarchical clustering.
  • the data being compared contains exactly the same words, it is easy to determine that the data are similar; however, when the data is expressed differently as strings of characters but has the same or similar meaning, such as in different languages, proper nouns, technical terms, synonyms, or compound words formed by combining multiple words (roots), it is difficult to properly determine whether the data is similar, and as a result, it may be determined that the data cannot be used for the training data.
  • Words that have the same or similar meaning but are written in different languages or spellings, such as Japanese, Katakana, and English (e.g., error, abnormality) Words with the same or similar meaning but different forms, such as words that indicate the state of protocols at the same layer (e.g., adjacent, neighbor, and peer)
  • This invention was made in light of the above-mentioned circumstances, and its purpose is to provide a data transfer device, method, and program that can properly extract necessary data from an existing environment.
  • a data transfer device includes a data management unit that acquires first data from a first environment and second data from a second environment, a pairing unit that performs pairing of related data in each piece of data constituting the first data and pairing of related data in each piece of data constituting the second data, a data classification unit that generates a plurality of first data clusters from clustering of the results of the pairing of each piece of data constituting the first data and generates a plurality of second data clusters from clustering of the results of the pairing of each piece of data constituting the second data, and a transfer determination unit that generates a plurality of third data clusters by combining and clustering a plurality of the first data clusters and a plurality of the second data clusters and extracts the third data cluster including at least one of the first data clusters.
  • a data transfer method is a method executed by a data transfer device, comprising: a data management unit of the data transfer device acquiring first data from a first environment and acquiring second data from a second environment; a pairing unit of the data transfer device pairing related data in each piece of data constituting the first data and pairing related data in each piece of data constituting the second data; a data classification unit of the data transfer device generating a plurality of first data clusters from clustering the results of the pairing of each piece of data constituting the first data and generating a plurality of second data clusters from clustering the results of the pairing of each piece of data constituting the second data; and a transfer determination unit of the data transfer device generating a plurality of third data clusters by combining and clustering a plurality of the first data clusters and a plurality of the second data clusters, and extracting the third data cluster including at least one of the first data clusters.
  • FIG. 1 is a block diagram illustrating an example of the configuration of a data transfer device according to an embodiment.
  • FIG. 2 is a flowchart illustrating an example of the operation of a data transfer process by a data transfer device according to an embodiment.
  • FIG. 3 is a diagram illustrating an example of the operation of a data transfer process by a data transfer device according to an embodiment.
  • FIG. 4 is a diagram for explaining an example of the operation of the word pairing unit 4 of the data transfer device 1 according to an embodiment.
  • FIG. 5A is a diagram showing an example of a word list for the production environment before the word pairing process.
  • FIG. 5B is a diagram showing an example of a word list for the production environment after the word pairing process.
  • FIG. 5A is a diagram showing an example of a word list for the production environment before the word pairing process.
  • FIG. 5B is a diagram showing an example of a word list for the production environment after the word pairing process.
  • FIG. 6 is a diagram showing an example of a word list for an existing environment before and after the word pairing process.
  • FIG. 7 is a diagram showing an example of a word match rate between the production environment and the existing environment before and after the word pairing process.
  • Figure 8 is a block diagram showing an example of the hardware configuration of a data transfer device 1 in one embodiment of the present invention.
  • FIG. 1 is a block diagram illustrating an example of the configuration of a data transfer device 1 according to an embodiment.
  • the data transfer device 1 of this embodiment extracts data that can be used to train an AI model (hereinafter referred to as the learning model) that outputs a method for responding to a network failure in a target network environment (hereinafter referred to as the production environment (first environment)).
  • the learning model an AI model
  • first environment a target network environment
  • the data transfer device 1 of this embodiment extracts data of an existing similar environment (hereinafter, referred to as an existing environment (second environment)) that is similar to the production environment and that can be used for training the learning model from multiple data contained in the existing environment.
  • an existing environment second environment
  • a sufficient amount of data necessary for training the learning model can be obtained.
  • the data transfer device 1 comprises a control unit 2, an input unit 7, a memory unit 8, a communication unit 9, and an output unit 10.
  • the control unit 2, the input unit 7, the memory unit 8, the communication unit 9, and the output unit 10 are each connected via a bus communication line BUS, and transmit and receive data between them.
  • the control unit 2, the input unit 7, the memory unit 8, the communication unit 9, and the output unit 10 may each be configured to transmit and receive data between them via wireless communication or the like.
  • the input unit 7 may include, for example, a user interface such as a mouse and keyboard for inputting changes to the numerical values of various settings of the data transfer device 1, as well as a microphone, a touch panel, a camera, and various sensors.
  • a user interface such as a mouse and keyboard for inputting changes to the numerical values of various settings of the data transfer device 1, as well as a microphone, a touch panel, a camera, and various sensors.
  • the input unit 7 acquires multiple pieces of data necessary for the learning model to learn from the production environment, and inputs (transmits) them to the control unit 2. Similarly, the input unit 7 acquires multiple pieces of corresponding data in the existing environment, and inputs (transmits) them to the control unit 2.
  • the data necessary for the learning model to learn may be network log data expressed in text including natural language and symbols.
  • the functions of the input unit 7 may be included in the data management unit 3 described below, in which case the data management unit 3 may be configured to acquire a data set of the production environment and a data set of the existing environment, and then transmit the data set of the production environment and the data set of the existing environment to the word pairing unit 4 described below.
  • the memory unit 8 includes, for example, a main memory unit and an auxiliary memory unit.
  • the main memory unit may include, for example, a ROM (Read-Only Memory) and a RAM (Random-Access Memory).
  • the ROM is a non-volatile memory used exclusively for reading data, and can store data and various setting values used by the control unit 2 when performing various processes.
  • the RAM is a volatile memory that temporarily stores data when the control unit 2 performs various processes, and can be used as a so-called work area.
  • the main memory unit in this embodiment is, for example, a RAM, and is used as a memory.
  • the auxiliary memory unit is a non-transitory computer-readable storage medium of a computer centered around the control unit 2.
  • the auxiliary memory unit is, for example, an EEPROM (registered trademark) (Electric Erasable Programmable Read-Only Memory), a HDD (Hard Disk Drive), or an SSD (Solid State Drive).
  • the auxiliary storage unit can store data used by the control unit 2 when performing various processes, data generated by the processes in the control unit 2, various setting values, etc.
  • the auxiliary storage unit is a memory that stores various information, and stores information such as, for example, the production environment data set (first data), the existing environment data set (second data), the production environment data cluster (first data cluster), the existing environment data cluster (second data cluster), and the reclassified data cluster (third data cluster), which will be described later.
  • the communication unit 9 can transmit and receive various data, including data (hereinafter, referred to as supplementary data) necessary for the learning model to learn, between the data transfer device 1 and the outside (e.g., the learning model).
  • the functions of the communication unit 9 may also be included in the data management unit 3, in which case the data management unit 3 may be configured to transmit the supplementary data to the learning model.
  • the output unit 10 may include, for example, a display means such as a monitor that allows the processing results of the control unit 2 to be visually recognized, and an audio output means that allows the results to be audibly recognized through a speaker or the like.
  • the output unit 10 may be configured to output image information and audio information to a display means and an audio output means that are connected to the outside.
  • the control unit 2 includes at least one of a CPU (Central Process Unit), an MPU (Micro Processing Unit), a GPU (Graphics Processing Unit), an ASIC (Application Specific Integrated Circuit), and an FPGA (Field-Programmable Gate Array), and can realize various functions of the data transfer device 1 using programs such as system software, application software, or firmware stored in the memory unit 8.
  • a CPU Central Process Unit
  • MPU Micro Processing Unit
  • GPU Graphics Processing Unit
  • ASIC Application Specific Integrated Circuit
  • FPGA Field-Programmable Gate Array
  • the control unit 2 includes a data management unit 3 , a word pairing unit 4 , a data classification unit 5 , and a transfer determination unit 6 .
  • the data management unit 3 may have the functions of the input unit 7 as described above, acquires data of the production environment and data of the existing environment, and transmits the data set of the production environment and the data set of the existing environment to the word pairing unit 4.
  • the data management unit 3 further has a function of managing the data of the entire data transfer device 1.
  • the data management unit 3 manages various information stored in the storage unit 8, and may have the function of the communication unit 9 as described above, and transmits supplementary data to the learning model.
  • the word pairing unit 4 performs a word pairing process that links words in the data set of the production environment and the data set of the existing environment.
  • the pairing process is a process that identifies words that exist in the existing environment that are similar to words in the production environment, and links related words together.
  • the word pairing unit 4 performs a morphological analysis on the data set of the production environment and the data set of the existing environment.
  • the word pairing unit 4 converts the data set of the production environment and the data set of the existing environment into a set of words with morphemes as the smallest unit, and generates word lists showing this set of words and the set of words before conversion as a word list for the production environment and a word list for the existing environment.
  • the word pairing unit 4 then performs a unique extraction process, which is a process for deleting duplicate words, on the generated word lists for each environment, and generates unique word lists indicating the set of words after this process as a unique word list for the production environment and a unique word list for the existing environment.
  • the generation of unique word lists corresponds to the regeneration of the above word lists.
  • the unique extraction process is also described in the above non-patent document 1.
  • the word pairing unit 4 uses the unique word lists generated for each environment to perform a pairing process that links related words managed in the unique word list for the production environment, and generates pairing word lists showing the results of this pairing process as a pairing word list for the production environment and a pairing word list for the existing environment.
  • a first example of a pairing process is a process of classifying words that have the same or similar meaning in different languages into one group.
  • a second example of the pairing process is a process of classifying compound words formed by combining two or more words into one group.
  • the word pairing unit 4 sends the generated pairing word list to the data management unit 3.
  • the data management unit 3 sends the received pairing word list for the production environment to the data classification unit 5 and the transfer determination unit 6, and sends the received pairing word list for the existing environment to the data classification unit 5.
  • the data classification unit 5 classifies the data set of the production environment indicated by the pairing word list for the production environment and the data set of the existing environment indicated by the pairing word list for the existing environment (first clustering process). That is, the data classification unit 5 performs clustering on the data set of the production environment, and generates a plurality of production environment data clusters (first data clusters). Furthermore, the data classification unit 5 performs clustering on the data set of the existing environment to generate a plurality of existing environment data clusters (second data clusters). The data classification unit 5 transmits a plurality of production environment data clusters and a plurality of existing environment data clusters to the transfer determination unit 6 .
  • the data classification unit 5 performs hierarchical clustering on each of the data sets of the production environment and the existing environment using a method such as the shortest distance method, the longest distance method, the group average method, or Ward's method.
  • a method such as the shortest distance method, the longest distance method, the group average method, or Ward's method.
  • the clustering method is not limited to the above, and for example, the data classification unit 5 may be configured to perform non-hierarchical clustering on each of the data sets of the production environment and the existing environment using a method such as the k-means method.
  • the transfer determination unit 6 performs clustering on multiple data clusters that combine the multiple production environment data clusters generated by the first clustering process with the multiple existing environment data clusters (second clustering process).
  • the transfer determination unit 6 generates multiple reclassified data clusters (third data clusters) by combining the multiple production environment data clusters with the multiple existing environment data clusters and performing clustering.
  • the transfer determination unit 6 performs hierarchical clustering on multiple data clusters that combine multiple production environment data clusters and multiple existing environment data clusters using a method such as the shortest distance method, the longest distance method, the group average method, or Ward's method.
  • the clustering method is not limited to the above, and for example, the transfer determination unit 6 may be configured to perform non-hierarchical clustering on multiple data clusters that combine multiple production environment data clusters and multiple existing environment data clusters using a method such as the k-means method.
  • the transfer determination unit 6 extracts a reclassified data cluster that includes at least one production environment data cluster from the multiple reclassified data clusters that have been generated.
  • the transfer determination unit 6 transmits the data of the existing environment in the existing environment data cluster included in the extracted reclassified data cluster to the data management unit 3.
  • the data management unit 3 outputs the data of the existing environment included in the extracted reclassified data cluster as data to be supplemented to the learning model.
  • FIG. 2 is a flowchart illustrating an example of the operation of a data transfer process by the data transfer device 1 according to an embodiment.
  • FIG. 3 is a diagram illustrating an example of the operation of a data transfer process by the data transfer device 1 according to an embodiment.
  • a start command based on a user operation or a start command from a higher-level control device can be used as a trigger to start processing.
  • the data management unit 3 identifies the learning model to be trained (step S1).
  • the data transfer device 1 identifies the learning model to be used for network failure response operations as the model to be trained.
  • the data management unit 3 selects the type of data necessary for the learning model to learn, and sets the type of data as an initial value (step S2). For example, the data management unit 3 selects network log data as the type of data necessary for the learning model to learn, and sets the network log data as an initial value.
  • the data management unit 3 acquires data from the production environment based on the set initial values (step S3).
  • the data management unit 3 acquires data from the existing environment based on the set initial values (step S4). Note that the order of steps S3 and S4 may be reversed, or they may be acquired simultaneously.
  • the word pairing unit 4 performs word pairing processing based on the data set of the production environment and the data set of the existing environment (step S5).
  • FIG. 4 is a diagram for explaining an example of the operation of the word pairing unit 4 of the data transfer device 1 according to an embodiment.
  • the word pairing unit 4 converts the data set of the production environment and the data set of the existing environment into a set of words with morphemes as the smallest unit, and generates word lists indicating these words and the sets of words before conversion as a word list for the production environment and a word list for the existing environment (S51).
  • the word pairing unit 4 performs a unique extraction process, which is a process for removing duplicate words, on the generated word lists for each environment, and generates unique word lists that indicate the set of words after this process as a unique word list for the production environment and a unique word list for the existing environment (S52).
  • a unique extraction process which is a process for removing duplicate words, on the generated word lists for each environment, and generates unique word lists that indicate the set of words after this process as a unique word list for the production environment and a unique word list for the existing environment (S52).
  • the word pairing unit 4 uses the unique word lists generated for each environment to perform a pairing process that links related words managed in the unique word list for the production environment, and generates pairing word lists indicating the results of this pairing process as a pairing word list for the production environment and a pairing word list for the existing environment (S53).
  • the word pairing unit 4 sends the generated pairing word lists to the data management unit 3, and ends the processing of S5.
  • FIGS. 5A and 5B are diagrams illustrating an example of a word list for a production environment before and after a word pairing process.
  • the examples shown in Figures 5A and 5B show that the word pairing process for the production word list produces word pairing results including: (1) “device module”
  • peer (5) "number
  • FIG. 6 is a diagram showing an example of a word list for an existing environment before and after the word pairing process.
  • the example shown in FIG. 6 indicates that a word pairing process for a word list for an existing environment produces word pairing results including (1) “config”, (2) “bps
  • FIG. 7 is a diagram showing an example of a word match rate between the production environment and the existing environment before and after the word pairing process.
  • the examples shown in FIG. 7 are calculation results of the matching rates between a set of words in the production environment and a set of words in the existing environment before and after the word pairing process when using the Jaccrd coefficient, the Simpson coefficient, and the Dice coefficient, respectively.
  • the matching rate after the word pairing process is higher than the matching rate before the word pairing process.
  • the amount of data in the existing environment that can be used in the production environment has increased.
  • step S5 the data classification unit 5 performs clustering on the data set of the production environment to generate multiple production environment data clusters (step S6).
  • the data classification unit 5 further performs clustering on the data set of the existing environment to generate multiple existing environment data clusters (step S7). Note that the order of steps S6 and S7 may be reversed, or steps S6 and S7 may be performed simultaneously.
  • the transfer determination unit 6 generates multiple reclassified data clusters including at least one production environment data cluster by combining and clustering the multiple production environment data clusters generated in step S6 and the multiple existing environment data clusters generated in step S7 (step S8).
  • This clustering in step S8 can also be called inter-environment clustering.
  • the transfer determination unit 6 extracts data of the existing environment from the reclassified data clusters including at least one production environment data cluster from among the multiple reclassified data clusters in step S8 (step S9).
  • the data management unit 3 treats the extracted data of the existing environment as supplementary data necessary for the learning model to learn, and outputs it to the learning model, thereby completing the process (step S10).
  • the data transfer device 1 repeatedly performs the above steps S1 to S10 in multiple different existing environments, allowing the learning model to obtain the production environment data required for learning and supplementary data for multiple different existing environments.
  • the data clustering process is divided into two steps, thereby reducing the number of data classification/extraction targets and achieving efficient processing. Furthermore, by performing clustering process on data within the same environment in the first clustering process by the data transfer device 1, the number of targets for the second clustering process is reduced, making it possible to reduce the amount of calculation required for processing while maintaining the accuracy of data classification.
  • the data management unit 3, the word pairing unit 4, the data classification unit 5, the transfer determination unit 6, and the storage unit 8 may each be mounted on a different device.
  • the multiple devices included in the data transfer device 1 may share various information stored in the storage unit 8.
  • FIG. 8 is a block diagram showing an example of the hardware configuration of a data transfer device according to an embodiment of the present invention.
  • the data transfer device 1 according to the above embodiment is configured, for example, by a server computer or a personal computer, and has a hardware processor 111A such as a CPU.
  • a program memory 111B, a data memory 112, an input/output interface 113, and a communication interface 114 are connected to this hardware processor 111A via a bus 115.
  • the communication interface 114 includes, for example, one or more wireless communication interface units, and enables the transmission and reception of information to and from the communication network NW.
  • a wireless interface for example, an interface that adopts a low-power wireless data communication standard such as a wireless LAN (Local Area Network) is used.
  • an input device 200 and an output device 300 that are attached to the data transfer device 1 and used by users, etc., are connected to the input/output interface 113.
  • the input/output interface 113 takes in operation data input by a user or the like through an input device 200 such as a keyboard, touch panel, touchpad, mouse, etc., and outputs the output data to an output device 300 including a display device using liquid crystal or organic EL (Electro Luminescence), etc., for display.
  • the input device 200 and the output device 300 may be devices built into the video processing device 100, such as the input unit 7 and output unit 10 shown in FIG. 1, or may be input devices and output devices of other computers or information terminals that can communicate with the data transfer device 1 via the network NW.
  • the program memory 111B is a non-transient tangible storage medium that combines, for example, a non-volatile memory such as an HDD or SSD that can be written to and read from at any time, with a non-volatile memory such as a ROM, and stores the programs required to execute various control processes, etc., according to one embodiment.
  • the data memory 112 is a tangible storage medium that is, for example, a combination of the non-volatile memory described above and a volatile memory such as RAM, and is used to store various data acquired and created during various processes.
  • the data transfer device 1 can be configured as an information processing device having a software-based processing function unit.
  • This processing function unit corresponds to each part of the data transfer device 1 in FIG. 1.
  • the storage device used as a work memory or the like by the data transfer device 1 can be configured by using the data memory 112 shown in FIG. 8.
  • these configured storage areas are not essential components within the data transfer device 1, and may be, for example, areas provided in an external storage medium such as a USB (Universal Serial Bus) memory, or a storage device such as a database server located in the cloud.
  • an external storage medium such as a USB (Universal Serial Bus) memory
  • a storage device such as a database server located in the cloud.
  • the processing function units in each of the above-mentioned parts can be realized by having the hardware processor 111A read and execute a program stored in the program memory 111B. Note that some or all of these processing function units may be realized in a variety of other forms, including integrated circuits such as application specific integrated circuits (ASICs or FPGAs).
  • ASICs application specific integrated circuits
  • FPGAs field-programmable gate arrays
  • the methods described in each embodiment can be stored as a program (software means) that can be executed by a computer on a recording medium such as a magnetic disk (floppy disk, hard disk, etc.), optical disk (CD-ROM, DVD, MO, etc.), semiconductor memory (ROM, RAM, flash memory, etc.), and can be distributed by transmitting it via a communication medium.
  • the programs stored on the medium also include a setting program that configures the software means (including not only execution programs but also tables and data structures) that the computer executes.
  • the computer that realizes this device reads the program recorded on the recording medium, and in some cases, configures the software means using the setting program, and executes the above-mentioned processing by having the operation controlled by this software means.
  • the recording medium referred to in this specification is not limited to a medium for distribution, but also includes storage media such as a magnetic disk or semiconductor memory installed inside the computer or in a device connected via a network.
  • the present invention is not limited to the above-described embodiments, and can be modified in various ways during implementation without departing from the gist of the invention.
  • the embodiments may also be implemented in appropriate combination, in which case the combined effects can be obtained.
  • the above-described embodiments include various inventions, and various inventions can be extracted by combinations selected from the multiple constituent elements disclosed. For example, if the problem can be solved and an effect can be obtained even if some constituent elements are deleted from all the constituent elements shown in the embodiments, the configuration from which these constituent elements are deleted can be extracted as an invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一実施形態に係るデータ転移装置は、第１環境から第１データを取得し、第２環境から第２データを取得するデータ管理部と、前記第１データを構成する各データにおける関連するデータ同士のペアリングおよび前記第２データを構成する各データにおける関連するデータ同士のペアリングを行なうペアリング部と、前記第１データを構成する各データへの前記ペアリングの結果に対するクラスタリングから複数の第１データクラスタを生成し、前記第２データを構成する各データへの前記ペアリングの結果に対するクラスタリングから複数の第２データクラスタを生成するデータ分類部と、複数の前記第１データクラスタと複数の前記第２データクラスタとを組み合わせてクラスタリングすることにより、複数の第３データクラスタを生成し、少なくとも１つの前記第１データクラスタを含む前記第３データクラスタを抽出する転移判断部と、を有する。

Description

データ転移装置、方法およびプログラム
　本発明の実施形態は、データ転移装置、方法およびプログラムに関する。
　ネットワーク障害対応業務として、ネットワークから収集された膨大なアラーム情報およびログ情報をクラスタリング手法で分類することで、過去の経験から作られたルールとネットワークから収集された情報とを比較し、人工知能（ＡＩ：Artificial Intelligence）によって障害箇所を特定して対応する方法がある。上記ネットワーク障害対応業務において、ＡＩによる正確なネットワーク障害の検知、および迅速な障害復旧の対応を実現するためには、障害パターンおよびその対応方法を事前に大量に収集し、収集した大量のデータを用いて当該ＡＩに学習させる必要がある。
　ＡＩに大量のデータを学習させるために、過去のデータを学習用のデータとして利用、すなわち転移する手法が知られている（例えば非特許文献１参照）。この手法は、ターゲット環境（本番環境と称することもある）のネットワークと、既存の類似環境等のネットワークから取得したデータを階層的クラスタリングで処理することにより結合および分類して利用している。
Di LI,野末晴久（Haruhisa NOZUE）,山本憲男（Norio YAMAMOTO）,田山健一（Kenichi TAYAMA）,"NW障害対応 AI 学習データ不足問題へ向けたデータクラスタリングの効率化の検討（Study on data clustering efficiency for the shortage of training data for network failure response AI），"電子情報通信学会ソサイエティ大会（The Institution of Electronics, Information and Communication Engineers Society Conference），2021年9月．
　上記のように既存環境のデータを本番環境の学習データとして利用するためには、データの表現方法が異なっていても意味が同じまたは類似であれば同じまたは類似したデータと判断および認識する仕組みが必要となる。
　比較対象のデータが全く同じ単語であれば、データが類似していると判断することは容易だが、例えば異なる言語、固有名詞、専門用語、同意語、または複数の単語（語根）が結合してなる複合語のような文言で、文字列としての表現が異なるが意味が同じまたは近いデータを対象として、上記類似の適切に判断することは難しく、結果として上記学習データに利用できないデータと判断される可能性がある。
　例えば、以下の（１）～（３）のようなケースでは、類似を適切に判断できない可能性が高い。　
　（１）　日本語、カタカナ、英語などの、同じまたは類似した意味であっても言語または表記が異なる単語（例：エラー、error、異常）
　（２）　同じレイヤのプロトコルの状態を示す単語のように、同じまたは類似した意味かつ異なる表現形式の単語（例：隣接、ネイバ、およびneighbor（またはpeer、ピア））
　（３）　複合語のように、一つの単語として表現でき、または一つの語から分割された複数の単語としても表現できる単語（例：IP、IP address、IP アドレス）
　この発明は、上記事情に着目してなされたもので、その目的とするところは、既存環境から必要なデータを適切に抽出することができるようにしたデータ転移装置、方法およびプログラムを提供することにある。
　本発明の一態様に係るデータ転移装置は、第１環境から第１データを取得し、第２環境から第２データを取得するデータ管理部と、前記第１データを構成する各データにおける関連するデータ同士のペアリングおよび前記第２データを構成する各データにおける関連するデータ同士のペアリングを行なうペアリング部と、前記第１データを構成する各データへの前記ペアリングの結果に対するクラスタリングから複数の第１データクラスタを生成し、前記第２データを構成する各データへの前記ペアリングの結果に対するクラスタリングから複数の第２データクラスタを生成するデータ分類部と、複数の前記第１データクラスタと複数の前記第２データクラスタとを組み合わせてクラスタリングすることにより、複数の第３データクラスタを生成し、少なくとも１つの前記第１データクラスタを含む前記第３データクラスタを抽出する転移判断部と、を備える。
　本発明の一態様に係るデータ転移方法は、データ転移装置により実行される方法であって、前記データ転移装置のデータ管理部により、第１環境から第１データを取得し、第２環境から第２データを取得することと、前記データ転移装置のペアリング部により、前記第１データを構成する各データにおける関連するデータ同士のペアリングおよび前記第２データを構成する各データにおける関連するデータ同士のペアリングを行なうことと、前記データ転移装置のデータ分類部により、前記第１データを構成する各データへの前記ペアリングの結果に対するクラスタリングから複数の第１データクラスタを生成し、前記第２データを構成する各データへの前記ペアリングの結果に対するクラスタリングから複数の第２データクラスタを生成することと、前記データ転移装置の転移判断部により、複数の前記第１データクラスタと複数の前記第２データクラスタとを組み合わせてクラスタリングすることにより、複数の第３データクラスタを生成し、少なくとも１つの前記第１データクラスタを含む前記第３データクラスタを抽出することと、を備える。
　本発明によれば、既存環境から必要なデータを適切に抽出することができる。
図１は、一実施形態に係るデータ転移装置の一構成例を概略的に示すブロック図である。 図２は、一実施形態に係るデータ転移装置によるデータ転移処理の動作の一例について説明するためのフローチャートである。 図３は、一実施形態に係るデータ転移装置によるデータ転移処理の動作の一例について説明するための図である。 図４は、一実施形態に係るデータ転移装置１の単語ペアリング部４の動作の一例について説明するための図である。 図５Ａは、単語ペアリング処理前の本番環境用の単語リストの一例を示す図である。 図５Ｂは、単語ペアリング処理後の本番環境用の単語リストの一例を示す図である。 図６は、単語ペアリング処理前および単語ペアリング処理後の既存環境用の単語リストの一例を示す図である。 図７は、単語ペアリング処理前および単語ペアリング処理後の本番環境と既存環境との間の単語の一致率の一例を示す図である。 図８は、本発明の一実施形態に係るデータ転移装置１のハードウエア（hardware）構成の一例を示すブロック図（block diagram）である。
　以下、図面を参照してこの発明に係る実施形態のデータ転移装置、データ転移方法及びコンピュータプログラムについて説明する。なお、以下の実施形態では、同一の番号を付した部分については同様の動作を行うものとして、重ねての説明を省略する。
　図１は、一実施形態に係るデータ転移装置１の一構成例を概略的に示すブロック図である。　
　本実施形態のデータ転移装置１は、ターゲットとなるネットワーク環境（以降、本番環境（第１環境）とする）のネットワーク障害の対応方法を出力するＡＩモデル（以降、学習モデルとする）の学習に利用可能なデータを抽出する。
　更に、本実施形態のデータ転移装置１は、本番環境に類似した既存の類似環境（以降、既存環境（第２環境）とする）に含まれる複数のデータのうち、学習モデルの学習に利用可能な当該既存環境のデータを抽出する。抽出された既存環境のデータにより本番環境のデータを補足することで、学習モデルの学習に必要な十分な量のデータを取得することができる。
　データ転移装置１は、制御部２と、入力部７と、記憶部８と、通信部９と、出力部１０と、を備える。制御部２と、入力部７と、記憶部８と、通信部９と、出力部１０とは、それぞれバス通信線ＢＵＳを介して接続され、相互にデータの送受信をしている。なお、制御部２と、入力部７と、記憶部８と、通信部９と、出力部１０は、それぞれ無線通信等で相互にデータの送受信をする構成であってもよい。
　入力部７は、例えば、データ転移装置１の各種設定の数値等の変更を入力するためのマウスおよびキーボード（keyboard）等のユーザインタフェース、ならびにマイク、タッチパネル（touch panel）、カメラ、および各種センサ等を含み得る。
　入力部７は、本番環境から学習モデルが学習するために必要な複数のデータを取得し、制御部２に入力（送信）する。同様に、入力部７は、既存環境における相当する複数のデータを取得し、制御部２に入力（送信）する。
　例えば、本実施形態では、ネットワーク障害対応業務を想定しているため、学習モデルが学習するために必要なデータとして、自然言語および記号等を含むテキストで表されたネットワークログデータ等が考えられる。なお、上記入力部７の機能は、後述するデータ管理部３に含まれていてもよく、その場合、データ管理部３が、本番環境のデータ集合と、既存環境のデータ集合とを取得した後、後述する単語ペアリング部４に当該本番環境のデータ集合と、当該既存環境のデータ集合とを送信するよう構成され得る。
　記憶部８は、例えば、主記憶部と、補助記憶部とを備えている。主記憶部は、例えば、ＲＯＭ（Read-Only Memory）およびＲＡＭ（Random-Access Memory）を含み得る。ＲＯＭは、専らデータの読み出しに用いられる不揮発性メモリ（non-volatile memory）であり、制御部２が各種の処理を行う上で使用するデータ及び各種の設定値などを記憶することができる。また、ＲＡＭは、制御部２が各種の処理を行う上で一時的にデータを記憶しておく揮発性メモリ（volatile memory）であり、いわゆるワークエリアとして利用され得る。本実施形態の主記憶部は、例えばＲＡＭであって、メモリとして用いられる。
　補助記憶部は、制御部２を中枢とするコンピュータの非一時的なコンピュータ可読記憶媒体である。補助記憶部は、例えば、ＥＥＰＲＯＭ（登録商標）（Electric Erasable Programmable Read-Only Memory）、ＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive）などである。
　補助記憶部は、制御部２が各種の処理を行う上で使用するデータ、制御部２での処理によって生成されたデータ又は各種の設定値などを保存することができる。補助記憶部は、各種情報を記憶するメモリであり、例えば、後述する本番環境のデータ集合（第１データ）、既存環境のデータ集合（第２データ）、本番環境データクラスタ（第１データクラスタ）、既存環境データクラスタ（第２データクラスタ）、再分類データクラスタ（第３データクラスタ）等の情報を記憶する。
　通信部９は、データ転移装置１と外部（例えば、学習モデル）との間で学習モデルが学習するのに必要なデータ（以降、補足データとする）を含む様々なデータの送受信を行うことができる。なお、上記通信部９の機能も、データ管理部３に含まれていてもよく、その場合、データ管理部３が、補足データを学習モデルに送信するよう構成され得る。
　出力部１０は、例えば、制御部２の処理結果を視覚的に認識可能なモニタなどの表示手段、およびスピーカ等により聴覚的に認識可能な音声出力手段を含み得る。出力部１０は、外部に接続される表示手段および音声出力手段へ画像情報および音声情報を出力する構成であってもよい。
　制御部２は、ＣＰＵ（Central Process Unit）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit、およびＦＰＧＡ（Field-Programmable Gate Array）などの少なくとも１つを含み、記憶部８に記憶されたシステムソフトウェア、アプリケーションソフトウェア又はファームウェアなどのプログラムを用いて、データ転移装置１の種々の機能を実現できる。
　制御部２は、データ管理部３と、単語ペアリング部４と、データ分類部５と、転移判断部６と、を備える。　
　データ管理部３は、上述したように入力部７の機能を備えていてもよく、本番環境のデータと、既存環境のデータとを取得し、単語ペアリング部４に当該本番環境のデータ集合と、当該既存環境のデータ集合とを送信する。
　データ管理部３は、更に、データ転移装置１全体のデータを管理する機能を有する。すなわち、データ管理部３は、記憶部８に記憶された様々な情報の管理を行い、上述したように通信部９の機能を備えていてもよく、学習モデルに補足データを送信する。
　単語ペアリング部４は、本番環境のデータ集合と、既存環境のデータ集合の単語を結びつける単語ペアリング処理を行う。ペアリング処理とは、既存環境に存在している単語のうち本番環境の単語と類似した単語を同一視する処理で、関連する単語同士を結び付ける処理である。ペアリング処理にあたり、例えば、単語ペアリング部４は、本番環境のデータ集合と、既存環境のデータ集合に対して形態素解析を行う。
　より詳細に説明すると、単語ペアリング部４は、本番環境のデータ集合と、既存環境のデータ集合とをそれぞれ形態素を最小単位とした単語の集合へと変換し、この単語の集合および変換前の単語の集合が示される単語リストを本番環境用の単語リストおよび既存環境用の単語リストとして生成する。
　次に、単語ペアリング部４は、生成した各環境用の単語リストに対し、重複する単語を削除する処理であるユニーク抽出処理を行ない、この処理後の単語の集合が示されるユニーク単語リストを本番環境用のユニーク単語リストと既存環境用のユニーク単語リストとして生成する。ユニーク単語リストの生成は、上記単語リストの再生成に対応する。ユニーク抽出処理については上記非特許文献１にも記載されている。
　単語ペアリング部４は、上記生成した各環境用のユニーク単語リストを用いて、本番環境用のユニーク単語リストで管理される、関連する単語同士を結び付けるペアリング処理を行ない、このペアリング処理の結果が示されるペアリング単語リストを、本番環境用のペアリング単語リストおよび既存環境用のペアリング単語リストとして生成する。
　ペアリング処理の第１の例は、異なる言語で同じまたは類似した意味の単語同士を１つのグループに分類する処理である。　
　ペアリング処理の第２の例は、２つ以上の単語が結合して構成される複合語の単語を１つのグループに分類する処理である。
　単語ペアリング部４は、生成したペアリング単語リストをデータ管理部３に送信する。データ管理部３は、受信した本番環境用のペアリング単語リストをデータ分類部５及び転移判断部６に送信し、上記受信した既存環境用のペアリング単語リストをデータ分類部５に送信する。
　データ分類部５は、本番環境用のペアリング単語リストで示される、本番環境のデータ集合と、既存環境用のペアリング単語リストで示される、既存環境のデータ集合とをそれぞれ分類する（１回目のクラスタリング処理）。
　すなわち、データ分類部５は、本番環境のデータ集合に対してクラスタリングを行い、複数の本番環境データクラスタ（第１データクラスタ）を生成する。　
　また、データ分類部５は、既存環境のデータ集合に対してクラスタリングを行い、複数の既存環境データクラスタ（第２データクラスタ）を生成する。　
　データ分類部５は、複数の本番環境データクラスタ及び複数の既存環境データクラスタを転移判断部６に送信する。
　例えば、データ分類部５は、本番環境のデータ集合と既存環境のデータ集合のそれぞれに対して最短距離法、最長距離法、群平均法、またはウォード法等の手法を用いて階層的クラスタリングを行う。なお、クラスタリングの手法は上記に限らず、例えば、データ分類部５は、本番環境のデータ集合と既存環境のデータ集合のそれぞれに対してk-means法等の手法を用いて非階層的クラスタリングを行うよう構成されていてもよい。
　転移判断部６は、１回目のクラスタリング処理により生成された複数の本番環境データクラスタと、複数の既存環境データクラスタとを組み合わせた複数のデータクラスタに対してクラスタリングを行う（２回目のクラスタリング処理）。転移判断部６は、複数の本番環境データクラスタと、複数の既存環境データクラスタとを組み合わせてクラスタリングを行うことにより、複数の再分類データクラスタ（第３データクラスタ）を生成する。
　転移判断部６は、複数の本番環境データクラスタと、複数の既存環境データクラスタとを組み合わせた複数のデータクラスタに対して最短距離法、最長距離法、群平均法、またはウォード法等の手法を用いて階層的クラスタリングを行う。なお、クラスタリング手法は上記に限らず、例えば、転移判断部６は、複数の本番環境データクラスタと、複数の既存環境データクラスタとを組み合わせた複数のデータクラスタに対してk-means法等の手法を用いて非階層的クラスタリングを行うよう構成されていてもよい。
　転移判断部６は、生成した複数の再分類データクラスタの中で、少なくとも１つの本番環境データクラスタを含む再分類データクラスタを抽出する。転移判断部６は、抽出済み再分類データクラスタに含まれる既存環境データクラスタにある既存環境のデータをデータ管理部３に送信する。データ管理部３は、抽出済み再分類データクラスタに含まれる既存環境のデータを学習モデルに補足すべきデータとして出力する。
　次に、本実施形態のデータ転移装置１によるクラスタリング及びデータ抽出を含むデータ転移処理を説明する。　
　図２は、一実施形態に係るデータ転移装置１によるデータ転移処理の動作の一例について説明するためのフローチャートである。　
　図３は、一実施形態に係るデータ転移装置１によるデータ転移処理の動作の一例について説明するための図である。
　本実施形態では、例えば、ユーザの操作に基づく開始指令または上位制御装置からの開始指令がトリガーとなり処理が開始されうる。
　データ管理部３は、学習させる学習モデルを識別する（ステップＳ１）。本実施形態において、データ転移装置１は、ネットワーク障害対応業務に用いる学習モデルを学習させる対象として識別する。
　更に、データ管理部３は、学習モデルが学習するのに必要なデータの種類を選択し、当該データの種類を初期値として設定する（ステップＳ２）。例えば、データ管理部３は、学習モデルが学習するのに必要なデータの種類としてネットワークログデータを選択し、当該ネットワークログデータを初期値として設定する。
　データ管理部３は、設定された初期値に基づいて本番環境からデータを取得する（ステップＳ３）。データ管理部３は、設定された初期値に基づいて既存環境からデータを取得する（ステップＳ４）。なお、ステップＳ３と、ステップＳ４の順番は、逆であってもよく、同時に取得してもよい。
　単語ペアリング部４は、本番環境のデータ集合と、既存環境のデータ集合とに基づいて、単語ペアリング処理を行う（ステップＳ５）。
　図４は、一実施形態に係るデータ転移装置１の単語ペアリング部４の動作の一例について説明するための図である。　
　ステップＳ５として、単語ペアリング部４は、本番環境のデータ集合と、既存環境のデータ集合とに基づいて、それぞれ形態素を最小単位とした単語の集合へと変換し、この単語および変換前の単語の集合が示される単語リストを本番環境用の単語リストおよび既存環境用の単語リストとして生成する（Ｓ５１）。
　単語ペアリング部４は、生成した各環境用の単語リストに対し、重複する単語を削除する処理であるユニーク抽出処理を行ない、この処理後の単語の集合が示されるユニーク単語リストを本番環境用のユニーク単語リストと既存環境用のユニーク単語リストとして生成する（Ｓ５２）。
　単語ペアリング部４は、上記生成した各環境用のユニーク単語リストを用いて、本番環境用のユニーク単語リストで管理される、関連する単語同士を結び付けるペアリング処理を行ない、このペアリング処理の結果が示されるペアリング単語リストを、本番環境用のペアリング単語リストおよび既存環境用のペアリング単語リストとして生成する（Ｓ５３）。単語ペアリング部４は、生成したペアリング単語リストをデータ管理部３に送信し、Ｓ５の処理を終える。
　図５Ａは、単語ペアリング処理前の本番環境用の単語リストの一例を示す図である。図５Ｂは、単語ペアリング処理後の本番環境用の単語リストの一例を示す図である。　
　図５Ａおよび図５Ｂに示された例は、本番環境用の単語リストに対する単語ペアリング処理により、（１）「“装置 モジュール”|module」、（２）「状態|state」、（３）「bgp|ospf|“bgp fsm”」、（４）「隣接|ネイバ|neighbor|peer|ピア」、（５）「番号|id」、（６）「ip|ip address|“IPアドレス”」、（７）「インデックス|index」、（８）「ステータス|status」、および（９）「切断|ダウン|down」を含む単語ペアリング結果が得られることが示される。
　図６は、単語ペアリング処理前および単語ペアリング処理後の既存環境用の単語リストの一例を示す図である。　
　図６に示された例は、既存環境用の単語リストに対する単語ペアリング処理により、（１）「コンフィグ|config」、（２）「bps|kbps|gbps」、（３）「“装置 モジュール”|module」、（４）「状態|state」、（５）「bgp|ospf|“bgp fsm”」、（６）「隣接|ネイバ|neighbor|peer|ピア」、および（７）「エラー|error|異常」含む単語ペアリング結果が得られることが示される。
　この結果、（１）「“装置 モジュール”|module」、（２）「状態|state」、（３）「bgp|ospf|“bgp fsm”」、および（４）「隣接|ネイバ|neighbor|peer|ピア」は、本番環境と既存環境との間で共通する単語ペアリング結果であって、既存環境から本番環境へ補足するデータとして利用できるデータであることが分かる。
　図７は、単語ペアリング処理前および単語ペアリング処理後の本番環境と既存環境との間の単語の一致率の一例を示す図である。　
　図７に示された例は、Ｊａｃｃｒｄ係数、Ｓｉｍｐｓｏｎ係数、Ｄｉｃｅ係数をそれぞれ用いたときの、単語ペアリング処理の前後における本番環境での単語の集合と既存環境の単語の集合との一致率の計算結果である。
　図７に示されるように、上記の３種類の係数のいずれを用いても、単語ペアリング処理の前の一致率と比較して、単語ペアリング処理の後の一致率は高い。　
　つまり、単語ペアリング処理を行うことで、既存環境のデータにおける、本番環境に利用できるデータが増加したことを意味する。
　ステップＳ５の後、データ分類部５は、本番環境のデータ集合に対してクラスタリングを行い、複数の本番環境データクラスタを生成する（ステップＳ６）。更にデータ分類部５は、既存環境のデータ集合に対してクラスタリングを行い、複数の既存環境データクラスタを生成する（ステップＳ７）。なお、ステップＳ６と、ステップＳ７の順番は、逆であってもよく、同時であってもよい。
　転移判断部６は、ステップＳ６で生成した複数の本番環境データクラスタと、ステップＳ７で生成した複数の既存環境データクラスタとを組み合わせてクラスタリングを行うことにより、少なくとも１つの本番環境データクラスタを含む、複数の再分類データクラスタを生成する（ステップＳ８）。このステップＳ８でのクラスタリングは環境間クラスタリングと称することもできる。
　転移判断部６は、ステップＳ８の複数の再分類データクラスタの中で、少なくとも１つの本番環境データクラスタを含む再分類データクラスタにある既存環境のデータを抽出する（ステップＳ９）。
　データ管理部３は、抽出した既存環境のデータを学習モデルが学習するために必要な補足データとし、学習モデルに出力することで処理を終了する（ステップＳ１０）。
　データ転移装置１が、上記ステップＳ１からステップＳ１０の処理を異なる複数の既存環境で繰り返し行うことで、学習モデルは、学習に必要な本番環境データと、異なる複数の既存環境の補足データを取得することが可能になる。
　実施形態に係るデータ転移装置１によれば、データクラスタリング処理を２回にわけて行うことで、データ分類・抽出の対象を減らし、効率的な処理を実現している。更に、データ転移装置１による１回目のクラスタリング処理で、同じ環境内でのデータに対してクラスタリング処理を行うことで、２回目のクラスタリング処理の対象を減らし、データ分類の精度を保ったまま、処理にかかる計算量を抑えることが可能になる。
　すなわち、本実施形態によれば、本番環境と既存環境の間でデータを転移する際に、そのままでは本番環境のデータとして利用できない既存環境データの中で、意味が同じまたは類似するが表現形式が異なるなどの単語をペアリングすることにより、本番環境に利用できるデータの量を増加する。よって、本番環境に必要なデータを適切に抽出可能なデータ転移装置、データ転移方法及びコンピュータプログラムを提供することができる。
　なお、上述の実施形態において、データ管理部３と、単語ペアリング部４と、データ分類部５と、転移判断部６と、記憶部８とはそれぞれ異なる装置に搭載されていてもよい。上記の場合、データ転移装置１に含まれる複数の装置は、記憶部８に記憶された種々の情報を共有し得る。
　図８は、本発明の一実施形態に係るデータ転移装置のハードウエア構成の一例を示すブロック図である。　
　図８に示された例では、上記の実施形態に係るデータ転移装置１は、例えばサーバコンピュータ（server computer）またはパーソナルコンピュータ（personal computer）により構成され、ＣＰＵ等のハードウエアプロセッサ（hardware processor）１１１Ａを有する。そして、このハードウエアプロセッサ１１１Ａに対し、プログラムメモリ（program memory）１１１Ｂ、データメモリ（data memory）１１２、入出力インタフェース１１３及び通信インタフェース１１４が、バス（bus）１１５を介して接続される。
　通信インタフェース１１４は、例えば１つ以上の無線の通信インタフェースユニット（interface unit）を含んでおり、通信ネットワークＮＷとの間で情報の送受信を可能にする。無線インタフェースとしては、例えば無線ＬＡＮ（Local Area Network）などの小電力無線データ通信規格が採用されたインタフェースが使用される。
　図８に示された例では、入出力インタフェース１１３には、データ転移装置１に付設される、利用者などにより用いられる入力デバイス（device）２００および出力デバイス３００が接続される。
　入出力インタフェース１１３は、キーボード、タッチパネル、タッチパッド（touchpad）、マウス（mouse）等の入力デバイス２００を通じて利用者などにより入力された操作データを取り込むとともに、出力データを液晶または有機ＥＬ（Electro Luminescence）等が用いられた表示デバイスを含む出力デバイス３００へ出力して表示させる処理を行なう。なお、入力デバイス２００および出力デバイス３００には、図１に示される入力部７および出力部１０のように映像処理装置１００に内蔵されたデバイスが使用されてもよく、また、ネットワークＮＷを介してデータ転移装置１と通信可能である他のコンピュータまたは情報端末の入力デバイスおよび出力デバイスが使用されてもよい。
　プログラムメモリ１１１Ｂは、非一時的な有形の記憶媒体として、例えば、ＨＤＤまたはＳＳＤ等の随時書込みおよび読出しが可能な不揮発性メモリと、ＲＯＭ等の不揮発性メモリとが組み合わせて使用されたもので、一実施形態に係る各種制御処理等を実行する為に必要なプログラムが格納されている。
　データメモリ１１２は、有形の記憶媒体として、例えば、上記の不揮発性メモリと、ＲＡＭ等の揮発性メモリとが組み合わせて使用されたもので、各種処理が行なわれる過程で取得および作成された各種データが記憶される為に用いられる。
　本発明の一実施形態に係るデータ転移装置１は、ソフトウエアによる処理機能部を有する情報処理装置として構成され得る。この処理機能部は、図１のデータ転移装置１の各部が対応する。
　データ転移装置１によるワークメモリなどとして用いられる記憶装置は、図８に示されたデータメモリ１１２が用いられることで構成され得る。ただし、これらの構成される記憶領域はデータ転移装置１内に必須の構成ではなく、例えば、ＵＳＢ（Universal Serial Bus）メモリなどの外付け記憶媒体、又はクラウド（cloud）に配置されたデータベースサーバ（database server）等の記憶装置に設けられた領域であってもよい。
　上記の各部における処理機能部は、いずれも、プログラムメモリ１１１Ｂに格納されたプログラムを上記ハードウエアプロセッサ１１１Ａにより読み出させて実行させることにより実現され得る。なお、これらの処理機能部の一部または全部は、特定用途向け集積回路（ＡＳＩＣまたはＦＰＧＡ）などの集積回路を含む、他の多様な形式によって実現されてもよい。
　また、各実施形態に記載された手法は、計算機（コンピュータ）に実行させることができるプログラム（ソフトウエア手段）として、例えば磁気ディスク（フロッピー（登録商標）ディスク（Floppy disk）、ハードディスク等）、光ディスク（optical disc）（ＣＤ－ＲＯＭ、ＤＶＤ、ＭＯ等）、半導体メモリ（ＲＯＭ、ＲＡＭ、フラッシュメモリ（Flash memory）等）等の記録媒体に格納し、また通信媒体により伝送して頒布され得る。なお、媒体側に格納されるプログラムには、計算機に実行させるソフトウエア手段（実行プログラムのみならずテーブル（table）、データ構造も含む）を計算機内に構成させる設定プログラムをも含む。本装置を実現する計算機は、記録媒体に記録されたプログラムを読み込み、また場合により設定プログラムによりソフトウエア手段を構築し、このソフトウエア手段によって動作が制御されることにより上述した処理を実行する。なお、本明細書でいう記録媒体は、頒布用に限らず、計算機内部あるいはネットワークを介して接続される機器に設けられた磁気ディスク、半導体メモリ等の記憶媒体を含むものである。
　なお、本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の発明が含まれており、開示される複数の構成要件から選択された組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、課題が解決でき、効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
　　１…データ転移装置
　　２…制御部
　　３…データ管理部
　　４…単語ペアリング部
　　５…データ分類部
　　６…転移判断部
　　７…入力部
　　８…記憶部
　　９…通信部
　　１０…出力部

Claims (8)

  1. 　第１環境から第１データを取得し、第２環境から第２データを取得するデータ管理部と、
    　前記第１データを構成する各データにおける関連するデータ同士のペアリングおよび前記第２データを構成する各データにおける関連するデータ同士のペアリングを行なうペアリング部と、
    　前記第１データを構成する各データへの前記ペアリングの結果に対するクラスタリングから複数の第１データクラスタを生成し、前記第２データを構成する各データへの前記ペアリングの結果に対するクラスタリングから複数の第２データクラスタを生成するデータ分類部と、
    　複数の前記第１データクラスタと複数の前記第２データクラスタとを組み合わせてクラスタリングすることにより、複数の第３データクラスタを生成し、少なくとも１つの前記第１データクラスタを含む前記第３データクラスタを抽出する転移判断部と、
    　を備えるデータ転移装置。
  2. 　前記第１データと前記第２データは、単語を含むテキストにより表されたデータであって、
    　前記ペアリング部は、
    　　前記第１データを構成する各単語における関連する単語同士のペアリングおよび前記第２データを構成する各単語における関連する単語同士のペアリングを行なう、
    　請求項１記載のデータ転移装置。
  3. 　前記ペアリング部は、
    　　前記第１データを構成する各データにおける、意味が同じまたは類似して表現が異なるデータ同士のペアリングおよび前記第２データを構成する各データにおける、意味が同じまたは類似して表現が異なるデータ同士のペアリングを行なう、
    　請求項１記載のデータ転移装置。
  4. 　前記ペアリング部によるペアリングの対象のデータは、複数の単語が結合してなる複合語の各単語のいずれかを含む、
    　請求項１記載のデータ転移装置。
  5. 　データ転移装置により実行される方法であって、
    　前記データ転移装置のデータ管理部により、第１環境から第１データを取得し、第２環境から第２データを取得することと、
    　前記データ転移装置のペアリング部により、前記第１データを構成する各データにおける関連するデータ同士のペアリングおよび前記第２データを構成する各データにおける関連するデータ同士のペアリングを行なうことと、
    　前記データ転移装置のデータ分類部により、前記第１データを構成する各データへの前記ペアリングの結果に対するクラスタリングから複数の第１データクラスタを生成し、前記第２データを構成する各データへの前記ペアリングの結果に対するクラスタリングから複数の第２データクラスタを生成することと、
    　前記データ転移装置の転移判断部により、複数の前記第１データクラスタと複数の前記第２データクラスタとを組み合わせてクラスタリングすることにより、複数の第３データクラスタを生成し、少なくとも１つの前記第１データクラスタを含む前記第３データクラスタを抽出することと、
    　を備えるデータ転移方法。
  6. 　前記第１データと前記第２データは、単語を含むテキストにより表されたデータであって、
    　前記ペアリング部は、
    　　前記第１データを構成する各単語における関連する単語同士のペアリングおよび前記第２データを構成する各単語における関連する単語同士のペアリングを行なう、
    　請求項５記載のデータ転移方法。
  7. 　前記ペアリング部は、
    　　前記第１データを構成する各データにおける、意味が同じまたは類似して表現が異なるデータ同士のペアリングおよび前記第２データを構成する各データにおける、意味が同じまたは類似して表現が異なるデータ同士のペアリングを行なう、
    　請求項５記載のデータ転移方法。
  8. 　コンピュータを、請求項１乃至請求項４のいずれか１項記載のデータ転移装置として機能させるコンピュータプログラム。
PCT/JP2023/024938 2023-07-05 2023-07-05 データ転移装置、方法およびプログラム Ceased WO2025009102A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2025530888A JPWO2025009102A1 (ja) 2023-07-05 2023-07-05
PCT/JP2023/024938 WO2025009102A1 (ja) 2023-07-05 2023-07-05 データ転移装置、方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2023/024938 WO2025009102A1 (ja) 2023-07-05 2023-07-05 データ転移装置、方法およびプログラム

Publications (1)

Publication Number Publication Date
WO2025009102A1 true WO2025009102A1 (ja) 2025-01-09

Family

ID=94171785

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/024938 Ceased WO2025009102A1 (ja) 2023-07-05 2023-07-05 データ転移装置、方法およびプログラム

Country Status (2)

Country Link
JP (1) JPWO2025009102A1 (ja)
WO (1) WO2025009102A1 (ja)

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
FUMIKA ASAI , DI LI , NORIO YAMAMOTO , SHUNSUKE KANAI , HARUHISA NOZUE , KENICHI TAYAMA: " A Study of the Resolution of the Notation Fluctuation in Action History Information Using Network Failure History Data.", INSTITUTE OF ELECTRONICS INFORMATION AND COMMUNICATION ENGINEERS (DENSHI JOUHOU TSUUSHIN GAKKAI TUUSHIN SOSAIETI TAIKAI KOUEN ROMBUNSHUU) [LECTURE PROCEEDINGS 2 OF THE COMMUNICATION SOCIETY CONFERENCE OF IEICE], DENSHI JOUHOU TSUUSHIN GAKKAI; IEICE, , no. B-14-4, 31 August 2021 (2021-08-31), JP , pages 178, XP009560040, ISSN: 1349-1415 *
LI DI, HARUHISA NOZUE, NORIO YAMAMOTO, KENICHI TAYAMA: "Study on data clustering efficiency for the shortage of training data for network failure response AI", IEICE TECHNICAL REPORT, ICM, IEICE, JP, vol. 122, no. 96 (ICM2022-21), 9 August 2022 (2022-08-09), JP, pages 60 - 65, XP009559003 *
MINGSHENG LONG ; WEI CHENG ; XIAOMING JIN ; JIANMIN WANG ; DOU SHEN: "Transfer Learning via Cluster Correspondence Inference", DATA MINING (ICDM), 2010 IEEE 10TH INTERNATIONAL CONFERENCE ON, IEEE, PISCATAWAY, NJ, USA, 13 December 2010 (2010-12-13), Piscataway, NJ, USA , pages 917 - 922, XP031854330, ISBN: 978-1-4244-9131-5 *

Also Published As

Publication number Publication date
JPWO2025009102A1 (ja) 2025-01-09

Similar Documents

Publication Publication Date Title
JP7170779B2 (ja) 自動的な意図のマイニング、分類、及び配置のための方法及びシステム
US11727203B2 (en) Information processing system, feature description method and feature description program
CN109726066B (zh) 用于标识存储系统中的问题部件的方法和设备
US9792275B2 (en) Natural language processing (NLP) interfacing with devices
US20180075235A1 (en) Abnormality Detection System and Abnormality Detection Method
JP5984149B2 (ja) ソフトウェアを更新する装置及び方法
US11893048B1 (en) Automated indexing and extraction of multiple information fields in digital records
US11157707B2 (en) Natural language response improvement in machine assisted agents
WO2020005769A1 (en) Visualization of user intent in virtual agent interaction
CN110442877B (zh) 使用机器人规划作为平行语言语料库
JP7430625B2 (ja) バージョン検証装置、バージョン検証システム及びバージョン検証方法
CN114792089A (zh) 用于管理计算机系统的方法、设备和程序产品
US20210133390A1 (en) Conceptual graph processing apparatus and non-transitory computer readable medium
US12450295B2 (en) Expediting automated near-duplicate detection for new text documents
KR102691044B1 (ko) 이기종 네트워크 장비들을 위한 장애 경보 분류 장치 및 방법
EP4404083A1 (en) Automated indexing and extraction of information in digital documents
US10614100B2 (en) Semantic merge of arguments
US20200387505A1 (en) Information processing system, feature description method and feature description program
CN115033701B (zh) 文本向量生成模型训练方法、文本分类方法及相关装置
US11461672B2 (en) Plug-and-ingest framework for question answering systems
WO2025009102A1 (ja) データ転移装置、方法およびプログラム
JP2015118562A (ja) スクリプト管理プログラム、スクリプト管理装置及びスクリプト管理方法
US20230344858A1 (en) Method and system for automatically classifying an entity based on network features
WO2024236702A1 (ja) データ転移装置、データ転移方法及びコンピュータプログラム
US20260075073A1 (en) Automated network infrastructure diagnostic operations using generative artificial intelligence

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23944353

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2025530888

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2025530888

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE