WO2021131324A1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents
情報処理装置、情報処理方法、及びプログラム Download PDFInfo
- Publication number
- WO2021131324A1 WO2021131324A1 PCT/JP2020/040861 JP2020040861W WO2021131324A1 WO 2021131324 A1 WO2021131324 A1 WO 2021131324A1 JP 2020040861 W JP2020040861 W JP 2020040861W WO 2021131324 A1 WO2021131324 A1 WO 2021131324A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- structural formula
- component
- information
- compound
- information processing
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16C—COMPUTATIONAL CHEMISTRY; CHEMOINFORMATICS; COMPUTATIONAL MATERIALS SCIENCE
- G16C20/00—Chemoinformatics, i.e. ICT specially adapted for the handling of physicochemical or structural data of chemical particles, elements, compounds or mixtures
- G16C20/40—Searching chemical structures or physicochemical data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
- G06V30/194—References adjustable by an adaptive method, e.g. learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
- G06V30/42—Document-oriented image-based pattern recognition based on the type of document
- G06V30/422—Technical drawings; Geographical maps
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16C—COMPUTATIONAL CHEMISTRY; CHEMOINFORMATICS; COMPUTATIONAL MATERIALS SCIENCE
- G16C20/00—Chemoinformatics, i.e. ICT specially adapted for the handling of physicochemical or structural data of chemical particles, elements, compounds or mixtures
- G16C20/70—Machine learning, data mining or chemometrics
Definitions
- the present invention relates to an information processing device, an information processing method, and a program, and more particularly to an information processing device, an information processing method, and a program that enable a searchable structural formula of a compound represented as an image.
- Patent Document 1 recognizes a pattern of character information (for example, atoms constituting a chemical substance) in a chemical structure diagram, and performs diagram information (for example, bonds between atoms) of the chemical structure diagram as a predetermined algorithm. Recognized by.
- Patent Document 2 reads an image of the structural formula of a compound, assigns a value indicating an atomic symbol attribute to a pixel indicating an atomic symbol in the image, and couples the pixel indicating a coupling symbol. Assign a value that indicates the attribute of the symbol.
- each component in the structural formula is identified from an image showing the structural formula of a certain compound
- the information about each identified component can be useful information when subsequently searching for the compound.
- the present invention has been made in view of the above circumstances, and solves the above-mentioned problems of the prior art. Specifically, regardless of how the structural formula is written, information processing capable of identifying each component of the structural formula from an image showing the structural formula and using the identification result for subsequent compound search. It is an object of the present invention to provide an apparatus, an information processing method, and a program.
- the information processing apparatus of the present invention is an information processing apparatus including a processor, and the processor is a feature amount of each region in a target image showing a structural formula of a target compound by an identification model.
- the processor is a feature amount of each region in a target image showing a structural formula of a target compound by an identification model.
- the constituent elements indicated by each region are identified based on the above, and the element information about the constituent elements in the structural formula of the identified target compound is stored in association with the target compound.
- the identification model was constructed by machine learning using a learning image showing one component in the structural formula of the compound.
- a discriminative model for deriving a common feature quantity from the plurality of learning images is a machine. It may be constructed by learning.
- the processor acquires the input information regarding the search compound, and based on the input information and the element information associated with the target compound, selects the target compound corresponding to the search compound from the target compounds in which the element information is stored. It is preferable to search.
- the processor calculates the similarity between the search compound and the target compound based on the input information and the element information stored in association with the target compound, and the element information is stored in the target compound. It is more preferable to search for a target compound whose similarity satisfies the search condition as a search compound.
- the processor acquire input information regarding the components contained in the structural formula of the search compound.
- the processor may identify the component indicated by each region in the target image by detecting the target image from the document including the target image and inputting the detected target image into the identification model.
- the processor detects the target image from the document by using the object detection algorithm.
- the element information may include information indicating the type of the component in the structural formula of the identified target compound. At this time, the element information may further include information indicating the arrangement position of the component in the structural formula of the identified target compound in the coordinate space set with respect to the target image.
- the information indicating the type of the component may be the information indicating the type of the atom corresponding to the component or the bond between the atoms.
- the information indicating the type of the component may be information indicating the chemical formula of the functional group corresponding to the component.
- the information indicating the type of the component may be information consisting of a part of the molecular fingerprint indicating the presence or absence of the component in the structural formula of the target compound for each type of the component.
- the above-mentioned purpose is indicated by each region among the constituent elements included in the structural formula of the target compound based on the feature amount of each region in the target image showing the structural formula of the target compound by the processor by the identification model.
- a step of identifying a component and a step of storing element information about the component in the structural formula of the identified target compound in association with the target compound are performed, and the identification model is performed in the structural formula of the compound. It can be achieved by an information processing method constructed by machine learning using a learning image showing one component. Further, a program for causing the processor to perform each step of the above information processing method can also be realized.
- each component of the structural formula can be identified from the image showing the structural formula regardless of how the structural formula is written, and the identification result can be used for the subsequent compound search.
- the present embodiment An information processing device, an information processing method, and a program according to an embodiment of the present invention (hereinafter referred to as "the present embodiment") will be described below with reference to the accompanying drawings.
- the following embodiments are merely examples for the purpose of explaining the present invention in an easy-to-understand manner, and do not limit the present invention. That is, the present invention is not limited to the following embodiments, and various improvements or modifications can be made without departing from the gist of the present invention. Also, of course, the present invention includes an equivalent thereof.
- document and image are electronic (data) documents and images, and are information (data) that can be processed by a computer. ..
- the information processing device of the present embodiment includes a processor, analyzes an image (target image) showing the structural formula of the target compound, and analyzes each component in the structural formula. Can be identified.
- the target compound is, for example, a compound whose structural formula is represented by an image in a document and whose components indicated by each region in the image are identified by an information processing apparatus.
- the image showing the structural formula is an image of a diagram showing the structural formula.
- equivalent description methods for describing the structural formula include abbreviation of the single bond of the hydrogen atom (H), omission of the notation of the carbon atom (C) of the skeleton, and abbreviation of the functional group. ..
- the diagram may change depending on how to draw (for example, the thickness and length of the bond line between atoms, the direction in which the bond line extends, etc.).
- the writing method of the structural formula includes the resolution of the image showing the structural formula.
- the constituent elements in the structural formula mean the atoms constituting the structural formula, the bond lines between the atoms, or a combination thereof.
- individual atoms constituting the structural formula for example, “Bend C” and “O” in FIG. 1
- individual bond lines for example, in FIG. 1).
- Double corresponds to the component.
- Each area of the image showing the structural formula is a part of the image showing the components in the structural formula, for example, a rectangular area surrounding the components (see the right figure in FIG. 1). In this embodiment, it is assumed that one component is included in each area. That is, in the image showing the structural formula, there are a number of regions corresponding to the components included in the structural formula.
- the information processing device performs machine learning using one component in the structural formula of the compound (specifically, label information of the component) and a learning image showing one component as a learning data set.
- This machine learning builds a discriminative model.
- the discriminative model is a model that identifies the constituent elements indicated by each region among the constituent elements in the structural formula based on the feature amount of each region of the image showing the structural formula of the compound. The discriminative model will be described in detail in a later section.
- the information processing device has a function of detecting an image (target image) from a document containing an image showing the structural formula of the compound.
- the detected target image is input to the above discriminative model. Thereby, each component in the structural formula of the compound (target compound) shown in the target image is identified.
- the information processing device acquires element information for each component in the identified target compound.
- the element information includes information indicating the type of the identified component and information indicating the arrangement position of the component.
- the information indicating the type of the component is the information indicating the type of the atom or the bond between the atoms corresponding to the component, and in the case of the compound shown in FIG. 1, "Bend C” and “O". And "Double” are applicable.
- the information indicating the arrangement position of the component is the arrangement position of the component in the coordinate space set for the target image (for example, the two-dimensional coordinate space in which the horizontal direction of the target image is the X direction and the vertical direction is the Y direction). This is information indicating.
- the reference position for example, the upper left vertex position
- the representative position and size of the rectangular area surrounding the component for example, the length in each of the X and Y directions
- S are expressed in pixel units.
- Element information is acquired for each of a plurality of constituent elements included in the structural formula of the target compound.
- the acquired element information is stored in association with the target compound, and is stored, for example, in a state of being associated with a document or the like on which an image showing the structural formula of the target compound is posted, as shown in FIG.
- the information indicating the type of the component is automatically acquired by identifying each component in the structural formula by the identification model. Further, among the element information, the information indicating the arrangement position of the component is automatically acquired by analyzing the image including the area indicating the component (that is, the target image).
- the information processing device repeatedly executes the above series of processes (specifically, image detection from a document, identification of each component in a structural formula, acquisition and storage of element information) for various target compounds.
- image detection from a document identification of each component in a structural formula, acquisition and storage of element information
- element information about each component in the structural formula of the target compound is accumulated.
- a database in which element information is recorded for each target compound is constructed (see FIG. 2).
- the information processing device has a function of searching for a target compound of a target (target), that is, a target compound corresponding to the search compound, using the element information stored in the database as a search key.
- a target compound of a target that is, a target compound corresponding to the search compound
- the user performing the search inputs image information indicating the structural formula of the search compound.
- the information processing device acquires the image information as input information, and based on the acquired input information and the element information stored in the database, the target compound in which the element information is stored is the target corresponding to the search compound. Search for compounds.
- an image of the structural formula of the compound contained in a document such as a paper or a patent specification is detected, and information (elements) about each component in the structural formula shown by the image is detected.
- Information can be created in a database. Then, by using the database, the target compound can be easily searched. This makes it possible to easily find, for example, a document containing an image showing the structural formula of the target compound.
- the discriminative model used in the present embodiment (hereinafter referred to as the discriminative model M1) will be described.
- the discrimination model M1 is a model for identifying each component included in the structural formula from an image (target image) showing the structural formula of the target compound. As shown in FIG. 3, the discriminative model M1 of the present embodiment is composed of a feature amount derivation model Ma and a component output model Mb.
- the feature amount derivation model Ma is a model that derives the feature amount of each region of the target image by inputting the target image.
- the feature amount derivation model Ma is configured by, for example, a convolutional neural network (CNN) having a convolutional layer and a pooling layer in the intermediate layer.
- CNN models include a 16-layer CNN (VGG16) of Oxford visual geometry group, an Inception model (GoogleLeNet) of Google, a 152-layer CNN (Resnet) of Kaiming He, and a 152-layer CNN (Resnet) of Kaiming He. ).
- each region in the target image is specified. Specifically, each component included in the structural formula shown by the target image is detected, and a region surrounding each of the detected components is specified for each component. Such a region-specific function is installed in the feature amount derivation model Ma by machine learning described later.
- the feature amount of the image output from the feature amount derivation model Ma is the learning feature amount in the convolutional neural network CNN, and is the feature amount specified in the process of general image recognition (pattern recognition). Then, the feature amount of each region derived by the feature amount derivation model Ma is input to the component output model Mb for each region.
- the component output model Mb the feature amount of each region derived by the feature quantity derivation model Ma is input for each region, and for each region, the component element corresponding to the feature quantity (for example, the component element) This is a model that outputs (type) for each area.
- the component output model Mb is configured by, for example, a neural network (NN).
- the component output model Mb specifies a plurality of candidates (component candidates) for each area when outputting the component corresponding to the feature amount of each area of the target image.
- a softmax function (softmax) is applied to a plurality of candidates specified for each region, and an output probability is calculated for each candidate.
- the output probability is a numerical value indicating the certainty (accuracy) corresponding to the component indicated by each region for each of the plurality of candidates.
- the total of n output probabilities (n is a natural number) to which the softmax function is applied is 1.0.
- the component output model Mb outputs a candidate determined according to the output probability, for example, a candidate having the highest output probability among a plurality of candidates specified for each area, as a component indicated by each area.
- each component in the structural formula shown by the target image is based on the output probability of each candidate from the plurality of candidates specified based on the feature amount of each region of the target image. It can be decided.
- the discriminative model M1 (in other words, each of the above two models Ma and Mb) described above is a learning image showing one component in the structural formula of the compound and a label (correct label) of the component. ) And is a training data set, and it is constructed by machine learning using a plurality of training data sets.
- the number of learning data sets used for machine learning should be large, preferably 50,000 or more, from the viewpoint of improving the learning accuracy.
- machine learning is supervised learning
- the method is deep learning (that is, a multi-layer neural network), but the method is not limited thereto.
- the type (algorithm) of machine learning may be unsupervised learning, semi-supervised learning, reinforcement learning, or transduction.
- the machine learning technique may be genetic programming, inductive logic programming, support vector machine, clustering, Bayesian network, extreme learning machine (ELM), or decision tree learning.
- ELM extreme learning machine
- the gradient descent method may be used, or the error backpropagation method may be used as a method of minimizing the objective function (loss function) in the machine learning of the neural network.
- a plurality of learning images showing components having the same chemical structure but different description styles may be used. For example, as shown in FIG. 4, when a certain component (hexylene group is shown in FIG. 4) is described in an equivalent description format, machine learning is performed using a learning image prepared for each description format. Can be assumed. Alternatively, it may be assumed that machine learning is performed using a plurality of learning images showing components having the same chemical structure but different thickness, length, or orientation of bond lines between atoms.
- the discriminative model M1 (strictly speaking, the feature amount derivation model Ma) that derives a common feature amount from a plurality of learning images is constructed by machine learning. For example, supervised learning is performed with the same label (correct label) of "hexylene group" for each of the learning images showing two hexylene groups shown in FIG. 4 having different description styles. As a result, a discriminative model M1 capable of deriving a common feature quantity from a learning image showing two hexylene groups having different description styles and outputting the same component (hexylene group) from each image is constructed. To.
- the information processing device 10 is a computer in which a processor 11, a memory 12, an external interface 13, an input device 14, an output device 15, and a storage 16 are electrically connected to each other.
- the information processing device 10 is composed of one computer, but the information processing device 10 may be composed of a plurality of computers.
- the processor 11 is configured to execute a program 21 described later and perform a process for exerting the functions of the information processing device 10 described above.
- the processor 11 is composed of one or a plurality of CPUs (Central Processing Units) and a program 21 described later.
- CPUs Central Processing Units
- the hardware processor constituting the processor 11 is not limited to the CPU, but is limited to the CPU, FPGA (Field Programmable Gate Array), DSP (Digital Signal Processor), ASIC (Application Specific Integrated Circuit), GPU (Graphics Processing Unit), MPU (Micro- It may be a Processing Unit) or another IC (Integrated Circuit), or a combination thereof. Further, the processor 11 may be one IC (Integrated Circuit) chip that exerts the functions of the entire information processing device 10 as represented by SoC (System on Chip) and the like.
- SoC System on Chip
- the hardware processor described above may be an electric circuit (Circuitry) in which circuit elements such as semiconductor elements are combined.
- the memory 12 is composed of semiconductor memories such as ROM (Read Only Memory) and RAM (Random Access Memory), and provides a work area to the processor 11 by temporarily storing programs and data, and the processor 11 executes the memory 12. Various data generated by the processing is also temporarily stored.
- ROM Read Only Memory
- RAM Random Access Memory
- the memory 12 stores a program 21 for making the computer function as the information processing device 10 of the present embodiment.
- the program 21 includes the following programs p1 to p5.
- p1 Program for constructing the identification model M1 by machine learning
- p2 Program for detecting the target image from the document on which the target image is posted
- p3 For identifying each component in the structural formula indicated by the target image
- Program p4 Program for storing element information about the identified component p5: Program for searching the target compound corresponding to the search compound from the target compounds in which the element information is stored.
- the program 21 may be acquired by reading it from a computer-readable recording medium, or may be acquired by receiving (downloading) it through a network such as the Internet or an intranet.
- the external interface 13 is an interface for connecting to an external device.
- the information processing device 10 communicates with an external device, for example, a scanner or another computer on the Internet via the external interface 13. Through such communication, the information processing apparatus 10 can acquire data for machine learning and also acquire a document on which a target image is posted.
- the input device 14 includes, for example, a mouse and a keyboard, and accepts a user's input operation.
- the information processing device 10 can acquire data for machine learning, for example, by a user drawing a component through the input device 14. Further, when searching for a target compound corresponding to the search compound, the user operates the input device 14 to input information about the search compound. As a result, the information processing apparatus 10 can acquire input information regarding the search compound.
- the output device 15 is, for example, a device including a display, a speaker, or the like, for displaying a target compound searched based on input information (that is, a target compound corresponding to the search compound) or reproducing a voice. Further, the output device 15 can output the element information stored for each target compound in the database.
- the storage 16 includes, for example, a flash memory, HDD (Hard Disc Drive), SSD (Solid State Drive), FD (Flexible Disc), MO disk (Magneto-Optical disc), CD (Compact Disc), DVD (Digital Versatile Disc). , SD card (Secure Digital card), USB memory (Universal Serial Bus memory), etc.
- Various data including data for machine learning are stored in the storage 16. Further, the storage 16 also stores various models constructed by machine learning, including the identification model M1.
- element information about each component in the structural formula of the target compound identified by the identification model M1 is stored in association with the target compound.
- the element information database 22 shown in FIG. 2 is constructed in the storage 16.
- the database 22 stores element information about each component included in the structural formula of the target compound, specifically, the type and arrangement position of the component for each target compound.
- the type of the component stored in the database 22 is the type of the component having the highest output probability calculated by the discriminative model M1, and the output probability (“accuracy” in the figure). Notation) is memorized together.
- the arrangement position of the component stored in the database 22 is a position represented in the coordinate space with the reference position of the target image as the origin. For example, the representative position of the rectangular area surrounding the component and the length in the X direction. It is represented by the length in the Y direction.
- the element information for each component in the structural formula of the target compound is stored in association with the information related to the document in which the image (target image) showing the structural formula is posted.
- Information about the document includes, for example, the title of the article when the document is a treatise, the issue number of the issue when the document is a gazette, and the page on which the target image is posted in the document and its placement position on the page. And so on.
- the storage 16 is a device built in the information processing device 10, but the storage 16 is not limited to this, and the storage 16 is an external device connected to the information processing device 10. It may be included. Further, the storage 16 may include an external computer (for example, a server computer for a cloud service) that is communicably connected via a network. In this case, a part or all of the above-mentioned database 22 may be stored in an external computer constituting the storage 16.
- an external computer for example, a server computer for a cloud service
- the hardware configuration of the information processing device 10 is not limited to the above configuration, and constituent devices can be added, omitted, or replaced as appropriate according to a specific embodiment.
- the information processing flow of the present embodiment proceeds in the order of the learning phase S001, the database construction phase S002, and the search phase S003. Each phase will be described below.
- the learning phase S001 is a phase in which machine learning is performed in order to build a model required in the subsequent phases.
- the first machine learning S011, the second machine learning S012, and the third machine learning S013 are carried out.
- the first machine learning S011 is machine learning for constructing the discriminative model M1, and is carried out using a learning image showing one component of the structural formula of the compound as described above.
- supervised learning is carried out as the first machine learning S011.
- a learning image and a label (correct answer label) of one component indicated by the learning image are used.
- the discriminative model M1 (strictly speaking, the feature amount derivation model Ma) for deriving a common feature amount from a plurality of learning images is constructed.
- the second machine learning S012 is machine learning for constructing a model (hereinafter referred to as an image detection model) for detecting the image from a document in which an image showing the structural formula of the compound is posted.
- the image detection model is a model for detecting an image of a structural formula from a document by using an object detection algorithm.
- R-CNN Region-based CNN
- Fast R-CNN Fast R-CNN
- YOLO You only Look Once
- SDD Single Shot Multibox Detector
- the learning data (teacher data) used for the second machine learning S012 is created by applying an annotation tool to a learning image showing the structural formula of the compound.
- the annotation tool is a tool that adds related information such as a correct label (tag) and coordinates of an object to the target data as annotations.
- Learning data is created by starting the annotation tool, displaying the document containing the learning image, surrounding the area showing the structural formula of the compound with a bounding box, and annotating that area.
- the annotation tool for example, labeImg manufactured by tzutalin, VoTT manufactured by Microsoft, and the like can be used.
- an image detection model which is an object detection model in the YOLO format is constructed.
- the third machine learning S013 is machine learning for constructing a model (hereinafter referred to as a search model) for searching a target compound corresponding to a search compound from a plurality of target compounds in which element information is stored in the database 22. is there.
- the search model of the present embodiment is a model for searching as a search compound a target compound having the same or similar structural formula as the search compound among the target compounds whose element information is stored in the database 22.
- the input information is information about each component included in the structural formula of the search compound, and is, for example, image information indicating the structural formula of the search compound.
- the input information may be other information as long as it can specify at least a part of the structural formula of the search compound (that is, information that can be a key when searching the search compound in the database 22). Good.
- it may be image information showing some components in the structural formula of the search compound.
- information corresponding to the element information (for example, information indicating the type of the component in the structural formula and the arrangement position of the component in the structural formula) may be used as the input information.
- a part or all of the structural formula of the search compound may be drawn by known structural formula drawing software such as ChemDraw (registered trademark) and RDKit, and the drawing data may be used as input information.
- the search model is composed of a search compound specific model and a similarity evaluation model.
- the search compound specific model is a model that specifies the structural formula of the search compound indicated by the input information.
- image information as input information is input to the search compound specific model, information about each component in the structural formula indicated by the image information (for example, the type of each component and the arrangement position in the structural formula).
- Information indicating is output.
- the search compound specific model the above-mentioned discrimination model M1 may be diverted, and transfer learning may be performed as machine learning in that case.
- the similarity evaluation model evaluates the similarity between the structural formula of the search compound specified by the search compound specific model and the structural formula of the target compound in which the element information of each component is stored in the database 22.
- the similarity is evaluated based on the element information about the constituent elements included in the structural formula of the search compound and the element information about the constituent elements included in the structural formula of the target compound.
- the algorithm of the similarity evaluation model is not particularly limited, but for example, a known algorithm for evaluating the similarity between images or the calculation degree between texts can be used.
- a known algorithm for evaluating the similarity between images or the calculation degree between texts can be used.
- an algorithm can be used that vectorizes the element information about the constituent elements included in the structural formula and calculates the similarity between the vectors by an index such as the Euclidean distance.
- the degree of similarity is high among a plurality of structural formulas written in different description formats for the same chemical substance. This is because, in the structural formulas described in different description formats for the same compound, the writing method of each functional group (for example, the direction of the bond line, etc.) and the position of each atom in each structural formula change. In consideration of such a difference, it is preferable to increase the similarity between the structural formulas described in different description styles for the same compound. For example, for each of a plurality of structural formulas recorded in the database 22 and described in different description formats for the same compound, the same label (correct label) may be attached and a similarity evaluation model may be constructed for machine learning. Good.
- the similarity evaluation method is not limited to the machine learning method.
- each component in the structural formula is collated between the search compound and the target compound according to a predetermined collation rule, and the collation is performed. Similarity may be evaluated based on the results.
- the target compound in which the element information of each component is stored in the database 22 may be clustered based on the element information, and the similarity may be evaluated by specifying the cluster to which the search compound belongs.
- the third machine learning S013 is carried out by using the element information about each component in the structural formula stored in the database 22 for each target compound and the learning information about the structural formula of the compound.
- the learning information is, for example, information indicating the type and arrangement position of each component in the structural formula of the compound selected for the third machine learning S013. Then, by carrying out the third machine learning, the above-mentioned search model is constructed.
- the database construction phase S002 is a phase in which the structural formula of the target compound indicated by the image (target image) included in the document is stored and the element information for each component in the structural formula is stored to construct the database 22.
- the processor 11 of the information processing device 10 applies the above-mentioned image detection model to the document including the target image, and detects the target image in the document (S021). That is, in this step S021, the processor 11 detects the target image from the document by using the object detection algorithm (specifically, YOLO).
- the object detection algorithm specifically, YOLO
- the processor 11 has a plurality of target images from the above document (in FIG. 7, a portion surrounded by a broken line). Image) is detected.
- the processor 11 identifies each component in the structural formula of the target compound based on the feature amount of each region of the target image by the identification model M1 (S023). Specifically, the processor 11 inputs the target image detected in step S021 into the identification model M1. Of the discriminative model M1, the feature amount derivation model Ma in the previous stage outputs the feature amount of each region of the target image. In the component output model Mb in the subsequent stage, the component (strictly speaking, the type of component) is output based on the input feature amount of each area. At this time, a plurality of candidate components corresponding to each region are specified based on the feature amount of each region, and the output probability is calculated for each candidate.
- the component output model Mb outputs the candidate having the highest output probability as the component indicated by each area.
- the structural formula indicated by the target image that is, the structural formula of the target compound
- step S021 the processor 11 inputs the detected plurality of target images into the identification model M1 for each target image. As a result, for each of the plurality of target images, each component in the structural formula of the target compound indicated by the target image is identified.
- the processor 11 acquires element information for each component in the structural formula of the identified target compound, and stores the acquired element information (S023). At this time, the processor 11 stores the element information for each component in association with the target compound including each component in the structural formula.
- the element information for each component is stored in association with the information of the document in which the image (target image) of the structural formula composed of each component is posted (see FIG. 2). ..
- Step S023 is repeated each time each component in the structural formula of the new target compound is identified.
- the element information for each component in the structural formula of the target compound is accumulated, and the element information database 22 is constructed.
- the target compound whose element information is stored in the database 22 can be searched using the element information as a key in the later search phase S003.
- the search phase S003 is a phase for searching for a target compound corresponding to the search compound from the target compounds whose element information is stored in the database 22.
- a "search compound” is a compound that is a search target and information about a part or all of its structural formula is acquired as input information when a search is performed.
- the processor 11 of the information processing device 10 acquires the input information regarding the search compound (S031).
- the processor 11 acquires information about each component included in the structural formula of the search compound as input information. Examples of such information include image information showing the structural formula of the search compound.
- the processor 11 After acquiring the input information, the processor 11 searches for the target compound corresponding to the search compound from the target compounds whose element information is stored in the database 22 by the above-mentioned search model (S032). Specifically, the processor 11 has a similarity between the search compound and the target compound based on the input information acquired by the search model and the element information stored in association with the target compound in the database 22. Is calculated. In the present embodiment, the similarity of the structural formula is calculated between the search compound indicated by the input information and the target compound whose element information is stored in the database 22.
- the processor 11 searches (selects) as a search compound a target compound whose calculated similarity satisfies the search condition from the target compounds whose element information is stored in the database 22.
- the search condition is a condition determined in advance for selecting a target compound corresponding to the search compound based on the calculation result of the similarity.
- a predetermined number of target compounds are searched as search compounds in descending order of similarity.
- the present invention is not limited to this, and for example, only the target compound having the highest degree of similarity may be searched for as the search compound.
- a target compound having a similarity equal to or higher than a reference value may be searched for as a search compound.
- the processor 11 outputs the information of the searched target compound by the output device 15, and displays the search result on the screen as shown in FIG. 8, for example.
- Examples of the searched information on the target compound include a document and a page on which an image showing the structural formula of the target compound is posted. Further, as shown in FIG. 8, it is preferable to output the search result of the target compound and the similarity between the searched target compound and the search compound.
- partial structure information indicating a part of the constituent elements included in the structural formula of the search compound (hereinafter, referred to as "partial structure" for convenience) is acquired.
- the target compound containing the partial structure is searched as the search compound.
- the degree of similarity between the partial structure included in the structural formula and the partial structure indicated by the input information is calculated.
- a predetermined number of target compounds are searched as search compounds in descending order of similarity.
- the information processing device 10 of the present embodiment uses the discrimination model M1 constructed by the first machine learning S011 and has a structure based on the feature amount of each region in the image (target image) showing the structural formula of the target compound. Each component in the formula can be identified. Further, the information processing apparatus 10 of the present embodiment stores element information about the identified component in association with the target compound, and constructs the database 22. The element information stored in the database 22 can be used as a search key when searching for the target compound thereafter.
- each component in the structural formula can be identified from the feature amount of each region of the target image by using the identification model M1 which is the result of machine learning. That is, in the present embodiment, even if the writing method of the structural formula is changed, the feature amount of each region of the image showing the structural formula is specified, and if the feature amount can be specified, the component is determined (identified) from the feature amount. )Is possible. Then, since the element information about the identified component is stored in association with the target compound and stored in a database, the target compound can be searched by using the element information as a search key thereafter. ..
- each component in the structural formula can be satisfactorily identified even when the writing method of the structural formula of the target compound is changed. Then, the target compound can be appropriately searched by using the element information for each identified component as a search key.
- the computer constituting the information processing device is a server used for ASP (Application Service Provider), SaaS (Software as a Service), PaaS (Platform as a Service), IaaS (Infrastructure as a Service), or the like. You may.
- ASP Application Service Provider
- SaaS Software as a Service
- PaaS PaaS
- IaaS Infrastructure as a Service
- a user who uses a service such as the ASP operates a terminal (not shown) to transmit input information regarding the search compound to the server.
- the server When the server receives the input information, the server searches for the target compound corresponding to the search compound from the target compounds in which the element information is stored based on the input information. Then, the server outputs (transmits) information about the search result (that is, the target compound corresponding to the search compound) to the user's terminal. On the user side, the information sent from the server (that is, the search result) is displayed or the voice is reproduced.
- a functional group (atomic group) containing a plurality of atoms may be a constituent element.
- the information indicating the type of the component may be the information indicating the chemical formula of the functional group corresponding to the component.
- a plurality of functional groups adjacent to each other may be used as a component, or each fragment when the structural formula is divided according to an arbitrary rule may be used as a component.
- the information indicating the type of the component element may be information consisting of a part of the molecular fingerprint about the structural formula of the target compound.
- the molecular fingerprint is a binary multidimensional vector that indicates the presence or absence of a component in the structural formula for each type of component. For example, for the functional group shown on the left side of FIG. 9, the molecular fingerprint shown on the right side of FIG. 9 is set.
- machine learning (first to third machine learning) for constructing various models is performed by the information processing device 10, but the present invention is not limited to this. Some or all machine learning may be performed by another device (computer) different from the information processing device 10.
- the information processing device 10 acquires a model constructed by machine learning performed by another device. For example, when the first machine learning is performed by another device, the information processing device 10 acquires the identification model M1 from the other device, and each of the structural formulas shown by the target image is obtained by the acquired identification model M1. Identify the component.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Crystallography & Structural Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Library & Information Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Medical Informatics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
構造式を示す画像から構造式の各構成要素を識別し、その識別結果を以後の化合物検索に利用することが可能な情報処理装置、情報処理方法、及びプログラムを提供する。 プロセッサを備える情報処理装置であって、プロセッサは、識別モデルにより、対象化合物の構造式を示す対象画像中の各領域の特徴量に基づき、対象化合物の構造式中の構成要素のうち、各領域が示す構成要素を識別し、識別された対象化合物の構造式中の構成要素についての要素情報を、対象化合物と関連付けて記憶する。識別モデルは、化合物の構造式中の一つの構成要素を示す学習用画像を用いた機械学習によって構築されたモデルである。
Description
本発明は、情報処理装置、情報処理方法、及びプログラムに係り、特に、画像として表された化合物の構造式を検索可能とする情報処理装置、情報処理方法、及びプログラムに関する。
化合物の構造式が画像データとして取り扱われるケースは、多数あり、例えばインターネット上で公開されたり、文書データに組み込まれたりする。ただし、画像データとして取り扱われる化合物の構造式は、通常の検索方法では検索するのが困難である。
一方、画像が示す化合物の構造式を検索可能とするために、コンピュータによる自動認識技術を利用して、化合物の構造式の画像から構造式を認識する技術が開発されている。具体例として、特許文献1及び2に記載の技術が挙げられる。
特許文献1に記載の技術は、化学構造図中の文字情報(例えば、化学物を構成する原子)をパターン認識し、化学構造図の線図情報(例えば、原子間の結合)を所定のアルゴリズムによって認識する。
特許文献1に記載の技術は、化学構造図中の文字情報(例えば、化学物を構成する原子)をパターン認識し、化学構造図の線図情報(例えば、原子間の結合)を所定のアルゴリズムによって認識する。
特許文献2に記載の技術は、化合物の構造式の画像を読み込み、画像中、原子記号を示す画素に対して、原子記号の属性を示す値を割り当て、結合記号を示す画素に対して、結合記号の属性を示す値を割り当てる。
特許文献1及び2に記載の技術では、化合物の構造式を示す画像の各領域と、各領域が示す構造式中の構成要素との対応関係をルール化する。そして、そのルールに従って、画像が示す構造式中の各構成要素を識別する。
しかしながら、構造式の記載様式には等価な様式が複数あり、また、構造式中の太さ及び向き等は、書き方次第で変わり得る。その場合、構造式の書き方の違いに対応するために、様々な書き方にて記載された構造式中の各構成要素を識別するルールを、数多く用意しておく必要がある。識別ルールが準備されていない書き方にて記載された構造式については、その中に含まれる各構成要素を識別することが困難となる。
しかしながら、構造式の記載様式には等価な様式が複数あり、また、構造式中の太さ及び向き等は、書き方次第で変わり得る。その場合、構造式の書き方の違いに対応するために、様々な書き方にて記載された構造式中の各構成要素を識別するルールを、数多く用意しておく必要がある。識別ルールが準備されていない書き方にて記載された構造式については、その中に含まれる各構成要素を識別することが困難となる。
一方、ある化合物の構造式を示す画像から当該構造式中の各構成要素を識別した場合、識別された各構成要素についての情報は、その後に上記化合物を検索する際に有用な情報となり得る。
本発明は、上記の事情に鑑みてなされたものであり、上述した従来技術の問題点を解決するものである。具体的には、構造式の書き方に関わらず、構造式を示す画像から当該構造式の各構成要素を識別することができ、その識別結果を以後の化合物検索に利用することが可能な情報処理装置、情報処理方法、及びプログラムを提供することを目的とする。
上記の目的を達成するために、本発明の情報処理装置は、プロセッサを備える情報処理装置であって、プロセッサは、識別モデルにより、対象化合物の構造式を示す対象画像中の各領域の特徴量に基づき、対象化合物の構造式中の構成要素のうち、各領域が示す構成要素を識別し、識別された対象化合物の構造式中の構成要素についての要素情報を、対象化合物と関連付けて記憶し、識別モデルが、化合物の構造式中の一つの構成要素を示す学習用画像を用いた機械学習によって構築されたことを特徴とする。
また、機械学習において、化学構造が同一であり記載様式が異なる構成要素を示す複数の学習用画像が用いられた場合には、複数の学習用画像から共通の特徴量を導出する識別モデルが機械学習によって構築されてもよい。
また、プロセッサは、検索化合物に関する入力情報を取得し、入力情報と、対象化合物と関連付けられた要素情報とに基づき、要素情報が記憶された対象化合物の中から、検索化合物に該当する対象化合物を検索するのが好ましい。
上記の構成において、プロセッサは、入力情報と、対象化合物と関連付けて記憶された要素情報とに基づき、検索化合物と対象化合物との間の類似度を算出し、要素情報が記憶された対象化合物の中から、類似度が検索条件を満たす対象化合物を検索化合物として検索すると、より好適である。
さらに、プロセッサは、検索化合物の構造式中に含まれる構成要素に関する入力情報を取得すると、より一層好適である。
また、プロセッサは、対象画像を含む文書から対象画像を検出し、検出された対象画像を識別モデルに入力することにより、対象画像中の各領域が示す構成要素を識別してもよい。
上記の構成において、プロセッサは、オブジェクト検出アルゴリズムを利用して文書から対象画像を検出すると、より好適である。
また、要素情報は、識別された対象化合物の構造式中の構成要素の種類を示す情報を含んでもよい。このとき、要素情報は、識別された対象化合物の構造式中の構成要素の、対象画像に対して設定された座標空間での配置位置を示す情報を更に含んでもよい。
上記の構成において、構成要素の種類を示す情報は、構成要素に該当する原子又は原子間の結合の種類を示す情報であってもよい。
あるいは、構成要素の種類を示す情報が、構成要素に該当する官能基の化学式を示す情報であってもよい。
あるいは、構成要素の種類を示す情報が、対象化合物の構造式における構成要素の有無を構成要素の種類毎に示す分子フィンガープリントの一部からなる情報であってもよい。
あるいは、構成要素の種類を示す情報が、構成要素に該当する官能基の化学式を示す情報であってもよい。
あるいは、構成要素の種類を示す情報が、対象化合物の構造式における構成要素の有無を構成要素の種類毎に示す分子フィンガープリントの一部からなる情報であってもよい。
また、前述の目的は、プロセッサが、識別モデルにより、対象化合物の構造式を示す対象画像中の各領域の特徴量に基づき、対象化合物の構造式に含まれる構成要素のうち、各領域が示す構成要素を識別するステップと、識別された対象化合物の構造式中の構成要素についての要素情報を、対象化合物と関連付けて記憶するステップと、を実施し、識別モデルが、化合物の構造式中の一つの構成要素を示す学習用画像を用いた機械学習によって構築された情報処理方法によって達成し得る。
また、上記の情報処理方法の各ステップをプロセッサに実施させるためのプログラムも実現可能である。
また、上記の情報処理方法の各ステップをプロセッサに実施させるためのプログラムも実現可能である。
本発明によれば、構造式の書き方に関わらず、構造式を示す画像から当該構造式の各構成要素を識別することができ、その識別結果を以後の化合物検索に利用することができる。
本発明の一実施形態(以下、「本実施形態」と言う。)に係る情報処理装置、情報処理方法及びプログラムについて、以下、添付の図面を参照しながら説明する。
なお、以下の実施形態は、本発明を分かり易く説明する目的で挙げた一例にすぎず、本発明を限定するものではない。すなわち、本発明は、下記の実施形態に限られず、本発明の主旨を逸脱しない範囲において種々の改良又は変更され得る。また、当然ながら、本発明には、その等価物が含まれる。
なお、以下の実施形態は、本発明を分かり易く説明する目的で挙げた一例にすぎず、本発明を限定するものではない。すなわち、本発明は、下記の実施形態に限られず、本発明の主旨を逸脱しない範囲において種々の改良又は変更され得る。また、当然ながら、本発明には、その等価物が含まれる。
また、以降の説明において、特に断る場合を除き、「文書」及び「画像」は、電子化(データ化)された文書及び画像であり、コンピュータによって処理可能な情報(データ)であることとする。
<本実施形態の情報処理装置の機能>
本実施形態の情報処理装置(以下、単に「情報処理装置」と言う。)は、プロセッサを備え、対象化合物の構造式を示す画像(対象画像)を解析して当該構造式中の各構成要素を識別することができる。対象化合物は、例えば、構造式が文書中の画像に表され、当該画像中の各領域が示す構成要素が情報処理装置によって識別される化合物である。
本実施形態の情報処理装置(以下、単に「情報処理装置」と言う。)は、プロセッサを備え、対象化合物の構造式を示す画像(対象画像)を解析して当該構造式中の各構成要素を識別することができる。対象化合物は、例えば、構造式が文書中の画像に表され、当該画像中の各領域が示す構成要素が情報処理装置によって識別される化合物である。
構造式を示す画像は、構造式を表す線図の画像である。構造式の記載方法には等価な記載方法が複数あり、例えば、水素原子(H)の単結合の表記省略、骨格の炭素原子(C)の表記省略、及び官能基の略語表記等が挙げられる。また、線図は、描き方(例えば、原子間の結合線の太さ、長さ、及び、結合線が延出する向き等)に応じて変わり得る。また、本実施形態において、構造式の書き方には、構造式を示す画像の解像度が含まれる。
構造式中の構成要素は、構造式を構成する原子、原子間の結合線、又はこれらの組み合わせを意味する。本実施形態では、図1に示すように、構造式を構成する個々の原子(例えば、図1中の「Bend C」及び「O」)、及び、個々の結合線(例えば、図1中の「Double」)が構成要素に該当する。
構造式を示す画像の各領域は、当該画像のうち、構造式中の構成要素を示す部分であり、例えば、構成要素を囲む矩形領域である(図1中の右図参照)。なお、本実施形態では、領域一つあたりに一つの構成要素が含まれていることとする。つまり、構造式を示す画像には、その構造式に含まれる構成要素に応じた数の領域が存在することになる。
情報処理装置は、化合物の構造式中の一つの構成要素(詳しくは、構成要素のラベル情報)と、一つの構成要素を示す学習用画像とを学習データセットとして用いて機械学習を実施する。この機械学習により、識別モデルが構築される。識別モデルは、化合物の構造式を示す画像の各領域の特徴量に基づき、その構造式中の構成要素のうち、各領域が示す構成要素を識別するモデルである。なお、識別モデルについては、後の項で詳述する。
また、情報処理装置は、化合物の構造式を示す画像が掲載された文書から画像(対象画像)を検出する機能を有する。検出された対象画像は、上記の識別モデルに入力される。これにより、対象画像が示す化合物(対象化合物)の構造式中の各構成要素が識別される。
さらに、情報処理装置は、識別された対象化合物中の各構成要素に対して要素情報を取得する。本実施形態において、要素情報は、識別された構成要素の種類を示す情報と、当該構成要素の配置位置を示す情報とを含む。
本実施形態において、構成要素の種類を示す情報は、その構成要素に該当する原子又は原子間の結合の種類を示す情報であり、図1に示す化合物のケースでは、「Bend C」、「O」及び「Double」が該当する。
構成要素の配置位置を示す情報は、対象画像に対して設定された座標空間(例えば、対象画像の横方向をX方向、縦方向をY方向とする二次元座標空間)における構成要素の配置位置を示す情報である。本実施形態では、対象画像における基準位置(例えば、左上の頂点位置)を原点とし、構成要素の配置位置として、構成要素を囲む矩形領域の代表位置とサイズ(例えば、X、Y各方向の長さ)とが画素単位で表現される。
要素情報は、対象化合物の構造式に含まれる複数の構成要素のそれぞれに対して取得される。取得された要素情報は、対象化合物と関連付けて記憶され、例えば、図2に示すように、対象化合物の構造式を示す画像が掲載された文書等と紐付けられた状態で記憶される。
なお、本実施形態において、要素情報のうち、構成要素の種類を示す情報は、識別モデルによって構造式中の各構成要素が識別されることで自動的に取得される。また、要素情報のうち、構成要素の配置位置を示す情報は、その構成要素を示す領域を含む画像(すなわち、対象画像)を解析することで自動的に取得される。
情報処理装置は、様々な対象化合物について、上記一連の処理(具体的には、文書からの画像検出、構造式中の各構成要素の識別、並びに要素情報の取得及び記憶)を繰り返し実行する。これにより、対象化合物に関する情報として、対象化合物の構造式中の各構成要素についての要素情報が蓄積されていく。この結果、要素情報を対象化合物別に収録したデータベースが構築される(図2参照)。
また、情報処理装置は、データベースに記憶された要素情報を検索キーとして、目的(ターゲット)の対象化合物、すなわち検索化合物に該当する対象化合物を検索する機能を備える。例えば、検索を行うユーザは、検索化合物の構造式を示す画像情報を入力する。情報処理装置は、その画像情報を入力情報として取得し、取得した入力情報、及び、データベースに記憶された要素情報に基づき、要素情報が記憶された対象化合物の中から、検索化合物に該当する対象化合物を検索する。
以上のように、情報処理装置によれば、論文又は特許明細書等の文書中に含まれる化合物の構造式の画像を検出し、その画像が示す構造式中の各構成要素についての情報(要素情報)をデータベース化することができる。そして、データベースを利用することで、目的とする化合物を容易に検索することができる。これにより、例えば、目的とする化合物の構造式を示す画像が掲載された文書を簡単に見つけ出すことが可能となる。
<識別モデルについて>
本実施形態で用いられる識別モデル(以下、識別モデルM1と言う。)について説明する。
識別モデルM1は、対象化合物の構造式を示す画像(対象画像)から、その構造式に含まれる各構成要素を識別するためのモデルである。本実施形態の識別モデルM1は、図3に示すように、特徴量導出モデルMaと、構成要素出力モデルMbとによって構成される。
本実施形態で用いられる識別モデル(以下、識別モデルM1と言う。)について説明する。
識別モデルM1は、対象化合物の構造式を示す画像(対象画像)から、その構造式に含まれる各構成要素を識別するためのモデルである。本実施形態の識別モデルM1は、図3に示すように、特徴量導出モデルMaと、構成要素出力モデルMbとによって構成される。
特徴量導出モデルMaは、対象画像が入力されることで、対象画像の各領域の特徴量を導出するモデルである。本実施形態において、特徴量導出モデルMaは、例えば、中間層に畳み込み層及びプーリング層を有する畳み込みニューラルネットワーク(CNN)によって構成される。CNNのモデルとしては、例えば、Oxford visual geometry groupの16層CNN(VGG16)、Google社のInceptionモデル(GoogLeNet)、Kaiming He氏の152層CNN(Resnet)、及び、Chollet氏の改良Iceptionモデル(Xception)が挙げられる。
特徴量導出モデルMaにより対象画像中の各領域の特徴量を導出するにあたり、対象画像中の各領域が特定される。具体的には、対象画像が示す構造式に含まれる構成要素をそれぞれ検出し、検出された各々の構成要素を取り囲む領域を構成要素毎に特定する。このような領域特定の機能は、後述する機械学習によって特徴量導出モデルMaに搭載される。
特徴量導出モデルMaから出力される画像の特徴量は、畳み込みニューラルネットワークCNNにおける学習的特徴量であり、一般的な画像認識(パターン認識)の過程で特定される特徴量である。そして、特徴量導出モデルMaにて導出された各領域の特徴量は、領域毎に構成要素出力モデルMbに入力される。
構成要素出力モデルMbは、特徴量導出モデルMaにて導出された各領域の特徴量が領域毎に入力されることで、各領域について、その特徴量と対応する構成要素(例えば、構成要素の種類)を領域毎に出力するモデルである。本実施形態において、構成要素出力モデルMbは、例えば、ニューラルネットワーク(NN)によって構成される。
本実施形態に係る構成要素出力モデルMbは、対象画像の各領域の特徴量と対応する構成要素を出力するにあたり、領域毎に複数の候補(構成要素の候補)を特定する。領域毎に特定される複数の候補にはソフトマックス関数(softmax)が適用され、各候補に対して出力確率が算出される。出力確率とは、複数の候補のそれぞれについて、各領域が示す構成要素に該当する確からしさ(精度)を示す数値である。なお、ソフトマックス関数を適用したn個(nは自然数)の出力確率の総和は、1.0になる。
構成要素出力モデルMbは、領域毎に特定される複数の候補のうち、出力確率に応じて決められる候補、例えば、出力確率が最も高い候補を、各領域が示す構成要素として出力する。このように本実施形態において、対象画像が示す構造式中の各構成要素は、対象画像の各領域の特徴量に基づいて特定される複数の候補の中から、各候補の出力確率に基づいて決められる。
以上までに説明してきた識別モデルM1(換言すると、上記2つのモデルMa、Mbの各々)は、化合物の構造式中の一つの構成要素を示す学習用画像と、その構成要素のラベル(正解ラベル)とを学習データセットとし、複数の学習データセットを用いた機械学習によって構築される。
なお、機械学習に用いられる学習データセットの数については、学習の精度を向上させる観点では多い方がよく、好ましくは5万個以上とするのがよい。
なお、機械学習に用いられる学習データセットの数については、学習の精度を向上させる観点では多い方がよく、好ましくは5万個以上とするのがよい。
本実施形態において、機械学習は、教師あり学習であり、その手法は深層学習(つまり、多層のニューラルネットワーク)であるが、これに限定されるものではない。機械学習の種類(アルゴリズム)については、教師無し学習、半教師あり学習、強化学習、又はトランスダクションであってもよい。
また、機械学習の技法については、遺伝的プログラミング、帰納論理プログラミング、サポートベクタマシン、クラスタリング、ベイジアンネットワーク、エクストリーム・ラーニング・マシン(ELM)、又は決定木学習であってもよい。
また、ニューラルネットワークの機械学習において目的関数(損失関数)を最小化する方法としては、勾配降下法を用いてもよく、あるいは誤差逆伝播法を用いてもよい。
また、機械学習の技法については、遺伝的プログラミング、帰納論理プログラミング、サポートベクタマシン、クラスタリング、ベイジアンネットワーク、エクストリーム・ラーニング・マシン(ELM)、又は決定木学習であってもよい。
また、ニューラルネットワークの機械学習において目的関数(損失関数)を最小化する方法としては、勾配降下法を用いてもよく、あるいは誤差逆伝播法を用いてもよい。
また、本実施形態の機械学習では、化学構造が同一であり記載様式が異なる構成要素を示す複数の学習用画像が用いられる場合がある。例えば、図4のように、ある構成要素(図4では、へキシレン基が図示されている)を等価な記載様式にて記載した場合、記載様式別に用意された学習用画像を用いて機械学習が実施されるケースが想定され得る。あるいは、原子間の結合線の太さ、長さ又は向き等が異なるものの化学構造が同一である構成要素を示す複数の学習用画像を用いて機械学習が実施されるケースも想定され得る。
以上のようなケースでは、複数の学習用画像から共通の特徴量を導出する識別モデルM1(厳密には、特徴量導出モデルMa)が機械学習によって構築されることになる。例えば、図4に図示した記載様式が異なる2つのへキシレン基を示す学習用画像の各々に対して、同じ「へキシレン基」というラベル(正解ラベル)を付けて教師あり学習を実施する。これにより、記載様式が異なる2つのへキシレン基を示す学習用画像から共通の特徴量を導出し、それぞれの画像から同じ構成要素(へキシレン基)を出力することができる識別モデルM1が構築される。
<本実施形態の情報処理装置の構成>
次に、図5に図示した情報処理装置(以下、情報処理装置10)の構成例について説明する。なお、図5では、外部インタフェースを「外部I/F」と記載している。
次に、図5に図示した情報処理装置(以下、情報処理装置10)の構成例について説明する。なお、図5では、外部インタフェースを「外部I/F」と記載している。
情報処理装置10は、図5に示されるように、プロセッサ11、メモリ12、外部インタフェース13、入力装置14、出力装置15、及びストレージ16が互いに電気的に接続されたコンピュータである。
なお、本実施形態では、情報処理装置10が一台のコンピュータによって構成されているが、複数台のコンピュータによって情報処理装置10が構成されてもよい。
なお、本実施形態では、情報処理装置10が一台のコンピュータによって構成されているが、複数台のコンピュータによって情報処理装置10が構成されてもよい。
プロセッサ11は、後述のプログラム21を実行し、上述した情報処理装置10の機能を発揮させるための処理を実施するように構成されている。なお、プロセッサ11は、一つ又は複数のCPU(Central Processing Unit)、及び後述のプログラム21から構成される。
プロセッサ11を構成するハードウェアプロセッサは、CPUに限定されず、FPGA(Field Programmable Gate Array)、DSP(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、GPU(Graphics Processing Unit)、MPU(Micro-Processing Unit)、又はその他のIC(Integrated Circuit)でもよく、あるいは、これらを組み合わせたものでもよい。また、プロセッサ11は、SoC(System on Chip)等に代表されるように、情報処理装置10全体の機能を発揮する一つのIC(Integrated Circuit)チップでもよい。
なお、上述したハードウェアプロセッサは、半導体素子などの回路素子を組み合わせた電気回路(Circuitry)であってもよい。
なお、上述したハードウェアプロセッサは、半導体素子などの回路素子を組み合わせた電気回路(Circuitry)であってもよい。
メモリ12は、ROM(Read Only Memory)及びRAM(Random Access Memory)などの半導体メモリによって構成され、プログラム及びデータを一時的に記憶することでプロセッサ11に作業領域を提供するとともに、プロセッサ11が実行する処理によって生成される各種データも一時的に記憶する。
メモリ12には、コンピュータを本実施形態の情報処理装置10として機能させるためのプログラム21が記憶されている。このプログラム21には、下記のプログラムp1~p5が含まれる。
p1:機械学習によって識別モデルM1を構築するためのプログラム
p2:対象画像が掲載された文書から対象画像を検出するためのプログラム
p3:対象画像が示す構造式中の各構成要素を識別するためのプログラム
p4:識別された構成要素についての要素情報を記憶するためのプログラム
p5:要素情報が記憶された対象化合物の中から、検索化合物に該当する対象化合物を検索するためのプログラム
p1:機械学習によって識別モデルM1を構築するためのプログラム
p2:対象画像が掲載された文書から対象画像を検出するためのプログラム
p3:対象画像が示す構造式中の各構成要素を識別するためのプログラム
p4:識別された構成要素についての要素情報を記憶するためのプログラム
p5:要素情報が記憶された対象化合物の中から、検索化合物に該当する対象化合物を検索するためのプログラム
なお、プログラム21は、コンピュータが読み取り可能な記録媒体から読み込むことで取得してもよく、あるいは、インターネット又はイントラネット等のネットワークを通じて受信(ダウンロード)することで取得してもよい。
外部インタフェース13は、外部装置と接続するためのインタフェースである。情報処理装置10は、外部インタフェース13を介して外部装置、例えば、スキャナ又はインターネット上の他のコンピュータと通信する。このような通信を通じて、情報処理装置10は、機械学習用のデータを取得し、また、対象画像が掲載された文書を取得することができる。
入力装置14は、例えばマウス及びキーボード等からなり、ユーザの入力操作を受け付ける。情報処理装置10は、例えば、ユーザが入力装置14を通じて構成要素を描画等することで、機械学習用のデータを取得することができる。また、ユーザは、検索化合物に該当する対象化合物を検索する際に、入力装置14を操作して検索化合物に関する情報を入力する。これにより、情報処理装置10は、検索化合物に関する入力情報を取得することができる。
出力装置15は、例えばディスプレイ及びスピーカ等からなり、入力情報に基づいて検索された対象化合物(すなわち、検索化合物に該当する対象化合物)を表示し、または音声再生するための装置である。また、出力装置15は、データベースにて対象化合物毎に記憶されている要素情報を出力することができる。
ストレージ16は、例えば、フラッシュメモリ、HDD(Hard Disc Drive)、SSD(Solid State Drive)、FD(Flexible Disc)、MOディスク(Magneto-Optical disc)、CD(Compact Disc)、DVD(Digital Versatile Disc)、SDカード(Secure Digital card)、及びUSBメモリ(Universal Serial Bus memory)等によって構成されている。ストレージ16には、機械学習用のデータを含む各種のデータが記憶される。さらに、ストレージ16には、識別モデルM1をはじめ、機械学習により構築される各種モデルも記憶される。
さらにまた、ストレージ16には、識別モデルM1によって識別された対象化合物の構造式中の各構成要素についての要素情報が、対象化合物と関連付けられて記憶されている。この結果、ストレージ16に、図2に示す要素情報のデータベース22が構築される。
データベース22には、対象化合物毎に、対象化合物の構造式に含まれる各構成要素についての要素情報、具体的には構成要素の種類と配置位置が蓄積されている。
データベース22に記憶される構成要素の種類は、図2に示すように、識別モデルM1にて算出された出力確率が最も高い構成要素の種類であり、その出力確率(図中では「精度」と表記)とともに記憶される。
また、データベース22に記憶される構成要素の配置位置は、対象画像の基準位置を原点とする座標空間にて表される位置であり、例えば、構成要素を囲む矩形領域の代表位置、X方向長さ及びY方向長さで表される。
また、データベース22に記憶される構成要素の配置位置は、対象画像の基準位置を原点とする座標空間にて表される位置であり、例えば、構成要素を囲む矩形領域の代表位置、X方向長さ及びY方向長さで表される。
また、図2に示すように、対象化合物の構造式中の各構成要素についての要素情報は、その構造式を示す画像(対象画像)が掲載された文書に関する情報と紐付けられて記憶されている。文書に関する情報としては、例えば、文書が論文である場合には論文タイトル等、または、文書が公報である場合には公報発行番号等、並びに、文書における対象画像の掲載ページ及びそのページにおける配置位置等が挙げられる。
なお、本実施形態では、ストレージ16が情報処理装置10に内蔵された機器であるが、これに限定されるものではなく、ストレージ16は、情報処理装置10に接続された外付け型の機器を含んでもよい。また、ストレージ16は、ネットワークを介して通信可能に接続された外部のコンピュータ(例えば、クラウドサービス用のサーバコンピュータ)を含んでもよい。この場合、上述のデータベース22の一部又は全部が、ストレージ16を構成する外部のコンピュータに記憶されてもよい。
情報処理装置10のハードウェア構成については、上述の構成に限定されるものではなく、具体的な実施形態に応じて適宜、構成機器を追加、省略及び置換することが可能である。
<情報処理フローについて>
次に、情報処理装置10を用いた情報処理フローについて説明する。
なお、以下に説明する情報処理フローでは、本発明の情報処理方法が採用されている。すなわち、下記の情報処理フロー中の各ステップは、本発明の情報処理方法を構成する。
次に、情報処理装置10を用いた情報処理フローについて説明する。
なお、以下に説明する情報処理フローでは、本発明の情報処理方法が採用されている。すなわち、下記の情報処理フロー中の各ステップは、本発明の情報処理方法を構成する。
本実施形態の情報処理フローは、図6に示すように、学習フェーズS001、データベース構築フェーズS002、及び検索フェーズS003の順に進む。以下、各フェーズについて説明する。
[学習フェーズ]
学習フェーズS001は、以降のフェーズで必要となるモデルを構築するために機械学習を実施するフェーズである。学習フェーズS001では、図6に示すように、第1の機械学習S011、第2の機械学習S012、及び第3の機械学習S013が実施される。
学習フェーズS001は、以降のフェーズで必要となるモデルを構築するために機械学習を実施するフェーズである。学習フェーズS001では、図6に示すように、第1の機械学習S011、第2の機械学習S012、及び第3の機械学習S013が実施される。
第1の機械学習S011は、識別モデルM1を構築するための機械学習であり、前述のように、化合物の構造式の一つの構成要素を示す学習用画像を用いて実施される。本実施形態では、第1の機械学習S011として教師あり学習が実施される。この教師あり学習では、学習用画像と、学習用画像が示す一つの構成要素のラベル(正解ラベル)とが用いられる。
また、第1の機械学習S011では、前述したように、化学構造が同一であり記載様式が異なる構成要素を示す複数の学習用画像が用いられる場合がある。これにより、複数の学習用画像から共通の特徴量を導出する識別モデルM1(厳密には、特徴量導出モデルMa)が構築される。
第2の機械学習S012は、化合物の構造式を示す画像が掲載された文書から当該画像を検出するモデル(以下、画像検出モデルと言う)を構築するための機械学習である。画像検出モデルは、オブジェクト検出アルゴリズムを利用して文書中から構造式の画像を検出するためのモデルである。オブジェクト検出アルゴリズムとしては、R-CNN(Region-based CNN)、Fast R-CNN、YOLO(You only Look Once)、及びSDD(Single Shot Multibox Detector)が利用可能である。本実施形態では、検出速度の観点からYOLOを利用した画像検出モデルを構築する。
第2の機械学習S012に用いる学習用データ(教師データ)は、化合物の構造式を示す学習用画像に対してアノテーションツールを適用することによって作成される。アノテーションツールは、対象となるデータに対して正解ラベル(タグ)、及び対象物の座標等の関連情報を注釈として付与するツールである。アノテーションツールを起動し、学習用画像を含む文書を表示し、化合物の構造式を示す領域をバウンディングボックスによって囲み、その領域に対してアノテーションを行うことで学習用データが作成される。
なお、アノテーションツールとしては、例えば、tzutalin社のlabeImg、及び、microsoft社のVoTT等が利用可能である。
なお、アノテーションツールとしては、例えば、tzutalin社のlabeImg、及び、microsoft社のVoTT等が利用可能である。
上記の学習用データを用いて第2の機械学習S012を行うことにより、YOLO形式の物体検出モデルである画像検出モデルが構築される。
第3の機械学習S013は、データベース22に要素情報が記憶された複数の対象化合物の中から、検索化合物に該当する対象化合物を検索するモデル(以下、検索モデル)を構築するための機械学習である。
本実施形態の検索モデルは、データベース22に要素情報が記憶された対象化合物のうち、検索化合物との間で構造式が同一又は類似である対象化合物を、検索化合物として検索するモデルである。
本実施形態の検索モデルは、データベース22に要素情報が記憶された対象化合物のうち、検索化合物との間で構造式が同一又は類似である対象化合物を、検索化合物として検索するモデルである。
なお、以下では、入力情報が、検索化合物の構造式に含まれる各構成要素に関する情報であり、例えば、検索化合物の構造式を示す画像情報であることとする。ただし、入力情報としては、検索化合物の構造式の少なくとも一部を特定できる内容(すなわち、データベース22にて検索化合物を検索する際のキーとなり得る情報)であれば、他の情報であってもよい。例えば、検索化合物の構造式における一部の構成要素を示す画像情報であってもよい。また、要素情報に相当する情報(例えば、構造式中の構成要素の種類、及び、その構成要素の構造式における配置位置を示す情報)を入力情報として用いてもよい。さらに、検索化合物の構造式の一部又は全部を、ChemDraw(登録商標)及びRDKitのような公知の構造式描画ソフトによって描画し、その描画データを入力情報として用いてもよい。
検索モデルは、検索化合物特定モデルと、類似度評価モデルとによって構成される。検索化合物特定モデルは、入力情報が示す検索化合物の構造式を特定するモデルである。本実施形態では、入力情報としての画像情報が検索化合物特定モデルに入力されると、当該画像情報が示す構造式中の各構成要素に関する情報(例えば、各構成要素の種類及び構造式における配置位置を示す情報)が出力される。
なお、検索化合物特定モデルとしては、前述の識別モデルM1を転用してもよく、その場合の機械学習として転移学習を実施してもよい。
なお、検索化合物特定モデルとしては、前述の識別モデルM1を転用してもよく、その場合の機械学習として転移学習を実施してもよい。
類似度評価モデルは、検索化合物特定モデルにより特定された検索化合物の構造式と、データベース22に各構成要素の要素情報が記憶された対象化合物の構造式との間で類似度を評価する。本実施形態では、検索化合物の構造式に含まれる構成要素についての要素情報と、対象化合物の構造式に含まれる構成要素についての要素情報と、に基づいて類似度を評価する。
類似度評価モデルのアルゴリズムは、特に限定されないが、例えば画像間の類似度、又はテキスト間の算出度を評価するための公知のアルゴリズムを利用することができる。例えば、構造式に含まれる構成要素についての要素情報をベクトル化し、ベクトル間の類似度をユークリッド距離等の指標によって算出するアルゴリズムを用いることができる。
また、同一の化学物について互いに異なる記載様式にて書かれた複数の構造式の間では、類似度が高くなるようにするのが好ましい。これは、同一の化合物について異なる記載様式で記載された構造式では、各構造式における各官能基の書き方(例えば、結合線の向き等)及び各原子の位置等が変わってくるからである。このような違いを考慮し、同一の化合物について異なる記載様式で記載された構造式の間では類似度が高くなるようにするとよい。例えば、データベース22に記録され、同一の化合物について異なる記載様式で記載された複数の構造式のそれぞれについては、同じラベル(正解ラベル)を付けて機械学習に供して類似度評価モデルを構築すればよい。
なお、類似度の評価手法については、機械学習によるものに限定されず、例えば、予め規定した照合ルールに従って、検索化合物と対象化合物との間で構造式中の各構成要素を照合し、その照合結果に基づいて類似度を評価してもよい。あるいは、データベース22に各構成要素の要素情報が記憶された対象化合物を、要素情報に基づいてクラスタリングし、検索化合物が属するクラスタを特定することで類似度を評価してもよい。
第3の機械学習S013は、データベース22に対象化合物毎に記憶された構造式中の各構成要素についての要素情報と、化合物の構造式に関する学習用情報とを用いて実施される。ここで、学習用情報は、例えば、第3の機械学習S013のために選定された化合物について、その構造式中の各構成要素の種類及び配置位置等を示す情報である。
そして、第3の機械学習が実施されることにより、上述した検索モデルが構築される。
そして、第3の機械学習が実施されることにより、上述した検索モデルが構築される。
[データベース構築フェーズ]
データベース構築フェーズS002は、文書に含まれる画像(対象画像)が示す対象化合物の構造式について、その構造式中の各構成要素についての要素情報を記憶してデータベース22を構築するフェーズである。
データベース構築フェーズS002は、文書に含まれる画像(対象画像)が示す対象化合物の構造式について、その構造式中の各構成要素についての要素情報を記憶してデータベース22を構築するフェーズである。
データベース構築フェーズS002では、先ず、情報処理装置10のプロセッサ11が、対象画像を含む文書に対して前述の画像検出モデルを適用し、文書中の対象画像を検出する(S021)。つまり、本ステップS021において、プロセッサ11は、オブジェクト検出アルゴリズム(具体的には、YOLO)を利用して、文書から対象画像を検出する。
この際、一つの文書中に対象画像が複数含まれる場合には、プロセッサ11は、図7に示すように、上記の文書から複数の対象画像(図7中、破線にて囲われた部分の画像)を検出する。
次に、プロセッサ11は、識別モデルM1により、対象画像の各領域の特徴量に基づき、対象化合物の構造式中の各構成要素を識別する(S023)。
具体的に説明すると、プロセッサ11は、ステップS021で検出された対象画像を識別モデルM1に入力する。識別モデルM1のうち、前段の特徴量導出モデルMaでは対象画像の各領域の特徴量が出力される。後段の構成要素出力モデルMbでは、入力された各領域の特徴量に基づき、構成要素(厳密には、構成要素の種類)が出力される。このとき、各領域の特徴量に基づいて、各領域と対応する構成要素の候補が複数特定され、また、それぞれの候補について出力確率が算出される。
具体的に説明すると、プロセッサ11は、ステップS021で検出された対象画像を識別モデルM1に入力する。識別モデルM1のうち、前段の特徴量導出モデルMaでは対象画像の各領域の特徴量が出力される。後段の構成要素出力モデルMbでは、入力された各領域の特徴量に基づき、構成要素(厳密には、構成要素の種類)が出力される。このとき、各領域の特徴量に基づいて、各領域と対応する構成要素の候補が複数特定され、また、それぞれの候補について出力確率が算出される。
構成要素出力モデルMbは、前述したように、出力確率が最も高い候補を各領域が示す構成要素として出力する。対象画像中の各領域が示す構成要素が領域毎に出力されることにより、対象画像が示す構造式(すなわち、対象化合物の構造式)を構成要素に分けて識別することができる。
なお、ステップS021にて複数の対象画像を検出した場合、プロセッサ11は、検出された複数の対象画像を対象画像毎に識別モデルM1に入力する。これにより、複数の対象画像のそれぞれについて、対象画像が示す対象化合物の構造式中の各構成要素が識別されることになる。
次に、プロセッサ11は、識別された対象化合物の構造式中の各構成要素についての要素情報を取得し、取得された要素情報を記憶する(S023)。このとき、プロセッサ11は、各構成要素についての要素情報を、各構成要素を構造式中に含む対象化合物と関連付けて記憶する。本実施形態では、各構成要素についての要素情報が、各構成要素によって構成される構造式の画像(対象画像)が掲載された文書の情報等と紐付けられて記憶される(図2参照)。
ステップS023は、新たな対象化合物について、その構造式中の各構成要素が識別される度に繰り返される。この結果、対象化合物の構造式中の各構成要素についての要素情報が蓄積され、要素情報のデータベース22が構築される。データベース22に要素情報が記憶された対象化合物は、後の検索フェーズS003において、要素情報をキーとして検索可能となる。
[検索フェーズ]
検索フェーズS003は、データベース22に要素情報が記憶された対象化合物の中から、検索化合物に該当する対象化合物を検索するフェーズである。「検索化合物」は、検索対象となり、検索の実施に際して、その構造式の一部又は全部に関する情報が入力情報として取得される化合物である。
検索フェーズS003は、データベース22に要素情報が記憶された対象化合物の中から、検索化合物に該当する対象化合物を検索するフェーズである。「検索化合物」は、検索対象となり、検索の実施に際して、その構造式の一部又は全部に関する情報が入力情報として取得される化合物である。
検索フェーズS003では、先ず、情報処理装置10のプロセッサ11が、検索化合物に関する入力情報を取得する(S031)。本ステップS031において、プロセッサ11は、入力情報として、検索化合物の構造式に含まれる各構成要素に関する情報を取得する。このような情報の一例としては、例えば、検索化合物の構造式を示す画像情報等が挙げられる。
入力情報の取得後、プロセッサ11は、前述した検索モデルにより、データベース22に要素情報が記憶された対象化合物の中から、検索化合物に該当する対象化合物を検索する(S032)。具体的に説明すると、プロセッサ11は、検索モデルにより、取得された入力情報と、データベース22にて対象化合物と関連付けて記憶された要素情報とに基づき、検索化合物と対象化合物との間の類似度を算出する。本実施形態では、入力情報が示す検索化合物と、データベース22に要素情報が記憶された対象化合物との間で、構造式の類似度を算出する。
その後、プロセッサ11は、データベース22に要素情報が記憶された対象化合物の中から、算出した類似度が検索条件を満たす対象化合物を検索化合物として検索(選定)する。検索条件は、類似度の算出結果に基づいて検索化合物に該当する対象化合物を選定するために予め決められた条件である。本実施形態では、類似度が高い順に、予め決められた個数の対象化合物が検索化合物として検索される。ただし、これに限定されるものではなく、例えば、類似度が最も高い対象化合物のみを検索化合物として検索してもよい。あるいは、類似度が基準値以上である対象化合物を検索化合物として検索してもよい。
そして、プロセッサ11は、検索された対象化合物の情報を出力装置15にて出力し、例えば、図8に示すように画面に検索結果を表示する。検索された対象化合物の情報としては、例えば、その対象化合物の構造式を示す画像が掲載された文書及び掲載頁等が挙げられる。また、図8に示すように、対象化合物の検索結果と共に、検索された対象化合物と検索化合物との類似度を併せて出力するのが好ましい。
なお、検索化合物に関する入力情報として、検索化合物の構造式に含まれる一部の構成要素(以下、便宜的に「部分構造」と言う。)を示す情報が取得されるケースが考えられ得る。このようなケースでは、部分構造を含む対象化合物を検索化合物として検索することになる。具体的には、データベース22に要素情報が記憶された各対象化合物について、その構造式に含まれる部分構造と、入力情報が示す部分構造との類似度を算出する。そして、類似度が高い順に、予め決められた個数の対象化合物を検索化合物として検索する。
<本実施形態の有効性について>
本実施形態の情報処理装置10は、第1の機械学習S011によって構築された識別モデルM1を利用し、対象化合物の構造式を示す画像(対象画像)中の各領域の特徴量に基づき、構造式中の各構成要素を識別することができる。また、本実施形態の情報処理装置10は、識別された構成要素についての要素情報を対象化合物と関連付けて記憶し、データベース22を構築する。データベース22に記憶された要素情報は、それ以降に対象化合物を検索する際の検索キーとして利用することができる。
本実施形態の情報処理装置10は、第1の機械学習S011によって構築された識別モデルM1を利用し、対象化合物の構造式を示す画像(対象画像)中の各領域の特徴量に基づき、構造式中の各構成要素を識別することができる。また、本実施形態の情報処理装置10は、識別された構成要素についての要素情報を対象化合物と関連付けて記憶し、データベース22を構築する。データベース22に記憶された要素情報は、それ以降に対象化合物を検索する際の検索キーとして利用することができる。
上記の効果について詳述すると、従来の技術では、化合物の構造式を示す画像の各領域と、各領域に現れる構造式中の構成要素との対応関係をルール化し、そのルールに従って構造式中の各構成要素を識別していた。ただし、構造式の書き方が変わった場合、その書き方に適合できる識別ルールが準備されていないと、当該構造式中の各構成要素を識別することができない虞があった。その場合には、構成要素の識別結果を利用することができない等の理由により、その構成要素を含む構造式の検索が困難となっていた。
これに対して、本実施形態では、機械学習の成果である識別モデルM1を利用して対象画像の各領域の特徴量から構造式中の各構成要素を識別することができる。つまり、本実施形態では、構造式の書き方が変わったとしても、その構造式を示す画像の各領域の特徴量を特定し、特徴量が特定できれば、その特徴量から構成要素を割り出す(識別する)ことが可能である。そして、識別された構成要素についての要素情報を対象化合物と関連付けて記憶してデータベース化するので、それ以降は、要素情報を検索キーとして、目的(ターゲット)とする対象化合物を検索することができる。
以上のように、本実施形態によれば、対象化合物の構造式の書き方が変わった場合にも構造式中の各構成要素を良好に識別することができる。そして、識別された各構成要素についての要素情報を検索キーとして、目的とする対象化合物を適切に検索することができる。
<その他の実施形態>
以上までに、本発明の情報処理装置、情報処理方法、及びプログラムについて具体例を挙げて説明してきたが、上述した実施形態は、あくまでも一例に過ぎず、他の実施形態も考えられる。
例えば、情報処理装置を構成するコンピュータとしては、ASP(Application Service Provider)、SaaS(Software as a Service)、PaaS(Platform as a Service)又はIaaS(Infrastructure as a Service)等に利用されるサーバであってもよい。この場合、上記ASP等のサービスを利用するユーザが不図示の端末を操作して、検索化合物に関する入力情報をサーバに送信する。サーバは、入力情報を受信すると、入力情報に基づき、要素情報が記憶された対象化合物の中から、検索化合物に該当する対象化合物を検索する。そして、サーバは、検索結果(すなわち、検索化合物に該当する対象化合物)に関する情報を、ユーザの端末に向けて出力(送信)する。ユーザ側では、サーバから送られてくる情報(すなわち、検索結果)が表示され、あるいは音声再生される。
以上までに、本発明の情報処理装置、情報処理方法、及びプログラムについて具体例を挙げて説明してきたが、上述した実施形態は、あくまでも一例に過ぎず、他の実施形態も考えられる。
例えば、情報処理装置を構成するコンピュータとしては、ASP(Application Service Provider)、SaaS(Software as a Service)、PaaS(Platform as a Service)又はIaaS(Infrastructure as a Service)等に利用されるサーバであってもよい。この場合、上記ASP等のサービスを利用するユーザが不図示の端末を操作して、検索化合物に関する入力情報をサーバに送信する。サーバは、入力情報を受信すると、入力情報に基づき、要素情報が記憶された対象化合物の中から、検索化合物に該当する対象化合物を検索する。そして、サーバは、検索結果(すなわち、検索化合物に該当する対象化合物)に関する情報を、ユーザの端末に向けて出力(送信)する。ユーザ側では、サーバから送られてくる情報(すなわち、検索結果)が表示され、あるいは音声再生される。
また、上記の実施形態では、構造式に含まれる個々の原子、及び個々の原子間結合を構成要素としたが、これに限定されるものではない。例えば、複数の原子を含む官能基(原子団)を構成要素としてもよい。この場合には、構成要素についての要素情報のうち、構成要素の種類を示す情報が、その構成要素に該当する官能基の化学式を示す情報であるとよい。
あるいは、構造式中、互いに隣接する複数の官能基を構成要素としてもよく、又は、構造式を任意のルールに従って分割したときの各断片(フラグメント)を構成要素としてもよい。
あるいは、構造式中、互いに隣接する複数の官能基を構成要素としてもよく、又は、構造式を任意のルールに従って分割したときの各断片(フラグメント)を構成要素としてもよい。
また、要素情報のうち、構成要素の種類を示す情報は、対象化合物の構造式についての分子フィンガープリントの一部からなる情報であってもよい。分子フィンガープリントは、構造式における構成要素の有無を構成要素の種類毎に示すバイナリ型の多次元ベクトルである。例えば、図9の左側に図示した官能基に対しては、図9の右側に図示した分子フィンガープリントが設定される。
また、上記の実施形態では、各種のモデルを構築するための機械学習(第1~第3の機械学習)が情報処理装置10によって行われることとしたが、これに限定されるものではない。一部又は全ての機械学習が、情報処理装置10とは異なる他の装置(コンピュータ)によって行われてもよい。この場合、情報処理装置10は、他の装置が行う機械学習によって構築されるモデルを取得することになる。
例えば、第1の機械学習が他の装置によって行われる場合、情報処理装置10は、識別モデルM1を他の装置から取得し、取得された識別モデルM1により、対象画像が示す構造式中の各構成要素を識別する。
例えば、第1の機械学習が他の装置によって行われる場合、情報処理装置10は、識別モデルM1を他の装置から取得し、取得された識別モデルM1により、対象画像が示す構造式中の各構成要素を識別する。
10 情報処理装置
11 プロセッサ
12 メモリ
13 外部インタフェース
14 入力装置
15 出力装置
16 ストレージ
21 プログラム
22 データベース
M1 識別モデル
Ma 特徴量導出モデル
Mb 構成要素出力モデル
11 プロセッサ
12 メモリ
13 外部インタフェース
14 入力装置
15 出力装置
16 ストレージ
21 プログラム
22 データベース
M1 識別モデル
Ma 特徴量導出モデル
Mb 構成要素出力モデル
Claims (14)
- プロセッサを備える情報処理装置であって、
前記プロセッサは、
識別モデルにより、対象化合物の構造式を示す対象画像中の各領域の特徴量に基づき、前記対象化合物の構造式中の構成要素のうち、前記各領域が示す前記構成要素を識別し、
識別された前記対象化合物の構造式中の前記構成要素についての要素情報を、前記対象化合物と関連付けて記憶し、
前記識別モデルが、化合物の構造式中の一つの構成要素を示す学習用画像を用いた機械学習によって構築された情報処理装置。 - 前記機械学習において、化学構造が同一であり記載様式が異なる前記構成要素を示す複数の前記学習用画像が用いられた場合には、複数の前記学習用画像から共通の特徴量を導出する前記識別モデルが前記機械学習によって構築される、請求項1に記載の情報処理装置。
- 前記プロセッサは、
検索化合物に関する入力情報を取得し、
前記入力情報と、前記対象化合物と関連付けられた前記要素情報とに基づき、前記要素情報が記憶された前記対象化合物の中から、前記検索化合物に該当する前記対象化合物を検索する、請求項1又は2に記載の情報処理装置。 - 前記プロセッサは、
前記入力情報と、前記対象化合物と関連付けて記憶された前記要素情報とに基づき、前記検索化合物と前記対象化合物との間の類似度を算出し、
前記要素情報が記憶された前記対象化合物の中から、前記類似度が検索条件を満たす前記対象化合物を前記検索化合物として検索する、請求項3に記載の情報処理装置。 - 前記プロセッサは、前記検索化合物の構造式中に含まれる前記構成要素に関する前記入力情報を取得する、請求項3又は4に記載の情報処理装置。
- 前記プロセッサは、
前記対象画像を含む文書から前記対象画像を検出し、
検出された前記対象画像を前記識別モデルに入力することにより、前記対象画像中の前記各領域が示す前記構成要素を識別する、請求項1乃至5のいずれか一項に記載の情報処理装置。 - 前記プロセッサは、オブジェクト検出アルゴリズムを利用して前記文書から前記対象画像を検出する、請求項6に記載の情報処理装置。
- 前記要素情報は、識別された前記対象化合物の構造式中の前記構成要素の種類を示す情報を含む、請求項1乃至7のいずれか一項に記載の情報処理装置。
- 前記要素情報は、識別された前記対象化合物の構造式中の前記構成要素の、前記対象画像に対して設定された座標空間での配置位置を示す情報を更に含む、請求項8に記載の情報処理装置。
- 前記構成要素の種類を示す情報は、前記構成要素に該当する原子又は原子間の結合の種類を示す情報である、請求項8又は9に記載の情報処理装置。
- 前記構成要素の種類を示す情報は、前記構成要素に該当する官能基の化学式を示す情報である、請求項8又は9に記載の情報処理装置。
- 前記構成要素の種類を示す情報は、前記対象化合物の構造式における前記構成要素の有無を前記構成要素の種類毎に示す分子フィンガープリントの一部からなる情報である、請求項8又は9に記載の情報処理装置。
- プロセッサが、
識別モデルにより、対象化合物の構造式を示す対象画像中の各領域の特徴量に基づき、前記対象化合物の構造式に含まれる構成要素のうち、前記各領域が示す前記構成要素を識別するステップと、
識別された前記対象化合物の構造式中の前記構成要素についての要素情報を、前記対象化合物と関連付けて記憶するステップと、を実施し、
前記識別モデルが、化合物の構造式中の一つの構成要素を示す学習用画像を用いた機械学習によって構築された情報処理方法。 - 請求項13に記載された情報処理方法の各ステップをプロセッサに実施させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202080089203.6A CN114868192A (zh) | 2019-12-26 | 2020-10-30 | 信息处理装置、信息处理方法及程序 |
JP2021566876A JP7449961B2 (ja) | 2019-12-26 | 2020-10-30 | 情報処理装置、情報処理方法、及びプログラム |
US17/844,033 US20220327158A1 (en) | 2019-12-26 | 2022-06-19 | Information processing apparatus, information processing method, and program |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019236342 | 2019-12-26 | ||
JP2019-236342 | 2019-12-26 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US17/844,033 Continuation US20220327158A1 (en) | 2019-12-26 | 2022-06-19 | Information processing apparatus, information processing method, and program |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2021131324A1 true WO2021131324A1 (ja) | 2021-07-01 |
Family
ID=76574083
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2020/040861 WO2021131324A1 (ja) | 2019-12-26 | 2020-10-30 | 情報処理装置、情報処理方法、及びプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220327158A1 (ja) |
JP (1) | JP7449961B2 (ja) |
CN (1) | CN114868192A (ja) |
WO (1) | WO2021131324A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114581924A (zh) * | 2022-03-01 | 2022-06-03 | 苏州阿尔脉生物科技有限公司 | 化学反应流程图中元素的提取方法及装置 |
WO2023020210A1 (zh) * | 2021-08-16 | 2023-02-23 | 中国科学院上海药物研究所 | 化学结构式的识别方法、装置、存储介质及电子设备 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013061886A (ja) * | 2011-09-14 | 2013-04-04 | Kyushu Univ | 化学構造図認識システム及び化学構造図認識システム用のコンピュータプログラム |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04114560A (ja) * | 1990-09-04 | 1992-04-15 | Sharp Corp | 自動文書入力装置 |
DE69329380T2 (de) * | 1993-06-30 | 2001-03-01 | International Business Machines Corp., Armonk | Verfahren zum Segmentieren von Bildern und Klassifizieren von Bildelementen zur Dokumentverarbeitung |
CN111051876B (zh) * | 2017-09-06 | 2023-05-09 | 株式会社半导体能源研究所 | 物性预测方法及物性预测系统 |
CN108062529B (zh) * | 2017-12-22 | 2024-01-12 | 上海鹰谷信息科技有限公司 | 一种化学结构式的智能识别方法 |
US11093842B2 (en) * | 2018-02-13 | 2021-08-17 | International Business Machines Corporation | Combining chemical structure data with unstructured data for predictive analytics in a cognitive system |
EP3540610B1 (en) * | 2018-03-13 | 2024-05-01 | Ivalua Sas | Standardized form recognition method, associated computer program product, processing and learning systems |
-
2020
- 2020-10-30 JP JP2021566876A patent/JP7449961B2/ja active Active
- 2020-10-30 CN CN202080089203.6A patent/CN114868192A/zh active Pending
- 2020-10-30 WO PCT/JP2020/040861 patent/WO2021131324A1/ja active Application Filing
-
2022
- 2022-06-19 US US17/844,033 patent/US20220327158A1/en active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013061886A (ja) * | 2011-09-14 | 2013-04-04 | Kyushu Univ | 化学構造図認識システム及び化学構造図認識システム用のコンピュータプログラム |
Non-Patent Citations (2)
Title |
---|
"Estimating Molecular Formulae from Structural Formula Images in Rdkit", QUIITA, 31 January 2019 (2019-01-31), Retrieved from the Internet <URL:https://qiita.com/nishiha/items/f20f9942alc35elealfd> [retrieved on 20210125] * |
ITO, HIDEO: "Image Searching in Patent Information Services", JAPAN PATENT OFFICE TECHNOLOGY FORUM, 30 January 2009 (2009-01-30), pages 66 - 70, XP055837960, Retrieved from the Internet <URL:http://www.tokugikon.jp/gikonshi/252tokusyu8.pdf> * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023020210A1 (zh) * | 2021-08-16 | 2023-02-23 | 中国科学院上海药物研究所 | 化学结构式的识别方法、装置、存储介质及电子设备 |
CN114581924A (zh) * | 2022-03-01 | 2022-06-03 | 苏州阿尔脉生物科技有限公司 | 化学反应流程图中元素的提取方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN114868192A (zh) | 2022-08-05 |
JP7449961B2 (ja) | 2024-03-14 |
JPWO2021131324A1 (ja) | 2021-07-01 |
US20220327158A1 (en) | 2022-10-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107085585B (zh) | 用于图像搜索的准确的标签相关性预测 | |
JP7268198B2 (ja) | 画像解析装置、画像解析方法、及びプログラム | |
CN107004140B (zh) | 文本识别方法和计算机程序产品 | |
CN112749547A (zh) | 文本分类器训练数据的产生 | |
WO2022005663A1 (en) | Computerized information extraction from tables | |
CN103995816B (zh) | 信息处理设备和信息处理方法 | |
US20220327158A1 (en) | Information processing apparatus, information processing method, and program | |
CN107644051B (zh) | 用于同类实体分组的系统和方法 | |
US11966455B2 (en) | Text partitioning method, text classifying method, apparatus, device and storage medium | |
JP5251205B2 (ja) | 住所認識装置 | |
US11507746B2 (en) | Method and apparatus for generating context information | |
CN114612921B (zh) | 表单识别方法、装置、电子设备和计算机可读介质 | |
KR20200013130A (ko) | 인공 지능 기술 기반의 머신 러닝을 사용하는 특허 도면 이미지의 도면 부호에 대응되는 도면 부호의 설명 데이터 처리 방법 및 장치 | |
CN116363212A (zh) | 一种基于语义匹配知识蒸馏的3d视觉定位方法和系统 | |
Inkeaw et al. | Recognition-based character segmentation for multi-level writing style | |
CN115344699A (zh) | 文本分类模型的训练方法、装置、计算机设备及介质 | |
JP5343617B2 (ja) | 文字認識プログラム、文字認識方法および文字認識装置 | |
Le et al. | Stroke order normalization for improving recognition of online handwritten mathematical expressions | |
CN113869352A (zh) | 模型训练方法、服装检索方法及相关装置 | |
AU2015204339A1 (en) | Information processing apparatus and information processing program | |
TWI285849B (en) | Optical character recognition device, document searching system, and document searching program | |
CN109902162B (zh) | 基于数字指纹的文本相似性的识别方法、存储介质及装置 | |
CN111783088A (zh) | 一种恶意代码家族聚类方法、装置和计算机设备 | |
US20230230406A1 (en) | Facilitating identification of fillable regions in a form | |
JP2023016031A (ja) | テーブルに含まれる情報を認識する文字認識方法及び文字認識システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20907733 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2021566876 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 20907733 Country of ref document: EP Kind code of ref document: A1 |