KR102389255B1 - Implementation and Interpretation method for 3-D molecules on the graph convolutional network - Google Patents
Implementation and Interpretation method for 3-D molecules on the graph convolutional network Download PDFInfo
- Publication number
- KR102389255B1 KR102389255B1 KR1020190112855A KR20190112855A KR102389255B1 KR 102389255 B1 KR102389255 B1 KR 102389255B1 KR 1020190112855 A KR1020190112855 A KR 1020190112855A KR 20190112855 A KR20190112855 A KR 20190112855A KR 102389255 B1 KR102389255 B1 KR 102389255B1
- Authority
- KR
- South Korea
- Prior art keywords
- vector
- scalar
- node
- layer
- characteristic
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16C—COMPUTATIONAL CHEMISTRY; CHEMOINFORMATICS; COMPUTATIONAL MATERIALS SCIENCE
- G16C20/00—Chemoinformatics, i.e. ICT specially adapted for the handling of physicochemical or structural data of chemical particles, elements, compounds or mixtures
- G16C20/30—Prediction of properties of chemical compounds, compositions or mixtures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Crystallography & Structural Chemistry (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Chemical & Material Sciences (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
본 발명은 그래프 합성곱 신경망(GCN; graph convolution network)을 이용한 3차원 분자의 구현 및 해석 방법으로, 본 발명에 따른 방법은 분자를 이루는 원자 수가 N이고 원자레벨 특성 수가 M일 때, 분자를 이루는 각 원자의 특성을 포함하는 NxM 행렬인 특성 행렬(feature matrix); 그래프 토폴로지를 유지하는 NxN 대칭 행렬인 인접 행렬(adjacency matrix); 및 원자간 상대적 위치 벡터를 나타내는 NxNx3 행렬인 위치 행렬(position matrix);를 포함하는 행렬 셋(set)에 의해 분자 그래프가 3차원 유클리드 공간으로 도입(embedded)된다.The present invention is a method for implementing and analyzing a three-dimensional molecule using a graph convolution network (GCN). The method according to the present invention is a method for forming a molecule when the number of atoms constituting the molecule is N and the number of atomic-level properties is M. a feature matrix, which is an NxM matrix containing the properties of each atom; an adjacency matrix, which is an NxN symmetric matrix that maintains the graph topology; and a position matrix that is an NxNx3 matrix representing a relative position vector between atoms; a molecular graph is embedded into a three-dimensional Euclidean space by a matrix set including;
Description
본 발명은 분자의 물성 예측을 위해, 그래프 합성곱 신경망상 3차원 분자를 구현 및 해석하는 방법에 관한 것이다. The present invention relates to a method for implementing and interpreting a graph convolutional neural network 3D molecule for predicting the physical properties of a molecule.
학습 아키텍쳐는 화학 분야를 포함하여 다양한 어플리케이션들에 사용될 수 있다. 최근의 딥 러닝 모델을 이용하여 정량적 구조-물성 관계, 컴퓨터를 이용한 약물설계, 화학 반응 예측등이 이루어지고 있다. The learning architecture can be used for a variety of applications, including in the field of chemistry. Quantitative structure-physical-property relationships, computer-aided drug design, chemical reaction prediction, etc. are being made using recent deep learning models.
이중, 합성곱 신경망(Convolutional Neural Network)의 일 변형인 그래프 합성곱 신경망(GCN; graph convolutional network)은 비-유클리드 그래프 구조를 학습할 수 있어, 분자 구조를 GCN상에 구현하고, 용해도, 제1원리 계산, 생물학적 활성등 해당 분자의 물성을 예측하고자 하는 시도가 이루어지고 있다.Among them, graph convolutional network (GCN), a variant of convolutional neural network, can learn non-Euclidean graph structures, implement molecular structures on GCN, solubility, first Attempts to predict the physical properties of the molecule, such as principle calculation and biological activity, are being made.
그러나, 원자(atom)를 노드(Vertex)로 결합(bond)을 변(edge)으로 하여 연결성에 중점을 둔 종래의 그래프로는 결합의 방향성과 이면각(dihedral angle)등을 갖는 3차원 구조인 분자를 온전하게 표현할 수 없는 한계가 있다. 이를 보상하기 위해 결합 거리와 각도에 따른 가우스 특성 확장 기법(gaussian feature expansion schemes)을 사용한 GCN 변형등이 제안된 바 있으나, 여전히 분자의 온전한 3차원 구조를 구현하지 못하는 한계가 있다.However, in a conventional graph focusing on connectivity with atoms as nodes and bonds as edges, it is a three-dimensional structure with the directionality of bonds and dihedral angles. There is a limit to the inability to fully express a molecule. To compensate for this, GCN transformation using Gaussian feature expansion schemes according to the bonding distance and angle has been proposed, but there is still a limitation in not realizing the complete three-dimensional structure of the molecule.
본 발명은 그래프 합성곱 신경망을 이용한 3차원 분자의 구현 및 해석 방법을 제공하는 것이며, 분자 역학이나 단백질-리간드 상호 작용등과 같이 공간 구조와 관여된 분자의 물성 또한 예측할 수 있는 그래프 합성곱 신경망을 이용한 3차원 분자의 구현 및 해석 방법을 제공하는 것이다.The present invention provides a method for implementing and analyzing a three-dimensional molecule using a graph convolutional neural network, and a graph convolutional neural network that can also predict spatial structures and physical properties of molecules, such as molecular dynamics or protein-ligand interactions. It is to provide a method for implementing and analyzing a three-dimensional molecule using.
본 발명에 따른 3차원 분자 구현 방법은 그래프 합성곱 신경망(GCN; graph convolution network)을 이용한 3차원 분자의 구현 방법이며, 분자를 이루는 원자 수가 N이고 원자레벨 특성 수가 M일 때, 분자를 이루는 각 원자의 특성을 포함하는 NxM 행렬인 특성 행렬(feature matrix); 그래프 토폴로지를 유지하는 NxN 대칭 행렬인 인접 행렬(adjacency matrix); 및 원자간 상대적 위치 방향을 나타내는 NxNx3 행렬인 위치 행렬(position matrix);를 포함하는 행렬 셋(set)에 의해 분자 그래프가 3차원 유클리드 공간으로 도입(embedded)된다.The three-dimensional molecule implementation method according to the present invention is a three-dimensional molecule implementation method using a graph convolution network (GCN), and when the number of atoms constituting the molecule is N and the number of atomic-level properties is M, each a feature matrix, which is an NxM matrix including properties of atoms; an adjacency matrix, which is an NxN symmetric matrix that maintains the graph topology; and a position matrix that is an NxNx3 matrix indicating a relative positional direction between atoms; a molecular graph is embedded into a three-dimensional Euclidean space by a matrix set including;
본 발명의 일 실시예에 따른 방법에 있어, 특성 행렬에서 원자레벨 특성은 하기 특성 1~5를 포함할 수 있다.In the method according to an embodiment of the present invention, the atomic level characteristic in the characteristic matrix may include the following characteristics 1 to 5.
특성 1 : 원-핫 벡터로 표현된 원자 종류Characteristic 1: Atom type expressed as a one-hot vector
특성 2 : 원-핫 벡터로 표현된 중원소(heavy atom) 이웃의 수Feature 2: Number of heavy atom neighbors expressed as one-hot vectors
특성 3 : 원-핫 벡터로 표현된 이웃한 수소의 수Feature 3: Number of neighboring hydrogens expressed as one-hot vectors
특성 4 : 원-핫 벡터로 표현된 원자의 혼성궤도함수(hybrid orbital)Characteristic 4: Hybrid orbital of atoms expressed as one-hot vectors
특성 5 : 바이너리로 표현된 원자가 방향족 고리의 일부인지 여부Characteristic 5: Whether the atom represented in binary is part of an aromatic ring
본 발명의 일 실시예에 따른 방법에 있어, 원자레벨 특성은 하기 특성 6~11을 더 포함할 수 있다.In the method according to an embodiment of the present invention, the atomic level characteristic may further include the following characteristics 6 to 11.
특성 6 : 원-핫 벡터로 표현된 암시적 밸런스(implicit valence)Attribute 6: Implicit valence expressed as a one-hot vector
특성 7 : 원-핫 벡터로 표현된 원자의 형식 전하(formal charge)Property 7: Formal charge of an atom expressed as a one-hot vector
특성 8 : 바이너리로 표현된 원자가 속하는 방향족 고리의 고리 크기Characteristic 8: Ring size of the aromatic ring to which the atom belongs, expressed in binary.
특성 9 : 원-핫 벡터로 표현된 키랄성(chirality)Characteristic 9: Chirality expressed as a one-hot vector
특성 10 : 바이너리로 표현된 산성 또는 염기성 여부Characteristic 10: Whether acidic or basic expressed in binary
특성 11 : 바이너리로 표현된 수소결합 공여체 또는 수소결합 수용체 여부Characteristic 11: Whether a hydrogen bond donor or hydrogen bond acceptor expressed in binary
본 발명의 일 실시예에 따른 방법에 있어, 3차원 유클리드 공간으로 도입된 분자 그래프는, 각 노드의 스칼라 특성과 벡터 특성이 혼합되고 이웃(neighborhood)을 따라 합산하여 업데이트된 특성을 생성하는 합성곱 계층(convolution layer)들이 다층 구조로 연결된 구조에 의해 분자 그래프의 국부 지역의 정보들이 통합될 수 있다.In the method according to an embodiment of the present invention, a molecular graph introduced into a three-dimensional Euclidean space is a convolution in which scalar and vector properties of each node are mixed and summed along a neighbor to generate an updated property. Information of local regions of the molecular graph may be integrated by a structure in which convolution layers are connected in a multi-layered structure.
본 발명의 일 실시예에 따른 방법에 있어, 합성곱 계층에 의한 합성곱이 수행된 후 특성 결합 계층(feature collection layer)에 의해 각 노드의 특성이 누적(accumulation)되어 그래프 수준의 특성이 생성될 수 있다.In the method according to an embodiment of the present invention, after the convolution by the convolution layer is performed, the characteristics of each node are accumulated by the feature collection layer to generate graph-level characteristics. there is.
본 발명의 일 실시예에 따른 방법에 있어, 합성곱 계층에서 하기의 연산 1~4이 수행될 수 있다.In the method according to an embodiment of the present invention, the following operations 1 to 4 may be performed in the convolution layer.
연산 1 : 스칼라-스칼라 연산Operation 1: scalar-scalar operation
연산 1에서 
연산 2 : 벡터-벡터 연산Operation 2: vector-vector operation
연산 2에서 
연산 3 : 벡터-스칼라 연산Operation 3: Vector-Scalar Operation
연산 3에서 
연산 4 : 스칼라-벡터 연산Operation 4: Scalar-Vector Operation
연산 4에서 
본 발명의 일 실시예에 따른 방법에 있어, 4개의 연산에 의해 업데이트된 특성은 ReLU 함수를 이용한 선형 조합 의해 이웃(neighborhood)을 따라 합산되어, 층 l+1에서 노드 i의 스칼라 특성과 층 l+1에서 노드 i의 벡터 특성으로 산출될 수 있다.In the method according to an embodiment of the present invention, the properties updated by four operations are summed along the neighborhood by linear combination using the ReLU function, so that the scalar property of node i in layer l+1 and the layer l It can be calculated as a vector characteristic of node i at +1.
본 발명은 상술한 방법에 따라 구현된 3차원 분자 그래프 모델을 이용한 분자의 물성(반응성을 포함함) 예측 방법을 포함한다.The present invention includes a method for predicting physical properties (including reactivity) of molecules using a three-dimensional molecular graph model implemented according to the method described above.
본 발명에 따른 물성 예측 방법은 예측하고자 하는 물성의 분자 물질-물성의 데이터 셋을 이용하여, 상술한 구현 방법에 따라 구현된 3차원 분자 그래프 모델을 학습시키는 단계; 및 학습된 3차원 분자 그래프 모델을 이용하여 임의의 분자의 물성을 예측하는 단계;를 포함한다.The method for predicting physical properties according to the present invention includes: learning a three-dimensional molecular graph model implemented according to the above-described implementation method using a molecular material-physical property data set of a physical property to be predicted; and predicting the physical properties of any molecule using the learned 3D molecular graph model.
본 발명은 상술한 3차원 분자 구현 방법이 실행되는 기계 판독 가능 매체, 및 상술한 물성 예측 방법이 실행되는 기계 판독 가능 매체를 포함한다.The present invention includes a machine-readable medium on which the above-described method for realizing a three-dimensional molecule is executed, and a machine-readable medium on which the above-described method for predicting physical properties is executed.
본 발명은 기계 실행 가능 명령이 수행되는 장치에 로딩될 수 있으며, 상기 기계 실행 가능 명령이 수행되는 장치에 로딩되어 수행되는 경우, 분자를 이루는 원자 수가 N이고 원자레벨 특성 수가 M일 때, 분자를 이루는 각 원자의 특성을 포함하는 NxM 행렬인 특성 행렬(feature matrix); 그래프 토폴로지를 유지하는 NxN 대칭 행렬인 인접 행렬(adjacency matrix); 및 원자간 상대적 위치 벡터를 나타내는 NxNx3 행렬인 위치 행렬(position matrix);를 포함하는 행렬 셋(set)에 의해 분자 그래프가 3차원 유클리드 공간으로 도입(embedded)되는 입력층을 가지며, 3차원 유클리드 공간으로 도입된 분자 그래프를 대상으로 각 노드의 스칼라 특성과 벡터 특성을 혼합하고 이웃(neighborhood)을 따라 합산하며, 분자 그래프의 국부 지역의 정보들을 통합하여 업데이트된 특성을 생성하는 합성곱 계층(convolution layer); 및 합성곱 계층에 의한 합성곱 결과를 받아 노드에 따른 특성을 누적하여 노드-독립적인 분자 수준의 특성을 생성하는 특성 결합 계층(feature collection layer);의 두 모듈이 구현되는 기계 판독 가능 매체를 포함한다. The present invention can be loaded into a device in which a machine-executable command is executed, and when the machine-executable command is loaded and executed in a device, when the number of atoms constituting the molecule is N and the number of atomic-level properties is M, the molecule is a feature matrix, which is an NxM matrix including the properties of each atom forming; an adjacency matrix, which is an NxN symmetric matrix that maintains the graph topology; and a position matrix that is an NxNx3 matrix representing a relative position vector between atoms; has an input layer into which a molecular graph is embedded into a three-dimensional Euclidean space by a matrix set including; a three-dimensional Euclidean space A convolution layer that mixes the scalar and vector properties of each node for the molecular graph introduced as ); and a feature collection layer that receives the result of convolution by the convolution layer and accumulates features according to nodes to generate node-independent molecular-level features; and a machine-readable medium on which two modules are implemented. do.
본 발명의 일 실시예에 따른 기계 판독 가능 매체에 있어, 기계 실행 가능 명령이 수행되는 장치에 로딩되어 수행되는 경우, 특성 결합 계층에서 생성된 분자 수준의 특성을 입력받는 전결합 신경망(fully-connected neuron network);이 더 구현될 수 있다.In the machine-readable medium according to an embodiment of the present invention, when a machine-executable instruction is loaded into a device to be executed and executed, a fully-connected neural network that receives a molecular-level characteristic generated in the characteristic binding layer as input neuron network); may be further implemented.
본 발명에 따른 분자 구현 방법은 3차원 그래프 토폴로지와 그래프 합성곱 신경망이 통합되어, 3차원 분자 구조가 신경망상 구현됨에 따라, 분자의 기본 물성 뿐만 아니라, 분자간 동역학(inter-molecular dynamics)이나 단백질-리간드 상호작용등과 같이 3차원 구조나 상대적인 방향등에 영향을 받는 반응성 또한 예측할 수 있는 장점이 있다.The molecular realization method according to the present invention integrates a three-dimensional graph topology and a graph convolution neural network, and as a three-dimensional molecular structure is implemented as a neural network, not only basic physical properties of molecules, but also inter-molecular dynamics or protein- It has the advantage of predicting the reactivity that is affected by the three-dimensional structure or relative direction, such as ligand interaction.
도 1은 합성곱 계층에서 수행되는 4가지 연산을 도시한 일 모식도이다.1 is a schematic diagram illustrating four operations performed in a convolution layer.
이하 첨부한 도면들을 참조하여 본 발명의 구현 방법을 상세히 설명한다. 다음에 소개되는 도면들은 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 예로서 제공되는 것이다. 따라서, 본 발명은 이하 제시되는 도면들에 한정되지 않고 다른 형태로 구체화될 수도 있으며, 이하 제시되는 도면들은 본 발명의 사상을 명확히 하기 위해 과장되어 도시될 수 있다. 이때, 사용되는 기술 용어 및 과학 용어에 있어서 다른 정의가 없다면, 이 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 통상적으로 이해하고 있는 의미를 가지며, 하기의 설명 및 첨부 도면에서 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 설명은 생략한다. 또한 명세서 및 첨부된 특허청구범위에서 사용되는 단수 형태는 문맥에서 특별한 지시가 없는 한 복수 형태도 포함하는 것으로 의도할 수 있다. Hereinafter, an implementation method of the present invention will be described in detail with reference to the accompanying drawings. The drawings introduced below are provided as examples so that the spirit of the present invention can be sufficiently conveyed to those skilled in the art. Accordingly, the present invention is not limited to the drawings presented below and may be embodied in other forms, and the drawings presented below may be exaggerated to clarify the spirit of the present invention. At this time, if there is no other definition in the technical terms and scientific terms used, it has the meaning commonly understood by those of ordinary skill in the art to which this invention belongs, and the gist of the present invention in the following description and accompanying drawings Descriptions of known functions and configurations that may be unnecessarily obscure will be omitted. Also, the singular forms used in the specification and appended claims may also be intended to include the plural forms unless the context specifically dictates otherwise.
본 발명은 그래프 합성곱 신경망(GCN; graph convolution network)을 이용한 3차원 분자의 구현 및 해석 방법으로, 그래프 합성곱 신경망과 3차원 분자 토폴로지를 통합하여 노드와 무관한 분자 수준의 특성(feature)들로 3차원 분자를 해석하는 방법이다. The present invention is a three-dimensional molecule implementation and analysis method using a graph convolution network (GCN), which integrates a graph convolution neural network and a three-dimensional molecular topology to obtain node-independent molecular-level features (features). It is a method to interpret 3D molecules with
이에, 본 3차원 분자의 구현 방법은 GCN을 이용한 3차원 분자 토폴로지의 처리(해석) 방법에 상응할 수 있으며, 이와 달리 분자 수준의 특성들을 갖는 3차원 분자 그래프의 출력을 생성하는 GCN 출력 생성 방법에 상응할 수 있다. Accordingly, the present 3D molecule implementation method may correspond to a 3D molecular topology processing (analysis) method using GCN. Unlike this, a GCN output generating method that generates an output of a 3D molecular graph having molecular-level properties can correspond to
본 발명에 따른 구현 방법은, 분자를 이루는 원자 수가 N이고 원자레벨 특성 수가 M일 때, 분자를 이루는 각 원자의 특성을 포함하는 NxM 행렬인 특성 행렬(feature matrix); 그래프 토폴로지를 유지하는 NxN 대칭 행렬인 인접 행렬(adjacency matrix); 및 원자간 상대적 위치 벡터를 나타내는 NxNx3 행렬인 위치 행렬(position matrix);를 포함하는 행렬 셋(set)에 의해 분자 그래프가 3차원 유클리드 공간으로 도입(embedded)될 수 있다. 이를 기호로 도시하면, 특성 행렬 X는 
종래 노드(원자) 각각의 위치를 지정한 것과는 달리, 위치 행렬은 노드인 원자의 위치를 원자간의 상대적 위치 벡터로 나타내며, 이러한 상대적 위치 벡터에 의해 분자의 공간 정보가 저장될 수 있다. 이때, 이동 불변성(translational invariance)을 제공하기 위해, 위치 행렬은 NxNx3의 3차원 행렬(
원자간 상대적 위치 벡터에 의해 3차원 위치를 나타내는 위치 행렬은, 분자 구조를 제공하는 알려진 데이터 세트를 이용하여 생성되거나 RDKIT등과 같은 오픈 소스를 이용하여 알려진 프로토콜(Ebejer, J.-P.; Morris, G. M.; Deane, C. M. Journal of Chemical Information and Modeling 2012, 52, 1146-1158.)에 의해 컨포머(conformer)를 생성하고, 최저 에너지를 갖는 컨포머를 선택하여 생성될 수 있으나, 본 발명이 위치 행렬 생성에 사용되는 구체 컨포머의 종류나 이용하는 데이터 세트등에 의해 한정될 수 없음은 물론이다.Position matrices representing three-dimensional positions by interatomic relative position vectors can be generated using known data sets that provide molecular structures, or using open sources such as RDKIT, known protocols (Ebejer, J.-P.; Morris, G. M.; Deane, C. M. Journal of Chemical Information and Modeling 2012, 52, 1146-1158.) by generating a conformer and selecting a conformer with the lowest energy, but the present invention provides a position matrix Of course, it cannot be limited by the type of spherical conformer used for generation or the data set used.
특성 행렬은 원자 수준의 특성들을 포함하는 행렬로, 후술하는 바와 같이 합성곱 계층의 일 층(layer)에서 일 노드 특성이 이웃 노드 특성과 융합(aggregating)되며 해당 노드에 업데이트된 특성이 생성될 수 있다. 다층의 합성곱 계층에 의해 이러한 업데이트된 특성이 노드를 따라 합산되고, 다시 업데이트된 특성이 생성되는 합성곱 사이클이 반복적으로 수행되며 분자의 일부분이 아닌 분자 전체적인 특성이 생성될 수 있다. The feature matrix is a matrix including atomic-level features. As will be described later, in one layer of the convolutional layer, one node feature is aggregated with neighboring node features, and an updated feature can be generated at the node. there is. By a multi-layered convolutional layer, these updated properties are summed along nodes, and a convolution cycle in which the updated properties are generated again is repeatedly performed, and properties of the entire molecule rather than a part of the molecule may be generated.
일 구체예에 있어, 특성 행렬에서 원자레벨 특성은 하기 특성 1~5를 포함할 수 있다.In one embodiment, the atomic level characteristic in the characteristic matrix may include the following characteristics 1 to 5.
특성 1 : 원-핫 벡터로 표현된 원자 종류Characteristic 1: Atom type expressed as a one-hot vector
특성 2 : 원-핫 벡터로 표현된 중원소(heavy atom) 이웃의 수Feature 2: Number of heavy atom neighbors expressed as one-hot vectors
특성 3 : 원-핫 벡터로 표현된 이웃한 수소의 수Feature 3: Number of neighboring hydrogens expressed as one-hot vectors
특성 4 : 원-핫 벡터로 표현된 원자의 혼성궤도함수(hybrid orbital)Characteristic 4: Hybrid orbital of atoms expressed as one-hot vectors
특성 5 : 바이너리로 표현된 원자가 방향족 고리의 일부인지 여부Characteristic 5: Whether the atom represented in binary is part of an aromatic ring
원자 타입(특성 1)은 H, B, C, N, O, F, P, S, Cl, Br, I 및 그 외로 구분될 수 있으며, 크기(size) 12의 원 핫 벡터(one-hot vector) 형태일 수 있다.Atomic types (property 1) can be divided into H, B, C, N, O, F, P, S, Cl, Br, I and others, and a one-hot vector of size 12 ) may be in the form
디그리(degree, 특성 2)는 중원소(heavy atom) 이웃의 수로, 0, 1, 2, 3, 4, 5 및 6인 크기 7의 원 핫 벡터 형태일 수 있다.The degree (characteristic 2) is the number of heavy atom neighbors, and may be in the form of a one-hot vector of size 7, which is 0, 1, 2, 3, 4, 5, and 6.
수소의 수(number of hydrogens, 특성 3)는 이웃한 수소의 수로, 0, 1, 2, 3 및 4인 크기 5의 원 핫 벡터 형태일 수 있다.The number of hydrogens (characteristic 3) is the number of neighboring hydrogens, which can be in the form of a one-hot vector of size 5 with 0, 1, 2, 3 and 4.
혼성화(hybridization, 특성 4)는 원자의 혼성궤도함수로, sp, sp 2 , sp 3 , sp 3 d, 및 sp 3 d 2 인 크기 5의 원 핫 벡터 형태일 수 있다. Hybridization (characteristic 4) is a hybrid orbital function of an atom, and may be in the form of a one-hot vector of size 5 with sp, sp 2 , sp 3 , sp 3 d, and sp 3 d 2 .
방향족성(aromaticity, 특성 5)은 원자가 방향족 고리(aromatic system)의 일부인지 여부를 나타내는 크기 1의 바이너리 형태일 수 있다.Aromaticity (characteristic 5) can be a binary form of magnitude 1 indicating whether an atom is part of an aromatic system.
일 구체예에 있어, 특성 행렬에서 원자레벨 특성은 하기 특성 6~11을 더 포함할 수 있다. In an embodiment, the atomic-level characteristic in the characteristic matrix may further include the following characteristics 6 to 11.
특성 6 : 원-핫 벡터로 표현된 암시적 밸런스(implicit valence)Attribute 6: Implicit valence expressed as a one-hot vector
특성 7 : 원-핫 벡터로 표현된 원자의 형식 전하(formal charge)Property 7: Formal charge of an atom expressed as a one-hot vector
특성 8 : 바이너리로 표현된 원자가 속하는 방향족 고리의 고리 크기Characteristic 8: Ring size of the aromatic ring to which the atom belongs, expressed in binary.
특성 9 : 원-핫 벡터로 표현된 키랄성(chirality)Characteristic 9: Chirality expressed as a one-hot vector
특성 10 : 바이너리로 표현된 산성 또는 염기성 여부Characteristic 10: Whether acidic or basic expressed in binary
특성 11 : 바이너리로 표현된 수소결합 공여체 또는 수소결합 수용체 여부Characteristic 11: Whether a hydrogen bond donor or hydrogen bond acceptor expressed in binary
암시적 밸런스(implicit valence, 특성 6)는 0 내지 6의 정수인 암시적 수소(implicit hydrogens) 수로 크기 7의 원 핫 벡터 형태일 수 있다. Implicit valence (characteristic 6) may be in the form of a one-hot vector of size 7 with the number of implicit hydrogens that are integers from 0 to 6.
형식 원자(formal charge, 특성 7)는 -3 내지 +3의 정수로 크기 7의 원 핫 벡터 형태일 수 있다.The formal charge (characteristic 7) may be in the form of a one-hot vector of size 7 as an integer from -3 to +3.
고리 크기(ring size, 특성 8)는 원자가 속하는 방향족 고리의 고리 크기로 3 내지 8의 정수인 크기 6의 바이너리일 수 있다. The ring size (characteristic 8) is the ring size of the aromatic ring to which the atom belongs, and may be binary of size 6, which is an integer from 3 to 8.
키랄성(chirality, 특성 9)은 R, S 또는 비키랄(nonchiral)인 크기 3의 원 핫 벡터 형태일 수 있다.The chirality (characteristic 9) can be in the form of a one-hot vector of size 3 that is R, S or nonchiral.
산/염기(acid/base, 특성 10)는 원자가 산성인자 염기성인지를 나타내는 크기 2의 바이너리일 수 있다.Acid/base (characteristic 10) can be binary of size 2 indicating whether the atom is acidic or basic.
수소 결합(hydrogen bonding, 특성 11)은 원자가 수소 결합 공여체인지 수소결합 수용체인지를 나타내는 크기 2의 바이너리일 수 있다.Hydrogen bonding (characteristic 11) can be binary of size 2 indicating whether an atom is a hydrogen bond donor or hydrogen bond acceptor.
상술한 행렬 셋은 합성곱 계층(convolution layer)의 입력일 수 있다. 행렬 셋(set)에 의해 3차원 유클리드 공간으로 도입되는 분자 그래프는 다층 구조의 합성곱 계층에 의해 특성이 융합될 수 있다. The above-described matrix set may be an input of a convolution layer. In a molecular graph introduced into a three-dimensional Euclidean space by a matrix set, properties can be fused by a multi-layered convolutional layer.
상세하게, 합성곱 계층을 이루는 각 층은, 각 노드의 스칼라 특성과 벡터 특성을 혼합하고 이웃(neighborhood)을 따라 합산하여 업데이트된 특성을 생성할 수 있다. 이러한 층(layer)들이 다층 구조로 연결된 합성곱 계층(convolution layer)에 의해 분자 그래프상 국부 지역의 정보들이 통합될 수 있다. 이때, 다층 구조로 연결된 합성곱 계층의 수(층의 수)는 2 내지 100개일 수 있으나, 일 예일 뿐이며 반드시 이에 한정되는 것은 아니다. In detail, each layer constituting the convolutional layer may generate an updated characteristic by mixing a scalar characteristic and a vector characteristic of each node and summing them according to a neighbor. Information of a local area on the molecular graph may be integrated by a convolution layer in which these layers are connected in a multi-layered structure. In this case, the number of convolutional layers (the number of layers) connected in a multi-layer structure may be 2 to 100, but this is only an example and is not necessarily limited thereto.
다층 구조의 합성곱 계층에서 발생하는 합성곱 사이클 시 스칼라 특성과 벡터 특성은 하기의 연산 1~4에 의해 이웃 특성 수집과 함께 자신의 특성과 다른 특성을 재귀적으로 업데이트 할 수 있다. During the convolution cycle occurring in the convolutional layer of a multi-layer structure, the scalar and vector properties can be recursively updated with their own properties and other properties along with the collection of neighboring features by the following operations 1 to 4.
연산 1 : 스칼라-스칼라 연산(scalar to scalar operation)Operation 1: scalar to scalar operation
연산 1에서 
연산 2 : 벡터-벡터 연산(vector to vector operation)Operation 2: vector to vector operation
연산 2에서 
연산 3 : 벡터-스칼라 연산(vector to scalar operation)Operation 3: vector to scalar operation
연산 3에서 
연산 4 : 스칼라-벡터 연산(scalar to vector operation)Operation 4: scalar to vector operation
연산 4에서 
이때, 각 연산에 사용되는 가중치는 행렬 형태일 수 있음은 물론이다.In this case, it goes without saying that the weights used for each operation may be in the form of a matrix.
도 1은 합성곱 계층 내에서 수행되는 스칼라 및 벡터 특성간의 4가지 연산을 도시한 도면으로, 중심 노드(도 1의 오렌지색)의 특성과 이웃(이웃 노드, 도 1의 푸른색)의 특성간의 4가지 연산에 의해 새로운 특성(업데이트된 특성)이 생성될 수 있다. 이때, 도 1에서 W는 가중치를, b는 바이어스를, σ는 비선형성(ReLU 함수)을 나타낸다.FIG. 1 is a diagram showing four operations between scalar and vector features performed in a convolutional layer, between the properties of the central node (orange in FIG. 1) and the properties of the neighbor (neighbors, in blue in FIG. 1). New properties (updated properties) can be created by branching operations. At this time, in FIG. 1, W denotes a weight, b denotes a bias, and σ denotes nonlinearity (ReLU function).
상세하게, 도 1(a)는 중심 노드와 이웃간 스칼라-스칼라 연산을, 도 1(c)는 중심 노드와 이웃간 벡터-벡터 연산을, 도 1(b)는 중심 노드와 이웃간 벡터-스칼라 연산을, 도 1(d)는 중심 노드와 이웃간 스칼라-벡터 연산을 도시한 것이다. In detail, Fig. 1(a) shows a scalar-scalar operation between a central node and a neighbor, Fig. 1(c) shows a vector-vector operation between a central node and a neighbor, and Fig. 1(b) shows a vector-scalar operation between the central node and a neighbor. , FIG. 1( d ) shows a scalar-vector operation between a central node and a neighbor.
도 1(a) 및 도 1(c)로 도시하고 연산 1 및 연산 2로 규정한 바와 같이, 스칼라-스칼라 연산과 벡터-벡터 연산시 깊이 방향으로 두 노드의 특성을 합치는 concatenate 연산자에 의해 이웃하는 두 노드가 서로 결합된 후, 활성화 함수(ReLU)에 의한 선형 결합이 수행될 수 있다. 이때, 벡터-벡터 연산의 선형 결합시 x, y, z축을 따라 동일한 가중치를 유지하기 위해, 두 노드가 결합된 특성(concatenated feature)이 평탄화(flatten)되지 않음을 주목할 수 있다.1(a) and 1(c) and as defined by operation 1 and operation 2, the neighbor by the concatenate operator that combines the characteristics of two nodes in the depth direction during scalar-scalar operation and vector-vector operation After the two nodes are coupled to each other, linear coupling by an activation function (ReLU) may be performed. In this case, it can be noted that the concatenated feature of two nodes is not flattened in order to maintain the same weight along the x, y, and z axes during the linear combination of the vector-vector operation.
도 1(b)로 도시하고 연산 3으로 규정한 바와 같이, 벡터-스칼라 연산은 정보를 스칼라 특성으로 변환하기 위해, 이웃의 벡터 특성을 중심 노드와 이웃간의 상대적 방향(도 1에서 초록색 화살표로 도시)으로 스칼라 사영(projection)하는 연산일 수 있다. 도 1(d)로 도시하고 연산 4로 규정한 바와 같이, 스칼라-벡터 연산은 중심 노드와 이웃간의 상대적 방향(도 1에서 초록색 화살표로 도시)과의 텐서 프로덕트에 의해 이웃의 스칼라 특성을 벡터 특성으로 확장하는 연산일 수 있다. As shown in Fig. 1(b) and defined by operation 3, the vector-scalar operation converts information into a scalar characteristic, and the vector characteristic of the neighbor is shown in the relative direction between the central node and the neighbor (shown by the green arrow in Fig. 1). ) may be an operation for scalar projection. As shown in Fig. 1(d) and defined by operation 4, the scalar-vector operation calculates the scalar characteristic of the neighbor by the tensor product of the relative direction between the central node and the neighbor (shown by the green arrow in Fig. 1) as the vector characteristic. It may be an operation that expands to .
스칼라 특성과 벡터 특성간의 결합은 차원의 변경이 요구되는 결합임에 따라, 도 1(b) 및 도 1(d)로 도시하고 연산 3 및 연산 4로 규정한 바와 같이, 노드간의 상대적 방향을 이용하여 랭크(rank)를 증가시키거나 감소시킨 것이며, 스칼라 투영과 텐서 프로덕트를 이용하여 가능한 원래의 정보를 가능한 손실시키지 않으며 상대적 방향과 특성을 연결시킨 것이다. 스칼라-스칼라 연산(연산 1)이나 벡터-벡터 연산(연산 2)과는 달리 스칼라 특성과 벡터 특성간의 결합(연산 3 및 연산 4)에는 이웃 특성(neighborhood feature)만이 이용된다. Since the coupling between the scalar property and the vector property is a coupling requiring a change in dimension, as shown in FIGS. Thus, the rank is increased or decreased by using scalar projection and tensor products to link relative directions and characteristics without losing as much of the original information as possible. Unlike a scalar-scalar operation (Operation 1) or a vector-vector operation (Operation 2), only a neighbor feature is used for combining a scalar feature and a vector feature (Operation 3 and Operation 4).
합성곱 과정에서, 상술한 4개의 연산에 의해 업데이트된 특성은 이웃을 따라 합성곱(convolution)되며 벡터 특성과 스칼라 특성의 두 특성으로 결합될 수 있다. 상세하게, 4개의 연산에 의해 업데이트된 특성은 활성화 함수(ReLU 함수)를 이용한 선형 조합 의해 이웃(neighborhood)을 따라 합산되어, 층 l+1에서 노드 i의 스칼라 특성과 층 l+1에서 노드 i의 벡터 특성이 생성될 수 있다. 이때, 층 l 및 층 l+1은 다층 구조로 연결된 합성곱 계층(convolution layer)에서 이웃하는 층을 의미함은 물론이다. In the convolution process, the properties updated by the four operations described above are convolved along the neighbors and can be combined into two properties: a vector property and a scalar property. In detail, the properties updated by the four operations are summed along the neighborhood by linear combination using an activation function (ReLU function), so that the scalar properties of node i in layer l+1 and node i in layer l+1 A vector characteristic of can be generated. In this case, of course, the layer l and the layer l+1 mean neighboring layers in a convolution layer connected in a multi-layer structure.
상세하게, 층 l+1 노드 i에서의 스칼라 특성은 하기 연산 5에 의해 생성될 수 있으며, 층 l+1 노드 i에서의 벡터 특성은 하기 연산 6에 의해 생성될 수 있다.In detail, the scalar characteristic at the layer l+1 node i may be generated by the following operation 5, and the vector characteristic at the layer l+1 node i may be generated by the following operation 6 .
연산 5 : 합성곱에 의한 층 l+1 노드 i에서의 스칼라 특성 Operation 5: Scalar properties at layer l+1 node i by convolution
연산 5에서 
연산 6 : 합성곱에 의한 층 l+1 노드 i에서의 벡터 특성 Operation 6: Vector properties at layer l+1 node i by convolution
연산 6에서 
연산 5 및 연산 6에 규정된 바와 같이, 이웃(이웃 노드)의 특성들이 합산되고 정규화된 인접 행렬로 평준화되며 층 l+1 노드 i의 특성이 생성될 수 있다.As specified in operations 5 and 6, the properties of the neighbors (neighbors) are summed and normalized to a normalized adjacency matrix and the properties of layer l+1 node i can be generated.
상술한 연산 1 내지 4와, 연산 5 및 6에 기반한 합성곱 계층의 합성곱이 수행된 후, 전체 그래프에 분포하는 정보들을 축적함으로써, 분자 수준에서의 물성을 예측할 수 있다. After the convolution of the convolution layer based on the above-described operations 1 to 4 and operations 5 and 6 is performed, information distributed in the entire graph is accumulated, thereby predicting the physical properties at the molecular level.
상세하게, 합성곱 계층에 의한 합성곱이 수행된 후, 특성 결합 계층(feature collection layer)에 의해 각 노드의 스칼라와 벡터 특성은 전체 노드들을 합산(sum) 혹은 최대치 선택(max)을 통해 노드-독립적인 분자 수준의 스칼라와 벡터 특성이 생성될 수 있다. 상세하게, 특성 결합 계층에 의해 모든 노드의 스칼라와 벡터 특성들이 합해지며 분자를 이루는 원자의 수와 무관한, 분자 수준(그래프 수준)의 스칼라와 벡터 특성이 생성될 수 있다. In detail, after the convolution by the convolution layer is performed, the scalar and vector properties of each node by the feature collection layer are node-independent through summing (sum) or maximal selection (max) of all nodes. Phosphorus molecular level scalar and vector properties can be generated. In detail, the scalar and vector features of all nodes are summed by the feature binding layer, and scalar and vector features at the molecular level (graph level) can be generated regardless of the number of atoms constituting the molecule.
특성 결합 계층에서 생성된 노드-독립적인 분자 수준의 스칼라와 벡터 특성은 분자 물성을 예측하기 위해 전결합 신경망(fully connected network)으로 연결(공급)될 수 있음은 물론이다. Of course, node-independent molecular-level scalar and vector features generated in the feature coupling layer can be connected (supplied) to a fully connected network to predict molecular properties.
본 발명에 따른 방법은, 그래프 합성곱 네트워크와 분자의 3차원 토폴로지가 결합하여 3차원 분자 그래프가 구현됨에 따라, 분자의 배향(orientation)과 같은 3차원 거동 하 분자의 물성이나 반응성을 예측할 수 있는 장점이 있으며, 국부 영역(local)이나, 또는 분자레벨의 물성을 정확하게 예측할 수 있다. In the method according to the present invention, as a three-dimensional molecular graph is realized by combining a graph convolution network and a three-dimensional topology of a molecule, the physical properties or reactivity of a molecule can be predicted under three-dimensional behavior such as the orientation of the molecule. There is an advantage, and it is possible to accurately predict the properties of a local or molecular level.
본 발명은 상술한 3차원 분자 구현 방법을 이용한 물성 예측 방법을 포함한다.The present invention includes a method for predicting physical properties using the above-described three-dimensional molecular implementation method.
본 발명에 따른 물성 예측 방법은, 목적하는 물성(예측하고자 하는 물성)의 분자 물질-물성의 데이터 셋을 이용하여, 상술한 방법에 따라 그래프 합성곱 신경망상 구현된 3차원 분자 그래프 모델을 학습시키는 단계; 및 학습된 3차원 분자 그래프 모델을 이용하여 임의의 분자의 물성을 예측하는 단계;를 포함할 수 있다.The method for predicting physical properties according to the present invention uses a molecular material-physical data set of a desired physical property (physical property to be predicted) to learn a three-dimensional molecular graph model implemented with a graph convolutional neural network according to the method described above. step; and predicting the physical properties of any molecule using the learned 3D molecular graph model.
3차원 분자 그래프 모델의 학습 및 이에 의한 물성 예측은 전결합 신경망(fully connected network)에서 이루어질 수 있으나, 반드시 이에 한정되는 것은 아니다.The learning of the 3D molecular graph model and the prediction of the properties thereof may be performed in a fully connected network, but the present invention is not limited thereto.
3차원 분자 그래프 모델의 학습과 검증은 당업계에서 종래 알려진 방법과 조건들을 이용하여 수행되면 무방하다. 일 예로, 3차원 분자 그래프 모델의 학습은 학습을 진행하면서 점차 학습률을 줄여나가는 학습률 감소(learning rate decay) 및 학습 효율이 더 이상 오르지 않을 때 조기에 학습을 종료하는 학습 조기 종료(early-stopping) 테크닉을 이용하여 제어될 수 있다. 모델은 K-폴드 교차 검증(K-fold stratified cross-validation)을 이용한 평균제곱오차(mean squared error)에 의해 평가될 수 있으며, 각 폴드에서 데이터 셋은 랜덤하게 트레이닝 셋, 검증 셋 및 테스트 셋으로 나뉘어질 수 있음은 물론이다.Learning and verification of the 3D molecular graph model may be performed using methods and conditions conventionally known in the art. As an example, learning of a 3D molecular graph model includes learning rate decay, which gradually reduces the learning rate while learning, and early-stopping, which terminates learning early when learning efficiency no longer increases. It can be controlled using techniques. The model can be evaluated by mean squared error using K-fold stratified cross-validation, and the data set in each fold is randomly divided into training set, validation set and test set. Of course, it can be divided.
분자 물질-물성의 데이터 셋의 비 한정적인 일 예로, Free Solvation Database등과 같은 물질별 수화 자유에너지(hydration free energy) 데이터 셋, ESOL등과 같은 물질별 수용해도(aqueous solubilities) 데이터 셋, 인간 β-세크리테아제 1에 대한 억제제 분자들의 결합 친화력(실험값)을 제공하는 BASE 데이터 셋등과 같이 분자 고유의 물성이나 분자의 생화학 반응에 관련된 데이터 셋일 수 있으나, 본 발명이 학습에 사용되는 데이터 셋의 구체 종류에 의해 한정될 수 없음은 물론이다. As a non-limiting example of a molecular substance-physical data set, a hydration free energy data set for each substance, such as the Free Solvation Database, an aqueous solubilities data set for each substance, such as ESOL, human β-secree It may be a data set related to intrinsic properties of a molecule or a biochemical reaction of a molecule, such as a BASE data set that provides the binding affinity (experimental value) of inhibitor molecules for tease 1, but the specific type of the data set used in the present invention for learning Of course, it cannot be limited by
3차원 분자 그래프 모델이 그래프 합성곱 네트워크와 분자의 3차원 토폴로지가 결합된 모델임에 따라, 예측하고자 하는 물성(반응성)에 적합한 분자 물질-물성의 데이터 셋을 이용하여 모델을 학습시킴으로써, 특정 용매에 대한 용해도나 용해도, 포화밀도, 독성등과 같은 물질의 물성 뿐만 아니라, 단백질-리간드 상호 작용등과 같이 분자의 공간 구조에 의해 영향을 받는 생리 활성 반응의 반응성 또한 예측될 수 있다.As the 3D molecular graph model is a model in which the graph convolution network and the 3D topology of molecules are combined, a specific solvent In addition to the physical properties of substances such as solubility, solubility, saturation density, and toxicity, the reactivity of physiologically active reactions affected by the spatial structure of molecules, such as protein-ligand interactions, can also be predicted.
본 발명은 상술한 3차원 분자 구현 방법이 실행되는 기계 판독 가능 매체, 및 상술한 물성 예측 방법이 실행되는 기계 판독 가능 매체를 포함한다. 이때, 기계 판독 가능 매체는 상술한 행렬 셋을 입력으로 갖는 합성곱 계층과 특성 결합 계층이 구현되는 기계 실행 가능 명령들이 저장되는 기계 판독 가능 매체일 수 있다. 본 발명의 일 구현예에 따라 기계 실행 가능 명령들로 구현된 3차원 분자 그래프 모델(https://github.com/blackmints/3DGCN)은 전체로 본 발명에 참조된다.The present invention includes a machine-readable medium on which the above-described method for realizing a three-dimensional molecule is executed, and a machine-readable medium on which the above-described method for predicting physical properties is executed. In this case, the machine-readable medium may be a machine-readable medium in which machine-executable instructions in which a convolutional layer and a feature combining layer having the above-described matrix set as input are implemented are stored. A three-dimensional molecular graph model (https://github.com/blackmints/3DGCN) implemented with machine-executable instructions according to an embodiment of the present invention is incorporated herein by reference in its entirety.
상세하게, 기계 판독 가능 매체는, 기계 실행 가능 명령이 수행되는 장치에 로딩될 수 있으며, 기계 실행 가능 명령이 수행되는 장치에 로딩되어 수행(기계 판독 가능 매체에 저장된 기계 실행 가능 명령들이 수행)되는 경우, 분자를 이루는 원자 수가 N이고 원자레벨 특성 수가 M일 때, 분자를 이루는 각 원자의 특성을 포함하는 NxM 행렬인 특성 행렬(feature matrix); 그래프 토폴로지를 유지하는 NxN 대칭 행렬인 인접 행렬(adjacency matrix); 및 원자간 상대적 위치 벡터를 나타내는 NxNx3 행렬인 위치 행렬(position matrix);를 포함하는 행렬 셋(set)에 의해 분자 그래프가 3차원 유클리드 공간으로 도입(embedded)되는 입력층을 가지며, 3차원 유클리드 공간으로 도입된 분자 그래프를 대상으로 각 노드의 스칼라 특성과 벡터 특성을 혼합하고 이웃(neighborhood)을 따라 합산하되, 분자 그래프의 국부 지역의 정보들이 통합되어 업데이트된 특성을 생성하는 합성곱 계층(convolution layer)인 일 모듈 및 합성곱 계층에 의한 합성곱 결과를 받아 노드에 따른 특성을 누적하여 노드-독립적인 분자 수준의 특성을 생성하는 특성 결합 계층(feature collection layer)인 다른 일 모듈의 두 모듈이 구현되는 기계 판독 가능 매체를 포함한다. Specifically, the machine-readable medium may be loaded into a device on which the machine-executable instructions are executed, and the machine-executable instructions are loaded and executed on the device on which the machine-executable instructions are executed (machine-executable instructions stored in the machine-readable medium are executed). In this case, when the number of atoms constituting the molecule is N and the number of atomic-level properties is M, a feature matrix that is an NxM matrix including properties of each atom constituting the molecule; an adjacency matrix, which is an NxN symmetric matrix that maintains the graph topology; and a position matrix that is an NxNx3 matrix representing a relative position vector between atoms; has an input layer into which a molecular graph is embedded into a three-dimensional Euclidean space by a matrix set including; a three-dimensional Euclidean space A convolution layer that mixes the scalar and vector properties of each node with respect to the molecular graph introduced as ) is implemented by one module and the other module, which is a feature collection layer that receives the result of convolution by the convolution layer and accumulates features according to nodes to generate node-independent molecular-level features. machine-readable media.
이때, 기계 실행 가능 명령이 수행되는 장치는 3차원 분자 구현 장치에 상응할 수 있으며, 이에, 본 발명은 상술한 기계 판독 가능 매체에 저장된 기계 실행 가능 명령들이 수행될 수 있으며 수행시 신경망상 3차원 분자가 구현되는 3차원 분자 구현 장치를 포함한다. In this case, the device on which the machine-executable instructions are executed may correspond to a three-dimensional molecular realization device, and thus, the present invention can execute the machine-executable instructions stored in the above-described machine-readable medium, and when executed, the three-dimensional neural network It includes a three-dimensional molecular realization device in which molecules are implemented.
본 발명의 일 실시예에 따른 기계 판독 가능 매체에 있어, 기계 실행 가능 명령이 수행되는 장치에 로딩되어 수행되는 경우, 특성 결합 계층에서 생성된 분자 수준의 특성을 입력받는 전결합 신경망(fully-connected neuron network);이 더 구현될 수 있다.In the machine-readable medium according to an embodiment of the present invention, when a machine-executable instruction is loaded into a device to be executed and executed, a fully-connected neural network that receives a molecular-level characteristic generated in the characteristic binding layer as input neuron network); may be further implemented.
기계 판독 가능 매체가 전결합 신경망 모듈을 더 구현하는 경우, 기계 실행 가능 명령이 수행되는 장치는 분자의 물성 예측 장치에 상응할 수 있으며, 이에, 본 발명은 상술한 기계 판독 가능 매체에 저장된 기계 실행 가능 명령들이 수행될 수 있으며 수행시 분자의 물성을 예측하는 분자 물성 예측 장치를 포함한다. When the machine-readable medium further implements the fully coupled neural network module, the device on which the machine-executable instructions are executed may correspond to the device for predicting physical properties of a molecule, so that the present invention is machine-executed stored in the above-described machine-readable medium Possible commands can be executed and include a molecular property prediction device that predicts properties of molecules when executed.
기계 판독 가능 매체는 플로피 디스켓, 광 디스크, CD-ROM 및 광 자기 디스크, 플래시 메모리, ROM, RAM, EPROM, EEPROM, 자기 또는 광학 카드, 또는 전자 명령들을 저장하기에 적합한 다른 유형의 매체/기계-판독 가능 매체를 포함할 수 있으나, 반드시 이에 한정되는 것은 아니다.Machine-readable media may include floppy diskettes, optical disks, CD-ROM and magneto-optical disks, flash memory, ROM, RAM, EPROM, EEPROM, magnetic or optical card, or any other type of medium/machine-suitable for storing electronic instructions. readable media, but are not necessarily limited thereto.
이상과 같이 본 발명에서는 특정된 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. As described above, the present invention has been described with specific details and limited examples and drawings, but these are only provided to help a more general understanding of the present invention, and the present invention is not limited to the above embodiments, and the present invention is not limited to the above embodiments. Various modifications and variations are possible from these descriptions by those of ordinary skill in the art.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.Therefore, the spirit of the present invention should not be limited to the described embodiments, and not only the claims described below, but also all of the claims and all equivalents or equivalent modifications to the claims will be said to belong to the scope of the spirit of the present invention. .
Claims (10)
분자를 이루는 원자 수가 N이고 원자레벨 특성 수가 M일 때, 분자를 이루는 각 원자의 특성을 포함하는 NxM 행렬인 특성 행렬(feature matrix); 그래프 토폴로지를 유지하는 NxN 대칭 행렬인 인접 행렬(adjacency matrix); 및 원자간 상대적 위치 벡터를 나타내는 NxNx3 행렬인 위치 행렬(position matrix);을 포함하는 행렬 셋(set)에 의해 분자 그래프가 3차원 유클리드 공간으로 도입(embedded)되며, 상기 특성 행렬에서 원자레벨 특성은 하기 특성 1~5를 포함하는 3차원 분자 구현 방법.
특성 1 : 원-핫 벡터로 표현된 원자 종류
특성 2 : 원-핫 벡터로 표현된 중원소(heavy atom) 이웃의 수
특성 3 : 원-핫 벡터로 표현된 이웃한 수소의 수
특성 4 : 원-핫 벡터로 표현된 원자의 혼성궤도함수(hybrid orbital)
특성 5 : 바이너리로 표현된 원자가 방향족 고리의 일부인지 여부
As a 3D molecule implementation method using a graph convolution network (GCN),
When the number of atoms constituting a molecule is N and the number of atomic-level properties is M, a feature matrix that is an NxM matrix including properties of each atom constituting a molecule; an adjacency matrix, which is an NxN symmetric matrix that maintains the graph topology; and a position matrix that is an NxNx3 matrix indicating a relative position vector between atoms; a molecular graph is embedded into a three-dimensional Euclidean space by a matrix set including; A three-dimensional molecule implementation method comprising the following properties 1 to 5.
Characteristic 1: Atom type expressed as a one-hot vector
Feature 2: Number of heavy atom neighbors expressed as one-hot vectors
Feature 3: Number of neighboring hydrogens expressed as one-hot vectors
Characteristic 4: Hybrid orbital of atoms expressed as one-hot vectors
Characteristic 5: Whether the atom represented in binary is part of an aromatic ring
상기 원자레벨 특성은 하기 특성 6~11을 더 포함하는 3차원 분자 구현 방법.
특성 6 : 원-핫 벡터로 표현된 암시적 밸런스(implicit valence)
특성 7 : 원-핫 벡터로 표현된 원자의 형식 전하(formal charge)
특성 8 : 바이너리로 표현된 원자가 속하는 방향족 고리의 고리 크기
특성 9 : 원-핫 벡터로 표현된 키랄성(chirality)
특성 10 : 바이너리로 표현된 산성 또는 염기성 여부
특성 11 : 바이너리로 표현된 수소결합 공여체 또는 수소결합 수용체 여부The method of claim 1,
The atomic level characteristic is a three-dimensional molecule implementation method further comprising the following characteristics 6 to 11.
Attribute 6: Implicit valence expressed as a one-hot vector
Property 7: Formal charge of an atom expressed as a one-hot vector
Characteristic 8: Ring size of the aromatic ring to which the atom belongs, expressed in binary.
Characteristic 9: Chirality expressed as a one-hot vector
Characteristic 10: Whether acidic or basic expressed in binary
Characteristic 11: Whether a hydrogen bond donor or hydrogen bond acceptor expressed in binary
상기 3차원 유클리드 공간으로 도입된 분자 그래프는,
각 노드의 스칼라 특성과 벡터 특성이 혼합되고 이웃(neighborhood)을 따라 합산하여 업데이트된 특성을 생성하는 합성곱 계층(convolution layer)들이 다층 구조로 연결된 구조에 의해 분자 그래프의 국부 지역의 정보들이 통합되는 3차원 분자 구현 방법.The method of claim 1,
The molecular graph introduced into the three-dimensional Euclidean space is,
The scalar and vector characteristics of each node are mixed and the information of the local area of the molecular graph is integrated by a multi-layered structure in which convolution layers that generate updated characteristics by adding them along the neighborhood are connected. How to implement a 3D molecule.
상기 합성곱 계층에 의한 합성곱이 수행된 후, 특성 결합 계층(feature collection layer)에 의해 각 노드의 특성이 하나로 누적(accumulation)되어 그래프 수준의 특성이 생성되는 3차원 분자 구현 방법.5. The method of claim 4,
After the convolution by the convolution layer is performed, the properties of each node are accumulated into one by a feature collection layer to generate graph-level properties.
상기 합성곱 계층에서 하기의 연산 1~4이 수행되는 3차원 분자 구현 방법.
연산 1 : 스칼라-스칼라 연산
(연산 1에서
연산 2 : 벡터-벡터 연산
(연산 2에서
연산 3 : 벡터-스칼라 연산
(연산 3에서
연산 4 : 스칼라-벡터 연산
(연산 4에서
A three-dimensional molecule implementation method in which the following operations 1 to 4 are performed in the convolutional layer.
Operation 1: scalar-scalar operation
(in operation 1
Operation 2: vector-vector operation
(in operation 2
Operation 3: Vector-Scalar Operation
(in operation 3
Operation 4: Scalar-Vector Operation
(in operation 4
상기 4개의 연산에 의해 업데이트된 특성은 ReLU 함수를 이용한 선형 조합 의해 이웃(neighborhood)을 따라 합산되어, 층 l+1에서 노드 i의 스칼라 특성과 층 l+1에서 노드 i의 벡터 특성으로 산출되는 3차원 분자 구현 방법.7. The method of claim 6,
The properties updated by the four operations are summed along the neighborhood by linear combination using the ReLU function, and are calculated as the scalar properties of node i in layer l+1 and vector properties of node i in layer l+1. How to implement a 3D molecule.
학습된 3차원 분자 그래프 모델을 이용하여 임의의 분자의 물성을 예측하는 단계;를 포함하는 물성 예측 방법.8. A method comprising: learning a three-dimensional molecular graph model implemented according to the three-dimensional molecular realization method of any one of claims 1 and 3 to 7 by using a molecular substance-physical property data set of a physical property to be predicted; and
Predicting the physical properties of any molecule using the learned three-dimensional molecular graph model;
제 1항의 3차원 분자 구현 방법에 따른 특성 행렬(feature matrix); 인접 행렬(adjacency matrix); 및 위치 행렬(position matrix);을 포함하는 행렬 셋(set)에 의해 구현된 분자 그래프가 3차원 유클리드 공간으로 도입(embedded)되는 입력층을 가지며, 3차원 유클리드 공간으로 도입된 분자 그래프를 대상으로 각 노드의 스칼라 특성과 벡터 특성을 혼합하고 이웃(neighborhood)을 따라 합산하되, 분자 그래프의 국부 지역의 정보들이 통합되어 업데이트된 특성을 생성하는 합성곱 계층(convolution layer); 및
합성곱 계층에 의한 합성곱 결과를 받아 노드에 따른 특성을 누적하여 노드-독립적인 분자 수준의 특성을 생성하는 특성 결합 계층(feature collection layer);
의 두 모듈이 구현되는 기계 판독 가능 매체. may be loaded into a device on which the machine-executable instructions are executed, and when the machine-executable instructions are loaded into and executed on the device on which the machine-executable instructions are executed,
A feature matrix according to the three-dimensional molecular implementation method of claim 1; adjacency matrix; and a position matrix; a molecular graph implemented by a set of matrices including; has an input layer in which a molecular graph is embedded into a three-dimensional Euclidean space, and a molecular graph introduced into a three-dimensional Euclidean space. a convolution layer that mixes scalar and vector features of each node and sums them along a neighborhood, but generates updated features by integrating information on local regions of the molecular graph; and
a feature collection layer that receives a result of convolution by the convolution layer and accumulates features according to nodes to generate node-independent molecular-level features;
A machine-readable medium on which the two modules of
상기 기계 실행 가능 명령이 수행되는 장치에 로딩되어 수행되는 경우, 상기 특성 결합 계층에서 생성된 분자 수준의 특성을 입력받는 전결합 신경망(fully-connected neuron network);이 더 구현되는 기계 판독 가능 매체. 10. The method of claim 9,
A machine-readable medium further embodied in a fully-connected neuron network that receives, as an input, the molecular-level characteristics generated in the characteristic coupling layer when the machine-executable instructions are loaded into an executing device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190112855A KR102389255B1 (en) | 2019-09-11 | 2019-09-11 | Implementation and Interpretation method for 3-D molecules on the graph convolutional network |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190112855A KR102389255B1 (en) | 2019-09-11 | 2019-09-11 | Implementation and Interpretation method for 3-D molecules on the graph convolutional network |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210031197A KR20210031197A (en) | 2021-03-19 |
| KR102389255B1 true KR102389255B1 (en) | 2022-04-22 |
Family
ID=75262121
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190112855A KR102389255B1 (en) | 2019-09-11 | 2019-09-11 | Implementation and Interpretation method for 3-D molecules on the graph convolutional network |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102389255B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102485944B1 (en) | 2021-11-19 | 2023-01-10 | 주식회사 스탠다임 | Graph Encoding Method in Transformer Neural Network |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102437392B1 (en) | 2021-09-27 | 2022-08-29 | 주식회사 히츠 | Prediction method and analysis apparatus for molecular properties using physics-informed deep neural network |
| KR20230089365A (en) | 2021-12-13 | 2023-06-20 | 연세대학교 산학협력단 | Apparatus and method for collaborative filtering based on learnable-time ordinary differential equation |
| KR20230092371A (en) | 2021-12-17 | 2023-06-26 | 연세대학교 산학협력단 | Apparatus and method for artificial intelligence neural network based on co-evolving neural ordinary differential equations |
| KR20230135255A (en) | 2022-03-16 | 2023-09-25 | 한국과학기술원 | Ligand screening apparatus for receptor bonding of ligand and method therof |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101325097B1 (en) | 2011-10-04 | 2013-11-06 | 주식회사 켐에쎈 | Multiple Linear Regression-Artificial Neural Network Hybrid Model Predicting Enthalpy of Formation of Ideal Gas for Pure Organic Compound |
-
2019
- 2019-09-11 KR KR1020190112855A patent/KR102389255B1/en active IP Right Grant
Non-Patent Citations (3)
| Title |
|---|
| C. Lu et al., Molecular Property Prediction: A Multilevel Quantum Interactions Modeling Perspective, arXiv:1906.11081v1(2019.06.25.)* |
| T. Geng et al., UWB-GCN: Hardware Acceleration of Graph-Convolution-Network through Runtime Workload Rebalancing, arXiv:1908.10834v1(2019.08.23.)* |
| T. N. Kipf et al., Semi-Supervised Classification with Graph Convolutional Networks, arXiv:1609.02907v4(2017)* |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102485944B1 (en) | 2021-11-19 | 2023-01-10 | 주식회사 스탠다임 | Graph Encoding Method in Transformer Neural Network |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210031197A (en) | 2021-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102389255B1 (en) | Implementation and Interpretation method for 3-D molecules on the graph convolutional network | |
| Lu et al. | Nsga-net: neural architecture search using multi-objective genetic algorithm | |
| Mouret et al. | Illuminating search spaces by mapping elites | |
| Jin et al. | A systems approach to evolutionary multiobjective structural optimization and beyond | |
| Jin et al. | An efficient self-organizing map designed by genetic algorithms for the traveling salesman problem | |
| CN113707236B (en) | Drug small molecule property prediction method, device and equipment based on graph neural network | |
| Ru et al. | Neural architecture generator optimization | |
| Yang et al. | Learning physical constraints with neural projections | |
| Băutu et al. | Protein structure prediction in lattice models with particle swarm optimization | |
| Aykent et al. | Gbpnet: Universal geometric representation learning on protein structures | |
| Vasić et al. | Programming and training rate-independent chemical reaction networks | |
| Zhang et al. | Computational design of planar multistable compliant structures | |
| Durandau et al. | Automated generation of shuttling sequences for a linear segmented ion trap quantum computer | |
| Khan et al. | A multi-perspective revisit to the optimization methods of Neural Architecture Search and Hyper-parameter optimization for non-federated and federated learning environments | |
| Lin et al. | An efficient hybrid Taguchi-genetic algorithm for protein folding simulation | |
| Di Luna et al. | Mobile RAM and shape formation by programmable particles | |
| Haghighat et al. | Automatic synthesis of rulesets for programmable stochastic self-assembly of rotationally symmetric robotic modules | |
| Haghighatlari | Making Machine Learning Work in Chemistry: Methodological Innovation, Software Development, and Application Studies | |
| CN116705146A (en) | Multi-view enzyme function prediction method taking molecular structure and sequence mining into consideration | |
| Padhye | Evolutionary approaches for real world applications in 21st century | |
| EP4097729A1 (en) | System and method for learning to generate chemical compounds with desired properties | |
| Xie | Deep learning methods for the design and understanding of solid materials | |
| Czarnowski et al. | A new cluster-based instance selection algorithm | |
| Liu et al. | GEM-2: Next Generation Molecular Property Prediction Network by Modeling Full-range Many-body Interactions | |
| Lee | Efficient automatic engineering design synthesis via evolutionary exploration |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |