KR20240027347A - 입력 시퀀스를 변환하기 위한 시퀀스 변환 신경망 구현 장치 및 이를 이용한 학습 방법 - Google Patents

입력 시퀀스를 변환하기 위한 시퀀스 변환 신경망 구현 장치 및 이를 이용한 학습 방법 Download PDF

Info

Publication number
KR20240027347A
KR20240027347A KR1020220105457A KR20220105457A KR20240027347A KR 20240027347 A KR20240027347 A KR 20240027347A KR 1020220105457 A KR1020220105457 A KR 1020220105457A KR 20220105457 A KR20220105457 A KR 20220105457A KR 20240027347 A KR20240027347 A KR 20240027347A
Authority
KR
South Korea
Prior art keywords
input data
value
neural network
sequence
mhc
Prior art date
Application number
KR1020220105457A
Other languages
English (en)
Inventor
호르마자발 로드리고
황도영
김기영
한세희
이홍락
Original Assignee
주식회사 Lg 경영개발원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 Lg 경영개발원 filed Critical 주식회사 Lg 경영개발원
Priority to KR1020220105457A priority Critical patent/KR20240027347A/ko
Priority to PCT/KR2023/012469 priority patent/WO2024043683A1/ko
Publication of KR20240027347A publication Critical patent/KR20240027347A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Peptides Or Proteins (AREA)

Abstract

본 발명의 일 실시예에 따른 신경망 구현 장치는, 적어도 하나의 메모리; 및 상기 적어도 하나의 메모리와 통신을 수행하는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 제1 입력 데이터를 입력받고, 상기 제1 입력 데이터에 대응되는 제2 입력 데이터를 입력받고, 미리 결정된 라벨 정보와 라벨링된 상기 제1 입력 데이터 및 상기 제2 입력데이터를 기초로 어텐션 연산을 수행하여 상기 시퀀스 변환 신경망의 학습을 수행하고, 상기 제1 입력 데이터, 상기 제2 입력 데이터 및 상기 라벨 정보에 기초하여 학습된 상기 시퀀스 변환 신경망이 출력하는 출력 데이터를 결정하도록 구현될 수 있다.

Description

입력 시퀀스를 변환하기 위한 시퀀스 변환 신경망 구현 장치 및 이를 이용한 학습 방법{APPARATUS FOR IMPLEMENTING A SEQUENCE TRANSFORM NEURAL NETWORK FOR TRANSFORMING AN INPUT SEQUENCE AND LEARNING METHOD USING THE SAME}
본 개시는 신항원을 예측하기 위한 장치 및 방법에 관한 것이다. 보다 상세하게는, 본 개시는 입력 시퀀스를 변환하기 위한 시퀀스 변환 신경망 구현 장치 및 이를 이용한 학습 방법에 관한 것이다.
최근 인공지능 기술 분야에서 다양한 개념과 모델(신경망)이 개발되고 있고, 이를 이용한 데이터 예측에 대한 연구가 활발하게 진행되고 있다.
다만, 인공지능 기반의 신경망을 기반으로 데이터를 예측할 시에 보다 정확한, 즉, 예측 확률이 높은 결과를 도출하기 위해서는 그 모델에 대한 학습 또는 예측 알고리즘을 개발할 필요가 있다.
한국등록특허공보 제10-2019-0177764호 (공개일: 2019년 12월 30일)
본 개시에 개시된 실시예는 인공지능 기반의 신경망을 기반으로 데이터를 예측할 시에 보다 정확한 결과를 도출할 수 있도록 하는 알고리즘을 제공할 수 있도록 하고, 나아가, 그 알고리즘을 이용하여 신항원 예측이 용이하도록 하여 환자에게 면역 항암 백신 치료를 제공할 수 있도록 하는 인공지능 기반의 신항원 예측 모델을 이용한 신항원 후보 추출 장치 및 방법을 제공하는데 그 목적이 있다.
본 개시가 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 적어도 하나 이상의 컴퓨터가 각각의 네트워크 입력을 갖는 입력 시퀀스를 변환하기 위한 시퀀스 변환 신경망을 구현하는, 신경망 구현 장치에 있어서, 적어도 하나의 메모리; 및 상기 적어도 하나의 메모리와 통신을 수행하는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 제1 입력 데이터를 입력받고, 상기 제1 입력 데이터에 대응되는 제2 입력 데이터를 입력받고, 미리 결정된 라벨 정보와 라벨링된 상기 제1 입력 데이터 및 상기 제2 입력데이터를 기초로 어텐션 연산을 수행하여 상기 시퀀스 변환 신경망의 학습을 수행하고, 상기 제1 입력 데이터, 상기 제2 입력 데이터 및 상기 라벨 정보에 기초하여 학습된 상기 시퀀스 변환 신경망이 출력하는 출력 데이터를 결정하도록 구현될 수 있다.
상기 적어도 하나의 프로세서는, 상기 제1 입력 데이터를 기초로 미리 결정된 사전학습 연산을 수행하여 제1 키(key) 값 및 제1 벨류(value) 값을 결정하고, 상기 제2 입력 데이터의 시퀀스 각각에 위치 정보를 매칭하고, 상기 제2 입력 데이터에 대응되는 제2키 값, 제2 벨류 값 및 제2 쿼리 값을 기초로 미리 결정된 셀프 어텐션(self attention) 연산을 수행하여 제1 쿼리 값(query)을 생성하고, 상기 제1 키 값, 상기 제1 벨류 값 및 상기 제1 쿼리 값을 기초로 상기 미리 결정된 어텐션 연산을 수행하여 상기 제1 입력 데이터 및 상기 제2입력 데이터에 대응되는 상기 출력 데이터를 결정할 수 있다.
상기 적어도 하나의 프로세서는, 상기 제1 입력 데이터 및 상기 제2 입력 데이터의 시퀀스 각각에 대응되는 상기 제1 키 값, 상기 제1 벨류 값 및 상기 제1 쿼리 값을 기초로 미리 결정된 연산을 통하여 형성된 복수의 어텐션 헤드(attention head)를 합하는 연산을 수행할 수 있다.
상기 적어도 하나의 프로세서는, 상기 제1 입력 데이터에 대응되는 상기 제2 입력 데이터에 대한 어텐션 에너지를 포함한 상기 출력데이터를 출력하도록 구성될 수 있다.
상기 적어도 하나의 프로세서는, 상기 제1 키 값, 상기 제1 벨류 값 및 상기 제1 쿼리 값을 기초로 상기 미리 결정된 어텐션 연산을 수행하여 결정된 임베딩 벡터에 실험 방법에 대응되는 정보를 추가적으로 결합하여 상기 출력 데이터를 형성할 수 있다.
상기 제1 입력 데이터는, MHC 종류 및 MHC 구조 정보 중 적어도 하나를 포함하고, 상기 제2 입력 데이터는, 복수의 펩타이드 서열을 포함할 수 있다.
본 발명의 일 실시예에 따른 신경망 구현 장치는, 상기 제2 입력데이터가 MHC에 결합되지 않는 적어도 하나의 펩타이드 서열을 포함하면, 상기 시퀀스 변환 신경망은, 상기 MHC와 상기 펩타이드 서열의 결합 여부를 예측하도록 구현될 수 있다.
상기 적어도 하나의 프로세서는, 상기 출력 데이터에 포함된 상기 제1 입력 데이터 및 상기 제2 입력 데이터에 대응되는 상기 펩타이드 서열과 상기 MHC와의 결합 정보를 기초로 결정된 손실(loss)함수를 이용하여 상기 시퀀스 변환 신경망의 변수를 변경할 수 있다.
상기 제2 입력 데이터는, 상기 펩타이드 서열과 대응되는 아미노산 치환 행렬(BLOSUM) 및 물리화학적 특정(AAindex) 중 적어도 하나를 포함할 수 있다.
상기 제1 입력 데이터는, 상기 펩타이드 서열과 상기 MHC 가 결합하는 지점을 기준으로 미리 결정된 범위에 대응되는 시퀀스로 마련될 수 있다.
본 발명의 일 실시예에 따른 신경망 구현 장치는, 상기 제2 입력데이터가 T-세포를 활성화하지 않는 적어도 하나의 펩타이드 서열을 포함하면, 상기 시퀀스 변환 신경망은, 상기 펩타이드 서열에 매칭되는 상기 T-세포의 활성여부를 예측하도록 구현될 수 있다.
상기 적어도 하나의 프로세서는, 상기 제1 입력 데이터 및 상기 제2 입력 데이터에 대응되는 상기 T-세포의 활성여부를 출력하는 복수의 테스트를 수행하고, 상기 복수의 테스트 횟수 및 상기 T-세포의 활성 횟수를 결정하고, 상기 복수의 테스트 횟수에 대한 상기 T-세포의 활성 횟수를 기초로 상기 제1 입력 데이터 및 상기 제2 입력 데이터에 대응되는 베타분포를 형성하고, 상기 베타 분포의 평균 및 분산을 기초로 상기 제1 입력 데이터 및 상기 제2 입력 데이터에 대응되는 라벨 정보를 결정할 수 있다.
본 발명의 일 실시예에 따른 컴퓨터 장치 상의 시퀀스 변환 신경망에 의해 수행되는, 입력 시퀀스를 변환하기 위한 학습 방법에 있어서, 제1 입력 데이터를 기초로 미리 결정된 사전학습 연산을 수행하여 제1 키(key) 값 및 제1 벨류(value) 값을 결정하는 단계; 상기 제1 입력 데이터에 대응되는 제2 입력 데이터를 입력되면, 상기 제2 입력 데이터의 시퀀스 각각에 위치 정보를 매칭하는 단계; 상기 제2 입력 데이터에 대응되는 제2키 값, 제2 벨류 값 및 제2 쿼리 값을 기초로 미리 결정된 셀프 어텐션(self attention) 연산을 수행하여 제1 쿼리 값(query)을 생성하는 단계; 및 상기 제1 키 값, 상기 제1 벨류 값 및 상기 제1 쿼리 값을 기초로 상기 미리 결정된 어텐션 연산을 수행하여 상기 제1 입력 데이터 및 상기 제2 입력 데이터에 대응되는 출력 데이터를 결정하는 단계를 포함할 수 있다.
상기 출력 데이터를 결정하는 단계는, 상기 제1 입력 데이터 및 상기 제2 입력 데이터의 시퀀스 각각에 대응되는 상기 제1 키 값, 상기 제1 벨류 값 및 상기 제1 쿼리 값을 기초로 미리 결정된 연산을 통하여 형성된 복수의 어텐션 헤드(attention head)를 합하는 연산을 수행할 수 있다.
상기 출력 데이터를 결정하는 단계는, 상기 제1 입력 데이터에 대응되는 상기 제2 입력 데이터에 대한 어텐션 에너지를 포함한 상기 출력데이터를 출력하는 것을 포함할 수 있다.
상기 출력 데이터를 결정하는 단계는, 상기 제1 키 값, 상기 제1 벨류 값 및 상기 제1 쿼리 값을 기초로 상기 미리 결정된 어텐션 연산을 수행하여 결정된 임베딩 벡터에 실험 방법에 대응되는 정보를 추가적으로 결합하여 상기 출력 데이터를 형성할 수 있다.
상기 제1 입력 데이터는, MHC 종류 및 MHC 구조 정보 중 적어도 하나를 포함하고, 상기 제2 입력 데이터는, 복수의 펩타이드의 서열을 포함할 수 있다.
본 발명의 일 실시예에 따른 학습 방법은 상기 제2 입력데이터가 MHC에 결합되지 않는 적어도 하나의 펩타이드 서열을 포함하면, 상기 MHC와 상기 펩타이드 서열의 결합 여부를 예측할 수 있다.
본 발명의 일 실시예에 따른 학습 방법은 상기 출력 데이터에 포함된 상기 제1 입력 데이터 및 상기 제2 입력 데이터에 대응되는 상기 펩타이드 서열과 상기 MHC와의 결합 정보를 기초로 결정된 손실(loss)함수를 이용하여 상기 시퀀스 변환 신경망의 변수를 변경하는 것을 더 포함할 수 있다.
상기 제2 입력 데이터는, 상기 펩타이드 서열과 대응되는 아미노산 치환 행렬 (BLOSUM) 및 물리화학적 특정(AAindex) 중 적어도 하나를 포함할 수 있다.
상기 제1 입력 데이터는, 상기 펩타이드 서열과 상기 MHC 가 결합하는 지점을 기준으로 미리 결정된 범위에 대응되는 시퀀스로 마련될 수 있다.
본 발명의 일 실시예에 따른 학습 방법은 상기 제2 입력데이터가 T-세포를 활성화하지 않는 적어도 하나의 펩타이드 서열을 포함하면, 상기 시퀀스 변환 신경망은, 상기 펩타이드 서열에 매칭되는 상기 T-세포의 활성여부를 예측하도록 구현될 수 있다.
상기 출력 데이터를 결정하는 단계는, 상기 제1 입력 데이터 및 상기 제2 입력 데이터에 대응되는 상기 T-세포의 활성여부를 출력하는 복수의 테스트를 수행하고, 상기 복수의 테스트 횟수 및 상기 T-세포의 활성 횟수를 결정하고, 상기 복수의 테스트 횟수에 대한 상기 T-세포의 활성 횟수를 기초로 상기 제1 입력 데이터 및 상기 제2 입력 데이터에 대응되는 베타분포를 형성하고, 상기 베타 분포의 평균 및 분산을 기초로 상기 제1 입력 데이터 및 상기 제2 입력 데이터에 대응되는 라벨 정보를 결정하는 것을 포함할 수 있다.
본 발명의 일 실시예에 따른 컴퓨터 프로그램은, 하드웨어인 컴퓨터와 결합되어, 상기 제12항 내지 제22항 중 어느 한 항의 인공지능 기반의 시퀀스 변환 신경망을 수행하기 위해 컴퓨터 판독 가능한 기록매체에 저장될 수 있다.
본 개시의 전술한 과제 해결 수단에 의하면, 인공지능 기반의 신경망을 기반으로 데이터를 예측할 시에 보다 정확한 결과를 도출할 수 있도록 하는 알고리즘을 제공할 수 있도록 하고, 나아가, 그 알고리즘을 이용하여 신항원 예측이 용이하도록 하여 환자에게 면역 항암 백신 치료를 제공할 수 있도록 하는 효과를 제공한다.
본 개시의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 개시의 일 실시예에 따라 시퀀스 변환 신경망을 구현하기 위한 학습 동작을 개략적으로 나타내는 도면
도 2는 본 개시의 일 실시예에 따라 구현된 시퀀스 변환 신경망의 어텐션 알고리즘을 개략적으로 나타내는 도면
도 3은 본 개시의 일 실시예에 따라 구현된 시퀀스 변환 신경망의 어텐션 알고리즘에서 스케일드 닷 어텐션 연산을 수행하는 일 예를 나타내는 도면
도 4는 본 개시의 일 실시예에 따라 구현된 시퀀스 변환 신경망의 어텐션 알고리즘에서 제2 입력 데이터를 처리하는 일 예를 나타내는 도면
도 5는 본 개시의 일 실시예에 따라 구현된 시퀀스 변환 신경망의 어텐션 알고리즘에서 제1 입력 데이터를 처리하는 일 예를 나타내는 도면
도 6은 본 개시의 일 실시예에 따라 구현된 시퀀스 변환 신경망의 어텐션 알고리즘에서 산출된 어텐션 스코어 값을 이용하여 출력 데이터를 생성하는 일 예를 나타내는 도면
도 7은 본 개시의 일 실시예에 따라 입력 시퀀스를 변환하기 위한 컴퓨터 장치의 구성을 나타내는 도면
도 8은 도 7의 컴퓨터 장치에서 프로세서에서 구현되는 신경망의 세부 구성을 나타내는 도면
도 9는 본 개시의 일 실시예에 따라 구현된 시퀀스 변환 신경망의 어텐션 알고리즘을 기반으로 제1 입력 데이터를 처리하는 일 예를 나타내는 순서도
도 10은 본 개시의 일 실시예에 따라 구현된 시퀀스 변환 신경망의 어텐션 알고리즘을 기반으로 제2 입력 데이터를 처리하는 일 예를 나타내는 순서도
도 11은 본 개시의 일 실시예에 따라 구현된 시퀀스 변환 신경망의 어텐션 알고리즘을 기반으로 산출된 어텐션 스코어 값을 이용하여 출력 데이터를 생성하는 일 예를 나타내는 순서도
도 12 내지 도 13은 본 개시의 일 실시예에 따라 구현된 시퀀스 변환 신경망의 어텐션 알고리즘을 기반으로 펩타이드 서열 및 MHC의 결합 여부 및 T-세포의 활성화를 예측하는 일 예를 나타내는 순서도
본 개시의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 개시는 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 개시가 완전하도록 하고, 본 개시가 속하는 기술 분야의 통상의 기술자에게 본 개시의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 개시는 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 개시를 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 개시의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 개시가 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
본 개시 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 개시가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 개시가 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부, 모듈, 부재, 블록'이라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '부, 모듈, 부재, 블록'이 하나의 구성요소로 구현되거나, 하나의 '부, 모듈, 부재, 블록'이 복수의 구성요소들을 포함하는 것도 가능하다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.
또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
명세서 전체에서, 어떤 부재가 다른 부재 "상에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 전술된 용어들에 의해 제한되는 것은 아니다.
단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.
각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.
이하 설명에서 사용되는 용어에 대하여 정의하면 하기와 같다.
본 명세서에서 '본 개시에 따른 시퀀스 변환 신경망 구현 장치'는 연산처리를 수행하여 사용자에게 결과를 제공할 수 있는 다양한 장치들이 모두 포함된다. 예를 들어, 본 개시에 따른 시퀀스 변환 신경망 구현 장치는, 컴퓨터 장치, 서버 장치 및 휴대용 단말기를 모두 포함하거나, 또는 어느 하나의 형태가 될 수 있다.
여기에서, 상기 컴퓨터 장치는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop), 태블릿 PC, 슬레이트 PC 등을 포함할 수 있다.
상기 서버 장치는 외부 장치와 통신을 수행하여 정보를 처리하는 서버로써, 애플리케이션 서버, 컴퓨팅 서버, 데이터베이스 서버, 파일 서버, 게임 서버, 메일 서버, 프록시 서버 및 웹 서버 등을 포함할 수 있다.
상기 휴대용 단말기는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), WiBro(Wireless Broadband Internet) 단말, 스마트 폰(Smart Phone) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치와 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD) 등과 같은 웨어러블 장치를 포함할 수 있다.
본 명세서에서 '항원'은 면역 반응을 유도하는 물질이다.
신항원(neoantigen)이란 종양 DNA에서 특정 돌연변이가 발생할 때 암세포에 형성되는 새로운 단백질을 의미한다.
신항원은 돌연변이에 의해 발생하며, 오직 암세포에서만 발현한다는 특징이 있다
신항원은 폴리펩티드 서열 또는 뉴클레오티드 서열을 포함할 수 있다. 돌연변이는 프레임 이동 또는 비-격자 이동 인델(indel), 미스센스(missense) 또는 넌센스 (nonsense) 치환, 스플라이스 부위 변경, 게놈 재배열 또는 유전자 융합, 또는 신생 ORF를 야기하는 임의의 게놈 또는 발현 변경을 포함할 수 있다. 돌연변이는 스플라이스 변이(splice variant)도 포함할 수 있다. 종양 세포에 특이적인 번역 후 변형은 비정상적인 인산화를 포함할 수 있다. 종양 세포에 특이적인 번역 후 변형은 또한 프로테아솜-생성된 스플라이싱된 항원을 포함할 수 있다.
본 명세서에서 '에피토프(epitope)'는 항체 또는 T-세포 수용체가 통상 결합하는 항원의 특이적인 부분을 지칭할 수 있다.
본 명세서에서 ‘MHC’는 특정 세포에서 합성된 '펩타이드'를 그 세포 표면에 제시하므로서 T세포가 세포를 확인할 수 있게 하는 단백질을 의미할 수 있다.
본 명세서에서 '펩타이드'는 아미노산의 중합체를 의미한다. 설명의 편의를 위하여, 이하 "펩타이드"는 암 세포가 표면에 표현하는 아미노산 중합체 내지 아미노산 서열을 의미한다.
본 명세서에서 'MHC-펩타이드 복합체'는 암 세포의 표면에 표현되는 것으로, MHC와 펩타이드의 복합 구조체이다. T-세포가 MHC-펩타이드 복합체를 인식하여 면역 반응을 수행한다.
이하 첨부된 도면들을 참고하여 본 개시의 작용 원리 및 실시예들에 대해 설명한다.
암은 정상 세포에 돌연변이가 생겨 세포가 무한히 증식하는 질병으로서, 기존에는 수술, 방사선, 화학요법이 주요 치료법이었으나, 최근에는 인체의 면역 신경망 구현 장치를 활용하는 면역 항암 백신 치료에 대한 연구가 활발해지고 있는 추세이다.
암 세포는 신항원을 생성한다. 신항원의 에피토프는 암 세포의 표면에 위치하는 MHC(major histocompatibility complexes)에 표현된다. T-세포는 MHC-에피토프를 인식하여 면역 반응을 일으킨다.
따라서 암 세포가 생성하는 신항원을 식별하기 위하여 MHC-펩타이드 결합을 예측할 필요가 있다.
구체적으로, 암 세포는 유전자(돌연변이)에 의해 만들어진 비정상 펩타이드를 조각내고, MHC에 의해 세포 표면에 전시 T-세포가 그 비정상 펩타이드 조각을 인식하면 해당 세포를 파괴하는 면역 반응이 일어나게 된다.
따라서, 암 세포가 생성하는 비정상 물질 중 세포 표면으로 이동하여 T-세포와 결합할 수 있는 비정상 펩타이드 조각을 찾아 직접 합성하여 환자에 주입한다면 항원 전달 세포에 의해 신항원을 인식할 수 있는 미성숙 T-세포의 성숙과 증식이 가속화되어, 암 치료가 가능하다..
본 개시는 학습을 통해 시퀀스 변환 신경망을 구현하고, 그 구현된 시퀀스 변환 신경망을 기반으로 MHC 결합와 결합하는 펩타이드 서열의 결합 여부 및 T-세포를 활성화를 예측하도록 하기 위한 것이다. 이를 위한 일련의 동작 또는 알고리즘들은 컴퓨터 장치에 의해 수행될 수 있으며, 그 컴퓨터 장치에 대한 세부적인 구성은 이하에서 도 7 내지 도 8를 기반으로 설명하도록 한다. 본 명세서에서 컴퓨터 장치는 신경망을 형성하는 신경망 구현 장치를 의미할 수 있다.
도 1은 본 개시의 일 실시예에 따라 시퀀스 변환 신경망(NN)을 구현하기 위한 학습 동작을 개략적으로 나타내는 도면이다.
도 1을 참조하면, 본 개시의 일 실시예에 따라 시퀀스 변환 신경망(NN)을 학습할 시에 기 저장된 오픈 데이터를 이용하여 학습을 수행한다.
구체적으로, MHC 피처(feature)(110)를 제1 입력 데이터로서 입력하고, 펩타이드 피처(feature)(120)를 제2 입력 데이터로서 입력한 후, 그 각각의 입력 데이터로서 입력한다. 그에 따른 MHC 결합(binding) 가능 여부 및 T-세포 활성화(activation) 여부를 학습한다.
이로써, 입력 시퀀스를 변환하기 위한 시퀀스 변환 신경망(NN)을 구현할 수 있게 된다.
여기서, 학습에 이용하는 기 저장된 오픈 데이터는 펩타이드(peptide) 각각의 MHC 타입(type)에 따른 MHC 결합(binding) 여부 및 T-세포 활성화(activation) 여부를 데이터로서 포함할 수 있다. 이와 관련된 상세한 설명은 후술한다.
도 2는 본 개시의 일 실시예에 따라 기 구현된 시퀀스 변환 신경망의 어텐션 알고리즘을 개략적으로 나타내는 도면이다.
도 2를 참조하면, 컴퓨터 장치는 제1 입력 데이터를 입력되면 미리 결정된 사전학습을 수행하여 제1 입력 데이터에 대한 제1 키 값 및 제1 벨류 값을 결정하고(210), 제1 입력 데이터에 대응되는 제2 입력 데이터가 입력되면 멀티 헤드 셀프 어텐션을 수행하여 제1 입력 데이터에 대한 제1 쿼리 값을 생성한다(220).
그 다음으로, 제1 키 값, 제1 벨류 값 및 제1 쿼리 값을 기초로 하여 스케일드 닷 프로덕트 어텐션(Scaled dot product attention) 연산을 수행하고, 각 어텐션 헤드를 연결(concatenate)함으로써 각 시퀀스가 벡터로 변환된 행렬을 출력한다(S230). 그 다음으로, 펩타이드 길이에 따른 CNN(convolutional neural network) 병합 연산을 수행하고, 임베딩을 수행하여 벡터로 변환하여 리니어레이어를 거친 출력 데이터를 생성하여 출력한다(240).
이때, 출력 데이터는 T-세포와 결합하여 활성화시킬 수 있는 적어도 하나의 MHC 후보만을 추출(필터링)한 것일 수 있다.
도 3은 본 개시의 일 실시예에 따라 구현된 시퀀스 변환 신경망의 어텐션 알고리즘에서 스케일드 닷 프로덕트 어텐션(Scaled dot product attention)을 수행하는 일 예를 나타내는 도면으로서, 이하에서는 도 2의 230 내 처리 동작을 구체화하여 설명하도록 한다.
도 3을 참조하면, 제1 입력 데이터의 제1 키 값, 제1 벨류 값 및 제1 쿼리 값을 기초로 하여 셀프 어텐션을 수행하여 그 출력 값으로 어텐션 스코어 값을 출력하고(231), 그 모든 어텐션 헤드(복수의 어텐션 헤드)를 연결(concatenate)함으로써 수행될 수 있다(232).
여기서, 셀프 어텐션은 키(key), 벨류(value) 및 쿼리(query), 이 3개의 요소 사이의 관계성을 추출하기 위한 것으로, 스케일드 닷-프로덕트 어텐션(Scaled dot product attention) 연산을 의미할 수 있다.
이 경우, 컴퓨터 장치는 제1 입력 데이터의 시퀀스 각각에 대한 제1 쿼리 값을 모든 제1 키 값에 대해 어텐션 스코어 값을 산출하고, 소프트맥스 함수를 적용하여 모든 값을 합하여 1이 되는 확률 분포를 획득한다.
이를 어텐션 분포라 하며 각각의 값은 어텐션 가중치 값(attention weight)이라 한다.
컴퓨터 장치는 각각의 시퀀스에 대한 어텐션 가중치 값과 은닉 상태를 가중합하여 어텐션 값을 산출하고, 그 어텐션 값과 t 시점의 은닉 상태를 연결(concatenate)하여 하나의 벡터로 만들 수 있다.
즉, 컴퓨터 장치는 제1 입력 데이터 및 제2 입력 데이터의 시퀀스 각각에 대응되는 제1 키 값, 제1 벨류 값 및 제1 쿼리 값을 기초로 미리 설정된 연산, 즉, 소프트맥스 함수를 통해 형성되는 복수의 어텐션 헤드(attention head)를 합하는 연산을 수행할 수 있다.
이때, 어텐션 가중치 값은 제1 입력 데이터에 대응되는 제2 입력 데이터에 대한 어텐션 에너지에 해당한다.
이로써, 제1 입력 데이터 및 제2 입력 데이터의 시퀀스 각각에 대한 어텐션 값을 모두 가지는 어텐션 값 행렬이 그 결과로서 산출된다. 이는 하기 하기 수학식 1과 같이 나타낼 수 있다.
수학식1은 어텐션 연산을 의미하고, 수학식1에서 Q는 어텐션 연산을 수행하는 쿼리를 의미하고, K는 키를 의미하며, V는 쿼리와 키에 대응되는 벨류를 의미한다.
softmax함수는 다중 클래스에서 사용되는 활성화 함수로 클래스가 N개 일 때 N차원의 백터를 입력받아 각 클래스의 속할 확률을 추정하는 함수를 의미할 수 있다. softmax함수는 아래와 같이 정의 될 수 있다.
수학식2는 소프트맥스 함수를 의미하고, n은 출력층의 뉴런수, k는 클래스의 순서를 의미할 수 있다.
한편, 제1 입력 데이터에 대한 제1 키 값 및 제1 벨류 값은 제1 입력 데이터로부터 결정되지만, 제1 쿼리 값은 제2 입력 데이터로부터 생성될 수 있는데, 그 구체적인 내용은 이하에서 도 4 내지 도 5을 기반으로 구체적으로 설명하도록 한다.
한편 출력 데이터는 시퀀스 변환 신경망의 어텐션 알고리즘에서 셀프 어텐션을 수행하여 산출된 어텐션 스코어 값에 따라 시퀀스 간 매칭 정도를 표시한 데이터로 구현될 수 있다.
구체적으로 출력 데이터는 제1 입력 데이터에 대응되는 출력 데이터의 시퀀스 각각에 T-세포(T-Cell) 면역원성이 매칭된 상기 출력 데이터를 형성하고, 그 출력 데이터의 시퀀스에 대응되는 T-세포 면역원성에 정규화 연산을 수행하여 제2 입력 데이터에 대응되는 라벨 정보를 형성하여 형성될 수 있다.
도 4는 본 개시의 일 실시예에 따라 구현된 시퀀스 변환 신경망의 어텐션 알고리즘에서 제2 입력 데이터를 처리하는 일 예를 나타내는 도면으로서, 이하에서는 도 2의 220 내 처리 동작을 구체화하여 설명하도록 한다.
도 4를 참조하면, 컴퓨터 장치는 구현된 시퀀스 변환 신경망에 제1 입력 데이터에 대응되는 제2 입력 데이터가 입력되면, 제2 입력 데이터의 시퀀스 각각에 위치 정보를 매칭한다. 이때, 제2 입력 데이터는 펩타이드 피처(서열)이며, 이 펩타이드 피처로서 물리화학적 특성(AAindex) 및 아미노산 치환 행렬(BLOSUM)을 모두 사용한다. 일 예로서, 제2 입력 데이터는 9-10개의 시퀀스로 구성될 수 있다.
이후, 입력 임베딩을 통해 어텐션 가중치와 연산하여 제2 입력 데이터에 대응되는, 즉, 제2 입력 데이터의 각 시퀀스에 대한 제2 키 값, 제2 벨류 값 및 제2 쿼리 값을 생성하고, 그 제2 키 값, 제2 벨류 값 및 제2 쿼리 값을 기초로 미리 결정된 셀프 어텐션 연산을 수행한다(221). 이때, 어텐션 가중치는 사전학습을 통해 연산될 수 있다.
여기서, 셀프 어텐션은 멀티 헤드 어텐션으로서, dmodel의 차원을 num_heads개로 나눈 차원을 가지는 제2 키 값, 제2 벨류 값 및 제2 쿼리 값에 대해서 num_heads개의 병렬 어텐션을 수행하고, 그 모든 어텐션 헤드(각각의 어텐션 값 행렬)를 연결(concatenate)함으로써 수행될 수 있다.
이때, 각 어텐션 헤드마다 상이한 어텐션 가중치(WQ, WK, WV)가 부여된다. 이후, 그 어텐션 헤드를 모두 연결한 행렬에 또 다른 가중치 행렬(WO)을 곱한 값을 멀티 헤드 어텐션에 대한 최종 결과 값으로서 출력한다.
이후, 그 출력 값들은 리니어(linear)레이어를 거쳐 제1 입력 데이터에 대한 제1 쿼리 값을 생성한다.
도 5는 본 개시의 일 실시예에 따라 구현된 시퀀스 변환 신경망의 어텐션 알고리즘에서 제1 입력 데이터를 처리하는 일 예를 나타내는 도면으로서, 이하에서는 도 2의 210 내 처리 동작을 구체화하여 설명하도록 한다.
도 5을 참조하면, 컴퓨터 장치는 구현된 시퀀스 변환 신경망에 제1 입력 데이터가 입력되면, 미리 결정된 사전학습 연산을 수행하고(211), 그 각각의 출력 값들이 리니어(linear)레이어를 거침으로써 제1 키 값, 제1 벨류 값을 결정한다(212, 213).
이때, 제1 입력 데이터는 MHC 종류 및 MHC 구조 정보 중 적어도 하나를 포함할 수 있다.
구체적으로 제1 입력 데이터는 MHC 피처(3차원 구조)이며, 이 MHC 피처는 결합 부위와 가까운 181개 서열을 사용할 수 있으며, 일 예로서, MHC 타입은 360개의 시퀀스로 변경 가능하다. 한편, 제1 입력 데이터는 펩타이드 서열과 MHC 서열이 결합하는 지점을 기준으로 미리 결정된 범위에 대응되는 시퀀스로 마련될 수 있다.
도 6은 본 개시의 일 실시예에 따라 구현된 시퀀스 변환 신경망의 어텐션 알고리즘에서 산출된 어텐션 스코어 값을 이용하여 출력 데이터를 생성하는 일 예를 나타내는 도면으로서, 이하에서는 도 2의 240 내 처리 동작을 구체화하여 설명하도록 한다.
도 6을 참조하면, 컴퓨터 장치는 도 2의 230에 의해 각 시퀀스가 벡터로 변환된 행렬이 출력되면, 펩타이드 길이에 따른 CNN 병합 연산을 수행하고(S241), 임베딩을 수행하여 벡터로 변환한다(242). 즉, 제1 입력 데이터 및 제2 입력 데이터에 대한 임베딩 벡터를 생성한다. 그 다음으로, 리니어레이어를 거친 출력 데이터를 생성하여 출력한다(243). 이때, 그 임베딩 벡터에 실험 방법에 대응되는 정보를 원핫 인코딩으로 추가적으로 결합하여 출력 데이터를 생성하도록 할 수도 있다.
도 7은 본 개시의 일 실시예에 따라 입력 시퀀스를 변환하기 위한 컴퓨터 장치의 구성을 나타내는 도면이다.
도 7을 참조하면, 컴퓨터 장치(800)는 메모리(810), 프로세서(820), 통신 인터페이스(830), 입출력 인터페이스(840) 및 입출력 장치(850)를 포함할 수 있다. 다만, 도 7에는 각각의 구성요소를 하나씩 도시하였으나, 이는 설명의 편의를 위한 것일 뿐, 필요에 따라 적어도 하나 이상 구비될 수 있다.
메모리(810)는 컴퓨터 장치(800)의 다양한 기능을 지원하는 데이터 및/또는 각종 정보들을 저장한다. 컴퓨터 장치(800)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 컴퓨터 장치(800)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다. 한편, 응용 프로그램은, 프로세서(820)에 저장되고, 컴퓨터 장치(800) 상에 설치되어, 프로세서(820)에 의하여 동작(또는 기능)을 수행하도록 구동될 수 있다.
구체적으로, 메모리(810)는 입력 시퀀스를 변환하기 위한 시퀀스 변환 신경망을 구현할 수 있도록 하는 적어도 하나의 머신러닝 모델 및 적어도 하나의 프로세스를 저장한다.
한편, 메모리(810)는 플래시 메모리 타입(flash memory type), 하드 디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory) 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 아울러, 메모리는 일시적, 영구적 또는 반영구적으로 정보를 저장할 수 있으며, 내장형 또는 탈착형으로 제공될 수 있다.
프로세서(820)는 컴퓨터 장치(800) 내 모든 구성들을 제어하여 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나, 메모리(810)에 저장된 명령어, 알고리즘, 응용 프로그램을 실행하여 각종 프로세스를 수행하며, 입력 시퀀스를 변환하기 위한 시퀀스 변환 신경망을 구현함으로써 각 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.
프로세서(820)는, 제1 입력 데이터를 기초로 미리 결정된 사전학습 연산을 수행하여 제1 키(key) 값 및 제1 벨류(value) 값을 결정하고, 상기 제1 입력 데이터에 대응되는 제2 입력 데이터를 입력받고, 상기 제2 입력 데이터의 시퀀스 각각에 위치 정보를 매칭하고, 상기 제2 입력 데이터에 대응되는 제2키 값, 제2 벨류 값 및 제2 쿼리 값을 기초로 미리 결정된 셀프 어텐션(self attention) 연산을 수행하여 제1 쿼리 값(query)을 생성하고, 상기 제1 키 값, 상기 제1 벨류 값 및 상기 제1 쿼리 값을 기초로 상기 미리 결정된 어텐션 연산을 수행하여 상기 제1 입력 데이터에 대응되는 출력 데이터를 결정할 수 있다.
또한 프로세서는, 제1 입력 데이터 및 제2 입력 데이터의 시퀀스 각각에 대응되는 상기 제1 키 값, 상기 제1 벨류 값 및 상기 제1 쿼리 값을 기초로 미리 결정된 연산을 통하여 형성된 복수의 어텐션 헤드(attention head)를 합하는 연산을 수행할 수 있다.
어텐션 헤드를 합하는 연산은 연결(concatenate) 연산으로 정의될 수 있다.
연결 연산은 여러개의 텍스트 문자열을 하나의 텍스트 문자열로 연결하는 함수를 의미할 수 있다.
프로세서는, 상기 제1 입력 데이터에 대응되는 상기 제2 입력 데이터에 대한 어텐션 에너지를 포함한 상기 출력데이터를 출력하도록 구성될 수 있다.
출력데이터는 제1 입력 데이터에 대응되는 출력 데이터의 시퀀스 각각에 T-세포(T-Cell) 면역원성이 매칭된 출력 데이터를 형성할 수 있다.,
한편 신경망은 출력 데이터의 시퀀스에 대응되는 T-세포 면역원성에 정규화 연산을 수행하여 제2 입력 데이터에 대응되는 라벨 정보를 형성할 수 있다.
신경망이 펩타이드 서열과 MHC의 결합 정보를 예측하는 경우, 출력 데이터에는 제1 입력 데이터 및 제2 입력 데이터에 대응되는 결합 정보가 포함될 수 있다.
결합 정보는 결합 확률, 결합 여부, 결합 강도 및 해리 상수, IC50 중 적어도 하나를 의미할 수 있다.
반면, 신경망이 펩타이드 서열에 대응되는 T-세포 활성화를 예측하는 경우 출력 데이터에는 제1 입력 데이터 및 제2 입력 데이터에 대응되는 T-세포 활성 확률이 포함될 수 있다.
한편 본 발명의 일 실시예에 따른 제1 입력 데이터는, MHC 종류 및 MHC 구조 정보 중 적어도 하나를 포함할 수 있다.
또한 제2 입력 데이터는, 복수의 펩타이드의 서열을 포함할 수 있다.
한편, 신경망 구현 장치에 구현된 시퀀스 변환 신경망은 상기 제2 입력데이터가 MHC에 결합되지 않는 적어도 하나의 펩타이드 서열을 포함하면, 상기 MHC와 펩타이드 서열의 결합 정보를 예측할 수 있다.
반면, 시퀀스 변환 신경망은 상기 제2 입력데이터가 T-세포를 활성화하지 않는 적어도 하나의 펩타이드 서열을 포함하면, 신경망은 T-세포의 활성 확률을 예측하도록 구현될 수 있다.
구체적으로 아래 표1을 참고하면, 제2 입력데이터가 MHC결합과 Negative인서열을 포함하면 시퀀스 변환 신경망은 펩타이드 서열과 MHC의 결합 정보를 예측할 수 있다.
반면, 다시 표1을 참고하면, 제2 입력데이터가 T-세포 활성화에 Negative한 펩타이드 서열을 포함하면, 시퀀스 변환 신경망은 T-세포의 활성 확률을 예측할 수 있다.
펩타이드 MHC 타입 MHC 결합 (IC50) T-세포 활성화
MGQIVTMFE A*0201 = 421 nM Positive
B*0101 > 20000 nM NaN
GQIVTMFEA A*0101 < 100 nM Negative
MFEALPHII A*0204 = 12000 nM NaN
상술한 표1은 본 발명의 일 실시예에 따른 신경망 학습을 위해 사용된 데이터의 일 예시를 나타낸 도면이다.
학습에 이용되는 데이터에는 Kd와 매칭된 펩타이드 서열이 포함될 수 있다. Kd는 항원결합부위의 해리항수를 의미할 수 있다. Kd 값이 낮으면 낮을수록 항체의 항원에 대한 친화력이 높은 것이며, 그 값이 높을수록 친화력이 낮은 것을 의미할 수 있다.
한편 프로세서는, 제1 입력 데이터에 대응되는 상기 출력 데이터에 포함된 제1 입력 데이터에 대응되는 펩타이드 서열과 상기 MHC와의 결합 정보가 미리 결정된 값 미만이면, 상기 결합 정보를 기초로 결정된 손실(loss)함수를 이용하여 상기 시퀀스 변환 신경망의 변수를 변경할 수 있다.
여기서 예측하는 결합 정보는 상술한 Kd를 기초로 결정될 수 있다.
한편 Kd는 특정 수의 형태로 매칭될 수 있으나, 특정 범위(Inequality)로 매칭될 수도 있다.
각 Kd는 신경망이 MHC와 펩타이드 서열의 결합 정보를 예측하는 모델로 동작하는 경우 라벨 정보로 이용될 수 있으며 신경망은 라벨 정보의 범위를 손실 함수에 반영할 수 있다.
특히 Kd가 특정 범위인 펩타이드 서열을 이용하여 학습을 수행하는 경우 입력 데이터에 대응된 출력 데이터의 Kd가 해당 범위에 포함되면, 모델은 손실이 없는 것으로 판단하고 학습을 수행할 수 있다.
예를 들어, 펩타이드 서열 'GQIVTMFEA'와 MHC 타입 'A*0101'로 학습을 수행하는 경우 신경망이 출력한 Kd가 97nM면 해당 Kd는 라벨 정보인 '< 100 nM'에 포함므로, 신경망은 손실을 0으로 판단하고 학습을 수행할 수 있다.
또 다른 실시예에 따르면, 펩타이드 서열 'MGQIVTMFE'와 MHC 타입 'B*0101'로 학습을 수행하는 경우 신경망이 출력한 Kd가 20003nM면 해당 Kd는 라벨 정보인 '> 20000 nM'에 포함므로, 신경망은 손실을 0으로 판단하고 학습을 수행할 수 있다.
정리하면, 본 발명에 학습에 이용되는 학습 데이터의 라벨 정보에는 특정 값 및 특정 영역이 포함될 수 있다. 라벨 정보가 특정 영역이고, 신경망이 예측한 값이 특정 영역에 포함되면, 신경망은 손실을 0으로 판단하고 학습을 수행할 수 있다.
한편 상술한 동작은 본 발명의 일 실시예에 불과하고, 신경망이 학습에 이용하는 전처리된 데이터의 형태에는 그 제한이 없다.
한편 제2 입력 데이터는, 펩타이드 서열과 대응되는 아미노산 치환 행렬(BLOSUM) 및 물리화학적 특정(AAindex) 중 적어도 하나를 포함할 수 있다.
또한 제1 입력 데이터는, 펩타이드 서열과 상기 MHC 서열이 결합하는 지점을 기준으로 미리 결정된 범위에 대응되는 시퀀스로 마련될 수 있다.
또한 적어도 하나의 프로세서는, 상기 제1 입력 데이터에 대응되는 상기 출력 데이터 시퀀스 각각에 T-세포(T-Cell) 면역원성이 매칭된 상기 출력 데이터를 형성하고, 상기 출력 데이터 시퀀스에 대응되는 상기 T-세포 면역원성에 정규화 연산을 수행하여 상기 제2 입력 데이터에 대응되는 라벨 정보를 형성할 수 있다.
또한 프로세서는, 상기 제1 키 값, 상기 제1 벨류 값 및 상기 제1 쿼리 값을 기초로 상기 미리 결정된 어텐션 연산을 수행하여 결정된 임베딩 벡터에 실험 결과에 대응되는 정보를 추가적으로 결합하여 상기 출력 데이터를 형성할 수 있다.
한편, 컴퓨터 장치(800)는 외부 장치와 통신을 가능하게 하는 하나 이상의 구성 요소를 포함할 수 있으며, 일 예로서 무선 통신을 위한 통신 인터페이스(830) 및 유선 통신을 위한 입출력 인터페이스(830)을 구비할 수 있다.
구체적으로, 통신 인터페이스(830)는 네트워크(600)를 통해 외부 장치로부터 무선 통신을 기반으로 신호를 송수신할 수 있다. 이를 위해, 통신 인터페이스(830)는 적어도 하나의 무선 통신 모듈, 근거리 통신 모듈 등을 포함할 수 있다.
먼저, 무선 통신 모듈은 와이파이(Wifi) 모듈, 와이브로(Wireless broadband) 모듈 외에도, GSM(global System for Mobile Communication), CDMA(Code Division Multiple Access), WCDMA(Wideband Code Division Multiple Access), UMTS(universal mobile telecommunications system), TDMA(Time Division Multiple Access), WLAN(Wireless LAN), DLNA(Digital Living Network Alliance), WiBro(Wireless Broadband), WiMAX(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), 4G, 5G, 6G 등 다양한 무선 통신 방식을 지원하는 무선 통신 모듈을 포함할 수 있다.
또한, 근거리 통신 모듈은 근거리 통신(Short range communication)을 위한 것으로서, 블루투스(Bluetooth??), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다.
한편, 입출력 인터페이스(240)는 입출력 장치(250)와 유선 연결되어, 즉, 유선 통신을 기반으로 신호를 송수신할 수 있다. 이를 위해, 입출력 인터페이스(240)는 적어도 하나의 유선 통신 모듈을 포함할 수 있으며, 유선 통신 모듈은 지역 통신(Local Area Network; LAN) 모듈, 광역 통신(Wide Area Network; WAN) 모듈 또는 부가가치 통신(Value Added Network; VAN) 모듈 등 다양한 유선 통신 모듈뿐만 아니라, USB(Universal Serial Bus), HDMI(High Definition Multimedia Interface), DVI(Digital Visual Interface), RS-232(recommended standard232), 전력선 통신, 또는 POTS(plain old telephone service) 등 다양한 케이블 통신 모듈을 포함할 수 있다.
다만, 도 7에 도시된 구성요소들은 본 개시에 따른 컴퓨터 장치를 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서 상에서 설명되는 구현 장치는 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다. 즉, 그 구성요소의 개수, 명칭 및 동작 등을 한정하지 않는다.
도 8는 도 7의 컴퓨터 장치에서 프로세서의 세부 구성을 나타내는 도면이다.
도 8를 참조하면, 컴퓨터 장치(800)의 프로세서는 신경망(NN)을 구현할 수 있다. 신경망(NN)은 제1 입력 레이어(821), 제2 입력 레이어(822), 어텐션 레이어(823) 및 출력 레이어(824)를 포함할 수 있다.
도 8를 참조하면, 제1 입력 레이어(821)를 통해 입력되는 제1 입력 데이터로부터 제1 키 값 및 제1 벨류 값이 결정되어 출력되고, 제2 입력 레이어(822)가 제1 입력 데이터에 대응되는 제2 입력 데이터로부터 제1 쿼리 값을 생성한다.
이후, 어텐션 레이어(823)가 제1 키 값, 제1 벨류 값 및 제1 쿼리 값을 기초로 셀프 어텐션을 수행하고, 출력 레이어(824)가 그 출력 값을 이용하여 출력 데이터를 생성 및 출력한다.
신경망(NN)이 MHC와 펩타이드 서열의 결합을 예측하는 모델로 동작하는 경우, 출력 레이어(824)에는 제1 입력 데이터 및 제2 입력 데이터에 대응되는 MHC 결합 정보가 포함된 출력데이터를 출력할 수 있다.
즉, 출력 레이어(824)에서는 제1 입력 데이터로 입력된 MHC와 제2 입력 데이터로 입력된 펩타이드 서열의 결합 정보가 포함될 수 있다.
출력 데이터에 포함된 결합 정보는 특정한 제1 입력 데이터와 제2 입력 데이터에 대응된 라벨과 차이를 기초로 손실 함수를 결정할 수 있다.
이를 기초로 신경망 구현 장치에서 신경망(NN)을 이루는 각 변수를 변경하여 MHC와 결합할 수 있는 펩타이드 서열을 예측할 수 있는 학습이 수행될 수 있다.
한편 신경망(NN)이 MHC와 펩타이드 서열에 대응된 T-cell의 활성을 예측하는 모델로 동작하는 경우, 출력 레이어(824)에서 출력되는 출력 데이터에는 제1 입력 데이터 및 상기 제2 입력 데이터에 대응되는 T-세포의 활성 여부가 포함될 수 있다.
구체적으로 출력 레이어(824)는 T-세포가 활성화되면 양성, 비활성화되면 음성의 형태로 출력 데이터를 출력할 수 있다.
본 발명의 일 실시예에 따르면, 신경망(NN)이 MHC와 펩타이드 서열에 대응된 T-cell의 활성을 예측하는 모델로 동작하는 경우의 베타분포를 이용하여 해당 데이터의 라벨 정보를 형성할 수 있다.
학습에 필요한 데이터의 라벨링을 위해서 프로세서는 제1 입력 데이터 및 제2 입력 데이터에 대응되는 상기 T-세포의 활성여부를 출력하는 복수의 테스트를 수행할 수 있다.
한편 본 발명의 일 실시예에 따른 프로세서는, 같은 제1 입력 데이터 및 제2 입력 데이터를 기초로 복수의 테스트를 수행할 수 있다.
신경망(NN)에서 제1 입력 데이터 및 제2 입력 데이터에 대응되는 T-세포의 활성여부 값을 출력할 수 있다.
신경망이 구현되는 프로세서에서는, 복수의 테스트 횟수 및 제1 입력 데이터와 제2 입력 데이터에 대응된 T-세포의 활성 횟수를 결정할 수 있다.
신경망을 구현하는 프로세서는, 복수의 테스트 횟수에 대한 T-세포의 활성 횟수를 기초로 제1 입력 데이터 및 제2 입력 데이터에 대응되는 베타분포를 형성할 수 있다.
즉 프로세서는 제1 입력 데이터 및 제2 입력 데이터에 대한 T-세포의 활성을 베타분포로 출력할 수 있다.
베타분포(beta distribution)는 두 매개변수 α 와 β에 따라 [0, 1] 구간에서 정의되는 연속확률분포를 의미할 수 있다. 위 정의에서 매개변수란 분포의 형태를 결정짓는 모수를 의미할 수 있다.
베타분포의 확률 밀도 함수는 아래와 같이 정의될 수 있다.
수학식3을 참고하면 f는 베타 분포를 의미하고, 여기서 B(a, b)는 베타함수를 의미하며 아래의 수학식 4와 같이 정의될 수 있다.
한편 신경망을 구동하는 프로세서는 상술한 베타분포의 평균과 분산을 결정할 수 있다.
또한 프로세서는 베타 분포의 평균 및 분산을 기초로 상기 제1 입력 데이터 및 상기 제2 입력 데이터에 대응되는 라벨 정보를 결정할 수 있다. 구체적으로 프로세서는 평균과 분산의 차이를 제1 입력 데이터 및 상기 제2 입력 데이터에 대응되는 라벨 정보로 결정할 수 있다.
통상적으로 이러한 데이터 분포에서 많은수의 테스트를 수행하면 분산 값이 작아지고, 테스트 수가 적으면 분산이 커질 수 있다.
이를 기초로 제1 입력 데이터와 제2 입력 데이터, 즉 MHC와 펩타이드 서열에 대응되는 라벨은 아래와 같이 결정될 수 있다.
수학식5를 참고하면 L은 프로세서가 결정하는 라벨 정보를 의미할 수 있고, E는 베타분포의 평균을 의미할 수 있으며, V는 베타 분포의 분산을 의미할 수 있다.
한편 도 8에서 설명한 신경망 각각을 구성하는 레이어의 동작은 본 발명의 일 실시예에 불과하며 그 동작에 제한은 없다. 도 9는 본 개시의 일 실시예에 따라 구현된 시퀀스 변환 신경망의 어텐션 알고리즘을 기반으로 제1 입력 데이터를 처리하는 일 예를 나타내는 순서도이다.
도 9을 참조하면, 컴퓨터 장치(800)는 구현된 시퀀스 변환 신경망에 제1 입력 데이터가 입력되면(S1010), 미리 결정된 사전학습 연산을 수행한다(S1020). 그 다음으로, 그 각각의 출력 값들이 리니어(linear)레이어를 거침으로써 제1 키 값, 제1 벨류 값을 결정한다(S1030).
도 10은 본 개시의 일 실시예에 따라 구현된 시퀀스 변환 신경망의 어텐션 알고리즘을 기반으로 제2 입력 데이터를 처리하는 일 예를 나타내는 순서도이다.
도 10을 참조하면, 컴퓨터 장치(800)는 구현된 시퀀스 변환 신경망에 제1 입력 데이터에 대응되는 제2 입력 데이터가 입력되면(S1110), 제2 입력 데이터의 시퀀스 각각에 위치 정보를 매칭한다(S1120).
그 다음으로, 입력 임베딩을 통해 어텐션 가중치와 연산하여 제2 입력 데이터에 대응되는, 즉, 제2 입력 데이터의 각 시퀀스에 대한 제2 키 값, 제2 벨류 값 및 제2 쿼리 값을 생성하고, 그 제2 키 값, 제2 벨류 값 및 제2 쿼리 값을 기초로 미리 결정된 셀프 어텐션 연산을 수행한다(S1130).
그 다음으로, 그 출력 값들은 리니어(linear)레이어를 거쳐 제1 입력 데이터에 대한 제1 쿼리 값을 생성한다(S1140).
도 11은 본 개시의 일 실시예에 따라 구현된 시퀀스 변환 신경망의 어텐션 알고리즘을 기반으로 산출된 어텐션 스코어 값을 이용하여 출력 데이터를 생성하는 일 예를 나타내는 순서도이다.
도 11를 참조하면, 제1 입력 데이터의 제1 키 값, 제1 벨류 값 및 제1 쿼리 값이 입력되면(S1210), 그 제1 키 값, 제1 벨류 값 및 제1 쿼리 값을 기초로 하여 셀프 어텐션을 수행하여 그 출력 값으로 어텐션 스코어 값을 출력하고(S1220), 그 모든 어텐션 헤드를 연결(concatenate)함으로써 수행될 수 있다(S1230).
그 다음으로 제2 입력데이터의 길이, 즉, 펩타이드 서열 길이에 따른 CNN 병합 연산을 수행하고(S1240), 제1 입력 데이터 및 제2 입력 데이터에 대한 임베딩 벡터를 생성한다(S1250).
그 다음으로, 리니어레이어를 거친 출력 데이터를 생성하여 출력한다(S1260).
상술한 바와 같이 출력 데이터에는 MHC와 펩타이드 서열의 결합 정보 또는 T-세포의 활성화 확률에 포함될 수 있다.
도 12 내지 도 13은 본 개시의 일 실시예에 따라 구현된 시퀀스 변환 신경망의 어텐션 알고리즘을 기반으로 MHC와 펩타이드 서열의 결합 정보 및 펩타이드 서열과 대응되는 T-세포의 활성 여부를 예측하는 동작을 나타낸 순서도이다.
도 12는 MHC와 펩타이드 서열의 결합 정보를 예측하는 신경망의 동작을 나타내고 있다.
도 12를 참고하면, 신경망에는 제1 입력데이터와 제2 입력데이터가 입력될 수 있다. 도12에서 제1 입력데이터는 MHC 종류 및 구조 정보를 포함하는 정보를 입력할 수 있다(S1310).
또한 제2 입력데이터는 펩타이드 서열을 포함할 수 있다. 도12와 같이 신경망이 MHC와 펩타이드 서열의 결합 정보를 예측하는 경우, 제2 입력데이터는 MHC와 결합하지 않는 적어도 하나의 펩타이드 서열을 포함할 수 있다(S1320).
도 12의 경우, 신경망은 제1 입력데이터로 MHC 종류 및 MHC 구조 정보를 입력받고, 제2 입력 데이터로 복수의 펩타이드 서열을 입력 받을 수 있다.
이후 제1 입력데이터와 제2 입력데이터를 입력 받은 신경망은 각 데이터로부터 도출될 쿼리, 키 및 벨류를 이용하여 어텐션 연산을 수행하고 MHC와 펩타이드 서열의 결합 정보를 예측할 수 있다(S1330).
도 13는 펩타이드 서열에 대응되는 T-세포의 활성여부를 예측하는 신경망의 동작을 나타내고 있다.
도 13을 참고하면, 신경망에는 제1 입력데이터와 제2 입력데이터가 입력될 수 있다.
도 13의 경우 신경망은 제1 입력데이터로 MHC 종류 및 MHC 구조 정보를 입력받고, 제2 입력 데이터로 복수의 펩타이드 서열을 입력 받을 수 있다(S1410, S1420).
여기서 제2 입력데이터에는 T-세포를 활성화하는 펩타이드 서열과, T-세포를 활성화시키지 않는 펩타이드 서열을 모두 포함할 수 있다(S1420).
제1 입력데이터와 제2 입력데이터를 입력 받은 신경망은 각 데이터로부터 도출될 쿼리, 키 및 벨류를 이용하여 어텐션 연산을 수행하고 T-세포의 활성화 확률을 예측할 수 있다(S1430).
한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.
컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터에 의하여 해독될 수 있는 명령어가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다.
이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다. 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 개시가 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안된다.
600: 네트워크 800: 컴퓨터 장치
810: 메모리 820: 프로세서
830: 통신 인터페이스 840: 입출력 인터페이스
850: 입출력 장치 821: 제1 입력 레이어
822: 제2 입력 레이어 823: 어텐션 레이어
824: 출력 레이어

Claims (24)

  1. 적어도 하나 이상의 컴퓨터가 각각의 네트워크 입력을 갖는 입력 시퀀스를 변환하기 위한 시퀀스 변환 신경망을 구현하는, 신경망 구현 장치에 있어서,
    적어도 하나의 메모리; 및
    상기 적어도 하나의 메모리와 통신을 수행하는 적어도 하나의 프로세서를 포함하고,
    상기 적어도 하나의 프로세서는,
    제1 입력 데이터를 입력받고,
    상기 제1 입력 데이터에 대응되는 제2 입력 데이터를 입력받고,
    미리 결정된 라벨 정보와 라벨링된 상기 제1 입력 데이터 및 상기 제2 입력데이터를 기초로 어텐션 연산을 수행하여 상기 시퀀스 변환 신경망의 학습을 수행하고,
    상기 제1 입력 데이터, 상기 제2 입력 데이터 및 상기 라벨 정보에 기초하여 학습된 상기 시퀀스 변환 신경망이 출력하는 출력 데이터를 결정하도록 구현된,
    신경망 구현 장치.
  2. 제1항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 제1 입력 데이터를 기초로 미리 결정된 사전학습 연산을 수행하여 제1 키(key) 값 및 제1 벨류(value) 값을 결정하고,
    상기 제2 입력 데이터의 시퀀스 각각에 위치 정보를 매칭하고,
    상기 제2 입력 데이터에 대응되는 제2키 값, 제2 벨류 값 및 제2 쿼리 값을 기초로 미리 결정된 셀프 어텐션(self attention) 연산을 수행하여 제1 쿼리 값(query)을 생성하고,
    상기 제1 키 값, 상기 제1 벨류 값 및 상기 제1 쿼리 값을 기초로 상기 미리 결정된 어텐션 연산을 수행하여 상기 제1 입력 데이터 및 상기 제2입력 데이터에 대응되는 상기 출력 데이터를 결정하는 것을 특징으로 하는,
    신경망 구현 장치.
  3. 제2항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 제1 입력 데이터 및 상기 제2 입력 데이터의 시퀀스 각각에 대응되는 상기 제1 키 값, 상기 제1 벨류 값 및 상기 제1 쿼리 값을 기초로 미리 결정된 연산을 통하여 형성된 복수의 어텐션 헤드(attention head)를 합하는 연산을 수행하는 것을 특징으로 하는,
    신경망 구현 장치.
  4. 제2 항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 제1 입력 데이터에 대응되는 상기 제2 입력 데이터에 대한 어텐션 에너지를 포함한 상기 출력데이터를 출력하도록 구성된 것을 특징으로 하는,
    신경망 구현 장치.
  5. 제4항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 제1 키 값, 상기 제1 벨류 값 및 상기 제1 쿼리 값을 기초로 상기 미리 결정된 어텐션 연산을 수행하여 결정된 임베딩 벡터에 실험 방법에 대응되는 정보를 추가적으로 결합하여 상기 출력 데이터를 형성하는 것을 특징으로 하는,
    신경망 구현 장치.
  6. 제2항에 있어서,
    상기 제1 입력 데이터는,
    MHC 종류 및 MHC 구조 정보 중 적어도 하나를 포함하고,
    상기 제2 입력 데이터는,
    복수의 펩타이드 서열을 포함하는 것을 특징으로 하는,
    신경망 구현 장치.
  7. 제5항에 있어서,
    상기 제2 입력데이터가 MHC에 결합되지 않는 적어도 하나의 펩타이드 서열을 포함하면,
    상기 시퀀스 변환 신경망은,
    상기 MHC와 상기 펩타이드 서열의 결합 여부를 예측하도록 구현되는 것을 특징으로 하는,
    신경망 구현 장치.
  8. 제6항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 출력 데이터에 포함된 상기 제1 입력 데이터 및 상기 제2 입력 데이터에 대응되는 상기 펩타이드 서열과 상기 MHC와의 결합 정보를 기초로 결정된 손실(loss)함수를 이용하여 상기 시퀀스 변환 신경망의 변수를 변경하는 것을 특징으로 하는,
    신경망 구현 장치.
  9. 제8항에 있어서,
    상기 제2 입력 데이터는,
    상기 펩타이드 서열과 대응되는 아미노산 치환 행렬(BLOSUM) 및 물리화학적 특정(AAindex) 중 적어도 하나를 포함하는 것을 특징으로 하는,
    신경망 구현 장치.
  10. 제7항에 있어서,
    상기 제1 입력 데이터는,
    상기 펩타이드 서열과 상기 MHC 가 결합하는 지점을 기준으로 미리 결정된 범위에 대응되는 시퀀스로 마련되는 것을 특징으로 하는,
    신경망 구현 장치.
  11. 제6항에 있어서,
    상기 제2 입력데이터가 T-세포를 활성화하지 않는 적어도 하나의 펩타이드 서열을 포함하면,
    상기 시퀀스 변환 신경망은,
    상기 펩타이드 서열에 매칭되는 상기 T-세포의 활성여부를 예측하도록 구현되는 것을 특징으로 하는,
    신경망 구현 장치.
  12. 제11항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 제1 입력 데이터 및 상기 제2 입력 데이터에 대응되는 상기 T-세포의 활성여부를 출력하는 복수의 테스트를 수행하고,
    상기 복수의 테스트 횟수 및 상기 T-세포의 활성 횟수를 결정하고,
    상기 복수의 테스트 횟수에 대한 상기 T-세포의 활성 횟수를 기초로 상기 제1 입력 데이터 및 상기 제2 입력 데이터에 대응되는 베타분포를 형성하고,
    상기 베타 분포의 평균 및 분산을 기초로 상기 제1 입력 데이터 및 상기 제2 입력 데이터에 대응되는 라벨 정보를 결정하는 것을 특징으로 하는,
    신경망 구현 장치.
  13. 컴퓨터 장치 상의 시퀀스 변환 신경망에 의해 수행되는, 입력 시퀀스를 변환하기 위한 학습 방법에 있어서,
    제1 입력 데이터를 기초로 미리 결정된 사전학습 연산을 수행하여 제1 키(key) 값 및 제1 벨류(value) 값을 결정하는 단계;
    상기 제1 입력 데이터에 대응되는 제2 입력 데이터를 입력되면, 상기 제2 입력 데이터의 시퀀스 각각에 위치 정보를 매칭하는 단계;
    상기 제2 입력 데이터에 대응되는 제2키 값, 제2 벨류 값 및 제2 쿼리 값을 기초로 미리 결정된 셀프 어텐션(self attention) 연산을 수행하여 제1 쿼리 값(query)을 생성하는 단계; 및
    상기 제1 키 값, 상기 제1 벨류 값 및 상기 제1 쿼리 값을 기초로 상기 미리 결정된 어텐션 연산을 수행하여 상기 제1 입력 데이터 및 상기 제2 입력 데이터에 대응되는 출력 데이터를 결정하는 단계를 포함하는 것을 특징으로 하는,
    시퀀스 변환 신경망 구현 장치 및 이를 이용한 학습 방법
  14. 제13항에 있어서,
    상기 출력 데이터를 결정하는 단계는,
    상기 제1 입력 데이터 및 상기 제2 입력 데이터의 시퀀스 각각에 대응되는 상기 제1 키 값, 상기 제1 벨류 값 및 상기 제1 쿼리 값을 기초로 미리 결정된 연산을 통하여 형성된 복수의 어텐션 헤드(attention head)를 합하는 연산을 수행하는 것 포함하는,
    학습 방법
  15. 제13 항에 있어서,
    상기 출력 데이터를 결정하는 단계는,
    상기 제1 입력 데이터에 대응되는 상기 제2 입력 데이터에 대한 어텐션 에너지를 포함한 상기 출력데이터를 출력하는 것을 포함하는,
    학습 방법
  16. 제15항에 있어서,
    상기 출력 데이터를 결정하는 단계는,
    상기 제1 키 값, 상기 제1 벨류 값 및 상기 제1 쿼리 값을 기초로 상기 미리 결정된 어텐션 연산을 수행하여 결정된 임베딩 벡터에 실험 방법에 대응되는 정보를 추가적으로 결합하여 상기 출력 데이터를 형성하는 것을 포함하는,
    학습 방법
  17. 제13항에 있어서,
    상기 제1 입력 데이터는,
    MHC 종류 및 MHC 구조 정보 중 적어도 하나를 포함하고,
    상기 제2 입력 데이터는,
    복수의 펩타이드의 서열을 포함하는 것을 특징으로 하는,
    학습 방법
  18. 제17항에 있어서,
    상기 제2 입력데이터가 MHC에 결합되지 않는 적어도 하나의 펩타이드 서열을 포함하면,
    상기 시퀀스 변환 신경망은,
    상기 MHC와 상기 펩타이드 서열의 결합 여부를 예측하도록 구현되는 것을 특징으로 하는,
    학습 방법
  19. 제17항에 있어서,
    상기 출력 데이터에 포함된 상기 제1 입력 데이터 및 상기 제2 입력 데이터에 대응되는 상기 펩타이드 서열과 상기 MHC와의 결합 정보를 기초로 결정된 손실(loss)함수를 이용하여 상기 시퀀스 변환 신경망의 변수를 변경하는 것을 더 포함하는,
    학습 방법
  20. 제18항에 있어서,
    상기 제2 입력 데이터는,
    상기 펩타이드 서열과 대응되는 아미노산 치환 행렬 (BLOSUM) 및 물리화학적 특정(AAindex) 중 적어도 하나를 포함하는 것을 특징으로 하는,
    학습 방법
  21. 제18항에 있어서,
    상기 제1 입력 데이터는,
    상기 펩타이드 서열과 상기 MHC 가 결합하는 지점을 기준으로 미리 결정된 범위에 대응되는 시퀀스로 마련되는 것을 특징으로 하는,
    학습 방법
  22. 제17항에 있어서,
    상기 제2 입력데이터가 T-세포를 활성화하지 않는 적어도 하나의 펩타이드 서열을 포함하면,
    상기 시퀀스 변환 신경망은,
    상기 펩타이드 서열에 매칭되는 상기 T-세포의 활성여부를 예측하도록 구현되는 것을 특징으로 하는,
    학습 방법
  23. 제22항에 있어서,
    상기 출력 데이터를 결정하는 단계는,
    상기 제1 입력 데이터 및 상기 제2 입력 데이터에 대응되는 상기 T-세포의 활성여부를 출력하는 복수의 테스트를 수행하고,
    상기 복수의 테스트 횟수 및 상기 T-세포의 활성 횟수를 결정하고,
    상기 복수의 테스트 횟수에 대한 상기 T-세포의 활성 횟수를 기초로 상기 제1 입력 데이터 및 상기 제2 입력 데이터에 대응되는 베타분포를 형성하고,
    상기 베타 분포의 평균 및 분산을 기초로 상기 제1 입력 데이터 및 상기 제2 입력 데이터에 대응되는 라벨 정보를 결정하는 것을 포함하는,
    학습 방법
  24. 하드웨어인 컴퓨터와 결합되어, 상기 제13항 내지 제23항 중 어느 한 항의 인공지능 기반의 시퀀스 변환 신경망을 수행하기 위해 컴퓨터 판독 가능한 기록매체에 저장된, 컴퓨터 프로그램.
KR1020220105457A 2022-08-23 2022-08-23 입력 시퀀스를 변환하기 위한 시퀀스 변환 신경망 구현 장치 및 이를 이용한 학습 방법 KR20240027347A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220105457A KR20240027347A (ko) 2022-08-23 2022-08-23 입력 시퀀스를 변환하기 위한 시퀀스 변환 신경망 구현 장치 및 이를 이용한 학습 방법
PCT/KR2023/012469 WO2024043683A1 (ko) 2022-08-23 2023-08-23 입력 시퀀스를 변환하기 위한 시퀀스 변환 신경망 구현 장치 및 이를 이용한 학습 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220105457A KR20240027347A (ko) 2022-08-23 2022-08-23 입력 시퀀스를 변환하기 위한 시퀀스 변환 신경망 구현 장치 및 이를 이용한 학습 방법

Publications (1)

Publication Number Publication Date
KR20240027347A true KR20240027347A (ko) 2024-03-04

Family

ID=90013767

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220105457A KR20240027347A (ko) 2022-08-23 2022-08-23 입력 시퀀스를 변환하기 위한 시퀀스 변환 신경망 구현 장치 및 이를 이용한 학습 방법

Country Status (2)

Country Link
KR (1) KR20240027347A (ko)
WO (1) WO2024043683A1 (ko)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10776581B2 (en) * 2018-02-09 2020-09-15 Salesforce.Com, Inc. Multitask learning as question answering
CN109543824B (zh) * 2018-11-30 2023-05-23 腾讯科技（深圳）有限公司 一种序列模型的处理方法和装置
US11011154B2 (en) * 2019-02-08 2021-05-18 Tencent America LLC Enhancing hybrid self-attention structure with relative-position-aware bias for speech synthesis

Also Published As

Publication number Publication date
WO2024043683A1 (ko) 2024-02-29

Similar Documents

Publication Publication Date Title
CN110287296A (zh) 一种问题答案选取方法、装置、计算机设备及存储介质
Xu et al. An overview of neural networks for drug discovery and the inputs used
CN114564593A (zh) 多模态知识图谱的补全方法、装置和电子设备
CA3142339A1 (en) Machine learning-based apparatus for engineering meso-scale peptides and methods and system for the same
US20220367008A1 (en) Machine learning model-based essential gene identification method and analysis apparatus
KR20240027347A (ko) 입력 시퀀스를 변환하기 위한 시퀀스 변환 신경망 구현 장치 및 이를 이용한 학습 방법
WO2022093979A1 (en) Peptide-based vaccine generation
Farzan Artificial intelligence in Immuno-genetics
Shang et al. Tailoring the mechanical properties of 3D microstructures: A deep learning and genetic algorithm inverse optimization framework
Hashemi et al. Improved prediction of MHC-peptide binding using protein language models
Liao et al. Parameter optimization for support vector machine based on nested genetic algorithms
Zhu et al. Research on folding diversity in statistical learning methods for RNA secondary structure prediction
Kumar et al. Lite-SeqCNN: A light-weight deep CNN architecture for protein function prediction
KR20240086923A (ko) Mhc 클래스 ii 결합 및 면역원성 예측 모델을 위한 데이터 증강 방법, 장치 및 프로그램
KR20200132685A (ko) 전자 장치 및 이의 제어 방법
Luo et al. Sparse-Input Neural Network using Group Concave Regularization
US20240153591A1 (en) Method for predicting t cell activity of peptide-mhc, and analysis device
KR102547978B1 (ko) 인공지능 기술을 이용하여 pmhc에 대응되는 tcr 정보를 생성하기 위한 방법 및 장치
KR102517005B1 (ko) 인공지능 기술을 이용하여 mhc와 펩타이드 간의 관계를 분석하기 위한 방법 및 장치
Lu et al. On the Implications of| Uµi|=| Uτi| in the Canonical Seesaw Mechanism. Universe 2024, 10, 50
US20240096443A1 (en) Generalized Scaffolds for Polypeptide Display and Uses Thereof
KR102547976B1 (ko) Mhc와 펩타이드 간의 결합을 분석하기 위한 방법 및 장치
Kumar Roy et al. Convolutional neural network for text: A stepwise working guidance
Casas et al. Removing the Bottleneck: Introducing cMatch-A Lightweight Tool for Construct-Matching in Synthetic Biology
Marzella et al. The PANDORA software for anchor-restrained peptide: MHC modeling