WO2022270768A1

WO2022270768A1 - 지능형 약물감시 플랫폼을 제공하기 위한 방법 및 장치

Info

Publication number: WO2022270768A1
Application number: PCT/KR2022/007100
Authority: WO
Inventors: 신민경; 양솔지; 송민경
Original assignee: 주식회사 셀타스퀘어
Priority date: 2021-06-23
Filing date: 2022-05-18
Publication date: 2022-12-29
Also published as: KR102410415B1

Abstract

본 발명은 약물감시(pharmacovilgilance, PV) 플랫폼을 제공하기 위한 방법 및 장치에 대한 것으로, 서버의 동작 방법은, 사용자 장치로부터 입력 데이터를 수신하는 단계, 상기 입력 데이터를 처리하기 위해 선택된 제1 인공지능 모델을 이용하여 상기 입력 데이터로부터 적어도 하나의 명령어 집합을 생성하는 단계, 상기 입력 데이터를 제공한 사용자가 상기 적어도 하나의 명령어 집합을 실행하기 위한 권한을 가지는지 여부를 판단하는 단계, 상기 사용자가 상기 권한을 가지면, 상기 적어도 하나의 명령어 집합에 따른 작업을 수행하기 위해 선택된 제2 인공지능 모델을 이용하여 상기 작업의 결과를 생성하는 단계, 상기 작업의 결과를 가시화(visualization)하기 위해 선택된 가시화 모듈을 이용하여 상기 작업의 결과를 표시하는 출력 데이터를 생성하는 단계, 및 상기 사용자 장치로 상기 출력 데이터를 송신하는 단계를 포함할 수 있다.

Description

지능형 약물감시 플랫폼을 제공하기 위한 방법 및 장치

본 발명은 지능형 약물감시(pharmacovilgilance, PV) 플랫폼에 관한 것으로, 특히, 인공지능 알고리즘을 이용하여 약물감시 절차를 수행하는 플랫폼을 제공하기 위한 방법 및 장치에 대한 것이다.

약물감시(pharmacovilgilance, PV)는 새로운 약물의 효과 및 부작용 등의 임상 시험 결과 및 시판 후 안전성 정보를 모니터링하는 작업을 의미한다. 약물감시는 시판 후는 물론 임상시험 중에 일어나는 약물 이상 반응 등을 모니터링하고, 관련 정부 부처에 보고하는 업무까지도 포함한다.

제약을 개발 및 판매하는 제약회사는 필수적으로 약물감시 절차를 수행해야 한다. 국제의약품규제조화위원회(International Conference on Harmonisation, ICH) 정회원국 가입에 따라, 제약 산업은 제조, 임상 등 각 분야에서 ICH 가이드라인(Guideline)을 따라야 한다. 특히, 2012년부터 유럽을 시작으로 약물감시 규정이 강화되고 있어 자체 약물감시 체계를 수립해야 하는 제약기업에서 약물감시는 중요한 업무로 대두되고 있다.

약물감시 절차는 다양한 출처들로부터 발생하는 데이터들의 수집, 비정형화된 데이터들의 해석, 규정의 적용 등 다양한 작업들을 요구한다. 또한, 약물감시 절차에 있어서, 구성원 별로 다양한 권한을 가지고 있는 것이 일반적이며, 권한에 따라 주어진 작업의 내용과 범위가 달라진다. 따라서, 약물감시 절차는 매우 복잡한 구조를 가지고 있으며, 운용에 많은 인력과 비용을 필요로 한다.

본 발명은 약물감시(pharmacovilgilance, PV) 절차를 효과적으로 수행하기 위한 방법 및 장치를 제공하기 위한 것이다.

본 발명은 인공지능 알고리즘에 기반하여 약물감시 절차를 수행하기 위한 방법 및 장치를 제공하기 위한 것이다.

본 발명은 인공지능 알고리즘을 이용하여 약물감시 절차를 수행하는 플랫폼을 제공하기 위한 방법 및 장치를 제공하기 위한 것이다.

본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 발명의 일 실시 예에 따른, 약물감시(pharmacovilgilance, PV) 플랫폼을 제공하는 서버의 동작 방법은, 사용자 장치로부터 입력 데이터를 수신하는 단계, 상기 입력 데이터를 처리하기 위해 선택된 제1 인공지능 모델을 이용하여 상기 입력 데이터로부터 적어도 하나의 명령어 집합을 생성하는 단계, 상기 입력 데이터를 제공한 사용자가 상기 적어도 하나의 명령어 집합을 실행하기 위한 권한을 가지는지 여부를 판단하는 단계, 상기 사용자가 상기 권한을 가지면, 상기 적어도 하나의 명령어 집합에 따른 작업을 수행하기 위해 선택된 제2 인공지능 모델을 이용하여 상기 작업의 결과를 생성하는 단계, 상기 작업의 결과를 가시화(visualization)하기 위해 선택된 가시화 모듈을 이용하여 상기 작업의 결과를 표시하는 출력 데이터를 생성하는 단계, 및 상기 사용자 장치로 상기 출력 데이터를 송신하는 단계를 포함할 수 있다.

본 발명의 일 실시 예에 따르면, 상기 제1 인공지능 모델 및 상기 제2 인공지능 모델은, 인공지능 모델 저장소에 저장된 복수의 인공지능 모델들 중 상기 사용자, 상기 작업에 기반하여 선택될 수 있다.

본 발명의 일 실시 예에 따르면, 상기 가시화 모듈은, 가시화 모듈 저장소에 저장된 복수의 가시화 모듈 중 상기 사용자, 상기 작업에 기반하여 선택될 수 있다.

본 발명의 일 실시 예에 따르면, 상기 입력 데이터는, 이미지화된 문서, 이메일, 사용자 입력 중 적어도 하나의 형태를 가지며, 상기 제1 인공지능 모델은, 상기 입력 데이터에 대한 OCR(optical character recognition) 및 NLP(natural language processing) 중 적어도 하나를 수행할 수 있다.

본 발명의 일 실시 예에 따르면, 상기 인공지능 모델 저장소는, 복수의 인공지능 모델들을 포함하며, 플랫폼의 관리자의 명령에 따라 인공지능 모델 저장에 인공지능 모델이 추가 또는 삭제 가능한 구조를 가질 수 있다.

본 발명의 일 실시 예에 따르면, 상기 작업은, 연쇄적으로 수행되는 복수의 작업들 중 하나이며, 상기 복수의 작업들은, 케이스 엔트리(case entry, CE), QC(quality control), MR(medical review), 케이스 마감(case lock, CL)을 포함하며, 상기 작업의 결과는, 상기 사용자의 후행 사용자에게 전달될 수 있다.

본 발명의 일 실시 예에 따르면, 상기 방법은, 상기 작업의 결과에 대한 상기 사용자의 검토 결과를 수신하는 단계, 및 상기 검토 결과를 제3 인공지능 모델을 이용하여 분석 및 저장하는 단계를 더 포함할 수 있다.

본 발명의 일 실시 예에 따르면, 상기 방법은, 상기 검토 결과를 이용하여, 상기 제2 인공지능 모델에 대한 재학습을 수행하는 단계를 더 포함할 수 있다.

본 발명의 일 실시 예에 따르면, 상기 작업의 결과를 생성하는 단계는, 상기 입력 데이터에 포함된 이상 사례, 환자 병력, 기저 질환을 포함하는 임상 정보 및 품목 정보를 인공지능 모델 학습을 통해 정형화된 데이터로 변환하는 단계를 더 포함할 수 있다.

본 발명의 일 실시 예에 따르면, 상기 출력 데이터는, 상기 입력 데이터, 상기 작업의 결과, 상기 입력 데이터에 포함된 항목 및 상기 작업의 결과에 포함된 항목 간 매칭에 관련된 정보를 포함하며, 상기 입력 데이터 및 상기 작업의 결과는, 동일 항목들 간 매칭 관계를 표시하는 제1 지시자, 상기 입력 데이터에 포함되어 있으나 상기 작업의 결과에 입력되지 아니한 항목을 표시하는 제2 지시자와 함께 상기 사용자 장치에서 표시될 수 있다.

본 발명의 일 실시 예에 따르면, 상기 방법은, 상기 입력 데이터에 포함된 이상 사례가 나타내는 부작용의 정도에 따라, 상기 작업에 관련된 일련의 절차에 예외 처리를 적용하는 단계를 더 포함할 수 있다.

본 발명의 일 실시 예에 따르면, 상기 예외 처리는, 추가적인 작업을 할당하는 것을 포함할 수 있다.

본 발명의 일 실시 예에 따른, 약물감시(pharmacovilgilance, PV) 플랫폼을 제공할 수 있다는, 사용자 장치로부터 입력 데이터를 수신하는 수신부, 상기 입력 데이터를 처리하기 위해 선택된 제1 인공지능 모델을 이용하여 상기 입력 데이터로부터 적어도 하나의 명령어 집합을 생성하는 입력 처리부, 상기 입력 데이터를 제공한 사용자가 상기 적어도 하나의 명령어 집합을 실행하기 위한 권한을 가지는지 여부를 판단하는 권한 확인 모듈, 상기 사용자가 상기 권한을 가지면, 상기 적어도 하나의 명령어 집합에 따른 작업을 수행하기 위해 선택된 제2 인공지능 모델을 이용하여 상기 작업의 결과를 생성하는 인공지능 분석 모듈, 상기 작업의 결과를 가시화(visualization)하기 위해 선택된 가시화 모듈을 이용하여 상기 작업의 결과를 표시하는 출력 데이터를 생성하는 가시화 모듈, 및 상기 사용자 장치로 상기 출력 데이터를 송신하는 송신부를 포함할 수 있다.

본 발명의 일 실시 예에 따르면, 상기 수신부는, 상기 작업의 결과에 대한 상기 사용자의 검토 결과를 수신하고, 상기 인공지능 분석 모듈은, 상기 검토 결과를 제3 인공지능 모델을 이용하여 분석 및 저장할 수 있다.

본 발명의 일 실시 예에 따르면, 상기 시스템은, 상기 검토 결과를 이용하여, 상기 제2 인공지능 모델에 대한 재학습을 수행하는 학습 모듈을 더 포함할 수 있다.

본 발명의 일 실시 예에 따르면, 상기 인공지능 분석 모듈은, 상기 입력 데이터에 포함된 이상 사례가 나타내는 부작용의 정도에 따라, 상기 작업에 관련된 일련의 절차에 예외 처리를 적용할 수 있다.

본 발명에 대하여 위에서 간략하게 요약된 특징들은 후술하는 본 발명의 상세한 설명의 예시적인 양상일 뿐이며, 본 발명의 범위를 제한하는 것은 아니다.

본 발명에 따르면, 약물감시(pharmacovilgilance, PV) 업무가 보다 일관성있고 정확하게, 인과성 등의 의학적 측면에서 평가 및 처리가 가능하며, 신속하게 안전성 정보 및 리스크를 탐지하고 대응할 수 있다.

본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 일 실시 예에 따른 약물감시 플랫폼을 제공하는 시스템의 구조를 도시한다.

도 2는 본 발명의 일 실시 예에 따른 시스템에 적용 가능한 인공 신경망의 구조를 도시한다.

도 3은 본 발명의 일 실시 예에 따른 서버의 기능적 구성을 도시한다.

도 4는 본 발명의 일 실시 예에 따른 약물감시 플랫폼에서 사용자의 입력을 처리하기 위한 절차의 예를 도시한다.

도 5는 본 발명의 일 실시 예에 따른 약물감시 플랫폼에서 사용자의 권한 레벨에 기반하여 작업을 수행하기 위한 절차의 예를 도시한다.

도 6은 본 발명의 일 실시 예에 따른 약물감시 플랫폼에서 출력 데이터를 생성하기 위한 절차의 예를 도시한다.

도 7은 본 발명의 일 실시 예에 따른 약물감시 플랫폼에서 시스템들 간 데이터를 공유하기 위한 절차의 예를 도시한다.

이하에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.

본 발명의 실시 예를 설명함에 있어서 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다. 그리고, 도면에서 본 발명에 대한 설명과 관계없는 부분은 생략하였으며, 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

본 발명은 지능적 인공지능 플랫폼을 이용하여 약물감시(pharmacovilgilance, PV) 절차를 수행하기 위한 기술에 대해 제안한다. 구체적으로, 본 발명은 클라우드 환경, 로컬 환경 등 다양한 환경 하에서 약물감시 절차를 지원하는 플랫폼을 제공하기 위한 것이다.

약물의 부작용 보고 데이터의 규모는 급속도로 방대해지고 있으나, 이를 분석, 평가, 처리하는 과정은 모두 수작업으로 이루어지고 있다. 이에, 본 발명은 부작용 보고서에 OCR(optical character recognition) 및 NLP(natural language processing) 기술을 적용함으로써 정확도를 향상시키고, 수집된 부작용 빅데이터에서 일원화된 국제 규정에 따라 이상 사례명, 환자 병력, 기저질환, 기저질환 등 임상 정보 및 품목정보 등을 포착하고, 부작용 빅데이터를 정형화된 데이터로 변환 및 저장하기 위한 기술을 제안한다.

도 1을 참고하면, 시스템은 통신망에 연결된 사용자 장치(110a), 사용자 장치(110b), 서버(120)을 포함한다. 도 1은 2개의 사용자 장치들(110a, 110b)를 예시하였으나, 3개 이상의 사용자 장치들이 존재할 수 있다.

사용자 장치(110a) 및 사용자 장치(110b)는 본 발명의 실시 예에 따른 플랫폼을 이용하여 약물감시 절차에 참여하고자 하는 사용자에 의해 사용된다. 사용자 장치(110a) 및 사용자 장치(110b)는 입력 데이터(예: 이메일, 문서 이미지, 사용자의 입력)를 획득하고, 입력 데이터를 통신 망을 통해 서버(120)로 송신할 수 있고, 서버(120)와 상호 작용할 수 있다. 사용자 장치들(110a, 110b) 각각은 통신을 위한 통신부, 데이터 및 프로그램을 저장하는 저장부, 정보를 표시하기 위한 표시부, 사용자의 입력을 위한 입력부, 제어를 위한 프로세서를 포함할 수 있다. 예를 들어, 사용자 장치들(110a, 110b) 각각은 플랫폼 접속을 위한 어플리케이션 또는 프로그램을 설치한 범용 장치(예: 스마트폰, 타블렛, 랩탑 컴퓨터, 데스크탑 컴퓨터) 또는 플랫폼 전용 접속 단말일 수 있다.

서버(120)는 본 발명의 실시 예들에 따른 플랫폼을 제공한다. 서버(120)는 약물감시 플랫폼을 위한 다양한 기능들을 제공하며, 인공지능 모델을 운용할 수 있다. 본 발명에 적용 가능한 인공 신경망의 일 예는 이하 도 2를 참고하여 설명된다. 또한, 서버(120)는 학습 데이터를 이용하여 인공지능 모델을 위한 학습을 수행할 수 있다. 본 발명의 다양한 실시 예들에 따라, 서버(120)는 약물감시 절차에 포함되는 다양한 분석 업무들을 위한 복수의 인공지능 모델들을 저장하고, 필요에 따라 인공지능 모델들 중 적어도 하나를 선택적으로 사용한다. 또한, 서버(120)는 분석 결과를 사용자에게 표현하기 위한 복수의 가시화(visualization) 도구(tool)들을 저장하고, 필요에 따라 가시화 도구들 중 적어도 하나를 선택적으로 사용한다. 또한, 서버(120)는 복수의 사용자들에 대한 권한을 포함하는 프로필 정보를 저장하며, 요청되는 업무를 권한에 기반하여 입력 데이터를 처리한다. 여기서, 서버(120)는 로컬 네트워크에 존재하는 로컬 서버이거나, 외부 망을 통해 연결되는 원격 접속 서버(예: 클라우드 서버)일 수 있다. 서버(120)는 통신을 위한 통신부, 데이터 및 프로그램을 저장하는 저장부, 제어를 위한 프로세서를 포함할 수 있다.

도 2는 본 발명의 일 실시 예에 따른 시스템에 적용 가능한 인공 신경망의 구조를 도시한다. 도 2와 같은 인공 신경망은 서버(120)에 저장된 인공지능 모델들의 구조로 이해될 수 있다. 도 2를 참고하면, 인공 신경망은 입력 계층(input layer)(210), 적어도 하나의 은닉 계층(hidden layer)(220), 출력 계층(output layer)(230)으로 이루어진다. 계층들(210, 220, 230) 각각은 복수의 노드(node)들로 구성되어 있으며, 노드들 각각은 이전 계층에 속한 적어도 하나의 노드의 출력과 연결되어 있다. 각 노드는 이전 계층의 노드들의 각 출력 값과 그에 상응하는 연결 가중치(weight)를 내적(inner product)한 값을 계산한 후, 비선형(non-linear)인 활성화 함수(activation function)와 곱한 출력 값을 다음 계층의 적어도 하나의 뉴런에게 전달한다.

도 2와 같은 인공 신경망은 학습(예: 기계 학습(machine learning), 딥 러닝(deep learning) 등)에 의해 형성될 수 있다. 또한, 본 발명의 다양한 실시 예에서 사용되는 인공 신경망 모델은 완전 합성곱 신경망(fully convolutional neural network), 합성곱 신경망(convolutional neural network), 순환 신경망(recurrent neural network), 제한 볼츠만 머신(restricted Boltzmann machine, RBM) 및 심층 신뢰 신경망(deep belief neural network, DBN) 중 적어도 하나를 포함할 수 있으나, 이에 한정되지 않는다. 또는, 딥러닝 이외의 머신 러닝 방법도 포함할 수 있다. 또는 딥러닝과 머신 러닝을 결합한 하이브리드 형태의 모델도 포함할 수 있다. 예컨대, 딥러닝 기반의 모델을 적용하여 영상의 특징을 추출하고, 상기 추출된 특징에 기초하여 영상을 분류하거나 인식할 때는 머신 러닝 기반의 모델을 적용할 수도 있다. 머신 러닝 기반의 모델은 서포트 벡터 머신(Support Vector Machine, SVM), 에이다부스트(AdaBoost) 등을 포함할 수 있으나, 이에 한정되지 않는다.

*도 3은 본 발명의 일 실시 예에 따른 서버의 기능적 구성을 도시한다. 도 3은 도 1의 서버(120)의 기능적 구성을 예시한다.

도 3을 참고하면, 서버는 OCR(optical character recognition) 모듈(310), NLP(natural language processing) 모듈(320), 인공지능 모델 저장소(330a), 가시화 모듈 저장소(330b), 사용자 및 권한 저장소(330c), 입력 처리부(340), 데이터베이스(database, DB)(350), 권한 확인 모듈(360), 인공지능 분석 모듈(370), 가시화 모듈(380), 학습 모듈(390)을 포함한다.

OCR 모듈(310)은 입력 데이터 중 이미지 형식의 문서에서 포함된 문자를 판독한다. 본 발명의 일 실시 예에 따라, OCR 모듈(310)은 인공지능 모델 저장소(330a)에 저장된 문자 판독을 위한 인공지능 모델들 중 하나를 이용하여 문자를 판독할 수 있다. OCR 모듈(310)에 의해 판독된 문자에 대한 데이터는 NLP 모듈(320)으로 제공된다.

NLP 모듈(320)은 디지털화된 문자 데이터가 표현하는 자연어를 분석 및 처리한다. 여기서, 문자 데이터는 OCR 모듈(310)에 의해 판독된 문자에 대한 데이터, 이메일, 웹페이지, 전자 문서 등 문자 코드로 작성된 데이터 중 적어도 하나를 포함할 수 있다. NLP 모듈(320)은 문자 데이터들에 대한 형태소 분석(morphological analysis), 통사 분석(syntactic analysis), 의미 분석(semantic analysis), 화용 분석(pragmatic analysis) 중 적어도 하나를 수행할 수 있다. 본 발명의 일 실시 예에 따라, NLP 모듈(320)은 약물감시 절차에 필요한 작업들을 수행할 목적에 따라 문자 데이터를 처리할 수 있다. 또한, 본 발명의 다양한 실시 예들에 따라, NLP 모듈(320)은 인공지능 모델 저장소(330a)에 저장된 자연어 처리를 위한 인공지능 모델들 중 하나를 이용하여 문자 데이터를 분석 및 처리할 수 있다.

인공지능 모델 저장소(330a)는 약물감시 플랫폼에서 제공되는 기능들에 관련된 다양한 인공지능 모델들을 저장한다. 저장된 인공지능 모델들은 다른 모듈의 요청에 의해 제공될 수 있다. 인공지능 모델 저장소(330a)는 인공지능 모델들 각각에 대한 인덱스, 대응되는 작업 분류, 사용이 허용되는 모듈, 사용이 허용되는 사용자 권한 레벨 등을 포함하는 인공지능 모델 관리 정보를 더 저장할 수 있다. 이에 따라, 인공지능 모델 저장소(330a)는 다른 모듈로부터 특정 인공지능 모델에 대한 요청을 수신하고, 인공지능 모델 관리 정보에 기반하여 요청된 인공 지능 모델을 제공하는 것이 가능한지 여부를 판단한 후, 제공 가능하다고 판단되면 요청된 인공 지능 모델을 제공할 수 있다.

가시화 모듈 저장소(330b)는 인공지능 모델을 이용하여 얻어진 분석 결과를 표현하기 위한 가시화 도구들을 저장한다. 저장된 가시화 도구들은 다른 모듈(예: 가시화 모듈(380))의 요청에 의해 제공될 수 있다. 가시화 모듈 저장소(330b)는 가시화 도구들 각각에 대한 인덱스, 대응되는 작업 분류, 사용이 허용되는 모듈, 사용이 허용되는 사용자 권한 레벨 등을 포함하는 가시화 도구 관리 정보를 더 저장할 수 있다. 이에 따라, 가시화 모듈 저장소(330b)는 다른 모듈로부터 특정 가시화 도구에 대한 요청을 수신하고, 가시화 도구 관리 정보에 기반하여 요청된 가시화 도구를 제공하는 것이 가능한지 여부를 판단한 후, 제공 가능하다고 판단되면 요청된 가시화 도구를 제공할 수 있다.

사용자 및 권한 저장소(330c)는 시스템에 접속할 수 있는 사용자들의 계정에 대한 정보 및 권한 레벨에 대한 정보를 저장한다. 사용자들은 주어진 업무나 능력에 따라 서로 다른 권한 레벨을 가질 수 있으며, 권한 레벨에 대한 정보는 사용자 및 권한 저장소(330c)에 저장된다. 또한, 사용자 및 권한 저장소(330c)는 사용자들의 접속 기록, 업무 기록 등의 로그(log) 정보를 저장할 수 있다. 사용자 및 권한 저장소(330c)은 다른 모듈(예: 권한 확인 모듈(360))의 요청에 따라 저장된 정보를 제공할 수 있다.

입력 처리부(340)는 입력 데이터로부터 적어도 하나의 명령어 집합(command set)을 생성한다. 적어도 하나의 명령어 집합은 약물감시 절차 중 수행 가능한 적어도 하나의 작업을 진행하기 위한 적어도 하나의 명령어 및 관련 데이터를 포함한다. 예를 들어, 적어도 하나의 명령어 집합은 데이터의 열람, 데이터의 수정, 데이터의 확인, 데이터의 저장, 데이터의 생성 등 다양한 목적의 명령어를 포함할 수 있다. 입력 처리부(340)로 제공되는 입력 데이터는 NPL 모듈(320)을 거친 데이터이거나, 사용자 장치로부터 수신된 데이터이거나, 또는 NPL 모듈(320)을 거친 데이터 및 사용자 장치로부터 수신된 데이터의 조합일 수 있다. 예를 들어, 입력 처리부(340)는 NLP 모듈(320)로부터 제공되는 자연어 처리의 결과를 기반으로, 사용자 장치로부터 제공되는 사용자 입력에 대응하는 작업을 수행하기 위해 입력 데이터를 처리할 수 있다. 이를 위해, 사용자는 사용자 장치에 표시되는 약물감시 플랫폼을 위한 인터페이스를 이용하여 명령어에 관련 정보를 입력할 수 있다. 이때, 정보는 사용자에 의해 실시간으로 입력되거나 또는 미리 설정해 둔 이벤트 조건에 따라 입력될 수 있다. 본 발명의 다양한 실시 예들에 따라, 입력 처리부(340)는 인공지능 모델 저장소(330a)에 저장된 입력 처리를 위한 인공지능 모델들 중 하나를 이용하여 입력 데이터를 처리할 수 있다.

데이터베이스(350)는 약물감시 플랫폼을 통해 관리되는 정보를 저장한다. 또한, 데이터베이스(350)는 입력 처리부(340)에 의해 생성된 적어도 하나의 명령어 집합에 대응하는 동작을 수행한다. 예를 들어, 데이터베이스(350)는 적어도 하나의 명령어 집합에 의해 요청되는 정보를 제공하거나, 적어도 하나의 명령어 집합에 의해 지시되는 정보를 수정할 수 있다.

권한 확인 모듈(360)은 사용자의 권한 레벨에 기반하여 요청된 작업의 가능 여부를 판단한다. 권한 확인 모듈(360)은 사용자 및 권한 저장소(330c)에게 적어도 하나의 명령어 집합을 발생시킨 사용자의 권한 레벨에 대한 정보를 요청하고, 사용자 및 권한 저장소(330c)로부터 사용자의 권한 레벨에 대한 정보를 수신할 수 있다. 그리고, 권한 확인 모듈(360)은 권한 레벨에 기반하여, 해당 사용자가 적어도 하나의 명령어 집합에 대응하는 작업을 수행하는 것이 허용되는지 여부를 판단한다.

인공지능 분석 모듈(370)은 인공지능 알고리즘을 이용하여 적어도 하나의 명령어 집합에 대응하는 작업을 수행한다. 이를 위해, 본 발명의 다양한 실시 예들에 따라, 인공지능 분석 모듈(370)은 인공지능 모델 저장소(330a)에 저장된 작업 수행을 위한 인공지능 모델들 중 하나의 사용을 요청할 수 있다. 이에 따라, 인공지능 분석 모듈(370)은 인공지능 모델 저장소(330a)로부터 인공지능 모델에 대한 정보(예: 신경망 구조 및 가중치 정보)를 수신한 후, 인공지능 모델을 이용하여 추론 동작을 수행하거나, 또는 인공지능 모델 저장소(330a)로 추론을 위한 입력 데이터를 제공하고, 추론 결과를 수신할 수 있다.

가시화 모듈(380)은 작업의 결과를 사용자에게 표현하기 위한 출력 데이터를 생성한다. 이를 위해, 본 발명의 다양한 실시 예들에 따라, 가시화 모듈(380)은 가시화 모듈 저장소(330b)에 저장된 가시화 도구들 중 하나의 사용을 요청할 수 있다. 출력 데이터는 작업을 요청한 사용자 장치 또는 작업에 관련된 다른 사용자 장치에게 송신된다. 출력 데이터는 출력 데이터를 수신하는 장치의 하드웨어 능력에 기반하여 생성될 수 있다. 이때, 가시화 모듈(380)은 출력 데이터를 생성하기 위해 어떤 가시화 도구를 사용할지를 판단하는데, 이를 위해 인공지능 모델 저장소(330a)에 저장된 인공지능 모델들 중 적어도 하나를 사용할 수 있다.

학습 모듈(390)은 인공지능 모델 저장소(330a)에 저장된 인공지능 모델들의 학습 또는 재학습을 수행한다. 즉, 학습 모듈(390)은 학습 데이터에 기반하여 학습을 수행한다. 이때, 학습 모듈(390)은 초기에 확보된 학습 데이터는 물론, 시스템 운용 중 사용자의 피드백에 기반하여 생성된 학습 데이터를 이용할 수 있다. 인공지능 모델에 의한 분석 결과에 대한 사용자의 검토 결과는 분석 결과에 대한 동의거나, 적어도 일부에 대한 비동의를 포함할 수 있다. 비동의가 포함되는 경우, 해당 검토 결과는 라벨링된 학습 데이터로서 피드백됨으로써, 재학습을 위해 활용될 수 있다. 이때, 사용자의 판단에도 오류가 존재할 수 있으므로, 일정 양 이상의 비동의를 포함하는 검토 결과들이 누적된 때에, 재학습이 수행될 수 있다. 이를 위해, 사용자의 검토 결과가 비동의를 포함하는지, 그 비동의의 수준은 어느 정도인지를 판단하기 위한 인공지능 모델이 사용될 수 있다.

도 3의 예에서, 인공지능 모델 저장소(330a) 및 가시화 모듈 저장소(330b)는 서버의 일부인 것으로 설명되었다. 즉, 인공지능 모델 저장소(330a) 및 가시화 모듈 저장소(330b)는 서버에 포함된 적어도 하나의 메모리의 집합으로 구현될 수 있다. 하지만, 다른 실시 예에 따라, 인공지능 모델 저장소(330a) 및 가시화 모듈 저장소(330b) 중 적어도 하나는 서버의 내부가 아닌 별도의 장치로 구현될 수 있다. 이 경우, 서버는 인공지능 모델 저장소(330a) 및 가시화 모듈 저장소(330b)와 네트워크를 통해 통신을 수행하며, 추론 동작을 위한 데이터를 송신 및 수신할 수 있다.

도 3을 참고하여 설명한 바와 같이, 인공지능 모델 저장소(330a)는 다양한 인공지능 모델들을 저장할 수 있다. 이때, 인공지능 모델 저장소(330a)에서, 플랫폼 관리자의 명령에 따라, 인공지능 모델의 추가 및 삭제가 가능하다. 나아가, 정해진 프로토콜에 따라, 서로 다른 시스템들 간 인공지능 모델의 교환, 공유, 복제 등이 가능하다.

일 실시 예에 따라, 시스템들 간 시그널링을 통해 인공지능 모델이 공유될 수 있다. 예를 들어, 시스템#1이 시스템#2에게 특정 기능에 관련된 인공지능 모델에 대한 정보를 요청하면, 시스템#2는 관리자의 승인에 따라 시스템#1에게 관련된 인공지능 모델들의 목록을 제공할 수 있다. 여기서, 목록은 인공지능 모델의 입력/출력 구조, 학습 진행 정보, 사용 이력 등에 대한 정보, 추론 결과의 샘플 등을 포함할 수 있다. 이후, 시스템#1은 관리자에게 인공지능 모델들의 목록을 제공하고, 관리자의 명령에 따라 적어도 하나의 인공지능 모델을 요청할 수 있다. 이에 따라, 시스템#2는 시스템#2의 관리자의 승인에 따라 요청된 인공지능 모델을 공유할 수 있다.

전술한 인공지능 모델의 공유 절차는, 가시화 도구에도 적용될 수 있다.

도 4는 본 발명의 일 실시 예에 따른 약물감시 플랫폼에서 사용자의 입력을 처리하기 위한 절차의 예를 도시한다. 도 4는 서버(예: 서버(120))의 동작 방법을 예시한다.

도 4를 참고하면, S401 단계에서, 서버는 사용자 장치로부터 데이터를 수신한다. 사용자 장치로부터 수신되는 데이터는 작업의 수행을 지시하는 명령, 작업의 수행에 필요한 데이터 중 적어도 하나를 포함한다. 예를 들어, 데이터는 문서 이미지, 문자 정보를 포함하는 전자 파일, 약물감시 플랫폼을 위한 인터페이스를 통해 입력된 사용자 입력 중 적어도 하나를 포함할 수 있다. 데이터는 새로운 업무에 대한 요청, 진행 중인 업무의 진행에 관련된 보고(예: 이상 사례), 데이터 갱신에 대한 정보, 사용자 관리에 관련된 정보(예: 새로운 사용자 추가, 권한 수정 등) 중 적어도 하나를 포함할 수 있다.

S403 단계에서, 서버는 입력 처리를 위한 인공지능 모델을 선택하고, 로딩한다. 여기서, 인공지능 모델은 문자 판독, 자연어 처리, 명령어 집합 생성 중 적어도 하나를 수행하기 위해 선택된다. 선택된 인공지능 모델은 해당 저장소(예: 인공지능 모델 저장소(330a))로부터 메모리 상에 로딩된다.

S405 단계에서, 서버는 인공지능 모델을 이용하여 데이터를 처리한다. 즉, 서버는 문서 이미지에서 문자를 판독하거나, 문자 정보에 대한 자연어 처리를 수행할 수 있다. 또한, 서버는 획득된 데이터들에 기반하여 작업을 수행하기 위한 명령어 집합을 생성한다.

S407 단계에서, 서버는 처리된 데이터를 분석 및 저장한다. 즉, 서버는 명령어 집합에 포함된 데이터에 대해 명령어 집합에 의해 지시되는 작업을 위한 동작을 수행한다. 작업의 내용에 따라, 명령어 집합에 포함된 데이터로부터 새로운 데이터가 생성되거나, 데이터가 수정되거나, 기존에 저장된 데이터가 검색될 수 있다. 또한, 작업의 내용에 따라, 사용자의 개입을 필요로 하거나, 사용자의 개입 없이 수행될 수 있다.

도 4와 같은 절차에 따라, 사용자로부터 입력되는 데이터가 약물감시 플랫폼에서 사용 가능한 형태로 처리되고, 명령어 집합이 생성될 수 있다. 명령어 집합에 기반하여, 약물감시 플랫폼은 약물감시 절차를 위한 다양한 작업들을 수행할 수 있다.

일 실시 예에 따라, 관련 규정이나 업계에서 사용하는 용어의 변경에 대한 데이터가 입력되는 경우, 약물감시 플랫폼은 기존에 생성된 데이터에서 변경된 용어에 대응하는 값들을 검색하고, 검색된 값들을 새로운 용어로 수정할 수 있다. 약물감시 절차는 해당 품목의 제품에 대한 시판/허가 취하될 때까지 지속되어야 하기 때문에, 관련 데이터의 지속적인 갱신이 요구된다. 필요로 하는 갱신의 대표적인 일 예는 국제 의학 용어의 변화이므로, 전술한 작업을 통해 방대한 데이터가 빠르게 갱신될 수 있다.

일 실시 예에 따라, 이상 사례에 대한 정보가 입력되면, 이상 사례에 대한 분류 및 원인 분석이 필요함이 제1 인공지능 모델에 의해 판단되고, 연쇄적으로 사례 분석을 위해 정의된 제2 인공지능 모델에 의해 사례 분류 및 원인 분석이 수행될 수 있다. 제2 인공지능 모델에 의한 분석 결과는 해당 결과를 검토할 수 있는 권한을 가진 사용자에게 전달되며, 사용자는 검토 결과를 다양한 형식(예: 문서, 메일, 텍스트 등)으로 플랫폼에 입력할 수 있다. 이에 따라, 플랫폼은 사용자의 검토 결과를 다시 데이터로 변환하고, 저장하고, 다음 단계의 작업을 수행하는 후행 사용자에게 전달할 수 있다. 또한, 인공지능 모델을 이용하여 분석을 수행함으로써, 균등한 품질의 분석 결과가 기대될 수 있다. 품질의 우수성은 인공지능 모델의 학습의 양에 의존할 것이나, 충분한 학습이 이루어진다면, 높은 품질의 분석 결과가 확보될 것이다. 이를 통해, 약물감시 분야의 전문인력 부족의 문제가 해소될 수 있다.

여기서, 학습은 초기에 제공되는 학습 데이터에 기반하여 수행된 후, 사용자의 검토 결과에 기반하여 더 수행될 수 있다. 인공지능 모델에 의한 분석 결과에 대한 사용자의 검토 결과는 분석 결과에 대한 동의거나, 적어도 일부에 대한 비동의를 포함할 수 있다. 비동의가 포함되는 경우, 해당 검토 결과는 라벨링된 학습 데이터로서 피드백됨으로써, 재학습이 수행될 수 있다. 이때, 사용자의 판단에도 오류가 존재할 수 있으므로, 일정 양 이상의 비동의를 포함하는 검토 결과들이 누적된 때에, 재학습이 수행될 수 있다. 이를 위해, 사용자의 검토 결과가 비동의를 포함하는지, 그 비동의의 수준은 어느 정도인지를 판단하기 위한 인공지능 모델이 사용될 수 있다.

또한, 플랫폼을 통해 약물감시 절차가 진행됨에 따라, 데이터베이스에 반영되어야 하는 수많은 종류의 데이터들이 보다 빠르고 정확하게 입력될 수 있다. 예를 들어, 인공지능 모델을 통해 입력 데이터를 처리함으로써, 기존의 방식에 따라 데이터를 입력하는데 소비되는 인적 자원 및 시간이 절약될 수 있다. 예를 들어, 인과성이 낮거나 단순한 보고에 해당하는 데이터는 최소한의 사용자의 개입만으로 또는 사용자의 개입 없이도 입력될 수 있다.

예를 들어, 이메일에 포함되는 정보를 단순히 입력하고자 하는 경우, 이메일에 관련된 이벤트 조건을 설정함으로써, 사용자의 개입 없이, 언제든지, 즉시적으로 데이터가 입력될 수 있다. 일 실시 예에 따라, 이메일에 관련된 이벤트 조건은 이메일이 제목, 첨부 파일에 기반하여 정의될 수 있다. 구체적으로, 플랫폼은 사용자의 이메일 수신함에 접근할 수 있는 권한을 가지며, 이메일의 제목, 발신자, 본문, 첨부파일 등에서 주체(예: 파트너사, 기관)에 해당하는 명칭, 내용에 관련된 키워드(예: Safety Report)를 검출한 후, 이메일을 주체 및 키워드로 분류할 수 있다. 그리고, 플랫폼은 분류된 주체 및 키워드에 대응하는 분석 모델을 이용하여 이메일의 제목, 본문, 첨부파일 등으로부터 정보를 추출하고, 추출된 정보를 저장할 수 있다.

약물감시 절차는 다양한 작업들을 필요로 한다. 다양한 작업들은 서로 다른 처리 절차나 특성을 가질 수 있다. 예를 들어, 어떤 작업은 복수의 사용자들에 의해 순차적으로 처리되는 것을 요구할 수 있다. 이때, 복수의 사용자들은 서로 다른 권한 레벨들을 가질 수 있으며, 권한 레벨은 케이스 엔트리(case entry, CE), QC(quality control), MR(medical review), 케이스 마감(case lock, CL)으로 지칭될 수 있다. CE, QC, MR, CL 순서로 높은 권한을 의미한다. 즉, CE가 가장 낮은 권한 레벨을, CL이 가장 높은 권한 레벨을 의미한다. 또한, CE, QC, MR, CL은 PV 작업의 단계들로 이해될 수 있다. 구체적으로, CE는 사례에 대한 데이터를 입력하는 것이 허용되는 레벨 또는 사례를 입력하는 단계이다. QC는 사례에 대한 품질 관리가 허용되는 레벨 또는 품질 관리를 수행하는 단계이다. MR은 사례에 대해 의학적 검토를 제시할 수 있는 레벨 또는 의학적 검토를 수행하는 단계이다. CL은 해당 사례를 종결지을 수 있는 승인의 권한을 가지는 레벨 또는 최종 승인 및 마감 단계이다.

권한 레벨에 따라 실시 가능한 행위(action)가 다를 수 있다. 예를 들어, 보고의 형태(예: 임상시험, 소비자 자발보고 등), 부작용의 심각도(예: 사망, 생명에 위협 또는 심각한 부작용 등), 의약품의 종류(예: 신약, 신제품) 따라, 사용자의 권한 레벨에 따른 허용되는 행위들이 세분화될 수 있다.

전술한 권한 레벨에 따라, 순차적인 처리를 요하는 작업을 수행하는 실시 예는 이하 도 5와 같다.

도 5는 본 발명의 일 실시 예에 따른 약물감시 플랫폼에서 사용자의 권한 레벨에 기반하여 작업을 수행하기 위한 절차의 예를 도시한다. 도 5는 서버(예: 서버(120))의 동작 방법을 예시한다. 도 5는 복수의 사용자들에 의해 순차적으로 처리되어야 하는 작업을 수행하기 위한 동작들을 예시한다.

도 5를 참고하면, S501 단계에서, 서버는 업무 처리의 경로를 확인한다. 여기서, 경로는 일련의 사용자들의 집합으로서, 경로에 포함되는 사용자들은 서로 다른 권한 레벨들을 가질 수 있고, 전후 관계로 관련된다. 즉, 서버는 제1 사용자로부터 요청된 작업의 수행에 관련된 사용자들을 확인하고, 사용자들 간 전후 관계를 확인한다.

S503 단계에서, 서버는 사용자의 업무 접근 권한이 존재하는지 판단한다. 서버는 요청된 작업의 처리를 위해 요구되는 권한 레벨을 확인하고, 요구되는 권한 레벨과 사용자의 권한 레벨을 비교한다. 이때, 요구되는 권한 레벨은 작업 뿐만 아니라 작업의 진행 정도에 따라 달라질 수 있다. 만일, 사용자가 업무 접근 권한을 가지지 아니하면, 서버는 본 절차를 종료한다.

반면, 사용자가 업무 접근 권한을 가지면, S505 단계에서, 서버는 경로 상 선행 사용자의 처리가 완료되었는지 판단한다. 즉, 요청되는 작업은 순차적인 처리를 요구하므로, 경로 상의 선행 사용자의 처리가 완료되지 아니하면, 후행 사용자의 작업이 수행될 수 없다. 따라서, 서버는 선행 사용자의 처리의 완료 여부를 확인하고, 선행 사용자의 처리에 대한 권한의 적합성도 검사한다. 만일, 선행 사용자의 처리가 완료되지 아니하였으면, 서버는 본 절차를 종료한다.

반면, 선행 사용자의 처리가 완료되었으면, S507 단계에서, 서버는 작업 수행을 위한 인공지능 모델을 선택하고, 로딩한다. 여기서, 인공지능 모델은 요청되는 작업을 수행하거나 또는 요청되는 작업을 보조하는 동작을 수행하기 위해 선택된다. 작업 보조의 예로서, 인공지능 모델은 사용자의 작업에 필요한 자료를 수집하고 제시하기 위해 사용될 수 있다. 이 경우, 인공지능 모델은, 사용자의 권한 레벨, 수행하고자 하는 작업 단계에 기반하여 선택될 수 있다. 선택된 인공지능 모델은 해당 저장소(예: 인공지능 모델 저장소(330a))로부터 메모리 상에 로딩된다.

S509 단계에서, 서버는 작업을 수행하고, 작업의 결과를 저장한다. 즉, 서버는 로딩된 인공지능 모델을 이용하여 입력 데이터에 대한 추론 동작을 수행하고, 추론의 결과를 획득한다. 예를 들어, 작업 보조를 위한 인공지능 모델로서 사용자의 작업에 필요한 자료를 수집하고 제시하는 인공지능 모델이 사용되는 경우, 입력 데이터는 사용자의 권한 레벨, 수행하고자 하는 작업 단계, 사용자의 과거 작업 이력, 후행 사용자의 레벨, 후행 사용자의 과거 작업 이력을 포함할 수 있다. 그리고, 추론의 결과를 포함하는 출력 데이터는, 보조 자료, 보조 자료 내에서 사용자에게 필요한 정보의 위치를 마킹한 정보를 포함할 수 있다. 추론의 결과는 데이터베이스(예: 데이터베이스(350))에 저장될 수 있다. 또한, 도 5에 도시되지 아니하였으나, 추론의 결과에 기반하여 사용자에게 제공할 출력 데이터를 생성하고, 출력 데이터를 사용자 장치로 송신할 수 있다. 이때, 출력 데이터는 후행 사용자에게도 송신될 수 있으며, 후행 사용자에게 송신되는 출력 데이터는 현재 사용자의 작업이 완료되었음을 알리는 통지를 포함할 수 있다.

도 5를 참고하여 설명한 실시 예에서, 권한 레벨이 불충분하거나, 선행 사용자의 처리가 완료되지 아니한 경우, 절차가 종료된다. 이때, 다른 실시 예에 따라, 서버는 사용자 장치에게 작업의 처리가 중단되었다는 통지를 송신할 수 있다. 또한, 통지는 중단의 원인을 설명하는 정보, 원인을 해소하기 위해 필요한 조치에 대한 정보 중 적어도 하나를 포함할 수 있다.

도 5와 같은 실시 예에 따라, 약물감시 플랫폼은 복수의 사용자들에 의해 순차적으로 처리되어야 하는 작업을 지원할 수 있다. 이때, 본 발명의 실시 예에 따른 약물감시 플랫폼은 예외 처리를 지원할 수 있다. 예를 들어, 일반적인 경우, CE(레벨1)→QC(레벨2)→MR(레벨3)→CL(레벨4)의 경로로 작업이 처리되는데 반해, 예외 처리의 경우, 어느 하나의 레벨이 경로에서 제외되거나 또는 어느 하나의 레벨이 추가될 수 있다. 또한, 다른 예외 처리의 경우, 레벨 별 진행은 동일하나, 해당 레벨을 가진 다른 사용자가 경로를 대체할 수 있다. 예외 처리는 품목 별로 또는 사례에 관련된 부작용의 심각도 별로 정의될 수 있다.

일 실시 예에 따라, 부작용의 심각도가 높을수록, 추가적인 관리 절차가 적용될 수 있다. 구체적인 예로, 중대성에 해당되는 이상 사례인 SAE(serious adverse event) 또는 사망 등 중대하고 예상하지 못한 인과성이 있는 이상반응인 SUSAR(suspected unexpected serious adverse drug reaction) 등 이상 사례 분류의 심각도가 높은 경우, 신약/항암제 등 예측하지 못하거나 중증의 적응증으로 특별 모니터링을 부가하는 예외 처리가 적용될 수 있다.

일 실시 예에 따라, 업무의 긴급성에 따라, 일부 단계들이 병합되거나, 생략되거나, 간소화될 수 있다. 업무의 긴급성 여부는 긴급성 여부를 판단하는 인공지능 모델에 의해 판단될 수 있다. 예를 들어, 이메일을 통해 업무의 요청이 확인되는 경우, 플랫폼은 긴급성 판단을 위한 인공지능 모델을 선택 및 호출한다. 그리고, 플랫폼은 메일에 포함된 키워드를 추출 후, 입력 데이터로 제공함으로써, 인공지능 모델을 이용하여 업무의 긴급성을 추론한다. 긴급성 정도가 임계 레벨을 초과하는 경우, 플랫폼은 예외 처리를 통해 일반적인 절차가 아닌 간소화된 절차로 업무를 처리할 수 있다. 이때, 간소화의 유형 및 절차는 긴급성의 정도, 업무의 종류에 따라 달라질 수 있다. 예를 들어, CE, QC, MR, CL을 포함하는 일련의 단계들 중 일부가 제외되거나, 모든 단계를 수행하되 특정 단계를 처리하는 사용자를 해당 단계를 더 빠르게 수행할 수 있는 다른 사용자(이하 '대체 사용자')로 교체하는 것이 가능하다. 여기서, 다른 사용자로의 교체를 위해, 플랫폼은 작업 단계에서 요구되는 권한, 과거 작업 수행 이력, 해당 업무와의 관련성 등을 고려하여 대체 사용자로서 역할 수행이 가능한 조건을 설정(예: 해당 사용자 이상의 권한 레벨을 가지면서, 동종 작업 수행 이력을 가지는 것)하고, 조건에 부합하는 사용자들을 검색한 후, 즉시적 업무 수행 여부를 문의하는 요청 메시지를 송신할 수 있다. 이후, 플랫폼은 요청 메시지에 응답한 사용자들 중 하나를 대체 사용자로서 설정할 수 있다.

도 6은 본 발명의 일 실시 예에 따른 약물감시 플랫폼에서 출력 데이터를 생성하기 위한 절차의 예를 도시한다. 도 6은 서버(예: 서버(120))의 동작 방법을 예시한다.

도 6을 참고하면, S601 단계에서, 서버는 인공지능 모델을 이용한 분석 결과를 획득한다. 즉, 서버는 인공지능 모델을 이용하여 수행된 작업의 결과물을 획득한다. 이때, 인공지능 모델을 이용한 추론 동작은 서버에 의해 수행되거나 또는 다른 장치에 의해 수행될 수 있다.

S603 단계에서, 서버는 가시화를 위한 가시화 모듈을 선택하고, 로딩한다. 여기서, 가시화 모듈은 작업의 종류, 사용자 장치의 하드웨어 능력, 사용자로부터의 요청 등에 기반하여 선택될 수 있다. 필요에 따라, 둘 이상의 가시화 모듈들이 선택될 수 있다. 선택된 적어도 하나의 가시화 모듈은 해당 저장소(예: 가시화 모듈 저장소(330b))로부터 메모리 상에 로딩된다.

S605 단계에서, 서버는 가시화 모듈을 이용하여 데이터의 가시화를 수행한다. 즉, 서버는 인공지능 모델을 이용하여 얻어진 추론의 결과를 시각적으로 표현하기 위한 출력 데이터를 결정한다. 추론 결과의 시각적 표현은 텍스트, 그래픽, 이미지를 이용하여 생성될 수 있다. 이때, 출력 데이터는 출력 데이터를 사용할 사용자 장치의 하드웨어 능력을 고려하여 생성될 수 있다.

S607 단계에서, 서버는 출력 데이터를 송신한다. 출력 데이터는 분석 결과를 요청한 사용자 장치에게 송신된다. 또한, 출력 데이터는 분석 결과를 요청한 사용자 장치 외 다른 관련된 사용자 장치에게도 송신될 수 있다. 이때, 출력 데이터는 사용자 장치의 권한 레벨에 따라 차등화된 정보를 포함할 수 있다.

도 6을 참고하여 설명한 실시 예에 따라, 다양한 형식의 가시화된 정보가 사용자에게 제공될 수 있다. 가시화 모듈의 적절한 설계에 따라, 의약 품목의 전체적인 부작용 관리 및 모니터링이 가능해지며, 나아가, 본 발명의 실시 예에 따른 플랫폼은 리스크(risk) 모니터링 및 추적(tracking)이 용이한 인터페이스를 제공할 수 있다.

예를 들어, 북-인(book-in) 단계에서 최소한의 정보(예: 의약품명, 이상 사례명)를 입력하는 것에 의해, 무효 케이스(invalid case)도 누적 관리될 수 있다. 시판 후 위해성 관리계획(risk management plan, RMP) 제출 대상이 되는 의약품에 대하여, 플랫폼은 기설정된 리스크(risk)를 가지는 이상 사례가 탐지되는지 여부를 모니터링하고, 관련되는 PV 인력들에게 이후 할 일(action taken)을 안내할 수 있다. 또한, 플랫폼은 정기적인 안전성 보고서 제출 일자와 데이터의 마감 시점(lock point)을 설정하고, 누적된 데이터를 적시에 통합 분석할 수 있다.

도 6을 참고하여 설명한 실시 예에 따라, 다양한 형식의 가시화된 정보가 사용자에게 제공될 수 있다. 이때, 사용자의 권한 레벨에 따라 제공되는 가시화 기능이 달라질 수 있다. 예를 들어, 데이터 입력 작업이 수행된 경우, 권한 레벨 QC의 사용자에게, 입력 결과가 올바른지 검사할 수 있는 형식이 지원될 수 있다. 일 실시 예에 따라, 출력 데이터는 입력 데이터(예: 이메일, 이미지 등), 작업의 결과(예: 정형화된 양식에 정보가 입력된 결과), 입력 데이터에 포함된 항목 및 작업의 결과에 포함된 항목 간 매칭에 관련된 정보를 포함할 수 있다. 이 경우, 사용자 장치에서, 입력 데이터 및 상기 작업의 결과가 모두 표시되며, 이에 따라 사용자는 양자를 비교할 수 있다. 나아가, 비교 판단의 용이성을 위해, 사용자 장치는 동일 항목들 간 매칭 관계를 표시하는 제1 지시자(예: 동일 색상의 컬러 박스), 입력 데이터에 포함되어 있으나 작업의 결과에 입력되지 아니한 항목을 표시하는 제2 지시자(예: 작업 결과의 비어 있는 입력란에 컬러 박스)를 입력 데이터 및 작업의 결과와 함께 표시할 수 있다.

도 7은 본 발명의 일 실시 예에 따른 약물감시 플랫폼에서 시스템들 간 데이터를 공유하기 위한 절차의 예를 도시한다. 도 7는 서로 다른 시스템들(700a 및 700b) 간 데이터 공유를 위한 신호 교환을 예시한다. 여기서, 시스템#1(700a) 및 시스템#2(700b)는 서로 다른 주체들(예: 기업들)에 의해 사용되는 시스템들이다. 도 7에서, 동작 주체는 시스템#1(700a) 및 시스템#2(700b)으로 설명되나, 이는 각 시스템의 서버들 또는 시스템들 간 정보 교환을 위해 설계된 중간 장치들로 이해될 수 있다.

도 7을 참고하면, S701 단계에서, 시스템#1(700a) 및 시스템#2(700b)은 데이터 공유를 위한 설정 절차를 수행한다. 데이터 공유를 위해, 시스템#1(700a) 및 시스템#2(700b)은 상호 간 적어도 하나의 메시지를 송신 및 수신할 수 있다. 예를 들어, 적어도 하나의 메시지는 공유 요청 메시지, 공유 응답 메시지를 포함할 수 있다. 공유는 양방향 공유 및 단방향 공유 중 하나이며, 데이터를 제공하는 시스템은 상대방 시스템에 대한 정보를 내부 데이터베이스에 등록할 수 있다. 도 7의 경우, 시스템#2(770b)에서 시스템#1(770a)로 데이터가 제공되는 공유 설정이 수행된다.

S703 단계에서, 시스템#1(770a)은 시스템#2(770b)에게 데이터 요청 메시지를 송신한다. 데이터 요청 메시지는 주기적으로 송신되거나 또는 설정된 조건이 만족된 경우에 송신될 수 있다.

S705 단계에서, 시스템#2(770b)는 시스템#1(770a)에게 데이터를 송신한다. 즉, 시스템#2(770b)는 시스템#1(770a)의 요청에 응하여 데이터를 송신한다. 이때, 시스템#2(770b)는 시스템#1(770a)에 의해 요청된 데이터에 대한 접근 권한을 가지는지 여부를 확인한 후, 데이터를 송신할 수 있다. 만일, 데이터 공유에 특정 권한 레벨을 가진 사용자의 승낙이 필요한 경우, 시스템#2(770b)는 해당 사용자의 승낙을 확인한 후, 데이터를 송신할 수 있다.

S707 단계에서, 시스템#2(770b)는 데이터 공유를 위한 이벤트의 발생을 감지한다. 여기서, 이벤트는 다양하게 정의될 수 있다. 예를 들어, 이벤트는 공유 대상인 데이터의 수정, 마지막 공유 시점, 데이터에 관련된 보안 레벨 중 적어도 하나에 기반하여 정의될 수 있다. 이벤트 발생에 의하여 데이터가 공유되는 경우, 시스템#1(770a)으로부터의 요청은 필요하지 아니하다.

S709 단계에서, 시스템#2(770b)는 시스템#1(770a)에게 데이터를 송신한다. 만일, 데이터 공유에 특정 권한 레벨을 가진 사용자의 승낙이 필요한 경우, 시스템#2(770b)는 해당 사용자의 승낙을 확인한 후, 데이터를 송신할 수 있다.

도 7을 참고하여 설명한 실시 예를 통해, 서로 다른 시스템들 간 데이터의 공유가 이루어질 수 있다. 본 발명의 실시 예에 따른 약물감시 플랫폼에서 제공하는 데이터 공유의 기능은 약물감시 절차에 속하는 다양한 작업들 중, 규제 당국으로의 보고는 물론, 약물감시 시스템 전반을 유지하기 위한 목적으로 연관된 파트너 기업과의 유기적으로 실무(예: 부작용 사례 공유, 데이터 일치화 작업 등)에 대한 지원도 가능하게 한다. 즉, 본 발명의 실시 예에 따른 플랫폼은 안전성 제어 타워(safety control tower) 역할을 수행할 수 있는 것이며, 구체적으로, 데이터베이스들 간의 네트워크 형성으로 데이터 교환을 지원하고, 글로벌 다국가 임상시험 또는 파트너 기업이 많은 품목의 경우 전 세계의 정보를 데이터베이스 상에서 한눈에 파악할 수 있게 한다. 이와 관련하여, 약물감시 플랫폼은 데이터 교환(data exchange) 일정 설정, 담당자 업무 할당 등의 기능들을 더 지원할 수 있다.

일 실시 예에 따라, 데이터베이스 및 네트워크의 특성에 기반하여, 복수의 시스템들이 특정 품목에 대해서 하나의 시스템과 같이 운용될 수 있다. 즉, 서로 파트너사 관계에 있는 기업들의 시스템들이 단일 팀(team)과 같이 사용될 수 있다. 구체적으로, 하나의 시스템 내에서 설정 가능한 기능들이 복수의 연결된 시스템들의 기능들을 정렬(alignment)함으로써 구현될 수 있다.

구체적인 실시 예에 따라, 서로 다른 기업의 시스템들 간 CE 단계, QC 단계, MR 단계, CL 단계가 분담될 수 있다. 예를 들어, 국가A의 파트너사의 시스템#1이 국가A에서 사례를 수집하고, 북-인 및 CE(case entry) 단계를 수행한 후, 컨트롤 타워(control tower) 역할을 수행하는 국가B의 파트너사의 시스템#2에게 송신할 수 있다. 이후, 시스템#2는 QC 단계, MR 단계, CL 단계를 수행한 후, 시스템#1에게 결과를 송신할 수 있다. 즉, 시스템#2는 시스템#1의 제출(submission) 페이지에 규제당국 보고 케이스를 부여할 수 있다.

구체적인 실시 예에 따라, 3 이상의 시스템들 간 분업이 이루어질 수 있다. 예를 들어, 컨트롤 타워인 국가A 내의 본사가 국가B의 지사의 PV 활동을 위임받는 구조인 경우, 국가A에 설립된 기업 본사의 시스템#1, 국가B에 설립된 지사의 시스템#2, 국가B에 설립된 파트너사의 시스템#3가 존재하면, 시스템#3이 사례를 수집하고, 북-인 및 CE 단계를 수행한 후, 시스템#2에게 송신할 수 있다. 이후, 시스템#2는 QC 단계, MR 단계를 수행한 후, 시스템#1에게 결과를 송신할 수 있다. 시스템#1은 CL 단계를 수행하고. 최종 보고서를 생성한 후, 시스템#2에게 송신하면, 시스템#2는 규제 당국의 시스템으로 최종 보고서를 송신할 수 있다. 유사한 절차가, 다른 국가에 설립된 지사의 시스템과도 수행될 수 있다.

전술한 바와 같은 복수의 시스템들의 기능들을 정렬(alignment)함으로써 수행되는 절차는, 복수의 시스템들 간 인공지능 모델의 성능 또는 특성의 유사성이 확보되는 환경에서 수행될 수 있다. 이를 위해, 서로 연동하는 복수의 시스템들은 학습 데이터 공유, 전이 학습(transfer learning), 인공 신경망 구조의 동기화 등을 통해 유사한 성능 및 호환 가능한 특성을 가지도록 관리될 수 있다.

일 실시 예에 따라, 데이터 교환 일정 설정, 담당자 업무 할당, 규제당국 보고 관리, 국가별 공휴일/휴가/재난 상황 등에 의해 작동되는 업무 지속성 계획(business continuity plan, BCP) 관리 등이 적시에 수행될 수 있고, 이에 따라 약물감시의 품질이 높아질 수 있다. 여기서, 업무 지속성 계획 관리를 위해, 플랫폼은 사용자들 각각의 휴가 계획, 달력 정보에 기반하여 확인되는 공휴일, 관리자에 의해 입력되는 재난 정보 등에 기반하여 사용자 별 업무 수행이 중단될 것이 예상되는 시점을 결정하고, 해당 업무를 백업(back-up)할 수 있는 다른 사용자(이하 '백업 사용자')를 결정 및 연계할 수 있다. 백업 사용자를 선택하기 위해, 플랫폼은 업무 중단을 겪을 사용자를 백업할 수 있는 조건을 생성하고, 생성된 조건에 부합하는 백업 사용자를 검색하고, 검색된 백업 사용자에게 요청 메시지를 송신할 수 있다. 또한, 플랫폼은 업무 중단을 겪을 사용자의 업무에 관련된 관련 사용자들에게도 검색된 백업 사용자에 대한 정보를 제공할 수 있다.

백업 사용자가 백업 업무를 수행하는 동안, 플랫폼은 백업을 위해 필요한 권한을 백업 사용자에게 일시적으로 부여한다. 일시적 권한 부여를 위해, 플랫폼은 기존 권한과 독립적인 2차적 권한을 설정하고, 2차적 권한에 기간 제한을 설정한다. 이때, 사용자에 대한 권한 뿐만 아니라, 백업 업무 동안 열람, 다운로드, 생성한 데이터로의 접근 권한도 동일한 기간 제한을 가질 수 있다. 즉, 백업 사용자 스스로가 생성한 데이터라 하더라도, 권한 기간이 경과하면, 백업 사용자는 해당 데이터에 접근할 수 없다.

본 발명의 예시적인 방법들은 설명의 명확성을 위해서 동작의 시리즈로 표현되어 있지만, 이는 단계가 수행되는 순서를 제한하기 위한 것은 아니며, 필요한 경우에는 각각의 단계가 동시에 또는 상이한 순서로 수행될 수도 있다. 본 발명에 따른 방법을 구현하기 위해서, 예시하는 단계에 추가적으로 다른 단계를 포함하거나, 일부의 단계를 제외하고 나머지 단계를 포함하거나, 또는 일부의 단계를 제외하고 추가적인 다른 단계를 포함할 수도 있다.

본 발명의 다양한 실시 예는 모든 가능한 조합을 나열한 것이 아니고 본 발명의 대표적인 양상을 설명하기 위한 것이며, 다양한 실시 예에서 설명하는 사항들은 독립적으로 적용되거나 또는 둘 이상의 조합으로 적용될 수도 있다.

또한, 본 발명의 다양한 실시 예는 하드웨어, 펌웨어(firmware), 소프트웨어, 또는 그들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 범용 프로세서(general processor), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.

본 발명의 범위는 다양한 실시 예의 방법에 따른 동작이 장치 또는 컴퓨터 상에서 실행되도록 하는 소프트웨어 또는 머신-실행가능한 명령들(예를 들어, 운영체제, 애플리케이션, 펌웨어(firmware), 프로그램 등), 및 이러한 소프트웨어 또는 명령 등이 저장되어 장치 또는 컴퓨터 상에서 실행 가능한 비-일시적 컴퓨터-판독가능 매체(non-transitory computer-readable medium)를 포함한다.

Claims

약물감시(pharmacovilgilance, PV) 플랫폼을 제공하는 서버의 동작 방법은,

사용자 장치로부터 입력 데이터를 수신하는 단계;

상기 입력 데이터를 처리하기 위해 선택된 제1 인공지능 모델을 이용하여 상기 입력 데이터로부터 적어도 하나의 명령어 집합을 생성하는 단계;

상기 입력 데이터를 제공한 사용자가 상기 적어도 하나의 명령어 집합을 실행하기 위한 권한을 가지는지 여부를 판단하는 단계;

상기 사용자가 상기 권한을 가지면, 상기 적어도 하나의 명령어 집합에 따른 작업을 수행하기 위해 선택된 제2 인공지능 모델을 이용하여 상기 작업의 결과를 생성하는 단계;

상기 작업의 결과를 가시화(visualization)하기 위해 선택된 가시화 모듈을 이용하여 상기 작업의 결과를 표시하는 출력 데이터를 생성하는 단계; 및

상기 사용자 장치로 상기 출력 데이터를 송신하는 단계를 포함하는 방법.
청구항 1에 있어서,

상기 제1 인공지능 모델 및 상기 제2 인공지능 모델은, 인공지능 모델 저장소에 저장된 복수의 인공지능 모델들 중 상기 사용자, 상기 작업에 기반하여 선택되는 방법.
청구항 1에 있어서,

상기 가시화 모듈은, 가시화 모듈 저장소에 저장된 복수의 가시화 모듈 중 상기 사용자, 상기 작업에 기반하여 선택되는 방법.
청구항 1에 있어서,

상기 입력 데이터는, 이미지화된 문서, 이메일, 사용자 입력 중 적어도 하나의 형태를 가지며,

상기 제1 인공지능 모델은, 상기 입력 데이터에 대한 OCR(optical character recognition) 및 NLP(natural language processing) 중 적어도 하나를 수행하는 방법.
청구항 4에 있어서,

상기 인공지능 모델 저장소는, 복수의 인공지능 모델들을 포함하며, 플랫폼의 관리자의 명령에 따라 인공지능 모델 저장에 인공지능 모델이 추가 또는 삭제 가능한 구조를 가지는 방법.
청구항 1에 있어서,

상기 작업은, 연쇄적으로 수행되는 복수의 작업들 중 하나이며,

상기 복수의 작업들은, 케이스 엔트리(case entry, CE), QC(quality control), MR(medical review), 케이스 마감(case lock, CL)을 포함하며,

상기 작업의 결과는, 상기 사용자의 후행 사용자에게 전달되는 방법.
청구항 1에 있어서,

상기 작업의 결과에 대한 상기 사용자의 검토 결과를 수신하는 단계; 및

상기 검토 결과를 제3 인공지능 모델을 이용하여 분석 및 저장하는 단계를 더 포함하는 방법.
청구항 7에 있어서,

상기 검토 결과를 이용하여, 상기 제2 인공지능 모델에 대한 재학습을 수행하는 단계를 더 포함하는 방법.
청구항 1에 있어서,

상기 작업의 결과를 생성하는 단계는,

상기 입력 데이터에 포함된 이상 사례, 환자 병력, 기저 질환을 포함하는 임상 정보 및 품목 정보를 인공지능 모델 학습을 통해 정형화된 데이터로 변환하는 단계를 포함하는 방법.
청구항 9에 있어서,

상기 출력 데이터는, 상기 입력 데이터, 상기 작업의 결과, 상기 입력 데이터에 포함된 항목 및 상기 작업의 결과에 포함된 항목 간 매칭에 관련된 정보를 포함하며,

상기 입력 데이터 및 상기 작업의 결과는, 동일 항목들 간 매칭 관계를 표시하는 제1 지시자, 상기 입력 데이터에 포함되어 있으나 상기 작업의 결과에 입력되지 아니한 항목을 표시하는 제2 지시자와 함께 상기 사용자 장치에서 표시되는 방법.
청구항 1에 있어서,

상기 입력 데이터에 포함된 이상 사례가 나타내는 부작용의 정도에 따라, 상기 작업에 관련된 일련의 절차에 예외 처리를 적용하는 단계를 더 포함하는 방법.
청구항 11에 있어서,

상기 예외 처리는, 추가적인 작업을 할당하는 것을 포함하는 방법.
약물감시(pharmacovilgilance, PV) 플랫폼을 제공하는 시스템은,

사용자 장치로부터 입력 데이터를 수신하는 수신부;

상기 입력 데이터를 처리하기 위해 선택된 제1 인공지능 모델을 이용하여 상기 입력 데이터로부터 적어도 하나의 명령어 집합을 생성하는 입력 처리부;

상기 입력 데이터를 제공한 사용자가 상기 적어도 하나의 명령어 집합을 실행하기 위한 권한을 가지는지 여부를 판단하는 권한 확인 모듈;

상기 사용자가 상기 권한을 가지면, 상기 적어도 하나의 명령어 집합에 따른 작업을 수행하기 위해 선택된 제2 인공지능 모델을 이용하여 상기 작업의 결과를 생성하는 인공지능 분석 모듈;

상기 작업의 결과를 가시화(visualization)하기 위해 선택된 가시화 모듈을 이용하여 상기 작업의 결과를 표시하는 출력 데이터를 생성하는 가시화 모듈; 및

상기 사용자 장치로 상기 출력 데이터를 송신하는 송신부를 포함하는 시스템.
청구항 13에 있어서,

상기 제1 인공지능 모델 및 상기 제2 인공지능 모델은, 인공지능 모델 저장소에 저장된 복수의 인공지능 모델들 중 상기 사용자, 상기 작업에 기반하여 선택되는 시스템.
청구항 13에 있어서,

상기 가시화 모듈은, 가시화 모듈 저장소에 저장된 복수의 가시화 모듈 중 상기 사용자, 상기 작업에 기반하여 선택되는 시스템.
청구항 13에 있어서,

상기 입력 데이터는, 이미지화된 문서, 이메일, 사용자 입력 중 적어도 하나의 형태를 가지며,

상기 제1 인공지능 모델은, 상기 입력 데이터에 대한 OCR(optical character recognition) 및 NLP(natural language processing) 중 적어도 하나를 수행하는 시스템.
청구항 16에 있어서,

상기 인공지능 모델 저장소는, 복수의 인공지능 모델들을 포함하며, 플랫폼의 관리자의 명령에 따라 인공지능 모델 저장에 인공지능 모델이 추가 또는 삭제 가능한 구조를 가지는 시스템.
청구항 13에 있어서,

상기 작업은, 연쇄적으로 수행되는 복수의 작업들 중 하나이며,

상기 복수의 작업들은, 케이스 엔트리(case entry, CE), QC(quality control), MR(medical review), 케이스 마감(case lock, CL)을 포함하며,

상기 작업의 결과는, 상기 사용자의 후행 사용자에게 전달되는 시스템.
청구항 13에 있어서,

상기 수신부는, 상기 작업의 결과에 대한 상기 사용자의 검토 결과를 수신하고,

상기 인공지능 분석 모듈은, 상기 검토 결과를 제3 인공지능 모델을 이용하여 분석 및 저장하는 시스템.
청구항 19에 있어서,

상기 검토 결과를 이용하여, 상기 제2 인공지능 모델에 대한 재학습을 수행하는 학습 모듈을 더 포함하는 시스템.
청구항 13에 있어서,

상기 인공지능 분석 모듈은, 상기 입력 데이터에 포함된 이상 사례, 환자 병력, 기저 질환을 포함하는 임상 정보 및 품목 정보를 인공지능 모델 학습을 통해 정형화된 데이터로 변환하는 시스템.
청구항 21에 있어서,

상기 출력 데이터는, 상기 입력 데이터, 상기 작업의 결과, 상기 입력 데이터에 포함된 항목 및 상기 작업의 결과에 포함된 항목 간 매칭에 관련된 정보를 포함하며,

상기 입력 데이터 및 상기 작업의 결과는, 동일 항목들 간 매칭 관계를 표시하는 제1 지시자, 상기 입력 데이터에 포함되어 있으나 상기 작업의 결과에 입력되지 아니한 항목을 표시하는 제2 지시자와 함께 상기 사용자 장치에서 표시되는 시스템.
청구항 13에 있어서,

상기 인공지능 분석 모듈은, 상기 입력 데이터에 포함된 이상 사례가 나타내는 부작용의 정도에 따라, 상기 작업에 관련된 일련의 절차에 예외 처리를 적용하는 시스템.
청구항 21에 있어서,

상기 예외 처리는, 추가적인 작업을 할당하는 것을 포함하는 시스템.