KR102517628B1 - 자동화된 임상시험 영상평가데이터에 대한 자동 분석 방법 및 시스템 - Google Patents
자동화된 임상시험 영상평가데이터에 대한 자동 분석 방법 및 시스템 Download PDFInfo
- Publication number
- KR102517628B1 KR102517628B1 KR1020220089860A KR20220089860A KR102517628B1 KR 102517628 B1 KR102517628 B1 KR 102517628B1 KR 1020220089860 A KR1020220089860 A KR 1020220089860A KR 20220089860 A KR20220089860 A KR 20220089860A KR 102517628 B1 KR102517628 B1 KR 102517628B1
- Authority
- KR
- South Korea
- Prior art keywords
- image evaluation
- evaluation data
- data
- image
- clinical trial
- Prior art date
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 307
- 238000004458 analytical method Methods 0.000 title claims abstract description 72
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000000691 measurement method Methods 0.000 claims abstract description 7
- 238000012986 modification Methods 0.000 claims abstract description 5
- 230000004048 modification Effects 0.000 claims abstract description 5
- 238000005259 measurement Methods 0.000 claims description 7
- 238000013497 data interchange Methods 0.000 claims description 3
- 238000013523 data management Methods 0.000 abstract description 21
- 206010028980 Neoplasm Diseases 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 7
- 230000004044 response Effects 0.000 description 6
- 238000012937 correction Methods 0.000 description 4
- 210000000056 organ Anatomy 0.000 description 4
- 230000003902 lesion Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 201000011510 cancer Diseases 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 238000010835 comparative analysis Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 206010061818 Disease progression Diseases 0.000 description 1
- 206010025323 Lymphomas Diseases 0.000 description 1
- 208000007536 Thrombosis Diseases 0.000 description 1
- 239000002246 antineoplastic agent Substances 0.000 description 1
- 229940041181 antineoplastic drug Drugs 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013474 audit trail Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000000601 blood cell Anatomy 0.000 description 1
- 238000007469 bone scintigraphy Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013503 de-identification Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 230000005750 disease progression Effects 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 210000001165 lymph node Anatomy 0.000 description 1
- 239000002547 new drug Substances 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/20—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for electronic clinical trials or questionnaires
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/10—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Physics & Mathematics (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Pathology (AREA)
- Databases & Information Systems (AREA)
- Geometry (AREA)
- Quality & Reliability (AREA)
- Multimedia (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
자동화된 임상시험 영상평가데이터에 대한 자동 분석 방법 및 시스템이 제공된다.
자동화된 임상시험 영상평가데이터 관리 방법은, 컴퓨터에 의해 수행되는, 임상시험영상 평가를 수행함에 따라 생성되는 영상평가데이터에 대한 자동 분석 방법으로서, 복수의 평가자 각각으로부터 동일한 임상시험영상에 대해 평가를 수행하여 입력을 마친 데이터 또는 입력 중인 데이터인 영상평가데이터를 획득하는, 영상평가데이터 획득단계; 획득한 영상평가데이터가 사전 설정된 평가규칙을 기반으로 상기 획득한 영상평가데이터가 누락된 평가항목이 있는지 여부, 입력범위를 초과한 평가항목이 있는지 여부 및 측정방식이 잘못된 평가항목이 있는지 여부를 평가항목별로 실시간으로 분석하는, 영상평가데이터 오류검사단계; 상기 분석 결과에 따라 쿼리를 제공하되, 상기 쿼리는 수정요청과 도움말을 포함하는, 쿼리제공단계; 및 상기 획득한 영상평가데이터에 대하여 상기 평가항목별로 일치하는지 확인하는, 영상평가데이터 비교분석단계를 포함할 수 있다.
자동화된 임상시험 영상평가데이터 관리 방법은, 컴퓨터에 의해 수행되는, 임상시험영상 평가를 수행함에 따라 생성되는 영상평가데이터에 대한 자동 분석 방법으로서, 복수의 평가자 각각으로부터 동일한 임상시험영상에 대해 평가를 수행하여 입력을 마친 데이터 또는 입력 중인 데이터인 영상평가데이터를 획득하는, 영상평가데이터 획득단계; 획득한 영상평가데이터가 사전 설정된 평가규칙을 기반으로 상기 획득한 영상평가데이터가 누락된 평가항목이 있는지 여부, 입력범위를 초과한 평가항목이 있는지 여부 및 측정방식이 잘못된 평가항목이 있는지 여부를 평가항목별로 실시간으로 분석하는, 영상평가데이터 오류검사단계; 상기 분석 결과에 따라 쿼리를 제공하되, 상기 쿼리는 수정요청과 도움말을 포함하는, 쿼리제공단계; 및 상기 획득한 영상평가데이터에 대하여 상기 평가항목별로 일치하는지 확인하는, 영상평가데이터 비교분석단계를 포함할 수 있다.
Description
본 발명은 자동화된 임상시험 영상평가데이터에 대한 자동 분석 방법 및 시스템에 관한 것이다.
임상시험이란 신약 또는 의료기기의 개발, 시판하기에 앞서 사용 허가를 위해서 그 약의 효과와 안정성을 증명하기 위해 사람을 대상으로 하는 시험 또는 연구 과정이다. 최근 임상시험의 시장규모 및 중요성이 꾸준히 성장함에 따라 임상시험에 있어 평가데이터의 품질 보장의 중요성이 증가하였다. 임상시험의 결과를 신뢰할 수 있는지(예를 들어, 임상시험에서 문제는 없었는지, 임상시험계획서나 규정, SOP의 위배사항은 없었는지 등)는 결국 평가데이터를 기준으로 판단하기 때문이다.
특히 최근에는 면역항암제와 인공지능 의료기기 시대에 들어오면서 임상시험 영상 평가기준 및 평가절차가 매우 복잡해지고 있다. 다수의 영상평가자들이 복잡한 평가기준과 평가절차에 따라 각각 영상을 판독하여 영상평가데이터를 생성하다보니, 영상평가데이터 관리가 큰 업무 부담으로 이어지고 있다.
예를 들어, 현재는 데이터 관리자는 평가자들이 작성한 RECIST/iRECIST 결과를 수동으로 검증하여 오류 및 수정사항을 정리해서 평가자들에게 질의를 넘겨주고, 평가자들을 이를 검토하여 다시 평가단계로 되돌아가서 수정하는 과정을 수작업으로 반복하게 되면서 많은 시간과 인력을 소모하게 된다.
또한, 종래에는 임상시험 영상을 평가하는 복수의 절차들 각각은 별도의 프로그램 및 시스템을 통해 수행되므로 효율적인 임상시험 관련 데이터 관리가 어렵다.
본 발명이 해결하고자 하는 과제는 임상시험 영상을 평가하는 복잡한 절차들을 수작업이 아닌 자동으로 수행할 수 있는 자동화된 임상시험 영상평가데이터에 대한 자동 분석 방법 및 시스템을 제공하는 것이다.
또한, 본 발명이 해결하고자 하는 과제는 영상시험 영상을 평가하는 과정에서 오류를 최소화하고, 평가기준 및 평가절차에 부합한 영상평가데이터를 입력할 수 있도록 하는 자동화된 임상시험 영상평가데이터에 대한 자동 분석 방법 및 시스템을 제공하는 것이다.
또한, 본 발명이 해결하고자 하는 과제는 임상시험 영상을 평가하는 복수의 절차들을 통합하여 포괄적으로 관리할 수 있는 자동화된 임상시험 영상평가데이터에 대한 자동 분석 방법 및 시스템을 제공하는 것이다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 해결하기 위한 본 발명의 일 면에 따른 자동화된 임상시험 영상평가데이터 관리 방법은, 컴퓨터에 의해 수행되는, 임상시험영상 평가를 수행함에 따라 생성되는 영상평가데이터에 대한 자동 분석 방법으로서, 복수의 평가자 각각으로부터 동일한 임상시험영상에 대해 평가를 수행하여 입력을 마친 데이터 또는 입력 중인 데이터인 영상평가데이터를 획득하는, 영상평가데이터 획득단계; 획득한 영상평가데이터가 사전 설정된 평가규칙을 기반으로 상기 획득한 영상평가데이터가 누락된 평가항목이 있는지 여부, 입력범위를 초과한 평가항목이 있는지 여부 및 측정방식이 잘못된 평가항목이 있는지 여부를 평가항목별로 실시간으로 분석하는, 영상평가데이터 오류검사단계; 상기 분석 결과에 따라 쿼리를 제공하되, 상기 쿼리는 수정요청과 도움말을 포함하는, 쿼리제공단계; 및 상기 획득한 영상평가데이터에 대하여 상기 평가항목별로 일치하는지 확인하는, 영상평가데이터 비교분석단계를 포함할 수 있다.
또한 상기 방법에서, 상기 영상평가데이터는 대상객체에 대한 수치분석값을 포함하고, 상기 수치분석값은 상기 평가규칙에 포함된 기준데이터를 기반으로 산출되고, 상기 기준데이터는 대상객체의 종류별 측정기준을 포함할 수 있다.
또한 상기 방법에서, 상기 영상평가데이터 획득단계는, 관심영역을 설정하는 단계; 및 상기 관심영역 내의 대상객체에 대하여 자동으로 참고용 수치분석값을 측정하여 제공하는 단계를 포함할 수 있다.
또한 상기 방법에서, 상기 수치분석값은 개수, 길이, 면적, 부피 중 어느 하나 이상을 포함하는 것일 수 있다.
또한 상기 방법에서, 상기 수치분석값은 상기 대상객체의 최대 직경을 기반으로 산출되는 것일 수 있다.
또한 상기 방법에서, 상기 영상평가데이터 비교분석단계는, 상기 획득한 영상평가데이터 간에 불일치하는 평가항목을 제공하는 것일 수 있다.
또한 상기 방법에서, 최종 영상평가데이터를 획득하는 단계; 및 상기 최종 영상평가데이터를 표준형식으로 변환하는 단계를 더 포함하고, 상기 최종 영상평가데이터는 조정자가 상기 복수의 평가자로부터 상기 획득한 영상평가데이터를 기반으로 조정을 수행함에 따라 생성되는 영상평가데이터일 수 있다.
또한 상기 방법에서, 상기 표준형식은 CIDSC(clinical data interchange standards consortium)의 SDTM(study data tabulation model) 형식인 것일 수 있다.
상술한 과제를 해결하기 위한 본 발명의 다른 면에 따른 자동화된 임상시험 영상평가데이터 자동 분석 프로그램은 하드웨어인 컴퓨터와 결합되어 상기 방법들을 실행시키기 위하여 매체에 저장될 수 있다.
상술한 과제를 해결하기 위한 본 발명의 또 다른 면에 따른 자동화된 임상시험 영상평가데이터에 대한 자동 분석 시스템은, 임상시험영상 평가를 수행함에 따라 생성되는 영상평가데이터에 대한 자동 분석 시스템으로서, 제1 평가자 및 제2 평가자로부터 각각 제1 영상평가데이터 및 제2 영상평가데이터를 획득하는, 영상평가데이터 획득부, 획득한 영상평가데이터가 사전 설정된 평가규칙에 부합하는지 평가항목별로 분석하는, 영상평가데이터 오류검사부, 상기 획득한 영상평가데이터가 상기 평가규칙에 부합하지 않는 평가항목을 포함하는 경우, 상기 평가규칙에 부합하지 않는 평가항목에 대하여 자동으로 쿼리를 제공하되, 상기 쿼리는 수정요청과 도움말을 포함하는, 쿼리제공부 및 상기 제1 영상평가데이터 및 상기 제2 영상평가데이터에 대하여 상기 평가항목별로 일치하는지 확인하는, 영상평가데이터 비교분석부를 포함할 수 있다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
상기 본 발명에 의하면, 임상시험 영상 평가 절차의 대부분이 수작업이 아닌 자동으로 수행되므로 임상시험 영상 평가자의 판독 업무, 조정자의 조정 업무, 관리자의 관리 업무가 경감되며, 보다 신속하고 효율적인 임상시험 영상평가데이터 관리가 가능하다.
또한, 상기 본 발명에 의하면, 평가자가 영상평가데이터 입력 시 판정기준 및 판정절차를 준수하여 입력하도록 쿼리 및 도움말을 제공함으로써, 기술적 오류를 최소화하여 보다 유효성이 높은 영상평가데이터를 획득 및 관리할 수 있다.
또한, 상기 본 발명에 의하면, 임상시험 영상을 평가하는 복수의 절차들에 대해서 각각 별도의 시스템으로 관리할 필요없이 하나의 시스템으로 통합하여 포괄적으로 관리할 수 있다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 자동화된 임상시험 영상평가데이터 관리 시스템에서 영상평가데이터가 관리되는 과정을 개략적으로 나타내는 개념도이다.
도 2는 본 발명의 일 실시예에 따른 자동화된 임상시험 영상평가데이터 관리 시스템의 구성도이다.
도 3은 본 발명의 일 실시예에 따른 영상평가데이터 오류검사부를 더 포함하는 자동화된 임상시험 영상평가데이터 관리 시스템의 구성도이다.
도 4는 본 발명의 일 실시예에 따른 자동화된 임상시험 영상평가데이터 관리 방법을 개략적으로 나타내는 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 기준데이터를 기반으로 평가자에게 제공되는 UI의 예시도이다.
도 6은 본 발명의 일 실시예에 따른 관심영역을 설정하여 참고용 수치분석값을 획득하는 모습을 나타내는 예시도이다.
도 7은 본 발명의 일 실시예에 따른 영상평가데이터를 획득하는 과정에서 평가자에게 제공되는 쿼리를 나타내는 예시도이다.
도 8은 본 발명의 일 실시예에 따른 최종 영상평가데이터를 획득하고 형식변환하는 단계가 더 포함되는 자동화된 임상시험 영상평가데이터 관리 방법을 개략적으로 나타내는 흐름도이다.
도 9는 본 발명의 일 실시예에 따른 불일치 평가항목을 제공하는 모습을 나타내는 예시도이다.
도 10은 본 발명의 일 실시예에 따른 영상평가데이터가 CDISC의 SDTM 형식으로 변환된 모습을 나타내는 예시도이다.
도 2는 본 발명의 일 실시예에 따른 자동화된 임상시험 영상평가데이터 관리 시스템의 구성도이다.
도 3은 본 발명의 일 실시예에 따른 영상평가데이터 오류검사부를 더 포함하는 자동화된 임상시험 영상평가데이터 관리 시스템의 구성도이다.
도 4는 본 발명의 일 실시예에 따른 자동화된 임상시험 영상평가데이터 관리 방법을 개략적으로 나타내는 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 기준데이터를 기반으로 평가자에게 제공되는 UI의 예시도이다.
도 6은 본 발명의 일 실시예에 따른 관심영역을 설정하여 참고용 수치분석값을 획득하는 모습을 나타내는 예시도이다.
도 7은 본 발명의 일 실시예에 따른 영상평가데이터를 획득하는 과정에서 평가자에게 제공되는 쿼리를 나타내는 예시도이다.
도 8은 본 발명의 일 실시예에 따른 최종 영상평가데이터를 획득하고 형식변환하는 단계가 더 포함되는 자동화된 임상시험 영상평가데이터 관리 방법을 개략적으로 나타내는 흐름도이다.
도 9는 본 발명의 일 실시예에 따른 불일치 평가항목을 제공하는 모습을 나타내는 예시도이다.
도 10은 본 발명의 일 실시예에 따른 영상평가데이터가 CDISC의 SDTM 형식으로 변환된 모습을 나타내는 예시도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
본 명세서에서 "영상평가데이터"는 평가자가 임상시험 영상 평가(판독)를 수행함에 따라 생성되는 데이터를 의미한다.
본 명세서에서 "최종 영상평가데이터"는 조정자가 복수의 평가자로부터 획득한 영상평가데이터들을 기반으로 조정을 수행함에 따라 생성되는 영상평가데이터를 의미한다. 즉, 최종 영상평가데이터는 획득한 복수의 영상평가데이터를 기반으로 불일치 항목을 조정 및 결정하여 최종 판정함에 따라 생성되는 영상평가데이터를 의미한다.
본 명세서에서 "대상객체"는 임상시험 영상에서 평가 대상이 되는 객체를 의미한다. 예를 들어, 대상객체는 특정 조직(tissue), 기관(organ), 병변(lesion), 종양(tumor), 림프종(lymphoma), 세포(cell), 암세포, 혈전 등일 수 있으나 이에 한정되는 것은 아니다.
본 명세서에서 "수치분석값"은 대상객체의 특징에 대해 정량화되어 수치로 표현된 값을 의미한다. 예를 들어, 수치분석값은 대상객체의 개수, 길이, 면적, 부피 등일 수 있으나 이에 한정되는 것은 아니다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 자동화된 임상시험 영상평가데이터 관리 시스템(100)에서 영상평가데이터가 관리되는 과정을 개략적으로 나타내는 개념도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 자동화된 임상시험 영상평가데이터 관리 시스템(100)은 복수의 평가자(임상시험 영상 평가자)로부터 영상평가데이터를 획득하여 비교분석하여 조정자에게 제공하고, 조정자로부터 최종 영상평가데이터를 획득하여 표준형식으로 자동으로 변환하여 제공하는 시스템이다.
또한, 영상평가데이터 획득 과정에서 획득한 영상평가데이터의 오류를 검사하여 자동으로 쿼리를 제공하거나, 복수의 영상평가데이터를 비교분석한 결과를 기반으로 자동으로 쿼리를 제공할 수 있다.
이하, 자동화된 임상시험 영상평가데이터 관리 시스템(100)에 대하여 도2 내지 도 10을 참조하여 상세히 설명한다.
도 2는 본 발명의 일 실시예에 따른 자동화된 임상시험 영상평가데이터 관리 시스템(100)의 구성도이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 자동화된 임상시험 영상평가데이터 관리 시스템(100)은, 영상평가데이터 획득부(10), 영상평가데이터 오류검사부(20), 쿼리제공부(30) 및 영상평가데이터 비교분석부(40)를 포함할 수 있다.
일 실시예로, 자동화된 임상시험 영상평가데이터 관리 시스템(100)은 규정 및 요구사항을 효율적으로 충족시킬 수 있도록 서버 시스템(server system)과 클라이언트 시스템(client system)으로 구성된 2계층 시스템으로 구성될 수 있다. 이때, 서버 시스템은 시스템 보안, 데이터 아카이브(archive), 백업 및 기록관리(audit trail) 등의 역할을 수행하고, 클라이언트 시스템은 비식별화(de-identification), 이미지 전송, 이미지 뷰어, 이미지 품질 제어, 전자기록 관리 등의 역할을 수행한다.
영상평가데이터 획득부(10)는 하나 이상의 평가자로부터 영상평가데이터를 획득하거나, 조정자로부터 최종 영상평가데이터를 획득하는 역할을 수행한다.
일 실시예로, 복수의 평가자는 동일한 임상시험 영상에 대하여 독립적으로 평가를 수행하여 각각의 영상평가데이터를 생성할 수 있다. 또한, 조정자는 복수의 평가자로부터 획득한 복수의 영상평가데이터를 기반으로 최종 평가를 조정하여 최종 영상평가데이터를 생성한다. 이와 같이 복수의 평가자가 동일한 임상시험 영상에 대하여 평가를 수행함으로써 보다 정확하고 품질이 높은 최종 영상평가데이터를 생성할 수 있다.
구체적인 예로, 영상평가데이터 획득부(10)는 제1 평가자 및 제2 평가자로부터 각각 제1 영상평가데이터 및 제2 영상평가데이터를 회득한다. 이때, 제1 영상평가데이터 및 제2 영상평가데이터는 동일한 임상시험 영상에 대하여 제1 평가자 및 제2 평가자가 각각 평가를 수행함에 따라 생성된 영상평가데이터이다. 조정자는 제1 영상평가데이터 및 제2 영상평가데이터를 획득하고, 영상평가데이터 간에 불일치하는 항목을 조정하여 최종 결정함으로써 최종 영상평가데이터를 생성한다. 최종 영상평가데이터를 생성하는 과정에 대한 상세한 내용은 후술한다.
다른 실시예로, 평가자는 복수의 기관으로부터 임상시험 영상을 획득할 수 있다. 즉, 평가자는 본인이 속한 기관에서 생성됨 임상시험 영상뿐만 아니라, 다른 기관에서 생성된 임상시험 영상도 수신하고, 수신한 임상시험 영상에 대한 평가를 수행하여 영상평가데이터를 생성할 수 있다. 이를 통해 임상시험 영상을 평가할 수 있는 물적 또는 인적 자원이 부족한 기관도 임상시험에 참여할 수 있고, 국내외 규정을 준수하는 품질이 보장된 영상평가데이터를 획득할 수 있다.
영상평가데이터 오류검사부(20)는 영상평가데이터 획득부(10)가 획득한 영상평가데이터가 사전 설정된 평가규칙에 부합하는지 평가항목별로 분석하는 역할을 수행한다.
"평가규칙"은 시스템에 사전 저장 및 설정되어 있는 평가 가이드라인이다. 예를 들어, 평가규칙은 평가자가 평가를 수행함에 있어서 반드시 입력해야 하는 평가항목, 특정한 범위 이내의 값으로 입력해야 하는 평가항목, 특정한 측정방식으로 측정해야 하는 평가항목 등에 대한 규칙을 포함할 수 있으며 이에 한정되는 것은 아니다.
즉, 영상평가데이터 오류검사부(20)는 상기 평가규칙을 기반으로 입력중이거나 입력된 영상평가데이터가 누락된 평가항목이 있는지, 입력범위를 초과한 평가항목이 있는지, 측정방식이 잘못된 것이 있는지 등 평가규칙에 어긋난 평가항목이 있는지를 실시간으로 분석하여 제공한다.
쿼리제공부(30)는 영상평가데이터 오류검사부(20)의 분석 결과, 획득한 영상평가데이터가 평가규칙에 부합하지 않는 평가항목에 대하여 자동으로 쿼리를 생성하여 제공하는 역할을 수행한다.
"쿼리(query)"는 사용자가 평가규칙에 부합하도록 영상평가데이터를 입력하도록 유도하기 위해서 질의하는 것이다.
일 실시예로, 쿼리는 시스템 오류 쿼리와 임상시험 오류 쿼리를 포함할 수 있다. 시스템 오류 쿼리는 이미지 업로드 등의 기술적 문제에 대한 쿼리이고, 임상시험 오류 쿼리는 데이터 누락, 범위 초과, 잘못된 측정방식 적용 등에 대한 쿼리이다. 구체적인 예로, 쿼리는 시스템 오류 쿼리인지, 임상시험 오류 쿼리인지 구별되도록 제공되어, 사용자가 오류 발생 원인을 즉각적으로 판단 가능하도록 할 수 있다.
다른 실시예로, 쿼리제공부(30)는 쿼리를 제공하기 위해 질의어(query language), SQL(structured query language) 등을 이용할 수 있으며, 평가자 및 조정자가 알아보기 쉬운 형태로 작성되어 제공될 수 있다. 즉, 생성된 쿼리를 프로그램 언어를 모르는 사용자도 이해할 수 있는 형태로 자동으로 변환하여 제공할 수 있다. 또한, 쿼리는 수정요청, 도움말, 쿼리 내용에 대한 설명 등을 포함할 수 있다.
예를 들어, 평가자가 특정 평가항목을 누락하여 입력하지 않은 경우, 'Missing data'라는 형태로 쿼리를 제공하면서, 'RECIST 1.1 평가 미기재'라는 설명 메시지를 함께 제공할 수 있다. 이를 통해 사용자는 쿼리를 통해 입력을 누락한 필드를 즉각적으로 확인할 수 있고, 쿼리 및 메시지를 참조하여 해당 필드에 누락한 데이터를 입력하여 데이터 미입력을 방지할 수 있다.
또 다른 실시예로, 쿼리제공부(30)는 획득한 영상평가데이터가 평가규칙에 어긋나는 경우 자동으로 쿼리를 생성하되, 생성된 쿼리 내용을 저장 및 관리할 수 있다. 즉, 쿼리제공부(30)는 생성된 복수의 쿼리들을 추적하고 문서화하여 사용자에게 제공할 수 있다. 사용자는 생성된 쿼리들의 내용이 정리된 문서를 기반으로 평가규칙에 부합하지 않는 항목들을 한 눈에 확인하고 수정 작업을 할 수 있다.
영상평가데이터 비교분석부(40)는 복수의 평가자들로부터 각각 획득한 복수의 영상평가데이터에 대하여 평가항목별로 일치하는지 확인하는 역할을 수행한다.
일 실시예로, 영상평가데이터 비교분석부(40)는 복수의 영상평가데이터를 비교분석하여 불일치 평가항목을 자동으로 제공할 수 있다. 조정자는 제공된 불일치 평가항목을 수작업으로 탐색할 필요없이 자동으로 제공된 불일치 평가항목에 대해서 조정 및 결정 작업을 수행할 수 있으므로, 보다 편리하게 최종 판정하여 최종 영상평가데이터를 생성할 수 있게 된다.
도 3은 본 발명의 일 실시예에 따른 영상평가데이터 오류검사부를 더 포함하는 자동화된 임상시험 영상평가데이터 관리 시스템(100)의 구성도이다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 자동화된 임상시험 영상평가데이터 관리 시스템(100)은 영상평가데이터 형식변환부(50)를 더 포함할 수 있다.
영상평가데이터 형식변환부(50)는 획득한 최종 영상평가데이터를 표준형식으로 변환하는 역할을 수행한다.
"표준형식"은 표준이 되는 데이터 형식(format)이다. 예를 들어, 표준형식은 CIDSC(clinical data interchange standards consortium)의 SDTM(study data tabulation model) 형식일 수 있으며, 이에 한정되지 않고 국내외에서 요구하는 임의의 데이터 형식이다.
영상평가데이터 형식변환부(50)는 최종 영상평가데이터를 자동으로 설정된 표준형식으로 변환시킨다. 따라서, 사용자는 수작업으로 데이터 형식을 변환할 필요가 없어 보다 편리하게 표준형식으로 작성된 영상평가데이터를 획득할 수 있다.
한편, 일 실시예로, 영상평가데이터 형식변환부(50)는 영상평가데이터를 사용자의 필요에 따라 표준형식이 아니더라도 다양한 형식(예를 들어, csv, image, MS office 등)으로 변환하여 제공할 수 있다.
도 4는 본 발명의 일 실시예에 따른 자동화된 임상시험 영상평가데이터 관리 방법을 개략적으로 나타내는 흐름도이다.
도 4를 참조하면, 본 발명의 일 실시예에 따른 자동화된 임상시험 영상평가데이터 관리 방법은, 영상평가데이터 획득단계(S200), 영상평가데이터 오류검사단계(S300), 쿼리제공단계(S400) 및 영상평가데이터 비교분석단계(S500)를 포함할 수 있다.
S200 단계는, 영상평가데이터 획득부(10)가 복수의 영상평가자로부터 각각 영상평가데이터를 획득하는 단계이다.
일 실시예로, 영상평가데이터는 대상객체에 대한 수치분석값을 포함할 수 있다. 또한, 수치분석값은 평가규칙에 포함된 기준데이터를 기반으로 산출될 수 있으며, "기준데이터"는 대상객체의 종류별로 마련된 측정기준(예를 들어, 대상객체가 종양인 경우, 종양의 종류에 따라 직경을 측정하는 기준 등)을 포함하는 데이터이다. 이에 대한 상세한 설명은 도 5를 참조하여 후술한다.
S300 단계는, 영상평가데이터 오류검사부(20)가 영상평가데이터 획득부(10)를 통해 획득한 영상평가데이터가 사전 설정된 평가규칙에 부합하는지 평가항목별로 분석하는 단계이다.
S400 단계는, 쿼리제공부(30)가 영상평가데이터 오류검사부(20)의 분석 결과를 기반으로 평가규칙에 부합하지 않는 평가항목에 대해 쿼리를 자동으로 생성하여 제공하는 단계이다.
일 실시예로, 쿼리제공부(30)는 평가자가 영상평가데이터를 입력하는 동안에도 실시간으로 쿼리를 생성하여 제공할 수 있다. 즉, S400 단계에서 평가자는 자동으로 생성되어 제공되는 쿼리를 참조하며 보다 정확하고 누락없이 영상평가데이터를 입력할 수 있다.
다른 실시예로, 쿼리제공부(30)는 평가자가 영상평가데이터 입력을 마친 후, 오류검사부(20)가 영상평가데이터를 검사한 결과를 기반으로 하나 이상의 쿼리를 생성하여 한 번에 제공할 수 있다. 즉, 획득된 영상평가데이터 전체에 포함된 평가규칙에 부합하지 않는 평가항목들에 대해서 각각의 쿼리를 생성하고, 문서화하여 제공할 수 있다. 이를 통해 평가자는 입력한 영상평가데이터에 대하여 전반적으로 오기, 오타, 누락 등의 오류를 확인하고 수정할 수 있다.
S500 단계는, 영상평가데이터 비교분석부(40)가 복수의 영상평가데이터를 자동으로 비교분석하는 단계이다.
한편, 일 실시예로, 쿼리제공부(30)는 비교분석부(40)가 복수의 영상평가데이터를 비교분석한 결과를 기반으로 쿼리를 생성 및 제공할 수 있다. 즉, S400 단계는 S500 단계 이전에 진행되는 것으로 한정되지 않고, S500 단계 이전 또는 이후에만 진행되거나, S500 단계 이전에 진행되었어도 S500 이후에도 진행될 수 있다. S400 단계가 S500 단계 이후에 진행되는 경우, 평가자는 다른 평가자가 입력한 영상평가데이터와 불일치하는 항목에 대하여 확인하고 다시 평가를 수행함으로써 평가의 정확도를 향상시킬 수 있다.
도 5는 본 발명의 일 실시예에 따른 기준데이터를 기반으로 평가자에게 제공되는 UI의 예시도이다.
일 예로, 기준데이터는 RECIST(response evaluation criteria in solid tumours)가 제공하는 평가기준일 수 있다.
시스템(100)은 기준데이터로서 RECIST가 제공하는 평가기준을 데이터화하여 사전 저장 및 관리하고, 이를 기반으로 쿼리를 생성하거나, 참고용 수치분석값(220)을 자동으로 산출하여 제공할 수 있다.
예를 들어, 기준데이터는 RECIST 1.1에 규정된 고형암 반응 평가기준을 포함할 수 있다. 구체적으로, 표적 병변(target lesion)은 크기를 기준으로 침범된 기관 전체에서 최대 총 5개를 선택할 수 있으며, 한 개의 기관 부위 내에서 최대 2를 선택할 수 있다. 또한, 표적 병변에 대한 반응 평가는 다음과 같이 조건에 따라 CR, PR, PD, SD, NE로 구별된다.
도 5를 참조하면, 시스템(100)은 평가자가 상술한 고형암반응평가기준에 따라 영상평가데이터를 입력할 수 있도록 구성된 UI(user interface)를 제공할 수 있다. 즉, 시스템(100)은 평가자가 평가규칙에 포함된 기준데이터를 만족하도록 영상평가데이터를 입력할 수 있도록 UI를 제공할 수 있다. 또한, 시스템(100)은 평가자로부터 획득한 영상평가데이터가 기준데이터에 어긋난 경우 쿼리를 생성하여 제공함으로써, 평가자가 기준데이터에 부합하는 영상평가데이터를 입력하도록 유도할 수 있다.도 6은 본 발명의 일 실시예에 따른 관심영역(210)을 설정하여 참고용 수치분석값(220)을 획득하는 모습을 나타내는 예시도이다.
"참고용 수치분석값(220)"은 시스템(100)이 자동으로 측정 및 산출한 수치분석값으로서, 평가자가 영상평가데이터에 포함된 수치분석값을 측정하는데 참고할 수 있도록 제공되는 값이다.
일 실시예로, 시스템(100)은 관심영역설정부(미도시) 및 참고용 수치분석값 측정부(미도시)를 더 포함할 수 있다.
관심영역설정부는 임상시험 영상 내에서 관심영역(region of interest, ROI)을 설정하는 역할을 수행한다. 즉, 평가자로부터 대상객체가 있을 것으로 추측되는 영역에 대하여 대략적으로 영역을 입력받고, 해당 영역을 관심영역(210)으로 설정한다.
참고용 수치분석값 측정부는 설정된 관심영역(210) 내의 대상객체에 대하여 자동으로 참고용 수치분석값(220)을 측정하여 제공하는 역할을 수행한다. 즉, 참고용 수치분석값 측정부는 설정된 관심영역(210) 내에 대상객체의 유무, 개수, 크기 등을 분석하여 제공한다.
도 6을 참조하면, 도 6(a)에는 관심영역(210)이 설정되는 모습이 도시되어 있고, 도 6(b)에는 설정된 관심영역(210) 내의 대상객체에 대한 참고용 수치분석값(220)이 산출된 모습이 도시되어 있다.
평가자는 대상객체가 있을 것으로 추정되는 영역이 포함되도록 관심영역(210)을 대략적으로 설정하면, 시스템(100)은 사전 설정된 평가규칙을 기반으로 하여 관심영역 내의 대상객체에 대한 참고용 수치분석값(220)을 측정 및 산출하여 제공한다. 구체적으로, 도 6(b)를 참조하면, 좌측 하단에 표시된 정원 형태의 대상객체는 평가규칙에 따라 직경을 측정하여 제공하고, 상단에 표시된 대상객체는 평가기준에 따라 특정한 지점을 기준으로 수직하는 두 개의 직경을 측정하여 제공한다. 이와 같이, 참고용 수치분석값(220)을 자동으로 산출하여 제공함으로써, 평가자는 자동으로 산출된 참고용 수치분석값(220)과 본인이 직접 측정한 수치분석값을 비교하여 오차율을 줄일 수 있는 효과가 있다.
일 실시예로, 참고용 수치분석값 측정부는 평가자로부터 획득한 기본 정보를 기초로 하여 참고용 수치분석값을 측정 및 산출할 수 있다. 예를 들어, 평가자로부터 획득한 기본 정보는 임상시험 영상 촬영 방법(예를 들어, CT, MRI, PET/CT, Bone scan), 대상 기관(예를 들어, 폐, 간, 뇌 등), 대상객체의 종류(예를 들어, 종양, 림프절, 암세포 등) 등을 포함할 수 있으며, 참고용 수치분석값 측정부는 이를 기반으로 보다 정확한 참고용 수치분석값을 측정 및 산출할 수 있다.
한편, 다른 실시예로, 수치분석값은 대상객체의 최대 직경을 기반으로 산출될 수 있다. 예를 들어, 수치분석값이 길이이면 최대 직경을 길이값으로 산출할 수 있다. 또한, 대상객체가 원형 또는 구형인 경우, 최대 직경을 지름으로 하여 면적 또는 부피를 산출할 수 있다.
도 7은 본 발명의 일 실시예에 따른 영상평가데이터를 획득하는 과정에서 평가자에게 제공되는 쿼리를 나타내는 예시도이다.
도 7을 참조하면, 쿼리제공부(30)는 평가자가 입력한 영상평가데이터에 대하여 평가항목별로 평가규칙에 부합하는지 판단하여 쿼리를 제공할 수 있다. 구체적으로, 입력이 누락된 항목에는 'please input value'라는 쿼리를 제공하고, 범위를 초과한 항목에 대해서는 'please input value bigger than 5mm'라는 쿼리를 제공할 수 있다. 한편, 평가규칙에 부합하도록 입력된 항목들에 대해서는 색깔, 기호 등을 이용하여 부합하지 않는 항목들과 구별되도록 표시할 수 있다.
도 8은 본 발명의 일 실시예에 따른 최종 영상평가데이터를 획득하고 형식변환하는 단계가 더 포함되는 자동화된 임상시험 영상평가데이터 관리 방법을 개략적으로 나타내는 흐름도이다.
도 8을 참조하면, 본 발명의 일 실시예에 따른 자동화된 임상시험 영상평가데이터 관리 방법은, 최종 영상평가데이터 획득단계(S600) 및 최종 영상평가데이터 형식변환단계(S700)를 더 포함할 수 있다.
S600 단계는, 조정자로부터 최종 영상평가데이터를 획득하는 단계이다. 조정자는 시스템이 복수의 영상평가데이터를 비교분석한 것을 기반으로 조정 작업을 수행하여 최종 영상평가데이터를 생성한다.
S700 단계는, S600 단계에서 획득한 최종 영상평가데이터를 표준형식으로 자동으로 변환하는 단계이다.
도 9는 본 발명의 일 실시예에 따른 불일치 평가항목을 제공하는 모습을 나타내는 예시도이다.
시스템(100)이 획득한 복수의 영상평가데이터를 비교분석하여, 복수의 영상평가데이터 간에 불일치하는 평가항목을 제공하는 모습이 도시되어 있다.
도 9를 참조하면, 제1 평가자 내지 제3 평가자가 각각 동일한 임상시험 영상에 대해 평가를 수행하여 영상평가데이터를 입력하였고, 평가 결과(response)가 일치하지 않는 것을 확인할 수 있다. 구체적으로, 제1 평가자 및 제2 평가자는 SD(안전병변)으로 평가하였고, 제3 평가자는 PD(질병진행)으로 평가하였다. 시스템(100)은 자동으로 불일치 항목을 탐색하고, 조정자에게 탐색된 불일치항목과 'Response(iRECIST) 값이 일치하지 않습니다. 판독 결과를 선택해 주세요.'라는 쿼리를 제공한다. 이에 따라 조정자는 불일치 항목을 수작업으로 탐색할 필요없이 자동으로 제공된 불일치 항목을 확인하여 최종 판정을 하여 조정 및 결정할 수 있다.
도 10은 본 발명의 일 실시예에 따른 영상평가데이터가 CDISC의 SDTM 형식으로 변환된 모습을 나타내는 예시도이다.
도 10에 도시된 바와 같이, 평가자 및 조정자가 입력한 영상평가데이터와 표준형식이 상이한 경우, 시스템(100)은 자동으로 획득한 영상평가데이터를 표준형식으로 변환하여 제공한다.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.
Claims (10)
- 컴퓨터에 의해 수행되는, 임상시험영상 평가를 수행함에 따라 생성되는 영상평가데이터에 대한 자동 분석 방법으로서,
복수의 평가자 각각으로부터 동일한 임상시험영상에 대해 평가를 수행하여 입력을 마친 데이터 또는 입력 중인 데이터인 영상평가데이터를 획득하는, 영상평가데이터 획득단계;
획득한 영상평가데이터가 사전 설정된 평가규칙을 기반으로 상기 획득한 영상평가데이터가 누락된 평가항목이 있는지 여부, 입력범위를 초과한 평가항목이 있는지 여부 및 측정방식이 잘못된 평가항목이 있는지 여부를 평가항목별로 실시간으로 분석하는, 영상평가데이터 오류검사단계;
상기 분석 결과에 따라 쿼리를 제공하되, 상기 쿼리는 수정요청과 도움말을 포함하는, 쿼리제공단계; 및
상기 획득한 영상평가데이터에 대하여 상기 평가항목별로 일치하는지 확인하는, 영상평가데이터 비교분석단계를 포함하는 것을 특징으로 하는, 영상평가데이터에 대한 자동 분석 방법.
- 제1항에 있어서,
상기 영상평가데이터는 대상객체에 대한 수치분석값을 포함하고,
상기 수치분석값은 상기 평가규칙에 포함된 기준데이터를 기반으로 산출되고,
상기 기준데이터는 대상객체의 종류별 측정기준을 포함하는 것을 특징으로 하는, 영상평가데이터에 대한 자동 분석 방법.
- 제2항에 있어서,
상기 영상평가데이터 획득단계는,
관심영역을 설정하는 단계; 및
상기 관심영역 내의 대상객체에 대하여 자동으로 참고용 수치분석값을 측정하여 제공하는 단계를 포함하는 것을 특징으로 하는, 영상평가데이터에 대한 자동 분석 방법.
- 제3항에 있어서,
상기 수치분석값은 개수, 길이, 면적, 부피 중 어느 하나 이상을 포함하는 것을 특징으로 하는, 영상평가데이터에 대한 자동 분석 방법.
- 제4항에 있어서,
상기 수치분석값은 상기 대상객체의 최대 직경을 기반으로 산출되는 것을 특징으로 하는, 영상평가데이터에 대한 자동 분석 방법.
- 제1항에 있어서,
상기 영상평가데이터 비교분석단계는, 상기 획득한 영상평가데이터 간에 불일치하는 평가항목을 제공하는 것을 특징으로 하는, 영상평가데이터에 대한 자동 분석 방법.
- 제1항에 있어서,
최종 영상평가데이터를 획득하는 단계; 및
상기 최종 영상평가데이터를 표준형식으로 변환하는 단계를 더 포함하고,
상기 최종 영상평가데이터는 조정자가 상기 복수의 평가자로부터 상기 획득한 영상평가데이터를 기반으로 조정을 수행함에 따라 생성되는 영상평가데이터인 것을 특징으로 하는, 영상평가데이터에 대한 자동 분석 방법.
- 제7항에 있어서,
상기 표준형식은 CIDSC(clinical data interchange standards consortium)의 SDTM(study data tabulation model) 형식인 것을 특징으로 하는, 영상평가데이터에 대한 자동 분석 방법.
- 하드웨어인 컴퓨터와 결합되어, 제1항 내지 제8항 중 어느 한 항의 방법을 실행시키기 위하여 매체에 저장된, 영상평가데이터에 대한 자동 분석 프로그램.
- 임상시험영상 평가를 수행함에 따라 생성되는 영상평가데이터에 대한 자동 분석 시스템으로서,
복수의 평가자 각각으로부터 동일한 임상시험영상에 대해 평가를 수행하여 입력을 마친 데이터 또는 입력 중인 데이터인 영상평가데이터를 획득하는, 영상평가데이터 획득부;
획득한 영상평가데이터가 사전 설정된 평가규칙을 기반으로 상기 획득한 영상평가데이터가 누락된 평가항목이 있는지 여부, 입력범위를 초과한 평가항목이 있는지 여부 및 측정방식이 잘못된 평가항목이 있는지 여부를 평가항목별로 실시간으로 분석하는, 영상평가데이터 오류검사부;
상기 분석 결과에 따라 쿼리를 제공하되, 상기 쿼리는 수정요청과 도움말을 포함하는, 쿼리제공부; 및
상기 획득한 영상평가데이터에 대하여 상기 평가항목별로 일치하는지 확인하는, 영상평가데이터 비교분석부를 포함하는 것을 특징으로 하는, 영상평가데이터에 대한 자동 분석 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220089860A KR102517628B1 (ko) | 2020-03-18 | 2022-07-20 | 자동화된 임상시험 영상평가데이터에 대한 자동 분석 방법 및 시스템 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200033166A KR102425016B1 (ko) | 2020-03-18 | 2020-03-18 | 자동화된 임상시험 영상평가데이터 관리 방법 및 시스템 |
| KR1020220089860A KR102517628B1 (ko) | 2020-03-18 | 2022-07-20 | 자동화된 임상시험 영상평가데이터에 대한 자동 분석 방법 및 시스템 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200033166A Division KR102425016B1 (ko) | 2020-03-18 | 2020-03-18 | 자동화된 임상시험 영상평가데이터 관리 방법 및 시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220106936A KR20220106936A (ko) | 2022-08-01 |
| KR102517628B1 true KR102517628B1 (ko) | 2023-04-04 |
Family
ID=77771381
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200033166A KR102425016B1 (ko) | 2020-03-18 | 2020-03-18 | 자동화된 임상시험 영상평가데이터 관리 방법 및 시스템 |
| KR1020220089860A KR102517628B1 (ko) | 2020-03-18 | 2022-07-20 | 자동화된 임상시험 영상평가데이터에 대한 자동 분석 방법 및 시스템 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200033166A KR102425016B1 (ko) | 2020-03-18 | 2020-03-18 | 자동화된 임상시험 영상평가데이터 관리 방법 및 시스템 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20230017940A1 (ko) |
| KR (2) | KR102425016B1 (ko) |
| WO (1) | WO2021187830A1 (ko) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009075951A (ja) | 2007-09-21 | 2009-04-09 | Fujifilm Corp | 評価管理システム及び評価管理装置及び評価管理方法 |
| WO2012046842A1 (ja) | 2010-10-07 | 2012-04-12 | 株式会社東芝 | 読影依頼システム、読影依頼仲介装置、制御プログラム及び読影結果評価方法 |
| JP2017501494A (ja) | 2013-12-20 | 2017-01-12 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | 患者所見の所見中心の縦断的なビューの自動生成 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090318775A1 (en) | 2008-03-26 | 2009-12-24 | Seth Michelson | Methods and systems for assessing clinical outcomes |
| KR101226056B1 (ko) * | 2011-07-18 | 2013-01-24 | 서울대학교병원 | 사용자 지향적 전자 임상시험 데이터 관리시스템 |
| US20180060512A1 (en) * | 2016-08-29 | 2018-03-01 | Jeffrey Sorenson | System and method for medical imaging informatics peer review system |
-
2020
- 2020-03-18 KR KR1020200033166A patent/KR102425016B1/ko active IP Right Grant
-
2021
- 2021-03-15 WO PCT/KR2021/003157 patent/WO2021187830A1/ko active Application Filing
-
2022
- 2022-07-20 KR KR1020220089860A patent/KR102517628B1/ko active IP Right Grant
- 2022-09-16 US US17/932,936 patent/US20230017940A1/en active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009075951A (ja) | 2007-09-21 | 2009-04-09 | Fujifilm Corp | 評価管理システム及び評価管理装置及び評価管理方法 |
| WO2012046842A1 (ja) | 2010-10-07 | 2012-04-12 | 株式会社東芝 | 読影依頼システム、読影依頼仲介装置、制御プログラム及び読影結果評価方法 |
| JP2017501494A (ja) | 2013-12-20 | 2017-01-12 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | 患者所見の所見中心の縦断的なビューの自動生成 |
Non-Patent Citations (1)
| Title |
|---|
| Keiichi Yamamoto 외, Journal of Biomedical Informatics, 2017.05.06., Vol.70, pp65-76. |
Also Published As
| Publication number | Publication date |
|---|---|
| US20230017940A1 (en) | 2023-01-19 |
| KR20210116948A (ko) | 2021-09-28 |
| WO2021187830A1 (ko) | 2021-09-23 |
| KR102425016B1 (ko) | 2022-07-25 |
| KR20220106936A (ko) | 2022-08-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110826908A (zh) | 人工智能预测的评估方法、装置、存储介质及电子设备 | |
| CN105142724B (zh) | 用于rt计划评估的视听总结系统 | |
| JP6232054B2 (ja) | 品質メトリックを決定するための方法、システム、コンピュータプログラム及び記憶媒体 | |
| US11393582B2 (en) | Acceptance, commissioning, and ongoing benchmarking of a linear accelerator (LINAC) using an electronic portal imaging device (EPID) | |
| US10929973B2 (en) | Medical image pre-processing at the scanner for facilitating joint interpretation by radiologists and artificial intelligence algorithms | |
| US20070150314A1 (en) | Method for carrying out quality control of medical data records collected from different but comparable patient collectives within the bounds of a medical plan | |
| US11742064B2 (en) | Automated quality assurance testing of structured clinical data | |
| Ferreira et al. | Study of adaptation and validation of the Practice environment scale of the nursing work index for the Portuguese reality | |
| US20210201546A1 (en) | Medical image conversion | |
| Long et al. | Scientific and Regulatory Policy Committee (SRPC) paper: validation of digital pathology systems in the regulated nonclinical environment | |
| JP6776249B2 (ja) | Ｍｒｉ又はｃｔ用のスキャンジオメトリプランニング方法 | |
| US10726950B2 (en) | Methods and systems for autonomous control of imaging devices | |
| CN108206052A (zh) | 生物启发式智能体扫描仪 | |
| JP5106426B2 (ja) | Ｍｒ検査用の自動化された形状のロバスト学習 | |
| Barratt et al. | The prognostic value of cardiopulmonary exercise testing in interstitial lung disease: a systematic review | |
| CN118043861A (zh) | Ai模型生产的自动化协作过程 | |
| KR102517628B1 (ko) | 자동화된 임상시험 영상평가데이터에 대한 자동 분석 방법 및 시스템 | |
| CN111406294B (zh) | 自动生成用于实验室仪器的规则 | |
| US11504548B2 (en) | Systems and methods for quality control in image-guided radiotherapy | |
| Bertrand et al. | Automated age‐at‐death estimation by cementochronology: Essential application or additional complication? | |
| WO2017156512A1 (en) | Paired diagnosis discordance determination and resolution | |
| Tkaczyk et al. | Crowdsourcing to delineate skin affected by chronic graft‐vs‐host disease | |
| Hendel et al. | Dermatologic scar assessment with stereoscopic imaging and digital three‐dimensional models: a validation study | |
| US12014291B2 (en) | System and method for processing distorted or inaccurate input data obtained from an environment | |
| Petrick et al. | Imaging as a tumor biomarker in oncology drug trials for lung cancer: the FDA perspective |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |