KR101811028B1 - 인공지능 기반 의료기기의 임상적 유효성 평가 방법 및 시스템 - Google Patents

인공지능 기반 의료기기의 임상적 유효성 평가 방법 및 시스템 Download PDF

Info

Publication number
KR101811028B1
KR101811028B1 KR1020170108156A KR20170108156A KR101811028B1 KR 101811028 B1 KR101811028 B1 KR 101811028B1 KR 1020170108156 A KR1020170108156 A KR 1020170108156A KR 20170108156 A KR20170108156 A KR 20170108156A KR 101811028 B1 KR101811028 B1 KR 101811028B1
Authority
KR
South Korea
Prior art keywords
clinical
diagnostic
artificial intelligence
medical device
unit
Prior art date
Application number
KR1020170108156A
Other languages
English (en)
Inventor
김동민
주우민
엄하나
이명재
강신욱
김원태
김동억
류위선
Original Assignee
(주)제이엘케이인스펙션
동국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)제이엘케이인스펙션, 동국대학교 산학협력단 filed Critical (주)제이엘케이인스펙션
Priority to KR1020170108156A priority Critical patent/KR101811028B1/ko
Application granted granted Critical
Publication of KR101811028B1 publication Critical patent/KR101811028B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G06F19/345—
    • G06F19/366—
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/40—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for data related to laboratory analysis, e.g. patient specimen analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

인공지능 기반 의료기기의 임상적 유효성 평가를 위한 방법 및 시스템이 개시된다. 임상적 유효성 평가 방법은, 특정 질병에 대한 다수 전문의들의 임상 진단 결과로부터 다수 전문의들을 포함한 제1 전문의들 간의 평균 진단 일치도를 획득하는 단계, 임상시험에 사용된 인공지능 기반 의료기기의 진단 결과와 임상시험에 참여한 전문의의 진단 결과 간의 임상 진단 일치도를 획득하는 단계, 및 평균 진단 일치도와 임상 진단 일치도를 비교하는 단계를 포함한다.

Description

인공지능 기반 의료기기의 임상적 유효성 평가 방법 및 시스템{METHOD AND SYSTEM FOR CLINICAL EFFICACY EVALUATION OF ARTIFICIAL INTELLIGENCE BASED MEDICAL DEVICE}
본 발명의 실시예는 인공지능 기반 의료기기의 임상적 유효성 평가를 위한 방법 및 시스템에 관한 것이다.
종래의 의료기기의 진단 성능 평가 방법은 의료기기의 진단 결과와 황금 표준(Gold Standard)과 비교하여 정확도를 도출하거나 다른 기기의 분석 결과와 비교하는 방법이 일반적이다. 이에 반하여 인공지능 기술을 기반으로 하는 의료기기의 경우 종래의 의료기기와는 달리 황금 표준을 생성할 수 없어서 인간만이 가능하였던 의료 진단 영역에까지 진단 기능을 확장할 수 있다.
예를 들어, 종래의 의료기기의 경우, 뇌경색 환자의 두부 MRI(Magnetic Resonance Imaging) 영상에서 다양한 병변의 패턴을 보고 치료를 위한 발병 유형을 유추하거나 진단 결과를 얻는 과정은 발생하는 병변 패턴의 다양성으로 인해 실제로 불가능하였다. 하지만, 인공지능 기반 의료기기의 경우, 뇌경색 관련 의료 빅데이터를 활용하여 인공 신경망(Artificial Neural Network)에 뇌경색 패턴을 학습시킴으로서 학습 데이터를 기반으로 뇌경색의 유형 분류가 가능하도록 할 수 있다.
한편, 인공지능 기반 의료기기는 임상에 사용하기 위해 그 진단 결과에 대한 임상적 유효성을 검증할 필요가 있다. 그러나, 인공지능 기반 의료기기에 대한 임상적 유효성을 검증할 수 있는 적절한 방법이나 시스템은 아직까지 전무한 실정이다.
본 발명의 목적은 인공지능 기반 의료기기의 진단 결과에 대한 임상적 유효성을 검증할 수 있는, 인공지능 기반 의료기기의 임상적 유효성 평가 방법 및 시스템을 제공하는데 있다.
본 발명의 다른 목적은 인공지능 기반 의료기기로부터 발생된 진단 결과의 신뢰성을 높일 수 있는, 인공지능 기반 의료기기의 임상적 유효성 평가를 위한 방법 및 시스템을 제공하는데 있다.
상기 기술적 과제를 해결하기 위한 본 발명의 일 측면에 따른 인공지능 기반 의료기기의 임상적 유효성 평가 방법은, 특정 질병에 대한 다수 전문의들의 임상 진단 결과로부터 상기 다수 전문의들을 포함한 제1 전문의들 간의 평균 진단 일치도를 획득하는 단계; 임상시험에 사용된 인공지능 기반 의료기기의 진단 결과와 상기 임상시험에 참여한 전문의의 진단 결과 간의 임상 진단 일치도를 획득하는 단계; 및 상기 평균 진단 일치도와 상기 임상 진단 일치도를 비교하는 단계를 포함한다.
일실시예에서, 상기 임상 진단 일치도를 획득하는 단계는, 상기 인공지능 기반 의료기기의 진단 결과와 상기 임상시험에 참여한 전문의의 진단 결과를 미리 설정된 4가지 진단 결과의 정방형 행렬 구조로 분류하고, 상기 행렬 구조의 각 행의 합과 각 열의 합 및 상기 각 행의 합과 상기 각 열의 합의 총합에 기초한 유형 분류 일치 확률(Pa)과 유형 분류가 우연히 일치할 확률(Pe)을 계산하고, 상기 유형 분류 일치 확률(Pa)과 상기 유형 분류가 우연히 일치할 확률(Pe)에 기초하여 상기 임상 진단 일치도를 계산할 수 있다.
일실시예에서, 상기 비교하는 단계는, 통계적 가설 검정을 통해 상기 임상 진단 일치도와 상기 평균 진단 일치도 간의 크기를 비교할 수 있다.
일실시예에서, 상기 통계적 가설 검정은, 양측 검정 혹은 단측 검정에 대한 통계적 검정을 포함할 수 있다. 여기서 상기 양측 검정은 상기 임상 진단 일치도의 크기와 상기 평균 진단 일치도의 크기가 서로 다르다는 대립가설 또는 상기 임상 진단 일치도의 크기와 상기 평균 진단 일치도의 크기가 같다는 귀무가설을 포함하고, 상기 단측 검정은 상기 임상 진단 일치도의 크기가 상기 평균 진단 일치도의 크기보다 크다는 대립가설 또는 상기 임상 진단 일치도의 크기가 상기 평균 진단 일치도의 크기보다 작거나 같다는 귀무가설을 포함할 수 있다.
상기 기술적 과제를 해결하기 위한 본 발명의 다른 측면에 따른 인공지능 기반 의료기기의 임상적 유효성 평가 시스템은, 특정 질병에 대한 다수 전문의들의 임상 진단 결과로부터 상기 다수 전문의들을 포함한 제1 전문의들 간의 평균 진단 일치도를 획득하는 제1 획득부; 임상시험에 사용된 인공지능 기반 의료기기의 진단 결과와 상기 임상시험에 참여한 전문의의 진단 결과 간의 임상 진단 일치도를 획득하는 제2 획득부; 및 상기 평균 진단 일치도와 상기 임상 진단 일치도를 비교하는 비교부를 포함한다.
일실시예에서, 상기 제2 획득부는, 상기 인공지능 기반 의료기기의 진단 결과와 상기 임상시험에 참여한 전문의의 진단 결과를 미리 설정된 4가지의 진단 결과에 따라 행렬 구조로 분류하는 분류 모듈; 상기 행렬 구조의 각 행의 합과 각 열의 합 및 상기 각 행의 합과 상기 각 열의 합의 총합에 기초한 유형 분류 일치 확률(Pa)과 유형 분류가 우연히 일치할 확률(Pe)을 계산하는 확률 계산 모듈; 및 상기 유형 분류 일치 확률(Pa)과 상기 유형 분류가 우연히 일치할 확률(Pe)에 기초하여 상기 임상 진단 일치도를 산출하는 일치도 산출 모듈을 포함할 수 있다.
일실시예에서, 상기 인공지능 기반 의료기기는 인공지능 또는 기계학습으로 의료용 데이터를 학습하고, 학습에 기초하여 특정 패턴을 인식하고, 인식에 기초하여 질환 또는 질병을 자동으로 진단하는 의료기기를 포함할 수 있다.
일실시예에서, 임상적 유효성 평가 시스템은, 상기 제1 획득부, 상기 제2 획득부 및 상기 비교부를 프로그램 또는 소프트웨어 모듈 형태로 저장하는 메모리; 및 상기 메모리에 연결되어 상기 메모리에 저장된 프로그램 또는 소프트웨어 모듈을 실행하는 프로세서를 더 포함하고, 여기서 상기 프로세서는 상기 프로그램 또는 소프트웨어 모듈에 의해 상기 제1 획득부의 기능, 상기 제2 획득부의 기능 및 상기 비교부의 기능을 수행할 수 있다.
일실시예에서, 인공지능 기반 의료기기의 임상적 유효성 평가 시스템은 상기 제1 획득부, 상기 제2 획득부 및 상기 비교부를 프로그램 또는 소프트웨어 모듈 형태로 저장하는, 컴퓨터로 읽을 수 있는 기록매체를 포함할 수 있다.
전술한 인공지능 기반 의료기기의 임상적 유효성 평가 방법 및 시스템을 사용하는 경우에는, 인공지능 기반 의료기기를 전문의로 가정하고 평가 분야에서 전문의와 동등 이상의 수준으로 진단을 수행할 수 있을지를 객관적으로 검증할 수 있다.
또한, 본 발명에 의하면, 의료용 빅데이터와 인공지능을 활용한 새로운 의료기기의 사용에 있어서 의료기기의 임상적 진단 결과에 대한 유효성을 신뢰성 있게 효과적으로 평가할 수 있는 방안을 제공할 수 있다.
도 1은 본 발명의 일실시예에 따른 인공지능 기반 의료기기의 임상적 유효성 평가 시스템을 설명하기 위한 도면이다.
도 2는 본 발명의 다른 실시예에 따른 인공지능 기반 의료기기의 임상적 유효성 평가 방법의 주요 단계들을 설명하기 위한 흐름도이다.
도 3은 도 1의 임상적 유효성 평가 시스템에 채용할 수 있는 구성을 나타낸 블록도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명한다. 이하의 설명에서 특정한 실시 형태는 본 발명을 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일실시예에 따른 인공지능 기반 의료기기의 임상적 유효성 평가 시스템을 설명하기 위한 도면이다.
도 1을 참조하면, 본 실시예에 따른 인공지능 기반 의료기기의 임상적 유효성 평가 시스템(이하 간략히 '임상적 유효성 평가 시스템'이라 한다)(100)은 제1 획득부(112), 제2 획득부(114) 및 비교연산부(116)를 포함한다.
제1 획득부(112)는 평균 진단 일치도 산출부(111)로부터 평균 진단 일치도를 획득할 수 있다. 제1 획득부(112)는 평균 진단 일치도 산출부(111)를 포함하는 수단이나 이러한 수단에 상응하는 기능을 수행하는 구성부에 접근하여 평균 진단 일치도를 읽어낼 수 있다. 물론, 구현에 따라, 제1 획득부(112)는 평균 진단 일치도 산출부(111)로부터 평균 진단 일치도를 포함한 신호나 데이터를 수신하도록 구현될 수 있다.
평균 진단 일치도 산출부(111)는 참고문헌에서 획득하거나 인트라넷이나 인터넷 등에서 탐색한 임상 결과에 기초하여 임상 결과에 포함된 임상 진단들에 대한 평균 진단 일치도를 산출할 수 있다. 평균 진단 일치도 산출부(111)는 일반적 전문의들 간의 진단 일치도를 수집하여 일반적 전문의들 간의 평균 진단 일치도를 계산할 수 있다. 이러한 평균 진단 일치도 산출부(111)는 참고문헌에서 탐색하거나 인트라넷이나 인터넷 등에서 접근가능한 임상정보나 의료정보에서 탐색한 임상 결과에 기초하여 일반적 전문의들 간의 평균 진단 일치도를 계산할 수 있는 수단이나 이러한 수단에 상응하는 기능을 수행하는 구성부를 포함할 수 있다. 구성부는 컴퓨팅 장치를 포함할 수 있으나, 이에 한정되지는 않는다.
제2 획득부(114)는 임상 진단 일치도 산출부(113)로부터 임상 진단 일치도를 획득할 수 있다. 제2 획득부(114)는 임상 진단 일치도 산출부(113)를 포함하는 수단이나 이러한 수단에 상응하는 기능을 수행하는 구성부에 접근하여 임상 진단 일치도를 읽어낼 수 있다. 물론, 구현에 따라, 제2 획득부(114)는 임상 진단 일치도 산출부(113)로부터 임상 진단 일치도를 포함한 신호나 데이터를 수신하도록 구현될 수 있다.
임상 진단 일치도 산출부(113)는 인공지능 기반 의료기기(200)의 자동 진단 정보 또는 데이터를 저장하고 관리하는 자동 진단 지식베이스(150)에서 자동 진단 결과를 획득하고, 인공지능 기반 의료기기의 임상시험에 참여한 전문의의 사용자 단말(300)에 연결되어 상기 전문의의 진단 정보/데이터를 저장하고 관리하는 전문의 진단 지식베이스(160)에서 임상시험 참여 전문의의 진단 결과를 획득할 수 있다.
인공지능 기반 의료기기(200)란 인공지능 및 기계학습 방식으로 의료용 빅데이터를 학습하고 특정 패턴을 인식하여 자동으로 질환 및 질병을 진단하는 의료기기를 지칭할 수 있다. 의료용 빅데이터는 의료 현장에서 수집되는 임상정보나 의료 영상과 같이 대상 환자의 상태를 기록하거나 측정한 자료를 지칭할 수 있다.
인공지능 기반 의료기기(200)에 있어서, 학습부는 인공지능 및/또는 기계학습 모델(모델#1)을 참조하여 의료용 빅데이터에서 특정 질환 또는 질병에 대하여 학습할 수 있다. 학습된 정보는 학습 데이터베이스(DB)에 저장될 수 있다. 패턴인식부는 질병이나 질환에 대한 패턴 모델(모델#2)과 특정 질환 또는 질병에 대한 학습 DB를 참조하여 특정 패턴을 인식할 수 있다. 인식된 패턴 정보를 패턴 지식베이스로 저장될 수 있다. 그리고, 진단부는 임사시험에 대한 임상정보나 의료영상은 분석하고 패턴 지식베이스를 참조하여 특정 질환이나 질병을 자동으로 진단할 수 있다. 인공지능 기반 의료기기(200)의 자동 진단 결과는 자동 진단 지식베이스(150)에 저장될 수 있다.
지식베이스는 규칙으로서 각종 인공지능 알고리즘에 따른 진단 결과를 저장할 수 있다. 데이터베이스는 진단 결과와 함께 그에 대응하는 의료영상을 저장할 수 있다. 의료영상은 의료용 빅데이터에서 미리 정해진 방식으로 추출한 특정 데이터에 대응할 수 있다. 진단부는 추론 엔진을 포함할 수 있으며, 전문의 규칙 번역기로서 번역된 규칙을 이용하여 데이터베이스의 데이터와 입력되는 의료영상이나 임상정보를 분류하고 분석할 수 있다.
전술한 전문의의 사용자 단말(300)은 퍼스널 컴퓨터(PC), 노트북, 태블릿 PC, 모바일 단말 등을 포함할 수 있다. 또한, 전문의의 사용자 단말(300)은 인공지능 기능 의료기기(200)에 고정적으로 혹은 착탈가능하게 설치되고, 유선 혹은 무선 네트워크를 통해 연결되는 단말 장치로 구현될 수 있다. 이러한 단말 장치는 임상시험 참여 전문의 진단 결과를 입력하기 위한 사용자 인터페이스를 구비할 수 있다. 임상시험 참여 전문의의 진단 결과는 전문의 진단 지식베이스(160)에 저장되고 미리 정해진 형태나 구조로 관리될 수 있다.
한편, 본 실시예에 따른 임상적 유효성 평가 시스템(100)은 임상 진단 일치도 산출부(113)를 더 포함하도록 구현될 수 있다. 또한, 자동 진단 지식베이스(150)의 적어도 일부와 전문의 진단 지식베이스(160)의 적어도 일부 중 적어도 어느 하나 이상을 더 포함하도록 구현될 수 있다.
또한, 임상적 유효성 평가 시스템(100)은 제1 획득부(112)의 입력단에 연결되는 평균 진단 일치도 산출부(111)를 더 포함하도록 구현될 수 있다. 물론, 구현에 따라서, 임상적 유효성 평가 시스템(100)은 임상 진단 일치도 산출부(113) 및 평균 진단 일치도 산출부(111)를 더 포함하도록 구현될 수 있다.
도 2는 본 발명의 다른 실시예에 따른 인공지능 기반 의료기기의 임상적 유효성 평가 방법의 주요 단계들을 설명하기 위한 흐름도이다.
도 2를 참조하면, 본 실시예에 따른 인공지능 기반 의료기기의 임상적 유효성 평가 방법(이하 간략히 '임상적 유효성 평가 방법'이라고 한다)은, 인공지능 기반 의료기기와 전문의 간의 진단 결과를 정량적으로 비교함으로써 임상적 유효성을 객관적으로 검증하기 위한 척도로 코헨(Cohen)의 카파 통계량(kappa statistics)을 사용할 수 있다. 카파 통계량은 서로 다른 평가자간 진단 결과의 일치도를 평가하는 척도이다.
본 실시예의 임상적 유효성 평가 방법은, 먼저 임상 시험 전에 기존 연구 결과(논문 등)나 탐색 임상시험에서 도출된 결과를 근거로 일반적 전문의들 간의 진단 일치도(
Figure 112017082659192-pat00001
)('평균 진단 일치도'에 대응한다)와 인공지능 기반 의료기기의 진단 결과와 임상시험 참여 전문의의 진단 결과 간의 진단 일치도(
Figure 112017082659192-pat00002
)('임상 진단 일치도'에 대응한다)를 설정하고, 이들을 비교할 수 있다(S10). 임상 진단 일치도(
Figure 112017082659192-pat00003
)와 평균 진단 일치도(
Figure 112017082659192-pat00004
) 간의 대소 관계는 통계적 가설 검정을 통해 평가될 수 있다.
다음, 인공지능 기반 의료기기의 진단 결과와 임상시험 참여 전문의의 진단 결과를 미리 설정된 정방형 진단 결과의 행렬 구조로 분류할 수 있다(S21). 행렬 구조의 각 행의 합과 각 열의 합 및 이들의 총합에 기초하여 유형 분류 일치 확률(Pa)과 유형 분류가 우연히 일치할 확률(Pe)을 계산할 수 있다(S22). 그리고, Pa 및 Pe에 기초하여 임상 진단 일치도를 계산할 수 있다(S23).
전술한 분류 단계(S21)에서는 4가지의 진단 결과 분류(diagnosis1, diagnosis2, diagnosis3, diagnosis4)에 따라 인공지능 기반 의료기기의 임상시험을 실시하는 경우, 진단 결과 일치도 평가를 위하여 [표 1]과 같은 진단결과 비교표를 얻을 수 있다.
Figure 112017082659192-pat00005
위의 [표 1]에서 nij는 인공지능 의료기기가 diagnosisi 분류로 진단하고, 임상시험 참여 전문의는 diagnosisj 분류로 진단한 피험자 수를 의미한다.
위의 [표 1]을 구성하는 값들은 다음의 [수학식 1] 내지 [수학식 3]의 조건을 만족한다.
Figure 112017082659192-pat00006
Figure 112017082659192-pat00007
Figure 112017082659192-pat00008
다음, 전술한 확률 계산 단계(S22)에서는, 인공지능 기반 의료기기와 성능평가 참여 전문의 간의 진단 일치도(
Figure 112017082659192-pat00009
)를 [표 1]의 값을 아래의 [수학식 4] 내지 [수학식 6]에 대입하여 계산할 수 있다.
Figure 112017082659192-pat00010
Figure 112017082659192-pat00011
Figure 112017082659192-pat00012
즉, 위의 [수학식 4]에 의해 유형 분류 일치 확률(
Figure 112017082659192-pat00013
)을 계산하고, [수학식 5]에 의해 유형 분류가 우연히 일치할 확률(
Figure 112017082659192-pat00014
)을 계산한 뒤, 최종적으로 [수학식 6]에
Figure 112017082659192-pat00015
와
Figure 112017082659192-pat00016
값을 기초하여 임상 진단 일치도(
Figure 112017082659192-pat00017
)를 계산할 수 있다.
다음으로, 일치도 산출 단계(S23)에서는, 임상 진단 일치도와 평균 진단 일치도 간의 크기 비교를 통해 임상적 유효성 평가를 위한 일치도를 산출할 수 있다. 임상 진단 일치도와 평균 진단 일치도 간의 크기 비교는 두 가지 방법의 통계적 가설 검정을 통해 수행될 수 있다.
임상 진단 일치도와 평균 진단 일치도가 다르다는 가설은 귀무가설과 대립가설로 이루어진 양측 검정에 대한 통계적 검정을 수행함으로서 확인될 수 있다.
양측 검정에 대한 통계적 검정을 나타내면 아래의 [수학식 7] 및 [수학식 8]과 같다.
Figure 112017082659192-pat00018
Figure 112017082659192-pat00019
위의 [수학식 7]은 귀무가설의, [수학식 8]은 대립가설의 통계적 검정을 각각 표현한다.
그리고, 임상 진단 일치도가 평균 진단 일치도보다 크다는 가설은 귀무가설과 대립가설로 이루어진 단측 검정에 대한 통계적 검정을 수행함으로서 확인될 수 있다.
단측 검정에 대한 통계적 검정을 나타내면 아래의 [수학식 9] 및 [수학식 10]과 같다.
Figure 112017082659192-pat00020
Figure 112017082659192-pat00021
위의 [수학식 9]는 귀무가설의, [수학식 10]은 대립가설의 통계적 검정을 각각 표현한다.
전술한 귀무가설은 설정한 가설이 진실할 확률이 극히 적어 처음부터 버릴 것이 예상되는 가설을 뜻하고, 대립가설은 가설 검정에서 연구자의 주장이 담긴 가설로서 대안가설이라고도 한다.
본 실시예에 의하면, 통계적 가설 검정 결과에 따라 대립 가설이 채택된 경우, 인공지능 기반 의료기기가 해당 분야의 전문의와 같이 진단에 참여했을 때 전문의보다 더 높은 수준의 진단 일치도를 보인다는 가설을 증명할 수 있다.
도 3은 도 1의 임상적 유효성 평가 시스템에 채용할 수 있는 구성을 나타낸 블록도이다.
도 3을 참조하면, 본 실시예에 따른 임상적 유효성 평가 시스템(100)은 제어부(110), 메모리(120) 및 통신부(130)를 포함할 수 있다. 또한, 구현에 따라서 입출력부(140)를 더 포함할 수 있다.
제어부(110)는 제1 획득부, 제2 획득부 및 비교연산부의 동작을 제어하거나 관리하는 기능을 포함할 수 있다. 제어부(110)는 입출력부(140)를 통해 인공지능 기반 의료기기의 임상적 유효성 평가 결과를 출력할 수 있다.
제어부(110)는 적어도 하나 이상의 중앙 처리 장치(CPU) 또는 코어를 포함하는 프로세서나 마이크로프로세서로 구현될 수 있다. 중앙처리장치 또는 코어는 처리할 명령어를 저장하는 레지스터(register)와, 비교, 판단, 연산을 담당하는 산술논리연산장치(arithmetic logical unit, ALU)와, 명령어의 해석과 실행을 위해 CPU를 내부적으로 제어하는 제어유닛(control unit)과, 이들을 연결하는 내부 버스 등을 구비할 수 있다. 중앙처리장치 혹은 코어는 MCU(micro control unit)와 주변 장치(외부 확장 장치를 위한 집적회로)가 함께 배치되는 SOC(system on chip)로 구현될 수 있으나, 이에 한정되지는 않는다.
또한, 제어부(110)는 하나 이상의 데이터 프로세서, 이미지 프로세서 또는 코덱(CODEC)을 포함할 수 있으나, 이에 한정되지는 않는다. 제어부(110)는 주변장치 인터페이스와 메모리 인터페이스를 구비할 수 있다. 주변장치 인터페이스는 제어부(110)와 입출력장치(140) 등의 입출력 시스템이나 다른 주변 장치를 연결하고, 메모리 인터페이스는 제어부(110)와 메모리(120)를 연결할 수 있다.
메모리(120)는 제1 획득부, 제2 획득부 및 비교연산부의 동작을 제어하거나 관리하기 위한 프로그램을 저장할 수 있다. 또한, 메모리(120)는 인공지능 기반 의료기기의 임상적 유효성 평가 결과를 출력하기 위한 소프트웨어 모듈이나 프로그램을 저장할 수 있다.
프로그램 또는 소프트웨어 모듈은, 제1 획득부의 기능 구현을 위한 제1 모듈(121), 제2 획득부의 기능 구현을 위한 제2 모듈(122), 두 진단 결과를 행렬 구조로 분류하기 위한 분류 모듈(123), 행렬 구조의 행과 열의 값과 이들의 합계를 토대로 확률을 계산하기 위한 확률 계산 모듈(124), 계산된 확률들에 기초하여 임상 진단 일치도를 계산하는 일치도 산출 모듈(125), 임상 진단 일치도와 평균 진단 일치도를 비교하는 비교연산부의 기능 구현을 위한 제3 모듈(126), 및 인공지능 기반 의료기기의 임상적 유효성 평가 결과를 입출력부(140)나 미리 설정된 출력장치로 출력하기 위한 제4 모듈(127)을 포함할 수 있다.
전술한 메모리(120)는 비휘발성 랜덤 액세스 메모리(non-volatile RAM, NVRAM), 대표적 휘발성 메모리인 DRAM(dynamic random access memory) 등의 반도체 메모리, 하드디스크 드라이브(hard disk drive, HDD), 광 저장 장치, 플래시 메모리 등으로 구현될 수 있다. 그리고 메모리(120)는 인공지능 기반 의료기기의 임상적 유효성 평가 방법을 구현하기 위한 소프트웨어 모듈 외에 운영체제, 프로그램, 명령어 집합 등을 저장할 수 있다.
한편, 전술한 실시예에 있어서, 임상적 유효성 평가 방법의 구성요소들은 비휘발성 메모리(NVRAM) 기반으로 다양한 컴퓨팅 장치의 프로세서에 의해 독출되어 기능을 수행하는 기능 블록 또는 모듈로 구현될 수 있다. 예컨대, 도 1 및 도 2의 임상적 유효성 평가 방법을 구현하는 소프트웨어 모듈은 이들이 수행하는 일련의 기능을 구현하기 위한 소프트웨어 형태로 컴퓨터 판독 가능 매체(기록매체)에 저장되거나 혹은 캐리어 형태로 원격지의 서버 장치 내 저장장치에 저장되고 서버 장치와 네트워크를 통해 연결되는 임상적 유효성 평가 장치에서 다운로드하여 해당 기능을 수행하도록 구현될 수 있다.
또한, 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하는 형태로 구현될 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램은 본 발명을 위해 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것을 포함할 수 있다.
또한, 컴퓨터 판독 가능 매체는 롬(rom), 램(ram), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다. 여기서 프로그램 명령은 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 하드웨어 장치는 본 실시예의 인공지능 기반 의료기기의 임상적 유효성 평가 장치를 작동시키기 위해 적어도 하나의 소프트웨어 모듈에 의해 구성될 수 있으며, 그 역도 마찬가지이다.
통신부(130)는 임상적 유효성 평가 장치에서 의료영상 및/또는 임상정보를 획득하는 수단이나 이러한 기능을 수행하는 구성부를 포함할 수 있다. 이러한 통신부(130)는 의료영상이나 임상영상을 준비하는 영상 획득부로서 기능할 수 있다. 또한, 통신부(130)는 평균 진단 일치도와 임상 진단 일치도가 수신되는 입력 포트를 포함하거나, 유선 또는 무선 통신 라인으로 연결되는 다른 장치에서 평균 진단 일치도와 임상 진단 일치도에 대한 데이터나 정보를 읽어오는 수단이나 구성부를 포함할 수 있다.
이러한 통신부(130)는 통신수단이나 통신 장치로서 하나 이상의 통신 프로토콜을 지원하는 하나 이상의 유선 및/또는 무선 통신 서브시스템을 포함할 수 있다.
유선 통신 서브시스템은 PSTN(public switched telephone network), ADSL(Asymmetric Digital Subscriber Line) 또는 VDSL(Very high-data rate Digital Subscriber Line) 네트워크, PES(PSTN Emulation Service)를 위한 서브시스템, IP(internet protocol) 멀티미디어 서브시스템(IMS) 등을 포함할 수 있고, 무선 통신 서브시스템은 무선 네트워크 연결을 위한 무선 주파수(radio frequency, RF) 수신기, RF 송신기, RF 송수신기, 광(예컨대, 적외선) 수신기, 광 송신기, 광 송수신기 또는 이들의 조합을 포함할 수 있다.
무선 네트워크는 기본적으로 Wi-Fi를 지칭할 수 있으나, 이에 한정되지 않는다. 본 실시예에서 통신부(130)는 다양한 무선 네트워크 예를 들어, GSM(Global System for Mobile Communication), EDGE(Enhanced Data GSM Environment), CDMA(Code Division Multiple Access), W-CDMA(W-Code Division Multiple Access), LTE(Long Term Evolution), LET-A(LET-Advanced), OFDMA(Orthogonal Frequency Division Multiple Access), WiMax, Wi-Fi(Wireless Fidelity), Bluetooth 등에서 선택되는 적어도 하나 이상을 지원할 수 있다.
입출력부(140)는 표시장치, 스피커, 키보드, 마우스, 터치패드, 터치스크린 등의 기본적인 입력, 출력 또는 입출력 장치를 포함할 수 있다. 입출력부(140)는 평가 장치(100)의 본체와 근거리 무선 통신 네트워크 등으로 연결될 수 있다. 그 경우, 입출력부(140)는 별도의 통신부를 추가로 구비할 수 있다.
본 발명에 따른 인공지능 기반 의료기기의 임상적 유효성 평가 방법은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위해 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능 매체의 예에는 롬(rom), 램(ram), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함한다. 상술한 하드웨어 장치는 본 발명의 평가 장치를 작동시키기 위해 적어도 하나의 소프트웨어 모듈로 구성될 수 있으며, 그 역도 마찬가지이다.
이상 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (9)

  1. 인공지능 기반 의료기기의 임상적 유효성 평가 시스템으로서 제1 획득부, 제2 획득부 및 비교연산부를 구비한 컴퓨팅 장치에서 수행되는 임상적 유효성 평가 방법으로서,
    상기 제1 획득부를 통해 특정 질병에 대한 다수 전문의들의 임상 진단 결과로부터 상기 다수 전문의들 간의 평균 진단 일치도를 획득하는 단계;
    상기 제2 획득부를 통해 임상시험에 사용된 인공지능 기반 의료기기의 진단 결과와 상기 임상시험에 참여한 전문의의 진단 결과 간의 임상 진단 일치도를 획득하는 단계; 및
    상기 비교연산부에 의해 상기 평균 진단 일치도와 상기 임상 진단 일치도를 비교하는 단계;
    를 포함하며,
    상기 임상 진단 일치도를 획득하는 단계는,
    상기 인공지능 기반 의료기기의 진단 결과와 상기 임상시험에 참여한 전문의의 진단 결과를 미리 설정된 4가지 진단 결과의 행렬 구조로 분류하고,
    상기 행렬 구조의 각 행의 합과 각 열의 합 및 상기 각 행의 합과 상기 각 열의 합의 총합에 기초한 유형 분류 일치 확률(Pa)과 유형 분류가 우연히 일치할 확률(Pe)을 계산하고,
    상기 유형 분류 일치 확률(Pa)과 상기 유형 분류가 우연히 일치할 확률(Pe)에 기초하여 상기 임상 진단 일치도를 계산하는,
    인공지능 기반 의료기기의 임상적 유효성 평가 방법.
  2. 삭제
  3. 청구항 1에 있어서,
    상기 비교하는 단계는, 통계적 가설 검정을 통해 상기 임상 진단 일치도와 상기 평균 진단 일치도 간의 크기를 비교연산하는, 인공지능 기반 의료기기의 임상적 유효성 평가 방법.
  4. 청구항 3에 있어서,
    상기 통계적 가설 검정은, 양측 검정 혹은 단측 검정에 대한 통계적 검정을 포함하며,
    여기서 상기 양측 검정은 상기 임상 진단 일치도의 크기와 상기 평균 진단 일치도의 크기가 서로 다르다는 대립가설 또는 상기 임상 진단 일치도의 크기와 상기 평균 진단 일치도의 크기가 같다는 귀무가설을 포함하고, 상기 단측 검정은 상기 임상 진단 일치도의 크기가 상기 평균 진단 일치도의 크기보다 크다는 대립가설 또는 상기 임상 진단 일치도의 크기가 상기 평균 진단 일치도의 크기보다 작거나 같다는 귀무가설을 포함하는, 인공지능 기반 의료기기의 임상적 유효성 평가 방법.
  5. 특정 질병에 대한 다수 전문의들의 임상 진단 결과로부터 상기 다수 전문의들을 포함한 제1 전문의들 간의 평균 진단 일치도를 획득하는 제1 획득부;
    임상시험에 사용된 인공지능 기반 의료기기의 진단 결과와 상기 임상시험에 참여한 전문의의 진단 결과 간의 임상 진단 일치도를 획득하는 제2 획득부; 및
    상기 평균 진단 일치도와 상기 임상 진단 일치도를 비교하는 비교연산부;
    를 포함하며,
    상기 제2 획득부는,
    상기 인공지능 기반 의료기기의 진단 결과와 상기 임상시험에 참여한 전문의의 진단 결과를 미리 설정된 4가지의 진단 결과에 따라 행렬 구조로 분류하는 분류 모듈;
    상기 행렬 구조의 각 행의 합과 각 열의 합 및 상기 각 행의 합과 상기 각 열의 합의 총합에 기초한 유형 분류 일치 확률(Pa)과 유형 분류가 우연히 일치할 확률(Pe)을 계산하는 확률 계산 모듈; 및
    상기 유형 분류 일치 확률(Pa)과 상기 유형 분류가 우연히 일치할 확률(Pe)에 기초하여 상기 임상 진단 일치도를 산출하는 일치도 산출 모듈;
    을 포함하는, 인공지능 기반 의료기기의 임상적 유효성 평가 시스템.
  6. 삭제
  7. 청구항 5에 있어서,
    상기 인공지능 기반 의료기기는 인공지능 또는 기계학습으로 의료용 데이터를 학습하고, 학습에 기초하여 특정 패턴을 인식하고, 인식에 기초하여 질환 또는 질병을 자동으로 진단하는 의료기기를 포함하는, 인공지능 기반 의료기기의 임상적 유효성 평가 시스템.
  8. 청구항 5에 있어서,
    상기 제1 획득부, 상기 제2 획득부 및 상기 비교연산부를 프로그램 또는 소프트웨어 모듈 형태로 저장하는 메모리; 및
    상기 메모리에 연결되어 상기 메모리에 저장된 프로그램 또는 소프트웨어 모듈을 실행하는 프로세서를 더 포함하고,
    상기 프로세서는 상기 프로그램 또는 소프트웨어 모듈에 의해 상기 제1 획득부의 기능, 상기 제2 획득부의 기능 및 상기 비교연산부의 기능을 수행하는, 인공지능 기반 의료기기의 임상적 유효성 평가 시스템.
  9. 청구항 5에 있어서,
    상기 제1 획득부, 상기 제2 획득부 및 상기 비교연산부를 프로그램 또는 소프트웨어 모듈 형태로 저장하는, 컴퓨터로 읽을 수 있는 기록매체를 포함하는, 인공지능 기반 의료기기의 임상적 유효성 평가 시스템.
KR1020170108156A 2017-08-25 2017-08-25 인공지능 기반 의료기기의 임상적 유효성 평가 방법 및 시스템 KR101811028B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170108156A KR101811028B1 (ko) 2017-08-25 2017-08-25 인공지능 기반 의료기기의 임상적 유효성 평가 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170108156A KR101811028B1 (ko) 2017-08-25 2017-08-25 인공지능 기반 의료기기의 임상적 유효성 평가 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR101811028B1 true KR101811028B1 (ko) 2017-12-20

Family

ID=60931202

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170108156A KR101811028B1 (ko) 2017-08-25 2017-08-25 인공지능 기반 의료기기의 임상적 유효성 평가 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR101811028B1 (ko)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101929752B1 (ko) * 2018-05-30 2018-12-17 (주)제이엘케이인스펙션 인공지능 기반 의료기기의 임상적 유효성 평가 방법 및 시스템
KR20190095996A (ko) * 2018-02-08 2019-08-19 주식회사 셀바스에이아이 암 의심 영역의 예측 방법 및 이를 이용한 암 의심 영역의 예측 디바이스
KR20190095997A (ko) * 2018-02-08 2019-08-19 주식회사 셀바스에이아이 암 의심 영역의 예측 모델의 평가 방법
KR101996475B1 (ko) * 2018-10-11 2019-10-01 (주)제이엘케이인스펙션 암 영역 검출의 유효성 평가 장치
KR102097742B1 (ko) 2019-07-31 2020-04-06 주식회사 딥노이드 인공지능 기반의 의료영상 검색 시스템 및 그 구동방법
KR102140402B1 (ko) * 2019-09-05 2020-08-03 주식회사 루닛 기계학습을 이용한 의료 영상 판독의 품질 관리 방법 및 장치
WO2020101457A3 (ko) * 2018-11-16 2020-10-15 주식회사 딥바이오 지도학습기반의 합의 진단방법 및 그 시스템
KR102213924B1 (ko) * 2020-07-15 2021-02-08 주식회사 루닛 기계학습을 이용한 의료 영상 판독의 품질 관리 방법 및 장치
KR20210029167A (ko) * 2020-07-15 2021-03-15 주식회사 루닛 기계학습을 이용한 의료 영상 판독의 품질 관리 방법 및 장치
US11107215B2 (en) 2018-12-21 2021-08-31 Infinitt Healthcare Co., Ltd. Medical image diagnosis assistant apparatus and method for generating evaluation scores for plurality of medical image diagnosis algorithms
KR20220039881A (ko) * 2020-09-21 2022-03-30 연세대학교 산학협력단 전문가의 진단 능력 평가 방법, 인공지능 기반의 진단 보조 방법 및 이를 이용한 디바이스
KR20220078236A (ko) * 2020-12-03 2022-06-10 주식회사 이노그리드 인공지능에 기반한 진단을 위한 수의 영상 정보 관리 방법 및 시스템
CN115035969A (zh) * 2022-05-31 2022-09-09 郑州佰科柏澍医学科技有限公司 一种中医诊断医疗器械的临床有效性和安全性评价方法
CN115116594A (zh) * 2022-06-06 2022-09-27 中国科学院自动化研究所 医疗装置有效性的检测方法及装置
KR20230002204A (ko) * 2021-01-19 2023-01-05 주식회사 루닛 기계학습을 이용한 의료 영상 판독의 품질 관리 방법 및 장치
US11742072B2 (en) 2019-11-05 2023-08-29 Infinitt Healthcare Co., Ltd. Medical image diagnosis assistance apparatus and method using plurality of medical image diagnosis algorithms for endoscopic images

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102140437B1 (ko) 2018-02-08 2020-08-03 주식회사 셀바스에이아이 암 의심 영역의 예측 방법 및 이를 이용한 암 의심 영역의 예측 디바이스
KR20190095996A (ko) * 2018-02-08 2019-08-19 주식회사 셀바스에이아이 암 의심 영역의 예측 방법 및 이를 이용한 암 의심 영역의 예측 디바이스
KR20190095997A (ko) * 2018-02-08 2019-08-19 주식회사 셀바스에이아이 암 의심 영역의 예측 모델의 평가 방법
KR102141363B1 (ko) * 2018-02-08 2020-08-05 주식회사 셀바스에이아이 암 의심 영역의 예측 모델의 평가 방법
KR101929752B1 (ko) * 2018-05-30 2018-12-17 (주)제이엘케이인스펙션 인공지능 기반 의료기기의 임상적 유효성 평가 방법 및 시스템
EP3576093A1 (en) 2018-05-30 2019-12-04 JLK Inspection Inc. Method and system for clinical effectiveness evaluation of artificial intelligence based medical device
CN110547763A (zh) * 2018-05-30 2019-12-10 株式会社Jlk英思陪胜 基于人工智能的医疗器械的临床有效性评估方法及系统
JP2019212301A (ja) * 2018-05-30 2019-12-12 ジェイエルケー インスペクション インコーポレイテッドＪｌｋ Ｉｎｓｐｅｃｔｉｏｎ Ｉｎｃ． 人工知能基盤医療機器の臨床的有効性評価方法及びシステム
WO2020076133A1 (ko) * 2018-10-11 2020-04-16 (주)제이엘케이인스펙션 암 영역 검출의 유효성 평가 장치
KR101996475B1 (ko) * 2018-10-11 2019-10-01 (주)제이엘케이인스펙션 암 영역 검출의 유효성 평가 장치
US11854193B2 (en) 2018-10-11 2023-12-26 Jlk Inc. Validity evaluation device for cancer region detection
WO2020101457A3 (ko) * 2018-11-16 2020-10-15 주식회사 딥바이오 지도학습기반의 합의 진단방법 및 그 시스템
US11107215B2 (en) 2018-12-21 2021-08-31 Infinitt Healthcare Co., Ltd. Medical image diagnosis assistant apparatus and method for generating evaluation scores for plurality of medical image diagnosis algorithms
KR102097742B1 (ko) 2019-07-31 2020-04-06 주식회사 딥노이드 인공지능 기반의 의료영상 검색 시스템 및 그 구동방법
KR102140402B1 (ko) * 2019-09-05 2020-08-03 주식회사 루닛 기계학습을 이용한 의료 영상 판독의 품질 관리 방법 및 장치
US10825178B1 (en) 2019-09-05 2020-11-03 Lunit Inc. Apparatus for quality management of medical image interpretation using machine learning, and method thereof
US11742072B2 (en) 2019-11-05 2023-08-29 Infinitt Healthcare Co., Ltd. Medical image diagnosis assistance apparatus and method using plurality of medical image diagnosis algorithms for endoscopic images
KR102213924B1 (ko) * 2020-07-15 2021-02-08 주식회사 루닛 기계학습을 이용한 의료 영상 판독의 품질 관리 방법 및 장치
KR102480134B1 (ko) 2020-07-15 2022-12-22 주식회사 루닛 기계학습을 이용한 의료 영상 판독의 품질 관리 방법 및 장치
KR20210029167A (ko) * 2020-07-15 2021-03-15 주식회사 루닛 기계학습을 이용한 의료 영상 판독의 품질 관리 방법 및 장치
KR102543013B1 (ko) 2020-09-21 2023-06-13 연세대학교 산학협력단 전문가의 진단 능력 평가 방법, 인공지능 기반의 진단 보조 방법 및 이를 이용한 디바이스
KR20220039881A (ko) * 2020-09-21 2022-03-30 연세대학교 산학협력단 전문가의 진단 능력 평가 방법, 인공지능 기반의 진단 보조 방법 및 이를 이용한 디바이스
KR20220078236A (ko) * 2020-12-03 2022-06-10 주식회사 이노그리드 인공지능에 기반한 진단을 위한 수의 영상 정보 관리 방법 및 시스템
KR102573438B1 (ko) 2020-12-03 2023-09-04 주식회사 이노그리드 인공지능에 기반한 진단을 위한 수의 영상 정보 관리 방법 및 시스템
KR20230002204A (ko) * 2021-01-19 2023-01-05 주식회사 루닛 기계학습을 이용한 의료 영상 판독의 품질 관리 방법 및 장치
KR102507315B1 (ko) 2021-01-19 2023-03-08 주식회사 루닛 기계학습을 이용한 의료 영상 판독의 품질 관리 방법 및 장치
CN115035969A (zh) * 2022-05-31 2022-09-09 郑州佰科柏澍医学科技有限公司 一种中医诊断医疗器械的临床有效性和安全性评价方法
CN115116594A (zh) * 2022-06-06 2022-09-27 中国科学院自动化研究所 医疗装置有效性的检测方法及装置
CN115116594B (zh) * 2022-06-06 2024-05-31 中国科学院自动化研究所 医疗装置有效性的检测方法及装置

Similar Documents

Publication Publication Date Title
KR101811028B1 (ko) 인공지능 기반 의료기기의 임상적 유효성 평가 방법 및 시스템
KR101857624B1 (ko) 임상 정보를 반영한 의료 진단 방법 및 이를 이용하는 장치
US11967074B2 (en) Method and system for computer-aided triage
CN109886933B (zh) 一种医学图像识别方法、装置和存储介质
US20230014705A1 (en) Method and system for computer-aided triage
Tran et al. Development of an automatic diagnostic algorithm for pediatric otitis media
US11412933B2 (en) System for analysing an activity of brain using magnetic resonance imaging (MRI) data
WO2021164640A1 (zh) 视网膜图像识别方法及装置、电子设备、存储介质
CN112348785B (zh) 一种癫痫病灶定位方法及系统
WO2021212715A1 (zh) 精神分裂症分类识别方法、运行控制装置及医疗设备
Muhaba et al. Automatic skin disease diagnosis using deep learning from clinical image and patient information
US10937143B1 (en) Fracture detection method, electronic device and storage medium
US10832410B2 (en) Computer system, method, and program for diagnosing subject
WO2021044431A1 (en) Methods, systems and software for improved diagnosis of a medical condition
WO2023198224A1 (zh) 一种精神障碍类磁共振图像初步筛查模型构建方法
Fan et al. Detecting glaucoma in the ocular hypertension study using deep learning
EP4024403A1 (en) Method and system for mental index prediction
Kim et al. Interpretable deep learning‐based hippocampal sclerosis classification
US10037481B2 (en) System and method for an otitis media database constructing and an image analyzing
EP3951794A1 (en) Skin disease analyzing program, skin disease analyzing method, skin disease analyzing device, and skin disease analyzing system
CN116703880A (zh) 一种免疫状态预测模型构建方法、预测方法及构建装置
Zhou et al. Enhancing MR imaging driven Alzheimer’s disease classification performance using generative adversarial learning
Mirarchi et al. Data mining techniques for vestibular data classification
Pivithuru et al. E-patient Card: An Integrated Electronic Health Recording System for Patient
Yee Identifying Neural Patterns and Biomarkers of ASD through Multi-phase Resting-State Functional MRI Analysis

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant