KR102545714B1 - 인공 신경망을 이용한 의료 영상의 가시화 파라미터 예측 장치 및 방법 - Google Patents
인공 신경망을 이용한 의료 영상의 가시화 파라미터 예측 장치 및 방법 Download PDFInfo
- Publication number
- KR102545714B1 KR102545714B1 KR1020200129430A KR20200129430A KR102545714B1 KR 102545714 B1 KR102545714 B1 KR 102545714B1 KR 1020200129430 A KR1020200129430 A KR 1020200129430A KR 20200129430 A KR20200129430 A KR 20200129430A KR 102545714 B1 KR102545714 B1 KR 102545714B1
- Authority
- KR
- South Korea
- Prior art keywords
- neural network
- medical image
- sub
- artificial neural
- parameter set
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Databases & Information Systems (AREA)
- Pathology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- General Business, Economics & Management (AREA)
- Business, Economics & Management (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
인공 신경망 기반 의료 영상 가시화 장치 및 방법이 개시된다. 본 발명의 일 실시예에 따른 장치는, 통신 인터페이스 모듈; 인공 신경망; 및 적어도 하나 이상의 프로세서를 포함하고, 적어도 하나 이상의 프로세서는 인공 신경망이 의료 영상에 대한 추론을 통하여 의료 영상의 최적 가시화 파라미터 셋을 예측하도록 인공 신경망을 제어하고, 적어도 하나 이상의 프로세서는 최적 가시화 파라미터 셋을 의료 영상에 적용하여 최적 가시화 영상을 생성한다.
Description
본 발명은 의료 영상의 가시화 파라미터 예측 장치 및 방법에 관한 것이다. 구체적으로 본 발명은 의료진, 즉, 인간의 육안으로 의료 영상에 기반한 의료 행위를 수행함에 있어서 최적화되도록 가시화하는 파라미터를 예측하는 기술에 관한 것이며, 가시화 과정의 일부 또는 전부를 인공 신경망에 기반하여 자동으로 처리하는 기술에 관한 것이다.
본 발명은 중소벤처기업부 및 중소기업기술정보진흥원의 창업성장기술개발, 팁스(TIPS, 민간투자주도형 기술창업지원) 사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 1425139109, 과제명: 휴대용 백내장 수술용 조명 챠퍼 개발 및 고도화].
의료 현장에서 다양한 영상 기술이 적용되면서, 의료진, 즉, 인간의 육안으로 의료 영상을 식별하고 의료 영상에 기반한 의료 행위를 수행함에 있어서 안전성과 임상적 효용성을 극대화할 수 있도록 의료 영상을 가시화하고 최적화하는 작업이 필요하다.
이와 관련하여 일반 사진 영상의 처리 기술이 의료 영상 처리 과정에 접목되기도 하고, 최근에는 인공 신경망 기술의 발전으로 의료 영상 처리에 인공 신경망을 이용하고자 하는 시도도 증가하고 있다.
이러한 맥락에서, 예를 들어 선행문헌인 한국공개특허 KR 10-2019-0104927호 "사진 영상 제공 장치 및 사진 영상 제공 방법"은 일반 사진 영상에 대하여 회귀(regression) 태스크(task)를 수행하는 인공 신경망 기술을 적용한 기술이다. 상기 선행문헌에서는 복수의 후보 사진 이미지 중에서 선택한 후보 사진 이미지에 대응하는 사용자 선호 화질 정보를 획득하도록 인공 신경망을 훈련하여 학습하고, 새로운 사진 영상을 획득한 경우, 학습에 의하여 획득된 사용자 선호 화질 정보에 기반하여 새로운 사진 영상의 화질을 조절하는 기술을 소개한다.
그러나 상기 선행문헌의 경우 일반 사진 영상을 대상으로 하고 있기 때문에 사용자의 선호도를 달성하는 정도의 성능으로 상기 선행문헌의 발명의 목적을 달성하기에는 충분한 반면, 상기 선행문헌에 기반하여 실제로 의료 영상의 가시화 처리가 달성해야 하는 중요한 목적인 안전성과 임상적 유용성을 달성하기는 어렵다.
따라서 상기 선행문헌의 선행기술과 기술적 배경을 같이 하면서도 의료 행위의 안전성을 높이고 임상적 유용성을 달성할 수 있는 인공 신경망 기반 의료 영상의 가시화 처리 기술에 대한 니즈가 대두된다.
본 발명의 목적은 의료 영상에 기반하여 의료 행위를 수행하는 경우에 의료 행위의 안전성을 높이고 의료 영상의 임상적 유용성을 높이기 위한 의료 영상 가시화 기법을 제공하는 것이다.
본 발명의 목적은 일반적인 영상 처리 기술에 기반하되 의료 영상의 특수성에 더욱 최적화된 개선된 영상 가시화 기법을 제공하는 것이다.
본 발명의 목적은 인공 신경망에 기반하여 의료 행위의 안전성을 높이고 의료 영상의 임상적 유용성을 높이기 위한 의료 영상 가시화 기법을 제공하는 것이다.
본 발명의 목적은 의료 영상의 특수성에 더욱 최적화되도록 개선된 인공 신경망의 훈련 및 추론 기법을 제안하며, 제안된 인공 신경망에 기반한 의료 영상 가시화 기법을 제공하는 것이다.
본 발명의 목적은 예를 들어 백내장 수술과 같은 특수한 수술 행위를 보조하는 영상 제공 시스템에서 의료 행위의 안전성을 높이고 의료진에게 임상적 유용성을 높일 수 있는 의료 영상을 제공하는 것이다.
본 발명은 상기의 목적을 달성하기 위하여 도출된 구성으로서, 본 발명의 일 실시예에 따른 인공 신경망 기반 의료 영상 가시화 파라미터 예측 장치는, 통신 인터페이스 모듈; 인공 신경망; 및 적어도 하나 이상의 프로세서를 포함한다. 적어도 하나 이상의 프로세서는 의료 영상이 인공 신경망에 입력되도록 통신 인터페이스 모듈을 제어하고, 적어도 하나 이상의 프로세서는 인공 신경망이 의료 영상에 대한 추론을 통하여 의료 영상의 최적 가시화 파라미터 셋을 예측하도록 인공 신경망을 제어한다. 적어도 하나 이상의 프로세서는 최적 가시화 파라미터 셋을 의료 영상에 적용하여 최적 가시화 영상을 생성하고, 적어도 하나 이상의 프로세서는 최적 가시화 영상을 사용자에게 제공하도록 통신 인터페이스 모듈을 제어한다.
인공 신경망은 회귀 태스크(regression task)를 해결하는 회귀 태스크 신경망; 및 적대적 생성 신경망; 을 포함할 수 있다. 적어도 하나 이상의 프로세서는 의료 영상이 적대적 생성 신경망으로 입력되도록 통신 인터페이스 모듈을 제어할 수 있고, 적어도 하나 이상의 프로세서는 적대적 생성 신경망에 의하여 의료 영상이 변형된 변형 의료 영상이 생성되도록 적대적 생성 신경망을 제어할 수 있고, 적어도 하나 이상의 프로세서는 변형 의료 영상이 회귀 태스크 신경망으로 입력되도록 적대적 생성 신경망 및 회귀 태스크 신경망을 제어할 수 있고, 적어도 하나 이상의 프로세서는 회귀 태스크 신경망이 적어도 변형 의료 영상에 기반하여 최적 가시화 파라미터 셋을 예측하도록 인공 신경망을 제어할 수 있다.
회귀 태스크 신경망은 제1 서브 신경망 및 제2 서브 신경망을 포함할 수 있다. 제1 서브 신경망 및 제2 서브 신경망은 최종 레이어에서 서로 앙상블될 수 있다. 적어도 하나 이상의 프로세서는 의료 영상이 제1 서브 신경망에 입력되도록 통신 인터페이스 모듈을 제어할 수 있고, 적어도 하나 이상의 프로세서는 변형 의료 영상이 제2 서브 신경망에 입력되도록 적대적 생성 신경망 및 제2 서브 신경망을 제어할 수 있다. 적어도 하나 이상의 프로세서는 제1 서브 신경망이 의료 영상에 대한 제1 추론 결과를 최종 레이어로 전달하도록 제1 서브 신경망을 제어할 수 있고, 제2 서브 신경망이 변형 의료 영상에 대한 제2 추론 결과를 최종 레이어로 전달하도록 제1 서브 신경망을 제어할 수 있다.
적어도 하나 이상의 프로세서는 훈련용 의료 영상을 제1 서브 신경망의 입력으로 전달할 수 있고, 적어도 하나 이상의 프로세서는 적대적 생성 신경망으로부터 생성되는 훈련용 생성 영상을 제2 서브 신경망의 입력으로 전달할 수 있고, 적어도 하나 이상의 프로세서는 제1 서브 신경망 및 제2 서브 신경망이 함께 가시화 파라미터 셋을 최적화하는 과정을 훈련하도록 제1 서브 신경망 및 제2 서브 신경망을 제어할 수 있다.
의료 영상은 백내장 수술 영상일 수 있다.
최적 가시화 파라미터 셋은 밝기(Brightness), 콘트라스트(Contrast), 감마(Gamma), 색상(Hue), 채도(Saturation), 및 RGB-CMYK 간 컬러 밸런스(Color Balance) 중 적어도 하나 이상을 포함할 수 있다.
본 발명의 일 실시예에 따른 인공 신경망 기반 의료 영상 가시화 파라미터 예측 방법은, 인공 신경망 및 적어도 하나 이상의 프로세서를 포함하는 인공 신경망 기반 의료 영상 가시화 장치에서 실행될 수 있고, 적어도 하나 이상의 프로세서에 의하여 의료 영상이 인공 신경망에 입력되는 입력 단계; 인공 신경망이 의료 영상에 대한 추론을 통하여 의료 영상의 최적 가시화 파라미터 셋을 예측하는 추론 단계를 포함한다. 적어도 하나 이상의 프로세서에 의하여 최적 가시화 파라미터 셋이 의료 영상에 적용됨으로써 최적 가시화 영상이 생성되는 조정 단계; 및 적어도 하나 이상의 프로세서에 의하여 최적 가시화 영상이 사용자에게 제공되는 제공 단계를 포함한다.
본 발명의 의료 영상 가시화 기법에 의하여 예측된 가시화 파라미터가 작용되어 가시화된 의료 영상에 기반하여 의료 행위를 수행하는 경우에 의료 행위의 안전성을 높이고 의료 영상의 임상적 유용성을 높일 수 있다.
본 발명의 의료 영상 가시화 파라미터 예측 기법은 일반적인 영상 처리 기술에 기반하되 의료 영상의 특수성에 더욱 최적화된 개선된 성능을 가질 수 있다.
본 발명의 의료 영상 가시화 파라미터 예측 기법은 인공 신경망에 기반하여 의료 행위의 안전성을 높이고 의료 영상의 임상적 유용성을 높일 수 있다.
본 발명의 의료 영상 가시화 파라미터 예측 기법에 적용되는 인공 신경망은 의료 영상의 특수성에 더욱 최적화되도록 개선된 인공 신경망의 훈련 및 추론 기법에 따른 것이다. 본 발명에 따르면 개선된 인공 신경망에 기반한 의료 영상 가시화 기법을 구현할 수 있다.
본 발명의 의료 영상 가시화 파라미터 예측 기법에 따르면 예를 들어 백내장 수술과 같은 특수한 수술 행위를 보조하는 영상 제공 시스템에서 의료 행위의 안전성을 높이고 의료진에게 임상적 유용성을 높일 수 있는 의료 영상을 제공할 수 있다.
도 1은 본 발명의 기술 분야의 일반적인 의료 영상 가시화 과정을 도시하는 도면이다.
도 2는 본 발명의 기술 분야의 의료 영상 가시화 과정 내의 파라미터 조정 과정을 예시적으로 설명하는 도면이다.
도 3은 본 발명의 구성의 일부로서 의료 영상 가시화를 위하여 인공 신경망을 이용하는 구성을 예시적으로 설명하는 도면이다.
도 4는 본 발명의 구성의 일부인 적대적 생성 신경망을 이용하여 의료 영상에 기반하여 유사 의료 영상을 생성하는 과정을 도시하는 도면이다.
도 5는 본 발명의 일 실시예에 따른 의료 영상 가시화를 위한 인공 신경망 훈련 과정을 도시하는 도면이다.
도 6은 본 발명의 일 실시예에 따른 의료 영상 가시화를 위한 인공 신경망 추론 과정을 도시하는 도면이다.
도 7은 본 발명의 일 실시예에 따른 인공 신경망 기반 의료 영상 가시화 장치를 도시하는 블록도이다.
도 8은 본 발명의 일 실시예에 따른 인공 신경망 기반 의료 영상 가시화 방법을 도시하는 동작 흐름도이다.
도 2는 본 발명의 기술 분야의 의료 영상 가시화 과정 내의 파라미터 조정 과정을 예시적으로 설명하는 도면이다.
도 3은 본 발명의 구성의 일부로서 의료 영상 가시화를 위하여 인공 신경망을 이용하는 구성을 예시적으로 설명하는 도면이다.
도 4는 본 발명의 구성의 일부인 적대적 생성 신경망을 이용하여 의료 영상에 기반하여 유사 의료 영상을 생성하는 과정을 도시하는 도면이다.
도 5는 본 발명의 일 실시예에 따른 의료 영상 가시화를 위한 인공 신경망 훈련 과정을 도시하는 도면이다.
도 6은 본 발명의 일 실시예에 따른 의료 영상 가시화를 위한 인공 신경망 추론 과정을 도시하는 도면이다.
도 7은 본 발명의 일 실시예에 따른 인공 신경망 기반 의료 영상 가시화 장치를 도시하는 블록도이다.
도 8은 본 발명의 일 실시예에 따른 인공 신경망 기반 의료 영상 가시화 방법을 도시하는 동작 흐름도이다.
상기 목적 외에 본 발명의 다른 목적 및 특징들은 첨부 도면을 참조한 실시예에 대한 설명을 통하여 명백히 드러나게 될 것이다.
본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 발명의 구성 중 본 발명의 출원 전에 당업자에게 공지된 내용은 필요에 따라서 본 명세서에서 본 발명의 구성 중 일부로서 설명하되, 당업자에게 자명한 사실은 발명의 취지를 흐릴 수 있다고 생각되면 설명을 생략할 수 있다. 또한 본 명세서에서 생략된 사항은 본 출원명세서에서 인용하고 있는 선행문헌들, 예를 들어, 한국공개특허 KR 10-2019-0104927호 "사진 영상 제공 장치 및 사진 영상 제공 방법", 한국등록특허 KR 10-1843066호 "기계 학습에 있어서 데이터 확대를 이용하여 데이터의 분류를 수행하는 방법 및 이를 이용한 장치", 한국공개특허 KR 10-2020-0075940호 "실시간 데이터 셋 확대 생성 시스템, 실시간 데이터 셋 확대 생성 방법, 및 이를 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체", 한국공개특허 KR 10-2020-0048825호 "가상현실 기반의 백내장 수술 시뮬레이터 시스템", 및 한국등록특허 KR 10-1940611호 "레이저 백내장 시술의 수술 내부 광 간섭 단층 촬영 결상을 위한 화상 프로세서" 등을 통하여 당업자에게 공지되었음을 알림으로써 설명에 갈음할 수 있다.
사진 등의 영상을 가공하고 조정하여 사용자에게 제공하는 공지의 기술로서 회귀 태스크(regression task)를 수행하는 인공 신경망을 이용하는 기술이 한국공개특허 KR 10-2019-0104927호 "사진 영상 제공 장치 및 사진 영상 제공 방법"에 의하여 개시된다. 또한 의료 영상에서 적대적 생성 신경망(GAN, Generative Adversarial Network)을 이용하는 경우에 적대적 생성 신경망의 구조 등에 대한 공지의 기술은 한국등록특허 KR 10-1843066호 "기계 학습에 있어서 데이터 확대를 이용하여 데이터의 분류를 수행하는 방법 및 이를 이용한 장치", 및 한국공개특허 KR 10-2020-0075940호 "실시간 데이터 셋 확대 생성 시스템, 실시간 데이터 셋 확대 생성 방법, 및 이를 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체" 등에 개시된다.
본 발명의 실시예들 중 하나인 백내장 수술 영상을 이용하는 의료 행위를 구성하는 일반적인 플로우 및 필요한 요소들은 한국공개특허 KR 10-2020-0048825호 "가상현실 기반의 백내장 수술 시뮬레이터 시스템" 등에서 개략적으로 개시된다.
또한 본 발명의 산업상 이용 가능성을 뒷받침하기 위한 개시로서, 본 발명은 공지 기술인 한국등록특허 KR 10-1940611호 "레이저 백내장 시술의 수술 내부 광 간섭 단층 촬영 결상을 위한 화상 프로세서" 등에서 개시된 레이저 백내장 시술 시 의료진에게 안구에 대한 영상을 제공하는 장치 및 시스템 내부의 프로세서 등에 적용되어, 의료진에게 보다 효과적인 안구 영상(백내장 시술/수술 영상)을 제공할 수 있다. 물론 본 발명의 사상은 상기 선행문헌과의 결합에만 국한되지 않으며, 상기 한국등록특허 KR 10-1940611호 "레이저 백내장 시술의 수술 내부 광 간섭 단층 촬영 결상을 위한 화상 프로세서" 등에서 개시되지 않은 다양한 종류의 안구 영상(백내장 수술/시술 영상) 제공 장치, 시스템, 및 방법과 결합되어 의료 행위의 안전성을 높이고 의료 영상의 임상적 유용성을 높일 수 있는 의료 영상 가시화 기법을 제공할 수 있다.
이들 선행문헌들이 개시하는 내용 중 일부는 본 발명이 해결하고자 하는 문제점과 관련되며, 본 발명이 채택하는 해결 수단 중 일부는 이들 선행문헌에도 공통적으로 적용된다.
인공 신경망을 훈련하기 위한 데이터 셋, 인공 신경망 연산을 지시하는 프로그램 인스트럭션, 인공 신경망 연산이 수행되는 프로세서, 프로세서와 데이터 셋을 주고받는 통신부, 인공 신경망 연산이 수행되는 과정의 데이터를 저장하는 메모리, 및 인공 신경망의 추론을 거쳐 생성된 이미지를 사용자에게 디스플레이하는 디스플레이 등 본 발명을 구현하기 위하여 필요한 구성 요소로서 당업자에게는 자명한 사실이며 본 발명의 본질적인 요소가 아닌 부가적인 요소에 불과한 요소들에 대해서는 상기 선행문헌들에 개시된 사항에 의하여 설명을 대신하거나 자세한 설명을 생략할 수 있다.
도 1 내지 도 4는 본 발명의 일 실시예에서 채택한 구성요소를 도시하는 도면이다. 도 1 내지 도 4의 적어도 일부는 본 발명과 관련되는 종래 기술을 도시한 것이며, 필요에 따라 본 발명의 구성에 적용하기 위하여 변형된 부분을 포함하므로 특허법 상 인정되는 종래 기술과는 상이할 수 있다.
이하의 도 1 내지 도 8의 설명에서, 본 발명의 기술 분야에서 널리 알려진 공지 기술이라고 간주되는 사항은 요점을 흐리지 않기 위하여 필요에 따라 설명을 생략하거나, 선행문헌을 인용함으로써 설명을 대체할 수 있다.
또한 앞서 인용된 선행문헌 및 이후 인용되는 선행문헌들의 구성의 일부 또는 전부는 본 발명이 해결하고자 하는 문제점과 관련되며, 본 발명이 채택하는 해결 수단 중 일부는 선행문헌들로부터 차용한 것일 수 있다.
선행문헌들에 개시된 사항들 중 본 발명을 구체화하기 위하여 공통적으로 포함되는 사항에 한하여 본 발명의 구성의 일부로서 간주될 것이다.
이하에서 본 발명의 상세한 사항을 도 1 내지 도 8의 실시예들을 통하여 설명한다.
도 1은 본 발명의 기술 분야의 일반적인 의료 영상 가시화 과정을 도시하는 도면이다.
도 2는 본 발명의 기술 분야의 의료 영상 가시화 과정 내의 파라미터 조정 과정을 예시적으로 설명하는 도면이다.
도 1 및 도 2를 참조하면, 의료 영상 가시화 과정에 따르면 원본 입력 영상(110)에 대한 영상 조정(130)이 수행되고, 영상 조정(130)의 결과로서 가시화 영상(120)이 생성된다.
이때 영상 조정(130)의 과정이 반복적으로 수행되는 동안 데이터 축적(140)이 이루어지고, 데이터 축적(140)의 결과를 분석하여 가시화 파라미터 셋(150)이 생성된다.
가장 일반적인 의료 영상 가시화 과정은 의료 전문가가 원본 입력 영상(110)의 가시화 파라미터를 조정하여 적절한 가시화 영상(120)이 얻어질 때까지 영상 조정(130)을 반복 수행할 수 있다.
이 과정에서 영상 조정(130)은 도 2의 그래픽 사용자 인터페이스(GUI) 등에 기반하여 수행될 수 있고, 의료 전문가가 채택한 영상 조정(130)의 결과물은 도 2의 GUI에 기반하여 데이터 축적(140)으로 이어지며, 데이터 축적(140)의 결과가 분석되어 가시화 파라미터 셋(150)이 생성된다.
도 2에 도시된 것처럼 가시화 파라미터 셋(150)은 밝기(Brightness), 콘트라스트(Contrast), 감마(Gamma), 색상(Hue), 및 채도(Saturation) 중 적어도 하나 이상을 포함할 수 있다. 또한 가시화 파라미터 셋(150)은 RGB-CMYK 간 3개 타입(cyan-red, magenta-green, yellow-blue)의 컬러 밸런스(Color Balance)에 대한 정보를 더 포함할 수 있다. 즉, 원본 입력 영상(110)은 적색 계열로 나타나더라도 가시화 영상(120)은 녹색 또는 청색 계열로 표현될 수 있다.
본 발명의 의료 영상 가시화 기법은 종래의 영상 조정(130) 과정에서 이루어지는 인간의 행위를 인공 신경망의 오퍼레이션으로 대체하여 구현되며, 영상 조정(130) 및 데이터 축적(140)이 인공 신경망의 훈련 과정을 통하여 함께 수행될 수 있다.
이 과정에서 본 발명의 의료 영상 가시화 기법의 인공 신경망은 훈련 과정을 통하여 가시화 파라미터 셋(150)을 예측할 수 있는 정보를 내재화하기 위하여 연속된 출력 값을 예측하는 용도로 널리 활용되는 회귀 태스크(regression task)를 해결하는 인공 신경망일 수 있다. 일반적으로 회귀 태스크는 가격, 확률, 또는 앞선 선행문헌 중 한국공개특허 KR 10-2019-0104927호 "사진 영상 제공 장치 및 사진 영상 제공 방법"에서 개시된 것처럼 사진 영상의 사용자 선호 화질 정보 등 연속된 출력 값을 예측하는 태스크를 의미하는 것으로 알려져 있다.
도 3은 본 발명의 구성의 일부로서 의료 영상 가시화를 위하여 인공 신경망을 이용하는 구성을 예시적으로 설명하는 도면이다.
도 3의 실시예는 본 발명의 구성의 일부를 차용한 실시예로서, 본 발명의 비교례로서 이해될 수도 있다.
도 3을 참고하면, 원본 입력 영상(310)이 인공 신경망(330)에 입력되고, 인공 신경망(330)은 훈련을 통하여 도 1의 영상 조정(130) 및 데이터 축적(140)을 함께 수행한다. 인공 신경망(330)을 회귀 태스크(regression task)를 해결하는 신경망으로 채택하는 경우, 인공 신경망(330)은 가시화 파라미터 셋(350)을 예측할 수 있도록 학습하고, 원본 입력 영상(310)이 새로운 의료 영상인 경우 인공 신경망(330)의 추론을 통하여 가시화 파라미터 셋(350)이 예측될 수 있다. 추론을 통하여 얻어지는 가시화 파라미터 셋(350)은 훈련/학습에 의하여 최적화된 가시화 파라미터 셋(350)일 수 있다.
인공 신경망(330)은 훈련 과정에서 훈련용 원본 입력 영상(310)이 포함하는 문맥 정보(context information)에 기반하여 의료 전문가가 채택한 훈련용 가시화 영상 간의 관계를 학습한다. 따라서 인공 신경망(330)은 명시적으로 드러나지 않으나 훈련용 원본 입력 영상(310)이 포함하는 문맥 정보에 관련되어 달라지는 가시화 파라미터 셋(350)을 도출할 수 있다. 즉, 영상 조정(130)을 의료 전문가가 직접 수행하거나 룰-베이스드(rule-based) 방식으로 진행할 경우 패턴화하기 어려운 훈련용 원본 입력 영상(310)의 문맥 정보가 가시화 파라미터 셋(350)에 반영될 수 있다. 문맥 정보에는 훈련용 원본 입력 영상(310)이 포함하는 병변의 중증도, 병변의 위치, 병변과 마커 간의 상대적 위치 등이 포함될 수 있다.
도 4는 본 발명의 구성의 일부인 적대적 생성 신경망을 이용하여 의료 영상에 기반하여 유사 의료 영상을 생성하는 과정을 도시하는 도면이다.
도 4를 참조하면, 적대적 생성 신경망(GAN, Generative Adversarial Network)은 생성자(Generator) 신경망(432)과 판별자(Discriminator) 신경망(432a)을 포함한다. 생성자 신경망(432)에는 입력 영상(410)이 입력되어 생성 영상(420)이 출력된다. 판별자 신경망(432a)은 생성 영상(420)을 실제의 가시화 영상과 비교하여 생성 영상(420)이 소정의 기준을 충족하는 지 여부를 판별한다. 적대적 생성 신경망의 구성 및 동작은 앞서 인용된 한국등록특허 KR 10-1843066호 "기계 학습에 있어서 데이터 확대를 이용하여 데이터의 분류를 수행하는 방법 및 이를 이용한 장치", 및 한국공개특허 KR 10-2020-0075940호 "실시간 데이터 셋 확대 생성 시스템, 실시간 데이터 셋 확대 생성 방법, 및 이를 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체" 등의 선행문헌을 통하여 당업자에게 공지되어 있으므로 자세한 설명은 상기 선행문헌에 개시된 사항으로 대신한다.
적대적 생성 신경망은 훈련 과정에서 후술할 도 5의 회귀 태스크 신경망들과 함께 훈련될 수 있다. 이때 적대적 생성 신경망의 입력은 랜덤 노이즈 영상으로부터 출발하여 생성 영상(420)이 소정의 기준을 충족할 때까지 훈련이 이루어지도록 제어될 수 있다.
추론 과정에서는 본 발명의 일 실시예에서는, 예를 들어 도 6에서처럼 의료 영상을 입력받아 생성자 신경망(432)이 영상을 생성할 수 있다.
도 5는 본 발명의 일 실시예에 따른 의료 영상 가시화를 위한 인공 신경망 훈련 과정을 도시하는 도면이다.
인공 신경망(530)은 회귀 태스크(regression task)를 해결하기 위하여 설계된 회귀 태스크 신경망들(534, 536) 및 적대적 생성 신경망(532)을 포함할 수 있다. 훈련용 의료 영상(510)은 제1 서브 신경망(534)의 입력으로 전달되고, 적대적 생성 신경망(532)로부터 출력되는 변형 의료 영상(512)은 제2 서브 신경망(536)의 입력으로 전달된다. 제1 서브 신경망(534) 및 제2 서브 신경망(536)은 최종 레이어(538)에서 서로 앙상블된다. 이때 본 발명의 일 실시예에서는 제1 서브 신경망(534) 및 제2 서브 신경망(536)이 서로 동일한 크기를 가지는 신경망일 수도 있고, 다른 실시예에서는 제1 서브 신경망(534) 및 제2 서브 신경망(536)의 최종 레이어(538) 직전의 레이어가 동일한 크기를 가지도록 설계될 수도 있다.
훈련용 의료 영상(510)은 정상적인 입력 영상이고, 변형 의료 영상(512)은 적대적 생성 신경망(532)으로부터 생성되는 Fake 입력 영상이므로, 변형 의료 영상(512)은 비전문가의 육안으로는 유사한 형상을 취하되 임상적으로는 훈련용 의료 영상(510)가 상이한 정보를 포함할 수도 있다.
본 발명의 일 실시예에서는 적대적 생성 신경망(532)와 제1 서브 신경망(534), 및 제2 서브 신경망(536)이 함께 훈련될 수도 있고, 다른 실시예에서는 적대적 생성 신경망(532)은 별도의 훈련 과정을 거친 후 제1 서브 신경망(534) 및 제2 서브 신경망(536)만이 함께 훈련될 수도 있다.
훈련 과정을 거쳐 인공 신경망(530)은 입력 영상(510)으로부터 다양한 문맥 정보를 고려한 가시화 파라미터 셋을 도출할 수 있는 기능을 학습할 수 있다.
도 6은 본 발명의 일 실시예에 따른 의료 영상 가시화를 위한 인공 신경망 추론 과정을 도시하는 도면이다.
인공 신경망(630)은 회귀 태스크(regression task)를 해결하기 위하여 설계된 회귀 태스크 신경망들(634, 636) 및 적대적 생성 신경망(632)을 포함할 수 있다.
추론 과정에서는, 입력 의료 영상(610)이 적대적 생성 신경망(632)의 입력으로 전달된다. 이때 적대적 생성 신경망(632)은 입력 의료 영상(610)을 변형하여 변형 의료 영상(612)을 생성하고, 변형 의료 영상(612)은 회귀 태스크 신경망들(634, 636)의 적어도 일부에 입력으로 전달된다. 회귀 태스크 신경망들(634, 636)은 적어도 변형 의료 영상(612)에 기반하여 최적의 가시화 파라미터 셋(650)을 예측할 수 있다.
좀 더 구체적으로는, 회귀 태스크 신경망들(634, 636)은 제1 서브 신경망(634) 및 제2 서브 신경망(636)을 포함한다. 제1 서브 신경망(634) 및 제2 서브 신경망(636) 각각은 회귀 태스크를 해결하기 위하여 설계된 신경망들일 수 있다. 제1 서브 신경망(634) 및 제2 서브 신경망(636)은 최종 레이어(638)에서 서로 앙상블될 수 있다.
이때 본 발명의 일 실시예에서는 제1 서브 신경망(634) 및 제2 서브 신경망(636)이 서로 동일한 크기를 가지는 신경망일 수도 있고, 다른 실시예에서는 제1 서브 신경망(634) 및 제2 서브 신경망(636)의 최종 레이어(638) 직전의 레이어가 동일한 크기를 가지도록 설계될 수도 있다.
본 발명의 일 실시예에서는 제1 서브 신경망(634)에는 정상적인 입력 의료 영상(610)이 입력으로 전달되고, 제2 서브 신경망(636)에는 적대적 생성 신경망(632)에 의하여 생성되는 변형 의료 영상(612)이 입력으로 전달될 수 있다.
제1 서브 신경망(634)은 추론 과정에서 입력 의료 영상(610)에 기반하여 제1 추론 결과를 최종 레이어(638)로 전달하고, 제2 서브 신경망(636)은 추론 과정에서 변형 의료 영상(612)에 기반하여 제2 추론 결과를 최종 레이어(638)로 전달할 수 있다. 최종 레이어(638)에서 제1 추론 결과와 제2 추론 결과는 앙상블되며, 앙상블 시 각 노드 간의 가중치 정보는 앞선 도 5의 훈련 과정을 통하여 생성되고 인공 신경망(630)의 학습 결과로서 저장될 수 있다. 즉, 인공 신경망(630)의 훈련/학습에 의하여 얻어지는 최적 가시화 파라미터 생성 모델에는 제1 추론 결과와 제2 추론 결과 간의 앙상블시 가중치가 포함되어 저장될 수 있으며, 앙상블시 가중치는 최종 레이어(638)을 이루는 각 노드 별로 구분되어 저장될 수 있다.
추론 과정에서 최종 레이어(638)의 출력으로부터 얻어지는 최적 가시화 파라미터 셋(650)은 인공 신경망(630)이 학습/훈련의 결과로서 입력 의료 영상(610)에 대하여 예측한 최적화된 가시화 파라미터 셋으로 간주될 수 있다. 최적 가시화 파라미터 셋(650)은 디스플레이(도시되지 않음), 또는 다양한 사용자 인터페이스를 경유하여 사용자에게 제공될 수 있다.
또한 본 발명의 일 실시예에 따른 인공 신경망 기반 의료 영상 가시화 장치는 입력 의료 영상(610)에 최적 가시화 파라미터 셋(650)이 적용됨으로써 생성되는 가시화 영상을 디스플레이, 또는 다양한 사용자 인터페이스를 경유하여 사용자에게 제공할 수 있다.
이상에서 도 1 내지 도 6을 통하여 본 발명의 일 실시예에 따른 인공 신경망 기반 의료 영상 가시화 기법이 개시되었다. 본 발명의 인공 신경망 기반 의료 영상 가시화 기법은 프로세서, 컨트롤러, 및/또는 분산 설계된 로직 등에 의하여 각 기능 요소들이 하드웨어로서 구현될 수 있다.
도 7은 본 발명의 일 실시예에 따른 인공 신경망 기반 의료 영상 가시화 장치(700)를 도시하는 블록도이다.
본 발명의 일 실시예에 따른 인공 신경망 기반 의료 영상 가시화 장치(700)는 인공 신경망(730)의 훈련 및/또는 추론 과정을 제어하고 인공 신경망(730)의 훈련 및/또는 추론 과정의 데이터 플로우를 제어하는 적어도 하나 이상의 프로세서(710), 인공 신경망(730)의 각 노드들의 인공 신경망 연산을 수행하는 적어도 하나 이상의 프로세서(710), 프로세서(710)와 데이터셋을 주고받는 통신부 또는 통신 인터페이스 모듈(750), 인공 신경망 연산이 수행되는 과정의 런타임 데이터(가중치 및/또는 액티베이션 파라미터)를 저장하는 메모리(도시되지 않음)를 포함할 수 있다. 인공 신경망(730)의 훈련 과정을 통하여 얻어지는 인공 신경망(730) 내의 가중치 데이터셋은 인공 신경망 기반 의료 영상 가시화 장치(700)와 관련되는 내부 또는 외부의 메모리 및/또는 데이터베이스에 저장될 수 있다. 인공 신경망 기반 의료 영상 가시화 장치(700)의 프로세서(710), 인공 신경망(730), 및 통신 인터페이스 모듈(750) 간의 동작은 앞서 설명된 도 5 및 도 6을 참조하여 당업자에게 자명하게 이해될 수 있을 것이다. 인공 신경망 기반 의료 영상 가시화 장치(700)의 하드웨어 구성 요소의 일반화된 구조 및 기능은 앞서 인용된 다수의 선행 문헌 및 본 발명의 출원 전 공지의 기술로부터 당업자가 자명하게 이해할 수 있으므로 자세한 설명은 생략한다.
또한 본 발명의 인공 신경망 기반 의료 영상 가시화 장치(700) 내부의 통신부/통신 인터페이스 모듈(750)은 인공 신경망(730)을 훈련하기 위한 입력 데이터셋과 추론의 결과로서 얻어지는 출력 데이터셋을 내부 또는 외부의 장치와 송수신할 수 있다.
인공 신경망(730)을 훈련하기 위한 입력 데이터셋은 외부의 데이터베이스로부터 얻어질 수도 있고, 내부의 메모리 또는 데이터베이스로부터 프로세서(710)로 호출될 수 있다.
본 발명의 인공 신경망 기반 의료 영상 가시화 기법은 프로세서, 컨트롤러, 및/또는 분산 설계된 로직 등에 의하여 각 기능 요소들이 하드웨어로서 구현될 수도 있으나, 동일한 기능을 수행하는 기능 요소들이 프로그램 인스트럭션 형태로 메모리에 로드되고 프로세서, 컨트롤러, 및/또는 분산 설계된 로직 등에 의하여 호출되어 실행될 수도 있다. 이러한 실시예는 인공 신경망 기반 의료 영상 가시화 방법으로서 본 발명의 또 다른 일 실시예를 구현한다.
도 8은 본 발명의 일 실시예에 따른 인공 신경망 기반 의료 영상 가시화 방법을 도시하는 동작 흐름도이다.
도 5 내지 도 7의 인공 신경망(530, 630, 730)에 입력 데이터를 전달하기 위한 프로세서(710), 인공 신경망(530, 630, 730), 통신 인터페이스 모듈(750) 등 기능 요소들의 동작은 프로그램 인스트럭션 형태로 구현되어 프로세서, 컨트롤러, 및/또는 분산 설계된 로직 등에 의하여 실행되는 입력 단계(S810)로서 실행될 수 있다.
또한 인공 신경망(630, 730)의 추론 과정을 구현하기 위한 프로세서(710), 및 인공 신경망(630, 730)의 동작은 프로그램 인스트럭션 형태로 구현되어 프로세서, 컨트롤러, 및/또는 분산 설계된 로직 등에 의하여 실행되는 추론 단계(S820)로서 실행될 수 있다.
또한 최적 가시화 파라미터 셋(650)이 적용된 최적 가시화 영상을 생성하기 위한 프로세서(710)의 동작은 프로그램 인스트럭션 형태로 구현되어 프로세서, 컨트롤러, 및/또는 분산 설계된 로직 등에 의하여 실행되는 조정 단계(S830) 로서 실행될 수 있다.
최적 가시화 영상을 사용자에게 제공하기 위한 프로세서(710), 및 통신 인터페이스 모듈(750)의 동작은 프로그램 인스트럭션 형태로 구현되어 프로세서, 컨트롤러, 및/또는 분산 설계된 로직 등에 의하여 실행되는 제공 단계(S840) 로서 실행될 수 있다.
도 5 내지 도 7에 도시된 훈련/학습 과정 및 추론 과정의 세부적이고 구체적인 동작은 프로그램 인스트럭션 형태로 구현되어 프로세서, 컨트롤러, 및/또는 분산 설계된 로직 등에 의하여 실행될 수 있으며 세부적이고 구체적인 동작들 각각은 그 결합 관계에 따라 각각 입력 단계(S810), 추론 단계(S820), 조정 단계(S830), 및 제공 단계(S840)의 세부 단계를 구성할 수 있다. 또한 훈련/학습 과정의 일부는 도 8에는 도시되지 않았으나 별도의 훈련 단계를 구성하되 프로그램 인스트럭션 형태로 구현되어 프로세서, 컨트롤러, 및/또는 분산 설계된 로직 등에 의하여 실행될 수 있다.
다수의 선행문헌에서 적대적 생성 신경망을 이용하여 의료 영상을 처리하는 방법이 개시된 바 있으나, 이들 선행문헌들은 적대적 생성 신경망을 종래의 합성곱 신경망(CNN, Convolutional Neural Network)을 대체하거나 특수한 용도로 활용하는 반면, 본 발명의 구성은 출력되는 가시화 영상의 임상적 유용성을 높이면서도 인간의 육안으로 식별하기에 용이하여 의료 행위의 안전성을 확보할 수 있도록, 적대적 생성 신경망이 회귀 태스크를 해결하기 위한 신경망의 기능을 보조하기 위하여 결합되는 점에서 선행문헌들과 크게 차별화된다.
본 발명의 도 1 내지 도 6에서 백내장 수술 영상이 주된 실시예로 제시되었으나, 본 발명의 사상은 이에 국한되지 않고 회귀 연산에 기반하여 정량적인 파라미터를 추출할 필요가 있는 의료 영상 처리 또는 의료 영상 가시화 분야에 널리 적용될 수 있다.
본 발명의 인공 신경망의 세부 구성으로서 도 5 내지 도 6에 개시된 구성은, 의료 영상의 문맥 정보, 임상적 정보, 환경 정보를 반영하면서도 인간의 육안으로 식별하기 용이하도록 적대적 생성 신경망과 같은 보완 수단을 함께 결합하여 이용한다. 이러한 구성 상의 차이로 인하여 본 발명의 실시예는 의료 영상에 기반한 의료 행위의 안전성을 높이고, 의료진에게 임상적 유용성을 높인 의료 영상을 제공할 수 있는 장점이 있다.
본 발명의 일 실시예에 따른 인공 신경망에 기반한 의료 영상의 가시화 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다. 본 발명의 실시예와 도면에 소개된 길이, 높이, 크기, 폭 등은 이해를 돕기 위해 과장된 것일 수 있다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
530, 630, 730: 인공 신경망
534, 634: 제1 서브 신경망
536, 636: 제2 서브 신경망
532, 632: 적대적 생성 신경망
710: 프로세서
750: 통신 인터페이스 모듈
534, 634: 제1 서브 신경망
536, 636: 제2 서브 신경망
532, 632: 적대적 생성 신경망
710: 프로세서
750: 통신 인터페이스 모듈
Claims (11)
- 통신 인터페이스 모듈;
회귀 태스크(regression task)를 해결하는 제1 서브 신경망과 제2 서브 신경망을 포함하되 제1 서브 신경망과 제2 서브 신경망은 최종 레이어에서 앙상블되도록 되어 있는 회귀 태스크 신경망 및, 적대적 생성 신경망을 포함하는 인공 신경망; 및
적어도 하나의 프로세서;를 포함하고,
상기 적어도 하나의 프로세서는 의료 영상이 상기 제1 서브 신경망에 입력되도록 상기 통신 인터페이스 모듈을 제어하고,
상기 적어도 하나의 프로세서는 상기 의료 영상이 상기 적대적 생성 신경망으로 입력되도록 상기 통신 인터페이스 모듈을 제어하고,
상기 적어도 하나의 프로세서는 상기 적대적 생성 신경망이 상기 의료 영상을 변형한 변형 의료 영상을 생성하도록 상기 적대적 생성 신경망을 제어하고,
상기 적어도 하나의 프로세서는, 상기 제1 서브 신경망이 상기 의료 영상에 대한 제1 추론 결과를 상기 최종 레이어로 전달하도록 상기 제1 서브 신경망을 제어하고, 상기 제2 서브 신경망이 상기 변형 의료 영상에 대한 제2 추론 결과를 상기 최종 레이어로 전달하도록 상기 제2 서브 신경망을 제어하며,
상기 적어도 하나의 프로세서는 제1 추론 결과와 제2 추론 결과가 최종 레이어에서 앙상블되어 최적 가시화 파라미터 셋을 예측하도록 상기 인공신경망을 제어하는,
인공 신경망 기반 의료 영상 가시화 파라미터 셋 예측 장치.
- 삭제
- 삭제
- 제1항에 있어서,
상기 적어도 하나의 프로세서는 훈련용 의료 영상을 상기 제1 서브 신경망의 입력으로 전달하고,
상기 적어도 하나의 프로세서는 상기 적대적 생성 신경망으로부터 생성되는 훈련용 생성 영상을 상기 제2 서브 신경망의 입력으로 전달하고,
상기 적어도 하나의 프로세서는 상기 제1 서브 신경망 및 상기 제2 서브 신경망이 함께 가시화 파라미터 셋을 최적화하는 과정을 훈련하도록 상기 제1 서브 신경망 및 상기 제2 서브 신경망을 제어하는,
인공 신경망 기반 의료 영상 가시화 파라미터 셋 예측 장치. - 제1항에 있어서,
상기 의료 영상은 백내장 수술 영상인,
인공 신경망 기반 의료 영상 가시화 파라미터 셋 예측 장치. - 제1항에 있어서,
상기 최적 가시화 파라미터 셋은 밝기(Brightness), 콘트라스트(Contrast), 감마(Gamma), 색상(Hue), 채도(Saturation) 및 RGB-CMYK 간 컬러 밸런스(Color Balance) 중 적어도 하나 이상을 포함하는,
인공 신경망 기반 의료 영상 가시화 파라미터 셋 예측 장치. - 회귀 태스크(regression task)를 해결하는 제1 서브 신경망과 제2 서브 신경망을 포함하되 제1 서브 신경망과 제2 서브 신경망은 최종 레이어에서 앙상블되도록 되어 있는 회귀 태스크 신경망 및 적대적 생성 신경망을 포함하는 인공 신경망 및, 적어도 하나의 프로세서를 포함하는 인공 신경망 기반 의료 영상 가시화 장치에서 실행되는 인공 신경망 기반 의료 영상 가시화 파라미터 셋 예측 방법에 있어서,
상기 적어도 하나의 프로세서에 의하여 의료 영상이 상기 적대적 생성 신경망 및 상기 제1 서브 신경망에 입력되는 입력 단계;
적대적 생성 신경망에 의하여 상기 의료 영상이 변형된 변형 의료 영상이 생성되는 단계;
상기 변형 의료 영상이 상기 제2 서브 신경망의 입력으로 전달되는 단계;
상기 제1 서브 신경망의 상기 의료 영상에 대한 제1 추론 결과 및 상기 제2 서브 신경망의 상기 변형 의료 영상에 대한 제2 추론 결과가 상기 최종 레이어에서 앙상블됨으로써 상기 의료 영상의 최적 가시화 파라미터 셋을 예측하는 추론 단계를 포함하는,
인공 신경망 기반 의료 영상 가시화 파라미터 셋 예측 방법. - 삭제
- 삭제
- 제7항에 있어서,
훈련용 의료 영상이 상기 제1 서브 신경망의 입력으로 전달되는 제1 훈련 입력 단계;
상기 적대적 생성 신경망으로부터 생성되는 훈련용 생성 영상이 상기 제2 서브 신경망의 입력으로 전달되는 제2 훈련 입력 단계; 및
상기 제1 서브 신경망 및 상기 제2 서브 신경망이 함께 가시화 파라미터 셋을 최적화하는 과정을 훈련하는 훈련 단계;를 더 포함하는,
인공 신경망 기반 의료 영상 가시화 파라미터 셋 예측 방법. - 제7항에 있어서,
상기 의료 영상은 백내장 수술 영상인,
인공 신경망 기반 의료 영상 가시화 파라미터 셋 예측 방법.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200129430A KR102545714B1 (ko) | 2020-10-07 | 2020-10-07 | 인공 신경망을 이용한 의료 영상의 가시화 파라미터 예측 장치 및 방법 |
| PCT/KR2021/013644 WO2022075715A1 (ko) | 2020-10-07 | 2021-10-06 | 의료 영상 가시화를 위한 인공 신경망 학습 장치 및 학습 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200129430A KR102545714B1 (ko) | 2020-10-07 | 2020-10-07 | 인공 신경망을 이용한 의료 영상의 가시화 파라미터 예측 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220046247A KR20220046247A (ko) | 2022-04-14 |
| KR102545714B1 true KR102545714B1 (ko) | 2023-06-21 |
Family
ID=81126992
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200129430A KR102545714B1 (ko) | 2020-10-07 | 2020-10-07 | 인공 신경망을 이용한 의료 영상의 가시화 파라미터 예측 장치 및 방법 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR102545714B1 (ko) |
| WO (1) | WO2022075715A1 (ko) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180271460A1 (en) * | 2017-03-27 | 2018-09-27 | Siemens Healthcare Gmbh | System for Synthetic Display of Multi-Modality Data |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2431196C1 (ru) * | 2010-03-31 | 2011-10-10 | Закрытое Акционерное Общество "Импульс" | Способ определения уровня яркости в зоне интереса цифрового медицинского рентгеновского изображения |
| TWI554244B (zh) | 2011-12-19 | 2016-10-21 | 愛爾康眼科手術激光股份有限公司 | 用於雷射白內障程序之手術內光學同調斷層掃描成像的影像處理器 |
| JP5822756B2 (ja) * | 2012-02-28 | 2015-11-24 | 株式会社日立製作所 | 超音波撮像装置の画質評価方法および装置 |
| KR101843066B1 (ko) | 2017-08-23 | 2018-05-15 | 주식회사 뷰노 | 기계 학습에 있어서 데이터 확대를 이용하여 데이터의 분류를 수행하는 방법 및 이를 이용한 장치 |
| KR20200048825A (ko) | 2018-10-30 | 2020-05-08 | 부산대학교 산학협력단 | 가상현실 기반의 백내장 수술 시뮬레이터 시스템 |
| KR102333670B1 (ko) * | 2018-12-06 | 2021-12-02 | 주식회사 메디웨일 | 안구 이미지 기반의 진단 보조 이미지 제공 장치 |
| KR20200075940A (ko) | 2018-12-13 | 2020-06-29 | 가천대학교 산학협력단 | 실시간 데이터 셋 확대 생성 시스템, 실시간 데이터 셋 확대 생성 방법, 및 이를 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체 |
| KR20190104927A (ko) | 2019-08-22 | 2019-09-11 | 엘지전자 주식회사 | 사진 영상 제공 장치 및 사진 영상 제공 방법 |
| JP6747617B2 (ja) * | 2020-05-01 | 2020-08-26 | 株式会社ニデック | 眼科画像処理装置、およびｏｃｔ装置 |
-
2020
- 2020-10-07 KR KR1020200129430A patent/KR102545714B1/ko active IP Right Grant
-
2021
- 2021-10-06 WO PCT/KR2021/013644 patent/WO2022075715A1/ko active Application Filing
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180271460A1 (en) * | 2017-03-27 | 2018-09-27 | Siemens Healthcare Gmbh | System for Synthetic Display of Multi-Modality Data |
Non-Patent Citations (4)
| Title |
|---|
| He Zhao 외, Synthesizing retinal and neuronal images with generative adversarial nets, Medical Image Analysis, 2018.07.04., Vol.49, pp.14-26.* |
| Mason T. Chen 외, GANPOP: Generative Adversarial Network Prediction of Optical Properties from Single Snapshot Wide-field Images, arXiv 2019.06.20., pp.1-10. |
| Osama N. Hassan 외, Conditional GAN for Prediction of Glaucoma Progression with Macular Optical Coherence Tomography, arXiv, 2020.09.28., pp.1-12. |
| Zekuan Yu 외, Retinal image synthesis from multiple-landmarks input with generative adversarial networks, BioMedical Engineering OnLine, 2019.05.21., Vol.18, No.62, pp.1-15. |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022075715A1 (ko) | 2022-04-14 |
| KR20220046247A (ko) | 2022-04-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11562287B2 (en) | Hierarchical and interpretable skill acquisition in multi-task reinforcement learning | |
| US11379722B2 (en) | Method for training generative adversarial network (GAN), method for generating images by using GAN, and computer readable storage medium | |
| US10839578B2 (en) | Artificial-intelligence enhanced visualization of non-invasive, minimally-invasive and surgical aesthetic medical procedures | |
| US9202281B2 (en) | Integrated interactive segmentation with spatial constraint for digital image analysis | |
| US9405921B1 (en) | Computer-implemented method for role discovery in access control systems | |
| Rhue | Beauty’s in the AI of the beholder: how AI anchors subjective and objective predictions | |
| KR102545714B1 (ko) | 인공 신경망을 이용한 의료 영상의 가시화 파라미터 예측 장치 및 방법 | |
| KR102310612B1 (ko) | 라이다 점군에서 특정된 객체 정보를 이용한 2d 이미지 객체 예측 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램 | |
| KR20200019282A (ko) | 표정 관련 정보 생성 장치와 방법 및 표정 생성 장치 | |
| CN110175283B (zh) | 一种推荐模型的生成方法及装置 | |
| Chowdhury et al. | Critical systems thinking towards enhancing community engagement in micro-insurance | |
| KR102244419B1 (ko) | 사용자 참여 기반의 인공 지능 서비스 방법 및 이러한 방법을 수행하는 장치 | |
| Hasan et al. | Data augmentation using counterfactuals: Proximity vs diversity | |
| JP7391503B2 (ja) | 情報処理システムおよび情報処理方法 | |
| Keys | Knowledge work, design science and problem structuring methodologies | |
| Bennani et al. | A collaborative decision approach for alignment of heterogeneous models | |
| Pandey et al. | Residual attention UNet GAN Model for enhancing the intelligent agents in retinal image analysis | |
| Jarrett et al. | Reusable Meta-Models for Crowdsourcing Driven Elastic Systems | |
| US11715022B2 (en) | Managing the selection and presentation sequence of visual elements | |
| Nair et al. | Enhancing customer experience with teleportation technology: the future of travel and tourism industry | |
| CN113762532B (zh) | 联邦学习模型的训练方法、装置、电子设备和存储介质 | |
| Thornley et al. | Toward mission-specific service utility estimation using analytic stochastic process models | |
| US11810396B2 (en) | Image annotation using prior model sourcing | |
| KR102221712B1 (ko) | 권리 확인된 이미지 융합을 통한 신규 이미지 생성 시스템 및 방법 | |
| KR102325298B1 (ko) | 업무 분야에 따른 비대면 비서 매칭 시스템의 제어 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |