KR20210048523A - 이미지 처리 방법, 장치, 전자 기기 및 컴퓨터 판독 가능 기억 매체 - Google Patents
이미지 처리 방법, 장치, 전자 기기 및 컴퓨터 판독 가능 기억 매체 Download PDFInfo
- Publication number
- KR20210048523A KR20210048523A KR1020217008724A KR20217008724A KR20210048523A KR 20210048523 A KR20210048523 A KR 20210048523A KR 1020217008724 A KR1020217008724 A KR 1020217008724A KR 20217008724 A KR20217008724 A KR 20217008724A KR 20210048523 A KR20210048523 A KR 20210048523A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- predetermined
- registration
- reference image
- mutual information
- Prior art date
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 13
- 238000003860 storage Methods 0.000 title claims abstract description 9
- 238000000034 method Methods 0.000 claims abstract description 80
- 238000003062 neural network model Methods 0.000 claims abstract description 68
- 238000012545 processing Methods 0.000 claims description 56
- 238000012549 training Methods 0.000 claims description 32
- 230000009466 transformation Effects 0.000 claims description 28
- 238000009826 distribution Methods 0.000 claims description 26
- 230000008569 process Effects 0.000 claims description 26
- 238000010606 normalization Methods 0.000 claims description 22
- 230000002093 peripheral effect Effects 0.000 claims description 14
- 238000007781 pre-processing Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 description 21
- 238000004422 calculation algorithm Methods 0.000 description 14
- 238000013528 artificial neural network Methods 0.000 description 11
- 238000013135 deep learning Methods 0.000 description 8
- 238000001356 surgical procedure Methods 0.000 description 8
- 210000000056 organ Anatomy 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005520 cutting process Methods 0.000 description 3
- 238000002059 diagnostic imaging Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 210000004072 lung Anatomy 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000003759 clinical diagnosis Methods 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 238000004880 explosion Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 230000003679 aging effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000002271 resection Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G06N3/0454—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/38—Registration of image sequences
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Public Health (AREA)
- Databases & Information Systems (AREA)
- Pathology (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
본 발명의 실시예는 이미지 처리 방법, 장치, 전자 기기 및 컴퓨터 판독 가능 기억 매체를 개시하는 것으로, 방법은 등록 대상 이미지 및 등록용 기준 이미지를 취득하는 것과, 상기 등록 대상 이미지 및 상기 기준 이미지를 소정의 등록 대상 이미지와 소정의 기준 이미지의 상호 정보량의 손실을 기초로 트레이닝된 소정의 뉴럴 네트워크 모델에 입력하는 것과, 상기 소정의 뉴럴 네트워크 모델에 의해 상기 등록 대상 이미지의 상기 기준 이미지에 대한 등록을 행하여 등록 결과를 얻는 것을 포함하는 것으로, 이에 의해, 이미지 등록의 정밀도 및 실시간성을 향상시킬 수 있다.
Description
본 발명은 2018년 12월 19일에 중국 특허국에 제출된 출원번호 201811559600.6, 출원 명칭 「이미지 처리 방법, 장치, 전자 기기 및 컴퓨터 판독 가능 기억 매체」의 중국 특허출원의 우선권을 주장하고, 그 개시 전체가 참조에 의해 본 발명에 포함된다
본 발명은 컴퓨터 비전의 기술 분야에 관한 것으로, 구체적으로는 이미지 처리 방법, 장치, 전자 기기 및 컴퓨터 판독 가능 기억 매체에 관한 것이다.
이미지의 등록이란, 동일한 장면이나 동일한 타깃(target)의, 상이한 취득 시각, 상이한 센서, 상이한 조건하에서의 2개 이상의 이미지를 등록하는 과정이고, 의료 이미지의 처리에 널리 사용되고 있다. 의료 이미지의 등록은 의료 이미지 처리 분야에서의 중요한 기술이며, 임상 진단 및 치료에 더욱 중요한 역할을 하고 있다.
현대 의료에서는 일반적으로 복수의 모달리티(modality) 또는 복수의 시점에서 취득된 의료 이미지를 종합적으로 분석한다. 이 경우, 분석하기 전에 복수의 이미지의 등록을 행할 필요가 있다. 종래의 변형 가능한 등록 방법은 화소점마다 1개의 대응 관계를 계산하고, 유사도 측정 함수에 의해 등록이 끝난 이미지와 기준 이미지의 유사도를 계산하는 과정을 적절한 결과가 얻어질 때까지 되풀이하여 반복한다.
본 발명의 실시예는 이미지 처리의 기술적 해결 수단을 제공한다.
본 발명의 실시예의 제1 방면은 등록 대상 이미지 및 등록용 기준 이미지를 취득하는 것과, 상기 등록 대상 이미지 및 상기 기준 이미지를 소정의 등록 대상 이미지와 소정의 기준 이미지의 상호 정보량의 손실을 기초로 트레이닝된 소정의 뉴럴 네트워크 모델에 입력하는 것과, 상기 소정의 뉴럴 네트워크 모델에 의해 상기 등록 대상 이미지의 상기 기준 이미지에 대한 등록을 행하여 등록 결과를 얻는 것을 포함하는 이미지 처리 방법을 제공한다.
선택적인 일 실시형태에서, 상기 방법은 등록 대상 이미지 및 등록용 기준 이미지를 취득하기 전에, 원래의 등록 대상 이미지 및 원래의 기준 이미지를 취득하고, 상기 원래의 등록 대상 이미지 및 상기 원래의 기준 이미지에 대해 이미지 정규화 처리를 행하고, 목표 파라미터를 만족하는 상기 등록 대상 이미지 및 상기 기준 이미지를 취득하는 것을 추가로 포함한다. 이에 의해, 이미지 내의 무관계 정보를 제거하고. 유용한 실 정보를 회복하고, 관련 정보의 검출성을 향상시켜, 데이터를 최대한으로 간략화할 수 있고, 특징 추출, 이미지의 분할, 매칭 및 인식의 신뢰성을 개선할 수 있다.
선택적인 일 실시형태에서, 상기 원래의 등록 대상 이미지 및 상기 원래의 기준 이미지에 대해 이미지 정규화 처리를 행하고, 목표 파라미터를 만족하는 상기 등록 대상 이미지 및 상기 기준 이미지를 취득하는 것은, 상기 원래의 등록 대상 이미지를 소정의 범위 내의 그레이스케일 값, 소정의 이미지 사이즈를 갖는 등록 대상 이미지로 변환하는 것과, 상기 원래의 기준 이미지를 상기 소정의 범위 내의 그레이스케일 값, 상기 소정의 이미지 사이즈를 갖는 기준 이미지로 변환하는 것을 포함한다. 이에 의해, 후속의 이미지 처리를 보다 정확하고 또한 안정적으로 할 수 있다.
선택 가능한 일 실시형태에서, 상기 소정의 뉴럴 네트워크 모델은 등록 모델과 상호 정보량 추정 네트워크 모델을 포함하고, 상기 소정의 뉴럴 네트워크 모델의 트레이닝 과정은, 상기 소정의 등록 대상 이미지 및 상기 소정의 기준 이미지를 취득하고, 상기 소정의 등록 대상 이미지 및 상기 소정의 기준 이미지를 상기 등록 모델에 입력하여 변형장(deformable field)을 생성하는 것과, 상기 변형장 및 상기 소정의 등록 대상 이미지에 기초하여 상기 소정의 기준 이미지에 대한 등록을 행하는 과정에 있어서, 상기 상호 정보량 추정 네트워크 모델에 의해, 등록이 끝난 이미지와 상기 소정의 기준 이미지의 상호 정보량을 추정하여 상호 정보량의 손실을 얻는 것과, 상기 상호 정보량의 손실을 기초로 상기 등록 모델 및 상기 상호 정보량 추정 네트워크 모델의 파라미터를 갱신하여, 트레이닝된 소정의 뉴럴 네트워크 모델을 얻는 것을 포함한다. 상기 소정의 뉴럴 네트워크 모델에 의해 등록 대상 이미지의 기준 이미지에 대한 등록을 행하여 등록 결과를 취득함으로써, 이미지 등록의 정밀도 및 실시간성을 향상시킬 수 있다.
선택적인 일 실시형태에서, 상기 상호 정보량 추정 네트워크 모델에 의해, 등록이 끝난 이미지와 상기 소정의 기준 이미지의 상호 정보량을 추정하여 상호 정보량의 손실을 얻는 것은, 상기 상호 정보량 추정 네트워크 모델에 의해, 등록이 끝난 이미지 및 상기 소정의 기준 이미지에 기초하여 동시 확률 분포 및 주변 확률 분포를 취득하는 것과, 상기 동시 확률 분포 파라미터 및 상기 주변 확률 분포 파라미터에 기초하여 상기 상호 정보량의 손실을 산출하는 것을 포함한다. 이에 의해, 생성 모델의 적대적 트레이닝을 개선하고, 감독 학습(supervised training)의 분류 태스크에서의 병목 현상을 해소할 수 있다.
선택적인 일 실시형태에서, 상기 상호 정보량의 손실을 기초로 상기 등록 모델 및 상기 상호 정보량 추정 네트워크 모델의 파라미터를 갱신하여, 트레이닝된 소정의 뉴럴 네트워크 모델을 얻는 것은, 상기 상호 정보량의 손실을 기초로 상기 등록 모델의 파라미터인 제1 임계값 횟수를 갱신하고, 상기 상호 정보량의 손실을 기초로 상기 상호 정보량 추정 네트워크 모델의 파라미터인 제2 임계값 횟수를 갱신하여, 상기 트레이닝된 소정의 뉴럴 네트워크 모델을 얻는 것을 포함한다. 이에 의해, 상기 등록 모델 및 상호 정보량 추정 네트워크 모델의 파라미터를 계속적으로 갱신하여, 2개의 네트워크의 트레이닝이 완성될 수 있도록 지도한다.
선택적인 일 실시형태에서, 상기 방법은 소정의 옵티마이저(optimizer)에 의해, 상기 소정의 뉴럴 네트워크 모델의 파라미터인 소정의 학습률 및 제3 임계값 횟수를 갱신하는 것을 추가로 포함한다. 이에 의해, 트레이닝된 최종적인 소정의 뉴럴 네트워크 모델을 얻을 수 있다.
선택적인 일 실시형태에서, 상기 방법은, 상기 소정의 등록 대상 이미지 및 상기 소정의 기준 이미지를 취득한 후에, 상기 소정의 등록 대상 이미지 및 상기 소정의 기준 이미지에 대해 이미지 정규화 처리를 행하여, 소정의 트레이닝 파라미터를 만족하는 상기 소정의 등록 대상 이미지 및 상기 소정의 기준 이미지를 얻는 것을 추가로 포함하고, 상기 소정의 등록 대상 이미지 및 상기 소정의 기준 이미지를 상기 등록 모델에 입력하여 변형장을 생성하는 것은, 상기 소정의 트레이닝 파라미터를 만족하는 상기 소정의 등록 대상 이미지 및 상기 소정의 기준 이미지를 상기 등록 모델에 입력하여 상기 변형장을 생성하는 것을 포함한다.
여기서, 정규화 처리는 후속의 손실 산출에 있어서 구배 폭발을 회피하기 위해 행해진다.
본 발명의 실시예의 제2 방면은 등록 대상 이미지 및 등록용 기준 이미지를 취득하기 위해 사용되는 취득 모듈과, 상기 등록 대상 이미지 및 상기 기준 이미지를 소정의 등록 대상 이미지와 소정의 기준 이미지의 상호 정보량의 손실을 기초로 트레이닝된 소정의 뉴럴 네트워크 모델에 입력하는 것과, 상기 소정의 뉴럴 네트워크 모델에 의해, 상기 등록 대상 이미지의 상기 기준 이미지에 대한 등록을 행하여 등록 결과를 얻는 것에 사용되는 등록 모듈을 포함하는 이미지 처리 장치를 제공한다.
선택적인 일 실시형태에서, 상기 이미지 처리 장치는 원래의 등록 대상 이미지 및 원래의 기준 이미지를 취득하고, 상기 원래의 등록 대상 이미지 및 상기 원래의 기준 이미지에 대해 이미지 정규화 처리를 행하여, 목표 파라미터를 만족하는 상기 등록 대상 이미지 및 상기 기준 이미지를 취득하기 위해 사용되는 전처리 모듈을 추가로 포함한다.
선택적인 일 실시형태에서, 상기 전처리 모듈은 구체적으로, 상기 원래의 등록 대상 이미지를 소정의 범위 내의 그레이스케일 값, 소정의 이미지 사이즈를 갖는 등록 대상 이미지로 변환하는 것과, 상기 원래의 기준 이미지를 상기 소정의 범위 내의 그레이스케일 값, 상기 소정의 이미지 사이즈를 갖는 기준 이미지로 변환하는 것에 사용된다.
선택적인 일 실시형태에서, 상기 소정의 뉴럴 네트워크 모델은 등록 모델과 상호 정보량 추정 네트워크 모델을 포함하고, 상기 등록 모듈은, 상기 소정의 등록 대상 이미지 및 상기 소정의 기준 이미지를 취득하고, 상기 소정의 등록 대상 이미지 및 상기 소정의 기준 이미지를 상기 등록 모델에 입력하여 변형장을 생성하기 위해 사용되는 등록 유닛과, 상기 등록 모듈이 상기 변형장 및 상기 소정의 등록 대상 이미지에 기초하여 상기 소정의 기준 이미지에 대한 등록을 행하는 과정에 있어서, 상기 상호 정보량 추정 네트워크 모델에 의해, 등록이 끝난 이미지와 상기 소정의 기준 이미지의 상호 정보량을 추정하여 상호 정보량의 손실을 얻기 위해 사용되는 상호 정보량 추정 유닛과, 상기 상호 정보량의 손실을 기초로 상기 등록 모델 및 상기 상호 정보량 추정 네트워크 모델의 파라미터를 갱신하여 트레이닝된 소정의 뉴럴 네트워크 모델을 얻기 위해 사용되는 갱신 유닛을 포함한다.
선택적인 일 실시형태에서, 상기 상호 정보량 추정 유닛은 구체적으로, 상기 상호 정보량 추정 네트워크 모델에 의해, 등록이 끝난 이미지 및 상기 소정의 기준 이미지에 기초하여 동시 확률 분포 및 주변 확률 분포를 취득하는 것과, 상기 동시 확률 분포 파라미터 및 상기 주변 확률 분포 파라미터에 기초하여 상기 상호 정보량의 손실을 산출하는 것에 사용된다.
선택적인 일 실시형태에서, 상기 갱신 유닛은 구체적으로, 상기 상호 정보량의 손실을 기초로 상기 등록 모델의 파라미터인 제1 임계값 횟수를 갱신하고, 상기 상호 정보량의 손실을 기초로 상기 상호 정보량 추정 네트워크 모델의 파라미터인 제2 임계값 횟수를 갱신하여, 상기 트레이닝된 소정의 뉴럴 네트워크 모델을 얻기 위해 사용된다.
선택적인 일 실시형태에서, 상기 갱신 유닛은 소정의 옵티마이저에 의해 상기 소정의 뉴럴 네트워크 모델의 파라미터인 소정의 학습률 및 제3 임계값 횟수를 갱신하기 위해서도 사용된다.
선택적인 일 실시형태에서, 상기 전처리 모듈은, 상기 소정의 등록 대상 이미지 및 상기 소정의 기준 이미지를 취득한 후에, 상기 소정의 등록 대상 이미지 및 상기 소정의 기준 이미지에 대해 이미지 정규화 처리를 행하여, 소정의 트레이닝 파라미터를 만족하는 상기 소정의 등록 대상 이미지 및 상기 소정의 기준 이미지를 얻기 위해 사용되고, 상기 등록 모듈은 상기 소정의 트레이닝 파라미터를 만족하는 상기 소정의 등록 대상 이미지 및 상기 소정의 기준 이미지를 상기 등록 모델에 입력하여 변형장을 생성하기 위해서도 사용된다.
본 발명의 실시예의 제3 방면은 프로세서 및 상기 프로세서에 의해 실행되도록 구성되는 하나 이상의 프로그램을 기억하기 위한 메모리를 포함하고, 상기 프로그램이 본 발명의 실시예의 제1 방면의 방법 중 어느 하나에 기재된 단계의 일부 또는 전부를 실행하기 위한 명령을 포함하는 전자 기기를 제공한다.
본 발명의 실시예의 제4 방면은 컴퓨터에 본 발명의 실시예의 제1 방면의 방법 중 어느 하나에 기재된 단계의 일부 또는 전부를 실행시키는 전자 데이터 교환용 컴퓨터 프로그램을 기억하기 위해 사용되는 컴퓨터 판독 가능 기억 매체를 제공한다.
본 발명의 실시예의 제5 방면은 전자 기기에서 실행되면, 상기 전자 기기의 프로세서에 본 발명의 실시예의 제1 방면의 방법 중 어느 하나에 기재된 단계의 일부 또는 전부를 실현하기 위한 명령을 실행시키는 컴퓨터 판독 가능 코드를 포함하는 컴퓨터 프로그램을 제공한다.
본 발명의 실시예는 등록 대상 이미지 및 등록용 기준 이미지를 취득하고, 등록 대상 이미지 및 기준 이미지를 소정의 등록 대상 이미지와 소정의 기준 이미지의 상호 정보량의 손실을 기초로, 트레이닝된 소정의 뉴럴 네트워크 모델에 입력하고, 상기 소정의 뉴럴 네트워크 모델에 의해 등록 대상 이미지의 기준 이미지에 대한 등록을 행하여 등록 결과를 얻는다. 이에 의해, 이미지 등록의 정밀도 및 실시간성을 향상시킬 수 있다.
이하, 본 발명의 실시예 또는 종래 기술의 해결 수단을 보다 명확하게 설명하기 위해, 실시예 또는 종래예의 기술에 필요한 도면을 간단하게 설명한다.
도 1은 본 발명의 실시예에 개시되는 이미지 처리 방법의 흐름도이다.
도 2는 본 발명의 실시예에 개시되는 소정의 뉴럴 네트워크의 트레이닝 방법의 흐름도이다.
도 3은 본 발명의 실시예에 개시되는 이미지 처리 장치의 구성 모식도이다.
도 4는 본 발명의 실시예에 개시되는 다른 이미지 처리 장치의 구성 모식도이다.
도 1은 본 발명의 실시예에 개시되는 이미지 처리 방법의 흐름도이다.
도 2는 본 발명의 실시예에 개시되는 소정의 뉴럴 네트워크의 트레이닝 방법의 흐름도이다.
도 3은 본 발명의 실시예에 개시되는 이미지 처리 장치의 구성 모식도이다.
도 4는 본 발명의 실시예에 개시되는 다른 이미지 처리 장치의 구성 모식도이다.
이하, 당업자가 본 발명의 해결 수단을 보다 잘 이해할 수 있도록 본 발명의 실시예에서의 도면을 참조하면서, 본 발명의 실시예에서의 기술적 해결 수단을 명확하고, 완전하게 설명한다. 설명되는 실시예는 본 발명의 실시예의 일부에 지나지 않고, 모든 실시예는 아니다. 당업자에 의해 본 발명의 실시예에 기초하여 창조적인 노력을 하지 않고 얻어지는 다른 모든 실시예는 전부 본 발명의 보호 범위에 속한다.
본 발명의 명세서, 특허청구범위 및 상기 도면에서의 「제1」, 「제2」 등의 용어는 특정 순서를 기술하는 것이 아니라, 상이한 대상을 구별하기 위한 것이다. 또한, 「포함하는」, 「구비하는/갖는」이라는 용어 및 이들의 어떠한 변형은 비배타적으로 포함하는 것을 의도한다. 예를 들면, 일련의 단계 또는 유닛을 포함하는 프로세스, 방법, 시스템, 제품 또는 기기는 예시된 단계 또는 유닛에 한정되는 것이 아니고, 예시되지 않은 단계 또는 유닛도 선택적으로 포함하거나, 혹은 상기 프로세스, 방법, 제품 또는 기기에 고유의 다른 단계 또는 유닛도 선택적으로 포함한다.
본 명세서에서 「실시예」는 실시예에 관련하여 기술되는 특정의 특징, 구조 또는 특성이 본 발명의 하나 이상의 실시예에 포함될 수 있음을 의미한다. 본 명세서의 각 지점의 「실시예」라는 용어의 전부는 반드시 동일한 실시예를 가리키지 않고, 또한 다른 실시예와 상호 배타적인 독립 또는 대체의 실시예도 아니다. 당업자이면 본 명세서에 기재된 실시예는 다른 실시예와 조합할 수 있는 것을 명시적 및 암묵적으로 이해할 수 있다.
본 발명의 실시예에 따른 이미지 처리 장치는 복수의 다른 단말 기기에서의 액세스를 허가한다. 상기 이미지 처리 장치는 단말 기기를 포함하여 전자 기기여도 되고, 구체적인 실현에 있어서, 상기 단말 기기는 예를 들면, 터치 감지면(예를 들면, 터치 스크린 디스플레이 및/또는 터치 패널)을 갖는 휴대 전화, 노트북형 컴퓨터 또는 태블릿 컴퓨터와 같은 다른 휴대 기기를 포함하지만, 이들에 한정되지 않는다. 또한, 일부 실시예에서, 상기 기기는 휴대 통신 기기가 아니고, 터치 감지면(예를 들면, 터치 스크린 디스플레이 및/또는 터치 패널)을 갖는 데스크탑 컴퓨터인 것도 이해해야 한다.
본 발명의 실시예에서의 딥 러닝(deep learning)의 개념은 인공 뉴럴 네트워크의 연구에서 생긴다. 복수의 숨겨진 층이 포함되는 다층 퍼셉트론(multi-layer perceptron)은 딥 러닝 구조 중 하나이다. 딥 러닝은 저레벨 특징을 조합합으로써, 보다 추상적인 고레벨의 속성 카테고리 또는 특징을 형성하고, 데이터의 분산적인 특징 표현을 특정한다.
딥 러닝은 데이터의 표현 학습에 기초하는 기계 학습 방법이다. 관측값(예를 들면, 하나의 이미지)은 다양한 방식으로 표현되어도 된다. 예를 들면, 각 화소점의 강도값의 벡터로 표현되어도 되고, 또는 일련의 에지, 특정 형상의 영역 등에서 보다 추상적으로 표현되어도 된다. 특정 표현 방법을 사용하면, 실례에서 태스크 학습(예를 들면, 얼굴 인식 또는 표정 인식)을 보다 용이하게 행할 수 있다. 딥 러닝의 장점은 수동에 의한 특징 추출을 대신하여 감독이 없거나 반감독(semi-supervised) 특징 학습 및 계층적 특징 추출과 같은 효율적인 알고리즘을 사용하는 것에 있다. 딥 러닝은 기계 학습 연구에서의 새로운 분야이고, 인간의 뇌의 구조를 모방하여, 데이터, 예를 들면, 이미지, 음성 및 텍스트를 해석하도록 인간의 뇌를 모방하여 분석 학습하는 뉴럴 네트워크를 확립하는 것을 목적으로 한다.
이하, 본 발명의 실시예에 대해 상세하게 설명한다.
도 1은 본 발명의 실시예에 개시되는 이미지 처리의 흐름도이다. 도 1에 나타내는 바와 같이, 이 이미지 처리 방법은 상기 이미지 처리 장치에 의해 실행될 수 있고, 이하의 단계를 포함한다.
단계 101에서, 등록 대상 이미지 및 등록용 기준 이미지를 취득한다.
이미지의 등록은 동일한 장면이나 동일한 타깃의, 상이한 취득 시각, 상이한 센서, 상이한 조건하에서의 2개 이상의 이미지를 등록하는 과정이고, 의료 이미지의 처리에 널리 사용되고 있다. 의료 이미지의 등록은 의료 이미지 처리 분야에서의 중요한 기술이며, 임상 진단 및 치료에 더욱 중요한 역할을 하고 있다. 현대 의료에서는 일반적으로 복수의 모달리티는 복수의 시점에서 취득된 의료 이미지를 종합적으로 분석한다. 이 경우, 분석하기 전에 복수의 이미지의 등록을 행할 필요가 있다.
본 발명의 실시예에 기재된 등록 대상 이미지(moving) 및 등록용 기준 이미지(fixed)는 양쪽 모두 적어도 하나의 의료 이미지 기기에 의해 취득되는 의료 이미지여도 된다. 특히, 예를 들면, 폐 CT와 같은 변형이 발생할 수 있는 기관의 이미지의 경우, 등록 대상 이미지 및 등록용 기준 이미지는 일반적으로 동일 기관의 상이한 시점 또는 상이한 조건에서의 이미지이다.
등록되는 의료 이미지는 다양한 것일 수 있다. 이미지에서 이미지 그레이스케일 값, 이미지 사이즈 등의 특징의 다양성으로서 표현된다. 선택적으로, 단계(101) 전에 원래의 등록 대상 이미지 및 원래의 기준 이미지를 취득하고, 상기 원래의 등록 대상 이미지 및 상기 원래의 기준 이미지에 대해 이미지 정규화 처리를 행하고, 목표 파라미터를 만족하는 상기 등록 대상 이미지 및 상기 기준 이미지를 취득하도록 해도 된다.
상기 목표 파라미터는 이미지 특성을 나타내는 파라미터, 즉 상기 원래의 이미지 데이터의 양식을 통일시키기 위한 소정의 파라미터로서 파악할 수 있다. 예를 들면, 상기 목표 파라미터는 이미지 해상도, 이미지 그레이 스케일, 이미지 사이즈 등의 특징을 나타내는 파라미터를 포함해도 된다.
상기 원래의 등록 대상 이미지는 적어도 하나의 의료 이미지 기기에 의해 취득되는 의료 이미지이고, 특히 변형 가능한 기관의 이미지여도 된다. 그것은 다양성을 갖고, 이미지에 있어서, 당해 다양성이 이미지 그레이스케일 값, 이미지 사이즈 등의 특징의 다양성으로서 표현된다. 등록 전에 원래의 등록 대상 이미지 및 원래의 기준 이미지에 대해 기본적인 전처리를 행해도 되고, 상기 원래의 등록 대상 이미지에 대해서만 전처리를 행해도 된다. 전처리는 상기 이미지 정규화 처리를 포함해도 된다. 이미지의 전처리의 주요 목적은 이미지 내의 무관계 정보를 제거하고, 유용한 실 정보를 회복하고, 관련 정보의 검출성을 향상시키고, 데이터를 최대한으로 간략화함으로써, 특징 추출, 이미지의 분할, 매칭 및 인식의 신뢰성을 개선시키는 것에 있다.
본 발명의 실시예에서의 이미지 정규화란, 이미지에 대해 일련의 표준화 변환 처리를 행하여 일정한 표준 양식 이미지로 변환시키는 과정을 의미하고, 상기 표준 양식 이미지는 정규화 이미지로 불린다. 이미지 정규화에서는 이미지의 불변 모멘트에 의해, 다른 변환 함수에서 이미지 변환에 대한 영향을 배제할 수 있는 파라미터군을 구하고, 처리해야 할 원래의 이미지를 평행 이동, 회전, 확대 축소 등의 아핀 변환에 대한 불변성을 갖는 유일한 표준 양식 이미지로 변환하도록 해도 된다. 따라서, 상기 이미지 정규화 처리에 의해, 양식이 통일된 이미지를 얻을 수 있고, 후속의 처리의 안정성 및 정확도가 높아진다.
구체적으로는, 상기 원래의 등록 대상 이미지를 소정의 범위 내의 그레이스케일 값, 소정의 이미지 사이즈를 갖는 등록 대상 이미지로 변환하고, 상기 원래의 기준 이미지를 상기 소정의 범위 내의 그레이스케일 값, 상기 소정의 이미지 사이즈를 갖는 기준 이미지로 변환하도록 해도 된다.
여기서, 상기 변환은 주로 양식이 통일되는 등록 대상 이미지 및 기준 이미지를 얻기 위해 행해지고, 상기 원래의 등록 대상 이미지 및 원래의 기준 이미지를 동일한 범위 내의 그레이스케일 값, 동일한 이미지 사이즈를 갖는 이미지로 변환해도 되고, 동일한 이미지 사이즈만 또는 동일한 범위 내의 그레이스케일 값만을 갖는 이미지로 변환해도 된다. 이에 의해, 후속의 이미지 처리를 보다 정확하고 또한 안정적으로 할 수 있다.
본 발명의 실시예에서의 이미지 처리 장치에는 상기 그레이스케일 값의 소정의 범위 및 상기 소정의 이미지 사이즈가 기억되어 있어도 된다. simple ITK 소프트웨어에 의해 재샘플링(resample) 조작을 행하여, 상기 등록 대상 이미지 및 상기 기준 이미지의 위치나 해상도를 거의 일치시킬 수 있다. ITK는 오픈 소스의 크로스 플랫폼 시스템이며, 개발자에게 이미지 분석을 위한 일련의 소프트웨어 툴을 제공한다.
상기 소정의 이미지 사이즈가 416x416x80(길이x폭x높이)이고, 절단 또는 패딩(padding)(제로 패딩)에 의해 상기 등록 대상 이미지 및 상기 기준 이미지의 이미지 사이즈를 416x416x80으로 통일시키도록 해도 된다.
원래의 이미지 데이터는 전처리가 행해짐으로써, 그 다양성이 저감되고, 뉴럴 네트워크 모델에 의해 보다 안정적으로 판단될 수 있다.
상이한 시각 또는/및 상이한 조건에서 얻어진 2개의 의료 이미지(1)과 (2)의 등록이란, 이미지(1)의 각 점과 이미지(2)의 각 점이 일대일로 대응하고, 대응되는 2개의 점이 동일한 해부 위치에 대응하는 매핑 관계(P)를 찾아 낸다. 매핑 관계(P)는 일련의 공간적으로 연속적인 변환으로 표현된다. 일반적으로 공간적인 기하변환으로서, 강체변환(rigid body transformation), 아핀변환(affine transformation), 사영변환(projective transformation) 및 비선형변환(nonlinear transformation)을 들 수 있다.
강체변환이란, 물체 내부의 임의의 2점 사이의 거리 및 평행 관계를 유지하는 변환이다. 아핀변환이란, 가장 간단한 비강체 변환이고 평행성을 유지하지만, 각을 유지하지 않고 또한 거리가 변화하는 변환이다. 많은 중요한 임상 적용에 있어서, 변형 가능한 이미지 등록 방법의 적용의 필요가 있다. 예를 들면, 복부 및 흉부의 기관의 이미지 등록을 행하는 경우, 생리적 운동 또는 환자의 이동에 의해 내부 기관 및 조직의 위치, 치수 및 형태가 변화하면 변형 가능한 변환에 의해 이미지의 왜곡을 보상할 필요가 있다.
본 발명의 실시예에 있어서, 상기 전처리는 상기 강체변환을 포함해도 된다. 즉, 이미지의 강체변환을 행하고 나서, 본 발명의 실시예에 기재된 방법에 의해 상기 이미지의 등록을 실현한다.
이미지 처리의 분야에서, 물체의 위치(평행 이동 변환) 및 방향(회전 변환)만이 변화하지만, 형상이 변하지 않는 변환은 상기 강체변환이라고 불린다.
단계 102에서, 상기 등록 대상 이미지 및 상기 기준 이미지를 소정의 등록 대상 이미지와 소정의 기준 이미지의 상호 정보량의 손실을 기초로 트레이닝된 소정의 뉴럴 네트워크 모델에 입력한다.
본 발명의 실시예에서, 이미지 처리 장치에 사전에 트레이닝된 상기 소정의 뉴럴 네트워크 모델이 기억되도록 해도 된다.
상기 소정의 뉴럴 네트워크 모델은 뉴런의 상호 정보량 추정에 의해 트레이닝되고, 구체적으로 소정의 등록 대상 이미지와 소정의 기준 이미지의 상호 정보량의 손실을 기초로 트레이닝되도록 해도 된다.
상기 소정의 뉴럴 네트워크 모델은 등록 모델과 상호 정보량 추정 네트워크 모델을 포함하며, 상기 소정의 뉴럴 네트워크 모델의 트레이닝 과정은, 상기 소정의 등록 대상 이미지 및 상기 소정의 기준 이미지를 취득하고, 상기 소정의 등록 대상 이미지 및 상기 소정의 기준 이미지를 상기 등록 모델에 입력하여 변형장을 생성하는 것과, 상기 변형장 및 상기 소정의 등록 대상 이미지에 기초하여 상기 소정의 기준 이미지에 대한 등록을 행하는 과정에 있어서, 상기 상호 정보량 추정 네트워크 모델에 의해, 상기 소정의 등록 대상 이미지와 상기 소정의 기준 이미지의 상호 정보량을 추정하여 상호 정보량의 손실을 얻는 것과, 상기 상호 정보량의 손실을 기초로 상기 등록 모델 및 상기 상호 정보량 추정 네트워크 모델의 파라미터를 갱신하여, 트레이닝된 소정의 뉴럴 네트워크 모델을 얻는 것을 포함하도록 해도 된다.
예를 들면, 뉴럴 네트워크의 구배 강하 알고리즘에 의해, 고차원의 연속 확률 변수간의 상호 정보량을 추정할 수 있다. 예를 들면, MINE(mutual information neural estimaiton) 알고리즘은 차원적으로 및 샘플 치수적으로 선형 측정 가능하고, 역전파 알고리즘을 사용하여 트레이닝될 수 있다. MINE 알고리즘은 상호 정보량을 최대화 또는 최소화시켜, 생성 모델의 적대적 트레이닝을 개선하고, 감독 학습의 분류 태스크에서의 병목 현상을 해소할 수 있다.
단계 103에서, 상기 소정의 뉴럴 네트워크 모델에 의해, 상기 등록 대상 이미지의 상기 기준 이미지에 대한 등록을 행하여 등록 결과를 얻는다.
이미지의 등록은 일반적으로 먼저 2개의 이미지에 대해 특징 추출을 행하여 특징점을 취득한다. 그 후, 유사도 측정을 행함으로써 매칭한 특징점쌍을 찾아낸다. 다음으로, 매칭한 특징점쌍에 의해 이미지 공간 좌표 변환 파라미터를 얻는다. 마지막으로, 좌표 변환 파라미터에 의해, 이미지의 등록을 행한다.
본 발명의 실시예에서, 소정의 뉴럴 네트워크 모델의 합성곱층은 3D 합성곱이도록 해도 된다. 상기 소정의 뉴럴 네트워크 모델에 의해 변형장(deformable field)을 생성한 후, 3D의 공간 변환층에 의해, 변형의 필요가 있는 등록 대상 이미지에 대해 변형 가능한 변환을 행하고, 등록된 등록 결과 이미지(moved)를 포함하는 상기 등록 결과를 얻도록 해도 된다.
여기서, 상기 소정의 뉴럴 네트워크 모델에서 변형장의 평활도를 보증하기 위해 L2 손실 함수를 사용하여 변형장의 구배를 제약한다. 하나의 뉴럴 네트워크에 의해 상호 정보량을 손실 함수로서 추정하고, 등록이 끝난 이미지와 기준 이미지 사이의 유사도를 평가하여 네트워크의 트레이닝을 지도한다.
종래, 감독 딥 러닝에 의해 등록을 행하고, 신뢰할 수 있는 기준이 거의 없기 때문에, 종래의 등록 방법에 의해 마크를 취득하지 않으면 안된다. 따라서, 처리 시간이 길고, 등록의 정밀도가 제한된다. 또한, 종래의 방법으로 등록하는 경우, 각 화소점의 변환 관계를 산출할 필요가 있어, 계산량이 방대하고, 방대한 시간이 걸린다.
카테고리가 알려지지 않은(마크되어 있지 않은) 트레이닝 샘플에 기초하여, 패턴 인식에서의 하나 이상의 문제를 해결하는 것은 감독 없는 학습이라고 불린다. 본 발명의 실시예는 감독 없는 딥 러닝에 의한 뉴럴 네트워크를 사용하여 이미지의 등록을 행하고, 변형이 발생할 수 있는 어떠한 기관의 등록에 사용될 수 있다. 본 발명의 실시예는 GPU에 의해 상기 방법을 실행함으로써, 수 초 내에 등록 결과를 얻을 수 있어, 보다 효율적이다.
본 발명의 실시예는 등록 대상 이미지 및 등록용 기준 이미지를 취득하고, 등록 대상 이미지 및 기준 이미지를 소정의 등록 대상 이미지와 소정의 기준 이미지의 상호 정보량의 손실을 기초로 트레이닝된 소정의 뉴럴 네트워크 모델에 입력하고, 상기 소정의 뉴럴 네트워크 모델에 의해, 등록 대상 이미지의 기준 이미지에 대한 등록을 행하여 등록 결과를 얻는다. 이에 의해, 이미지 등록의 정밀도 및 실시간성을 향상시킬 수 있다.
도 2는 본 발명의 실시예에 개시되는 다른 이미지 처리 방법의 흐름도이고, 구체적으로는 소정의 뉴럴 네트워크의 트레이닝 방법의 흐름도이며, 도 1을 기초로 더욱 최적화되어 얻어진 것이다. 본 발명의 실시예의 단계를 실행하는 주체는 이미지 처리 장치여도 된다. 당해 이미지 처리 장치는 도 1에 나타내는 실시예의 방법에서의 장치와 동일하거나 또는 상이한 이미지 처리 장치여도 된다. 도 2에 나타내는 바와 같이, 이 이미지 처리 방법은 이하의 단계를 포함한다.
단계 201에서, 소정의 등록 대상 이미지 및 소정의 기준 이미지를 취득하고, 상기 소정의 등록 대상 이미지 및 상기 소정의 기준 이미지를 상기 등록 모델에 입력하여 변형장을 생성한다.
여기서, 도 1의 실시예와 동일하게, 상기 소정의 등록 대상 이미지(moving) 및 상기 소정의 기준 이미지(fixed)는 양방 모두 다양한 의료 이미지 기기에 의해 취득되는 의료 이미지여도 된다. 특히, 예를 들면, 폐 CT와 같은 변형 가능한 기관의 이미지의 경우, 등록 대상 이미지 및 등록용 기준 이미지는 일반적으로 동일 기관의 상이한 시점 또는 상이한 조건에서의 이미지이다. 여기서, 「소정」이라는 용어는 도 1의 실시예에서의 등록 대상 이미지 및 기준 이미지와 구별하기 위해 추가한 단어이고, 소정의 등록 대상 이미지 및 소정의 기준 이미지는 주로 당해 소정의 뉴럴 네트워크 모델의 입력으로서, 상기 소정의 뉴럴 네트워크 모델의 트레이닝에 사용된다.
등록되는 의료 이미지는 다양한 것일 수 있다. 이미지에 있어서, 이미지 그레이스케일 값, 이미지 사이즈 등의 특징의 다양성으로서 표현된다. 선택적으로, 상기 방법은 상기 소정의 등록 대상 이미지 및 상기 소정의 기준 이미지를 취득한 후에, 상기 소정의 등록 대상 이미지 및 상기 소정의 기준 이미지에 대해 이미지 정규화 처리를 행하여, 소정의 트레이닝 파라미터를 만족하는 상기 소정의 등록 대상 이미지 및 상기 소정의 기준 이미지를 얻는 것을 추가로 포함하고, 상기 소정의 등록 대상 이미지 및 상기 소정의 기준 이미지를 상기 등록 모델에 입력하여 변형장을 생성하는 것은, 상기 소정의 트레이닝 파라미터를 만족하는 상기 소정의 등록 대상 이미지 및 상기 소정의 기준 이미지를 상기 등록 모델에 입력하여 변형장을 생성하는 것을 포함하도록 해도 된다.
상기 소정의 트레이닝 파라미터는 그레이스케일 값의 소정의 범위 및 소정의 이미지 사이즈(예를 들면, 416x416x80)를 포함해도 된다. 상기 이미지 정규화의 처리 과정은 도 1에 나타내는 실시예의 단계 101의 구체적인 설명을 참조하면 된다. 선택적으로 먼저 등록 전에 행해지는 전처리는 강체 변환 및 데이터 정규화를 포함한다. 구체적으로는 simple ITK라는 소프트웨어에 의해 재샘플링의 조작을 행하여, 소정의 등록 대상 이미지 및 소정의 기준 이미지의 위치나 해상도를 거의 일치시킬 수 있다. 후속의 트레이닝 프로세스의 조작을 용이하게 하기 위해, 이미지가 소정 크기가 되도록 절단 또는 패딩을 행할 수 있다. 미리 설정된 입력 이미지의 이미지 사이즈의 길이, 폭, 높이를 416x416x80으로 가정하면, 절단 또는 패딩(제로 패딩)에 의해 소정의 등록 대상 이미지와 소정의 기준 이미지의 이미지 사이즈를 416x416x80으로 통일시킬 필요가 있다. 폐 CT에서의 중요한 정보를 위해, 윈도우 폭을 [-1200, 600]으로 하여, 소정의 등록 대상 이미지 및 소정의 기준 이미지를 [0, 1]로 정규화한다. 즉 원 이미지에서의 600 초과인 것을 1로 하고, -1200 미만인 것을 0으로 하도록 해도 된다.
상이한 기관 조직의 CT에서의 표현은 상이하디. 즉, 대응하는 그레이 레벨은 상이할 가능성이 있다. 윈도우 폭(windowing)이란, 하운즈필드(발명자) 유닛(Hounsfield Unit, HU)에서 얻어진 데이터를 사용하여 이미지를 산출하는 과정을 의미한다. 상이한 방사 강도(raiodensity)는 256개의 상이한 정도의 그레이스케일 값에 대응하고, 상기 그레이스케일 값은 CT값의 범위에 따라 감쇠값이 재정의될 수 있다. CT 범위의 중심값을 일정한 것으로 가정하면, 정의된 범위가 좁아진 경우는 좁은 윈도우(narrow window)로 불리고, 세부의 미소 변화가 식별되게 된다. 이것은 이미지 처리의 개념에서 대비 압축이라고 불린다.
본 발명의 실시예에서, 중요한 정보를 보다 양호하게 추출하기 위해, 상이한 조직에 따라 CT에 있어서 널리 인정된 윈도우 폭, 윈도우 레벨을 설정하도록 해도 된다. 여기에서, [-1200, 600]의 구체적인 값 -1200, 600은 윈도우 레벨을 나타내고, 범위의 크기 즉, 윈도우 폭은 1800이다. 상기 이미지 정규화 처리는 후속의 손실 산출에 있어서 구배 폭발을 회피하기 위해 행해진다.
여기에서, 변형장의 구배의 큰 폭의 변화에 의한 변이, 주름 및 공동에 대처하기 위해, 평활성이라는 성질을 갖는 L2 손실 함수를 사용하도록 해도 된다. 구배는 인접하는 화소점의 차이값으로 나타내는 것이고, 즉 인접하는 화소점 사이의 과도한 변화에 의한 큰 변형을 회피하기 위해 L2 손실 함수를 사용한다.
전처리된 소정의 등록 대상 이미지 및 소정의 기준 이미지를 트레이닝되는 뉴럴 네트워크에 입력하여 변형장을 생성하고, 그 후, 상기 변형장 및 상기 소정의 등록 대상 이미지에 기초하여, 상기 소정의 기준 이미지에 대한 등록을 행한다. 즉, 이 변형장 및 소정의 기준 이미지를 사용하여 변형 후의 등록 결과 이미지(moved)를 생성한다.
단계 202에서, 상기 변형장 및 상기 소정의 등록 대상 이미지에 기초하여, 상기 소정의 기준 이미지에 대한 등록을 행하는 과정에서, 상호 정보량 추정 네트워크 모델에 의해, 등록이 끝난 이미지와 상기 소정의 기준 이미지의 상호 정보량을 추정하여 상호 정보량의 손실을 얻는다.
본 발명의 실시예에서의 소정의 뉴럴 네트워크 모델은 상호 정보량 추정 네트워크 모델 및 등록 모델을 포함하도록 해도 된다. 등록이 끝난 이미지는 이번에, 상기 등록 네트워크에 의해, 소정의 등록 대상 이미지의 소정의 기준 이미지에 대한 등록을 행한 이미지이다. 일 실시형태에서는 상기 상호 정보량 추정 네트워크 모델에 의해, 상기 등록이 끝난 이미지 및 상기 소정의 기준 이미지에 기초하여 동시 확률 분포 및 주변 확률 분포를 취득하고, 그 후, 상기 동시 확률 분포 파라미터 및 상기 주변 확률 분포 파라미터에 기초하여, 상호 정보량의 손실을 산출하도록 해도 된다.
예를 들면, 뉴럴 네트워크의 구배 강하 알고리즘에 의해, 고차원의 연속 확률 변수 사이의 상호 정보량을 추정할 수 있다. 예를 들면, MINE(mutual information neural estimaiton) 알고리즘은 차원적으로 또한 샘플 치수적으로 선형 측정 가능하고, 역전파 알고리즘을 사용하여 트레이닝될 수 있다. MINE 알고리즘은 상호 정보량을 최대화 또는 최소화시켜, 생성 모델의 적대적 트레이닝을 개선하고, 감독 학습의 분류 태스크에서의 병목 현상을 해소할 수 있다. 이하의 상호 정보량의 계산식 (1)에서 상기 상호 정보량의 손실을 산출할 수 있다.
여기서 X, Z는 2개의 입력 이미지(등록이 끝난 이미지 및 소정의 기준 이미지)이고, 동차 선형 방정식의 해의 집합으로 이루어지는 벡터 공간인 해공간, 즉 집합으로서 이해된다. 상호 정보량의 손실을 산출하기 위한 상기 파라미터는 상기 2개의 입력 이미지의 해공간에 속한다. 
는 수학적인 기대를 나타내고, PXZ는 동시 확률 분포이고, PX와 PZ는 주변 확률 분포이고, θ는 상기 상호 정보량 추정 네트워크의 초기화 파라미터이고, n은 양의 정수이고, 샘플의 수를 나타낸다.
여기서, 트레이닝에 있어서 상호 정보량이 클수록, 등록의 결과가 정확하다는 것을 의미한다. 식 중의 sup는 최소 상계를 나타낸다. 트레이닝에 있어서, 이 최소 상계를 증대시키는 것은 상호 정보량을 최대화하는 것을 의미한다. 상기 T는 상기 상호 정보량 추정 네트워크 모델(그 파라미터가 포함됨)을 나타내고, 상기 식과 함께 상호 정보량을 추정하고, T에도 갱신이 필요한 파라미터가 있다. 이 식 및 T에 의해 상호 정보량의 손실을 구성한다.
단계 203에서, 상기 상호 정보량의 손실을 기초로, 상기 등록 모델 및 상기 상호 정보량 추정 네트워크 모델의 파라미터를 갱신하여 트레이닝된 소정의 뉴럴 네트워크 모델을 얻는다.
본 발명의 실시예에서는 뉴런에 의해 상호 정보량을 등록이 끝난 이미지와 기준 이미지의 유사도를 평가 기준으로서 추정한다. 즉 단계(202) 및 단계(203)을 반복하여 실행하고, 상기 등록 모델 및 상호 정보량 추정 네트워크 모델의 파라미터를 계속적으로 갱신하여, 2개의 네트워크의 트레이닝이 완성될 수 있도록 지도하도록 해도 된다.
선택적으로, 상기 상호 정보량의 손실을 기초로 상기 등록 모델의 파라미터인 제1 임계값 횟수를 갱신하고, 상기 상호 정보량의 손실을 기초로 상기 상호 정보량 추정 네트워크 모델의 파라미터인 제2 임계값 횟수를 갱신하여, 상기 트레이닝된 소정의 뉴럴 네트워크 모델을 얻도록 해도 된다.
이미지 처리 장치에 상기 제1 임계값 횟수 및 제2 임계값 횟수가 기억되고, 상기 제1 임계값 횟수와 제2 임계값 횟수와 상이하게, 상기 제1 임계값 횟수는 상기 제2 임계값 횟수보다 크도록 해도 된다.
상기 갱신에 따른 제1 임계값 횟수 및 제2 임계값 횟수란, 뉴럴 네트워크의 트레이닝에 있어서의 에폭(epoch)을 의미한다. 하나의 에폭은 하나 이상의 트레이닝 샘플의 1회의 순전파(forward delivery) 및 1회의 역전파(backward delivery)를 나타낼 수 있다.
예를 들면, 상기 등록 모델 및 상호 정보량 추정 네트워크 모델은 독립적으로 파라미터 갱신을 행할 수 있다. 예를 들면, 제1 임계값 횟수를 120으로 하고 제2 임계값 횟수를 50으로 하면, 최초의 50개의 epoch에서 상호 정보량 추정 네트워크 모델 및 등록 모델을 갱신하고, 50개의 epoch 후, 등록 모델의 120개의 epoch의 갱신이 완료될 때까지 상호 정보량 추정 네트워크 모델의 네트워크 파라미터를 동결시켜, 등록 모델만을 갱신한다.
선택적으로, 소정의 옵티마이저에 의해, 상기 소정의 뉴럴 네트워크 모델의 파라미터인 소정의 학습률 및 제3 임계값 횟수를 갱신하여, 트레이닝된 최종적인 소정의 뉴럴 네트워크 모델을 얻도록 해도 된다.
옵티마이저에서 사용되는 알고리즘은, 일반적으로 상이한 파라미터마다 학습률을 조정하고, 빈번하게 변화하고 있는 파라미터에 대해 작은 스트라이드로 갱신하고, 적은 파라미터에 대해 보다 큰 스트라이드로 갱신할 수 있는 자기 적응적인 구배(Adaptive Gradient, AdaGrad) 최적화 알고리즘; 및 구배 제곱의 지수 이동 평균에 따라 학습률의 변화를 조정하고 불안정한(Non-Stationary) 목적 함수의 경우에 양호하게 수렴할 수 있는 RMSProp 알고리즘을 포함한다.
여기서, 상기 소정의 옵티마이저로서, AdaGrad 및 RMSProp의 두 개의 최적화 알고리즘의 이점을 결합한 ADAM의 옵티마이저를 사용할 수 있다. 구배의 1차 모멘트의 추정(First Moment Estimation, 즉 구배의 평균값) 및 2차 모멘트의 추정(Second Moment Estimation, 즉 구배의 중심화되어 있지 않은 분산)을 종합적으로 고려하여, 갱신의 스트라이드를 산출한다.
상기 제3 임계값 횟수는 상기 제1 임계값 횟수 및 제2 임계값 횟수와 동일하게, epoch을 의미한다. 이미지 처리 장치 또는 상기 소정의 옵티마이저에, 상기 제3 임계값 횟수 및 소정의 학습률을 기억하여 갱신을 제어하도록 해도 된다. 예를 들면, 학습률을 0.001로 하고, 제3 임계값 횟수를 300 epoch로 한다. 또한, 예를 들면, 각각 40, 120 및 200 epoch에 도달하면 학습률을 반감하도록 학습률의 조정 룰을 설정하고, 상기 학습률의 조정 룰로 파라미터 갱신의 학습률을 조정하도록 해도 된다.
상기 이미지 처리 장치는 상기 트레이닝된 소정의 뉴럴 네트워크 모델을 얻은 후, 도 1의 실시예에서의 방법의 일부 또는 전부를 실행할 수 있고, 즉 상기 소정의 뉴럴 네트워크 모델에 의해, 등록 대상 이미지의 기준 이미지에 대한 등록을 행하여 등록 결과를 얻을 수 있다.
일반적으로 대부분의 기술은 비파라미터적인 방법으로 상호 정보량을 추정하고(예를 들면, 히스토그램을 사용), 계산량이 클 뿐만 아니라, 역전파를 할 수 없고, 뉴럴 네트워크에 적용할 수 없다. 본 발명의 실시예에서는 뉴런에 의해 상호 정보량을 추정하여 이미지의 손실을 평가한다. 이에 의해, 트레이닝된 소정의 뉴럴 네트워크 모델은 이미지의 등록, 특히 변형이 발생할 수 있는 각종 기관의 의료 이미지의 등록에 적용할 수 있고, 상이한 시점에서의 추적 이미지를 변형하여 등록을 행할 수 있고, 등록 효율이 높고, 결과가 보다 정확해진다.
일반적으로 어떤 수술에서는 수술 전 또는 수술 중에 품질 및 속도가 상이한 하나 이상의 스캔을 행하여 의료 이미지를 얻을 필요가 있다. 한편, 의료 이미지의 등록은 보통 1회 이상의 스캔이 수행된 후에만 행해질 수 있어서, 수술 중의 실시간성의 요구를 충족시키지 못하므로, 추가적인 시간을 들여 수술의 결과를 판정할 필요가 있다. 등록한 결과로서 수술 결과가 바람직하지 않은 경우, 후속의 수술 치료가 필요해지는 경우가 있다. 이것은 의사 및 환자 쌍방의 시간의 낭비, 치료의 적기를 놓치는 것을 초래한다. 한편, 본 발명의 실시예에 따른 소정의 뉴럴 네트워크 모델에 의해 등록을 행하는 방법은 예를 들면, 종양 절제 수술 중에 실시간으로 등록을 행하고, 종양이 완전히 절제되는지 여부를 판단하도록 수술 중의 실시간 의료 이미지 등록에 적용할 수 있어, 시효성이 높아진다.
본 발명의 실시예는 소정의 등록 대상 이미지 및 소정의 기준 이미지를 취득하고, 상기 소정의 등록 대상 이미지 및 상기 소정의 기준 이미지를 상기 등록 모델에 입력하여 변형장을 생성하고, 상기 변형장 및 상기 소정의 등록 대상 이미지에 기초하여 상기 소정의 기준 이미지에 대한 등록을 행하는 과정에 있어서, 상호 정보량 추정 네트워크 모델에 의해, 등록이 끝난 이미지와 상기 소정의 기준 이미지의 상호 정보량을 추정하여 상호 정보량의 손실을 얻고, 상기 상호 정보량의 손실을 기초로 상기 등록 모델 및 상기 상호 정보량 추정 네트워크 모델의 파라미터를 갱신하여, 트레이닝된 소정의 뉴럴 네트워크 모델을 취득한다. 이에 의해, 변형 가능한 등록에 적용하고, 이미지의 등록의 정밀도 및 실시간성을 높일 수 있다.
이상, 주로 방법의 실행 순서로 본 발명의 실시예의 해결 수단을 설명하였다. 이미지 처리 장치는 상기 기능을 실현하기 위해, 각 기능을 실행하기 위한 대응하는 하드웨어 구조 및/또는 소프트웨어 모듈을 포함하는 것을 이해해야 한다. 당업자이면, 본 명세서에 개시하는 실시예에 기재된 각 예의 유닛 및 알고리즘의 단계에 기초하여, 본 발명이 하드웨어 또는 하드웨어와 컴퓨터 소프트웨어의 조합에 의해 실현 가능한 것은 용이하게 인식할 수 있다. 기능이 하드웨어에서 실행되거나, 아니면 컴퓨터 소프트웨어에서 하드웨어를 구동함으로써 실행되는지는 기술적 해결 수단의 특정 응용 및 설계 제약 조건에 의해 결정된다. 전문 기술자이면, 각 특정 응용에 따라 상이한 방법으로 기술한 기능을 실현할 수 있다. 이러한 실현은 본 발명의 범위를 초과한 것으로 이해해서는 아니 된다.
본 발명의 실시예는 상기 방법의 예에 따라 이미지 처리 장치의 기능 모듈의 분할을 행할 수 있다. 예를 들면, 각 기능에 대응하여 개별 기능 모듈로 분할해도 되고, 2개 이상의 기능을 하나의 처리 모듈에 통합해도 된다. 상기 통합된 모듈은 하드웨어로 실현되어도 되고, 소프트웨어 기능 모듈로 실현되어도 된다. 설명해야 할 것은 본 발명의 실시예에서의 모듈의 분할은 예시적인 것이고, 논리 기능의 분할에 지나지 않아, 실제적인 실현에 있어서, 다른 분할 형태로 분할해도 된다.
도 3은 본 발명의 실시예에 개시되는 이미지 처리 장치의 구성 모식도이다. 도 3에 나타내는 바와 같이, 상기 이미지 처리 장치(300)는 등록 대상 이미지 및 등록용 기준 이미지를 취득하기 위해 사용되는 취득 모듈(310)과, 상기 등록 대상 이미지 및 상기 기준 이미지를 소정의 등록 대상 이미지와 소정의 기준 이미지의 상호 정보량의 손실을 기초로 트레이닝된 소정의 뉴럴 네트워크 모델에 입력하는 것과, 상기 소정의 뉴럴 네트워크 모델에 의해, 상기 등록 대상 이미지를 상기 기준 이미지에 대한 등록을 행하여 등록 결과를 얻는 것에 사용되는 등록 모듈(320)을 포함한다.
선택적으로, 상기 이미지 처리 장치(300)는 원래의 등록 대상 이미지 및 원래의 기준 이미지를 취득하고, 상기 원래의 등록 대상 이미지 및 상기 원래의 기준 이미지에 대해 이미지 정규화 처리를 행하고, 목표 파라미터를 만족하는 상기 등록 대상 이미지 및 상기 기준 이미지를 취득하기 위해 사용되는 전처리 모듈(330)을 추가로 포함한다.
선택적으로, 상기 전처리 모듈(330)은 구체적으로, 상기 원래의 등록 대상 이미지를 소정의 범위 내의 그레이스케일 값, 소정의 이미지 사이즈를 갖는 등록 대상 이미지로 변환하는 것과, 상기 소스 기준 이미지를 상기 소정의 범위 내의 그레이스케일 값, 상기 소정의 이미지 사이즈를 갖는 기준 이미지로 변환하는 것에 사용된다.
선택적으로, 상기 소정의 뉴럴 네트워크 모델은 등록 모델과 상호 정보량 추정 네트워크 모델을 포함하고, 상기 등록 모듈(320)은 상기 소정의 등록 대상 이미지 및 상기 소정의 기준 이미지를 취득하고, 상기 소정의 등록 대상 이미지 및 상기 소정의 기준 이미지를 상기 등록 모델에 입력하여 변형장을 생성하기 위해 사용되는 등록 유닛(321)과, 상기 등록 모듈이 상기 변형장 및 상기 소정의 등록 대상 이미지에 기초하여 상기 소정의 기준 이미지에 대한 등록을 행하는 과정에 있어서, 상기 상호 정보량 추정 네트워크 모델에 의해, 등록이 끝난 이미지와 상기 소정의 기준 이미지의 상호 정보량을 추정하여 상호 정보량의 손실을 얻기 위해 사용되는 상호 정보량 추정 유닛(322)과, 상기 상호 정보량의 손실을 기초로 상기 등록 모델 및 상기 상호 정보량 추정 네트워크 모델의 파라미터를 갱신하여, 트레이닝된 소정의 뉴럴 네트워크 모델을 얻기 위해 사용되는 갱신 유닛(323)을 포함한다.
선택적으로, 상기 상호 정보량 추정 유닛(322)은 구체적으로, 상기 상호 정보량 추정 네트워크 모델에 의해, 등록이 끝난 이미지 및 상기 소정의 기준 이미지에 기초하여 동시 확률 분포 및 주변 확률 분포를 취득하는 것과, 상기 동시 확률 분포 파라미터 및 상기 주변 확률 분포 파라미터에 기초하여, 상기 상호 정보량의 손실을 산출하는 것에 사용된다.
선택적으로, 상기 갱신 유닛(323)은 구체적으로, 상기 상호 정보량의 손실을 기초로 상기 등록 모델의 파라미터인 제1 임계값 횟수를 갱신하고, 상기 상호 정보량의 손실을 기초로 상기 상호 정보량 추정 네트워크 모델의 파라미터인 제2 임계값 횟수를 갱신하여, 상기 트레이닝된 소정의 뉴럴 네트워크 모델을 얻기 위해 사용된다.
선택적으로, 상기 갱신 유닛(323)은, 소정의 옵티마이저에 의해, 상기 소정의 뉴럴 네트워크 모델의 파라미터인 소정의 학습률 및 제3 임계값 횟수를 갱신하기 위해서도 사용된다.
선택적으로, 상기 전처리 모듈(330)은, 상기 소정의 등록 대상 이미지 및 상기 소정의 기준 이미지에 대해 이미지 정규화 처리를 행하여, 소정의 트레이닝 파라미터를 만족하는 상기 소정의 등록 대상 이미지 및 상기 소정의 기준 이미지를 얻기 위해서도 사용되고, 상기 등록 모듈은, 상기 소정의 트레이닝 파라미터를 만족하는 상기 소정의 등록 대상 이미지 및 상기 소정의 기준 이미지를 상기 등록 모델에 입력하여 변형장을 생성하기 위해서도 사용된다.
도 3의 실시예에서의 이미지 처리 장치(300)는 도 1 및/또는 도 2의 실시예의 방법의 일부 또는 전부를 실행할 수 있다.
도 3에 나타내는 이미지 처리 장치(300)를 실시하면, 이미지 처리 장치(300)는 등록 대상 이미지 및 등록용 기준 이미지를 취득하고, 등록 대상 이미지 및 기준 이미지를 소정의 등록 대상 이미지와 소정의 기준 이미지의 상호 정보량의 손실을 기초로 트레이닝된 소정의 뉴럴 네트워크 모델에 입력하고, 상기 소정의 뉴럴 네트워크 모델에 의해, 등록 대상 이미지의 기준 이미지에 대한 등록을 행하여 등록 결과를 얻을 수 있다. 이에 의해, 이미지 등록의 정밀도 및 실시간성을 향상시킬 수 있다.
일부 실시예에서는 본 발명의 실시예에서 제공된 장치에 구비하는 기능 또는 모듈은 상기 방법의 실시예에 기재된 방법을 실행하기 위해 이용 가능하고, 그 구체적인 실시형태는 상기 방법의 실시예의 설명을 참조하면 되고, 간단화하기 위해, 여기에서 중복 설명은 생략한다.
도 4는 본 발명의 실시예에 개시되는 전자 기기의 구성 모식도이다. 도 4에 나타내는 바와 같이, 상기 전자 기기(400)는 프로세서(401) 및 메모리(402)를 포함하고, 버스(403)를 포함해도 된다. 프로세서(401)와 메모리(402)는 버스(403)을 통해 서로 접속 가능하고, 버스(403)은 주변 기기 상호 접속(Peripheral Component Interconnect, PCI라고 생략됨) 버스 또는 확장 업계 표준 아키텍처(Extended Industry Standard Architecture, EISA라고 생략됨) 버스 등이어도 된다. 버스(403)는 어드레스 버스, 데이터 버스, 제어 버스 등으로 나누어져도 된다. 도시의 편의상, 도 4에 있어서 하나의 굵은 선만으로 나타내고 있지만, 하나의 버스 또는 하나의 유형의 버스 밖에 없는 것을 의미하지 않는다. 여기서, 전자 기기(400)는 입출력 기기(404)를 추가로 포함해도 되고, 입출력 기기(404)는 디스플레이 스크린, 예를 들면, 액정 디스플레이 스크린을 포함해도 된다. 메모리(402)는 명령을 포함하는 하나 이상의 프로그램을 기억하기 위해 사용된다. 프로세서(401)는 메모리(402)에 기억되어 있는 명령을 호출하고, 상기 도 1 및 도 2의 실시예에 기재된 방법의 단계의 일부 또는 전부를 실행시키기 위해 사용된다. 상기 프로세서(401)는 도 3의 이미지 처리 장치(300)에서의 각 모듈의 기능을 대응하여 실현할 수 있다.
실시도 4에 나타내는 전자 기기(400)를 실시하면, 전자 기기(400)는 등록 대상 이미지 및 등록용 기준 이미지를 취득하고, 등록 대상 이미지 및 기준 이미지를 소정의 등록 대상 이미지와 소정의 기준 이미지의 상호 정보량의 손실을 기초로 트레이닝된 소정의 뉴럴 네트워크 모델에 입력하고, 상기 소정의 뉴럴 네트워크 모델에 의해 등록 대상 이미지의 기준 이미지에 대한 등록을 행하여 등록 결과를 얻을 수 있다. 이에 의해, 이미지 등록의 정밀도 및 실시간성을 향상시킬 수 있다.
본 발명의 실시예는 컴퓨터에 상기 방법의 실시예에 기재된 이미지 처리 방법 중 어느 하나의 단계의 일부 또는 전부를 실행시키는 전자 데이터 교환용 컴퓨터 프로그램을 기억하기 위해 사용되는 컴퓨터 판독 가능 기억 매체를 추가로 제공한다.
본 발명의 실시예는 기기에서 실행되면, 기기의 프로세서에 상기 실시예 중 하나 이상에 따른 이미지 처리 방법을 실현하기 위한 명령을 실행시키는 컴퓨터 판독 가능 코드를 포함하는 컴퓨터 프로그램 제품을 추가로 제공한다.
설명해야 할 것은 전술한 각 방법의 실시예에 대해, 설명을 간략화하기 위해, 일련의 동작의 조합으로서 설명했지만, 본 발명에 의하면, 몇 가지 단계가 다른 순서로 또는 동시에 행해지는 것을 알 수 있기 문에, 당업자이면 본 발명은 설명한 동작의 순서에 한정되지 않는 것을 이해한다. 또한, 당업자이면 본 명세서에 기재된 실시예는 전부 선택적인 실시예이고, 관련된 동작 및 모듈은 반드시 본 발명에 필수적인 것은 아닌 것을 이해한다.
상기 실시예에서는 각 실시예에 대한 기술의 착안점이 상이하고, 어떤 실시예에 있어서 상세하게 기술 또는 기재되어 있지 않은 부분은 다른 실시예의 관련 설명을 참조하면 된다.
본 발명이 제공하는 수 개의 실시예에서는 개시하는 장치는 다른 형태로 실현할 수 있는 것을 이해해야 한다. 예를 들면, 상술한 장치의 실시예는 예시적인 것에 불과하다. 예를 들면, 상기 모듈(또는 유닛)의 분할은 논리 기능의 분할에 불과하고, 실제적인 실현에서 다른 분할 형태로 분할해도 된다. 예를 들면, 복수의 모듈 또는 컴포넌트는 조합해도 되고, 또는 다른 시스템에 통합해도 되고, 또는 일부 특징을 생략 혹은 실행하지 않아도 된다. 또한, 도시 또는 설명한 서로의 결합, 직접 결합 또는 통신 접속은 일부 인터페이스, 기기 또는 모듈을 통한 간접 결합 또는 통신 접속이어도 되고, 전기적 또는 다른 형태로의 접속이어도 된다.
별도의 부재로서 설명한 상기 모듈은 물리적으로 분리되어도 되고, 분리되지 않아도 되고, 모듈로서 나타낸 부재는 물리 모듈이어도 되고, 아니어도 되며, 한 지점에 위치해도 되고, 복수의 네트워크 모듈에 분산되어도 된다. 본 실시예의 해결 수단의 목적을 달성하기 위해. 실제 필요에 따라 모듈의 일부 또는 전부를 선택할 수 있다.
또한, 본 발명의 각 실시예에서의 각 기능 모듈은 하나의 처리 모듈에 통합되어도 되고, 각각 물리적으로 별도의 모듈이 되어도 되고, 두 개 이상으로 하나의 모듈에 통합되어도 된다. 상기 통합된 모듈은 하드웨어로 실현되어도 되고, 소프트웨어 기능 모듈로 실현되어도 된다.
상기 통합된 모듈은 소프트웨어 기능 모듈로 실현되고, 또한 독립적인 제품으로서 판매 또는 사용되는 경우, 컴퓨터 판독 가능 기억 매체에 기억되어도 된다. 이러한 견해를 기초로, 본 발명의 기술적 해결 수단의 실질적인 부분, 종래 기술에 기여하는 부분, 또는 상기 기술적 해결 수단의 전부 또는 일부는 소프트웨어 제품에서 실현될 수 있다. 상기 컴퓨터 소프트웨어 제품은 메모리에 기억되고, 하나의 컴퓨터 기기(개인용 컴퓨터, 서버 또는 네트워크 기기 등이어도 됨)에 본 발명의 각 실시예에 기재된 방법의 단계의 전부 또는 일부를 실행시키는 약간의 명령을 포함한다. 상기 기억 매체는 USB 메모리, 판독 출력 전용 메모리(Read-Only Memory, ROM), 랜덤 액세스 메모리(Random Access Memory, RAM), 모바일 하드 디스크, 자기 디스크 또는 광디스크 등의 프로그램 코드를 기억 가능한 다양한 매체를 포함한다.
당업자이면, 상기 실시예의 각 방법에서의 단계의 전부 또는 일부는 프로그램에 의해 관련 하드웨어에 명령을 내림으로써 완료되는 것을 이해할 수 있다. 이 프로그램은 플래시 디스크, 판독 출력 전용 메모리, 랜덤 액세스 메모리, 자기 디스크 또는 광디스크 등을 포함하는 컴퓨터 판독 가능 기억 매체에 기억 가능하다.
이상, 본 발명의 실시예를 상세하게 설명하였다. 본 명세서에서는 구체예를 통해 본 발명의 원리 및 실시형태를 설명했지만, 이상의 실시예에 관한 설명은 본 발명의 방법 및 그 취지를 이해하기 쉽게 하기 위한 것에 지나지 않는다. 또한, 당업자이면 본 발명의 사상에 기초하여, 구체적인 실시형태와 적용 범위를 변경하는 것이 가능하다. 따라서, 본 명세서의 내용은 본 발명을 제한하는 것으로 이해해서는 안된다.
Claims (19)
- 등록 대상 이미지 및 등록용 기준 이미지를 취득하는 것과,
상기 등록 대상 이미지 및 상기 기준 이미지를 소정의 등록 대상 이미지와 소정의 기준 이미지의 상호 정보량의 손실을 기초로 트레이닝된 소정의 뉴럴 네트워크 모델에 입력하는 것과,
상기 소정의 뉴럴 네트워크 모델에 의해 상기 등록 대상 이미지의 상기 기준 이미지에 대한 등록을 행하여 등록 결과를 얻는 것을 포함하는, 이미지 처리 방법. - 제 1 항에 있어서,
등록 대상 이미지 및 등록용 기준 이미지를 취득하기 전에,
원래의 등록 대상 이미지 및 원래의 기준 이미지를 취득하고, 상기 원래의 등록 대상 이미지 및 상기 원래의 기준 이미지에 대해 이미지 정규화 처리를 행하여, 목표 파라미터를 만족하는 상기 등록 대상 이미지 및 상기 기준 이미지를 취득하는 것을 추가로 포함하는, 이미지 처리 방법. - 제 2 항에 있어서,
상기 원래의 등록 대상 이미지 및 상기 원래의 기준 이미지에 대해 이미지 정규화 처리를 행하고, 목표 파라미터를 만족하는 상기 등록 대상 이미지 및 상기 기준 이미지를 취득하는 것은,
상기 원래의 등록 대상 이미지를 소정의 범위 내의 그레이스케일 값, 소정의 이미지 사이즈를 갖는 등록 대상 이미지로 변환하는 것과,
상기 원래의 기준 이미지를 상기 소정의 범위 내의 그레이스케일 값, 상기 소정의 이미지 사이즈를 갖는 기준 이미지로 변환하는 것을 포함하는, 이미지 처리 방법. - 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
상기 소정의 뉴럴 네트워크 모델은 등록 모델과 상호 정보량 추정 네트워크 모델을 포함하고, 상기 소정의 뉴럴 네트워크 모델의 트레이닝 과정은,
상기 소정의 등록 대상 이미지 및 상기 소정의 기준 이미지를 취득하고, 상기 소정의 등록 대상 이미지 및 상기 소정의 기준 이미지를 상기 등록 모델에 입력하여 변형장을 생성하는 것과,
상기 변형장 및 상기 소정의 등록 대상 이미지에 기초하여 상기 소정의 기준 이미지에 대한 등록을 행하는 과정에서, 상기 상호 정보량 추정 네트워크 모델에 의해, 등록이 끝난 이미지와 상기 소정의 기준 이미지의 상호 정보량을 추정하여 상호 정보량의 손실을 얻는 것과,
상기 상호 정보량의 손실을 기초로 상기 등록 모델 및 상기 상호 정보량 추정 네트워크 모델의 파라미터를 갱신하여, 트레이닝된 소정의 뉴럴 네트워크 모델을 얻는 것을 포함하는, 이미지 처리 방법. - 제 4 항에 있어서,
상기 상호 정보량 추정 네트워크 모델에 의해, 등록이 끝난 이미지와 상기 소정의 기준 이미지의 상호 정보량을 추정하여 상호 정보량의 손실을 얻는 것은,
상기 상호 정보량 추정 네트워크 모델에 의해, 등록이 끝난 이미지 및 상기 소정의 기준 이미지에 기초하여 동시 확률 분포 및 주변 확률 분포를 취득하는 것과,
상기 동시 확률 분포 파라미터 및 상기 주변 확률 분포 파라미터에 기초하여 상기 상호 정보량의 손실을 산출하는 것을 포함하는, 이미지 처리 방법. - 제 4 항 또는 제 5 항에 있어서,
상기 상호 정보량의 손실을 기초로 상기 등록 모델 및 상기 상호 정보량 추정 네트워크 모델의 파라미터를 갱신하여, 트레이닝된 소정의 뉴럴 네트워크 모델을 얻는 것은,
상기 상호 정보량의 손실을 기초로 상기 등록 모델의 파라미터인 제1 임계값 횟수를 갱신하고, 상기 상호 정보량의 손실을 기초로 상기 상호 정보량 추정 네트워크 모델의 파라미터인 제2 임계값 횟수를 갱신하여, 상기 트레이닝된 소정의 뉴럴 네트워크 모델을 얻는 것을 포함하는, 이미지 처리 방법. - 제 6 항에 있어서,
소정의 옵티마이저에 의해, 상기 소정의 뉴럴 네트워크 모델의 파라미터인 소정의 학습률 및 제3 임계값 횟수를 갱신하는 것을 추가로 포함하는, 이미지 처리 방법. - 제 4 항에 있어서,
상기 소정의 등록 대상 이미지 및 상기 소정의 기준 이미지를 취득한 후에,
상기 소정의 등록 대상 이미지 및 상기 소정의 기준 이미지에 대해 이미지 정규화 처리를 행하여, 소정의 트레이닝 파라미터를 만족하는 상기 소정의 등록 대상 이미지 및 상기 소정의 기준 이미지를 얻는 것을 추가로 포함하고,
상기 소정의 등록 대상 이미지 및 상기 소정의 기준 이미지를 상기 등록 모델에 입력하여 변형장을 생성하는 것은,
상기 소정의 트레이닝 파라미터를 만족하는 상기 소정의 등록 대상 이미지 및 상기 소정의 기준 이미지를 상기 등록 모델에 입력하여 상기 변형장을 생성하는 것을 포함하는, 이미지 처리 방법. - 등록 대상 이미지 및 등록용 기준 이미지를 취득하기 위해 사용되는 취득 모듈과,
상기 등록 대상 이미지 및 상기 기준 이미지를 소정의 등록 대상 이미지와 소정의 기준 이미지의 상호 정보량의 손실을 기초로 트레이닝된 소정의 뉴럴 네트워크 모델에 입력하는 것과, 상기 소정의 뉴럴 네트워크 모델에 의해, 상기 등록 대상 이미지의 상기 기준 이미지에 대한 등록을 행하여 등록 결과를 얻는 것에 사용되는 등록 모듈을 포함하는, 이미지 처리 장치. - 제 9 항에 있어서,
원래의 등록 대상 이미지 및 원래의 기준 이미지를 취득하고, 상기 원래의 등록 대상 이미지 및 상기 원래의 기준 이미지에 대해 이미지 정규화 처리를 행하여, 목표 파라미터를 만족하는 상기 등록 대상 이미지 및 상기 기준 이미지를 취득하기 위해 사용되는 전처리 모듈을 추가로 포함하는, 이미지 처리 장치. - 제 10 항에 있어서,
상기 전처리 모듈은 구체적으로,
상기 원래의 등록 대상 이미지를 소정의 범위 내의 그레이스케일 값, 소정의 이미지 사이즈를 갖는 등록 대상 이미지로 변환하는 것과,
상기 원래의 기준 이미지를 상기 소정의 범위 내의 그레이스케일 값, 상기 소정의 이미지 사이즈를 갖는 기준 이미지로 변환하는 것에 사용되는, 이미지 처리 장치. - 제 9 항 내지 제 11 항 중 어느 한 항에 있어서,
상기 소정의 뉴럴 네트워크 모델은 등록 모델과 상호 정보량 추정 네트워크 모델을 포함하고, 상기 등록 모델은,
상기 소정의 등록 대상 이미지 및 상기 소정의 기준 이미지를 취득하고, 상기 소정의 등록 대상 이미지 및 상기 소정의 기준 이미지를 상기 등록 모델에 입력하여 변형장을 생성하기 위해 사용되는 등록 유닛과,
상기 등록 모듈이 상기 변형장 및 상기 소정의 등록 대상 이미지에 기초하여 상기 소정의 기준 이미지에 대한 등록을 행하는 과정에서, 상기 상호 정보량 추정 네트워크 모델에 의해, 등록이 끝난 이미지와 상기 소정의 기준 이미지의 상호 정보량을 추정하여, 상호 정보량의 손실을 얻기 위해 사용되는 상호 정보량 추정 유닛과,
상기 상호 정보량의 손실을 기초로 상기 등록 모델 및 상기 상호 정보량 추정 네트워크 모델의 파라미터를 갱신하여, 트레이닝된 소정의 뉴럴 네트워크 모델을 얻기 위해 사용되는 갱신 유닛을 포함하는, 이미지 처리 장치. - 제 12 항에 있어서,
상기 상호 정보량 추정 유닛은 구체적으로,
상기 상호 정보량 추정 네트워크 모델에 의해, 등록이 끝난 이미지 및 상기 소정의 기준 이미지에 기초하여 동시 확률 분포 및 주변 확률 분포를 취득하는 것과,
상기 동시 확률 분포 파라미터 및 상기 주변 확률 분포 파라미터에 기초하여, 상기 상호 정보량의 손실을 산출하는 것에 사용되는, 이미지 처리 장치. - 제 12 항 또는 제 13 항에 있어서,
상기 갱신 유닛은 구체적으로,
상기 상호 정보량의 손실을 기초로 상기 등록 모델의 파라미터인 제1 임계값 횟수를 갱신하고, 상기 상호 정보량의 손실을 기초로 상기 상호 정보량 추정 네트워크 모델의 파라미터인 제2 임계값 횟수를 갱신하여, 상기 트레이닝된 소정의 뉴럴 네트워크 모델을 얻기 위해 사용되는, 이미지 처리 장치. - 제 14 항에 있어서,
상기 갱신 유닛은 소정의 옵티마이저에 의해 상기 소정의 뉴럴 네트워크 모델의 파라미터인 소정의 학습률 및 제3 임계값 횟수를 갱신하기 위해서도 사용되는, 이미지 처리 장치. - 제 12 항에 있어서,
상기 전처리 모듈은, 상기 소정의 등록 대상 이미지 및 상기 소정의 기준 이미지를 취득한 후에, 상기 소정의 등록 대상 이미지 및 상기 소정의 기준 이미지에 대해 이미지 정규화 처리를 행하여, 소정의 트레이닝 파라미터를 만족하는 상기 소정의 등록 대상 이미지 및 상기 소정의 기준 이미지를 얻기 위해서도 사용되고,
상기 등록 모듈은 상기 소정의 트레이닝 파라미터를 만족하는 상기 소정의 등록 대상 이미지 및 상기 소정의 기준 이미지를 상기 등록 모델에 입력하여 상기 변형장을 생성하기 위해서도 사용되는, 이미지 처리 장치. - 프로세서 및 상기 프로세서에 의해 실행되도록 구성되는 하나 이상의 프로그램을 기억하기 위한 메모리를 포함하고, 상기 프로그램은 제 1 항 내지 제 8 항 중 어느 한 항의 방법을 실행하기 위한 명령을 포함하는, 전자 기기.
- 컴퓨터에 제 1 항 내지 제 8 항 중 어느 한 항의 방법을 실행시키는 전자 데이터 교환용 컴퓨터 프로그램을 기억하기 위해 사용되는, 컴퓨터 판독 가능 기억 매체.
- 전자 기기에서 실행되면, 상기 전자 기기의 프로세서에 제 1 항 내지 제 8 항 중 어느 한 항의 방법을 실현하기 위한 명령을 실행시키는 컴퓨터 판독 가능 코드를 포함하는, 컴퓨터 프로그램.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811559600.6A CN109741379A (zh) | 2018-12-19 | 2018-12-19 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
| CN201811559600.6 | 2018-12-19 | ||
| PCT/CN2019/114563 WO2020125221A1 (zh) | 2018-12-19 | 2019-10-31 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20210048523A true KR20210048523A (ko) | 2021-05-03 |
Family
ID=66360763
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217008724A KR20210048523A (ko) | 2018-12-19 | 2019-10-31 | 이미지 처리 방법, 장치, 전자 기기 및 컴퓨터 판독 가능 기억 매체 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US20210209775A1 (ko) |
| JP (1) | JP2022505498A (ko) |
| KR (1) | KR20210048523A (ko) |
| CN (2) | CN111292362A (ko) |
| SG (1) | SG11202102960XA (ko) |
| TW (1) | TW202044198A (ko) |
| WO (1) | WO2020125221A1 (ko) |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111292362A (zh) * | 2018-12-19 | 2020-06-16 | 上海商汤智能科技有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
| CN110660020B (zh) * | 2019-08-15 | 2024-02-09 | 天津中科智能识别产业技术研究院有限公司 | 一种基于融合互信息的对抗生成网络的图像超分辨率方法 |
| CN110782421B (zh) * | 2019-09-19 | 2023-09-26 | 平安科技（深圳）有限公司 | 图像处理方法、装置、计算机设备及存储介质 |
| CN111161332A (zh) * | 2019-12-30 | 2020-05-15 | 上海研境医疗科技有限公司 | 同源病理影像配准预处理方法、装置、设备及存储介质 |
| CN113724300A (zh) * | 2020-05-25 | 2021-11-30 | 北京达佳互联信息技术有限公司 | 图像配准方法、装置、电子设备及存储介质 |
| CN111724421B (zh) * | 2020-06-29 | 2024-01-09 | 深圳市慧鲤科技有限公司 | 图像处理方法及装置、电子设备及存储介质 |
| CN111738365B (zh) * | 2020-08-06 | 2020-12-18 | 腾讯科技（深圳）有限公司 | 图像分类模型训练方法、装置、计算机设备及存储介质 |
| CN112348819A (zh) * | 2020-10-30 | 2021-02-09 | 上海商汤智能科技有限公司 | 模型训练方法、图像处理及配准方法以及相关装置、设备 |
| CN112529949A (zh) * | 2020-12-08 | 2021-03-19 | 北京安德医智科技有限公司 | 一种基于t2图像生成dwi图像的方法及系统 |
| CN112598028B (zh) * | 2020-12-10 | 2022-06-07 | 上海鹰瞳医疗科技有限公司 | 眼底图像配准模型训练方法、眼底图像配准方法和装置 |
| CN113112534B (zh) * | 2021-04-20 | 2022-10-18 | 安徽大学 | 一种基于迭代式自监督的三维生物医学图像配准方法 |
| CN113706450A (zh) * | 2021-05-18 | 2021-11-26 | 腾讯科技（深圳）有限公司 | 图像配准方法、装置、设备及可读存储介质 |
| CN113255894B (zh) * | 2021-06-02 | 2022-12-06 | 华南农业大学 | Bp神经网络模型的训练方法、病虫害检测方法及电子设备 |
| CN113516697B (zh) * | 2021-07-19 | 2024-02-02 | 北京世纪好未来教育科技有限公司 | 图像配准的方法、装置、电子设备及计算机可读存储介质 |
| CN113808175B (zh) * | 2021-08-31 | 2023-03-10 | 数坤(北京)网络科技股份有限公司 | 一种图像配准方法、装置、设备及可读存储介质 |
| CN113936173A (zh) * | 2021-10-08 | 2022-01-14 | 上海交通大学 | 一种最大化互信息的图像分类方法、设备、介质及系统 |
| CN114693642B (zh) * | 2022-03-30 | 2023-03-24 | 北京医准智能科技有限公司 | 一种结节匹配方法、装置、电子设备及存储介质 |
| CN115423853A (zh) * | 2022-07-29 | 2022-12-02 | 荣耀终端有限公司 | 一种图像配准方法和设备 |
| CN115393402B (zh) * | 2022-08-24 | 2023-04-18 | 北京医智影科技有限公司 | 图像配准网络模型的训练方法、图像配准方法及设备 |
| CN116309751B (zh) * | 2023-03-15 | 2023-12-19 | 浙江医准智能科技有限公司 | 影像处理方法、装置、电子设备及介质 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100470587C (zh) * | 2007-01-26 | 2009-03-18 | 清华大学 | 一种医学图像中腹部器官分割方法 |
| JP2012235796A (ja) * | 2009-09-17 | 2012-12-06 | Sharp Corp | 診断処理装置、診断処理システム、診断処理方法、診断処理プログラム及びコンピュータ読み取り可能な記録媒体、並びに、分類処理装置 |
| CN102208109B (zh) * | 2011-06-23 | 2012-08-22 | 南京林业大学 | X射线图像和激光图像的异源图像配准方法 |
| JP5706389B2 (ja) * | 2011-12-20 | 2015-04-22 | 富士フイルム株式会社 | 画像処理装置および画像処理方法、並びに、画像処理プログラム |
| JP6037790B2 (ja) * | 2012-11-12 | 2016-12-07 | 三菱電機株式会社 | 目標類識別装置及び目標類識別方法 |
| US9922272B2 (en) * | 2014-09-25 | 2018-03-20 | Siemens Healthcare Gmbh | Deep similarity learning for multimodal medical images |
| KR102294734B1 (ko) * | 2014-09-30 | 2021-08-30 | 삼성전자주식회사 | 영상 정합 장치, 영상 정합 방법 및 영상 정합 장치가 마련된 초음파 진단 장치 |
| US20170337682A1 (en) * | 2016-05-18 | 2017-11-23 | Siemens Healthcare Gmbh | Method and System for Image Registration Using an Intelligent Artificial Agent |
| US10575774B2 (en) * | 2017-02-27 | 2020-03-03 | Case Western Reserve University | Predicting immunotherapy response in non-small cell lung cancer with serial radiomics |
| CN107292872A (zh) * | 2017-06-16 | 2017-10-24 | 艾松涛 | 图像处理方法/系统、计算机可读存储介质及电子设备 |
| CN107886508B (zh) * | 2017-11-23 | 2021-11-23 | 上海联影医疗科技股份有限公司 | 差分减影方法和医学图像处理方法及系统 |
| CN108846829B (zh) * | 2018-05-23 | 2021-03-23 | 平安科技（深圳）有限公司 | 病变部位识别装置、计算机装置及可读存储介质 |
| CN109035316B (zh) * | 2018-08-28 | 2020-12-18 | 北京安德医智科技有限公司 | 核磁共振图像序列的配准方法及设备 |
| CN111292362A (zh) * | 2018-12-19 | 2020-06-16 | 上海商汤智能科技有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
-
2018
- 2018-12-19 CN CN202010072311.4A patent/CN111292362A/zh active Pending
- 2018-12-19 CN CN201811559600.6A patent/CN109741379A/zh active Pending
-
2019
- 2019-10-31 WO PCT/CN2019/114563 patent/WO2020125221A1/zh active Application Filing
- 2019-10-31 JP JP2021521764A patent/JP2022505498A/ja active Pending
- 2019-10-31 SG SG11202102960XA patent/SG11202102960XA/en unknown
- 2019-10-31 KR KR1020217008724A patent/KR20210048523A/ko not_active Application Discontinuation
- 2019-12-17 TW TW108146264A patent/TW202044198A/zh unknown
-
2021
- 2021-03-23 US US17/210,021 patent/US20210209775A1/en not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| US20210209775A1 (en) | 2021-07-08 |
| SG11202102960XA (en) | 2021-04-29 |
| CN111292362A (zh) | 2020-06-16 |
| JP2022505498A (ja) | 2022-01-14 |
| CN109741379A (zh) | 2019-05-10 |
| WO2020125221A1 (zh) | 2020-06-25 |
| TW202044198A (zh) | 2020-12-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20210048523A (ko) | 이미지 처리 방법, 장치, 전자 기기 및 컴퓨터 판독 가능 기억 매체 | |
| TWI754195B (zh) | 圖像處理方法及其裝置、電子設備及電腦可讀儲存媒體 | |
| US10706333B2 (en) | Medical image analysis method, medical image analysis system and storage medium | |
| CN110136103B (zh) | 医学影像解释方法、装置、计算机设备及存储介质 | |
| US10482603B1 (en) | Medical image segmentation using an integrated edge guidance module and object segmentation network | |
| Maier et al. | A gentle introduction to deep learning in medical image processing | |
| Madani et al. | Fast and accurate view classification of echocardiograms using deep learning | |
| EP3462373A1 (en) | Automated classification and taxonomy of 3d teeth data using deep learning methods | |
| WO2020133636A1 (zh) | 前列腺手术中外包膜智能检测和预警方法及系统 | |
| CN109767460A (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN110390674B (zh) | 图像处理方法、装置、存储介质、设备以及系统 | |
| KR102160390B1 (ko) | 인공지능 기반의 사용자 의료정보 분석 방법 및 시스템 | |
| CN112750531A (zh) | 一种中医自动化望诊系统、方法、设备和介质 | |
| CN113781488A (zh) | 舌象图像的分割方法、装置及介质 | |
| CN113096137A (zh) | 一种oct视网膜图像领域适应分割方法及系统 | |
| Xu et al. | Application of artificial intelligence technology in medical imaging | |
| Wang et al. | Optic disc detection based on fully convolutional neural network and structured matrix decomposition | |
| CN115564756A (zh) | 医学图像病灶定位显示方法与系统 | |
| CN111598904B (zh) | 图像分割方法、装置、设备及存储介质 | |
| CN113902674B (zh) | 医学影像分割方法和电子设备 | |
| CN112766063B (zh) | 基于位移补偿的微表情拟合方法和系统 | |
| Alam et al. | Automatic brain tumor segmentation using U-ResUNet chain model approach | |
| SANONGSIN et al. | A New Deep Learning Model for Diffeomorphic Deformable Image Registration Problems | |
| CN115148341A (zh) | 一种基于体位识别的ai结构勾画方法及系统 | |
| Yun et al. | Nonlinear Representation and Dimensionality Reduction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| WITB | Written withdrawal of application |