KR20210041046A - 의료용 화상 처리 장치, 의료용 화상 처리 방법, 컴퓨터 판독가능 매체, 및 학습 완료 모델 - Google Patents
의료용 화상 처리 장치, 의료용 화상 처리 방법, 컴퓨터 판독가능 매체, 및 학습 완료 모델 Download PDFInfo
- Publication number
- KR20210041046A KR20210041046A KR1020217006768A KR20217006768A KR20210041046A KR 20210041046 A KR20210041046 A KR 20210041046A KR 1020217006768 A KR1020217006768 A KR 1020217006768A KR 20217006768 A KR20217006768 A KR 20217006768A KR 20210041046 A KR20210041046 A KR 20210041046A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- processing
- unit
- label
- processing unit
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 1503
- 238000003672 processing method Methods 0.000 title claims description 39
- 238000000034 method Methods 0.000 claims abstract description 437
- 230000008569 process Effects 0.000 claims abstract description 306
- 230000002207 retinal effect Effects 0.000 claims abstract description 237
- 238000001514 detection method Methods 0.000 claims abstract description 224
- 230000011218 segmentation Effects 0.000 claims description 216
- 238000011156 evaluation Methods 0.000 claims description 194
- 238000004458 analytical method Methods 0.000 claims description 154
- 238000010801 machine learning Methods 0.000 claims description 138
- 238000003325 tomography Methods 0.000 claims description 81
- 238000012937 correction Methods 0.000 claims description 59
- 238000010191 image analysis Methods 0.000 claims description 58
- 238000003384 imaging method Methods 0.000 claims description 57
- 238000007726 management method Methods 0.000 claims description 48
- 238000003745 diagnosis Methods 0.000 claims description 47
- 210000003484 anatomy Anatomy 0.000 claims description 6
- 238000004148 unit process Methods 0.000 claims description 2
- 210000001525 retina Anatomy 0.000 abstract description 75
- 238000003709 image segmentation Methods 0.000 description 383
- 239000010410 layer Substances 0.000 description 345
- 238000012014 optical coherence tomography Methods 0.000 description 132
- 210000001508 eye Anatomy 0.000 description 96
- 238000012549 training Methods 0.000 description 65
- 230000008859 change Effects 0.000 description 51
- 210000001328 optic nerve Anatomy 0.000 description 38
- 238000012986 modification Methods 0.000 description 37
- 230000004048 modification Effects 0.000 description 37
- 238000005259 measurement Methods 0.000 description 35
- 230000006870 function Effects 0.000 description 34
- 238000010586 diagram Methods 0.000 description 31
- 235000019557 luminance Nutrition 0.000 description 31
- 238000013527 convolutional neural network Methods 0.000 description 30
- 238000003860 storage Methods 0.000 description 29
- 230000003287 optical effect Effects 0.000 description 27
- 238000004422 calculation algorithm Methods 0.000 description 25
- 210000004027 cell Anatomy 0.000 description 20
- 230000007704 transition Effects 0.000 description 20
- 238000013528 artificial neural network Methods 0.000 description 19
- 201000010099 disease Diseases 0.000 description 19
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 19
- 230000002159 abnormal effect Effects 0.000 description 18
- 230000003902 lesion Effects 0.000 description 18
- 238000013135 deep learning Methods 0.000 description 16
- 210000004379 membrane Anatomy 0.000 description 16
- 239000012528 membrane Substances 0.000 description 16
- 206010025421 Macule Diseases 0.000 description 13
- 230000006872 improvement Effects 0.000 description 12
- 210000004126 nerve fiber Anatomy 0.000 description 12
- 210000003161 choroid Anatomy 0.000 description 10
- 239000000470 constituent Substances 0.000 description 10
- 238000009826 distribution Methods 0.000 description 10
- 238000003702 image correction Methods 0.000 description 10
- 238000007689 inspection Methods 0.000 description 10
- 208000003098 Ganglion Cysts Diseases 0.000 description 9
- 208000005400 Synovial Cyst Diseases 0.000 description 9
- 210000002445 nipple Anatomy 0.000 description 9
- 210000000056 organ Anatomy 0.000 description 8
- 210000004204 blood vessel Anatomy 0.000 description 7
- 238000013461 design Methods 0.000 description 6
- 210000005081 epithelial layer Anatomy 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 230000009467 reduction Effects 0.000 description 6
- 239000000790 retinal pigment Substances 0.000 description 6
- 230000003595 spectral effect Effects 0.000 description 6
- 230000002792 vascular Effects 0.000 description 6
- 210000004127 vitreous body Anatomy 0.000 description 6
- 238000009499 grossing Methods 0.000 description 5
- 238000010606 normalization Methods 0.000 description 5
- 230000002194 synthesizing effect Effects 0.000 description 5
- 230000008685 targeting Effects 0.000 description 5
- 239000013598 vector Substances 0.000 description 5
- 206010047642 Vitiligo Diseases 0.000 description 4
- 230000004913 activation Effects 0.000 description 4
- 230000017531 blood circulation Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000012790 confirmation Methods 0.000 description 4
- 238000002372 labelling Methods 0.000 description 4
- 230000010287 polarization Effects 0.000 description 4
- 238000013441 quality evaluation Methods 0.000 description 4
- 239000002344 surface layer Substances 0.000 description 4
- 238000010408 sweeping Methods 0.000 description 4
- 208000010412 Glaucoma Diseases 0.000 description 3
- 208000032843 Hemorrhage Diseases 0.000 description 3
- 206010029113 Neovascularisation Diseases 0.000 description 3
- 210000000481 breast Anatomy 0.000 description 3
- 239000002775 capsule Substances 0.000 description 3
- 230000010339 dilation Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000002595 magnetic resonance imaging Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000015654 memory Effects 0.000 description 3
- 238000002156 mixing Methods 0.000 description 3
- 230000001537 neural effect Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 210000001519 tissue Anatomy 0.000 description 3
- 230000000740 bleeding effect Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 210000004087 cornea Anatomy 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 239000008187 granular material Substances 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000012886 linear function Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 210000004072 lung Anatomy 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000002035 prolonged effect Effects 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 229920000832 Cutin Polymers 0.000 description 1
- 241000270295 Serpentes Species 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 206010064930 age-related macular degeneration Diseases 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 210000002159 anterior chamber Anatomy 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 208000034158 bleeding Diseases 0.000 description 1
- 210000000601 blood cell Anatomy 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 210000000038 chest Anatomy 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 208000001309 degenerative myopia Diseases 0.000 description 1
- 230000004340 degenerative myopia Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000000981 epithelium Anatomy 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- GNBHRKFJIUUOQI-UHFFFAOYSA-N fluorescein Chemical compound O1C(=O)C2=CC=CC=C2C21C1=CC=C(O)C=C1OC1=CC(O)=CC=C21 GNBHRKFJIUUOQI-UHFFFAOYSA-N 0.000 description 1
- 238000002599 functional magnetic resonance imaging Methods 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 210000002216 heart Anatomy 0.000 description 1
- 238000003703 image analysis method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 210000000936 intestine Anatomy 0.000 description 1
- 210000003734 kidney Anatomy 0.000 description 1
- 210000002414 leg Anatomy 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000035800 maturation Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 210000000496 pancreas Anatomy 0.000 description 1
- 239000000049 pigment Substances 0.000 description 1
- 238000002600 positron emission tomography Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000002603 single-photon emission computed tomography Methods 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000003612 virological effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/102—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Ophthalmology & Optometry (AREA)
- Veterinary Medicine (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Quality & Reliability (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Signal Processing (AREA)
- Pathology (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Eye Examination Apparatus (AREA)
- Image Analysis (AREA)
Abstract
피검안의 단층 화상을 취득하는 취득부와, 피검안의 단층 화상에 있어서 복수의 망막층 중 적어도 하나의 망막층이 나타난 데이터를 학습하여 얻은 학습 완료 모델을 사용하여, 취득된 단층 화상에 있어서 복수의 망막층 중 적어도 하나의 망막층을 검출하기 위한 제1 검출 처리를 실행하는 제1 처리부를 구비하는, 화상 처리 장치.
Description
본 발명은, 의료용 화상 처리 장치, 의료용 화상 처리 방법 및 프로그램에 관한 것이다.
광간섭 단층 촬영법(OCT: Optical Coherence Tomography)을 사용한 장치(OCT 장치) 등의 안부의 단층 화상 촬영 장치는, 망막층 내부의 상태를 3차원적으로 관찰하는 것이 가능하다. 이 단층 화상 촬영 장치는, 질병의 진단을 보다 정확하게 행하는 데에 유용한 점에서 근년 주목을 받고 있다.
OCT의 형태로서, 예를 들어 광대역의 광원과 마이컬슨 간섭계를 조합한 TD-OCT(Time domain OCT)가 있다. 이것은, 참조 암의 지연을 주사함으로써, 신호 암의 후방 산란광과의 간섭광을 계측하고, 깊이 분해의 정보를 얻도록 구성되어 있다. 그러나, 이러한 TD-OCT에서는 고속의 화상 취득은 어렵다.
그 때문에, 보다 고속으로 화상을 취득하는 방법으로서는, 광대역 광원을 사용하여, 분광기에서 인터페로그램을 취득하는 방법에 의한 SD-OCT(Spectral domain OCT)가 알려져 있다. 또한, 광원으로서, 고속 파장 소인 광원을 사용하여, 단일 채널 광검출기로 스펙트럼 간섭을 계측하는 방법에 의한 SS-OCT(Swept Source OCT)가 알려져 있다.
OCT로 촬영된 단층 화상이 취득된 경우에는, 신경 섬유층의 두께를 계측할 수 있으면, 녹내장 등의 질병의 진행도나 치료 후의 회복 상태를 정량적으로 진단할 수 있다. 이들 층의 두께를 정량적으로 계측하기 위해서, 컴퓨터를 사용하여 단층 화상으로부터 망막의 각 층의 경계를 검출하고, 각 층의 두께를 계측하는 기술이, 특허문헌 1에 개시되어 있다.
그러나, 종래의 기술에서는 이하의 문제가 있었다. 질환 눈에 있어서는, 층의 소실, 출혈, 및 백반이나 신생 혈관의 발생 등이 있기 때문에, 망막의 형상이 불규칙해진다. 그 때문에, 화상 특징 추출의 결과를, 망막 형상의 규칙성을 이용하여 판단하고, 망막층의 경계의 검출을 행하는 종래의 화상 처리 방법에서는, 망막층의 경계의 검출을 자동으로 행할 때에 오검출 등이 발생한다는 한계가 있었다.
그래서, 본 발명은, 질환이나 부위 등에 구애받지 않고 망막층의 경계의 검출을 행할 수 있는 의료용 화상 처리 장치, 의료용 화상 처리 방법 및 프로그램을 제공하는 것을 목적의 하나로 한다.
본 발명의 일 실시 형태에 의한 의료용 화상 처리 장치는, 피검안의 단층 화상을 취득하는 취득부와, 피검안의 단층 화상에 있어서 복수의 망막층 중 적어도 하나의 망막층이 나타난 데이터를 학습하여 얻은 학습 완료 모델을 사용하여, 상기 취득된 단층 화상에 있어서 복수의 망막층 중 적어도 하나의 망막층을 검출하기 위한 제1 검출 처리를 실행하는 제1 처리부를 구비한다.
또한, 본 발명의 다른 실시 형태에 관한 의료용 화상 처리 방법은, 피검안의 단층 화상을 취득하는 공정과, 피검안의 단층 화상에 있어서 복수의 망막층 중 적어도 하나의 망막층이 나타난 데이터를 학습하여 얻은 학습 완료 모델을 사용하여, 상기 취득된 단층 화상에 있어서 복수의 망막층 중 적어도 하나의 망막층을 검출하기 위한 제1 검출 처리를 실행하는 공정을 포함한다.
본 발명의 추가의 특징이, 첨부하는 도면을 참조하여 이하의 예시적인 실시예의 설명으로부터 밝혀진다.
도 1은 실시예 1에 관한 화상 처리 시스템의 개략적인 구성의 일례를 나타낸다.
도 2a는 안부를 설명하기 위한 도면이다.
도 2b는 단층 화상을 설명하기 위한 도면이다.
도 2c는 안저 화상을 설명하기 위한 도면이다.
도 3은 실시예 1에 관한 일련의 처리의 흐름도이다.
도 4a는 학습 화상의 예를 설명하기 위한 도면이다.
도 4b는 학습 화상의 예를 설명하기 위한 도면이다.
도 5a는 학습 화상의 사이즈의 예를 설명하기 위한 도면이다.
도 5b는 학습 화상의 사이즈의 예를 설명하기 위한 도면이다.
도 5c는 학습 화상의 사이즈의 예를 설명하기 위한 도면이다.
도 6은 실시예 1에 관한 기계 학습 모델의 예를 설명하기 위한 도면이다.
도 7은 표시 화면의 일례를 나타낸다.
도 8은 실시예 2에 관한 화상 처리 시스템의 개략적인 구성의 일례를 나타낸다.
도 9a는 실시예 2에 관한 일련의 처리의 흐름도이다.
도 9b는 실시예 2에 관한 경계 검출 처리의 흐름도이다.
도 10a는 망막 영역의 검출을 설명하기 위한 도면이다.
도 10b는 망막 영역의 검출을 설명하기 위한 도면이다.
도 11a는 학습 화상의 사이즈의 예를 설명하기 위한 도면이다.
도 11b는 학습 화상의 사이즈의 예를 설명하기 위한 도면이다.
도 11c는 학습 화상의 사이즈의 예를 설명하기 위한 도면이다.
도 12는 실시예 2에 관한 기계 학습 모델의 예를 설명하기 위한 도면이다.
도 13a는 실시예 2에 관한 망막층 검출을 설명하기 위한 도면이다.
도 13b는 실시예 2에 관한 망막층 검출을 설명하기 위한 도면이다.
도 13c는 실시예 2에 관한 망막층 검출을 설명하기 위한 도면이다.
도 13d는 실시예 2에 관한 망막층 검출을 설명하기 위한 도면이다.
도 14a는 학습 완료 모델에 있어서의 입력과 출력 화상의 예를 설명하기 위한 도면이다.
도 14b는 학습 완료 모델에 있어서의 입력과 출력 화상의 예를 설명하기 위한 도면이다.
도 14c는 학습 완료 모델에 있어서의 입력과 출력 화상의 예를 설명하기 위한 도면이다.
도 14d는 학습 완료 모델에 있어서의 입력과 출력 화상의 예를 설명하기 위한 도면이다.
도 15는 실시예 4에 관한 화상 처리 시스템의 개략적인 구성의 일례를 나타낸다.
도 16a는 실시예 4에 관한 일련의 처리의 흐름도이다.
도 16b는 실시예 4에 관한 일련의 처리의 흐름도이다.
도 17은 실시예 5에 관한 화상 처리 시스템의 개략적인 구성의 일례를 나타낸다.
도 18a는 실시예 5에 관한 일련의 처리의 흐름도이다.
도 18b는 실시예 5에 관한 경계 검출 처리의 흐름도이다.
도 19a는 망막 영역의 보정 처리를 설명하기 위한 도면이다.
도 19b는 망막 영역의 보정 처리를 설명하기 위한 도면이다.
도 19c는 망막 영역의 보정 처리를 설명하기 위한 도면이다.
도 19d는 망막 영역의 보정 처리를 설명하기 위한 도면이다.
도 20은 실시예 6에 관한 학습 화상의 예를 설명하기 위한 도면이다.
도 21a는 복수의 OCTA의 En-Face 화상의 일례를 나타낸다.
도 21b는 복수의 휘도의 단층 화상의 일례를 나타낸다.
도 22a는 실시예 7에 관한 유저 인터페이스의 일례를 나타낸다.
도 22b는 실시예 7에 관한 유저 인터페이스의 일례를 나타낸다.
도 23은 실시예 7에 관한 유저 인터페이스의 일례를 나타낸다.
도 24는 용어의 설명에 관한 영역 라벨 화상의 일례를 나타낸다.
도 25는 용어의 설명에 관한 뉴럴 네트워크의 구성의 일례를 나타낸다.
도 26은 용어의 설명에 관한 뉴럴 네트워크의 구성의 일례를 나타낸다.
도 27은 용어의 설명에 관한 영역 라벨 화상의 일례를 나타낸다.
도 28은 실시예 8에 관한 화상 처리 장치의 구성의 일례를 나타낸다.
도 29는 실시예 8에 관한 화상 처리 장치의 처리의 흐름의 일례를 나타내는 흐름도이다.
도 30은 실시예 8에 관한 화상 처리 장치의 처리의 흐름의 일례를 나타내는 흐름도이다.
도 31은 실시예 8에 관한 촬영 장치가 구비하는 유저 인터페이스의 일례를 나타내는 도면이다.
도 32는 실시예 8에 관한 촬영 장치가 구비하는 유저 인터페이스의 일례를 나타내는 도면이다.
도 33은 실시예 9에 관한 화상 처리 장치의 처리의 흐름의 일례를 나타내는 흐름도이다.
도 34는 실시예 11에 관한 화상 처리를 나타낸다.
도 35는 실시예 11에 관한 화상 처리 장치의 처리의 흐름의 일례를 나타내는 흐름도이다.
도 36은 실시예 12에 관한 화상 처리를 나타낸다.
도 37은 실시예 13에 관한 화상 처리 장치의 처리의 흐름의 일례를 나타내는 흐름도이다.
도 38은 실시예 13에 관한 화상 처리를 나타낸다.
도 39는 실시예 13에 관한 화상 처리 장치의 처리의 흐름의 일례를 나타내는 흐름도이다.
도 40은 실시예 13에 관한 화상 처리를 나타낸다.
도 41는 실시예 14에 관한 화상 처리 장치의 처리의 흐름의 일례를 나타내는 흐름도이다.
도 42는 실시예 15에 관한 촬영 장치가 구비하는 유저 인터페이스의 일례를 나타내는 도면이다.
도 43은 실시예 18에 관한 화상 처리 장치의 구성의 일례를 나타낸다.
도 44는 실시예 19에 관한 화상 처리 장치의 구성의 일례를 나타낸다.
도 45는 실시예 19에 관한 화상 처리 장치의 처리의 흐름의 일례를 나타내는 흐름도이다.
도 46a는 변형예 9에 관한 기계 학습 모델로서 사용되는 뉴럴 네트워크의 구성의 일례를 나타낸다.
도 46b는 변형예 9에 관한 기계 학습 모델로서 사용되는 뉴럴 네트워크의 구성의 일례를 나타낸다.
도 47a는 변형예 9에 관한 기계 학습 모델로서 사용되는 뉴럴 네트워크의 구성의 일례를 나타낸다.
도 47b는 변형예 9에 관한 기계 학습 모델로서 사용되는 뉴럴 네트워크의 구성의 일례를 나타낸다.
도 2a는 안부를 설명하기 위한 도면이다.
도 2b는 단층 화상을 설명하기 위한 도면이다.
도 2c는 안저 화상을 설명하기 위한 도면이다.
도 3은 실시예 1에 관한 일련의 처리의 흐름도이다.
도 4a는 학습 화상의 예를 설명하기 위한 도면이다.
도 4b는 학습 화상의 예를 설명하기 위한 도면이다.
도 5a는 학습 화상의 사이즈의 예를 설명하기 위한 도면이다.
도 5b는 학습 화상의 사이즈의 예를 설명하기 위한 도면이다.
도 5c는 학습 화상의 사이즈의 예를 설명하기 위한 도면이다.
도 6은 실시예 1에 관한 기계 학습 모델의 예를 설명하기 위한 도면이다.
도 7은 표시 화면의 일례를 나타낸다.
도 8은 실시예 2에 관한 화상 처리 시스템의 개략적인 구성의 일례를 나타낸다.
도 9a는 실시예 2에 관한 일련의 처리의 흐름도이다.
도 9b는 실시예 2에 관한 경계 검출 처리의 흐름도이다.
도 10a는 망막 영역의 검출을 설명하기 위한 도면이다.
도 10b는 망막 영역의 검출을 설명하기 위한 도면이다.
도 11a는 학습 화상의 사이즈의 예를 설명하기 위한 도면이다.
도 11b는 학습 화상의 사이즈의 예를 설명하기 위한 도면이다.
도 11c는 학습 화상의 사이즈의 예를 설명하기 위한 도면이다.
도 12는 실시예 2에 관한 기계 학습 모델의 예를 설명하기 위한 도면이다.
도 13a는 실시예 2에 관한 망막층 검출을 설명하기 위한 도면이다.
도 13b는 실시예 2에 관한 망막층 검출을 설명하기 위한 도면이다.
도 13c는 실시예 2에 관한 망막층 검출을 설명하기 위한 도면이다.
도 13d는 실시예 2에 관한 망막층 검출을 설명하기 위한 도면이다.
도 14a는 학습 완료 모델에 있어서의 입력과 출력 화상의 예를 설명하기 위한 도면이다.
도 14b는 학습 완료 모델에 있어서의 입력과 출력 화상의 예를 설명하기 위한 도면이다.
도 14c는 학습 완료 모델에 있어서의 입력과 출력 화상의 예를 설명하기 위한 도면이다.
도 14d는 학습 완료 모델에 있어서의 입력과 출력 화상의 예를 설명하기 위한 도면이다.
도 15는 실시예 4에 관한 화상 처리 시스템의 개략적인 구성의 일례를 나타낸다.
도 16a는 실시예 4에 관한 일련의 처리의 흐름도이다.
도 16b는 실시예 4에 관한 일련의 처리의 흐름도이다.
도 17은 실시예 5에 관한 화상 처리 시스템의 개략적인 구성의 일례를 나타낸다.
도 18a는 실시예 5에 관한 일련의 처리의 흐름도이다.
도 18b는 실시예 5에 관한 경계 검출 처리의 흐름도이다.
도 19a는 망막 영역의 보정 처리를 설명하기 위한 도면이다.
도 19b는 망막 영역의 보정 처리를 설명하기 위한 도면이다.
도 19c는 망막 영역의 보정 처리를 설명하기 위한 도면이다.
도 19d는 망막 영역의 보정 처리를 설명하기 위한 도면이다.
도 20은 실시예 6에 관한 학습 화상의 예를 설명하기 위한 도면이다.
도 21a는 복수의 OCTA의 En-Face 화상의 일례를 나타낸다.
도 21b는 복수의 휘도의 단층 화상의 일례를 나타낸다.
도 22a는 실시예 7에 관한 유저 인터페이스의 일례를 나타낸다.
도 22b는 실시예 7에 관한 유저 인터페이스의 일례를 나타낸다.
도 23은 실시예 7에 관한 유저 인터페이스의 일례를 나타낸다.
도 24는 용어의 설명에 관한 영역 라벨 화상의 일례를 나타낸다.
도 25는 용어의 설명에 관한 뉴럴 네트워크의 구성의 일례를 나타낸다.
도 26은 용어의 설명에 관한 뉴럴 네트워크의 구성의 일례를 나타낸다.
도 27은 용어의 설명에 관한 영역 라벨 화상의 일례를 나타낸다.
도 28은 실시예 8에 관한 화상 처리 장치의 구성의 일례를 나타낸다.
도 29는 실시예 8에 관한 화상 처리 장치의 처리의 흐름의 일례를 나타내는 흐름도이다.
도 30은 실시예 8에 관한 화상 처리 장치의 처리의 흐름의 일례를 나타내는 흐름도이다.
도 31은 실시예 8에 관한 촬영 장치가 구비하는 유저 인터페이스의 일례를 나타내는 도면이다.
도 32는 실시예 8에 관한 촬영 장치가 구비하는 유저 인터페이스의 일례를 나타내는 도면이다.
도 33은 실시예 9에 관한 화상 처리 장치의 처리의 흐름의 일례를 나타내는 흐름도이다.
도 34는 실시예 11에 관한 화상 처리를 나타낸다.
도 35는 실시예 11에 관한 화상 처리 장치의 처리의 흐름의 일례를 나타내는 흐름도이다.
도 36은 실시예 12에 관한 화상 처리를 나타낸다.
도 37은 실시예 13에 관한 화상 처리 장치의 처리의 흐름의 일례를 나타내는 흐름도이다.
도 38은 실시예 13에 관한 화상 처리를 나타낸다.
도 39는 실시예 13에 관한 화상 처리 장치의 처리의 흐름의 일례를 나타내는 흐름도이다.
도 40은 실시예 13에 관한 화상 처리를 나타낸다.
도 41는 실시예 14에 관한 화상 처리 장치의 처리의 흐름의 일례를 나타내는 흐름도이다.
도 42는 실시예 15에 관한 촬영 장치가 구비하는 유저 인터페이스의 일례를 나타내는 도면이다.
도 43은 실시예 18에 관한 화상 처리 장치의 구성의 일례를 나타낸다.
도 44는 실시예 19에 관한 화상 처리 장치의 구성의 일례를 나타낸다.
도 45는 실시예 19에 관한 화상 처리 장치의 처리의 흐름의 일례를 나타내는 흐름도이다.
도 46a는 변형예 9에 관한 기계 학습 모델로서 사용되는 뉴럴 네트워크의 구성의 일례를 나타낸다.
도 46b는 변형예 9에 관한 기계 학습 모델로서 사용되는 뉴럴 네트워크의 구성의 일례를 나타낸다.
도 47a는 변형예 9에 관한 기계 학습 모델로서 사용되는 뉴럴 네트워크의 구성의 일례를 나타낸다.
도 47b는 변형예 9에 관한 기계 학습 모델로서 사용되는 뉴럴 네트워크의 구성의 일례를 나타낸다.
이하, 본 발명을 실시하기 위한 예시적인 실시예를, 도면을 참조하여 상세하게 설명한다.
단, 이하의 실시예에서 설명하는 치수, 재료, 형상 및 구성 요소의 상대적인 위치 등은 임의이며, 본 발명이 적용되는 장치의 구성 또는 다양한 조건에 따라서 변경할 수 있다. 또한, 도면에 있어서, 동일하거나 또는 기능적으로 유사한 요소를 나타내기 때문에 도면간에서 동일한 참조 부호를 사용한다.
(실시예 1)
이하, 도 1 내지 도 7을 참조하여, 본 발명의 실시예 1에 관한, 안부의 단층 화상을 사용한 화상 처리 장치를 구비하는 화상 처리 시스템에 대하여 설명한다. 본 실시예에서는, 기계 학습 모델에 관한 학습 완료 모델을 사용하여 대상이 되는 모든 망막층의 검출을 행한다. 또한, 이하에 있어서, 기계 학습 모델이란, 딥 러닝 등의 기계 학습 알고리즘에 의한 학습 모델을 말한다. 또한, 학습 완료 모델이란, 임의의 기계 학습 알고리즘에 의한 기계 학습 모델에 대하여, 사전에 적절한 교사 데이터를 사용하여 트레이닝한(학습을 행한) 모델이다. 단, 학습 완료 모델은, 그 이상의 학습을 행하지 않는 것은 아니고, 추가의 학습을 행할 수도 있는 것으로 한다. 또한, 이하에 있어서, 교사 데이터란, 학습 데이터를 말하고, 입력 데이터 및 출력 데이터의 페어로 구성된다. 또한, 정해 데이터란, 학습 데이터(교사 데이터)의 출력 데이터를 말한다.
도 1은, 본 실시예에 관한 화상 처리 장치(20)(의료용 화상 처리 장치)를 구비하는 화상 처리 시스템(1)의 개략적인 구성의 일례를 나타낸다. 도 1에 도시한 바와 같이, 화상 처리 시스템(1)에는, 단층 화상 촬영 장치의 일례인 OCT 장치(10), 화상 처리 장치(20), 안저 화상 촬영 장치(30), 외부 기억 장치(40), 표시부(50) 및 입력부(60)가 마련되어 있다.
OCT 장치(10)는, 피검안의 단층 화상을 촬영하기 위한 장치인 단층 화상 촬영 장치의 일례이다. OCT 장치로서는, 임의의 종류의 OCT 장치를 사용할 수 있는데, 예를 들어 SD-OCT나 SS-OCT를 사용할 수 있다.
화상 처리 장치(20)는, 인터페이스를 통해 OCT 장치(10), 안저 화상 촬영 장치(30), 외부 기억 장치(40), 표시부(50) 및 입력부(60)와 접속되어 있고, 이들을 제어할 수 있다. 화상 처리 장치(20)는, OCT 장치(10), 안저 화상 촬영 장치(30) 및 외부 기억 장치(40)로부터 취득하는 각종 신호에 기초하여, 피검안의 단층 화상이나 En-Face 화상(정면 화상) 등의 각종 화상을 생성할 수 있다. 또한, 화상 처리 장치(20)는 이들 화상에 대하여 화상 처리를 실시할 수 있다. 또한, 화상 처리 장치(20)는 범용의 컴퓨터에 의해 구성되어도 되고, 화상 처리 시스템(1)의 전용 컴퓨터에 의해 구성되어도 된다.
안저 화상 촬영 장치(30)는 피검안의 안저 화상을 촬영하기 위한 장치이며, 당해 장치로서는, 예를 들어 안저 카메라나 SLO(Scanning Laser Ophthalmoscope) 등을 사용할 수 있다. 또한, OCT 장치(10)와 안저 화상 촬영 장치(30)의 장치 구성은, 일체형이어도 되고 별체형이어도 된다.
외부 기억 장치(40)는, 피검안에 관한 정보(환자의 성명, 연령, 성별 등)와, 촬영한 각종 화상 데이터, 촬영 파라미터, 화상 해석 파라미터, 및 조작자에 의해 설정된 파라미터를 각각 관련지어 보유하고 있다. 외부 기억 장치(40)는 임의의 기억 장치에 의해 구성되어도 되고, 예를 들어 광학 디스크나 메모리 등의 기억 매체에 의해 구성되어도 된다.
표시부(50)는 임의의 디스플레이에 의해 구성되고, 화상 처리 장치(20)에 의한 제어에 따라서, 피검안에 관한 정보나 각종 화상을 표시할 수 있다.
입력부(60)는, 예를 들어 마우스, 키보드 또는 터치 조작 화면 등이며, 조작자는 입력부(60)를 통해, 화상 처리 장치(20)나 OCT 장치(10), 안저 화상 촬영 장치(30)에의 지시를 화상 처리 장치(20)에 입력할 수 있다. 또한, 입력부(60)를 터치 조작 화면으로 하는 경우에는, 입력부(60)를 표시부(50)와 일체로서 구성할 수 있다.
또한, 이들 구성 요소는, 도 1에서는 별체로서 나타나 있지만, 이들 구성 요소의 일부 또는 전부를 일체로서 구성해도 된다.
다음에 OCT 장치(10)에 대하여 설명한다. OCT 장치(10)에는, 광원(11), 갈바노 미러(12), 포커스 렌즈 스테이지(13), 코히런스 게이트 스테이지(14), 디텍터(15) 및 내부 고시등(16)이 마련되어 있다. 또한, OCT 장치(10)는 기지의 장치이기 때문에 상세한 설명은 생략하고, 여기에서는, 화상 처리 장치(20)로부터의 지시에 의해 행해지는 단층 화상의 촬영에 대하여 설명을 행한다.
화상 처리 장치(20)로부터 촬영의 지시가 전달되면, 광원(11)이 광을 출사한다. 광원(11)으로부터의 광은 도시하지 않은 분할부를 사용하여 측정광과 참조광으로 분할된다. OCT 장치(10)에서는, 측정광을 피검체(피검안)에 조사하고, 피검체로부터의 복귀광과, 참조광의 간섭광을 검출함으로써, 피검체의 단층 정보를 포함하는 간섭 신호를 생성할 수 있다.
갈바노 미러(12)는 측정광을 피검안의 안저에 있어서 주사하기 위해 사용되고, 갈바노 미러(12)에 의한 측정광의 주사 범위에 의해, OCT 촬영에 의한 안저의 촬영 범위를 규정할 수 있다. 화상 처리 장치(20)는, 갈바노 미러(12)의 구동 범위 및 속도를 제어함으로써, 안저에 있어서의 평면 방향의 촬영 범위 및 주사선수(평면 방향의 주사 속도)를 규정할 수 있다. 도 1에서는, 설명을 간략화하기 위해서, 갈바노 미러(12)를 하나의 유닛으로서 나타내었지만, 갈바노 미러(12)는, 실제로는 X 스캔용의 미러와 Y 스캔용의 2매의 미러로 구성되고, 안저 상에 있어서의 원하는 범위를 측정광으로 주사할 수 있다. 또한, 측정광을 주사하기 위한 주사부의 구성은 갈바노 미러에 한정되지 않고, 다른 임의의 편향 미러를 사용할 수 있다. 또한, 주사부로서, 예를 들어 MEMS 미러 등의 1매로 이차원 방향으로 측정광을 주사할 수 있는 편향 미러를 사용해도 된다.
포커스 렌즈 스테이지(13)에는 도시하지 않은 포커스 렌즈가 마련되어 있다. 포커스 렌즈 스테이지(13)를 이동시킴으로써, 포커스 렌즈를 측정광의 광축에 따라서 이동시킬 수 있다. 이 때문에, 포커스 렌즈에 의해, 피검안의 전안부를 통해, 안저의 망막층에 측정광을 포커스할 수 있다. 안저를 조사한 측정광은 각 망막층에서 반사·산란되어 복귀광으로서, 광로를 되돌아간다.
코히런스 게이트 스테이지(14)는, 피검안의 안축 길이의 상이 등에 대응하기 위해, 참조광 또는 측정광의 광로 길이를 조정하기 위해 사용된다. 본 실시예에서는, 코히런스 게이트 스테이지(14)는, 미러가 마련된 스테이지에 의해 구성되고, 참조광의 광로에 있어서 광축 방향으로 이동함으로써 참조광의 광로 길이를 측정광의 광로 길이에 대응시킬 수 있다. 여기서, 코히어런스 게이트는, OCT에 있어서의 측정광과 참조광의 광학 거리가 동등한 위치를 나타낸다. 코히런스 게이트 스테이지(14)는 화상 처리 장치(20)에 의해 제어될 수 있다. 화상 처리 장치(20)는, 코히런스 게이트 스테이지(14)에 의해 코히어런스 게이트의 위치를 제어함으로써, 피검안의 깊이 방향의 촬영 범위를 제어할 수 있고, 망막층측의 촬영, 또는 망막층보다 심부측의 촬영 등을 제어할 수 있다.
디텍터(15)는, 도시하지 않은 간섭부에 있어서 발생한, 피검안으로부터의 측정광의 복귀광과 참조광의 간섭광을 검출하고, 간섭 신호를 생성한다. 화상 처리 장치(20)는 디텍터(15)로부터의 간섭 신호를 취득하고, 간섭 신호에 대하여 푸리에 변환 등을 행함으로써 피검안의 단층 화상을 생성할 수 있다.
내부 고시등(16)에는, 표시부(161) 및 렌즈(162)가 마련되어 있다. 본 실시예에서는, 표시부(161)의 일례로서 복수의 발광 다이오드(LD)가 매트릭스 형상으로 배치된 것을 사용한다. 발광 다이오드의 점등 위치는, 화상 처리 장치(20)의 제어에 의해 촬영하고자 하는 부위에 따라서 변경된다. 표시부(161)로부터의 광은, 렌즈(162)를 통해, 피검안으로 유도된다. 표시부(161)로부터 출사되는 광은, 예를 들어 520nm의 파장을 갖고, 화상 처리 장치(20)에 의한 제어에 의해 원하는 패턴으로 표시된다.
또한, OCT 장치(10)에는, 화상 처리 장치(20)에 의한 제어에 기초하여, 각 구성 요소의 구동을 제어하는 OCT 장치(10)용의 구동 제어부가 마련되어도 된다.
이어서, 도 2a 내지 도 2c를 참조하여, 화상 처리 시스템(1)에서 취득하는 눈의 구조와 화상에 대하여 설명한다. 도 2a는 안구의 모식도이다. 도 2a에는, 각막 C, 수정체 CL, 초자체 V, 황반부 M(황반의 중심부는 중심와를 나타냄), 및 시신경 유두부 D가 표시되어 있다. 본 실시예에서는 주로, 초자체 V, 황반부 M, 시신경 유두부 D를 포함하는 망막의 후극부를 촬영하는 경우에 대하여 설명을 행한다. 또한, 이하에서는 설명을 하지 않지만, OCT 장치(10)는 각막이나 수정체 등의 전안부를 촬영하는 것도 가능하다.
도 2b는, OCT 장치(10)를 사용하여 망막을 촬영함으로써 취득한 단층 화상의 일례를 나타낸다. 도 2b에 있어서, AS는 1회의 A 스캔에 의해 취득되는 화상 단위를 나타낸다. 여기서, A 스캔이란, OCT 장치(10)의 상기 일련의 동작에 의해, 피검안의 1점에 있어서의 깊이 방향의 단층 정보를 취득하는 것을 말한다. 또한, A 스캔을 임의의 횡단 방향(주 주사 방향)에 있어서 복수회 행함으로써 피검안의 당해 횡단 방향과 깊이 방향의 이차원 단층 정보를 취득하는 것을 B 스캔이라 한다. A 스캔에 의해 취득된 A 스캔 화상을 복수 모음으로써, 하나의 B 스캔 화상을 구성할 수 있다. 이하, 이 B 스캔 화상을 단층 화상이라 칭한다.
도 2b에는, 혈관 Ve, 초자체 V, 황반부 M 및 시신경 유두부 D가 표시되어 있다. 또한, 경계선 L1은 내경계막(ILM)과 신경 섬유층(NFL)의 경계, 경계선 L2는 신경 섬유층과 신경절 세포층(GCL)의 경계, 경계선 L3은 시세포 내절 외절 접합부(ISOS)를 나타낸다. 또한, 경계선 L4는 망막 색소 상피층(RPE), 경계선 L5는 브루크막(BM), 경계선 L6은 맥락막을 나타낸다. 단층 화상에 있어서, 횡축(OCT의 주 주사 방향)을 x축으로 하고, 종축(깊이 방향)을 z축으로 한다.
도 2c는, 안저 화상 촬영 장치(30)를 사용하여 피검안의 안저를 촬영함으로써 취득한 안저 화상의 일례를 나타낸다. 도 2c에는, 황반부 M 및 시신경 유두부 D가 표시되어 있으며, 망막의 혈관이 굵은 곡선으로 표시되어 있다. 안저 화상에 있어서, 횡축(OCT의 주 주사 방향)을 x축으로 하고, 종축(OCT의 부 주사 방향)을 y축으로 한다.
이어서, 화상 처리 장치(20)에 대하여 설명한다. 화상 처리 장치(20)에는, 취득부(21), 화상 처리부(22), 구동 제어부(23), 기억부(24) 및 표시 제어부(25)가 마련되어 있다.
취득부(21)는 OCT 장치(10)로부터 피검안의 간섭 신호의 데이터를 취득할 수 있다. 또한, 취득부(21)가 취득하는 간섭 신호의 데이터는, 아날로그 신호여도 디지털 신호여도 된다. 취득부(21)가 아날로그 신호를 취득하는 경우에는, 화상 처리 장치(20)에서 아날로그 신호를 디지털 신호로 변환할 수 있다. 또한, 취득부(21)는, 화상 처리부(22)에서 생성된 단층 데이터나 단층 화상 및 En-Face 화상 등의 각종 화상을 취득할 수 있다. 여기서, 단층 데이터란, 피검체의 단층에 관한 정보를 포함하는 데이터이며, OCT에 의한 간섭 신호에 기초하는 데이터, 및 이것에 고속 푸리에 변환(FFT: Fast Fourier Transform)이나 임의의 신호 처리를 행한 데이터를 포함하는 것을 말한다.
또한, 취득부(21)는, 화상 처리해야 할 단층 화상의 촬영 조건군(예를 들어, 촬영 일시, 촬영 부위명, 촬영 영역, 촬영 화각, 촬영 방식, 화상의 해상도나 계조, 화상의 화소 사이즈, 화상 필터 및 화상의 데이터 형식에 관한 정보 등)을 취득한다. 또한, 촬영 조건군에 대하여는, 예시한 것에 한정되지 않는다. 또한, 촬영 조건군은 예시한 것 모두를 포함할 필요는 없고, 이들 중의 일부를 포함해도 된다.
또한, 취득부(21)는, 안저 화상 촬영 장치(30)에서 취득한 안저 정보를 포함하는 데이터 등을 취득할 수 있다. 또한, 취득부(21)는, 피검자 식별 번호 등의 피검안을 동정하기 위한 정보를 입력부(60) 등으로부터 취득할 수 있다. 취득부(21)는, 취득한 각종 데이터나 화상을 기억부(24)에 기억시킬 수 있다.
화상 처리부(22)는, 취득부(21)에서 취득된 데이터나 기억부(24)에 기억된 데이터로부터, 단층 화상이나 En-Face 화상 등을 생성하고, 생성 또는 취득한 화상에 화상 처리를 실시할 수 있다. 이 때문에, 화상 처리부(22)는, En-Face 화상이나 후술하는 모션 콘트라스트 정면 화상을 생성하는 생성부의 일례로서 기능할 수 있다. 화상 처리부(22)에는, 단층 화상 생성부(221) 및 처리부(222)(제1 처리부)가 마련되어 있다.
단층 화상 생성부(221)는, 취득부(21)에서 취득된 간섭 신호에 대하여 푸리에 변환 등의 처리를 실시하여 단층 데이터를 생성하고, 단층 데이터에 기초하여 단층 화상을 생성할 수 있다. 또한, 단층 화상의 생성 방법으로서는 기지의 임의의 방법을 채용해도 되고, 상세한 설명은 생략한다.
처리부(222)는, 딥 러닝 등의 기계 학습 알고리즘에 의한 기계 학습 모델에 관한 학습 완료 모델을 포함할 수 있다. 구체적인 기계 학습 모델에 대하여는 후술한다. 처리부(222)는 학습 완료 모델을 사용하여, 단층 화상에 있어서 피검안의 망막층을 검출하기 위한 검출 처리를 실행하고, 각 망막층을 검출한다.
구동 제어부(23)는, 화상 처리 장치(20)에 접속되어 있는, OCT 장치(10)나 안저 화상 촬영 장치(30)의 각 구성 요소의 구동을 제어할 수 있다. 기억부(24)는, 취득부(21)에서 취득된 단층 데이터 및 화상 처리부(22)에서 생성·처리된 단층 화상 등의 각종 화상이나 데이터 등을 기억할 수 있다. 또한, 기억부(24)는, 프로세서에 의해 실행됨으로써 화상 처리 장치(20)의 각 구성 요소의 기능을 행하기 위한 프로그램 등을 기억할 수도 있다.
표시 제어부(25)는, 취득부(21)에서 취득된 각종 정보나 화상 처리부(22)에서 생성·처리된 단층 화상, 및 조작자에 의해 입력된 정보 등의 표시부(50)에 있어서의 표시를 제어할 수 있다.
화상 처리 장치(20)의 기억부(24) 이외의 각 구성 요소는, CPU(Central Processing Unit)나 MPU(Micro Processing Unit) 등의 프로세서에 의해 실행되는 소프트웨어 모듈에 의해 구성되어도 된다. 또한, 프로세서는, 예를 들어 GPU(Graphical Processing Unit)나 FPGA(Field-Programmable Gate Array) 등이어도 된다. 또한, 당해 각 구성 요소는 ASIC 등의 특정한 기능을 행하는 회로 등으로 구성되어도 된다. 기억부(24)는, 예를 들어 광학 디스크나 메모리 등의 임의의 기억 매체에 의해 구성되어도 된다.
이어서, 도 3을 참조하여, 본 실시예에 관한 일련의 처리에 대하여 설명한다. 도 3은, 본 실시예에 관한 일련의 처리의 흐름도이다. 본 실시예에 관한 일련의 처리가 개시되면, 처리는 스텝 S301로 이행한다.
스텝 S301에서는, 취득부(21)가, 피검안을 동정하는 정보의 일례인 피검자 식별 번호를 입력부(60) 등의 화상 처리 장치(20)의 외부에서 취득한다. 취득부(21)는, 피검자 식별 번호에 기초하여, 외부 기억 장치(40)가 보유하고 있는 당해 피검안에 관한 정보를 취득하여 기억부(24)에 기억한다.
스텝 S302에서는, 구동 제어부(23)가 OCT 장치(10)를 제어하여 피검안을 스캔함으로써 촬영을 행하고, 취득부(21)가 OCT 장치(10)로부터 피검안의 단층 정보를 포함하는 간섭 신호를 취득한다. 피검안의 스캔은, 조작자에 의한 스캔 개시의 지시에 따라서, 구동 제어부(23)가 OCT 장치(10)를 제어하고, 광원(11)이나 갈바노 미러(12) 등을 동작시킴으로써 행해진다.
갈바노 미러(12)는 수평 방향용의 X 스캐너와 수직 방향용의 Y 스캐너를 포함한다. 그 때문에, 구동 제어부(23)는, 이들 스캐너의 방향을 각각 변경함으로써, 장치 좌표계에 있어서의 수평 방향(X) 및 수직 방향(Y)의 각각의 방향으로 측정광을 주사할 수 있다. 또한, 구동 제어부(23)는, 이들 스캐너의 방향을 동시에 변경시킴으로써, 수평 방향과 수직 방향을 합성한 방향으로도 측정광을 주사할 수 있다. 그 때문에, 구동 제어부(23)는 안저 평면 상의 임의의 방향으로 측정광을 주사할 수 있다.
구동 제어부(23)는 촬영을 행하는 데 있어서 각종 촬영 파라미터의 조정을 행한다. 구체적으로는 구동 제어부(23)는, 내부 고시등(16)으로 표시하는 패턴의 위치, 갈바노 미러(12)에 의한 스캔 범위나 스캔 패턴, 코히어런스 게이트 위치 및 포커스를 적어도 설정한다.
구동 제어부(23)는, 표시부(161)의 발광 다이오드를 제어하여, 피검안의 황반부 중심이나 시신경 유두의 촬영을 행하도록 내부 고시등(16)으로 표시하는 패턴의 위치를 제어한다. 또한, 구동 제어부(23)는, 갈바노 미러(12)의 스캔 패턴으로서, 삼차원 볼륨을 촬영하는 래스터 스캔이나 방사상 스캔, 크로스 스캔 등의 스캔 패턴을 설정한다. 또한, 어느 스캔 패턴을 선택하였다고 해도, 하나의 라인 상을 반복하여 복수매(반복 횟수는 2매 이상) 촬영한다. 본 실시예에서는, 스캔 패턴은 크로스 스캔, 동일 개소를 150매 반복하여 촬영하는 경우에 대하여 설명한다. 이들 촬영 파라미터의 조정 종료 후, 조작자에 의한 촬영 개시의 지시에 따라서, 구동 제어부(23)가 OCT 장치(10)를 제어하여 피검안의 촬영을 행한다. 또한, 본 실시예에 관한 반복 횟수는 일례이며, 원하는 구성에 따라서 임의의 횟수로 설정되어도 된다.
본 개시에 있어서는 상세한 설명을 생략하지만, OCT 장치(10)는, 가산 평균용으로 동일한 개소를 촬영하기 위해서, 피검안의 트래킹을 행할 수 있다. 이에 의해, OCT 장치(10)는 고시미동의 영향을 적게 하여 피검안의 스캔을 행할 수 있다.
스텝 S303에서는, 단층 화상 생성부(221)가, 취득부(21)에 의해 취득된 간섭 신호에 기초하여 단층 화상의 생성을 행한다. 단층 화상 생성부(221)는, 각각의 간섭 신호에 대하여 일반적인 재구성 처리를 행함으로써, 단층 화상을 생성할 수 있다.
먼저, 단층 화상 생성부(221)는 간섭 신호로부터 고정 패턴 노이즈 제거를 행한다. 고정 패턴 노이즈 제거는, 취득한 복수의 A 스캔의 신호를 평균함으로써 고정 패턴 노이즈를 추출하고, 이것을 입력한 간섭 신호로부터 감산함으로써 행해진다. 그 후, 단층 화상 생성부(221)는, 유한 구간에서 간섭 신호를 푸리에 변환한 경우에 트레이드 오프의 관계가 되는 깊이 분해능과 다이내믹 레인지를 최적화하기 위해서, 원하는 창함수 처리를 행한다. 단층 화상 생성부(221)는, 창함수 처리를 행한 간섭 신호에 대하여 고속 푸리에 변환(FFT) 처리를 행함으로써 단층 데이터를 생성한다.
단층 화상 생성부(221)는, 생성한 단층 데이터에 기초하여 단층 화상의 각 화소값을 구하고, 단층 화상을 생성한다. 또한, 단층 화상의 생성 방법은 이것에 한정되지 않고, 기지의 임의의 방법으로 행해도 된다.
스텝 S304에서는, 화상 처리부(22)의 처리부(222)가 망막층의 검출 처리를 행한다. 도 4a 및 도 4b를 참조하여, 처리부(222)의 처리에 대하여 설명한다.
처리부(222)는, OCT 장치(10)를 사용하여 취득한 복수의 단층 화상에 있어서 망막층의 경계를 검출한다. 처리부(222)는, 미리 기계 학습이 행해진 기계 학습 모델에 관한 학습 완료 모델을 사용하여 각 망막층을 검출한다.
여기서, 도 4a 내지 도 6을 참조하여, 본 실시예에 관한 기계 학습 알고리즘에 대하여 설명한다. 본 실시예에 관한 기계 학습 모델의 학습 데이터(교사 데이터)는, 하나 이상의 입력 데이터와 출력 데이터의 페어군으로 구성된다. 구체적으로는, 입력 데이터로서, OCT에 의해 취득된 단층 화상(401)을 들 수 있고, 출력 데이터로서, 당해 단층 화상에 대하여 망막층의 경계가 특정된 경계 화상(402)을 들 수 있다. 본 실시예에서는, 경계 화상(402)으로서, ILM과 NFL의 경계(403), NFL과 GCL의 경계(404), ISOS(405), RPE(406) 및 BM(407)이 나타난 화상을 사용한다. 또한, 도시는 하지 않지만, 기타 경계로서, 외망상층(OPL)과 외과립층(ONL)의 경계, 내망상층(IPL)과 내과립층(INL)의 경계, INL과 OPL의 경계, GCL과 IPL의 경계 등이 나타난 화상을 사용해도 된다.
또한, 출력 데이터로서 사용되는 경계 화상(402)는, 의사 등에 의해 단층 화상에 있어서 경계가 나타난 화상이어도 되고, 룰베이스의 경계의 검출 처리에 의해 경계가 검출된 화상이어도 된다. 단, 적절하게 경계 검출이 행해져 있지 않는 경계 화상을 교사 데이터의 출력 데이터로서 사용하여 기계 학습을 행하면, 당해 교사 데이터를 사용하여 학습한 학습 완료 모델을 사용하여 얻은 화상도 적절하게 경계 검출이 행해져 있지 않는 경계 화상이 되어버릴 가능성이 있다. 그 때문에, 그러한 경계 화상을 포함하는 페어를 교사 데이터로부터 제거함으로써, 학습 완료 모델을 사용하여 적절하지 않은 경계 화상이 생성될 가능성을 저감시킬 수 있다. 여기서, 룰베이스의 처리란 기지의 규칙성을 이용한 처리를 말하고, 룰베이스의 경계의 검출이란, 예를 들어 망막 형상의 규칙성 등의 기지의 규칙성을 이용한 경계 검출 처리를 말한다.
또한, 도 4a 및 도 4b에 있어서는, 망막의 XY면 내에 있어서의 어느 하나의 XZ 단면의 예를 나타내고 있지만, 단면은 이에 한정되지 않는다. 도시하지 않지만, XY면 내에 있어서의 임의의 복수의 XZ 단면에 관한 단층 화상 및 경계 화상을 사전에 학습해두고, 래스터 스캔이나 레이디얼 스캔 등, 다른 각종 스캔 패턴으로 촬영된 단면에 대하여 대응할 수 있도록 해둘 수 있다. 예를 들어, 래스터 스캔에서 3차원적으로 망막을 촬영한 단층 화상 등의 데이터를 사용하는 경우에는, 인접하는 복수의 단층 화상간의 위치 정렬을 한 볼륨 데이터를 교사 데이터에 사용할 수 있다. 이 경우에는, 하나의 볼륨 데이터(삼차원의 단층 화상)와 이것에 대응하는 하나의 삼차원의 경계 데이터(삼차원의 경계 화상)로부터, 임의의 각도의 페어 화상군을 생성하는 것이 가능하다. 또한, 기계 학습 모델은, 실제로 각종 스캔 패턴으로 촬영한 화상을 교사 데이터로서 사용하여 학습해도 된다.
이어서, 학습 시의 화상에 대하여 설명한다. 기계 학습 모델의 교사 데이터를 구성하는, 단층 화상(401)과 경계 화상(402)의 페어군을 구성하는 화상군을, 위치 관계가 대응하는 일정 화상 사이즈의 직사각형 영역 화상에 의해 제작한다. 당해 화상의 제작에 대하여, 도 5a 내지 도 5c를 참조하여 설명한다.
먼저, 교사 데이터를 구성하는 페어군의 하나를, 단층 화상(401)과 경계 화상(402)으로 한 경우에 대하여 설명한다. 이 경우에는, 도 5a에 나타내는 바와 같이, 단층 화상(401)의 전체인 직사각형 영역 화상(501)을 입력 데이터, 경계 화상(402)의 전체인 직사각형 영역 화상(502)을 출력 데이터로 하여, 페어를 구성한다. 또한, 도 5a에 나타내는 예에서는 각 화상의 전체에 의해 입력 데이터와 출력 데이터의 페어를 구성하고 있지만, 페어는 이에 한정되지 않는다.
예를 들어, 도 5b에 나타내는 바와 같이, 단층 화상(401) 중 직사각형 영역 화상(511)을 입력 데이터, 경계 화상(402)에 있어서의 대응하는 촬영 영역인 직사각형 영역 화상(513)을 출력 데이터로 하여, 페어를 구성해도 된다. 직사각형 영역 화상(511, 513)의 직사각형 영역은, A 스캔 단위를 기본으로 하고 있다. A 스캔 단위란, 하나의 A 스캔 단위여도 되고, 수개의 A 스캔 단위여도 된다.
또한, 도 5b에서는 A 스캔 단위를 기본으로 하고 있지만, 화상에 대하여 깊이 방향의 모두를 영역으로 하는 것은 아니고, 상하에 직사각형 영역 외의 부분을 마련해도 된다. 즉, 직사각형 영역의 가로 방향의 사이즈는 A 스캔 수개분, 직사각형 영역의 깊이 방향의 사이즈는, 화상의 깊이 방향의 사이즈보다도 작게 설정해도 된다.
또한, 도 5c에 나타내는 바와 같이, 단층 화상(401) 중 직사각형 영역 화상(521)을 입력 데이터, 경계 화상(402)에 있어서의 대응하는 촬영 영역인 직사각형 영역 화상(523)을 출력 데이터로 하여, 페어를 구성해도 된다.
또한, 학습 시에는, 스캔 범위(촬영 화각), 스캔 밀도(A 스캔수)를 정규화하여 화상 사이즈를 균일하게 하여, 학습 시의 직사각형 영역 사이즈를 일정하게 정렬시킬 수 있다. 또한, 도 5a 내지 도 5c에 나타낸 직사각형 영역 화상은, 각각 따로따로 학습할 때의 직사각형 영역 사이즈의 일례이다.
직사각형 영역의 수는, 도 5a에 나타내는 예에서는 하나, 도 5b 및 도 5c에 나타내는 예에서는 복수 설정 가능하다. 예를 들어, 도 5b에 나타내는 예에 있어서, 단층 화상(401) 중 직사각형 영역 화상(512)을 입력 데이터, 경계 화상(402)에 있어서의 대응하는 촬영 영역인 직사각형 영역 화상(514)을 출력 데이터로 하여 페어를 구성할 수도 있다. 또한, 예를 들어 도 5c에 나타내는 예에 있어서, 단층 화상(401) 중 직사각형 영역 화상(522)을 입력 데이터, 경계 화상(402)에 있어서의 대응하는 촬영 영역인 직사각형 영역 화상(524)을 출력 데이터로 하여 페어를 구성할 수도 있다. 이와 같이, 1매씩의 단층 화상 및 경계 화상의 페어로부터, 서로 다른 직사각형 영역 화상의 페어를 제작할 수 있다. 또한, 원래의 단층 화상 및 경계 화상에 있어서, 영역의 위치를 다른 좌표로 바꾸면서 다수의 직사각형 영역 화상의 페어를 제작함으로써, 교사 데이터를 구성하는 페어군을 충실하게 할 수 있다.
도 5b 및 도 5c에 나타내는 예에서는, 이산적으로 직사각형 영역을 나타내고 있지만, 실제로는, 원래의 단층 화상 및 경계 화상을, 간극없이 연속되는 일정 화상 사이즈의 직사각형 영역 화상군으로 분할할 수 있다. 또한, 원래의 단층 화상 및 경계 화상에 대하여, 서로 대응하는, 랜덤한 위치의 직사각형 영역 화상군으로 분할해도 된다. 이와 같이, 직사각형 영역(또는, 스트립 영역)으로서, 보다 작은 영역의 화상을 입력 데이터 및 출력 데이터의 페어로서 선택함으로써, 원래의 페어를 구성하는 단층 화상(401) 및 경계 화상(402)으로부터 많은 페어 데이터를 생성할 수 있다. 그 때문에, 기계 학습 모델의 트레이닝에 걸리는 시간을 단축시킬 수 있다. 한편, 완성한 기계 학습 모델의 학습 완료 모델에서는, 실행할 화상 세그멘테이션 처리의 시간이 길어지는 경향이 있다. 여기서, 화상 세그멘테이션 처리란, 화상 내의 영역이나 경계를 식별하거나, 구별하거나 하는 처리를 말한다.
이어서, 본 실시예에 관한 기계 학습 모델의 일례로서, 입력된 단층 화상에 대하여, 화상 세그멘테이션 처리를 행하는 컨벌루션 뉴럴 네트워크(CNN)에 대하여, 도 6을 참조하여 설명한다. 도 6은, 처리부(222)에 있어서의 기계 학습 모델의 구성(601)의 일례를 나타내고 있다. 또한, 본 실시예에 관한 기계 학습 모델로서는, 예를 들어 FCN(Fully Convolutional Network) 또는 SegNet 등을 사용할 수도 있다. 또한, 원하는 구성에 따라서 영역 단위로 물체 인식을 행하는 기계 학습 모델을 사용해도 된다. 물체 인식을 행하는 기계 학습 모델로서는, 예를 들어 RCNN(Region CNN), fastRCNN 또는 fasterRCNN을 사용할 수 있다. 또한, 영역 단위로 물체 인식을 행하는 기계 학습 모델로서, YOLO(You Look Only Once) 또는 SSD(Single Shot MultiBox Detector)를 사용할 수도 있다.
도 6에 나타내는 기계 학습 모델은, 입력값군을 가공하여 출력하는 처리를 담당하는 복수의 층군에 의해 구성된다. 또한, 당해 기계 학습 모델의 구성(601)에 포함되는 층의 종류로서는, 컨벌루션(Convolution)층, 다운샘플링(Downsampling)층, 업샘플링(Upsampling)층 및 합성(Merger)층이 있다.
컨벌루션층은, 설정된 필터의 커널 사이즈, 필터의 수, 스트라이드의 값, 다일레이션의 값 등의 파라미터에 따라서, 입력값군에 대하여 컨벌루션 처리를 행하는 층이다. 또한, 입력되는 화상의 차원수에 따라서, 필터의 커널 사이즈의 차원수도 변경해도 된다.
다운샘플링층은, 입력값군을 씨닝하거나 합성하거나 함으로써, 출력값군의 수를 입력값군의 수보다도 적게 하는 처리를 행하는 층이다. 구체적으로는, 이러한 처리로서, 예를 들어 Max Pooling 처리가 있다.
업샘플링층은, 입력값군을 복제하거나, 입력값군으로부터 보간한 값을 추가하거나 함으로써, 출력값군의 수를 입력값군의 수보다도 많게 하는 처리를 행하는 층이다. 구체적으로는, 이러한 처리로서, 예를 들어 선형 보간 처리가 있다.
합성층은, 어떤 층의 출력값군이나 화상을 구성하는 화소값군과 같은 값군을, 복수의 소스로부터 입력하고, 그들을 연결하거나, 가산하거나 하여 합성하는 처리를 행하는 층이다.
또한, 도 6에 나타내는 구성(601)에 포함되는 컨벌루션층군에 설정되는 파라미터로서, 예를 들어 필터의 커널 사이즈를 폭 3 화소, 높이 3 화소, 필터의 수를 64로 함으로써, 일정 정밀도의 화상 세그멘테이션 처리가 가능하다. 단, 뉴럴 네트워크를 구성하는 층군이나 노드군에 대한 파라미터의 설정이 다르면, 교사 데이터로부터 트레이닝된 경향을 출력 데이터에 재현 가능한 정도가 다른 경우가 있으므로 주의가 필요하다. 즉, 많은 경우, 실시할 때의 형태에 따라서 적절한 파라미터는 다르므로, 필요에 따라서 바람직한 값으로 변경할 수 있다.
또한, 상술한 바와 같은 파라미터를 변경한다는 방법뿐만 아니라, CNN의 구성을 변경함으로써, CNN이 보다 양호한 특성을 얻을 수 있는 경우가 있다. 보다 양호한 특성이란, 예를 들어 화상 세그멘테이션 처리의 정밀도가 높거나, 화상 세그멘테이션 처리의 시간이 짧거나, 기계 학습 모델의 트레이닝에 걸리는 시간이 짧거나 하는 등이다.
또한, 본 실시예에서 사용하는 CNN의 구성(601)은, 복수의 다운샘플링층을 포함하는 복수의 계층을 포함하는 인코더의 기능과, 복수의 업샘플링층을 포함하는 복수의 계층을 포함하는 디코더의 기능을 갖는 U-net형의 기계 학습 모델이다. U-net형의 기계 학습 모델에서는, 인코더로서 구성되는 복수의 계층에 있어서 애매하게 된 위치 정보(공간 정보)를, 디코더로서 구성되는 복수의 계층에 있어서, 동 차원의 계층(서로 대응하는 계층)에서 사용할 수 있도록(예를 들어, 스킵 커넥션을 사용하여) 구성된다.
도시하지 않지만, CNN의 구성의 변경예로서, 예를 들어 컨벌루션층 후에 배치 정규화(Batch Normalization)층이나, 정규화 선형 함수(Rectifier Linear Unit)를 사용한 활성화층을 조립하거나 해도 된다.
이러한 기계 학습 모델의 학습 완료 모델에 데이터를 입력하면, 기계 학습 모델의 설계에 따른 데이터가 출력된다. 예를 들어, 교사 데이터를 사용하여 트레이닝된 경향에 따라서 입력 데이터에 대응할 가능성이 높은 출력 데이터가 출력된다.
본 실시예에 관한 처리부(222)의 학습 완료 모델에서는, 단층 화상(401)이 입력되면, 교사 데이터를 사용하여 트레이닝된 경향에 따라서, 경계 화상(402)을 출력한다. 처리부(222)는, 경계 화상(402)에 기초하여 단층 화상(401)에 있어서의 망막층 및 그 경계를 검출할 수 있다.
또한, 도 5b 및 도 5c에 나타내는 바와 같이, 화상의 영역을 분할하여 학습하고 있는 경우, 처리부(222)는 학습 완료 모델을 사용하여, 각각의 직사각형 영역에 대응하는 경계 화상인 직사각형 영역 화상을 얻는다. 그 때문에, 처리부(222)는 각 직사각형 영역에 있어서 망막층을 검출할 수 있다. 이 경우, 처리부(222)는, 학습 완료 모델을 사용하여 얻은 경계 화상인 직사각형 영역 화상군의 각각을, 직사각형 영역 화상군의 각각과 마찬가지의 위치 관계로 배치하여 결합함으로써, 입력된 단층 화상(401)에 대응하는 경계 화상(402)을 생성할 수 있다. 이 경우에도, 처리부(222)는, 생성된 경계 화상(402)에 기초하여 단층 화상(401)에 있어서의 망막층 및 그 경계를 검출할 수 있다.
스텝 S304에 있어서, 처리부(222)가 망막층의 검출 처리를 행하면, 처리는 스텝 S305로 이행한다. 스텝 S305에서는, 표시 제어부(25)가, 처리부(222)에 의해 검출한 경계와 단층 화상을 표시부(50)에 표시한다. 여기서, 도 7에 표시부(50)에 표시하는 화면의 일례를 나타낸다.
도 7에는 표시 화면(700)이 나타나 있고, 표시 화면(700)에는, SLO 화상(701), SLO 화상(701)에 중첩 표시되는 두께 맵(702), En-Face 화상(703), 단층 화상(711) 및 망막의 두께 그래프(712)가 나타나 있다. 단층 화상(711)에는, 망막의 경계(715, 716)가 중첩 표시되어 있다.
또한, 본 실시예에서는 망막의 범위를, 내경계막과 신경 섬유층의 경계 L1 내지 망막 색소 상피층 L4로 하고 있고, 경계(715, 716)는 각각 경계 L1 및 망막 색소 상피층 L4에 대응한다. 망막의 범위는 이것에 한정되지 않고, 예를 들어 내경계막과 신경 섬유층의 경계 L1 내지 맥락막 L6의 범위로 해도 되고, 이 경우, 경계(715, 716)는 각각 경계 L1 및 맥락막 L6에 대응할 수 있다.
망막의 두께 그래프(712)는, 경계(715, 716)로부터 구해지는 망막의 두께를 나타내는 그래프이다. 또한, 두께 맵(702)은 경계(715, 716)로부터 구해지는 망막의 두께를 컬러맵으로 표현한 것이다. 또한, 도 7에서는, 설명을 위해, 두께 맵(702)에 대응하는 색정보는 나타나 있지 않지만, 실제로는, 두께 맵(702)은, SLO 화상(701)에 있어서의 각 좌표에 대응하는 망막의 두께를 대응하는 컬러맵에 따라서 표시할 수 있다.
En-Face 화상(703)은, 경계(715, 716) 사이의 범위의 데이터를 XY 방향으로 투영하여 생성한 정면 화상이다. 정면 화상은, 광간섭을 사용하여 얻은 볼륨 데이터(삼차원의 단층 화상)의 적어도 일부의 심도 범위이며, 2개의 기준면에 기초하여 정해진 심도 범위에 대응하는 데이터를 이차원 평면에 투영 또는 적산하여 생성된다. 본 실시예에 관한 En-Face 화상(703)은, 볼륨 데이터 중의, 검출된 망막층에 기초하여 결정된 심도 범위(경계(715, 716) 사이의 심도 범위)에 대응하는 데이터를 이차원 평면에 투영하여 생성된 정면 화상이다. 또한, 2개의 기준면에 기초하여 정해진 심도 범위에 대응하는 데이터를 이차원 평면에 투영하는 방법으로서는, 예를 들어 당해 심도 범위 내의 데이터의 대푯값을 이차원 평면 상의 화소값으로 하는 방법을 사용할 수 있다. 여기서, 대푯값은, 2개의 기준면에 둘러싸인 영역의 깊이 방향의 범위 내에 있어서의 화소값의 평균값, 중앙값 또는 최댓값 등의 값을 포함할 수 있다.
또한, 표시 화면(700)에 나타나는 En-Face 화상(703)에 관한 심도 범위는, 경계(715, 716) 사이의 심도 범위에 한정되지 않는다. En-Face 화상(703)에 관한 심도 범위는, 예를 들어 검출된 망막층에 관한 2개의 층 경계(715, 716)의 한쪽을 기준으로 하여, 보다 깊은 방향 또는 보다 얕은 방향으로 소정의 화소수분만큼 포함한 범위여도 된다. 또한, En-Face 화상(703)에 관한 심도 범위는, 예를 들어 검출된 망막층에 관한 2개의 층 경계(715, 716) 사이의 범위로부터, 조작자의 지시에 따라서 변경된(오프셋된) 범위여도 된다.
또한, 표시 화면(700)에 나타나는 정면 화상은, 휘도값에 기초하는 En-Face 화상(휘도의 En-Face 화상)에 한정되지 않는다. 표시 화면(700)에 나타나는 정면 화상은, 예를 들어 복수의 볼륨 데이터간의 모션 콘트라스트 데이터에 대하여, 상술한 심도 범위에 대응하는 데이터를 이차원 평면에 투영 또는 적산하여 생성한 모션 콘트라스트 정면 화상이어도 된다. 여기서, 모션 콘트라스트 데이터란, 피검안의 동일 영역(동일 위치)에 있어서 측정광이 복수회 주사되도록 제어하여 얻은 복수의 볼륨 데이터간에서의 변화를 나타내는 데이터이다. 이 때, 볼륨 데이터는 다른 위치에서 얻은 복수의 단층 화상에 의해 구성된다. 그리고, 다른 위치 각각에 있어서, 대략 동일 위치에서 얻은 복수의 단층 화상 사이에서의 변화를 나타내는 데이터를 얻음으로써, 모션 콘트라스트 데이터를 볼륨 데이터로서 얻을 수 있다. 또한, 모션 콘트라스트 정면 화상은, 혈류의 움직임을 측정하는 OCT 안지오그래피(OCTA)에 관한 OCTA 정면 화상(OCTA의 En-Face 화상)이라고도 불리고, 모션 콘트라스트 데이터는 OCTA 데이터라고도 불린다. 모션 콘트라스트 데이터는, 예를 들어 2매의 단층 화상 또는 이것에 대응하는 간섭 신호간의 탈상관값, 분산값, 또는 최댓값을 최솟값으로 나눈 값(최댓값/최솟값)으로서 구할 수 있고, 공지된 임의의 방법에 의해 구해져도 된다. 이 때, 2매의 단층 화상은, 예를 들어 피검안의 동일 영역(동일 위치)에 있어서 측정광이 복수회 주사되도록 제어하여 얻을 수 있다.
또한, OCTA 정면 화상을 생성할 때에 사용되는 삼차원의 OCTA 데이터(OCT 볼륨 데이터)는, 망막층을 검출하기 위한 단층 화상을 포함하는 볼륨 데이터와 공통의 간섭 신호의 적어도 일부를 사용하여 생성되어도 된다. 이 경우에는, 볼륨 데이터(삼차원의 단층 화상)와 삼차원의 OCTA 데이터가 서로 대응할 수 있다. 그 때문에, 볼륨 데이터에 대응하는 삼차원의 모션 콘트라스트 데이터를 사용하여, 예를 들어 검출된 망막층에 기초하여 결정된 심도 범위에 대응하는 모션 콘트라스트 정면 화상이 생성될 수 있다.
여기서, 두께 맵(702), En-Face 화상(703), 두께 그래프(712) 및 경계(715, 716)의 표시는, 처리부(222)에서 검출한 경계나 망막층에 기초하여, 화상 처리 장치(20)에 의해 생성될 수 있는 것의 예이다. 또한, 이들을 생성하는 생성 방법은 공지된 임의의 방법을 채용해도 된다.
또한, 표시부(50)의 표시 화면(700)에는, 이에 더하여 환자 탭, 촬영 탭, 리포트 탭 및 설정 탭 등을 마련해도 된다. 이 경우, 도 7의 표시 화면(700)에 나타나 있는 내용은, 리포트 탭에 표시되게 된다. 또한, 표시 화면(700)에는, 환자 정보 표시부, 검사 소트 탭 및 검사 리스트 등을 표시할 수도 있다. 검사 리스트에는, 안저 화상이나 단층 화상, OCTA 화상의 섬네일을 표시해도 된다.
이어서, 스텝 S306에 있어서, 취득부(21)는, 화상 처리 시스템(1)에 의한 단층 화상의 촬영에 관한 일련의 처리를 종료할 것인지 여부의 지시를 외부로부터 취득한다. 이 지시는, 입력부(60)를 사용하여, 조작자에 의해 입력될 수 있다. 취득부(21)가, 처리를 종료하라는 지시를 취득한 경우에는, 화상 처리 시스템(1)은 본 실시예에 관한 일련의 처리를 종료한다. 한편, 취득부(21)가, 처리를 종료하지 않는다는 지시를 취득한 경우에는, 스텝 S302로 처리를 복귀시켜 촬영을 속행한다.
상기한 바와 같이, 본 실시예에 관한 화상 처리 장치(20)는 취득부(21)와 처리부(222)(제1 처리부)를 구비한다. 취득부(21)는 피검안의 단층 화상을 취득한다. 처리부(222)는 학습 완료 모델을 사용하여, 단층 화상에 있어서 피검안의 복수의 망막층 중 적어도 하나의 망막층을 검출하기 위한 제1 검출 처리를 실행한다.
학습 완료 모델을 사용하여 화상 세그멘테이션 처리를 행하는 경우, 예를 들어 질병 눈에 있어서의 병변에 의한 층 구조의 변화에 대해서도, 학습한 경향에 따라서 적절하게 경계 검출을 행할 수 있다. 이 때문에, 본 실시예에 관한 화상 처리 장치(20)에서는, 학습 완료 모델을 사용하여 화상 세그멘테이션 처리를 행함으로써, 질환이나 부위 등에 구애받지 않고 경계 검출을 행할 수 있어, 경계 검출의 정밀도를 향상시킬 수 있다.
또한, 화상 처리 장치(20)는, 피검안의 삼차원 단층 화상에 있어서의 적어도 일부의 심도 범위이며, 검출된 적어도 하나의 망막층에 기초하여 결정된 심도 범위에 대응하는 정면 화상을 생성하는 화상 처리부(22)를 추가로 구비한다. 화상 처리부(22)는, 삼차원의 단층 화상에 대응하는 삼차원의 모션 콘트라스트 데이터를 사용하여, 결정된 심도 범위에 대응하는 모션 콘트라스트 정면 화상을 생성할 수 있다.
또한, 본 실시예에서는, 하나의 학습 완료 모델을 사용하여 화상 세그멘테이션 처리를 행하는 구성에 대하여 설명하였지만, 복수의 학습 완료 모델을 사용하여 화상 세그멘테이션 처리를 행해도 된다.
학습 완료 모델은, 상술한 바와 같이 교사 데이터를 사용한 학습의 경향에 따라서 출력 데이터를 생성하기 위해서, 특징에 대하여 유사한 경향을 갖는 교사 데이터를 사용하여 학습을 행함으로써, 출력 데이터에 대한 학습의 경향의 재현성을 높일 수 있다. 이 때문에, 예를 들어 촬영 부위마다 학습을 행한 복수의 학습 완료 모델을 사용하여, 대응하는 촬영 부위의 단층 화상에 대하여 화상 세그멘테이션 처리를 행함으로써, 보다 정밀도가 양호한 경계 화상을 생성할 수 있다. 이 경우에는, 화상 처리 시스템은 보다 고정밀도로 망막층을 검출할 수 있다. 또한, 이 경우에는, 추가로 학습 모델을 증가시켜가는 것도 가능하기 때문에, 성능이 점점 향상되는 버전 업을 행하는 것도 기대할 수 있다.
또한, 처리부(222)는, 단층 화상에 있어서의 초자체측의 영역, 망막 영역 및 강막측의 영역 등의 영역마다 학습을 행한 복수의 학습 모델을 사용하여, 각각의 학습 모델의 출력을 합하여 처리부(222)의 최종적인 출력을 생성해도 된다. 이 경우에는, 영역마다 보다 정밀도가 높은 경계 화상을 생성할 수 있기 때문에, 보다 고정밀도로 망막층을 검출할 수 있다.
또한, 본 실시예에서는, 기계 학습 모델로서 화상 세그멘테이션 처리를 행하는 것에 대하여 설명하였지만, 예를 들어 단층 화상의 촬영 부위를 추정하는 기계 학습 모델을 사용할 수도 있다.
일반적으로, 기계 학습 모델의 구성은, 입력 데이터인 화상에 대응하는 화상을 출력하는 구성에 한정되지 않는다. 예를 들어, 입력 데이터에 대하여, 교사 데이터를 사용하여 트레이닝된 출력 데이터의 종류를 출력하거나, 당해 종류의 각각에 대하여 가능성을 수치로서 출력하거나 하여 기계 학습 모델이 구성되어도 된다. 이를 위해, 교사 데이터를 구성하는 페어군의 입력 데이터와 출력 데이터의 형식이나 조합은, 한쪽이 화상이고 다른 쪽이 수치이거나, 한쪽이 복수의 화상군으로 구성되고 다른 쪽이 문자열이거나, 양쪽이 화상이거나 하는 등, 이용 형태에 적합한 것으로 할 수 있다.
촬영 부위를 추정하는 기계 학습 모델의 교사 데이터의 예로서, 구체적으로는, OCT에 의해 취득된 단층 화상과, 단층 화상에 대응하는 촬영 부위 라벨의 페어군에 의해 구성된 교사 데이터를 들 수 있다. 여기서, 촬영 부위 라벨은 부위를 나타내는 유니크한 수치나 문자열이다. 이러한 교사 데이터를 사용하여 트레이닝된 학습 완료 모델에, OCT를 사용하여 취득된 단층 화상을 입력하면, 화상에 촬영되어 있는 부위의 촬영 부위 라벨이 출력되거나, 설계에 따라서는, 촬영 부위 라벨마다의 확률이 출력되거나 한다.
처리부(222)는, 이러한 촬영 부위를 추정하는 학습 완료 모델을 추가로 사용하여 단층 화상의 촬영 부위를 추정하고, 추정된 촬영 부위나 가장 확률이 높은 촬영 부위에 따른 학습 완료 모델을 사용하여 화상 세그멘테이션 처리를 행해도 된다. 이와 같은 구성에서는, 단층 화상의 촬영 부위에 관한 촬영 조건을 취득부(21)가 취득할 수 없는 경우에도, 단층 화상으로부터 촬영 부위를 추정하여, 촬영 부위에 대응하는 화상 세그멘테이션 처리를 행함으로써, 보다 고정밀도로 망막층을 검출할 수 있다.
(실시예 2)
실시예 1에 있어서는, 학습 완료 모델을 사용하여, 단층 화상으로부터 대상이 되는 모든 망막층을 검출하는 화상 세그멘테이션 처리를 행하였다. 이에 비해, 실시예 2에서는, 학습 완료 모델에 의한 망막 영역의 검출 결과에 기초하여, 룰베이스의 화상 특징에 의한 경계 검출을 행한다.
종래, 시신경 유두부에 있어서는, OCT 화상을 사용하여 Cup(시신경 유두 함몰)와 Disc(시신경 유두)의 검출을 행할 때에 브루크막의 개구 단부의 검출을 행하는 것이 통례이지만, 유두 주위 망맥락막 위축 등의 경우, 그 검출이 곤란한 경우가 있었다.
또한, 종래의 룰베이스의 화상 세그멘테이션 처리에서는, 피검안의 개체차나 병변에 대한 로버스트성이 낮아 처음에 망막 영역을 오검출해버리는 경우가 있었다. 이 경우에는, 그 후의 망막 내층 경계의 검출을 적절하게 행할 수 없었다.
이에 비하여, 기계 학습 모델을 사용하여 화상 세그멘테이션 처리를 행함으로써, 경계 검출의 정밀도를 향상시킬 수 있다. 그러나, 딥 러닝 등의 기계 학습 알고리즘에 의한 기계 학습 모델을 사용하여 촬상 부위의 인식이나 망막층의 경계의 검출을 행하는 경우, 의료 화상 분야인 점에서, 정해를 갖는 정상 및 병변 화상의 증례수를 모으는 것이 대단히 곤란한 것이 일반적이다. 또한, 학습을 위한 정해 데이터를 제작하는 데에도 시간을 요한다.
그래서, 본 실시예에서는, 학습 완료 모델을 사용하여 망막 영역을 검출하고, 검출한 망막 영역에 대하여, 화상 특징에 의한 경계 검출을 병용한다. 이에 의해, 망막 영역의 오검출을 억제하고, 망막 내층 경계의 검출 정밀도를 향상시킴과 함께, 기계 학습의 과정에 있어서, 학습 시에는 망막층이나 그 이외의 정해 데이터를 제작하는 것만으로 충분하기 때문에, 학습을 효율적으로 행할 수 있다.
이하, 도 8 내지 도 13d를 참조하여, 본 실시예에 관한 화상 처리 시스템(8)에 대하여 설명한다. 이하, 본 실시예에 관한 화상 처리 시스템에 의한 화상 처리에 대하여, 실시예 1에 관한 화상 처리와의 차이를 중심으로 하여 설명한다. 또한, 실시예 1에 관한 화상 처리 시스템(1)의 구성 및 처리와 마찬가지인 본 실시예에 의한 화상 처리 시스템의 구성 및 처리에 대하여는, 동일한 참조 부호를 사용하여 나타내고, 설명을 생략한다.
도 8은, 본 실시예에 관한 화상 처리 시스템(8)의 개략적인 구성의 일례를 나타낸다. 화상 처리 시스템(8)에서는, 화상 처리 장치(80)의 화상 처리부(82)에 있어서, 처리부(222) 대신에, 제1 처리부(822) 및 제2 처리부(823)가 마련되어 있다.
제1 처리부(822)는, 딥 러닝 등의 기계 학습 알고리즘에 의한 기계 학습 모델에 관한 학습 완료 모델을 갖고, 학습 완료 모델을 사용하여 단층 화상에 있어서의 망막 영역을 검출한다. 제2 처리부(823)는, 제1 처리부(822)에 의해 검출된 망막 영역에 대하여, 화상 특징 추출의 결과를 룰베이스로 판단하여 망막층의 경계의 검출을 행한다.
이어서, 도 9a 및 도 9b를 참조하여, 본 실시예에 관한 일련의 처리에 대하여 설명한다. 도 9a는 본 실시예에 관한 일련의 처리의 흐름도이며, 도 9b는 본 실시예에 있어서의 경계의 검출 처리의 흐름도이다. 또한, 경계 검출 처리 이외의 처리에 대하여는 실시예 1의 처리와 마찬가지이기 때문에, 설명을 생략한다. 스텝 S303에 있어서 단층 화상이 생성되면, 처리는 스텝 S904로 이행한다.
스텝 S904에 있어서의 경계의 검출 처리가 개시되면, 처리는 스텝 S941로 이행한다. 스텝 S941에서는, 제1 처리부(822)가, 제1 경계 검출 처리로서, 학습 완료 모델을 사용하여 단층 화상에 있어서의 망막 영역을 검출한다.
여기서, 도 10a 내지 도 12를 참조하여, 본 실시예에 관한 기계 학습 모델에 대하여 설명한다. 본 실시예에 관한 기계 학습 모델의 학습 데이터(교사 데이터)는, 하나 이상의 입력 데이터와 출력 데이터의 페어군으로 구성된다. 교사 데이터의 예로서, 도 10a에 나타내는 OCT의 촬영에 의해 취득된 단층 화상(1001)과, 도 10b에 나타내는 단층 화상(1001)으로부터 임의의 층에 라벨을 부여한 라벨 화상(1002)의 페어군에 의해 구성되어 있는 교사 데이터 등을 들 수 있다.
여기서, 라벨 화상이란 화소마다 라벨 부여되어 있는 화상(어노테이션하여 얻은 화상)이며, 본 실시예에서는, 화소마다 당해 화소에 나타나 있는(촬영되어 있음) 상에 관한 라벨이 부여된 화상을 말한다. 라벨 화상(1002)에 있어서는, 라벨의 예로서 망막보다도 천층측(초자체측)의 라벨(1003), 망막 내층의 라벨(1004), 및 망막보다도 심층측(맥락막측)의 라벨(1005)이 부여되어 있다. 본 실시예에 있어서의 제1 처리부(822)는, 이러한 라벨 화상에 기초하여 망막 내층을 검출한다. 또한, 본 실시예에서는 망막의 범위(망막 내층의 범위)를 내경계막과 신경 섬유층의 경계 L1 내지 망막 색소 상피층 L4로 하였지만, 이에 한정되지 않는다. 예를 들어, 망막의 범위를 내경계막과 신경 섬유층의 경계 L1 내지 시세포 내절 외절 접합부 L3의 범위, 내경계막과 신경 섬유층의 경계 L1 내지 브루크막 L5의 범위, 또는 내경계막과 신경 섬유층의 경계 L1 내지 맥락막 L6의 범위 등으로 정의해도 된다.
또한, 도 10a 및 도 10b에 있어서는, 망막의 XY면 내에 있어서 어느 하나의 XZ 단면의 예를 나타내고 있지만, 단면은 이에 한정되지 않는다. 도시하지 않지만, XY면 내에 있어서의 임의의 복수의 XZ 단면을 사전에 학습해두고, 래스터 스캔이나 레이디얼 스캔 등, 다른 각종 스캔 패턴으로 촬영된 단면에 대하여 대응할 수 있도록 해둘 수 있다. 예를 들어, 래스터 스캔으로 3차원적으로 망막을 촬영한 단층 화상 등의 데이터를 사용하는 경우에는, 인접하는 복수의 단층 화상간의 위치 정렬을 한 볼륨 데이터를 교사 데이터에 사용할 수 있다. 이 경우에는, 하나의 볼륨 데이터와 이것에 대응하는 하나의 삼차원 라벨 데이터(삼차원의 라벨 화상)로부터, 임의의 각도의 페어 화상군을 생성하는 것이 가능하다. 또한, 기계 학습 모델은, 실제로 각종 스캔 패턴으로 촬영한 화상을 교사 화상으로서 사용하여 학습해도 된다.
이어서, 학습 시의 화상에 대하여 설명한다. 기계 학습 모델의 교사 데이터를 구성하는, 단층 화상(1001)과 라벨 화상(1002)의 페어군을 구성하는 화상군을, 위치 관계가 대응하는 일정 화소 사이즈의 직사각형 영역 화상에 의해 제작한다. 당해 화상의 제작에 대하여, 도 11a 내지 도 11c를 참조하여 설명한다.
먼저, 교사 데이터를 구성하는 페어군의 하나를, 단층 화상(1001)과 라벨 화상(1002)으로 한 경우에 대하여 설명한다. 이 경우에는, 도 11a에 나타내는 바와 같이, 단층 화상(1001)의 전체인 직사각형 영역 화상(1101)을 입력 데이터, 라벨 화상(1002)의 전체인 직사각형 영역 화상(1102)을 출력 데이터로 하여, 페어를 구성한다. 또한, 도 11a에 나타내는 예에서는 각 화상의 전체에 의해 입력 데이터와 출력 데이터의 페어를 구성하고 있지만, 페어는 이에 한정되지 않는다.
예를 들어, 도 11b에 나타내는 바와 같이, 단층 화상(1001) 중 직사각형 영역 화상(1111)을 입력 데이터, 라벨 화상(1002)에 있어서의 대응하는 촬영 영역인 직사각형 영역 화상(1113)을 출력 데이터로 하여, 페어를 구성해도 된다. 직사각형 영역 화상(1111, 1113)은 A 스캔 단위를 기본으로 하고 있다. A 스캔 단위란, 하나의 A 스캔 단위여도 되고, 수개의 A 스캔 단위여도 된다.
또한, 도 11b에서는 A 스캔 단위를 기본으로 하고 있지만, 화상에 대하여 깊이 방향의 모두를 영역으로 하는 것은 아니고, 상하에 직사각형 영역 외의 부분을 마련해도 된다. 즉, 직사각형 영역의 가로 방향의 사이즈는 A 스캔 수개분, 직사각형 영역의 깊이 방향의 사이즈는, 화상의 깊이 방향의 사이즈보다도 작게 설정해도 된다.
또한, 도 11c에 나타내는 바와 같이, 단층 화상(1001) 중 직사각형 영역 화상(1121)을 입력 데이터, 라벨 화상(1002)에 있어서의 대응하는 촬영 영역인 직사각형 영역 화상(1123)을 출력 데이터로 하여, 페어를 구성해도 된다. 이 경우, 직사각형 영역의 사이즈는, 하나의 직사각형 영역 내에 복수의 라벨을 포함하는 사이즈로 한다.
또한, 학습 시에는, 스캔 범위(촬영 화각), 스캔 밀도(A 스캔수)를 정규화하여 화상 사이즈를 균일하게 하여, 학습 시의 직사각형 영역 사이즈를 일정하게 정렬시킬 수 있다. 또한, 도 11a 내지 도 11c에 나타낸 직사각형 영역 화상은, 각각 따로따로 학습할 때의 직사각형 영역 사이즈의 일례이다.
직사각형 영역의 수는, 도 11a에 나타내는 예에서는 하나, 도 11b 및 도 11c에 나타내는 예에서는 복수 설정 가능하다. 예를 들어, 도 11b에 나타내는 예에 있어서, 단층 화상(1001) 중 직사각형 영역 화상(1112)을 입력 데이터, 라벨 화상(1002)에 있어서의 대응하는 촬영 영역인 직사각형 영역 화상(1114)을 출력 데이터로 하여 페어를 구성할 수도 있다. 또한, 예를 들어 도 11c에 나타내는 예에 있어서, 단층 화상(1001) 중 직사각형 영역 화상(1122)을 입력 데이터, 라벨 화상(1002)에 있어서의 대응하는 촬영 영역인 직사각형 영역 화상(1124)을 출력 데이터로 하여 페어를 구성할 수도 있다. 이와 같이, 1매씩의 단층 화상 및 라벨 화상의 페어로부터, 서로 다른 직사각형 영역 화상의 페어를 제작할 수 있다. 또한, 원래의 단층 화상 및 라벨 화상에 있어서, 영역의 위치를 다른 좌표로 바꾸면서 다수의 직사각형 영역 화상의 페어를 제작함으로써, 교사 데이터를 구성하는 페어군을 충실하게 할 수 있다.
도 11b 및 도 11c에 나타내는 예에서는, 이산적으로 직사각형 영역을 나타내고 있지만, 실제로는, 원래의 단층 화상 및 라벨 화상을, 간극없이 연속되는 일정 화상 사이즈의 직사각형 영역 화상군으로 분할할 수 있다. 또한, 원래의 단층 화상 및 라벨 화상에 대하여, 서로 대응하는, 랜덤한 위치의 직사각형 영역 화상군으로 분할해도 된다. 이와 같이, 직사각형 영역(또는, 스트립 영역)으로서, 보다 작은 영역의 화상을 입력 데이터 및 출력 데이터의 페어로서 선택함으로써, 원래의 페어를 구성하는 단층 화상(1001) 및 라벨 화상(1002)으로부터 많은 페어 데이터를 생성할 수 있다. 그 때문에, 기계 학습 모델의 트레이닝에 걸리는 시간을 단축시킬 수 있다. 한편, 완성한 기계 학습 모델의 학습 완료 모델에서는, 실행할 화상 세그멘테이션 처리의 시간이 길어지는 경향이 있다.
이어서, 본 실시예에 관한 기계 학습 모델의 일례로서, 입력된 단층 화상에 대하여, 세그멘테이션 처리를 행하는 컨벌루션 뉴럴 네트워크(CNN)의 구성을, 도 12를 참조하여 설명한다. 도 12는, 제1 처리부(822)에 있어서의 기계 학습 모델의 구성(1201)의 일례를 나타내고 있다. 또한, 본 실시예에 관한 기계 학습 모델로서는, 실시예 1과 마찬가지로, 예를 들어 FCN, 또는 SegNet 등을 사용할 수도 있다. 또한, 원하는 구성에 따라서, 실시예 1에서 설명한 영역 단위로 물체 인식을 행하는 기계 학습 모델을 사용해도 된다.
도 12에 나타내는 기계 학습 모델은, 도 6에 나타내는 실시예 1에 관한 기계 학습 모델의 예와 마찬가지로, 입력값군을 가공하여 출력하는 처리를 담당하는, 복수의 층군에 의해 구성된다. 당해 기계 학습 모델의 구성(1201)에 포함되는 층의 종류로서는, 컨벌루션층, 다운샘플링층, 업샘플링층 및 합성층이 있다. 또한, 이들 층의 구성이나, CNN의 구성의 변형예에 대하여는, 실시예 1에 관한 기계 학습 모델과 마찬가지이기 때문에 상세한 설명에 대하여는 생략한다. 또한, 본 실시예에서 사용하는 CNN의 구성(1201)은, 실시예 1에서 설명한 CNN의 구성(601)과 마찬가지로, U-net형의 기계 학습 모델이다.
본 실시예에 관한 제1 처리부(822)의 학습 완료 모델에서는, 단층 화상(1001)이 입력되면, 교사 데이터를 사용하여 트레이닝된 경향에 따라서, 라벨 화상(1002)을 출력한다. 제1 처리부(822)는, 라벨 화상(1002)에 기초하여 단층 화상(1001)에 있어서의 망막 영역을 검출할 수 있다.
또한, 도 11b 및 도 11c에 나타내는 바와 같이, 화상의 영역을 분할하여 학습하고 있는 경우, 제1 처리부(822)는 학습 완료 모델을 사용하여, 각각의 직사각형 영역에 대응하는 라벨 화상인 직사각형 영역 화상을 얻는다. 그 때문에, 제1 처리부(822)는 각 직사각형 영역에 있어서 망막층을 검출할 수 있다. 이 경우, 제1 처리부(822)는, 학습 완료 모델을 사용하여 얻은 라벨 화상인 직사각형 영역 화상군의 각각을, 직사각형 영역 화상군의 각각과 마찬가지의 위치 관계로 배치하여 결합한다. 이에 의해, 제1 처리부(822)는, 입력된 단층 화상(1001)에 대응하는 라벨 화상(1002)을 생성할 수 있다. 이 경우도, 제1 처리부(822)는, 생성된 라벨 화상(1002)에 기초하여 단층 화상(1001)에 있어서의 망막 영역을 검출할 수 있다.
스텝 S941에 있어서, 제1 처리부(822)에 의해 망막 영역이 검출되면, 처리는 스텝 S942로 이행한다. 스텝 S942에서는, 제2 처리부(823)가, 제2 검출 처리로서, 도 10a에 나타내는 단층 화상(1001)에 있어서 제1 처리부(822)가 검출한 망막 영역에 기초하여, 룰베이스의 화상 세그멘테이션 처리에 의해 망막 내층에서의 나머지 경계를 검출한다.
도 13a 내지 도 13d를 참조하여, 제2 처리부(823)에 의한 제2 경계 검출 처리에 대하여 설명한다. 도 13a는 입력으로 되는 단층 화상의 일례인 단층 화상(1001)을 나타낸다. 도 13b는 제1 처리부(822)가 출력한 라벨 화상(1002)이며, 망막 영역의 라벨(1004)과 그 이외에 대응하는 라벨(1003, 1005)을 부여한 화상이다. 본 실시예에 관한 제2 처리부(823)는, 라벨 화상(1002)에 있어서의 라벨(1004)로 나타나는 망막 영역의 범위를 층 검출의 대상 영역으로 한다.
제2 처리부(823)는, 라벨 화상(1002)에 있어서의 라벨(1004)로 나타나는 망막 영역 내의 윤곽을 검출함으로써, 대상이 되는 경계를 검출할 수 있다. 도 13c는, 제2 처리부(823)가 처리를 행한 에지 강조 처리 화상(1303)을 나타낸다. 당해 제2 처리부(823)에 의한 처리에 대하여, 이하에서 설명한다. 또한, 도 13c 및 도 13d에 나타내는 바와 같이, 시신경 유두부에 대하여는, 망막층이 도중에 끊어지기 때문에, 제2 처리부(823)에 의한 경계 검출을 행하지 않기로 한다.
제2 처리부(823)는, 처리의 대상으로 하는 단층 화상(1001)에 있어서, 라벨(1004)에 대응하는 영역에 대하여, 노이즈 제거와 에지 강조 처리를 행한다. 제2 처리부(823)는, 노이즈 제거 처리로서는, 예를 들어 미디언 필터나 가우시안 필터를 적용한다. 또한, 제2 처리부(823)는, 에지 강조 처리로서는, Sobel 필터나 Hessian 필터를 적용한다.
여기서, 이차원의 Hessian 필터를 사용한, 이차원 단층 화상에 대한 에지 강조 처리에 대하여 설명한다. Hessian 필터는, 헤세 행렬의 2개의 고유값(λ1, λ2)의 관계에 기초하여, 이차원 농담 분포의 2차 국소 구조를 강조할 수 있다. 그를 위해, 본 실시예에서는, 헤세 행렬의 고유값과 고유 벡터(e1, e2)의 관계를 사용하여, 이차원의 선 구조를 강조한다. 피검안에 관한 이차원 단층 화상에 있어서의 선 구조는 망막층의 구조에 상당하기 때문에, 당해 Hessian 필터의 적용에 의해, 망막층의 구조를 강조할 수 있다.
또한, 두께가 다른 망막층을 검출하기 위해서는, 헤세 행렬을 계산할 때에 행하는 가우스 함수에 의한 평활화의 해상도를 변경하면 된다. 또한, 이차원의 Hessian 필터를 적용할 때에는, 화상의 XZ의 물리 사이즈를 맞추도록 데이터를 변형한 후에 적용할 수 있다. 일반적인 OCT의 경우, XY 방향과 Z 방향의 물리 사이즈가 다르다. 그 때문에, 화소마다의 망막층의 물리 사이즈를 맞춰 필터를 적용한다. 또한, XY 방향과 Z 방향의 물리 사이즈는, OCT 장치(10)의 설계/구성으로부터 파악할 수 있기 때문에, 당해 물리 사이즈에 기초하여, 단층 화상의 데이터를 변형시킬 수 있다. 또한, 물리 사이즈를 정규화하지 않을 경우에는, 가우스 함수에 의한 평활화의 해상도를 변경함으로써도 근사적으로 대응할 수 있다.
상기에서는, 이차원 단층 화상에서의 처리에 대하여 설명하였지만, Hessian 필터를 적용하는 대상은 이에 한정되지 않는다. 단층 화상을 촬영하였을 때의 데이터 구조가 래스터 스캔에 의한 삼차원 단층 화상인 경우, 삼차원의 Hessian 필터를 적용하는 것도 가능하다. 이 경우, 화상 처리부(82)에 의해, 인접하는 단층 화상간에 있어서 XZ 방향의 위치 정렬 처리를 행한 후에, 제2 처리부(823)가 헤세 행렬의 3개의 고유값(λ1, λ2, λ3)의 관계에 기초하여, 삼차원 농담 분포의 2차 국소 구조를 강조할 수 있다. 그 때문에, 헤세 행렬의 고유값과 고유 벡터(e1, e2, e3)의 관계를 사용하여 삼차원의 층 구조를 강조함으로써, 3차원적으로 에지를 강조하는 것도 가능하다.
에지 강조 처리 화상(1303)에 있어서는, 에지를 강조한 부분이 백선(1304)으로서 나타난다. 또한, 단층 화상(1001)에 있어서의, 라벨(1004)에 대응하지 않는 영역에 대하여는, 에지 검출되지 않는 영역으로서 취급할 수 있다. 또한, 여기서는, Hessian 필터를 사용하여 에지 강조 처리를 행하는 구성에 대하여 설명하였지만, 에지 강조 처리의 처리 방법은 이것에 한정되지 않고, 기존의 임의 방법에 의해 행해져도 된다.
도 13d는, 제2 처리부(823)가, 라벨 화상(1002)과 에지 강조 처리 화상(1303)을 사용하여 검출한 망막층의 경계를 나타내는 경계 화상(1305)을 나타낸다. 경계 화상(1305)에 있어서는, 흑색선(1306)이 경계의 예를 나타낸다. 제2 처리부(823)가, 라벨 화상(1002)과 에지 강조 처리 화상(1303)으로부터 망막층의 경계를 검출하는 처리에 대하여, 이하에서 설명한다.
제2 처리부(823)는, 에지 강조 처리 화상(1303)으로부터 에지 강조된 경계를 검출한다. 본 실시예에서는, 제1 처리부(822)가 이미 ILM과 NFL의 경계와 RPE에 대하여 검출하고 있으므로, 제2 처리부(823)는, 계속해서 ISOS, NFL과 GCL 경계를 검출한다. 또한, 도시하지 않지만, 기타 경계로서, 외망상층(OPL)과 외과립층(ONL)의 경계, 내망상층(IPL)과 내과립층(INL)의 경계, INL과 OPL의 경계, GCL과 IPL의 경계 등을 검출해도 된다.
경계의 검출 방법으로서는, 각 A 스캔에 있어서 에지 강도가 강한 개소를 경계 후보로서 복수 검출하고, 인접하는 A 스캔에 있어서 경계 후보끼리의 연속성을 기초로, 점(에지 강도가 강한 개소)을 선으로서 연결시키는 처리를 행한다. 또한, 제2 처리부(823)는, 점을 선으로서 연결시켰을 경우에, 선의 매끄러움을 평가함으로써, 이상값을 제거할 수 있다. 보다 구체적으로는, 예를 들어 연결시킨 점끼리의 Z 방향의 위치를 비교하여, 소정의 역치보다도 Z 방향의 위치의 차가 큰 경우에는, 새롭게 연결된 점을 이상값으로서 판단하여, 연결시키는 처리로부터 제외할 수 있다. 또한, 이상값을 제거한 경우, 제외한 점의 A 스캔 위치에 인접하는 A 스캔에 있어서의 경계 후보를 선으로서 연결시켜도 된다. 또한, 이상값의 제거 방법은 이것에 한정되지 않고, 기존의 임의 방법에 의해 행해져도 된다.
제2 처리부(823)는, 점을 연결시켜 형성한 각 선에 대하여, 망막층의 경계의 Z 방향의 상하의 거리나 위치 관계에 기초하여, 대응하는 경계를 결정한다. 또한, 각 A 스캔에 있어서 이상값을 제거한 결과로서 검출된 경계가 없을 경우에는, 주위의 경계로부터 보간으로 구해도 된다. 또한, 주위의 경계로부터 에지를 기준으로 수평 방향(X 또는 Y 방향)으로 경계 후보를 탐색해가고, 주위의 경계로부터 탐색한 경계 후보를 기초로 하여 다시, 경계를 결정하도록 해도 된다.
그 후, 제2 처리부(823)는, 검출한 경계에 대하여 경계의 형상을 원활하게 보정하는 처리를 실행한다. 예를 들어, Snakes나 Level Set법 등의 동적 윤곽 모델 등에 의해, 화상 특징과 형상 특징을 사용하여 경계의 형상을 원활하게 해도 된다. 또한, 경계 형상의 좌표값을 신호에 의한 시계열 데이터로 간주하여, Savitzky-Golay 필터나, 단순 이동 평균, 가중 이동 평균, 지수 이동 평균 등의 평활화 처리로 형상을 원활하게 해도 된다.
이러한 처리에 의해, 제2 처리부(823)는, 제1 처리부(822)가 검출한 망막 영역 내의 망막층을 검출할 수 있다. 또한, 전술한 제2 처리부(823)에 의한 망막층의 검출 처리는 일례이며, 기존의 임의의 세그멘테이션 처리를 사용하여 망막층을 검출할 수도 있다. 제2 처리부(823)가 망막층을 검출하면, 처리는 스텝 S305로 이행한다. 이후의 처리는 실시예 1과 마찬가지이기 때문에 설명을 생략한다.
상기한 바와 같이, 본 실시예에 관한 화상 처리 장치(80)는, 취득부(21)와, 제1 처리부(822)와, 제2 처리부(823)를 구비한다. 취득부(21)는 피검안의 단층 화상을 취득한다. 제1 처리부(822)는, 학습 완료 모델을 사용하여, 단층 화상에 있어서 피검안의 복수의 망막층 중 적어도 하나의 망막층을 검출하기 위한 제1 검출 처리를 실행한다. 제2 처리부(823)는, 학습 완료 모델을 사용하지 않고, 단층 화상에 있어서 복수의 망막층 중 적어도 하나의 망막층을 검출하기 위한 제2 검출 처리를 실행한다.
구체적으로는, 제2 처리부(823)는, 제2 검출 처리에 의해, 제1 검출 처리에 의해 검출된 적어도 하나의 망막층 이외의 적어도 하나의 망막층을 검출한다. 특히 본 실시예에서는, 제1 검출 처리는, 피검안의 내경계막과 신경 섬유층의 경계로부터 시세포 내절 외절 접합부, 망막 색소 상피층 및 브루크막 중 어느 것까지의 층을 검출하는 처리이다. 또한, 제2 검출 처리는 제1 검출 처리 후에 행해지고, 제1 검출 처리에 의해 검출한 층에 포함되는, 즉 검출한 층 사이의 적어도 하나의 망막층을 검출하는 처리이다.
본 실시예에 관한 화상 처리 장치(80)에서는, 질환이나 부위 등에 구애받지 않고 경계 검출을 행할 수 있다. 또한, 기계 학습 모델이 출력한 영역에 대하여, 화상 특징에 의한 경계 검출을 병용함으로써 경계 검출의 정밀도를 향상시킬 수 있다. 또한, 기계 학습의 과정에 있어서, 학습 시에는 망막층이나 그 이외의 정해 데이터를 제작하는 것만으로 충분하기 때문에, 학습도 효율적으로 행할 수 있다.
또한, 기계 학습 모델에 의해 검출하는 경계가 많아지면, 출력되는 라벨 화상이나 경계 화상에 있어서 오검출이 발생할 가능성이 증가하는 경우가 있다. 이에 비하여, 본 실시예에 의한 기계 학습 모델을 사용한 망막 영역의 검출에서는, 검출해야 할 경계가 적기 때문에, 출력되는 라벨 화상이나 경계 화상에 있어서의 오검출을 억제할 수 있다.
또한, 본 실시예에 있어서도, 실시예 1과 마찬가지로, 제1 처리부(822)에 있어서, 복수의 기계 학습 모델을 사용하여 망막 영역의 검출을 행하도록 구성되어도 된다. 이 경우에는, 망막 영역의 검출 정밀도를 향상시킬 수 있다. 또한, 추가로 학습 모델을 증가시켜가는 것도 가능하기 때문에, 성능이 점점 향상되는 버전 업을 행하는 것도 기대할 수 있다.
(실시예 2의 변형예)
상술한 실시예 2에서는, 룰베이스에 기초하는 제2 처리부(823)에 의한 망막 경계의 검출에 앞서, 전단계로서 학습 완료 모델을 사용한 제1 처리부(822)에 의한 망막 영역의 검출을 행하는 예를 나타내었다. 그러나, 제1 처리부(822)에 의한 처리 및 제2 처리부(823)에 의한 처리의 순서는 이에 한정되지 않는다. 예를 들어, 제1 처리부(822)에 의한 망막 영역의 검출에 매우 시간이 걸리는 경우, 당해 망막 영역의 검출 처리를 제2 처리부(823)에서 룰베이스에 의해, 먼저 실행시키는 것도 가능하다.
이러한 경우, 제2 처리부(823)는, 실시예 2에서 나타낸 제2 처리부(823)에 의한 방법과 마찬가지의 방법을 사용하여 ILM과 NFL의 경계와, RPE 또는 ISOS를 최초에 검출한다. 이것은, 이들 경계가, 망막에 있어서 휘도값이 높은 장소이며 망막의 천층부와 심층부에 위치하고 있는 경계이기 때문이다. ILM과 NFL의 경계와, RPE 또는 ISOS를 검출하는 경우, 다른 경계보다도 특징이 나오기 쉽기 때문에, 노이즈 처리를 몇번이나 행한 흐림이 큰 화상에 기초하여 이들 경계를 검출해도 된다. 이 경우에는, 대국적인 특징만을 검출할 수 있으므로, 기타 경계의 오검출을 방지할 수 있다. 또한, 단층 화상에 대하여, 동적 역치에 의한 2치화 처리를 행하여 망막 영역을 한정하고, 그 중에서 ILM과 NFL의 경계와, RPE 또는 ISOS를 검출하도록 해도 된다. 또한, 제2 처리부(823)는 ILM과 NFL의 경계와, BM을 검출해도 된다.
단, 이러한 룰베이스로 제1 검출 대상인 망막 영역을 검출하는 경우, 전술한 바와 같이, 피검안의 개체차나 병변에 대한 로버스트성이 낮아 처음에 망막 영역을 오검출해버리는 경우가 있다. 이 경우에는, 그 후의 망막 내층 경계의 검출을 적절하게 행할 수 없는 경우가 있다.
그 대책으로서 본 변형예에서는, 화상 처리부(82)가, 망막 영역의 오검출을 체크하는 파라미터, 예를 들어 망막 영역 경계의 불연속성이나 국소 곡률 또는 국소 영역에 있어서의 경계 좌표의 분산 등을 소정의 역치와 비교한다. 이들 파라미터가 소정의 역치를 초과하는 경우에는, 화상 처리부(82)가, 제2 처리부(823)에 있어서의 망막 영역의 검출이 오검출이라고 판단한다. 그리고, 화상 처리부(82)에 의해, 제2 처리부(823)에 의한 망막 영역의 검출이 오검출이라고 판단된 경우에, 제1 처리부(822)가 망막 영역의 검출을 행하도록 구성된다.
본 변형예에 따르면, 제1 처리부(822)에 의한 망막 영역의 검출에 매우 시간이 걸리는 경우에도, 다수의 검사를 행하는 검자(조작자)의 실질적인 처리 대기 시간을 경감시키면서 피검안의 개체차나 병변에 대한 로버스트성을 확보할 수 있다.
또한, 본 변형예에서는, 제2 처리부(823)의 처리를 제1 처리부(822)의 처리보다 먼저 행하는 구성에 대하여 설명하였지만, 이들 처리는 동시에 개시되어도 된다. 이 경우, 화상 처리부(82)에 의해, 제2 처리부(823)에 의한 망막 영역의 검출이 오검출이라고 판단된 경우에, 제1 처리부(822)에 의한 망막 영역의 검출을 기다리고, 제2 처리부(823)가 망막 내층의 경계의 검출을 행한다. 또한, 제2 처리부(823)에 의한 망막 영역의 검출이 적절하게 행해진 경우에는, 제1 처리부(822)에 의한 처리를 중단하거나, 제1 처리부(822)에 의한 처리 결과를 파기하거나 할 수 있다.
또한, 제1 처리부(822) 및 제2 처리부(823)가 망막 영역(동일한 망막층)을 검출하는 경우, 표시 제어부(25)가, 제1 처리부(822) 및 제2 처리부(823)에 의한 검출 처리의 처리 결과를 표시부(50)에 표시시켜도 된다. 이 경우에는, 표시부(50)에 표시된 처리 결과에 대한 조작자의 지시에 따라서, 제1 처리부(822) 및 제2 처리부(823)에 의한 검출 처리의 처리 결과 중 어느 것에 대하여 제2 처리부(823)가 망막 내층의 경계의 검출을 행해도 된다. 이 경우, 제2 처리부(823)에 의한 망막 영역의 검출 처리를 제2 검출 처리, 제2 처리부(823)에 의한 그 후의 망막 내층의 경계의 검출 처리를 제3 검출 처리로서 정의해도 된다.
(실시예 3)
실시예 2에 있어서는, 학습 완료 모델을 사용하여 망막 영역을 검출하고, 검출된 망막 영역에 대하여 망막 내층의 경계를 검출하는 예에 대하여 나타내었다. 이에 비하여, 본 실시예에서는, 학습 완료 모델을 사용하여 검출하는 영역으로서, 망막 영역에 한정되지 않고, 입력 데이터인 화상의 촬영 부위에 대하여 특징적인 영역을 검출한다.
이하, 본 실시예에 관한 화상 처리 시스템에 의한 화상 처리에 대하여, 실시예 2에 의한 화상 처리와의 차이를 중심으로 하여 설명한다. 또한, 본 실시예에 관한 화상 처리 시스템의 구성 및 처리 수순은, 실시예 2에 관한 화상 처리 시스템(8)의 구성 및 처리 수순과 마찬가지이기 때문에, 동일한 참조 부호를 사용하여 나타내고, 설명을 생략한다.
본 실시예에 관한 제1 처리부(822)가 학습 완료 모델을 사용하여 검출하는 영역에 대하여, 도 14a 내지 도 14d를 참조하여 설명한다. 도 14a 내지 도 14d에서는, 피검안의 각 부위를 촬영한 화상과 제1 처리부(822)가 처리한 처리 결과의 라벨 화상의 예를 나타낸다.
도 14a는, 황반부를 촬영한 경우의 단층 화상(1401) 및 학습 완료 모델을 사용하여 얻은 황반부에 있어서의 라벨 화상(1402)을 나타낸다. 라벨 화상(1402)에는, 초자체 라벨(1403), ILM으로부터 ISOS의 범위의 라벨(1404), ISOS로부터 RPE의 범위의 라벨(1405), 맥락막 라벨(1406) 및 강막 라벨(1407)이 나타나 있다.
황반부에 대하여는, 예를 들어 출혈이나 신생 혈관 발생 등에 의한 망막 전체의 두께, 시력에 관한 시세포의 결손, 또는 병적 근시에 의한 맥락막의 비박화(菲薄化) 등을 파악하기 위해서, 형태 변화가 나타나기 쉬운 영역마다 라벨을 설정하여 기계 학습 모델에 사전에 학습시킨다. 학습 데이터로서는, 황반부의 단층 화상을 입력 데이터로 하고, 예를 들어 초자체 라벨, ILM으로부터 ISOS의 범위의 라벨, ISOS로부터 RPE의 범위의 라벨, 맥락막 라벨 및 강막 라벨이 부여된 라벨 화상을 출력 데이터로 한다. 이에 의해, 제1 처리부(822)는, 학습 완료 모델에 황반부의 단층 화상을 입력함으로써, 상술한 형태 변화가 나타나기 쉬운 영역마다 라벨을 나타내는 라벨 화상을 취득하여, 그들 라벨의 단위로 영역을 검출할 수 있다.
도 14b는, 시신경 유두부를 촬영한 경우의 단층 화상(1411) 및 학습 완료 모델을 사용하여 얻은 시신경 유두부에 있어서의 라벨 화상(1412)을 나타낸다. 라벨 화상(1412)에는, 초자체 라벨(1413), ILM으로부터 NFL과 GCL 경계의 범위의 라벨(1414), 및 NFL과 GCL의 경계로부터 GCL과 IPL의 경계의 범위의 라벨(1415)이 나타나 있다. 또한, 라벨 화상(1412)에는, GCL과 IPL의 경계로부터 ISOS의 범위의 라벨(1416), 및 ISOS로부터 RPE의 범위의 라벨(1417)이 나타나 있다. 또한, 라벨 화상(1412)에는, RPE로부터 심층의 범위의 라벨(1418), 및 체상판의 범위의 라벨(1419)이 나타나 있다. 이 경우의 학습 데이터로서는, 시신경 유두부의 단층 화상을 입력 데이터로 하고, 예를 들어 초자체 라벨, ILM으로부터 NFL과 GCL 경계의 범위의 라벨, NFL과 GCL의 경계로부터 GCL과 IPL의 경계의 범위의 라벨, GCL과 IPL의 경계로부터 ISOS의 범위의 라벨, ISOS로부터 RPE의 범위의 라벨, RPE로부터 심층의 범위의 라벨, 및 체상판의 범위의 라벨이 부여된 라벨 화상을 출력 데이터로 한다.
도 14c의 정면 화상(1421)은, 시신경 유두부 촬영 시에 있어서, XY면 내의 정면 방향으로부터 본 화상이며, 안저 화상 촬영 장치(30)를 사용하여 촬영된 화상이다. 또한, 도 14c의 라벨 화상(1422)은, 시신경 유두부의 정면 화상(1421)에 대하여 학습 완료 모델을 사용하여 얻은 라벨 화상이다. 라벨 화상(1422)에는, 시신경 유두의 주변부의 라벨(1423), Disc 라벨(1424) 및 Cup 라벨(1425)이 나타나 있다.
시신경 유두부에 있어서는, 녹내장에 의해, 신경절 세포의 소실이나, RPE의 단부(RPE-tip) 또는 브루크막 개구 단부(BMO), 체상판, 및 Cup와 Disc 등의 형태 변화가 나타나기 쉽다. 그 때문에, 이들 영역마다 라벨을 설정하여 기계 학습 모델에 사전에 학습시킨다. 학습 데이터로서는, 시신경 유두부의 정면 화상을 입력 데이터로 하고, 예를 들어 시신경 유두의 주변부의 라벨, Disc 라벨 및 Cup 라벨이 부여된 라벨 화상을 출력 데이터로 한다. 이에 의해, 제1 처리부(822)는, 학습 완료 모델에 시신경 유두부의 화상을 입력함으로써, 상술한 형태 변화가 나타나기 쉬운 영역마다 라벨을 나타내는 라벨 화상을 취득하여, 그들 라벨의 단위로 영역을 검출할 수 있다.
도 14d는, 전안부를 촬영한 경우의 단층 화상(1431) 및 학습 완료 모델을 사용하여 얻은 전안부 촬영에 있어서의 라벨 화상(1432)이 나타나 있다. 라벨 화상(1432)에는, 각막 라벨(1433), 전방 라벨(1434), 홍채 라벨(1435) 및 수정체 라벨(1436)이 나타나 있다. 전안부의 단층 화상(1431)에 대하여는, 후안부 화상과는 달리, 전술한 바와 같은 주요한 영역을 기계 학습 모델에 사전에 학습시킨다. 학습 데이터로서는, 전안부의 단층 화상을 입력 데이터로 하고, 예를 들어 각막 라벨, 전방 라벨, 홍채 라벨 및 수정체 라벨이 부여된 라벨 화상을 출력 데이터로 한다. 이에 의해, 제1 처리부(822)는, 학습 완료 모델에 전안부의 화상을 입력함으로써, 상술한 형태 변화가 나타나기 쉬운 영역마다 라벨을 나타내는 라벨 화상을 취득하여, 그들 라벨의 단위로 영역을 검출할 수 있다.
본 실시예에 관한 제2 처리부(823)는, 도 14a, 도 14b 및 도 14d에 나타내는 단층 화상(1401, 1411, 1431)에 있어서, 제1 처리부(822)가 검출한 영역에 기초하여 나머지 경계를 검출한다. 또한, 제2 처리부(823)는, 검출한 경계나 경계에 끼인 층 영역, 또는 제1 처리부(822)가 검출한 영역의 두께의 계측을 실시해도 된다.
또한, 제2 처리부(823)는, 도 14c의 정면 화상에 대하여는 라벨에 의해 분류된 각 영역에 대하여 계측을 행하여 각 영역의 높이, 폭, 면적이나 Cup/Disc비를 산출할 수 있다. 또한, 이들 계측이나 비율의 산출에 대하여는, 기존의 임의 방법을 사용해도 된다.
이렇게 본 실시예에 관한 제2 처리부(823)는, 제1 처리부(822)가 검출한 영역에 대응하는 화상 처리 알고리즘을 실행함과 함께, 영역마다 화상 처리 알고리즘을 적용할 때의 룰을 변경할 수 있다. 여기에서 말하는 룰이란, 예를 들어 검출해야 할 경계의 종류 등을 포함한다. 예를 들어, 제2 처리부(823)는, 도 14a에 나타내는 황반부의 단층 화상(1401)에 대하여, 라벨(1404)에서 나타나는 ILM으로부터 ISOS의 범위에 있어서 실시예 1과 마찬가지로, 추가의 경계의 검출을 행하게 해도 된다. 또한, 경계 검출 방법은 실시예 1에 있어서의 경계의 검출 방법과 마찬가지여도 된다. 또한, 제2 처리부(823)는, 황반부의 단층 화상(1401)에 대하여, ILM과 NFL의 경계, OPL과 ONL의 경계, IPL과 INL의 경계, INL과 OPL의 경계, GCL과 IPL의 경계를 검출하도록 화상 처리 알고리즘 및 룰을 적용해도 된다. 이와 같이, 제2 처리부(823)에서는, 영역마다 원하는 구성에 따라서 임의의 화상 처리 알고리즘 및 룰이 설정되어도 된다.
상기한 바와 같이, 본 실시예에 관한 화상 처리 장치(80)에서는, 제1 처리부(822)는, 입력된 화상에 대하여 촬영 부위마다 미리 정해진 경계를 검출한다. 이를 위해, 본 실시예에서는, 학습 완료 모델을 사용하여 검출하는 영역은 망막 영역에 한정되지 않고, 촬영 부위에 대하여 특징적인 영역이므로, 질환 등의 베리에이션 등에도 대응할 수 있다. 또한, 제1 처리부(822)는, 입력된 화상이 망막의 단층 화상인 경우에는, 망막층의 적어도 하나를 검출하는 제1 검출 처리로서 당해 촬영 부위마다 미리 정해진 경계를 검출할 수 있다. 또한, 제1 처리부(822)는, 입력된 화상이 망막의 단층 화상 이외의 화상인 경우에는, 제1 검출 처리와는 다른 처리로서 당해 촬영 부위마다 미리 정해진 경계를 검출할 수 있다. 또한, 실시예 1과 마찬가지로, 단층 화상의 영역마다 학습을 행한 복수의 학습 모델의 각각의 출력을 합하여 제1 처리부(822)의 최종적인 출력을 생성해도 된다.
또한, 본 실시예에 관한 화상 처리 장치(80)에서는, 제1 검출 처리 또는 제2 검출 처리의 결과에 기초하여, 피검안에 관한 각 영역의 높이(두께), 폭, 면적이나 Cup/Disc비 등의 소정의 형상 특징이 계측될 수 있다.
(실시예 4)
실시예 3에 있어서는, 학습 완료 모델을 사용하여 검출하는 영역을 망막 영역에 한정되지 않고, 촬영되는 부위에 있어서의 특징적인 영역을 검출하는 예에 대하여 나타내었다. 이에 비하여, 실시예 4에서는, 화상이 촬영된 촬영 조건에 따라서, 학습 완료 모델을 사용한 처리의 실행 선택, 나아가 학습 완료 모델을 사용하여 검출하는 영역의 축소를 행한다.
이하, 도 15 내지 도 16b를 참조하여, 본 실시예에 관한 화상 처리 시스템(150)에 의한 화상 처리에 대하여, 실시예 2에 관한 화상 처리와의 차이를 중심으로 하여 설명한다. 또한, 실시예 2에 관한 화상 처리 시스템(8)의 구성 및 처리와 마찬가지인 본 실시예에 의한 화상 처리 시스템의 구성 및 처리에 대하여는, 동일한 참조 부호를 사용하여 나타내고, 설명을 생략한다.
도 15는, 본 실시예에 관한 화상 처리 시스템(150)의 개략적인 구성의 일례를 나타낸다. 본 실시예에 관한 화상 처리 시스템(150)에서는, 화상 처리 장치(152)의 화상 처리부(1520)에 있어서, 단층 화상 생성부(221), 제1 처리부(822) 및 제2 처리부(823)에 더하여, 선택부(1524)가 마련되어 있다.
선택부(1524)는, 취득부(21)가 취득한 촬영 조건군 및 제1 처리부(822)의 학습 완료 모델에 관한 학습 내용(교사 데이터)에 기초하여, 단층 화상에 대하여 행하는 화상 처리를 선택한다. 구체적으로는, 촬영 조건군과 학습 완료 모델의 학습에 기초하여, 제1 처리부(822)에서만 망막층을 검출할 것인지, 제1 처리부(822)에서 망막 영역을 검출하고, 제2 처리부(823)에서 망막층을 검출할 것인지, 또는 제2 처리부(823)에서만 망막층을 검출할 것인지를 선택한다. 또한, 선택부(1524)는, 제1 처리부(822)가 복수의 학습 완료 모델을 갖는 경우에, 촬영 조건군 및 제1 처리부(822)의 학습 완료 모델에 관한 학습 내용에 기초하여, 제1 처리부(822)에 의한 검출 처리에 사용할 학습 완료 모델을 선택할 수 있다.
이어서, 도 16a 및 도 16b를 참조하여, 본 실시예에 관한 일련의 처리에 대하여 설명한다. 도 16a는, 본 실시예에 관한 일련의 처리의 흐름도이며, 도 16b는, 본 실시예에 관한 경계 검출 처리의 흐름도이다. 또한, 경계 검출 처리 이외의 처리에 대하여는 실시예 2의 처리와 마찬가지이기 때문에, 설명을 생략한다. 스텝 S303에 있어서 단층 화상이 생성되면, 처리는 스텝 S1604로 이행한다. 처리가 스텝 S1604로 이행하면 경계 검출 처리가 개시되고, 처리는 스텝 S1641로 이행한다.
스텝 S1641에서는, 취득부(21)가 생성된 단층 화상에 관한 촬영 조건군을 취득하고, 화상 처리부(1520)가 취득된 촬영 조건군에서, 제1 처리부(822) 및 제2 처리부(823)에 의한 처리의 선택을 실행하는 데 필요한 정보를 취득한다. 예를 들어, 이러한 조건은 촬영 부위, 촬영 방식, 촬영 영역, 촬영 화각 및 화상의 해상도 등을 포함할 수 있다.
스텝 S1642에서는, 선택부(1524)가, 스텝 S1641에서 취득된 촬영 조건에 기초하여, 제1 처리부(822)에 의한 처리를 실행할지 여부의 선택을 행한다. 여기에서는 예로서, 제1 처리부(822)의 학습 완료 모델에 대하여, 시신경 유두부 및 황반부 각각 촬영 부위마다의 교사 데이터를 사용하여 학습이 행해진 시신경 유두부용 모델과 황반부용 모델의 2개만 준비되어 있는 경우를 생각한다. 또한, 이 경우에 있어서, 제1 처리부(822)는, 광화각의 화상(시신경 유두부와 황반부의 양쪽이 촬영되어 있는 범위의 화상)에 대응할 수 없는 것으로서 설명한다.
당해 예에서는, 선택부(1524)가, 촬영 조건 중, 예를 들어 촬영 부위명과 촬영 화각의 정보에 기초하여, 입력 화상이 시신경 유두부나 황반부를 단독으로 촬영한 화상이라고 판정한 경우에는, 선택부(1524)는 제1 처리부(822)에 의한 처리를 실행하는 것을 선택한다. 이에 의해, 처리는 스텝 S1643으로 이행한다. 한편, 선택부(1524)가, 입력 화상이 시신경 유두부나 황반부 이외를 촬영한 화상, 또는 시신경 유두부 및 황반부의 양쪽을 포함하는 광화각의 화상이라고 판정한 경우에는, 선택부(1524)는 제1 처리부(822)에 의한 처리를 실행하지 않는 것을 선택한다. 이에 의해, 처리는 스텝 S1645로 이행한다.
스텝 S1643에서는, 선택부(1524)는, 스텝 S1641에서 취득된 촬영 조건에 기초하여, 제1 처리부(822)가 이용하는 적절한 학습 완료 모델의 선택을 행한다. 상술한 예에서는, 선택부(1524)는, 예를 들어 촬영 부위명과 촬영 화각의 정보에 기초하여, 입력 화상이 시신경 유두부를 촬영한 화상이라고 판정한 경우에는, 시신경 유두부용의 모델을 선택한다. 마찬가지로, 선택부(1524)는, 입력 화상이 황반부를 촬영한 화상이라고 판정한 경우에는, 황반부용의 모델을 선택한다.
또한, 여기에서는, 학습 완료 모델이, 시신경 유두부와 황반부를 촬영한 화상만을 학습한 경우의 예에 대하여 나타내었지만, 학습 완료 모델의 학습 내용은 이에 한정되지 않는다. 예를 들어, 다른 부위에 대하여 학습한 학습 완료 모델이나, 시신경 유두부 및 황반부를 포함하는 광화각의 화상을 사용하여 학습이 행해진 학습 완료 모델을 사용해도 된다.
또한, 촬영 부위가 아니고 촬영 방식에 따른 학습 완료 모델이 따로따로 준비되어 있는 경우에는, 촬영 방식에 따라서 처리의 선택이나 학습 완료 모델의 선택이 행해져도 된다. 촬영 방식의 예로서는, SD-OCT와 SS-OCT의 촬영 방식이 있고, 양자의 촬영 방식의 차이에 의해, 화질, 촬영 범위 및 깊이 방향의 심달도 등이 다르다. 그 때문에, 이들 촬영 방식이 다른 화상에 대하여, 적절한 처리의 선택이나 학습 완료 모델을 선택하도록 해도 된다. 또한, 학습 시에 촬영 방식에 관계없이 함께 학습한 경우에는, 촬영 방식에 따라서 처리를 변경할 필요는 없다. 또한, 학습 완료 모델이 하나밖에 없는 경우에는, 스텝 S1643에 있어서의 학습 모델의 선택은 필요없기 때문에, 이 처리는 스킵할 수 있다.
스텝 S1644에서는, 제1 처리부(822)가 스텝 S1643에서 선택된 학습 완료 모델을 사용하여 제1 경계 검출 처리를 행한다. 또한, 이 처리에 대하여는, 실시예 1 내지 3에서 설명한 것을 사용할 수 있다. 예를 들어, 황반부용 모델이, 황반부에 있어서의 각 망막층의 화상 세그멘테이션 처리에 대하여 학습한 경우에는, 제1 처리부(822)는, 제1 검출 처리로서, 실시예 1과 마찬가지로, 검출 대상이 되는 모든 경계를 검출할 수 있다. 또한, 예를 들어 시신경 유두부용 모델이, 시신경 유두부에 있어서의 망막 영역을 검출하는 처리에 대하여 학습한 경우에는, 제1 처리부(822)는, 제1 검출 처리로서, 실시예 2와 마찬가지로 망막 영역을 검출할 수 있다. 마찬가지로, 황반부용 모델이 실시예 3과 마찬가지로, 황반부의 특징적인 영역을 검출하는 처리를 학습한 경우에는, 제1 처리부(822)는, 제1 검출 처리로서, 실시예 3과 마찬가지로 특징적인 영역을 검출할 수 있다. 또한, 구체적인 검출 방법은, 실시예 1 내지 3에 있어서의 검출 방법과 마찬가지이기 때문에 설명을 생략한다.
스텝 S1645에서는, 선택부(1524)는, 스텝 S1641에서 취득된 촬영 조건에 기초하여, 제2 처리부(823)에 의한 처리를 실행할지 여부를 선택한다. 선택부(1524)가 제2 처리부(823)에 의한 처리를 실행하는 것을 선택한 경우에는, 처리는 스텝 S1646으로 이행한다. 한편, 선택부(1524)가 제2 처리부(823)에 의한 처리를 실행하지 않는 것을 선택한 경우에는, 스텝 S1604의 처리가 종료되고, 처리는 스텝 S305로 이행한다.
여기서, 스텝 S1645에 있어서의 선택부(1524)의 선택 처리의 예에 대하여 설명한다. 제2 처리부(823)에 의한 처리를 실행하는 경우란, 예를 들어 실시예 2 및 3에서 설명한 바와 같이, 제1 처리부(822)가 검출한 영역에 기초하여, 제2 처리부(823)가 경계를 검출하는 경우이다.
또한, 이 밖에도, 제1 처리부(822)가 미학습의 화상이 입력된 경우에도 제2 처리부(823)에 의한 처리를 실행한다. 이 경우에는, 스텝 S1642에 있어서, 제1 처리부(822)에 의한 처리를 스킵하는 것이 선택되기 때문에, 제2 처리부(823)에 의해, 학습 완료 모델을 사용하지 않고 룰베이스의 화상 세그멘테이션 처리에 의해 경계 검출을 행한다.
한편, 제2 처리부(823)에 의한 처리를 실행하지 않는 경우란, 예를 들어 제1 처리부(822)가 학습 완료 모델을 사용하여, 대상이 되는 경계를 모두 검출할 수 있는 경우이다. 이 경우에는, 제1 처리부(822)만으로 처리가 완결되기 때문에, 제2 처리부(823)의 처리를 스킵하는 것이 가능하다.
단, 제1 처리부(822)가 학습 완료 모델을 사용하여, 대상이 되는 경계를 모두 검출할 수 있는 경우에도, 제2 처리부(823)에 의해, 검출된 경계에 기초하여 층 두께의 계측 등을 행하는 경우에는, 제2 처리부(823)에 의한 처리를 실행하는 것이 선택되어도 된다. 한편, 검출된 경계에 기초하는 층 두께의 계측 등은 제2 처리부(823)에 의해 행해지는 구성에 한정되지 않고, 화상 처리부(1520)에 있어서 행해지면 된다. 그 때문에, 층 두께의 계측 등이 행해지는 경우에도, 제2 처리부(823)에 의한 처리의 실행이 선택되지 않아도 된다.
스텝 S1646에서는, 선택부(1524)는, 스텝 S1641에서 취득된 촬영 조건에 기초하여, 제2 처리부(823)에 의한 처리를 실행하기 위해 필요한 화상 처리와 화상 처리를 적용할 때의 룰 선택을 행한다. 예를 들어, 입력 화상이, 도 14a, 도 14b 및 도 14d에 나타내는 바와 같은 단층 화상인 경우에 있어서는, 선택부(1524)는, 제1 처리부(822)가 검출한 영역에 기초하여 나머지 경계를 검출하기 위한 처리와 룰을 선택한다.
구체적으로는, 예를 들어 입력 화상이 도 14a에 나타내는 황반부를 촬영한 단층 화상(1401)인 경우에는, 선택부(1524)는, 황반부가 정확하게 층 인식할 수 있는 화상 처리와 룰을 선택한다. 또한, 예를 들어 도 14b에 나타내는 시신경 유두부를 촬영한 단층 화상(1411)인 경우에는, 선택부(1524)는, 브루크막 개구 단부(BMO), 체상판, Cup 및 Disc 등의 영향을 고려한 시신경 유두부의 예외 처리를 고려한 화상 처리와 룰을 선택한다. 또한, 예를 들어 도 14d에 나타내는 전안부를 촬영한 경우의 단층 화상(1431)인 경우에는, 선택부(1524)는, 각막부의 추가의 인식을 행할 수 있는 화상 처리와 룰을 선택한다.
또한, 스텝 S1647에 있어서 층 경계의 검출에 더하여 또는 단독으로, 검출된 경계나 경계에 끼인 층 영역의 두께의 계측을 실시하는 경우에는, 선택부(1524)는 그러한 화상 계측 기능에 필요한 화상 처리를 선택할 수도 있다.
스텝 S1647에서는, 제2 처리부(823)가 경계의 검출 및/또는 검출된 경계나 영역에 대한 계측을 행한다. 또한, 실시예 2 및 3에서 설명한 것과 마찬가지로, 제1 처리부(822)가 검출한 영역에 기초하여 영역 내의 경계를 검출하는 처리나 경계 등에 대한 계측하는 처리에 대하여는, 설명을 생략한다.
여기에서는, 제1 처리부(822)의 학습 완료 모델이 미학습인 화상이 입력된 경우에, 제2 처리부(823)가 행하는 처리의 예에 대하여 설명한다. 이 경우, 입력 화상으로부터 검출되고 있는 망막 영역의 후보가 없기 때문에, 제2 처리부(823)는, 실시예 2의 변형예에서 설명한 바와 같이, ILM과 NFL의 경계와, RPE 또는 ISOS를 최초에 검출한다.
제2 처리부(823)는, ILM과 NFL의 경계와, RPE 또는 ISOS를 검출한 후에는, 그들 경계 사이의 영역에 기초하여 나머지 경계를 검출한다. 당해 검출 처리는, 실시예 2 및 3에 있어서의 검출 처리와 마찬가지이기 때문에, 설명을 생략한다. 제2 처리부(823)가 이들 처리를 실행하면, 처리는 스텝 S305로 이행한다. 또한, 실시예 2의 변형예와 마찬가지로, 제2 처리부(823)는, ILM과 NFL의 경계와, BM을 최초에 검출해도 된다. 또한, 이후의 처리에 대하여는 실시예 1 내지 3에 있어서의 처리와 마찬가지이기 때문에 설명을 생략한다.
상기한 바와 같이, 본 실시예에 관한 화상 처리 장치(152)에서는, 취득부(21)는 피검안의 단층 화상에 관한 촬영 조건을 취득한다. 화상 처리 장치(152)는, 촬영 조건에 기초하여, 처리의 선택을 행하는 선택부(1524)를 추가로 구비한다. 선택부(1524)는, 촬영 조건에 기초하여, 제1 검출 처리와 제2 검출 처리 중 적어도 하나를 선택한다.
이를 위해, 본 실시예에 관한 화상 처리 장치(152)에서는, 촬영 조건에 기초하여, 제1 처리부(822)가 실행하는 학습 완료 모델에 의한 경계 검출의 가부, 및 제2 처리부(823)가 실행하는 화상 특징에 의한 경계 검출의 처리 실행의 필요 여부가 판단된다. 이에 의해, 학습 완료 모델에 의한 경계 검출이 특정한 화상에만 대응하고 있는 경우에 있어서도 입력 화상에 따라서 처리를 적절하게 행할 수 있다. 그 때문에, 학습 모델이 다양한 화상의 패턴에 대응하고 있지 않는 경우에도, 경계 검출 처리를 확실하게 실행할 수 있다. 따라서, 기계 학습으로 제작되는 다양한 성숙 단계에 있는 기계 학습 모델의 적어도 하나와, 화상 특징 추출의 결과를 룰베이스로 판단하여 망막층의 경계의 검출을 행하는 화상 처리 방법을 병용함으로써, 경계 검출의 정밀도를 향상시킬 수 있다.
또한, 제1 처리부(822)는, 다른 교사 데이터를 사용하여 기계 학습이 행해진 복수의 학습 완료 모델을 포함한다. 추가로, 제1 처리부(822)는, 복수의 학습 완료 모델 중, 촬영 조건에 대응하는 교사 데이터를 사용하여 기계 학습이 행해진 학습 완료 모델을 사용하여, 제1 검출 처리를 실행한다.
본 실시예에 의하면, 촬영 조건에 기초하여, 적절한 학습 모델을 사용하여 망막층의 검출을 행할 수 있어, 입력 화상에 따라서 보다 적절한 처리를 행할 수 있다. 또한, 추가로 학습 모델을 증가시켜가는 것도 가능하기 때문에, 성능이 점점 향상되는 버전 업을 행하는 것도 기대할 수 있다. 또한, 선택부(1524)에 의하면, 촬영 조건에 기초하여, 제2 처리부(823)에 있어서 사용하는 화상 처리와 룰의 선택을 행할 수 있어, 입력 화상에 따라서 보다 적절한 처리를 행할 수 있다.
또한, 본 실시예에서는, 스텝 S1642 및 스텝 S1645에 있어서, 제1 처리부(822) 및 제2 처리부(823)에 의한 처리의 선택을 따로따로 행하였지만, 처리의 선택 수순은 이것에 한정되지 않는다. 예를 들어, 선택부(1524)가, 1스텝으로, 제1 처리부(822)만에 의한 처리, 제2 처리부(823)만에 의한 처리, 또는 제1 처리부(822) 및 제2 처리부(823)에 의한 처리를 선택하도록 구성되어도 된다.
(실시예 4의 변형예)
실시예 4에서는, 제1 처리부(822)와 제2 처리부(823)가 경계 검출 등을 양쪽에서 분담하는 경우, 또는 어느 쪽이든 한쪽만으로 완결할 수 있는 경우 등, 다양한 경우에 있어서 적절한 처리가 가능한 것을 나타내었다. 이에 대하여, 제1 처리부(822)와 제2 처리부(823)가 동일한 처리, 예를 들어 동일한 경계를 검출하는 처리를 병행하여 실행해도 된다.
이러한 예로서, 예를 들어 제1 처리부(822)가 학습 완료 모델을 사용하여 대상이 되는 경계를 모두 검출할 수 있고, 또한 제2 처리부(823)가 제1 검출 대상인 망막 영역을 포함하는 대상이 되는 경계를 모두 검출할 수 있는 경우를 생각한다. 이 경우, 제1 처리부(822)와 제2 처리부(823)는 각각의 경계를 따로따로 검출한 결과를 출력한다.
이들 검출 결과는, 각각 학습 완료 모델에 의한 처리와 룰베이스에 의한 화상 처리의 결과이기 때문에, 양쪽 결과에는 차이가 발생하는 경우가 있다. 그 때문에, 본 변형예에서는, 표시 제어부(25)가, 이 양쪽 결과를 표시부(50)에 배열하여 표시시키거나, 전환하여 표시시키거나, 겹쳐서 표시시키거나 할 수 있다. 또한, 화상 처리부(1520)에 있어서, 양쪽 결과의 일치 불일치를 판정하고, 표시 제어부(25)가 당해 불일치 부분을 강조하여 표시부(50)에 표시시킬 수도 있다. 이 경우에는, 조작자에게 층 검출의 신뢰도를 나타낼 수 있다. 또한, 표시 제어부(25)는 불일치 부분을 표시부(50)에 표시시키고, 조작자의 지시에 따라서, 보다 납득도가 높은 결과를 선택할 수 있도록 해도 된다.
(실시예 5)
실시예 2 내지 4에 있어서는, 학습 완료 모델을 사용하여 망막 영역을 검출하고, 검출된 망막 영역에 대하여 룰베이스에서 망막 내층의 경계를 검출하는 예에 대하여 나타내었다. 이에 비하여, 실시예 5에서는, 학습 완료 모델을 사용하여 검출한 영역에 대하여, 의학적 특징에 기초하여 보정을 행한다.
이하, 도 17 내지 도 19d를 참조하여, 본 실시예에 관한 화상 처리 시스템(170)에 의한 화상 처리에 대하여, 실시예 2에 관한 화상 처리와의 차이를 중심으로 하여 설명한다. 또한, 실시예 2에 관한 화상 처리 시스템(8)의 구성 및 처리와 마찬가지인 본 실시예에 의한 화상 처리 시스템의 구성 및 처리에 대하여는, 동일한 참조 부호를 사용하여 나타내고, 설명을 생략한다.
도 17은, 본 실시예에 관한 화상 처리 시스템(170)의 개략적인 구성의 일례를 나타낸다. 본 실시예에 관한 화상 처리 시스템(170)에 있어서의 화상 처리 장치(172)의 화상 처리부(1720)에는, 단층 화상 생성부(221), 제1 처리부(822) 및 제2 처리부(823)에 더하여, 보정부(1724)가 마련되어 있다.
보정부(1724)는, 제1 처리부(822)가 학습 완료 모델을 사용하여 얻은 라벨 화상에 대하여, 눈의 의학적 특징에 기초하여, 라벨 부여된 영역을 보정한다. 이에 의해, 화상 처리부(1720)는 보다 적절하게 망막 영역이나 특징 영역을 검출할 수 있다.
이어서, 도 18a 및 도 18b를 참조하여, 본 실시예에 관한 일련의 처리에 대하여 설명한다. 도 18a는, 본 실시예에 관한 일련의 처리의 흐름도이며, 도 18b는, 본 실시예에 관한 경계 검출의 흐름도이다. 또한, 경계 검출 처리 이외의 처리에 대하여는 실시예 2의 처리와 마찬가지이기 때문에, 설명을 생략한다. 스텝 S303에 있어서 단층 화상이 생성되면, 처리는 스텝 S1804로 이행한다. 처리가 스텝 S1804로 이행하고, 스텝 S941에 있어서 제1 처리부(822)에 의한 처리가 실행되면, 처리는 스텝 S1841로 이행한다.
스텝 S1841에서는, 보정부(1724)가, 스텝 S941에 있어서 제1 처리부(822)에 의해 검출된 망막 영역을 보정한다. 보다 구체적으로는, 제1 처리부(822)가 학습 완료 모델을 사용하여 얻은 라벨 화상에 대하여, 눈의 의학적 특징에 기초하여, 라벨 부여된 영역을 보정한다.
여기서, 도 19a 내지 도 19d를 참조하여, 본 실시예에 관한 보정부(1724)에 의한 보정 처리에 대하여 설명한다. 도 19a는, 제1 처리부(822)에의 입력으로 되는 단층 화상(1901)의 일례를 나타낸다. 도 19b는, 단층 화상(1901)을 입력으로 하여 제1 처리부(822)가 학습 완료 모델을 사용하여 얻은 라벨 화상(1902)의 일례를 나타낸다. 라벨 화상(1902)에는, 망막 내층의 라벨(1904), 망막보다도 천층측(초자체측)의 라벨(1903), 및 망막보다도 심층측(맥락막측)의 라벨(1905)이 나타나 있다.
또한, 당해 라벨 부여에 대하여는, 학습 완료 모델의 학습 시의 라벨의 설정에 기초하고 있다. 그 때문에, 라벨의 종류는 이것에 한정되는 것은 아니고, 실시예 3에서 나타낸 바와 같이 망막층 내에 복수의 라벨을 설정해도 된다. 그 경우에 있어서도, 본 실시예에 관한 보정 처리를 적용하는 것이 가능하다.
본 실시예에 있어서, 제1 처리부(822)는 학습 완료 모델을 사용하여 화소 단위로 화상 세그멘테이션 처리를 행한다. 그 때문에, 도 19b의 라벨(1903', 1904')에 나타내는 바와 같이 부분적으로 오검출해버리는 경우가 있다. 보정부(1724)는 눈의 의학적 특징에 기초하여 이들의 오검출을 보정한다.
제1 처리부(822)에서는, 검출한 라벨마다 라벨링 처리를 행하고, 인접하는 화소에 있어서 동일한 라벨을 갖는 화소는 하나의 영역으로서 통합된다. 본 실시예에 있어서 부여되는 라벨의 종류는, 망막 내층의 라벨(1904), 망막보다도 천층측(초자체측)의 라벨(1903), 및 망막보다도 심층측(맥락막측)의 라벨(1905)의 3종류이다. 또한, 망막의 단층 화상을 촬영한 화상을 대상으로 하고 있기 때문에, 이들 라벨이 나타나는 순번은, 화상에 대하여, 상측으로부터 라벨(1903), 라벨(1904), 라벨(1905)의 순이 된다. 또한, 맥락막측을 강조하여 촬영하는 EDI(Enhanced Depth Imaging) 모드의 경우에는, 망막이 반전하여 촬영되기 때문에, 라벨이 나타나는 순번은 화상의 상측으로부터 라벨(1905), 라벨(1904), 라벨(1903)의 순이 된다.
상술한 바와 같이, 제1 처리부(822)에 입력하는 화상은 망막의 단층 화상이기 때문에, 촬영 시의 조건이나 촬영 부위로부터 의학적 특징에 기초하여 라벨의 위치 관계를 추정할 수 있다. 그래서, 보정부(1724)는, 라벨링된 영역마다 검출 결과를 특정하고, 오검출로 간주되는 영역을, 의학적 특징에 기초하여 추정되는 영역으로 보정한다.
구체적으로는, 보정부(1724)는, 예를 들어 라벨링된 영역의 면적이 큰 쪽으로부터 영역을 특정해가며, 라벨링된 영역의 면적이 역치 이하인 것이나, 이미 특정된 영역으로부터 공간적인 거리가 이격되어 있는 것은 오검출이라고 판단한다. 그 후, 보정부(1724)는, 오검출이라고 판단한 라벨 정보를 리셋한다. 이 경우의 예를 도 19c에 나타낸다. 도 19c에 나타나는 영역(1910)은, 보정부(1724)에 의해, 오검출로 간주된 영역인, 라벨(1903') 및 라벨(1904')로 나타난 영역에 대하여 라벨 정보가 리셋된 영역을 나타낸다.
보정부(1724)는, 라벨 정보를 리셋한 영역(1910)에 대하여, 주변의 라벨 정보로부터 추측되는 라벨 정보를 할당한다. 도 19c에 나타내는 예에서는, 라벨(1903)로 둘러싸인 영역(1910)에 대하여 라벨(1903)을 할당하고, 라벨(1905)로 둘러싸인 영역(1910)에 대하여 라벨(1905)을 할당한다.
보정부(1724)에 의한 이들 처리에 의해, 도 19d에 나타내는 바와 같이, 최종적인 라벨 화상(1920)이 출력된다. 이에 의해, 화상 처리부(1720)는 보다 적절하게 망막 영역을 검출할 수 있다.
보정부(1724)에 의한 보정 처리가 행해지면, 처리는 스텝 S942로 이행한다. 스텝 S942에서는, 제2 처리부(823)가 보정된 망막 영역에 기초하여, 실시예 2와 마찬가지로, 제2 경계 검출 처리를 행한다. 이후의 처리는 실시예 2의 처리와 마찬가지이기 때문에 설명을 생략한다.
상기한 바와 같이, 본 실시예에 관한 화상 처리 장치(172)는, 망막층에 있어서의 의학적 특징에 기초하여, 제1 처리부(822)가 검출한 망막층의 구조를 보정하는 보정부(1724)를 추가로 구비한다.
이 때문에, 본 실시예에 관한 화상 처리 장치(172)에서는, 학습 완료 모델을 사용하여 검출한 영역에 대하여 의학적 특징을 사용하여 영역의 보정을 행할 수 있다. 그 때문에, 화소 단위로 화상을 검출하는 경우에 있어서도, 오검출을 저감시킬 수 있다.
또한, 본 실시예에서는, 실시예 2에 관한 처리에, 보정부(1724)에 의한 보정 처리를 부가하였지만, 실시예 3이나 실시예 4에 관한 처리에 당해 보정 처리를 부가해도 된다.
(실시예 6)
실시예 1 내지 5에 있어서는, 촬영한 단층 화상에 대하여, 학습 완료 모델을 사용하여 망막 내층의 경계나 망막 영역을 검출하였다. 이에 비해, 본 실시예에서는, 다른 학습 완료 모델을 사용하여 단층 화상의 화질을 개선한 고화질 화상을 생성하고, 고화질 화상에 대하여, 실시예 1이나 2 등에 관한 학습 완료 모델을 사용한 경계 검출이나 영역 검출을 행한다. 또한, 본 실시예에 있어서의 화질의 개선이란, 노이즈의 저감이나, 촬영 대상을 관찰하기 쉬운 색이나 계조로의 변환, 해상도나 공간 분해능의 향상, 및 해상도의 저하를 억제한 화상 사이즈의 확대 등을 포함한다.
이하, 본 실시예에 관한 화상 처리 시스템에 의한 화상 처리에 대하여, 실시예 2에 의한 화상 처리와의 차이를 중심으로 하여 설명한다. 또한, 본 실시예에 관한 화상 처리 시스템의 구성 및 처리 수순은, 실시예 2에 관한 화상 처리 시스템(8)의 구성 및 처리 수순과 마찬가지이기 때문에, 동일한 참조 부호를 사용하여 나타내고, 설명을 생략한다.
본 실시예에 있어서, 제1 처리부(822)는, 망막 영역을 검출하기 위한 기계 학습 모델과는 다른 기계 학습 모델인 고화질화 모델에 관한 학습 완료 모델을 사용하여 입력 화상의 화질을 개선하는 처리를 행한다. 고화질화 모델은, 임의의 기계 학습 알고리즘에 의한 기계 학습 모델에 대하여, 사전에 적절한 교사 데이터를 사용하여 트레이닝하고, 입력 화상의 화질을 개선한 화상을 출력하는 학습 완료 모델이다.
여기서, 본 실시예에 관한 고화질화 모델의 교사 데이터의 일례를 도 20에 나타낸다. 도 20에 있어서, 단층 화상(2001)은 OCT의 촬영에 의해 취득된 단층 화상의 일례를 나타내고, 단층 화상(2002)은 단층 화상(2001)을 고화질화 처리한 단층 화상을 나타낸다. 단층 화상(2001)은 입력 데이터의 일례를 나타내고, 단층 화상(2002)을 출력 데이터의 일례를 나타내고, 이들 화상에 의해 구성되는 페어군에 의해 교사 데이터가 구성되어 있다.
또한, 고화질화 처리로서는, 공간적으로 동일 위치를 복수회 촬영한 단층 화상에 대하여 위치 정렬을 행하고, 그들 위치 정렬 완료의 단층 화상을 가산 평균 처리하는 것을 들 수 있다. 또한, 고화질화 처리는 가산 평균 처리에 한정되지 않고, 예를 들어 평활화 필터를 사용한 처리나 최대 사후 확률 추정 처리(MAP 추정 처리), 계조 변환 처리 등이어도 된다. 또한, 고화질화 처리된 화상으로서는, 예를 들어 노이즈 제거와 에지 강조 등의 필터 처리를 행한 화상이어도 되고, 저휘도의 화상으로부터 고휘도의 화상으로 하는 콘트라스트가 조정된 화상을 사용해도 된다. 또한, 고화질화 모델에 관한 교사 데이터의 출력 데이터는, 고화질의 화상이면 되기 때문에, 입력 데이터인 단층 화상을 촬영하였을 때의 OCT 장치보다도 고성능의 OCT 장치를 사용하여 촬영된 단층 화상이나, 고부하의 설정에 의해 촬영된 단층 화상이어도 된다.
제1 처리부(822)는, 이러한 교사 데이터를 사용하여 트레이닝된 고화질화 모델에 대하여, OCT의 촬영에 의해 취득된 단층 화상을 입력하여, 고화질화된 단층 화상을 취득한다. 또한, 제1 처리부(822)는, 래스터 스캔에 의해 망막을 3차원적으로 스캔한 볼륨의 단층 화상을 고화질화 모델에 입력함으로써, 고화질화된 볼륨 단층 화상을 취득할 수 있다.
제1 처리부(822)는, 고화질화 모델을 사용하여 취득한 고화질 화상을 입력으로 하여, 실시예 2 내지 5와 마찬가지로, 학습 완료 모델을 사용하여 망막 영역 또는 특징 영역을 검출한다.
또한, 제2 처리부(823)는, 제1 처리부(822)에서 취득한 고화질 화상 및 검출한 망막 영역이나 특징 영역에 기초하여, 망막층을 검출할 수 있다.
상기한 바와 같이, 본 실시예에 관한 화상 처리 장치(80)에서는, 제1 처리부(822)는 학습 완료 모델을 사용하여 고화질화된 단층 화상에 대하여, 제1 검출 처리를 행한다.
이에 의해, 본 실시예에 관한 화상 처리 장치(80)는, 기계 학습 모델의 학습 완료 모델을 사용하여 입력 화상의 화질을 개선하고, 화질을 개선한 화상에 대하여 망막층의 검출을 행할 수 있다. 그 때문에, 노이즈 저감 등의 화질 개선이 이루어진 화상을 사용하여 망막층의 검출을 행할 수 있어, 오검출을 저감시킬 수 있다.
또한, 본 실시예에서는, 실시예 2에 관한 처리에, 입력 화상인 단층 화상을 고화질화하는 처리를 부가하였지만, 실시예 1이나 실시예 3 내지 5에 관한 처리에, 당해 고화질화의 처리를 부가해도 된다.
또한, 본 실시예에서는, 고화질화를 행하는 고화질화 모델을, 검출 처리를 행하는 기계 학습 모델과는 다른 기계 학습 모델로 하였다. 그러나, 검출 처리를 행하는 기계 학습 모델에 당해 고화질화 처리를 학습시켜, 고화질화와 검출 처리의 양쪽을 행하도록 기계 학습 모델을 구성해도 된다.
또한, 본 실시예에서는, 제1 처리부(822)가 고화질화 처리에 관한 학습 완료 모델(고화질화 모델)을 사용하여 단층 화상의 화질을 개선한 고화질 화상을 생성하였다. 그러나, 고화질화 모델을 사용하여 고화질 화상을 생성하는 구성 요소는 제1 처리부(822)에 한정되지 않는다. 예를 들어, 제1 처리부(822)와는 다른 제3 처리부(고화질화부)를 마련하고, 제3 처리부가 고화질화 모델을 사용하여 고화질 화상을 생성해도 된다. 이 때문에, 제1 처리부(822) 또는 당해 제3 처리부는, 고화질화용의 학습 완료 모델을 사용하여, 단층 화상으로부터, 당해 단층 화상과 비교하여 고화질화된 단층 화상을 생성하는 생성부의 일례로서 기능할 수 있다. 또한, 제3 처리부나 고화질화 모델은, CPU나 MPU, GPU, FPGA 등의 프로세서에 의해 실행되는 소프트웨어 모듈 등으로 구성되어도 되고, ASIC 등의 특정한 기능을 행하는 회로 등으로 구성되어도 된다.
(실시예 7)
이어서, 도 21a 내지 도 23을 참조하여, 실시예 7에 관한 화상 처리 장치(80)에 대하여 설명한다. 실시예 6에서는, 제1 처리부(822)는, 고화질화 모델을 사용하여 고화질화된 단층 화상에 대하여 제1 검출 처리를 행하고, 망막 영역 또는 특징 영역을 검출하였다. 이것에 관하여, 제1 처리부(822)는, 다른 화상에 대하여 고화질화 모델을 사용하여 고화질화 처리를 행해도 되고, 표시 제어부(25)는, 고화질화된 각종 화상을 표시부(50)에 표시시켜도 된다. 예를 들어, 제1 처리부(822)는, 제1 검출 처리 및 제2 검출 처리에 의해 검출된 망막층의 정보(예를 들어 경계 화상)에 기초하여 생성된 휘도의 En-Face 화상이나 OCTA 정면 화상 등을 고화질화 처리해도 된다. 또한, 표시 제어부(25)는, 제1 처리부(822)에 의해 고화질화 처리된 단층 화상, 휘도의 En-Face 화상 및 OCTA 정면 화상의 적어도 하나를 표시부(50)에 표시시킬 수 있다. 또한, 고화질화하여 표시하는 화상은, SLO 화상이나, 안저 카메라 등으로 취득된 안저 화상, 형광 안저 화상 등이어도 된다. 여기서 SLO 화상이란, 도시하지 않은 SLO(Scanning Laser Ophthalmoscope: 주사형 검안경) 광학계에 의해 취득한 안저의 정면 화상이다.
여기서, 각종 화상을 고화질화 처리하기 위한 고화질화 모델의 학습 데이터는, 각종 화상에 대하여, 실시예 6에 관한 고화질화 모델의 학습 데이터와 마찬가지로, 고화질화 처리 전의 화상을 입력 데이터로 하고, 고화질화 처리 후의 화상을 출력 데이터로 한다. 또한, 학습 데이터에 관한 고화질화 처리에 대하여는, 실시예 6과 마찬가지로, 예를 들어 가산 평균 처리나, 평활화 필터를 사용한 처리, 최대 사후 확률 추정 처리(MAP 추정 처리), 계조 변환 처리 등이면 된다. 또한, 고화질화 처리 후의 화상으로서는, 예를 들어 노이즈 제거와 에지 강조 등의 필터 처리를 행한 화상이어도 되고, 저휘도의 화상으로부터 고휘도의 화상으로 하는 콘트라스트가 조정된 화상을 사용해도 된다. 또한, 고화질화 모델에 관한 교사 데이터의 출력 데이터는, 고화질의 화상이면 되기 때문에, 입력 데이터인 화상을 촬영하였을 때의 OCT 장치보다도 고성능의 OCT 장치를 사용하여 촬영된 화상이나, 고부하의 설정에 의해 촬영된 화상이어도 된다.
또한, 고화질화 모델은 고화질화 처리를 행하는 화상의 종류마다 준비되어도 된다. 예를 들어, 단층 화상용의 고화질화 모델이나 휘도의 En-Face 화상용의 고화질화 모델, OCTA 정면 화상용의 고화질화 모델이 준비되어도 된다. 또한, 휘도의 En-Face 화상용의 고화질화 모델이나 OCTA 정면 화상용의 고화질화 모델은, 화상의 생성에 관한 심도 범위(생성 범위)에 대하여 다른 심도 범위의 화상을 망라적으로 학습한 학습 완료 모델이면 된다. 다른 심도 범위의 화상으로서는, 예를 들어 도 21a에 나타내는 바와 같이, 표층 Im2110, 심층 Im2120, 외층 Im2130 및 맥락막 혈관망 Im1940 등의 화상이 포함되어도 된다. 또한, 휘도의 En-Face 화상용의 고화질화 모델이나 OCTA 정면 화상용의 고화질화 모델은, 다른 심도 범위별 화상을 학습한 복수의 고화질화 모델이 준비되어도 된다.
또한, 단층 화상용의 고화질화 모델을 준비하는 경우에는, 다른 부 주사(Y) 방향의 위치에서 얻어진 단층 화상을 망라적으로 학습한 학습 완료 모델이면 된다. 도 21b에 나타내는 단층 화상 Im2151 내지 Im2153은, 다른 부 주사 방향의 위치에서 얻어진 단층 화상의 예이다. 단, 촬영 부위(예를 들어, 황반부 중심, 시신경 유두부 중심)가 다른 장소를 촬영한 화상의 경우에는, 부위별로 따로따로 학습을 하게 해도 되고, 촬영 부위를 신경쓰지 않고 함께 학습을 하게 해도 된다. 또한, 고화질화하는 단층 화상으로서는, 휘도의 단층 화상과, 모션 콘트라스트 데이터의 단층 화상이 포함되어도 된다. 단, 휘도의 단층 화상과 모션 콘트라스트 데이터의 단층 화상에 있어서는 화상 특징량이 크게 다르기 때문에, 각각의 고화질화 모델로서 따로따로 학습을 행해도 된다.
이하, 본 실시예에 관한 화상 처리 시스템에 의한 화상 처리에 대하여, 실시예 6에 의한 화상 처리와의 차이를 중심으로 하여 설명한다. 또한, 본 실시예에 관한 화상 처리 시스템의 구성 및 처리 수순은, 실시예 6에 관한 화상 처리 시스템(8)의 구성 및 처리 수순과 마찬가지이기 때문에, 동일한 참조 부호를 사용하여 나타내고, 설명을 생략한다.
본 실시예에서는, 제1 처리부(822)가 고화질화 처리를 행한 화상을 표시 제어부(25)가 표시부(50)에 표시를 행하는 예에 대하여 설명을 행한다. 또한, 본 실시예에서는, 도 22a 및 도 22b를 사용하여 설명을 행하지만 표시 화면은 이에 한정되지 않는다. 경과 관찰과 같이, 다른 일시에서 얻은 복수의 화상을 배열하여 표시하는 표시 화면에 있어서도 마찬가지로 고화질화 처리(화질 향상 처리)는 적용 가능하다. 또한, 촬영 확인 화면과 같이, 검자가 촬영 직후에 촬영 성부(成否)를 확인하는 표시 화면에 있어서도 마찬가지로 고화질화 처리는 적용 가능하다. 표시 제어부(25)는, 제1 처리부(822)가 생성한 복수의 고화질 화상이나 고화질화를 행하지 않은 저화질 화상을 표시부(50)에 표시시킬 수 있다. 또한, 표시 제어부(25)는, 표시부(50)에 표시된 복수의 고화질 화상이나 고화질화를 행하지 않은 저화질 화상에 대하여, 검자의 지시에 따라서 선택된 저화질 화상 및 고화질 화상을 각각 표시부(50)에 표시시킬 수 있다. 또한, 화상 처리 장치(80)는, 당해 검자의 지시에 따라서 선택된 저화질 화상 및 고화질 화상을 외부로 출력할 수도 있다.
이하, 도 22a 및 도 22b를 참조하여, 본 실시예에 관한 인터페이스의 표시 화면(2200)의 일례를 나타낸다. 표시 화면(2200)은 화면 전체를 나타내고, 표시 화면(2200)에는, 환자 탭(2201), 촬영 탭(2202), 리포트 탭(2203), 설정 탭(2204)이 나타나 있다. 또한, 리포트 탭(2203)에 있어서의 사선은, 리포트 화면의 액티브 상태를 나타내고 있다. 본 실시예에서는, 리포트 화면을 표시하는 예에 대하여 설명한다.
도 22a에 나타나는 리포트 화면에는, SLO 화상 Im2205, OCTA 정면 화상 Im2207, 2208, 휘도의 En-Face 화상 Im2209, 단층 화상 Im2211, 2212 및 버튼(2220)이 나타나 있다. 또한, SLO 화상 Im2205에는, OCTA 정면 화상 Im2207에 대응하는 OCTA 정면 화상 Im2206이 중첩 표시되어 있다. 또한, 단층 화상 Im2211, 2212에는, 각각 OCTA 정면 화상 Im2207, Im2208의 심도 범위의 경계선(2213, 2214)이 중첩 표시되어 있다. 버튼(2220)은 고화질화 처리의 실행을 지정하기 위한 버튼이다. 버튼(2220)은, 후술하는 바와 같이, 고화질 화상의 표시를 지시하기 위한 버튼이어도 된다.
본 실시예에 있어서, 고화질화 처리의 실행은 버튼(2220)을 지정하여 행할 것인지, 데이터베이스에 보존(기억)되어 있는 정보에 기초하여 실행의 유무를 판단한다. 처음에, 검자로부터의 지시에 따라서 버튼(2220)을 지정함으로써 고화질 화상의 표시와 저화질 화상의 표시를 전환하는 예에 대하여 설명한다. 또한, 이하, 고화질화 처리의 대상 화상은 OCTA 정면 화상으로서 설명한다.
또한, OCTA 정면 화상 Im2207, Im2208의 심도 범위는, 제1 검출 처리 및 제2 검출 처리에 의해 검출된 망막층의 정보를 사용하여 정해져도 된다. 심도 범위는, 예를 들어 검출된 망막층에 관한 2개의 층 경계 사이의 범위로 해도 되고, 검출된 망막층에 관한 2개의 층 경계의 한쪽을 기준으로 하여, 보다 깊은 방향 또는 보다 얕은 방향으로 소정의 화소수분만큼 포함한 범위여도 된다. 또한, 심도 범위는, 예를 들어 검출된 망막층에 관한 2개의 층 경계 사이의 범위로부터, 조작자의 지시에 따라서 변경된(오프셋된) 범위여도 된다.
검자가 리포트 탭(2203)을 지정하여 리포트 화면으로 천이하였을 때에는, 표시 제어부(25)는 저화질의 OCTA 정면 화상 Im2207, Im2208을 표시한다. 그 후, 검자가 버튼(2220)을 지정함으로써, 제1 처리부(822)는 화면에 표시되어 있는 OCTA 정면 화상 Im2207, Im2208에 대하여 고화질화 처리를 실행한다. 고화질화 처리가 완료 후, 표시 제어부(25)는, 제1 처리부(822)가 생성한 고화질 화상을 리포트 화면에 표시한다. 또한, OCTA 정면 화상 Im2206은, OCTA 정면 화상 Im2207을 SLO 화상 Im2205에 중첩 표시하고 있는 것이기 때문에, 표시 제어부(25)는 OCTA 정면Im2206에 대해서도 고화질화 처리한 화상을 표시시킬 수 있다. 또한, 표시 제어부(25)는 버튼(2220)의 표시를 액티브 상태로 변경하여, 고화질화 처리를 실행한 것을 알 수 있는 표시로 할 수 있다.
여기서, 제1 처리부(822)에 있어서의 처리의 실행은, 검자가 버튼(2220)을 지정한 타이밍에 한정할 필요는 없다. 리포트 화면을 개방할 때에 표시하는 OCTA 정면 화상 Im2207, Im2208의 종류는 사전에 알고 있기 때문에, 제1 처리부(822)는, 표시되는 화면이 리포트 화면으로 천이할 때에 고화질화 처리의 실행을 해도 된다. 그리고, 버튼(2220)이 눌린 타이밍에, 표시 제어부(25)가 고화질 화상을 리포트 화면에 표시하도록 해도 된다. 또한, 검자로부터의 지시에 따라서, 또는 리포트 화면으로 천이할 때에 고화질화 처리를 행하는 화상의 종류는 2종류일 필요는 없다. 표시할 가능성이 높은 화상, 예를 들어 도 21a에 나타내는 표층 Im2110, 심층 Im2120, 외층 Im2130 및 맥락막 혈관망 Im2140 등의 복수의 OCTA 정면 화상에 대하여 처리를 행하게 해도 된다. 이 경우, 고화질화 처리를 행한 화상을 일시적으로 메모리에 기억, 혹은 데이터베이스에 기억해두게 해도 된다.
이어서, 데이터베이스에 보존(기록)되어 있는 정보에 기초하여 고화질화 처리를 실행하는 경우에 대하여 설명한다. 데이터베이스에 고화질화 처리의 실행을 행하는 상태가 보존되어 있는 경우, 리포트 화면으로 천이하였을 때, 제1 처리부(822)가 고화질화 처리를 실행하여 얻은 고화질 화상을 표시 제어부(25)가 디폴트로 표시부(50)에 표시시킨다. 그리고, 표시 제어부(25)가, 버튼(2220)을 액티브 상태로서 디폴트로 표시시킴으로써, 검자에 대하여는 고화질화 처리를 실행하여 얻은 고화질 화상이 표시되어 있음을 알 수 있게 구성할 수 있다. 검자는, 고화질화 처리 전의 저화질 화상을 표시하고 싶을 경우에는, 버튼(2220)을 지정하여 액티브 상태를 해제함으로써, 표시 제어부(25)가 저화질 화상을 표시부(50)에 표시시킬 수 있다. 이 때, 검자는, 표시되는 화상을 고화질 화상으로 되돌리고 싶을 경우에는, 버튼(2220)을 지정하여 액티브 상태로 함으로써, 표시 제어부(25)가 고화질 화상을 표시부(50)에 다시 표시시킨다.
데이터베이스에의 고화질화 처리의 실행의 유무는, 데이터베이스에 보존되어 있는 데이터 전체에 대하여 공통, 및 촬영 데이터별로(검사별로) 등, 계층별로 지정하는 것으로 한다. 예를 들어, 데이터베이스 전체에 대하여 고화질화 처리를 실행하는 상태를 보존하고 있는 경우에 있어서, 개별의 촬영 데이터(개별의 검사)에 대하여, 검자가 고화질화 처리를 실행하지 않는 상태를 보존할 수 있다. 이 경우, 고화질화 처리를 실행하지 않는다는 상태가 보존된 개별의 촬영 데이터에 대하여는 다음번 표시할 때에 고화질화 처리를 실행하지 않는 상태로 표시를 행할 수 있다. 이와 같은 구성에 의하면, 촬영 데이터 단위(검사 단위)로 고화질화 처리의 실행의 유무가 지정되어 있지 않는 경우, 데이터베이스 전체에 대하여 지정되어 있는 정보에 기초하여 처리를 실행할 수 있다. 또한, 촬영 데이터 단위(검사 단위)로 지정되어 있는 경우에는, 그 정보에 기초하여 개별로 처리를 실행할 수 있다.
또한, 촬영 데이터별로(검사별로) 고화질화 처리의 실행 상태를 보존하기 위해서, 도시하지 않은 유저 인터페이스(예를 들어, 보존 버튼)를 사용해도 된다. 또한, 기타 촬영 데이터(다른 검사)나 다른 환자 데이터로 천이(예를 들어, 검자로부터의 지시에 따라서 리포트 화면 이외의 표시 화면으로 변경)할 때, 표시 상태(예를 들어, 버튼(2220)의 상태)에 기초하여, 고화질화 처리의 실행을 행하는 상태가 보존되게 해도 된다.
본 실시예에서는, OCTA 정면 화상으로서, OCTA 정면 화상 Im2207, Im2208을 표시하는 예를 나타내고 있지만, 표시할 OCTA 정면 화상은 검자의 지정에 의해 변경하는 것이 가능하다. 그 때문에, 고화질화 처리의 실행이 지정되어 있는 경우(버튼(2220)이 액티브 상태)에 있어서의, 표시할 화상의 변경에 대하여 설명한다.
표시할 화상의 변경은, 도시하지 않은 유저 인터페이스(예를 들어, 콤보 박스)를 사용하여 행할 수 있다. 예를 들어, 검자가 화상의 종류를 표층으로부터 맥락막 혈관망으로 변경한 경우에는, 제1 처리부(822)는 맥락막 혈관망 화상에 대하여 고화질화 처리를 실행하고, 표시 제어부(25)는 제1 처리부(822)가 생성한 고화질의 화상을 리포트 화면에 표시한다. 즉, 표시 제어부(25)는, 검자로부터의 지시에 따라서, 제1 심도 범위의 고화질 화상의 표시를, 제1 심도 범위와는 적어도 일부가 다른 제2 심도 범위의 고화질 화상의 표시로 변경해도 된다. 이 때, 표시 제어부(25)는, 검자로부터의 지시에 따라서 제1 심도 범위가 제2 심도 범위로 변경됨으로써, 제1 심도 범위의 고화질 화상의 표시를, 제2 심도 범위의 고화질 화상의 표시로 변경해도 된다. 또한, 상술한 바와 같이 리포트 화면 천이 시에 표시할 가능성이 높은 화상에 대하여는, 이미 고화질 화상이 생성 완료된 경우, 표시 제어부(25)는 생성 완료의 고화질 화상을 표시하면 된다.
또한, 화상의 종류의 변경 방법은 상기한 것에 한정되지 않고, 기준이 되는 층이나 오프셋의 값을 바꾸어서 다른 심도 범위를 설정한 OCTA 정면 화상을 생성하고, 생성한 OCTA 정면 화상에 고화질화 처리를 실행한 고화질 화상을 표시시키는 것도 가능하다. 그 경우, 기준이 되는 층, 또는 오프셋값이 변경되었을 때에, 제1 처리부(822)는 임의의 OCTA 정면 화상에 대하여 고화질화 처리를 실행하고, 표시 제어부(25)는 고화질 화상을 리포트 화면에 표시한다. 또한, 기준이 되는 층이나 오프셋값의 변경은, 도시하지 않은 유저 인터페이스(예를 들어, 콤보 박스나 텍스트 박스)를 사용하여 행해질 수 있다. 또한, 단층 화상 Im2211, Im2212에 각각 중첩 표시하고 있는 경계선(2213, 2214) 중 어느 것을 드래그(층 경계를 이동)함으로써, OCTA 정면 화상의 심도 범위(생성 범위)를 변경할 수도 있다.
경계선을 드래그에 의해 변경하는 경우, 고화질화 처리의 실행 명령이 연속적으로 실시된다. 그 때문에, 제1 처리부(822)는 실행 명령에 대하여 항상 처리를 행해도 되고, 드래그에 의한 층 경계의 변경 후에 실행하도록 해도 된다. 또는, 고화질화 처리의 실행은 연속적으로 명령되지만, 다음 명령이 온 시점에서 전회의 명령을 캔슬하고, 최신의 명령을 실행하도록 해도 된다.
또한, 고화질화 처리에는 비교적 시간이 걸리는 경우가 있다. 이 때문에, 상술한 어떤 타이밍에 명령이 실행되었다고 해도, 고화질 화상이 표시될 때까지 비교적 시간이 걸리는 경우가 있다. 그래서, 검자로부터의 지시에 따라서 OCTA 정면 화상을 생성하기 위한 심도 범위가 설정되고 나서, 고화질 화상이 표시될 때까지의 동안, 해당 설정된 심도 범위에 대응하는 저화질의 OCTA 정면 화상(저화질 화상)이 표시되어도 된다. 즉, 상기 심도 범위가 설정되면, 해당 설정된 심도 범위에 대응하는 저화질의 OCTA 정면 화상(저화질 화상)이 표시되고, 고화질화 처리가 종료되면, 해당 저화질의 OCTA 정면 화상의 표시가 고화질 화상의 표시로 변경되도록 구성되어도 된다. 또한, 상기 심도 범위가 설정되고 나서, 고화질 화상이 표시될 때까지의 동안, 고화질화 처리가 실행되고 있는 것을 나타내는 정보가 표시되어도 된다. 또한, 이들 처리는, 고화질화 처리의 실행이 이미 지정되어 있는 상태(버튼(2220)이 액티브 상태)를 전제로 하는 경우에 적용되는 구성에 한정되지 않는다. 예를 들어, 검자로부터의 지시에 따라서 고화질화 처리의 실행이 지시되었을 때, 고화질 화상이 표시될 때까지의 동안에 있어서도, 이들 처리를 적용하는 것이 가능하다.
본 실시예에서는, OCTA 정면 화상으로서, 다른 층에 관한 OCTA 정면 화상 Im2207, 2108을 표시하고, 저화질과 고화질의 화상은 전환하여 표시하는 예를 나타내었지만, 표시되는 화상은 이에 한정되지 않는다. 예를 들어, OCTA 정면 화상 Im2207로서 저화질의 OCTA 정면 화상, OCTA 정면 화상 Im2208로서 고화질인 OCTA 정면 화상을 배열하여 표시하도록 해도 된다. 화상을 전환하여 표시하는 경우에는, 동일한 장소에서 화상을 전환하므로 변화가 있는 부분의 비교를 행하기 쉽고, 배열하여 표시하는 경우에는, 동시에 화상을 표시할 수 있으므로 화상 전체를 비교하기 쉽다.
이어서, 도 22a 및 도 22b를 사용하여, 화면 천이에 있어서의 고화질화 처리의 실행에 대하여 설명을 행한다. 도 22b는, 도 22a에 있어서의 OCTA 정면 화상 Im2207을 확대 표시한 화면예이다. 도 22b에 있어서도, 도 22a와 마찬가지로 버튼(2220)을 표시한다. 도 22a로부터 도 22b로의 화면 천이는, 예를 들어 OCTA 정면 화상 Im2207을 더블 클릭함으로써 천이하고, 도 22b로부터 도 22a로는 닫힘 버튼(2230)으로 천이한다. 또한, 화면 천이에 대하여는, 여기에서 나타낸 방법에 한정되지 않고, 도시하지 않은 유저 인터페이스를 사용해도 된다.
화면 천이 시에 고화질화 처리의 실행이 지정되어 있는 경우(버튼(2220)이 액티브), 화면 천이 시에 있어서도 그 상태를 유지한다. 즉, 도 22a의 화면에서 고화질 화상을 표시하고 있는 상태에서 도 22b의 화면으로 천이하는 경우, 도 22b의 화면에 있어서도 고화질 화상을 표시한다. 그리고, 버튼(2220)은 액티브 상태로 한다. 도 22b로부터 도 22b로 천이하는 경우에도 마찬가지이다. 도 22b에 있어서, 버튼(2220)을 지정하여 저화질 화상으로 표시를 전환할 수도 있다.
화면 천이에 대하여, 여기에서 나타낸 화면에 한정되지 않고, 경과 관찰용의 표시 화면, 또는 파노라마용의 표시 화면 등 동일한 촬영 데이터를 표시하는 화면으로의 천이라면, 고화질 화상의 표시 상태를 유지한 채로 천이를 행할 수 있다. 즉, 천이 후의 표시 화면에 있어서, 천이 전의 표시 화면에 있어서의 버튼(2220)의 상태에 대응하는 화상이 표시될 수 있다. 예를 들어, 천이 전의 표시 화면에 있어서의 버튼(2220)이 액티브 상태라면, 천이 후의 표시 화면에 있어서 고화질 화상이 표시된다. 또한, 예를 들어 천이 전의 표시 화면에 있어서의 버튼(2220)의 액티브 상태가 해제되어 있으면, 천이 후의 표시 화면에 있어서 저화질 화상이 표시된다. 또한, 경과 관찰용의 표시 화면에 있어서의 버튼(2220)이 액티브 상태가 되면, 경과 관찰용의 표시 화면에 배열하여 표시되는 다른 일시(다른 검사일)에서 얻은 복수의 화상이 고화질 화상으로 전환되도록 해도 된다. 즉, 경과 관찰용의 표시 화면에 있어서의 버튼(2220)이 액티브 상태가 되면, 다른 일시에서 얻은 복수의 화상에 대하여 일괄적으로 반영되도록 구성해도 된다.
또한, 경과 관찰용의 표시 화면의 예를, 도 23에 나타낸다. 검자로부터의 지시에 따라서 탭(2301)이 선택되면, 도 23과 같이, 경과 관찰용의 표시 화면이 표시된다. 이 때, OCTA 정면 화상의 심도 범위를, 리스트 박스(2302, 2303)에 표시된 미리 정해진 심도 범위 세트로부터 검자가 원하는 세트를 선택함으로써 변경할 수 있다. 예를 들어, 리스트 박스(2302)에서는 망막 표층이 선택되고, 또한 리스트 박스(2303)에서는 망막 심층이 선택되어 있다. 상측의 표시 영역에는 망막 표층의 OCTA 정면 화상의 해석 결과가 표시되고, 또한 하측의 표시 영역에는 망막 심층의 OCTA 정면 화상의 해석 결과가 표시되어 있다. 심도 범위가 선택되면, 다른 일시의 복수의 화상에 대하여, 선택된 심도 범위의 복수의 OCTA 정면 화상의 해석 결과의 병렬 표시로 일괄하여 변경된다.
이 때, 해석 결과의 표시를 비선택 상태로 하면, 다른 일시의 복수의 OCTA 정면 화상의 병렬 표시로 일괄하여 변경되어도 된다. 그리고, 검자로부터의 지시에 따라서 버튼(2220)이 지정되면, 복수의 OCTA 정면 화상의 표시가 복수의 고화질 화상의 표시에 일괄하여 변경된다.
또한, 해석 결과의 표시가 선택 상태인 경우에는, 검자로부터의 지시에 따라서 버튼(2220)이 지정되면, 복수의 OCTA 정면 화상의 해석 결과의 표시가 복수의 고화질 화상의 해석 결과의 표시에 일괄하여 변경된다. 여기서, 해석 결과의 표시는, 해석 결과를 임의의 투명도에 의해 화상에 중첩 표시시킨 것이어도 된다. 이 때, 화상의 표시로부터 해석 결과의 표시로의 변경은, 예를 들어 표시되어 있는 화상에 대하여 임의의 투명도에 의해 해석 결과를 중첩시킨 상태로 변경한 것이어도 된다. 또한, 화상의 표시로부터 해석 결과의 표시로의 변경은, 예를 들어 해석 결과와 화상을 임의의 투명도에 의해 블렌드 처리하여 얻은 화상(예를 들어, 이차원 맵)의 표시로의 변경이어도 된다.
또한, 심도 범위의 지정에 사용하는 층 경계의 종류와 오프셋 위치를 각각, 유저 인터페이스(2305, 2306)로부터 일괄하여 변경할 수 있다. 또한, 층 경계의 종류나 오프셋 위치를 변경하기 위한 유저 인터페이스(2305, 2306)는 일례이며, 다른 임의의 양태의 인터페이스를 사용해도 된다. 또한, 단층 화상도 함께 표시시키고, 단층 화상 상에 중첩된 층 경계 데이터를 검자로부터의 지시에 따라서 이동시킴으로써, 다른 일시의 복수의 OCTA 정면 화상의 심도 범위를 일괄하여 변경해도 된다. 이 때, 다른 일시의 복수의 단층 화상을 배열하여 표시하고, 하나의 단층 화상 상에서 상기 이동이 행해지면, 다른 단층 화상 상에서도 마찬가지로 층 경계 데이터가 이동되어도 된다.
또한, 화상 투영법이나 프로젝션 아티팩트 억제 처리의 유무를, 예를 들어 컨텍스트 메뉴와 같은 유저 인터페이스로부터 선택함으로써 변경해도 된다.
또한, 선택 버튼(2307)을 선택하여 도시하지 않은 선택 화면을 표시시키고, 해당 선택 화면 상에 표시된 화상 리스트로부터 선택된 화상이 표시되어도 된다. 또한, 도 23의 상부에 표시되어 있는 화살표 2304는 현재 선택되어 있는 검사인 것을 나타내는 표시이며, 기준 검사(Baseline)는 Follow-up 촬영 시에 선택한 검사(도 23의 제일 좌측의 화상)이다. 물론, 기준 검사를 나타내는 마크를 표시부에 표시시켜도 된다.
또한, 「Show Difference」 체크 박스(2308)가 지정된 경우에는, 기준 화상 상에 기준 화상에 대한 계측값 분포(맵 혹은 섹터 맵)를 표시한다. 또한, 이 경우에는, 그 이외의 검사일에 대응하는 영역에, 기준 화상에 대하여 산출한 계측값 분포와 당해 영역에 표시되는 화상에 대하여 산출한 계측값 분포의 차분 계측값 맵을 표시한다. 계측 결과로서는, 리포트 화면 상에 트렌드 그래프(경시 변화 계측에 의해 얻어진 각 검사일의 화상에 대한 계측값의 그래프)를 표시시켜도 된다. 즉, 다른 일시의 복수의 화상에 대응하는 복수의 해석 결과의 시계열 데이터(예를 들어, 시계열 그래프)가 표시되어도 된다. 이 때, 표시되어 있는 복수의 화상에 대응하는 복수의 일시 이외의 일시에 관한 해석 결과에 대해서도, 표시되어 있는 복수의 화상에 대응하는 복수의 해석 결과라고 판별 가능한 상태에서(예를 들어, 시계열 그래프 상의 각 점의 색이 화상의 표시의 유무에서 다른) 시계열 데이터로서 표시시켜도 된다. 또한, 해당 트렌드 그래프의 회귀 직선(곡선)이나 대응하는 수식을 리포트 화면에 표시시켜도 된다.
본 실시예에서는, OCTA 정면 화상에 대하여 설명을 행하였지만, 본 실시예에 관한 처리가 적용되는 화상은 이에 한정되지 않는다. 본 실시예에 관한 표시, 고화질화, 및 화상 해석 등의 처리에 관한 화상은, 휘도의 En-Face 화상이어도 된다. 나아가, En-Face 화상뿐만 아니라, B-스캔에 의한 단층 화상, SLO 화상, 안저 화상, 또는 형광 안저 화상 등, 다른 화상이어도 된다. 그 경우, 고화질화 처리를 실행하기 위한 유저 인터페이스는, 종류가 다른 복수의 화상에 대하여 고화질화 처리의 실행을 지시하는 것, 종류가 다른 복수의 화상으로부터 임의의 화상을 선택하여 고화질화 처리의 실행을 지시하는 것이 있어도 된다.
예를 들어, B-스캔에 의한 단층 화상을 고화질화하여 표시하는 경우에는, 도 22a에 나타내는 단층 화상 Im2211, Im2212를 고화질화하여 표시해도 된다. 또한, OCTA 정면 화상 Im2207, Im2208이 표시되어 있는 영역에 고화질화된 단층 화상이 표시되어도 된다. 또한, 고화질화되어 표시되는 단층 화상은, 하나만 표시되어도 되고, 복수 표시되어도 된다. 복수의 단층 화상이 표시되는 경우에는, 각각 다른 부 주사 방향의 위치에서 취득된 단층 화상이 표시되어도 되고, 예를 들어 크로스 스캔 등에 의해 얻어진 복수의 단층 화상을 고화질화하여 표시하는 경우에는, 다른 주사 방향의 화상이 각각 표시되어도 된다. 또한, 예를 들어 레이디얼 스캔 등에 의해 얻어진 복수의 단층 화상을 고화질화하여 표시하는 경우에는, 일부 선택된 복수의 단층 화상(예를 들어 기준 라인에 대하여 서로 대칭인 위치에 2개의 단층 화상)이 각각 표시되어도 된다. 또한, 도 23에 나타낸 바와 같은 경과 관찰용의 표시 화면에 복수의 단층 화상을 표시하고, 상술한 방법과 마찬가지의 방법에 의해 고화질화의 지시나 해석 결과(예를 들어, 특정한 층의 두께 등)의 표시가 행해져도 된다. 또한, 상술한 방법과 마찬가지의 방법에 의해 데이터베이스에 보존되어 있는 정보에 기초하여 단층 화상에 고화질화 처리를 실행해도 된다.
마찬가지로, SLO 화상을 고화질화하여 표시하는 경우에는, 예를 들어 SLO 화상 Im2205를 고화질화하여 표시해도 된다. 또한, 휘도의 En-Face 화상을 고화질화하여 표시하는 경우에는, 예를 들어 휘도의 En-Face 화상(2209)을 고화질화하여 표시해도 된다. 또한, 도 23에 나타낸 바와 같은 경과 관찰용의 표시 화면에 복수의 SLO 화상이나 휘도의 En-Face 화상을 표시하고, 상술한 방법과 마찬가지의 방법에 의해 고화질화의 지시나 해석 결과(예를 들어, 특정한 층의 두께 등)의 표시가 행해져도 된다. 또한, 상술한 방법과 마찬가지의 방법에 의해 데이터베이스에 보존되어 있는 정보에 기초하여 SLO 화상이나 휘도의 En-Face 화상에 고화질화 처리를 실행해도 된다. 또한, 단층 화상, SLO 화상 및 휘도의 En-Face 화상의 표시는 예시이며, 이들 화상은 원하는 구성에 따라서 임의의 양태로 표시되면 된다. 또한, OCTA 정면 화상, 단층 화상, SLO 화상 및 휘도의 En-Face 화상 중 적어도 2개 이상이, 한번의 지시로 고화질화되어 표시되어도 된다.
이와 같은 구성에 의해, 본 실시예에 관한 제1 처리부(822)가 고화질화 처리한 화상을 표시 제어부(25)가 표시부(50)에 표시할 수 있다. 이 때, 상술한 바와 같이, 고화질 화상의 표시, 해석 결과의 표시, 및 표시되는 정면 화상의 심도 범위 등에 관한 복수의 조건 중 적어도 하나가 선택된 상태인 경우에는, 표시 화면이 천이되어도, 선택된 상태가 유지되어도 된다.
또한, 상술한 바와 같이, 복수의 조건 중 적어도 하나가 선택된 상태인 경우에는, 다른 조건이 선택된 상태로 변경되어도, 해당 적어도 하나가 선택된 상태가 유지되어도 된다. 예를 들어, 표시 제어부(25)는, 해석 결과의 표시가 선택 상태인 경우에, 검자로부터의 지시에 따라서(예를 들어, 버튼(2220)이 지정되면), 저화질 화상의 해석 결과의 표시를 고화질 화상의 해석 결과의 표시로 변경해도 된다. 또한, 표시 제어부(25)는, 해석 결과의 표시가 선택 상태인 경우에, 검자로부터의 지시에 따라서(예를 들어, 버튼(2220)의 지정이 해제되면), 고화질 화상의 해석 결과의 표시를 저화질 화상의 해석 결과의 표시로 변경해도 된다.
또한, 표시 제어부(25)는, 고화질 화상의 표시가 비선택 상태인 경우에, 검자로부터의 지시에 따라서(예를 들어, 해석 결과의 표시 지정이 해제되면), 저화질 화상의 해석 결과의 표시를 저화질 화상의 표시로 변경해도 된다. 또한, 표시 제어부(25)는, 고화질 화상의 표시가 비선택 상태인 경우에, 검자로부터의 지시에 따라서(예를 들어, 해석 결과의 표시가 지정되면), 저화질 화상의 표시를 저화질 화상의 해석 결과의 표시로 변경해도 된다. 또한, 표시 제어부(25)는, 고화질 화상의 표시가 선택 상태인 경우에, 검자로부터의 지시에 따라서(예를 들어, 해석 결과의 표시 지정이 해제되면), 고화질 화상의 해석 결과의 표시를 고화질 화상의 표시로 변경해도 된다. 또한, 표시 제어부(25)는, 고화질 화상의 표시가 선택 상태인 경우에, 검자로부터의 지시에 따라서(예를 들어, 해석 결과의 표시가 지정되면), 고화질 화상의 표시를 고화질 화상의 해석 결과의 표시로 변경해도 된다.
또한, 고화질 화상의 표시가 비선택 상태에서 또한 제1 종류의 해석 결과의 표시가 선택 상태인 경우를 생각한다. 이 경우에는, 표시 제어부(25)는, 검자로부터의 지시에 따라서(예를 들어, 제2 종류의 해석 결과의 표시가 지정되면), 저화질 화상의 제1 종류의 해석 결과의 표시를 저화질 화상의 제2 종류의 해석 결과의 표시로 변경해도 된다. 또한, 고화질 화상의 표시가 선택 상태에서 또한 제1 종류의 해석 결과의 표시가 선택 상태인 경우를 생각한다. 이 경우에는, 표시 제어부(25)는, 검자로부터의 지시에 따라서(예를 들어, 제2 종류의 해석 결과의 표시가 지정되면), 고화질 화상의 제1 종류의 해석 결과의 표시를 고화질 화상의 제2 종류의 해석 결과의 표시로 변경해도 된다.
또한, 경과 관찰용의 표시 화면에 있어서는, 상술한 바와 같이, 이들 표시의 변경이, 다른 일시에서 얻은 복수의 화상에 대하여 일괄적으로 반영되도록 구성해도 된다. 여기서, 해석 결과의 표시는, 해석 결과를 임의의 투명도에 의해 화상에 중첩 표시시킨 것이어도 된다. 이 때, 해석 결과의 표시로의 변경은, 예를 들어 표시되어 있는 화상에 대하여 임의의 투명도에 의해 해석 결과를 중첩시킨 상태로 변경한 것이어도 된다. 또한, 해석 결과의 표시로의 변경은, 예를 들어 해석 결과와 화상을 임의의 투명도에 의해 블렌드 처리하여 얻은 화상(예를 들어, 이차원 맵)의 표시로의 변경이어도 된다.
또한, 본 실시예에서는, 제1 처리부(822)가 고화질화 처리에 관한 학습 완료 모델(고화질화 모델)을 사용하여 단층 화상의 화질을 개선한 고화질 화상을 생성하였다. 그러나, 고화질화 모델을 사용하여 고화질 화상을 생성하는 구성 요소는 제1 처리부(822)에 한정되지 않는다. 예를 들어, 제1 처리부(822)와는 다른 제3 처리부(고화질화부)를 마련하고, 제3 처리부가 고화질화 모델을 사용하여 고화질 화상을 생성해도 된다. 이 경우, 제3 처리부나 고화질화 모델은, CPU나 MPU, GPU, FPGA 등의 프로세서에 의해 실행되는 소프트웨어 모듈 등으로 구성되어도 되고, ASIC 등의 특정한 기능을 행하는 회로 등으로 구성되어도 된다.
(실시예 6 및 7의 변형예)
실시예 6 및 7에 있어서, 표시 제어부(25)는, 제1 처리부(822)에 의해 생성된 고화질 화상과 입력 화상 중, 검자로부터의 지시에 따라서 선택된 화상을 표시부(50)에 표시시킬 수 있다. 또한, 표시 제어부(25)는, 검자로부터의 지시에 따라서, 표시부(50) 상의 표시를 촬영 화상(입력 화상)으로부터 고화질 화상으로 전환해도 된다. 즉, 표시 제어부(25)는, 검자로부터의 지시에 따라서, 저화질 화상의 표시를 고화질 화상의 표시로 변경해도 된다. 또한, 표시 제어부(25)는, 검자로부터의 지시에 따라서, 고화질 화상의 표시를 저화질 화상의 표시로 변경해도 된다.
또한, 제1 처리부(822)가, 고화질화 엔진(고화질화 모델)에 의한 고화질화 처리의 개시(고화질화 엔진에의 화상의 입력)를 검자로부터의 지시에 따라서 실행하고, 표시 제어부(25)가, 생성된 고화질 화상을 표시부(50)에 표시시켜도 된다. 이에 대하여, 촬영 장치(OCT 장치(10))에 의해 입력 화상이 촬영되면, 제1 처리부(822)가 자동적으로 고화질화 엔진을 사용하여 입력 화상에 기초하여 고화질 화상을 생성하고, 표시 제어부(25)가, 검자로부터의 지시에 따라서 고화질 화상을 표시부(50)에 표시시켜도 된다. 여기서, 고화질화 엔진이란, 상술한 화질 향상 처리(고화질화 처리)를 행하는 학습 완료 모델을 포함한다.
또한, 이들 처리는 해석 결과의 출력에 대해서도 마찬가지로 행할 수 있다. 즉, 표시 제어부(25)는, 검자로부터의 지시에 따라서, 저화질 화상의 해석 결과의 표시를 고화질 화상의 해석 결과의 표시로 변경해도 된다. 또한, 표시 제어부(25)는, 검자로부터의 지시에 따라서, 고화질 화상의 해석 결과의 표시를 저화질 화상의 해석 결과의 표시로 변경해도 된다. 또한, 표시 제어부(25)는, 검자로부터의 지시에 따라서, 저화질 화상의 해석 결과의 표시를 저화질 화상의 표시로 변경해도 된다. 또한, 표시 제어부(25)는, 검자로부터의 지시에 따라서, 저화질 화상의 표시를 저화질 화상의 해석 결과의 표시로 변경해도 된다. 또한, 표시 제어부(25)는, 검자로부터의 지시에 따라서, 고화질 화상의 해석 결과의 표시를 고화질 화상의 표시로 변경해도 된다. 또한, 표시 제어부(25)는, 검자로부터의 지시에 따라서, 고화질 화상의 표시를 고화질 화상의 해석 결과의 표시로 변경해도 된다.
또한, 표시 제어부(25)는, 검자로부터의 지시에 따라서, 저화질 화상의 해석 결과의 표시를 저화질 화상의 다른 종류의 해석 결과의 표시로 변경해도 된다. 또한, 표시 제어부(25)는, 검자로부터의 지시에 따라서, 고화질 화상의 해석 결과의 표시를 고화질 화상의 다른 종류의 해석 결과의 표시로 변경해도 된다.
여기서, 고화질 화상의 해석 결과의 표시는, 고화질 화상의 해석 결과를 임의의 투명도에 의해 고화질 화상에 중첩 표시시킨 것이어도 된다. 또한, 저화질 화상의 해석 결과의 표시는, 저화질 화상의 해석 결과를 임의의 투명도에 의해 저화질 화상에 중첩 표시시킨 것이어도 된다. 이 때, 해석 결과의 표시로의 변경은, 예를 들어 표시되어 있는 화상에 대하여 임의의 투명도에 의해 해석 결과를 중첩시킨 상태로 변경한 것이어도 된다. 또한, 해석 결과의 표시로의 변경은, 예를 들어 해석 결과와 화상을 임의의 투명도에 의해 블렌드 처리하여 얻은 화상(예를 들어, 이차원 맵)의 표시로의 변경이어도 된다.
또한, 본 변형예에서는, 제1 처리부(822)가 고화질화 처리에 관한 학습 완료 모델(고화질화 모델)을 사용하여 단층 화상의 화질을 개선한 고화질 화상을 생성하였다. 그러나, 고화질화 모델을 사용하여 고화질 화상을 생성하는 구성 요소는 제1 처리부(822)에 한정되지 않는다. 예를 들어, 제1 처리부(822)와는 다른 제3 처리부를 마련하고, 제3 처리부가 고화질화 모델을 사용하여 고화질 화상을 생성해도 된다. 이 경우, 제3 처리부나 고화질화 모델은, CPU나 MPU, GPU, FPGA 등의 프로세서에 의해 실행되는 소프트웨어 모듈 등으로 구성되어도 되고, ASIC 등의 특정한 기능을 행하는 회로 등으로 구성되어도 된다.
또한, 실시예 7에서는, 표시 화면의 버튼(2220)의 액티브 상태에 따라서, 고화질화 모델을 사용한 고화질화 처리가 행해진 화상이 표시되었다. 이에 비하여, 버튼(2220)의 액티브 상태에 따라서, 학습 완료 모델을 사용한 화상 세그멘테이션 처리의 결과를 사용한 해석값이 표시되도록 구성해도 된다. 이 경우, 예를 들어 버튼(2220)이 비액티브 상태(학습 완료 모델을 사용한 화상 세그멘테이션 처리가 비선택 상태)인 경우에는, 표시 제어부(25)는, 제2 처리부(823)가 행한 화상 세그멘테이션 처리의 결과를 사용한 해석 결과를 표시부(50)에 표시시킨다. 이에 비하여, 버튼(2220)이 액티브 상태가 되면, 표시 제어부(25)는, 제1 처리부(822)가 단독으로 또는 제1 처리부(822) 및 제2 처리부(823)가 행한 화상 세그멘테이션 처리의 결과를 사용한 해석 결과를 표시부(50)에 표시시킨다.
이와 같은 구성에서는, 학습 완료 모델을 사용하지 않는 화상 세그멘테이션 처리의 결과를 사용한 해석 결과와, 학습 완료 모델을 사용한 화상 세그멘테이션 처리의 결과를 사용한 해석 결과가, 버튼의 액티브 상태에 따라서 전환하여 표시된다. 이들 해석 결과는, 각각 학습 완료 모델에 의한 처리와 룰베이스에 의한 화상 처리의 결과에 기초하기 때문에, 양쪽 결과에는 차이가 발생하는 경우가 있다. 그 때문에, 이들 해석 결과를 전환하여 표시시킴으로써, 검자는 양자를 대비하여, 보다 납득할 수 있는 해석 결과를 진단에 사용할 수 있다.
또한, 화상 세그멘테이션 처리가 전환되었을 때에는, 예를 들어 표시되는 화상이 단층 화상인 경우에는, 층마다 해석된 층 두께의 수치가 전환되어 표시되면 된다. 또한, 예를 들어 층마다 색이나 해칭 패턴 등으로 나뉜 단층 화상이 표시되는 경우에는, 화상 세그멘테이션 처리의 결과에 따라서 층의 형상이 변화된 단층 화상이 전환되어 표시되면 된다. 또한, 해석 결과로서 두께 맵이 표시되는 경우에는, 두께를 나타내는 색이 화상 세그멘테이션 처리의 결과에 따라서 변화된 두께 맵이 표시되면 된다. 또한, 고화질화 처리를 지정하는 버튼과 학습 완료 모델을 사용한 화상 세그멘테이션 처리를 지정하는 버튼은 따로따로 마련되어도 되고, 어느 한쪽만 마련되어도 되고, 양쪽의 버튼을 하나의 버튼으로서 마련해도 된다.
또한, 화상 세그멘테이션 처리의 전환은, 상술한 고화질화 처리의 전환과 마찬가지로, 데이터베이스에 보존(기록)되어 있는 정보에 기초하여 행해져도 된다. 또한, 화면 천이 시에 처리에 대해서도, 화상 세그멘테이션 처리의 전환은, 상술한 고화질화 처리의 전환과 마찬가지로 행해져도 된다.
실시예 1 내지 7에서는, 취득부(21)는, OCT 장치(10)에서 취득된 간섭 신호나 단층 화상 생성부(221)에서 생성된 삼차원 단층 데이터를 취득하였다. 그러나, 취득부(21)가 이들 신호나 데이터를 취득하는 구성은 이것에 한정되지 않는다. 예를 들어, 취득부(21)는, 화상 처리 장치(20)와 LAN, WAN, 또는 인터넷 등을 통해 접속되는 서버나 촬영 장치로부터 이들 신호를 취득해도 된다. 이 경우, 촬영에 관한 처리를 생략하고, 촬영 완료의 삼차원의 단층 데이터를 취득할 수 있다. 그리고, 스텝 S304나 스텝 S904 등에서 경계 검출 처리를 행할 수 있다. 그 때문에, 단층 정보의 취득으로부터 정면 화상이나 두께 맵 등의 표시까지의 일련의 처리 시간을 짧게 할 수 있다.
또한, 처리부(222) 및 제1 처리부(822)가 사용하는 화상 세그멘테이션용의 학습 완료 모델이나 고화질화용의 학습 완료 모델은, 화상 처리 장치(20, 80, 152)에 마련될 수 있다. 학습 완료 모델은, 예를 들어 CPU나, MPU, GPU, FPGA 등의 프로세서에 의해 실행되는 소프트웨어 모듈 등으로 구성되어도 되고, ASIC 등의 특정한 기능을 행하는 회로 등으로 구성되어도 된다. 또한, 이들 학습 완료 모델은, 화상 처리 장치(20, 80, 152)와 접속되는 다른 서버의 장치 등에 마련되어도 된다. 이 경우에는, 화상 처리 장치(20, 80, 152)는, 인터넷 등의 임의의 네트워크를 통해 학습 완료 모델을 구비하는 서버 등에 접속함으로써, 학습 완료 모델을 사용할 수 있다. 여기서, 학습 완료 모델을 구비하는 서버는, 예를 들어 클라우드 서버나, 포그 서버, 에지 서버 등이면 된다.
또한, 실시예 2 내지 7에서는, 라벨 화상으로서 화소마다 라벨 부여된 라벨 화상에 대하여 설명하였지만, 라벨 화상으로서 영역마다 라벨 부여된 라벨 화상을 사용해도 된다.
또한, OCT 장치(10)의 구성은 상기 구성에 한정되지 않고, OCT 장치(10)에 포함되는 구성의 일부를 OCT 장치(10)와 별체의 구성으로 해도 된다. 또한, 버튼 등의 유저 인터페이스나 표시의 레이아웃은 상기에서 나타낸 것에 한정되는 것은 아니다.
상술한 실시예 1 내지 7 및 그 변형예에 의하면, 질환이나 부위 등에 구애받지 않고 망막층의 경계의 검출을 행할 수 있다.
(실시예 8)
의료 분야에 있어서는, 피검자의 질환을 특정하거나, 질환의 정도를 관찰하거나 하기 위해서, 각종 촬영 장치에 의해 취득된 화상을 이용한 화상 진단이 실시되고 있다. 촬영 장치의 종류에는, 예를 들어 방사선과 분야에서는, X선 촬영 장치, X선 컴퓨터 단층 촬영 장치(CT), 자기 공명 이미징 장치(MRI) 및 양전자 방출 단층 촬영 장치(PET) 등이 있다. 또한, 예를 들어 안과 분야에서는, 안저 카메라, 주사형 레이저 검안경(SLO), 광 코히어런스 토모그래피(OCT) 장치 및 OCT 안지오그래피(OCTA) 장치 등이 있다.
화상 진단은, 기본적으로는 의료 종사자가 화상에 묘출된 병변 등을 관찰함으로써 실제 실시되지만, 근년에는 화상 해석 기술의 향상에 의해 진단에 도움이 되는 각종 정보가 얻어지게 되었다. 예를 들어, 화상 해석을 함으로써, 간과할 가능성이 있는 작은 병변을 검출하여 의료 종사자를 지원하거나, 병변의 형상이나 체적에 대하여 정량적인 계측을 행하거나, 나아가 의료 종사자의 관찰없이 질환을 특정하거나 할 수 있게 되었다.
또한, 화상 해석의 방법에는 다양한 것이 있지만, 화상 세그멘테이션 처리라고 불리는, 화상에 묘출된 장기나 병변과 같은 영역을 특정하기 위한 처리는, 많은 화상 해석의 방법을 실시할 때에 필요해지는 처리이다. 이하에 있어서, 간략화를 위해서 화상 세그멘테이션 처리를 간단히 세그멘테이션 처리라고도 한다.
종래의 화상 세그멘테이션 처리는, 특허문헌 1과 같이, 대상의 장기나 병변에 관한 의학적 지식이나 화상 특성에 기초한 화상 처리 알고리즘에 의해 실시된다. 그러나, 실제의 의료 현장에 있어서, 촬영 장치로부터 취득되는 화상은, 피검자의 병태나 촬영 장치의 촬영 환경, 촬영자의 기술 부족 등의, 각종 요인에 의해 깔끔하게 촬영할 수 없는 경우가 있다. 그 때문에, 종래의 화상 세그멘테이션 처리에 있어서, 대상의 장기나 병변이 상정대로 묘출되어 있지 않아, 고정밀도로 특정한 영역을 추출할 수 없는 경우가 있었다.
구체적으로는, 예를 들어 망막층의 소실, 출혈, 백반 및 신생 혈관의 발생 등의 어느 질환 눈을 OCT 장치로 촬영하여 취득된 화상에서는, 망막층의 형상의 묘출이 불규칙해지는 경우가 있었다. 이러한 경우에는, 화상 세그멘테이션 처리의 일종인 망막층의 영역 검출 처리에 있어서, 오검출이 발생하는 경우가 있었다.
하기 실시예 8 내지 19의 목적의 하나는, 종래의 화상 세그멘테이션 처리보다도 정밀도가 높은 화상 세그멘테이션 처리를 실시할 수 있는 의료용 화상 처리 장치, 의료용 화상 처리 방법 및 프로그램을 제공하는 것이다.
<용어의 설명>
여기서, 본 개시에 있어서 사용되는 용어에 대하여 설명한다.
본 명세서에 있어서의 네트워크에서는, 각 장치는 유선 또는 무선 회선으로 접속되어도 된다. 여기서, 네트워크에 있어서의 각 장치를 접속하는 회선은, 예를 들어 전용 회선, 로컬 에어리어 네트워크(이하, LAN이라 표기) 회선, 무선 LAN 회선, 인터넷 회선, Wi-Fi(등록 상표) 및 Bluetooth(등록 상표) 등을 포함한다.
의료용 화상 처리 장치는, 서로 통신이 가능한 2 이상의 장치에 의해 구성되어도 되고, 단일의 장치에 의해 구성되어도 된다. 또한, 의료용 화상 처리 장치의 각 구성 요소는, CPU나 MPU, GPU, FPGA 등의 프로세서에 의해 실행되는 소프트웨어 모듈에 의해 구성되어도 된다. 또한, 당해 각 구성 요소는, ASIC 등의 특정한 기능을 행하는 회로 등으로 구성되어도 된다. 또한, 기타의 임의 하드웨어와 임의 소프트웨어의 조합에 의해 구성되어도 된다.
또한, 의료용 화상 처리 장치 또는 의료용 화상 처리 방법에 의해 처리되는 의료용 화상은, OCT 장치를 사용하여 취득된 피검자의 단층 화상이다. 여기서, OCT 장치로서는, 타임 도메인 OCT(TD-OCT) 장치나 푸리에 도메인 OCT(FD-OCT) 장치를 포함해도 된다. 또한, 푸리에 도메인 OCT 장치는 스펙트럴 도메인 OCT(SD-OCT) 장치나 파장 소인형 OCT(SS-OCT) 장치를 포함해도 된다. 또한, OCT 장치로서, 파면 보상 광학계를 사용한 파면 보상 OCT(AO-OCT) 장치나, 피검자에게 조사되는 측정광을 라인 형상으로 형성한 라인 OCT 장치, 당해 측정광을 면 형상으로 형성한 풀 필드 OCT 장치 등의 임의의 OCT 장치를 포함해도 된다.
의료용 화상에는, 피검자의 눈(피검안)의 단층 화상이 포함된다. 피검안의 단층 화상으로서는, 피검안의 후안부에 있어서의 망막 등의 단층 화상에 한정되지 않고, 피검안의 전안부나 안방 등의 단층 화상이 포함된다. 또한, OCT 장치를 내시경 등에 사용하는 경우에는, 피검자의 피부나 장기의 단층 화상을 이하의 실시예에 의한 의료용 화상 처리 장치 또는 의료용 화상 처리 방법의 처리 대상이 되는 의료용 화상으로 해도 된다.
화상 관리 시스템은, OCT 장치 등의 촬영 장치에 의해 촬영된 화상이나 화상 처리된 화상을 수신하여 보존하는 장치 및 시스템이다. 또한, 화상 관리 시스템은, 접속된 장치의 요구에 따라서 화상을 송신하거나, 보존된 화상에 대하여 화상 처리를 행하거나, 화상 처리의 요구를 다른 장치에 요구하거나 할 수 있다. 화상 관리 시스템으로서는, 예를 들어 화상 보존 통신 시스템(PACS)을 포함할 수 있다. 특히, 하기 실시예에 관한 화상 관리 시스템은, 수신한 화상과 함께 관련지어진 피검자의 정보나 촬영 시간 등의 각종 정보도 보존 가능한 데이터베이스를 구비한다. 또한, 화상 관리 시스템은 네트워크에 접속되고, 기타 장치로부터의 요구에 따라서, 화상을 송수신하거나, 화상을 변환하거나, 보존한 화상에 관련지어진 각종 정보를 송수신하거나 할 수 있다.
촬영 조건이란, 촬영 장치에 의해 취득된 화상의 촬영 시의 다양한 정보이다. 촬영 조건은, 예를 들어 촬영 장치에 관한 정보, 촬영이 실시된 시설에 관한 정보, 촬영에 관한 검사의 정보, 촬영자에 관한 정보 및 피검자에 관한 정보 등을 포함한다. 또한, 촬영 조건은, 예를 들어 촬영 일시, 촬영 부위명, 촬영 영역, 촬영 화각, 촬영 방식, 화상의 해상도나 계조, 화상 사이즈, 적용된 화상 필터 및 화상의 데이터 형식에 관한 정보 등을 포함한다. 또한, 촬영 영역에는, 특정한 촬영 부위로부터 벗어난 주변의 영역이나 복수의 촬영 부위를 포함한 영역 등이 포함될 수 있다. 또한, 촬영 방식은, 스펙트럴 도메인 방식이나 파장 소인 방식 등의 OCT의 임의의 촬영 방식을 포함해도 된다.
촬영 조건은, 화상을 구성하는 데이터 구조 중에 보존되어 있거나, 화상과는 다른 촬영 조건 데이터로서 보존되어 있거나, 촬영 장치에 관련되는 데이터베이스나 화상 관리 시스템에 보존되거나 할 수 있다. 그 때문에, 촬영 조건은 촬영 장치의 촬영 조건의 보존 수단에 대응한 수순에 의해 취득할 수 있다. 구체적으로는, 촬영 조건은, 예를 들어 촬영 장치가 출력한 화상의 데이터 구조를 해석하거나, 화상에 대응하는 촬영 조건 데이터를 취득하거나, 촬영 장치에 관련되는 데이터베이스로부터 촬영 조건을 취득하기 위한 인터페이스에 액세스하는 등에 의해 취득된다.
또한, 촬영 장치에 따라서는, 보존되어 있지 않는다는 등의 이유로 취득할 수 없는 촬영 조건도 존재한다. 예를 들어, 촬영 장치에 특정한 촬영 조건을 취득하거나 보존하거나 하는 기능이 없거나, 또는 그러한 기능이 무효로 되어 있는 경우이다. 또한, 예를 들어 촬영 장치나 촬영에 관계가 없는 촬영 조건이라고 하여 보존하지 않게 되어 있는 경우도 있다. 또한, 예를 들어 촬영 조건이 은폐되어 있거나, 암호화되어 있거나, 권리가 없으면 취득할 수 없게 되어 있거나 하는 경우 등도 있다. 단, 보존되어 있지 않는 촬영 조건이라도 취득할 수 있는 경우가 있다. 예를 들어, 화상 해석을 실시함으로써, 촬영 부위명이나 촬영 영역을 특정할 수 있다.
영역 라벨 화상이란, 화소마다 영역의 라벨이 부여된 라벨 화상을 말한다. 구체적으로는, 도 24에 나타내는 바와 같이, 촬영 장치에 의해 취득된 화상 Im2410에 묘출되어 있는 영역군 중, 임의의 영역을 특정 가능한 화소값(이하, 영역 라벨값)군에 의해 나누고 있는 화상 Im2420을 말한다. 여기서, 특정되는 임의의 영역에는 관심 영역(ROI: Region Of Interest)이나 관심 체적(VOI: Volume Of Interest) 등이 포함된다.
화상 Im2420으로부터 임의의 영역 라벨값을 갖는 화소의 좌표군을 특정하면, 화상 Im2410 중에 있어서 대응하는 망막층 등의 영역을 묘출하고 있는 화소의 좌표군을 특정할 수 있다. 구체적으로는, 예를 들어 망막을 구성하는 신경절 세포층을 나타내는 영역 라벨값이 1인 경우, 화상 Im2420의 화소군 중 화소값이 1인 좌표군을 특정하고, 화상 Im2410으로부터 해당 좌표군에 대응하는 화소군을 추출한다. 이에 의해, 화상 Im2410에 있어서의 신경절 세포층의 영역을 특정할 수 있다.
또한, 일부의 실시예에 있어서, 영역 라벨 화상에 대한 축소 또는 확대 처리를 실시하는 처리가 포함된다. 이 때, 영역 라벨 화상의 축소 또는 확대에 사용하는 화상 보완 처리 방법은, 미정의된 영역 라벨값이나 대응하는 좌표에 존재하지 않아야 할 영역 라벨값을 잘못 생성하지 않는, 최근 방법 등을 사용하는 것으로 한다.
화상 세그멘테이션 처리란, 화상에 묘출된 장기나 병변과 같은, ROI나 VOI라고 불리는 영역을, 화상 진단이나 화상 해석에 이용하기 위해 특정하는 처리이다. 예를 들어, 화상 세그멘테이션 처리에 의하면, 후안부를 촬영 대상으로 한 OCT의 촬영에 의해 취득된 화상으로부터, 망막을 구성하는 층군의 영역군을 특정할 수 있다. 또한, 화상에 특정해야 할 영역이 묘출되어 있지 않으면 특정되는 영역의 수는 0이다. 또한, 화상에 특정해야 할 복수의 영역군이 묘출되어 있으면, 특정되는 영역의 수는 복수여도 되고, 혹은 해당 영역군을 포함하도록 둘러싸는 영역 하나여도 된다.
특정된 영역군은, 기타 처리에 있어서 이용 가능한 정보로서 출력된다. 구체적으로는, 예를 들어 특정된 영역군의 각각을 구성하는 화소군의 좌표군을 수치 데이터군으로서 출력할 수 있다. 또한, 예를 들어 특정된 영역군의 각각을 포함하는 직사각형 영역이나 타원 영역, 직육면체 영역, 타원체 영역 등을 나타내는 좌표군을 수치 데이터군으로서 출력할 수도 있다. 또한, 예를 들어 특정된 영역군의 경계에 해당하는 직선이나 곡선, 평면, 또는 곡면 등을 나타내는 좌표군을 수치 데이터군으로서 출력할 수도 있다. 또한, 예를 들어 특정된 영역군을 나타내는 영역 라벨 화상을 출력할 수도 있다.
또한, 이하에 있어서, 화상 세그멘테이션 처리의 정밀도가 높다고 표현하거나, 정밀도가 높은 영역 라벨 화상이라고 표현하거나 하는 경우에는, 영역을 정확하게 특정할 수 있는 비율이 높은 것을 가리킨다. 또한, 반대로, 화상 세그멘테이션 처리의 정밀도가 낮다고 표현하는 경우에는, 영역을 잘못 특정하는 비율이 높은 것을 가리킨다.
영역 라벨 없는 화상이란, 영역 라벨 화상의 일종이며, 화상 진단이나 화상 해석에 이용하기 위한 ROI나 VOI에 대응하는 정보가 포함되어 있지 않는 영역 라벨 화상이다. 구체적으로 일례로서, 화상 해석에 이용하기 위해 의료용 화상에 묘출된 망막을 구성하는 신경절 세포층의 영역을 알고 싶은 경우를 설명한다.
여기서, 신경절 세포층의 영역을 나타내는 영역 라벨값은 1이며, 그 이외의 부분의 영역을 나타내는 영역 라벨값은 0이라고 하자. 어떤 의료용 화상에 대응하는 영역 라벨 화상을, 화상 세그멘테이션 처리 등에 의해 생성하였을 때, 의료용 화상에 신경절 세포층이 묘출되어 있지 않는 경우, 영역 라벨 화상의 모든 화소값은 0이 된다. 이 경우, 당해 영역 라벨 화상은, 화상 해석에 이용하기 위한 신경절 세포층의 ROI에 대응하는 영역 라벨값 1인 영역이 영역 라벨 화상에 없기 때문에, 영역 라벨 없는 화상이다. 또한, 설정이나 실장 형태에 따라서는, 영역 라벨 없는 화상은, 화상이 아니고, 화상과 마찬가지의 정보를 갖는 좌표군을 나타내는 수치 데이터군 등이어도 된다.
여기서, 기계 학습 모델이란, 기계 학습 알고리즘에 의한 학습 모델을 말한다. 기계 학습의 구체적인 알고리즘으로서는, 최근 방법, 나이브베이즈법, 결정목, 서포트 벡터 머신 등을 들 수 있다. 또한, 뉴럴 네트워크를 이용하여, 학습하기 위한 특징량, 결합 가중 계수를 스스로 생성하는 심층 학습(딥 러닝)도 들 수 있다. 적절히 상기 알고리즘 중 이용할 수 있는 것을 사용하여 실시예에 관한 학습 모델에 적용할 수 있다. 학습 완료 모델이란, 임의의 기계 학습 알고리즘에 따른 기계 학습 모델에 대하여, 사전에 적절한 교사 데이터(학습 데이터)를 사용하여 트레이닝(학습)을 행한 모델이다. 단, 학습 완료 모델은, 그 이상의 학습을 행하지 않는 것은 아니고, 추가의 학습을 행할 수도 있는 것으로 한다. 교사 데이터는, 하나 이상의 입력 데이터와 출력 데이터의 페어군으로 구성된다. 또한, 교사 데이터를 구성하는 페어군의 입력 데이터와 출력 데이터의 형식이나 조합은, 한쪽이 화상이고 다른 쪽이 수치이거나, 한쪽이 복수의 화상군으로 구성되고 다른 쪽이 문자열이거나, 양쪽이 화상이거나 하는 등, 원하는 구성에 적합한 것이어도 된다.
구체적으로는, 예를 들어 OCT에 의해 취득된 화상과, 해당 화상에 대응하는 촬영 부위 라벨의 페어군에 의해 구성된 교사 데이터(이하, 제1 교사 데이터)를 들 수 있다. 또한, 촬영 부위 라벨은 부위를 나타내는 유니크한 수치나 문자열이다. 또한, 기타 교사 데이터의 예로서, 후안부를 촬영 대상으로 한 OCT의 촬영에 의해 취득된 화상과, 해당 화상에 대응하는 망막층의 영역 라벨 화상의 페어군에 의해 구성되어 있는 교사 데이터(이하, 제2 교사 데이터)를 들 수 있다. 또한, 기타 교사 데이터의 예로서, OCT의 통상 촬영에 의해 취득된 노이즈가 많은 저화질 화상과, OCT에 의해 복수회 촬영하여 고화질화 처리한 고화질 화상의 페어군에 의해 구성되어 있는 교사 데이터(이하, 제3 교사 데이터)를 들 수 있다.
학습 완료 모델에 입력 데이터를 입력하면, 해당 학습 완료 모델의 설계에 따른 출력 데이터가 출력된다. 학습 완료 모델은, 예를 들어 교사 데이터를 사용하여 트레이닝된 경향에 따라서, 입력 데이터에 대응할 가능성이 높은 출력 데이터를 출력한다. 또한, 학습 완료 모델은, 예를 들어 교사 데이터를 사용하여 트레이닝된 경향에 따라서, 출력 데이터의 종류의 각각에 대하여, 입력 데이터에 대응할 가능성을 수치로서 출력하는 등을 행할 수 있다.
구체적으로는, 예를 들어 제1 교사 데이터로부터 트레이닝된 학습 완료 모델에 OCT에 의해 취득된 화상을 입력하면, 학습 완료 모델은, 해당 화상에 촬영되어 있는 촬영 부위의 촬영 부위 라벨을 출력하거나, 촬영 부위 라벨마다의 확률을 출력하거나 한다. 또한, 예를 들어 제2 교사 데이터에 의해 트레이닝된 학습 완료 모델에 후안부를 촬영 대상으로 한 OCT의 촬영에 의해 취득된 망막층을 묘출하는 화상을 입력하면, 학습 완료 모델은, 해당 화상에 묘출된 망막층에 대한 영역 라벨 화상을 출력한다. 또한, 예를 들어 제3 교사 데이터로부터 트레이닝된 학습 완료 모델에 OCT의 통상 촬영에 의해 취득된 노이즈가 많은 저화질 화상을 입력하면, 학습 완료 모델은, OCT에 의해 복수회 촬영하여 고화질화 처리된 화상 상당의 고화질 화상을 출력한다.
기계 학습 알고리즘은, 컨벌루션 뉴럴 네트워크(CNN) 등의 딥 러닝에 관한 방법을 포함한다. 딥 러닝에 관한 방법에 있어서는, 뉴럴 네트워크를 구성하는 층군이나 노드군에 대한 파라미터의 설정이 다르면, 교사 데이터를 사용하여 트레이닝된 경향을 출력 데이터에 재현 가능한 정도가 다른 경우가 있다.
예를 들어, 제1 교사 데이터를 사용한 딥 러닝의 학습 완료 모델에 있어서는, 보다 적절한 파라미터가 설정되어 있으면, 올바른 촬영 부위 라벨을 출력할 확률이 보다 높아지는 경우가 있다. 또한, 예를 들어 제2 교사 데이터를 사용하는 학습 완료 모델에 있어서는, 보다 적절한 파라미터가 설정되어 있으면, 보다 정밀도가 높은 영역 라벨 화상을 출력할 수 있는 경우가 있다. 또한, 예를 들어 제3 교사 데이터를 사용한 딥 러닝의 학습 완료 모델에 있어서는, 보다 적절한 파라미터가 설정되어 있으면, 보다 고화질의 화상을 출력할 수 있는 경우가 있다.
구체적으로는, CNN에 있어서의 파라미터는, 예를 들어 컨벌루션층에 대하여 설정되는, 필터의 커널 사이즈, 필터의 수, 스트라이드의 값 및 다일레이션의 값, 그리고 전체 결합층이 출력하는 노드의 수 등을 포함할 수 있다. 또한, 파라미터군이나 트레이닝의 에포크수는, 교사 데이터에 기초하여, 학습 완료 모델의 이용 형태에 바람직한 값으로 설정할 수 있다. 예를 들어, 교사 데이터에 기초하여, 올바른 촬영 부위 라벨을 보다 높은 확률로 출력하거나, 보다 정밀도가 높은 영역 라벨 화상을 출력하거나, 보다 고화질의 화상을 출력하거나 할 수 있는 파라미터군이나 에포크수를 설정할 수 있다.
이러한 파라미터군이나 에포크수의 결정 방법의 하나를 예시한다. 먼저, 교사 데이터를 구성하는 페어군의 7할을 트레이닝용으로서, 나머지 3할을 평가용으로서 랜덤하게 설정한다. 이어서, 트레이닝용의 페어군을 사용하여 학습 완료 모델의 트레이닝을 행하고, 트레이닝의 각 에포크의 종료 시에, 평가용의 페어군을 사용하여 트레이닝 평가값을 산출한다. 트레이닝 평가값이란, 예를 들어 각 페어를 구성하는 입력 데이터를 트레이닝 중의 학습 완료 모델에 입력하였을 때의 출력과, 입력 데이터에 대응하는 출력 데이터를 손실 함수에 의해 평가한 값군의 평균값 등이다. 마지막으로, 가장 트레이닝 평가값이 작아졌을 때의 파라미터군 및 에포크수를, 당해 학습 완료 모델의 파라미터군이나 에포크수로서 결정한다. 또한, 이와 같이, 교사 데이터를 구성하는 페어군을 트레이닝용과 평가용으로 나누어서 에포크수의 결정을 행함으로써, 학습 완료 모델이 트레이닝용의 페어군에 대하여 과학습해버리는 것을 방지할 수 있다.
화상 세그멘테이션 엔진이란, 화상 세그멘테이션 처리를 실시하고, 입력된 입력 화상에 대응하는 영역 라벨 화상을 출력하는 모듈이다. 입력 화상의 예로서는, OCT의 B 스캔 화상이나 삼차원 단층 화상(삼차원 OCT 볼륨 화상) 등이 있다. 또한, 영역 라벨 화상의 예로서는, 입력 화상이 OCT의 B 스캔 화상인 경우에 있어서의 망막층의 각 층을 나타내는 영역 라벨 화상이나, 입력 화상이 OCT의 삼차원 단층 화상인 경우에 있어서의 망막층의 각 층을 나타내는 삼차원 영역을 나타내는 영역 라벨 화상이 있다.
하기 실시예에 있어서의 화상 세그멘테이션 처리 방법을 구성하는 화상 처리 방법에서는, 딥 러닝 등의 각종 기계 학습 알고리즘에 따른 학습 완료 모델을 사용한 처리를 행한다. 또한, 당해 화상 처리 방법은, 기계 학습 알고리즘뿐만 아니라 다른 기존의 임의의 처리를 함께 행해도 된다. 당해 화상 처리에는, 예를 들어 각종 화상 필터 처리, 유사 화상에 대응하는 영역 라벨 화상의 데이터베이스를 사용한 매칭 처리, 기준 영역 라벨 화상의 화상 레지스트레이션 처리, 및 지식 베이스의 화상 처리 등의 처리가 포함된다.
특히, 입력 화상으로서 입력된 이차원의 화상 Im2510을 화상 세그멘테이션 처리하여 영역 라벨 화상 Im2520을 생성하는 컨벌루션 뉴럴 네트워크(CNN)의 예로서, 도 25에 나타내는 구성(2500)이 있다. 당해 CNN의 구성(2500)은, 입력값군을 가공하여 출력하는 처리를 담당하는, 복수의 층군이 포함된다. 또한, 당해 구성(2500)에 포함되는 층의 종류로서는, 도 25에 나타내는 바와 같이, 컨벌루션(Convolution)층, 다운샘플링(Downsampling)층, 업샘플링(Upsampling)층 및 합성(Merger)층이 있다. 또한, 본 실시예에서 사용하는 CNN의 구성(2500)은, 실시예 1에서 설명한 CNN의 구성(601)과 마찬가지로, U-net형의 기계 학습 모델이다.
컨벌루션층은, 설정된 필터의 커널 사이즈, 필터의 수, 스트라이드의 값 및 다일레이션의 값 등의 파라미터에 따라서, 입력값군에 대하여 컨벌루션 처리를 행하는 층이다. 다운샘플링층은 입력값군을 씨닝하거나, 합성하거나 함으로써, 출력값군의 수를 입력값군의 수보다도 적게 하는 처리를 행하는 층이다. 다운샘플링층에서 행해지는 처리로서, 구체적으로는 예를 들어 Max Pooling 처리가 있다.
업샘플링층은 입력값군을 복제하거나, 입력값군에서 보간한 값을 추가하거나 함으로써, 출력값군의 수를 입력값군의 수보다도 많게 하는 처리를 행하는 층이다. 업샘플링층에서 행해지는 처리로서, 구체적으로는 예를 들어 선형 보간 처리가 있다. 합성층은, 어떤 층의 출력값군이나 화상을 구성하는 화소값군과 같은 값군을, 복수의 소스로부터 입력하고, 그들을 연결하거나, 가산하거나 하여 합성하는 처리를 행하는 층이다.
또한, 당해 CNN의 구성에 포함되는 컨벌루션층군에 설정되는 파라미터로서, 예를 들어 필터의 커널 사이즈를 폭 3 화소, 높이 3 화소, 필터의 수를 64로 함으로써, 일정 정밀도의 화상 세그멘테이션 처리가 가능하다. 단, 뉴럴 네트워크를 구성하는 층군이나 노드군에 대한 파라미터의 설정이 다르면, 교사 데이터로부터 트레이닝된 경향을 출력 데이터에 재현 가능한 정도가 다른 경우가 있으므로 주의가 필요하다. 즉, 많은 경우, 실시예에 따라서 각 층군이나 각 노드군에 대한 적절한 파라미터는 다르므로, 필요에 따라서 변경해도 된다.
또한, 실시예에 따라서는, 상술한 바와 같은 파라미터를 변경하는 방법뿐만 아니라, CNN의 구성을 변경함으로써, CNN이 보다 양호한 특성을 얻을 수 있는 경우가 있다. 보다 양호한 특성이란, 예를 들어 화상 세그멘테이션 처리의 정밀도가 높거나, 화상 세그멘테이션 처리의 시간이 짧거나, 학습 완료 모델의 트레이닝에 걸리는 시간이 짧거나 하는 등이다. CNN의 구성의 변경예로서, 예를 들어 컨벌루션층 후에 배치 정규화(Batch Normalization)층이나, 정규화 선형 함수(Rectifier Linear Unit)를 사용한 활성화층을 조립하는 등이 있다.
또한, 화상 세그멘테이션 엔진이 사용하는 기계 학습 모델로서는, 실시예 1과 마찬가지로, 예를 들어 FCN 또는 SegNet 등을 사용할 수도 있다. 또한, 원하는 구성에 따라서, 실시예 1에서 설명한 영역 단위로 물체 인식을 행하는 기계 학습 모델을 사용해도 된다.
또한, 일차원 화상이나 삼차원 화상, 사차원 화상을 처리할 필요가 있는 경우에는, 필터의 커널 사이즈가 일차원이나 삼차원, 사차원에 대응하고 있어도 된다. 여기서, 사차원 화상이란, 예를 들어 삼차원의 동화상이나 삼차원 화상의 각 화소 위치에 있어서의 파라미터를 다른 색상으로 나타낸 바와 같은 화상을 포함한다.
또한, 화상 세그멘테이션 처리는, 하나의 화상 처리 방법으로만 실시되는 경우도 있고, 2개 이상의 화상 처리 방법을 조합하여 실시되는 경우도 있다. 또한, 복수의 화상 세그멘테이션 처리 방법을 실시하여, 복수의 영역 라벨 화상을 생성할 수도 있다.
또한, 실시예에 따라서는, 입력 화상을 소영역군으로 분할하고, 각각에 대하여 화상 세그멘테이션 처리를 실시하여 소영역의 영역 라벨 화상군을 얻고, 해당 소영역의 영역 라벨 화상군을 결합함으로써, 영역 라벨 화상을 생성하는 방법이 있다. 또한, 당해 소영역은, 입력 화상이 삼차원 화상이면, 입력 화상보다도 작은 삼차원 화상이거나, 이차원 화상이거나, 일차원 화상이거나 해도 된다. 또한, 당해 소영역은, 입력 화상이 이차원 화상이면, 입력 화상보다도 작은 이차원 화상이거나, 일차원 화상이거나 해도 된다. 또한, 실시예에 따라서는 복수의 영역 라벨 화상군을 출력해도 된다.
또한, 화상 세그멘테이션 엔진에 대하여, 입력 화상과 함께 파라미터를 입력해도 된다. 이 경우의 입력되는 파라미터는, 예를 들어 병변의 크기의 상한 등, 화상 세그멘테이션 처리를 행하는 범위의 정도를 지정하는 파라미터나, 화상 처리 방법에 사용되는 화상 필터 사이즈를 지정하는 파라미터를 포함할 수 있다. 또한, 화상 세그멘테이션 엔진은, 실시예에 따라서는 영역 라벨 화상 대신에, 영역을 특정 가능한 기타 화상이나 좌표 데이터군을 출력해도 된다.
또한, 복수의 화상 세그멘테이션 처리 방법을 실시하거나, 복수의 소영역군에 대하여 화상 세그멘테이션 처리를 실시하거나 하는 경우에는, 병렬적으로 화상 세그멘테이션 처리를 행함으로써, 처리 시간을 단축시킬 수 있다.
또한, CNN을 사용한 화상 처리 등, 일부의 화상 처리 방법을 이용하는 경우에는 화상 사이즈에 대하여 주의할 필요가 있다. 구체적으로는, 영역 라벨 화상의 주변부가 충분한 정밀도로 세그멘테이션 처리되지 않는 문제 등의 대책 때문에, 입력하는 화상과 출력하는 영역 라벨 화상에서 다른 화상 사이즈를 요하는 경우가 있음에 유의해야 한다.
명료한 설명을 위해서, 후술하는 실시예에 있어서 명기는 하지 않지만, 화상 세그멘테이션 엔진에 입력되는 화상과 출력되는 화상에서 다른 화상 사이즈를 요하는 화상 세그멘테이션 엔진을 채용한 경우에는, 적절히 화상 사이즈를 조정하고 있는 것으로 한다. 구체적으로는, 학습 완료 모델을 트레이닝하기 위한 교사 데이터에 사용하는 화상이나, 화상 세그멘테이션 엔진에 입력되는 화상과 같은 입력 화상에 대하여, 패딩을 행하거나, 해당 입력 화상의 주변 촬영 영역을 결합하거나 하여, 화상 사이즈를 조정한다. 또한, 패딩을 행하는 영역은, 효과적으로 화상 세그멘테이션 처리할 수 있도록 화상 세그멘테이션 처리 방법의 특성에 맞추어, 일정 화소값으로 채우거나, 근방 화소값으로 채우거나, 미러 패딩하거나 한다.
촬영 개소 추정 엔진이란, 입력된 화상의 촬영 부위나 촬영 영역을 추정하는 모듈이다. 촬영 개소 추정 엔진은, 입력된 화상에 묘화되어 있는 촬영 부위나 촬영 영역이 어디인지, 또는 필요한 상세 레벨의 촬영 부위 라벨이나 촬영 영역 라벨마다, 해당 촬영 부위나 촬영 영역인 확률을 출력할 수 있다.
촬영 부위나 촬영 영역은, 촬영 장치에 따라서는 촬영 조건으로서 보존하고 있지 않거나, 또는 촬영 장치가 취득할 수 없어 보존되어 있지 않는 경우가 있다. 또한, 촬영 부위나 촬영 영역이 보존되어 있어도, 필요한 상세 레벨의 촬영 부위나 촬영 영역이 보존되어 있지 않는 경우도 있다. 예를 들어, 촬영 부위로서 “후안부”로 보존되어 있는 것만으로, 상세하게는 “황반부”인지, “시신경 유두부”인지, 또는 “황반부 및 시신경 유두부”인지, “기타”인지를 알 수 없는 경우가 있다. 또한, 다른 예에서는, 촬영 부위로서 “유방”이라고 보존되어 있는 것만으로, 상세하게는 “우측 유방”인지, “좌측 유방”인지, 또는 “양쪽”인지를 알 수 없는 경우가 있다. 그 때문에, 촬영 개소 추정 엔진을 사용함으로써, 이들 경우에 입력 화상의 촬영 부위나 촬영 영역을 추정할 수 있다.
촬영 개소 추정 엔진의 추정 방법을 구성하는 화상 및 데이터 처리 방법으로는, 딥 러닝 등의 각종 기계 학습 알고리즘에 따른 학습 완료 모델을 사용한 처리를 행한다. 또한, 당해 화상 및 데이터 처리 방법으로는, 기계 학습 알고리즘을 사용한 처리에 더하거나 또는 대신하여, 자연 언어 처리, 유사 화상 및 유사 데이터의 데이터베이스를 사용한 매칭 처리, 지식 베이스 처리 등의 기지의 임의 추정 처리를 행해도 된다. 또한, 기계 학습 알고리즘을 사용하여 구축한 학습 완료 모델을 트레이닝하는 교사 데이터는, 촬영 부위나 촬영 영역의 라벨이 부여된 화상으로 할 수 있다. 이 경우에는, 교사 데이터에 대하여, 촬영 부위나 촬영 영역을 추정해야 할 화상을 입력 데이터, 촬영 부위나 촬영 영역의 라벨을 출력 데이터로 한다.
특히, 이차원의 입력 화상 Im2610의 촬영 개소를 추정하는 CNN의 구성예로서, 도 26에 나타내는 구성(2600)이 있다. 당해 CNN의 구성(2600)에는, 컨벌루션층(2621)과 배치 정규화층(2622)과 정규화 선형 함수를 사용한 활성화층(2623)으로 구성된 복수의 컨벌루션 처리 블록(2620)군이 포함된다. 또한, 당해 CNN의 구성(2600)에는, 최후의 컨벌루션층(2630)과, 전체 결합(Full Connection)층(2640)과, 출력층(2650)이 포함된다. 전체 결합층(2640)은 컨벌루션 처리 블록(2620)의 출력값군을 전체 결합한다. 또한, 출력층(2650)은, Softmax 함수를 이용하여, 입력 화상 Im2610에 대한, 상정되는 촬영 부위 라벨마다의 확률을 추정 결과(2660)(Result)로서 출력한다. 이와 같은 구성(2600)에서는, 예를 들어 입력 화상 Im2610이 “황반부”를 촬영한 화상이면, “황반부”에 대응하는 촬영 부위 라벨에 대하여 가장 높은 확률이 출력된다.
또한, 예를 들어 컨벌루션 처리 블록(2620)의 수를 16, 컨벌루션층(2621, 2630)군의 파라미터로서, 필터의 커널 사이즈를 폭 3 화소, 높이 3 화소, 필터의 수를 64로 함으로써, 일정 정밀도로 촬영 부위를 추정할 수 있다. 그러나, 실제로는 상기 학습 완료 모델의 설명에 있어서 설명한 바와 같이, 학습 완료 모델의 이용 형태에 따른 교사 데이터를 사용하여, 보다 양호한 파라미터군을 설정할 수 있다. 또한, 일차원 화상이나 삼차원 화상, 사차원 화상을 처리할 필요가 있는 경우에는, 필터의 커널 사이즈를 일차원이나 삼차원, 사차원으로 확장해도 된다. 또한, 추정 방법은, 하나의 화상 및 데이터 처리 방법만으로 실시되는 경우도 있고, 2개 이상의 화상 및 데이터 처리 방법을 조합하여 실시되는 경우도 있다.
영역 라벨 화상 평가 엔진이란, 입력된 영역 라벨 화상을 그럴 듯하게 화상 세그멘테이션 처리할 수 있을 것인지 여부를 평가하는 모듈이다. 영역 라벨 화상 평가 엔진은, 구체적으로는 화상 평가 지수로서, 입력된 영역 라벨 화상이 그럴 듯하다면 참값, 그렇지 않다면 거짓값을 출력한다. 당해 평가를 행하는 방법의 예로서는, 딥 러닝 등의 각종 기계 학습 알고리즘에 따른 학습 완료 모델을 사용한 처리, 또는 지식 베이스 처리 등이 있다. 지식 베이스 처리의 방법의 하나로는, 예를 들어 해부학적인 지식을 이용한 것이 있고, 예를 들어 망막 형상의 규칙성 등의 기지의 해부학적인 지식을 이용하여 영역 라벨 화상의 평가를 행한다.
구체적으로 일례로서, 지식 베이스 처리에 의해, 후안부를 촬영 대상으로 한 OCT의 단층 화상에 대응하는 영역 라벨 화상을 평가하는 경우에 대하여 설명한다. 후안부에서는, 해부학적으로 조직군에는 결정된 위치가 있다. 그 때문에, 영역 라벨 화상에 있어서의 화소값군, 즉 영역 라벨값군의 좌표를 확인하고, 위치가 정확하게 출력되어 있는지 여부를 평가하는 방법이 있다. 당해 평가 방법에서는, 예를 들어, 어떤 범위에 있어서 전안부에 가까운 좌표에 수정체에 대응하는 영역 라벨값이 있고, 먼 좌표에 망막층군에 대응하는 영역 라벨값이 있으면, 그럴 듯하게 화상 세그멘테이션 처리할 수 있다고 평가한다. 한편, 이들 영역 라벨값이 그러한 상정되는 위치에 없을 경우에는, 적절하게 화상 세그멘테이션 처리되어 있지 않다고 평가한다.
도 27에 나타내는, 후안부를 촬영 대상으로 한 OCT의 단층 화상에 대응하는, 망막층을 구성하는 층군의 영역 라벨 화상 Im2710을 사용하여, 당해 지식 베이스의 평가 방법에 대하여, 보다 구체적으로 설명한다. 후안부에서는, 해부학적으로 조직군에는 결정된 위치가 있기 때문에, 영역 라벨 화상에 있어서의 화소값군, 즉 영역 라벨값군의 좌표를 확인함으로써, 영역 라벨 화상이 그럴 듯한 화상인지 아닌지를 판단할 수 있다.
영역 라벨 화상 Im2710에는, 동일한 영역 라벨값을 갖는 화소군이 연속하여 구성되는 영역 Seg2711, 영역 Seg2712, 영역 Seg2713 및 영역 Seg2714가 포함되어 있다. 영역 Seg2711 및 영역 Seg2714는 동일한 영역 라벨값이지만, 해부학적으로 망막층을 구성하는 층군은 층 구조를 이루고 있는 점에서, 형상이나 다른 영역과의 위치 관계로부터, 영역 Seg2714는 잘못 화상 세그멘테이션 처리되어 있다고 평가된다. 이 경우, 영역 라벨 화상 평가 엔진은 화상 평가 지수로서 거짓값을 출력한다.
또한, 지식 베이스의 평가 처리의 방법에는, 촬영 대상에 반드시 존재해야 할 영역에 대응하는 영역 라벨값을 갖는 화소가 영역 라벨 화상에 포함되는지 여부를 평가하는 방법도 있다. 또한, 예를 들어 촬영 대상에 반드시 존재해야 할 영역에 대응하는 영역 라벨값을 갖는 화소가 영역 라벨 화상에 일정수 이상 포함되는지 여부를 평가하는 방법 등도 있다.
또한, 화상 세그멘테이션 엔진이 복수의 화상 세그멘테이션 처리 방법을 실시하고, 복수의 영역 라벨 화상을 생성하는 경우, 영역 라벨 화상 평가 엔진은, 복수의 라벨 화상 중 가장 그럴 듯한 영역 라벨 화상을 하나 선택하여 출력할 수도 있다.
또한, 복수의 영역 라벨 화상군의 각각이 그럴 듯한 영역 라벨 화상인 경우, 출력할 영역 라벨 화상을 하나로 전부 선택할 수 없는 경우가 있다. 이러한, 영역 라벨 화상을 하나로 전부 선택할 수 없을 경우에는, 영역 라벨 평가 엔진은, 예를 들어 미리 결정된 우선도로 영역 라벨 화상을 하나로 선택할 수 있다. 또한, 영역 라벨 평가 엔진은, 예를 들어 복수의 영역 라벨 화상에 가중을 두어 하나의 영역 라벨 화상으로 머지할 수도 있다. 또한, 예를 들어 영역 라벨 평가 엔진은, 임의의 표시부 등에 구비된 유저 인터페이스에 복수의 영역 라벨 화상군을 표시하고, 검자(유저)의 지시에 따라서 하나로 선택해도 된다. 또한, 영역 라벨 화상 평가 엔진은, 그럴 듯한 복수의 영역 화상의 모두를 출력해도 된다.
영역 라벨 화상 수정 엔진이란, 입력된 영역 라벨 화상 중의 잘못 화상 세그멘테이션 처리된 영역을 수정하는 모듈이다. 당해 수정을 행하는 방법의 예로서는, 지식 베이스 처리 등이 있다. 지식 베이스 처리의 방법의 하나에는, 예를 들어 해부학적인 지식을 이용한 것이 있다.
도 27에 나타내는, 후안부를 촬영 대상으로 한 OCT의 단층 화상에 대응하는, 망막층을 구성하는 층군의 영역 라벨 화상 Im2710을 다시 사용하여, 당해 영역 라벨 화상의 수정에 관한 지식 베이스의 수정 방법에 대하여, 보다 구체적으로 설명한다. 상술한 바와 같이, 영역 라벨 화상 Im2710에 있어서, 해부학적으로 망막층을 구성하는 층군은, 층 구조를 이루고 있는 점에서, 형상이나 다른 영역과의 위치 관계로부터, 영역 Seg2714는 잘못 화상 세그멘테이션 처리된 영역이라는 것을 알 수 있다. 영역 라벨 화상 수정 엔진은, 잘못 세그멘테이션 처리된 영역을 검출하고, 검출된 영역을 다른 영역 라벨값으로 덮어쓰기한다. 예를 들어, 도 27의 경우에는, 영역 Seg2714를, 망막층 중 어디에도 없음을 나타내는 영역 라벨값으로 덮어쓰기한다.
또한, 영역 라벨 화상 수정 엔진에서는, 잘못 세그멘테이션된 영역에 대하여, 영역 라벨 평가 엔진에 의한 평가 결과를 사용하여 검출 또는 특정을 행해도 된다. 또한, 영역 라벨 화상 수정 엔진은, 검출한 잘못 세그멘테이션된 영역의 라벨값을, 당해 영역의 주변의 라벨 정보로부터 추측되는 라벨 정보를 덮어쓰기해도 된다. 도 27의 예에서는, 영역 Seg2714를 둘러싸는 영역에 라벨 정보가 구비 되어 있는 경우에는, 영역 Seg2714의 라벨 정보를 당해 영역의 라벨 정보로 덮어쓰기할 수 있다. 또한, 주변의 라벨 정보에 대하여는, 수정해야 할 영역을 완전히 둘러싸는 영역의 라벨 정보에 한정되지 않고, 수정해야 할 영역에 인접하는 영역의 라벨 정보 중, 가장 수가 많은 라벨 정보여도 된다.
(실시예 8에 관한 화상 처리 장치의 구성)
이하, 도 28 내지 도 32를 참조하여, 실시예 8에 의한 의료용 화상 처리 장치에 대하여 설명한다. 또한, 이하에 있어서, 간략화를 위해, 의료용 화상 처리 장치를 간단히 화상 처리 장치라고 한다. 도 28은, 본 실시예에 관한 화상 처리 장치의 개략적인 구성의 일례를 나타낸다.
화상 처리 장치(2800)는, 촬영 장치(2810) 및 표시부(2820)에, 회로나 네트워크를 통해 접속되어 있다. 또한, 촬영 장치(2810) 및 표시부(2820)가 직접 접속되어 있어도 된다. 또한, 이들 장치는 본 실시예에서는 별개의 장치로 되어 있지만, 이들 장치의 일부 또는 전부를 일체적으로 구성해도 된다. 또한, 이들 장치는, 다른 임의의 장치와 회로나 네트워크를 통해 접속되어도 되고, 다른 임의의 장치와 일체적으로 구성되어도 된다.
화상 처리 장치(2800)에는, 취득부(2801)와, 촬영 조건 취득부(2802)와, 처리 가부 판정부(2803)와, 세그멘테이션 처리부(2804)와, 평가부(2805)와, 해석부(2806)와, 출력부(2807)(표시 제어부)가 마련되어 있다. 또한, 화상 처리 장치(2800)는, 이들 구성 요소 중 일부가 마련된 복수의 장치로 구성되어도 된다.
취득부(2801)는, 촬영 장치(2810)나 다른 장치로부터 각종 데이터나 화상을 취득하거나, 도시하지 않은 입력 장치를 통해 검자로부터의 입력을 취득하거나 할 수 있다. 또한, 입력 장치로서는, 마우스, 키보드, 터치 패널 및 기타 임의의 입력 장치를 채용해도 된다. 또한, 표시부(2820)를 터치 패널 디스플레이로서 구성해도 된다.
촬영 조건 취득부(2802)는, 취득부(2801)가 취득한 의료용 화상(입력 화상)의 촬영 조건을 취득한다. 구체적으로는, 의료용 화상의 데이터 형식에 따라서, 의료용 화상을 구성하는 데이터 구조에 보존된 촬영 조건군을 취득한다. 또한, 의료용 화상에 촬영 조건이 보존되어 있지 않는 경우에는, 취득부(2801)를 통해, 촬영 장치(2810)나 화상 관리 시스템으로부터 촬영 정보군을 취득할 수 있다.
처리 가부 판정부(판정부)(2803)는, 촬영 조건 취득부(2802)에 의해 취득된 촬영 조건군을 사용하여 세그멘테이션 처리부(2804)에 의해 의료용 화상이 대처 가능한지 여부를 판정한다. 세그멘테이션 처리부(2804)는, 학습 완료 모델을 포함하는 화상 세그멘테이션 엔진(세그멘테이션 엔진)을 사용하여, 대처 가능한 의료용 화상에 대하여 화상 세그멘테이션 처리를 행하고, 영역 라벨 화상(영역 정보)를 생성한다.
평가부(2805)는 영역 라벨 화상 평가 엔진(평가 엔진)을 사용하여, 세그멘테이션 처리부(2804)에 의해 생성된 영역 라벨 화상을 평가하고, 평가 결과에 기초하여 영역 라벨 화상을 출력할지 여부를 판단한다. 영역 라벨 화상 평가 엔진은, 화상 평가 지수로서, 입력된 영역 라벨 화상이 그럴 듯하다면 참값, 그렇지 않다면 거짓값을 출력한다. 평가부(2805)는, 영역 라벨 화상을 평가한 화상 평가 지수가 참값인 경우에는, 영역 라벨 화상을 출력하는 것으로 판단한다.
해석부(2806)는, 평가부(2805)에 의해 출력하는 것으로 판단된 영역 라벨 화상이나 입력 화상을 사용하여, 입력 화상의 화상 해석 처리를 행한다. 해석부(2806)는, 화상 해석 처리에 의해, 예를 들어 망막층에 포함되는 조직의 형상 변화나 층 두께 등을 산출할 수 있다. 또한, 화상 해석 처리로서는, 기지의 임의의 화상 해석 처리를 사용해도 된다. 출력부(2807)는 영역 라벨 화상이나 해석부(2806)에 의한 해석 결과를 표시부(2820)에 표시시킨다. 또한, 출력부(2807)는, 영역 라벨 화상이나 해석 결과를 화상 처리 장치(2800)에 접속되는 기억 장치나 외부 장치 등에 기억시켜도 된다.
이어서, 세그멘테이션 처리부(2804)에 대하여 상세하게 설명한다. 세그멘테이션 처리부(2804)는, 화상 세그멘테이션 엔진을 사용하여, 입력된 화상(입력)에 대응하는 영역 라벨 화상을 생성한다. 본 실시예에 관한 화상 세그멘테이션 엔진이 구비하는 화상 세그멘테이션 처리 방법으로는, 학습 완료 모델을 사용한 처리를 행한다.
본 실시예에서는, 기계 학습 모델의 트레이닝에, 처리 대상으로서 상정되는 특정한 촬영 조건에서 취득된 화상인 입력 데이터와, 입력 데이터에 대응하는 영역 라벨 화상인 출력 데이터의 페어군으로 구성된 교사 데이터를 사용한다. 또한, 특정한 촬영 조건에는, 구체적으로는 미리 결정된 촬영 부위, 촬영 방식, 촬영 화각 및 화상 사이즈 등이 포함된다.
본 실시예에 있어서, 교사 데이터의 입력 데이터는, 촬영 장치(2810)와 동일한 기종, 촬영 장치(2810)와 동일한 설정에 의해 취득된 화상이다. 또한, 교사 데이터의 입력 데이터는, 촬영 장치(2810)와 동일한 화질 경향을 갖는 촬영 장치로부터 취득된 화상이어도 된다.
또한, 교사 데이터의 출력 데이터는, 입력 데이터에 대응하는 영역 라벨 화상이다. 예를 들어, 도 24를 참조하여 설명하면 입력 데이터는, OCT에 의해 촬영된 망막층의 단층 화상 Im2410이다. 또한, 출력 데이터는, 단층 화상 Im2410에 묘출된 망막층의 종류에 맞추어, 대응하는 좌표에 망막층의 종류를 나타내는 영역 라벨값을 부여하여, 각 영역을 나눈 영역 라벨 화상 Im2420이다. 영역 라벨 화상은, 단층 화상을 참조하여 전문의가 제작하거나, 임의의 화상 세그멘테이션 처리에 의해 제작하거나, 해당 화상 세그멘테이션 처리에 의해 제작된 영역 라벨 화상을 전문의가 수정해서 제작하거나 함으로써 준비할 수 있다.
또한, 교사 데이터의 페어군의 입력 데이터군에는 처리 대상으로서 상정되는, 각종 조건을 갖는 입력 화상이 망라적으로 포함된다. 각종 조건이란, 구체적으로는 피검자의 병태, 촬영 장치의 촬영 환경, 촬영자의 기술 레벨 등의 베리에이션의 조합의 차이에 의해 발생하는 화상의 조건이다. 입력 데이터군에 포함되는 화상의 조건이 망라적으로 됨으로써, 종래의 화상 세그멘테이션 처리로는 정밀도가 낮아져버리는 악조건의 화상에 대해서도, 정밀도가 높은 화상 세그멘테이션 처리가 실시 가능하도록 기계 학습 모델이 트레이닝된다. 그 때문에, 세그멘테이션 처리부(2804)는, 이러한 트레이닝이 행해진 학습 완료 모델을 포함하는 화상 세그멘테이션 엔진을 사용함으로써, 각종 조건의 화상에 대하여 안정되며 정밀도가 높은 영역 라벨 화상을 생성할 수 있다.
또한, 교사 데이터를 구성하는 페어군 중, 화상 세그멘테이션 처리에 기여하지 않는 페어는 교사 데이터로부터 제거할 수 있다. 예를 들어, 교사 데이터의 페어를 구성하는 출력 데이터인 영역 라벨 화상의 영역 라벨값이 잘못된 경우에는, 당해 교사 데이터를 사용하여 학습한 학습 완료 모델을 사용하여 얻은 영역 라벨 화상의 영역 라벨값도 잘못되어버릴 가능성이 높아진다. 즉, 화상 세그멘테이션 처리의 정밀도가 낮아진다. 그 때문에, 잘못된 영역 라벨값을 갖는 영역 라벨 화상을 출력 데이터에 갖는, 페어를 교사 데이터로부터 제거함으로써, 화상 세그멘테이션 엔진에 포함되는 학습 완료 모델의 정밀도를 향상시킬 수 있을 가능성이 있다.
이러한 학습 완료 모델을 포함하는 화상 세그멘테이션 엔진을 사용함으로써, 세그멘테이션 처리부(2804)는, 촬영으로 취득된 의료용 화상이 입력된 경우에, 해당 의료용 화상에 묘출된 장기나 병변을 특정 가능한 영역 라벨 화상을 출력할 수 있다.
이어서, 도 29의 흐름도를 참조하여, 본 실시예에 관한 일련의 화상 처리에 대하여 설명한다. 도 29는 본 실시예에 관한 일련의 화상 처리의 흐름도이다. 먼저, 본 실시예에 관한 일련의 화상 처리가 개시되면, 처리는 스텝 S2910으로 이행한다.
스텝 S2910에서는, 취득부(2801)가, 회로나 네트워크를 통해 접속된 촬영 장치(2810)로부터, 촬영 장치(2810)가 촬영한 화상을 입력 화상으로서 취득한다. 또한, 취득부(2801)는, 촬영 장치(2810)로부터의 요구에 따라서, 입력 화상을 취득해도 된다. 이와 같은 요구는, 예를 들어 촬영 장치(2810)가 화상을 생성하였을 때, 촬영 장치(2810)가 생성한 화상을 촬영 장치(2810)의 기록 장치에 보존하기 전이나 보존한 후, 보존된 화상을 표시부(2820)에 표시할 때, 화상 해석 처리에 영역 라벨 화상을 이용할 때 등에 발행되어도 된다.
또한, 취득부(2801)는, 촬영 장치(2810)로부터 화상을 생성하기 위한 데이터를 취득하고, 화상 처리 장치(2800)가 당해 데이터에 기초하여 생성한 화상을 입력 화상으로서 취득해도 된다. 이 경우, 화상 처리 장치(2800)가 각종 화상을 생성하기 위한 화상 생성 방법으로서는, 기존의 임의의 화상 생성 방법을 채용해도 된다.
스텝 S2920에서는, 촬영 조건 취득부(2802)가 입력 화상의 촬영 조건군을 취득한다. 구체적으로는, 입력 화상의 데이터 형식에 따라서, 입력 화상을 구성하는 데이터 구조에 보존된 촬영 조건군을 취득한다. 또한, 상술한 바와 같이, 입력 화상에 촬영 조건이 보존되어 있지 않는 경우에는, 촬영 조건 취득부(2802)는, 촬영 장치(2810)나 도시하지 않은 화상 관리 시스템으로부터 촬영 정보군을 취득할 수 있다.
스텝 S2930에 있어서는, 처리 가부 판정부(2803)가, 취득된 촬영 조건군을 사용하여, 세그멘테이션 처리부(2804)가 사용하는 화상 세그멘테이션 엔진에 의해 입력 화상을 화상 세그멘테이션 처리 가능한지 여부를 판정한다. 구체적으로는, 처리 가부 판정부(2803)는, 입력 화상의 촬영 부위, 촬영 방식, 촬영 화각 및 화상 사이즈가, 화상 세그멘테이션 엔진의 학습 완료 모델을 사용하여 대처 가능한 조건과 일치하는지 여부를 판정한다.
처리 가부 판정부(2803)가 모든 촬영 조건을 판정하여, 대처 가능하다고 판정된 경우에는, 처리는 스텝 S2940으로 이행한다. 한편, 처리 가부 판정부(2803)가, 이들 촬영 조건에 기초하여, 화상 세그멘테이션 엔진이 입력 화상을 대처 불가능하다고 판정한 경우에는, 처리는 스텝 S2970으로 이행한다.
또한, 화상 처리 장치(2800)의 설정이나 실장 형태에 따라서는, 촬영 부위, 촬영 방식, 촬영 화각 및 화상 사이즈 중 일부에 기초하여 입력 화상이 처리 불가능하다고 판정되었다고 해도, 스텝 S2940이 실시되어도 된다. 예를 들어, 화상 세그멘테이션 엔진이, 피검자의 어떤 촬영 부위에 대해서도 망라적으로 대응 가능하다고 상정되고, 입력 데이터에 미지의 촬영 부위가 포함되어 있었다고 해도 대처 가능하도록 실장되어 있는 경우 등에는, 이러한 처리를 행해도 된다. 또한, 처리 가부 판정부(2803)는 원하는 구성에 따라서, 입력 화상의 촬영 부위, 촬영 방식, 촬영 화각 및 화상 사이즈 중 적어도 하나가 화상 세그멘테이션 엔진에 의해 대처 가능한 조건과 일치하는지 여부를 판정해도 된다.
스텝 S2940에 있어서는, 세그멘테이션 처리부(2804)가, 화상 세그멘테이션 엔진을 사용하여, 입력 화상에 대하여 화상 세그멘테이션 처리를 행하고, 입력 화상으로부터 영역 라벨 화상을 생성한다. 구체적으로는, 세그멘테이션 처리부(2804)는 입력 화상을 화상 세그멘테이션 엔진에 입력한다. 화상 세그멘테이션 엔진은, 교사 데이터를 사용하여 기계 학습을 행한 학습 완료 모델에 기초하여, 입력 화상에 묘출된 장기나 병변을 특정 가능한 영역 정보로서 영역 라벨 화상을 생성한다.
또한, 화상 처리 장치(2800)의 설정이나 실장 형태에 따라서는, 세그멘테이션 처리부(2804)가 촬영 조건군에 따라서, 화상 세그멘테이션 엔진에 입력 화상과 함께 파라미터를 입력하여, 화상 세그멘테이션 처리의 범위의 정도 등을 조절해도 된다. 또한, 세그멘테이션 처리부(2804)는, 검자의 입력에 따른 파라미터를 화상 세그멘테이션 엔진에 입력 화상과 함께 입력하여 화상 세그멘테이션 처리의 범위의 정도 등을 조정해도 된다.
스텝 S2950에서는, 평가부(2805)가 영역 라벨 화상 평가 엔진을 사용하여, 세그멘테이션 처리부(2804)에 의해 생성된 영역 라벨 화상에 대하여, 당해 영역 라벨 화상이 그럴 듯한 화상인지 아닌지를 평가한다. 본 실시예에서는, 평가부(2805)는, 지식 베이스의 평가 방법을 사용하는 영역 라벨 평가 엔진을 사용하여, 영역 라벨 화상이 그럴 듯한 화상인지 아닌지를 평가한다.
구체적으로는, 영역 라벨 평가 엔진은, 영역 라벨 화상에 있어서의 화소값군, 즉 영역 라벨값군의 좌표를 확인하여, 위치가 해부학적으로 올바른 위치에 출력되어 있는지 여부를 평가한다. 이 경우, 예를 들어, 어떤 범위에 있어서 전안부에 가까운 좌표에 수정체에 대응하는 영역 라벨값이 있고, 먼 좌표에 망막층군에 대응하는 영역 라벨값이 있으면, 그럴 듯하게 화상 세그멘테이션 처리할 수 있다고 평가한다. 한편, 이들 영역 라벨값이 그러한 상정되는 위치에 없을 경우에는, 적절하게 화상 세그멘테이션 처리되어 있지 않다고 평가한다. 영역 라벨 평가 엔진은, 영역 라벨에 대하여, 그럴 듯하게 화상 세그멘테이션 처리할 수 있다고 평가한 경우에는 화상 평가 지수로서 참값을 출력하고, 그럴 듯하게 화상 세그멘테이션 처리되어 있지 않다고 평가한 경우에는 거짓값을 출력한다.
평가부(2805)는, 영역 라벨 평가 엔진으로부터 출력된 화상 평가 지수에 기초하여, 영역 라벨 화상을 출력할지 여부를 판단한다. 구체적으로는, 평가부(2805)는, 화상 평가 지수가 참값인 경우에는 영역 라벨 화상을 출력하는 것으로 판단한다. 한편, 화상 평가 지수가 거짓값인 경우에는 세그멘테이션 처리부(2804)에서 생성된 영역 라벨 화상을 출력하지 않는다고 판단한다. 또한, 평가부(2805)는, 세그멘테이션 처리부(2804)에서 생성한 영역 라벨 화상을 출력하지 않는다고 판단한 경우에, 영역 라벨 없는 화상을 생성할 수 있다.
스텝 S2960에서는, 해석부(2806)가, 평가부(2805)에 의해 영역 라벨 화상을 출력하는 것으로 판단되면, 영역 라벨 화상 및 입력 화상을 사용하여, 입력 화상의 화상 해석 처리를 행한다. 해석부(2806)는, 예를 들어 화상 해석 처리에 의해 입력 화상에 묘출되어 있는 층 두께나 조직 형상의 변화 등을 산출한다. 또한, 화상 해석 처리의 방법은 기지의 임의 처리를 채용해도 된다. 또한, 평가부(2805)에 의해 영역 라벨 화상을 출력하지 않는다고 판단된 경우 또는 영역 라벨 없는 화상이 생성되었을 경우에는, 화상 해석을 행하지 않고 처리를 진행시킨다.
스텝 S2970에서는, 출력부(2807)가, 평가부(2805)에 의해 영역 라벨 화상을 출력하는 것으로 판단되면, 영역 라벨 화상 및 화상 해석 결과를 출력하여, 표시부(2820)에 표시시킨다. 또한, 출력부(2807)는, 표시부(2820)에 영역 라벨 화상 및 화상 해석 결과를 표시시키는 것 대신에, 촬영 장치(2810)나 다른 장치에 이들을 표시시키거나 기억시키거나 해도 된다. 또한, 출력부(2807)는, 화상 처리 장치(2800)의 설정이나 실장 형태에 따라서는, 이들을 촬영 장치(2810)나 다른 장치가 이용 가능하도록 가공하거나, 화상 관리 시스템 등에 송신 가능하도록 데이터 형식을 변환하거나 해도 된다. 또한, 출력부(2807)는, 영역 라벨 화상 및 화상 해석 결과의 양쪽을 출력하는 구성에 한정되지 않고, 이들 중 어느 한쪽만을 출력해도 된다.
한편, 스텝 S2930에 있어서 화상 세그멘테이션 처리가 불가능인 것으로 된 경우에는, 출력부(2807)는 영역 라벨 화상의 일종인 영역 라벨 없는 화상을 출력하여, 표시부(2820)에 표시시킨다. 또한, 영역 라벨 없는 화상을 출력하는 대신, 촬영 장치(2810)에 대하여, 화상 세그멘테이션 처리가 불가능함을 나타내는 신호를 송신해도 된다.
또한, 스텝 S2950에 있어서 화상 세그멘테이션 처리를 적절하게 행할 수 없었다고 판단된 경우에도, 출력부(2807)는 영역 라벨 없는 화상을 출력하여, 표시부(2820)에 표시시킨다. 이 경우에도, 출력부(2807)는 영역 라벨 없는 화상을 출력하는 대신, 촬영 장치(2810)에 대하여 화상 세그멘테이션 처리를 적절하게 행할 수 없었음을 나타내는 신호를 송신해도 된다. 스텝 S2970에 있어서의 출력 처리가 종료되면, 일련의 화상 처리가 종료된다.
상기한 바와 같이, 본 실시예에 관한 화상 처리 장치(2800)는 취득부(2801)와 세그멘테이션 처리부(2804)를 구비한다. 취득부(2801)는 피검자의 소정 부위의 단층 화상인 입력 화상을 취득한다. 세그멘테이션 처리부(2804)는, 학습 완료 모델을 포함하는 화상 세그멘테이션 엔진을 사용하여, 입력 화상으로부터, 해부학적인 영역을 식별 가능한 영역 정보인 영역 라벨 화상을 생성한다. 화상 세그멘테이션 엔진은, 각종 조건의 단층 화상과, 영역 라벨 화상을 학습 데이터로 한 학습 완료 모델을 포함한다. 당해 화상 세그멘테이션 엔진은 단층 화상을 입력으로 하고, 영역 라벨 화상을 출력으로 한다.
또한, 화상 처리 장치(2800)는 평가부(2805)를 추가로 구비한다. 평가부(2805)는, 해부학적 특징을 사용한 지식 베이스의 평가 엔진을 사용하여 영역 라벨 화상을 평가하고, 평가의 결과에 따라서 영역 라벨 화상을 출력할지 여부를 판단한다.
당해 구성에 의해, 본 실시예에 관한 화상 처리 장치(2800)는, 학습 완료 모델을 포함하는 세그멘테이션 엔진을 사용하여, 화상 진단이나 화상 해석에 이용 가능한 ROI나 VOI를 특정하기 위해 사용하는 영역 정보로서 영역 라벨 화상을 생성할 수 있다. 그 때문에, 종래의 세그멘테이션 처리에 대하여 악조건의 입력 화상에 대해서도, 정밀도가 높은 영역 라벨 화상을 출력할 수 있어, 화상 진단이나 화상 해석에 이용 가능한 ROI나 VOI를 제공할 수 있다.
또한, 화상 처리 장치(2800)는, 평가부(2805)에 의해 영역 라벨 화상이 그럴 듯한 화상인지 아닌지를 평가함으로써, 화상 진단이나 화상 해석에 부적절한 영역 라벨 화상이 사용되는 것을 방지할 수 있다.
또한, 화상 처리 장치(2800)는 촬영 조건 취득부(2802)와 처리 가부 판정부(2803)를 추가로 구비한다. 촬영 조건 취득부(2802)는 입력 화상의 촬영 부위, 촬영 방식, 촬영 화각 및 화상 사이즈 중 적어도 하나를 포함하는 촬영 조건을 취득한다. 처리 가부 판정부(2803)는, 화상 세그멘테이션 엔진을 사용하여 입력 화상으로부터 영역 라벨 화상을 생성 가능한지 여부를 판정한다. 처리 가부 판정부(2803)는 입력 화상의 촬영 조건에 기초하여 당해 판정을 행한다.
당해 구성에 의해, 본 실시예에 관한 화상 처리 장치(2800)는, 세그멘테이션 처리부(2804)를 처리할 수 없는 입력 화상을 화상 세그멘테이션 처리로부터 생략할 수 있어, 화상 처리 장치(2800)의 처리 부하나 에러의 발생을 저감시킬 수 있다.
또한, 화상 처리 장치(2800)는, 영역 정보인 영역 라벨 화상을 사용하여, 입력 화상의 화상 해석을 행하는 해석부(2806)를 추가로 구비한다. 당해 구성에 의해, 화상 처리 장치(2800)는, 세그멘테이션 처리부(2804)에 의해 생성된 정밀도가 높은 영역 라벨 화상을 사용하여 화상 해석을 행할 수 있어, 정밀도가 높은 해석 결과를 얻을 수 있다.
본 실시예에서는, 처리 가부 판정부(2803)가, 화상 세그멘테이션 엔진에 의해 화상 세그멘테이션 처리 가능한 입력 화상인지 여부를 판정한다. 그 후, 처리 가부 판정부(2803)가, 세그멘테이션 처리부(2804)에 의해 처리 가능한 입력 화상이라고 판정한 경우에, 세그멘테이션 처리부(2804)가 화상 세그멘테이션 처리를 행한다. 이에 대하여, 촬영 장치(2810)에 의해, 화상 세그멘테이션 처리 가능한 촬영 조건에서만 촬영이 행해지는 등의 경우에는, 촬영 장치(2810)로부터 취득한 화상에 대하여 무조건으로 화상 세그멘테이션 처리를 행해도 된다. 이 경우에는, 도 30에 나타내는 바와 같이, 스텝 S2920과 스텝 S2930의 처리를 생략하고, 스텝 S2910 다음에 스텝 S2940을 실시할 수 있다.
또한, 본 실시예에서는, 출력부(2807)(표시 제어부)는, 생성된 영역 라벨 화상이나 해석 결과를 표시부(2820)에 표시시키는 구성으로 하였지만, 출력부(2807)의 동작은 이것에 한정되지 않는다. 예를 들어, 출력부(2807)는, 영역 라벨 화상이나 해석 결과를 촬영 장치(2810)나 화상 처리 장치(2800)에 접속되는 다른 장치로 출력할 수도 있다. 이 때문에, 영역 라벨 화상이나 해석 결과는, 이들 장치의 유저 인터페이스에 표시되거나, 임의의 기록 장치에 보존되거나, 임의의 화상 해석에 이용되거나, 화상 관리 시스템에 송신되거나 할 수 있다.
또한, 본 실시예에서는, 출력부(2807)가, 표시부(2820)에 영역 라벨 화상이나 화상 해석 결과를 표시시키는 구성으로 하였다. 그러나, 출력부(2807)는, 검자로부터의 지시에 따라서, 영역 라벨 화상이나 화상 해석 결과를 표시부(2820)에 표시시켜도 된다. 예를 들어, 출력부(2807)는, 검자가 표시부(2820)의 유저 인터페이스 상의 임의의 버튼을 누름에 따라서, 영역 라벨 화상이나 화상 해석 결과를 표시부(2820)에 표시시켜도 된다. 이 경우, 출력부(2807)는, 입력 화상과 전환하여 영역 라벨 화상을 표시시켜도 된다. 또한, 출력부(2807)는, 도 31과 같이 입력 화상 UI3110과 나란히 영역 라벨 화상 UI3120을 표시시켜도 되고, 도 32의 UI3210 내지 UI3240 중 어느 것과 같이 입력 화상과 반투명화한 영역 라벨 화상을 중첩하여 표시시켜도 된다. 또한, 반투명화의 방법은 기지의 임의의 것이어도 되고, 예를 들어 영역 라벨 화상의 투명도를 원하는 값으로 설정함으로써, 영역 라벨 화상을 반투명화할 수 있다.
또한, 출력부(2807)는, 영역 라벨 화상이 학습 완료 모델을 사용하여 생성된 것인 취지나 학습 완료 모델을 사용하여 생성된 영역 라벨 화상에 기초하여 행해진 화상 해석의 결과인 취지를 표시부(2820)에 표시시켜도 된다. 또한, 출력부(2807)는, 학습 완료 모델이 어떤 교사 데이터에 의해 학습을 행한 것인지를 나타내는 표시를 표시부(2820)에 표시시켜도 된다. 당해 표시로서는, 교사 데이터의 입력 데이터와 출력 데이터의 종류의 설명이나, 입력 데이터와 출력 데이터에 포함되는 촬영 부위 등의 교사 데이터에 관한 임의의 표시를 포함해도 된다.
본 실시예에서는, 처리 가부 판정부(2803)가, 화상 세그멘테이션 엔진에 의해 입력 화상이 대처 가능하다고 판단하면, 처리가 스텝 S2940으로 이행하여, 세그멘테이션 처리부(2804)에 의한 화상 세그멘테이션 처리가 개시되었다. 이에 대하여, 출력부(2807)가 처리 가부 판정부(2803)에 의한 판정 결과를 표시부(2820)에 표시시키고, 세그멘테이션 처리부(2804)가 검자로부터의 지시에 따라서 화상 세그멘테이션 처리를 개시해도 된다. 이 때, 출력부(2807)는, 판정 결과와 함께, 입력 화상이나 입력 화상에 대하여 취득한 촬영 부위 등의 촬영 조건을 표시부(2820)에 표시시킬 수도 있다. 이 경우에는, 검자에 의해 판정 결과가 정확한지 아닌지 판단된 다음, 화상 세그멘테이션 처리가 행해지기 때문에, 오판정에 기초하는 화상 세그멘테이션 처리를 저감시킬 수 있다.
또한, 이것에 관련하여, 처리 가부 판정부(2803)에 의한 판정을 행하지 않고, 출력부(2807)가 입력 화상이나 입력 화상에 대하여 취득한 촬영 부위 등의 촬영 조건을 표시부(2820)에 표시시켜도 된다. 이 경우에는, 세그멘테이션 처리부(2804)가 검자로부터의 지시에 따라서 화상 세그멘테이션 처리를 개시할 수 있다.
또한, 본 실시예에서는, 평가부(2805)는, 지식 베이스의 평가 방법을 채용하는 영역 라벨 화상 평가 엔진을 사용하여, 세그멘테이션 처리부(2804)에 의해 생성된 영역 라벨 화상을 평가하였다. 이에 대하여, 평가부(2805)는, 영역 라벨 화상과 소정의 평가 방법에 의한 화상 평가 지수를 교사 데이터로 하여 트레이닝을 행한 학습 완료 모델을 포함하는 영역 라벨 화상 평가 엔진을 사용하여, 영역 라벨 화상이 그럴 듯한 화상인지 아닌지를 평가해도 된다.
이 경우에는, 영역 라벨 화상 평가 엔진에 포함되는 기계 학습 모델의 교사 데이터는, 영역 라벨 화상이나 영역 라벨 화상인 듯한 거짓 화상을 입력 데이터로 하고, 각 화상에 대한 화상 평가 지수를 출력 데이터로 한다. 화상 평가 지수로서는, 입력 데이터가 적절한 영역 라벨 화상인 경우에는 참값, 거짓 화상인 경우에는 거짓값으로 한다. 또한, 거짓 화상의 생성 방법으로서는, 적절하지 않은 조건을 설정한 영역 라벨 화상의 임의의 제너레이터를 사용하는 방법이나, 적절한 영역 라벨 화상에 의도적으로 부적절한 영역 라벨을 덮어쓰기하여 생성하는 방법 등을 채용해도 된다.
평가부(2805)가, 이러한 학습을 행한 학습 완료 모델을 포함하는 영역 라벨 화상 평가 엔진을 사용하여, 영역 라벨 화상이 그럴 듯한 화상인지 아닌지를 평가한 경우에도, 화상 진단이나 화상 해석에 부적절한 영역 라벨 화상이 사용되는 것을 방지할 수 있다.
또한, 처리 가부 판정부(2803)에 의해 화상 세그멘테이션 처리가 불가능하다고 판정된 경우에 있어서, 영역 라벨 없는 화상은, 출력부(2807)에 의해 생성되어도 되고, 처리 가부 판정부(2803)에 의해 생성되어도 된다. 또한, 평가부(2805)에 의해 화상 세그멘테이션이 적절하게 행해지지 않았다고 판단된 경우에는, 스텝 S2970에 있어서 출력부(2807)가, 화상 세그멘테이션을 적절하게 행할 수 없었던 취지를 표시부(2820)에 표시시켜도 된다.
(실시예 9)
이어서, 도 28 및 도 33을 참조하여, 실시예 9에 관한 화상 처리 장치에 대하여 설명한다. 실시예 8에서는, 세그멘테이션 처리부(2804)는 하나의 화상 세그멘테이션 엔진을 구비하고 있었다. 이에 비하여, 본 실시예에서는, 세그멘테이션 처리부는, 다른 교사 데이터를 사용하여 기계 학습을 행한 각각의 학습 완료 모델을 포함하는 복수의 화상 세그멘테이션 엔진을 사용하여, 입력 화상에 대하여 복수의 영역 라벨 화상을 생성한다.
특별히 명기하지 않는 한, 본 실시예에 관한 화상 처리 장치의 구성 및 처리는, 실시예 8에 관한 화상 처리 장치(2800)와 마찬가지이다. 그 때문에, 이하에서는, 본 실시예에 관한 화상 처리 장치에 대하여, 실시예 8에 관한 화상 처리 장치와의 차이를 중심으로 하여 설명한다. 또한, 본 실시예에 관한 화상 처리 장치의 구성은, 실시예 8에 관한 화상 처리 장치의 구성과 마찬가지이기 때문에, 도 28에 나타내는 구성에 대하여 동일한 참조 부호를 사용하여 나타내고, 설명을 생략한다.
본 실시예에 관한 세그멘테이션 처리부(2804)는, 다른 교사 데이터를 사용하여 기계 학습이 행해진 각각의 학습 완료 모델을 포함하는 2개 이상의 화상 세그멘테이션 엔진을 사용하여, 입력 화상에 대하여 화상 세그멘테이션 처리를 행한다.
여기서, 본 실시예에 관한 교사 데이터군의 제작 방법에 대하여 설명한다. 구체적으로는 먼저, 각종 촬영 부위가 촬영된, 입력 데이터로서의 화상과 출력 데이터로서의 영역 라벨 화상의 페어군을 준비한다. 이어서, 촬영 부위마다 페어군을 그룹으로 분류함으로써, 교사 데이터군을 제작한다. 예를 들어, 제1 촬영 부위를 촬영하여 취득된 페어군으로 구성되는 제1 교사 데이터, 제2 촬영 부위를 촬영하여 취득된 페어군으로 구성되는 제2 교사 데이터와 같은 방식으로, 교사 데이터군을 제작한다.
그 후, 각 교사 데이터를 사용하여, 별도의 화상 세그멘테이션 엔진에 포함되는 기계 학습 모델에 기계 학습을 행하게 한다. 예를 들어, 제1 교사 데이터로부터 트레이닝된 학습 완료 모델을 포함하는 제1 화상 세그멘테이션 엔진을 준비한다. 덧붙여, 제2 교사 데이터로부터 트레이닝된 학습 완료 모델을 포함하는 제2 화상 세그멘테이션 엔진을 준비하는 방식으로, 화상 세그멘테이션 엔진군을 준비한다.
이러한 화상 세그멘테이션 엔진은, 각각이 포함하는 학습 완료 모델의 트레이닝에 사용한 교사 데이터가 다르다. 그 때문에, 이러한 화상 세그멘테이션 엔진은, 화상 세그멘테이션 엔진에 입력되는 화상의 촬영 조건에 의해, 입력 화상을 화상 세그멘테이션 처리할 수 있는 정도가 다르다. 구체적으로는, 제1 화상 세그멘테이션 엔진은, 제1 촬영 부위를 촬영하여 취득된 입력 화상에 대하여는 화상 세그멘테이션 처리의 정밀도가 높고, 제2 촬영 부위를 촬영하여 취득된 화상에 대하여는 화상 세그멘테이션 처리의 정밀도가 낮다. 마찬가지로, 제2 화상 세그멘테이션 엔진은, 제2 촬영 부위를 촬영하여 취득된 입력 화상에 대하여는 화상 세그멘테이션 처리의 정밀도가 높고, 제1 촬영 부위를 촬영하여 취득된 화상에 대하여는 화상 세그멘테이션 처리의 정밀도가 낮다.
교사 데이터의 각각이 촬영 부위에 의해 그룹으로 분류된 페어군으로 구성됨으로써, 해당 페어군을 구성하는 화상군의 화질 경향이 유사하다. 이 때문에, 화상 세그멘테이션 엔진은 대응하는 촬영 부위라면, 실시예 8에 관한 화상 세그멘테이션 엔진보다도 고정밀도로 화상 세그멘테이션 처리를 행할 수 있다. 또한, 교사 데이터의 페어를 그룹으로 분류하기 위한 촬영 조건은 촬영 부위에 한정되지 않고, 촬영 화각이거나, 화상의 해상도이거나, 이들 중의 2개 이상 조합이거나 해도 된다.
도 33을 참조하여, 본 실시예에 관한 일련의 화상 처리에 대하여 설명한다. 도 33은, 본 실시예에 관한 일련의 화상 처리의 흐름도이다. 또한, 스텝 S3310 및 스텝 S3320의 처리는, 실시예 8에 관한 스텝 S2910 및 스텝 S2920과 마찬가지이기 때문에, 설명을 생략한다. 또한, 입력 화상에 대하여 무조건으로 화상 세그멘테이션 처리하는 경우에는, 스텝 S3320의 처리 후에, 스텝 S3330의 처리를 생략하고, 처리를 스텝 S3340으로 이행해도 된다.
스텝 S3320에 있어서 입력 화상의 촬영 조건이 취득되면, 처리는 스텝 S3330으로 이행한다. 스텝 S3330에 있어서는, 처리 가부 판정부(2803)가, 스텝 S3320에 있어서 취득한 촬영 조건군을 사용하여, 상술한 화상 세그멘테이션 엔진군 중 어느 것이, 입력 화상을 대처 가능한지 아닌지를 판정한다.
처리 가부 판정부(2803)가, 화상 세그멘테이션 엔진군의 모든 입력 화상을 대처 불가능하다고 판정한 경우에는, 처리는 스텝 S3380으로 이행한다. 한편, 처리 가부 판정부(2803)가, 화상 세그멘테이션 엔진군 중 어느 것이 입력 화상을 대처 가능하다고 판정한 경우에는, 처리는 스텝 S3340으로 이행한다. 또한, 화상 처리 장치(2800)의 설정이나 실장 형태에 따라서는, 실시예 8과 마찬가지로, 화상 세그멘테이션 엔진에 의해 일부의 촬영 조건이 대처 불가능하다고 판정되었다고 해도, 스텝 S3340을 실시해도 된다.
스텝 S3340에 있어서는, 세그멘테이션 처리부(2804)가, 스텝 S3320에서 취득한 입력 화상의 촬영 조건 및 화상 세그멘테이션 엔진군의 교사 데이터의 정보에 기초하여, 처리를 행하는 화상 세그멘테이션 엔진을 선택한다. 구체적으로는, 예를 들어 스텝 S3320에 있어서 취득한 촬영 조건군 중 촬영 부위에 대하여, 동 촬영 부위 또는 주위의 촬영 부위에 관한 교사 데이터의 정보를 갖고, 화상 세그멘테이션 처리의 정밀도가 높은 화상 세그멘테이션 엔진을 선택한다. 상술한 예에서는, 촬영 부위가 제1 촬영 부위인 경우에는, 세그멘테이션 처리부(2804)는 제1 화상 세그멘테이션 엔진을 선택한다.
스텝 S3350에서는, 세그멘테이션 처리부(2804)가, 스텝 S3340에 있어서 선택한 화상 세그멘테이션 엔진을 사용하여, 입력 화상을 화상 세그멘테이션 처리한 영역 라벨 화상을 생성한다. 스텝 S3360 및 S3370은, 실시예 8에 있어서의 스텝 S2950 및 S2960과 마찬가지이기 때문에, 설명을 생략한다.
스텝 S3370에 있어서 화상 해석이 행해지면 처리는 스텝 S3380으로 이행한다. 스텝 S3380에서는, 출력부(2807)는, 평가부(2805)에 의해 영역 라벨 화상을 출력하는 것으로 판단되면, 영역 라벨 화상 및 해석 결과를 출력하여, 표시부(2820)에 표시시킨다. 또한, 출력부(2807)는, 영역 라벨 화상을 표시부(2820)에 표시시킬 때, 세그멘테이션 처리부(2804)에 의해 선택된 화상 세그멘테이션 엔진을 사용하여 생성된 영역 라벨 화상인 취지를 표시시켜도 된다. 또한, 출력부(2807)는 영역 라벨 화상 및 해석 결과 중 어느 한쪽만을 출력해도 된다.
한편, 스텝 S3330에 있어서 화상 세그멘테이션 처리가 불가능인 것으로 된 경우에는, 출력부(2807)는 영역 라벨 화상의 일종인 영역 라벨 없는 화상을 출력하여, 표시부(2820)에 표시시킨다. 또한, 영역 라벨 없는 화상을 생성하는 대신, 촬영 장치(2810)에 대하여 화상 세그멘테이션 처리가 불가능함을 나타내는 신호를 송신해도 된다.
또한, 스텝 S3360에 있어서 화상 세그멘테이션 처리를 적절하게 행할 수 없었다고 판단된 경우에도, 출력부(2807)는 영역 라벨 화상의 일종인 영역 라벨 없는 화상을 출력하여, 표시부(2820)에 표시시킨다. 이 경우에도, 출력부(2807)는 영역 라벨 없는 화상을 생성하는 대신, 촬영 장치(2810)에 대하여 화상 세그멘테이션 처리를 적절하게 행할 수 없었음을 나타내는 신호를 송신해도 된다. 스텝 S3380에 있어서의 출력 처리가 종료되면, 일련의 화상 처리가 종료된다.
상기한 바와 같이, 본 실시예에 관한 세그멘테이션 처리부(2804)는, 다른 학습 데이터를 사용하여 학습을 행한 각각의 학습 완료 모델을 포함하는 복수의 화상 세그멘테이션 엔진의 적어도 하나를 사용하여, 영역 라벨 화상을 생성한다. 본 실시예에서는, 복수의 화상 세그멘테이션 엔진의 각각은, 각각 촬영 부위, 촬영 화각 및 화상의 해상도 중 적어도 하나에 관한 다른 학습 데이터를 사용하여 학습을 행한 학습 완료 모델을 포함한다. 세그멘테이션 처리부(2804)는, 입력 화상의 촬영 부위, 촬영 화각 및 화상의 해상도 중 적어도 하나에 따른 화상 세그멘테이션 엔진을 사용하여, 영역 라벨 화상을 생성한다.
이와 같은 구성에 의해, 본 실시예에 관한 화상 처리 장치(2800)는, 촬영 조건에 맞추어, 보다 정밀도가 높은 화상 세그멘테이션 처리를 실시할 수 있다.
본 실시예에서는, 세그멘테이션 처리부(2804)가, 입력 화상의 촬영 조건에 기초하여 화상 세그멘테이션 처리에 사용할 화상 세그멘테이션 엔진을 선택하였지만, 화상 세그멘테이션 엔진의 선택 처리는 이것에 한정되지 않는다. 예를 들어, 출력부(2807)가, 취득한 입력 화상의 촬영 조건과 화상 세그멘테이션 엔진군을 표시부(2820)의 유저 인터페이스에 표시시켜도 된다. 또한, 검자로부터의 지시에 따라서, 세그멘테이션 처리부(2804)가 화상 세그멘테이션 처리에 사용할 화상 세그멘테이션 엔진을 선택해도 된다.
또한, 출력부(2807)는, 화상 세그멘테이션 엔진군과 함께 각 화상 세그멘테이션 엔진의 학습에 사용한 교사 데이터의 정보를 표시부(2820)에 표시시켜도 된다. 또한, 화상 세그멘테이션 엔진의 학습에 사용한 교사 데이터의 정보 표시 양태는 임의이면 되고, 예를 들어 학습에 사용한 교사 데이터에 관련되는 명칭을 사용하여 화상 세그멘테이션 엔진군을 표시해도 된다.
또한, 출력부(2807)가, 세그멘테이션 처리부(2804)에 의해 선택된 화상 세그멘테이션 엔진을 표시부(2820)의 유저 인터페이스에 표시시키고, 검자로부터의 지시를 접수해도 된다. 이 경우, 세그멘테이션 처리부(2804)는, 검자로부터의 지시에 따라서, 당해 화상 세그멘테이션 엔진을 화상 세그멘테이션 처리에 사용할 화상 세그멘테이션 엔진으로서 최종적으로 선택할지 여부를 판단해도 된다.
또한, 출력부(2807)는 실시예 8과 마찬가지로, 생성된 영역 라벨 화상이나 평가 결과를 촬영 장치(2810)나 화상 처리 장치(2800)에 접속되는 다른 장치로 출력해도 된다. 또한, 출력부(2807)는, 화상 처리 장치(2800)의 설정이나 실장 형태에 따라서는, 이들을 촬영 장치(2810)나 다른 장치가 이용 가능하도록 가공하거나, 화상 관리 시스템 등에 송신 가능하도록 데이터 형식을 변환하거나 해도 된다.
(실시예 10)
이어서, 도 28 및 도 33을 참조하여, 실시예 10에 관한 화상 처리 장치에 대하여 설명한다. 실시예 8 및 9에서는, 촬영 조건 취득부(2802)는 입력 화상의 데이터 구조 등으로부터 촬영 조건군을 취득한다. 이에 비해, 본 실시예에서는, 촬영 조건 취득부는, 촬영 개소 추정 엔진을 사용하여, 입력 화상의 촬영 부위 또는 촬영 영역을 입력 화상에 기초하여 추정한다.
특별히 명기하지 않는 한, 본 실시예에 관한 화상 처리 장치의 구성 및 처리는, 실시예 9에 관한 화상 처리 장치(2800)와 마찬가지이다. 그 때문에, 이하에서는, 본 실시예에 관한 화상 처리 장치에 대하여, 실시예 9에 관한 화상 처리 장치와의 차이를 중심으로 하여 설명한다. 또한, 본 실시예에 관한 화상 처리 장치의 구성은, 실시예 8 및 9에 관한 화상 처리 장치의 구성과 마찬가지이기 때문에, 도 28에 나타내는 구성에 대하여 동일한 참조 부호를 사용하여 나타내고, 설명을 생략한다.
본 실시예에 관한 촬영 조건 취득부(2802)는, 촬영 개소 추정 엔진(추정 엔진)을 사용하여, 취득부(2801)가 취득한 입력 화상에 묘화되어 있는 촬영 부위 또는 촬영 영역을 추정하여 취득한다. 본 실시예에 관한 촬영 개소 추정 엔진이 구비하는 촬영 개소의 추정 방법에서는, 기계 학습 알고리즘을 사용한 추정 처리를 행한다.
본 실시예에서는, 기계 학습 알고리즘을 사용한 촬영 개소 추정 방법에 관한 학습 완료 모델의 트레이닝에는, 화상인 입력 데이터와, 입력 데이터에 대응하는 촬영 부위 라벨인 출력 데이터의 페어군으로 구성된 교사 데이터를 사용한다. 여기서, 입력 데이터란, 처리 대상(입력 화상)으로서 상정되는 특정한 촬영 조건을 갖는 화상이다. 입력 데이터로서는, 촬영 장치(2810)와 동일한 화질 경향을 갖는 촬영 장치로부터 취득된 화상인 것이 바람직하고, 촬영 장치(2810)와 동일한 설정을 한 동일 기종이면 보다 좋다. 출력 데이터인 촬영 부위 라벨의 종류는, 입력 데이터에 적어도 일부가 포함되어 있는 촬영 부위이면 된다. 출력 데이터인 촬영 부위 라벨의 종류는, 예를 들어 “황반부”, “시신경 유두부”, “황반부 및 시신경 유두부”, 그리고 “기타” 등이면 된다.
본 실시예에 관한 촬영 개소 추정 엔진은, 이러한 교사 데이터를 사용한 학습을 행한 학습 완료 모델을 포함함으로써, 입력된 화상에 묘출되어 있는 촬영 부위나 촬영 영역이 어디인지를 출력할 수 있다. 또한, 촬영 개소 추정 엔진은, 필요한 상세 레벨의 촬영 부위 라벨이나 촬영 영역 라벨마다, 해당 촬영 부위나 촬영 영역인 확률을 출력할 수도 있다.
촬영 개소 추정 엔진을 사용함으로써, 촬영 조건 취득부(2802)는 입력 화상에 기초하여, 입력 화상의 촬영 부위나 촬영 영역을 추정하여, 입력 화상에 관한 촬영 조건으로서 취득할 수 있다. 또한, 촬영 개소 추정 엔진이 촬영 부위 라벨이나 촬영 영역 라벨마다, 해당 촬영 부위나 촬영 영역일 확률을 출력하는 경우에는, 촬영 조건 취득부(2802)는, 가장 확률이 높은 촬영 부위나 촬영 영역을 입력 화상의 촬영 조건으로서 취득한다.
이어서, 실시예 9와 마찬가지로, 도 33의 흐름도를 참조하여, 본 실시예에 관한 일련의 화상 처리에 대하여 설명한다. 또한, 본 실시예에 관한 스텝 S3310 및 스텝 S3330 내지 스텝 S3380의 처리는, 실시예 9에 있어서의 이들 처리와 마찬가지이기 때문에, 설명을 생략한다. 또한, 입력 화상에 대하여 무조건으로 화상 세그멘테이션 처리하는 경우에는, 스텝 S3320의 처리 후에, 스텝 S3330의 처리를 생략하고, 처리를 스텝 S3340으로 이행해도 된다.
스텝 S3310에 있어서 입력 화상이 취득되면, 처리는 스텝 S3320으로 이행한다. 스텝 S3320에서는, 촬영 조건 취득부(2802)가 스텝 S3310에 있어서 취득한 입력 화상의 촬영 조건군을 취득한다.
구체적으로는, 입력 화상의 데이터 형식에 따라서, 입력 화상을 구성하는 데이터 구조에 보존된 촬영 조건군을 취득한다. 또한, 촬영 조건군에 촬영 부위나 촬영 영역에 관한 정보가 포함되어 있지 않는 경우, 촬영 조건 취득부(2802)는 촬영 개소 추정 엔진에 입력 화상을 입력하고, 입력 화상이 어느 촬영 부위·촬영 영역을 촬영하여 취득된 것인지를 추정한다. 구체적으로는, 촬영 조건 취득부(2802)는 촬영 개소 추정 엔진에 입력 화상을 입력하고, 촬영 부위 라벨군 또는 촬영 영역 라벨군의 각각에 대하여 출력된 확률을 평가하고, 가장 확률이 높은 촬영 부위 또는 촬영 영역을 입력 화상의 촬영 조건으로서 설정·취득한다.
또한, 입력 화상에 촬영 부위나 촬영 영역 이외의 촬영 조건이 보존되어 있지 않는 경우에는, 촬영 조건 취득부(2802)는, 촬영 장치(2810)나 도시하지 않은 화상 관리 시스템으로부터 촬영 정보군을 취득할 수 있다. 이후의 처리는, 실시예 9에 관한 일련의 화상 처리와 마찬가지이기 때문에 설명을 생략한다.
상기한 바와 같이, 본 실시예에 관한 촬영 조건 취득부(2802)는, 학습 완료 모델을 포함하는 촬영 개소 추정 엔진을 사용하여, 입력 화상으로부터 촬영 부위 및 촬영 영역 중 적어도 한쪽을 추정하는 추정부로서 기능한다. 촬영 조건 취득부(2802)는, 촬영 부위나 촬영 영역의 라벨이 부여된 화상을 학습 데이터로 한 학습 완료 모델을 포함하는 촬영 개소 추정 엔진에 입력 화상을 입력함으로써, 입력 화상의 촬영 부위나 촬영 영역을 추정한다.
이에 의해, 본 실시예에 관한 화상 처리 장치(2800)는, 입력 화상의 촬영 부위나 촬영 영역에 관한 촬영 조건을 입력 화상에 기초하여 취득할 수 있다.
또한, 본 실시예에서는, 촬영 조건 취득부(2802)는, 촬영 조건군에 촬영 부위나 촬영 영역에 관한 정보가 포함되어 있지 않는 경우에 촬영 개소 추정 엔진을 사용하여 입력 화상의 촬영 부위나 촬영 영역에 대하여 추정을 행하였다. 그러나, 촬영 개소 추정 엔진을 사용하여 촬영 부위나 촬영 영역에 대하여 추정을 행하는 상황은 이것에 한정되지 않는다. 촬영 조건 취득부(2802)는, 입력 화상의 데이터 구조에 포함되는 촬영 부위나 촬영 영역에 관한 정보가, 필요한 상세 레벨의 정보로서 부족한 경우에도, 촬영 개소 추정 엔진을 사용하여 촬영 부위나 촬영 영역에 대하여 추정을 행해도 된다.
또한, 입력 화상의 데이터 구조에 촬영 부위나 촬영 영역에 관한 정보가 포함되어 있는지 여부와는 무관계로, 촬영 조건 취득부(2802)가 촬영 개소 추정 엔진을 사용하여 입력 화상의 촬영 부위나 촬영 영역을 추정해도 된다. 이 경우, 출력부(2807)가, 촬영 개소 추정 엔진으로부터 출력된 추정 결과와 입력 화상의 데이터 구조에 포함되는 촬영 부위나 촬영 영역에 관한 정보를 표시부(2820)에 표시시키고, 촬영 조건 취득부(2802)가 검자의 지시에 따라서 이들 촬영 조건을 결정해도 된다.
(실시예 11)
이어서, 도 28, 도 29, 도 34 및 도 35를 참조하여, 실시예 11에 관한 화상 처리 장치에 대하여 설명한다. 본 실시예에서는, 세그멘테이션 처리부가, 입력 화상을 화상 세그멘테이션 엔진이 대처 가능한 화상 사이즈가 되게, 입력 화상을 확대 또는 축소한다. 또한, 세그멘테이션 처리부는, 화상 세그멘테이션 엔진으로부터의 출력 화상을, 입력 화상의 화상 사이즈가 되게 축소 또는 확대하여 영역 라벨 화상을 생성한다.
특별히 명기하지 않는 한, 본 실시예에 관한 화상 처리 장치의 구성 및 처리는, 실시예 8에 관한 화상 처리 장치(2800)와 마찬가지이다. 그 때문에, 이하에서는, 본 실시예에 관한 화상 처리 장치에 대하여, 실시예 8에 관한 화상 처리 장치와의 차이를 중심으로 하여 설명한다. 또한, 본 실시예에 관한 화상 처리 장치의 구성은, 실시예 8에 관한 화상 처리 장치의 구성과 마찬가지이기 때문에, 도 28에 나타내는 구성에 대하여 동일한 참조 부호를 사용하여 나타내고, 설명을 생략한다.
본 실시예에 관한 세그멘테이션 처리부(2804)에는, 실시예 8에 관한 화상 세그멘테이션 엔진과 마찬가지의, 화상 세그멘테이션 엔진이 구비되어 있다. 단, 본 실시예에서는, 화상 세그멘테이션 엔진이 포함하는 기계 학습 모델의 학습에 사용하는 교사 데이터가 실시예 8에 있어서의 교사 데이터와 다르다. 구체적으로는, 본 실시예에서는, 교사 데이터로서, 입력 데이터의 화상 및 출력 데이터의 화상을 일정 화상 사이즈가 되게 확대 또는 축소한 화상군에 의해 구성한, 입력 데이터와 출력 데이터의 페어군을 사용하고 있다.
여기서, 도 34를 참조하여, 본 실시예에 관한 화상 세그멘테이션 엔진이 포함하는 학습 완료 모델의 교사 데이터에 대하여 설명한다. 도 34에 나타내는 바와 같이, 예를 들어 교사 데이터에 대하여 설정된 일정 화상 사이즈보다 작은 입력 화상 Im3410과 영역 라벨 화상 Im3420이 있는 경우를 생각한다. 이 경우, 교사 데이터에 대하여 설정된 일정 화상 사이즈가 되게, 입력 화상 Im3410 및 영역 라벨 화상 Im3420의 각각을 확대한다. 그리고, 확대한 화상 Im3411과 확대한 영역 라벨 화상 Im3421을 페어로 하여, 당해 페어를 교사 데이터의 하나로서 사용한다.
또한, 실시예 8과 마찬가지로, 교사 데이터의 입력 데이터에는, 처리 대상(입력 화상)으로서 상정되는 특정한 촬영 조건을 갖는 화상을 사용하지만, 당해 특정한 촬영 조건은, 미리 결정된 촬영 부위, 촬영 방식 및 촬영 화각이다. 즉, 본 실시예에 관한 당해 특정한 촬영 조건에는, 실시예 8과 달리, 화상 사이즈는 포함되지 않는다.
본 실시예에 관한 세그멘테이션 처리부(2804)는, 이러한 교사 데이터로 학습이 행해진 화상 세그멘테이션 엔진을 사용하여, 입력 화상을 화상 세그멘테이션 처리하여 영역 라벨 화상을 생성한다. 이 때, 세그멘테이션 처리부(2804)는, 입력 화상을 교사 데이터에 대하여 설정된 일정 화상 사이즈가 되게 확대 또는 축소한 변형 화상을 생성하고, 변형 화상을 화상 세그멘테이션 엔진에 입력한다.
또한, 세그멘테이션 처리부(2804)는, 화상 세그멘테이션 엔진으로부터의 출력 화상을 입력 화상의 화상 사이즈가 되게 축소 또는 확대하고, 영역 라벨 화상을 생성한다. 이 때문에, 본 실시예에 관한 세그멘테이션 처리부(2804)는, 실시예 8에서는 대처할 수 없었던 화상 사이즈의 입력 화상이어도, 화상 세그멘테이션 엔진을 사용하여 화상 세그멘테이션 처리하여 영역 라벨 화상을 생성할 수 있다.
이어서, 도 29 및 도 35를 참조하여, 본 실시예에 관한 일련의 화상 처리에 대하여 설명한다. 도 35는, 본 실시예에 관한 세그멘테이션 처리의 흐름도이다. 또한, 본 실시예에 관한 스텝 S2910, 스텝 S2920, 및 스텝 S2950 내지 스텝 S2970의 처리는, 실시예 8에 있어서의 이들 처리와 마찬가지이기 때문에, 설명을 생략한다. 또한, 입력 화상에 대하여, 화상 사이즈 이외의 촬영 조건에 대하여, 무조건으로 화상 세그멘테이션 처리하는 경우에는, 스텝 S2920의 처리 후에, 스텝 S2930의 처리를 생략하고, 처리를 스텝 S2940으로 이행해도 된다.
스텝 S2920에 있어서, 실시예 8과 마찬가지로, 촬영 조건 취득부(2802)가 입력 화상의 촬영 조건군을 취득하면 처리는 스텝 S2930으로 이행한다. 스텝 S2930에서는, 처리 가부 판정부(2803)가, 취득된 촬영 조건군을 사용하여, 화상 세그멘테이션 엔진에 의해 입력 화상을 대처 가능한지 여부를 판정한다. 구체적으로는, 처리 가부 판정부(2803)는, 입력 화상의 촬영 조건에 대하여, 화상 세그멘테이션 엔진이 대처 가능한, 촬영 부위, 촬영 방식 및 촬영 화각인지 여부를 판정한다. 처리 가부 판정부(2803)는, 실시예 8과 달리, 화상 사이즈는 판정하지 않는다.
처리 가부 판정부(2803)가, 촬영 부위, 촬영 방식 및 촬영 화각에 대하여 판정하여, 입력 화상이 대처 가능하다고 판정된 경우에는, 처리는 스텝 S2940으로 이행한다. 한편, 처리 가부 판정부(2803)가, 이들 촬영 조건에 기초하여, 화상 세그멘테이션 엔진이 입력 화상을 대처 불가능하다고 판정한 경우에는, 처리는 스텝 S2970으로 이행한다. 또한, 화상 처리 장치(2800)의 설정이나 실장 형태에 따라서는, 촬영 부위, 촬영 방식 및 촬영 화각 중 일부에 기초하여 입력 화상이 처리 불가능하다고 판정되었다고 해도, 스텝 S2940에 있어서의 화상 세그멘테이션 처리가 실시되어도 된다.
처리가 스텝 S2940으로 이행하면, 도 35에 나타나는 본 실시예에 관한 화상 세그멘테이션 처리가 개시된다. 본 실시예에 관한 화상 세그멘테이션 처리에서는, 먼저 스텝 S3510에 있어서, 세그멘테이션 처리부(2804)가, 입력 화상을 교사 데이터에 대하여 설정된 일정 화상 사이즈로 확대 또는 축소하여, 변형 화상을 생성한다.
이어서, 스텝 S3520에 있어서, 세그멘테이션 처리부(2804)는, 생성한 변형 화상을 화상 세그멘테이션 엔진에 입력하고, 화상 세그멘테이션 처리된 제1 영역 라벨 화상을 취득한다.
그 후, 스텝 S3530에 있어서, 세그멘테이션 처리부(2804)는, 제1 영역 라벨 화상을 입력 화상의 화상 사이즈로 축소 또는 확대하여, 최종적인 영역 라벨 화상을 생성한다. 세그멘테이션 처리부(2804)가 스텝 S3530에 있어서 최종적인 영역 라벨 화상을 생성하면, 본 실시예에 관한 화상 세그멘테이션 처리는 종료하고, 처리는 스텝 S2950으로 이행한다. 스텝 S2950 이후의 처리는, 실시예 8의 스텝 S2950 이후의 처리와 마찬가지이기 때문에 설명을 생략한다.
상기한 바와 같이, 본 실시예에 관한 세그멘테이션 처리부(2804)는, 입력 화상의 화상 사이즈를, 화상 세그멘테이션 엔진이 대처 가능한 화상 사이즈로 조정하여 화상 세그멘테이션 엔진에 입력한다. 또한, 세그멘테이션 처리부(2804)는, 화상 세그멘테이션 엔진으로부터의 출력 화상을 입력 화상의 원래의 화상 사이즈로 조정함으로써 영역 라벨 화상을 생성한다. 이에 의해, 본 실시예의 화상 처리 장치(2800)는, 실시예 8에서는 대응하지 않았던 화상 사이즈의 입력 화상에 대해서도 화상 세그멘테이션 처리하여, 화상 진단이나 화상 해석에 이용 가능한 ROI나 VOI의 정보를 포함하는 영역 라벨 화상을 생성할 수 있다.
(실시예 12)
이어서, 도 28, 도 29, 도 36 및 도 37을 참조하여, 실시예 12에 관한 화상 처리 장치에 대하여 설명한다. 본 실시예에서는, 세그멘테이션 처리부가, 화상 세그멘테이션 엔진에 의한 일정 해상도를 기준으로 한 화상 세그멘테이션 처리에 의해 영역 라벨 화상을 생성한다.
특별히 명기하지 않는 한, 본 실시예에 관한 화상 처리 장치의 구성 및 처리는, 실시예 8에 관한 화상 처리 장치(2800)와 마찬가지이다. 그 때문에, 이하에서는, 본 실시예에 관한 화상 처리 장치에 대하여, 실시예 8에 관한 화상 처리 장치와의 차이를 중심으로 하여 설명한다. 또한, 본 실시예에 관한 화상 처리 장치의 구성은, 실시예 8에 관한 화상 처리 장치의 구성과 마찬가지이기 때문에, 도 28에 나타내는 구성에 대하여 동일한 참조 부호를 사용하여 나타내고, 설명을 생략한다.
본 실시예에 관한 세그멘테이션 처리부(2804)에는, 실시예 8과 마찬가지의, 화상 세그멘테이션 엔진이 구비되어 있다. 단, 본 실시예에서는, 화상 세그멘테이션 엔진이 포함하는 기계 학습 모델의 학습에 사용하는 교사 데이터가 실시예 8에 있어서의 교사 데이터와 다르다. 구체적으로는, 교사 데이터의 입력 데이터와 출력 데이터의 페어군을 구성하는 화상군의 해상도가 일정 해상도가 되는 화상 사이즈로 당해 화상군을 확대 또는 축소한 후, 충분히 큰 일정 화상 사이즈가 되게 패딩하고 있다. 여기서, 화상군의 해상도란, 예를 들어 촬영 장치의 공간 분해능이나 촬영 영역에 대한 해상도를 말한다.
여기서, 도 36을 참조하여, 본 실시예에 관한 화상 세그멘테이션 엔진의 교사 데이터에 대하여 설명한다. 도 36에 나타내는 바와 같이, 예를 들어 교사 데이터에 대하여 설정된 일정 해상도보다 낮은 해상도를 갖는 화상 Im3610과 영역 라벨 화상 Im3620이 있는 경우를 생각한다. 이 경우, 교사 데이터에 대하여 설정된 일정 해상도가 되게, 화상 Im3610과 영역 라벨 화상 Im3620의 각각을 확대한다. 또한, 확대된 화상 Im3610과 영역 라벨 화상 Im3620의 각각에 대하여 교사 데이터에 대하여 설정된 일정 화상 사이즈가 되게 패딩한다. 그리고, 확대 및 패딩이 행해진 화상 Im3611과 영역 라벨 화상 Im3621을 페어로 하고, 당해 페어를 교사 데이터의 하나로서 사용한다.
또한, 교사 데이터에 대하여 설정된 일정 화상 사이즈란, 처리 대상(입력 화상)으로서 상정되는 화상을 일정 해상도가 되게 확대 또는 축소하였을 때의 최대가 될 수 있는 화상 사이즈이다. 당해 일정 화상 사이즈가 충분히 크지 않을 경우에는, 화상 세그멘테이션 엔진에 입력된 화상을 확대하였을 때, 학습 완료 모델이 대처 불가능한 화상 사이즈가 될 가능성이 있다.
또한, 패딩이 행해지는 영역은, 효과적으로 화상 세그멘테이션 처리할 수 있도록 학습 완료 모델의 특성에 맞추어, 일정 화소값으로 채우거나, 근방 화소값으로 채우거나, 미러 패딩하거나 한다. 또한, 실시예 8과 마찬가지로, 입력 데이터에는, 처리 대상으로서 상정되는 특정한 촬영 조건을 갖는 화상을 사용하지만, 당해 특정한 촬영 조건은, 미리 결정된 촬영 부위, 촬영 방식, 촬영 화각이다. 즉, 본 실시예에 관한 당해 특정한 촬영 조건에는, 실시예 8과 달리, 화상 사이즈는 포함되지 않는다.
본 실시예에 관한 세그멘테이션 처리부(2804)는, 이러한 교사 데이터로 학습이 행해진 학습 완료 모델을 포함하는 화상 세그멘테이션 엔진을 사용하여, 입력 화상을 화상 세그멘테이션 처리하여 영역 라벨 화상을 생성한다. 이 때, 세그멘테이션 처리부(2804)는, 입력 화상을 교사 데이터에 대하여 설정된 일정 해상도가 되게 확대 또는 축소한 변형 화상을 생성한다. 또한, 세그멘테이션 처리부(2804)는, 변형 화상에 대하여, 교사 데이터에 대하여 설정된 일정 화상 사이즈가 되게 패딩을 행하여 패딩 화상을 생성하여, 패딩 화상을 화상 세그멘테이션 엔진에 입력한다.
또한, 세그멘테이션 처리부(2804)는, 화상 세그멘테이션 엔진으로부터 출력된 제1 영역 라벨 화상에 대하여, 패딩을 행한 영역분만 트리밍하고, 제2 영역 라벨 화상을 생성한다. 그 후, 세그멘테이션 처리부(2804)는, 생성한 제2 영역 라벨 화상을 입력 화상의 화상 사이즈가 되게 축소 또는 확대하여, 최종적인 영역 라벨 화상을 생성한다.
이 때문에, 본 실시예에 관한 세그멘테이션 처리부(2804)는, 실시예 8에서는 대처할 수 없었던 화상 사이즈의 입력 화상이어도, 화상 세그멘테이션 엔진에 의해 화상 세그멘테이션 처리하여 영역 라벨 화상을 생성할 수 있다.
이어서, 도 29 및 도 37을 참조하여, 본 실시예에 관한 일련의 화상 처리에 대하여 설명한다. 도 37은, 본 실시예에 관한 화상 세그멘테이션 처리의 흐름도이다. 또한, 본 실시예에 관한 스텝 S2910, 스텝 S2920 및 스텝 S2950 내지 스텝 S2970의 처리는, 실시예 8에 있어서의 이들 처리와 마찬가지이기 때문에, 설명을 생략한다. 또한, 입력 화상에 대하여, 화상 사이즈 이외의 촬영 조건에 대하여, 무조건으로 화상 세그멘테이션 처리하는 경우에는, 스텝 S2920의 처리 후에, 스텝 S2930의 처리를 생략하고, 처리를 스텝 S2940으로 이행해도 된다.
스텝 S2920에 있어서, 실시예 8과 마찬가지로, 촬영 조건 취득부(2802)가 입력 화상의 촬영 조건군을 취득하면, 처리는 스텝 S2930으로 이행한다. 스텝 S2930에서는, 처리 가부 판정부(2803)가, 취득된 촬영 조건군을 사용하여, 화상 세그멘테이션 엔진에 의해 입력 화상을 대처 가능한지 여부를 판정한다. 구체적으로는, 처리 가부 판정부(2803)는, 입력 화상의 촬영 조건에 대하여, 화상 세그멘테이션 엔진이 대처 가능한, 촬영 부위, 촬영 방식 및 촬영 화각인지 여부를 판정한다. 처리 가부 판정부(2803)는, 실시예 8과 달리, 화상 사이즈는 판정하지 않는다.
처리 가부 판정부(2803)가, 촬영 부위, 촬영 방식 및 촬영 화각에 대하여 판정하여, 입력 화상이 대처 가능하다고 판정된 경우에는, 처리는 스텝 S2940으로 이행한다. 한편, 처리 가부 판정부(2803)가, 이들 촬영 조건에 기초하여, 화상 세그멘테이션 엔진이 입력 화상을 대처 불가능하다고 판정한 경우에는, 처리는 스텝 S2970으로 이행한다. 또한, 화상 처리 장치(2800)의 설정이나 실장 형태에 따라서는, 촬영 부위, 촬영 방식 및 촬영 화각 중 일부에 기초하여 입력 화상이 처리 불가능하다고 판정되었다고 해도, 스텝 S2940에 있어서의 화상 세그멘테이션 처리가 실시되어도 된다.
처리가 스텝 S2940으로 이행하면, 도 37에 나타나는 본 실시예에 관한 화상 세그멘테이션 처리가 개시된다. 본 실시예에 관한 화상 세그멘테이션 처리에서는, 먼저 스텝 S3710에 있어서, 세그멘테이션 처리부(2804)가, 입력 화상을 교사 데이터에 대하여 설정된 일정 해상도가 되게 확대 또는 축소하여, 변형 화상을 생성한다.
이어서, 스텝 S3720에 있어서, 세그멘테이션 처리부(2804)는, 생성한 변형 화상에 대하여, 교사 데이터에 대하여 설정된 화상 사이즈가 되게, 패딩을 행하여 패딩 화상을 생성한다. 이 때, 세그멘테이션 처리부(2804)는, 패딩을 행하는 영역에 대하여, 효과적으로 화상 세그멘테이션 처리할 수 있도록 학습 완료 모델의 특성에 맞추어, 일정 화소값으로 채우거나, 근방 화소값으로 채우거나, 미러 패딩하거나 한다.
스텝 S3730에서는, 세그멘테이션 처리부(2804)가 패딩 화상을 화상 세그멘테이션 엔진에 입력하여 화상 세그멘테이션 처리된 제1 영역 라벨 화상을 취득한다.
이어서, 스텝 S3740에 있어서, 세그멘테이션 처리부(2804)는, 제1 영역 라벨 화상에 대하여, 스텝 S3720에서 패딩을 행한 영역분만 트리밍을 행하여, 제2 영역 라벨 화상을 생성한다.
그 후, 스텝 S3750에 있어서, 세그멘테이션 처리부(2804)는, 제2 영역 라벨 화상을 입력 화상의 화상 사이즈로 축소 또는 확대하여, 최종적인 영역 라벨 화상을 생성한다. 세그멘테이션 처리부(2804)가 스텝 S3750에 있어서 최종적인 영역 라벨 화상을 생성하면, 본 실시예에 관한 화상 세그멘테이션 처리는 종료하고, 처리는 스텝 S2950으로 이행한다. 스텝 S2950 이후의 처리는, 실시예 8의 스텝 S2950 이후의 처리와 마찬가지이기 때문에 설명을 생략한다.
상기한 바와 같이 본 실시예에 의한 세그멘테이션 처리부(2804)는, 입력 화상의 해상도가 소정의 해상도가 되게, 입력 화상의 화상 사이즈를 조정한다. 또한, 세그멘테이션 처리부(2804)는, 화상 사이즈가 조정된 입력 화상에 대하여, 화상 세그멘테이션 엔진에 의해 대처 가능한 화상 사이즈가 되게, 패딩을 행한 화상을 생성하여, 화상 세그멘테이션 엔진에 입력한다. 그 후, 세그멘테이션 처리부(2804)는, 화상 세그멘테이션 엔진으로부터의 출력 화상에 대하여, 패딩을 행한 영역분만 트리밍을 행한다. 그리고, 세그멘테이션 처리부(2804)는, 트리밍이 행해진 화상의 화상 사이즈를, 입력 화상의 원래의 화상 사이즈로 조정함으로써 영역 라벨 화상을 생성한다.
이에 의해, 본 실시예의 세그멘테이션 처리부(2804)는, 실시예 8에서는 대처할 수 없었던 화상 사이즈의 입력 화상이어도, 화상 세그멘테이션 엔진에 의해 화상 세그멘테이션 처리하여 영역 라벨 화상을 생성할 수 있다. 또한, 해상도를 기준으로 한 교사 데이터로 학습한 화상 세그멘테이션 엔진을 사용함으로써, 동일 화상 사이즈의 화상을 처리하는 실시예 10에 관한 화상 세그멘테이션 엔진보다 효율적으로 입력 화상을 화상 세그멘테이션 처리할 수 있는 경우가 있다.
(실시예 13)
이어서, 도 28, 도 29 및 도 38 내지 도 40을 참조하여, 실시예 13에 관한 화상 처리 장치에 대하여 설명한다. 본 실시예에서는, 세그멘테이션 처리부가, 입력 화상을 일정 화상 사이즈의 영역마다 화상 세그멘테이션 처리함으로써 영역 라벨 화상을 생성한다.
특별히 명기하지 않는 한, 본 실시예에 관한 화상 처리 장치의 구성 및 처리는, 실시예 8에 관한 화상 처리 장치(2800)와 마찬가지이다. 그 때문에, 이하에서는, 본 실시예에 관한 화상 처리 장치에 대하여, 실시예 8에 관한 화상 처리 장치와의 차이를 중심으로 하여 설명한다. 또한, 본 실시예에 관한 화상 처리 장치의 구성은, 실시예 8에 관한 화상 처리 장치의 구성과 마찬가지이기 때문에, 도 28에 나타내는 구성에 대하여 동일한 참조 부호를 사용하여 나타내고, 설명을 생략한다.
본 실시예에 관한 세그멘테이션 처리부(2804)에는, 실시예 8과 마찬가지의, 화상 세그멘테이션 엔진이 구비되어 있다. 단, 본 실시예에서는, 화상 세그멘테이션 엔진이 포함하는 기계 학습 모델의 학습에 사용하는 교사 데이터가 실시예 8에 있어서의 교사 데이터와 다르다. 구체적으로는, 교사 데이터를 구성하는, 입력 화상인 입력 데이터와, 입력 화상에 대응하는 영역 라벨 화상인 출력 데이터의 페어군을, 입력 화상과 영역 라벨 화상에 있어서의, 위치 관계가 대응하는 일정 화상 사이즈의 직사각형 영역 화상에 의해 구성하고 있다.
여기서, 도 38을 참조하여, 본 실시예에 관한 화상 세그멘테이션 엔진의 교사 데이터에 대하여 설명한다. 도 38에 나타내는 바와 같이, 교사 데이터를 구성하는 페어군의 하나에 관하여, 예를 들어 입력 화상인 화상 Im3810과, 대응하는 영역 라벨 화상인 영역 라벨 화상 Im3820이 있는 것으로 한 경우를 생각한다. 이 경우, 실시예 8에 있어서는, 교사 데이터의 입력 데이터를 화상 Im3810, 출력 데이터를 영역 라벨 화상 Im3820이라 하였다.
이에 비하여, 본 실시예에서는, 화상 Im3810 중 직사각형 영역 화상 R3811을 입력 데이터로 하고, 영역 라벨 화상 Im3820에 있어서 직사각형 영역 화상 R3811과 동일한(대응하는) 촬영 영역인 직사각형 영역 화상 R3821을 출력 데이터로 한다. 그리고, 입력 데이터인 직사각형 영역 화상 R3811과 출력 데이터인 직사각형 영역 화상 R3821에 의해 교사 데이터의 페어(이하, 제1 직사각형 영역 화상 페어)를 구성한다.
여기서, 직사각형 영역 화상 R3811과 직사각형 영역 화상 R3821은, 일정 화상 사이즈의 화상이 된다. 또한, 화상 Im3810과 영역 라벨 화상 Im3820은 임의 방법에 의해 위치 정렬되어도 된다. 또한, 직사각형 영역 화상 R3811과 직사각형 영역 화상 R3821이 대응하는 위치 관계는 템플릿 매칭 등의 임의 방법에 의해 특정되어도 된다. 또한, 화상 세그멘테이션 엔진이 포함하는 기계 학습 모델의 설계에 따라서는, 입력 데이터와 출력 데이터의, 각각의 화상 사이즈나 차원수는 달라도 된다. 예를 들어, 입력 데이터가 B 스캔 화상(이차원 화상)의 일부이며, 출력 데이터가 A 스캔 화상(일차원)의 일부로 하는 경우이다.
전술한 일정 화상 사이즈는, 예를 들어 처리 대상(입력 화상)으로서 상정되는 화상의 화상 사이즈군에 대하여, 대응하는 각 차원의 화소수군의 공약수로부터 결정할 수 있다. 이 경우, 화상 세그멘테이션 엔진이 출력하는 직사각형 영역 화상군의 위치 관계가 겹치는 것을 방지해도 된다.
구체적으로는, 예를 들어 처리 대상으로서 상정되는 화상이 이차원 화상이며, 화상 사이즈군 중 제1 화상 사이즈가 폭 500 화소, 높이 500 화소이며, 제2 화상 사이즈가 폭 100 화소, 높이 100 화소인 경우를 생각한다. 여기서, 각 변의 공약수로부터, 직사각형 영역 화상 R3811, R3821에 관한 일정 화상 사이즈를 선택한다. 이 경우에는, 예를 들어 일정 화상 사이즈를, 폭 100 화소, 높이 100 화소나, 폭 50 화소, 높이 50 화소나, 폭 25 화소, 높이 25 화소 등으로부터 선택한다. 처리 대상으로서 상정되는 화상이 삼차원인 경우에는, 폭, 높이, 깊이에 대하여 화소수를 결정한다.
또한, 직사각형 영역은, 입력 데이터에 대응하는 화상과 출력 데이터에 대응하는 영역 라벨 화상의 페어의 하나에 대하여, 복수 설정 가능하다. 이를 위해, 예를 들어 화상 Im3810 중 직사각형 영역 화상 R3812를 입력 데이터, 영역 라벨 화상 Im3820에 있어서 직사각형 영역 화상 R3812와 동일한 촬영 영역인 직사각형 영역 화상 R3822를 출력 데이터로 한다. 그리고, 입력 데이터인 직사각형 영역 화상 R3812와 출력 데이터인 직사각형 영역 화상 R3822에 의해 교사 데이터의 페어를 구성한다. 이에 의해, 제1 직사각형 영역 화상 페어와는 다른 직사각형 영역 화상 페어를 제작할 수 있다.
또한, 직사각형 영역의 화상을 다른 좌표의 화상으로 바꾸면서 다수의 직사각형 영역 화상의 페어를 제작함으로써 교사 데이터를 구성하는 페어군을 충실하게 할 수 있다. 그리고, 당해 교사 데이터를 구성하는 페어군을 사용하여 트레이닝을 행한 화상 세그멘테이션 엔진에 의해 효율적인 화상 세그멘테이션 처리를 기대할 수 있다. 단, 학습 완료 모델의 화상 세그멘테이션 처리에 기여하지 않는 페어는 교사 데이터에 부가하지 않도록 할 수 있다.
또한, 교사 데이터의 입력 데이터 및 출력 데이터로서는, 하나의 층이나 하나의 라벨이 부여된 영역을 묘화하는 화상을 교사 데이터로서 사용할 수 있다. 또한, 교사 데이터의 입력 데이터 및 출력 데이터로서, 복수의 층, 예를 들어 2개의 층, 보다 바람직하게는 3개 이상의 층을 묘화하는 영역의 화상을 사용할 수도 있다. 마찬가지로, 영역 라벨 화상에 있어서 라벨이 나뉘는 영역을 복수 묘화하는 영역의 화상을 사용할 수도 있다. 이들 경우에는, 하나의 층이나 하나의 라벨이 부여되는 영역을 묘화하는 화상을 교사 데이터로서 사용하는 경우에 비해, 학습한 층이나 영역에 관한 위치 관계로부터, 학습 완료 모델을 사용하여 보다 적절하게 화상 세그멘테이션 처리를 행할 수 있게 될 것을 기대할 수 있다.
또한, 예를 들어 페어인, 입력 화상으로부터 제작한 직사각형 영역 화상과 영역 라벨 화상으로부터 제작한 직사각형 영역 화상으로 묘화되는 촬영 대상의 구조나 위치가 크게 다른 경우를 생각한다. 이 경우에는, 그러한 교사 데이터를 사용하여 학습을 행한 화상 세그멘테이션 엔진이 정밀도가 낮은 영역 라벨 화상을 출력해버릴 가능성이 있다. 그 때문에, 이러한 페어를 교사 데이터로부터 제거할 수도 있다.
또한, 실시예 8과 마찬가지로, 교사 데이터의 입력 데이터에는, 처리 대상으로서 상정되는 특정한 촬영 조건을 갖는 화상을 사용하지만, 당해 특정한 촬영 조건은, 미리 결정된 촬영 부위, 촬영 방식 및 촬영 화각이다. 즉, 본 실시예에 관한 당해 특정한 촬영 조건에는, 실시예 8과 달리, 화상 사이즈는 포함되지 않는다.
본 실시예에 관한 세그멘테이션 처리부(2804)는, 이러한 교사 데이터로 학습이 행해진 화상 세그멘테이션 엔진을 사용하여, 입력 화상을 화상 세그멘테이션 처리하여 영역 라벨 화상을 생성한다. 이 때, 세그멘테이션 처리부(2804)는, 입력된 화상을, 간극없이 연속되는, 교사 데이터에 대하여 설정된 일정 화상 사이즈의 직사각형 영역 화상군으로 분할한다. 세그멘테이션 처리부(2804)는, 화상 세그멘테이션 엔진을 사용하여, 분할한 직사각형 영역 화상군의 각각을 화상 세그멘테이션 처리하여, 분할된 영역 라벨 화상군을 생성한다. 그 후, 세그멘테이션 처리부(2804)는, 생성한 분할된 영역 라벨 화상군을, 입력 화상의 위치 관계에 따라서 배치하고 결합하여, 최종적인 영역 라벨 화상을 생성한다.
이와 같이, 본 실시예의 세그멘테이션 처리부(2804)는, 입력된 화상을 직사각형 영역 단위로 화상 세그멘테이션 처리하고, 화상 세그멘테이션 처리한 화상을 결합한다. 이에 의해, 실시예 8에서는 대응하지 않았던 화상 사이즈의 화상도 화상 세그멘테이션 처리하여 영역 라벨 화상을 생성할 수 있다.
이어서, 도 29, 도 39 및 도 40을 참조하여, 본 실시예에 관한 일련의 화상 처리에 대하여 설명한다. 도 39는, 본 실시예에 관한 화상 세그멘테이션 처리의 흐름도이다. 또한, 본 실시예에 관한 스텝 S2910, 스텝 S2920 및 스텝 S2950 내지 스텝 S2970의 처리는, 실시예 8에 있어서의 이들 처리와 마찬가지이기 때문에, 설명을 생략한다. 또한, 입력 화상에 대하여, 화상 사이즈 이외의 촬영 조건에 대하여, 무조건으로 화상 세그멘테이션 처리하는 경우에는, 스텝 S2920의 처리 후에, 스텝 S2930의 처리를 생략하고, 처리를 스텝 S2940으로 이행해도 된다.
스텝 S2920에 있어서, 실시예 8과 마찬가지로, 촬영 조건 취득부(2802)가 입력 화상의 촬영 조건군을 취득하면, 처리는 스텝 S2930으로 이행한다. 스텝 S2930에서는, 처리 가부 판정부(2803)가, 취득된 촬영 조건군을 사용하여, 화상 세그멘테이션 엔진에 의해 입력 화상을 대처 가능한지 여부를 판정한다. 구체적으로는, 처리 가부 판정부(2803)는, 입력 화상의 촬영 조건에 대하여, 화상 세그멘테이션 엔진이 대처 가능한, 촬영 부위, 촬영 방식 및 촬영 화각인지 여부를 판정한다. 처리 가부 판정부(2803)는, 실시예 8과 달리, 화상 사이즈는 판정하지 않는다.
처리 가부 판정부(2803)가, 촬영 부위, 촬영 방식 및 촬영 화각에 대하여 판정하여, 입력 화상이 대처 가능하다고 판정된 경우에는, 처리는 스텝 S2940으로 이행한다. 한편, 처리 가부 판정부(2803)가, 이들 촬영 조건에 기초하여, 화상 세그멘테이션 엔진이 입력 화상을 대처 불가능하다고 판정한 경우에는, 처리는 스텝 S2970으로 이행한다. 또한, 화상 처리 장치(2800)의 설정이나 실장 형태에 따라서는, 촬영 부위, 촬영 방식 및 촬영 화각 중 일부에 기초하여 입력 화상이 처리 불가능하다고 판정되었다고 해도, 스텝 S2940에 있어서의 화상 세그멘테이션 처리가 실시되어도 된다.
처리가 스텝 S2940으로 이행하면, 도 39에 나타나는 본 실시예에 관한 화상 세그멘테이션 처리가 개시된다. 본 실시예에 관한 화상 세그멘테이션 처리에서는, 먼저 스텝 S3910에 있어서, 도 40에 나타내는 바와 같이, 입력 화상을 간극없이 연속되는, 교사 데이터에 대하여 설정된 일정 화상 사이즈의 직사각형 영역 화상군으로 분할한다. 여기서, 도 40은, 입력 화상 Im4010을 일정 화상 사이즈의 직사각형 영역 화상 R4011 내지 R4026군으로 분할한 일례를 나타낸다. 또한, 화상 세그멘테이션 엔진이 포함하는 기계 학습 모델의 설계에 따라서는, 입력 화상과 출력 화상의, 각각의 화상 사이즈나 차원수가 달라도 된다. 그 경우에는, 스텝 S3920에 있어서 생성되는 결합된 영역 라벨 화상에 결손이 없도록, 전술한 입력 화상의 분할 위치를 중복시키거나, 분리시키거나 하여 조정한다.
이어서, 스텝 S3920에 있어서, 세그멘테이션 처리부(2804)는, 직사각형 영역 화상 R4011 내지 R4026군의 각각을 화상 세그멘테이션 엔진에 의해 화상 세그멘테이션 처리하여, 분할된 영역 라벨 화상군을 생성한다.
그리고, 스텝 S3930에 있어서, 세그멘테이션 처리부(2804)는, 생성한 분할된 영역 라벨 화상군의 각각을, 입력 화상에 대하여 분할한 직사각형 영역 화상 R4011 내지 R4026군의 각각과 동일한 위치 관계로 배치하여 결합한다. 이에 의해, 세그멘테이션 처리부(2804)는 영역 라벨 화상을 생성할 수 있다.
세그멘테이션 처리부(2804)가 스텝 S3930에 있어서 영역 라벨 화상을 생성하면, 본 실시예에 관한 화상 세그멘테이션 처리는 종료하고, 처리는 스텝 S2950으로 이행한다. 스텝 S2950 이후의 처리는, 실시예 8의 스텝 S2950 이후의 처리와 마찬가지이기 때문에 설명을 생략한다.
상기한 바와 같이, 본 실시예에 관한 세그멘테이션 처리부(2804)는, 입력 화상을 소정의 화상 사이즈의 복수의 직사각형 영역 화상 R4011 내지 R4026으로 분할한다. 그 후, 세그멘테이션 처리부(2804)는, 분할한 복수의 직사각형 영역 화상 R4011 내지 R4026을 화상 세그멘테이션 엔진에 입력하여 복수의 분할 영역 라벨 화상을 생성하고, 복수의 분할 영역 라벨 화상을 통합함으로써, 영역 라벨 화상을 생성한다. 또한, 통합 시에 직사각형 영역군간에서 위치 관계가 겹칠 경우에는, 해당 직사각형 영역군의 화소값군을 통합하거나, 덮어쓰기하거나 한다.
이에 의해, 본 실시예의 세그멘테이션 처리부(2804)는, 실시예 8에서는 대처할 수 없었던 화상 사이즈의 입력 화상이어도, 화상 세그멘테이션 엔진을 사용하여 화상 세그멘테이션 처리하여 영역 라벨 화상을 생성할 수 있다. 또한, 교사 데이터를, 소정의 화상 크기로 분할한 복수의 화상으로부터 제작하면, 적은 화상으로부터 많은 교사 데이터를 제작할 수 있다. 그 때문에, 이 경우에는, 교사 데이터를 제작하기 위한 입력 화상과 영역 라벨 화상의 수를 적게 할 수 있다.
또한, 본 실시예에 관한 화상 세그멘테이션 엔진이 포함하는 학습 완료 모델은, 2개 이상의 층을 포함하는 단층 화상을 입력 데이터로 하고, 해당 단층 화상에 대응하는 영역 라벨 화상을 출력 데이터로 하여 학습을 행한 모델이다. 이 때문에, 하나의 층이나 하나의 라벨이 부여되는 영역을 묘화하는 화상을 교사 데이터로서 사용하는 경우에 비해, 학습한 층이나 영역에 관한 위치 관계로부터, 학습 완료 모델을 사용하여 보다 적절하게 화상 세그멘테이션 처리를 행할 수 있게 될 것을 기대할 수 있다.
(실시예 14)
이어서, 도 28, 도 41 및 도 42를 참조하여, 실시예 14에 관한 화상 처리 장치에 대하여 설명한다. 본 실시예에서는, 평가부가 검자의 지시에 따라서, 복수의 화상 세그멘테이션 엔진으로부터 출력된 복수의 영역 라벨 화상 중 가장 정밀도가 높은 영역 라벨 화상을 선택한다.
특별히 명기하지 않는 한, 본 실시예에 관한 화상 처리 장치의 구성 및 처리는, 실시예 8에 관한 화상 처리 장치(2800)와 마찬가지이다. 그 때문에, 이하에서는, 본 실시예에 관한 화상 처리 장치에 대하여, 실시예 8에 관한 화상 처리 장치와의 차이를 중심으로 하여 설명한다. 또한, 본 실시예에 관한 화상 처리 장치의 구성은, 실시예 8에 관한 화상 처리 장치의 구성과 마찬가지이기 때문에, 도 28에 나타내는 구성에 대하여 동일한 참조 부호를 사용하여 나타내고, 설명을 생략한다.
본 실시예에 관한 세그멘테이션 처리부(2804)는, 다른 교사 데이터를 사용하여 기계 학습이 행해진 각각의 학습 완료 모델을 포함하는 2개 이상의 화상 세그멘테이션 엔진을 사용하여, 입력 화상에 대하여 화상 세그멘테이션 처리를 행한다.
여기서, 본 실시예에 관한 교사 데이터군의 제작 방법에 대하여 설명한다. 구체적으로는, 먼저, 각종 촬영 조건에 의해 촬영된 화상인 입력 데이터와 영역 라벨 화상인 출력 데이터의 페어군을 준비한다. 이어서, 임의의 촬영 조건의 조합에 의해 페어군을 그룹으로 분류함으로써, 교사 데이터군을 제작한다. 예를 들어, 제1 촬영 조건의 조합에 의해 취득된 페어군으로 구성되는 제1 교사 데이터, 제2 촬영 조건의 조합에 의해 취득된 페어군으로 구성되는 제2 교사 데이터와 같은 방식으로, 교사 데이터군으로서 제작한다.
그 후, 각 교사 데이터를 사용하여, 별도의 화상 세그멘테이션 엔진에 포함되는 기계 학습 모델에 기계 학습을 행하게 한다. 예를 들어, 제1 교사 데이터로부터 트레이닝된 학습 완료 모델을 포함하는 제1 화상 세그멘테이션 엔진을 준비한다. 덧붙여, 제2 교사 데이터로부터 트레이닝된 학습 완료 모델에 대응하는 제2 화상 세그멘테이션 엔진을 준비하도록 화상 세그멘테이션 엔진군을 준비한다.
이러한 화상 세그멘테이션 엔진은, 각각이 포함하는 학습 완료 모델의 트레이닝에 사용한 교사 데이터가 다르다. 그 때문에, 이러한 화상 세그멘테이션 엔진은, 화상 세그멘테이션 엔진에 입력되는 화상의 촬영 조건에 의해, 입력 화상을 화상 세그멘테이션 처리할 수 있는 정밀도가 다르다. 구체적으로는, 제1 화상 세그멘테이션 엔진은, 제1 촬영 조건의 조합으로 촬영하여 취득된 입력 화상에 대하여는 화상 세그멘테이션 처리의 정밀도가 높다. 한편, 제1 화상 세그멘테이션 엔진은, 제2 촬영 조건의 조합으로 촬영하여 취득된 화상에 대하여는 화상 세그멘테이션 처리의 정밀도가 낮다. 마찬가지로, 제2 화상 세그멘테이션 엔진은, 제2 촬영 조건의 조합으로 촬영하여 취득된 입력 화상에 대하여는 화상 세그멘테이션 처리의 정밀도가 높다. 한편, 제2 화상 세그멘테이션 엔진은, 제1 촬영 조건의 조합으로 촬영하여 취득된 화상에 대하여는 화상 세그멘테이션 처리의 정밀도가 낮다.
교사 데이터의 각각이 촬영 조건의 조합에 의해 그룹으로 분류된 페어군으로 구성됨으로써, 해당 페어군을 구성하는 화상군의 화질 경향이 유사하다. 이 때문에, 화상 세그멘테이션 엔진은 대응하는 촬영 조건의 조합이면, 실시예 8에 관한 화상 세그멘테이션 엔진보다도 고정밀도로 화상 세그멘테이션 처리를 행할 수 있다. 또한, 교사 데이터의 페어를 그룹으로 분류하기 위한 촬영 조건의 조합은, 임의이면 되고, 예를 들어 촬영 부위, 촬영 화각 및 화상의 해상도 중 2개 이상의 조합이면 된다. 또한, 교사 데이터의 그루핑을, 실시예 9와 마찬가지로, 하나의 촬영 조건에 기초하여 행해도 된다.
평가부(2805)는, 세그멘테이션 처리부(2804)가, 복수의 화상 세그멘테이션 엔진을 사용하여 생성한 복수의 영역 라벨 화상에 대하여, 실시예 8과 마찬가지로 평가를 행한다. 그 후, 평가부(2805)는, 평가 결과가 참값인 영역 라벨 화상이 복수인 경우, 검자의 지시에 따라서, 당해 복수의 영역 라벨 화상 중 가장 정밀도가 높은 영역 라벨 화상을 선택하고, 출력할 영역 라벨 화상으로서 판단한다. 또한, 평가부(2805)는 실시예 8과 마찬가지로, 학습 완료 모델을 포함하는 영역 라벨 화상 평가 엔진을 사용하여 평가를 행해도 되고, 지식 베이스의 영역 라벨 화상 평가 엔진을 사용하여 평가를 행해도 된다.
해석부(2806)는, 평가부(2805)에 의해 출력할 영역 라벨 화상으로서 판단된 영역 라벨 화상과 입력 화상을 사용하여, 입력 화상에 대하여 실시예 8과 마찬가지로 화상 해석 처리를 행한다. 출력부(2807)는, 출력할 영역 라벨 화상으로서 판단된 영역 라벨 화상이나 해석 결과를, 실시예 8과 마찬가지로, 표시부(2820)에 표시시키거나, 다른 장치로 출력하거나 할 수 있다. 또한, 출력부(2807)는, 평가 결과가 참값인 복수의 영역 라벨 화상을 표시부(2820)에 표시시킬 수 있고, 평가부(2805)는, 표시부(2820)를 확인한 검자로부터의 지시에 따라서 가장 정밀도가 높은 영역 라벨 화상을 선택할 수 있다.
이에 의해, 화상 처리 장치(2800)는, 복수의 화상 세그멘테이션 엔진을 사용하여 생성된 복수의 영역 라벨 화상 중, 검자의 지시에 따른 가장 정밀도가 높은 영역 라벨 화상을 출력할 수 있다.
이하, 도 41 및 도 42를 참조하여, 본 실시예에 관한 일련의 화상 처리에 대하여 설명한다. 도 41은, 본 실시예에 관한 일련의 화상 처리의 흐름도이다. 또한, 본 실시예에 관한 스텝 S4110 및 스텝 S4120의 처리는, 실시예 8에 있어서의 스텝 S2910 및 스텝 S2920에서의 처리와 마찬가지이기 때문에, 설명을 생략한다. 또한, 입력 화상에 대하여, 촬영 조건에 대하여 무조건으로 화상 세그멘테이션 처리하는 경우에는, 스텝 S4120의 처리 후에, 스텝 S4130의 처리를 생략하고, 처리를 스텝 S4140으로 이행해도 된다.
스텝 S4120에 있어서, 실시예 8과 마찬가지로, 촬영 조건 취득부(2802)가 입력 화상의 촬영 조건군을 취득하면, 처리는 스텝 S4130으로 이행한다. 스텝 S4130에서는, 처리 가부 판정부(2803)가, 취득된 촬영 조건군을 사용하여, 세그멘테이션 처리부(2804)가 사용하는 화상 세그멘테이션 엔진군 중 어느 것이 입력 화상을 대처 가능한지 여부를 판정한다.
처리 가부 판정부(2803)가, 화상 세그멘테이션 엔진군의 모든 입력 화상을 대처 불가능하다고 판정한 경우에는, 처리는 스텝 S4180으로 이행한다. 한편, 처리 가부 판정부(2803)가, 화상 세그멘테이션 엔진군 중 어느 것이 입력 화상을 대처 가능하다고 판정한 경우에는, 처리는 스텝 S4140으로 이행한다. 또한, 화상 처리 장치(2800)의 설정이나 실장 형태에 따라서는, 실시예 8과 마찬가지로, 화상 세그멘테이션 엔진에 의해 일부의 촬영 조건이 대처 불가능하다고 판정되었다고 해도, 스텝 S4140을 실시해도 된다.
스텝 S4140에 있어서는, 세그멘테이션 처리부(2804)가, 화상 세그멘테이션 엔진군의 각각에 스텝 S4110에 있어서 취득한 입력 화상을 입력하여, 영역 라벨 화상군을 생성한다. 또한, 세그멘테이션 처리부(2804)는, 처리 가부 판정부(2803)에 의해 입력 화상에 대하여 대처 가능하다고 판정된 화상 세그멘테이션 엔진에만 입력 화상을 입력해도 된다.
스텝 S4150에서는, 평가부(2805)가 실시예 8과 마찬가지로, 영역 라벨 화상 평가 엔진을 사용하여, 스텝 S4140에 있어서 생성된 영역 라벨 화상군을 평가한다. 스텝 S4160에서는, 평가 결과(화상 평가 지수)가 참값인 영역 라벨 화상이 복수인 경우에는, 평가부(2805)는 검자의 지시에 따라서, 출력할 영역 라벨 화상을 선택/판단한다.
이 경우에는, 먼저, 출력부(2807)가, 평가 결과가 참값인 영역 라벨 화상군을, 표시부(2820)의 유저 인터페이스에 표시시킨다. 여기서, 도 42에 당해 인터페이스의 일례를 나타낸다. 당해 인터페이스에는, 입력 화상 UI4210 및 평가 결과가 참값인 영역 라벨 화상 UI4220, UI4230, UI4240, UI4250의 각각이 표시된다. 검자는 도시하지 않은 임의의 입력 장치를 조작하여, 화상군(영역 라벨 화상 UI4220 내지 UI4250) 중 가장 정밀도가 높은 영역 라벨 화상을 지시한다. 평가부(2805)는, 검자에 의해 지시된 영역 라벨 화상을 출력할 영역 라벨 화상으로서 선택한다.
또한, 평가 결과가 참값인 영역 라벨 화상이 하나인 경우에는, 당해 영역 라벨 화상을 출력할 영역 라벨 화상으로서 선택/판단한다. 또한, 평가 결과가 참값인 영역 라벨 화상이 없을 경우에는, 평가부(2805)는, 세그멘테이션 처리부(2804)에 의해 생성된 영역 라벨 화상을 출력하지 않는다고 판단하고, 영역 라벨 없는 화상을 생성하여 출력/선택하고, 처리를 스텝 S4170으로 진행시킨다.
스텝 S4170에서는, 실시예 8과 마찬가지로, 해석부(2806)가, 평가부(2805)에 의해 출력할 영역 라벨 화상이라고 판단된 영역 라벨 화상과 입력 화상을 사용하여, 입력 화상에 대하여 화상 해석 처리를 행한다. 또한, 평가부(2805)에 의해 영역 라벨 없는 화상이 출력된 경우에는, 해석부(2806)는 화상 해석 처리를 행하지 않고 처리를 스텝 S4180으로 진행시킨다.
스텝 S4180에 있어서는, 출력부(2807)가, 출력할 영역 라벨 화상으로서 판단된 영역 라벨 화상이나 화상 해석 결과를 표시부(2820)에 표시시킨다. 또한, 출력부(2807)는, 표시부(2820)으로 영역 라벨 화상 및 화상 해석 결과를 표시시키는 대신에, 촬영 장치(2810)나 다른 장치에 이들을 표시시키거나, 기억시키거나 해도 된다. 또한, 출력부(2807)는, 화상 처리 장치(2800)의 설정이나 실장 형태에 따라서는, 이들을 촬영 장치(2810)나 다른 장치가 이용 가능하도록 가공하거나, 화상 관리 시스템 등에 송신 가능하도록 데이터 형식을 변환하거나 해도 된다. 또한, 출력부(2807)는, 영역 라벨 화상 및 화상 해석 결과의 양쪽을 출력하는 구성에 한정되지 않고, 이들 중 어느 한쪽만을 출력해도 된다.
한편, 스텝 S4130에 있어서 화상 세그멘테이션 처리가 불가능인 것으로 된 경우에는, 출력부(2807)는 영역 라벨 없는 화상을 출력하여, 표시부(2820)에 표시시킨다. 또한, 영역 라벨 없는 화상을 출력하는 대신, 촬영 장치(2810)에 대하여 화상 세그멘테이션 처리가 불가능함을 나타내는 신호를 송신해도 된다.
또한, 스텝 S4150에 있어서, 화상 세그멘테이션 처리를 적절하게 행할 수 없었다(생성된 영역 라벨 화상을 출력하지 않는다)고 판단된 경우에도, 출력부(2807)는 영역 라벨 없는 화상을 출력하여, 표시부(2820)에 표시시킨다. 이 경우에도, 출력부(2807)는 영역 라벨 없는 화상을 출력하는 대신, 촬영 장치(2810)에 대하여 화상 세그멘테이션 처리를 적절하게 행할 수 없었음을 나타내는 신호를 송신해도 된다. 스텝 S4170에 있어서의 출력 처리가 종료되면, 일련의 화상 처리가 종료된다.
상기한 바와 같이, 본 실시예에 관한 세그멘테이션 처리부(2804)는, 각각 다른 학습 완료 모델을 포함하는 복수의 화상 세그멘테이션 엔진을 사용하여, 입력 화상으로부터 복수의 영역 라벨 화상을 생성한다. 또한, 평가부(2805)는, 검자(유저)의 지시에 따라서, 복수의 영역 정보를 평가하여 출력하는 것으로 판단한 복수의 영역 정보 중 적어도 하나를 선택한다. 보다 구체적으로는, 평가부(2805)는, 화상 평가 지수가 참값인 영역 라벨 화상이 복수인 경우에, 검자의 지시에 따라서, 가장 정밀도가 높은 영역 라벨 화상을 출력할 영역 라벨 화상으로서 선택/판단한다. 이에 의해, 화상 처리 장치(2800)는, 복수의 화상 세그멘테이션 엔진을 사용하여 생성된 복수의 영역 라벨 화상 중, 검자의 지시에 따른 정밀도가 높은 영역 라벨 화상을 출력할 수 있다.
본 실시예에서는, 평가부(2805)가 검자의 지시에 따라서, 가장 정밀도가 높은 영역 라벨 화상을 출력할 영역 라벨 화상으로서 선택/판단하였다. 이에 대하여, 평가부(2805)는 검자의 지시에 따라서, 평가 결과가 참값인 복수의 영역 라벨 화상을 출력할 영역 라벨 화상으로서 선택/판단해도 된다. 이 경우에는, 해석부(2806)는, 출력할 영역 라벨 화상으로서 선택된 복수의 영역 라벨 화상에 대하여 화상 해석 처리를 행한다. 또한, 출력부(2807)는, 선택된 복수의 영역 라벨 화상이나 당해 복수의 영역 라벨 화상의 해석 결과를 출력한다.
또한, 본 실시예에서는, 평가부(2805)가 검자의 지시에 따라서, 평가 결과가 참값인 복수의 영역 라벨 화상으로부터 출력할 영역 라벨 화상을 선택하였다. 이에 대하여, 출력부(2807)가 세그멘테이션 처리부(2804)에 의해 생성된 모든 영역 라벨 화상을 표시부(2820)에 표시시키고, 평가부(2805)가 검자로부터의 지시에 따라서, 당해 복수의 영역 라벨 화상으로부터 출력할 영역 라벨 화상을 선택해도 된다. 이 경우에도, 평가부(2805)는 검자로부터의 지시에 따라서, 복수의 영역 라벨 화상을 출력할 영역 라벨 화상으로서 선택/판단해도 된다.
(실시예 15)
이어서, 도 28 및 도 41을 참조하여, 실시예 15에 관한 화상 처리 장치에 대하여 설명한다. 실시예 14에 관한 화상 처리 장치에서는, 평가부(2805)에 의한 평가 결과가 참값인 복수의 영역 라벨 화상에 대하여, 평가부(2805)가 검자의 지시에 따라서, 출력할 화상을 선택/판단하였다. 이에 비해, 본 실시예에서는, 평가부는 소정의 선택 기준에 기초하여, 평가 결과가 참값인 복수의 영역 라벨 화상 중으로부터 출력할 영역 라벨 화상을 선택/판단한다.
특별히 명기하지 않는 한, 본 실시예에 관한 화상 처리 장치의 구성 및 처리는, 실시예 14에 관한 화상 처리 장치(2800)와 마찬가지이다. 그 때문에, 이하에서는, 본 실시예에 관한 화상 처리 장치에 대하여, 실시예 14에 관한 화상 처리 장치와의 차이를 중심으로 하여 설명한다. 또한, 본 실시예에 관한 화상 처리 장치의 구성은, 실시예 8 및 14에 관한 화상 처리 장치의 구성과 마찬가지이기 때문에, 도 28에 나타내는 구성에 대하여 동일한 참조 부호를 사용하여 나타내고, 설명을 생략한다.
본 실시예에 관한 평가부(2805)는, 영역 라벨 화상 평가 엔진을 사용하여, 세그멘테이션 처리부(2804)에 의해 생성된 복수의 영역 라벨 화상을 평가하여, 화상 평가 지수 및 소정의 선택 기준에 따라서 출력할 영역 라벨 화상을 선택한다.
이하, 도 41을 참조하여, 본 실시예에 관한 일련의 화상 처리에 대하여 설명한다. 또한, 본 실시예에 관한 스텝 S4160 이외의 처리는, 실시예 14에 있어서의 처리와 마찬가지이기 때문에, 설명을 생략한다. 또한, 입력 화상에 대하여, 촬영 조건에 대하여 무조건으로 화상 세그멘테이션 처리하는 경우에는, 스텝 S4120의 처리 후에, 스텝 S4130의 처리를 생략하고, 처리를 스텝 S4140으로 이행해도 된다.
스텝 S4160에서는, 평가부(2805)는, 스텝 S4150에 있어서의 평가 결과가 참값인 영역 라벨 화상이 복수인 경우, 소정의 선택 기준에 따라서, 당해 복수의 영역 라벨 화상 중 출력할 영역 라벨 화상을 선택/판단한다. 평가부(2805)는, 예를 들어 시계열적으로 최초에 평가 결과로서 참값이 출력된 영역 라벨 화상을 선택한다. 또한, 선택 기준은 이것에 한정되지 않고, 원하는 구성에 따라서 임의로 설정되어도 된다. 평가부(2805)는, 예를 들어 평가 결과가 참값인 영역 라벨 화상 중, 입력 화상의 촬영 조건군과 학습 데이터의 촬영 조건의 조합이 가장 가까운(합치하는) 화상 세그멘테이션 엔진에 의해 생성된 영역 라벨 화상을 선택/판단해도 된다.
또한, 모든 영역 라벨 화상에 대한 평가 결과가 거짓값인 경우에는, 평가부(2805)는, 화상 세그멘테이션 처리를 적절하게 행할 수 없었다고 판단하고, 영역없음 라벨 화상을 생성하여, 출력/선택한다. 스텝 S4170 이후의 처리는, 실시예 14의 스텝 S4170 이후의 처리와 마찬가지이기 때문에 설명을 생략한다.
상기한 바와 같이, 본 실시예에 관한 화상 처리 장치(2800)에서는, 세그멘테이션 처리부(2804)는, 복수의 화상 세그멘테이션 엔진을 사용하여, 입력 화상으로부터 복수의 영역 라벨 화상을 생성한다. 평가부(2805)는 소정의 선택 기준에 기초하여, 출력하는 것으로 평가 된 영역 라벨 화상 중 적어도 하나, 또는 영역 라벨 없는 화상을 선택한다. 출력부(2807)는 평가부(2805)에 의해 선택된 영역 라벨 화상을 출력한다.
이에 의해, 본 실시예에 관한 화상 처리 장치(2800)에서는, 영역 라벨 화상 평가 엔진의 출력에 기초하여, 화상 세그멘테이션 처리에 실패한 영역 라벨 화상을 출력하는 것을 방지할 수 있다. 또한, 영역 라벨 화상 평가 엔진이 출력하는 화상 평가 지수가 참값인 영역 라벨 화상이 복수인 경우에, 자동적으로 그 중에 하나를 선택하여 표시 또는 출력할 수 있다.
또한, 본 실시예에서는, 화상 평가 지수가 참값인 복수의 영역 라벨 화상 중 적어도 하나를 선택하여 출력하는 구성으로 하였지만, 화상 평가 지수가 참값인 복수의 영역 라벨 화상의 모두를 출력하는 구성으로 해도 된다. 이 경우에는, 해석부(2806)는, 평가부(2805)로부터 출력된 모든 영역 라벨 화상에 대하여 화상 해석을 행한다. 또한, 출력부(2807)는, 평가부(2805)로부터 출력된 모든 영역 라벨 화상 및 대응하는 해석 결과를 모두 표시부(2820)에 표시시켜도 되고, 다른 장치로 출력해도 된다.
(실시예 16)
이어서, 도 28 및 도 29를 참조하여, 실시예 16에 관한 화상 처리 장치에 대하여 설명한다. 본 실시예에서는 먼저, 세그멘테이션 처리부가 삼차원의 입력 화상을 복수의 이차원 화상(이차원 화상군)으로 분할한다. 이어서, 이차원 화상군을 화상 세그멘테이션 엔진에 입력하고, 세그멘테이션 처리부가 화상 세그멘테이션 엔진으로부터의 출력 화상군을 결합함으로써, 삼차원의 영역 라벨 화상을 생성한다.
특별히 명기하지 않는 한, 본 실시예에 관한 화상 처리 장치의 구성 및 처리는, 실시예 8에 관한 화상 처리 장치(2800)와 마찬가지이다. 그 때문에, 이하에서는, 본 실시예에 관한 화상 처리 장치에 대하여, 실시예 8에 관한 화상 처리 장치와의 차이를 중심으로 하여 설명한다. 또한, 본 실시예에 관한 화상 처리 장치의 구성은, 실시예 8에 관한 화상 처리 장치의 구성과 마찬가지이기 때문에, 도 28에 나타내는 구성에 대하여 동일한 참조 부호를 사용하여 나타내고, 설명을 생략한다.
본 실시예에 관한 취득부(2801)는, 구조적으로 연속되는 이차원 화상군으로 구성된 삼차원 화상을 취득한다. 구체적으로는, 삼차원 화상은, 예를 들어 OCT의 B 스캔상(단층 화상)군으로 구성된 삼차원 OCT 볼륨 화상이다.
세그멘테이션 처리부(2804)는, 본 실시예에 관한 화상 세그멘테이션 엔진을 사용하여, 입력 화상인 삼차원 화상에 대하여 세그멘테이션 처리를 행하여, 복수의 이차원의 영역 라벨 화상을 생성한다. 본 실시예에 관한 화상 세그멘테이션 엔진의 교사 데이터인 입력 데이터와 출력 데이터의 페어군은, 이차원 화상의 화상군에 의해 구성되어 있다. 세그멘테이션 처리부(2804)는, 취득된 삼차원 화상을 복수의 이차원 화상으로 분할하여, 이차원 화상마다 화상 세그멘테이션 엔진에 입력한다. 이에 의해, 세그멘테이션 처리부(2804)는, 복수의 이차원의 영역 라벨 화상을 생성할 수 있다. 또한, 세그멘테이션 처리부(2804)는, 복수의 이차원의 영역 라벨 화상을 분할 전의 이차원 화상의 배치로 배열하여 결합하여, 삼차원의 영역 라벨 화상을 생성한다.
평가부(2805)는 영역 라벨 화상 평가 엔진을 사용하여, 삼차원의 영역 라벨 화상에 대하여 그럴 듯한 영역 라벨 화상인지 아닌지를 판단한다. 평가 결과가 참값인 경우에는, 평가부(2805)는, 당해 삼차원의 영역 라벨 화상을 출력할 영역 라벨 화상으로서 판단하여 출력한다. 한편, 평가 결과가 거짓값인 경우에는, 평가부(2805)는 삼차원의 영역 라벨 없는 화상을 생성하고, 출력한다.
또한, 영역 라벨 화상 평가 엔진이 학습 완료 모델을 포함하는 경우에는, 당해 학습 완료 모델의 교사 데이터로서는, 삼차원의 영역 라벨 화상과 화상 평가 지수를 사용할 수 있다. 또한, 평가부(2805)는 결합 전의 이차원의 영역 라벨 화상의 각각에 대하여 평가를 행해도 된다.
해석부(2806)는, 평가부(2805)에 의해 그럴 듯한 영역 라벨 화상이라고 판단된 삼차원의 영역 라벨 화상에 대하여 화상 해석 처리를 행한다. 또한, 해석부(2806)는, 결합 전의 이차원의 영역 라벨 화상의 각각에 대하여 화상 해석 처리를 행해도 된다. 또한, 평가부(2805)에 의해 삼차원의 영역 라벨 없는 화상이 출력된 경우에는, 해석부(2806)는 화상 해석을 행하지 않는다.
출력부(2807)는 삼차원의 영역 라벨 화상이나 해석 결과를 출력한다. 또한, 출력부(2807)가, 생성된 삼차원의 영역 라벨 화상을 표시부(2820)에 표시시킬 때에 있어서의, 삼차원의 영역 라벨 화상의 표시 양태는 임의이면 된다.
이어서, 도 29를 참조하여, 본 실시예에 관한 일련의 화상 처리에 대하여 설명한다. 또한, 본 실시예에 관한 스텝 S2910 내지 스텝 S2930, 및 스텝 S2950 내지 스텝 S2970의 처리는, 실시예 8에 있어서의 이들 처리와 마찬가지이기 때문에, 설명을 생략한다. 단, 스텝 S2910에서는, 취득부(2801)는 삼차원 화상을 취득한다. 또한, 입력 화상에 대하여, 촬영 조건에 대하여 무조건으로 화상 세그멘테이션 처리하는 경우에는, 스텝 S2920의 처리 후에, 스텝 S2930의 처리를 생략하고, 처리를 스텝 S2940으로 이행해도 된다.
스텝 S2930에 있어서, 처리 가부 판정부(2803)가, 화상 세그멘테이션 엔진에 의해 입력 화상을 대처 가능하다고 판정한 경우에는, 처리는 스텝 S2940으로 이행한다. 스텝 S2940에서는, 세그멘테이션 처리부(2804)가, 취득된 삼차원 화상을 복수의 이차원 화상으로 분할한다. 세그멘테이션 처리부(2804)는, 분할한 복수의 이차원 화상 각각을 화상 세그멘테이션 엔진에 입력하여, 복수의 이차원의 영역 라벨 화상을 생성한다. 세그멘테이션 처리부(2804)는, 취득한 삼차원 화상에 기초하여, 생성한 복수의 이차원의 영역 라벨 화상을 결합하여, 삼차원의 영역 라벨 화상을 생성한다. 스텝 S2950 이후의 처리는, 실시예 8의 스텝 S2950 이후의 처리와 마찬가지이기 때문에 설명을 생략한다.
상기한 바와 같이, 본 실시예에 관한 세그멘테이션 처리부(2804)는, 입력 화상을 입력 화상의 차원보다도 낮은 차원의 복수의 화상으로 분할하고, 분할한 화상마다 세그멘테이션 엔진 입력한다. 보다 구체적으로는, 세그멘테이션 처리부(2804)는, 삼차원의 입력 화상을 복수의 이차원의 화상으로 분할하여 화상 세그멘테이션 엔진에 입력한다. 세그멘테이션 처리부(2804)는, 화상 세그멘테이션 엔진으로부터 출력된 복수의 이차원의 영역 라벨 화상을 결합하여, 삼차원의 영역 라벨 화상을 생성한다.
이에 의해, 본 실시예에 관한 세그멘테이션 처리부(2804)는, 이차원 화상의 교사 데이터를 사용하여 학습이 행해진 학습 완료 모델을 포함하는 화상 세그멘테이션 엔진을 사용하여, 삼차원 화상을 화상 세그멘테이션 처리할 수 있다.
또한, 본 실시예에 관한 세그멘테이션 처리부(2804)는, 삼차원의 입력 화상을 복수의 이차원의 화상으로 분할하여, 화상 세그멘테이션 처리를 행하였다. 그러나, 당해 분할에 관한 처리를 행하는 대상은 삼차원의 입력 화상에 한정되지 않는다. 예를 들어, 세그멘테이션 처리부(2804)는, 이차원의 입력 화상을 복수의 일차원의 화상으로 분할하여, 화상 세그멘테이션 처리를 행해도 된다. 또한, 세그멘테이션 처리부(2804)는, 사차원의 입력 화상을 복수의 삼차원의 화상이나 복수의 이차원의 화상으로 분할하여, 화상 세그멘테이션 처리를 행해도 된다.
(실시예 17)
이어서, 도 28 및 도 29를 참조하여, 실시예 17에 관한 화상 처리 장치에 대하여 설명한다. 본 실시예에서는, 세그멘테이션 처리부가 삼차원의 입력 화상을 복수의 이차원 화상으로 분할하고, 복수의 이차원 화상을 복수의 화상 세그멘테이션 엔진에 의해 병렬로 화상 세그멘테이션 처리한다. 그 후, 세그멘테이션 처리부가, 각 화상 세그멘테이션 엔진으로부터의 출력 화상을 결합함으로써, 삼차원의 영역 라벨 화상을 생성한다.
특별히 명기하지 않는 한, 본 실시예에 관한 화상 처리 장치의 구성 및 처리는, 실시예 16에 관한 화상 처리 장치(2800)와 마찬가지이다. 그 때문에, 이하에서는, 본 실시예에 관한 화상 처리 장치에 대하여, 실시예 16에 관한 화상 처리 장치와의 차이를 중심으로 하여 설명한다. 또한, 본 실시예에 관한 화상 처리 장치의 구성은, 실시예 8 및 16에 관한 화상 처리 장치의 구성과 마찬가지이기 때문에, 도 28에 나타내는 구성에 대하여 동일한 참조 부호를 사용하여 나타내고, 설명을 생략한다.
본 실시예에 관한 세그멘테이션 처리부(2804)는, 실시예 16과 마찬가지인 복수의 화상 세그멘테이션 엔진을 사용하여, 입력 화상인 삼차원 화상에 대하여 화상 세그멘테이션 처리를 행하여, 삼차원의 영역 라벨 화상을 생성한다. 또한, 세그멘테이션 처리부(2804)가 사용하는 복수의 화상 세그멘테이션 엔진군은, 회로나 네트워크를 통해, 2개 이상의 장치군으로 분산 처리 가능하도록 실장되어 있어도 되고, 단일의 장치에 실장되어 있어도 된다.
세그멘테이션 처리부(2804)는, 실시예 16과 마찬가지로, 취득된 삼차원 화상을 복수의 이차원 화상으로 분할한다. 세그멘테이션 처리부(2804)는, 복수의 이차원 화상에 대하여 복수의 화상 세그멘테이션 엔진을 사용하여, 분담하여(병렬적으로) 화상 세그멘테이션 처리를 행하여, 복수의 이차원의 영역 라벨 화상을 생성한다. 세그멘테이션 처리부(2804)는, 복수의 화상 세그멘테이션 엔진으로부터 출력된 복수의 이차원의 영역 라벨 화상을, 처리 대상인 삼차원 화상에 기초하여 결합하여, 삼차원의 영역 라벨 화상을 생성한다. 보다 구체적으로는, 세그멘테이션 처리부(2804)는, 복수의 이차원의 영역 라벨 화상을 분할 전의 이차원 화상의 배치로 배열하고 결합하여, 삼차원의 영역 라벨 화상을 생성한다.
이어서, 도 29를 참조하여, 본 실시예에 관한 일련의 화상 처리에 대하여 설명한다. 또한, 본 실시예에 관한 스텝 S2910 내지 스텝 S2930, 및 스텝 S2950 내지 스텝 S2970의 처리는, 실시예 16에 있어서의 이들 처리와 마찬가지이기 때문에, 설명을 생략한다. 또한, 입력 화상에 대하여, 촬영 조건에 대하여 무조건으로 화상 세그멘테이션 처리하는 경우에는, 스텝 S2920의 처리 후에, 스텝 S2930의 처리를 생략하고, 처리를 스텝 S2940으로 이행해도 된다.
스텝 S2930에 있어서, 처리 가부 판정부(2803)가, 화상 세그멘테이션 엔진에 의해 입력 화상을 대처 가능하다고 판정한 경우에는, 처리는 스텝 S2940으로 이행한다. 스텝 S2940에서는, 세그멘테이션 처리부(2804)가, 취득된 삼차원 화상을 복수의 이차원 화상으로 분할한다. 세그멘테이션 처리부(2804)는, 분할한 복수의 이차원 화상 각각을 복수의 화상 세그멘테이션 엔진에 입력하고, 병렬적으로 화상 세그멘테이션 처리하여, 복수의 이차원의 영역 라벨 화상을 생성한다. 세그멘테이션 처리부(2804)는, 취득한 삼차원 화상에 기초하여, 생성한 복수의 이차원의 영역 라벨 화상을 결합하여, 삼차원의 영역 라벨 화상을 생성한다.
상기한 바와 같이, 본 실시예에 관한 세그멘테이션 처리부(2804)는 복수의 화상 세그멘테이션 엔진을 포함한다. 세그멘테이션 처리부(2804)는, 삼차원의 입력 화상을 복수의 이차원의 화상으로 분할하고, 분할한 복수의 이차원의 화상에 대하여 복수의 화상 세그멘테이션 엔진을 병렬적으로 사용하여, 복수의 이차원의 영역 라벨 화상을 생성한다. 세그멘테이션 처리부(2804)는 복수의 이차원의 영역 라벨 화상을 통합함으로써, 삼차원의 영역 라벨 화상을 생성한다.
이에 의해, 본 실시예에 관한 세그멘테이션 처리부(2804)는, 이차원 화상의 교사 데이터를 사용하여 학습이 행해진 학습 완료 모델을 포함하는 화상 세그멘테이션 엔진을 사용하여, 삼차원 화상을 화상 세그멘테이션 처리할 수 있다. 또한, 실시예 16과 비교하여, 보다 효율적으로 삼차원 화상을 화상 세그멘테이션 처리할 수 있다.
또한, 실시예 16과 마찬가지로, 세그멘테이션 처리부(2804)에 의한 분할에 관한 처리를 행하는 대상은 삼차원의 입력 화상에 한정되지 않는다. 예를 들어, 세그멘테이션 처리부(2804)는, 이차원의 입력 화상을 복수의 일차원의 화상으로 분할하여, 화상 세그멘테이션 처리를 행해도 된다. 또한, 세그멘테이션 처리부(2804)는, 사차원의 입력 화상을 복수의 삼차원의 화상이나 복수의 이차원의 화상으로 분할하여, 화상 세그멘테이션 처리를 행해도 된다.
또한, 복수의 화상 세그멘테이션 엔진의 교사 데이터는, 각 화상 세그멘테이션 엔진에서 처리를 행하는 처리 대상에 따라서 다른 교사 데이터여도 된다. 예를 들어, 제1 화상 세그멘테이션 엔진은 제1 촬영 영역에 관한 교사 데이터로 학습을 행하고, 제2 화상 세그멘테이션 엔진은 제2 촬영 영역에 관한 교사 데이터로 학습을 행해도 된다. 이 경우에는, 각각의 화상 세그멘테이션 엔진이, 보다 높은 정밀도로 이차원 화상의 화상 세그멘테이션 처리를 행할 수 있다.
또한, 평가부(2805)가 세그멘테이션 처리부(2804)와 마찬가지로, 학습 완료 모델을 포함하는 복수의 영역 라벨 화상 평가 엔진을 사용하여, 삼차원의 영역 라벨 화상을 병렬적으로 평가할 수도 있다. 이 경우에는, 평가부(2805)는, 세그멘테이션 처리부(2804)에 의해 생성된 복수의 이차원의 영역 라벨 화상에 대하여, 복수의 영역 라벨 화상 평가 엔진을 병렬적으로 사용하여, 평가를 행한다.
그 후, 각 이차원의 영역 라벨 화상에 관한 화상 평가 지수가 참값인 경우에는, 평가부(2805)는, 삼차원의 영역 라벨 화상이 그럴 듯한 영역 라벨 화상이라고 판단하여 출력할 수 있다. 이 경우, 영역 라벨 화상 평가 엔진이 포함하는 학습 완료 모델의 교사 데이터는, 이차원의 영역 라벨 화상과 화상 평가 지수에 의해 구성할 수 있다. 또한, 평가부(2805)는, 각 이차원의 영역 라벨 화상의 일부에 관한 화상 평가 지수가 참값인 경우에, 삼차원의 영역 라벨 화상이 그럴 듯한 영역 라벨 화상이라고 판단하여 출력할 수도 있다.
(실시예 18)
이어서, 도 29 및 도 43을 참조하여, 실시예 18에 관한 화상 처리 장치에 대하여 설명한다. 본 실시예에서는, 취득부가 촬영 장치가 아니라 화상 관리 시스템으로부터 입력 화상을 취득한다.
특별히 명기하지 않는 한, 본 실시예에 관한 화상 처리 장치의 구성 및 처리는, 실시예 8에 관한 화상 처리 장치(2800)와 마찬가지이다. 그 때문에, 이하에서는, 본 실시예에 관한 화상 처리 장치에 대하여, 실시예 8에 관한 화상 처리 장치와의 차이를 중심으로 하여 설명한다. 또한, 본 실시예에 관한 화상 처리 장치의 구성은 실시예 8에 관한 화상 처리 장치(2800)의 구성과 마찬가지이기 때문에, 도 28에 나타내는 구성에 대하여 동일한 참조 부호를 사용하여 설명을 생략한다.
도 43은, 본 실시예에 관한 화상 처리 장치(2800)의 개략적인 구성을 나타낸다. 본 실시예에 관한 화상 처리 장치(2800)는 화상 관리 시스템(4300) 및 표시부(2820)와 임의의 회로나 네트워크를 통해 접속되어 있다. 화상 관리 시스템(4300)은, 임의의 촬영 장치에 의해 촬영된 화상이나 화상 처리된 화상을 수신하여 보존하는 장치 및 시스템이다. 또한, 화상 관리 시스템(4300)은, 접속된 장치의 요구에 따라서 화상을 송신하거나, 보존된 화상에 대하여 화상 처리를 행하거나, 화상 처리의 요구를 다른 장치에 요구하거나 할 수 있다. 화상 관리 시스템(4300)은, 예를 들어 화상 보존 통신 시스템(PACS)을 포함할 수 있다.
본 실시예에 관한 취득부(2801)는, 화상 처리 장치(2800)에 접속되는 화상 관리 시스템(4300)으로부터 입력 화상을 취득할 수 있다. 또한, 출력부(2807)는, 세그멘테이션 처리부(2804)에 의해 생성된 영역 라벨 화상을, 화상 관리 시스템(4300)으로 출력할 수 있다. 또한, 출력부(2807)는 실시예 8과 마찬가지로, 영역 라벨 화상을 표시부(2820)에 표시시킬 수도 있다
이어서, 도 29를 참조하여, 본 실시예에 관한 일련의 화상 처리에 대하여 설명한다. 또한, 본 실시예에 관한 스텝 S2920 내지 스텝 S2960의 처리는, 실시예 8에 있어서의 이들 처리와 마찬가지이기 때문에, 설명을 생략한다. 또한, 입력 화상에 대하여, 촬영 조건에 대하여 무조건으로 화상 세그멘테이션 처리하는 경우에는, 스텝 S2920의 처리 후에, 스텝 S2930의 처리를 생략하고, 처리를 스텝 S2940으로 이행해도 된다.
스텝 S2910에 있어서, 취득부(2801)는, 회로나 네트워크를 통해 접속된 화상 관리 시스템(4300)으로부터, 화상 관리 시스템(4300)이 보존하고 있는 화상을 입력 화상으로서 취득한다. 또한, 취득부(2801)는, 화상 관리 시스템(4300)으로부터의 요구에 따라서, 입력 화상을 취득해도 된다. 이와 같은 요구는, 예를 들어 화상 관리 시스템(4300)이 화상을 보존하였을 때나, 보존한 화상을 다른 장치에 송신하기 전, 보존된 화상을 표시부(2820)에 표시할 때에 발행되어도 된다. 또한, 당해 요구는, 예를 들어 화상 관리 시스템(4300)을 이용자가 조작하여 화상 세그멘테이션 처리의 요구를 행하였을 때나, 화상 관리 시스템(4300)이 구비하는 화상 해석 기능에 영역 라벨 화상을 이용할 때 등에 발행되어도 된다.
스텝 S2920 내지 스텝 S2960의 처리는, 실시예 8에 있어서의 처리와 마찬가지이다. 스텝 S2970에 있어서는, 출력부(2807)는, 스텝 S2950에 있어서 평가부(2805)에 의해 영역 라벨 화상을 출력하는 것으로 판단되면, 영역 라벨 화상을 화상 관리 시스템(4300)으로 출력 화상으로서 출력한다. 또한, 출력부(2807)는, 화상 처리 장치(2800)의 설정이나 실장에 따라서는, 출력 화상을 화상 관리 시스템(4300)이 이용 가능하도록 가공하거나, 출력 화상의 데이터 형식을 변환하거나 해도 된다. 또한, 출력부(2807)는, 해석부(2806)에 의한 해석 결과도 화상 관리 시스템(4300)으로 출력할 수 있다.
한편, 스텝 S2950에 있어서, 평가부(2805)에 의해 화상 세그멘테이션 처리를 적절하게 행할 수 없었다고 판단하면, 영역 라벨 없는 화상을 화상 관리 시스템(4300)으로 출력 화상으로서 출력한다. 또한, 스텝 S2930에 있어서, 처리 가부 판정부(2803)가, 입력 화상을 화상 세그멘테이션 처리 불가능하다고 판정한 경우에도, 출력부(2807)는 영역 라벨 없는 화상을 화상 관리 시스템(4300)으로 출력한다.
상기한 바와 같이, 본 실시예에 관한 취득부(2801)는, 화상 관리 시스템(4300)으로부터 입력 화상을 취득한다. 이 때문에, 본 실시예의 화상 처리 장치(2800)는, 화상 관리 시스템(4300)이 보존하고 있는 화상을 바탕으로, 화상 진단에 적합한 영역 라벨 화상을, 촬영자나 피검자의 침습성을 높이거나, 노동력을 증가하거나 하지 않고 출력할 수 있다. 또한, 출력된 영역 라벨 화상이나 화상 해석 결과는 화상 관리 시스템(4300)에 보존되거나, 화상 관리 시스템(4300)이 구비하는 유저 인터페이스에 표시되거나 할 수 있다. 또한, 출력된 영역 라벨 화상은, 화상 관리 시스템(4300)이 구비하는 화상 해석 기능에 이용되거나, 화상 관리 시스템(4300)에 접속된 다른 장치에 화상 관리 시스템(4300)을 통해 송신되거나 할 수 있다.
또한, 화상 처리 장치(2800)나 화상 관리 시스템(4300), 표시부(2820)는, 도시하지 않은 다른 장치와 회로나 네트워크를 통해 접속되어 있어도 된다. 또한, 이들 장치는 본 실시예에서는 별개의 장치로 되어 있지만, 이들 장치의 일부 또는 전부를 일체적으로 구성해도 된다.
(실시예 19)
이어서, 도 44 및 도 45를 참조하여, 실시예 19에 관한 화상 처리 장치에 대하여 설명한다. 본 실시예에서는, 수정부가 영역 라벨 화상 수정 엔진을 사용하여, 화상 세그멘테이션 엔진으로부터 출력된 영역 라벨 화상에 잘못된 영역 라벨값이 설정되어 있으면 수정한다.
특별히 명기하지 않는 한, 본 실시예에 관한 화상 처리 장치의 구성 및 처리는, 실시예 8에 관한 화상 처리 장치(2800)와 마찬가지이다. 그 때문에, 이하에서는, 본 실시예에 관한 화상 처리 장치에 대하여, 실시예 8에 관한 화상 처리 장치와의 차이를 중심으로 하여 설명한다.
도 44는, 본 실시예에 관한 화상 처리 장치(4400)의 개략적인 구성을 나타낸다. 본 실시예에 관한 화상 처리 장치(4400)에는, 취득부(2801), 촬영 조건 취득부(2802), 처리 가부 판정부(2803), 세그멘테이션 처리부(2804), 평가부(2805), 해석부(2806) 및 출력부(2807)에 더하여, 수정부(4408)가 마련되어 있다. 또한, 화상 처리 장치(4400)는, 이들 구성 요소 중 일부가 마련된 복수의 장치로 구성되어도 된다. 여기서, 본 실시예에 관한 화상 처리 장치(4400)에 있어서의 수정부(4408) 이외의 구성은, 실시예 8에 관한 화상 처리 장치의 구성과 마찬가지이기 때문에, 도 28에 나타내는 구성에 대하여 동일한 참조 부호를 사용하여 나타내고, 설명을 생략한다.
또한, 화상 처리 장치(4400)는, 실시예 8에 관한 화상 처리 장치(2800)와 마찬가지로 촬영 장치(2810), 표시부(2820) 및 도시하지 않은 다른 장치와, 임의의 회로나 네트워크를 통해 접속되어도 된다. 또한, 이들 장치는 다른 임의의 장치와 회로나 네트워크를 통해 접속되어도 되고, 다른 임의의 장치와 일체적으로 구성되어도 된다. 또한, 이들 장치는 본 실시예에서는 별개의 장치로 되어 있지만, 이들 장치의 일부 또는 전부를 일체적으로 구성해도 된다.
본 실시예에 관한 수정부(4408)에는, 입력된 영역 라벨 화상을 수정하는 영역 라벨 화상 수정 엔진이 구비되어 있다. 영역 라벨 화상 수정 엔진은, 용어의 설명에 있어서 상술한 바와 같은, 해부학적인 지식 베이스 처리에 의한 영역 라벨값의 수정을 행한다. 또한, 예를 들어 수정 대상인 영역 라벨값의 연속 영역을 덮어쓰기하는 영역 라벨값에 대하여는, 해당 연속 영역에 접해 있는 화소의 수가 가장 많은 영역 라벨값으로 덮어쓰기하는 것으로 한다.
다음에 도 45를 참조하여, 본 실시예에 관한 일련의 화상 처리에 대하여 설명한다. 또한, 본 실시예에 관한 스텝 S4510 내지 스텝 S4540의 처리는, 각각, 실시예 8에 있어서의 스텝 S2910 내지 스텝 S2940의 처리와 마찬가지이기 때문에, 설명을 생략한다. 또한, 입력 화상에 대하여, 촬영 조건에 대하여 무조건으로 화상 세그멘테이션 처리하는 경우에는, 스텝 S4520의 처리 후에, 스텝 S4530의 처리를 생략하고, 처리를 스텝 S4540으로 이행해도 된다.
스텝 S4540에 있어서, 세그멘테이션 처리부(2804)가 영역 라벨 화상을 생성하면, 처리는 스텝 S4550으로 이행한다. 스텝 S4550에 있어서, 평가부(2805)는 실시예 8과 마찬가지로, 영역 라벨 화상 평가 엔진을 사용하여, 생성된 영역 라벨 화상을 평가한다. 평가부(2805)는, 평가 결과가 참값인 경우에는, 당해 영역 라벨 화상을 출력할 영역 라벨 화상으로서 판단한다. 한편, 본 실시예에 관한 평가부(2805)는, 평가 결과가 거짓값인 경우에는, 당해 영역 라벨 화상은 수정이 필요한 영역 라벨 화상이라고 판단한다.
스텝 S4560에서는, 수정부(4408)가, 스텝 S4540에 있어서 수정이 필요한 영역 라벨 화상으로서 판단된 영역 라벨 화상에 대하여, 영역 라벨 수정 엔진을 사용하여 영역 라벨값의 수정을 행한다. 구체적으로는, 수정부(4408)가, 스텝 S4540에 있어서 수정이 필요하다고 판단된 영역 라벨 화상을, 영역 라벨 화상 수정 엔진에 입력한다. 영역 라벨 화상 수정 엔진은, 입력된 영역 라벨 화상에 대하여, 해부학적인 지식 베이스 처리에 따라서, 잘못 설정된 영역 라벨값을 수정하고, 수정된 영역 라벨 화상을 출력한다.
또한, 스텝 S4550에 있어서, 생성된 영역 라벨 화상이 출력할 영역 라벨 화상이라고 판단된 경우에는, 수정부(4408)는 영역 라벨 화상의 수정을 행하지 않고, 처리를 진행시킨다.
스텝 S4570에서는, 해석부(2806)가, 스텝 S4540에 있어서 출력할 영역 라벨 화상이라고 판단된 영역 라벨 화상, 또는 스텝 S4550에 있어서 영역 라벨의 수정이 행해진 영역 라벨 화상을 사용하여, 입력 화상의 화상 해석 처리를 행한다. 화상 해석 처리의 내용은 실시예 8과 마찬가지여도 되기 때문에, 설명을 생략한다.
스텝 S4580에 있어서는, 출력부(2807)가, 출력할 영역 라벨 화상으로서 판단된 영역 라벨 화상 또는 영역 라벨이 수정된 영역 라벨 화상 및 화상 해석 결과를 표시부(2820)에 표시시킨다. 또한, 출력부(2807)는, 표시부(2820)에 영역 라벨 화상 및 화상 해석 결과를 표시시키는 대신에, 촬영 장치(2810)나 다른 장치에 이들을 표시시키거나, 기억시키거나 해도 된다. 또한, 출력부(2807)는, 화상 처리 장치(4400)의 설정이나 실장 형태에 따라서는, 이들을 촬영 장치(2810)나 다른 장치가 이용 가능하도록 가공하거나, 화상 관리 시스템 등에 송신 가능하도록 데이터 형식을 변환하거나 해도 된다. 또한, 출력부(2807)는 영역 라벨 화상 및 화상 해석 결과의 양쪽을 출력하는 구성에 한정되지 않고, 이들 중 어느 한쪽만을 출력해도 된다.
한편, 스텝 S4530에 있어서 화상 세그멘테이션 처리가 불가능인 것으로 된 경우에는, 출력부(2807)는 영역 라벨 없는 화상을 출력하여, 표시부(2820)에 표시시킨다. 또한, 영역 라벨 없는 화상을 출력하는 대신, 촬영 장치(2810)에 대하여 화상 세그멘테이션 처리가 불가능함을 나타내는 신호를 송신해도 된다. 스텝 S4580에 있어서의 출력 처리가 종료되면, 일련의 화상 처리가 종료된다.
상기한 바와 같이, 본 실시예에 관한 화상 처리 장치(4400)는, 수정부(4408)를 추가로 구비한다. 수정부(4408)는, 소정의 수정 방법에 의한 지식 베이스 처리를 행하는 영역 라벨 화상 수정 엔진을 사용하여, 세그멘테이션 처리부(2804)에 의해 생성된 영역 라벨 화상을 수정한다. 출력부(2807)는 수정부(4408)에 의해 수정된 영역 라벨 화상을 출력한다.
특히, 본 실시예에 관한 수정부(4408)는, 평가부(2805)에 의해, 화상 세그멘테이션 처리를 적절하게 행할 수 없었다고 판단된 영역 라벨 화상에 대하여, 영역 라벨을 수정한다. 또한, 해석부(2806)는, 영역 라벨이 수정된 영역 라벨 화상에 대하여 화상 해석 처리를 행한다.
이에 의해, 본 실시예에 관한 화상 처리 장치(2800)에서는, 영역 라벨 화상 수정 엔진에 의해 화상 세그멘테이션 처리에 실패한 영역 라벨 화상의 오류를 정정하고, 출력할 수 있다.
또한, 본 실시예에서는, 수정부(4408)는, 평가부(2805)에 의한 평가 결과가 거짓값인 영역 라벨 화상에 대하여 영역 라벨을 수정하였다. 그러나, 수정부(4408)의 구성은 이것에 한정되지 않는다. 수정부(4408)는, 평가부(2805)에 의한 평가 결과가 참값인 영역 라벨 화상에 대하여, 영역 라벨을 수정해도 된다. 이 경우, 해석부(2806)는, 수정된 영역 라벨을 사용하여 입력 화상의 화상 해석 처리를 행한다. 또한, 출력부(2807)는 수정된 영역 라벨 화상이나 그 해석 결과를 출력한다.
또한, 이 경우에는, 평가부(2805)는, 평가 결과가 거짓값인 영역 라벨 화상에 대하여는 수정부(4408)에 의해 영역 라벨의 수정을 행하게 하지 않도록, 평가 결과가 거짓값이면 영역 라벨 없는 화상을 생성할 수도 있다. 수정부(4408)는, 평가부(2805)에 의해 영역 라벨 없는 화상이 생성되면, 수정을 행하지 않고 처리를 먼저 진행시킬 수 있다.
평가부(2805)에 의한 평가 결과가 참값일 때, 수정부(4408)에 의해 영역 라벨 화상을 수정하는 경우에는, 화상 처리 장치(2800)는, 보다 정밀도가 높은 영역 라벨 화상이나 해석 결과를 출력할 수 있다.
상술한 실시예 8 내지 19에서는, 세그멘테이션 처리부(2804)가 해부학적인 영역을 식별 가능한 영역 정보로서 영역 라벨 화상을 생성하는 구성을 설명하였지만, 세그멘테이션 처리부(2804)가 생성하는 영역 정보는 이것에 한정되지 않는다. 세그멘테이션 처리부가, 화상 세그멘테이션 엔진을 사용하여 입력 화상으로부터 생성하는 영역 정보로서는, 각 영역 라벨을 갖는 화소의 좌표값 등의 수치 데이터군 등이어도 된다.
또한, 화상 세그멘테이션 엔진이나, 영역 라벨 화상 평가 엔진, 촬영 개소 추정 엔진에 포함되는 각각 학습 완료 모델은, 화상 처리 장치(2800, 4400)에 마련될 수 있다. 학습 완료 모델은, 예를 들어 CPU나, MPU, GPU, FPGA 등의 프로세서에 의해 실행되는 소프트웨어 모듈 등으로 구성되어도 되고, ASIC 등의 특정한 기능을 행하는 회로 등으로 구성되어도 된다. 또한, 학습 완료 모델은 화상 처리 장치(2800, 4400)와 접속되는 다른 서버의 장치 등에 마련되어도 된다. 이 경우에는, 화상 처리 장치(2800, 4400)는 인터넷 등의 임의의 네트워크를 통해 학습 완료 모델을 구비하는 서버 등에 접속함으로써, 학습 완료 모델을 사용할 수 있다. 여기서, 학습 완료 모델을 구비하는 서버는, 예를 들어 클라우드 서버나, 포그 서버, 에지 서버 등이면 된다.
실시예 8 내지 19에 의하면, 종래의 화상 세그멘테이션 처리보다도 정밀도가 높은 화상 세그멘테이션 처리를 실시할 수 있다.
(변형예 1)
실시예 1 내지 7 및 그들의 변형예에서는, 처리부(222) 또는 제1 처리부(822)가 학습 완료 모델을 사용하여, 단층 화상으로부터 망막층을 검출하고, 경계 화상을 생성하였다. 또한, 실시예 9 내지 19에서는, 세그멘테이션 처리부(2804)가, 학습 완료 모델을 포함하는 화상 세그멘테이션 엔진을 사용하여, 입력된 화상에 대응하는 영역 라벨 화상을 생성하였다.
이에 대하여, 학습 완료 모델을 사용하여 검출된 망막층의 정보나 생성된 경계 화상 또는 영역 라벨 화상은, 조작자로부터의 지시에 따라서 수동으로 수정되어도 된다. 예를 들어, 조작자는, 표시부(50, 2820)에 표시된, 망막층의 검출 결과나 경계 화상 또는 영역 라벨 화상의 적어도 일부를 지정하고, 망막층의 위치나 라벨을 변경할 수 있다. 이 경우, 검출 결과의 수정이나 경계 화상 또는 영역 라벨 화상의 수정은, 처리부(222)나 제1 처리부(822), 세그멘테이션 처리부(2804)에 의해, 조작자의 지시에 따라서 행해져도 되고, 이들과는 다른 수정부 등의 구성 요소에 의해 행해져도 된다. 이를 위해, 처리부(222), 제1 처리부(822), 세그멘테이션 처리부(2804) 또는 당해 수정부는 조작자의 지시에 따라서, 제1 처리부가 검출한 망막층의 구조를 수정하는 수정부의 일례로서 기능한다. 또한, 당해 수정부 등은, CPU나 MPU, GPU, FPGA 등의 프로세서에 의해 실행되는 소프트웨어 모듈 등으로 구성되어도 되고, ASIC 등의 특정한 기능을 행하는 회로 등으로 구성되어도 된다.
(변형예 2)
변형예 1에 있어서 수동으로 수정된 데이터는, 처리부(222) 또는 제1 처리부(822)가 사용하는 학습 완료 모델, 및 세그멘테이션 처리부(2804)가 사용하는 화상 세그멘테이션 엔진에 포함되는 학습 완료 모델에 대한 추가 학습에 사용되어도 된다. 구체적으로는, 처리부(222) 또는 제1 처리부(822)가 사용하는 학습 완료 모델에 대하여, 입력된 단층 화상을 학습 데이터의 입력 데이터로서, 조작자로부터의 지시에 따라서 위치가 수정된 망막층(층 경계)의 정보를 출력 데이터(정해 데이터)로서 추가 학습을 행한다. 또한, 조작자로부터의 지시에 따라서 라벨이 수정된 경계 화상을 출력 데이터로 해도 된다. 또한, 화상 세그멘테이션 엔진에 포함되는 학습 완료 모델에 대하여, 입력된 화상을 학습 데이터의 입력 데이터로서, 조작자로부터의 지시에 따라서 라벨의 위치가 변경된 영역 라벨 화상을 출력 데이터로 하여 추가 학습을 행한다.
학습 완료 모델에 대하여 이러한 추가 학습을 행함으로써, 학습 완료 모델을 사용한 검출 처리나 세그멘테이션 처리의 정밀도가 향상될 것을 기대할 수 있다. 또한, 이러한 처리를 행함으로써, 학습 데이터에 관한 라벨 부여 처리(어노테이션 처리)를 용이하게 행할 수 있어, 보다 정밀도가 높은 학습 데이터를 용이하게 제작할 수 있다.
(변형예 3)
변형예 2에서 설명한 추가 학습은, 조작자의 지시에 따라서 행해져도 된다. 예를 들어, 표시 제어부(25) 또는 출력부(2807)는, 변형예 1에 관한 조작자의 지시에 따른 수정이 행해진 경우에, 수정된 망막층의 검출 결과나 영역 라벨 화상 등을 학습 데이터로서 사용할 것인지 여부를 표시부(50, 2820)에 표시시킬 수 있다. 조작자는, 표시부(50, 2820)에 표시된 선택지를 선택함으로써, 추가 학습의 필요 여부를 지시할 수 있다. 이에 의해, 화상 처리 장치(20, 80, 2800, 4400)는 조작자의 지시에 따라서, 추가 학습의 필요 여부를 결정할 수 있다.
또한, 상술한 바와 같이, 학습 완료 모델은 서버 등의 장치에 마련될 수도 있다. 이 경우에는, 화상 처리 장치(20, 80, 2800, 4400)는, 추가 학습을 행한다고 하는 조작자의 지시에 따라서, 입력된 화상과 상술한 수정이 행해진 검출 결과 또는 영역 라벨 화상 등을 학습 데이터의 페어로서, 당해 서버 등에 송신·보존할 수 있다. 바꾸어 말하면, 화상 처리 장치(20, 80, 2800, 4400)는 조작자의 지시에 따라서, 학습 완료 모델을 구비하는 서버 등의 장치에 추가 학습의 학습 데이터를 송신할지 여부를 결정할 수 있다.
(변형예 4)
상술한 각종 실시예 및 변형예에서는, 정지 화상에 대하여, 망막층의 검출 처리나 영역 라벨 화상 등의 생성 처리를 행하는 구성에 대하여 설명하였다. 이에 대해, 동화상에 대하여, 상기 실시예 및 변형예에 관한 망막층의 검출 처리나 영역 라벨 화상 등의 생성 처리를 반복하여 실행해도 된다. 일반적으로 안과 장치에서는, 본 촬영을 행하기 전에, 장치의 위치 정렬 등 때문에 프리뷰 화상(동화상)을 생성하고, 표시하는 것이 행해지고 있다. 그 때문에, 예를 들어 당해 프리뷰 화상인 단층 화상의 동화상의 적어도 하나의 프레임마다, 상기 실시예 및 변형예에 관한 망막층의 검출 처리나 영역 라벨 화상 등의 생성 처리를 반복하여 실행해도 된다.
이 경우에는, 표시 제어부(25) 또는 출력부(2807)는, 프리뷰 화상에 대하여 검출된 망막층이나 영역 라벨 화상 등을 표시부(50, 2820)에 표시시킬 수 있다. 또한, 화상 처리 장치(20, 80, 2800, 4400)는, 프리뷰 화상에 대하여 검출된 망막층이나, 망막층의 라벨 부여된 영역이, 단층 화상의 표시 영역에 있어서의 소정의 위치에 위치하도록 OCT 장치를 제어할 수 있다. 보다 구체적으로는, 화상 처리 장치(20, 80, 2800, 4400)는, 프리뷰 화상에 대하여 검출된 망막층이나 망막층의 라벨 부여된 영역이, 단층 화상의 표시 영역에 있어서의 소정의 위치에 위치하도록 코히어런스 게이트 위치를 변경한다. 또한, 코히어런스 게이트 위치의 조정은, 예를 들어 구동 제어부(23)에 의해 코히런스 게이트 스테이지(14)를 구동시키는 등에 의해 행해져도 된다.
또한, 당해 코히어런스 게이트 위치의 조정은 조작자에 의한 지시에 따라서 수동으로 행해져도 된다. 이 경우, 조작자는, 표시부(50, 2820)에 표시된, 프리뷰 화상에 대하여 검출된 망막층이나 영역 라벨 화상에 기초하여, 코히어런스 게이트 위치의 조정량을 화상 처리 장치(20, 80, 2800, 4400)에 입력할 수 있다.
이러한 처리에 의하면, 학습 완료 모델을 사용하여 검출된 망막층 또는 생성된 영역 라벨 화상에 기초하여, 피검안에 대한 OCT 장치의 위치 정렬(얼라인먼트)을 적절하게 행할 수 있다.
또한, 상기 실시예 및 변형예에 관한 망막층의 검출 처리나 영역 라벨 화상 등의 생성 처리를 적용 가능한 동화상은, 라이브 동화상에 한정되지 않고, 예를 들어 기억부에 기억(보존)된 동화상이어도 된다. 또한, 코히어런스 게이트 위치 등의 각종 조정 중에서는, 피검안의 망막 등의 촬영 대상이 아직 능숙하게 촬상되지 않았을 가능성이 있다. 이 때문에, 학습 완료 모델에 입력되는 의료용 화상과 학습 데이터로서 사용된 의료용 화상의 차이가 크므로, 고정밀도로 망막층의 검출 결과나 영역 라벨 화상 등이 얻어지지 않을 가능성이 있다. 그래서, 단층 화상(B 스캔)의 화질 평가 등의 평가값이 역치를 초과하면, 학습 완료 모델을 사용한 망막층의 검출 처리나 영역 라벨 화상 등의 생성 처리를 자동적으로 개시하도록 구성해도 된다. 또한, 단층 화상(B 스캔)의 화질 평가 등의 평가값이 역치를 초과하면, 학습 완료 모델을 사용한 화상 세그멘테이션 처리를 지시하는 버튼을 검자가 지정 가능한 상태(액티브 상태)로 변경하도록 구성되어도 된다.
(변형예 5)
질병 눈에서는, 질병의 종류에 따라서 화상 특징이 다르다. 그 때문에, 상술한 각종 실시예나 변형예에 있어서 사용되는 학습 완료 모델은, 질병의 종류마다 또는 이상 부위마다 각각 생성·준비되어도 된다. 이 경우에는, 예를 들어 화상 처리 장치(20, 80, 2800, 4400)는, 조작자로부터의 피검안의 질병 종류나 이상 부위 등의 입력(지시)에 따라서, 처리에 사용할 학습 완료 모델을 선택할 수 있다. 또한, 질병의 종류나 이상 부위마다 준비되는 학습 완료 모델은, 망막층의 검출이나 영역 라벨 화상 등의 생성에 사용되는 학습 완료 모델에 한정되지 않고, 예를 들어 화상의 평가용의 엔진이나 해석용의 엔진 등에서 사용되는 학습 완료 모델이어도 된다.
또한, 화상 처리 장치(20, 80, 2800, 4400)는, 별도로 준비된 학습 완료 모델을 사용하여, 화상으로부터 피검안의 질병 종류나 이상 부위를 식별해도 된다. 이 경우에는, 화상 처리 장치(20, 80, 2800, 4400)는, 당해 별도로 준비된 학습 완료 모델을 사용하여 식별된 질병의 종류나 이상 부위에 기초하여, 상기 처리에 사용할 학습 완료 모델을 자동적으로 선택할 수 있다. 또한, 당해 피검안의 질병 종류나 이상 부위를 식별하기 위한 학습 완료 모델은, 단층 화상이나 안저 화상 등을 입력 데이터로 하여, 질병의 종류나 이들 화상에 있어서의 이상 부위를 출력 데이터로 한 학습 데이터의 페어를 사용하여 학습을 행해도 된다. 여기서, 학습 데이터의 입력 데이터로서는, 단층 화상이나 안저 화상 등을 단독으로 입력 데이터로 해도 되고, 이들 조합을 입력 데이터로 해도 된다.
또한, 이상 부위를 검출하는 경우에는, 적대성 생성 네트워크(GAN: Generative Adversarial Netwoks)나 변분 오토 인코더(VAE: Variational auto-encoder)를 사용해도 된다. 예를 들어, 단층 화상의 생성을 학습하여 얻은 생성기와, 생성기가 생성한 새로운 단층 화상과 진짜 안저 정면 화상의 식별을 학습하여 얻은 식별기를 포함하는 DCGAN(Deep Convolutional GAN)을 기계 학습 모델로서 사용할 수 있다.
DCGAN을 사용하는 경우에는, 예를 들어 식별기가 입력된 단층 화상을 인코딩함으로써 잠재 변수로 하고, 생성기가 잠재 변수에 기초하여 새로운 단층 화상을 생성한다. 그 후, 입력된 단층 화상과 생성된 새로운 단층 화상의 차분을 이상 부위로서 추출할 수 있다. 또한, VAE를 사용하는 경우에는, 예를 들어 입력된 단층 화상을 인코더에 의해 인코딩함으로써 잠재 변수로 하고, 잠재 변수를 디코더에 의해 디코드함으로써 새로운 단층 화상을 생성한다. 그 후, 입력된 단층 화상과 생성된 새로운 단층 화상상의 차분을 이상 부위로서 추출할 수 있다. 또한, 입력 데이터의 예로서 단층 화상을 예로서 설명하였지만, 안저 화상이나 전안의 정면 화상 등을 사용해도 된다.
(변형예 6)
상술한 각종 실시예 및 변형예에 있어서, 처리부(222)나, 제1 처리부(822), 세그멘테이션 처리부(2804)에 의해 학습 완료 모델을 사용하여, 피검안의 영역을 검출하는 경우에는, 검출한 영역마다 소정의 화상 처리를 실시할 수도 있다. 예를 들어, 초자체 영역, 망막 영역 및 맥락막 영역 중 적어도 2개의 영역을 검출하는 경우를 생각한다. 이 경우에는, 검출된 적어도 2개의 영역에 대하여 콘트라스트 조정 등의 화상 처리를 실시할 때, 각각 다른 화상 처리의 파라미터를 사용함으로써, 각 영역에 적합한 조정을 행할 수 있다. 각 영역에 적합한 조정이 행해진 화상을 표시함으로써, 조작자는 영역별 질병 등을 보다 적절하게 진단할 수 있다. 또한, 검출된 영역별로 다른 화상 처리의 파라미터를 사용하는 구성에 대하여는, 예를 들어 학습 완료 모델을 사용하지 않고 피검안의 영역을 검출하는 제2 처리부(823)에 의해 검출된 피검안의 영역에 대하여 마찬가지로 적용되어도 된다.
(변형예 7)
상술한 각종 실시예 및 변형예에 있어서의 표시 제어부(25) 또는 출력부(2807)는, 표시 화면의 리포트 화면에 있어서, 원하는 층의 층 두께나 각종 혈관 밀도 등의 해석 결과를 표시시켜도 된다. 또한, 시신경 유두부, 황반부, 혈관 영역, 신경 섬유 다발, 초자체 영역, 황반 영역, 맥락막 영역, 강막 영역, 체상판 영역, 망막층 경계, 망막층 경계 단부, 시세포, 혈구, 혈관벽, 혈관 내벽 경계, 혈관 외측 경계, 신경절 세포, 각막 영역, 코너 영역, 쉴렘관 등의 적어도 하나를 포함하는 주목 부위에 관한 파라미터의 값(분포)을 해석 결과로서 표시시켜도 된다. 이 때, 예를 들어 각종 아티팩트의 저감 처리가 적용된 의료용 화상을 해석함으로써, 정밀도가 양호한 해석 결과를 표시시킬 수 있다. 또한, 아티팩트는, 예를 들어 혈관 영역 등에 의한 광흡수에 의해 발생하는 거짓상 영역이나, 프로젝션 아티팩트, 피검안의 상태(움직임이나 깜박임 등)에 의해 측정광의 주 주사 방향으로 발생하는 정면 화상에 있어서의 띠형 아티팩트 등이어도 된다. 또한, 아티팩트는, 예를 들어 피검자의 소정 부위의 의료용 화상 상에 촬영마다 랜덤하게 발생하는 사손(寫損) 영역이라면, 무엇이든지 좋다. 또한, 표시 제어부(25) 또는 출력부(2807)는, 상술한 바와 같은 각종 아티팩트(화상 손상 영역)의 적어도 하나를 포함하는 영역에 관한 파라미터의 값(분포)을 해석 결과로서 표시부(50, 2820)에 표시시켜도 된다. 또한, 드루젠, 신생 혈관, 백반(경성 백반) 및 수도드루젠 등의 이상 부위 등의 적어도 하나를 포함하는 영역에 관한 파라미터의 값(분포)을 해석 결과로서 표시시켜도 된다.
또한, 해석 결과는, 해석 맵이나, 각 분할 영역에 대응하는 통계값을 나타내는 섹터 등으로 표시되어도 된다. 또한, 해석 결과는, 의료용 화상의 해석 결과를 학습 데이터로서 학습하여 얻은 학습 완료 모델(해석 결과 생성 엔진, 해석 결과 생성용의 학습 완료 모델)을 사용하여 생성된 것이어도 된다. 이 때, 학습 완료 모델은, 의료용 화상과 그 의료용 화상의 해석 결과를 포함하는 학습 데이터나, 의료용 화상과 그 의료용 화상과는 다른 종류의 의료용 화상의 해석 결과를 포함하는 학습 데이터 등을 사용한 학습에 의해 얻은 것이어도 된다.
또한, 학습 데이터는, 처리부(222), 또는 제1 처리부(822) 및/혹은 제2 처리부(823)에 의한 망막층의 검출 결과나, 세그멘테이션 처리부(2804)에서 생성된 영역 라벨 화상과, 그들을 사용한 의료용 화상의 해석 결과를 포함한 것이어도 된다. 이 경우, 화상 처리 장치는, 예를 들어 해석 결과 생성용의 학습 완료 모델을 사용하여, 제1 검출 처리를 실행하여 얻은 결과로부터, 단층 화상의 해석 결과를 생성하는, 해석 결과 생성부의 일례로서 기능할 수 있다.
또한, 학습 완료 모델은, 휘도 정면 화상 및 모션 콘트라스트 정면 화상과 같이, 소정 부위의 다른 종류의 복수의 의료용 화상을 세트로 하는 입력 데이터를 포함하는 학습 데이터를 사용한 학습에 의해 얻은 것이어도 된다. 여기서, 휘도 정면 화상은 휘도의 En-Face 화상에 대응하고, 모션 콘트라스트 정면 화상은 OCTA의 En-Face 화상에 대응한다.
또한, 고화질화용의 학습 완료 모델을 사용하여 생성된 고화질 화상을 사용하여 얻은 해석 결과가 표시되도록 구성되어도 된다. 이 경우, 학습 데이터에 포함되는 입력 데이터로서는, 고화질화용의 학습 완료 모델을 사용하여 생성된 고화질 화상이어도 되고, 저화질 화상과 고화질 화상의 세트여도 된다. 또한, 학습 데이터는, 학습 완료 모델을 사용하여 고화질화된 화상에 대하여, 수동 또는 자동으로 적어도 일부에 수정이 실시된 화상이어도 된다.
또한, 학습 데이터는, 예를 들어 해석 영역을 해석하여 얻은 해석값(예를 들어, 평균값이나 중앙값 등), 해석값을 포함하는 표, 해석 맵, 화상에 있어서의 섹터 등의 해석 영역의 위치 등의 적어도 하나를 포함하는 정보를 (지도 학습의) 정해 데이터로서, 입력 데이터에 라벨 부여한 데이터여도 된다. 또한, 조작자로부터의 지시에 따라서, 해석 결과 생성용의 학습 완료 모델을 사용하여 얻은 해석 결과가 표시되도록 구성되어도 된다.
또한, 상술한 실시예 및 변형예에 있어서의 표시 제어부(25) 및 출력부(2807)는, 표시 화면의 리포트 화면에 있어서, 녹내장이나 노인성 황반 변성 등의 다양한 진단 결과를 표시시켜도 된다. 이 때, 예를 들어 상술한 바와 같은 각종 아티팩트의 저감 처리가 적용된 의료용 화상을 해석함으로써, 정밀도가 양호한 진단 결과를 표시시킬 수 있다. 또한, 진단 결과는, 특정된 이상 부위 등의 위치를 화상 상에 표시되어도 되고, 이상 부위의 상태 등을 문자 등에 의해 표시되어도 된다. 또한, 이상 부위 등의 분류 결과(예를 들어, 커틴 분류)를 진단 결과로서 표시시켜도 된다.
또한, 진단 결과는, 의료용 화상의 진단 결과를 학습 데이터로서 학습하여 얻은 학습 완료 모델(진단 결과 생성 엔진, 진단 결과 생성용의 학습 완료 모델)을 사용하여 생성된 것이어도 된다. 또한, 학습 완료 모델은, 의료용 화상과 그 의료용 화상의 진단 결과를 포함하는 학습 데이터나, 의료용 화상과 그 의료용 화상과는 다른 종류의 의료용 화상의 진단 결과를 포함하는 학습 데이터 등을 사용한 학습에 의해 얻은 것이어도 된다.
또한, 학습 데이터는, 처리부(222), 또는 제1 처리부(822) 및/혹은 제2 처리부(823)에 의한 망막층의 검출 결과나, 세그멘테이션 처리부(2804)에서 생성된 영역 라벨 화상과, 그들을 사용한 의료용 화상의 진단 결과를 포함한 것이어도 된다. 이 경우, 화상 처리 장치는, 예를 들어 진단 결과 생성용의 학습 완료 모델을 사용하여, 제1 검출 처리를 실행하여 얻은 결과로부터, 단층 화상의 진단 결과를 생성하는, 진단 결과 생성부의 일례로서 기능할 수 있다.
또한, 고화질화용의 학습 완료 모델을 사용하여 생성된 고화질 화상을 사용하여 얻은 진단 결과가 표시되도록 구성되어도 된다. 이 경우, 학습 데이터에 포함되는 입력 데이터로서는, 고화질화용의 학습 완료 모델을 사용하여 생성된 고화질 화상이어도 되고, 저화질 화상과 고화질 화상의 세트여도 된다. 또한, 학습 데이터는, 학습 완료 모델을 사용하여 고화질화된 화상에 대하여, 수동 또는 자동으로 적어도 일부에 수정이 실시된 화상이어도 된다.
또한, 학습 데이터는, 예를 들어 진단명, 병변(이상 부위)의 종류나 상태(정도), 화상에 있어서의 병변의 위치, 주목 영역에 대한 병변의 위치, 소견(독영 소견 등), 진단명의 근거(긍정적인 의료용 지원 정보 등), 진단명을 부정하는 근거(부정적인 의료용 지원 정보) 등의 적어도 하나를 포함하는 정보를 (지도 학습의) 정해 데이터로서, 입력 데이터에 라벨 부여한 데이터여도 된다. 또한, 검자로부터의 지시에 따라서, 진단 결과 생성용의 학습 완료 모델을 사용하여 얻은 진단 결과가 표시되도록 구성되어도 된다.
또한, 상술한 각종 실시예 및 변형예에 관한 표시 제어부(25) 및 출력부(2807)는, 표시 화면의 리포트 화면에 있어서, 상술한 바와 같은 주목 부위, 아티팩트 및 이상 부위 등의 물체 인식 결과(물체 검출 결과)나 세그멘테이션 결과를 표시시켜도 된다. 이 때, 예를 들어 화상 상의 물체의 주변에 직사각형의 프레임 등을 중첩하여 표시시켜도 된다. 또한, 예를 들어 화상에 있어서의 물체 상에 색 등을 중첩하여 표시시켜도 된다. 또한, 물체 인식 결과나 세그멘테이션 결과는, 물체 인식이나 세그멘테이션을 나타내는 정보를 정해 데이터로서 의료용 화상에 라벨 부여한 학습 데이터를 학습하여 얻은 학습 완료 모델을 사용하여 생성된 것이어도 된다. 또한, 상술한 해석 결과 생성이나 진단 결과 생성은, 상술한 물체 인식 결과나 세그멘테이션 결과를 이용함으로써 얻어진 것이어도 된다. 예를 들어, 물체 인식이나 세그멘테이션의 처리에 의해 얻은 주목 부위에 대하여 해석 결과 생성이나 진단 결과 생성의 처리를 행해도 된다.
또한, 특히 진단 결과 생성용의 학습 완료 모델은, 피검자의 소정 부위의 다른 종류의 복수의 의료용 화상을 세트로 하는 입력 데이터를 포함하는 학습 데이터에 의해 학습하여 얻은 학습 완료 모델이어도 된다. 이 때, 학습 데이터에 포함되는 입력 데이터로서, 예를 들어 안저의 모션 콘트라스트 정면 화상 및 휘도 정면 화상(혹은 휘도 단층 화상)을 세트로 하는 입력 데이터를 생각할 수 있다. 또한, 학습 데이터에 포함되는 입력 데이터로서, 예를 들어 안저의 단층 화상(B 스캔 화상) 및 컬러 안저 화상(혹은 형광 안저 화상)을 세트로 하는 입력 데이터 등도 생각할 수 있다. 또한, 다른 종류의 복수의 의료 화상은, 다른 모달리티, 다른 광학계, 또는 다른 원리 등에 의해 취득된 것이라면 무엇이든지 좋다.
또한, 특히 진단 결과 생성용의 학습 완료 모델은, 피검자의 다른 부위의 복수의 의료용 화상을 세트로 하는 입력 데이터를 포함하는 학습 데이터에 의해 학습하여 얻은 학습 완료 모델이어도 된다. 이 때, 학습 데이터에 포함되는 입력 데이터로서, 예를 들어 안저의 단층 화상(B 스캔 화상)과 전안부의 단층 화상(B 스캔 화상)을 세트로 하는 입력 데이터를 생각할 수 있다. 또한, 학습 데이터에 포함되는 입력 데이터로서, 예를 들어 안저의 황반의 삼차원 OCT 화상(삼차원 단층 화상)과 안저의 시신경 유두의 써클 스캔(또는 래스터 스캔) 단층 화상을 세트로 하는 입력 데이터 등도 생각할 수 있다.
또한, 학습 데이터에 포함되는 입력 데이터는, 피검자의 다른 부위 및 다른 종류의 복수의 의료용 화상이어도 된다. 이 때, 학습 데이터에 포함되는 입력 데이터는, 예를 들어 전안부의 단층 화상과 컬러 안저 화상을 세트로 하는 입력 데이터 등을 생각할 수 있다. 또한, 상술한 학습 완료 모델은, 피검자의 소정 부위의 다른 촬영 화각의 복수의 의료용 화상을 세트로 하는 입력 데이터를 포함하는 학습 데이터에 의해 학습하여 얻은 학습 완료 모델이어도 된다. 또한, 학습 데이터에 포함되는 입력 데이터는, 파노라마 화상과 같이, 소정 부위를 복수 영역으로 시분할하여 얻은 복수의 의료용 화상을 접합한 것이어도 된다. 이 때, 파노라마 화상과 같은 광화각 화상을 학습 데이터로서 사용함으로써, 협화각 화상보다도 정보량이 많은 등의 이유로부터 화상의 특징량을 고정밀도로 취득할 수 있을 가능성이 있기 때문에, 처리의 결과를 향상시킬 수 있다. 또한, 학습 데이터에 포함되는 입력 데이터는, 피검자의 소정 부위의 다른 일시의 복수의 의료용 화상을 세트로 하는 입력 데이터여도 된다.
또한, 상술한 해석 결과와 진단 결과와 물체 인식 결과와 세그멘테이션 결과 중 적어도 하나의 결과가 표시되는 표시 화면은, 리포트 화면에 제한되지 않는다. 이러한 표시 화면은, 예를 들어 촬영 확인 화면, 경과 관찰용의 표시 화면 및 촬영 전의 각종 조정용의 프리뷰 화면(각종 라이브 동화상이 표시되는 표시 화면) 등의 적어도 하나의 표시 화면에 표시되어도 된다. 예를 들어, 상술한 학습 완료 모델을 사용하여 얻은 상기 적어도 하나의 결과를 촬영 확인 화면에 표시시킴으로써, 조작자는, 촬영 직후여도 정밀도가 양호한 결과를 확인할 수 있다. 또한, 실시예 7 등에서 설명한 저화질 화상과 고화질 화상의 표시의 변경은, 예를 들어 저화질 화상의 해석 결과와 고화질 화상의 해석 결과의 표시의 변경이어도 된다.
여기서, 상술한 각종 학습 완료 모델은, 학습 데이터를 사용한 기계 학습에 의해 얻을 수 있다. 기계 학습에는, 예를 들어 다계층의 뉴럴 네트워크를 포함하는 심층 학습(Deep Learning)이 있다. 또한, 다계층의 뉴럴 네트워크의 적어도 일부에는, 예를 들어 컨벌루션 뉴럴 네트워크(CNN: Convolutional Neural Network)를 사용할 수 있다. 또한, 다계층의 뉴럴 네트워크의 적어도 일부에는, 오토 인코더(자기 부호화기)에 관한 기술이 사용되어도 된다. 또한, 학습에는, 백 프로퍼게이션(오차 역전반법)에 관한 기술이 사용되어도 된다. 단, 기계 학습으로서는, 심층 학습에 한정되지 않고, 화상 등의 학습 데이터의 특징량을 학습에 의해 스스로 추출(표현) 가능한 모델을 사용한 학습이라면 무엇이든지 좋다. 기계 학습 모델은, 예를 들어 캡슐 네트워크(Capsule Network; CapsNet)여도 된다. 여기서, 일반적인 뉴럴 네트워크에서는, 각 유닛(각 뉴런)은 스칼라값을 출력하도록 구성됨으로써, 예를 들어 화상에 있어서의 특징간의 공간적인 위치 관계(상대 위치)에 관한 공간 정보가 저감되게 구성되어 있다. 이에 의해, 예를 들어 화상의 국소적인 변형이나 평행 이동 등의 영향이 저감되는 학습을 행할 수 있다. 한편, 캡슐 네트워크에서는, 각 유닛(각캡슐)은 공간 정보를 벡터로서 출력하도록 구성됨에 따라서, 예를 들어 공간 정보가 유지되게 구성되어 있다. 이에 의해, 예를 들어 화상에 있어서의 특징간의 공간적인 위치 관계가 고려된 학습을 행할 수 있다.
또한, 고화질화 엔진(고화질화용의 학습 완료 모델)은, 고화질화 엔진에 의해 생성된 적어도 하나의 고화질 화상을 포함하는 학습 데이터를 추가 학습하여 얻은 학습 완료 모델이어도 된다. 이 때, 고화질 화상을 추가 학습용의 학습 데이터로서 사용할 것인지 여부를, 검자로부터의 지시에 의해 선택 가능하도록 구성되어도 된다.
(변형예 8)
상술한 각종 실시예 및 변형예에 있어서의 프리뷰 화면에 있어서, 라이브 동화상의 적어도 하나의 프레임마다 상술한 고화질화용의 학습 완료 모델이 사용되도록 구성되어도 된다. 이 때, 프리뷰 화면에 있어서, 다른 부위나 다른 종류의 복수의 라이브 동화상이 표시되어 있는 경우에는, 각 라이브 동화상에 대응하는 학습 완료 모델이 사용되도록 구성되어도 된다. 이에 의해, 예를 들어 라이브 동화상이어도, 처리 시간을 단축시킬 수 있기 때문에, 검자는 촬영 개시 전에 정밀도가 높은 정보를 얻을 수 있다. 이 때문에, 예를 들어 재촬영의 실패 등을 저감시킬 수 있으므로, 진단의 정밀도나 효율을 향상시킬 수 있다. 또한, 복수의 라이브 동화상은, 예를 들어 XYZ 방향의 얼라인먼트를 위한 전안부의 동화상 및 안저 관찰 광학계의 포커스 조정이나 OCT 포커스 조정을 위한 안저 정면 동화상이면 된다. 또한, 복수의 라이브 동화상은, 예를 들어 OCT의 코히어런스 게이트 조정(측정 광로 길이와 참조 광로 길이의 광로 길이차의 조정)을 위한 안저 단층 동화상 등이어도 된다.
또한, 상술한 학습 완료 모델을 적용 가능한 동화상은, 라이브 동화상에 한정되지 않고, 예를 들어 기억부에 기억(보존)된 동화상이어도 된다. 이 때, 예를 들어 기억부에 기억(보존)된 안저의 단층 동화상의 적어도 하나의 프레임마다 위치 정렬하여 얻은 동화상이 표시 화면에 표시되어도 된다. 예를 들어, 초자체를 적합하게 관찰하고 싶을 경우에는, 먼저 프레임 상에 초자체가 가능한 한 존재하는 등의 조건을 기준으로 하는 기준 프레임을 선택해도 된다. 이 때, 각 프레임은, XZ 방향의 단층 화상(B 스캔상)이다. 그리고, 선택된 기준 프레임에 대하여 다른 프레임이 XZ 방향으로 위치 정렬된 동화상이 표시 화면에 표시되어도 된다. 이 때, 예를 들어 동화상의 적어도 하나의 프레임마다 고화질화용의 학습 완료 모델을 사용하여 순차로 생성된 고화질 화상(고화질 프레임)을 연속 표시시키도록 구성해도 된다.
또한, 상술한 프레임간의 위치 정렬의 방법으로서는, X 방향의 위치 정렬 방법과 Z 방향(심도 방향)의 위치 정렬의 방법은, 동일한 방법이 적용되어도 되고, 모두 다른 방법이 적용되어도 된다. 또한, 동일한 방향의 위치 정렬은, 다른 방법으로 복수회 행해져도 되고, 예를 들어 대략적인 위치 정렬을 행한 후에, 정밀한 위치 정렬이 행해져도 된다. 또한, 위치 정렬의 방법으로서는, 예를 들어 단층 화상(B 스캔상)을 세그멘테이션 처리하여 얻은 망막층 경계를 사용한(Z 방향이 대략적인) 위치 정렬이 있다. 또한, 위치 정렬의 방법으로서는, 예를 들어 단층 화상을 분할하여 얻은 복수의 영역과 기준 화상의 상관 정보(유사도)를 사용한(X 방향이나 Z 방향이 정밀한) 위치 정렬도 있다. 또한, 위치 정렬의 방법으로서는, 예를 들어 단층 화상(B 스캔상)마다 생성한 일차원 투영상을 사용한(X 방향의) 위치 정렬, 2차원 정면 화상을 사용한(X 방향의) 위치 정렬 등이 있다. 또한, 픽셀 단위로 대략적으로 위치 정렬이 행해지고 나서, 서브 픽셀 단위로 정밀한 위치 정렬이 행해지도록 구성되어도 된다.
여기서, 각종 조정 중에서는, 피검안의 망막 등의 촬영 대상을 아직 능숙하게 촬상할 수 없을 가능성이 있다. 이 때문에, 학습 완료 모델에 입력되는 의료용 화상과 학습 데이터로서 사용된 의료용 화상의 차이가 크므로, 고정밀도로 고화질 화상이 얻어지지 않을 가능성이 있다. 그래서, 단층 화상(B 스캔)의 화질 평가 등의 평가값이 역치를 초과하면, 고화질 동화상의 표시(고화질 프레임의 연속 표시)를 자동적으로 개시하도록 구성해도 된다. 또한, 단층 화상(B 스캔)의 화질 평가 등의 평가값이 역치를 초과하면, 고화질화 버튼을 검자가 지정 가능한 상태(액티브 상태)로 변경하도록 구성되어도 된다.
또한, 주사 패턴 등이 다른 촬영 모드마다 다른 고화질화용의 학습 완료 모델을 준비하여, 선택된 촬영 모드에 대응하는 고화질화용의 학습 완료 모델이 선택되도록 구성되어도 된다. 또한, 다른 촬영 모드에서 얻은 각종 의료용 화상을 포함하는 학습 데이터를 학습하여 얻은 하나의 고화질화용의 학습 완료 모델이 사용되어도 된다.
(변형예 9)
상술한 각종 실시예 및 변형예에 있어서는, 각종 학습 완료 모델이 추가 학습 중인 경우, 추가 학습 중의 학습 완료 모델 자체를 사용하여 출력(추론·예측)하는 것이 어려울 가능성이 있다. 이 때문에, 추가 학습 중의 학습 완료 모델에 대한 의료용 화상의 입력을 금지하는 것이 좋다. 또한, 추가 학습 중의 학습 완료 모델과 동일한 학습 완료 모델을 또 하나 예비의 학습 완료 모델로서 준비해도 된다. 이 때, 추가 학습 중에는, 예비의 학습 완료 모델에 대하여 의료용 화상의 입력을 실행할 수 있도록 하는 것이 좋다. 그리고, 추가 학습이 완료된 후에, 추가 학습후의 학습 완료 모델을 평가하고, 문제가 없으면, 예비의 학습 완료 모델로부터 추가 학습 후의 학습 완료 모델로 치환하면 된다. 또한, 문제가 있으면, 예비의 학습 완료 모델이 사용되게 해도 된다.
또한, 촬영 부위마다 학습하여 얻은 학습 완료 모델을 선택적으로 이용할 수 있도록 해도 된다. 구체적으로는, 제1 촬영 부위(폐, 피검안 등)를 포함하는 학습 데이터를 사용하여 얻은 제1 학습 완료 모델과, 제1 촬영 부위와는 다른 제2 촬영 부위를 포함하는 학습 데이터를 사용하여 얻은 제2 학습 완료 모델을 포함하는 복수의 학습 완료 모델을 준비할 수 있다. 그리고, 제어부(200)는, 이들 복수의 학습 완료 모델 중 어느 것을 선택하는 선택 수단을 가져도 된다. 이 때, 제어부(200)는, 선택된 학습 완료 모델에 대하여 추가 학습을 실행하는 제어 수단을 가져도 된다. 제어 수단은, 검자로부터의 지시에 따라서, 선택된 학습 완료 모델에 대응하는 촬영 부위와 해당 촬영 부위의 촬영 화상이 페어가 되는 데이터를 검색하고, 검색하여 얻은 데이터를 학습 데이터로 하는 학습을, 선택된 학습 완료 모델에 대하여 추가 학습으로서 실행할 수 있다. 또한, 선택된 학습 완료 모델에 대응하는 촬영 부위는, 데이터의 헤더 정보로부터 취득하거나, 검자에 의해 수동 입력되거나 한 것이어도 된다. 또한, 데이터의 검색은, 예를 들어 병원이나 연구소 등의 외부 시설의 서버 등으로부터 네트워크를 통해 행해져도 된다. 이에 의해, 학습 완료 모델에 대응하는 촬영 부위의 촬영 화상을 사용하여, 촬영 부위마다 효율적으로 추가 학습할 수 있다.
또한, 선택 수단 및 제어 수단은, 제어부(200)의 CPU나 MPU 등의 프로세서에 의해 실행되는 소프트웨어 모듈에 의해 구성되어도 된다. 또한, 선택 수단 및 제어 수단은, ASIC 등의 특정한 기능을 행하는 회로나 독립한 장치 등으로 구성되어도 된다.
또한, 추가 학습용의 학습 데이터를, 병원이나 연구소 등의 외부 시설의 서버 등으로부터 네트워크를 통해 취득할 때에는, 개찬이나, 추가 학습 시의 시스템 트러블 등에 의한 신뢰성 저하를 저감시키는 것이 유용하다. 그래서, 디지털 서명이나 해시화에 의한 일치성의 확인을 행함으로써, 추가 학습용의 학습 데이터의 정당성을 검출해도 된다. 이에 의해, 추가 학습용의 학습 데이터를 보호할 수 있다. 이 때, 디지털 서명이나 해시화에 의한 일치성을 확인한 결과로서, 추가 학습용의 학습 데이터의 정당성을 검출하지 못한 경우에는, 그 취지의 경고를 행하고, 그 학습 데이터에 의한 추가 학습을 행하지 않는 것으로 한다. 또한, 서버는, 그 설치 장소를 막론하고, 예를 들어 클라우드 서버, 포그 서버, 에지 서버 등의 어떤 형태여도 된다.
(변형예 10)
상술한 각종 실시예 및 변형예에 있어서, 검자로부터의 지시는, 수동에 의한 지시(예를 들어, 유저 인터페이스 등을 사용한 지시) 이외에도, 음성 등에 의한 지시여도 된다. 이 때, 예를 들어 기계 학습에 의해 얻은 음성 인식 모델(음성 인식 엔진, 음성 인식용의 학습 완료 모델)을 포함하는 기계 학습 모델이 사용되어도 된다. 또한, 수동에 의한 지시는, 키보드나 터치 패널 등을 사용한 문자 입력 등에 의한 지시여도 된다. 이 때, 예를 들어 기계 학습에 의해 얻은 문자 인식 모델(문자 인식 엔진, 문자 인식용의 학습 완료 모델)을 포함하는 기계 학습 모델이 사용되어도 된다. 또한, 검자로부터의 지시는 제스처 등에 의한 지시여도 된다. 이 때, 기계 학습에 의해 얻은 제스처 인식 모델(제스처 인식 엔진, 제스처 인식용의 학습 완료 모델)을 포함하는 기계 학습 모델이 사용되어도 된다.
또한, 검자로부터의 지시는, 표시부(50, 2820) 상의 검자의 시선 검출 결과 등이어도 된다. 시선 검출 결과는, 예를 들어 표시부(50, 2820) 주변으로부터 촬영하여 얻은 검자의 동화상을 사용한 동공 검출 결과여도 된다. 이 때, 동화상으로부터의 동공 검출은 상술한 바와 같은 물체 인식 엔진을 사용해도 된다. 또한, 검자로부터의 지시는 뇌파, 몸을 흐르는 미약한 전기 신호 등에 의한 지시여도 된다.
이러한 경우, 예를 들어 학습 데이터로서는, 상술한 바와 같은 각종의 학습 완료 모델의 처리에 의한 결과의 표시 지시를 나타내는 문자 데이터 또는 음성 데이터(파형 데이터) 등을 입력 데이터로 하고, 각종 학습 완료 모델의 처리에 의한 결과 등을 실제로 표시부에 표시시키기 위한 실행 명령을 정해 데이터로 하는 학습 데이터여도 된다. 또한, 학습 데이터로서는, 예를 들어 고화질화용의 학습 완료 모델로 얻은 고화질 화상의 표시 지시를 나타내는 문자 데이터 또는 음성 데이터 등을 입력 데이터로 하고, 고화질 화상의 표시 실행 명령 및 도 22a 및 도 22b에 나타내는 바와 같은 버튼(2220)을 액티브 상태로 변경하기 위한 실행 명령을 정해 데이터로 하는 학습 데이터여도 된다. 또한, 학습 데이터로서는, 예를 들어 문자 데이터 또는 음성 데이터 등이 나타내는 지시 내용과 실행 명령 내용이 서로 대응하는 것이라면 무엇이든지 좋다. 또한, 음향 모델이나 언어 모델 등을 사용하여, 음성 데이터로부터 문자 데이터로 변환해도 된다. 또한, 복수의 마이크로 얻은 파형 데이터를 사용하여, 음성 데이터에 중첩되어 있는 노이즈 데이터를 저감시키는 처리를 행해도 된다. 또한, 문자 또는 음성 등에 의한 지시와, 마우스 또는 터치 패널 등에 의한 지시를, 검자로부터의 지시에 따라서 선택 가능하도록 구성되어도 된다. 또한, 문자 또는 음성 등에 의한 지시의 온·오프를, 검자로부터의 지시에 따라서 선택 가능하도록 구성되어도 된다.
여기서, 기계 학습에는, 상술한 바와 같은 심층 학습이 있고, 또한 다계층의 뉴럴 네트워크의 적어도 일부에는, 예를 들어 재귀형 뉴럴 네트워크(RNN: Recurrent Neural Network)를 사용할 수 있다. 여기서, 본 변형예에 관한 기계 학습 모델의 일례로서, 시계열 정보를 취급하는 뉴럴 네트워크인 RNN에 대하여, 도 46a 및 도 46b를 참조하여 설명한다. 또한, RNN의 일종인 Long short-term memory(이하, LSTM)에 대하여, 도 47a 및 도 47b를 참조하여 설명한다.
도 46a는, 기계 학습 모델인 RNN의 구조를 나타낸다. RNN(4620)은 네트워크에 루프 구조를 갖고, 시각 t에 있어서 데이터 xt4610이 입력되고, 데이터 ht4630을 출력한다. RNN(4620)은 네트워크에 루프 기능을 갖기 때문에, 현 시각의 상태를 다음 상태로 잇는 것이 가능하므로, 시계열 정보를 취급할 수 있다. 도 46b에는 시각 t에 있어서의 파라미터 벡터의 입출력의 일례를 나타낸다. 데이터 xt4610에는 N개(Params1 내지 ParamsN)의 데이터가 포함된다. 또한, RNN(4620)으로부터 출력되는 데이터 ht4630에는 입력 데이터에 대응하는 N개(Params1 내지 ParamsN)의 데이터가 포함된다.
그러나, RNN에서는 오차 역전반 시에 장기 시간의 정보를 취급할 수 없기 때문에, LSTM이 사용되는 경우가 있다. LSTM은, 망각 게이트, 입력 게이트 및 출력 게이트를 구비함으로써 장기 시간의 정보를 학습할 수 있다. 여기서, 도 47a에 LSTM의 구조를 나타낸다. LSTM(4740)에 있어서, 네트워크가 다음 시각 t에 잇는 정보는, 셀이라 불리는 네트워크의 내부 상태 ct-1과 출력 데이터 ht-1이다. 또한, 도면의 소문자(c, h, x)는 벡터를 나타내고 있다.
이어서, 도 47b에 LSTM(4740)의 상세를 나타낸다. 도 47b에 있어서는, 망각 게이트 네트워크 FG, 입력 게이트 네트워크 IG 및 출력 게이트 네트워크 OG가 나타나고, 각각은 시그모이드층이다. 그 때문에, 각 요소가 0 내지 1의 값이 되는 벡터를 출력한다. 망각 게이트 네트워크 FG는 과거의 정보를 얼마나 유지할지를 정하고, 입력 게이트 네트워크 IG는 어느 값을 갱신할지를 판정하는 것이다. 또한, 도 47b에 있어서는, 셀 갱신 후보 네트워크 CU가 나타나고, 셀 갱신 후보 네트워크 CU는 활성화 함수 tanh층이다. 이것은, 셀에 더해지는 새로운 후보값의 벡터를 제작한다. 출력 게이트 네트워크 OG는, 셀 후보의 요소를 선택하여 다음 시각에 어느 정도의 정보를 전달할지 선택한다.
또한, 상술한 LSTM의 모델은 기본형이기 때문에, 여기에서 나타낸 네트워크에 제한되지 않는다. 네트워크간의 결합을 변경해도 된다. LSTM이 아니고, QRNN(Quasi Recurrent Neural Network)을 사용해도 된다. 또한, 기계 학습 모델은 뉴럴 네트워크에 한정되는 것은 아니며, 부스팅이나 서포트 벡터 머신 등이 사용되어도 된다. 또한, 검자로부터의 지시가 문자 또는 음성 등에 의한 입력인 경우에는, 자연 언어 처리에 관한 기술(예를 들어, Sequence to Sequence)이 적용되어도 된다. 또한, 검자에 대하여 문자 또는 음성 등에 의한 출력으로 응답하는 대화 엔진(대화 모델, 대화용의 학습 완료 모델)이 적용되어도 된다.
(변형예 11)
상술한 각종 실시예 및 변형예에 있어서, 경계 화상이나 영역 라벨 화상, 고화질 화상 등은, 조작자로부터의 지시에 따라서 기억부에 보존되어도 된다. 이 때, 예를 들어 고화질 화상을 보존하기 위한 조작자로부터의 지시 후, 파일명의 등록 시, 권장 파일명으로서, 파일명 중 어느 개소(예를 들어, 최초의 개소, 또는 최후의 개소)에, 고화질화용의 학습 완료 모델을 사용한 처리(고화질화 처리)에 의해 생성된 화상임을 나타내는 정보(예를 들어, 문자)를 포함하는 파일명이, 조작자로부터의 지시에 따라서 편집 가능한 상태로 표시되어도 된다. 또한, 마찬가지로, 경계 화상이나 영역 라벨 화상 등에 대해서도, 학습 완료 모델을 사용한 처리에 의해 생성된 화상인 정보를 포함하는 파일명이 표시되어도 된다.
또한, 리포트 화면 등의 다양한 표시 화면에 있어서, 표시부(50, 2820)에 고화질 화상을 표시시킬 때, 표시되어 있는 화상이 고화질화용의 학습 완료 모델을 사용한 처리에 의해 생성된 고화질 화상임을 나타내는 표시가, 고화질 화상과 함께 표시되어도 된다. 이 경우에는, 조작자는 당해 표시에 의해, 표시된 고화질 화상이 촬영에 의해 취득한 화상 그 차체는 아님을 용이하게 식별할 수 있기 때문에, 오진단을 저감시키거나, 진단 효율을 향상시키거나 할 수 있다. 또한, 고화질화용의 학습 완료 모델을 사용한 처리에 의해 생성된 고화질 화상임을 나타내는 표시는, 입력 화상과 당해 처리에 의해 생성된 고화질 화상을 식별 가능한 표시라면 어떤 양태의 것이어도 된다. 또한, 고화질화용의 학습 완료 모델을 사용한 처리뿐만 아니라, 상술한 바와 같은 각종 학습 완료 모델을 사용한 처리에 대해서도, 그 종류의 학습 완료 모델을 사용한 처리에 의해 생성된 결과임을 나타내는 표시가, 그 결과와 함께 표시되어도 된다. 또한, 화상 세그멘테이션 처리용의 학습 완료 모델을 사용한 세그멘테이션 결과의 해석 결과를 표시할 때에도, 화상 세그멘테이션용의 학습 완료 모델을 사용한 결과에 기초한 해석 결과임을 나타내는 표시가, 해석 결과와 함께 표시되어도 된다.
이 때, 리포트 화면 등의 표시 화면은, 조작자로부터의 지시에 따라서 기억부에 보존되어도 된다. 예를 들어, 고화질 화상 등과, 이들 화상이 학습 완료 모델을 사용한 처리에 의해 생성된 화상임을 나타내는 표시가 배열된 하나의 화상으로서 리포트 화면이 기억부에 보존되어도 된다.
또한, 고화질화용의 학습 완료 모델을 사용한 처리에 의해 생성된 고화질 화상임을 나타내는 표시에 대하여, 고화질화용의 학습 완료 모델이 어떤 학습 데이터에 의해 학습을 행한 것인지를 나타내는 표시가 표시부에 표시되어도 된다. 당해 표시로서는, 학습 데이터의 입력 데이터와 정해 데이터의 종류의 설명이나, 입력 데이터와 정해 데이터에 포함되는 촬영 부위 등의 정해 데이터에 관한 임의의 표시를 포함해도 된다. 또한, 예를 들어 화상 세그멘테이션 처리 등 상술한 각종 학습 완료 모델을 사용한 처리에 대해서도, 그 종류의 학습 완료 모델이 어떤 학습 데이터에 의해 학습을 행한 것인지를 나타내는 표시가 표시부에 표시되어도 된다.
또한, 학습 완료 모델을 사용한 처리에 의해 생성된 화상임을 나타내는 정보(예를 들어, 문자)를, 화상 등에 중첩한 상태로 표시 또는 보존되게 구성되어도 된다. 이 때, 화상 상에 중첩하는 개소는, 촬영 대상이 되는 주목 부위 등이 표시되어 있는 영역에는 겹치지 않는 영역(예를 들어, 화상의 단부)이면 어디여도 된다. 또한, 겹치지 않는 영역을 판정하고, 판정된 영역에 중첩시켜도 된다. 또한, 고화질화용의 학습 완료 모델을 사용한 처리뿐만 아니라, 예를 들어 화상 세그멘테이션 처리 등의 상술한 각종 학습 완료 모델을 사용한 처리에 의해 얻은 화상에 대해서도, 마찬가지로 처리해도 된다.
또한, 리포트 화면의 초기 표시 화면으로서, 도 22a 및 도 22b에 나타내는 바와 같은 버튼(2220)이 액티브 상태(고화질화 처리가 온)가 되게 디폴트 설정되어 있는 경우에는, 검자로부터의 지시에 따라서, 고화질 화상 등을 포함하는 리포트 화면에 대응하는 리포트 화상이 서버에 송신되도록 구성되어도 된다. 또한, 버튼(2220)이 액티브 상태가 되도록 디폴트 설정되어 있는 경우에는, 검사 종료 시(예를 들어, 검자로부터의 지시에 따라서, 촬영 확인 화면이나 프리뷰 화면으로부터 리포트 화면으로 변경된 경우)에, 고화질 화상 등을 포함하는 리포트 화면에 대응하는 리포트 화상이 서버에 (자동적으로) 송신되도록 구성되어도 된다. 이 때, 디폴트 설정에 있어서의 각종 설정(예를 들어, 리포트 화면의 초기 표시 화면에 있어서의 En-Face 화상의 생성을 위한 심도 범위, 해석 맵의 중첩의 유무, 고화질 화상인지 아닌지, 경과 관찰용의 표시 화면인지 아닌지 등의 적어도 하나에 관한 설정)에 기초하여 생성된 리포트 화상이 서버에 송신되게 구성되기도 된다. 또한, 버튼(2220)이 화상 세그멘테이션 처리의 전환을 나타내는 경우에 대해서도, 마찬가지로 처리되어도 된다.
(변형예 12)
상술한 각종 실시예 및 변형예에 있어서, 상술한 바와 같은 각종 학습 완료 모델 중, 제1 종류의 학습 완료 모델로 얻은 화상(예를 들어, 고화질 화상, 해석 맵 등의 해석 결과를 나타내는 화상, 물체 인식 결과를 나타내는 화상, 망막층을 나타내는 화상, 세그멘테이션 결과를 나타내는 화상)을, 제1 종류와는 다른 제2 종류의 학습 완료 모델에 입력해도 된다. 이 때, 제2 종류의 학습 완료 모델의 처리에 의한 결과(예를 들어, 해석 결과, 진단 결과, 물체 인식 결과, 망막층의 검출 결과, 세그멘테이션 결과)가 생성되도록 구성되어도 된다.
또한, 상술한 바와 같은 각종 학습 완료 모델 중, 제1 종류의 학습 완료 모델의 처리에 의한 결과(예를 들어, 해석 결과, 진단 결과, 물체 인식 결과, 망막층의 검출 결과, 세그멘테이션 결과)를 사용하여, 제1 종류의 학습 완료 모델에 입력한 화상으로부터, 제1 종류와는 다른 제1 종류의 학습 완료 모델에 입력하는 화상을 생성해도 된다. 이 때, 생성된 화상은, 제2 종류의 학습 완료 모델을 사용하여 처리하는 화상으로서 적합한 화상일 가능성이 높다. 이 때문에, 생성된 화상을 제2 종류의 학습 완료 모델에 입력하여 얻은 화상(예를 들어, 고화질 화상, 해석 맵 등의 해석 결과를 나타내는 화상, 물체 인식 결과를 나타내는 화상, 망막층을 나타내는 화상, 세그멘테이션 결과를 나타내는 화상)의 정밀도를 향상시킬 수 있다.
또한, 상술한 바와 같은 학습 완료 모델의 처리에 의한 해석 결과나 진단 결과 등을 검색키로 하여, 서버 등에 저장된 외부의 데이터베이스를 이용한 유사 화상 검색을 행해도 된다. 또한, 데이터베이스에 있어서 보존되어 있는 복수의 화상이, 이미 기계 학습 등에 의해 해당 복수의 화상 각각의 특징량을 부대 정보로서 부대된 상태로 관리되어 있는 경우 등에는, 화상 자체를 검색키로 하는 유사 화상 검색 엔진(유사 화상 검색 모델, 유사 화상 검색용의 학습 완료 모델)이 사용되어도 된다.
(변형예 13)
또한, 상기 실시예 및 변형예에 있어서의 모션 콘트라스트 데이터의 생성 처리는, 단층 화상의 휘도값에 기초하여 행해지는 구성에 한정되지 않는다. 상기 각종 처리는, OCT 장치(10) 또는 촬영 장치(2810)에서 취득된 간섭 신호, 간섭 신호에 푸리에 변환을 실시한 신호, 해당 신호에 임의의 처리를 실시한 신호, 및 이들에 기초하는 단층 화상 등을 포함하는 단층 데이터에 대하여 적용되어도 된다. 이들 경우도 상기 구성과 마찬가지의 효과를 발휘할 수 있다.
분할 수단으로서 커플러를 사용한 파이버 광학계를 사용하고 있지만, 콜리메이터와 빔 스플리터를 사용한 공간 광학계를 사용해도 된다. 또한, OCT 장치(10) 또는 촬영 장치(2810)의 구성은 상기 구성에 한정되지 않고, OCT 장치(10) 또는 촬영 장치(2810)에 포함되는 구성의 일부를 OCT 장치(10) 또는 촬영 장치(2810)와 별체의 구성으로 해도 된다.
또한, 상기 실시예 및 변형예에서는, OCT 장치(10) 또는 촬영 장치(2810)의 간섭 광학계로서 마하젠더형 간섭계의 구성을 사용하고 있지만, 간섭 광학계의 구성은 이것에 한정되지 않는다. 예를 들어, OCT 장치(10) 또는 촬영 장치(2810)의 간섭 광학계는 마이컬슨 간섭계의 구성을 갖고 있어도 된다.
또한, 상기 실시예 및 변형예에서는, OCT 장치로서, SLD를 광원으로서 사용한 스펙트럴 도메인 OCT(SD-OCT) 장치에 대하여 설명하였지만, 본 발명에 의한 OCT 장치의 구성은 이것에 한정되지 않는다. 예를 들어, 출사광의 파장을 소인할 수 있는 파장 소인 광원을 사용한 파장 소인형 OCT(SS-OCT) 장치 등의 기타 임의의 종류의 OCT 장치에도 본 발명을 적용할 수 있다. 또한, 라인광을 사용한 Line-OCT 장치에 대하여 본 발명을 적용할 수도 있다.
또한, 상기 실시예 및 변형예에서는, 취득부(21, 2801)는, OCT 장치(10) 또는 촬영 장치(2810)에서 취득된 간섭 신호나 화상 처리 장치에서 생성된 삼차원 단층 화상 등을 취득하였다. 그러나, 취득부(21, 2801)가 이들 신호나 화상을 취득하는 구성은 이것에 한정되지 않는다. 예를 들어, 취득부(21, 2801)는, 제어부와 LAN, WAN, 또는 인터넷 등을 통해 접속되는 서버나 촬영 장치로부터 이들 신호를 취득해도 된다.
또한, 학습 완료 모델은 화상 처리 장치(20, 80, 152, 172, 2800)에 마련될 수 있다. 학습 완료 모델은, 예를 들어 CPU 등의 프로세서에 의해 실행되는 소프트웨어 모듈 등으로 구성될 수 있다. 또한, 학습 완료 모델은, 화상 처리 장치(20, 80, 152, 172, 2800)와 접속되는 다른 서버 등에 마련되어도 된다. 이 경우에는, 화상 처리 장치(20, 80, 152, 172, 2800)는, 인터넷 등의 임의의 네트워크를 통해 학습 완료 모델을 구비하는 서버에 접속함으로써, 학습 완료 모델을 사용하여 화질 향상 처리를 행할 수 있다.
(변형예 14)
또한, 상술한 각종 실시예 및 변형예에 의한 화상 처리 장치 또는 화상 처리 방법에 의해 처리되는 화상은, 임의의 모달리티(촬영 장치, 촬영 방법)를 사용하여 취득된 의료용 화상을 포함한다. 처리되는 의료용 화상은, 임의의 촬영 장치 등에서 취득된 의료용 화상이나, 상기 실시예 및 변형예에 의한 화상 처리 장치 또는 화상 처리 방법에 의해 제작된 화상을 포함할 수 있다.
또한, 처리되는 의료용 화상은 피검자(피검체)의 소정 부위의 화상이며, 소정 부위의 화상은 피검자의 소정 부위의 적어도 일부를 포함한다. 또한, 당해 의료용 화상은 피검자의 다른 부위를 포함해도 된다. 또한, 의료용 화상은 정지 화상 또는 동화상이면 되고, 흑백 화상 또는 컬러 화상이어도 된다. 또한 의료용 화상은 소정 부위의 구조(형태)를 나타내는 화상이어도 되고, 그 기능을 나타내는 화상이어도 된다. 기능을 나타내는 화상은, 예를 들어 OCTA 화상, 도플러 OCT 화상, fMRI 화상 및 초음파 도플러 화상 등의 혈류 동태(혈유량, 혈류 속도 등)를 나타내는 화상을 포함한다. 또한, 피검자의 소정 부위는 촬영 대상에 따라서 결정되어도 되고, 사람 눈(피검안), 뇌, 폐, 장, 심장, 췌장, 신장 및 간장 등의 장기, 헤드부, 흉부, 다리부, 그리고 암부 등의 임의의 부위를 포함한다.
또한, 의료용 화상은 피검자의 단층 화상이어도 되고, 정면 화상이어도 된다. 정면 화상은, 예를 들어 안저 정면 화상이나, 전안부의 정면 화상, 형광 촬영된 안저 화상, OCT로 취득한 데이터(삼차원의 OCT 데이터)에 대하여 촬영 대상의 깊이 방향에 있어서의 적어도 일부의 범위의 데이터를 사용하여 생성한 En-Face 화상을 포함한다. En-Face 화상은, 삼차원의 OCTA 데이터(삼차원의 모션 콘트라스트 데이터)에 대하여 촬영 대상의 깊이 방향에 있어서의 적어도 일부의 범위의 데이터를 사용하여 생성한 OCTA의 En-Face 화상(모션 콘트라스트 정면 화상)이어도 된다. 또한, 삼차원의 OCT 데이터나 삼차원의 모션 콘트라스트 데이터는, 삼차원의 의료용 화상 데이터의 일례이다.
또한, 촬영 장치란, 진단에 사용되는 화상을 촬영하기 위한 장치이다. 촬영 장치는, 예를 들어 피검자의 소정 부위에 광, X선 등의 방사선, 전자파 또는 초음파 등을 조사함으로써 소정 부위의 화상을 얻는 장치나, 피사체로부터 방출되는 방사선을 검출함으로써 소정 부위의 화상을 얻는 장치를 포함한다. 보다 구체적으로는, 상술한 각종 실시예 및 변형예에 관한 촬영 장치는, 적어도 X선 촬영 장치, CT 장치, MRI 장치, PET 장치, SPECT 장치, SLO 장치, OCT 장치, OCTA 장치, 안저 카메라 및 내시경 등을 포함한다.
또한, OCT 장치로서는, 타임 도메인 OCT(TD-OCT) 장치나 푸리에 도메인 OCT(FD-OCT) 장치를 포함해도 된다. 또한, 푸리에 도메인 OCT 장치는 스펙트럴 도메인 OCT(SD-OCT) 장치나 파장 소인형 OCT(SS-OCT) 장치를 포함해도 된다. 또한, SLO 장치나 OCT 장치로서, 파면 보상 광학계를 사용한 파면 보상 SLO(AO-SLO) 장치나 파면 보상 OCT(AO-OCT) 장치 등을 포함해도 된다. 또한, SLO 장치나 OCT 장치로서, 편광 위상차나 편광 해소에 관한 정보를 가시화하기 위한 편광 SLO(PS-SLO) 장치나 편광 OCT(PS-OCT) 장치 등을 포함해도 된다.
또한, 상술한 각종 실시예 및 변형예에 관한 망막층 검출용이나 화상 세그멘테이션 처리용의 학습 완료 모델에서는, 단층 화상의 휘도값의 대소, 명부와 암부의 순번이나 기울기, 위치, 분포, 연속성 등을 특징량의 일부로서 추출하여, 추정 처리에 사용하고 있는 것으로 생각된다. 마찬가지로, 영역 라벨 화상의 평가용이나 고화질화용, 화상 해석용, 진단 결과 생성용의 학습 완료 모델에서도, 단층 화상의 휘도값의 대소, 명부와 암부의 순번이나 기울기, 위치, 분포, 연속성 등을 특징량의 일부로서 추출하여, 추정 처리에 사용하고 있는 것으로 생각된다. 한편, 음성 인식용이나 문자 인식용, 제스처 인식용 등의 학습 완료 모델에서는, 시계열의 데이터를 사용하여 학습을 행하고 있기 때문에, 입력되는 연속되는 시계열의 데이터값간의 기울기를 특징량의 일부로서 추출하여, 추정 처리에 사용하고 있는 것으로 생각된다. 그 때문에, 이러한 학습 완료 모델은, 구체적인 수치의 시간적인 변화에 의한 영향을 추정 처리에 사용함으로써, 정밀도가 양호한 추정을 행할 수 있다고 기대된다.
(각종 실시 양태)
본 개시의 실시 양태 1은 의료용 화상 처리 장치에 관한 것이다. 해당 의료용 화상 처리 장치는, 피검안의 단층 화상을 취득하는 취득부와, 피검안의 단층 화상에 있어서 복수의 망막층 중 적어도 하나의 망막층이 나타난 데이터를 학습하여 얻은 학습 완료 모델을 사용하여, 상기 취득된 단층 화상에 있어서 복수의 망막층 중 적어도 하나의 망막층을 검출하기 위한 제1 검출 처리를 실행하는 제1 처리부를 구비한다.
실시 양태 2는, 실시 양태 1에 관한 의료용 화상 처리 장치를 포함하고, 기계 학습에 의해 얻어지는 학습 완료 모델을 사용하지 않고, 상기 취득된 단층 화상에 있어서 상기 복수의 망막층 중 적어도 하나의 망막층을 검출하기 위한 제2 검출 처리를 실행하는 제2 처리부를 추가로 구비한다.
실시 양태 3은, 실시 양태 2에 관한 의료용 화상 처리 장치를 포함하고, 상기 제2 검출 처리는, 상기 제1 검출 처리를 실행함으로써 검출된 적어도 하나의 망막층 이외의 적어도 하나의 망막층을 검출하는 처리이다.
실시 양태 4는, 실시 양태 2 또는 3에 관한 의료용 화상 처리 장치를 포함하고, 상기 제1 검출 처리는, 상기 적어도 하나의 망막층으로서, 상기 취득된 단층 화상에 있어서 망막 영역을 검출하는 처리이며, 상기 제2 검출 처리는, 상기 제1 검출 처리를 실행함으로써 검출된 망막 영역에 있어서의 적어도 하나의 망막층을 검출하는 처리이다.
실시 양태 5는, 실시 양태 2 내지 4 중 어느 하나에 관한 의료용 화상 처리 장치를 포함하고, 상기 제1 검출 처리는, 피검안의 내경계막과 신경 섬유층의 경계로부터 시세포 내절 외절 접합부, 망막 색소 상피층 및 브루크막 중 어느 것까지의 층을 검출하는 처리이며, 상기 제2 검출 처리는, 상기 제1 검출 처리에 의해 검출한 층 사이의 적어도 하나의 망막층을 검출하는 처리이다.
실시 양태 6은, 실시 양태 2 내지 5 중 어느 하나에 관한 의료용 화상 처리 장치를 포함하고, 상기 제2 처리부는, 상기 제1 처리부에 의한 상기 제1 검출 처리 후에, 상기 제2 검출 처리를 실행한다.
실시 양태 7은, 실시 양태 2에 관한 의료용 화상 처리 장치를 포함하고, 표시부를 제어하는 표시 제어부를 추가로 구비하고, 상기 제1 검출 처리 및 상기 제2 검출 처리는, 동일한 망막층을 검출하는 처리이며, 상기 표시 제어부는, 상기 제1 검출 처리 및 상기 제2 검출 처리의 처리 결과를 상기 표시부에 표시시킨다.
실시 양태 8은, 실시 양태 7에 관한 의료용 화상 처리 장치를 포함하고, 상기 표시 제어부는, 상기 제1 검출 처리 및 상기 제2 검출 처리의 처리 결과의 불일치 부분을 상기 표시부에 표시시킨다.
실시 양태 9는, 실시 양태 7 또는 8에 관한 의료용 화상 처리 장치를 포함하고, 상기 제1 검출 처리 및 상기 제2 검출 처리는, 피검안의 내경계막과 신경 섬유층의 경계로부터 시세포 내절 외절 접합부, 망막 색소 상피층 및 브루크막 중 어느 것까지의 층을 검출하는 처리이며, 상기 제2 처리부는 조작자의 지시에 따라서, 상기 제1 검출 처리 및 상기 제2 검출 처리 중 어느 한쪽에 의해 검출한 층 사이의 적어도 하나의 망막층을 검출하는 제3 검출 처리를 추가로 실행한다.
실시 양태 10는, 실시 양태 2 내지 9 중 어느 하나에 관한 의료용 화상 처리 장치를 포함하고, 상기 취득된 단층 화상에 관한 촬영 조건에 기초하여, 상기 제1 검출 처리와 상기 제2 검출 처리 중 적어도 하나의 선택을 행하는 선택부를 추가로 구비한다.
실시 양태 11은, 실시 양태 2 내지 10 중 어느 하나에 관한 의료용 화상 처리 장치를 포함하고, 상기 제1 처리부는, 다른 학습 데이터를 사용하여 기계 학습이 행해진 복수의 학습 완료 모델 중, 상기 취득된 단층 화상에 관한 촬영 조건에 대응하는 학습 데이터를 사용하여 기계 학습이 행해진 학습 완료 모델을 사용하여, 상기 제1 검출 처리를 실행한다.
실시 양태 12는, 실시 양태 10 또는 11에 관한 의료용 화상 처리 장치를 포함하고, 상기 촬영 조건은 촬영 부위, 촬영 방식, 촬영 영역, 촬영 화각 및 화상의 해상도 중 적어도 하나를 포함한다.
실시 양태 13은, 실시 양태 2 내지 12 중 어느 하나에 관한 의료용 화상 처리 장치를 포함하고, 상기 제1 검출 처리 및 상기 제2 검출 처리의 결과에 기초하여, 피검안의 형상 특징이 계측된다.
실시 양태 14는, 실시 양태 1 내지 13 중 어느 하나에 관한 의료용 화상 처리 장치를 포함하고, 망막층에 있어서의 의학적 특징에 기초하여, 상기 제1 처리부가 검출한 망막층의 구조를 보정하는 보정부를 추가로 구비한다.
실시 양태 15는, 실시 양태 1 내지 14 중 어느 하나에 관한 의료용 화상 처리 장치를 포함하고, 상기 제1 처리부는, 상기 학습 완료 모델을 사용하여, 입력된 화상에 대하여 촬영 부위마다 미리 정해진 경계를 검출한다.
실시 양태 16은, 실시 양태 1 내지 15 중 어느 하나에 관한 의료용 화상 처리 장치를 포함하고, 피검안의 삼차원 단층 화상에 있어서의 적어도 일부의 심도 범위이며, 상기 검출된 적어도 하나의 망막층에 기초하여 결정된 심도 범위에 대응하는 정면 화상을 생성하는 생성부를 추가로 구비한다.
실시 양태 17은, 실시 양태 16에 관한 의료용 화상 처리 장치를 포함하고, 상기 생성부는, 상기 삼차원의 단층 화상에 대응하는 삼차원의 모션 콘트라스트 데이터를 사용하여, 상기 결정된 심도 범위에 대응하는 모션 콘트라스트 정면 화상을 생성한다.
실시 양태 18은, 실시 양태 1 내지 15 중 어느 하나에 관한 의료용 화상 처리 장치를 포함하고, 고화질화용의 학습 완료 모델을 사용하여, 상기 취득된 단층 화상으로부터, 상기 취득된 단층 화상과 비교하여 고화질화된 단층 화상을 생성하는 생성부를 추가로 구비하고, 상기 제1 처리부는, 상기 생성된 단층 화상에 상기 제1 검출 처리를 실행한다.
실시 양태 19는, 실시 양태 1 내지 18 중 어느 하나에 관한 의료용 화상 처리 장치를 포함하고, 조작자의 지시에 따라서, 상기 제1 처리부가 검출한 망막층의 정보를 수정하는 수정부를 추가로 구비하고, 상기 수정된 망막층의 정보는, 상기 제1 처리부가 사용하는 상기 학습 완료 모델에 대한 추가 학습에 사용된다.
실시 양태 20는, 실시 양태 1 내지 18 중 어느 하나에 관한 의료용 화상 처리 장치를 포함하고, 진단 결과 생성용의 학습 완료 모델을 사용하여, 상기 제1 검출 처리를 실행하여 얻은 결과로부터, 상기 취득된 단층 화상의 진단 결과를 생성하는, 진단 결과 생성부를 추가로 구비한다.
실시 양태 21은, 의료용 화상 처리 방법에 관한 것이다. 해당 의료용 화상 처리 방법은, 피검안의 단층 화상을 취득하는 공정과, 학습 완료 모델을 사용하여, 상기 단층 화상에 있어서 피검안의 복수의 망막층 중 적어도 하나의 망막층을 검출하기 위한 제1 검출 처리를 실행하는 공정을 포함한다.
실시 양태 22는, 프로그램에 관한 것이다. 해당 프로그램은, 프로세서에 의해 실행되면, 해당 프로세서에 실시 양태 21에 관한 의료용 화상 처리 방법의 각 공정을 실행시킨다.
본 개시의 추가의 실시 양태 1은, 의료용 화상 처리 장치에 관한 것이다. 해당 의료용 화상 처리 장치는, 학습 완료 모델을 포함하는 세그멘테이션 엔진을 사용하여, 피검자의 소정 부위의 단층 화상인 입력 화상으로부터 해부학적인 영역을 식별 가능한 영역 정보를 생성하는 세그멘테이션 처리부와, 학습 완료 모델을 포함하는 평가 엔진 또는 해부학적인 지식을 사용한 지식 베이스 처리를 행하는 평가 엔진을 사용하여 상기 영역 정보를 평가하는 평가부를 구비한다.
추가의 실시 양태 2는, 추가의 실시 양태 1에 관한 의료용 화상 처리 장치를 포함하고, 상기 입력 화상의 촬영 조건을 취득하는 촬영 조건 취득부를 추가로 구비하고, 상기 세그멘테이션 처리부는, 상기 촬영 조건에 기초하여, 각각 다른 학습 완료 모델을 포함하는 복수의 세그멘테이션 엔진을 전환하여 사용한다.
추가의 실시 양태 3은, 추가의 실시 양태 2에 관한 의료용 화상 처리 장치를 포함하고, 상기 촬영 조건 취득부가, 학습 완료 모델을 포함하는 촬영 개소 추정 엔진을 사용하여, 상기 입력 화상으로부터 촬영 부위 및 촬영 영역의 적어도 한쪽을 추정한다.
추가의 실시 양태 4는, 추가의 실시 양태 1 내지 3 중 어느 하나에 관한 의료용 화상 처리 장치를 포함하고, 상기 세그멘테이션 처리부는, 상기 입력 화상의 화상 사이즈를, 상기 세그멘테이션 엔진이 대처 가능한 화상 사이즈로 조정하여 세그멘테이션 엔진에 입력한다.
추가의 실시 양태 5는, 추가의 실시 양태 1 내지 3 중 어느 하나에 관한 의료용 화상 처리 장치를 포함하고, 상기 세그멘테이션 처리부는, 상기 입력 화상의 화상 사이즈가, 상기 세그멘테이션 엔진에 의해 대처 가능한 화상 사이즈가 되게, 상기 입력 화상에 패딩을 행한 화상을 세그멘테이션 엔진에 입력한다.
추가의 실시 양태 6은, 추가의 실시 양태 1 내지 3 중 어느 하나에 관한 의료용 화상 처리 장치를 포함하고, 상기 세그멘테이션 처리부는, 상기 입력 화상을 복수의 영역의 화상으로 분할하고, 분할된 영역의 화상 각각을 상기 세그멘테이션 엔진에 입력한다.
추가의 실시 양태 7은, 추가의 실시 양태 1 내지 6 중 어느 하나에 관한 의료용 화상 처리 장치를 포함하고, 상기 평가부는, 상기 평가의 결과에 따라서 상기 영역 정보를 출력할지 여부를 판단한다.
추가의 실시 양태 8은, 추가의 실시 양태 1 내지 7 중 어느 하나에 관한 의료용 화상 처리 장치를 포함하고, 상기 세그멘테이션 처리부는, 각각 다른 학습 완료 모델을 포함하는 복수의 세그멘테이션 엔진을 사용하여, 상기 입력 화상으로부터 상기 복수의 영역 정보를 생성하고, 상기 평가부는, 유저의 지시에 따라서, 상기 복수의 영역 정보를 평가하여 출력하는 것으로 판단한 복수의 영역 정보 중 적어도 하나를 선택한다.
추가의 실시 양태 9는, 추가의 실시 양태 1 내지 7 중 어느 하나에 관한 의료용 화상 처리 장치를 포함하고, 상기 세그멘테이션 처리부는, 각각 다른 학습 완료 모델을 포함하는 복수의 세그멘테이션 엔진을 사용하여, 상기 입력 화상으로부터 상기 복수의 영역 정보를 생성하고, 상기 평가부는, 소정의 선택 기준에 기초하여, 상기 복수의 영역 정보를 평가하여 출력하는 것으로 판단한 복수의 영역 정보 중 적어도 하나를 선택한다.
추가의 실시 양태 10는, 추가의 실시 양태 1 내지 9 중 어느 하나에 관한 의료용 화상 처리 장치를 포함하고, 상기 세그멘테이션 엔진을 사용하여 상기 입력 화상으로부터 상기 영역 정보를 생성 가능한지 여부를 판정하는 판정부를 추가로 구비한다.
추가의 실시 양태 11은, 추가의 실시 양태 1 내지 10 중 어느 하나에 관한 의료용 화상 처리 장치를 포함하고, 상기 세그멘테이션 처리부는, 상기 입력 화상을 해당 입력 화상의 차원보다도 낮은 차원의 복수의 화상으로 분할하고, 분할한 화상 각각을 상기 세그멘테이션 엔진에 입력한다.
추가의 실시 양태 12는, 추가의 실시 양태 11에 관한 의료용 화상 처리 장치를 포함하고, 상기 세그멘테이션 처리부는 복수의 세그멘테이션 엔진을 사용하여 상기 복수의 화상을 병렬적으로 처리한다.
추가의 실시 양태 13은, 추가의 실시 양태 1 내지 12 중 어느 하나에 관한 의료용 화상 처리 장치를 포함하고, 상기 영역 정보는, 화소마다 영역의 라벨이 부여된 라벨 화상이다.
추가의 실시 양태 14는, 추가의 실시 양태 13에 관한 의료용 화상 처리 장치를 포함하고, 상기 세그멘테이션 엔진은 단층 화상을 입력으로 하고, 상기 라벨 화상을 출력으로 한다.
추가의 실시 양태 15는, 추가의 실시 양태 14에 관한 의료용 화상 처리 장치를 포함하고, 상기 세그멘테이션 엔진의 학습 완료 모델은, 2개 이상의 층을 포함하는 단층 화상을 입력 데이터로 하고, 해당 단층 화상에 대응하는 라벨 화상을 출력 데이터로 하여 학습을 행한 모델이다.
추가의 실시 양태 16은, 추가의 실시 양태 1 내지 15 중 어느 하나에 관한 의료용 화상 처리 장치를 포함하고, 상기 입력 화상을 촬영 장치로부터 취득하거나, 또는 해당 촬영 장치로부터 상기 피검자의 상기 소정 부위의 데이터를 취득하여, 상기 데이터에 기초하는 상기 입력 화상을 취득한다.
추가의 실시 양태 17은, 추가의 실시 양태 1 내지 15 중 어느 하나에 관한 의료용 화상 처리 장치를 포함하고, 상기 입력 화상을 화상 관리 시스템으로부터 취득하거나, 상기 영역 정보를 해당 화상 관리 시스템으로 출력하거나, 또는 해당 입력 화상을 해당 화상 관리 시스템으로부터 취득하고, 또한 해당 영역 정보를 해당 화상 관리 시스템으로 출력한다.
추가의 실시 양태 18은, 추가의 실시 양태 1 내지 17 중 어느 하나에 관한 의료용 화상 처리 장치를 포함하고, 상기 영역 정보를 해부학적인 지식 베이스 처리에 의해 수정하는 수정부를 추가로 구비한다.
추가의 실시 양태 19는, 추가의 실시 양태 1 내지 18 중 어느 하나에 관한 의료용 화상 처리 장치를 포함하고, 상기 평가부로부터 출력된 상기 영역 정보를 사용하여, 상기 입력 화상의 화상 해석을 행하는 해석부를 추가로 구비한다.
추가의 실시 양태 20는, 추가의 실시 양태 1 내지 19 중 어느 하나에 관한 의료용 화상 처리 장치를 포함하고, 상기 영역 정보는 학습 완료 모델을 사용하여 생성된 정보임을 출력한다.
추가의 실시 양태 21은, 의료용 화상 처리 방법에 관련된다. 해당 의료용 화상 처리 방법은, 학습 완료 모델을 포함하는 세그멘테이션 엔진을 사용하여, 피검자의 소정 부위의 단층 화상인 입력 화상으로부터 해부학적인 영역을 식별 가능한 영역 정보를 생성하는 것과, 학습 완료 모델을 포함하는 평가 엔진 또는 해부학적인 지식을 사용한 지식 베이스의 평가 엔진을 사용하여 상기 영역 정보를 평가하는 것을 포함한다.
추가의 실시 양태 22는, 프로그램에 관련된다. 해당 프로그램은, 프로세서에 의해 실행되면, 해당 프로세서에 추가의 실시 양태 21에 관한 의료용 화상 처리 방법의 각 공정을 실행시킨다.
(기타 실시예)
본 발명은, 상술한 실시예 및 변형예의 1 이상의 기능을 실현하는 프로그램을, 네트워크 또는 기억 매체를 통해 시스템 또는 장치에 공급하고, 그 시스템 또는 장치의 컴퓨터가 프로그램을 판독하여 실행하는 처리로도 실현 가능하다. 컴퓨터는 하나 또는 복수의 프로세서 혹은 회로를 갖고, 컴퓨터 실행 가능 명령을 판독하여 실행하기 위해서, 분리된 복수의 컴퓨터 또는 분리된 복수의 프로세서 혹은 회로의 네트워크를 포함할 수 있다.
프로세서 또는 회로는 중앙 연산 처리 장치(CPU), 마이크로 프로세싱 유닛(MPU), 그래픽스 프로세싱 유닛(GPU), 특정 용도용 집적 회로(ASIC), 또는 필드 프로그래머블 게이트웨이(FPGA)를 포함할 수 있다. 또한, 프로세서 또는 회로는 디지털 시그널 프로세서(DSP), 데이터 플로우 프로세서(DFP) 또는 뉴럴 프로세싱 유닛(NPU)을 포함할 수 있다.
본 발명이 상기 실시예에 제한되는 것은 아니고, 본 발명의 정신 및 범위로부터 이탈하지 않고, 각종 변경 및 변형이 가능하다. 따라서, 본 발명의 범위를 밝히기 위해 이하의 청구항을 첨부한다.
본원은 2018년 8월 14일 제출된 일본 특허 출원 제2018-152632, 2018년 12월 10일 제출된 일본 특허 출원 제2018-230612 및 2019년 8월 9일 제출된 일본 특허 출원 제2019-147739를 기초로 하여 우선권을 주장하는 것이며, 그 기재 내용의 모두를 여기에 원용한다.
20: 화상 처리 장치, 21: 취득부, 222: 처리부(제1 처리부)
Claims (44)
- 피검안의 단층 화상을 취득하는 취득부와,
피검안의 단층 화상에 있어서 복수의 망막층 중 적어도 하나의 망막층이 나타난 데이터를 학습하여 얻은 학습 완료 모델을 사용하여, 상기 취득된 단층 화상에 있어서 복수의 망막층 중 적어도 하나의 망막층을 검출하기 위한 제1 검출 처리를 실행하는 제1 처리부
를 구비하는, 의료용 화상 처리 장치. - 제1항에 있어서, 기계 학습에 의해 얻어지는 학습 완료 모델을 사용하지 않고, 상기 취득된 단층 화상에 있어서 상기 복수의 망막층 중 적어도 하나의 망막층을 검출하기 위한 제2 검출 처리를 실행하는 제2 처리부를 추가로 구비하는, 의료용 화상 처리 장치.
- 제2항에 있어서, 상기 제2 검출 처리는, 상기 제1 검출 처리를 실행함으로써 검출된 적어도 하나의 망막층 이외의 적어도 하나의 망막층을 검출하는 처리인, 의료용 화상 처리 장치.
- 제2항 또는 제3항에 있어서, 상기 제1 검출 처리는, 상기 적어도 하나의 망막층으로서, 상기 취득된 단층 화상에 있어서 망막 영역을 검출하는 처리이며,
상기 제2 검출 처리는, 상기 제1 검출 처리를 실행함으로써 검출된 망막 영역에 있어서의 적어도 하나의 망막층을 검출하는 처리인, 의료용 화상 처리 장치. - 제2항 내지 제4항 중 어느 한 항에 있어서, 상기 제1 검출 처리는, 피검안의 내경계막과 신경 섬유층의 경계로부터 시세포 내절 외절 접합부, 망막 색소 상피층 및 브루크막 중 어느 것까지의 층을 검출하는 처리이며,
상기 제2 검출 처리는, 상기 제1 검출 처리에 의해 검출한 층 사이의 적어도 하나의 망막층을 검출하는 처리인, 의료용 화상 처리 장치. - 제2항 내지 제5항 중 어느 한 항에 있어서, 상기 제2 처리부는, 상기 제1 처리부에 의한 상기 제1 검출 처리 후에, 상기 제2 검출 처리를 실행하는, 의료용 화상 처리 장치.
- 제2항에 있어서, 표시부를 제어하는 표시 제어부를 추가로 구비하고,
상기 제1 검출 처리 및 상기 제2 검출 처리는, 동일한 망막층을 검출하는 처리이며,
상기 표시 제어부는, 상기 제1 검출 처리 및 상기 제2 검출 처리의 처리 결과를 상기 표시부에 표시시키는, 의료용 화상 처리 장치. - 제7항에 있어서, 상기 표시 제어부는, 상기 제1 검출 처리 및 상기 제2 검출 처리의 처리 결과의 불일치 부분을 상기 표시부에 표시시키는, 의료용 화상 처리 장치.
- 제7항 또는 제8항에 있어서, 상기 제1 검출 처리 및 상기 제2 검출 처리는, 피검안의 내경계막과 신경 섬유층의 경계로부터 시세포 내절 외절 접합부, 망막 색소 상피층 및 브루크막 중 어느 것까지의 층을 검출하는 처리이며,
상기 제2 처리부는 조작자의 지시에 따라서, 상기 제1 검출 처리 및 상기 제2 검출 처리 중 어느 한쪽에 의해 검출한 층 사이의 적어도 하나의 망막층을 검출하는 제3 검출 처리를 추가로 실행하는, 의료용 화상 처리 장치. - 제2항 내지 제9항 중 어느 한 항에 있어서, 상기 취득된 단층 화상에 관한 촬영 조건에 기초하여, 상기 제1 검출 처리와 상기 제2 검출 처리 중 적어도 하나의 선택을 행하는 선택부를 추가로 구비하는, 의료용 화상 처리 장치.
- 제2항 내지 제10항 중 어느 한 항에 있어서, 상기 제1 처리부는, 다른 학습 데이터를 사용하여 기계 학습이 행해진 복수의 학습 완료 모델 중, 상기 취득된 단층 화상에 관한 촬영 조건에 대응하는 학습 데이터를 사용하여 기계 학습이 행해진 학습 완료 모델을 사용하여, 상기 제1 검출 처리를 실행하는, 의료용 화상 처리 장치.
- 제10항 또는 제11항에 있어서, 상기 촬영 조건은 촬영 부위, 촬영 방식, 촬영 영역, 촬영 화각 및 화상의 해상도 중 적어도 하나를 포함하는, 의료용 화상 처리 장치.
- 제2항 내지 제12항 중 어느 한 항에 있어서, 상기 제1 검출 처리 및 상기 제2 검출 처리의 결과에 기초하여, 피검안의 형상 특징이 계측되는, 의료용 화상 처리 장치.
- 제1항 내지 제13항 중 어느 한 항에 있어서, 망막층에 있어서의 의학적 특징에 기초하여, 상기 제1 처리부가 검출한 망막층의 구조를 보정하는 보정부를 추가로 구비하는, 의료용 화상 처리 장치.
- 제1항 내지 제14항 중 어느 한 항에 있어서, 상기 제1 처리부는, 상기 학습 완료 모델을 사용하여, 입력된 화상에 대하여 촬영 부위마다 미리 정해진 경계를 검출하는, 의료용 화상 처리 장치.
- 제1항 내지 제15항 중 어느 한 항에 있어서, 피검안의 삼차원 단층 화상에 있어서의 적어도 일부의 심도 범위이며, 상기 검출된 적어도 하나의 망막층에 기초하여 결정된 심도 범위에 대응하는 정면 화상을 생성하는 생성부를 추가로 구비하는, 의료용 화상 처리 장치.
- 제16항에 있어서, 상기 생성부는, 상기 삼차원의 단층 화상에 대응하는 삼차원의 모션 콘트라스트 데이터를 사용하여, 상기 결정된 심도 범위에 대응하는 모션 콘트라스트 정면 화상을 생성하는, 의료용 화상 처리 장치.
- 제1항 내지 제15항 중 어느 한 항에 있어서, 고화질화용의 학습 완료 모델을 사용하여, 상기 취득된 단층 화상으로부터, 상기 취득된 단층 화상과 비교하여 고화질화된 단층 화상을 생성하는 생성부를 추가로 구비하고,
상기 제1 처리부는, 상기 생성된 단층 화상에 상기 제1 검출 처리를 실행하는, 의료용 화상 처리 장치. - 제1항 내지 제18항 중 어느 한 항에 있어서, 조작자의 지시에 따라서, 상기 제1 처리부가 검출한 망막층의 정보를 수정하는 수정부를 추가로 구비하고,
상기 수정된 망막층의 정보는, 상기 제1 처리부가 사용하는 상기 학습 완료 모델에 대한 추가 학습에 사용되는, 의료용 화상 처리 장치. - 제1항 내지 제19항 중 어느 한 항에 있어서, 진단 결과 생성용의 학습 완료 모델을 사용하여, 상기 제1 검출 처리를 실행하여 얻은 결과로부터, 상기 취득된 단층 화상의 진단 결과를 생성하는, 진단 결과 생성부를 추가로 구비하는, 의료용 화상 처리 장치.
- 피검안의 단층 화상을 취득하는 공정과,
피검안의 단층 화상에 있어서 복수의 망막층 중 적어도 하나의 망막층이 나타난 데이터를 학습하여 얻은 학습 완료 모델을 사용하여, 상기 취득된 단층 화상에 있어서 복수의 망막층 중 적어도 하나의 망막층을 검출하기 위한 제1 검출 처리를 실행하는 공정
을 포함하는, 의료용 화상 처리 방법. - 프로세서에 의해 실행되면, 해당 프로세서에 제21항에 기재된 의료용 화상 처리 방법의 각 공정을 실행시키는, 프로그램.
- 학습 완료 모델을 포함하는 세그멘테이션 엔진을 사용하여, 피검자의 소정 부위의 단층 화상인 입력 화상으로부터 해부학적인 영역을 식별 가능한 영역 정보를 생성하는 세그멘테이션 처리부와,
학습 완료 모델을 포함하는 평가 엔진 또는 해부학적인 지식을 사용한 지식 베이스 처리를 행하는 평가 엔진을 사용하여 상기 영역 정보를 평가하는 평가부
를 구비하는, 의료용 화상 처리 장치. - 제23항에 있어서, 상기 입력 화상의 촬영 조건을 취득하는 촬영 조건 취득부를 추가로 구비하고,
상기 세그멘테이션 처리부는, 상기 촬영 조건에 기초하여, 각각 다른 학습 완료 모델을 포함하는 복수의 세그멘테이션 엔진을 전환하여 사용하는, 의료용 화상 처리 장치. - 제24항에 있어서, 상기 촬영 조건 취득부가, 학습 완료 모델을 포함하는 촬영 개소 추정 엔진을 사용하여, 상기 입력 화상으로부터 촬영 부위 및 촬영 영역의 적어도 한쪽을 추정하는, 의료용 화상 처리 장치.
- 제23항 내지 제25항 중 어느 한 항에 있어서, 상기 세그멘테이션 처리부는, 상기 입력 화상의 화상 사이즈를, 상기 세그멘테이션 엔진이 대처 가능한 화상 사이즈로 조정하여 세그멘테이션 엔진에 입력하는, 의료용 화상 처리 장치.
- 제23항 내지 제25항 중 어느 한 항에 있어서, 상기 세그멘테이션 처리부는, 상기 입력 화상의 화상 사이즈가, 상기 세그멘테이션 엔진에 의해 대처 가능한 화상 사이즈가 되게, 상기 입력 화상에 패딩을 행한 화상을 세그멘테이션 엔진에 입력하는, 의료용 화상 처리 장치.
- 제23항 내지 제25항 중 어느 한 항에 있어서, 상기 세그멘테이션 처리부는, 상기 입력 화상을 복수의 영역의 화상으로 분할하고, 분할된 영역의 화상 각각을 상기 세그멘테이션 엔진에 입력하는, 의료용 화상 처리 장치.
- 제23항 내지 제28항 중 어느 한 항에 있어서, 상기 평가부는, 상기 평가의 결과에 따라서 상기 영역 정보를 출력할지 여부를 판단하는, 의료용 화상 처리 장치.
- 제23항 내지 제29항 중 어느 한 항에 있어서, 상기 세그멘테이션 처리부는, 각각 다른 학습 완료 모델을 포함하는 복수의 세그멘테이션 엔진을 사용하여, 상기 입력 화상으로부터 상기 복수의 영역 정보를 생성하고,
상기 평가부는, 유저의 지시에 따라서, 상기 복수의 영역 정보를 평가하여 출력하는 것으로 판단한 복수의 영역 정보 중 적어도 하나를 선택하는, 의료용 화상 처리 장치. - 제23항 내지 제29항 중 어느 한 항에 있어서, 상기 세그멘테이션 처리부는, 각각 다른 학습 완료 모델을 포함하는 복수의 세그멘테이션 엔진을 사용하여, 상기 입력 화상으로부터 상기 복수의 영역 정보를 생성하고,
상기 평가부는, 소정의 선택 기준에 기초하여, 상기 복수의 영역 정보를 평가하여 출력하는 것으로 판단한 복수의 영역 정보 중 적어도 하나를 선택하는, 의료용 화상 처리 장치. - 제23항 내지 제31항 중 어느 한 항에 있어서, 상기 세그멘테이션 엔진을 사용하여 상기 입력 화상으로부터 상기 영역 정보를 생성 가능한지 여부를 판정하는 판정부를 추가로 구비하는, 의료용 화상 처리 장치.
- 제23항 내지 제32항 중 어느 한 항에 있어서, 상기 세그멘테이션 처리부는, 상기 입력 화상을 해당 입력 화상의 차원보다도 낮은 차원의 복수의 화상으로 분할하고, 분할한 화상 각각을 상기 세그멘테이션 엔진에 입력하는, 의료용 화상 처리 장치.
- 제33항에 있어서, 상기 세그멘테이션 처리부는, 복수의 세그멘테이션 엔진을 사용하여 상기 복수의 화상을 병렬적으로 처리하는, 의료용 화상 처리 장치.
- 제23항 내지 제34항 중 어느 한 항에 있어서, 상기 영역 정보는, 화소마다 영역의 라벨이 부여된 라벨 화상인, 의료용 화상 처리 장치.
- 제35항에 있어서, 상기 세그멘테이션 엔진은 단층 화상을 입력으로 하고, 상기 라벨 화상을 출력으로 하는 의료용 화상 처리 장치.
- 제36항에 있어서, 상기 세그멘테이션 엔진의 학습 완료 모델은, 2개 이상의 층을 포함하는 단층 화상을 입력 데이터로 하고, 해당 단층 화상에 대응하는 라벨 화상을 출력 데이터로 하여 학습을 행한 모델인, 의료용 화상 처리 장치.
- 제23항 내지 제37항 중 어느 한 항에 있어서, 상기 입력 화상을 촬영 장치로부터 취득하거나, 또는 해당 촬영 장치로부터 상기 피검자의 상기 소정 부위의 데이터를 취득하고, 상기 데이터에 기초하는 상기 입력 화상을 취득하는, 의료용 화상 처리 장치.
- 제23항 내지 제37항 중 어느 한 항에 있어서, 상기 입력 화상을 화상 관리 시스템으로부터 취득하거나, 상기 영역 정보를 해당 화상 관리 시스템으로 출력하거나, 또는 해당 입력 화상을 해당 화상 관리 시스템으로부터 취득하고, 또한 해당 영역 정보를 해당 화상 관리 시스템으로 출력하는, 의료용 화상 처리 장치.
- 제23항 내지 제39항 중 어느 한 항에 있어서, 상기 영역 정보를 해부학적인 지식 베이스 처리에 의해 수정하는 수정부를 추가로 구비하는, 의료용 화상 처리 장치.
- 제23항 내지 제40항 중 어느 한 항에 있어서, 상기 평가부로부터 출력된 상기 영역 정보를 사용하여, 상기 입력 화상의 화상 해석을 행하는 해석부를 추가로 구비하는, 의료용 화상 처리 장치.
- 제23항 내지 제41항 중 어느 한 항에 있어서, 상기 영역 정보는 학습 완료 모델을 사용하여 생성된 정보임을 출력하는, 의료용 화상 처리 장치.
- 학습 완료 모델을 포함하는 세그멘테이션 엔진을 사용하여, 피검자의 소정 부위의 단층 화상인 입력 화상으로부터 해부학적인 영역을 식별 가능한 영역 정보를 생성하는 것과,
학습 완료 모델을 포함하는 평가 엔진 또는 해부학적인 지식을 사용한 지식 베이스의 평가 엔진을 사용하여 상기 영역 정보를 평가하는 것
을 포함하는, 의료용 화상 처리 방법. - 프로세서에 의해 실행되면, 해당 프로세서에 제43항에 기재된 의료용 화상 처리 방법의 각 공정을 실행시키는, 프로그램.
Applications Claiming Priority (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018152632 | 2018-08-14 | ||
| JPJP-P-2018-152632 | 2018-08-14 | ||
| JP2018230612 | 2018-12-10 | ||
| JPJP-P-2018-230612 | 2018-12-10 | ||
| JPJP-P-2019-147739 | 2019-08-09 | ||
| JP2019147739A JP7229881B2 (ja) | 2018-08-14 | 2019-08-09 | 医用画像処理装置、学習済モデル、医用画像処理方法及びプログラム |
| PCT/JP2019/031883 WO2020036182A1 (ja) | 2018-08-14 | 2019-08-13 | 医用画像処理装置、医用画像処理方法及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210041046A true KR20210041046A (ko) | 2021-04-14 |
| KR102543875B1 KR102543875B1 (ko) | 2023-06-16 |
Family
ID=71085873
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217006768A KR102543875B1 (ko) | 2018-08-14 | 2019-08-13 | 의료용 화상 처리 장치, 의료용 화상 처리 방법, 컴퓨터 판독가능 매체, 및 학습 완료 모델 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20210158525A1 (ko) |
| JP (2) | JP7229881B2 (ko) |
| KR (1) | KR102543875B1 (ko) |
| CN (1) | CN112601487A (ko) |
| DE (1) | DE112019004104T5 (ko) |
| GB (1) | GB2591890B (ko) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230024465A (ko) * | 2021-08-11 | 2023-02-21 | 재단법인 아산사회복지재단 | 호흡기도 섬모세포 운동성 측정 방법 및 장치 |
| WO2023140469A1 (ko) * | 2022-01-18 | 2023-07-27 | 가톨릭대학교 산학협력단 | 병적 근시 진단 장치 및 방법 |
| WO2023214848A1 (ko) * | 2022-05-04 | 2023-11-09 | 연세대학교 산학협력단 | 망막영상을 통한 고혈압 진단 기술 |
Families Citing this family (34)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110096933B (zh) * | 2018-01-30 | 2023-07-18 | 华为技术有限公司 | 目标检测的方法、装置及系统 |
| JP7305401B2 (ja) * | 2018-09-06 | 2023-07-10 | キヤノン株式会社 | 画像処理装置、画像処理装置の作動方法、及びプログラム |
| JP7250653B2 (ja) * | 2018-10-10 | 2023-04-03 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| WO2020075345A1 (ja) | 2018-10-10 | 2020-04-16 | キヤノン株式会社 | 医用画像処理装置、医用画像処理方法及びプログラム |
| US11191492B2 (en) * | 2019-01-18 | 2021-12-07 | International Business Machines Corporation | Early detection and management of eye diseases by forecasting changes in retinal structures and visual function |
| US11157811B2 (en) * | 2019-10-28 | 2021-10-26 | International Business Machines Corporation | Stub image generation for neural network training |
| JP7419042B2 (ja) * | 2019-11-29 | 2024-01-22 | キヤノン株式会社 | 医用画像処理装置、光干渉断層撮影装置、医用画像処理方法、及びプログラム |
| EP3828818A1 (en) * | 2019-11-29 | 2021-06-02 | Siemens Healthcare GmbH | Method and system for identifying pathological changes in follow-up medical images |
| US11890550B2 (en) * | 2020-01-02 | 2024-02-06 | Mattel, Inc. | Electrical tomography-based object recognition |
| JP7344847B2 (ja) * | 2020-06-30 | 2023-09-14 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| JP2022013077A (ja) * | 2020-07-03 | 2022-01-18 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
| JP7391285B2 (ja) * | 2020-07-21 | 2023-12-05 | 株式会社シバサキ | プログラム、情報処理装置、情報処理方法及びモデル生成方法 |
| TWI742782B (zh) * | 2020-07-28 | 2021-10-11 | 國立勤益科技大學 | 視網膜分層厚度檢測模型之建立方法、視網膜分層厚度檢測系統、眼部照護裝置、視網膜分層厚度檢測方法及失智症評估和預測方法 |
| KR102568907B1 (ko) * | 2020-08-20 | 2023-08-23 | (주)신한항업 | 폐색영역 검출을 위한 기계학습용 데이터셋 생성 방법과 데이터셋 생성시스템 |
| US20230351571A1 (en) * | 2020-09-25 | 2023-11-02 | Nec Corporation | Image analysis system and image analysis method |
| KR102421110B1 (ko) * | 2020-10-26 | 2022-07-14 | 동아대학교 산학협력단 | 뇌질환 판단을 위한 딥러닝 기반의 pet 영상 분류 장치 및 그 방법 |
| EP4252655A4 (en) * | 2020-11-25 | 2024-05-22 | Panasonic Holdings Corp | MEDICAL IMAGE DISPLAY SYSTEM, MEDICAL IMAGE DISPLAY METHOD AND PROGRAM |
| TWI746287B (zh) * | 2020-11-26 | 2021-11-11 | 宏碁股份有限公司 | 影像處理系統及影像處理方法 |
| CN112446876A (zh) * | 2020-12-11 | 2021-03-05 | 北京大恒普信医疗技术有限公司 | 基于图像的抗vegf指征判别方法、装置及电子设备 |
| TWI774224B (zh) * | 2021-02-03 | 2022-08-11 | 緯創資通股份有限公司 | 特徵強化與資料擴增方法及其動作偵測裝置 |
| CN112781634B (zh) * | 2021-04-12 | 2021-07-06 | 南京信息工程大学 | 一种基于YOLOv4卷积神经网络的BOTDR分布式光纤传感系统 |
| JP2022178159A (ja) * | 2021-05-19 | 2022-12-02 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| CN113536968B (zh) * | 2021-06-25 | 2022-08-16 | 天津中科智能识别产业技术研究院有限公司 | 一种自动获取虹膜内外圆边界坐标的方法 |
| TWI778718B (zh) * | 2021-07-21 | 2022-09-21 | 台達電子工業股份有限公司 | 用於檢體玻片的刮取指引系統及其方法 |
| CN113806568B (zh) * | 2021-08-10 | 2023-11-03 | 中国人民大学 | 多媒体资源推荐方法、装置、电子设备及存储介质 |
| CN113627360B (zh) * | 2021-08-13 | 2023-04-07 | 电子科技大学 | 基于形态学相似网络对fMRI信号进行滤波分解的方法 |
| US20230060459A1 (en) * | 2021-09-01 | 2023-03-02 | FootPrintKu Inc. | Image object classification optimizing method, system and computer readable medium |
| JP7036477B1 (ja) * | 2021-10-18 | 2022-03-15 | 株式会社Anamorphosis Networks | 欠陥検出方法、欠陥検出システム、及び、欠陥検出プログラム |
| CN113744271B (zh) * | 2021-11-08 | 2022-02-11 | 四川大学 | 基于神经网络的视神经自动分割和受压迫程度测算方法 |
| JP2023123987A (ja) * | 2022-02-25 | 2023-09-06 | 株式会社Ｓｃｒｅｅｎホールディングス | モデル選定方法および画像処理方法 |
| CN114529772B (zh) * | 2022-04-19 | 2022-07-15 | 广东唯仁医疗科技有限公司 | Oct三维图像分类方法、系统、计算机装置及存储介质 |
| KR102502418B1 (ko) * | 2022-07-21 | 2023-02-24 | 연세대학교 산학협력단 | 신경망 기반 의료 영상 처리 장치 및 방법 |
| CN116269198B (zh) * | 2023-05-11 | 2023-11-14 | 深圳市眼科医院(深圳市眼病防治研究所) | 基于卷积神经网络的眼球旋转角测量方法及装置 |
| CN118039088B (zh) * | 2024-04-15 | 2024-06-07 | 达州爱迦飞诗特科技有限公司 | 一种人工智能辅助诊断数据处理系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008073099A (ja) | 2006-09-19 | 2008-04-03 | Topcon Corp | 眼底観察装置、眼底画像表示装置及び眼底観察プログラム |
| JP2012019958A (ja) * | 2010-07-14 | 2012-02-02 | Canon Inc | 画像処理装置、プログラムおよび記憶媒体 |
| KR20130108456A (ko) * | 2011-03-10 | 2013-10-02 | 오므론 가부시키가이샤 | 화상 처리 장치, 화상 처리 방법, 및 제어 프로그램 |
| JP2017047111A (ja) * | 2015-09-04 | 2017-03-09 | キヤノン株式会社 | 眼科装置、表示制御方法およびプログラム |
| JP2018114068A (ja) * | 2017-01-17 | 2018-07-26 | キヤノン株式会社 | 画像処理装置、光干渉断層撮像装置、画像処理方法、及びプログラム |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011013334A (ja) * | 2009-06-30 | 2011-01-20 | Yamaha Corp | 画像表示装置 |
| WO2012149175A1 (en) | 2011-04-29 | 2012-11-01 | The General Hospital Corporation | Means for determining depth-resolved physical and/or optical properties of scattering media |
| US9357911B2 (en) * | 2011-05-09 | 2016-06-07 | Carl Zeiss Meditec, Inc. | Integration and fusion of data from diagnostic measurements for glaucoma detection and progression analysis |
| JP6025311B2 (ja) * | 2011-08-01 | 2016-11-16 | キヤノン株式会社 | 眼科診断支援装置および方法 |
| US9877646B2 (en) * | 2011-10-11 | 2018-01-30 | Carl Zeiss Meditec, Inc. | Assessment of retinal disruption |
| JP6146952B2 (ja) * | 2012-01-27 | 2017-06-14 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム。 |
| JP6878923B2 (ja) | 2017-01-31 | 2021-06-02 | 株式会社ニデック | 画像処理装置、画像処理システム、および画像処理プログラム |
| CN107292887B (zh) * | 2017-06-20 | 2020-07-03 | 电子科技大学 | 一种基于深度学习自适应权重的视网膜血管分割方法 |
| KR101857624B1 (ko) * | 2017-08-21 | 2018-05-14 | 동국대학교 산학협력단 | 임상 정보를 반영한 의료 진단 방법 및 이를 이용하는 장치 |
| US10878574B2 (en) * | 2018-02-21 | 2020-12-29 | Topcon Corporation | 3D quantitative analysis of retinal layers with deep learning |
| JP7185255B2 (ja) | 2018-05-16 | 2022-12-07 | 株式会社トーメーコーポレーション | 断層画像処理装置、これを備える眼科装置、及び断像画像を処理するためのコンピュータプログラム |
| JP7250653B2 (ja) * | 2018-10-10 | 2023-04-03 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| US11263747B2 (en) * | 2019-04-26 | 2022-03-01 | Oregon Health & Science University | Detecting avascular areas using neural networks |
-
2019
- 2019-08-09 JP JP2019147739A patent/JP7229881B2/ja active Active
- 2019-08-13 DE DE112019004104.5T patent/DE112019004104T5/de active Pending
- 2019-08-13 CN CN201980053915.XA patent/CN112601487A/zh active Pending
- 2019-08-13 GB GB2103260.2A patent/GB2591890B/en active Active
- 2019-08-13 KR KR1020217006768A patent/KR102543875B1/ko active IP Right Grant
-
2021
- 2021-02-05 US US17/168,776 patent/US20210158525A1/en active Pending
-
2023
- 2023-02-21 JP JP2023024953A patent/JP2023054179A/ja active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008073099A (ja) | 2006-09-19 | 2008-04-03 | Topcon Corp | 眼底観察装置、眼底画像表示装置及び眼底観察プログラム |
| JP2012019958A (ja) * | 2010-07-14 | 2012-02-02 | Canon Inc | 画像処理装置、プログラムおよび記憶媒体 |
| KR20130108456A (ko) * | 2011-03-10 | 2013-10-02 | 오므론 가부시키가이샤 | 화상 처리 장치, 화상 처리 방법, 및 제어 프로그램 |
| JP2017047111A (ja) * | 2015-09-04 | 2017-03-09 | キヤノン株式会社 | 眼科装置、表示制御方法およびプログラム |
| JP2018114068A (ja) * | 2017-01-17 | 2018-07-26 | キヤノン株式会社 | 画像処理装置、光干渉断層撮像装置、画像処理方法、及びプログラム |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230024465A (ko) * | 2021-08-11 | 2023-02-21 | 재단법인 아산사회복지재단 | 호흡기도 섬모세포 운동성 측정 방법 및 장치 |
| WO2023140469A1 (ko) * | 2022-01-18 | 2023-07-27 | 가톨릭대학교 산학협력단 | 병적 근시 진단 장치 및 방법 |
| WO2023214848A1 (ko) * | 2022-05-04 | 2023-11-09 | 연세대학교 산학협력단 | 망막영상을 통한 고혈압 진단 기술 |
Also Published As
| Publication number | Publication date |
|---|---|
| DE112019004104T5 (de) | 2021-06-17 |
| JP2020093076A (ja) | 2020-06-18 |
| JP2023054179A (ja) | 2023-04-13 |
| GB202103260D0 (en) | 2021-04-21 |
| GB2591890A (en) | 2021-08-11 |
| GB2591890B (en) | 2023-07-19 |
| CN112601487A (zh) | 2021-04-02 |
| JP7229881B2 (ja) | 2023-02-28 |
| KR102543875B1 (ko) | 2023-06-16 |
| US20210158525A1 (en) | 2021-05-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102543875B1 (ko) | 의료용 화상 처리 장치, 의료용 화상 처리 방법, 컴퓨터 판독가능 매체, 및 학습 완료 모델 | |
| JP7269413B2 (ja) | 医用画像処理装置、医用画像処理システム、医用画像処理方法及びプログラム | |
| JP7250653B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| KR102507711B1 (ko) | 의료용 화상 처리 장치, 의료용 화상 처리 방법, 및 컴퓨터 판독가능 매체 | |
| JP7341874B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| US11922601B2 (en) | Medical image processing apparatus, medical image processing method and computer-readable medium | |
| KR20220051369A (ko) | 정보 처리 장치, 정보 처리 방법, 정보 처리 시스템 및 프로그램 | |
| US11887288B2 (en) | Image processing apparatus, image processing method, and storage medium | |
| JP7305401B2 (ja) | 画像処理装置、画像処理装置の作動方法、及びプログラム | |
| CN113557714A (zh) | 医学图像处理装置、医学图像处理方法和程序 | |
| JP7362403B2 (ja) | 画像処理装置および画像処理方法 | |
| JP7332463B2 (ja) | 制御装置、光干渉断層撮影装置、光干渉断層撮影装置の制御方法、及びプログラム | |
| WO2020138128A1 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| JP7254682B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| WO2020075719A1 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP2021164535A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| JP2021069667A (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP7488934B2 (ja) | 画像処理装置、画像処理装置の作動方法、及びプログラム | |
| JP7446730B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP2023010308A (ja) | 画像処理装置および画像処理方法 | |
| JP2022121202A (ja) | 画像処理装置および画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |