JP6231885B2 - 頸部を検査する医療機器 - Google Patents
頸部を検査する医療機器 Download PDFInfo
- Publication number
- JP6231885B2 JP6231885B2 JP2013558549A JP2013558549A JP6231885B2 JP 6231885 B2 JP6231885 B2 JP 6231885B2 JP 2013558549 A JP2013558549 A JP 2013558549A JP 2013558549 A JP2013558549 A JP 2013558549A JP 6231885 B2 JP6231885 B2 JP 6231885B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- acetic acid
- cervical
- processor
- score
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- QTBSBXVTEAMEQO-UHFFFAOYSA-N Acetic acid Chemical compound CC(O)=O QTBSBXVTEAMEQO-UHFFFAOYSA-N 0.000 claims description 750
- 230000007704 transition Effects 0.000 claims description 183
- 229910052740 iodine Inorganic materials 0.000 claims description 129
- 239000011630 iodine Substances 0.000 claims description 129
- ZCYVEMRRCGMTRW-UHFFFAOYSA-N 7553-56-2 Chemical compound [I] ZCYVEMRRCGMTRW-UHFFFAOYSA-N 0.000 claims description 127
- 238000000034 method Methods 0.000 claims description 115
- 230000002087 whitening effect Effects 0.000 claims description 85
- 230000003287 optical effect Effects 0.000 claims description 47
- 238000002573 colposcopy Methods 0.000 claims description 45
- 238000010306 acid treatment Methods 0.000 claims description 41
- 210000003679 cervix uteri Anatomy 0.000 claims description 40
- 230000001186 cumulative effect Effects 0.000 claims description 36
- 238000010186 staining Methods 0.000 claims description 36
- 238000007689 inspection Methods 0.000 claims description 35
- 210000004204 blood vessel Anatomy 0.000 claims description 32
- 238000004364 calculation method Methods 0.000 claims description 26
- 238000012549 training Methods 0.000 claims description 22
- 238000003709 image segmentation Methods 0.000 claims description 20
- 230000002829 reductive effect Effects 0.000 claims description 20
- 230000002792 vascular Effects 0.000 claims description 20
- FAPWRFPIFSIZLT-UHFFFAOYSA-M Sodium chloride Chemical compound [Na+].[Cl-] FAPWRFPIFSIZLT-UHFFFAOYSA-M 0.000 claims description 19
- 239000011780 sodium chloride Substances 0.000 claims description 19
- 230000015654 memory Effects 0.000 claims description 17
- 125000000218 acetic acid group Chemical class C(C)(=O)* 0.000 claims description 16
- 230000000877 morphologic effect Effects 0.000 claims description 16
- 238000013508 migration Methods 0.000 claims description 13
- 230000005012 migration Effects 0.000 claims description 13
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 239000002253 acid Substances 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 238000011017 operating method Methods 0.000 claims 1
- 235000011054 acetic acid Nutrition 0.000 description 224
- 241000212749 Zesius chrysomallus Species 0.000 description 181
- 238000001514 detection method Methods 0.000 description 72
- 238000003860 storage Methods 0.000 description 49
- 239000000243 solution Substances 0.000 description 48
- 206010028980 Neoplasm Diseases 0.000 description 29
- 238000001914 filtration Methods 0.000 description 25
- 238000003745 diagnosis Methods 0.000 description 24
- 238000012360 testing method Methods 0.000 description 22
- 206010052128 Glare Diseases 0.000 description 21
- 201000011510 cancer Diseases 0.000 description 21
- 238000010586 diagram Methods 0.000 description 21
- 230000008569 process Effects 0.000 description 21
- 238000012545 processing Methods 0.000 description 21
- 206010008342 Cervix carcinoma Diseases 0.000 description 19
- 208000006105 Uterine Cervical Neoplasms Diseases 0.000 description 19
- 201000010881 cervical cancer Diseases 0.000 description 19
- 230000008859 change Effects 0.000 description 19
- 230000004313 glare Effects 0.000 description 19
- 230000003902 lesion Effects 0.000 description 18
- 230000011218 segmentation Effects 0.000 description 18
- 238000004422 calculation algorithm Methods 0.000 description 16
- 239000002872 contrast media Substances 0.000 description 16
- 238000010521 absorption reaction Methods 0.000 description 15
- 238000013459 approach Methods 0.000 description 14
- 210000004907 gland Anatomy 0.000 description 14
- 238000003384 imaging method Methods 0.000 description 13
- 210000000981 epithelium Anatomy 0.000 description 12
- 230000002159 abnormal effect Effects 0.000 description 10
- 230000033001 locomotion Effects 0.000 description 10
- 210000001519 tissue Anatomy 0.000 description 9
- 101100218322 Arabidopsis thaliana ATXR3 gene Proteins 0.000 description 8
- 102100032742 Histone-lysine N-methyltransferase SETD2 Human genes 0.000 description 8
- 101100149326 Homo sapiens SETD2 gene Proteins 0.000 description 8
- LZHSWRWIMQRTOP-UHFFFAOYSA-N N-(furan-2-ylmethyl)-3-[4-[methyl(propyl)amino]-6-(trifluoromethyl)pyrimidin-2-yl]sulfanylpropanamide Chemical compound CCCN(C)C1=NC(=NC(=C1)C(F)(F)F)SCCC(=O)NCC2=CC=CO2 LZHSWRWIMQRTOP-UHFFFAOYSA-N 0.000 description 8
- 101100533304 Plasmodium falciparum (isolate 3D7) SETVS gene Proteins 0.000 description 8
- 101150117538 Set2 gene Proteins 0.000 description 8
- 230000000875 corresponding effect Effects 0.000 description 8
- 230000036541 health Effects 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 8
- 238000010191 image analysis Methods 0.000 description 7
- 238000003064 k means clustering Methods 0.000 description 7
- 238000013507 mapping Methods 0.000 description 7
- 241000701806 Human papillomavirus Species 0.000 description 6
- 238000001574 biopsy Methods 0.000 description 6
- 238000009826 distribution Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 102100029768 Histone-lysine N-methyltransferase SETD1A Human genes 0.000 description 5
- 101000865038 Homo sapiens Histone-lysine N-methyltransferase SETD1A Proteins 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 238000012216 screening Methods 0.000 description 5
- 230000036962 time dependent Effects 0.000 description 5
- 206010054949 Metaplasia Diseases 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 230000002596 correlated effect Effects 0.000 description 4
- 150000002496 iodine Chemical class 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 230000015689 metaplastic ossification Effects 0.000 description 4
- 230000001613 neoplastic effect Effects 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 238000013139 quantization Methods 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 210000001215 vagina Anatomy 0.000 description 4
- 101150061050 CIN1 gene Proteins 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 101150005988 cin2 gene Proteins 0.000 description 3
- 238000013523 data management Methods 0.000 description 3
- 239000003814 drug Substances 0.000 description 3
- 229940079593 drug Drugs 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 230000004807 localization Effects 0.000 description 3
- 238000009595 pap smear Methods 0.000 description 3
- 230000036961 partial effect Effects 0.000 description 3
- 238000013077 scoring method Methods 0.000 description 3
- 230000000638 stimulation Effects 0.000 description 3
- 210000005166 vasculature Anatomy 0.000 description 3
- 206010059313 Anogenital warts Diseases 0.000 description 2
- 229920000742 Cotton Polymers 0.000 description 2
- 206010061218 Inflammation Diseases 0.000 description 2
- 208000009608 Papillomavirus Infections Diseases 0.000 description 2
- 208000006994 Precancerous Conditions Diseases 0.000 description 2
- 239000002269 analeptic agent Substances 0.000 description 2
- 210000003484 anatomy Anatomy 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000004054 inflammatory process Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 239000003589 local anesthetic agent Substances 0.000 description 2
- 229960005015 local anesthetics Drugs 0.000 description 2
- 230000009826 neoplastic cell growth Effects 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 230000011514 reflex Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000028327 secretion Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 210000003813 thumb Anatomy 0.000 description 2
- RBTBFTRPCNLSDE-UHFFFAOYSA-N 3,7-bis(dimethylamino)phenothiazin-5-ium Chemical compound C1=CC(N(C)C)=CC2=[S+]C3=CC(N(C)C)=CC=C3N=C21 RBTBFTRPCNLSDE-UHFFFAOYSA-N 0.000 description 1
- 206010002091 Anaesthesia Diseases 0.000 description 1
- 241000219198 Brassica Species 0.000 description 1
- 235000003351 Brassica cretica Nutrition 0.000 description 1
- 235000011297 Brassica napobrassica Nutrition 0.000 description 1
- 240000002791 Brassica napus Species 0.000 description 1
- 235000003343 Brassica rupestris Nutrition 0.000 description 1
- 101150070189 CIN3 gene Proteins 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 241000124008 Mammalia Species 0.000 description 1
- 241001631646 Papillomaviridae Species 0.000 description 1
- 208000031481 Pathologic Constriction Diseases 0.000 description 1
- 241000288906 Primates Species 0.000 description 1
- 241000700605 Viruses Species 0.000 description 1
- 206010047642 Vitiligo Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000037005 anaesthesia Effects 0.000 description 1
- QKSKPIVNLNLAAV-UHFFFAOYSA-N bis(2-chloroethyl) sulfide Chemical compound ClCCSCCCl QKSKPIVNLNLAAV-UHFFFAOYSA-N 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000013479 data entry Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000000249 desinfective effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000012631 diagnostic technique Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 238000011049 filling Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- ADKOXSOCTOWDOP-UHFFFAOYSA-L magnesium;aluminum;dihydroxide;trihydrate Chemical compound O.O.O.[OH-].[OH-].[Mg+2].[Al] ADKOXSOCTOWDOP-UHFFFAOYSA-L 0.000 description 1
- 230000005741 malignant process Effects 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 229960000907 methylthioninium chloride Drugs 0.000 description 1
- 238000004452 microanalysis Methods 0.000 description 1
- 210000003097 mucus Anatomy 0.000 description 1
- 235000010460 mustard Nutrition 0.000 description 1
- 210000003739 neck Anatomy 0.000 description 1
- 150000007523 nucleic acids Chemical class 0.000 description 1
- 102000039446 nucleic acids Human genes 0.000 description 1
- 108020004707 nucleic acids Proteins 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 239000002504 physiological saline solution Substances 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 210000005125 simple columnar epithelium Anatomy 0.000 description 1
- 239000007921 spray Substances 0.000 description 1
- 239000012192 staining solution Substances 0.000 description 1
- 230000036262 stenosis Effects 0.000 description 1
- 208000037804 stenosis Diseases 0.000 description 1
- 239000000021 stimulant Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 210000004291 uterus Anatomy 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000003612 virological effect Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
- 210000003905 vulva Anatomy 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/303—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the vagina, i.e. vaginoscopes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
- G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20036—Morphological image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Radiology & Medical Imaging (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Optics & Photonics (AREA)
- Public Health (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Gynecology & Obstetrics (AREA)
- Reproductive Health (AREA)
- Quality & Reliability (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Image Analysis (AREA)
- Endoscopes (AREA)
- Image Processing (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Description
(a)少なくとも1回、刺激及び/又は造影剤を頸部に適用するステップ;
(b)刺激剤の各適用の前及び後で、前記頸部の拡大画像を取得するステップ;
(c)前記画像内の基本的解剖学的オブジェクト、つまりOs、柱状領域、及び移行帯を識別するステップ;
(d)不明瞭度差スコアを生成するステップ;を有する。
(a)前記酢酸処理後画像及び/又は前記酢酸処理後画像内で、Os及び柱状領域が識別され、
(b)前記ヨウ素溶液処理後画像内で、一時的移行帯が識別され、
(c)前記一時的移行帯は、前記酢酸処理前画像及び酢酸処理後画像にマッピングされ、
(d)前記酢酸処理前画像及び前記酢酸処理後画像内で、前記Os及び柱状領域を前記一時的移行帯から減算することにより、実際の移行帯が識別される。
−画像ストリームをキャプチャするステップ;
−前記画像ストリームから相関画像シーケンスを識別するステップ;
−前記シーケンスからキー画像を識別するステップ;
−前記画像を前処理するステップ;を有する。
−ショット境界を識別するステップ;
−ショットを分類するステップ;
−キーフレームを選択するステップ;を有する。
−ピクセルのK平均クラスタリングを用いて、該ピクセルの色に基づき酢酸処理前画像及び酢酸処理後画像を2個のクラスタにセグメント化するステップ、
−最小クラスタをOs+柱状上皮領域として一緒にラベル付けするステップ、
−Os及び柱状上皮領域の両方の中で小さなバラバラのクラスタを繰り返し除去するステップ、
−最小分散量子化を用いてOs及び柱状上皮を分けるステップ、を有する。
−酢酸処理後画像の移行帯内の主要な不明瞭度変化を有する画像ピクセルを識別するステップ;
−前記画像ピクセルを前記酢酸処理前画像の対応するピクセルにマッピングするステップ;
−次式を用いて前記不明瞭度差スコアを求めるステップ;
−キーフレーム抽出手段、
−任意で、グレア除去手段、
−オブジェクト検出手段、
−不明瞭度変化検出手段、を更に有する。
(a)少なくとも1回、刺激及び/又は造影剤を頸部に適用するステップ;
(b)刺激剤の各適用の前及び後で、前記頸部の拡大画像を取得するステップ;
(c)前記画像内の基本的解剖学的オブジェクト、つまりOs、柱状領域、及び移行帯を識別するステップ;
(d)不明瞭度差スコアを生成するステップ;を有する。
(a)前記酢酸処理後画像内で、Os及び柱状領域が識別され、
(b)前記ヨウ素溶液処理後画像内で、一時的移行帯が識別され、
(c)前記一時的移行帯は、前記酢酸処理後画像にマッピングされ、
(d)前記酢酸処理前画像及び前記酢酸処理後画像内で、前記Os及び柱状領域を前記一時的移行帯から減算することにより、実際の移行帯が識別される。
−ピクセルのK平均クラスタリングを用いて、該ピクセルの色に基づき酢酸処理前画像及び酢酸処理後画像を2個のクラスタにセグメント化するステップ、
−最小クラスタをOs+柱状上皮領域として共にラベル付けするステップ、
−Os及び柱状上皮領域の両方の中で小さなバラバラのクラスタを繰り返し除去するステップ、
−最小分散量子化を用いてOs及び柱状上皮を分けるステップ、を有する。
−酢酸処理後画像の移行帯内の主要な不明瞭度変化を有する画像ピクセルを識別するステップ;
−前記画像ピクセルを前記酢酸処理前画像の対応するピクセルにマッピングするステップ;
−次式を用いて前記不明瞭度差スコアを求めるステップ;
幾つかの実施形態では、前記第2の移行の決定は、連続画像フレームの各対の間の移行の決定と同じ方法で実行され得る。
別の実施形態では、方法は、連続画像フレームの少なくとも1つの対の間の移行の決定の失敗を検出するステップを更に有する。方法は、前記失敗の前の前記ビデオデータから選択された第1の画像フレームから第1の画像のセグメント化を計算するステップを更に有する。方法は、前記失敗の後の前記ビデオデータから選択された第2の画像フレームから第2の画像のセグメント化を計算するステップを更に有する。前記第1及び第2の画像セグメント化は、第3の画像セグメント化技術を用いて決定されても良い。方法は、前記第1の画像セグメント化及び前記第2の画像セグメント化を用いて前記累積的移行モデルを修正するステップを更に有する
別の実施形態では、方法は、連続画像フレームの少なくとも1つの対の間の移行の決定の失敗を検出するステップを更に有する。方法は、前記失敗の前の前記ビデオデータから第1の画像フレームを選択するステップを更に有する。方法は、前記失敗の後の前記ビデオデータから第2の画像フレームを選択するステップを更に有する。
幾つかの実施形態では、前記第2の移行は、連続画像の各対の間の移行を決定する移行と同じ方法で実行され得る。
本願明細書で用いられるように、用語「光学拡大手段」は、光学画像を拡大可能な装置又はアルゴリズム、例えば拡大レンズ、顕微鏡、又は拡大がデジタル的に若しくは電子的に実行されるデジタル画像処理システムに関する。
膣鏡診を行っている間、異なる拡大レベルで及び頸部への酢酸(図4A参照)若しくはヨウ素溶液のような異なる薬品の適用で頸部を診ることは、一般的なビデオ処理アプリケーションでは異なるショットとして考えられる。ショット/ビューは、時間及び空間で連続する動作を表す、膣鏡からキャプチャされた一連の相関画像として定められる。「ビュー境界」は、本願明細書では、膣鏡診を行っている間のあるビューから別のビューへ切り替わる点として定められる。汎用ビデオアプリケーションの環境における伝統的なショット境界検出アルゴリズムが、ショット境界を検出するために用いることができる。カラー特徴は、ショット検出のために用いられる。
ショットが識別されると、キー画像が各ショットから自動的に選択される。キーフレームは、酢酸処理前、酢酸処理後、及びヨウ素溶液処理後のショットからである。ショット内の各フレーム又は画像は、頸部の色、テクスチャ、領域、等に基づく特徴セットと共に記述される。スコアαは、各フレームに割り当てられ、用いられる特徴セットの関数である。最大αを有するフレームは、ショット内のキーフレームとして選択される。
プリプロセッサは、キーフレーム抽出器により選択されたキー画像を入力として取り入れる。頸部画像の品質は、グレア/グリント/正反射を含む多くの要因による。グレアは、影響を受けるピクセル内の色情報を消失させるので、画像分析アルゴリズムを信用できないものにしてしまう。したがって、膣鏡画像からグレアを除去する必要があり、これはプリプロセッサで行われる。グレア領域は、小さな、飽和したハイコントラスト領域として検出される。画像「I」はRGB色空間で開かれる。RGB色空間のG成分は、良好なグレア対バックグランド比を提供するので、特徴空間として用いられる。G成分により生成されるヒストグラムの極大が、識別され、これは飽和値を表す。グレアピクセルに対するマスクが生成され、画像「I」からグレアピクセルを除去するために画像「I」に適用される(図4C参照)。
オブジェクト検出器は、グレアピクセルがフィルタ除去されたキーフレーム画像を入力として取り入れる。オブジェクト検出器は、頸部(1)、Os(4)等、円柱上皮(3)、及び移行帯(2)の関連オブジェクトを識別することを目的とする(図4D参照)。
<Os及び円柱状領域検出>
Os及び円柱状領域は、以下のステップを用いて識別される。
−色に基づきピクセルを2つのクラスタにするピクセルのK平均クラスタリングを用いて酢酸処理後膣鏡画像をセグメント化する
−最小クラスタは、Os+円柱上皮領域としてラベル付けされる
−最小分散量子化を用いてOs及び円柱状領域を分ける
−Os及び円柱状領域の両方の中にある小さなバラバラのクラスタを繰り返し除去する。
図5に個々の画像分析処理を示す。
酢酸処理後画像内の移行帯の検出は、2ステップのアプローチである。第1のステップでは、影響を受けた頸部ゾーンがヨウ素溶液処理で示される色変化に基づき移行帯を暫定的に検出するために、ヨウ素溶液処理後画像が処理される。キーフレーム抽出器から得られたヨウ素溶液処理後画像は、色に基づくK平均クラスタリングを用いて2個のクラスタにセグメント化される。2個のクラスタのうちの小さい方が選択される。このクラスタの凸包は、一時的移行帯として定められる。この次の第2のステップでは、一時的移行帯が酢酸処理前及び後画像にマッピングされ、次に、実際の移行帯を定めるために検出されたOs及び円柱状領域が減算される。酢酸処理前及び後画像は、移行帯を識別する前に位置合わせされ得る。図6に個々の画像分析処理を示す。
このモジュールは、酢酸処理前及び後画像内で識別された移行帯を入力として取り入れ、全ての酢酸処理前及び後画像について、酢酸処理前画像に対する不明瞭度差スコアを生成する。概して、酢酸処理後画像において、主要な不明瞭度変化を示す移行帯内のピクセルが識別され、それらは酢酸処理後画像内の対応するピクセルと比較される。不明瞭度差スコアを生成するステップは次の通りである。
−酢酸処理後画像内の移行帯のRGB値をLab色空間(L成分が明度/白色度の人間の知覚と良く一致する)に変換する
−(臨床的に実施された不透明白色と半透明白色を一致させるために)移行帯内のピクセルを2レベルの白色領域、つまり主要な不明瞭度変化及び軽微な不明瞭度変化にクラスタ化する
−軽微な不明瞭度変化を有するピクセルを除去する
−酢酸処理前画像内で主要な不明瞭度変化に対応するピクセルを識別する。
J=酢酸処理後画像内の主要ピクセルを有する画像、
N=主要な不明瞭度変化を有するピクセルの数
r=主要な不明瞭度変化を有するバイナリ画像、
(i,j)=画像I/J/rの空間領域のピクセル。
−診断の向上のために病変を等級付ける際に膣鏡専門家を支援する、
−自動膣鏡システムに送り込む。
−ビデオ膣鏡に組み込まれる赤点斑検出モジュール、
−膣鏡のビデオキャプチャモジュールと視覚ディスプレイモジュールの間に置かれる赤点斑検出モジュール、
−角検出、それに続く複数の拒否ステップを用いる着想に基づく赤点斑検出モジュールであって、複数の拒否ステップは、局所分析に基づく経験則、正しい赤点斑と誤った赤点斑との間を区別する近隣赤点斑ポイントの信頼性を含む、
−赤点斑を確実に検出する2つの主な段階(粗レベル及び精細レベル)を有する赤点斑検出モジュール。これは、白色分泌腺、正反射、等のような偽陽性をフィルタリングする、
−孤立した赤点斑及び群をなす赤点斑を検出する2つより多いコンポーネントを有する赤点斑検出モジュール、
−異なる膣鏡画像、つまり酢酸処理前、酢酸処理後、緑色フィルタ、及びズーム/拡大画像において、赤点斑を検出する赤点斑検出モジュール、
−赤点斑が存在する頸部内領域を強調表示する赤点斑検出モジュール。
−正反射又は酢酸による白色化の結果であり得る光る/白っぽい領域
−目立って赤色又は暗赤色の血液領域
−頸部OSのために非常に暗い領域
−外部オブジェクト及び頸部の近隣領域
−関心のある頸部領域のマスキング。
(a)SET2内の点「y」を選択する。
(b)点「y」の近隣にある点(N(y))が分析され、そのうちの何個がSET1に存在しSET2に存在しないかが調べられる。この数はNFと呼ばれ、誤った点の数である。
(c)同様に、SET2の点「y」について、近隣の点(N(y))は、SET1内で分析され、そのうちの何個がSET1及びSET2に存在するかが調べられる。これらはNCと呼ばれ、正しい点の数である。
(d)NF>>NCの場合、SET2内で選択された点はフィルタリングされる。
(e)この手順は、SET2内の全ての点について繰り返される。詳細には次式の通りである。
a)訓練。図13に、訓練及び分類器の構造を示す。3000個のサンプルが25個のデータセットから集められた。最適ツリーセットは、ツリー数の増加と共にテスト誤り率を調べることにより見出された。
b)テスト。サンプルをテストするために、特徴ベクトルが用いられ、該特徴ベクトルを用いて全てのRTをテストした。各RTは票(vote)を与えられ、候補に合意が与えられる。これらの票の平均は、点が真の赤点斑マークであることの確率的指標として計算された。この指標は、所与の候補の強度と呼ばれる。低い強度を示す点は、フィルタリングされた。このステップは、(粗検出された)185個から145個の点への削減を与える。
図24は、頸部内部領域で見付かった赤点斑を示す。頸部画像2400が示される。関心領域2402は、画像2400内でマークされる。関心領域2402は、ズームイン又は引き伸ばされ、画像2404内に示される。画像2406は、赤点斑位置と共に画像2400を示す。画像2408は、赤点斑領域と共に画像2400を示す。
−患者の組織及び体の動きの補償、
−カメラの動きの補償、膣鏡検査では、臨床医学者は、頸部の異なる部分を検査するためにカメラを動かす必要がある、
−異なる染色液を有する画像を整列する(食塩水、酢酸、ルゴールヨウ素溶液)、
−異なるズームの画像を整列する、膣鏡検査では、臨床医学者は、異なる診断用特徴を診るためにズームイン及びズームアウトする必要がある。正確な画像位置合わせは、診断用特徴を抽出するために極めて重大である。画像位置合わせなしでは、複数の画像に関連する診断用特徴(例えば、酢酸による白色化の反応速度)を抽出することが出来ないかも知れない。
−正確な画像位置合わせは、いかなる新しいハードウェア(例えば、3D画像化)の導入することなく、Philips Goldwayの現在の膣鏡製品で行うことができる。
−現在の膣鏡製品に追加できる新しい特徴は、例えば、婦人科医に安定化した膣鏡ビデオを提供する。
−ビデオ位置合わせは、対の観点からビデオ内の連続フレーム間の位置合わせの移行モデルを繰り返し連結することにより行われる。
−関心領域(ROI)セグメント化は、画像位置合わせと統合される。
+位置合わせが失敗した場合、ROIセグメント化は、画像位置合わせを再初期化するために用いられる。
+位置合わせに対して得られた特徴照合は、ROIセグメント化のために用いることができる。
−画像位置合わせは、2フレーム間の局所的特徴の対応を見出すことにより行われる。
+特徴照合の3つの実施形態がある。Lukas-Kanade追跡法(KLT)、SIFT特徴検出及び照合、並びにSLAM(Simultaneous Localization and Mapping)である。
+検出した特徴の一致数は、位置合わせの信頼性/精度として検査される。少なすぎる場合、現在フレームの位置合わせはスキップされる。
−関心領域(ROI)セグメント化は、画像位置合わせと統合される。入力ビデオフレームでは、膣鏡診断に関連する関心領域(例えば、頸部領域)は、最初にセグメント化される。次に、位置合わせは、セグメント化された領域に焦点を当てる。つまり、特徴(抽出及び)照合がこの領域にのみ実行される。この利点は、以下を有し得る。
セグメント化されたROIについて、局所的特徴の一致を見付けることにより、位置合わせが行われる。特徴の一致は、異なる方法で実施できる。
最後に、検出された特徴の一致に基づき、(フレーム1をフレーム2と揃える)移行モデルが推定される。ビデオ内の画像変動にしたがって、異なる変換方法が適用できる。移行モデルでは、フレーム1はフレーム2に位置合わせされる。上述のように、対に基づく画像位置合わせが、連続フレームについて行われる。
−癌の重症度を格付けする観測者の変動を低減する、
−子宮頸ガンを客観的にスコア付けし、これを自動的に行う、
−婦人科医に対話型方法で職業訓練を提供し、彼らの学習曲線を加速する。
(1)光源を有するカメラ、
(2)ビデオキャプチャユニット、
(3)ディスプレイユニット、及び
(4)患者情報を管理するデータ管理ユニット、である。図36に膣鏡のブロック図を示す。
(1)粗レベル赤点斑検出。これは、関心点検出に基づき、関心点検出の後に、誤検出されたオブジェクトを除去するためにオブジェクトフィルタリングの幾つかのステップが続く。
(2)精細レベル赤点斑検出。学習に基づくフレームワークは、粗検出された赤点斑を確実に分類するために構築される。図46に、赤点斑検出の一例を示す。
1.マージン(酢酸による白色化領域のマージンにより表される)
2.色(酢酸による白色化の動態により表される)
3.血管(モザイク、赤点斑及び特殊な血管により表される)
4.ヨウ素染色(ヨウ素の色吸収により表される)。
−タイル状の均一な構造
−粗いモザイク
−精細なモザイク
−部分的に可視の早期モザイク及び不規則構造
−正反射を生じる隆起モザイク
−明確に見えない弱いモザイク
−特殊/正常な血管の散在するモザイク
−赤点斑の散在するモザイク
−血液又は円柱上皮に近い領域にあるモザイク。
2 移行帯
3 円柱上皮
4 Os
1000 医療機器
1002 光学検査システム
1004 コンピュータ
1006 プロセッサ
1008ハードウェアインタフェース
1010 ユーザインタフェース
1012 コンピュータ記憶装置
1014コンピュータメモリ
1016 頸部画像
1018 関心点セット
1020 フィルタリングされた関心点セット
1022 削減された関心点セット
1024 分類された関心点セット
1026 赤点斑位置セット
1028 赤点斑マーク領域
1030 制御モジュール
1032 デジタルフィルタ
1034 形態フィルタ
1036 近隣に基づくフィルタ
1038 訓練された分類モジュール
1040 第2の近隣に基づくフィルタ
1100 頸部画像
1102 容易に位置を特定された赤点斑ポイントを有する領域
1104 第1の領域
1106 第2の領域
1108 第1の領域の拡大
1110 赤点斑領域
1112 第2の領域の拡大
1114 赤点斑領域
1116 赤点斑ポイントが強調表示された画像1110
1600 ツリー数
1602 赤点斑サンプルテストエラー
1700 頸部画像
1702 赤点斑を有する領域
1800 前処理後の画像1700
1900 検出された関心点を示す画像1700
2000 形態フィルタリング後の画像1900
2100 近隣フィルタリング後の画像2000
2200 RT分類器を用いた後の画像2100
2202 関心領域
2204 関心領域の拡大
2300 第2の近隣フィルタリング後の画像2200
2302 関心領域
2304 関心領域の拡大
2400 頸部画像
2302 関心領域
2404 領域2402の拡大画像
2406 赤点斑位置を有する画像2400
2408 赤点斑領域を有する画像2400
2500 頸部画像
2502 関心領域
2504 領域2502の拡大画像
2506 赤点斑位置を有する画像2500
2508 赤点斑領域を有する画像2500
2600 頸部画像
2602 関心領域
2604 領域2602の拡大画像
2606 赤点斑位置を有する画像2600
2608 赤点斑領域を有する画像2600
2700 頸部画像
2702 関心領域
2704 領域2702の拡大画像
2706 赤点斑位置を有する画像2700
2708 赤点斑領域を有する画像2700
2800 頸部画像
2802 赤点斑位置を有する画像2800
2804 赤点斑領域を有する画像2800
2900 頸部画像
2902 赤点斑位置を有する画像2900
2904 赤点斑領域を有する画像2900
3100 医療機器
3102 ビデオデータ
3104 移行セット
3105 累積的移行
3106 第1の画像
3108 第2の領域
3109 第1及び第2の画像の位置合わせ
3110 画像変換モジュール
3112 累積的移行計算モジュール
3114 画像位置合わせモジュール
3300 画像
3302 画像
3304 ボックス
3500 医療機器
3502 生理食塩水処理された頸部の画像
3504 酢酸により白色化した頸部の画像
3506 ヨウ素処理された頸部の画像
3508 酢酸による白色化の動態スコア
3510 酢酸による白色化のマージンスコア
3512 血管パターンスコア
3514 ヨウ素染色スコア
3516 膣鏡診インデックススコア
3520 酢酸による白色化の動態スコア計算モジュール
3522 酢酸による白色化のマージンスコア計算モジュール
3524 血管パターンスコア計算モジュール
3526 ヨウ素染色スコア計算モジュール
3528 膣鏡診インデックススコア計算モジュール
3800 酢酸により白色化した頸部の画像
3802 頸部領域
3900 ヨウ素処理された頸部の画像
3902 頸部領域
4000 ヒストグラム
4002 ヒストグラム
4100 ヨウ素処理された頸部の画像
4102 酢酸処理された頸部の画像
4104 頸部領域
4106 古いSCJ領域
4202 新しいSCJ領域
4302 Os
4400 ユーザインタフェース
4402 頸部画像
4404 膣鏡所見
4406 診断
4500 生理食塩水処理された頸部の画像
4502 酢酸により白色化した頸部の画像
4504 不明瞭画像
4506 生理食塩水処理された頸部の画像
4508 酢酸により白色化した頸部の画像
4510 不明瞭画像
4600 酢酸により白色化した頸部の画像
4602 酢酸により白色化した頸部の画像
4604 酢酸により白色化した頸部の画像
4606 赤点斑マーク
4608 赤点斑領域
4700 酢酸により白色化した頸部の画像
4702 酢酸により白色化した頸部の画像
4704 酢酸により白色化した頸部の画像
4706 モザイク領域
4708 強調表示されたモザイク領域
4800 頸部画像
4802 頸部画像
4804 候補白色腺
4808 白色腺
4900 ユーザインタフェース
4902 頸部画像
4904 酢酸による白色化のマージンスコア
4906 酢酸による白色化の動態スコア
4908 血管パターンスコア
4910 ヨウ素染色スコア
4912 スコア調整セレクタ
5002 コンジローマ様癌を生じた頸部の画像
5004 鮮明なマージンの頸部画像
5006 ロールしたマージンの頸部画像
5102 雪のように白い頸部の画像
5104 光沢のない白色の頸部の画像
5106 濃い白色の頸部の画像
5200 時間
5202 不明瞭インデックス
5204 サブクラス1
5206 サブクラス2
5208 サブクラス3
5400 頸部画像
5502 低信頼性モザイク領域
5504 中信頼性モザイク領域
5506 高信頼性モザイク領域
5600 精細なモザイクを示す頸部画像
5700 粗いモザイクを示す頸部画像
5800 精細な赤点斑を示す頸部画像
5900 粗い赤点斑を示す頸部画像
6000 ヨウ素処理された頸部の画像
6102 ヨウ素処理された頸部の画像内の陽性ヨウ素吸収
6104 ヨウ素処理された頸部の画像内の陽性ヨウ素吸収
6104 ヨウ素処理された頸部の画像内の陽性ヨウ素吸収
6200 スコア
6202 組織像
Claims (15)
- 医療機器であって:
−頸部画像を取得する光学検査システム;
−前記医療機器を制御するプロセッサ;
−前記プロセッサにより実行される機械実行可能命令を有するメモリ;
を有し、前記命令の実行は、前記プロセッサに:
前記プロセッサが前記光学検査システムを用いて取得した複数の画像フレームを有するビデオデータから、第1の頸部画像及び第2の頸部画像を取得させ;
前記第1の頸部画像について、
−デジタルフィルタを用いて関心点位置セットを計算させ;
−前記関心点位置セット及び形態フィルタを用いてフィルタリングされた関心点位置セットを計算させ;
−前記フィルタリングされた関心点位置セット及び近隣に基づくフィルタを用いて削減された関心点位置セットを計算させ;
−前記削減された関心点セット及び訓練された分類モジュールを用いて分類された関心点位置セットを計算させ;
−前記分類された関心点位置セット及び第2の近隣に基づくフィルタを用いて赤点斑位置セットを計算させ;
−前記赤点斑位置を用いて赤点斑マーク領域を計算させ;
−前記赤点斑マーク領域を出力させ;
前記第2の頸部画像について、
−前記デジタルフィルタを用いて第2の関心点位置セットを計算させ;
−前記第2の関心点位置セット及び前記形態フィルタを用いて第2のフィルタリングされた関心点位置セットを計算させ;
−前記第2のフィルタリングされた関心点位置セット及び前記近隣に基づくフィルタを用いて第2の削減された関心点位置セットを計算させ;
−前記訓練された分類モジュール及び前記第2の削減された関心点セットを用いて第2の分類された関心点位置セットを計算させ;
−前記第2の近隣に基づくフィルタ及び前記第2の分類された関心点位置セットを用いて第2の赤点斑位置セットを計算させ、前記赤点斑マーク領域は、前記赤点斑位置及び前記第2の赤点斑位置を用いて計算され;
前記第1の頸部画像及び前記第2の頸部画像を位置合わせさせ、前記位置合わせは、前記プロセッサに:
−前記複数の画像フレームから選択された連続画像フレームの各対の間の移行モデルを決定させ;
−前記連続画像フレームの各対の間の移行モデルから累積的移行モデルを計算させ;
−前記累積的移行モデルを用いて前記第1の頸部画像及び前記第2の頸部画像の位置合わせを提供させる;
ことにより行われる、
医療機器。 - 前記第1の頸部画像は生理食塩水処理された頸部の画像であり、前記命令の実行は、前記プロセッサに、さらに:
−前記光学検査システムを用いて複数の酢酸により白色化した頸部の画像を取得させ;
−前記光学検査システムを用いてヨウ素処理された頸部の画像を取得させ;
−前記酢酸により白色化した頸部の画像を用いて酢酸による白色化の動態スコアを計算させ;
−前記酢酸により白色化した頸部の画像を用いて酢酸による白色化のマージンスコアを計算させ;
−前記酢酸により白色化した頸部の画像及び前記生理食塩水処理された頸部の画像を用いて、血管パターンスコアを計算させ;
−前記ヨウ素処理された頸部の画像を用いてヨウ素染色スコアを計算させ;
−前記酢酸による白色化の動態スコア、前記酢酸による白色化のマージンスコア、前記血管パターンスコア、及び前記ヨウ素染色スコアを加算することにより、膣鏡診インデックススコアを決定させる;
請求項1に記載の医療機器。 - 前記医療機器は、ディスプレイ及びユーザインタフェースを更に有する請求項2に記載の医療機器。
- 前記命令の実行は、前記プロセッサに、さらに:
−前記ディスプレイに少なくとも1つの前記酢酸により白色化した頸部の画像を表示させ;
−前記ディスプレイに前記酢酸による白色化の動態スコアを表示させ;
−前記ユーザインタフェースから修正された酢酸による白色化の動態スコアを受信させ、前記膣鏡診インデックススコアは、前記修正された酢酸による白色化の動態スコアを用いて少なくとも部分的に決定される;
請求項3に記載の医療機器。 - 前記命令の実行は、前記プロセッサに、さらに:
−前記ディスプレイに少なくとも1つの前記酢酸により白色化した頸部の画像を表示させ;
−前記ディスプレイに前記酢酸による白色化のマージンスコアを表示させ;
−前記ユーザインタフェースから修正された酢酸による白色化のマージンスコアを受信させ、前記膣鏡診インデックススコアは、前記修正された酢酸による白色化のマージンスコアを用いて少なくとも部分的に決定される;
請求項3又は4に記載の医療機器。 - 前記命令の実行は、前記プロセッサに、さらに:
−前記ディスプレイに少なくとも1つの前記酢酸により白色化した頸部の画像を表示させ;
−前記ディスプレイに前記血管パターンスコアを表示させ;
−前記ユーザインタフェースから修正された血管パターンスコアを受信させ、前記膣鏡診インデックススコアは、前記修正された血管パターンスコアを用いて少なくとも部分的に決定される;
請求項3、4又は5に記載の医療機器。 - 前記命令の実行は、前記プロセッサに、さらに:
−前記生理食塩水処理された頸部の画像内でモザイク、前記赤点斑マーク領域、及び/又は特殊な血管を識別させ;
−前記酢酸により白色化した頸部の画像から選択された1つの酢酸により白色化した頸部の画像内で酢酸処理後のモザイク、酢酸処理後の赤点斑マーク領域、及び/又は酢酸処理後の特殊な血管を識別させ、前記血管パターンスコアは、前記モザイク及び前記酢酸処理後のモザイク;前記赤点斑マーク領域及び前記酢酸処理後の赤点斑マーク領域;及び前記特殊な血管及び前記酢酸処理後の特殊な血管;並びにそれらの組合せ;のうちの1つの間の差を用いて計算される、請求項3乃至6のいずれか一項に記載の医療機器。 - 前記第1の頸部画像は:第1の酢酸処理前画像、第1の緑色フィルタ画像、及び第1の酢酸処理後画像のうちのいずれか1つであり;前記第2の頸部画像は:第2の酢酸処理前画像、第2の緑色フィルタ画像、及び第2の酢酸処理後画像のうちのいずれか1つである;請求項1乃至7のいずれか一項に記載の医療機器。
- 前記命令の実行は、前記プロセッサに、さらに:
−連続画像フレームの少なくとも1つの対の間の移行モデルの決定の失敗を検出させ;
−前記失敗の前の前記ビデオデータから選択された第1の画像フレームから第1の画像セグメント化を計算させ;
−前記失敗の後の前記ビデオデータから選択された第2の画像フレームから第2の画像セグメント化を計算させ;
−前記第1の画像フレームと前記第2の画像フレームとの間の第2の移行を決定させ;
−前記第2の移行を用いて前記累積的移行モデルを修正させる;
請求項1乃至8のいずれか一項に記載の医療機器。 - 前記命令の実行は、前記プロセッサに、さらに:
−連続画像フレームの少なくとも1つの対の間の移行の決定の失敗を検出させ;
−前記失敗の前の前記ビデオデータから第1の画像フレームを選択させ;
−前記失敗の後の前記ビデオデータから第2の画像フレームを選択させ;
−前記第1の画像フレームと前記第2の画像フレームとの間の第2の移行を決定させ;
−前記第2の移行を用いて前記累積的移行モデルを修正させる;
請求項1乃至8のいずれか一項に記載の医療機器。 - 前記第1の頸部画像は造影剤前及び/又は刺激剤前画像であり、前記第2の頸部画像は造影剤後及び/又は刺激剤後画像であり、前記命令の実行は、前記プロセッサに、さらに:
−前記第1及び第2の頸部画像内の基本的解剖学的オブジェクト、つまりOs、柱状領域及び移行帯を識別させ;
−不明瞭度差スコアを生成させる;
請求項1乃至10のいずれか一項に記載の医療機器。 - 前記第2の頸部画像は、前記第1の頸部画像内の少なくとも部分的に拡大された領域を示す拡大画像である、請求項1乃至11のいずれか一項に記載の医療機器。
- 前記命令の実行は、前記プロセッサに、さらに、ディスプレイに前記第1の頸部画像に重ね合わされた前記赤点斑マーク領域を表示させる、請求項1乃至12のいずれか一項に記載の医療機器。
- 医療機器を制御するプロセッサによる実行のための機械実行可能命令を有するコンピュータプログラムであって、前記医療機器は、頸部画像を取得する光学検査システムを有し;
前記命令の実行は、前記プロセッサに:
前記プロセッサが前記光学検査システムを用いて取得した複数の画像フレームを有するビデオデータから、第1の頸部画像及び第2の頸部画像を取得させ;
前記第1の頸部画像について、
−デジタルフィルタを用いて関心点位置セットを計算させ;
−前記関心点位置セット及び形態フィルタを用いてフィルタリングされた関心点位置セットを計算させ;
−前記フィルタリングされた関心点位置セット及び近隣に基づくフィルタを用いて削減された関心点位置セットを計算させ;
−前記削減された関心点セット及び訓練された分類モジュールを用いて分類された関心点位置セットを計算させ;
−前記分類された関心点位置セット及び第2の近隣に基づくフィルタを用いて赤点斑位置セットを計算させ;
−前記赤点斑位置を用いて赤点斑マーク領域を計算させ;
前記第2の頸部画像について、
−前記デジタルフィルタを用いて第2の関心点位置セットを計算させ;
−前記第2の関心点位置セット及び前記形態フィルタを用いて第2のフィルタリングされた関心点位置セットを計算させ;
−前記第2のフィルタリングされた関心点位置セット及び前記近隣に基づくフィルタを用いて第2の削減された関心点位置セットを計算させ;
−前記訓練された分類モジュール及び前記第2の削減された関心点セットを用いて第2の分類された関心点位置セットを計算させ;
−前記第2の近隣に基づくフィルタ及び前記第2の分類された関心点位置セットを用いて第2の赤点斑位置セットを計算させ、前記赤点斑マーク領域は、前記赤点斑位置及び前記第2の赤点斑位置を用いて計算され;
前記第1の頸部画像及び前記第2の頸部画像を位置合わせさせ、前記位置合わせは、前記プロセッサに:
−前記複数の画像フレームから選択された連続画像フレームの各対の間の移行モデルを決定させ;
−前記連続画像フレームの各対の間の移行モデルから累積的移行モデルを計算させ;
−前記累積的移行モデルを用いて前記複数の画像フレームの各々を位置合わせさせ;
−前記累積的移行モデルを用いて前記第1の頸部画像及び前記第2の頸部画像の位置合わせを提供させる;
コンピュータプログラム。 - 医療機器の作動方法であって、前記医療機器は、頸部画像を取得する光学検査システムと、プロセッサ及びメモリを有し前記光学検査システムに結合されるコンピュータと、を有し、前記メモリは、前記プロセッサにより実行される制御モジュール、デジタルフィルタ、形態フィルタ、近隣に基づくフィルタ、訓練された分類モジュール、第2の近隣に基づくフィルタ、画像変換モジュール、累積的移行計算モジュール、画像位置合わせモジュール、を格納し;
前記作動方法は:
前記プロセッサが前記光学検査システムを用いて取得した複数の画像フレームを有するビデオデータから、前記プロセッサが第1の頸部画像及び第2の頸部画像を取得するステップ;
前記第1の頸部画像について:
−前記プロセッサが前記デジタルフィルタを用いて関心点位置セットを計算するステップ;
−前記プロセッサが前記関心点位置セット及び前記形態フィルタを用いてフィルタリングされた関心点位置セットを計算するステップ;
−前記プロセッサが前記フィルタリングされた関心点位置セット及び前記近隣に基づくフィルタを用いて削減された関心点位置セットを計算するステップ;
−前記プロセッサが前記削減された関心点セット及び前記訓練された分類モジュールを用いて分類された関心点位置セットを計算するステップ;
−前記プロセッサが前記分類された関心点位置セット及び前記第2の近隣に基づくフィルタを用いて赤点斑位置セットを計算するステップ;
−前記プロセッサが前記赤点斑位置を用いて赤点斑マーク領域を計算するステップ;
前記第2の頸部画像について:
−前記プロセッサが前記デジタルフィルタを用いて第2の関心点位置セットを計算するステップ;
−前記プロセッサが前記第2の関心点位置セット及び前記形態フィルタを用いて第2のフィルタリングされた関心点位置セットを計算するステップ;
−前記プロセッサが前記第2のフィルタリングされた関心点位置セット及び前記近隣に基づくフィルタを用いて第2の削減された関心点位置セットを計算するステップ;
−前記プロセッサが前記訓練された分類モジュール及び前記第2の削減された関心点セットを用いて第2の分類された関心点位置セットを計算するステップ;
−前記プロセッサが前記第2の近隣に基づくフィルタ及び前記第2の分類された関心点位置セットを用いて第2の赤点斑位置セットを計算するステップであって、前記赤点斑マーク領域は、前記赤点斑位置及び前記第2の赤点斑位置を用いて計算される、ステップ;
前記プロセッサが前記第1の頸部画像及び前記第2の頸部画像を位置合わせするステップであって:
−前記プロセッサが前記画像変換モジュールを用いて前記複数の画像フレームから選択された連続画像フレームの各対の間の移行モデルを決定するステップ;
−前記プロセッサが前記累積的移行計算モジュールを用いて前記連続画像フレームの各対の間の移行モデルから累積的移行モデルを計算するステップ;
−前記プロセッサが前記画像位置合わせモジュールを用いて前記累積的移行モデルを用いて前記第1の頸部画像及び前記第2の頸部画像の前記位置合わせを提供するステップ;
を含むステップ;
を有する方法。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP11305291 | 2011-03-16 | ||
EP11305291.4 | 2011-03-16 | ||
US201161567158P | 2011-12-06 | 2011-12-06 | |
US61/567,158 | 2011-12-06 | ||
PCT/IB2012/051149 WO2012123881A2 (en) | 2011-03-16 | 2012-03-12 | Medical instrument for examining the cervix |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014508021A JP2014508021A (ja) | 2014-04-03 |
JP6231885B2 true JP6231885B2 (ja) | 2017-11-15 |
Family
ID=46831131
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013558549A Expired - Fee Related JP6231885B2 (ja) | 2011-03-16 | 2012-03-12 | 頸部を検査する医療機器 |
Country Status (6)
Country | Link |
---|---|
US (1) | US9107569B2 (ja) |
EP (1) | EP2685881B1 (ja) |
JP (1) | JP6231885B2 (ja) |
CN (1) | CN103442628B (ja) |
IN (1) | IN2013CN07995A (ja) |
WO (1) | WO2012123881A2 (ja) |
Families Citing this family (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
BR112015006004A2 (pt) * | 2012-09-21 | 2017-07-04 | Koninklijke Philips Nv | sistema e método para rotular uma imagem cervical obtida durante uma colposcopia de uma paciente, estação de trabalho ou dispositivo de imagem, colposcópio, e, produto de programa de computador |
CN103126646A (zh) * | 2013-03-21 | 2013-06-05 | 山西瑞克普生物科技有限公司 | 阴道镜、宫腔镜用图像分析系统 |
CN105307554B (zh) | 2013-04-18 | 2018-01-09 | 皇家飞利浦有限公司 | 采集宫颈图像 |
EP2996544B1 (en) | 2013-05-15 | 2017-09-27 | Koninklijke Philips N.V. | Imaging a patient's interior |
CN103325128B (zh) * | 2013-05-16 | 2016-08-17 | 深圳市理邦精密仪器股份有限公司 | 一种智能识别阴道镜所采集的图像特征的方法及装置 |
US10002427B2 (en) * | 2013-10-11 | 2018-06-19 | Mauna Kea Technologies | Method for characterizing images acquired through a video medical device |
US10028649B2 (en) * | 2013-12-02 | 2018-07-24 | Welch Allyn, Inc. | Digital colposcope system |
WO2015101496A1 (en) * | 2013-12-30 | 2015-07-09 | Koninklijke Philips N.V. | Method and apparatus for cervical image analysis with improved reliability |
CN103767658B (zh) * | 2013-12-30 | 2017-02-08 | 深圳市理邦精密仪器股份有限公司 | 电子阴道镜图像的采集方法及装置 |
CN103932665B (zh) * | 2014-03-17 | 2016-03-02 | 深圳市理邦精密仪器股份有限公司 | 一种电子阴道镜图像的显示方法及装置 |
JP2017515588A (ja) * | 2014-05-14 | 2017-06-15 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | コルポスコピー手順を実行するためのコルポスコピー装置 |
CN104217437A (zh) * | 2014-09-19 | 2014-12-17 | 西安电子科技大学 | 前列腺kvct图像的病变区域分割方法 |
US10925579B2 (en) * | 2014-11-05 | 2021-02-23 | Otsuka Medical Devices Co., Ltd. | Systems and methods for real-time tracking of a target tissue using imaging before and during therapy delivery |
EP3234912B1 (en) * | 2014-12-15 | 2020-08-26 | Koninklijke Philips N.V. | Quality control of image registration |
US20180156700A1 (en) * | 2015-05-25 | 2018-06-07 | Adarsh Natarajan | Automated sample stainer and a method thereof |
WO2018003503A1 (ja) * | 2016-06-28 | 2018-01-04 | ソニー株式会社 | 画像処理装置および画像処理方法、並びに医療用撮像システム |
KR101923183B1 (ko) * | 2016-12-14 | 2018-11-28 | 삼성전자주식회사 | 의료 영상 표시 방법 및 의료 영상 표시 장치 |
WO2018216618A1 (ja) * | 2017-05-25 | 2018-11-29 | 日本電気株式会社 | 情報処理装置、制御方法、及びプログラム |
CN107368669A (zh) * | 2017-06-02 | 2017-11-21 | 吕尚格 | 一种妇产科全方位检查成像管理系统 |
JP7054436B2 (ja) * | 2017-12-14 | 2022-04-14 | オムロン株式会社 | 検出システム、情報処理装置、評価方法及びプログラム |
CN110123254B (zh) * | 2018-02-09 | 2022-04-05 | 深圳市理邦精密仪器股份有限公司 | 电子阴道镜图像调节方法、系统及终端设备 |
US11335079B2 (en) * | 2018-03-05 | 2022-05-17 | Intel Corporation | Method and system of reflection suppression for image processing |
EP3804605A4 (en) * | 2018-06-04 | 2021-08-18 | FUJIFILM Corporation | IMAGE PROCESSING DEVICE, ENDOSCOPE SYSTEM AND IMAGE PROCESSING METHOD |
WO2019239414A1 (en) * | 2018-06-13 | 2019-12-19 | Mobileodt, Ltd. | Automated detection in cervical imaging |
US12073559B2 (en) * | 2018-10-04 | 2024-08-27 | Duke University | Methods for automated detection of cervical pre-cancers with a low-cost, point-of-care, pocket colposcope |
WO2020090731A1 (ja) * | 2018-11-01 | 2020-05-07 | 富士フイルム株式会社 | 医療画像処理装置、医療画像処理方法及びプログラム、診断支援装置 |
KR102268335B1 (ko) | 2019-10-28 | 2021-06-24 | 주식회사 아이도트 | 자궁경부 영상 획득기 |
CN111738980B (zh) * | 2020-05-14 | 2023-08-04 | 北京深睿博联科技有限责任公司 | 一种医学影像的显示方法、计算机设备及存储介质 |
WO2022196493A1 (ja) * | 2021-03-17 | 2022-09-22 | テルモ株式会社 | プログラム、情報処理方法、画像診断装置及び学習済みモデルの生成方法 |
KR102625668B1 (ko) * | 2021-07-07 | 2024-01-18 | 성신여자대학교 연구 산학협력단 | 캡슐 내시경 장치 및 병변 진단 지원 방법 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7260248B2 (en) | 1999-12-15 | 2007-08-21 | Medispectra, Inc. | Image processing using measures of similarity |
US6766184B2 (en) * | 2000-03-28 | 2004-07-20 | Board Of Regents, The University Of Texas System | Methods and apparatus for diagnostic multispectral digital imaging |
JP4493408B2 (ja) * | 2003-06-06 | 2010-06-30 | 富士フイルム株式会社 | 画像読影支援方法及び装置並びにプログラム |
US7664300B2 (en) | 2005-02-03 | 2010-02-16 | Sti Medical Systems, Llc | Uterine cervical cancer computer-aided-diagnosis (CAD) |
RU2009141610A (ru) * | 2007-04-11 | 2011-05-20 | Форт Фотоникс Лимитед (Gb) | Опорная конструкция и рабочая станция, содержащая опорную конструкцию, для улучшения, повышения объективности и документирования обследований матки in vivo |
EP2237190A2 (en) | 2007-08-03 | 2010-10-06 | STI Medical Systems, LLC | Computerized image analysis for a acetic acid induced cervical intraepithelial neoplasia |
EP2344982A4 (en) | 2008-10-10 | 2012-09-19 | Sti Medical Systems Llc | METHODS FOR CLASSIFYING TISSUE IN UTERUS COLLAR IMAGING |
-
2012
- 2012-03-12 JP JP2013558549A patent/JP6231885B2/ja not_active Expired - Fee Related
- 2012-03-12 US US14/004,907 patent/US9107569B2/en not_active Expired - Fee Related
- 2012-03-12 EP EP12710362.0A patent/EP2685881B1/en not_active Not-in-force
- 2012-03-12 CN CN201280013528.1A patent/CN103442628B/zh not_active Expired - Fee Related
- 2012-03-12 WO PCT/IB2012/051149 patent/WO2012123881A2/en active Application Filing
- 2012-03-12 IN IN7995CHN2013 patent/IN2013CN07995A/en unknown
Also Published As
Publication number | Publication date |
---|---|
US20140005477A1 (en) | 2014-01-02 |
CN103442628A (zh) | 2013-12-11 |
IN2013CN07995A (ja) | 2015-08-21 |
WO2012123881A3 (en) | 2012-12-20 |
JP2014508021A (ja) | 2014-04-03 |
EP2685881B1 (en) | 2020-08-19 |
US9107569B2 (en) | 2015-08-18 |
CN103442628B (zh) | 2016-06-15 |
WO2012123881A2 (en) | 2012-09-20 |
EP2685881A2 (en) | 2014-01-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6231885B2 (ja) | 頸部を検査する医療機器 | |
US11562820B2 (en) | Computer classification of biological tissue | |
Cao et al. | Hierarchical method for cataract grading based on retinal images using improved Haar wavelet | |
Jitpakdee et al. | A survey on hemorrhage detection in diabetic retinopathy retinal images | |
CN108257129B (zh) | 基于多模态检测网络的宫颈活检区域辅助识别方法及装置 | |
RU2633320C2 (ru) | Отбор изображений для оптического исследования шейки матки | |
CN113420826B (zh) | 一种肝脏病灶图像处理系统及图像处理方法 | |
CN114782307A (zh) | 基于深度学习的增强ct影像直肠癌分期辅助诊断系统 | |
CN112927179A (zh) | 肝肿瘤智慧分析方法 | |
Sornapudi et al. | Automated cervical digitized histology whole-slide image analysis toolbox | |
Obukhova et al. | Automated image analysis in multispectral system for cervical cancer diagnostic | |
KR102095730B1 (ko) | 딥러닝 기반의 대장 병변 검출 방법 | |
Aina et al. | Deep learning for image-based cervical cancer detection and diagnosis—a survey | |
Kaur et al. | Diabetic retinopathy diagnosis through computer-aided fundus image analysis: a review | |
CN112419246B (zh) | 量化食管粘膜IPCLs血管形态分布的深度检测网络 | |
Wang et al. | Automated segmentation of breast arterial calcifications from digital mammography | |
Nahrawi et al. | A Novel Nucleus Detection on Pap Smear Image Using Mathematical Morphology Approach | |
WO2013150419A1 (en) | Quality-check during medical imaging procedure | |
Ashame et al. | Abnormality Detection in Eye Fundus Retina | |
Bernal et al. | Towards intelligent systems for colonoscopy | |
Ting et al. | Auto-probing breast cancer mass segmentation for early detection | |
Saranya et al. | Detecting Exudates in Color Fundus Images for Diabetic Retinopathy Detection Using Deep Learning | |
Andrade | A Portable System for Screening of Cervical Cancer | |
Nie et al. | Improved Cascade-RCNN for automatic detection of coronary artery plaque in multi-angle fusion CPR images | |
Mustafa et al. | Evaluating GrabCut Algorithm for Cervical Cancer Lesion Segmentation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130918 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150311 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160301 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160531 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161025 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170112 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170613 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170912 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170926 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171020 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6231885 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |