JP7142754B1 - 畳み込みニューラルネットワークを使用して食道癌の画像を検出する方法 - Google Patents
畳み込みニューラルネットワークを使用して食道癌の画像を検出する方法 Download PDFInfo
- Publication number
- JP7142754B1 JP7142754B1 JP2021135019A JP2021135019A JP7142754B1 JP 7142754 B1 JP7142754 B1 JP 7142754B1 JP 2021135019 A JP2021135019 A JP 2021135019A JP 2021135019 A JP2021135019 A JP 2021135019A JP 7142754 B1 JP7142754 B1 JP 7142754B1
- Authority
- JP
- Japan
- Prior art keywords
- image
- convolution
- computer body
- measurement object
- hyperspectral
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 24
- 208000000461 Esophageal Neoplasms Diseases 0.000 title claims abstract description 22
- 206010030155 Oesophageal carcinoma Diseases 0.000 title claims abstract description 21
- 201000004101 esophageal cancer Diseases 0.000 title claims abstract description 21
- 238000005259 measurement Methods 0.000 claims abstract description 54
- 238000000034 method Methods 0.000 claims abstract description 25
- 238000000513 principal component analysis Methods 0.000 claims abstract description 9
- 238000004364 calculation method Methods 0.000 claims description 18
- 238000012937 correction Methods 0.000 claims description 12
- 238000006073 displacement reaction Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 7
- 239000013598 vector Substances 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 5
- 230000002093 peripheral effect Effects 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims 1
- 238000001228 spectrum Methods 0.000 description 17
- 201000011510 cancer Diseases 0.000 description 13
- 238000012545 processing Methods 0.000 description 13
- 239000011159 matrix material Substances 0.000 description 11
- 238000001514 detection method Methods 0.000 description 9
- 238000001839 endoscopy Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000003902 lesion Effects 0.000 description 5
- 230000003595 spectral effect Effects 0.000 description 5
- 238000005481 NMR spectroscopy Methods 0.000 description 4
- 206010028980 Neoplasm Diseases 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 210000002808 connective tissue Anatomy 0.000 description 4
- 201000010099 disease Diseases 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 210000000981 epithelium Anatomy 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 201000000274 Carcinosarcoma Diseases 0.000 description 2
- 206010018338 Glioma Diseases 0.000 description 2
- 206010025323 Lymphomas Diseases 0.000 description 2
- 206010039491 Sarcoma Diseases 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000005081 epithelial layer Anatomy 0.000 description 2
- 210000003238 esophagus Anatomy 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 208000029824 high grade glioma Diseases 0.000 description 2
- 208000032839 leukemia Diseases 0.000 description 2
- 201000011614 malignant glioma Diseases 0.000 description 2
- 201000001441 melanoma Diseases 0.000 description 2
- 210000004400 mucous membrane Anatomy 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 210000004798 organs belonging to the digestive system Anatomy 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 210000002784 stomach Anatomy 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 210000004876 tela submucosa Anatomy 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- ZCYVEMRRCGMTRW-UHFFFAOYSA-N 7553-56-2 Chemical compound [I] ZCYVEMRRCGMTRW-UHFFFAOYSA-N 0.000 description 1
- 206010058314 Dysplasia Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 210000000577 adipose tissue Anatomy 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 210000000845 cartilage Anatomy 0.000 description 1
- 238000002046 chromoendoscopy Methods 0.000 description 1
- 210000000349 chromosome Anatomy 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 238000012631 diagnostic technique Methods 0.000 description 1
- 238000011846 endoscopic investigation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003394 haemopoietic effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 229910052740 iodine Inorganic materials 0.000 description 1
- 239000011630 iodine Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000004877 mucosa Anatomy 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 210000000944 nerve tissue Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000003800 pharynx Anatomy 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000036332 sexual response Effects 0.000 description 1
- 210000004927 skin cell Anatomy 0.000 description 1
- 235000015096 spirit Nutrition 0.000 description 1
- 210000004085 squamous epithelial cell Anatomy 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000032258 transport Effects 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/754—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries involving a deformation of the sample pattern or of the reference pattern; Elastic matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/76—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries based on eigen-space representations, e.g. from pose or different illumination conditions; Shape manifolds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/146—Aligning or centring of the image pick-up or image-field
- G06V30/147—Determination of region of interest
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10036—Multispectral image; Hyperspectral image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30092—Stomach; Gastric
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Endoscopes (AREA)
Abstract
【課題】本発明は、畳み込みニューラルネットワークを使用して食道癌の画像を検出する方法に関する。【解決手段】まず、参照画像に基づいてハイパースペクトル画像情報を取得し、入力画像を対応するハイパースペクトル画像に変換し、対応する特徴値を取得し、主成分分析を行い、特徴値を簡素化し、その後、畳み込みカーネルを通して特徴画像を取得し、さらに、特徴画像において、プリセットボックスと境界ボックスとを組み合わせて測定対象物画像の位置合わせをし、サンプル画像と比較して、前記測定対象物画像を目標物体画像または非目標物体画像に分類する。畳み込みニューラルネットワークを通して、画像取込装置から入力された入力画像が目標物体画像であるか否かを検出することにより、医師による食道画像の解析を補助する。【選択図】図１
Description
本発明は、画像処理の方法に関し、特に、畳み込みニューラルネットワークを使用して食道癌の画像を検出する方法に関する。
食道は咽頭と胃を接続する管状器官であり、主に口から飲み込んだ食物を胃に送るための器官である。正常な食道粘膜は、多層の扁平上皮細胞を有し、厚さは約２００～５００μｍであり、表面から下へは、粘膜上皮層(EP)、粘膜固有層(LPM)、粘膜筋板層(MM)、粘膜下層(SM)および固有筋層(MP)に分けることができる。上皮組織に発生する悪性腫瘍はがんと呼ばれ、世界では食道がんは８番目に多いがんである。また、通常、悪性腫瘍(CancerまたはMalignant tumorと呼ばれる)は、生理機能に影響を及ぼし、肉腫(Sarcoma)、リンパ腫(lymphoma)、白血病(leukemia)、メラノーマ(melanoma)、癌肉腫(carcinosarcoma)、悪性神経膠腫(Malignant glioma)などを含む。
結合組織に発生する悪性腫瘍は肉腫と呼ばれる。いわゆる結合組織は、繊維組織、脂肪組織、筋肉、血管、骨および軟骨を含む。また、リンパ腫や白血病は造血組織に発生する。メラノーマは皮膚細胞に発生する。上皮組織および結合組織に同時に発生する悪性腫瘍は癌肉腫と呼ばれる。また、悪性神経膠腫は神経組織に発生する悪性腫瘍である。食道がんの悪性腫瘍は食道の上皮組織に浸潤するだけでなく、後期には結合組織にも浸潤する。
現在の疾病診断技術は、通常、体温、血圧、身体スキャン画像などの単一のマクロ資料と情報に依存している。例えば、がんのような重大な疾患を検出するために、現在一般的に使用されている機器のほとんどは、Ｘ線、ＣＴスキャン、核磁気共鳴（NMR）画像化技術を含む画像技術に基づいた装置である。これらの診断装置を組み合わせて使用すると、程度の差があるが、疾患の診断に有用である。しかし、これらの装置を単独で使用する場合、重大な疾病が発病した早期段階では、正確的で、高精度で、効率的で、経済的な検出ができない。さらに、Ｘ線、ＣＴスキャン、核磁気共鳴（NMR）画像化などの上記従来の装置の多くは、大型であり侵襲性がある。そこで、消化器官の病巣を観察するために、内視鏡検査が開発され、消化器官に病巣が存在するかどうかを検査する。
また、早期の食道がんは診断が容易ではないが、早期にはほとんど症状がなかったたけでなく、食道内視鏡検査を受けても一部の早期食道がんは発見されにくい。これらの病巣の変化は非常に細かく、わずかな色の変化しかない場合が多いため、従来の内視鏡検査では多くの早期食道がん病変が見落とされ、治療が手遅れになる。そのため、発見されにくい病巣に対して、ヨウ素染色体内視鏡（Lugol chromoendoscopy）、狭帯域画像技術（Narrow Band Image、NBI）、拡大内視鏡（Magnifying Endoscopy）が開発された。
しかし、内視鏡の操作は非常に複雑で、資格のある医療スタッフのみが内視鏡検査を行うことができる。さらに医療スタッフは内視鏡を操作しながら、病巣を識別しなければならない。内視鏡検査の方法は様々な改良が行われてきたが、人為的な操作ミスや内視鏡画像の識別が困難などの課題は依然存在する。
上記の課題に基づいて、本発明は、畳み込みニューラルネットワークを使用して食道癌の画像を検出する方法を提供する。該方法は、コンピュータ本体が畳み込み演算を実行し、入力画像に畳み込みニューラルネットワークの演算を適用し、特徴画像を取得し、測定対象物画像を推定し、さらに、測定対象物画像とサンプル画像とを比較摺ることにより、測定対象物画像を目標物体画像または非目標物体画像に分類し、画像の人工的識別が困難という課題を解決する。
本発明の主な目的は、畳み込みニューラルネットワークの演算によって、特徴画像を取得し、測定対象物画像を推定し、さらに、測定対象物画像とサンプル画像とを比較することにより、測定対象物画像を目標物体画像または非目標物体画像に分類する、畳み込みニューラルネットワークを使用して食道癌の画像を検出する方法を提供する。
前記目的を達成するために、本発明は畳み込みニューラルネットワークを使用して食道癌の画像を検出する方法を提供する。まず、コンピュータ本体は参照映像に基づいてハイパースペクトル画像情報を取得し；画像取込ユニットは、少なくとも１つの測定対象物画像と背景画像とを含む入力画像をコンピュータ本体に提供し；その後、前記コンピュータ本体は前記ハイパースペクトル画像情報に基づいて前記入力画像を変換し、ハイパースペクトル画像を取得し、前記コンピュータ本体は前記ハイパースペクトル画像に基づいて分析し、複数の第１ハイパースペクトル特徴値を取得し；続いて前記コンピュータ本体は前記第１ハイパースペクトル特徴値に対して主成分分析の演算を行い、対応する複数の第２特徴値を生成し；その後、前記コンピュータ本体は、複数の畳み込みカーネルに基づいて、前記第２特徴値に対して少なくとも１層の畳み込み演算を行い、畳み込み結果を取得し、前記畳み込み結果と前記少なくとも１つの測定対象物画像に基づいて、少なくとも１つの選択画像を取得し、前記畳み込みカーネルは複数の選択特徴値と複数のエッジ特徴値とを含み、前記少なくとも１つの測定対象物画像は複数の周辺画像と前記少なくとも１つの選択画像を含み、前記周辺画像は前記少なくとも１つの選択画像を囲み、前記少なくとも１つの選択画像は前記選択特徴値に対応し、前記周辺画像は前記エッジ特徴値に対応し；続いて、前記コンピュータ本体は、前記少なくとも１つの選択画像のエッジに基づいて少なくとも１つのプリセットボックスを生成し、前記入力画像の境界ボックスを取得し、さらに、前記コンピュータ本体は、前記プリセットボックスの第１中心点を前記入力画像の境界ボックスの第２中心点と比較し、前記プリセットボックスと前記境界ボックスとの中心変位量を取得し、前記コンピュータ本体は前記中心変位量に基づいて回帰演算を行い、前記プリセットボックス内の前記測定対象物画像を位置合わせ、前記プリセットボックスと前記境界ボックスとの中心点を重ねあわせるとともに、選択画像を境界ボックスの中心点へ移動させ；最後に、前記コンピュータ本体は、前記測定対象物画像と少なくとも１つのサンプル画像とを比較し、比較結果を生成し、前記コンピュータ本体は前記比較結果に基づいて前記入力画像を目標物体画像または非目標物体画像に分類する。このように、本発明では、コンピュータ本体は、畳み込みにより、目標物体画像の特徴を検出し、さらに、サンプル画像と、プリセットボックスが選定した測定対象物画像とを比較し、入力画像を目標物体画像または非目標物体画像に分類する。これにより、自動的に識別することができ、識別が困難という課題を解決できる。
本発明の一実施例では、前記コンピュータ本体が複数の畳み込みカーネルと前記第２特徴値とを比較するステップにおいて、前記コンピュータ本体は、前記畳み込みカーネルをｍ×ｎ×ｐとして、且つ、前記入力画像の複数の画素値を複数の画素正規値に正規化し、前記畳み込みカーネルに前記画素正規値を乗算し、畳み込み層で前記第２特徴値を取込み、且つ、ｍ＝ｎであり、ｍは１、３、５、１０、１９または３８である。
本発明の一実施例では、前記畳み込み結果と前記少なくとも１つの測定対象物画像に基づいて少なくとも１つの選択画像を取得するステップにおいて、前記コンピュータ本体は、前記選択特徴値の存在領域を統合し、前記入力画像で前記少なくとも１つの選択画像を取得し、少なくとも１つの選択画像でプリセットボックスを設置する。
本発明の一実施例では、前記コンピュータ本体が前記入力画像を複数の特徴値に変換し、複数の畳み込みカーネルで前記特徴値を検出するステップにおいて、前記コンピュータ本体は、ＳＳＤモデルに基づいて、前記入力画像の各画素に対して畳み込みを行い、前記第２特徴値を検出する。
本発明の一実施例では、前記コンピュータ本体が前記中心変位量に基づいて回帰演算を行うステップにおいて、前記コンピュータ本体は、前記プリセットボックスの第１位置、前記境界ボックスの第２位置およびスケール因子で前記回帰演算を行い、前記測定対象物画像の位置合わせをする。
本発明の一実施例では、前記コンピュータ本体が前記測定対象物画像を少なくとも１つのサンプル画像と比較するステップにおいて、前記コンピュータ本体は、全結合層で前記測定対象物画像を少なくとも１つのサンプル画像と分類・比較をする。
本発明の一実施例では、比較結果に基づいて前記入力画像を目標物体画像または非目標物体画像に分類するステップにおいて、前記コンピュータ本体は、前記プリセットボックス中の前記測定対象物画像が前記少なくとも１つのサンプル画像と一致すると認識できない場合、前記コンピュータ本体は、前記入力画像を非目標物体画像に分類し、逆の場合、前記入力画像を目標物体画像に分類する。
本発明の一実施例では、前記比較結果に基づいて前記入力画像を目標物体画像または非目標物体画像に分類するステップにおいて、前記コンピュータ本体は前記入力画像を非目標物体画像に分類した時、前記コンピュータ本体は、前記少なくとも１つのサンプル画像と前記測定対象物画像とを改めて比較し、前記コンピュータ本体が前記測定対象物画像の近似度が近似閾値よりも大きいと判断した場合、前記コンピュータ本体は前記入力画像を前記目標物体画像に分類し、逆の場合、前記コンピュータ本体は前記入力画像を前記非目標物体画像に分類する。
本発明の一実施例では、前記ハイパースペクトル画像情報は、複数の白色光画像と複数の狭帯域画像に対応し、複数の等色関数、補正マトリクスと変換マトリクスを含む
貴審査委員に本発明の特徴および達成できる効果について更なる理解と認識をしていただくため、下記のように実施例を参照しながら説明する。
内視鏡の操作が複雑であるため人為的な操作ミスまたは画像の認識が困難になることが知られている。本発明は、内視鏡技術に起因する人為的な操作ミスまたは画像の認識の困難さという周知の課題を解決するために、ハイパースペクトルを用いて物体の画像を検出する方法を提案する。
以下では、畳み込みニューラルネットワークを使用して食道癌の画像を検出するための本発明の方法の特性、および対応するシステムをさらに説明する。
まず、本発明の一実施例のラウンドゲームのフローチャートである第１図を参照する。図のように、ハイパースペクトルを用いて物体画像を検出するための本発明の方法は次のステップを含む。
参照画像からハイパースペクトル画像情報を取得するステップＳ０５、
画像取込ユニットは、入力画像をコンピュータ本体に取り込むステップＳ１０、
ハイパースペクトル画像情報に基づいて入力画像を変換し、ハイパースペクトル画像を取得するステップＳ１２、
ハイパースペクトル画像に基づいて分析し、第１ハイパースペクトル画像ベクトルと第１ハイパースペクトル特徴値を取得するステップＳ１４、
第１ハイパースペクトル画像ベクトルと第１ハイパースペクトル特徴値に対して主成分分析の演算を行い、第２画像ベクトルと、対応する第２特徴値とを生成するステップＳ１６、
畳み込みカーネルに基づいて、第２画像ベクトルと第２特徴値に対して畳み込み演算を行い、畳み込み結果を取得し、畳み込み結果と測定対象物画像に基づいて選択画像を取得するステップＳ２０、
コンピュータ本体は、選択画像のエッジに基づいてプリセットボックスを生成するステップＳ３０、
コンピュータ本体は、入力画像の境界ボックスを取込み、プリセットボックスの第１中心点と境界ボックスの第２中心点とを比較し、プリセットボックスと境界ボックスとの中心変位量を取得するステップＳ４０、
コンピュータ本体は、中心変位量に基づいて回帰演算を行い、回帰演算結果を取得するステップＳ５０、
コンピュータ本体は、回帰演算結果とプリセットボックスに基づいて測定対象物画像を位置合わせし、第１中心点を第２中心点へ移動させるとともに、選択画像を第２中心点へ移動させるステップＳ５５、
コンピュータ本体は、測定対象物画像とサンプル画像とを比較し、比較結果を生成するステップＳ６０、および
コンピュータ本体は、比較結果に基づいて入力画像を目標物体画像または非目標物体画像に分類するステップＳ７０。
画像取込ユニットは、入力画像をコンピュータ本体に取り込むステップＳ１０、
ハイパースペクトル画像情報に基づいて入力画像を変換し、ハイパースペクトル画像を取得するステップＳ１２、
ハイパースペクトル画像に基づいて分析し、第１ハイパースペクトル画像ベクトルと第１ハイパースペクトル特徴値を取得するステップＳ１４、
第１ハイパースペクトル画像ベクトルと第１ハイパースペクトル特徴値に対して主成分分析の演算を行い、第２画像ベクトルと、対応する第２特徴値とを生成するステップＳ１６、
畳み込みカーネルに基づいて、第２画像ベクトルと第２特徴値に対して畳み込み演算を行い、畳み込み結果を取得し、畳み込み結果と測定対象物画像に基づいて選択画像を取得するステップＳ２０、
コンピュータ本体は、選択画像のエッジに基づいてプリセットボックスを生成するステップＳ３０、
コンピュータ本体は、入力画像の境界ボックスを取込み、プリセットボックスの第１中心点と境界ボックスの第２中心点とを比較し、プリセットボックスと境界ボックスとの中心変位量を取得するステップＳ４０、
コンピュータ本体は、中心変位量に基づいて回帰演算を行い、回帰演算結果を取得するステップＳ５０、
コンピュータ本体は、回帰演算結果とプリセットボックスに基づいて測定対象物画像を位置合わせし、第１中心点を第２中心点へ移動させるとともに、選択画像を第２中心点へ移動させるステップＳ５５、
コンピュータ本体は、測定対象物画像とサンプル画像とを比較し、比較結果を生成するステップＳ６０、および
コンピュータ本体は、比較結果に基づいて入力画像を目標物体画像または非目標物体画像に分類するステップＳ７０。
図２Ａ～図２Ｈを参照する。本発明の畳み込みニューラルネットワークを使用して食道癌の画像を検出する方法に関連する検出システム１は、コンピュータ本体１０と画像取込ユニット２０とを含み、本実施例は、コンピュータ本体１０として、処理ユニット１２、メモリ１４および格納ユニット１６を有するコンピュータ本体が挙げられるが、これに限定されない。サーバ、ノートパソコン、タブレットまたは基礎的な演算能力を有する電子装置は何れも本発明のコンピュータ本体１０である。リポジトリ３０は、格納ユニット１６に設けられるが、これに限定されず、コンピュータ本体１０の外部接続格納ユニットであってもよい。コンピュータ本体１０は、処理ユニット１２により畳み込みプログラムＰを実行し、対応する畳み込みニューラルネットワークＣＮＮを形成する。さらに、本実施例では、画像取込ユニット２０は、例えば、膀胱鏡、胃鏡、大腸鏡、気管支鏡、腹腔鏡など、体内の器官組織を検査するための内視鏡である。
ステップＳ０５で、図２Ａに示すように、前記コンピュータ本体１０は、画像取込ユニット２０に対応する参照画像ＲＥＦを読み取り、前記入力画像ＲＥＦは、少なくとも１つの測定対象物画像Ｏ１および背景画像ＢＧを含み、前記入力画像ＲＥＦはリポジトリ３０に格納されている白色光画像(White light image)と狭帯域画像(Narrow band image)であってもよく、または、画像取込ユニット２０により２４カラーチェッカーから取り込まれた参照色であってもよい。本実施例の画像取込ユニット２０は、白色光内視鏡OLYMPUS EVIS LUCERA CV-260 SLにより、対応する白色光参照画像を取得し、狭帯域内視鏡OLYMPUS EVIS LUCERA CLV-260により、対応する狭帯域参照画像を得る。つまり、少なくとも１つの物体参照画像Ｏ１Ｒおよび背景参照画像ＢＧＲは、それぞれ参照画像ＲＥＦの白色光参照画像と狭帯域参照画像の中に存在する。
図２Ａを参照すると、前記コンピュータ本体１０は前記参照画像ＲＥＦに基づいてハイパースペクトル画像情報ＨＳＡを取得し、即ち、可視光ハイパースペクトル技術(Visible Hyperspectral Algorithm, VIS-HSA)によって、画像取込ユニット２０から取り込まれた入力画像に対して演算を行い、一般画像色域空間(つまり取込画像の色域空間)をＸＹＺ色域空間(1931XYZ Color space)に変換する(例えば、ｓＲＧＢ色域空間からＸＹＺ色域空間へ変換する)ための変換方程式を得る。本発明のハイパースペクトル画像情報は、可視光ハイパースペクトル技術に対応する可視光帯域ハイパースペクトルであり、且つ、自然界でよく見られる主な色（赤、緑、青、グレー）を含む２４カラーチェッカー(X-Rite Classic, 24 Color Checkers)に対応する。ハイパースペクトル画像情報ＨＳＡは前記複数の白色光画像と複数の狭帯域画像に対応し、且つ、複数の等色関数(Color matching functions, CMF)、補正マトリクスＣおよび変換マトリクスＭを含む。
以上により、変換するための最初のステップは、参照画像ＲＥＦと分光器を同じＸＹＺ色域空間に変換する必要がある。以下は参照画像ＲＥＦの変換式。
f(n)はｇａｍｍａ関数であり、Ｔは変換マトリクスであり、[MA]は色順応変換マトリクスである。
以下は、分光器が取り込んだ反射スペクトルデータをＸＹＺ色域空間に変換するための式である。
ｋは下記式(八)のとおりである。
は等色関数であり、
は内視鏡で撮影した光源スペクトルである。ＸＹＺ色域空間のＹ値は輝度と正比例するため、式(九)により光源スペクトルＹ値の最大輝度が得られる。さらに、Ｙ値の上限を１００とすることにより、輝度の所期の比例ｋが得られ、式(五)～式(七)でＸＹＺ値[XYZspectrum]が得られる。
さらに、下記式(十)の補正マトリクスＣで内視鏡画像の補正を行う。
内視鏡の非線/性応答、内視鏡の暗電流、カラーフィルタの色分離の不正確さ、および、色ずれ（例えばホワイトバランス）などを含む内視鏡の誤差を引き起こす要因を分析することにより変数マトリクス[V]が得られ、ＸＹＺ値[XYZspectrum]を補正する。
狭帯域画像と白色光画像は３階演算の演算結果が近似するため、非線性応答の補正は３階方程式で行われ、内視鏡の非線性応答は下記式(十一)を用いた。
一般的に、内視鏡における暗電流は一定値であり、入光量の変化に伴う大幅な変化はないため、暗電流の影響を定数と見なし、暗電流の補正変数をＶＤａｒｋと定義し、以下記式（１２）で暗電流の影響を補正する。
カラーフィルタの色分離の不正確さ、および、色ずれの補正変数はVcolorと定義し、
はＲＧＢ色域空間からＸＹＺ色域空間へ変換するための等色関数であり、
の３者間の関連性によってＸ、Ｙ、Ｚの間の可能性を下記式(十三)のように順列・組み合わせる。これにより、内視鏡画像のカラーフィルタの色分離の不正確さ、および、色ずれを補正する。
上記式(十一)～式(十三)により，下記式(十四)の補正変数マトリクスＶが推定される。
上記変数マトリクスＶに補正マトリクスＣを組み合わせることにより，下記式(十五)のように、補正後のＸ、Ｙ、Ｚ値[XYZCorrect]を得る。
白色光画像は[XYZCorrect]と[XYZspectrum]では平均誤差値は１．４０であり、狭帯域画像は[XYZCorrect]と[XYZspectrum]では平均誤差値は２．３９である。
以上の計算は可視光帯域３８０ｎｍ～７８０ｎｍの光波長帯域を用いるため、内視鏡の補正結果は色収差で示され、[XYZCorrect]と[XYZspectrum]はCIE DE2000の対応するLab色域空間に変換され、色域空間変換関数式は下記式(十六)～式(十八)の通りである。
ｆ（ｎ）は下記式(十九)の通りである。
白色光画像は補正前の色差値が平均１１．４、補正後の色差値が平均２．８４であるが、狭帯域画像は補正前の色差値が平均２９．１４、補正後の色差値が平均２．５８である。
ステップＳ１０において、図２Ｂのように、コンピュータ本体１０は、画像取込ユニット２０から入力画像ＩＭＧを取得し、前記入力画像ＩＭＧは、参照画像ＲＥＦと同様に、白色光画像と狭帯域画像とを有してもよい。本実施例の画像取込ユニット２０は、白色光内視鏡OLYMPUS EVIS LUCERA CV-260 SLに対応する白色光画像、および、狭帯域内視鏡OLYMPUS EVIS LUCERA CLV-260に対応する狭帯域画像である。ステップＳ１２において、コンピュータ本体１０は、前記入力画像ＩＭＧの解像度が例えば１０ｎｍなどの解像度閾値を満たす場合、前記入力画像ＩＭＧがハイパースペクトル画像(hyperspectral image)の解像度閾値に合致すると判断する。ステップＳ０５で得られたハイパースペクトル画像情報ＨＳＡに基づいて、入力画像ＩＭＧをハイパースペクトル画像ＨＹＩに変換し、その後、ステップＳ１４を実行する。
引き続き、ステップＳ１４において、前記コンピュータ本体は前記ハイパースペクトル画像ＨＹＩに基づいて対応する複数の第１ハイパースペクトル特徴値Ｆ１を取得する。ステップＳ１６において、前記コンピュータ本体１０はステップＳ１４で前記第１ハイパースペクトル特徴値Ｆ１を取得し、主成分分析(Principal components analysis,PCA)の演算を行い、演算結果を簡素化するために、変化量の低い特徴値をフィルタリングし、ハイパースペクトル画像ＨＹＩを簡素化し、複数の第２特徴値Ｆ２を生成する。ＰＣＡの演算式は下記式(二十)の通りである。
また、
～
は１番目～ｎ番目の波長のスペクトル強度値を表し、
～
は１番目～ｎ番目の波長のスペクトル所期値(平均スペクトル強度値)を表し、aj1～ajnは、スペクトルにより共分散計算を行う際の共分散マトリクスの特徴ベクトル係数を表す。主成分分析により、４０１次元スペクトル情報の次元削減をし、最初の３次元のみを求め、演算の複雑さを低減させる。
さらに、まず、下記式(二十一)のように、上記得られた補正値[XYZCorrect]と、上記２４カラーチェッカーに対応する反射スペクトルデータ[Rspectrum]とを組み合わせ、演算により対応する変換マトリクスＭを求める。
[Score]は反射スペクトルデータ[Rspectrum]を主成分分析し、複数組の主成分(ＥＶ)を求める。本実施例は、解釈能力(重み百分比８８.０４１７％、８.２２１２％、２.６４２２％、０.６０９％、０.２２３８２％、０.１０４３２％、０.０５４６５８％、０.０４７２％、０.０２６３８％、０.０１２１８４％、０.０１０９５２％、０.００２８７１４％)が比較的に良い１２組の主成分を用いて次元削減演算を行う。アナログスペクトル[Sspectrum]380-780を取得し、アナログスペクトル[Sspectrum]380-780は、入力画像ＩＭＧに対応する[XYZspectrum]の誤差が、白色光画像では１１.６０から２.８５に補正され、狭帯域画像では２９.１４から２.６０補正される。肉眼では容易に認識できない色誤差が達成され、使用者が色再現を必要とする場合には、良好な色再現効果が得られ、可視光帯域内の良好なハイパースペクトル画像をシミュレートすることができる。
ステップＳ２０において、図２Ｃと図３のように、前記コンピュータ本体１０は、ステップＳ１４～ステップＳ１６で前記入力映像ＩＭＧから得られた第２特徴値Ｆ２について、特に０～１の間で、複数の畳み込みカーネルＣを用いて、前記入力映像ＩＭＧに対応する複数の第２特徴値Ｆ２を検出する。これらの畳み込みカーネルＣは、前記少なくとも１つの測定対象物画像Ｏ１の複数の選択画像Ｏ２に対応する選択特徴値Ｆ２２、および、少なくとも１つの測定対象物画像Ｏ１の隣接周辺画像ＢＧＩに対応するエッジ特徴値Ｆ２４を含み、これにより、測定対象物画像Ｏ１を含まない背景画像ＢＧをフィルタリングすることができる。前記コンピュータ本体は、ＳＳＤ(Single Shot Multibox Detector)モデルに基づいて、前記入力画像の各画素ユニットに対して畳み込みを行い、前記特徴値を検出する。前記畳み込みカーネルＣは、前記少なくとも１つの測定対象物画像Ｏ１の複数の選択画像Ｏ２に対応する選択特徴値Ｆ２２、および、隣接エッジの周辺画像ＢＧＩに対応するエッジ特徴値Ｆ２４に対応する。
図２Ｃと図３に示すように、前記入力画像ＩＭＧはｍ×ｎ画素ユニットであり、Ｐ個のチャネルにより特徴を抽出する。前記畳み込みカーネルＯ１はｍ×ｍ×ｐユニットであり、且つｍ＝ｎであり、例えば、１×１×ｐ、３×３×ｐ、５×５×ｐ、１０×１０×ｐ、１９×１９×ｐまたは３８×３８×ｐである。畳み込みカーネルＣにより前記入力画像ＩＭＧ上の測定対象物画像Ｏ１と前記背景画像ＢＧを検出し、前記背景画像ＢＧをフィルタリングし、後続スッテプで前記背景画像ＢＧの処理を省く。前記入力画像ＩＭＧに対応する第２特徴値Ｆ２は、処理ユニット１２により、対応する選択特徴値Ｆ２２とエッジ特徴値Ｆ２４に変換され、処理ユニット１２は畳み込みカーネルＣに、入力画像ＩＭＧに対応する第２特徴値Ｆ２を乗算し、異なる畳み込み結果Ｒを取得し、結果が同じな場合は１、相違な場合は－１の値を取得し、これにより、関連しない背景画像ＢＧをフィルタリングする。図４のように、入力画像ＩＭＧに対応する第２特徴値Ｆ２で、一部の前記選択特徴値Ｆ２２に対応する一部または全部前記少なくとも１つの測定対象物画像Ｏ１を取得し、これにより、一部または全部前記少なくとも１つの測定対象物画像Ｏ１の存在領域Ａを取得する。
ステップＳ３０において、図２Ｄと図５のように、コンピュータ本体１０は、前記少なくとも１つの測定対象物画像Ｏ１の存在領域Ａに基づいて少なくとも１つの選択画像Ｏ２を取得し、つまり畳み込みプログラムＰにより選択特徴値Ｆ２２とエッジ特徴値Ｆ２４を取得し、対応する少なくとも１つのプリセットボックスＤを形成し、図６のように、前記入力画像ＩＭＧのエッジは初期境界ボックスＢであり、プリセットボックスＤの辺長は
、最大辺長は
、下記式(一)で辺長skを求める。
同時に、下記式(二)、式(三)によって辺長skに基づいて高さと幅を計算する。
hkはｋ番目の特徴図の矩形の先験的ボックスの高さ、wkは矩形の先験的ボックスの幅、arはプリセットボックスＤの縦横比、arは０より大きい。
ステップＳ４０において、図２Ｆと図６に示すように、コンピュータ本体１０は、処理ユニット１２により、入力画像ＩＭＧに対応する境界ボックスＢを取込み、畳み込みプログラムＰを実行し、前記プリセットボックスＤの第１中心点Ｄｃと、前記入力画像ＩＭＧの境界ボックスＢの第２中心点Ｂｃとを取込み、第１中心点Ｄｃと第２中心点Ｂｃとの中心点変位量ＤＩＳを取得し、続いて、ステップＳ５０において、図２Ｅと図７のように、コンピュータ本体１０は、処理ユニット１２において、さらに、プリセットボックスＤと境界ボックスＢの中心点変位量ＤＩＳに基づいて回帰演算ＬＯＯＰを以下のように行う。
「まず、境界ボックスＢの中心座標を予測検出ボックスＤの中心座標に位置合わせする」とは、まず、境界ボックスＢの中心点を予測検出ボックスＤの中心点へ平行移動させ、つまり、図６の第１中心点Ｄｃと第２中心点Ｂｃとを重ねあわせ、次には、式(七)と式(八)のように、境界ボックスのサイズをプリセットボックスＤに近似する大きさにズームし、式(九)と式(十)のように、上記平行移動変換とサイズズームを経て、境界ボックスＢを予測検出ボックスＤの位置に無限に近づかせることができ、ステップＳ５５において、コンピュータ本体１０は、処理ユニット１２により実行された畳み込みプログラムＰにかかる畳み込みニューラルネットワークＣＮＮにより、境界ボックスＢのサイズを予測検出ボックスＤの位置に無限に近づかせるまで回帰演算を行いつつ、測定対象物画像Ｏ１について、プリセットボックスＤと境界ボックスＢとを重ねあわせ、測定対象物画像Ｏ１の位置を正確に定義し、つまり、第１中心点Ｄｃを第２中心点Ｂｃへ移動させるとともに、選択画像(つまり、プリセットボックスＤ内の画像)を第２中心点Ｂｃへ移動させる。
また、測定対象物画像Ｏ１の位置を比較的正確に定義するために、さらに、下記式(八)のような損失方程式を組み合わせることができる。
そこで、予測プリセットボックスＤの位置と測定対象物画像Ｏ１の位置との誤差を検証する。
ステップＳ６０において、図２Ｇのように、コンピュータ本体１０は、処理ユニット１２が測定対象物画像Ｏ１の位置合わせをした後、測定対象物画像Ｏ１とリポジトリ３０内のサンプル画像ＳＡとの１回目の比較を行い、比較結果Ｒを取得し、続いて、ステップＳ７０において、図２Ｈのように、コンピュータ本体１０は、処理ユニット１２により実行された畳み込みプログラムＰにより、比較結果Ｒに基づいて入力画像ＩＭＧを目標物体画像ＴＡまたは非目標物体画像ＮＴＡに分類する。例えば、悪性腫瘍の場合、コンピュータ本体１０の処理ユニット１２により実行された畳み込みプログラムＰは、プリセットボックスＤ中の測定対象物画像Ｏ１が少なくとも１つのサンプル画像ＳＡとマッチングすることを認識できない場合、コンピュータ本体１０は入力画像ＩＭＧを非目標物体画像ＮＴＡに分類し、逆の場合、コンピュータ本体１０の処理ユニット１２により実行された畳み込みプログラムＰは、入力画像分類を目標物体画像ＴＡに分類する。また、コンピュータ本体１０の処理ユニット１２により実行された畳み込みプログラムＰは、入力画像ＩＭＧを非目標物体画像ＮＴＡに分類した時、畳み込みプログラムＰは、少なくとも１つのサンプル画像ＳＡと測定対象物画像Ｏ１とを改めて比較し、畳み込みプログラムＰは、測定対象物画像Ｏ１の比較結果Ｒと目標物体画像ＴＡの近似度が近似閾値より大きいと判断した場合(例えば、近似度０～１の場合、０.５を閾値とする)、畳み込みプログラムＰは入力画像ＩＭＧを目標物体画像ＴＡに分類し、逆の場合、畳み込みプログラムＰは入力画像ＩＭＧを非目標物体画像ＮＴＡに分類する。
図８は本発明の実際の操作を示す図である。入力画像ＩＭＧは食道内視鏡画像であり、入力画像ＩＭＧに本発明のハイパースペクトルを用いて物体の画像を検出する方法を用いて、プリセットボックスＤと境界ボックスＢを重ねあわせ、サンプル画像と比較し、比較結果Ｒを取得する。サンプル画像は異形成(Dysplasia)領域の食道内視鏡画像であり、正確率は９３.０％に達し、画像損失も６.２０に低減した。詳細には、医師は対象者に対して他の医学的診断方法で確定診断する必要があるが、本発明は症状判断の補助証拠として医者に提供することができる。
以上をまとめると、本発明のハイパースペクトルを用いて物体の画像を検出する方法は、コンピュータ本体はハイパースペクトル画像情報を取得し、ハイパースペクトル画像情報に基づいて入力画像をハイパースペクトル画像に変換、引き続き畳み込みプログラムを実行し、コンピュータ本体に畳み込みニューラルネットワークを構築させ、画像取込ユニットの入力画像を畳み込み、検出したい選出領域を選出し、入力画像上に予測検出ボックスを形成し、回帰演算を行い、境界ボックスにより測定対象物画像の位置合わせをし、サンプル画像との比較を行い、比較結果を用いて目標物体画像と非目標物体画像に分類する。
したがって、本発明は実際に新規性、進歩性及び産業上の利用可能性を有するため、台湾特許法の特許出願要件に合致すべきであることは間違いなく、法により発明特許を出願し、貴庁が早期に特許を賜ることを祈念し、切に希望する。
ただし、上記のものは、本発明の優れた実施例にすぎず、本発明の実施範囲を限定するためのものではなく、本発明の特許出願の範囲に記載された形状、構造、特徴及び精神に基づいた均等な変化及び修飾は、すべて本発明の特許出願の範囲内に含まれる。
１ 検出システム
１０ コンピュータ本体
１２ 処理ユニット
１４ メモリ
１６ 格納ユニット
２０ 画像取込ユニット
３０ リポジトリ
Ｂ 境界ボックス
Ｂｃ 第２中心点
ＢＧ 背景画像
ＢＧＩ 周辺画像
Ｃ 畳み込みカーネル
ＣＮＮ 畳み込みニューラルネットワーク
Ｄ 予測検出ボックス
Ｄｃ 第１中心点
Ｆ１ 第１ハイパースペクトル特徴値
Ｆ２ 第２特徴値
ＨＳＡ ハイパースペクトル画像情報
ＨＹＩ ハイパースペクトル画像
ＩＭＧ 入力画像
Ｏ１ 測定対象物画像
Ｏ１Ｒ 物体参照画像
Ｏ２ 選択画像
Ｐ 畳み込みプログラム
Ｒ 比較結果
ＲＥＦ 参照画像
ＳＡ サンプル画像
ＴＡ 目標物体画像
ＮＴＡ 非目標物体画像
Ｓ０５～Ｓ７０ ステップ
１０ コンピュータ本体
１２ 処理ユニット
１４ メモリ
１６ 格納ユニット
２０ 画像取込ユニット
３０ リポジトリ
Ｂ 境界ボックス
Ｂｃ 第２中心点
ＢＧ 背景画像
ＢＧＩ 周辺画像
Ｃ 畳み込みカーネル
ＣＮＮ 畳み込みニューラルネットワーク
Ｄ 予測検出ボックス
Ｄｃ 第１中心点
Ｆ１ 第１ハイパースペクトル特徴値
Ｆ２ 第２特徴値
ＨＳＡ ハイパースペクトル画像情報
ＨＹＩ ハイパースペクトル画像
ＩＭＧ 入力画像
Ｏ１ 測定対象物画像
Ｏ１Ｒ 物体参照画像
Ｏ２ 選択画像
Ｐ 畳み込みプログラム
Ｒ 比較結果
ＲＥＦ 参照画像
ＳＡ サンプル画像
ＴＡ 目標物体画像
ＮＴＡ 非目標物体画像
Ｓ０５～Ｓ７０ ステップ
Claims (10)
- 畳み込みニューラルネットワークを使用して食道癌の画像を検出する方法であって、
コンピュータ本体は、少なくとも１つの物体参照画像と背景参照画像とを含む参照画像に基づいてハイパースペクトル画像情報を取得するステップ、
画像取込ユニットは、少なくとも１つの測定対象物画像と背景画像とを含む入力画像を前記コンピュータ本体に取り込むステップ、
前記コンピュータ本体は、前記ハイパースペクトル画像情報に基づいて前記入力画像を変換し、ハイパースペクトル画像を取得するステップ、
前記コンピュータ本体は、前記ハイパースペクトル画像に基づいて分析し、複数の第１ハイパースペクトル画像ベクトルと複数の第１ハイパースペクトル特徴値を取得するステップ、
前記コンピュータ本体は、前記第１ハイパースペクトル特徴値に対して主成分分析の演算を行い、前記ハイパースペクトル画像を簡素化し、対応する複数の第２特徴値を生成するステップ、
前記コンピュータ本体は、複数の畳み込みカーネルに基づいて、前記第２特徴値に対して少なくとも１層の畳み込み演算を行い、前記背景画像をフィルタリングし、畳み込み結果を取得し、前記畳み込み結果と前記少なくとも１つの測定対象物画像に基づいて少なくとも１つの選択画像を取得し、前記畳み込みカーネルは、複数の選択特徴値と複数のエッジ特徴値とを含み、前記少なくとも１つの測定対象物画像は、複数の周辺画像と少なくとも１つの選択画像とを含み、前記周辺画像は前記少なくとも１つの選択画像を囲み、前記少なくとも１つの選択画像は前記選択特徴値に対応し、前記周辺画像は前記エッジ特徴値に対応するステップ、
前記コンピュータ本体は、前記少なくとも１つの選択画像のエッジに基づいて少なくとも１つのプリセットボックスを生成するステップ、
前記コンピュータ本体は、前記入力画像のエッジに対応する前記入力画像の境界ボックスを取込み、前記プリセットボックスの第１中心点を前記境界ボックスの第２中心点と比較し、前記プリセットボックスと前記境界ボックスとの中心変位量を取得するステップ、
前記コンピュータ本体は前記中心変位量に基づいて回帰演算を行い、回帰演算結果を取得するステップ、
前記コンピュータ本体は、前記回帰演算結果と前記プリセットボックスに基づいて前記測定対象物画像の位置合わせをし、前記第１中心点を第２中心点へ移動させるとともに、前記選択画像を前記第２中心点へ移動させるステップ、
前記コンピュータ本体は、位置合わせした後の前記測定対象物画像を少なくとも１つのサンプル画像とマッチング・比較し、比較結果を生成するステップ、および
前記コンピュータ本体は、前記比較結果に基づいて前記入力画像が目標物体画像であると判断するステップを含む方法。 - 前記コンピュータ本体が複数の畳み込みカーネルに基づいて前記第２特徴値に対して少なくとも１層の畳み込み演算を行うステップにおいて、前記コンピュータ本体は、前記畳み込みカーネルをｍ×ｎ×ｐとして、且つ、前記入力画像の複数の画素値を複数の画素正規値に正規化し、前記畳み込みカーネルに前記画素正規値を乗算し、畳み込み層で前記第２特徴値を取込み、且つ、ｍ＝ｎであり、ｍは１、３、５、１０、１９または３８である、請求項１に記載の畳み込みニューラルネットワークを使用して食道癌の画像を検出する方法。
- 前記畳み込み結果と前記少なくとも１つの測定対象物画像に基づいて少なくとも１つの選択画像を取得するステップにおいて、前記コンピュータ本体は、前記選択特徴値の存在領域を統合し、前記入力画像で前記少なくとも１つの選択画像を取得する、請求項１に記載の畳み込みニューラルネットワークを使用して食道癌の画像を検出する方法。
- 前記コンピュータ本体が複数の畳み込みカーネルに基づいて前記第２特徴値に対して少なくとも１層の畳み込み演算を行うステップにおいて、前記コンピュータ本体は、ＳＳＤモデルに基づいて、前記入力画像の各画素に対して畳み込みを行い、前記第２特徴値を検出する、請求項１に記載の畳み込みニューラルネットワークを使用して食道癌の画像を検出する方法。
- 前記コンピュータ本体が前記中心変位量に基づいて回帰演算を行うステップにおいて、前記コンピュータ本体は、前記プリセットボックスの第１位置、前記境界ボックスの第２位置およびスケール因子で前記回帰演算を行い、前記測定対象物画像の位置合わせをする、請求項１に記載の畳み込みニューラルネットワークを使用して食道癌の画像を検出する方法。
- 前記コンピュータ本体が前記測定対象物画像を少なくとも１つのサンプル画像とマッチング・比較するステップにおいて、前記コンピュータ本体は、全結合層で前記測定対象物画像を前記少なくとも１つのサンプル画像とマッチング・比較をする、請求項１に記載の畳み込みニューラルネットワークを使用して食道癌の画像を検出する方法。
- 比較結果に基づいて前記入力画像が目標物体画像であると判断するステップにおいて、前記コンピュータ本体は前記少なくとも１つのサンプル画像に基づいて前記入力画像が目標物体画像であると判断できない場合、前記コンピュータ本体は前記少なくとも１つのサンプル画像に基づいて前記測定対象物画像を近似比較する、請求項１に記載の畳み込みニューラルネットワークを使用して食道癌の画像を検出する方法。
- 前記コンピュータ本体が前記少なくとも１つのサンプル画像に基づいて前記測定対象物画像を近似比較するステップにおいて、前記コンピュータ本体が前記測定対象物画像の近似度が近似閾値よりも大きいと判断した場合、前記コンピュータ本体は前記入力画像が前記目標物体画像であると判断する、請求項７に記載の畳み込みニューラルネットワークを使用して食道癌の画像を検出する方法。
- 前記ハイパースペクトル画像情報は、前記入力画像に対応する複数の白色光画像と複数の狭帯域画像であり、且つ、複数の等色関数、補正マトリクスと変換マトリクスを含む、請求項１に記載の畳み込みニューラルネットワークを使用して食道癌の画像を検出する方法。
- 前記コンピュータ本体は、位置合わせした後の前記測定対象物画像を少なくとも１つのサンプル画像とマッチング・比較するステップにおいて、前記コンピュータ本体はリポジトリから前記少なくとも１つのサンプル画像を読み取り、位置合わせした後の前記測定対象物画像に基づいて前記マッチング・比較をする、請求項１に記載の畳み込みニューラルネットワークを使用して食道癌の画像を検出する方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW110126333 | 2021-07-16 | ||
| TW110126333A TWI762388B (zh) | 2021-07-16 | 2021-07-16 | 以超頻譜檢測物件影像之方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP7142754B1 true JP7142754B1 (ja) | 2022-09-27 |
| JP2023013882A JP2023013882A (ja) | 2023-01-26 |
Family
ID=82199276
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021135019A Active JP7142754B1 (ja) | 2021-07-16 | 2021-08-20 | 畳み込みニューラルネットワークを使用して食道癌の画像を検出する方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11810300B2 (ja) |
| JP (1) | JP7142754B1 (ja) |
| TW (1) | TWI762388B (ja) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170319147A1 (en) * | 2016-05-04 | 2017-11-09 | National Chung Cheng University | Cancerous lesion identifying method via hyper-spectral imaging technique |
| WO2020079432A1 (en) * | 2018-10-19 | 2020-04-23 | Cancer Research Technology Limited | Apparatus and method for wide-field hyperspectral imaging |
| JP2020073081A (ja) * | 2017-10-30 | 2020-05-14 | 公益財団法人がん研究会 | 画像診断支援装置、学習済みモデル、画像診断支援方法および画像診断支援プログラム |
| EP3716136A1 (en) * | 2019-03-26 | 2020-09-30 | Koninklijke Philips N.V. | Tumor boundary reconstruction using hyperspectral imaging |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2631564A1 (en) * | 2004-11-29 | 2006-06-01 | Hypermed, Inc. | Medical hyperspectral imaging for evaluation of tissue and tumor |
| TWI470203B (zh) * | 2012-01-12 | 2015-01-21 | Nat Univ Chung Cheng | 應用於癌細胞檢測的影像分析系統及方法 |
| US10113910B2 (en) * | 2014-08-26 | 2018-10-30 | Digimarc Corporation | Sensor-synchronized spectrally-structured-light imaging |
| WO2016154724A1 (en) * | 2015-03-27 | 2016-10-06 | Synaptive Medical (Barbados) Inc. | Deformable and shape-able surgical lighting device and system |
| US9936151B2 (en) * | 2015-10-16 | 2018-04-03 | Capsovision Inc | Single image sensor for capturing mixed structured-light images and regular images |
| TWI537762B (zh) * | 2016-01-12 | 2016-06-11 | Application of hyperfamily imaging to identification of cancerous lesions | |
| CN109844092A (zh) * | 2017-03-10 | 2019-06-04 | 上海新申派科技有限公司 | 新型的疾病检测仪和方法 |
-
2021
- 2021-07-16 TW TW110126333A patent/TWI762388B/zh active
- 2021-08-05 US US17/394,724 patent/US11810300B2/en active Active
- 2021-08-20 JP JP2021135019A patent/JP7142754B1/ja active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170319147A1 (en) * | 2016-05-04 | 2017-11-09 | National Chung Cheng University | Cancerous lesion identifying method via hyper-spectral imaging technique |
| JP2020073081A (ja) * | 2017-10-30 | 2020-05-14 | 公益財団法人がん研究会 | 画像診断支援装置、学習済みモデル、画像診断支援方法および画像診断支援プログラム |
| WO2020079432A1 (en) * | 2018-10-19 | 2020-04-23 | Cancer Research Technology Limited | Apparatus and method for wide-field hyperspectral imaging |
| EP3716136A1 (en) * | 2019-03-26 | 2020-09-30 | Koninklijke Philips N.V. | Tumor boundary reconstruction using hyperspectral imaging |
Also Published As
| Publication number | Publication date |
|---|---|
| TWI762388B (zh) | 2022-04-21 |
| US11810300B2 (en) | 2023-11-07 |
| TW202305737A (zh) | 2023-02-01 |
| US20230015055A1 (en) | 2023-01-19 |
| JP2023013882A (ja) | 2023-01-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6890184B2 (ja) | 医療画像処理装置及び医療画像処理プログラム | |
| US8401258B2 (en) | Method to provide automated quality feedback to imaging devices to achieve standardized imaging data | |
| CN107788948B (zh) | 诊断支援装置、诊断支援装置的图像处理方法、以及存储程序的存储介质 | |
| US8027533B2 (en) | Method of automated image color calibration | |
| US20150379712A1 (en) | Medical image processing | |
| JP5165732B2 (ja) | マルチスペクトル画像処理方法、画像処理装置、及び画像処理システム | |
| JP5705124B2 (ja) | 診断補助装置及び診断補助方法 | |
| JP4599520B2 (ja) | マルチスペクトル画像処理方法 | |
| JP2011218090A (ja) | 画像処理装置、内視鏡システム及びプログラム | |
| CN106068092A (zh) | 图像处理装置 | |
| JP7308258B2 (ja) | 医療画像処理装置及び医療画像処理装置の作動方法 | |
| JP2012005512A (ja) | 画像処理装置、内視鏡装置、内視鏡システム、プログラム及び画像処理方法 | |
| TWI738367B (zh) | 以卷積神經網路檢測物件影像之方法 | |
| WO2020184257A1 (ja) | 医用画像処理装置及び方法 | |
| Leitner et al. | High-sensitivity hyperspectral imager for biomedical video diagnostic applications | |
| JP7142754B1 (ja) | 畳み込みニューラルネットワークを使用して食道癌の画像を検出する方法 | |
| Akbari et al. | Hyperspectral imaging: A new modality in surgery | |
| Ko et al. | Image quality analysis of various gastrointestinal endoscopes: why image quality is a prerequisite for proper diagnostic and therapeutic endoscopy | |
| Akbari et al. | Hyperspectral imaging and diagnosis of intestinal ischemia | |
| TWI820624B (zh) | 基於語義分割於影像辨識之方法 | |
| JP7449004B2 (ja) | 周波数帯域を用いたハイパースペクトルによる物体画像の検出方法 | |
| TWI803223B (zh) | 於超頻譜影像之物件偵測方法 | |
| CN116322465A (zh) | 图像处理装置、内窥镜系统、图像处理装置的工作方法及图像处理装置用程序 | |
| Akbari et al. | Hyperspectral image segmentation and its application in abdominal surgery | |
| Arnold et al. | Hyper-spectral video endoscopy system for intra-surgery tissue classification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210820 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220614 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220808 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220830 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220913 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7142754 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D02 |