JP6368870B2 - 画像解析装置、画像解析システム、及び画像解析装置の作動方法 - Google Patents
画像解析装置、画像解析システム、及び画像解析装置の作動方法 Download PDFInfo
- Publication number
- JP6368870B2 JP6368870B2 JP2017561981A JP2017561981A JP6368870B2 JP 6368870 B2 JP6368870 B2 JP 6368870B2 JP 2017561981 A JP2017561981 A JP 2017561981A JP 2017561981 A JP2017561981 A JP 2017561981A JP 6368870 B2 JP6368870 B2 JP 6368870B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- distribution characteristic
- information
- disease
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 72
- 238000010191 image analysis Methods 0.000 title claims description 59
- 238000009826 distribution Methods 0.000 claims description 273
- 201000010099 disease Diseases 0.000 claims description 215
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 215
- 238000012937 correction Methods 0.000 claims description 167
- 238000004364 calculation method Methods 0.000 claims description 71
- 238000012545 processing Methods 0.000 claims description 70
- 238000004458 analytical method Methods 0.000 claims description 66
- 230000008569 process Effects 0.000 claims description 59
- 238000005286 illumination Methods 0.000 claims description 25
- 238000000605 extraction Methods 0.000 claims description 23
- 230000008602 contraction Effects 0.000 claims description 17
- 239000000284 extract Substances 0.000 claims description 14
- 230000002093 peripheral effect Effects 0.000 claims description 7
- 235000019557 luminance Nutrition 0.000 claims 29
- 239000013256 coordination polymer Substances 0.000 description 41
- 230000004048 modification Effects 0.000 description 35
- 238000012986 modification Methods 0.000 description 35
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 30
- 238000010586 diagram Methods 0.000 description 29
- 210000004877 mucosa Anatomy 0.000 description 23
- 238000003708 edge detection Methods 0.000 description 22
- 238000003780 insertion Methods 0.000 description 17
- 230000037431 insertion Effects 0.000 description 17
- 238000003384 imaging method Methods 0.000 description 14
- 210000002784 stomach Anatomy 0.000 description 13
- 230000000968 intestinal effect Effects 0.000 description 12
- 230000003287 optical effect Effects 0.000 description 12
- 230000008859 change Effects 0.000 description 10
- 238000003745 diagnosis Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 210000000813 small intestine Anatomy 0.000 description 9
- 210000001156 gastric mucosa Anatomy 0.000 description 8
- 230000009471 action Effects 0.000 description 7
- 210000001035 gastrointestinal tract Anatomy 0.000 description 7
- 210000004400 mucous membrane Anatomy 0.000 description 6
- 238000004088 simulation Methods 0.000 description 6
- 208000018556 stomach disease Diseases 0.000 description 6
- 210000000981 epithelium Anatomy 0.000 description 5
- 210000002429 large intestine Anatomy 0.000 description 4
- 238000005452 bending Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000002591 computed tomography Methods 0.000 description 3
- 210000003238 esophagus Anatomy 0.000 description 3
- 238000002595 magnetic resonance imaging Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000003825 pressing Methods 0.000 description 3
- 239000000243 solution Substances 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 208000011231 Crohn disease Diseases 0.000 description 2
- 208000007882 Gastritis Diseases 0.000 description 2
- 208000037062 Polyps Diseases 0.000 description 2
- IRERQBUNZFJFGC-UHFFFAOYSA-L azure blue Chemical compound [Na+].[Na+].[Na+].[Na+].[Na+].[Na+].[Na+].[Na+].[Al+3].[Al+3].[Al+3].[Al+3].[Al+3].[Al+3].[S-]S[S-].[O-][Si]([O-])([O-])[O-].[O-][Si]([O-])([O-])[O-].[O-][Si]([O-])([O-])[O-].[O-][Si]([O-])([O-])[O-].[O-][Si]([O-])([O-])[O-].[O-][Si]([O-])([O-])[O-] IRERQBUNZFJFGC-UHFFFAOYSA-L 0.000 description 2
- 210000004081 cilia Anatomy 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000010339 dilation Effects 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 229940079593 drug Drugs 0.000 description 2
- 238000001839 endoscopy Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- RNAMYOYQYRYFQY-UHFFFAOYSA-N 2-(4,4-difluoropiperidin-1-yl)-6-methoxy-n-(1-propan-2-ylpiperidin-4-yl)-7-(3-pyrrolidin-1-ylpropoxy)quinazolin-4-amine Chemical compound N1=C(N2CCC(F)(F)CC2)N=C2C=C(OCCCN3CCCC3)C(OC)=CC2=C1NC1CCN(C(C)C)CC1 RNAMYOYQYRYFQY-UHFFFAOYSA-N 0.000 description 1
- 208000004300 Atrophic Gastritis Diseases 0.000 description 1
- 206010009900 Colitis ulcerative Diseases 0.000 description 1
- 206010009944 Colon cancer Diseases 0.000 description 1
- 208000012895 Gastric disease Diseases 0.000 description 1
- 208000036495 Gastritis atrophic Diseases 0.000 description 1
- WQZGKKKJIJFFOK-GASJEMHNSA-N Glucose Natural products OC[C@H]1OC(O)[C@H](O)[C@@H](O)[C@@H]1O WQZGKKKJIJFFOK-GASJEMHNSA-N 0.000 description 1
- 241000590002 Helicobacter pylori Species 0.000 description 1
- 102000001554 Hemoglobins Human genes 0.000 description 1
- 108010054147 Hemoglobins Proteins 0.000 description 1
- 206010063916 Metastatic gastric cancer Diseases 0.000 description 1
- 208000007107 Stomach Ulcer Diseases 0.000 description 1
- 201000006704 Ulcerative Colitis Diseases 0.000 description 1
- GZCGUPFRVQAUEE-SLPGGIOYSA-N aldehydo-D-glucose Chemical compound OC[C@@H](O)[C@@H](O)[C@H](O)[C@@H](O)C=O GZCGUPFRVQAUEE-SLPGGIOYSA-N 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 208000016644 chronic atrophic gastritis Diseases 0.000 description 1
- 208000023652 chronic gastritis Diseases 0.000 description 1
- 208000029742 colonic neoplasm Diseases 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 201000005917 gastric ulcer Diseases 0.000 description 1
- 239000008103 glucose Substances 0.000 description 1
- 229940037467 helicobacter pylori Drugs 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 210000004347 intestinal mucosa Anatomy 0.000 description 1
- 238000010253 intravenous injection Methods 0.000 description 1
- 239000002960 lipid emulsion Substances 0.000 description 1
- 210000001365 lymphatic vessel Anatomy 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 239000002504 physiological saline solution Substances 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 208000014680 small intestine neoplasm Diseases 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0655—Control therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Endoscopes (AREA)
- Image Analysis (AREA)
Description
なお、以下の説明において、同一要素には同一の符号を付している。さらに、図面は、模式的なものであり、各部の厚みと幅との関係、各部の比率等は、現実と異なることに留意する必要がある。また、図面の相互間においても、互いの寸法や比率が異なる部分が含まれている。
図1は、本発明の実施の形態に係る画像解析システムの概略構成を示すブロック図である。
図1に示すように、画像解析システムである内視鏡システム1は、内視鏡2と、画像解析装置であるビデオプロセッサ3と、光源装置4と、表示装置5を主に備えている。
また、当該内視鏡2は、ノイズ成分を少なくしてNBIによる拡大観察を行うために、その先端には、例えば先端フードまたは先端アタッチメント等が装着可能になっている。
内視鏡2及び光源装置4が接続されたビデオプロセッサ3は、内視鏡システム1全体を統括的に制御する制御部31と、制御部31により制御される画像入力部32と、信号生成部33と、画像処理部34と、分布特性値算出部35と、画像解析部を含む比較情報出力部36と、記録部37と、を含んでいる。
図2は、信号生成部33の構成を示すブロック図である。信号生成部33は、補正前画像取得部51と、構造化要素指定部52と、補正用画像作成部53とを含む。
補正前画像入力部61は、解析対象となる補正前画像BPを入力する処理部である。内視鏡画像IMGの補正前画像BPは、画像入力部32から出力される。
すなわち、画像処理部34は、被検体の内視鏡画像の明るさ分布が略均一になるように被検体の内視鏡画像を補正した明るさ補正画像を生成する画像生成部を構成する。
図1に戻り、分布特性値算出部35は、内視鏡画像IMGについて、補正後画像APを入力して、分布特性値の算出を行う処理部である。
合算輝度値算出部72は、色成分値抽出部71において抽出した内視鏡画像IMGの補正後画像APに係る各色成分値の合算値に係る輝度値(合算輝度値)を算出する。
図5は、比較情報出力部36の構成を示すブロック図である。比較情報出力部36は、分布特性値入力部74と、疾患情報照合部75と、疾患候補決定部76と、情報出力部77とを有する。
疾患情報照合部75は、分布特性値情報DCと、記録部37に記録された疾患情報DIに含まれる各疾患の分布特性値とを比較し、一致度を算出する処理部である。
情報出力部77は、疾患候補決定部76で特定された疾患候補情報CAを生成して、表示装置5へ出力する。
図1に戻り、記録部37は、テンプレート情報としての疾患情報DIが記録されたハードディスク装置などの大容量メモリである。
また、ここでは、記録部37は、ビデオプロセッサ3内に設けられたメモリであるが、図1において点線で示すように、外部のネットワーク37Xa、例えばインターネットに接続されたサーバ等の外部装置37Xでもよい。すなわち、ビデオプロセッサ3は、ネットワークを介して外部装置を通信するための通信部を有して、記録部である外部装置からテンプレート情報を取得するようにしてもよい。
さらに、各疾患画像の部分画像の分布特性値も、記録部37に登録するようにしてもよい。例えば、胃の粘膜画像中のポリープの部分の画像における分布特性値も、胃の症例についてのテンプレート情報として記録部37に登録しておくと、後述する再検索において変更する条件として、部分画像の分布特性値からの疾患判定が可能となる。
図6は、信号生成部33の構造化要素指定部52の構成を示すブロック図である。
信号生成部33の構造化要素指定部52は、図6に示すように、エッジ検出部81、閉曲線エッジ検出部82、大きさフィルタ処理部83、二重閉曲線エッジ検出部84、二重閉曲線エッジ特定部85、解析対象特定部86、内接円描画部87、内接円平均サイズ算出部88、及び構造化要素指定制御部89を含んで構成されている。
構造化要素指定部52は、内視鏡画像IMGについて、補正用画像作成部53において補正用画像CPを作成するときに用いられる構造化要素パラメータを指定する処理部である。
閉曲線エッジ検出部82は、エッジ検出部81により検出されたエッジの中から、閉曲線をなすエッジをさらに検出する。
内接円描画部87は、各解析対象に内接する円を描画する処理を行う。
構造化要素指定制御部89は、構造化要素指定部52内の各部、つまり、上述したエッジ検出部81、閉曲線エッジ検出部82、大きさフィルタ処理部83、二重閉曲線エッジ検出部84、二重閉曲線エッジ特定部85、解析対象特定部86、内接円描画部87、および内接円平均サイズ算出部88を制御して、後に詳述する図11及び図12を参照して説明するような動作を行わせる。
次に、内視鏡システム1の動作について説明する。
はじめに、被検体の内視鏡画像と類似する疾患情報DIを抽出して出力するまでの全体の流れを説明する。
図7は、撮像して得られた内視鏡画像から、その内視鏡画像と類似する疾患情報を検索して出力するまでの処理の全体の流れを説明するための図である。内視鏡システム1のユーザである医者は、ビデオプロセッサ3に検査する部位の情報を入力する。例えば、医者は、小腸絨毛の検査であれば、「小腸」を、胃粘膜の検査であれば、「胃」を、検査部位の情報として、ビデオプロセッサ3に入力する。
次に、ビデオプロセッサ3における内視鏡画像IMGの取得から疾患情報DIの提示までの処理について説明する。
図8及び図9は、内視鏡画像の取得から疾患情報の提示までの処理を示すフローチャートである。
ここでは、ユーザは、内視鏡システム1をNBIの拡大観察モードに設定して、NBIの内視鏡画像を表示装置5に表示させながら、被検体内を観察する。観察中に得られた内視鏡画像は、図示しないハードディスク装置などの大容量記憶装置に記憶される。
さらになお、ここでは、レリーズボタンの押下に応じて、複数のフレームFLsの画像を取得しているが、1枚の内視鏡画像のみが取得されるようにしてもよい。
解析対象領域AAは、色成分を正確に抽出する画素領域として、内視鏡画像IMG中に予め設定される。解析対象領域AAの設定は、ユーザによって設定されてもよいし、内視鏡システム1に予め設定されていてもよい。
信号生成部33は、補正前画像BPから補正用画像CPの作成を行う(ステップS16)。
まず、構造化要素指定部52における構造化要素の指定処理について説明する。
図11及び図12は、構造化要素の指定処理の流れの例を示すフローチャートである。
続いて、大きさフィルタ処理部83が、閉曲線エッジ検出部82により検出された閉曲線エッジの大きさ(例えば、閉曲線の最大径、平均径、あるいは閉曲線で囲まれる領域の面積など)を算出し、算出した大きさが、注目要素として取り得る範囲内(例えば、腸管の絨毛として取り得る大きさの範囲内)となる閉曲線エッジのみを選択する(ステップS33)。
なお、二重閉曲線エッジを構成する内側閉曲線エッジおよび外側閉曲線エッジは、何れも、ステップS33における大きさフィルタ処理部83の処理を通過しているために、注目要素として取り得る範囲内の大きさであると判定された閉曲線エッジである。
内接円描画部87は、各解析対象に内接する円を描画する(ステップS41)。
ステップS42で算出された平均サイズに相当する値を、構造化要素パラメータとして設定する(ステップS43)。
図13は、被検体の内視鏡画像および注目要素の1つを拡大して示す図である。図14は、注目要素である腸管の繊毛の構造を示す図である。
次に、補正用画像作成部53における補正用画像の作成処理について説明する。
補正用画像作成部53は、内視鏡画像IMGの補正前画像BPについて、以下に説明する画像処理を実行することによって補正用画像CPを作成する。
図17は、構造化要素を説明するための図である。図17は、構造化要素パラメータとしての、補正前画像BPに対して行う画像処理に用いられる輝度情報取得範囲を示す。
補正用画像作成部53は、補正前画像BPの解析対象領域AA内の左端の画素から右端に向かってかつ最上辺のラインから最下辺のラインに向かって、左上の画素から右下について所定の演算処理を実行する。ここでは、所定の演算処理は、オープニング処理である。オープニング処理は、ある回数例えば3回の収縮処理を実行後、収縮処理と同じ回数の膨張演算を実行する処理を含む。
なお、ここでは、補正用画像作成部53は、所定の演算処理として、オープニング処理を用いて、補正用画像CPを作成しているが、クロージング処理を用いて、補正用画像CPを作成してもよい。
なお、上述したオープニング処理などにおいては、注目画素を含む構造化要素内の複数の画素内におけるハレーション要素である画素を除いて、膨張演算及び収縮演算を行うようにしてもよい。
この後、分布特性値算出部35の合算輝度値算出部72において、色成分値抽出部71において抽出した補正後画像APに係る各色成分値の合算輝度値が算出される。
図21は、横軸に、補正後画像APの対象領域における輝度値を、縦軸に、当該輝度値に対応する画素数を示したヒストグラムである。図21の示す輝度値分布は、輝度ムラの影響を除去した、3つの色成分のうちの1つの色成分の輝度値分布である。
入力処理は、例えば、不十分な情報、あるいは不足している情報の入力をユーザに促すためのメッセージと、情報を入力するための入力フィールドを、表示装置5の画面上に表示して、ユーザに情報の入力をさせることによって行われる。
例えば、一致度が高い疾患候補が1つあるいは複数選択されて、出力する疾患候補が決定される。
図22は、表示装置5に表示される疾患候補情報の表示例を示す図である。
なお、S11〜S19の処理は、バックグラウンドで、リアルタイムで入力される内視鏡画像に対しても行われている。
グラフ表示部g3には、テンプレート情報に含まれる疾患画像の輝度値分布が表示される。ここでは、第1候補の疾患画像の輝度値分布と第2候補の疾患画像の輝度値分布が表示されている。
ユーザは、そのような条件の変更をして再検索する場合は、処理は、ステップS25へ移行する。
再検索ボタンG5は、検索条件を変更して再度検索する場合に使用されるボタンである。
条件変更処理後は、ステップS25の処理が実行されて、変更された条件の下で、疾患候補の抽出が行われる。
ここで、疾患間における輝度値分布の違いと、疾患間における輝度値分布の標準偏差の違いについて説明する。
図23は、胃の正常粘膜の内視鏡画像のRGBの3つの色成分の輝度値の合算値を基準化した輝度値と、各輝度値に対応する画素数を示したヒストグラムである。
図26は、胃の疾患Aの粘膜の内視鏡画像のRGBの3つの色成分の輝度値の合算値を基準化した輝度値と、各輝度値に対応する画素数を示したヒストグラムである。
図28は、胃の疾患Aの粘膜の内視鏡画像のGの色成分の輝度値と、各輝度値に対応する画素数を示したヒストグラムである。
同様に、疾患に応じてこの標準偏差は、合算値よりも、色成分毎に、異なっていることが判明した。
輝度値分布の標準偏差の小さい内視鏡画像は、図29に示すように、全体に明暗の差が小さい画像である。
図31は、疾患毎の標準偏差の違いを示すグラフである。図31は、RGBの3つの輝度値の合算値の標準偏差を示している。
さらに、RGBの輝度値分布の標準偏差も、正常粘膜と各疾患間において、かつ、複数の疾患間においても異なっている。
さらになお、上述した実施の形態では、本実施の形態の画像解析装置の適用対象として、小腸絨毛あるいは胃粘膜が例として説明されているが、本実施の形態の画像解析装置は、小腸絨毛及び胃粘膜以外にも、食道、大腸などの他の臓器の疾患候補の抽出にも適用可能である。
例えば、小腸であれば、バイエル板の変化、大腸であれば、ピットパターンの診断、胃であれば、ヘリコバクターピロリ菌の有無、食道であれば、バレット食道の状態、等の診断にも利用することができる。
また、前記“所定の作用”とは、上述した薬液の投与に限らず、静脈注射、体腔内への送気、または、物理的に処置具もしくは内視鏡自体を体内に接触させる等の作用であってもよい。
上述した実施の形態では、テンプレート情報である疾患情報は、記録部37に予め記録されているが、記録部37に疾患情報を追加できるようにしてもよい。
変形例1に係わる記録部37Aは、記録部37に加えて、疾患情報入力部91と選別部92を含む。
テンプレート情報として記録部37に登録する疾患情報DIを選別は、ユーザの指示ISにより行われ、テンプレート情報が記録部37に追加登録される。登録対象として選別された疾患情報は、小腸、胃、大腸などの部位を特定する部位情報及び内視鏡画像を含み、内視鏡画像の各色成分の輝度値から算出された輝度値分布の分布特性値も併せて登録される。
上述した実施の形態では、記録部37には、疾患毎に、分布特性値として、標準偏差あるいは分散のデータが記録され、その記録された分布特性値に基づいて、疾患候補が抽出されているが、分布特性値に加えて、疾患毎の輝度値分布の波形データも記録し、波形の一致度あるいは類似度の情報も考慮して、疾患候補を抽出するようにしてもよい。すなわち、輝度値分布の波形データに基づいて、波形の形状から疾患推定を行うようにしてもよい。
例えば、図34の場合、ユーザは、波形の形状の一致度を判定する範囲として、所定の間隔DRを有する曲線DC1とDC2を指定する。
ユーザが疾患を予め想定できるとき、画像解析装置は、その想定した疾患に応じた観察モードを自動的に選択して内視鏡画像を取得し、その取得した内視鏡画像から上述した分布特性値を算出し、想定した疾患の画像における分布特性値との一致度を算出するようにしてもよい。
ユーザが、操作パネル等の入力装置(図示せず)を用いて、想定した疾患名をビデオプロセッサ3に入力すると、情報制御部38は、ユーザにより想定された疾患名の情報を取得する(ステップS61)。
制御部31は、入力された想定される疾患名に基づいて、その疾患の観察に適した観察モードを選択し(ステップS62)、内視鏡システム1を選択された観察モードで動作させる(ステップS63)。その結果、内視鏡システムは、選択された観察モードで動作する。
上述した実施の形態では、設定された観察モード、上記の例ではNBIのときの内視鏡画像を用いて、疾患候補が抽出されているが、複数の観察モードで得られた複数の疾患候補から、疾患候補を出力するようにしてもよい。
上述した実施の形態では、補正前画像取得部51は、内視鏡2で得られた画像を補正前画像BPとして取得し、補正前画像BPは、構造化要素指定部52と補正用画像作成部53へそのまま供給されている。これに対して、本変形例5の信号生成部33は、内視鏡2で得られた画像を補正前画像BPに対して、シミュレーションにより得られたあるいは実機で得られた配光特性による輝度ムラを補正し、補正された補正前画像BPPを、構造化要素指定部52と補正用画像作成部53へ供給するように構成されている。
図36は、本変形例5に係わる信号生成部33Aのブロック図である。補正前画像取得部51において取得された補正前画像BPは、配光特性による輝度ムラを補正する輝度ムラ補正部51Aに入力される。輝度ムラ補正部51Aには、輝度ムラデータBUと、補正前画像取得部51からの補正前画像BPが入力され、補正前画像BPは、輝度ムラデータBUに基づいて、照明光の配光特性による輝度ムラを抑制するように補正され、輝度ムラのない補正前画像BPPが生成される。
輝度ムラデータBUは、シミュレーション演算においては、距離毎のシミュレーションにより生成することができる。
その結果、輝度ムラ補正部51Aは、選択された輝度ムラデータBUにより、補正前画像BPが元々有する明るさ分布を除去して、輝度ムラのない補正前画像BPPを出力する。
上述した実施の形態は、補正前画像BPから構造化要素を用いたオープニング処理などの画像処理を行うことによって、補正用画像CPを作成しているが、本実施の形態は、補正前画像BP上のサンプリング点における複数の画素値に基づいて、補正用画像CPを作成している。
本変形例6の内視鏡システムは、実施の形態の内視鏡システムと略同じ構成を有しているので、同じ構成要素については、同じ符号を用いて、異なる構成要素のみを説明する。
図38は、変形例6の信号生成部33Bのブロック図である。信号生成部33Bは、補正前画像取得部51と、輝度情報取得部52Aと、補正用画像作成部53Aを含んでいる。補正前画像取得部51において取得された補正前画像BPは、輝度情報取得部52Aに入力され、輝度情報取得部52Aは、指定された複数の点SPの輝度情報を取得する。
補正用画像作成部53Aは、内視鏡画像IMGの明るさに全体的な傾きがある明るさ分布を補正して内視鏡画像IMGを構成する色成分への光学的な影響を抑制するための補正用画像CPを、内視鏡画像IMGの3点SP1,SP2,SP3の輝度値を用いて作成する。
よって、本変形例6によっても、照明の配光特性等による画像の明るさ分布の影響を有しない補正後画像APを作成することできる。
(変形例7)
上述した実施の形態及び各変形例において、撮像して得られた内視鏡画像は、図22のライブ画像表示部G1に表示され、解析対象領域AAも併せて表示されるが、ユーザの指示に応じて、解析対象領域AA内の画像をカラーマップ表示に変更できるようにしてもよい。
解析対象領域AAの複数の画素は、各画素の輝度値に応じた色で表示されている。図40では、各画素は、輝度値に応じて指定された色で表示されている。例えば、輝度値が0〜100の範囲で、その範囲を6つの範囲に分け、6つの色を、赤、橙、黄、緑、青、群青としたとき、輝度値の最も高い範囲L6の画素は、赤(図40では黒で示している)で表示し、次に輝度値が高い範囲L5の画素は、橙(図40では濃いグレーで示している)で表示される。同様にして、輝度値がL4,L3,L2,L1の画素は、それぞれ、黄、緑、青、群青で表示される。
上述した実施の形態及び各変形例では、内視鏡観察を行っているときに得られた内視鏡画像についての疾患候補が表示されているが、内視鏡観察を行ったときの画像を記憶装置に記録しておき、検査後に、その記録された画像から選択された内視鏡画像IMGに対して、疾患候補が表示されるようにしてもよい。言い換えれば、被検体の画像の色成分の検出を、いわゆるオンラインで被検体の検査中にリアルタイムで行ってもよいし、検査後にオフラインで行ってもよい。
Claims (17)
- 被検体内に挿入した内視鏡により取得された前記被検体の内視鏡画像が入力される画像入力部と、
前記被検体の前記内視鏡画像の明るさ分布が略均一になるように前記内視鏡画像を補正した明るさ補正画像を生成する画像処理部と、
前記明るさ補正画像における赤色成分、緑色成分、及び青色成分の少なくとも1つを抽出して、前記明るさ補正画像から抽出した色成分に係る各輝度値と前記各輝度値に対応する画素数の分布特性値を求める分布特性値算出部と、
複数の内視鏡画像の各色成分に係る各輝度値と前記各輝度値に対応する画素数に関する複数の分布特性値を含む情報を記録する記録部と、
前記記録部に記録された前記輝度値に関する複数の分布特性値と前記分布特性値算出部により求めた前記輝度値の分布特性値との比較を行い、前記比較の結果から前記被検体の状態に関する情報を出力する比較情報出力部と、
を具備したことを特徴とする画像解析装置。 - 前記画像入力部から入力された前記内視鏡画像を用いて、前記内視鏡画像の明るさを補正するための補正用画像を生成する画像生成部をさらに有し、
前記画像処理部は、前記補正用画像を前記内視鏡画像に作用させて前記明るさ補正画像を生成することを特徴とする、請求項1に記載の画像解析装置。 - 前記画像生成部は、
前記内視鏡画像内において閉曲線をなすエッジを複数検出し、
前記内視鏡画像内において前記エッジに囲まれた複数の部分における各内側閉曲線への内接円の大きさの平均値を越えない大きさの範囲を構造化要素として設定し、
取得した前記内視鏡画像に対して、前記内視鏡画像全体を構成するうちの複数の画素を複数の注目画素としてそれぞれ設定し、
複数の前記注目画素をそれぞれ中心にして、前記構造化要素の範囲内で複数の画素の輝度に関する情報をそれぞれ取得し、取得した複数の前記輝度に収縮演算及び膨張演算を行うことにより、前記注目画素の輝度値を前記収縮演算及び前記膨張演算を行った結果の輝度値に置き換え、
前記置き換える処理を前記内視鏡画像全体を構成する複数の画素それぞれに対して行うことにより、前記補正用画像を生成することを特徴とする請求項2に記載の画像解析装置。 - 前記画像生成部は、前記内視鏡画像を構成する各画素を前記注目画素としてそれぞれ設定し、前記内視鏡画像を構成する前記各画素をそれぞれ中心にして、前記構造化要素の範囲内で前記各画素の輝度に関する情報をそれぞれ取得することを特徴とする請求項3に記載の画像解析装置。
- 前記画像生成部は、前記注目画素が前記内視鏡画像における周辺領域にあるとき、前記構造化要素の範囲内に存在する複数の前記画素のみに前記収縮演算及び前記膨張演算を行うか、存在しない画素を前記構造化要素の範囲内の平均輝度値に前記置き換える処理を行うことによって前記収縮演算及び前記膨張演算を行うことを特徴とする請求項4に記載の画像解析装置。
- 前記画像生成部は、構造化要素として、画像内において閉曲線をなすエッジに囲まれた複数の部分における各内側閉曲線への内接円の直径の平均値を越えない大きさの直径を有する第1の円を設定し、複数の前記注目画素をそれぞれ中心にして、前記第1の円の範囲内で複数の画素の輝度に関する情報をそれぞれ取得し、取得した複数の前記輝度に前記収縮演算及び前記膨張演算を行うことを特徴とする請求項3に記載の画像解析装置。
- 前記記録部に記録された前記複数の分布特性値の各々は、疾患画像の明るさ分布が略均一になるように前記疾患画像を補正した前記明るさ補正画像における赤色成分、緑色成分、及び青色成分の少なくとも1つを抽出して、抽出した色成分に係る前記輝度に関する分布特性値であることを特徴とする請求項1に記載の画像解析装置。
- 前記比較情報出力部は、前記記録部に記録された前記複数の分布特性値の情報における赤色成分、緑色成分、及び青色成分にそれぞれ係る輝度値の分布特性値と、前記明るさ補正画像における赤色成分、緑色成分、及び青色成分にそれぞれ係る輝度値の分布特性値とをそれぞれ比較することを特徴とする請求項1に記載の画像解析装置。
- 前記記録部は、疾患画像における赤色成分、緑色成分、及び青色成分にそれぞれ係る輝度値分布の情報を、テンプレート情報として含むことを特徴とする請求項1に記載の画像解析装置。
- 前記記録部は、複数の疾患の情報を含み、
前記テンプレート情報は、前記疾患画像の情報もさらに含むことを特徴とする請求項9に記載の画像解析装置。 - 前記画像入力部から入力された前記内視鏡画像中の所定の領域を解析対象領域として定める領域抽出部を有し、
前記明るさ補正画像は、前記領域抽出部により定められた前記所定の領域の補正画像であることを特徴とする請求項2に記載の画像解析装置。 - 前記内視鏡は、前記被検体を白色光または白色光より狭い帯域の狭帯域光で照明する照明部を有し、
前記被検体を前記狭帯域光で照明したとき、前記分布特性値算出部は、前記明るさ補正画像における少なくとも緑色成分及び青色成分をそれぞれ抽出して、色成分毎の前記輝度値の分布特性値を求めることを特徴とする請求項1に記載の画像解析装置。 - 前記比較情報出力部は、前記記録部の前記複数の分布特性値と前記分布特性値算出部により求めた前記輝度値の分布特性値との一致度の情報を出力することを特徴とする請求項1に記載の画像解析装置。
- 前記比較情報出力部は、前記分布特性値算出部により求めた前記各色成分に係る前記輝度に関する分布を示すグラフと共に、前記一致度の情報を表示装置に表示するように出力し、
前記比較情報出力部は、前記表示装置に、前記一致度の情報に係わる疾患画像を前記表示装置に表示するように出力することを特徴とする請求項13に記載の画像解析装置。 - 前記分布特性値算出部により求めた分布特性値及び前記記録部に記録された分布特性値は、前記明るさ補正画像の対象領域における輝度値を表す軸と、前記対象領域における輝度値に対応する画素数を表す軸とを有するヒストグラムによって、それぞれ表されることを特徴とする、請求項1に記載の画像解析装置。
- 請求項1に記載の内視鏡と、
請求項1に記載の画像解析装置と、
を備えたことを特徴とする画像解析システム。 - 画像入力部と、画像処理部と、分布特性値算出部と、比較情報出力部とを具備する画像解析装置の作動方法であって、
前記画像入力部において、被検体内に挿入した内視鏡により取得された前記被検体の内視鏡画像を入力し、
前記被検体の前記内視鏡画像の明るさ分布が略均一になるように前記内視鏡画像を補正した明るさ補正画像を生成し、
前記分布特性値算出部により、前記明るさ補正画像における赤色成分、緑色成分、及び青色成分の少なくとも1つを抽出して、前記明るさ補正画像から抽出した色成分に係る各輝度値と前記各輝度値に対応する画素数の分布特性値を求め、
前記比較情報出力部において、複数の分布特性値を記録する記録部に記録された前記内視鏡画像の各色成分に係る各輝度値と前記各輝度値に対応する画素数に関する複数の分布特性値と前記分布特性値算出部により求めた前記各輝度値と前記輝度値に対応する画素数の分布特性値との比較を行い、前記比較の結果から前記被検体の状態に関する情報を出力することを特徴とする画像解析装置の作動方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016099750 | 2016-05-18 | ||
JP2016099750 | 2016-05-18 | ||
PCT/JP2017/014572 WO2017199635A1 (ja) | 2016-05-18 | 2017-04-07 | 画像解析装置、画像解析システム、及び画像解析装置の作動方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2017199635A1 JPWO2017199635A1 (ja) | 2018-05-31 |
JP6368870B2 true JP6368870B2 (ja) | 2018-08-01 |
Family
ID=60325217
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017561981A Active JP6368870B2 (ja) | 2016-05-18 | 2017-04-07 | 画像解析装置、画像解析システム、及び画像解析装置の作動方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20190122392A1 (ja) |
JP (1) | JP6368870B2 (ja) |
WO (1) | WO2017199635A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019142243A1 (ja) * | 2018-01-16 | 2019-07-25 | オリンパス株式会社 | 画像診断支援システムおよび画像診断支援方法 |
JP7067743B2 (ja) * | 2018-09-28 | 2022-05-16 | 株式会社Nttドコモ | 口腔癌診断システム及び口腔癌診断プログラム |
JP6935790B2 (ja) * | 2018-10-15 | 2021-09-15 | 株式会社Sumco | 石英るつぼ内周面の評価方法及び石英るつぼ内周面の評価装置 |
JP7138719B2 (ja) * | 2018-10-30 | 2022-09-16 | オリンパス株式会社 | 内視鏡システムに用いる画像処理装置、内視鏡システム及び内視鏡システムの作動方法 |
EP3998015A4 (en) * | 2019-07-10 | 2023-01-11 | Cybernet Systems Co., Ltd. | IMAGE ANALYSIS DEVICE AND IMAGE ANALYSIS METHOD |
CN111598908A (zh) * | 2020-04-24 | 2020-08-28 | 山东易华录信息技术有限公司 | 一种图像分析筛选系统及装置 |
CN113129392B (zh) * | 2021-05-17 | 2022-07-26 | 杭州万事利丝绸文化股份有限公司 | 一种颜色搭配方法及系统 |
WO2023026538A1 (ja) * | 2021-08-27 | 2023-03-02 | ソニーグループ株式会社 | 医療支援システム、医療支援方法及び評価支援装置 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7761240B2 (en) * | 2004-08-11 | 2010-07-20 | Aureon Laboratories, Inc. | Systems and methods for automated diagnosis and grading of tissue images |
JP4493637B2 (ja) * | 2006-09-29 | 2010-06-30 | オリンパス株式会社 | 診断支援装置及び診断支援方法 |
JP5396121B2 (ja) * | 2009-03-26 | 2014-01-22 | オリンパス株式会社 | 画像処理装置、撮像装置、画像処理プログラムおよび画像処理装置の作動方法 |
JP5593009B1 (ja) * | 2012-11-07 | 2014-09-17 | オリンパスメディカルシステムズ株式会社 | 医療用画像処理装置 |
JP2014161355A (ja) * | 2013-02-21 | 2014-09-08 | Olympus Corp | 画像処理装置、内視鏡装置、画像処理方法及びプログラム |
GB2525588A (en) * | 2014-04-22 | 2015-11-04 | Biosignatures Ltd | Real-time endoscopic image enhancement |
WO2016175098A1 (ja) * | 2015-04-27 | 2016-11-03 | オリンパス株式会社 | 画像解析装置、画像解析システム、画像解析装置の作動方法 |
US10839510B2 (en) * | 2015-08-19 | 2020-11-17 | Colorado Seminary, Which Owns And Operates The University Of Denver | Methods and systems for human tissue analysis using shearlet transforms |
-
2017
- 2017-04-07 WO PCT/JP2017/014572 patent/WO2017199635A1/ja active Application Filing
- 2017-04-07 JP JP2017561981A patent/JP6368870B2/ja active Active
-
2018
- 2018-11-15 US US16/191,707 patent/US20190122392A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
US20190122392A1 (en) | 2019-04-25 |
JPWO2017199635A1 (ja) | 2018-05-31 |
WO2017199635A1 (ja) | 2017-11-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6368870B2 (ja) | 画像解析装置、画像解析システム、及び画像解析装置の作動方法 | |
US11734820B2 (en) | Medical image processing device, medical image processing method, and medical image processing program | |
JP6234648B1 (ja) | 画像解析装置、画像解析システム、及び画像解析装置の作動方法 | |
US20210153730A1 (en) | Endoscope system | |
US11910994B2 (en) | Medical image processing apparatus, medical image processing method, program, diagnosis supporting apparatus, and endoscope system | |
JP6920931B2 (ja) | 医療画像処理装置、内視鏡装置、診断支援装置、及び、医療業務支援装置 | |
WO2012114600A1 (ja) | 医用画像処理装置及び医用画像処理方法 | |
EP4091532A1 (en) | Medical image processing device, endoscope system, diagnosis assistance method, and program | |
JP6188992B1 (ja) | 画像解析装置、画像解析システム、画像解析装置の作動方法 | |
CN112770660B (zh) | 增强彩色图像中的血管可见性 | |
US11449988B2 (en) | Medical image processing apparatus | |
JP7050817B2 (ja) | 画像処理装置、プロセッサ装置、内視鏡システム、画像処理装置の動作方法及びプログラム | |
US20210406737A1 (en) | System and methods for aggregating features in video frames to improve accuracy of ai detection algorithms | |
US20210145248A1 (en) | Endoscope apparatus, operating method of endoscope apparatus, and information storage medium | |
JP2024023832A (ja) | 画像処理装置及び内視鏡システム並びに画像処理プログラム | |
WO2019008942A1 (ja) | 医療画像処理装置、内視鏡装置、診断支援装置、医療業務支援装置、及び、レポート作成支援装置 | |
WO2020054543A1 (ja) | 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム | |
JPWO2019220916A1 (ja) | 医療画像処理装置、医療画像処理方法及び内視鏡システム | |
WO2020188682A1 (ja) | 診断支援装置、診断支援方法及びプログラム | |
JP6785990B2 (ja) | 医療画像処理装置、及び、内視鏡装置 | |
CN116745861A (zh) | 通过实时影像获得的病变判断系统的控制方法、装置及程序 | |
JP7289241B2 (ja) | ファイリング装置、ファイリング方法及びプログラム | |
US20220222840A1 (en) | Control device, image processing method, and storage medium | |
CN116134363A (zh) | 内窥镜系统及其工作方法 | |
US11978209B2 (en) | Endoscope system, medical image processing device, and operation method therefor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20180216 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180227 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180426 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180612 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180709 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6368870 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |