JP6840263B2 - 内視鏡システム及びプログラム - Google Patents
内視鏡システム及びプログラム Download PDFInfo
- Publication number
- JP6840263B2 JP6840263B2 JP2019550323A JP2019550323A JP6840263B2 JP 6840263 B2 JP6840263 B2 JP 6840263B2 JP 2019550323 A JP2019550323 A JP 2019550323A JP 2019550323 A JP2019550323 A JP 2019550323A JP 6840263 B2 JP6840263 B2 JP 6840263B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- feature
- endoscope
- notification
- endoscopic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000605 extraction Methods 0.000 claims description 107
- 230000003902 lesion Effects 0.000 claims description 63
- 238000000034 method Methods 0.000 claims description 55
- 230000006870 function Effects 0.000 claims description 49
- 239000000284 extract Substances 0.000 claims description 23
- 238000003384 imaging method Methods 0.000 claims description 17
- 238000012905 input function Methods 0.000 claims description 12
- 230000004397 blinking Effects 0.000 claims description 10
- 238000010801 machine learning Methods 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 2
- 230000004044 response Effects 0.000 claims description 2
- 238000012545 processing Methods 0.000 description 80
- 238000003860 storage Methods 0.000 description 55
- 208000037062 Polyps Diseases 0.000 description 44
- 238000001839 endoscopy Methods 0.000 description 31
- 238000010586 diagram Methods 0.000 description 28
- 230000008569 process Effects 0.000 description 25
- 238000007689 inspection Methods 0.000 description 22
- 238000012986 modification Methods 0.000 description 21
- 230000004048 modification Effects 0.000 description 21
- 238000010191 image analysis Methods 0.000 description 20
- 238000003780 insertion Methods 0.000 description 14
- 230000037431 insertion Effects 0.000 description 14
- 238000012806 monitoring device Methods 0.000 description 11
- 238000013135 deep learning Methods 0.000 description 10
- 210000002429 large intestine Anatomy 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 10
- 210000004204 blood vessel Anatomy 0.000 description 8
- 238000005286 illumination Methods 0.000 description 8
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 8
- 238000002609 virtual colonoscopy Methods 0.000 description 7
- 206010028980 Neoplasm Diseases 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 102000001554 Hemoglobins Human genes 0.000 description 4
- 108010054147 Hemoglobins Proteins 0.000 description 4
- 238000005452 bending Methods 0.000 description 4
- 210000001072 colon Anatomy 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000002595 magnetic resonance imaging Methods 0.000 description 4
- 239000003550 marker Substances 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 239000012530 fluid Substances 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008033 biological extinction Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 239000007789 gas Substances 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 238000002600 positron emission tomography Methods 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000003325 tomography Methods 0.000 description 2
- 206010061218 Inflammation Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 210000000436 anus Anatomy 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 238000003705 background correction Methods 0.000 description 1
- 210000000621 bronchi Anatomy 0.000 description 1
- 210000004534 cecum Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 230000004054 inflammatory process Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 238000013022 venting Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- Veterinary Medicine (AREA)
- Radiology & Medical Imaging (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Endoscopes (AREA)
Description
図1は内視鏡システムの全体構成を示す概略図である。図1に示した内視鏡システム9は、内視鏡10と、光源装置11と、プロセッサ12と、表示装置13と、医療画像処理装置14と、操作装置15と、モニタ装置16と、を備える。内視鏡システム9は、ネットワーク17を介して画像記憶装置18と通信可能に接続される。
図2は医療画像処理装置の機能を示す機能ブロック図である。図2に示した医療画像処理装置14は、図示しないコンピュータを備える。コンピュータは、プログラムの実行に基づき、画像取得部41、情報取得部42、医療画像解析処理部43、及び表示制御部44として機能する。医療画像処理装置14は、医療画像処理装置14の各種制御に用いる情報を記憶する記憶部47を備える。
画像取得部41は、CTC画像取得部41a、及び内視鏡画像取得部41bを備える。CTC画像取得部41aは、図示しない画像入出力インターフェースを介して、CTC画像19を取得する。内視鏡画像取得部41bは、図示しない画像入出力インターフェースを介して、内視鏡画像37を取得する。画像入出力インターフェースの接続形態は有線でもよいし、無線でもよい。以下に、CTC画像取得部41a、及び内視鏡画像取得部41bについて詳細に説明する。
CTC画像取得部41aは、図1に示した画像記憶装置18に記憶されているCTC画像19を取得する。図2に示したCTC画像取得部41aを用いて取得したCTC画像19は、画像記憶部48に記憶される。CTC画像取得部41aは、後述する内視鏡画像取得部41bと同様の構成を適用可能である。符号19bは視点画像を表す。視点画像19bはCTC画像19に設定される視点における視野の画像である。視点は符号Pを付して図5に図示する。視点画像、及び視点の詳細は後述する。
内視鏡画像取得部41bは、図1に示したプロセッサ12を用いて生成された内視鏡画像37を取得する。内視鏡画像37は図2に示した動画像38及び静止画像39が含まれる。本実施形態では、図1に示したプロセッサ12を用いて生成された内視鏡画像37を取得したが、外部の記憶装置に記憶されている内視鏡画像37を取得してもよい。図2に示した内視鏡画像取得部41bは、メモリーカード等の各種情報記憶媒体を介して内視鏡画像37を取得してもよい。
情報取得部42は、操作装置15等を介して外部から入力された情報を取得する。例えば、操作装置15を用いてユーザが判定した判定結果、及び抽出結果等が入力された場合に、情報取得部42はユーザの判定情報、及び抽出情報等を取得する。
医療画像解析処理部43はCTC画像19を解析する。また、医療画像解析処理部43は内視鏡画像37を解析する。医療画像解析処理部43を用いたCTC画像19、及び内視鏡画像37の解析の詳細は後述する。
医療画像解析処理部43は、深層学習アルゴリズム65に基づき、深層学習を用いた画像解析処理を実施する。深層学習アルゴリズム65は、公知のコンボリューションニューラルネットワークの手法と、全結合層と、出力層とを含むアルゴリズムである。
表示制御部44は、モニタ装置16の画像表示を制御する。表示制御部44は、再生制御部44a及び情報表示制御部44bとして機能する。
再生制御部44aは、CTC画像取得部41aを用いて取得したCTC画像19、及び内視鏡画像取得部41bを用いて取得した内視鏡画像37の再生制御を行う。再生制御部44aは、操作装置15を用いて画像を再生する操作がされた場合、表示制御プログラムを実行してモニタ装置16を制御する。表示制御プログラムはプログラム記憶部49に記憶されるプログラムに含まれる。
情報表示制御部44bは、CTC画像19の付帯情報の表示制御、及び内視鏡画像37の付帯情報の表示制御を行う。CTC画像19の付帯情報の一例として、第1特徴領域を表す情報が挙げられる。内視鏡画像37の付帯情報の例として、第2特徴領域を表す情報が挙げられる。
記憶部47は、画像記憶部48を備える。画像記憶部48は、医療画像処理装置14が取得したCTC画像19、及び内視鏡画像37を記憶する。図2には、医療画像処理装置14が記憶部47を備える態様を例示したが、医療画像処理装置14とネットワークを介して通信可能に接続される記憶装置等が記憶部47を備えてもよい。上述した記憶装置の例として、図1に示したネットワーク17を介して通信可能に接続される画像記憶装置18が挙げられる。
医療画像処理装置14は、複数のコンピュータ等を用いて構成してもよい。複数のコンピュータ等は、ネットワークを介して通信可能に接続されてもよい。ここでいう複数のコンピュータは、ハードウェア的に分離していてもよいし、ハードウェア的に一体に構成され、且つ機能的に分離されていてもよい。
図2に示した医療画像処理装置14の各種制御を実行する制御部のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。図3に示す医療画像解析処理部43についても同様である。
図3は医療画像解析処理部の機能を示す機能ブロック図である。以下の説明における内視鏡10は図1に図示されている。また、CTC画像19、視点画像19b、内視鏡画像37、及びフレーム画像38aは図2に図示されている。
第1特徴領域抽出部50は、CTC画像19から、規定の第1条件に合致する特徴領域である第1特徴領域を抽出する。CTC画像19の第1特徴領域の例として、病変、ひだ、各結腸間の変化点、及び血管が挙げられる。なお、血管は血管の走行パターンが含まれる。第1特徴領域抽出部50が担う機能は第1特徴領域抽出機能に相当する。
第1条件設定部52は第1条件を設定する。第1条件は、第1特徴領域抽出部50を用いた抽出処理に適用される抽出条件である。第1条件設定部52は、図2に示した操作装置15を用いて入力された情報を第1条件として設定し得る。上述した第1特徴領域の例示は、第1条件の例示として把握される。
第2特徴領域抽出部54は、図2に示した内視鏡画像37から、規定の第2条件に合致する特徴領域である第2特徴領域を抽出する。内視鏡画像37の第2特徴領域の例として、CTC画像19の第1特徴領域と同様に、病変、ひだ、各結腸間の変化点、及び血管が挙げられる。
第2条件設定部56は、内視鏡画像37の第2特徴領域の抽出条件として、第1条件に対応する第2条件を設定する。第1条件に対応する第2条件には、第1条件と同一の第2条件が含まれる。例えば、第1条件として病変が設定された場合、第2条件として病変が設定され得る。
対応付け部58は、図2に示したCTC画像19と内視鏡画像37との対応付けを行う。CTC画像19と内視鏡画像37との対応付けの例として、CTC画像19の第1特徴領域と内視鏡画像37の第2特徴領域との対応付けが挙げられる。例えば、内視鏡画像37の第2特徴領域として病変が検出された場合、検出された病変に対応するCTC画像19の第1特徴領域を内視鏡画像37の第2特徴領域に対応付けする。
報知部59は、CTC画像19抽出された第1特徴領域80と対応付けされた内視鏡画像37の領域のうち、内視鏡画像37から抽出されない非抽出領域となる領域が存在する場合に、その旨を報知する。非抽出領域の一例として、内視鏡10の観察範囲の死角の位置が挙げられる。報知部59は、表示制御部44を介してモニタ装置16に報知情報を表示する。報知情報の一例として、後述する報知画像が挙げられる。報知部59が担う機能は報知機能に相当する。
報知画像生成部60は、内視鏡画像37の第2特徴領域の存在を報知する報知画像を生成する。報知画像の例として、第2特徴領域の任意の位置に付される記号、第2特徴領域の縁を表す閉曲線等が挙げられる。
図4は画像記憶部の機能を示す機能ブロック図である。画像記憶装置18は、第1特徴領域記憶部64と、第2特徴領域記憶部66と、対応付け結果記憶部68とを備える。
第1特徴領域記憶部64は、図3に示した第1特徴領域抽出部50を用いてCTC画像19から抽出された第1特徴領域の情報を記憶する。第1特徴領域の情報の例として、CTC画像19における第1特徴領域の位置を表す情報が挙げられる。CTC画像19における第1特徴領域の位置は、CTC画像19に設定された座標における座標値、及びCTC画像19に設定された視点等を用いて特定し得る。
第2特徴領域記憶部66は、図3に示した第2特徴領域抽出部54を用いて内視鏡画像37から抽出された第2特徴領域の情報を記憶する。第2特徴領域の情報の例として、内視鏡画像37における第2特徴領域の位置を表す情報が挙げられる。
対応付け結果記憶部68は、図3に示した対応付け部58を用いて実行されたCTC画像19と内視鏡画像37との対応付けの結果を記憶する。例えば、CTC画像19の第1特徴領域の位置の情報と、内視鏡画像37の第2特徴領域の位置の情報とを対応付けた結果を記憶し得る。
次に、内視鏡検査における報知方法について説明する。本実施形態では、仮想大腸内視鏡検査を併用して実施される大腸の内視鏡検査を例示する。なお、大腸の内視鏡検査は例示であり、本実施形態に係る報知方法は、気管支等の他の部位の内視鏡検査に適用可能である。
図5はCTC画像の模式図である。図5に示した全体画像19aは、被観察部位である大腸の全体を表すCTC画像19の一形態である。被観察部位は、被検体、及び被検体の観察対象と同義である。
仮想大腸内視鏡検査は、CT装置を用いて大腸を撮像して大腸のCT画像を取得し、大腸のCT画像に画像処理を施して生成されたCTC画像19を用いて病変等を検出する。仮想大腸内視鏡検査は、内視鏡10の移動と連動して、内視鏡10に見立てたポインタ19dをスタート位置PSからゴール位置PGまで、パス19c上を移動させる。図5に示した矢印は、ポインタ19dの移動方向を表す。
内視鏡検査は、内視鏡画像37からポリープ等の病変を検出する。すなわち、内視鏡検査は、内視鏡10を用いて、リアルタイムに生成される動画像38を見て、病変の位置、及び形状等を特定する。内視鏡検査は、内視鏡画像37の再生画像を用いてもよい。
図8は第1特徴領域抽出の説明図である。図8には、CTC画像19のうち、任意の視点Pにおける視点画像19b1、及び視点画像19b2を図示する。図8に示した視点画像19b1、及び視点画像19b2を包括する概念が視点画像19bである。
図10から図12を用いて対応付け処理について説明する。図12は病変の対応付けの例を示す模式図である。図10には内視鏡画像37のフレーム画像38a1において凸形状のポリープである第2特徴領域70が検出された場合の例を示す。
次に、図13から図15を用いて、報知処理について説明する。図13は非報知の場合の内視鏡画像、及び仮想内視鏡画像の模式図である。図13に示したモニタ装置16は、内視鏡画像37を表示し、且つ内視鏡画像37に対応するCTC画像19を表示する。CTC画像19の視点画像19b31は、内視鏡画像37のフレーム画像38a31に対応している。
図16は報知方法の手順を示すフローチャートである。まず、CTC画像入力工程S10が実行される。CTC画像入力工程S10では、図2に示したCTC画像取得部41aを用いてCTC画像19が入力される。CTC画像19は、画像記憶部48へ記憶される。図16に示したCTC画像入力工程S10は第1画像入力工程の一例である。
76とを対応付けする。図16に示した対応付け工程S18における対応付けの結果は、図4に示した対応付け結果記憶部68へ記憶される。
〔1〕
上記の如く構成された内視鏡システム、及び報知方法によれば、CTC画像19から第1特徴領域80としてポリープ等の病変を抽出する。CTC画像19と内視鏡画像37とを対応付ける。CTC画像19の第1特徴領域80が内視鏡画像37の非抽出領域76に対応付けされている場合は第1報知を行う。第1報知に起因して、ユーザは内視鏡画像37から抽出されない、例えば、内視鏡10の観察範囲の死角に位置するポリープ等の病変の存在を認識し得る。これにより、内視鏡10を用いた内視鏡検査において、内視鏡10の観察範囲の死角となる位置のポリープ等の病変の見落としを抑制し得る。
第1特徴領域80が第2特徴領域70に対応付けされている場合は第2報知を行う。第1報知は第2報知に対して報知のレベルが変更され、報知のレベルが上げられている。これにより、第1特徴領域80が第2特徴領域70に対応付けされている場合と比較して、第1特徴領域が非抽出領域76と対応付けされている場合の認識がし易くなる。
第1報知画像、及び第2報知画像は、内視鏡画像37にオーバーレイ表示される。これにより、内視鏡画像37自体に処理を施すことなく、内視鏡画像37に第1報知画像140、又は第2報知画像142を重畳表示させることが可能となる。
〔第1変形例〕
図17は第1変形例に係る報知の説明図である。図17に示した第1報知画像144は、第2報知画像146に対して濃度が変更される。例えば、第1報知画像144は、第2報知画像146に対して濃い濃度が適用される。
図18は第2変形例に係る報知の説明図である。図18に示した第1報知画像147は、点滅表示される。一方、第2報知画像148は、点灯表示される。点灯表示は通常表示として把握し得る。
図19は第3変形例に係る報知の説明図である。図19に示した第1報知画像147Aは、点滅表示される。第2報知画像147Bもまた点滅表示される。第1報知画像147Aは、第2報知画像147Bに対して点滅周期が短くされる。
第1報知画像140は、内視鏡画像37の非抽出領域76が内視鏡10の観察領域に近づくに従い、連続的に、又は段階的にサイズを大きくする等の強調を実行してもよい。第2報知画像142も同様である。また、後述する報知音を用いた場合も同様である。
第1報知画像140、及び第2報知画像142をCTC画像19に表示してもよい。CTC画像19に表示する第1報知画像140、及び第2報知画像142は、内視鏡画像37に表示する第1報知画像140、及び第2報知画像142と同様の表示態様の変更が可能である。
図20は第1特徴領域の他の表示例の説明図である。図20は、CTC画像19に第1特徴領域80を表示する例を示す。図20に示したCTC画像19は、図5に示した全体画像19aに相当する。
〔機能の説明〕
図21は他の実施形態に係る報知を実現する医療画像処理装置の機能を示す機能ブロック図である。他の実施形態に係る報知では、報知音を用いた報知を実行する。図21に示した医療画像処理装置14Aは、図2に示した医療画像処理装置14に対して、報知音制御部200、及び音源202が追加されている。また、図21に示した内視鏡システム9Aは、図2に示した内視鏡システム9に対して、スピーカ204が追加されている。
他の実施形態に係る報知によれば、CTC画像19の第1特徴領域80が内視鏡画像37の非抽出領域76に対応付けされ場合に音を用いた報知を実行する。これにより、内視鏡画像37自体に処理を施すことなく、報知が可能となる。
〔CTC画像の変形例〕
《第1例》
図2に示した医療画像処理装置14は、CT画像等の3次元検査画像からCTC画像19を生成するCTC画像生成部を備えてもよい。医療画像処理装置14は、CTC画像取得部41aを介して3次元検査画像を取得し、CTC画像生成部を用いてCTC画像19を生成してもよい。
図5に示した視点Pは、パス19cの上に限定されない。視点Pは任意の位置に設定可能である。視点画像19bの視野方向は、内視鏡10の撮像方向に対応して任意に設定し得る。
視点画像19bは、全体画像19aの任意の断面における3次元検査画像を2次元画像に変換した2次元検査画像としてもよい。
《第1例》
第1特徴領域80の抽出は、CTC画像19の生成に用いられる3次元検査画像を用いてもよい。
第1特徴領域80は、予め抽出し、記憶してもよい。予め抽出された第1特徴領域80は、第1特徴領域80の位置の情報をインデックスとして検索可能に記憶されてもよい。
第2特徴領域の抽出は、動画像38を再生して実行してもよい。
特定の波長領域は、以下の変形例の適用が可能である。
特定の波長帯域の第1例は、可視域の青色帯域又は緑色帯域である。第1例の波長帯域は、390ナノメートル以上450ナノメートル以下、又は530ナノメートル以上550ナノメートル以下の波長帯域を含み、且つ第1例の光は、390ナノメートル以上450ナノメートル以下、又は530ナノメートル以上550ナノメートル以下の波長帯域内にピーク波長を有する。
特定の波長帯域の第2例は、可視域の赤色帯域である。第2例の波長帯域は、585ナノメートル以上615ナノメートル以下、又は610ナノメートル以上730ナノメートル以下の波長帯域を含み、且つ第2例の光は、585ナノメートル以上615ナノメートル以下、又は610ナノメートル以上730ナノメートル以下の波長帯域内にピーク波長を有する。
特定の波長帯域の第3例は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、且つ第3例の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する。この第3例の波長帯域は、400±10ナノメートル、440±10ナノメートル、470±10ナノメートル、又は600ナノメートル以上750ナノメートル以下の波長帯域を含み、且つ第3例の光は、400±10ナノメートル、440±10ナノメートル、470±10ナノメートル、又は600ナノメートル以上750ナノメートル以下の波長帯域にピーク波長を有する。
特定の波長帯域の第4例は、生体内の蛍光物質が発する蛍光の観察に用いられ且つこの蛍光物質を励起させる励起光の波長帯域である。例えば、390ナノメートル以上470ナノメートル以下の波長帯域である。なお、蛍光の観察は蛍光観察と呼ばれる場合がある。
特定の波長帯域の第5例は、赤外光の波長帯域である。この第5例の波長帯域は、790ナノメートル以上820ナノメートル以下、又は905ナノメートル以上970ナノメートル以下の波長帯域を含み、且つ第5例の光は、790ナノメートル以上820ナノメートル以下、又は905ナノメートル以上970ナノメートル以下の波長帯域にピーク波長を有する。
プロセッサ12は、白色光を用いて撮像して得られた通常光画像に基づいて、特定の波長帯域の情報を有する特殊光画像を生成してもよい。なお、ここでいう生成は取得が含まれる。この場合、プロセッサ12は、特殊光画像取得部として機能する。そして、プロセッサ12は、特定の波長帯域の信号を、通常光画像に含まれる赤、緑、及び青、或いはシアン、マゼンタ、及びイエローの色情報に基づく演算を行うことで得る。
プロセッサ12は、通常光画像、及び特殊光画像の少なくともいずれか一方に基づいて、公知の酸素飽和度画像等の特徴量画像を生成してもよい。
図3に示した第2特徴領域抽出部54は、CTC画像19の第1特徴領域80と内視鏡画像37の非抽出領域76との対応関係を学習データとして機械学習を実行して、第2特徴領域の抽出規則を更新することが可能である。機械学習は、図2に示した深層学習アルゴリズム65が適用される。
上述した画像処理方法は、コンピュータを用いて、画像処理方法における各工程に対応する機能を実現させるプログラムとして構成可能である。例えば、コンピュータに、CTC画像入力機能、第1特徴領域抽出機能、内視鏡画像入力機能、第2特徴領域抽出機能、対応付け機能、及び保存機能を実現させるプログラムを構成し得る。
上述した実施形態で説明した構成要素、及び変形例で説明した構成要素は、適宜組み合わせて用いることができ、また、一部の構成要素を置き換えることもできる。
10、10A、10B 内視鏡
11 光源装置
12 プロセッサ
13 表示装置
14、14A 医療画像処理装置
15 操作装置
16 モニタ装置
17 ネットワーク
18 画像記憶装置
19 CTC画像
19a 全体画像
19b、19b1、19b2、19b3、19b11、19b12、19b13、19b21、19b22、19b23、19b31、19b32、19b33 視点画像
19c パス
19d ポインタ
20 挿入部
21 操作部
22 ユニバーサルコード
25 軟性部
26 湾曲部
27 先端部
27a 先端面
28 撮像素子
29 湾曲操作ノブ
30 送気送水ボタン
31 吸引ボタン
32 静止画像撮影指示部
33 処置具導入口
35 ライトガイド
36 信号ケーブル
37 内視鏡画像
37a、37b コネクタ
38 動画像
38a、38a1、38a11、38a21、38a31、38a32、38a33 フレーム画像
39 静止画像
41 画像取得部
41a CTC画像取得部
41b 内視鏡画像取得部
42 情報取得部
43 医療画像解析処理部
44 表示制御部
44a 再生制御部
44b 情報表示制御部
47 記憶部
48 画像記憶部
49 プログラム記憶部
50 第1特徴領域抽出部
52 第1条件設定部
54 第2特徴領域抽出部
56 第2条件設定部
58 対応付け部
59 報知部
60 報知画像生成部
64 第1特徴領域記憶部
65 深層学習アルゴリズム
66 第2特徴領域記憶部
68 対応付け結果記憶部
70、72、74 第2特徴領域
76 非抽出領域
80、80a、80b、80c、80d、80e、82、84 第1特徴領域
100、120 断面
102、122、150、160 ひだ
104、106、124、126 ポリープ
140、144、147、147A 第1報知画像
142、146、147B、148 第2報知画像
200 報知音制御部
202 音源
204 スピーカ
P 視点
PS スタート位置
PG ゴール位置
n1、n2、n3 ひだの番号
S10からS26 報知方法の各工程
Claims (24)
- 被検体の3次元画像から生成される仮想内視鏡画像を入力する第1画像入力部と、
内視鏡を用いて前記被検体の観察対象を撮像して得られた実内視鏡画像を入力する第2画像入力部と、
前記仮想内視鏡画像と前記実内視鏡画像とを対応付けする対応付け部と、
前記仮想内視鏡画像から規定の第1条件に合致する第1特徴領域を抽出する第1特徴領域抽出部と、
前記実内視鏡画像から前記第1条件に対応する第2条件に合致する第2特徴領域を抽出する第2特徴領域抽出部と、
前記第1特徴領域が前記第2特徴領域と対応付けされていない場合に報知を行う報知部と、
を備えた内視鏡システム。 - 前記報知部は、前記第1特徴領域が前記第2特徴領域と対応付けされた場合に、前記第1特徴領域が前記内視鏡の観察範囲に位置する前記第2特徴領域に対応付けされたことを報知し、
前記第1特徴領域が前記第2特徴領域と対応付けされていない場合は、前記第1特徴領域が前記第2特徴領域と対応付けされた場合における報知方法、及び報知レベルと比較して、前記報知方法、及び前記報知レベルの少なくともいずれかを変更する請求項1に記載の内視鏡システム。 - 前記実内視鏡画像を表示する表示部を備え、
前記報知部は、前記第1特徴領域が前記第2特徴領域と対応付けされていないことを報知する第1報知画像、及び前記第1特徴領域が前記第2特徴領域に対応付けされたことを報知する第2報知画像を前記表示部に表示し、且つ前記第2報知画像より前記第1報知画像を拡大して表示する請求項2に記載の内視鏡システム。 - 前記実内視鏡画像を表示する表示部を備え、
前記報知部は、前記第1特徴領域が前記第2特徴領域と対応付けされていないことを報知する第1報知画像、及び前記第1特徴領域が前記第2特徴領域と対応付けされたことを報知する第2報知画像を前記表示部に表示し、且つ前記第1報知画像は前記第2報知画像と色を変更する請求項2に記載の内視鏡システム。 - 前記実内視鏡画像を表示する表示部を備え、
前記報知部は、前記第1特徴領域が前記第2特徴領域と対応付けされていないことを報知する第1報知画像、及び前記第1特徴領域が前記第2特徴領域に対応付けされたことを報知する第2報知画像を前記表示部に表示し、且つ前記第1報知画像を点滅表示する一方、前記第2報知画像を点灯表示する請求項2に記載の内視鏡システム。 - 前記実内視鏡画像を表示する表示部を備え、
前記報知部は、前記第1特徴領域が前記第2特徴領域と対応付けされていないことを報知する第1報知画像、及び前記第1特徴領域が前記第2特徴領域に対応付けされたことを報知する第2報知画像を前記表示部に点滅表示し、且つ前記第2報知画像に対して前記第1報知画像の点滅周期を短くする請求項2に記載の内視鏡システム。 - 前記表示部は、前記実内視鏡画像と別に生成された前記第1報知画像、及び前記第2報知画像を前記実内視鏡画像に重畳表示させる請求項3から6のいずれか一項に記載の内視鏡システム。
- 前記表示部は、前記仮想内視鏡画像を表示し、且つ前記仮想内視鏡画像における前記内視鏡の位置を表示する請求項3から7のいずれか一項に記載の内視鏡システム。
- 前記表示部は、前記仮想内視鏡画像を表示し、且つ前記第1特徴領域の情報を表示する請求項3から7のいずれか一項に記載の内視鏡システム。
- 前記表示部は、前記第1特徴領域を拡大して表示する請求項9に記載の内視鏡システム。
- 前記表示部は、前記第1特徴領域を点滅表示する請求項9に記載の内視鏡システム。
- 報知音を出力する報知音出力部を備え、
前記報知部は、前記報知音出力部を用いて、前記第1特徴領域が前記第2特徴領域と対応付けされていないことを表す第1報知音を出力する請求項1から11のいずれか一項に記載の内視鏡システム。 - 前記報知部は、前記報知音出力部を用いて、前記第1特徴領域が前記第2特徴領域に対応付けされたことを表し、且つ前記第1報知音と異なる第2報知音を出力する請求項12に記載の内視鏡システム。
- 前記報知部は、前記第2報知音に対して前記第1報知音の音量を大きくする請求項13に記載の内視鏡システム。
- 前記報知部は、前記第1特徴領域と対応付けがされた前記実内視鏡画像の領域から前記実内視鏡画像の観察位置までの間の距離が短くなるに従い報知レベルを変更する請求項2から14のいずれか一項に記載の内視鏡システム。
- 前記第1特徴領域抽出部は、前記実内視鏡画像の観察の際に、予め前記仮想内視鏡画像から前記第1特徴領域を抽出する請求項1から15のいずれか一項に記載の内視鏡システム。
- 前記第1特徴領域抽出部は、前記実内視鏡画像の観察の際に、前記実内視鏡画像の観察に対応して、逐次、前記仮想内視鏡画像から前記第1特徴領域を抽出する請求項1から15のいずれか一項に記載の内視鏡システム。
- 前記第1特徴領域抽出部は、同一の前記第1条件を用いて複数の第1特徴領域を抽出した場合、前記複数の第1特徴領域を一括して管理する請求項1から17のいずれか一項に記載の内視鏡システム。
- 前記第1特徴領域抽出部は、前記第1条件として前記仮想内視鏡画像における位置の情報を適用する請求項1から18のいずれか一項に記載の内視鏡システム。
- 前記第1特徴領域抽出部は、前記位置の情報として前記内視鏡の観察範囲の死角の位置を適用する請求項19に記載の内視鏡システム。
- 前記第1特徴領域抽出部は、前記位置の情報としてひだの裏側を適用する請求項19又は20に記載の内視鏡システム。
- 前記第2特徴領域抽出部は、前記第2特徴領域として病変を抽出する請求項1から21のいずれか一項に記載の内視鏡システム。
- 前記第2特徴領域抽出部は、機械学習を用いて生成された抽出規則を適用して、前記実内視鏡画像から前記第2特徴領域を抽出する請求項1から22のいずれか一項に記載の内視鏡システム。
- コンピュータに、
被検体の3次元画像から生成される仮想内視鏡画像を入力する第1画像入力機能、
内視鏡を用いて前記被検体の観察対象を撮像して得られた実内視鏡画像を入力する第2画像入力機能、
前記仮想内視鏡画像と前記実内視鏡画像とを対応付けする対応付け機能、
前記仮想内視鏡画像から規定の第1条件に合致する第1特徴領域を抽出する第1特徴領域抽出機能、
前記実内視鏡画像から前記第1条件に対応する第2条件に合致する第2特徴領域を抽出する第2特徴領域抽出機能、及び
前記第1特徴領域が前記第2特徴領域と対応付けされていない場合に報知を行う報知機能、を実現させるプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017210248 | 2017-10-31 | ||
JP2017210248 | 2017-10-31 | ||
PCT/JP2018/039901 WO2019087969A1 (ja) | 2017-10-31 | 2018-10-26 | 内視鏡システム、報知方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019087969A1 JPWO2019087969A1 (ja) | 2020-11-12 |
JP6840263B2 true JP6840263B2 (ja) | 2021-03-10 |
Family
ID=66331877
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019550323A Active JP6840263B2 (ja) | 2017-10-31 | 2018-10-26 | 内視鏡システム及びプログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6840263B2 (ja) |
WO (1) | WO2019087969A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021171464A1 (ja) * | 2020-02-27 | 2021-09-02 | オリンパス株式会社 | 処理装置、内視鏡システム及び撮像画像の処理方法 |
JP2021141969A (ja) * | 2020-03-10 | 2021-09-24 | 独立行政法人国立病院機構 | 内視鏡装置 |
JP7374224B2 (ja) * | 2021-01-14 | 2023-11-06 | コ,ジファン | 内視鏡を用いた大腸検査ガイド装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013009956A (ja) * | 2011-06-01 | 2013-01-17 | Toshiba Corp | 医用画像表示装置及び医用画像診断装置 |
JP5918548B2 (ja) * | 2012-01-24 | 2016-05-18 | 富士フイルム株式会社 | 内視鏡画像診断支援装置およびその作動方法並びに内視鏡画像診断支援プログラム |
JP6206869B2 (ja) * | 2013-05-28 | 2017-10-04 | 国立大学法人名古屋大学 | 内視鏡観察支援装置 |
JP2016143194A (ja) * | 2015-01-30 | 2016-08-08 | ザイオソフト株式会社 | 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム |
-
2018
- 2018-10-26 JP JP2019550323A patent/JP6840263B2/ja active Active
- 2018-10-26 WO PCT/JP2018/039901 patent/WO2019087969A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2019087969A1 (ja) | 2019-05-09 |
JPWO2019087969A1 (ja) | 2020-11-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6890184B2 (ja) | 医療画像処理装置及び医療画像処理プログラム | |
JP5675227B2 (ja) | 内視鏡画像処理装置および作動方法、並びに、プログラム | |
JP6967602B2 (ja) | 検査支援装置、内視鏡装置、内視鏡装置の作動方法、及び検査支援プログラム | |
JP7346693B2 (ja) | 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法、及びプログラム | |
US11607109B2 (en) | Endoscopic image processing device, endoscopic image processing method, endoscopic image processing program, and endoscope system | |
JP7413585B2 (ja) | 医用画像処理装置、作動方法、プログラム、及び記録媒体、診断支援装置並びに内視鏡システム | |
WO2023103467A1 (zh) | 图像处理方法、装置及设备 | |
JP7050817B2 (ja) | 画像処理装置、プロセッサ装置、内視鏡システム、画像処理装置の動作方法及びプログラム | |
CN110913746B (zh) | 诊断辅助装置、诊断辅助方法及存储介质 | |
JP6405138B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
JP7143504B2 (ja) | 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法及びプログラム | |
JP6840263B2 (ja) | 内視鏡システム及びプログラム | |
JP7125479B2 (ja) | 医療画像処理装置、医療画像処理装置の作動方法及び内視鏡システム | |
JP2012024509A (ja) | 画像処理装置、方法及びプログラム | |
JP2023115352A (ja) | 医療画像処理装置、医療画像処理システム、医療画像処理装置の作動方法及び医療画像処理プログラム | |
JPWO2012153568A1 (ja) | 医用画像処理装置 | |
JP7170050B2 (ja) | 医療画像処理装置、医療画像処理装置の作動方法及びプログラム、内視鏡システム | |
JP7148534B2 (ja) | 画像処理装置、プログラム、及び内視鏡システム | |
EP3936027A1 (en) | Apparatus and method for processing medical image | |
JP7335157B2 (ja) | 学習データ作成装置、学習データ作成装置の作動方法及び学習データ作成プログラム並びに医療画像認識装置 | |
CN116724334A (zh) | 计算机程序、学习模型的生成方法、以及手术辅助装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200525 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201218 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210115 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210129 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210216 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6840263 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |