WO2021144951A1 - 画像処理装置、画像処理方法、及び、画像処理プログラム - Google Patents
画像処理装置、画像処理方法、及び、画像処理プログラム Download PDFInfo
- Publication number
- WO2021144951A1 WO2021144951A1 PCT/JP2020/001476 JP2020001476W WO2021144951A1 WO 2021144951 A1 WO2021144951 A1 WO 2021144951A1 JP 2020001476 W JP2020001476 W JP 2020001476W WO 2021144951 A1 WO2021144951 A1 WO 2021144951A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- site
- image processing
- unit
- endoscopic
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 34
- 238000003672 processing method Methods 0.000 title claims description 5
- 238000003384 imaging method Methods 0.000 claims abstract description 35
- 238000007689 inspection Methods 0.000 claims description 34
- 210000002784 stomach Anatomy 0.000 claims description 12
- 210000002318 cardia Anatomy 0.000 claims description 11
- 210000001187 pylorus Anatomy 0.000 claims description 10
- 210000003238 esophagus Anatomy 0.000 claims description 2
- 210000002429 large intestine Anatomy 0.000 claims description 2
- 210000003800 pharynx Anatomy 0.000 claims description 2
- 210000000813 small intestine Anatomy 0.000 claims description 2
- 238000000034 method Methods 0.000 description 26
- 230000002496 gastric effect Effects 0.000 description 13
- 238000003780 insertion Methods 0.000 description 8
- 230000037431 insertion Effects 0.000 description 8
- 239000003550 marker Substances 0.000 description 6
- 238000001839 endoscopy Methods 0.000 description 5
- 230000012447 hatching Effects 0.000 description 5
- 238000013136 deep learning model Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000003902 lesion Effects 0.000 description 3
- 238000005452 bending Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 239000006260 foam Substances 0.000 description 1
- 239000010794 food waste Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 210000002438 upper gastrointestinal tract Anatomy 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/0002—Operational features of endoscopes provided with data storages
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/273—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the upper alimentary canal, e.g. oesophagoscopes, gastroscopes
- A61B1/2736—Gastroscopes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
Abstract
【課題】予め定めた検査部位が撮影された内視鏡画像を自動的に記録することができる画像処理装置を提供する。 【解決手段】画像処理装置は、被検体の体腔内を撮像した内視鏡画像を入力する入力部と、予め定めた検査部位に関する内視鏡画像と、入力部に入力した内視鏡画像の撮像部位とが同一または類似しているか否かを判断する部位判断部と、部位判断部により同一または類似していると判断された場合、入力部に入力した内視鏡画像を所定枚数、記録部に自動的に記録する自動記録部と、を有する。
Description
本発明は、予め定めた検査部位が撮影された画像を自動的に記録する画像処理装置、画像処理方法、及び、画像処理プログラムに関する。
従来、被検体の内部の被写体を撮像する内視鏡、及び、内視鏡により撮像された被写体の観察画像を生成するプロセッサ等を具備する内視鏡システムが、医療分野及び工業分野等において広く用いられている。このような内視鏡システムを用いた胃の一次検診では、二次検診において病変の見逃しを防止するために、網羅性の高い画像の記録が要求されている。
例えば、日本国特開２０１０－５１３９９号公報には、内視鏡画像の記録を自動的に開始し、かつ、自動的に停止することができる内視鏡画像記録装置が開示されている。この内視鏡画像記録装置は、内視鏡により得られる画像信号に赤色がしきい値以上含むか否かを判定し、画像信号に赤色がしきい値以上含むと判定された場合に画像信号の記録を自動的に開始し、しきい値以上含まないと判定された場合に画像信号の記録を自動的に停止する。
しかしながら、この内視鏡画像記録装置では、画像信号に赤色が閾値以上含まれない場合、検査対象の部位であっても内視鏡画像が記録されることがない。通常、内視鏡を用いた内視鏡検査では、内視鏡検査の経験が浅い医師が検診を実施する可能性もある。そのため、上述した内視鏡画像記録装置を用いた場合、内視鏡検査の経験が浅い医師が検診を実施した際に、画像の記録が必要な検査部位を見逃してしまい、検査部位の画像が記録されていないという事象が発生する虞がある。
このような検査部位の画像が記録されていないという事象が発生することを防止するために、医師の技量に依存しない検査部位の自動記録技術が必要とされている。
本発明は、上記事情に鑑みてなされたものであり、予め定めた検査部位が撮影された内視鏡画像を自動的に記録することができる画像処理装置、画像処理方法、及び、画像処理プログラムを提供することを目的とする。
本発明の一態様の画像処理装置は、被検体の体腔内を撮像した内視鏡画像を入力する入力部と、予め定めた検査部位に関する内視鏡画像と、前記入力部に入力した内視鏡画像の撮像部位とが同一または類似しているか否かを判断する部位判断部と、前記部位判断部により同一または類似していると判断された場合、前記入力部に入力した内視鏡画像を所定枚数、記録部に自動的に記録する自動記録部と、を有する。
また、本発明の一態様の画像処理方法は被検体の体腔内を撮像した内視鏡画像を入力し、予め定めた検査部位に関する内視鏡画像と、入力した内視鏡画像の撮像部位とが同一または類似しているか否かを判断し、同一または類似していると判断された場合、入力した内視鏡画像を所定枚数、記録部に自動的に記録する。
また、本発明の一態様の画像処理プログラムは、被検体の体腔内を撮像した内視鏡画像を入力するコードと、予め定めた検査部位に関する内視鏡画像と、入力した内視鏡画像の撮像部位とが同一または類似しているか否かを判断するコードと、同一または類似していると判断された場合、入力した内視鏡画像を所定枚数、記録部に自動的に記録するコードと、をコンピュータに実行させる。
以下、図面を参照して本発明の実施形態を説明する。
なお、以下の説明に用いる各図において、各構成要素を図面上で認識可能な程度の大きさとするため、構成要素毎に縮尺を異ならせてあるものもある。即ち、本発明は、これらの図に記載された構成要素の数量、構成要素の形状、構成要素の大きさの比率、及び各構成要素の相対的な位置関係のみに限定されるものではない。
なお、以下の説明に用いる各図において、各構成要素を図面上で認識可能な程度の大きさとするため、構成要素毎に縮尺を異ならせてあるものもある。即ち、本発明は、これらの図に記載された構成要素の数量、構成要素の形状、構成要素の大きさの比率、及び各構成要素の相対的な位置関係のみに限定されるものではない。
（第１の実施形態）
図１は、本発明の第１の実施形態に係る内視鏡システムの全体構成を示す図であり、図２は、ビデオプロセッサの構成の一例を示す図であり、図３は、予め定めた検査部位の一例を説明するための図である。
図１は、本発明の第１の実施形態に係る内視鏡システムの全体構成を示す図であり、図２は、ビデオプロセッサの構成の一例を示す図であり、図３は、予め定めた検査部位の一例を説明するための図である。
図１に示すように、内視鏡システム１は、いわゆる上部消化管用の内視鏡システムである。内視鏡システム１は、被検体Ｐの体腔内に先端部を挿入することによって被写体Ｐの体内画像を撮像し、被写体像の画像信号を出力する撮像部を備える内視鏡２と、内視鏡２における撮像部から出力される画像信号に対して所定の画像処理を施す画像処理部を備えるとともに内視鏡システム１全体の動作を統括的に制御する画像処理装置としてのビデオプロセッサ３と、内視鏡２の先端から出射するための照明光を発生する光源装置４と、ビデオプロセッサ３において画像処理が施された画像を表示する表示装置５と、を主に備える。
内視鏡２は、先端部に撮像部を備えると共に主として可撓性を有する細長形状部により構成される挿入部６と、挿入部６の基端側に接続され各種の操作信号の入力を受け付ける操作部７と、操作部７から基端側に向けて延出されビデオプロセッサ３および光源装置４と接続するユニバーサルコード８と、を備える。
ここで内視鏡２は、挿入部６の先端部に配設した撮像部とビデオプロセッサ３における画像処理部との間において、挿入部６における撮像部から挿入部６、操作部７およびユニバーサルコード８のそれぞれ内部を経由してビデオプロセッサ３の画像処理部に至るまで延設され、撮像部からの画像信号等の伝送するための信号伝送路を備える。
挿入部６は、最先端部に配設された、撮像素子等を備えた撮像部９を内蔵した先端部１０と、先端部１０の基端側に配設され、複数の湾曲駒によって構成された湾曲自在な湾曲部１１と、湾曲部１１の基端側に接続され、可撓性を有する長尺状の可撓管部１２と、を有する。
操作部７には、湾曲操作部、及び、各種スイッチ等が設けられている。湾曲操作部は、湾曲部１１を湾曲動作させる際に操作される。各種スイッチは、例えば、レリーズスイッチ、フリーズスイッチ、あるいは、通常光観察（ＷＬＩ）と狭帯域光観察（ＮＢＩ）との切替を行うための観察モード切替スイッチ等である。
また、ビデオプロセッサ３は、インターネット１３を経由してサーバ１４に接続されている。ビデオプロセッサ３は、撮像部９により撮像された内視鏡画像をインターネット１３を経由してサーバ１４に送信したり、サーバ１４からインターネット１３を経由して所望のデータを受信することができる。
図２に示すように、ビデオプロセッサ３は、ＣＰＵ１５と、Ｉ／Ｆ１６と、ＲＡＭ１７と、ＲＯＭ１８と、記録部１９と、バス２０とを有して構成されている。ＣＰＵ１５、Ｉ／Ｆ１６、ＲＡＭ１７、ＲＯＭ１８及び記録部１９は、互いにバス２０を介して接続されている。
Ｉ／Ｆ１６には、内視鏡２の撮像部９により撮像された内視鏡画像（画像信号）が入力される。また、ＲＯＭ１８には、画像処理プログラム１８ａが記憶されている。プロセッサを構成するＣＰＵ１５は、ＲＯＭ１８から画像処理プログラム１８ａを読み出し、ＲＡＭ１７に展開して実行することで、後述する内視鏡画像の自動記録処理を実行することができる。
メモリとしての記録部１９には、後述する自動記録処理により自動記録を実行すると判断された内視鏡画像が記録される。
本実施形態では、ＣＰＵ１５は、予め定めた検査部位の内視鏡画像を記録部１９に自動記録する。ここで、予め定めた検査部位は、図３に示すように、胃２１の噴門部２２、胃底部（穹窿部）２３、胃体部２４、胃角部２５及び幽門部２６である。なお、予め定めた検査部位は、胃２１に限定されることなく、咽頭、食道、小腸、あるいは、大腸等であってもよい。
ここで、内視鏡検査中に表示装置５に表示画面上に表示される表示画面例を図４Ａ～図４Ｆを用いて説明する。
図４Ａ～図４Ｆは、表示装置の表示画面上に表示される表示画面例を説明するための図である。
図４Ａに示すように、表示装置５の表示画面５ａ上には、内視鏡画像３１と、患者情報３２と、検査部位情報３３と、サムネイル３４とが表示される。
内視鏡画像３１には、内視鏡２の撮像部９により取得された画像が表示される。患者情報３２には、患者名、性別及び年齢等の情報が表示される。
検査部位情報３３には、予め定めた検査部位である噴門部２２、胃底部２３、胃体部２４、胃角部２５、幽門部２６の情報が表示される。サムネイル３４には、胃２１のモデル画像３４ａが表示される。モデル画像３４ａには、胃２１の噴門部２２、胃底部２３、胃体部２４、胃角部２５、幽門部２６のそれぞれの位置に対応して、マーカー３５、３６、３７、３８及び３９が表示される。
噴門部２２が撮影された内視鏡画像が記録部１９に自動記録されると、図４Ｂに示すように、検査部位情報３３の噴門部２２にハッチングが掛けられる。また、サムネイル３４のモデル画像３４ａにおいて、自動記録された検査部位である噴門部２２に対応する位置のマーカー３５が塗り潰される。
次に、胃底部２３が撮影された内視鏡画像が記録部１９に自動記録されると、図４Ｃに示すように、検査部位情報３３の胃底部２３にハッチングが掛けられる。また、サムネイル３４のモデル画像３４ａにおいて、自動記録された検査部位である胃底部２３に対応する位置のマーカー３６が塗り潰される。
次に、胃体部２４が撮影された内視鏡画像が記録部１９に自動記録されると、図４Ｄに示すように、検査部位情報３３の胃体部２４にハッチングが掛けられる。また、サムネイル３４のモデル画像３４ａにおいて、自動記録された検査部位である胃体部２４に対応する位置のマーカー３７が塗り潰される。
次に、胃角部２５が撮影された内視鏡画像が記録部１９に自動記録されると、図４Ｅに示すように、検査部位情報３３の胃角部２５にハッチングが掛けられる。また、サムネイル３４のモデル画像３４ａにおいて、自動記録された検査部位である胃角部２５に対応する位置のマーカー３８が塗り潰される。
次に、幽門部２６が撮影された内視鏡画像が記録部１９に自動記録されると、図４Ｆに示すように、検査部位情報３３の幽門部２６にハッチングが掛けられる。また、サムネイル３４のモデル画像３４ａにおいて、自動記録された検査部位である幽門部２６に対応する位置のマーカー３９が塗り潰される。
例えば、胃底部２３が撮影された内視鏡画像が記録部１９に記録されていない場合、検査部位情報３３の胃底部２３にハッチングが掛けられていない状態となる。さらに、サムネイル３４のモデル画像３４ａにおいて、胃底部２３に対応する位置のマーカー３６が塗り潰されていない状態となる。医師は、表示装置５の表示画面５ａに表示された検査部位情報３３、サムネイル３４を確認することで、記録部１９に内視鏡画像が記録がされていない検査部位を容易に把握することができる。
例えば、挿入部６の先端部１０が幽門部２６に達した後に胃底部２３の記録漏れがあったことを医師が把握した場合、挿入部６の先端部１０を抜去する際に記録漏れがあった検査部位である胃底部２３の画像記録を行うことができる。
次に、このように構成された内視鏡システムの自動記録処理について説明する。図５は、第１の実施形態の自動記録処理の流れの一例を説明するためのフローチャートである。
この図５の自動記録処理は、プロセッサを構成するＣＰＵ１５が、ＲＯＭ１８から画像処理プログラム１８ａを読み出し、ＲＡＭ１７に展開して実行することで行われる。なお、プロセッサの全部若しくは一部の機能は、論理回路あるいはアナログ回路を用いて構成してもよく、また、各種プログラムの処理を、ＦＰＧＡ（Field Programmable Gate Array）等の電子回路により実現するようにしてもよい。
まず、ＣＰＵ１５は、被検体Ｐの体腔内を撮像した内視鏡画像を入力する（Ｓ１）。このＳ１の処理が入力部を構成する。内視鏡画像は、内視鏡２の撮像部９により撮像された画像である。撮像部９により撮像された内視鏡画像は、Ｉ／Ｆ１６を経由してＣＰＵ１５に入力される。
次に、ＣＰＵ１５は、予め定めた検査部位に関する内視鏡画像と、入力部に入力した内視鏡画像の撮像部位とが同一または類似しているか否かを判断する（Ｓ２）。このＳ２の処理が部位判断部を構成する。ここで、予め定めた検査部位は、上述したように、胃２１の噴門部２２、胃底部２３、胃体部２４、胃角部２５及び幽門部２６である。
具体的には、部位判断部は、深層学習（ディープラーニング）により生成される深層学習モデルを用いて、予め定めた検査部位に関する内視鏡画像と、入力部に入力した内視鏡画像の撮像部位とが同一または類似しているか否かを判断する。部位判断部は、胃２１の部位を判定する深層学習モデルに内視鏡画像を入力し、撮像部位の推論結果を取得する。部位判断部は、推論結果の情報から検査部位と撮像部位とが同一または類似しているか否かを判断する。
なお、Ｓ２の処理は、例えば、サーバ１４上で実行されてもよい。すなわち、サーバ１４に深層学習モデルを記憶しておくとともに、ＣＰＵ１５は、入力部に入力された内視鏡画像をインターネット１３を経由してサーバ１４に送信し、サーバ１４上で検査部位と撮像部位とが同一または類似しているか否かを判断する。そして、ＣＰＵ１５は、サーバ１４からインターネット１３を経由して判断結果を受け取り、検査部位と撮像部位とが同一または類似しているという判断結果を受け取った場合、入力部に入力した内視鏡画像を記録部１９に自動記録する。
また、部位判断部は、深層学習により生成される深層学習モデルを用いて、撮像部位の判断を行っているが、これに限定されることなく、例えばＺＮＣＣ（Zero-mean Normalized Cross-Correlation）アルゴリズム等の類似度算出アルゴリズムを用いて、予め蓄積された内視鏡画像と入力された内視鏡画像との類似度を算出し、算出した類似度を用いて撮像部位が予め定めた検査部位か否かを判断してもよい。
ＣＰＵ１５は、部位判断部により同一または類似していないと判断された場合（Ｓ２：ＮＯ）、Ｓ１の処理に戻り同様の処理を繰り返す。一方、ＣＰＵ１５は、部位判断部により同一または類似していると判断された場合（Ｓ２：ＹＥＳ）、入力部に入力した内視鏡画像を記録部１９に自動的に記録する（Ｓ３）。このＳ３の処理が自動記録部を構成する。なお、記録部１９には静止画が記録されるが、静止画に限定されることなく、動画を記録してもよい。
ここで、同じ検査部位の内視鏡画像が記録部１９に大量に記録されると、記録部１９の記録容量を圧迫したり、二次検診時に二次読影者の負担が大きくなってしまう。
そこで、自動記録部は、部位判断部により同一または類似していると判断された内視鏡画像を所定枚数（例えば３枚～５枚）、記録部１９に自動的に記録する。この結果、記録部１９の記録容量を圧迫することがなく、かつ、二次読影者の負担を小さくすることができる。
なお、自動記録部は、記録部１９に複数枚記録された内視鏡画像から観察画像に適した代表画像を検査部位毎に選定し、選定しなかった内視鏡画像を記録部１９から削除するようにしてもよい。自動記録部は、例えば、Ｓ２の処理により、予め定めた検査部位に最も類似している判断された画像を代表画像に選定する。この結果、噴門部２２、胃底部２３、胃体部２４、胃角部２５、幽門部２６のそれぞれにおいて、観察に最も適した代表画像が１枚だけ記録部１９に記録されることになる。
また、自動記録部は、代表画像を選定した場合、それ以降において、代表画像を選定した検査部位の画像を記録部１９に記録しないようにしてもよい。すなわち、自動記録部は、噴門部２２の代表画像を記録部１９に記録した場合、その後、噴門部２２の内視鏡画像は、記録部１９に記録しないようにする。
最後に、ＣＰＵ１５は、予め定めた検査部位が全て記録されたか否かを判定する（Ｓ４）。ＣＰＵ１５は、予め定めた検査部位が全て記録されていないと判定した場合（Ｓ４：ＮＯ）、Ｓ１の処理に戻り同様の処理を繰り返す。一方、ＣＰＵ１５は、予め定めた検査部位が全て記録されたと判定した場合（Ｓ４：ＹＥＳ）、自動記録処理を終了する。
以上の処理により、予め定めた検査部位に関する内視鏡画像と、入力部に入力した内視鏡画像の撮像部位とが同一または類似しているか否かを判断し、同一または類似していると判断された内視鏡画像を記録部１９に自動的に記録することができる。
よって、本実施形態の画像処理装置によれば、予め定めた検査部位が撮影された内視鏡画像を自動的に記録することができる。
また、本実施形態の画像処理装置により、上記で説明した自動記録処理を実行することで、記録が必要な検査部位が撮影された内視鏡画像の記録漏れを防ぐことができる。この結果、医師は、内視鏡検査中に内視鏡画像の記録漏れについて危惧する必要がなくなるため、内視鏡検査に集中することができる。
（第２の実施形態）
次に、第２の実施形態について説明する。
第２の実施形態の全体構成は、第１の実施形態と同一である。第２の実施形態では、自動記録処理が第１の実施形態と異なる。第１の実施形態では、予め定めた検査部位と、内視鏡画像の撮像部位とが同一または類似しているか否かを判断して自動記録を実行していた。これに対して、第２の実施形態では、予め定めた検査部位と、内視鏡画像の撮像部位とが同一または類似しているか否かを判断し、かつ、自動記録に適した条件か否かの判定を行い、自動記録を実行する。
次に、第２の実施形態について説明する。
第２の実施形態の全体構成は、第１の実施形態と同一である。第２の実施形態では、自動記録処理が第１の実施形態と異なる。第１の実施形態では、予め定めた検査部位と、内視鏡画像の撮像部位とが同一または類似しているか否かを判断して自動記録を実行していた。これに対して、第２の実施形態では、予め定めた検査部位と、内視鏡画像の撮像部位とが同一または類似しているか否かを判断し、かつ、自動記録に適した条件か否かの判定を行い、自動記録を実行する。
図６は、第２の実施形態の自動記録処理の流れの一例を説明するためのフローチャートである。なお、図６において、図５と同様の処理については、同一の符号を付して説明を省略する。
Ｓ２の処理により、部位判断部により類似していると判断された場合、ＣＰＵ１５は、自動記録に適した条件か否かを判定する（Ｓ１１）。このＳ１１の処理が条件判定部を構成する。
具体的には、条件判定部は、光源設定部からの光源の設定値を取得する。条件判定部は、光源の設定値が通常光観察（ＷＬＩ）の設定値か、あるいは、狭帯域光観察（ＮＢＩ）の設定値かを取得する。例えば、条件判定部は、通常光観察の設定値が設定されている場合、自動記録に適していない条件と判定し、狭帯域光観察の設定値が設定されている場合、自動記録に適している条件と判定する。なお、光源の設定値は、通常光観察（ＷＬＩ）の設定値、及び、狭帯域光観察（ＮＢＩ）の設定値に限定されることなく、他の特殊光観察の設定値であってもよい。
ＣＰＵ１５は、条件判定部により自動記録に適した条件でないと判定された場合（Ｓ１１：ＮＯ）、Ｓ１の処理に戻り、同様の処理を繰り返す。一方、ＣＰＵ１５は、条件判定部により自動記録に適した条件であると判定された場合（Ｓ１１：ＹＥＳ）、Ｓ１２の処理に進む。
ＣＰＵ１５は、部位判断部により同一または類似している判断された場合、かつ、条件判定部により自動記録に適した条件と判定された場合、入力部に入力した内視鏡画像を記録部１９に自動的に記録する（Ｓ１２）。Ｓ１２の処理が自動記録部を構成する。
ここで、自動記録部は、第１の実施形態と同様に、部位判断部により同一または類似している判断され、かつ、条件判定部により自動記録に適した条件と判定された内視鏡画像を所定枚数だけ記録部１９に記録する。
なお、自動記録部は、第１の実施形態と同様に、記録部１９に複数枚記録された内視鏡画像から観察画像に適した代表画像を検査部位毎に選定し、選定しなかった内視鏡画像を記録部１９から削除するようにしてもよい。また、自動記録部は、自動記録部は、代表画像を選定した場合、それ以降において、代表画像を選定した検査部位の画像を記録部１９に記録しないようにしてもよい。
最後に、ＣＰＵ１５は、Ｓ４の処理において、検査部位が全て記録されていないと判定した場合、Ｓ１の処理に戻り、検査部位が全て記録されたと判定した場合、自動記録処理を終了する。
なお、自動記録に適した条件は、光源の設定値に限定されることなく、他の条件であってもよい。
条件判定部は、内視鏡と撮像部位との距離を取得する距離取得部により取得された内視鏡の先端部１０と撮像部位との距離に応じて、自動記録に適した条件か否かを判定してもよい。
例えば、条件判定部は、距離取得部により取得された内視鏡の先端部１０と撮像部位との距離が所定値以下の場合、自動記録に適した条件と判定する。一方、条件判定部は、距離取得部により取得された内視鏡の先端部１０と撮像部位との距離が所定値よりも大きい場合、自動記録に適した条件でないと判定する。
また、条件判定部は、内視鏡に対する撮像部位の方向を推定する方向推定部により推定された内視鏡に対する撮像部位の方向に応じて、自動記録に適した条件か否かを判定してもよい。
例えば、条件判定部は、方向推定部により撮像部位の方向が所定の方向を向いていると推定された場合、自動記録に適した条件と判定する。一方、条件判定部は、方向推定部により撮像部位の方向が所定の方向を向いていないと推定された場合、自動記録に適した条件でないと判定する。
さらに、条件判定部は、入力部に入力した内視鏡画像から対象物を検出する対象物検出部により検出された対象物の種類に応じて、自動記録に適した条件か否かを判定してもよい。対象物検出部により検出される対象物は、病変領域、粘膜領域、不要物（食物残渣あるいは泡等）領域、暗部領域、あるいは、ハレーション領域等である。
例えば、条件判定部は、対象物検出部により病変領域、または、粘膜領域が検出された場合、自動記録に適した条件と判定する。一方、条件判定部は、対象物検出部により、不要物領域、暗部領域、または、ハレーション領域が検出された場合、自動記録に適した条件でないと判定する。
なお、以上説明した動作を実行するプログラムは、コンピュータプログラム製品として、フレキシブルディスク、ＣＤ－ＲＯＭ等の可搬媒体や、ハードディスク等の非一時的なコンピュータ読み取り可能な記憶媒体に、その全体あるいは一部が記録され、あるいは記憶されている。そのプログラムコードがコンピュータにより読み取られて、動作の全部あるいは一部が実行される。あるいは、そのプログラムの全体あるいは一部を通信ネットワークを経由して流通または提供することができる。利用者は、通信ネットワークを経由してそのプログラムをダウンロードしてコンピュータにインストールしたり、あるいは記録媒体からコンピュータにインストールすることで、容易に本発明の画像処理装置を実現することができる。
また、本明細書におけるフローチャート中の各ステップは、その性質に反しない限り、実行順序を変更し、複数同時に実行し、あるいは実行毎に異なった順序で実行してもよい。
本発明は、上述した実施形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
Claims (15)
- 被検体の体腔内を撮像した内視鏡画像を入力する入力部と、
予め定めた検査部位に関する内視鏡画像と、前記入力部に入力した内視鏡画像の撮像部位とが同一または類似しているか否かを判断する部位判断部と、
前記部位判断部により同一または類似していると判断された場合、前記入力部に入力した内視鏡画像を所定枚数、記録部に自動的に記録する自動記録部と、
を有することを特徴とする画像処理装置。 - 自動記録に適した条件か否かを判定する条件判定部を有し、
前記自動記録部は、前記部位判断部により同一または類似していると判断され、かつ、前記条件判定部により前記自動記録に適した条件であると判定された場合、前記入力部に入力した内視鏡画像を前記記録部に自動的に記録することを特徴とする請求項１に記載の画像処理装置。 - 前記条件判定部は、光源の設定値に応じて、前記自動記録に適した条件か否かを判定することを特徴とする請求項２に記載の画像処理装置。
- 前記条件判定部は、内視鏡の先端部と撮像部位との距離に応じて、前記自動記録に適した条件か否かを判定することを特徴とする請求項２に記載の画像処理装置。
- 前記条件判定部は、内視鏡に対する撮像部位の方向に応じて、前記自動記録に適した条件か否かを判定することを特徴とする請求項２に記載の画像処理装置。
- 前記条件判定部は、前記入力部に入力した内視鏡画像から検出された対象物の種類に応じて、前記自動記録に適した条件か否かを判定することを特徴とする請求項２に記載の画像処理装置。
- 前記自動記録部は、前記記録部に記録された前記所定枚数の内視鏡画像から観察に適した代表画像を選定して前記記録部に記録することを特徴とする請求項１に記載の画像処理装置。
- 前記自動記録部は、前記所定枚数の内視鏡画像のうち、前記代表画像に選定されなかった内視鏡画像を前記記録部から削除することを特徴とする請求項７に記載の画像処理装置。
- 前記自動記録部は、検査部位毎に前記代表画像を選定することを特徴とする請求項７に記載の画像処理装置。
- 前記自動記録部は、前記代表画像を選定した後、前記代表画像を選定した検査部位に関する内視鏡画像を前記記録部に記録しないことを特徴とする請求項７に記載の画像処理装置。
- 前記予め定めた検査部位は、胃であることを特徴とする請求項１に記載の画像処理装置。
- 前記予め定めた検査部位は、前記胃の噴門部、胃底部、胃体部、胃角部及び幽門部であることを特徴とする請求項１１に記載の画像処理装置。
- 前記予め定めた検査部位は、咽頭、食道、小腸、あるいは、大腸であることを特徴とする請求項１に記載の画像処理装置。
- 被検体の体腔内を撮像した内視鏡画像を入力し、
予め定めた検査部位に関する内視鏡画像と、入力した内視鏡画像の撮像部位とが同一または類似しているか否かを判断し、
同一または類似していると判断された場合、入力した内視鏡画像を所定枚数、記録部に自動的に記録する、ことを特徴とする画像処理方法。 - 被検体の体腔内を撮像した内視鏡画像を入力するコードと、
予め定めた検査部位に関する内視鏡画像と、入力した内視鏡画像の撮像部位とが同一または類似しているか否かを判断するコードと、
同一または類似していると判断された場合、入力した内視鏡画像を所定枚数、記録部に自動的に記録するコードと、
をコンピュータに実行させることを特徴とする画像処理プログラム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2020/001476 WO2021144951A1 (ja) | 2020-01-17 | 2020-01-17 | 画像処理装置、画像処理方法、及び、画像処理プログラム |
| JP2021570594A JP7389823B2 (ja) | 2020-01-17 | 2020-01-17 | 画像処理装置、画像処理方法、及び、画像処理プログラム |
| US17/861,628 US20220345659A1 (en) | 2020-01-17 | 2022-07-11 | Image processing apparatus, image processing method, and storage medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2020/001476 WO2021144951A1 (ja) | 2020-01-17 | 2020-01-17 | 画像処理装置、画像処理方法、及び、画像処理プログラム |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| US17/861,628 Continuation US20220345659A1 (en) | 2020-01-17 | 2022-07-11 | Image processing apparatus, image processing method, and storage medium |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2021144951A1 true WO2021144951A1 (ja) | 2021-07-22 |
Family
ID=76864086
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2020/001476 WO2021144951A1 (ja) | 2020-01-17 | 2020-01-17 | 画像処理装置、画像処理方法、及び、画像処理プログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20220345659A1 (ja) |
| JP (1) | JP7389823B2 (ja) |
| WO (1) | WO2021144951A1 (ja) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002253493A (ja) * | 2001-02-28 | 2002-09-10 | Asahi Optical Co Ltd | 電子内視鏡装置の観察部位表示システム |
| JP2008278964A (ja) * | 2007-05-08 | 2008-11-20 | Olympus Corp | 画像処理装置および画像処理プログラム |
| JP2013013569A (ja) * | 2011-07-04 | 2013-01-24 | Hoya Corp | 画像処理装置、画像処理方法、及び画像処理ソフトウェア |
| WO2014061553A1 (ja) * | 2012-10-18 | 2014-04-24 | オリンパスメディカルシステムズ株式会社 | 画像処理装置及び画像処理方法 |
| JP2016189812A (ja) * | 2015-03-30 | 2016-11-10 | 富士フイルム株式会社 | 内視鏡撮影部位特定装置、方法、プログラム |
| WO2017006618A1 (ja) * | 2015-07-09 | 2017-01-12 | オリンパス株式会社 | サーバ、内視鏡システム、送信方法およびプログラム |
| WO2019130924A1 (ja) * | 2017-12-26 | 2019-07-04 | 富士フイルム株式会社 | 画像処理装置、内視鏡システム、画像処理方法、及びプログラム |
-
2020
- 2020-01-17 WO PCT/JP2020/001476 patent/WO2021144951A1/ja active Application Filing
- 2020-01-17 JP JP2021570594A patent/JP7389823B2/ja active Active
-
2022
- 2022-07-11 US US17/861,628 patent/US20220345659A1/en active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002253493A (ja) * | 2001-02-28 | 2002-09-10 | Asahi Optical Co Ltd | 電子内視鏡装置の観察部位表示システム |
| JP2008278964A (ja) * | 2007-05-08 | 2008-11-20 | Olympus Corp | 画像処理装置および画像処理プログラム |
| JP2013013569A (ja) * | 2011-07-04 | 2013-01-24 | Hoya Corp | 画像処理装置、画像処理方法、及び画像処理ソフトウェア |
| WO2014061553A1 (ja) * | 2012-10-18 | 2014-04-24 | オリンパスメディカルシステムズ株式会社 | 画像処理装置及び画像処理方法 |
| JP2016189812A (ja) * | 2015-03-30 | 2016-11-10 | 富士フイルム株式会社 | 内視鏡撮影部位特定装置、方法、プログラム |
| WO2017006618A1 (ja) * | 2015-07-09 | 2017-01-12 | オリンパス株式会社 | サーバ、内視鏡システム、送信方法およびプログラム |
| WO2019130924A1 (ja) * | 2017-12-26 | 2019-07-04 | 富士フイルム株式会社 | 画像処理装置、内視鏡システム、画像処理方法、及びプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7389823B2 (ja) | 2023-11-30 |
| US20220345659A1 (en) | 2022-10-27 |
| JPWO2021144951A1 (ja) | 2021-07-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20090051695A1 (en) | Image processing apparatus, computer program product, and image processing method | |
| JP5444511B1 (ja) | 画像処理装置 | |
| US8467615B2 (en) | Image display apparatus | |
| JP5291955B2 (ja) | 内視鏡検査システム | |
| EP1857042B1 (en) | Image display apparatus and image display method | |
| JP4971615B2 (ja) | 生体内でキャプチャされた画像ストリームを編集するシステムおよび方法 | |
| US7805178B1 (en) | Device, system and method of receiving and recording and displaying in-vivo data with user entered data | |
| US20180084970A1 (en) | Image display device, image display method, and program | |
| JP5044066B2 (ja) | 画像表示装置及びカプセル型内視鏡システム | |
| EP1627594B1 (en) | Medical image recording system | |
| JP6774552B2 (ja) | プロセッサ装置、内視鏡システム及びプロセッサ装置の作動方法 | |
| JP2005218584A (ja) | 画像情報の表示処理装置、その表示処理方法及び表示処理プログラム | |
| JP5593008B1 (ja) | 画像処理装置及び画像処理方法 | |
| US20190298159A1 (en) | Image processing device, operation method, and computer readable recording medium | |
| WO2021144951A1 (ja) | 画像処理装置、画像処理方法、及び、画像処理プログラム | |
| US20230360221A1 (en) | Medical image processing apparatus, medical image processing method, and medical image processing program | |
| JP4445742B2 (ja) | 画像表示装置、画像表示方法、及び画像表示プログラム | |
| JP7096713B2 (ja) | 内視鏡システム | |
| JP4009557B2 (ja) | 医療用画像記録装置 | |
| JP5242731B2 (ja) | 画像表示システムおよび画像表示端末装置 | |
| US20230410304A1 (en) | Medical image processing apparatus, medical image processing method, and program | |
| JP7138719B2 (ja) | 内視鏡システムに用いる画像処理装置、内視鏡システム及び内視鏡システムの作動方法 | |
| US20240000299A1 (en) | Image processing apparatus, image processing method, and program | |
| WO2023195103A1 (ja) | 検査支援システムおよび検査支援方法 | |
| JP2022145395A (ja) | 検査支援装置、検査支援方法および検査支援プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20913305 Country of ref document: EP Kind code of ref document: A1 |
|
| ENP | Entry into the national phase |
Ref document number: 2021570594 Country of ref document: JP Kind code of ref document: A |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 20913305 Country of ref document: EP Kind code of ref document: A1 |