JP7440629B2 - 内視鏡プロセッサ装置 - Google Patents

内視鏡プロセッサ装置 Download PDF

Info

Publication number
JP7440629B2
JP7440629B2 JP2022526669A JP2022526669A JP7440629B2 JP 7440629 B2 JP7440629 B2 JP 7440629B2 JP 2022526669 A JP2022526669 A JP 2022526669A JP 2022526669 A JP2022526669 A JP 2022526669A JP 7440629 B2 JP7440629 B2 JP 7440629B2
Authority
JP
Japan
Prior art keywords
scene
observation
information
recommended
observed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022526669A
Other languages
English (en)
Other versions
JPWO2021241735A5 (ja
JPWO2021241735A1 (ja
Inventor
雅啓 北原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2021241735A1 publication Critical patent/JPWO2021241735A1/ja
Publication of JPWO2021241735A5 publication Critical patent/JPWO2021241735A5/ja
Application granted granted Critical
Publication of JP7440629B2 publication Critical patent/JP7440629B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Optics & Photonics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)

Description

本発明は、AI(Artificial Intelligence)を用いた認識処理を行う内視鏡プロセッサ装置に関する。
医療分野においては、内視鏡、光源装置、及びプロセッサ装置を備える内視鏡システム用いた診断が広く行われている。内視鏡システムは、内視鏡により撮影した画像信号に基づいて観察対象の画像を生成しディスプレイに表示する。ユーザー(医師)は、ディスプレイに表示された観察画像を見ながら診断を行うことができる。
また、近年は、診断を効率的に支援するために内視鏡システムにAI技術が導入されはじめている。このような内視鏡システムは、疾病の可能性を迅速に判定する方法であるスクリーニング検査においては特に有用である。診断を支援する技術として次のような特許文献がある。
特許文献1は、検査画像を基準画像と比較して、一致度が高い場合に撮影するように操作を促し、ガイドラインに沿う画像を取得できるように支援を行う技術を開示している。特許文献2は、処置の内容に従って実施済みのタスクを検知し、未実施のタスクと区別してディスプレイに表示することにより検査プロトコルに遵守した検査が行えるよう支援技術を開示している。特許文献3は、所定の検査部位における画像の枚数が予定撮像枚数と一致していない場合に、アラートを発生させて、ユーザーに画像の取り損ねを通知する技術を開示している。
特開2018-139846号公報 特開2017-99509号公報 特開2012-70936号公報
内視鏡検査のガイドラインにおいては、観察が必要な領域はどこかという事だけでなく、観察対象の撮影順序などの手順も含まれている。この理由は、二次読影に上がる画像に映る臓器の領域が連続的になるようにすることや検査中の無駄なスコープの移動を抑えることで、観察漏れや偽陰性を防ぎ検査時間を短縮するためである。
しかしながら、特許文献1や特許文献3の方法では、ガイドラインに沿う画像を取得するために、ユーザーが内視鏡を適切な撮影位置になるように操作しなければならず、適切な画像を取得するには複雑な操作が必要であることを考慮すると、迅速にスクリーニングを行うためには有効な手段ではない。また、特許文献2の方法では、予め定める手順通りに検査を行えるように支援情報を表示しているが、観察対象における病変の存在や照明の具合などに起因して撮影が漏れた場合には、具体的な操作情報がなければ熟練者であっても適切な位置の撮影をすることは難しいこともある。
本発明は、ガイドラインで定められた手順に沿った内視鏡検査の支援を行うことができる内視鏡プロセッサ装置を提供することを目的とする。
本発明の内視鏡プロセッサ装置は、プロセッサを備え、プロセッサは、撮影された医用画像を取得し、特定処理が行われた場合に、医用画像を用いて、撮影された観察シーンに関する観察シーン情報を取得し、観察シーン情報を観察シーン情報メモリに記憶し、ガイドラインで予め定められた参照シーンに関する参照シーン情報を参照シーン情報メモリに記憶し、参照シーン情報と観察シーン情報とを比較して、観察シーンがガイドラインに従って観察すべき推奨観察シーンか否かを判定し、観察シーンが推奨観察シーンでない場合には、推奨観察シーンに関する推奨観察シーン情報をディスプレイに表示する。
プロセッサは、観察シーンと、特定処理が行われた撮影順序とを関連付けて観察シーン情報メモリに記憶し、参照シーンと、ガイドラインによって定められる参照シーンの撮影順序とを参照シーン情報メモリに記憶し、観察シーンと、観察シーンの撮影順序に対応する参照シーンとを比較して、観察シーンが推奨観察シーンか否かを判定することが好ましい。
プロセッサは、観察シーンが推奨観察シーンでないと判定された場合には、撮影順序の参照シーンの参照シーン情報を、推奨観察シーン情報としてディスプレイに表示することが好ましい。
プロセッサは、観察シーンが推奨観察シーンであると判定された場合には、撮影順序の次の順序の参照シーン情報を推奨観察シーン情報としてディスプレイに表示することが好ましい。
特定処理は、医用画像の静止画を取得する静止画取得処理であることが好ましい。
プロセッサは、内視鏡スコープを推奨観察シーンへ誘導するためのガイドを表示することが好ましい。
プロセッサは、医用画像にガイドを重畳して表示することが好ましい。
ガイドには、参照シーン情報に基づいて、推奨観察シーンを撮影するための操作の手順が含まれることが好ましい。
プロセッサは、観察シーン情報のうち、少なくとも、観察シーンが含まれる部位と観察シーンの位置に関する情報を文字情報として表示することが好ましい。
プロセッサは、参照シーンの撮影がすべて終了した場合には、観察シーンのうち再検査の必要な要再検査観察シーンを検出し、要再検査観察シーンの情報を表示することが好ましい。
本発明によれば、ガイドラインで定められた手順に沿った内視鏡検査の支援を行うことができる。
内視鏡システムの外観図である。 内視鏡プロセッサ装置の機能を示すブロック図である。 上部消化管をスクリーニング検査する場合の内視鏡の操作の手順を示す図である。 参照シーン情報を説明する図である。 撮影した医用画像と関連情報をモニタに表示した例を示す図である。 ガイドラインに沿った撮影ができている場合の観察シーン情報メモリの観察シーンと参照シーン情報の参照シーンの比較を説明する図である。 ガイドラインに沿った撮影ができている場合に表示される画面を説明する図である。 ガイドラインに沿った撮影ができていない場合の観察シーン情報メモリの観察シーンと参照シーン情報の参照シーンの比較を説明する図である。 ガイドラインに沿った撮影ができていない場合に表示される画面を説明する図である。 推奨観察シーンを撮影するために内視鏡スコープの操作を誘導するガイドの表示を説明する図である。 医用画像にガイドを重畳して表示させる一つ目の例を説明する図である。 医用画像にガイドを重畳して表示させる二つ目の例を説明する図である。 ガイドラインに定める参照シーンをガイドラインに沿って撮影するために記憶する内視鏡の操作の手順を説明する図である。 要再検査観察シーン検出部を備える内視鏡プロセッサ装置の機能を示すブロック図である。 推奨観察シーン報知部の機能を説明するフローチャートである。
図1に示すように、内視鏡システム10は、内視鏡11と光源装置14と内視鏡プロセッサ装置16とディスプレイ18とユーザーインターフェース19を有する。内視鏡11は、光源装置14と光学的に接続し、かつ、内視鏡プロセッサ装置16と電気的に接続する。内視鏡11は、光源装置14から供給された照明光を観察対象に対して照明する。また、内視鏡11は、観察対象を撮像して画像信号を取得する。内視鏡プロセッサ装置16は、内視鏡11からの画像信号を取得し、画像信号に対して各種の画像処理を施す。また、内視鏡プロセッサ装置16は、各種の画像処理が施された画像信号に基づいて、ディスプレイ18に各種の画像を表示する。
図2に示すように、内視鏡プロセッサ装置16は、医用画像取得部21と観察シーン情報取得部22と観察シーン情報メモリ23と参照シーン情報メモリ24と観察シーン比較部25と推奨観察シーン報知部26を有している。内視鏡プロセッサ装置16の各機能は、プロセッサによって構成される制御部(図示しない)が、プログラム用メモリに組み込まれた病変などの認識処理を行うプログラムを実行することにより実現する。
内視鏡プロセッサ装置16は、ディスプレイ18及びユーザーインターフェース19と電気的に接続する。ディスプレイ18は、観察対象の画像や、画像に付帯する情報などを表示する。ユーザーインターフェース19は、関心領域(ROI:Region Of Interest)の指定や機能設定などの入力操作を受け付ける。
内視鏡システム10は、観察モードとして、通常光モードと特殊光モードと検査支援モードを有している。医用画像取得部21は、各観察モードに応じた異なる環境で観察対象を撮影して得られた画像信号に基づき医用画像を生成する。
観察モードが通常光モードである場合、白色光のような通常光を発光するとともに、この通常光で照明中の観察対象を撮像して得られた画像信号に基づき、自然な色合いの通常光画像を生成する。また、観察モードが特殊光モードである場合、通常光と発光スペクトルが異なる特殊光を発光するとともに、この特殊光で照明中の観察対象を撮像して得られた画像信号に基づき、病変部や構造が強調処理された特殊光画像を生成する。
また、観察モードが検査支援モードである場合、検査用照明光を発光する。そして、検査用照明光で照明中の検査領域内の観察対象を撮像して得られた画像信号に基づき、検査画像を生成する。検査支援モードは、スクリーニング時に、検診用のガイドラインで定められた画像を確実に撮影することができるように支援するモードである。なお、検査用照明光は、通常光あるいは特殊光を用いることができる。
例えば、ガイドラインに沿って上部消化管をスクリーニングする場合には、図3に示すように、まず、内視鏡11の挿入部12を管腔に対して押し込んでいき、食道Es、胃Stを通じて、十二指腸Duoの検査最深位置P0まで挿入する。検査最深位置P0に到達したときに静止画の撮影を開始する。まず、ユーザーは、内視鏡11の操作部13を操作して、検査最深位置P0おいてガイドラインで定められた検査領域を撮影する。上部消化管においては、十二指腸Duo、胃St、食道Esのように内視鏡11の挿入部12を引き抜いていき、それぞれガイドラインで定められた検査領域の撮影を行う。すべての検査領域の撮影が終了したら内視鏡11の挿入部12を体腔外へと引き出す。なお、大腸などの下部消化管に関しても同様の手順でスクリーニングを行うことが好ましい。
また、内視鏡11の挿入部12の外周面には、挿入部12を体内へ挿入した長さである挿入長を測定するための測定用目盛り(図示しない)が設けられている。測定用目盛りは、挿入部12の長手方向に沿って所定のピッチ(例えば、1cm刻み)に刻まれている。挿入長は、目盛り検出センサ(図示しない)が測定用目盛りの値を読み取ることにより計測される。目盛り検出センサは、内視鏡11の挿入部12を挿入する際に患者が口に咥えるマウスピースに設けることが好ましい。目盛り検出センサは、内視鏡プロセッサ装置16と有線または無線で接続され、目盛り検出センサにより検出された情報は、内視鏡プロセッサ装置16に送信される。
参照シーン情報メモリ24には、参照シーン情報31が記憶されている。図4に示すように、参照シーン情報31は、参照シーンとガイドラインによって定められる参照シーンの撮影順序(撮影順序を示す番号)が関連付けられたものである。例えば、参照シーン情報31として、撮影順序が1番目の参照シーンは部位Pの小領域のシーンAである。同様に2番目の参照シーンは部位Qの小領域のシーンBであり、3番目の参照シーンは部位Qの小領域のシーンCである。このように参照シーン情報メモリ24には、参照シーン情報31として、ガイドラインで定めるすべての参照シーンが撮影順序とともに記憶されている。
図5は、スクリーニング検査をする際のディスプレイ18に表示される表示画面41の例である。ディスプレイ18には、観察対象を撮影した観察画像42がリアルタイムに表示され、観察中の観察シーンのシーン認識結果43に加えて、病変の有無可能性など観察シーンに関する情報が関連情報表示領域44に表示される。図5では、観察シーンの認識結果43として、観察シーンが「シーンC」であるとのシーン認識結果43と、観察シーンのシーンCに対する類似度として「80%」と表示されている。類似度とは、観察シーンが予め記憶された画像と観察画像42を比較して算出したものである。なお、観察画像42としては、スクリーニング中は、検査用照明光を用いて撮像された検査画像を表示するが、通常光画像でも特殊光画像でもよい。あるいは、内視鏡11を操作して静止画を撮影した場合には、撮影した静止画を表示してもよい。
観察シーン情報取得部22は、内視鏡11の操作部13に設けられたフリーズボタン13a(図1参照)を操作して、ディスプレイ18に表示される観察シーンを静止画として撮影する静止画取得処理(特定処理)が行われた場合に、撮影された観察シーンに関する観察シーン情報を取得する。また、観察シーン情報メモリ23は、取得した観察シーン情報を静止画取得処理が行われた順番を示す撮影順序に対応づけて記憶する。観察シーン情報としては、撮影領域が含まれる部位やその具体的な位置の情報、撮影領域における病変の有無などがある。これらの情報は機械学習に基づく学習モデルを用いたいわゆるAI(Artificial Intelligence)によって実行される処理の結果として取得されるものである。また、後述する観察シーンの参照シーンに対する類似度もAIによって処理されたものであることが好ましい。なお、機械学習としては、CNN(Convolutional Neural Network)を用いることができる。
観察シーン比較部25は、観察シーン情報メモリ23に記憶された観察シーン情報と、参照シーン情報メモリ24に記憶された参照シーン情報31とを比較して、観察シーンがガイドラインに従って観察すべき推奨観察シーンか否かを判定する。
具体的には、観察シーン比較部25は、観察シーンと、観察シーンの撮影順序に対応する参照シーンとを比較して、観察シーンが推奨観察シーンか否かの判定を行う。図6に示すように、例えば、観察シーン情報メモリ23に記憶された撮影順序の1番目の観察シーンは「シーンA」である。これを参照シーン情報31の1番目の撮影順序に対応する「シーンA」と比較する。このように、観察シーン比較部25は、同じ撮影順序に対応づけられたシーン同士の比較を撮影順序に従って順次行う。
観察シーン比較部25が、観察シーンが推奨観察シーンであると判定した場合には、推奨観察シーン報知部26は、観察シーンの撮影順序の次の順番の参照シーン情報31をディスプレイ18の関連情報表示領域44に表示する。
図6において、観察シーン情報メモリ23の撮影順序が3番目の観察シーンには「シーンC」が記憶され、参照シーン情報31の3番目の参照シーンと同じであるとき、観察シーンが推奨観察シーンであると判定される。このとき、図7に示すように、「シーンC」の次の順番の参照シーン情報31として、4番目の「シーンD」の情報をディスプレイ18の関連情報表示領域44に表示する。
一方、観察シーン比較部25が、観察シーンが推奨観察シーンでないと判定した場合には、推奨観察シーン報知部26は、観察シーンの撮影順序の参照シーン情報31を、推奨観察シーン情報としてディスプレイ18の関連情報表示領域44に表示する。
図8に示すように、観察シーン情報メモリ23の撮影順序が3番目の観察シーンには「シーンD」が記憶されている。参照シーン情報31の撮影順序の3番目の参照シーンと比較すると、参照シーン情報31の3番目の参照シーンは「シーンC」であるから異なっている。このとき、観察シーン比較部25は、観察シーンが推奨観察シーンではないと判定する。
この場合、推奨観察シーン報知部26は、撮影順序が3番目に当たる参照シーン「シーンC」を、推奨観察シーン情報として関連情報表示領域44に表示する。推奨観察シーン情報として表示する方法としては、例えば、図9に示すように、撮影順序が3番目のシーンとして、「シーンC」が撮影できていないことを報知するために、「シーンCが未撮影です」と関連情報表示領域44に表示する。
ガイドラインで定めるすべての参照シーンの撮影(参照シーンに対応する画像の撮影)が終了した時に、撮影した画像のうち、病変が有る可能性が高いと判定された画像がある場合には、次に撮影すべき推奨観察シーンとして、その画像の観察シーンに関する情報や、観察シーンへ移動させるための操作情報を表示することが好ましい。
また、図10に示すように、推奨観察シーン報知部26は、内視鏡11のスコープ(図示しない)を推奨観察シーンが撮影できる位置に誘導するためのガイドを表示する。例えば、ディスプレイ18の関連情報表示領域44には、シーンCを撮影する位置に誘導する操作情報として、「上下アングル-15度」、「挿入5cm」と表示する。
なお、ガイドは、ディスプレイ18に表示される観察画像42に重畳させて表示させてもよい。この場合、内視鏡11のスコープを動かす方向や角度を示す図形を表示するほか、動かす方向を示すように、観察画像42の枠部分の色を操作情報に対応させた色に変更するなどの方法で、操作情報を示すことができる。
観察画像42に重畳させる場合、例えば、図11に示すように、下方向の矢印と「-15度」と表示することにより、内視鏡11のスコープのアングルをマイナス方向(下方向)に15度操作することを示す。さらに、図12に示すように、「挿入5cm」と表示することにより、内視鏡11のスコープを5cm挿入する操作を示す。このように、観察画像42に重畳させて表示する場合には、1回の操作ごとに表示を切り替えることが好ましい。
図13に示すように、参照シーン情報31には、内視鏡11のスコープを前の参照シーンを撮影する位置から次の参照シーンを撮影する位置に移動させる操作手順が記憶されている。これらの操作手順は、身長など体格に関する情報と対応づけて予め記憶されている。前述したガイドは、これらの操作手順に従って表示される。例えば、内視鏡11のスコープをシーンDからシーンCへ戻るように移動する場合には、シーンCからシーンDへの操作手順の逆の手順でガイドを表示する。つまり、上下アングルをマイナス15度した後で、挿入5cmの操作を行うようにガイドを表示させる。
図14に示すように、内視鏡プロセッサ装置16は、要再検査観察シーン検出部27を備えていてもよい。要再検査観察シーン検出部27は、参照シーンの撮影をすべて終了した場合に、観察シーン情報メモリ23に記憶された観察シーンのうち、再検査の必要な要再検査観察シーンを検出する。例えば、要再検査観察シーン検出部27は、記憶された観察シーンのうちシーンB(図6など参照)において、病変の疑いがある病変領域を検出した場合には、シーンBを要再検査観察シーンとして検出する。この場合、推奨観察シーン報知部26は、シーンBに関する情報及び内視鏡11を操作するガイドをディスプレイ18に表示する。
図15は、本発明の内視鏡システム10を用いて、ユーザーがスクリーニング検査を行う際の推奨観察シーン報知部26の機能について示すフローチャートである。まず、ユーザーが観察シーンを静止画として撮影すると、観察シーン情報取得部22は、観察シーンと撮影順序を関連付けた観察シーン情報を観察シーン情報メモリ23に記憶する(ステップS1)。
観察シーン比較部25は、観察シーン情報メモリ23に記憶された観察シーンと、参照シーン情報メモリ24に参照シーン情報31として記憶された参照シーンを比較して、観察シーンがガイドラインに従って観察すべき推奨観察シーンか否かを判定する(ステップS2)。推奨観察シーン報知部26は、記憶された観察シーンが、推奨観察シーンであると判定した場合は、観察シーンの撮影順序の次の順番の参照シーン情報31を、推奨観察シーン情報としてディスプレイ18に表示する(ステップS3)。記憶された観察シーンが、推奨観察シーンでないと判定した場合は、ガイドラインに沿って撮影されていないと判定する。この場合には、観察シーンの撮影順序の参照シーン情報31を、推奨観察シーン情報としてディスプレイ18に表示する(ステップS4)。ステップS4では、さらに、内視鏡11のスコープを推奨観察シーンが撮影できる位置に誘導するためのガイドをディスプレイ18に表示し、ユーザーはガイドに従って未撮影の観察シーンの撮影を行う。推奨観察シーンの撮影が終わると、推奨観察シーン報知部26は、元のルートに戻るガイドを表示する(ステップS5)。
同様の手順で、ユーザーはガイドラインに沿って最後の観察シーンまでスクリーニング検査を進める。最後に撮影した観察シーンが参照シーン情報31の最後のシーンである場合は、観察シーン比較部25は、最後の観察シーンであると判定する(ステップS6)。要再検査観察シーン検出部27は、参照シーンの撮影をすべて終了した場合には、観察シーン情報メモリ23に記憶された観察シーンのうち、再検査の必要な要再検査観察シーンを検出する(ステップS7)。推奨観察シーン報知部26は、要再検査観察シーンに関する情報及び内視鏡11を操作するガイドをディスプレイ18に表示する(ステップS8)。ユーザーは、再検査を含むすべての検査を終了したのちに、内視鏡11を体腔外に引き出し検査を終了する。
なお、本実施形態においては、ユーザーが観察シーンを静止画として撮影するタイミングで、ガイドラインに沿って撮影できているか否かを判定しているが、動画のように連続して撮影される画像に対しても、次のような方法でガイドラインに沿っているか否かの判定ができる。例えば、観察シーン比較部25は、参照シーン情報31の参照シーンが、動画として撮影された画像に含まれているか否かを照合する。ガイドラインに沿って検査が進められている場合は、特定のシーン(参照シーン)が予め定めた撮影順序と同じ順序で動画に含まれることになる。したがって、観察シーン比較部25は、動画として撮影された観察シーンの順序と参照シーンの順序が異なった場合に、ガイドラインに沿っていないと判定する。ガイドラインに沿っていないと判定された場合には、推奨観察シーン報知部26が操作情報を表示して、ガイドラインに沿った撮影が行えるようにユーザーを案内する。
本実施形態において、医用画像取得部21、観察シーン情報取得部22、観察シーン比較部25、及び推奨観察シーン報知部26といった各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウエア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA(Field Programmable Gate Array)などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable LogicDevice:PLD)、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
1つの処理部は、これら各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合せ(例えば、複数のFPGAや、CPUとFPGAの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウエアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路(circuitry)である。
10 内視鏡システム
11 内視鏡
12 挿入部
13 操作部
13a フリーズボタン
14 光源装置
16 内視鏡プロセッサ装置
18 ディスプレイ
19 ユーザーインターフェース
21 医用画像取得部
22 観察シーン情報取得部
23 観察シーン情報メモリ
24 参照シーン情報メモリ
25 観察シーン比較部
26 推奨観察シーン報知部
27 要再検査観察シーン検出部
31 参照シーン情報
41 表示画面
42 観察画像
43 シーン認識結果
44 関連情報表示領域
45 ガイド表示ボタン

Claims (8)

  1. プロセッサを備え、
    前記プロセッサは、
    撮影された医用画像を取得し、
    特定処理が行われた場合に、前記医用画像を用いて、撮影された観察シーンに関する観察シーン情報を取得し、
    前記観察シーン情報を観察シーン情報メモリに記憶し、
    ガイドラインで予め定められた参照シーンに関する参照シーン情報を参照シーン情報メモリに記憶し、
    前記参照シーン情報と前記観察シーン情報とを比較して、前記観察シーンが前記ガイドラインに従って観察すべき推奨観察シーンか否かを判定し、
    前記観察シーンが前記推奨観察シーンでない場合には、前記推奨観察シーンに関する推奨観察シーン情報をディスプレイに表示し、
    前記観察シーンと、前記特定処理が行われた撮影順序とを関連付けて観察シーン情報メモリに記憶し、
    前記参照シーンと、前記ガイドラインによって定められる前記参照シーンの撮影順序とを前記参照シーン情報メモリに記憶し、
    前記観察シーンと、前記観察シーンの撮影順序に対応する前記参照シーンとを比較して、前記観察シーンが前記推奨観察シーンか否かを判定し、
    前記観察シーンが前記推奨観察シーンであると判定された場合には、前記撮影順序の次の順序の前記参照シーン情報のうち少なくとも前記参照シーンの画像を前記推奨観察シーン情報として前記ディスプレイに表示する内視鏡プロセッサ装置。
  2. 前記プロセッサは、前記観察シーンが前記推奨観察シーンでないと判定された場合には、前記撮影順序の前記参照シーンの前記参照シーン情報を、前記推奨観察シーン情報として前記ディスプレイに表示する請求項に記載の内視鏡プロセッサ装置。
  3. 前記特定処理は、前記医用画像の静止画を取得する静止画取得処理である請求項1または2に記載の内視鏡プロセッサ装置。
  4. 前記プロセッサは、内視鏡スコープを前記推奨観察シーンへ誘導するためのガイドを表示する請求項1からのいずれか一項に記載の内視鏡プロセッサ装置。
  5. 前記プロセッサは、前記医用画像に前記ガイドを重畳して表示する請求項に記載の内視鏡プロセッサ装置。
  6. 前記ガイドには、前記参照シーン情報に基づいて、前記推奨観察シーンを撮影するための操作の手順が含まれる請求項またはに記載の内視鏡プロセッサ装置。
  7. 前記プロセッサは、前記観察シーン情報のうち、少なくとも、前記観察シーンが含まれる部位と前記観察シーンの位置に関する情報を文字情報として表示する請求項1からのいずれか一項に記載の内視鏡プロセッサ装置。
  8. 前記プロセッサは、前記参照シーンの撮影がすべて終了した場合には、前記観察シーンのうち再検査の必要な要再検査観察シーンを検出し、前記要再検査観察シーンの情報を表示する請求項1からのいずれか一項に記載の内視鏡プロセッサ装置。
JP2022526669A 2020-05-28 2021-05-28 内視鏡プロセッサ装置 Active JP7440629B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020093057 2020-05-28
JP2020093057 2020-05-28
PCT/JP2021/020413 WO2021241735A1 (ja) 2020-05-28 2021-05-28 内視鏡プロセッサ装置

Publications (3)

Publication Number Publication Date
JPWO2021241735A1 JPWO2021241735A1 (ja) 2021-12-02
JPWO2021241735A5 JPWO2021241735A5 (ja) 2023-01-24
JP7440629B2 true JP7440629B2 (ja) 2024-02-28

Family

ID=78744854

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022526669A Active JP7440629B2 (ja) 2020-05-28 2021-05-28 内視鏡プロセッサ装置

Country Status (5)

Country Link
US (1) US20230105682A1 (ja)
EP (1) EP4159108A4 (ja)
JP (1) JP7440629B2 (ja)
CN (1) CN115666361A (ja)
WO (1) WO2021241735A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018159347A1 (ja) 2017-02-28 2018-09-07 富士フイルム株式会社 プロセッサ装置、内視鏡システム及びプロセッサ装置の作動方法
JP2018139848A (ja) 2017-02-28 2018-09-13 富士フイルム株式会社 内視鏡システム及びその作動方法
JP2018139846A (ja) 2017-02-28 2018-09-13 富士フイルム株式会社 内視鏡システム及びその作動方法
JP2018139847A (ja) 2017-02-28 2018-09-13 富士フイルム株式会社 内視鏡システム及びその作動方法
WO2021053808A1 (ja) 2019-09-20 2021-03-25 Hoya株式会社 内視鏡用プロセッサ、トレーニング装置、情報処理方法、トレーニング方法およびプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5542021B2 (ja) 2010-09-28 2014-07-09 富士フイルム株式会社 内視鏡システム、内視鏡システムの作動方法、及びプログラム
JP6644530B2 (ja) 2015-11-30 2020-02-12 オリンパス株式会社 内視鏡業務支援システム
JP6641172B2 (ja) * 2015-12-14 2020-02-05 オリンパス株式会社 内視鏡業務支援システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018159347A1 (ja) 2017-02-28 2018-09-07 富士フイルム株式会社 プロセッサ装置、内視鏡システム及びプロセッサ装置の作動方法
JP2018139848A (ja) 2017-02-28 2018-09-13 富士フイルム株式会社 内視鏡システム及びその作動方法
JP2018139846A (ja) 2017-02-28 2018-09-13 富士フイルム株式会社 内視鏡システム及びその作動方法
JP2018139847A (ja) 2017-02-28 2018-09-13 富士フイルム株式会社 内視鏡システム及びその作動方法
WO2021053808A1 (ja) 2019-09-20 2021-03-25 Hoya株式会社 内視鏡用プロセッサ、トレーニング装置、情報処理方法、トレーニング方法およびプログラム

Also Published As

Publication number Publication date
US20230105682A1 (en) 2023-04-06
WO2021241735A1 (ja) 2021-12-02
EP4159108A1 (en) 2023-04-05
CN115666361A (zh) 2023-01-31
JPWO2021241735A1 (ja) 2021-12-02
EP4159108A4 (en) 2023-11-08

Similar Documents

Publication Publication Date Title
US10433709B2 (en) Image display device, image display method, and program
US10092216B2 (en) Device, method, and non-transitory computer-readable medium for identifying body part imaged by endoscope
WO2014136579A1 (ja) 内視鏡システム及び内視鏡システムの作動方法
JP6774552B2 (ja) プロセッサ装置、内視鏡システム及びプロセッサ装置の作動方法
EP3366191B1 (en) Endoscope system
JP5542021B2 (ja) 内視鏡システム、内視鏡システムの作動方法、及びプログラム
CN107249427B (zh) 医疗装置、医疗图像生成方法以及医疗图像生成程序
JP6688243B2 (ja) 内視鏡システム及びその作動方法
JP2018139848A (ja) 内視鏡システム及びその作動方法
JP2006223376A (ja) 医用画像処理装置
JP7189355B2 (ja) コンピュータプログラム、内視鏡用プロセッサ、及び情報処理方法
WO2021171464A1 (ja) 処理装置、内視鏡システム及び撮像画像の処理方法
JP7440629B2 (ja) 内視鏡プロセッサ装置
JP2022071617A (ja) 内視鏡システム及び内視鏡装置
WO2022080141A1 (ja) 内視鏡撮影装置、方法およびプログラム
US20220202284A1 (en) Endoscope processor, training device, information processing method, training method and program
WO2023067922A1 (ja) 内視鏡画像処理装置、内視鏡画像処理方法及び内視鏡システム
JP7264407B2 (ja) 訓練用の大腸内視鏡観察支援装置、作動方法、及びプログラム
JP7389823B2 (ja) 画像処理装置、画像処理方法、及び、画像処理プログラム
JP7448923B2 (ja) 情報処理装置、情報処理装置の作動方法、及びプログラム
WO2023195103A1 (ja) 検査支援システムおよび検査支援方法
EP4302681A1 (en) Medical image processing device, medical image processing method, and program
WO2024121885A1 (ja) 情報処理装置、情報処理方法、及び、記録媒体
US20220375089A1 (en) Endoscope apparatus, information processing method, and storage medium
WO2021241695A1 (ja) 内視鏡画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221027

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231003

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231108

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240215

R150 Certificate of patent or registration of utility model

Ref document number: 7440629

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150