JP7116176B2 - 医療画像処理システム - Google Patents

医療画像処理システム Download PDF

Info

Publication number
JP7116176B2
JP7116176B2 JP2020538374A JP2020538374A JP7116176B2 JP 7116176 B2 JP7116176 B2 JP 7116176B2 JP 2020538374 A JP2020538374 A JP 2020538374A JP 2020538374 A JP2020538374 A JP 2020538374A JP 7116176 B2 JP7116176 B2 JP 7116176B2
Authority
JP
Japan
Prior art keywords
time
medical image
remaining time
notification
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020538374A
Other languages
English (en)
Other versions
JPWO2020040086A1 (ja
Inventor
麻依子 遠藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2020040086A1 publication Critical patent/JPWO2020040086A1/ja
Application granted granted Critical
Publication of JP7116176B2 publication Critical patent/JP7116176B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00055Operational features of endoscopes provided with output arrangements for alerting the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • G06T7/0016Biomedical image inspection using an image reference approach involving temporal comparison
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30028Colon; Small intestine
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Signal Processing (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)

Description

本発明は、医療画像の解析結果を用いる医療画像処理システムに関する。
現在の医療分野においては、光源装置、内視鏡、及びプロセッサ装置を備える内視鏡システムなどのように、医療画像を用いる医療画像処理システムが普及している。また、近年においては、医療画像から病変部の可能性のある特徴領域を認識し、認識した特徴領域に対して画像解析を行うことによって、病態に関する診断情報を取得することが行われている。
例えば、特許文献1では、医療画像についての特定の特徴量に基づいて、医療画像における特徴領域を検出している。そして、特徴領域の検出に基づいて、画面外に特徴領域が検出されたことを報知する報知画像を表示し、また、報知画像による報知とは異なるタイミングで、画面内の特徴領域を強調して表示している。また、特許文献2では、特徴領域を検出した場合において、直ぐに特徴領域を強調表示するのではなく、所定時間経過後に入力される観察画像に対して、特徴領域の強調表示を行うようにしている。
国際公開第2017/073338号 国際公開第2017/081976号
上記のように、医療画像から特徴領域を認識し、その認識結果をユーザーに提供することで、ユーザーによる診断の精度を向上させることができる。その一方で、ユーザーが特徴領域を発見し、鑑別を行う前に、医療画像に基づく特徴領域の認識結果が提供されると、ユーザーの注意力を低下させる恐れがある。
この問題に対しては、特許文献2のように、特徴領域の強調表示を所定時間経過後に行うことのように、特徴領域の認識結果の報知を遅らせることで、ユーザーの注意力の低下を防ぐことができる。ただし、この場合には、認識結果が表示されるまでの期間について、ユーザーは、認識処理が正常に動いているのか、認識処理に失敗しているのかが分からなくなる。
本発明は、特徴領域の認識結果の報知を遅らせる場合において、認識結果が表示されるまでの期間について、ユーザーが、認識処理が正常に動いているのか、認識処理に失敗しているのかを把握することができる医療画像処理システムを提供することを目的とする。
本発明の医療画像処理システムは、観察対象を撮像して得られる医療画像を取得する医療画像取得部と、医療画像のうち特徴領域を認識する特徴領域認識部と、特徴領域を認識したタイミングから時間をカウントする時間カウント部と、特徴領域を認識してから特徴領域の認識結果の報知を開始するまでの間の時間を示す報知待機時間と時間カウント部でカウントしたカウント時間に基づいて、特徴領域の認識結果を報知するまでの残り時間を算出する残り時間算出部と、少なくとも残り時間に基づいて得られる残り時間報知情報を表示部に表示する表示制御部とを備えカウント時間が報知待機時間に達した場合に、特徴領域の認識結果の報知を行い、認識結果には特徴領域を鑑別する鑑別処理の結果が含まれる。

残り時間報知情報は、残り時間を図形で表す残り時間報知用図形で表され、残り時間報知用図形は、残り時間に従って変化することが好ましい。残り時間報知用図形はタイムバーであることが好ましい。残り時間報知情報は、残り時間を数値で表す残り時間報知用数値であることが好ましい。残り時間報知情報は、残り時間を音声で表す残り時間報知用音声であることが好ましい。残り時間報知情報は、残り時間に従って変化する特徴領域の認識結果の表示態様であることが好ましい。認識結果表示態様は特徴領域の強調表示であることが好ましい。
認識結果には特徴領域を鑑別する鑑別処理の結果が含まれることが好ましい。時間カウント部は、観察対象の撮像に関する撮影時間に基づいて、時間をカウントすることが好ましい。時間カウント部は、医療画像を取得した枚数を示す取得フレーム数に基づいて、時間をカウントすることが好ましい。
第1タイミングの医療画像において特徴領域を認識した場合において、第1タイミングと異なる第Nタイミングの医療画像においても、特徴領域と同一の特徴領域があるか否かを判定する同一領域判定部を有し、時間カウント部は、同一の特徴領域があると判定された場合には、時間のカウントを継続することが好ましい。表示制御部は、カウント時間が報知待機時間に達した場合に、特徴領域の認識結果を表示部に表示することが好ましい。
本発明によれば、特徴領域の認識結果の報知を遅らせる場合において、認識結果が表示されるまでの期間について、ユーザーは、認識処理が正常に動いているのか、認識処理に失敗しているのかを把握することができるようになる。
画像処理システムと内視鏡システムなどを示すブロック図である。 内視鏡システムを示すブロック図である。 医療画像解析処理部の機能を示すブロック図である。 撮影時間が表示された医療画像の画像図である。 第1~第Nタイミングの医療画像の画像図である。 残り時間報知用タイムバーが表示された医療画像の画像図である。 鑑別結果及び残り時間報知用タイムバーが表示された医療画像の画像図である。 残り時間報知用数値が表示された医療画像の画像図である。 鑑別結果及び残り時間報知用数値が表示された医療画像の画像図である。 スピーカを有するモニタを示す平面図である。 特徴領域に対して施す強調表示のレベルによって残り時間を報知することを示す説明図であり、(A)は強調表示のレベルが小さいことを、(B)は強調表示のレベルが大きいことを示す説明図である。 強調表示された特徴領域と鑑別結果を表示する医療画像の画像図である。 画像処理システムを含む診断支援装置である。 画像処理システムを含む医療業務支援装置である。
図1に示すように、画像処理システム10は、医療画像取得部11、医療画像解析処理部12、表示部13、表示制御部15、入力受信部16、統括制御部17、及び、保存部18を備える。
医療画像取得部11は、医療装置である内視鏡システム21等から直接に、または、PACS(Picture Archiving and Communication System)22等の管理システムもしくはその他情報システムを介して、被写体像を含む医療画像を取得する。医療画像は静止画像または動画(いわゆる検査動画)である。医療画像が動画である場合、医療画像取得部11は、検査後に動画を構成するフレーム画像を静止画像として取得することができる。また、医療画像が動画である場合、医療画像の表示には、動画を構成する1つの代表フレームの静止画像を表示することのほか、動画を1または複数回、再生することを含む。また、医療画像取得部11が取得する医療画像には、内視鏡システム21等の医療装置を用いて医師が撮影した画像の他、内視鏡システム21等の医療装置が医師の撮影指示に依らず自動的に撮影した画像を含む。なお、本実施形態では、画像処理システム10及び内視鏡システム21ともに医療画像を用いて画像処理を行うことから、画像処理システム10及び内視鏡システム21はいずれも医療画像処理システムに相当する。
医療画像取得部11は、複数の医療画像を取得し得る場合、これらの医療画像のうち1または複数の医療画像を選択的に取得できる。また、医療画像取得部11は、複数の互いに異なる検査において取得した複数の医療画像を取得できる。例えば、過去に行った検査で取得した医療画像と、最新の検査で取得した医療画像と、の一方または両方を取得できる。すなわち、医療画像取得部11は、任意に医療画像を取得できる。
本実施形態においては、被写体像を含む医療画像を複数取得する。より具体的には、1回の特定の検査において撮影した医療画像を取得し、かつ、1回の特定の検査において撮影した医療画像が複数ある場合には、一連の医療画像のうち複数の医療画像を取得する。また、本実施形態においては、画像処理システム10は、内視鏡システム21と接続し、内視鏡システム21から医療画像を取得する。すなわち、本実施形態において医療画像は、内視鏡画像である。
表示部13は、医療画像取得部11が取得した医療画像、及び、医療画像解析処理部12の解析結果を表示するディスプレイである。画像処理システム10が接続するデバイス等が含むモニタまたはディスプレイを共用し、画像処理システム10の表示部13として使用できる。表示制御部15は、表示部13における医療画像及び解析結果の表示態様を制御する。
入力受信部16は、画像処理システム10に接続するマウス、キーボード、その他操作デバイスからの入力を受け付ける。画像処理システム10の各部の動作はこれらの操作デバイスを用いて制御できる。
統括制御部17は、画像処理システム10の各部の動作を統括的に制御する。入力受信部16が操作デバイスを用いた操作入力を受信した場合には、統括制御部17は、その操作入力にしたがって画像処理システム10の各部を制御する。
保存部18は、画像処理システム10が含むメモリ等の記憶デバイス(図示しない)、または、内視鏡システム21等の医療装置もしくはPACS22が含む記憶デバイス(図示しない)に、医療画像の静止画等を保存する。
図2に示すように、本実施形態において画像処理システム10が接続する内視鏡システム21は、白色の波長帯域の光もしくは特定の波長帯域の光の少なくともいずれかを照射して被写体を撮影することにより画像を取得する内視鏡31、内視鏡31を介して被写体内に照明光を照射する光源装置32、プロセッサ装置33、及び、内視鏡31を用いて撮影した内視鏡画像等を表示するモニタ34を有する。内視鏡31が照明光に使用する特定の波長帯域の光は、例えば、緑色波長帯域よりも短波長帯域の光、特に可視域の青色帯域または紫色帯域の光である。
プロセッサ装置33は、医療画像取得部35、医療画像解析処理部36、表示制御部37を備えている。医療画像取得部35は、内視鏡31から出力される医療画像を取得する。医療画像解析処理部36は、医療画像取得部35で取得した医療画像に対して、解析処理を行う。医療画像解析処理部36での処理内容は、画像処理システム10の医療画像解析処理部12での処理内容と同様である。表示制御部37は、医療画像解析処理部36で得られた医療画像をモニタ34に表示する。プロセッサ装置33は画像処理システム10と接続される。なお、医療画像取得部35は医療画像取得部11と同様であり、医療画像解析処理部36は医療画像解析処理部12と同様であり、表示制御部37は表示制御部15と同様である。
医療画像解析処理部36は、医療画像取得部11が取得した医療画像を用いて解析処理をする。図3に示すように、医療画像解析処理部12は、特徴領域認識部41と、時間カウント部42と、同一領域判定部43と、残り時間算出部44と、残り時間報知情報生成部45と、を含む。
特徴領域認識部41では、医療画像から特徴領域を認識する特徴領域認識処理を行う。特徴領域認識処理には、医療画像から特徴領域を検出する特徴領域検出処理と、特徴領域に対して鑑別を行う鑑別処理が含まれる。これら特徴領域検出処理の結果と鑑別処理の結果については、後述するように、報知待機時間が経過した後に、特徴領域の認識結果として、モニタ34に表示される。なお、特徴領域検出処理の結果の報知方法としては、特徴領域を矩形状のバウンディングボックスで囲むなどにより、検出結果を報知するようにしてもよい。
鑑別処理では、特徴領域が含む異常(以下、病変等という)の悪性度を鑑別する。より具体的には、病変等の種類または病変等の進行度を鑑別し、かつ、鑑別した病変等の種類または進行度を用いて悪性度を定める。悪性度とは、病変等の診断における重要性を示す評価であって、少なくとも病変等の種類または病変等の進行度(「病変等」が治療痕等である場合には経過状況)を反映する評価である。なお、悪性度は、例えば、「0」~「100」で段階的に表すことができ、「0」は良性であることを示し、数字が大きくなる程、悪性度が高くなる。
例えば、鑑別処理では、病変等がポリープである場合、病変等の種類として、過形成ポリープ、SSA/P、腺腫、または、癌のいずれかに鑑別する。また、病変等が癌である場合、病変等の進行度を内視鏡所見分類により鑑別する。たとえば、大腸腫瘍の場合は、内視鏡所見分類として、NICE(The Narrow-band imaging International Colorectal Endoscopic)分類、または、JNET(The Japan NBI(Narrow Band Imaging) Expert Team)分類等がある。また、病変等が炎症性腸疾患である場合においても、病変等の進行度を内視鏡所見分類により鑑別する。例えば、炎症性腸疾患の1つである潰瘍性大腸炎においては、内視鏡所見分類は、例えば、Mayo分類、または、Matts分類等がある。
鑑別処理では、1または複数の所定の特徴量を算出し、算出した特徴量を用いて、病変等の種類または進行度を鑑別する。また、鑑別処理では、特徴量を使用する代わりに、テクスチャ解析または規則形状を用いたパターンマッチングによって病変等の種類または進行度を鑑別できる。
なお、特徴領域認識処理としては、例えば、NN(Neural Network)、CNN(Convolutional Neural Network)、Adaboost、ランダムフォレストなどを用いてもよい。また、特徴領域認識処理として、医療画像の色情報、画素値の勾配等で得られる特徴量を元に、特徴領域の認識を行ってもよい。なお、画素値の勾配等は、例えば、被写体の形状(粘膜の大局的な起伏または局所的な陥凹もしくは隆起等)、色(炎症、出血、発赤、または萎縮に起因した白化等の色)、組織の特徴(血管の太さ、深さ、密度、もしくはこれらの組み合わせ等)、または、構造の特徴(ピットパターン等)等によって、変化が表れる。
なお、特徴領域認識部41で認識される特徴領域は、例えば、がんに代表される病変部、良性腫瘍部、炎症部(いわゆる炎症の他、出血または萎縮等の変化がある部分を含む)、加熱による焼灼跡もしくは着色剤、蛍光薬剤等による着色によってマーキングしたマーキング部、または、生体検査(いわゆる生検)を実施した生検実施部を含む領域である。すなわち、病変を含む領域、病変の可能性がある領域、生検等の何らかの処置をした領域、クリップや鉗子などの処置具、または、暗部領域(ヒダ(襞)の裏、管腔奥のため観察光が届きにくい領域)など病変の可能性にかかわらず詳細な観察が必要である領域等が特徴領域になり得る。内視鏡システム21においては、特徴領域認識部41は、病変部、良性腫瘍部、炎症部、マーキング部、または、生検実施部のうち少なくともいずれかを含む領域を特徴領域として検出する。
時間カウント部42は、特徴領域認識部41で特徴領域を認識したタイミングから時間をカウントする。カウントした時間(カウント時間)は、後述するように、特徴領域の認識結果を報知するまでの特定所要時間を算出するために用いられる。内視鏡システム21においては、観察対象の撮影開始からの時間を示す撮影時間を表示していることから、時間カウント部42は、撮影時間を用いて時間をカウントすることが好ましい。例えば、図4に示すように、撮影時間が「1分50秒」の時点で、特徴領域を認識した場合には、撮影時間が「1分51秒」となった時点で、時間カウント部42は「1秒」をカウントする。以後同様にして時間のカウントを行う。なお、カウント時間の単位としては、例えば「秒」があるが、その他の単位を用いてもよい。
また、内視鏡システム21において、観察対象を内視鏡31で撮像して得られる医療画像の枚数を示すフレーム数を、取得フレーム数として、カウントしている場合には、時間カウント部42は、フレーム数を用いて時間をカウントすることが好ましい。例えば、フレームレートが60FPS(Flame Per Second)である場合において、取得フレーム数が「100枚」の時点で、特徴領域を認識した場合には、フレーム数が「160」枚になった時点で、時間カウント部42は「1秒」をカウントする。以後同様にして時間のカウントを行う。
同一領域判定部43は、図5に示すように、第1タイミングの医療画像P1において特徴領域SPを認識した場合において、第1タイミングと異なる第Nタイミング(Nは2以上の自然数)の医療画像PNにおいても、同一の特徴領域が有るか否かを判定する。同一領域判定部43は、例えば、第2タイミングの医療画像P2で、同一の特徴領域SPを検出しなかった場合でも、その後の第3タイミングの医療画像P3で、同一の特徴領域SPを検出した場合には、同一の特徴領域が有ると判定する。同一領域判定部43で同一の特徴領域SPが有ると判定した場合には、時間カウント部42は、同一の特徴領域SPに対するカウント時間のカウントを継続する。一方、同一領域判定部43は、第2~第Nタイミングの医療画像P2~PNの全てにおいて、同一の特徴領域SPが無いと判定した場合には、時間カウント部42でカウントしている時間をリセットする。なお、同一領域判定部43で、同一の特徴領域が無いと判定した場合には、時間カウント部42での時間のカウントを一時的に停止することが好ましい。
残り時間算出部44は、特徴領域を認識してから特徴領域の認識結果の報知を開始するまでの間の時間を示す報知待機時間と時間カウント部42でカウントしたカウント時間に基づいて、特徴領域の認識結果を報知するまでの残り時間を算出する。具体的には、残り時間算出部44は、報知待機時間からカウント時間を減算することにより、残り時間を算出する。例えば、報知待機時間が「5秒」で、カウント時間が「1秒」の場合には、残り時間は「4秒」となる(「5秒」-「1秒」)。なお、報知待機時間については、予め設定しておくことが好ましく、ユーザーによって適宜変更可能(図示しないユーザーインターフェースにより行われる)としてもよい。
残り時間報知情報生成部45は、残り時間算出部44で算出した残り時間に基づいて、残り時間を報知するための残り時間報知情報を生成する。生成された残り時間報知情報は、表示制御部37によってモニタ34に表示される。ここで、残り時間報知情報としては、図6に示すように、例えば、残り時間を表す残り時間報知用タイムバー50としてもよい。残り時間報知用タイムバー50は、残り時間が少なくなる程、バーの長さが長くなる。ここで、長さとは、バーの横方向の長さのことをいう。また、残り時間報知用タイムバー50に対応する位置において、報知待機時間を表す報知待機時間用タイムバー51を表示することが好ましい。残り時間報知用タイムバー50の長さがカウント時間とともに大きくなって、残り時間報知用タイムバー50の長さが報知待機時間用タイムバー51の長さに一致した場合には、図7に示すように、特徴領域SPの認識結果として、鑑別結果52(悪性度「20」)がモニタ34に表示される。なお、鑑別結果52は、観察対象を示す画像が表示される画面内53aとは別の画面外53bに表示しているが、鑑別結果52を画面内53aに表示してもよい。
なお、特徴領域を認識した時点で、残り時間報知用タイムバー50の長さと報知待機時間用タイムバー51の長さを同じにして表示し、残り時間が少なくなる程、残り時間報知用タイムバー50の長さを短くするようにしてもよい。また、残り時間又は報知待機時間を棒状のバーで表す他に、円形などのその他の残り時間報知用図形又は報知待機時間用図形によって残り時間又は報知待機時間を表すようにしてもよい。
以上のように、報知待機時間の間、認識結果の報知をせずに待機させた場合において、残り時間報知用タイムバー50で、認識結果報知までの残り時間を報知することによって、ユーザーは、特徴領域認識処理が失敗せずに正常に動いていることを把握することができる。そして、認識結果の報知後は、ユーザーによる診断結果と認識結果とを比較検討することにより、診断精度を向上させることができる。
また、残り時間報知情報としては、図8に示すように、例えば、残り時間を表す残り時間報知用数値としてもよい。残り時間報知用数値は、残り時間を数値で表したものである。例えば、残り時間が「4秒」であれば、残り時間報知用数値54として「4秒」がモニタ34に表示される。この場合、報知待機時間55(例えば「5秒」)も合わせてモニタ34に表示することが好ましい。そして、残り時間が「0秒」になった場合(カウント時間が報知待機時間に達した場合)には、図9に示すように、特徴領域SPの認識結果として、鑑別結果52がモニタ34に表示される。なお、残り時間報知用数値で表示する場合には、残り時間報知用数値の色やフォントを、残り時間によって変化させたり、また、残り時間報知用数値を点滅させてもよい。残り時間報知用数値を点滅させる場合には、点滅する間隔を残り時間によって変化させることが好ましい。
また、残り時間報知情報としては、残り時間を表す残り時間報知用音声としてもよい。残り時間報知用音声としては、例えば、残り時間そのものを報知する音声を含めた音声とすることが好ましい。例えば、「認識結果の報知開始まで「4秒です」」とすることが好ましい。また、残り時間報知用音声として、ピッピッなどの機械音とした場合には、残り時間が多い場合には、音の鳴る間隔を長くし、残り時間が少なくなるにつれて、音の鳴る間隔を短くすることが好ましい。そして、残り時間が「0秒」になったこと(カウント時間が報知待機時間に達した場合)を、残り時間報知用音声で報知した場合には、特徴領域SPの認識結果として、鑑別結果52がモニタ34に表示される。なお、残り時間報知用音声は、例えば、図10に示すように、モニタ34に設けられたスピーカ56から発することが好ましい。
また、残り時間報知情報としては、残り時間に従って変化する特徴領域の認識結果のモニタ34での表示態様であることが好ましい。認識結果表示態様としては、特徴領域に対して施される、疑似カラーなどの強調表示であることが好ましい。例えば、図11(A)に示すように、残り時間が大きい場合(図11(A)では「4秒」)には、特徴領域SPに対する強調表示のレベルを小さくしておくことで、残り時間がまだ十分あることを報知する。強調表示レベルは、ハッチングの尺度によって表され、ハッチングの尺度が小さくなる程、強調表示レベルは大きくなる。そして、図11(B)に示すように、残り時間が少なくなる(図11(B)では「1秒」)につれて、特徴領域SPに対する強調表示のレベルを大きくすることで、残り時間があとわずかで、特徴領域の認識結果がもうすぐであることを報知する。そして、残り時間が「0秒」になった場合(カウント時間が報知待機時間に達した場合)に、図12に示すように、特徴領域に対する強調表示レベルを最大限にするとともに、特徴領域SPの認識結果として、鑑別結果52をモニタ34に表示する。以上のように、特徴領域の表示態様を変化させることにより、残り時間を報知することで、ユーザーは、特徴領域から視線を外すことなく残り時間を把握することができる。
なお、図13に示すように、内視鏡システム21その他モダリティやPACS22とを組み合わせて使用する診断支援装置610は、上記実施形態及びその他変形例の画像処理システム10を含むことができる。また、図14に示すように、例えば内視鏡システム21を含む、第1検査装置621、第2検査装置622、…、第N検査装置633等の各種検査装置と任意のネットワーク626を介して接続する医療業務支援装置630は、上記実施形態及びその他変形例の画像処理システム10を含むことができる。
この他、画像処理システム10、内視鏡システム21、及び、画像処理システム10を含む各種装置またはシステムは、以下の種々の変更等をして使用できる。
医療画像としては、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像を用いることができる。
医療画像としては、特定の波長帯域の光を照射して得た画像を使用する場合、特定の波長帯域は、白色の波長帯域よりも狭い帯域を用いることができる。
特定の波長帯域は、例えば、可視域の青色帯域または緑色帯域である。
特定の波長帯域が可視域の青色帯域または緑色帯域である場合、特定の波長帯域は、390nm以上450nm以下または530nm以上550nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、390nm以上450nm以下または530nm以上550nm以下の波長帯域内にピーク波長を有することが好ましい。
特定の波長帯域は、例えば、可視域の赤色帯域である。
特定の波長帯域が可視域の赤色帯域である場合、特定の波長帯域は、585nm以上615nmまたは610nm以上730nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、585nm以上615nm以下または610nm以上730nm以下の波長帯域内にピーク波長を有することが好ましい。
特定の波長帯域は、例えば、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有することができる。
特定の波長帯域が、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する場合、特定の波長帯域は、400±10nm、440±10nm、470±10nm、または、600nm以上750nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、400±10nm、440±10nm、470±10nm、または、600nm以上750nm以下の波長帯域にピーク波長を有することが好ましい。
医療画像が生体内を写した生体内画像である場合、この生体内画像は、生体内の蛍光物質が発する蛍光の情報を有することができる。
また、蛍光は、ピーク波長が390nm以上470nm以下である励起光を生体内に照射して得る蛍光を利用できる。
医療画像が生体内を写した生体内画像である場合、前述の特定の波長帯域は、赤外光の波長帯域を利用することができる。
医療画像が生体内を写した生体内画像であり、前述の特定の波長帯域として、赤外光の波長帯域を利用する場合、特定の波長帯域は、790nm以上820nmまたは905nm以上970nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、790nm以上820nm以下または905nm以上970nm以下の波長帯域にピーク波長を有することが好ましい。
医療画像取得部11は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像に基づいて、特定の波長帯域の信号を有する特殊光画像を取得する特殊光画像取得部を有することができる。この場合、医療画像として特殊光画像を利用できる。
特定の波長帯域の信号は、通常光画像に含むRGBまたはCMYの色情報に基づく演算により得ることができる。
白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像と、特定の波長帯域の光を照射して得る特殊光画像との少なくとも一方に基づく演算によって、特徴量画像を生成する特徴量画像生成部を備えることができる。この場合、医療画像として特徴量画像を利用できる。
内視鏡システム21については、内視鏡31としてカプセル内視鏡を使用できる。この場合、光源装置32と、プロセッサ装置33の一部と、はカプセル内視鏡に搭載できる。
上記実施形態及び変形例において、医療画像取得部11、医療画像解析処理部12及び医療画像解析処理部12を構成する各部、表示制御部15、入力受信部16、統括制御部17、並びに、医療画像取得部35、医療画像解析処理部36、表示制御部37、特徴領域認識部41、時間カウント部42、同一領域判定部43、残り時間算出部44、残り時間報知情報生成部45といった各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウエア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA (Field Programmable Gate Array)などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路、GPU(Graphical Processing Unit)などが含まれる。
1つの処理部は、これら各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合せ(例えば、複数のFPGAや、CPUとFPGAの組み合わせ、CPUとGPUの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウエアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路(circuitry)である。また、記憶部のハードウェア的な構造はHDD(hard disc drive)やSSD(solid state drive)等の記憶装置である。
なお、本発明の別の形態は以下の通りである。
本発明の医療画像処理システムは、プロセッサ装置が、医療画像取得部によって、観察対象を撮像して得られる医療画像を取得し、特徴領域認識部によって、前記医療画像のうち特徴領域を認識し、時間カウント部によって、前記特徴領域を認識したタイミングから時間をカウントし、残り時間算出部によって、前記特徴領域を認識してから前記特徴領域の認識結果の報知を開始するまでの間の時間を示す報知待機時間と前記時間カウント部でカウントしたカウント時間に基づいて、前記特徴領域の認識結果を報知するまでの残り時間を算出し、表示制御部によって、少なくとも前記残り時間に基づいて得られる残り時間報知情報を表示部に表示する。
10 画像処理システム
11 医療画像取得部
12 医療画像解析処理部
13 表示部
15 表示制御部
16 入力受信部
17 統括制御部
18 保存部
21 内視鏡システム
22 PACS
31 内視鏡
32 光源装置
33 プロセッサ装置
34 モニタ
35 医療画像取得部
36 医療画像解析処理部
37 表示制御部
41 特徴領域認識部
42 時間カウント部
43 同一領域判定部
44 残り時間算出部
45 残り時間報知情報生成部
50 時間報知用タイムバー
51 報知待機時間用タイムバー
52 鑑別結果
53a 画面内
53b 画面外
54 時間報知用数値
55 報知待機時間
56 スピーカ
610 診断支援装置
621 第1検査装置
622 第2検査装置
623 第3検査装置
626 ネットワーク
630 医療業務支援装置
SP 特徴領域
P1 第1タイミングの医療画像
P2 第2タイミングの医療画像
P3 第3タイミングの医療画像
P4 第4タイミングの医療画像
PN 第Nタイミングの医療画像

Claims (11)

  1. 観察対象を撮像して得られる医療画像を取得する医療画像取得部と、
    前記医療画像のうち特徴領域を認識する特徴領域認識部と、
    前記特徴領域を認識したタイミングから時間をカウントする時間カウント部と、
    前記特徴領域を認識してから前記特徴領域の認識結果の報知を開始するまでの間の時間を示す報知待機時間と前記時間カウント部でカウントしたカウント時間に基づいて、前記特徴領域の認識結果を報知するまでの残り時間を算出する残り時間算出部と、
    少なくとも前記残り時間に基づいて得られる残り時間報知情報を表示部に表示する表示制御部とを備え
    前記カウント時間が前記報知待機時間に達した場合に、前記特徴領域の認識結果の報知を行い、
    前記認識結果には前記特徴領域を鑑別する鑑別処理の結果が含まれる医療画像処理システム。
  2. 前記残り時間報知情報は、前記残り時間を図形で表す残り時間報知用図形で表され、前記残り時間報知用図形は、前記残り時間に従って変化する請求項1記載の医療画像処理システム。
  3. 前記残り時間報知用図形はタイムバーである請求項2記載の医療画像処理システム。
  4. 前記残り時間報知情報は、前記残り時間を数値で表す残り時間報知用数値である請求項1ないし3いずれか1項記載の医療画像処理システム。
  5. 前記残り時間報知情報は、前記残り時間を音声で表す残り時間報知用音声である請求項1ないし4いずれか1項記載の医療画像処理システム。
  6. 前記残り時間報知情報は、前記残り時間に従って変化する前記特徴領域の認識結果の表示態様である請求項1ないし5いずれか1項記載の医療画像処理システム。
  7. 前記認識結果の表示態様は前記特徴領域の強調表示である請求項6記載の医療画像処理システム。
  8. 前記時間カウント部は、前記観察対象の撮像に関する撮影時間に基づいて、時間をカウントする請求項1ないしいずれか1項記載の医療画像処理システム。
  9. 前記時間カウント部は、前記医療画像を取得した枚数を示す取得フレーム数に基づいて、時間をカウントする請求項1ないしいずれか1項記載の医療画像処理システム。
  10. 第1タイミングの医療画像において前記特徴領域を認識した場合において、第1タイミングと異なる第Nタイミングの医療画像においても、前記特徴領域と同一の特徴領域があるか否かを判定する同一領域判定部を有し、
    前記時間カウント部は、前記同一の特徴領域があると判定された場合には、時間のカウントを継続する請求項1ないしいずれか1項記載の医療画像処理システム。
  11. 前記表示制御部は、前記カウント時間が前記報知待機時間に達した場合に、前記特徴領域の認識結果を前記表示部に表示する請求項1ないし10いずれか1項記載の医療画像処理システム。
JP2020538374A 2018-08-20 2019-08-19 医療画像処理システム Active JP7116176B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018154121 2018-08-20
JP2018154121 2018-08-20
PCT/JP2019/032274 WO2020040086A1 (ja) 2018-08-20 2019-08-19 医療画像処理システム

Publications (2)

Publication Number Publication Date
JPWO2020040086A1 JPWO2020040086A1 (ja) 2021-08-12
JP7116176B2 true JP7116176B2 (ja) 2022-08-09

Family

ID=69593120

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020538374A Active JP7116176B2 (ja) 2018-08-20 2019-08-19 医療画像処理システム

Country Status (5)

Country Link
US (1) US11862327B2 (ja)
EP (1) EP3841957B1 (ja)
JP (1) JP7116176B2 (ja)
CN (1) CN112584739B (ja)
WO (1) WO2020040086A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7038641B2 (ja) * 2018-11-02 2022-03-18 富士フイルム株式会社 医療診断支援装置、内視鏡システム、及び作動方法
WO2022163514A1 (ja) * 2021-01-27 2022-08-04 富士フイルム株式会社 医療画像処理装置、方法及びプログラム
JPWO2022186109A1 (ja) * 2021-03-01 2022-09-09

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011160848A (ja) 2010-02-05 2011-08-25 Olympus Corp 画像処理装置、内視鏡システム、プログラム及び画像処理方法
JP2014171523A (ja) 2013-03-06 2014-09-22 Canon Inc 放射線撮影の制御装置、放射線撮影装置、放射線撮影システム、報知装置、並びにこれらの制御方法及び制御処理をコンピュータに実行させるためのプログラム
WO2017081976A1 (ja) 2015-11-10 2017-05-18 オリンパス株式会社 内視鏡装置
JP2017104200A (ja) 2015-12-08 2017-06-15 コニカミノルタ株式会社 放射線画像撮影システム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4477451B2 (ja) * 2004-08-23 2010-06-09 オリンパス株式会社 画像表示装置、画像表示方法および画像表示プログラム
JP2007151594A (ja) * 2005-11-30 2007-06-21 Olympus Corp 内視鏡システム
US20120321759A1 (en) * 2007-01-05 2012-12-20 Myskin, Inc. Characterization of food materials by optomagnetic fingerprinting
KR100868339B1 (ko) * 2007-11-15 2008-11-12 주식회사 인트로메딕 의료용 영상 데이터의 디스플레이 방법과 의료용 영상데이터를 이용한 캡쳐 영상 제공 시스템 및 그 방법
JP2010233724A (ja) * 2009-03-30 2010-10-21 Hoya Corp 内視鏡システム
JP2011255006A (ja) * 2010-06-09 2011-12-22 Olympus Corp 画像処理装置、内視鏡装置、プログラム及び画像処理方法
WO2012132840A1 (ja) * 2011-03-30 2012-10-04 オリンパスメディカルシステムズ株式会社 画像管理装置、方法、及びプログラム、並びにカプセル型内視鏡システム
US9788809B2 (en) 2013-03-06 2017-10-17 Canon Kabushiki Kaisha Apparatus, method and computer-readable medium storing program for radiographic imaging with elapsed time control of radiation sensor apparatus
CN104640496A (zh) * 2013-05-31 2015-05-20 奥林巴斯医疗株式会社 医疗装置
JP6120762B2 (ja) * 2013-12-13 2017-04-26 オリンパス株式会社 画像処理装置
JP5911655B1 (ja) 2014-07-22 2016-04-27 オリンパス株式会社 医療システム
CN108024768B (zh) * 2015-05-27 2021-02-05 斋藤粮三 可移动终端压力评估程序及包含该程序的可移动终端
CN108135457B (zh) 2015-10-26 2020-02-21 奥林巴斯株式会社 内窥镜图像处理装置
EP3743885A4 (en) * 2018-01-23 2021-10-06 Mobileodt Ltd. AUTOMATED MONITORING OF MEDICAL IMAGING PROCEDURES
CN112512398B (zh) * 2018-07-27 2024-03-29 富士胶片株式会社 医疗图像处理装置
US11468995B2 (en) * 2019-05-03 2022-10-11 Destroke, Inc. Method and apparatus for mobile stroke self-detection

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011160848A (ja) 2010-02-05 2011-08-25 Olympus Corp 画像処理装置、内視鏡システム、プログラム及び画像処理方法
JP2014171523A (ja) 2013-03-06 2014-09-22 Canon Inc 放射線撮影の制御装置、放射線撮影装置、放射線撮影システム、報知装置、並びにこれらの制御方法及び制御処理をコンピュータに実行させるためのプログラム
WO2017081976A1 (ja) 2015-11-10 2017-05-18 オリンパス株式会社 内視鏡装置
JP2017104200A (ja) 2015-12-08 2017-06-15 コニカミノルタ株式会社 放射線画像撮影システム

Also Published As

Publication number Publication date
EP3841957A1 (en) 2021-06-30
CN112584739A (zh) 2021-03-30
WO2020040086A1 (ja) 2020-02-27
JPWO2020040086A1 (ja) 2021-08-12
CN112584739B (zh) 2024-04-05
US11862327B2 (en) 2024-01-02
EP3841957B1 (en) 2024-05-01
EP3841957A4 (en) 2021-10-13
US20210158528A1 (en) 2021-05-27

Similar Documents

Publication Publication Date Title
JP7296498B2 (ja) 医療画像処理装置、及び、内視鏡装置
JP7235912B2 (ja) 医療画像処理システム、内視鏡システム
JP7116176B2 (ja) 医療画像処理システム
JP7411618B2 (ja) 医療画像処理装置
US11867896B2 (en) Endoscope system and medical image processing system
US11950757B2 (en) Medical image processing apparatus
JP7125987B2 (ja) 医療画像処理装置
JPWO2019087971A1 (ja) 医療画像処理装置、及び、内視鏡装置
US11830185B2 (en) Medical image processing system and learning method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220209

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220517

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220606

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220606

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220614

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220621

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220712

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220728

R150 Certificate of patent or registration of utility model

Ref document number: 7116176

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150