JPWO2021149552A5

JPWO2021149552A5 - 医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法

Info

Publication number: JPWO2021149552A5
Application number: JP2021573084A
Authority: JP
Filing date: 2021-01-13
Publication date: 2023-01-24

Description

本発明は医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法に関する。

本発明はこのような事情に鑑みてなされたもので、観察漏れを適切なタイミングで放置することができる医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法を提供することを目的とする。

以下、添付図面を参照しつつ、本発明に係る医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法の実施形態について詳細に説明する。

図６は、図５に示したＣＮＮ２３２の中間層２３２Ｂの構成例を示す模式図である。中間層２３２Ｂの最初（１番目）の畳み込み層では、複数の医療画像により構成される画像セット（学習時は学習用画像セット、部位認識時は部位認識用画像セット）とフィルタＦ₁との畳み込み演算が行われる。画像セットは、縦がＨ、横がＷの画像サイズを有するＮ枚（Ｎチャンネル）の画像により構成される。通常光画像を入力する場合、画像セットを構成する画像はＲ（赤色），Ｇ（緑色），Ｂ（青色）の３チャンネルの画像である。この画像セットと畳み込み演算されるフィルタＦ₁は、画像セットがＮチャンネル（Ｎ枚）であるため、例えばサイズ５（５×５）のフィルタの場合、フィルタサイズは５×５×Ｎになる。このフィルタＦ₁を用いた畳み込み演算により、１つのフィルタＦ₁に対して１チャンネル(１枚)の「特徴マップ」が生成される。２番目の畳み込み層で使用されるフィルタＦ₂は、例えばサイズ３（３×３）のフィルタの場合、フィルタサイズは３×３×Ｍになる。

画面７００は、ラジオボタンが配置された領域７０２～７１２と、プルダウンメニューが配置された領域７１４と、数値入力欄が配置された領域７１６と、を有する。ユーザは、ラジオボタンを操作することにより報知を行うか否か（オンするかオフするか；領域７０２）を設定することができる。またユーザは、ラジオボタンの操作により、「報知を行うか否か」（領域７０２）、「画面表示による報知を行うか否か」（領域７０４）、「初期状態で報知用の画面を表示するか否か」（領域７０６；図１０，１１の例を参照）、「音声出力（音声信号）による報知を行うか否か」（領域７０８）を設定することができる。さらに、ユーザは、ラジオボタンの操作により、「医療画像に写っている被写体の臓器が切り替わったタイミングで報知を行うか否か」（領域７１０）、及び「あらかじめ決められた部位（いわゆる「ランドマーク」）における被写体の医療画像が撮影されたタイミングで報知を行うか否か」（領域７１２）を設定することができる。また、ユーザは、領域７１２のラジオボタンがオンである場合は、領域７１４のプルダウンメニューの操作により、ランドマークとする部位を選択することができる。図８の例では、ランドマークとして「食道胃接合部（ＥＧＪ：esophaogastric junction）」が選択されているが、ランドマークは他の部位（例えば、咽頭）でもよい。

なお、ステップＳ１４０での判定で未撮影部位がない場合は、報知制御部２２６は、シェーマ図を全て同じ色で着色する、シェーマ図全体を丸で囲む等（画面表示時）、「未撮影部位はありません」のような音声を出力する等、未撮影部位がある場合とは異なる態様で報知を行うことが好ましい。報知制御部２２６は、未撮影部位がない場合は未撮影部位がある場合よりも報知力を低減（例えば、シェーマ図を小さくする、音量を下げる等）させてもよい。

＜報知態様の変形例＞
図１０に示す態様では、通常観察時には胃のシェーマ図（画像８０２）が重畳表示されていない（通常観察時の画面表示がオフ；図８の領域７０６でラジオボタンをオフにした状態）が、図１１の（ａ）部分に示すように、通常観察時においてもシェーマ図（例えば、図９に示す画像８００）を重畳表示してもよい（通常観察時の画面表示がオン）。報知制御部２２６は、図１１の（ｂ）部分に示すように、報知時（期待終了タイミング）にモニタ４００の画面で画像８０２を点滅させる。図１１に示す態様は、既にモニタ４００（ディスプレイ）に画面表示されている情報（画像８００）の表示態様を変更することにより報知する態様である。

Claims

被写体における撮影すべき複数の部位を示す部位情報を予め記憶するメモリと、
プロセッサと、
を備える医療画像処理装置であって、
前記プロセッサは、
前記被写体の医療画像を取得し、
前記医療画像に対する画像認識の結果に基づいて、前記医療画像が予め定められた条件を満たす場合に、前記医療画像に写っている前記被写体の部位を撮影済みの部位と認識し、
前記撮影済みの部位の情報をメモリに記録し、
前記撮影済みの部位の情報と前記撮影すべき複数の部位を示す部位情報とを比較して、前記撮影すべき複数の部位のうちで撮影されていない部位を判定し、
前記撮影されていない部位を示す情報を出力する医療画像処理装置。
前記プロセッサは、特定の被写体が決められた時間以上継続して前記医療画像に写っている場合、特定の被写体が前記医療画像の決められた領域に写っている場合、及び特定の被写体が決められた大きさ以上の大きさで前記医療画像に写っている場合のうち少なくとも１つを満たす場合に、前記医療画像に写っている部位を前記撮影済みの部位と認識する請求項１に記載の医療画像処理装置。
前記プロセッサは、
前記撮影済みの部位と認識した部位の情報を前記医療画像に関連付けて前記メモリに記録する請求項１または２に記載の医療画像処理装置。
前記プロセッサは、
前記撮影済みの部位を示す情報を前記撮影されていない部位を示す情報と共にディスプレイに表示させる請求項１から３のいずれか１項に記載の医療画像処理装置。
前記プロセッサは、
前記撮影済みの部位を示す情報及び前記撮影されていない部位を示す情報を、前記医療画像と同一の表示画面に模式図を用いて表示させる請求項１から４のいずれか１項に記載の医療画像処理装置。
前記プロセッサは、
前記模式図において、前記撮影済みの部位を示す情報の表示態様と前記撮影されていない部位を示す情報の表示態様とを異なる表示態様で表示させる請求項５に記載の医療画像処理装置。
前記プロセッサは、ニューラルネットワークを用いて前記画像認識を行う請求項１から６のいずれか１項に記載の医療画像処理装置。
前記プロセッサは、
前記撮影すべき複数の部位についての前記医療画像の取得が終了したことが期待される期待終了タイミングで、前記判定の結果を出力する請求項１から７のいずれか１項に記載の医療画像処理装置。
前記プロセッサは、
前記終了を示すユーザの操作を受け付け、
前記操作を受け付けたタイミングを前記期待終了タイミングとして前記判定の結果を出力する請求項８に記載の医療画像処理装置。
前記プロセッサは、前記認識の結果において観察対象である部位が一の臓器から他の臓器に変わったタイミングを前記期待終了タイミングとして前記判定の結果を出力する請求項８または９に記載の医療画像処理装置。
前記プロセッサは、あらかじめ決められた部位における被写体の医療画像が取得されたタイミングを前記期待終了タイミングとして前記判定の結果を出力する請求項８から１０のいずれか１項に記載の医療画像処理装置。
前記あらかじめ決められた部位は食道胃接合部である請求項１１に記載の医療画像処理装置。
前記あらかじめ決められた部位は咽頭である請求項１１に記載の医療画像処理装置。
前記プロセッサは、前記あらかじめ決められた部位における前記医療画像が取得されたタイミングで前記判定を行う請求項１１から１３のいずれか１項に記載の医療画像処理装置。
前記プロセッサは、前記出力を行った後、あらかじめ指定された時間が経過したら前記出力の報知力を低下させる請求項１から１４のいずれか１項に記載の医療画像処理装置。
前記プロセッサは情報を画面表示するディスプレイ及び／または音声を出力するスピーカを用いて前記出力を行う請求項１から１５のいずれか１項に記載の医療画像処理装置。
前記プロセッサは、既に前記ディスプレイに画面表示されている前記情報の表示態様及び／または既に前記スピーカから出力されている前記音声の出力態様を変更することにより前記出力を行う請求項１６に記載の医療画像処理装置。
前記プロセッサは、前記出力を行う前に前記画面表示がされていなかった情報を前記ディスプレイに新たに画面表示させることにより、及び／または前記出力を開始する前に前記出力がされていなかった音声を前記スピーカに新たに出力させることにより前記出力を行う請求項１６または１７に記載の医療画像処理装置。
前記プロセッサは、前記ディスプレイによる前記画面表示の報知力を増大または低減させる請求項１６から１８のいずれか１項に記載の医療画像処理装置。
請求項１から１９のいずれか１項に記載の医療画像処理装置と、
前記被写体としての被検体に挿入され前記医療画像を撮像する内視鏡スコープと、
を備え、
前記プロセッサは前記内視鏡スコープが撮像した前記医療画像を取得する内視鏡システム。
前記プロセッサは、
前記内視鏡スコープの移動方向を推定し、
前記推定した移動方向が後退方向に変化したタイミング以降に前記判定の結果を出力させる請求項２０に記載の内視鏡システム。
あらかじめ決められた、被写体における撮影すべき複数の部位を示す部位情報を記憶するメモリと、プロセッサと、を備える医療画像処理装置の作動方法であって、
前記プロセッサは、
前記被写体の医療画像を取得し、
前記医療画像に対する画像認識の結果に基づいて、前記医療画像が予め定められた条件を満たす場合に、前記医療画像に写っている前記被写体の部位を撮影済みの部位と認識し、
前記撮影済みの部位の情報をメモリに記録し、
前記撮影済みの部位の情報と前記撮影すべき複数の部位を示す部位情報とを比較して、前記撮影すべき複数の部位のうちで撮影されていない部位を判定し、
前記撮影されていない部位を示す情報を出力する、
医療画像処理装置の作動方法。
前記プロセッサは、ニューラルネットワークを用いて前記画像認識を行う請求項２２に記載の医療画像処理装置の作動方法。