JP7122328B2 - 画像処理装置、プロセッサ装置、画像処理方法、及びプログラム - Google Patents
画像処理装置、プロセッサ装置、画像処理方法、及びプログラム Download PDFInfo
- Publication number
- JP7122328B2 JP7122328B2 JP2019564350A JP2019564350A JP7122328B2 JP 7122328 B2 JP7122328 B2 JP 7122328B2 JP 2019564350 A JP2019564350 A JP 2019564350A JP 2019564350 A JP2019564350 A JP 2019564350A JP 7122328 B2 JP7122328 B2 JP 7122328B2
- Authority
- JP
- Japan
- Prior art keywords
- score map
- score
- interest
- image
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Animal Behavior & Ethology (AREA)
- Radiology & Medical Imaging (AREA)
- Optics & Photonics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Endoscopes (AREA)
Description
図1は内視鏡システムの全体構成を示す概略図である。図1に示した内視鏡システム9は、内視鏡10、光源装置11、プロセッサ装置12、表示装置13、画像処理装置14、入力装置15、及びモニタ装置16を備える。内視鏡システム9は、ネットワーク17を介して記憶装置18と通信可能に接続される。
次に、画像処理装置について説明する。
本実施形態に示した内視鏡システム9は、内視鏡10の先端部27に具備される撮像素子28を用いて体腔内部を撮像する。内視鏡システム9は、撮像した体腔内部を表す内視鏡画像38を受信する。内視鏡システム9は、表示装置13を用いて受信した内視鏡画像38を表示する。内視鏡画像38は医用画像の一例に相当する。
図2は画像処理装置のハードウェアの構成例を示すブロック図である。画像処理装置14は、制御部1、メモリ2、ハードディスク装置3、通信インターフェース4、入力コントローラ5、及びディスプレイコントローラ6を備える。
制御部1は、画像処理装置14の全体制御部40、各種演算部、及び記憶制御部として機能する。制御部1は、メモリ2に具備されるROM(read only memory)に記憶されているプログラムを実行する。制御部1は、通信インターフェース4を介して、外部の記憶装置からプログラムをダウンロードし、ダウンロードしたプログラムを実行してもよい。外部の記憶装置は、ネットワーク17を介して画像処理装置14と通信可能に接続されていてもよい。
メモリ2は、図示しないROM、及び図示しないRAMを備える。ROMは、画像処理装置14において実行される各種プログラムを記憶する。ROMは、各種プログラムの実行に用いられるパラメータ、及びファイル等を記憶する。RAMは、データの一時記憶領域、及び制御部1のワーク領域等として機能する。
ハードディスク装置3は、各種データを非一時的に記憶する。具体的には、ハードディスク装置3は、内視鏡10の観察画像、及び図1に示した記憶装置18等の外部の記憶装置から取得した医用画像等を記憶する。ハードディスク装置3は、画像処理装置14の外部に外付けされてもよい。ハードディスク装置3に代わり、又はこれと併用して、大容量の半導体メモリ装置を適用してもよい。
通信インターフェース4は、図1に示した記憶装置18等の外部の装置との間のデータ通信を行う。図2に示したIFは、interfaceの省略後である。
入力コントローラ5は、キーボード、及びマウス等の入力装置15から送信される信号を受信し、画像処理装置14に適用される形式の信号に変換するインターフェースである。
ディスプレイコントローラ6は、画像処理装置14において生成された画像を表す信号を、モニタ装置16を用いて表示させる映像信号に変換するインターフェースである。ディスプレイコントローラ6は、画像を表す映像信号をモニタ装置16へ送信する。
図3は画像処理装置の機能を示す機能ブロック図である。図3に示した画像処理装置14は、全体制御部40、内視鏡画像取得部41、画像解析処理部43、表示制御部44、入力制御部46、及び記憶部47を備える。
全体制御部40は、画像処理装置14の制御プログラムの実行に基づき、内視鏡画像取得部41、画像解析処理部43、及び表示制御部44を統括的に制御する。
内視鏡画像取得部41は、図1に示したプロセッサ装置12を用いて生成された内視鏡画像38を取得する。内視鏡画像取得部41は、外部の記憶装置に記憶されている内視鏡画像38を取得してもよい。内視鏡画像取得部41は、メモリーカード等の各種情報記憶媒体を介して、上記した内視鏡画像38を取得してもよい。
画像解析処理部43は、深層学習アルゴリズム45に基づく深層学習を用いて、内視鏡画像取得部41を用いて取得した内視鏡画像38の解析処理を実行する。内視鏡画像38の解析処理の詳細は後述する。
表示制御部44は、モニタ装置16を用いて内視鏡画像38を再生する際に、画像表示を制御するディスプレイドライバーとして機能する。表示制御部44は、モニタ装置16を用いて、動画像38aの再生中に撮像された静止画像38cを動画像38aに重畳表示させてもよい。表示制御部44は、モニタ装置16を用いて、再生中の動画像38a、又は静止画像38cに報知画像等を重畳表示してもよい。
入力制御部46は、入力装置15から入力された信号を、画像処理装置14に適用される形式の信号に変換し、変換後の信号を全体制御部40へ送信する。全体制御部40は、入力装置15から入力された情報に基づいて、画像処理装置14の各部を制御する。
記憶部47は、画像記憶部48、及びプログラム記憶部49を備える。画像記憶部48は、内視鏡画像取得部41を用いて取得した内視鏡画像38を記憶する。画像記憶部48に記憶された画像は、全体制御部40の制御の下、画像解析処理部43へ読み出される。
図4は図3に示した画像解析処理部の機能を示す機能ブロック図である。画像解析処理部43は、スコアマップ生成部51、スコアマップ保存部52、及びスコアマップ演算部53を備える。以下、上記した各部について詳細に説明する。
スコアマップ生成部51は、内視鏡画像38のフレーム画像38bごとのスコアマップ39aを生成する。スコアマップ39aは、フレーム画像38bごとの、各フレーム画像38bにおける位置情報を保有した、注目領域らしさを表すスコアの分布である。スコアは0以上1以下の連続する数値を適用可能である。スコアは、任意の数値範囲の数値を正規化した数値でもよい。正規化の例として、0から255を用いて表される数値を255で除算する例が挙げられる。
スコアマップ保存部52は、スコアマップ生成部51を用いて生成されたスコアマップを時系列順に保存する。本実施形態では、画像解析処理部43がスコアマップ保存部52を具備する態様を示したが、スコアマップ保存部52は画像解析処理部43の外部に具備されるメモリを適用してもよい。
スコアマップ演算部53は、スコアマップ保存部52に規定数のスコアマップ39aが保存された場合に、注目時刻におけるフレーム画像38bから生成されたスコアマップ39a、及び注目時刻よりも過去のフレーム画像38bから生成されたスコアマップ39aであり、スコアマップ保存部52を用いて保存されているスコアマップ39aのうち少なくとも1つを演算対象として演算を行う。スコアマップ演算部53は、演算結果として1つの演算スコアマップ39bを生成する。演算の例として加重平均演算が挙げられる。加重平均演算の詳細は後述する。
次に、スコアマップ生成の具体例について説明する。図5はスコアマップの模式図である。図5に示したフレーム画像38b1、フレーム画像38b2、及びフレーム画像38b3は、連続する時系列の任意のフレーム画像38bである。時系列順に、フレーム画像38b1、フレーム画像38b2、及びフレーム画像38b3となる。
図6は演算スコアマップの模式図である。図6には図5に示した3つのスコアマップ39aである、スコアマップ39a1、スコアマップ39a2、及びスコアマップ39a3を演算して、演算スコアマップ39bが生成される例を示す。
内視鏡画像38において注目領域70を報知する際に、バウンディングボックス等を用いて認識した注目領域70を囲むなど、注目領域70に報知画像を重畳表示させる場合、注目領域70とそれ以外の領域との比較が困難になり、診断等に支障をきたすことが懸念される。
注目時刻のスコアマップ39aをX(t0)とする。注目時刻t0よりも過去の7つのスコアマップ39aをX(t1)、X(t2)、X(t3)、X(t4)、X(t5)、X(t6)、及びX(t7)とする。注目時刻t0のスコアマップX(t0)に適用される重みをWt0とする。注目時刻t0よりも過去のスコアマップX(tj)に適用される重みをWtjとする。但し、jは1から注目時刻t0よりも過去のスコアマップ39aの総数までの整数である。過去のスコアマップ39aの総数が7の場合の注目時刻t0における演算スコアマップY(t0)は、以下の式1を用いて表される。
図9は画像処理方法の流れを示すフローチャートである。内視鏡画像38の観察が開始される。内視鏡画像取得工程S10では、図3に示した内視鏡画像取得部41は、図1に示したプロセッサ装置12を介して内視鏡画像38を取得する。
上記の如く構成された画像処理装置、及び方法によれば、以下の作用効果を得ることが可能である。
内視鏡画像38の各フレーム画像38bについて、注目領域70らしさを表すスコアの分布であるスコアマップ39aを生成し、スコアマップ39aを保存する。注目時刻のスコアマップ39aを含む規定数のスコアマップ39aが保存された場合に、規定数のスコアマップ39aに対して加重平均演算を施して、1つの演算スコアマップ39bを生成する。これにより、誤検出の原因となり得るスコアの影響が抑制された演算スコアマップ39bに基づいて、誤認識が抑制された注目領域70の認識が可能となる。
スコアマップ39aの生成はコンボリューションニューラルネットワークが適用される。これにより、コンボリューションニューラルネットワークを用いて生成されたスコアマップ39aに基づく注目領域70の認識が可能となる。
規定数のスコアマップ39aに対して加重平均演算を施して演算スコアマップ39bが生成される。これにより、注目領域70として誤認識された第2スコア領域74が演算スコアマップ39bから除去される。
加重平均演算は、注目時刻よりも過去のスコアマップ39aの影響よりも注目時刻のスコアマップ39aの影響が小さくなる重みが適用される。これにより、演算スコアマップ39bに基づいて生成されたバウンディングボックス82等の報知画像を内視鏡画像38に重畳表示させる際に、報知画像の位置を注目領域70の位置とずらすことが可能となる。
加重平均演算は、注目時刻のスコアマップ39aに最小の重みを適用する。これにより、演算スコアマップ39bへの注目時刻のスコアマップ39aの影響を最小とすることが可能となる。
規定数のスコアマップ39aを用いて演算スコアマップ39bが生成される。これにより、演算スコアマップ39bへの注目時刻のスコアマップ39aの影響の程度を維持し得る。
演算スコアマップ39bの第3スコア領域80に基づくバウンディングボックス82を内視鏡画像38に重畳表示させる。これにより、内視鏡画像38における注目領域70の報知が可能となる。
〔第1例〕
内視鏡画像38は、白色帯域の光、又は白色帯域の光として波長帯域が異なる複数の光を照射して取得した通常光画像を適用し得る。
内視鏡画像38は、特定の波長帯域の光を照射して取得した特殊光画像を適用し得る。特定の波長帯域は、白色光の波長帯域よりも狭い波長帯域を適用し得る。
〔第1例〕
特定の波長帯域の第1例は、可視域の青色帯域又は緑色帯域である。第1例の波長帯域は、390ナノメートル以上450ナノメートル以下、又は530ナノメートル以上550ナノメートル以下の波長帯域を含み、且つ第1例の光は、390ナノメートル以上450ナノメートル以下、又は530ナノメートル以上550ナノメートル以下の波長帯域内にピーク波長を有する。
特定の波長帯域の第2例は、可視域の赤色帯域である。第2例の波長帯域は、585ナノメートル以上615ナノメートル以下、又は610ナノメートル以上730ナノメートル以下の波長帯域を含み、且つ第2例の光は、585ナノメートル以上615ナノメートル以下、又は610ナノメートル以上730ナノメートル以下の波長帯域内にピーク波長を有する。
特定の波長帯域の第3例は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、且つ第3例の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する。この第3例の波長帯域は、400±10ナノメートル、440±10ナノメートル、470±10ナノメートル、又は600ナノメートル以上750ナノメートル以下の波長帯域を含み、且つ第3例の光は、400±10ナノメートル、440±10ナノメートル、470±10ナノメートル、又は600ナノメートル以上750ナノメートル以下の波長帯域にピーク波長を有する。
特定の波長帯域の第4例は、生体内の蛍光物質が発する蛍光の観察に用いられ、且つこの蛍光物質を励起させる励起光の波長帯域である。例えば、390ナノメートル以上470ナノメートル以下の波長帯域である。なお、蛍光の観察は蛍光観察と呼ばれる場合がある。
特定の波長帯域の第5例は、赤外光の波長帯域である。この第5例の波長帯域は、790ナノメートル以上820ナノメートル以下、又は905ナノメートル以上970ナノメートル以下の波長帯域を含み、且つ第5例の光は、790ナノメートル以上820ナノメートル以下、又は905ナノメートル以上970ナノメートル以下の波長帯域にピーク波長を有する。
プロセッサ装置12は、白色光、又は白色光として異なる波長帯域を有する複数の光を用いて撮像して得られた通常光画像に基づいて、特定の波長帯域の情報を有する特殊光画像を生成してもよい。なお、ここでいう生成は取得が含まれる。この場合、プロセッサ装置12は、特殊光画像取得部として機能する。そして、プロセッサ装置12は、特定の波長帯域の信号を、通常光画像に含まれる赤、緑、及び青、或いはシアン、マゼンタ、及びイエローの色情報に基づく演算を行うことで得る。
プロセッサ装置12は、通常光画像、及び特殊光画像の少なくともいずれか一方に基づいて、公知の酸素飽和度画像等の特徴量画像を生成してもよい。
本実施形態に示した画像処理装置14を備えた診断支援装置、及び医療行業務支援装置を構成し得る。
本実施形態に示した画像処理装置14を備えるプロセッサ装置12を構成し得る。すなわち、内視鏡10の動作を制御する内視鏡制御部、内視鏡10を用いた撮像を制御する撮像制御部、光源装置11を制御する光源制御部、及び画像処理装置14を備えたプロセッサ装置12を構成し得る。画像処理装置14は画像処理部の一例に相当する。
上述した画像処理方法は、コンピュータを用いて、画像処理方法における各工程に対応する機能を実現させるプログラムとして構成可能である。例えば、画像取得機能、スコアマップ生成機能、スコアマップ保存機能、及びスコアマップ演算機能を実現させるプログラムを構成し得る。
上述した実施形態で説明した構成要素、及び変形例で説明した構成要素は、適宜組み合わせて用いることができ、また、一部の構成要素を置き換えることもできる。
2 メモリ
3 ハードディスク装置
4 通信インターフェース
5 入力コントローラ
6 ディスプレイコントローラ
9 内視鏡システム
10 内視鏡
11 光源装置
12 プロセッサ装置
13 表示装置
14 画像処理装置
15 入力装置
16 モニタ装置
17 ネットワーク
18 記憶装置
20 挿入部
21 操作部
22 ユニバーサルコード
25 軟性部
26 湾曲部
27 先端部
27a 先端面
28 撮像素子
29 湾曲操作ノブ
30 送気送水ボタン
31 吸引ボタン
32 静止画像撮像指示部
33 処置具導入口
35 ライトガイド
36 信号ケーブル
37a、37b コネクタ
38 内視鏡画像
38a 動画像
38b、38b1、38b2、38b3 フレーム画像
38c 静止画像
39a、39a1、39a2、39a3 スコアマップ
39b 演算スコアマップ
40 全体制御部
41 内視鏡画像取得部
43 画像解析処理部
44 表示制御部
45 深層学習アルゴリズム
46 入力制御部
47 記憶部
48 画像記憶部
49 プログラム記憶部
51 スコアマップ生成部
52 スコアマップ保存部
53 スコアマップ演算部
68 通信信号線
70 注目領域
72 第1スコア領域
74 第2スコア領域
80 第3スコア領域
82 バウンディングボックス
S10からS22 画像処理方法の各工程
Claims (24)
- 時系列の複数の医用画像を取得する画像取得部と、
前記画像取得部を用いて取得した2つ以上の前記医用画像について、注目領域らしさのスコアの分布を表すスコアマップを生成するスコアマップ生成部と、
前記スコアマップを保存するスコアマップ保存部と、
前記スコアマップ保存部に保存したスコアマップについて、注目時刻のスコアマップと、注目時刻よりも過去の少なくとも1つのスコアマップとから1つの演算スコアマップを生成するスコアマップ演算部と、
を備え、
前記スコアマップ生成部は、前記スコアマップとして、前記スコアを表す画素値を有する量子化画像を生成する画像処理装置。 - 前記画像取得部は、内視鏡を用いて取得した観察画像を取得する請求項1に記載の画像処理装置。
- 時系列の複数の医用画像を取得する画像取得部と、
前記画像取得部を用いて取得した2つ以上の前記医用画像について、注目領域らしさのスコアの分布を表すスコアマップを生成するスコアマップ生成部と、
前記スコアマップを保存するスコアマップ保存部と、
前記スコアマップ保存部に保存したスコアマップについて、注目時刻のスコアマップと、注目時刻よりも過去の少なくとも1つのスコアマップとから1つの演算スコアマップを生成するスコアマップ演算部と、
を備え、
前記画像取得部は、内視鏡を用いて取得した観察画像を取得する画像処理装置。 - 前記スコアマップ生成部は、コンボリューションニューラルネットワークを用いて前記スコアマップを生成する請求項1から3のいずれか一項に記載の画像処理装置。
- 前記医用画像を表示する表示装置へ、前記演算スコアマップに基づいて前記注目領域を表す報知画像を表示させる表示制御部を備えた請求項1から4のいずれか一項に記載の画像処理装置。
- 前記表示制御部は、前記報知画像を前記医用画像に重畳表示させ、かつ前記報知画像を前記医用画像の前記注目領域の位置とずらして表示させる請求項5に記載の画像処理装置。
- 前記スコアマップ演算部は、演算対象の前記スコアマップに対して加重平均演算を施して、前記演算スコアマップを生成する請求項1から6のいずれか一項に記載の画像処理装置。
- 時系列の複数の医用画像を取得する画像取得部と、
前記画像取得部を用いて取得した2つ以上の前記医用画像について、注目領域らしさのスコアの分布を表すスコアマップを生成するスコアマップ生成部と、
前記スコアマップを保存するスコアマップ保存部と、
前記スコアマップ保存部に保存したスコアマップについて、注目時刻のスコアマップと、注目時刻よりも過去の少なくとも1つのスコアマップとから1つの演算スコアマップを生成するスコアマップ演算部と、
を備え、
前記スコアマップ演算部は、演算対象の前記スコアマップに対して加重平均演算を施して、前記演算スコアマップを生成する画像処理装置。 - 前記医用画像を表示する表示装置へ、前記演算スコアマップに基づいて前記注目領域を表す報知画像を表示させる表示制御部を備え、
前記スコアマップ演算部は、前記演算スコアマップへの前記注目時刻のスコアマップの影響を相対的に小さくする重みを用いた前記加重平均演算を施して前記演算スコアマップを生成し、
前記表示制御部は、前記演算スコアマップに基づいて生成された前記報知画像を前記医用画像に重畳表示させる請求項7又は8に記載の画像処理装置。 - 前記スコアマップ演算部は、前記注目時刻のスコアマップの前記重みを、前記注目時刻よりも過去のスコアマップの重みの算術平均未満として、前記加重平均演算を施して前記演算スコアマップを生成する請求項9に記載の画像処理装置。
- 前記スコアマップ演算部は、前記加重平均演算に用いる前記重みの最小値を、前記注目時刻のスコアマップへ適用する前記加重平均演算を施して前記演算スコアマップを生成する請求項9に記載の画像処理装置。
- 前記スコアマップ演算部は、演算対象の前記スコアマップに対して平均演算を施して、前記演算スコアマップを生成する請求項1から6のいずれか一項に記載の画像処理装置。
- 時系列の複数の医用画像を取得する画像取得部と、
前記画像取得部を用いて取得した2つ以上の前記医用画像について、注目領域らしさのスコアの分布を表すスコアマップを生成するスコアマップ生成部と、
前記スコアマップを保存するスコアマップ保存部と、
前記スコアマップ保存部に保存したスコアマップについて、注目時刻のスコアマップと、注目時刻よりも過去の少なくとも1つのスコアマップとから1つの演算スコアマップを生成するスコアマップ演算部と、
を備え、
前記スコアマップ演算部は、演算対象の前記スコアマップに対して平均演算を施して、前記演算スコアマップを生成する画像処理装置。 - 前記スコアマップ演算部は、前記注目時刻のスコアマップを含む時系列の2以上の規定された数の前記スコアマップが前記スコアマップ保存部に保存された場合に、前記注目時刻のスコアマップを含む、前記時系列の2以上の規定された数のスコアマップについて、前記演算スコアマップを生成する請求項1から13のいずれか一項に記載の画像処理装置。
- 時系列の複数の医用画像を取得する画像取得部と、
前記画像取得部を用いて取得した2つ以上の前記医用画像について、注目領域らしさのスコアの分布を表すスコアマップを生成するスコアマップ生成部と、
前記スコアマップを保存するスコアマップ保存部と、
前記スコアマップ保存部に保存したスコアマップについて、注目時刻のスコアマップと、注目時刻よりも過去の少なくとも1つのスコアマップとから1つの演算スコアマップを生成するスコアマップ演算部と、
を備え、
前記スコアマップ演算部は、前記注目時刻のスコアマップを含む時系列の2以上の規定された数の前記スコアマップが前記スコアマップ保存部に保存された場合に、前記注目時刻のスコアマップを含む、前記時系列の2以上の規定された数のスコアマップについて、前記演算スコアマップを生成する画像処理装置。 - 内視鏡の動作を制御する内視鏡制御部と、
前記内視鏡を用いた撮像を制御する撮像制御部と、
前記内視鏡を用いて撮像して得られた内視鏡画像を処理する画像処理部と、
を備え、
前記画像処理部は、
時系列の複数の医用画像として前記内視鏡画像を取得する画像取得部と、
前記画像取得部を用いて取得した2つ以上の前記医用画像について、注目領域らしさのスコアの分布を表すスコアマップを生成するスコアマップ生成部と、
前記スコアマップを保存するスコアマップ保存部と、
前記スコアマップ保存部に保存したスコアマップについて、注目時刻のスコアマップと、注目時刻よりも過去の少なくとも1つのスコアマップとから1つの演算スコアマップを生成するスコアマップ演算部と、
を備えたプロセッサ装置。 - コンピュータが、
時系列の複数の医用画像を取得する画像取得工程と、
前記画像取得工程において取得した2つ以上の前記医用画像について、注目領域らしさのスコアの分布を表すスコアマップを生成するスコアマップ生成工程と、
前記スコアマップを保存するスコアマップ保存工程と、
前記スコアマップ保存工程において保存したスコアマップについて、注目時刻のスコアマップと、注目時刻よりも過去の少なくとも1つのスコアマップとから1つの演算スコアマップを生成するスコアマップ演算工程と、
を実行する画像処理方法であって、
前記スコアマップ生成工程は、前記スコアマップとして、前記スコアを表す画素値を有する量子化画像を生成する画像処理方法。 - コンピュータが、
時系列の複数の医用画像を取得する画像取得工程と、
前記画像取得工程において取得した2つ以上の前記医用画像について、注目領域らしさのスコアの分布を表すスコアマップを生成するスコアマップ生成工程と、
前記スコアマップを保存するスコアマップ保存工程と、
前記スコアマップ保存工程において保存したスコアマップについて、注目時刻のスコアマップと、注目時刻よりも過去の少なくとも1つのスコアマップとから1つの演算スコアマップを生成するスコアマップ演算工程と、
を実行する画像処理方法であって、
前記画像取得工程は、内視鏡を用いて取得した観察画像を取得する画像処理方法。 - コンピュータが、
時系列の複数の医用画像を取得する画像取得工程と、
前記画像取得工程において取得した2つ以上の前記医用画像について、注目領域らしさのスコアの分布を表すスコアマップを生成するスコアマップ生成工程と、
前記スコアマップを保存するスコアマップ保存工程と、
前記スコアマップ保存工程において保存したスコアマップについて、注目時刻のスコアマップと、注目時刻よりも過去の少なくとも1つのスコアマップとから1つの演算スコアマップを生成するスコアマップ演算工程と、
を実行する画像処理方法であって、
スコアマップ演算工程は、演算対象の前記スコアマップに対して加重平均演算を施して、前記演算スコアマップを生成する画像処理方法。 - コンピュータが、
時系列の複数の医用画像を取得する画像取得工程と、
前記画像取得工程において取得した2つ以上の前記医用画像について、注目領域らしさのスコアの分布を表すスコアマップを生成するスコアマップ生成工程と、
前記スコアマップを保存するスコアマップ保存工程と、
前記スコアマップ保存工程において保存したスコアマップについて、注目時刻のスコアマップと、注目時刻よりも過去の少なくとも1つのスコアマップとから1つの演算スコアマップを生成するスコアマップ演算工程と、
を実行する画像処理方法であって、
スコアマップ演算工程は、演算対象の前記スコアマップに対して平均演算を施して、前記演算スコアマップを生成する画像処理方法。 - コンピュータに、
時系列の複数の医用画像を取得する画像取得機能、
前記画像取得機能を用いて取得した2つ以上の前記医用画像について、注目領域らしさのスコアの分布を表すスコアマップを生成するスコアマップ生成機能、
前記スコアマップを保存するスコアマップ保存機能、及び
前記スコアマップ保存機能を用いて保存したスコアマップについて、注目時刻のスコアマップと、注目時刻よりも過去の少なくとも1つのスコアマップとから1つの演算スコアマップを生成するスコアマップ演算機能を実現させるプログラムであって、
前記スコアマップ生成機能は、前記スコアマップとして、前記スコアを表す画素値を有する量子化画像を生成するプログラム。 - コンピュータに、
時系列の複数の医用画像を取得する画像取得機能、
前記画像取得機能を用いて取得した2つ以上の前記医用画像について、注目領域らしさのスコアの分布を表すスコアマップを生成するスコアマップ生成機能、
前記スコアマップを保存するスコアマップ保存機能、及び
前記スコアマップ保存機能を用いて保存したスコアマップについて、注目時刻のスコアマップと、注目時刻よりも過去の少なくとも1つのスコアマップとから1つの演算スコアマップを生成するスコアマップ演算機能を実現させるプログラムであって、
前記画像取得機能は、内視鏡を用いて取得した観察画像を取得するプログラム。 - コンピュータに、
時系列の複数の医用画像を取得する画像取得機能、
前記画像取得機能を用いて取得した2つ以上の前記医用画像について、注目領域らしさのスコアの分布を表すスコアマップを生成するスコアマップ生成機能、
前記スコアマップを保存するスコアマップ保存機能、及び
前記スコアマップ保存機能を用いて保存したスコアマップについて、注目時刻のスコアマップと、注目時刻よりも過去の少なくとも1つのスコアマップとから1つの演算スコアマップを生成するスコアマップ演算機能を実現させるプログラムであって、
スコアマップ演算機能は、演算対象の前記スコアマップに対して加重平均演算を施して、前記演算スコアマップを生成するプログラム。 - コンピュータに、
時系列の複数の医用画像を取得する画像取得機能、
前記画像取得機能を用いて取得した2つ以上の前記医用画像について、注目領域らしさのスコアの分布を表すスコアマップを生成するスコアマップ生成機能、
前記スコアマップを保存するスコアマップ保存機能、及び
前記スコアマップ保存機能を用いて保存したスコアマップについて、注目時刻のスコアマップと、注目時刻よりも過去の少なくとも1つのスコアマップとから1つの演算スコアマップを生成するスコアマップ演算機能を実現させるプログラムであって、
スコアマップ演算機能は、演算対象の前記スコアマップに対して平均演算を施して、前記演算スコアマップを生成するプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018002004 | 2018-01-10 | ||
JP2018002004 | 2018-01-10 | ||
PCT/JP2018/045952 WO2019138772A1 (ja) | 2018-01-10 | 2018-12-13 | 画像処理装置、プロセッサ装置、画像処理方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019138772A1 JPWO2019138772A1 (ja) | 2020-12-10 |
JP7122328B2 true JP7122328B2 (ja) | 2022-08-19 |
Family
ID=67219641
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019564350A Active JP7122328B2 (ja) | 2018-01-10 | 2018-12-13 | 画像処理装置、プロセッサ装置、画像処理方法、及びプログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7122328B2 (ja) |
WO (1) | WO2019138772A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110136808B (zh) * | 2019-05-23 | 2022-05-24 | 安翰科技(武汉)股份有限公司 | 一种拍摄装置辅助显示系统 |
WO2022224446A1 (ja) * | 2021-04-23 | 2022-10-27 | 日本電気株式会社 | 画像処理装置、画像処理方法及び記憶媒体 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013037702A1 (en) | 2011-09-14 | 2013-03-21 | Siemens Aktiengesellschaft | Method and a system for medical imaging |
US20160235388A1 (en) | 2015-02-17 | 2016-08-18 | Siemens Aktiengesellschaft | Vessel tree tracking in angiography videos |
-
2018
- 2018-12-13 JP JP2019564350A patent/JP7122328B2/ja active Active
- 2018-12-13 WO PCT/JP2018/045952 patent/WO2019138772A1/ja active Application Filing
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013037702A1 (en) | 2011-09-14 | 2013-03-21 | Siemens Aktiengesellschaft | Method and a system for medical imaging |
US20160235388A1 (en) | 2015-02-17 | 2016-08-18 | Siemens Aktiengesellschaft | Vessel tree tracking in angiography videos |
Also Published As
Publication number | Publication date |
---|---|
JPWO2019138772A1 (ja) | 2020-12-10 |
WO2019138772A1 (ja) | 2019-07-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7270626B2 (ja) | 医用画像処理装置、医用画像処理システム、医用画像処理装置の作動方法、プログラム、及び記憶媒体 | |
JP7166430B2 (ja) | 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法及びプログラム | |
JP7143504B2 (ja) | 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法及びプログラム | |
US11298012B2 (en) | Image processing device, endoscope system, image processing method, and program | |
JP7125479B2 (ja) | 医療画像処理装置、医療画像処理装置の作動方法及び内視鏡システム | |
JP7289373B2 (ja) | 医療画像処理装置、内視鏡システム、診断支援方法及びプログラム | |
WO2019130868A1 (ja) | 画像処理装置、プロセッサ装置、内視鏡システム、画像処理方法、及びプログラム | |
JP2023115352A (ja) | 医療画像処理装置、医療画像処理システム、医療画像処理装置の作動方法及び医療画像処理プログラム | |
US11564560B2 (en) | Image processing apparatus, operating method of image processing apparatus, and computer-readable recording medium | |
JP7122328B2 (ja) | 画像処理装置、プロセッサ装置、画像処理方法、及びプログラム | |
JP7387859B2 (ja) | 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法及びプログラム | |
WO2019087969A1 (ja) | 内視鏡システム、報知方法、及びプログラム | |
WO2019088008A1 (ja) | 画像処理装置、画像処理方法、プログラム、及び内視鏡システム | |
US20210209398A1 (en) | Medical image processing apparatus, processor device, medical image processing method, and program | |
JP7148625B2 (ja) | 医用画像処理装置、プロセッサ装置、医用画像処理装置の作動方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200618 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210625 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210813 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220111 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220310 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220713 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220808 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7122328 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |