JPWO2021014584A1 - プログラム、情報処理方法及び情報処理装置 - Google Patents

プログラム、情報処理方法及び情報処理装置 Download PDF

Info

Publication number
JPWO2021014584A1
JPWO2021014584A1 JP2019569984A JP2019569984A JPWO2021014584A1 JP WO2021014584 A1 JPWO2021014584 A1 JP WO2021014584A1 JP 2019569984 A JP2019569984 A JP 2019569984A JP 2019569984 A JP2019569984 A JP 2019569984A JP WO2021014584 A1 JPWO2021014584 A1 JP WO2021014584A1
Authority
JP
Japan
Prior art keywords
information
deterioration
amount
image
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019569984A
Other languages
English (en)
Other versions
JP6704095B1 (ja
Inventor
伶 佐藤
伶 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hoya Corp
Original Assignee
Hoya Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hoya Corp filed Critical Hoya Corp
Application granted granted Critical
Publication of JP6704095B1 publication Critical patent/JP6704095B1/ja
Publication of JPWO2021014584A1 publication Critical patent/JPWO2021014584A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00194Optical arrangements adapted for three-dimensional imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30028Colon; Small intestine
    • G06T2207/30032Colon polyp
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Endoscopes (AREA)

Abstract

プログラムは、コンピュータに、内視鏡により所定期間を経て撮影した複数の画像を取得し、取得した前記複数の画像に基づいて、前記複数の画像に含まれる体内部位の将来の状態を推定する処理をコンピュータに実行させる。

Description

本技術は、プログラム、情報処理方法及び情報処理装置に関する。
内視鏡画像等の医用画像から、学習モデルを使用して病変部位を自動的に検出するコンピュータ支援診断技術が開発されている。正解ラベルが付与された教師データを用いた教師あり機械学習により、学習モデルを生成する手法が知られている。
通常の内視鏡で撮影された画像群を教師データに用いた第1の学習と、カプセル内視鏡で撮影された画像群を教師データに用いた第2の学習とを組み合わせる学習方法にて学習される学習モデルが、開示されている(例えば、特許文献1)。
国際公開第2017/175282号
しかしながら、特許文献1に記載の学習モデルは、入力された画像に基づき、ポリープや腫瘍等の病変に関する情報を診断支援として出力するが、画像を撮影した現時点における病変に関する情報を出力するものであり、対象患部の状態が将来的にどのように変化するかに関する観点からの診断支援については、考慮されていないという問題点がある。
一つの側面では、被検者の対象部位における将来的な変化に関する観点からの診断支援を行うプログラム等を提供することを目的とする。
本開示の一態様におけるプログラムは、コンピュータに、内視鏡により所定期間を経て撮影した複数の画像を取得し、取得した前記複数の画像に基づいて、前記複数の画像に含まれる体内部位の将来の状態を推定する処理をコンピュータに実行させる。
本開示の一態様における情報処理方法は、内視鏡により所定期間を経て撮影した複数の画像を取得し、取得した前記複数の画像に基づいて、前記複数の画像に含まれる体内部位の将来の状態を推定する処理をコンピュータに実行させる。
本開示の一態様における情報処理装置は、内視鏡により所定期間を経て撮影した複数の画像を取得する取得部と、取得した前記複数の画像に基づいて、前記複数の画像に含まれる体内部位の将来の状態を推定する推定部とを備える。
本開示によれば、被検者の対象部位における将来的な変化に関する観点からの診断支援を行うプログラム等を提供することができる。
実施形態1に係る診断支援システムの概要を示す模式図である。 診断支援システムに含まれる内視鏡装置の構成例を示すブロック図である。 診断支援システムに含まれる情報処理装置の構成例を示すブロック図である。 検査結果DBのデータレイアウトを例示する説明図である。 劣化推定線を示すグラフに関する説明図である。 情報処理装置の制御部による処理手順の一例を示すフローチャートである。 実施形態2に係る蠕動量学習済みモデルの生成処理に関する説明図である。 劣化量学習済みモデルの生成処理に関する説明図である。 補正劣化量学習済みモデルの生成処理に関する説明図である。 情報処理装置等の制御部に含まれる機能部を例示する機能ブロック図である。 体内部位を撮影した画像に基づき生成された3次元マップデータに関する説明図である。 劣化推定線を示すグラフに関する説明図である。 情報処理装置の制御部による処理手順の一例を示すフローチャートである。 情報処理装置の制御部による診断支援情報を導出する処理手順の一例を示すフローチャートである。 情報処理装置の制御部による蠕動量学習済みモデルの生成処理に関する処理手順の一例を示すフローチャートである。 実施形態3に係る差分学習済みモデルの生成処理に関する説明図である。 情報処理装置等の制御部に含まれる機能部を例示する機能ブロック図である。 情報処理装置の制御部による処理手順の一例を示すフローチャートである。 実施形態4に係る内視鏡画像学習済みモデルの生成処理に関する説明図である。 病変学習済みモデルの生成処理に関する説明図である。 情報処理装置等の制御部に含まれる機能部を例示する機能ブロック図である。 情報処理装置の制御部による処理手順の一例を示すフローチャートである。
(実施形態1)
以下、本発明をその実施の形態を示す図面に基づいて詳述する。図1は、実施形態1に係る診断支援システムSの概要を示す模式図である。
診断支援システムSは、内視鏡装置10及び、内視鏡装置10と通信可能に接続される情報処理装置6を含む。
内視鏡装置10は、内視鏡の撮影素子によって撮影した画像(撮影画像)を内視鏡用プロセッサ20に伝送し、内視鏡用プロセッサ20によってガンマ補正、ホワイトバランス補正、シェーディング補正等の各種画像処理を行うことにより、操作者が目視し易い状態にした内視鏡画像を生成する。内視鏡装置10は、更に生成した内視鏡画像に基づき、3次元マップデータ(体腔内径を反映した3次元テクスチャマッピングされたデータ)を生成するものであってもよい。内視鏡装置10は、これら生成した内視鏡画像及び3次元マップデータを情報処理装置6に出力(送信)する。内視鏡装置10から送信された内視鏡画像及び3次元マップデータを取得した情報処理装置6は、これら内視鏡画像又は3次元マップデータに基づき、種々の情報処理を行い、診断支援に関する情報を出力する。
図2は、診断支援システムSに含まれる内視鏡装置10の構成例を示すブロック図である。図3は、診断支援システムSに含まれる情報処理装置6の構成例を示すブロック図である。内視鏡装置10は、内視鏡用プロセッサ20と、内視鏡40と、表示装置50とを含む。表示装置50は、たとえば液晶表示装置、または、有機EL(Electro Luminescence)表示装置である。
表示装置50はキャスター付きの収容棚16の上段に設置されている。内視鏡用プロセッサ20は、収容棚16の中段に収容されている。収容棚16は、図示を省略する内視鏡検査用ベッドの近傍に配置される。収容棚16は内視鏡用プロセッサ20に接続されたキーボード15を搭載する、引き出し式の棚を有する。
内視鏡用プロセッサ20は、略直方体形状であり、一面にタッチパネル25を備える。タッチパネル25の下部に、読取部28が配置されている。読取部28は、たとえばUSBコネクタ、SD(Secure Digital)カードスロット、またはCD−ROM(Compact Disc Read Only Memory)ドライブ等の、可搬型記録媒体の読み書きを行なう接続用インターフェイスである。
内視鏡40は、挿入部44、操作部43、ライトガイド可撓管49およびスコープコネクタ48を有する。操作部43には、制御ボタン431が設けられている。挿入部44は長尺であり、一端が折止部45を介して操作部43に接続されている。挿入部44は、操作部43側から順に軟性部441、湾曲部442および先端部443を有する。湾曲部442は、湾曲ノブ433の操作に応じて湾曲する。挿入部44には、3軸加速度センサ、ジャイロセンサ、地磁気センサ又は磁気コイルセンサ等の物理検出装置が実装され、内視鏡40が被検者の体内に挿入された際、これら物理検出装置からの検出結果を取得するものであってもよい。
ライトガイド可撓管49は長尺であり、第一端が操作部43に、第二端がスコープコネクタ48にそれぞれ接続されている。ライトガイド可撓管49は、軟性である。スコープコネクタ48は略直方体形状である。スコープコネクタ48には、送気送水用のチューブを接続する送気送水口金36(図2参照)が設けられている。
内視鏡装置10は、内視鏡用プロセッサ20と、内視鏡40と、表示装置50とを含む。内視鏡用プロセッサ20は、タッチパネル25および読取部28に加えて、制御部21、主記憶装置22、補助記憶装置23、通信部24、表示装置I/F(Interface)26、入力装置I/F27、内視鏡用コネクタ31、光源33、ポンプ34およびバスを備える。内視鏡用コネクタ31は、電気コネクタ311および光コネクタ312を含む。
制御部21は、本実施の形態のプログラムを実行する演算制御装置である。制御部21には、一または複数のCPU(Central Processing Unit)、GPU(Graphics Processing Unit)又はマルチコアCPU等が使用される。制御部21は、バスを介して内視鏡用プロセッサ20を構成するハードウェア各部と接続されている。
主記憶装置22は、例えば、SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory)、フラッシュメモリ等の記憶装置である。主記憶装置22には、制御部21が行なう処理の途中で必要な情報および制御部21で実行中のプログラムが一時的に保存される。補助記憶装置23は、例えば、SRAM、フラッシュメモリまたはハードディスク等の記憶装置であり、主記憶装置22よりも大容量の記憶装置である。補助記憶装置23には、例えば、取得した撮影画像、生成した内視鏡画像又は3次元マップデータが、中間データとして保存されるものであってもよい。
通信部24は、有線又は無線によりネットワークを介して情報処理装置と通信するための通信モジュール又は通信インターフェイスであり、例えばwifi(登録商標)、 Bluetooth(登録商標)等の狭域無線通信モジュール、又は4G、LTE等の広域無線通信モジュールである。タッチパネル25は、液晶表示パネル等の表示部と、表示部に積層された入力部を含む。
表示装置I/F26は、内視鏡用プロセッサ20と表示装置50とを接続するインターフェイスである。入力装置I/F27は、内視鏡用プロセッサ20とキーボード15等の入力装置とを接続するインターフェイスである。
光源33は、たとえばキセノンランプ等の高輝度の白色光源である。光源33は、図示を省略するドライバを介してバスに接続されている。光源33の点灯、消灯および明るさの変更は、制御部21により制御される。光源33から照射した照明光は、光コネクタ312に入射する。光コネクタ312は、スコープコネクタ48と係合し、内視鏡40に照明光を供給する。
ポンプ34は、内視鏡40の送気・送水機能用の圧力を発生させる。ポンプ34は、図示を省略するドライバを介してバスに接続されている。ポンプ34のオン、オフおよび圧力の変更は、制御部21により制御される。ポンプ34は、送水タンク35を介して、スコープコネクタ48に設けられた送気送水口金36に接続される。
内視鏡用プロセッサ20に接続された内視鏡40の機能の概略を説明する。スコープコネクタ48、ライトガイド可撓管49、操作部43および挿入部44の内部に、ファイバーバンドル、ケーブル束、送気チューブおよび送水チューブ等が挿通されている。光源33から出射した照明光は、光コネクタ312およびファイバーバンドルを介して、先端部443に設けられた照明窓から放射される。照明光により照らされた範囲を、先端部443に設けられた撮像素子で撮影する。撮像素子からケーブル束および電気コネクタ311を介して内視鏡用プロセッサ20に撮影画像が伝送される。
内視鏡用プロセッサ20の制御部21は、主記憶装置22に記憶されているプログラムを実行することにより、画像処理部及び距離導出部として機能する。画像処理部は、内視鏡から出力された画像(撮影画像)をガンマ補正、ホワイトバランス補正、シェーディング補正等の各種画像処理を行い、内視鏡画像として出力する。
距離導出部は、内視鏡画像又は撮影画像に基づき、撮像素子(先端部443に設けられた撮像素子)から体内部位(臓器内壁)までの距離情報を導出する。距離情報の導出は、例えば、単眼距離画像推定、TOF(Time of Flight)方式、パターン照射方式等を用いて導出することができる。又は、3次元SLAM(Simultaneous localization and mapping)技術に基づいた処理ルーチンを実行し、撮像素子が撮影した体腔内孔における体内部位の画像に基づき、体腔内孔の臓器内壁を周辺環境とした環境地図の作成を行うと共に撮像素子の自己位置の推定を行い、当該撮像素子と対象となる体内部位との距離を導出するものであってもよい。距離情報を導出するにあたり、距離情報導出部は、例えば、内視鏡40に挿入部44に装着される3軸加速度センサ、ジャイロセンサ、地磁気センサ、磁気コイルセンサ、又は挿入量検出機能付きマウスピース等の物理検出系機器によるデータを撮影画像に関連付けて処理する、又は、放射線画像と併用するものであってもよい。
画像処理部は、更に、距離情報導出部が導出した距離情報を取得し、当該距離情報及び、変換処理した画像に基づき、体腔内径を反映した3次元テクスチャマッピングを行い、3次元マップデータを生成する。生成された3次元マップデータは、撮影画像に含まれる体内部位の3次元座標を含む。画像処理部は、3次元マップデータを生成するにあたり、アフィン変換、射影変換等の変換処理を用いて、画像テクスチャの貼付けを行うものであってもよい。
情報処理装置6は、制御部62、通信部61、記憶部63及び入出力I/F64を含む。制御部62は、一又は複数のCPU(Central Processing Unit)、MPU(Micro-Processing Unit)、GPU(Graphics Processing Unit)等の計時機能を備えた演算処理装置を有し、記憶部63に記憶されたプログラムPを読み出して実行することにより、情報処理装置6に係る種々の情報処理、制御処理等を行う。又は、制御部62は量子コンピュータ用チップで構成されており、情報処理装置6は量子コンピュータであってもよい。
記憶部63は、SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory)、フラッシュメモリ等の揮発性記憶領域及び、EEPROM又はハードディスク等の不揮発性記憶領域を含む。記憶部63には、プログラムP及び処理時に参照するデータがあらかじめ記憶してある。記憶部63に記憶されたプログラムPは、情報処理装置6が読み取り可能な記録媒体632から読み出されたプログラムPを記憶したものであってもよい。また、図示しない通信網に接続されている図示しない外部コンピュータからプログラムPをダウンロードし、記憶部63に記憶させたものであってもよい。記憶部63には、後述する蠕動量学習済みモデル91、劣化量学習済みモデル92及び補正劣化量学習済みモデル93を構成する実体ファイル(ニューラルネットワーク(NN)のインスタンスファイル)が保存されている。これら実体ファイルは、プログラムPの一部位として構成されるものであってもよい。記憶部63には、後述する検査結果DB631(DataBase)が記憶されている。
通信部61は、有線又は無線により、内視鏡装置10と通信するための通信モジュール又は通信インターフェイスであり、例えばwifi(登録商標)、 Bluetooth(登録商標)等の狭域無線通信モジュール、又は4G、LTE等の広域無線通信モジュールである。
入出力I/F64は、例えば、USB又はDSUB等の通信規格に準拠したものであり、入出力I/F64に接続された外部機器とシリアル通信するための通信インターフェイスである。入出力I/F64には、例えばディプレイ等の表示部7、キーボード等の入力部8が接続されており、制御部62は、入力部8から入力された実行コマンド又はイベントに基づき行った情報処理の結果を表示部7に出力する。
図4は、検査結果DB631のデータレイアウトを例示する説明図である。検査結果DB631は、情報処理装置6の記憶部63に記憶されており、情報処理装置6に実装されているRDBMS(Relational DataBase Management System)等のデータベース管理ソフトウェアにより構成される。
検査結果DB631は、例えば、被検者マスタテーブル及び画像テーブルを含み、被検者マスタテーブルと画像テーブルとは、両テーブルに共に含まれる項目(メタデータ)である被検者IDにより、関連付けが設定されている。
被検者マスタテーブルは、管理項目(メタデータ)として、例えば、被検者ID、性別、生年月日、年齢、BMI(Body Mass Index)及び国籍を含む。被検者IDの項目(フィールド)には、内視鏡検査を受けた被検者を一意に特定するためにID情報が格納される。性別及び生年月日の項目(フィールド)には、当該被検者IDの性別及び生年月日の生体属性が格納され、年齢の項目(フィールド)には、生年月日により算出される現時点における年齢が格納される。同様にBMI及び国籍には、当該被検者IDのBMIの値及び国籍に関する情報が格納される。これら、性別、年齢、BMI及び国籍は、被検者の生体情報として、被検者マスタテーブルにより管理される。
画像テーブルは、管理項目(メタデータ)として、例えば、被検者ID、検査日時、内視鏡画像、3次元マップデータ及び前回検査からの劣化量を含む。被検者IDの項目(フィールド)には、被検者マスタテーブルに管理される被検者の生体属性と関連付けをするためのものであり、当該被検者夫々のIDの値が格納される。検査日時の項目(フィールド)には、当該被検者IDの被検者が内視鏡検査を受けた日時が格納される。内視鏡画像の項目(フィールド)には、当該被検者IDの内視鏡画像がオブジェクトデータとして格納される。又は、内視鏡画像の項目(フィールド)には、ファイルとして保存されている当該内視鏡画像の保存場所(ファイルパス)を示す情報が格納されるものであってもよい。3次元マップデータの項目(フィールド)には、当該被検者IDの3次元マップデータがオブジェクトデータとして格納される。又は、3次元マップデータの項目(フィールド)には、ファイルとして保存されている当該3次元マップデータの保存場所(ファイルパス)を示す情報が格納されるものであってもよい。前回検査からの劣化量の項目(フィールド)には、今回の検査と前回の検査との比較に基づく、所定の体内部位の劣化量に関する情報が格納される。劣化量の格納は、複数の体内部位夫々における劣化量の値を、例えば配列形式で格納されるものであってもよい。又は、内視鏡画像におけるピクセル(画素)単位にて、これらピクセル毎の劣化量夫々を、配列形式で格納して保存するものであってもよい。
図5は、劣化推定線を示すグラフに関する説明図である。情報処理装置6は、取得した所定期間を経て撮影された複数の画像(時系列の画像)に基づき、複数の画像に含まれる体内部位の将来の状態を推定するものであり、図5に示す劣化推定線を示すグラフは、当該推定結果をグラフ化して表示したものである。劣化推定線を示すグラフの横軸は、時間を示し、縦軸は、現在及び過去の劣化量と、将来の劣化量(劣化予想値)の値を示す。図に示すとおり、過去及び現在の検査に基づき、3個の劣化量がプロットされている。これら過去及び現在の劣化量に基づき、将来における劣化量(劣化予想値)を示す近似線が、劣化予想線として表示される。
情報処理装置6は、内視鏡用プロセッサ20が出力した内視鏡画像及び距離情報(又は距離情報が重畳された内視鏡画像)又は3次元マップデータ等の画像(今回の検査による画像)を取得すると共に、当該画像に対応する過去の検査における画像(過去の検査による画像)を、検査結果DB631を参照して取得する。これら今回及び過去の画像は、同一の被検者の結果に係る画像であり、情報処理装置6は、今回及び過去の画像に基づき、所定期間を経て撮影された複数の画像(時系列の画像)を取得するものとなる。過去の検査による画像は、複数個であることが望ましいが、1個であってもよい。
情報処理装置6は、今回の検査による画像に基づき、特徴量を抽出する。当該特徴量は、現在又は将来的に病変が疑われる体内部位を特定するものであり、例えば、エッジ検出、パターン認識、又は後述する後述するニューラルネットワーク等の学習済みモデルを用いて劣化量を導出するものであってもよい。
情報処理装置6は、抽出した特徴量に関する情報として、距離情報が重畳された内視鏡画像又は3次元マップデータにおける当該特徴量に対応する体内部位の位置情報又は形状情報(大きさ含む)を記憶部63に記憶するものであってもよい。又は、情報処理装置6は、当該特徴量に対応する体内部位が撮影されている画像のフレーム番号及び当該画像のフレーム(静止画)における体内部位の領域に関する情報(ピクセル番号、画像座標系における座標)を記憶部63に記憶するものであってもよい。更に、情報処理装置6は、抽出した特徴量に関する情報として、当該特徴量に対応する体内部位の色彩に関する情報(各ピクセル要素の値)を記憶部63に記憶するものであってもよい。
情報処理装置6は、複数の今回の検査による画像夫々から、今回の検査による画像から抽出した特徴量(今回の画像における特徴量)に対応する箇所(過去の画像における特徴量)を抽出する。情報処理装置6は、抽出した今回及び過去の特徴量において、時系列にて隣接する特徴量夫々による差分(特徴量の差分情報)を抽出する。
情報処理装置6は、抽出した特徴量の差分情報に基づき、当該特徴量により特定される体内部位の劣化量を導出する。情報処理装置6は、抽出した特徴量の差分情報において、これら特徴量により特定される体内部位の色彩の変化(ピクセル要素の値の差異)、位置又は形状(大きさ含む)の変化量に基づき、劣化量を導出するものであってもよい。又は、情報処理装置6は、後述するニューラルネットワーク等の学習済みモデルを用いて劣化量を導出するものであってもよい。
図5に示すとおり、検査3が今回の検査における劣化量であり、今回と前回との特徴量の差分情報に基づき導出される。検査2が前回の検査における劣化量であり、前回と前々回との特徴量の差分情報に基づき導出される。検査1が前々回の検査における劣化量であり、前々回と3回前との特徴量の差分情報に基づき導出される。情報処理装置6は、導出した複数の劣化量に基づき、例えば線形近似、非線形近似の手法を用いて図5に示す劣化推定線を示すグラフを生成し、表示部7に出力する。
情報処理装置6は、当該劣化推定線に基づき、将来における任意に時点における劣化量を導出(推定)することができる。当該推定される劣化量は、被検者の将来における健康状態に関連する情報となるものであり、医師等による診断の支援情報として用いることができる。
図6は、情報処理装置6の制御部62による処理手順の一例を示すフローチャートである。情報処理装置6は、例えば、自装置に接続されている入力部8からの入力内容に基づき、当該フローチャートの処理を開始する。
情報処理装置6の制御部62は、内視鏡用プロセッサ20から出力された内視鏡画像等を取得する(S11)。制御部62は、制御部62は、内視鏡用プロセッサ20から出力された撮影画像、内視鏡画像(距離情報が重畳され内視鏡画像)、3次元マップデータ及び被検者IDを取得する。
情報処理装置6の制御部62は、取得した内視鏡画像等から特徴量を導出する(S12)。情報処理装置6の制御部62は、取得した被検者IDに基づき検査結果DB631を参照して、過去の内視鏡画像等を取得する(S13)。
情報処理装置6の制御部62は、特徴量の差分情報を導出する(S14)。制御部62は、取得した今回の内視鏡画像による特徴量と、当該特徴量(今回の特徴量)に対応する過去の内視鏡画像における特徴量とに基づき、これら特徴量の差分情報を導出する。
情報処理装置6の制御部62は、差分情報に基づき現在及び過去の劣化量を導出する(S15)。制御部62は、当該差分情報に含まれる特徴量により特定される体内部位の色彩、形状等の変化量に基づき、劣化量を導出する。
情報処理装置6の制御部62は、現在及び過去の劣化量に基づき劣化予想線を導出する(S16)。制御部62は、現在及び過去の劣化量、すなわち時系列に並ぶ複数の劣化量に基づき、例えば線形近似又は非線形近似の手法を用いて劣化予想線を導出する。
情報処理装置6の制御部62は、所定期間経過後の劣化予想値を導出する(S17)。制御部62は、導出した劣化予想線に基づき、現時点(今回の検査の時点)から、所定期間が経過した後の一つ又は複数の時点における劣化予想値を導出する。
(実施形態2)
図7は、蠕動量学習済みモデル91の生成処理に関する説明図である。実施形態2の情報処理装置6は、劣化量を導出するにあたり、蠕動量学習済みモデル91等の学習済みモデルを用いて、補正処理を行う点で実施形態1と異なる。
情報処理装置6は、内視鏡画像及び距離情報を問題データとし、蠕動量の補正量を回答データとする教師データに基づき学習することで、内視鏡画像及び距離情報を入力とし、蠕動量の補正量を出力とするニューラルネットワークを構築(生成)する。
教師データを用いて学習されたニューラルネットワーク(蠕動量学習済みモデル91)は、人工知能ソフトウェアの一部であるプログラムPモジュールとして利用が想定される。蠕動量学習済みモデル91は、上述のごとく制御部62(CPU等)及び記憶部63を備える情報処理装置6にて用いられるものであり、このように演算処理能力を有する情報処理装置6にて実行されることにより、ニューラルネットワークシステムが構成される。すなわち、情報処理装置6の制御部62が、記憶部63に記憶された蠕動量学習済みモデル91からの指令に従って、入力層に入力された内視鏡画像及び距離情報の特徴量を抽出する演算を行い、出力層から蠕動量の補正量を出力するように動作する。
入力層は、内視鏡画像に含まれる各画素の画素値及び距離情報の入力を受け付ける複数のニューロンを有し、入力された画素値及び距離情報を中間層に受け渡す。中間層は、内視鏡画像の画像特徴量を抽出する複数のニューロンを有し、抽出した画像特徴量及び、入力された距離情報に基づくニューロンの活性状態を出力層に受け渡す。例えば蠕動量学習済みモデルがCNNである場合、中間層は、入力層から入力された各画素の画素値を畳み込むコンボリューション層と、コンボリューション層で畳み込んだ画素値をマッピング(圧縮)するプーリング層とが交互に連結された構成を有し、内視鏡画像の画素情報を圧縮しながら最終的に内視鏡画像の特徴量を抽出する。出力層は、当該内視鏡画像に含まれる体内部位における蠕動量の補正量に関する情報を出力する一又は複数のニューロンを有し、中間層から出力された画像特徴量等に基づいて、当該蠕動量の補正量に関する情報を出力する。出力された蠕動量の補正量に関する情報は、3次元マップデータにおける、例えば臓器表面(体内部位)の垂直方向の配置を補正する情報として用いられる。
本実施形態では、蠕動量学習済みモデル91に入力されるデータは、内視鏡画像であるとして説明しているがこれに限定されない。蠕動量学習済みモデル91に入力されるデータは、撮像素子が撮像した撮影画像であってもよい。すなわち、蠕動量学習済みモデル91は、撮影画像及び距離情報が入力されることにより、蠕動量の補正量に関する情報を出力するものであってもよい。
本実施形態では蠕動量学習済みモデル91がCNN等のニューラルネットワーク(NN)であるとして説明するが、蠕動量学習済みモデル91は、NNに限定されず、SVM(Support Vector Machine)、ベイジアンネットワーク、回帰木など、他の学習アルゴリズムで構築された学習済みモデルであってもよい。
情報処理装置6は、出力層から出力された値を、教師データ(内視鏡画像及び距離情報)に対しラベル付けされた情報(蠕動量の補正量)、すなわち正解値(回答データ)と比較し、出力層からの出力値が正解値に近づくように、中間層での演算処理に用いるパラメータを最適化する。当該パラメータは、例えばニューロン間の重み(結合係数)、各ニューロンで用いられる活性化関数の係数などである。パラメータの最適化の方法は特に限定されないが、例えば情報処理装置6は、誤差逆伝播法を用いて各種パラメータの最適化を行う。情報処理装置6は、教師データに含まれる内視鏡画像及び距離情報について上記の処理を行い、蠕動量学習済みモデル91を生成し、生成した蠕動量学習済みモデル91を記憶部63に記憶する。
教師データとして用いられる内視鏡画像及び距離情報(問題データ)と、これら情報に相関を有する蠕動量に関する情報(回答データ)は、各医療機関において行われた内視鏡検査の結果データとして大量に保存されており、これら結果データを用いることにより、蠕動量学習済みモデル91を学習するための教師データを大量に生成することができる。
図8は、劣化量学習済みモデル92の生成処理に関する説明図である。情報処理装置6は、差分情報及び生体情報を問題データとし、劣化量を回答データとする教師データに基づき学習することで、差分情報及び生体情報を入力とし、劣化量を出力とするニューラルネットワークを構築(生成)する。差分情報は、後述する差分情報導出部624(図10参照)により導出される情報であり、現在の内視鏡画像に基づき生成された3次元マップデータと、過去の内視鏡画像に基づき生成された3次元マップデータとの差異に基づき導出される。生体情報は、被検者の年齢等を含み、当該被検者を特定する被検者IDに基づき、検査結果DB631を参照することにより導出される。これら情報の導出については、後述する。
入力層は、差分情報及び生体情報の入力を受け付ける複数のニューロンを有し、入力された差分情報及び生体情報を中間層に受け渡す。中間層は、例えば単数又は複数の全結合層からなる単相又は多層構造をなし、全結合層に含まれる複数のニューロン夫々は、入力された差分情報及び生体情報の値に基づき、活性化又は非活性化を示す情報を出力する。出力層は、内視鏡画像に含まれる体内部位の劣化量に関する情報を出力する一又は複数のニューロンを有し、中間層から出力された各ニューロンの活性化又は非活性化を示す情報に基づき、劣化量を出力する。
情報処理装置6は、蠕動量学習済みモデル91と同様に、劣化量学習済みモデル92の中間層での演算処理に用いるパラメータを最適化する。劣化量学習済みモデル92は、蠕動量学習済みモデル91と同様に人工知能ソフトウェアの一部であるプログラムPモジュールとして利用が想定される。また、劣化量学習済みモデル92は、蠕動量学習済みモデル91と同様にNNに限定されず、SVM等の他の学習アルゴリズムで構築された学習済みモデルであってもよい。教師データとして用いられる差分情報(問題データ)と、これら情報に相関を有する劣化量に関する情報(回答データ)に関し、これらデータを導出するための元データとなる内視鏡画像及び距離情報は、各医療機関において行われた内視鏡検査の結果データとして大量に保存されている。従って、これら結果データを用いることにより、劣化量学習済みモデル92を学習するための教師データを大量に生成することができる。
図9は、補正劣化量学習済みモデル93の生成処理に関する説明図である。情報処理装置6は、劣化予想線(劣化予想線のパラメータの値)を問題データとし、劣化予想線の補正量を回答データとする教師データに基づき学習することで、劣化予想線を入力とし、劣化予想線の補正量を出力とするニューラルネットワークを構築(生成)する。劣化想線は、後述する劣化予想線導出部625(図10参照)により導出される情報であり、現在及び過去の劣化量に基づき導出される。
入力層は、劣化予想線(劣化予想線のパラメータの値)の入力を受け付ける複数のニューロンを有し、入力された劣化予想線のパラメータの値夫々を中間層に受け渡す。中間層は、例えば単数又は複数の全結合層からなる単相又は多層構造をなし、全結合層に含まれる複数のニューロン夫々は、入力された劣化予想線のパラメータの値夫々に基づき、活性化又は非活性化を示す情報を出力する。出力層は、劣化予想線の補正量に関する情報を出力する一又は複数のニューロンを有し、中間層から出力された各ニューロンの活性化又は非活性化を示す情報に基づき、補正量を出力する。
情報処理装置6は、蠕動量学習済みモデル91と同様に、補正劣化量学習済みモデル93の中間層での演算処理に用いるパラメータを最適化する。補正劣化量学習済みモデル93は、蠕動量学習済みモデル91と同様に人工知能ソフトウェアの一部であるプログラムPモジュールとして利用が想定される。また、補正劣化量学習済みモデル93は、蠕動量学習済みモデル91と同様にNNに限定されず、SVM等の他の学習アルゴリズムで構築された学習済みモデルであってもよい。教師データとして用いられる劣化予想線(劣化予想線のパラメータの値/問題データ)と、補正量(回答データ)に関し、これらデータを導出するための元データとなる内視鏡画像及び距離情報は、各医療機関において行われた内視鏡検査の結果データとして大量に保存されている。従って、これら結果データを用いることにより、補正劣化量学習済みモデル93を学習するための教師データを大量に生成することができる。
図10は、情報処理装置6等の制御部62に含まれる機能部を例示する機能ブロック図である。内視鏡用プロセッサ20(内視鏡装置10)の制御部21は、主記憶装置22に記憶されているプログラムPを実行することにより、画像処理部211及び距離情報導出部212として機能する。情報処理装置6の制御部62は、記憶部63に記憶されているプログラムPを実行することにより、取得部621、蠕動量補正部622、特徴量導出部623、差分情報導出部624、劣化予想線導出部625及び劣化予想値導出部626として機能する。また、制御部62は、記憶部63に記憶されているプログラムPを実行することにより、又は蠕動量学習済みモデル91等の学習済みモデルを構成する実体ファイルを読み出すことにより、蠕動量学習済みモデル91、劣化量学習済みモデル92及び補正劣化量学習済みモデル93として機能する。
距離情報導出部212は、内視鏡画像又は撮影画像に基づき、撮像素子(先端部443に設けられた撮像素子)から体内部位(臓器内壁)までの距離情報を導出する。
画像処理部211は、内視鏡から出力された画像(撮影画像)をガンマ補正、ホワイトバランス補正、シェーディング補正等の各種画像処理を行い、内視鏡画像として出力する。更に、距離情報導出部212が導出した距離情報を取得し、当該距離情報及び、変換処理した画像に基づき、3次元テクスチャマッピングを行い、3次元マップデータを生成する。画像処理部211は、取得又は生成した撮影画像、内視鏡画像、距離情報及び3次元マップデータを情報処理装置6に出力(送信)する。画像処理部211は、距離情報を内視鏡画像又は撮影画像に重畳させて、情報処理装置6に出力するものであってもよい。画像処理部211は、更にキーボード15から入力された被検者IDを情報処理装置6に出力する。
取得部621は、内視鏡用プロセッサ20が出力した内視鏡画像、撮影画像、距離情報、3次元マップデータ及び被検者IDを取得し、取得した内視鏡画像及び距離情報(又は距離情報が重畳された内視鏡画像)を蠕動量学習済みモデル91に出力し、3次元マップデータを蠕動量補正部622に出力する。取得部621は、取得した被検者IDを差分情報導出部624に出力する。
蠕動量学習済みモデル91は、取得部621から出力された内視鏡画像及び距離情報を入力層に入力し、出力層から出力された蠕動量の補正量を、蠕動量補正部622に出力する。
蠕動量補正部622は、蠕動量学習済みモデル91から出力された蠕動量の補正量に基づいて、取得部621から出力された3次元マップデータを補正する。蠕動量の補正量に基づいて3次元マップデータを補正するため、蠕動運動による距離変化ノイズをキャンセルする(除く)ことができる。蠕動量補正部622は、補正した3次元マップデータを特徴量導出部623及び差分情報導出部624に出力する。
特徴量導出部623は、蠕動量補正部622により補正された3次元マップデータの表面形状、色情報等から、例えば病変が疑われる体内部位を特定するための特徴量を導出し、導出した特徴量を差分情報導出部624に出力する。特徴量導出部623は、3次元マップデータから、複数個の特徴量を導出するものであってもよい。
差分情報導出部624は、取得した被検者IDに基づき、検査結果DB631を参照し、当該被検者IDの過去(前回)の検査結果である3次元マップデータを取得する。差分情報導出部624は、取得した特徴部に基づき、蠕動量補正部622から取得した3次元マップデータと、前回の3次元マップデータとによる重ね合わせ処理を行い、臓器(体内部位)の表面について、その形状、色空間上の彩度、色相、明度の特徴量差分値を含む差分情報を導出する。差分情報導出部624は、導出した差分情報及び、被検者IDによって特定される当該被検者の年齢等の生体属性に関する情報を、劣化量学習済みモデル92に出力する。
劣化量学習済みモデル92は、差分情報導出部624から出力された差分情報及び、被検者IDにより特定される年齢等の生体属性に関する情報を入力層に入力し、出力層から出力された劣化量(今回の検査における劣化量)を劣化予想線導出部625に出力する。
劣化予想線導出部625は、被検者IDに基づき検査結果DB631を参照し、当該被検者の過去の検査における複数の劣化量を取得する。劣化予想線導出部625は、取得した今回の劣化量及び過去の複数の劣化量に基づき、劣化予想線を導出する。劣化予想線導出部625は、例えば、劣化予想線を直線(線形近似)にて導出する場合、取得した今回の劣化量及び過去の複数の劣化量に基づき最小二乗法を用いるものであってもよい。又は、劣化予想線導出部625は、対数近似曲線、多項式近似曲線、累乗近似曲線又は指数近似曲線等の種々方法を用いて、劣化予想線を導出するものであってもよい。劣化予想線導出部625は、導出した劣化予想線(劣化予想線のパラメータ)を補正劣化量学習済みモデル93及び劣化予想値導出部626に出力する。
補正劣化量学習済みモデル93は、劣化予想線導出部625から出力された劣化予想線(劣化予想線のパラメータ)を入力層に入力し、出力層から出力された補正量を劣化予想値導出部626に出力する。当該補正量の導出は、補正劣化量学習済みモデル93を用いる場合に限定されず、例えば、被検者の年齢等の生体属性、検査時の体温又は心拍数等の体調情報に基づき導出されるものであってもよい。すなわち、これら生体属性及び体調情報に基づき決定される補正係数を、例えばテーブル形式で記憶部63に記憶しておき、情報処理装置6(制御部62)は、検査結果DB631又は内視鏡用プロセッサ20等から取得した被検者の生体属性又は体調情報に基づき、補正係数を導出する。そして、情報処理装置6は、導出した補正係数に基づき劣化予想線のパラメータを補正するものであってもよい。
劣化予想値導出部626は、劣化予想線導出部625が出力した劣化予想線を、補正劣化量学習済みモデル93が出力した補正量に基づき補正する。劣化予想値導出部626は、補正した劣化予想線に基づき、現時点よりも所定期間経過後における将来の一つ又は複数個の劣化量(劣化量予想値)を導出する。劣化予想値導出部626は、導出した劣化量予想値を含む情報をディスプレイ等の表示部7に出力する。劣化予想値導出部626は、劣化量予想値に基づき、劣化予想値を可視化した画像、劣化予想値に基づき決定される警告情報又は改善案情報等の診断支援情報を導出し表示部7に出力して、これら情報を表示部7に表示されるものであってもよい。
本実施形態において、一連の処理における各機能部を、内視鏡用プロセッサ20の制御部21による機能部夫々と、情報処理装置6の制御部62による機能部夫々とに分けて説明したが、これら機能部の分担は一例であり、これに限定されない。内視鏡用プロセッサ20の制御部21は、蠕動量学習済みモデル91等の学習済みモデルも含め、情報処理装置6の制御部62によって行われる全ての機能部として、機能するものであってもよい。すなわち、内視鏡用プロセッサ20が、実質的に情報処理装置6を含むものであってもよい。または、内視鏡用プロセッサ20の制御部21は、撮像素子が撮像した撮影画像を出力するのみであり、情報処理装置6の制御部62は、以降の処理を行う全ての機能部として機能するものであってもよい。または、内視鏡用プロセッサ20の制御部21と、情報処理装置6の制御部62とは、例えばプロセス間通信を行うことにより、協働して一連の処理における各機能部として機能するものであってもよい。
図11は、体内部位を撮影した画像に基づき生成された3次元マップデータに関する説明図である。上述のとおり、内視鏡用プロセッサ20の制御部21は、撮影画像又は内視鏡画像及び、撮像素子から臓器内壁までの距離情報に基づき、3次元マップデータを生成する。生成された3次元マップデータを含む表示画面は、内視鏡装置10の表示装置又は、情報処理装置6の表示部7にて、表示される。
3次元マップデータには、例えば体腔内径を反映した3次元テクスチャマッピングが、距離情報と、臓器表面を含む撮影画像又は内視鏡画像から抽出した特徴量との重ね合わせにより行われている。また、3次元マップデータには、特徴量に基づき特定される臓器の表面の距離(撮像素子からの距離)又は位置(3次元マップ上の座標)を含む距離情報が、アノテーション表示されるものであってもよい。
図12は、劣化推定線を示すグラフに関する説明図である。上述のとおり、劣化予想値導出部626は、劣化予想線導出部625が導出した劣化推定線を、補正劣化量学習済みモデル93から出力された補正量に基づき補正し、補正した劣化推定線を導出する。
劣化推定線を示すグラフの横軸は、時間を示し、縦軸は、現在及び過去の劣化量と、将来の劣化量(劣化予想値)の値を示す。図に示すとおり、過去及び現在の検査に基づき、3個の劣化量がプロットされている。これら過去及び現在の劣化量に基づき、将来における劣化量(劣化予想値)を示す近似線が、劣化予想線として表示される。
上述のとおり、劣化予想線は、補正劣化量学習済みモデル93から出力される補正量に基づき、推定値が変化するものとなる。当該補正量は、例えば被検者の年齢等の生体属性に関する情報に基づき導出されるものであり、補正劣化量学習済みモデル93は、これら生体属性に関する情報についても入力層に入力するため、将来の劣化量の精度を向上させることができる。劣化予想値導出部626は、導出した劣化予想線(補正後の劣化予想線)に基づき、現時点(今回の検査の時点)から所定期間が経過した後の一つ又は複数の時点における劣化量(将来における複数時点の劣化量)を導出することができる。
図13は、情報処理装置6の制御部62による処理手順の一例を示すフローチャートである。図14は、情報処理装置6の制御部62による診断支援情報を導出する処理手順の一例を示すフローチャートである。情報処理装置6は、例えば、自装置に接続されている入力部8からの入力内容に基づき、当該フローチャートの処理を開始する。本実施形態におけるフローチャートは、情報処理装置6が内視鏡装置10(内視鏡用プロセッサ20)から内視鏡画像等を取得するにあたり、これの前提的な処理となる内視鏡用プロセッサ20の処理を含む。
内視鏡用プロセッサ20の制御部62は、撮像素子から出力された撮影画像を取得する(S01)。内視鏡用プロセッサ20の制御部62は、キーボード15から入力された被検者IDを取得する(S02)。
内視鏡用プロセッサ20の制御部62は、撮像素子から撮像対象面(体内部位)までの距離情報を導出する(S03)。内視鏡用プロセッサ20の制御部62は、距離情報を導出するにあたり、更に物理検出機器から出力される検出結果データを取得し、当該検出結果データ及び撮影画像に基づき距離情報を取得するものであってもよい。内視鏡用プロセッサ20の制御部62は、撮影画像と距離情報を関連付けて記憶する(S04)。
内視鏡用プロセッサ20の制御部62は、撮影画像を画像処理し、内視鏡画像を生成する(S05)。内視鏡用プロセッサ20の制御部62は、例えば、アフィン変換、射影変換、ガンマ補正、ホワイトバランス補正、シェーディング補正等の各種画像処理を行い、操作者の視認性を向上させた内視鏡画像を生成する。
内視鏡用プロセッサ20の制御部62は、3次元マップデータを生成する(S06)。内視鏡用プロセッサ20の制御部62は、体腔内径を反映した3次元テクスチャマッピングを行う。内視鏡用プロセッサ20の制御部62は、対象となる体内部位に関する距離情報と臓器表面を含む内視鏡画像から抽出した特徴量の重ね合わせにより、3次元テクスチャマッピングを行うものであってもよい。内視鏡用プロセッサ20の制御部62は、3次元テクスチャマッピングを行うにあたり、上述した物理検出機器からの検出データを用いて、補間するものであってもよい。
内視鏡用プロセッサ20の制御部62は、生成又は取得した距離情報、内視鏡画像、3次元マップデータ及び被検者IDを出力し、情報処理装置6に送信する(S07)。内視鏡用プロセッサ20の制御部62は、更に撮像素子が撮影した撮影画像を出力して、情報処理装置6に送信するものであってもよい。内視鏡用プロセッサ20の制御部62は、距離情報を内視鏡画像に重畳して、情報処理装置6に送信するものであってもよい。
情報処理装置6の制御部62は、内視鏡用プロセッサ20から出力された内視鏡画像等を取得する(S100)。制御部62は、内視鏡用プロセッサ20から出力された撮影画像、内視鏡画像(距離情報が重畳された内視鏡画像)、3次元マップデータ及び被検者IDを取得する。制御部62は、取得した撮影画像、内視鏡画像、3次元マップデータ及び被検者IDを検査結果DB631に保存するものであってもよい。
情報処理装置6の制御部62は、3次元マップデータに対し、蠕動運動の補正処理を行う(S101)。制御部62は、距離情報が重畳された内視鏡画像(距離情報及び内視鏡画像)を蠕動量学習済みモデル91に入力し、蠕動量学習済みモデル91が出力した補正量に基づき、3次元マップデータに対し、臓壁表面の垂直方向の配置を補正する等、蠕動運動の補正処理を行う。
情報処理装置6の制御部62は、補正した3次元マップデータにより特徴量を導出する(S102)。制御部62は、補正した3次元マップデータの表面形状、色情報等から特徴量を導出する。3次元マップデータを用いることにより、体内部位の表面形状、色彩情報等を数値化して、特徴量を導出するための演算負荷を低減させ、効率的に特徴量を導出することができる。
情報処理装置6の制御部62は、取得した被検者IDに基づき検査結果DB631を参照して、過去の3次元マップデータを取得する(S103)。情報処理装置6の制御部62は、現在及び過去の3次元マップデータの重ね合わせ処理を行うことにより、これら3次元マップデータにおける特徴量の差分情報を導出する(S104)。3次元マップデータを用いることにより、体内部位における特徴量に関する情報を数値化し、数値化した夫々の値により差分処理を行うため、効率的に差分情報を導出することができる。
情報処理装置6の制御部62は、差分情報及び生体属性に基づき現在及び過去の劣化量を導出する(S105)。制御部62は、導出した差分情報及び、被検者IDにより検査結果DB631を検索して取得した生体属性を、劣化量学習済みモデル92に入力し、劣化量学習済みモデル92が出力した劣化量(現在の劣化量)を取得する。また、制御部62は、被検者IDにより検査結果DB631を検索して、当該被検者の過去の劣化量を取得する。制御部62は、このように劣化量学習済みモデル92及び検査結果DB631から取得することにより、現在及び過去の劣化量を導出する。
情報処理装置6の制御部62は、現在及び過去の劣化量に基づき劣化予想線を導出する(S106)。制御部62は、現在及び過去の劣化量夫々に基づき、線形近似又は非線形近似の手法を用い、劣化予想線を導出する。
情報処理装置6の制御部62は、劣化予想線の補正処理を行う(S107)。制御部62は、導出した劣化予想線(劣化予想線のパラメータ)を補正劣化量学習済みモデル93に入力し、補正劣化量学習済みモデル93が出力した劣化予想線の補正量を取得する。制御部62は、導出した劣化予想線(劣化予想線のパラメータ)に対し、補正劣化量学習済みモデル93から取得した補正量に基づき、劣化予想線の補正処理を行う。または、被検者の生体属性及び体調情報に基づき決定される補正係数が例えばテーブル形式(補正係数テーブル)で記憶部63に記憶されており、制御部62は、記憶部63に記憶されている補正係数テーブルを参照し、劣化予想線を補正するための補正係数を導出するものであってもよい。すなわち、制御部62は、検査結果DB631又は内視鏡用プロセッサ20等から取得した被検者の生体属性又は体調情報に基づき、補正係数テーブルを参照して補正係数を導出し、当該補正係数を用いて劣化予想線(劣化予想線のパラメータ)の補正処理を行うものであってもよい。劣化予想線(劣化予想線のパラメータ)に用いる補正係数は、劣化予想線によって予想される将来における各時点に対し、現時点からの経過時間に応じて可変するものであってもよい。すなわち、補正係数は、現時点からの経過時間を変数(時間変数)として含むものであり、現時点からの経過時間に応じて、当該補正係数の値を変更し、劣化予想線(劣化予想線のパラメータ)を補正するものであってもよい。例えば、現時点から近い将来における時点を対象とした場合の補正係数(k1)に対し、当該時点よりも更に時間が経過した時点を対象とした場合の補正係数(k2)を小さい値とすることにより、現時点からの経過時間が長くなるにつれて、補正係数による影響度を小さくして誤差の振れ幅を狭くするものであってもよい。
情報処理装置6の制御部62は、所定期間経過後の劣化予想値を導出する(S108)。制御部62は、補正された劣化予想線に基づき、現時点(今回の検査の時点)から、所定期間が経過した後の一つ又は複数の時点における劣化予想値を導出する。
情報処理装置6の制御部62は、劣化予想値に基づき診断支援情報(報知情報)を出力する(S109)。制御部62は、劣化予想値に基づき、例えば、劣化予想値を可視化した画像、劣化予想値に基づき決定される警告情報又は、改善案情報等の診断支援情報を報知情報として導出し、当該報知情報を出力して、表示部7に表示する。記憶部63には、例えば、劣化予想値及び生体属性に対し、警告情報又は改善案情報等が関連付けられている診断支援DB(図示せず)が記憶されており、制御部62は、当該診断支援DBを参照して、劣化予想値に基づき決定される警告情報又は改善案情報等を導出する。劣化予想値に基づき決定される警告情報又は改善案情報等の診断支援情報は、予測された劣化予想値と、予め決定された劣化閾値との比較により、導出するものであってもよい。制御部62は、予測された劣化予想値が劣化閾値よりも小さい場合、所見無し等の問題無い旨を示す情報を診断支援情報として導出するものであってもよい。制御部62は、S109の処理を行うにあたり、図14に示すフローチャートの処理の流れにより、診断支援情報を導出する。
情報処理装置6の制御部62は、劣化閾値を取得する(S1091)。当該劣化閾値は、被検者の年齢、性別等の生体属性に関する情報及び、対象となる体内部位と関連付けて、例えばテーブル形式にて情報処理装置6の記憶部63に記憶されている。更に、劣化閾値は、複数の段階、すなわち病変ステージに基づいた複数個の劣化閾値を含むものであってもよい。一例として、劣化閾値の値が大きくなるにつれて、病変ステージの重度が大きくなる。制御部62は、例えば、被検者の年齢、性別等の生体属性及び劣化量の対象となる体内部位に基づき、記憶部63を参照して劣化閾値を導出することにより、劣化閾値を取得する。
情報処理装置6の制御部62は、劣化予想値は劣化閾値よりも大きいか否かを判定する(S1092)。上述のとおり、劣化閾値が病変ステージに基づいた複数個の劣化閾値を含む場合、制御部62は、最も小さい値の劣化閾値(最小劣化閾値)と、劣化予想値とを比較し、劣化予想値は劣化閾値(最小劣化閾値)よりも大きいか否かを判定する。
劣化予想値は劣化閾値(最小劣化閾値)よりも大きい場合(S1092:YES)、情報処理装置6の制御部62は、劣化予想値の段階に応じた診断支援情報を取得する(S1093)。劣化閾値が病変ステージに基づいた複数個の劣化閾値を含む場合、制御部62は、病変ステージに基づいた複数個の劣化閾値の内、劣化予想値に最も近似する劣化閾値を特定する。複数個の劣化閾値夫々は、病変ステージ夫々に対応付けられており、制御部62は、特定した劣化閾値に基づき、劣化閾値の段階に応じた劣化予想値に対応する病変ステージを特定する。または、制御部62は、病変ステージに基づいた複数個の劣化閾値により定まる個々の範囲において、劣化予想値がどの範囲に位置するかに基づき、当該劣化予想値に対応する病変ステージを特定するものであってもよい。
情報処理装置6の記憶部63には、病変ステージ夫々に応じた診断支援情報が記憶されている。例えば、病変ステージが軽度の場合の診断支援情報は、定期的な運動を促す改善案情報である。病変ステージが中度の場合の診断支援情報は、精密検査を要することを示す勧告情報である。病変ステージが重度の場合の診断支援情報は、入院等による治療を示唆する警告情報である。
情報処理装置6の制御部62は、取得した診断支援情報を出力する(S1094)。制御部62は、病変ステージ夫々に応じた改善案情報、勧告情報又は警告情報等の診断支援情報を出力する。
劣化予想値が劣化閾値(最小劣化閾値)よりも大きくない場合、すなわち劣化予想値が劣化閾値(最小劣化閾値)以下である場合(S1092:NO)、情報処理装置6の制御部62は、問題無い旨(所見無し)を診断支援情報として出力する(S1095)。
情報処理装置6の制御部62は、劣化予想値に基づき保険支援情報を出力する(S110)。制御部62は、劣化予想値に基づき、保険等級又は概算保険料等の保険支援情報を導出し、表示部7に表示する。記憶部63には、例えば、劣化予想値及び生体属性に対し、保険等級又は概算保険料等が関連付けられている保険支援DB(図示せず)が記憶されており、制御部62は、当該保険支援DBを参照して、劣化予想値に基づき決定される保険等級又は概算保険料等を導出する。
本実施形態において、撮影された体内部位における特徴量の導出は、3次元マップデータにより行うものとしたが、これに限定されない。制御部62は、内視鏡用プロセッサ20から取得した内視鏡画像又は撮影画像に基づき、特徴量を導出するものであってもよい。
図15は、情報処理装置6の制御部62による蠕動量学習済みモデル91の生成処理に関する処理手順の一例を示すフローチャートである。情報処理装置6の制御部62は、教師データを取得する(S120)。教師データは、上述のとおり、内視鏡画像及び距離情報を問題データとし蠕動量の補正量を回答データとするものであり、当該内視鏡画像及び距離情報に対し、蠕動量の補正量をラベル付けしたデータである。内視鏡画像及び距離情報にラベル付けされる蠕動量の補正量は、例えば距離情報における距離変化の周期性から内視鏡画像における撮像箇所(体内部位)がどのように蠕動運動しているか、当該蠕動運動が正常な生理反応であるかに関する医師等による判断に基づき特定される量であってもよい。このような教師データの元データとなる内視鏡画像及び距離情報は、各医療機関において行われた内視鏡検査の結果データとして大量に保存されており、これら結果データを用いることにより、蠕動量学習済みモデル91を学習するための教師データを大量に生成することができる。
情報処理装置6の制御部62は、蠕動量学習済みモデル91を生成する(S121)。制御部62は、取得した教師データを用いて、内視鏡画像及び距離情報を入力とし、蠕動量の補正量を出力とする蠕動量学習済みモデル91を構築(生成)する。蠕動量学習済みモデル91がニューラルネットワークである場合、中間層での演算処理に用いるパラメータは、例えば誤差逆伝播法を用いることにより、最適化される。情報処理装置6の制御部62は、蠕動量学習済みモデル91と同様に、劣化量学習済みモデル92及び補正劣化量学習済みモデル93の夫々の学習済みモデルに対応した教師データを取得し、夫々の学習済みモデルを生成する。
本実施形態によれば、情報処理装置6は、内視鏡により所定期間を経て撮影した複数の画像を取得し、取得した複数の画像等に基づいて、前記複数の画像に含まれる体内部位の将来の状態を推定する。従って、内視鏡により所定期間を経て撮影され、所定の体内部位が含まれる複数の画像に基づいて、被検者の体内部位の将来の状態を推定するため、被検者の対象部位における将来的な変化に関する観点からの診断支援を行うことができる。なお、情報処理装置6が取得する画像は、撮像素子により撮影された撮影画像に限定されず、当該撮影画像に画像処理を施した内視鏡画像又は、当該撮影画像及び撮像素子からの距離情報に基づき生成された3次元モデルデータを含む。
本実施形態によれば、情報処理装置6は、取得した複数の画像に含まれる体内部位の将来における所定の経過期間毎の複数の状態を推定する。従って、当該推定により、当該体内部位における今後の病変の推移に関する情報を診断支援として提供することができる。
本実施形態によれば、情報処理装置6は、推定した体内部位の将来の状態に基づき、報知情報(診断支援情報)を出力する。情報処理装置6は、推定した体内部位の将来の状態に基づき、例えば当該状態の病変のステージに応じた注意喚起の度合を含む報知情報(診断支援情報)を出力するため、より効率的な診断支援に寄与する情報を出力することができる。
本実施形態によれば、情報処理装置6は、複数の画像に含まれる各画像による差分データ、すなわち各画像間における変化量に関するデータを導出し、当該差分データに基づき体内部位の将来の状態を推定するため、推定の精度を向上させることができる。
本実施形態によれば、情報処理装置6は、体内部位の距離情報及び画像に基づき3次元マップデータを生成し、当該3次元マップデータに基づき、体内部位の将来の状態を推定するため、当該距離情報における数値情報を用いて推定の精度を向上させることができる。
本実施形態によれば、情報処理装置6は、取得した画像に基づいて、当該画像に含まれる体内部位の蠕動運動に関する情報を導出し、当該体内部位の蠕動運動に関する情報に基づき、3次元マップデータにおける、例えば臓壁表面の垂直方向の配置を補正するため、体内部位の蠕動運動によるノイズ成分を除去し、推定の精度を向上させることができる。情報処理装置6は、当該補正を行うにあたり、蠕動量学習済みモデル91を用いるため、補正精度を向上させることができる。
本実施形態によれば、情報処理装置6は、複数の画像夫々から生成した3次元マップデータに基づき、体内部位における劣化量を導出する。情報処理装置6は、当該劣化量を導出するにあたり、今回の検査による3次元マップデータと、前回の結果(過去の検査)による3次元マップデータとの重ね合わせ処理を行い、体内部位(臓器表面)の形状、彩度等における特徴量差分値(差分情報)を導出する。情報処理装置6は、この差分情報を劣化量学習済みモデル92に入力して劣化量を取得するため、導出する劣化量の精度を向上させることができる。また、情報処理装置6は、導出した劣化量により生成される劣化予測線に基づき、体内部位の将来の状態を推定するため、推定の精度を向上させることができる。
本実施形態によれば、情報処理装置6は、被検者の生体属性に関する情報に基づき、導出した劣化量を補正するため、推定の精度を向上させることができる。生体属性は、例えば被検者における年齢、性別等の生体属性に関する情報を含む。情報処理装置6は、当該補正を行うにあたり、補正劣化量学習済みモデル93を用いるため、補正精度を向上させることができる。
(実施形態3)
図16は、実施形態3に係る差分学習済みモデル94の生成処理に関する説明図である。情報処理装置6は、時系列による複数の差分情報を問題データとし、将来における複数の時点における差分情報を回答データとする教師データに基づき学習することで、時系列による複数の差分情報を入力とし、将来における複数の時点における差分情報を出力とするニューラルネットワークを構築(生成)する。
時系列による複数の差分情報とは、同一の被検者の所定の体内部位(内視鏡画像から抽出された特徴量に基づき特定される体内部位)における過去から現時点(所定の時点)の時系列による複数の差分情報を意味する。将来における複数の時点における差分情報とは、現時点(所定の時点)に対する次点及び、当該次点以降の次々点等の将来における複数の時点における差分情報を意味する。当該差分情報は、内視鏡画像から導出した状態(所定の体内部位の状態量)に相当する。
入力層は、時系列による複数の差分情報を受け付ける単数又は複数のニューロンを有し、入力された差分情報夫々を中間層に受け渡す。中間層は、複数のニューロンを含む自己回帰層を含む。自己回帰層は、例えばLSTM(Long Short Term Memory/長期短期記憶)モデルとして実装されるものであり、このような自己回帰層を含むニューラルネットワークは、RNN(再帰型ニューラルネットワーク)と称される。中間層は、時系列に沿って順次に入力された複数の差分情報夫々による変化量を出力する。出力層は、将来における複数の時点における差分情報を一又は複数のニューロンを有し、中間層から出力された複数の差分情報夫々による変化量に基づき、将来における複数の時点における差分情報を出力する。このようなRNNに対する学習は、例えばBPTT(Backpropagation Through Time/通時的逆伝播)アルゴリズムを用いて行われる。
教師データは、配列形式で保存されているものであってもよい。教師データを配列形式とする場合、例えば、配列番号の0から4(t−4からt)までの要素夫々の値を問題データとし、配列番号の5から7(t+1からt+3)までの要素夫々の値を回答データとするものであってもよい。入力層から入力された時系列となる問題データ(t−2、t−1、t)はLSTM(自己回帰層)に順次に受け渡され、LSTM(自己回帰層)は出力値を出力層及び、自身の層に出力することにより、時間的な変化及び順序を含む系列情報を処理することができる。
図17は、情報処理装置6等の制御部62に含まれる機能部を例示する機能ブロック図である。制御部62は、記憶部63に記憶されているプログラムPを実行することにより、差分情報導出部624として機能する。制御部62は、記憶部63に記憶されているプログラムPを実行することにより、又は差分学習済みモデル94を構成する実体ファイルを読み出すことにより、差分学習済みモデル94として機能する。
差分情報導出部624は、実施形態2と同様に蠕動量補正部622から取得した3次元マップデータと、前回の3次元マップデータとによる重ね合わせ処理を行い、臓器(体内部位)の表面について、その形状、色空間上の彩度、色相、明度の特徴量差分値を含む差分情報(今回の検査の差分情報)を導出する。
差分情報導出部624は、被検者IDに基づき、検査結果DB631を参照し、当該被検者の過去の検査における3次元マップデータを取得し、取得した過去の検査における3次元マップデータに基づき、過去の検査の差分情報を導出する。
差分情報導出部624は、導出した今回及び過去の差分情報に基づき、過去から現在(今回の検査の時点)までの時系列による複数の差分情報を生成し、差分学習済みモデル94及び、劣化予想値導出部626に出力する。
差分学習済みモデル94は、時系列による複数の差分情報を入力層に入力し、出力層から出力された将来における複数の時点における差分情報を、劣化予想値導出部626に出力する。
劣化予想値導出部626は、取得した今回及び過去の差分情報及び、将来における複数の時点における差分情報に基づき、過去から将来における複数の劣化量を導出し、当該複数の劣化量に基づき、劣化予想線を導出する。劣化予想線導出を行うにあたり、実施形態2と同様に劣化量学習済みモデル92、補正劣化量学習済みモデル93を用いるものであってもよい。劣化予想値導出部626は、実施形態2と同様に導出した劣化予想線に基づき、現時点(今回の検査の時点)から所定期間が経過した後の一つ又は複数の時点における劣化量を導出する。また、劣化予想値導出部626は、導出した将来における劣化量に基づき、改善案情報等の診断支援情報を導出し出力するものであってもよい。
図18は、情報処理装置6の制御部62による処理手順の一例を示すフローチャートである。情報処理装置6は、例えば、自装置に接続されている入力部8からの入力内容に基づき、当該フローチャートの処理を開始する。
情報処理装置6の制御部62は、内視鏡画像等を取得する(S200)。制御部62は、実施形態2と同様に内視鏡画像、3次元マップデータ及び被検者IDを内視鏡装置10から取得する。
情報処理装置6の制御部62は、過去の内視鏡画像等を取得する(S201)。制御部62は、被検者IDに基づき検査結果DB631を参照し、当該被検者の過去の過去の内視鏡画像、3次元マップデータを取得する。
情報処理装置6の制御部62は、現在及び過去の内視鏡画像等に基づき、時系列による複数の差分情報を取得する(S202)。制御部62は、時系列による複数の差分情報を取得するにあたり、内視鏡画像から生成された3次元マップデータ夫々を重ね合わせ処理することにより、時系列にて隣接する3次元マップデータによる差分情報を導出する。または、制御部62は、内視鏡画像に基づき差分情報を導出するものであってもよい。
情報処理装置6の制御部62は、時系列による複数の差分情報を差分学習済みモデル94に入力し、将来の複数の差分情報を取得する(S203)。情報処理装置6の制御部62は、過去、現在及び将来における複数の差分状態に基づき、時系列による複数の劣化量を導出する(S204)。制御部62は、S202の処理で導出した時系列による複数の差分情報(過去から現在までの差分情報)及び、差分学習済みモデル94が出力した将来の複数の差分情報に基づき、過去から将来における時系列による複数の劣化量を導出する。
情報処理装置6の制御部62は、劣化予想線を導出する(S205)。制御部62は、過去から将来における時系列による複数の劣化量に基づき、線形近似又は曲線近似の手法を用いて、劣化予想線を導出する。
情報処理装置6の制御部62は、所定期間経過後の劣化予想値を導出する(S206)。制御部62は、劣化予想線に基づき、将来において所定期間経過した後の一つ又は複数の劣化予想値を導出する。
情報処理装置6の制御部62は、劣化予想値に基づき診断支援情報を出力する(S207)。情報処理装置6の制御部62は、劣化予想値に基づき保険支援情報を出力する(S208)。制御部62は、実施形態2と同様に劣化予想値に基づき診断支援情報及び保険支援情報を出力する。
本実施形態によれば、情報処理装置6は、内視鏡により時系列で撮影された過去の複数の画像に基づき生成された3次元マップデータから導出した差分データが入力された場合、将来における複数の時系列の差分データを出力する差分学習済みモデル94を効率的に生成することができる。また、情報処理装置6は、当該差分学習済みモデル94を用いることにより、効率的に将来における差分情報を導出し、これら導出した差分情報夫々に基づき劣化量夫々を導出するため、将来における劣化量の推定精度を向上させることができる。
本実施形態において、内視鏡画像から導出した状態(所定の体内部位の状態量)として、差分情報に基づき説明したが、これに限定されない。内視鏡画像から導出した状態(所定の体内部位の状態量)は、劣化量によるものであってもよい。情報処理装置6は、時系列による複数の劣化量を問題データとし、将来における複数の時点における劣化量を回答データとする教師データに基づき学習することで、時系列による複数の劣化量を入力とし、将来における複数の時点における劣化量を出力とするニューラルネットワーク(劣化量学習済みモデル)を構築(生成)するものであってもよい。情報処理装置6は、当該劣化量学習済みモデルに、取得した複数の内視鏡画像から導出した劣化量を入力して、将来における複数の時系列の劣化量を取得し、取得した将来における複数の時系列の劣化量に基づき、複数の画像に含まれる体内部位の将来の状態を推定するものであってもよい。
(実施形態4)
図19は、実施形態4に係る内視鏡画像学習済みモデル95の生成処理に関する説明図である。情報処理装置6は、時系列の複数個の内視鏡画像を問題データとし、時系列での最後のデータの次点の内視鏡画像を回答データとする教師データに基づき学習することで、時系列の複数個の内視鏡画像を入力とし、当該次点の内視鏡画像を出力とするニューラルネットワークを構築(生成)する。
教師データである時系列の複数個の内視鏡画像は、各被検者毎の所定の体内部位における時系列の複数個の内視鏡画像であり、複数回によって行われた過去の検査夫々において撮影された複数の内視鏡画像に基づき生成される。回答データである次点の内視鏡画像は、問題データにおける時系列での最後のデータの次点(次時刻)における内視鏡画像であり、例えば図19においては、データ(t+1)に相当する。回答データは、単一のデータに限定されず、複数のデータ、すなわち次点(t+1)、次々点(t+2)となる複数の内視鏡画像を含むものであってもよい。
入力層は、時系列による複数個の内視鏡画像を受け付ける単数又は複数のニューロンを有し、入力された複数個の内視鏡画像を中間層に受け渡す。中間層は、コンボリューション層及びプーリング層の以降に自己回帰層が設けられたCNNとRNNとが連結した多層構造を成す。コンボリューション層及びプーリング層により、時系列で入力された内視鏡画像夫々の特徴量が抽出される。自己回帰層は、抽出された特徴量夫々における変化量を出力する。出力層は、一又は複数のニューロンを有し、中間層から出力された内視鏡画像夫々の特徴量における変化量に基づき、次点の内視鏡画像を生成し出力する。CNN及びRNNとの連結構造をなすニューラルネットワークに対する学習は、例えば、誤差逆伝播法(Backpropagation)及びBPTT(Backpropagation Through Time)を組み合わせることにより行われる。
図20は、病変学習済みモデル96の生成処理に関する説明図である。情報処理装置6は、内視鏡画像を問題データとし、病変の有無及び症状のステージを回答データとする教師データに基づき学習することで、内視鏡画像を入力とし、病変の有無及び症状のステージを出力とするニューラルネットワークを構築(生成)する。内視鏡画像には、例えば病変が疑われる体内部位が含まれる。病変の有無及び症状のステージは、内視鏡画像に含まれる体内部位に関する病変及び症状のステージに関する情報である。
入力層は、内視鏡画像の画素値の入力を受け付ける複数のニューロンを有し、入力された画素値及び距離情報を中間層に受け渡す。中間層は、内視鏡画像の画像特徴量を抽出する複数のニューロンを有し、抽出した画像特徴量を出力層に受け渡す。出力層は、病変の有無及び症状のステージに関する情報を出力する一又は複数のニューロンを有し、中間層から出力された画像特徴量に基づいて、病変の有無及び症状のステージに関する情報を出力する。病変学習済みモデル96は、蠕動量学習済みモデル91と同様にCNNであってもよい。
図21は、情報処理装置6等の制御部62に含まれる機能部を例示する機能ブロック図である。制御部62は、記憶部63に記憶されているプログラムPを実行することにより、取得部621として機能する。制御部62は、記憶部63に記憶されているプログラムPを実行することにより、又は内視鏡画像学習済みモデル95等の学習済みモデルを構成する実体ファイルを読み出すことにより、内視鏡画像学習済みモデル95及び病変学習済みモデル96として機能する。
取得部621は、実施形態1と同様に内視鏡用プロセッサ20が出力した内視鏡画像及び被検者IDを取得する。取得部621は、被検者IDに基づき検査結果DB631を参照し、当該被検者の過去の検査による複数の内視鏡画像を取得する。取得部621は、内視鏡用プロセッサ20が出力した内視鏡画像(今回の検査の内視鏡画像)に基づき、表面形状又は色情報等から特徴量を抽出し、当該特徴量に対応する体内部位(病変が疑われる部位)を含む内視鏡画像を特定する。特定する内視鏡画像(特定内視鏡画像)は、例えば、当該体内部位を含む内視鏡画像の1フレーム(静止画)又は、数フレームによる動画によるものであってもよい。取得部621は、今回の検査の内視鏡画像にて特定した特定内視鏡画像に基づき、過去の複数の内視鏡画像(過去の複数回の検査による内視鏡画像)における当該特定内視鏡画像に対応する内視鏡画像(過去の特定内視鏡画像)を特定する。取得部621は、今回及び過去の特定内視鏡画像に基づき、過去から今回までの時系列となる複数個の特定内視鏡画像夫々を、配列における各要素とするオブジェクト配列データを生成する。取得部621は、生成した時系列となる複数個の特定内視鏡画像(オブジェクト配列データ)を、内視鏡画像学習済みモデル95に入力する。
内視鏡画像学習済みモデル95は、取得部621から出力された時系列となる複数個の特定内視鏡画像を入力層に入力し、出力層から出力された次点(時系列での最後に位置する特定内視鏡画像の次点)の特定内視鏡画像を生成し、病変学習済みモデル96に出力する。内視鏡画像学習済みモデル95から出力された特定内視鏡画像は、将来における体内部位(病変が疑われる部位)を含む特定内視鏡画像として、推定されるものである。
病変学習済みモデル96は、内視鏡画像学習済みモデル95から出力された特定内視鏡画像を入力層に入力し、出力層から出力された病変の有無及び症状のステージ等の病変推定情報を表示部7に出力する。
図22は、情報処理装置6の制御部62による処理手順の一例を示すフローチャートである。情報処理装置6は、例えば、自装置に接続されている入力部8からの入力内容に基づき、当該フローチャートの処理を開始する。
情報処理装置6の制御部62は、内視鏡画像等を取得する(S300)。制御部62は、実施形態2と同様に内視鏡画像及び被検者IDを内視鏡装置10から取得する。
情報処理装置6の制御部62は、過去の内視鏡画像等を取得する(S301)。制御部62は、被検者IDに基づき検査結果DB631を参照し、当該被検者の過去の過去の内視鏡画像を取得する。
情報処理装置6の制御部62は、特徴量を含む現在及び過去の複数の内視鏡画像を抽出する(S302)。制御部62は、現在及び過去の複数の内視鏡画像から面形状又は色情報等から特徴量を抽出し、当該特徴量に対応する体内部位(病変が疑われる部位)を含む内視鏡画像(特定内視鏡画像)を特定する。
情報処理装置6の制御部62は、現在及び過去の複数の内視鏡画像を内視鏡画像学習済みモデル95に入力し、将来の内視鏡画像を取得する(S303)。制御部62は、特定した現在及び過去の複数の内視鏡画像(特定内視鏡画像)により、時系列による複数の特定内視鏡画像からなる、例えばオブジェクト配列データを生成し、当該オブジェクト配列データを内視鏡画像学習済みモデル95に入力する。そして、制御部62は、内視鏡画像学習済みモデル95が出力した将来の内視鏡画像(特定内視鏡画像)を取得する。
情報処理装置6の制御部62は、将来の内視鏡画像を病変学習済みモデル96に入力し、病変推定情報を取得する(S304)。制御部62は、将来の内視鏡画像(特定内視鏡画像)を病変学習済みモデル96に入力し、病変学習済みモデル96が出力した病変の有無及び症状のステージ等の病変推定情報を取得する。
情報処理装置6の制御部62は、病変推定情報を出力する(S305)。制御部62は、取得した病変の有無及び症状のステージ等の病変推定情報を、ディスプレイ等の表示部7に出力する。制御部62は、実施形態2と同様に病変推定情報に基づいて、改善提案等の診断支援情報、又は概算保険料等の保険支援情報を導出し、表示部7に出力するものであってもよい。
本実施形態によれば、情報処理装置6は、内視鏡により時系列で撮影された過去の内視鏡画像が入力された場合、将来の内視鏡画像を出力する内視鏡画像学習済みモデル95を効率的に生成することができる。また、情報処理装置6は、内視鏡画像学習済みモデル95を用いることにより、効率的に将来における内視鏡画像を導出し、導出した将来の内視鏡画像に基づき、病変の有無等の病変推定情報を導出するため、当該病変推定情報の推定精度を向上させることができる。
今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。各実施例にて記載されている技術的特徴は互いに組み合わせることができ、本発明の範囲は、請求の範囲内での全ての変更及び請求の範囲と均等の範囲が含まれることが意図される。
S 診断支援システム
10 内視鏡装置
15 キーボード
16 収容棚
20 内視鏡用プロセッサ
21 制御部
211 画像処理部
212 距離情報導出部
22 主記憶装置
23 補助記憶装置
24 通信部
25 タッチパネル
26 表示装置I/F
27 入力装置I/F
28 読取部
31 内視鏡用コネクタ
311 電気コネクタ
312 光コネクタ
33 光源
34 ポンプ
35 送水タンク
36 送気送水口金
40 内視鏡
43 操作部
431 制御ボタン
433 湾曲ノブ
44 挿入部
441 軟性部
442 湾曲部
443 先端部
45 折止部
48 スコープコネクタ
49 ライトガイド可撓管
50 表示装置
6 情報処理装置
61 通信部
62 制御部
621 取得部
622 蠕動量補正部
623 特徴量導出部
624 差分情報導出部
625 劣化予想線導出部
626 劣化予想値導出部
63 記憶部
631 検査結果DB
632 記録媒体
P プログラム
64 入出力I/F
7 表示部
8 入力部
91 蠕動量学習済みモデル
92 劣化量学習済みモデル
93 補正劣化量学習済みモデル
94 差分学習済みモデル
95 内視鏡画像学習済みモデル
96 病変学習済みモデル
本開示の一態様におけるプログラムは、内視鏡により所定期間を経て撮影した複数の画像を取得し、
取得した前記複数の画像に基づいて、前記複数の画像に含まれる体内部位の将来の状態を推定する
処理をコンピュータに実行させるプログラムであって、
前記処理は、
取得した前記複数の画像に基づいて、前記複数の画像夫々に含まれる体内部位の距離情報を導出し、
導出した前記距離情報及び、前記体内部位の画像に基づき、マップデータを生成し、
生成した前記マップデータに基づき、前記体内部位における劣化量を導出し、
導出した前記劣化量により生成される劣化予測線に基づき、前記体内部位の将来の状態を推定する
処理を含む。
本開示の一態様における情報処理方法は、内視鏡により所定期間を経て撮影した複数の画像を取得し、
取得した前記複数の画像に基づいて、前記複数の画像夫々に含まれる体内部位の距離情報を導出し、
導出した前記距離情報及び、前記体内部位の画像に基づき、マップデータを生成し、
生成した前記マップデータに基づき、前記体内部位における劣化量を導出し、
導出した前記劣化量により生成される劣化予測線に基づき、前記体内部位の将来の状態を推定する
処理をコンピュータに実行させる。
本開示の一態様における情報処理装置は、内視鏡により所定期間を経て撮影した複数の画像を取得する取得部と、
取得した前記複数の画像に基づいて、前記複数の画像夫々に含まれる体内部位の距離情報を導出し、
導出した前記距離情報及び、前記体内部位の画像に基づき、マップデータを生成し、
生成した前記マップデータに基づき、前記体内部位における劣化量を導出し、
導出した前記劣化量により生成される劣化予測線に基づき、前記体内部位の将来の状態を推定する推定部と
を備える。
本開示の一態様におけるプログラムは、内視鏡により所定期間を経て撮影した複数の画像を取得し、
取得した前記複数の画像に基づいて、前記複数の画像に含まれる体内部位の将来の状態を推定する
処理をコンピュータに実行させるプログラムであって、
前記処理は、
取得した前記複数の画像に基づいて、前記複数の画像夫々に含まれる体内部位の距離情報を導出し、
導出した前記距離情報及び、前記体内部位の画像に基づき、前記体内部位である体腔内孔の臓器内壁における体腔内径を反映した3次元テクスチャマッピングが行われたマップデータを生成し、
生成した前記マップデータに基づき、前記体内部位における劣化量を導出し、
導出した前記劣化量により生成される劣化予測線に基づき、前記体内部位の将来の状態を推定する
処理を含む。
本開示の一態様における情報処理方法は、内視鏡により所定期間を経て撮影した複数の画像を取得し、
取得した前記複数の画像に基づいて、前記複数の画像夫々に含まれる体内部位の距離情報を導出し、
導出した前記距離情報及び、前記体内部位の画像に基づき、前記体内部位である体腔内孔の臓器内壁における体腔内径を反映した3次元テクスチャマッピングが行われたマップデータを生成し、
生成した前記マップデータに基づき、前記体内部位における劣化量を導出し、
導出した前記劣化量により生成される劣化予測線に基づき、前記体内部位の将来の状態を推定する
処理をコンピュータに実行させる。
本開示の一態様における情報処理装置は、内視鏡により所定期間を経て撮影した複数の画像を取得する取得部と、
取得した前記複数の画像に基づいて、前記複数の画像夫々に含まれる体内部位の距離情報を導出し、
導出した前記距離情報及び、前記体内部位の画像に基づき、前記体内部位である体腔内孔の臓器内壁における体腔内径を反映した3次元テクスチャマッピングが行われたマップデータを生成し、
生成した前記マップデータに基づき、前記体内部位における劣化量を導出し、
導出した前記劣化量により生成される劣化予測線に基づき、前記体内部位の将来の状態を推定する推定部と
を備える。

Claims (14)

  1. コンピュータに、
    内視鏡により所定期間を経て撮影した複数の画像を取得し、
    取得した前記複数の画像に基づいて、前記複数の画像に含まれる体内部位の将来の状態を推定する
    処理をコンピュータに実行させるプログラム。
  2. 取得した前記複数の画像に基づいて、前記複数の画像に含まれる体内部位の将来における所定の経過期間毎の複数の状態を推定する
    請求項1に記載のプログラム。
  3. 推定した前記体内部位の将来の状態に基づき、報知情報を出力する
    請求項1又は請求項2に記載のプログラム。
  4. 取得した前記複数の画像に含まれる各画像による差分データを導出し、
    導出した前記差分データに基づき、前記体内部位の将来の状態を推定する
    請求項1から請求項3のいずれか1項に記載のプログラム。
  5. 取得した前記複数の画像に基づいて、前記複数の画像夫々に含まれる体内部位の距離情報を導出し、
    導出した前記距離情報及び、前記体内部位の画像に基づき、マップデータを生成し、
    生成した前記マップデータに基づき、前記体内部位の将来の状態を推定する
    請求項1から請求項4のいずれか1項に記載のプログラム。
  6. 前記取得した画像に基づいて、該画像に含まれる体内部位の蠕動運動に関する情報を導出し、
    導出した前記蠕動運動に関する情報に基づき、前記マップデータを補正する
    請求項5に記載のプログラム。
  7. 生成した前記マップデータに基づき、前記体内部位における劣化量を導出し、
    導出した前記劣化量により生成される劣化予測線に基づき、前記体内部位の将来の状態を推定する
    請求項5又は請求項6に記載のプログラム。
  8. 前記体内部位の将来の状態の推定対象となる被検者の生体属性に関する情報を取得し、
    取得した前記被検者の生体属性に関する情報に基づき、前記劣化量を補正する
    請求項7に記載のプログラム。
  9. 前記内視鏡により時系列で撮影された過去の複数の画像から導出した状態が入力された場合、将来における複数の時系列の状態を出力するように学習済みの学習済みモデルに、取得した前記複数の画像から導出した状態を入力し、
    前記学習済みモデルから、前記将来における複数の時系列の状態を取得し、
    取得した前記将来における複数の時系列の状態に基づき、前記複数の画像に含まれる体内部位の将来の状態を推定する
    請求項1に記載のプログラム。
  10. 前記内視鏡により時系列で撮影された過去の複数の画像が入力された場合、将来における画像を出力するように学習済みの学習済みモデルに、取得した前記複数の画像を入力し、
    前記学習済みモデルから、前記将来における画像を取得し、
    取得した前記将来における画像に基づき、該画像に含まれる体内部位の将来の状態を推定する
    請求項1に記載のプログラム。
  11. 内視鏡により所定期間を経て撮影した複数の画像を取得し、
    取得した前記複数の画像に基づいて、前記複数の画像に含まれる体内部位の将来の状態を推定する
    処理をコンピュータに実行させる情報処理方法。
  12. 推定した前記体内部位の将来の状態に応じた改善案に関する情報を出力する
    請求項11に記載の情報処理方法。
  13. 推定した前記体内部位の将来の状態に基づいて、推定対象の被検者の保険料に関する情報を導出する
    請求項11又は請求項12に記載の情報処理方法。
  14. 内視鏡により所定期間を経て撮影した複数の画像を取得する取得部と、
    取得した前記複数の画像に基づいて、前記複数の画像に含まれる体内部位の将来の状態を推定する推定部と
    を備える情報処理装置。
JP2019569984A 2019-07-23 2019-07-23 プログラム、情報処理方法及び情報処理装置 Active JP6704095B1 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/028894 WO2021014584A1 (ja) 2019-07-23 2019-07-23 プログラム、情報処理方法及び情報処理装置

Publications (2)

Publication Number Publication Date
JP6704095B1 JP6704095B1 (ja) 2020-06-03
JPWO2021014584A1 true JPWO2021014584A1 (ja) 2021-09-13

Family

ID=70858270

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019569984A Active JP6704095B1 (ja) 2019-07-23 2019-07-23 プログラム、情報処理方法及び情報処理装置

Country Status (3)

Country Link
US (1) US20220095889A1 (ja)
JP (1) JP6704095B1 (ja)
WO (1) WO2021014584A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240164706A1 (en) * 2021-03-25 2024-05-23 Sony Group Corporation In-vivo observation system, observation system, in-vivo observation method, and in-vivo observation device
JPWO2022202520A1 (ja) * 2021-03-26 2022-09-29
JP2024112325A (ja) * 2021-04-26 2024-08-21 富士フイルム株式会社 医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法
JP2024124700A (ja) * 2023-03-03 2024-09-13 富士フイルム株式会社 医療用内視鏡システム及びその作動方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4472085B2 (ja) * 2000-01-26 2010-06-02 オリンパス株式会社 手術用ナビゲーションシステム
JP2004280807A (ja) * 2003-02-28 2004-10-07 Toshiba Corp サイバーホスピタルシステム
WO2005077253A1 (ja) * 2004-02-18 2005-08-25 Osaka University 内視鏡システム
JP5478328B2 (ja) * 2009-09-30 2014-04-23 富士フイルム株式会社 診断支援システム、診断支援プログラムおよび診断支援方法
US9805463B2 (en) * 2013-08-27 2017-10-31 Heartflow, Inc. Systems and methods for predicting location, onset, and/or change of coronary lesions
JP5943358B2 (ja) * 2014-09-30 2016-07-05 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation 学習装置、処理装置、予測システム、学習方法、処理方法、およびプログラム
JP2018022216A (ja) * 2016-08-01 2018-02-08 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム

Also Published As

Publication number Publication date
WO2021014584A1 (ja) 2021-01-28
JP6704095B1 (ja) 2020-06-03
US20220095889A1 (en) 2022-03-31

Similar Documents

Publication Publication Date Title
JP6704095B1 (ja) プログラム、情報処理方法及び情報処理装置
US10984905B2 (en) Artificial intelligence for physiological quantification in medical imaging
KR101887194B1 (ko) 피검체의 의료 영상의 판독을 지원하는 방법 및 이를 이용한 장치
CN113544743B (zh) 内窥镜用处理器、程序、信息处理方法和信息处理装置
KR101879207B1 (ko) 약한 지도 학습 방식의 객체 인식 방법 및 장치
US9892361B2 (en) Method and system for cross-domain synthesis of medical images using contextual deep network
KR101874348B1 (ko) 피검체의 흉부 pa 영상의 판독을 지원하는 방법 및 이를 이용한 장치
US20220351407A1 (en) Program, information processing method, and information processing device
US20230105799A1 (en) Program, information processing method, and information processing device
US20130070986A1 (en) System and method for classification of image data items
US12070356B2 (en) Medical imaging apparatus to automatically determine presence of an abnormality including a determination to transmit an assistance image and a classified abnormality stage
JP2020156903A (ja) 内視鏡用プロセッサ、情報処理装置、プログラム、情報処理方法および学習モデルの生成方法
KR102097743B1 (ko) 인공지능 질환 판독 장치 및 방법
CN114830107A (zh) 图像处理系统、图像处理装置、内窥镜系统、接口以及图像处理方法
JP7203000B2 (ja) プログラム、情報処理方法及び情報処理装置
US11734849B2 (en) Estimating patient biographic data parameters
US20230180999A1 (en) Learning apparatus, learning method, program, trained model, and endoscope system
US20230100147A1 (en) Diagnosis support system, diagnosis support method, and storage medium
CN115700740A (zh) 医学图像处理方法、装置、计算机设备和存储介质
WO2022239518A1 (ja) プログラム、情報処理方法及び内視鏡システム
US12125196B2 (en) Computer program, processor for endoscope, and information processing method
WO2022091868A1 (ja) 情報処理装置、情報表示装置、情報処理方法、情報処理システム及びプログラム
Yao Machine Learning and Image Processing for Clinical Outcome Prediction: Applications in Medical Data from Patients with Traumatic Brain Injury, Ulcerative Colitis, and Heart Failure
US20220084194A1 (en) Computer program, processor for endoscope, and information processing method

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191226

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191226

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20191226

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200304

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200421

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200511

R150 Certificate of patent or registration of utility model

Ref document number: 6704095

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250