JP6704095B1 - プログラム、情報処理方法及び情報処理装置 - Google Patents

プログラム、情報処理方法及び情報処理装置 Download PDF

Info

Publication number
JP6704095B1
JP6704095B1 JP2019569984A JP2019569984A JP6704095B1 JP 6704095 B1 JP6704095 B1 JP 6704095B1 JP 2019569984 A JP2019569984 A JP 2019569984A JP 2019569984 A JP2019569984 A JP 2019569984A JP 6704095 B1 JP6704095 B1 JP 6704095B1
Authority
JP
Japan
Prior art keywords
information
deterioration
body part
image
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019569984A
Other languages
English (en)
Other versions
JPWO2021014584A1 (ja
Inventor
伶 佐藤
伶 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hoya Corp
Original Assignee
Hoya Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hoya Corp filed Critical Hoya Corp
Application granted granted Critical
Publication of JP6704095B1 publication Critical patent/JP6704095B1/ja
Publication of JPWO2021014584A1 publication Critical patent/JPWO2021014584A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00194—Optical arrangements adapted for three-dimensional imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G06T2207/30032—Colon polyp
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Endoscopes (AREA)

Abstract

プログラムは、コンピュータに、内視鏡により所定期間を経て撮影した複数の画像を取得し、取得した前記複数の画像に基づいて、前記複数の画像に含まれる体内部位の将来の状態を推定する処理をコンピュータに実行させる。

Description

本技術は、プログラム、情報処理方法及び情報処理装置に関する。
内視鏡画像等の医用画像から、学習モデルを使用して病変部位を自動的に検出するコンピュータ支援診断技術が開発されている。正解ラベルが付与された教師データを用いた教師あり機械学習により、学習モデルを生成する手法が知られている。
通常の内視鏡で撮影された画像群を教師データに用いた第１の学習と、カプセル内視鏡で撮影された画像群を教師データに用いた第２の学習とを組み合わせる学習方法にて学習される学習モデルが、開示されている（例えば、特許文献１）。
国際公開第２０１７／１７５２８２号
しかしながら、特許文献１に記載の学習モデルは、入力された画像に基づき、ポリープや腫瘍等の病変に関する情報を診断支援として出力するが、画像を撮影した現時点における病変に関する情報を出力するものであり、対象患部の状態が将来的にどのように変化するかに関する観点からの診断支援については、考慮されていないという問題点がある。
一つの側面では、被検者の対象部位における将来的な変化に関する観点からの診断支援を行うプログラム等を提供することを目的とする。
本開示の一態様におけるプログラムは、内視鏡により所定期間を経て撮影した複数の画像を取得し、
取得した前記複数の画像に基づいて、前記複数の画像に含まれる体内部位の将来の状態を推定する
処理をコンピュータに実行させるプログラムであって、
前記処理は、
取得した前記複数の画像に基づいて、前記複数の画像夫々に含まれる体内部位の距離情報を導出し、
導出した前記距離情報及び、前記体内部位の画像に基づき、前記体内部位である体腔内孔の臓器内壁における体腔内径を反映した３次元テクスチャマッピングが行われたマップデータを生成し、
生成した前記マップデータに基づき、前記体内部位における劣化量を導出し、
導出した前記劣化量により生成される劣化予測線に基づき、前記体内部位の将来の状態を推定する
処理を含む。
本開示の一態様における情報処理方法は、内視鏡により所定期間を経て撮影した複数の画像を取得し、
取得した前記複数の画像に基づいて、前記複数の画像夫々に含まれる体内部位の距離情報を導出し、
導出した前記距離情報及び、前記体内部位の画像に基づき、前記体内部位である体腔内孔の臓器内壁における体腔内径を反映した３次元テクスチャマッピングが行われたマップデータを生成し、
生成した前記マップデータに基づき、前記体内部位における劣化量を導出し、
導出した前記劣化量により生成される劣化予測線に基づき、前記体内部位の将来の状態を推定する
処理をコンピュータに実行させる。
本開示の一態様における情報処理装置は、内視鏡により所定期間を経て撮影した複数の画像を取得する取得部と、
取得した前記複数の画像に基づいて、前記複数の画像夫々に含まれる体内部位の距離情報を導出し、
導出した前記距離情報及び、前記体内部位の画像に基づき、前記体内部位である体腔内孔の臓器内壁における体腔内径を反映した３次元テクスチャマッピングが行われたマップデータを生成し、
生成した前記マップデータに基づき、前記体内部位における劣化量を導出し、
導出した前記劣化量により生成される劣化予測線に基づき、前記体内部位の将来の状態を推定する推定部と
を備える。
本開示によれば、被検者の対象部位における将来的な変化に関する観点からの診断支援を行うプログラム等を提供することができる。
実施形態１に係る診断支援システムの概要を示す模式図である。 診断支援システムに含まれる内視鏡装置の構成例を示すブロック図である。 診断支援システムに含まれる情報処理装置の構成例を示すブロック図である。 検査結果ＤＢのデータレイアウトを例示する説明図である。 劣化推定線を示すグラフに関する説明図である。 情報処理装置の制御部による処理手順の一例を示すフローチャートである。 実施形態２に係る蠕動量学習済みモデルの生成処理に関する説明図である。 劣化量学習済みモデルの生成処理に関する説明図である。 補正劣化量学習済みモデルの生成処理に関する説明図である。 情報処理装置等の制御部に含まれる機能部を例示する機能ブロック図である。 体内部位を撮影した画像に基づき生成された３次元マップデータに関する説明図である。 劣化推定線を示すグラフに関する説明図である。 情報処理装置の制御部による処理手順の一例を示すフローチャートである。 情報処理装置の制御部による診断支援情報を導出する処理手順の一例を示すフローチャートである。 情報処理装置の制御部による蠕動量学習済みモデルの生成処理に関する処理手順の一例を示すフローチャートである。 実施形態３に係る差分学習済みモデルの生成処理に関する説明図である。 情報処理装置等の制御部に含まれる機能部を例示する機能ブロック図である。 情報処理装置の制御部による処理手順の一例を示すフローチャートである。 実施形態４に係る内視鏡画像学習済みモデルの生成処理に関する説明図である。 病変学習済みモデルの生成処理に関する説明図である。 情報処理装置等の制御部に含まれる機能部を例示する機能ブロック図である。 情報処理装置の制御部による処理手順の一例を示すフローチャートである。
（実施形態１）
以下、本発明をその実施の形態を示す図面に基づいて詳述する。図１は、実施形態１に係る診断支援システムＳの概要を示す模式図である。
診断支援システムＳは、内視鏡装置１０及び、内視鏡装置１０と通信可能に接続される情報処理装置６を含む。
内視鏡装置１０は、内視鏡の撮影素子によって撮影した画像（撮影画像）を内視鏡用プロセッサ２０に伝送し、内視鏡用プロセッサ２０によってガンマ補正、ホワイトバランス補正、シェーディング補正等の各種画像処理を行うことにより、操作者が目視し易い状態にした内視鏡画像を生成する。内視鏡装置１０は、更に生成した内視鏡画像に基づき、３次元マップデータ（体腔内径を反映した３次元テクスチャマッピングされたデータ）を生成するものであってもよい。内視鏡装置１０は、これら生成した内視鏡画像及び３次元マップデータを情報処理装置６に出力（送信）する。内視鏡装置１０から送信された内視鏡画像及び３次元マップデータを取得した情報処理装置６は、これら内視鏡画像又は３次元マップデータに基づき、種々の情報処理を行い、診断支援に関する情報を出力する。
図２は、診断支援システムＳに含まれる内視鏡装置１０の構成例を示すブロック図である。図３は、診断支援システムＳに含まれる情報処理装置６の構成例を示すブロック図である。内視鏡装置１０は、内視鏡用プロセッサ２０と、内視鏡４０と、表示装置５０とを含む。表示装置５０は、たとえば液晶表示装置、または、有機ＥＬ（Electro Luminescence）表示装置である。
表示装置５０はキャスター付きの収容棚１６の上段に設置されている。内視鏡用プロセッサ２０は、収容棚１６の中段に収容されている。収容棚１６は、図示を省略する内視鏡検査用ベッドの近傍に配置される。収容棚１６は内視鏡用プロセッサ２０に接続されたキーボード１５を搭載する、引き出し式の棚を有する。
内視鏡用プロセッサ２０は、略直方体形状であり、一面にタッチパネル２５を備える。タッチパネル２５の下部に、読取部２８が配置されている。読取部２８は、たとえばＵＳＢコネクタ、ＳＤ（Secure Digital）カードスロット、またはＣＤ−ＲＯＭ（Compact Disc Read Only Memory）ドライブ等の、可搬型記録媒体の読み書きを行なう接続用インターフェイスである。
内視鏡４０は、挿入部４４、操作部４３、ライトガイド可撓管４９およびスコープコネクタ４８を有する。操作部４３には、制御ボタン４３１が設けられている。挿入部４４は長尺であり、一端が折止部４５を介して操作部４３に接続されている。挿入部４４は、操作部４３側から順に軟性部４４１、湾曲部４４２および先端部４４３を有する。湾曲部４４２は、湾曲ノブ４３３の操作に応じて湾曲する。挿入部４４には、３軸加速度センサ、ジャイロセンサ、地磁気センサ又は磁気コイルセンサ等の物理検出装置が実装され、内視鏡４０が被検者の体内に挿入された際、これら物理検出装置からの検出結果を取得するものであってもよい。
ライトガイド可撓管４９は長尺であり、第一端が操作部４３に、第二端がスコープコネクタ４８にそれぞれ接続されている。ライトガイド可撓管４９は、軟性である。スコープコネクタ４８は略直方体形状である。スコープコネクタ４８には、送気送水用のチューブを接続する送気送水口金３６（図２参照）が設けられている。
内視鏡装置１０は、内視鏡用プロセッサ２０と、内視鏡４０と、表示装置５０とを含む。内視鏡用プロセッサ２０は、タッチパネル２５および読取部２８に加えて、制御部２１、主記憶装置２２、補助記憶装置２３、通信部２４、表示装置Ｉ／Ｆ（Interface）２６、入力装置Ｉ／Ｆ２７、内視鏡用コネクタ３１、光源３３、ポンプ３４およびバスを備える。内視鏡用コネクタ３１は、電気コネクタ３１１および光コネクタ３１２を含む。
制御部２１は、本実施の形態のプログラムを実行する演算制御装置である。制御部２１には、一または複数のＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）又はマルチコアＣＰＵ等が使用される。制御部２１は、バスを介して内視鏡用プロセッサ２０を構成するハードウェア各部と接続されている。
主記憶装置２２は、例えば、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の記憶装置である。主記憶装置２２には、制御部２１が行なう処理の途中で必要な情報および制御部２１で実行中のプログラムが一時的に保存される。補助記憶装置２３は、例えば、ＳＲＡＭ、フラッシュメモリまたはハードディスク等の記憶装置であり、主記憶装置２２よりも大容量の記憶装置である。補助記憶装置２３には、例えば、取得した撮影画像、生成した内視鏡画像又は３次元マップデータが、中間データとして保存されるものであってもよい。
通信部２４は、有線又は無線によりネットワークを介して情報処理装置と通信するための通信モジュール又は通信インターフェイスであり、例えばｗｉｆｉ（登録商標）、 Ｂｌｕｅｔｏｏｔｈ（登録商標）等の狭域無線通信モジュール、又は４Ｇ、ＬＴＥ等の広域無線通信モジュールである。タッチパネル２５は、液晶表示パネル等の表示部と、表示部に積層された入力部を含む。
表示装置Ｉ／Ｆ２６は、内視鏡用プロセッサ２０と表示装置５０とを接続するインターフェイスである。入力装置Ｉ／Ｆ２７は、内視鏡用プロセッサ２０とキーボード１５等の入力装置とを接続するインターフェイスである。
光源３３は、たとえばキセノンランプ等の高輝度の白色光源である。光源３３は、図示を省略するドライバを介してバスに接続されている。光源３３の点灯、消灯および明るさの変更は、制御部２１により制御される。光源３３から照射した照明光は、光コネクタ３１２に入射する。光コネクタ３１２は、スコープコネクタ４８と係合し、内視鏡４０に照明光を供給する。
ポンプ３４は、内視鏡４０の送気・送水機能用の圧力を発生させる。ポンプ３４は、図示を省略するドライバを介してバスに接続されている。ポンプ３４のオン、オフおよび圧力の変更は、制御部２１により制御される。ポンプ３４は、送水タンク３５を介して、スコープコネクタ４８に設けられた送気送水口金３６に接続される。
内視鏡用プロセッサ２０に接続された内視鏡４０の機能の概略を説明する。スコープコネクタ４８、ライトガイド可撓管４９、操作部４３および挿入部４４の内部に、ファイバーバンドル、ケーブル束、送気チューブおよび送水チューブ等が挿通されている。光源３３から出射した照明光は、光コネクタ３１２およびファイバーバンドルを介して、先端部４４３に設けられた照明窓から放射される。照明光により照らされた範囲を、先端部４４３に設けられた撮像素子で撮影する。撮像素子からケーブル束および電気コネクタ３１１を介して内視鏡用プロセッサ２０に撮影画像が伝送される。
内視鏡用プロセッサ２０の制御部２１は、主記憶装置２２に記憶されているプログラムを実行することにより、画像処理部及び距離導出部として機能する。画像処理部は、内視鏡から出力された画像（撮影画像）をガンマ補正、ホワイトバランス補正、シェーディング補正等の各種画像処理を行い、内視鏡画像として出力する。
距離導出部は、内視鏡画像又は撮影画像に基づき、撮像素子（先端部４４３に設けられた撮像素子）から体内部位（臓器内壁）までの距離情報を導出する。距離情報の導出は、例えば、単眼距離画像推定、ＴＯＦ（Time of Flight）方式、パターン照射方式等を用いて導出することができる。又は、３次元ＳＬＡＭ（Simultaneous localization and mapping）技術に基づいた処理ルーチンを実行し、撮像素子が撮影した体腔内孔における体内部位の画像に基づき、体腔内孔の臓器内壁を周辺環境とした環境地図の作成を行うと共に撮像素子の自己位置の推定を行い、当該撮像素子と対象となる体内部位との距離を導出するものであってもよい。距離情報を導出するにあたり、距離情報導出部は、例えば、内視鏡４０に挿入部４４に装着される３軸加速度センサ、ジャイロセンサ、地磁気センサ、磁気コイルセンサ、又は挿入量検出機能付きマウスピース等の物理検出系機器によるデータを撮影画像に関連付けて処理する、又は、放射線画像と併用するものであってもよい。
画像処理部は、更に、距離情報導出部が導出した距離情報を取得し、当該距離情報及び、変換処理した画像に基づき、体腔内径を反映した３次元テクスチャマッピングを行い、３次元マップデータを生成する。生成された３次元マップデータは、撮影画像に含まれる体内部位の３次元座標を含む。画像処理部は、３次元マップデータを生成するにあたり、アフィン変換、射影変換等の変換処理を用いて、画像テクスチャの貼付けを行うものであってもよい。
情報処理装置６は、制御部６２、通信部６１、記憶部６３及び入出力Ｉ／Ｆ６４を含む。制御部６２は、一又は複数のＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の計時機能を備えた演算処理装置を有し、記憶部６３に記憶されたプログラムＰを読み出して実行することにより、情報処理装置６に係る種々の情報処理、制御処理等を行う。又は、制御部６２は量子コンピュータ用チップで構成されており、情報処理装置６は量子コンピュータであってもよい。
記憶部６３は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の揮発性記憶領域及び、ＥＥＰＲＯＭ又はハードディスク等の不揮発性記憶領域を含む。記憶部６３には、プログラムＰ及び処理時に参照するデータがあらかじめ記憶してある。記憶部６３に記憶されたプログラムＰは、情報処理装置６が読み取り可能な記録媒体６３２から読み出されたプログラムＰを記憶したものであってもよい。また、図示しない通信網に接続されている図示しない外部コンピュータからプログラムＰをダウンロードし、記憶部６３に記憶させたものであってもよい。記憶部６３には、後述する蠕動量学習済みモデル９１、劣化量学習済みモデル９２及び補正劣化量学習済みモデル９３を構成する実体ファイル（ニューラルネットワーク（ＮＮ）のインスタンスファイル）が保存されている。これら実体ファイルは、プログラムＰの一部位として構成されるものであってもよい。記憶部６３には、後述する検査結果ＤＢ６３１(DataBase)が記憶されている。
通信部６１は、有線又は無線により、内視鏡装置１０と通信するための通信モジュール又は通信インターフェイスであり、例えばｗｉｆｉ（登録商標）、 Ｂｌｕｅｔｏｏｔｈ（登録商標）等の狭域無線通信モジュール、又は４Ｇ、ＬＴＥ等の広域無線通信モジュールである。
入出力Ｉ／Ｆ６４は、例えば、ＵＳＢ又はＤＳＵＢ等の通信規格に準拠したものであり、入出力Ｉ／Ｆ６４に接続された外部機器とシリアル通信するための通信インターフェイスである。入出力Ｉ／Ｆ６４には、例えばディプレイ等の表示部７、キーボード等の入力部８が接続されており、制御部６２は、入力部８から入力された実行コマンド又はイベントに基づき行った情報処理の結果を表示部７に出力する。
図４は、検査結果ＤＢ６３１のデータレイアウトを例示する説明図である。検査結果ＤＢ６３１は、情報処理装置６の記憶部６３に記憶されており、情報処理装置６に実装されているＲＤＢＭＳ（Relational DataBase Management System）等のデータベース管理ソフトウェアにより構成される。
検査結果ＤＢ６３１は、例えば、被検者マスタテーブル及び画像テーブルを含み、被検者マスタテーブルと画像テーブルとは、両テーブルに共に含まれる項目（メタデータ）である被検者ＩＤにより、関連付けが設定されている。
被検者マスタテーブルは、管理項目（メタデータ）として、例えば、被検者ＩＤ、性別、生年月日、年齢、ＢＭＩ（Body Mass Index）及び国籍を含む。被検者ＩＤの項目（フィールド）には、内視鏡検査を受けた被検者を一意に特定するためにＩＤ情報が格納される。性別及び生年月日の項目（フィールド）には、当該被検者ＩＤの性別及び生年月日の生体属性が格納され、年齢の項目（フィールド）には、生年月日により算出される現時点における年齢が格納される。同様にＢＭＩ及び国籍には、当該被検者ＩＤのＢＭＩの値及び国籍に関する情報が格納される。これら、性別、年齢、ＢＭＩ及び国籍は、被検者の生体情報として、被検者マスタテーブルにより管理される。
画像テーブルは、管理項目（メタデータ）として、例えば、被検者ＩＤ、検査日時、内視鏡画像、３次元マップデータ及び前回検査からの劣化量を含む。被検者ＩＤの項目（フィールド）には、被検者マスタテーブルに管理される被検者の生体属性と関連付けをするためのものであり、当該被検者夫々のＩＤの値が格納される。検査日時の項目（フィールド）には、当該被検者ＩＤの被検者が内視鏡検査を受けた日時が格納される。内視鏡画像の項目（フィールド）には、当該被検者ＩＤの内視鏡画像がオブジェクトデータとして格納される。又は、内視鏡画像の項目（フィールド）には、ファイルとして保存されている当該内視鏡画像の保存場所（ファイルパス）を示す情報が格納されるものであってもよい。３次元マップデータの項目（フィールド）には、当該被検者ＩＤの３次元マップデータがオブジェクトデータとして格納される。又は、３次元マップデータの項目（フィールド）には、ファイルとして保存されている当該３次元マップデータの保存場所（ファイルパス）を示す情報が格納されるものであってもよい。前回検査からの劣化量の項目（フィールド）には、今回の検査と前回の検査との比較に基づく、所定の体内部位の劣化量に関する情報が格納される。劣化量の格納は、複数の体内部位夫々における劣化量の値を、例えば配列形式で格納されるものであってもよい。又は、内視鏡画像におけるピクセル（画素）単位にて、これらピクセル毎の劣化量夫々を、配列形式で格納して保存するものであってもよい。
図５は、劣化推定線を示すグラフに関する説明図である。情報処理装置６は、取得した所定期間を経て撮影された複数の画像（時系列の画像）に基づき、複数の画像に含まれる体内部位の将来の状態を推定するものであり、図５に示す劣化推定線を示すグラフは、当該推定結果をグラフ化して表示したものである。劣化推定線を示すグラフの横軸は、時間を示し、縦軸は、現在及び過去の劣化量と、将来の劣化量（劣化予想値）の値を示す。図に示すとおり、過去及び現在の検査に基づき、３個の劣化量がプロットされている。これら過去及び現在の劣化量に基づき、将来における劣化量（劣化予想値）を示す近似線が、劣化予想線として表示される。
情報処理装置６は、内視鏡用プロセッサ２０が出力した内視鏡画像及び距離情報（又は距離情報が重畳された内視鏡画像）又は３次元マップデータ等の画像（今回の検査による画像）を取得すると共に、当該画像に対応する過去の検査における画像（過去の検査による画像）を、検査結果ＤＢ６３１を参照して取得する。これら今回及び過去の画像は、同一の被検者の結果に係る画像であり、情報処理装置６は、今回及び過去の画像に基づき、所定期間を経て撮影された複数の画像（時系列の画像）を取得するものとなる。過去の検査による画像は、複数個であることが望ましいが、１個であってもよい。
情報処理装置６は、今回の検査による画像に基づき、特徴量を抽出する。当該特徴量は、現在又は将来的に病変が疑われる体内部位を特定するものであり、例えば、エッジ検出、パターン認識、又は後述する後述するニューラルネットワーク等の学習済みモデルを用いて劣化量を導出するものであってもよい。
情報処理装置６は、抽出した特徴量に関する情報として、距離情報が重畳された内視鏡画像又は３次元マップデータにおける当該特徴量に対応する体内部位の位置情報又は形状情報（大きさ含む）を記憶部６３に記憶するものであってもよい。又は、情報処理装置６は、当該特徴量に対応する体内部位が撮影されている画像のフレーム番号及び当該画像のフレーム（静止画）における体内部位の領域に関する情報（ピクセル番号、画像座標系における座標）を記憶部６３に記憶するものであってもよい。更に、情報処理装置６は、抽出した特徴量に関する情報として、当該特徴量に対応する体内部位の色彩に関する情報（各ピクセル要素の値）を記憶部６３に記憶するものであってもよい。
情報処理装置６は、複数の今回の検査による画像夫々から、今回の検査による画像から抽出した特徴量（今回の画像における特徴量）に対応する箇所（過去の画像における特徴量）を抽出する。情報処理装置６は、抽出した今回及び過去の特徴量において、時系列にて隣接する特徴量夫々による差分（特徴量の差分情報）を抽出する。
情報処理装置６は、抽出した特徴量の差分情報に基づき、当該特徴量により特定される体内部位の劣化量を導出する。情報処理装置６は、抽出した特徴量の差分情報において、これら特徴量により特定される体内部位の色彩の変化（ピクセル要素の値の差異）、位置又は形状（大きさ含む）の変化量に基づき、劣化量を導出するものであってもよい。又は、情報処理装置６は、後述するニューラルネットワーク等の学習済みモデルを用いて劣化量を導出するものであってもよい。
図５に示すとおり、検査３が今回の検査における劣化量であり、今回と前回との特徴量の差分情報に基づき導出される。検査２が前回の検査における劣化量であり、前回と前々回との特徴量の差分情報に基づき導出される。検査１が前々回の検査における劣化量であり、前々回と３回前との特徴量の差分情報に基づき導出される。情報処理装置６は、導出した複数の劣化量に基づき、例えば線形近似、非線形近似の手法を用いて図５に示す劣化推定線を示すグラフを生成し、表示部７に出力する。
情報処理装置６は、当該劣化推定線に基づき、将来における任意に時点における劣化量を導出（推定）することができる。当該推定される劣化量は、被検者の将来における健康状態に関連する情報となるものであり、医師等による診断の支援情報として用いることができる。
図６は、情報処理装置６の制御部６２による処理手順の一例を示すフローチャートである。情報処理装置６は、例えば、自装置に接続されている入力部８からの入力内容に基づき、当該フローチャートの処理を開始する。
情報処理装置６の制御部６２は、内視鏡用プロセッサ２０から出力された内視鏡画像等を取得する（Ｓ１１）。制御部６２は、制御部６２は、内視鏡用プロセッサ２０から出力された撮影画像、内視鏡画像（距離情報が重畳され内視鏡画像）、３次元マップデータ及び被検者ＩＤを取得する。
情報処理装置６の制御部６２は、取得した内視鏡画像等から特徴量を導出する（Ｓ１２）。情報処理装置６の制御部６２は、取得した被検者ＩＤに基づき検査結果ＤＢ６３１を参照して、過去の内視鏡画像等を取得する（Ｓ１３）。
情報処理装置６の制御部６２は、特徴量の差分情報を導出する（Ｓ１４）。制御部６２は、取得した今回の内視鏡画像による特徴量と、当該特徴量（今回の特徴量）に対応する過去の内視鏡画像における特徴量とに基づき、これら特徴量の差分情報を導出する。
情報処理装置６の制御部６２は、差分情報に基づき現在及び過去の劣化量を導出する（Ｓ１５）。制御部６２は、当該差分情報に含まれる特徴量により特定される体内部位の色彩、形状等の変化量に基づき、劣化量を導出する。
情報処理装置６の制御部６２は、現在及び過去の劣化量に基づき劣化予想線を導出する（Ｓ１６）。制御部６２は、現在及び過去の劣化量、すなわち時系列に並ぶ複数の劣化量に基づき、例えば線形近似又は非線形近似の手法を用いて劣化予想線を導出する。
情報処理装置６の制御部６２は、所定期間経過後の劣化予想値を導出する（Ｓ１７）。制御部６２は、導出した劣化予想線に基づき、現時点（今回の検査の時点）から、所定期間が経過した後の一つ又は複数の時点における劣化予想値を導出する。
（実施形態２）
図７は、蠕動量学習済みモデル９１の生成処理に関する説明図である。実施形態２の情報処理装置６は、劣化量を導出するにあたり、蠕動量学習済みモデル９１等の学習済みモデルを用いて、補正処理を行う点で実施形態１と異なる。
情報処理装置６は、内視鏡画像及び距離情報を問題データとし、蠕動量の補正量を回答データとする教師データに基づき学習することで、内視鏡画像及び距離情報を入力とし、蠕動量の補正量を出力とするニューラルネットワークを構築（生成）する。
教師データを用いて学習されたニューラルネットワーク（蠕動量学習済みモデル９１）は、人工知能ソフトウェアの一部であるプログラムＰモジュールとして利用が想定される。蠕動量学習済みモデル９１は、上述のごとく制御部６２（ＣＰＵ等）及び記憶部６３を備える情報処理装置６にて用いられるものであり、このように演算処理能力を有する情報処理装置６にて実行されることにより、ニューラルネットワークシステムが構成される。すなわち、情報処理装置６の制御部６２が、記憶部６３に記憶された蠕動量学習済みモデル９１からの指令に従って、入力層に入力された内視鏡画像及び距離情報の特徴量を抽出する演算を行い、出力層から蠕動量の補正量を出力するように動作する。
入力層は、内視鏡画像に含まれる各画素の画素値及び距離情報の入力を受け付ける複数のニューロンを有し、入力された画素値及び距離情報を中間層に受け渡す。中間層は、内視鏡画像の画像特徴量を抽出する複数のニューロンを有し、抽出した画像特徴量及び、入力された距離情報に基づくニューロンの活性状態を出力層に受け渡す。例えば蠕動量学習済みモデルがＣＮＮである場合、中間層は、入力層から入力された各画素の画素値を畳み込むコンボリューション層と、コンボリューション層で畳み込んだ画素値をマッピング（圧縮）するプーリング層とが交互に連結された構成を有し、内視鏡画像の画素情報を圧縮しながら最終的に内視鏡画像の特徴量を抽出する。出力層は、当該内視鏡画像に含まれる体内部位における蠕動量の補正量に関する情報を出力する一又は複数のニューロンを有し、中間層から出力された画像特徴量等に基づいて、当該蠕動量の補正量に関する情報を出力する。出力された蠕動量の補正量に関する情報は、３次元マップデータにおける、例えば臓器表面（体内部位）の垂直方向の配置を補正する情報として用いられる。
本実施形態では、蠕動量学習済みモデル９１に入力されるデータは、内視鏡画像であるとして説明しているがこれに限定されない。蠕動量学習済みモデル９１に入力されるデータは、撮像素子が撮像した撮影画像であってもよい。すなわち、蠕動量学習済みモデル９１は、撮影画像及び距離情報が入力されることにより、蠕動量の補正量に関する情報を出力するものであってもよい。
本実施形態では蠕動量学習済みモデル９１がＣＮＮ等のニューラルネットワーク（ＮＮ）であるとして説明するが、蠕動量学習済みモデル９１は、ＮＮに限定されず、ＳＶＭ（Support Vector Machine）、ベイジアンネットワーク、回帰木など、他の学習アルゴリズムで構築された学習済みモデルであってもよい。
情報処理装置６は、出力層から出力された値を、教師データ（内視鏡画像及び距離情報）に対しラベル付けされた情報（蠕動量の補正量）、すなわち正解値（回答データ）と比較し、出力層からの出力値が正解値に近づくように、中間層での演算処理に用いるパラメータを最適化する。当該パラメータは、例えばニューロン間の重み（結合係数）、各ニューロンで用いられる活性化関数の係数などである。パラメータの最適化の方法は特に限定されないが、例えば情報処理装置６は、誤差逆伝播法を用いて各種パラメータの最適化を行う。情報処理装置６は、教師データに含まれる内視鏡画像及び距離情報について上記の処理を行い、蠕動量学習済みモデル９１を生成し、生成した蠕動量学習済みモデル９１を記憶部６３に記憶する。
教師データとして用いられる内視鏡画像及び距離情報（問題データ）と、これら情報に相関を有する蠕動量に関する情報（回答データ）は、各医療機関において行われた内視鏡検査の結果データとして大量に保存されており、これら結果データを用いることにより、蠕動量学習済みモデル９１を学習するための教師データを大量に生成することができる。
図８は、劣化量学習済みモデル９２の生成処理に関する説明図である。情報処理装置６は、差分情報及び生体情報を問題データとし、劣化量を回答データとする教師データに基づき学習することで、差分情報及び生体情報を入力とし、劣化量を出力とするニューラルネットワークを構築（生成）する。差分情報は、後述する差分情報導出部６２４（図１０参照）により導出される情報であり、現在の内視鏡画像に基づき生成された３次元マップデータと、過去の内視鏡画像に基づき生成された３次元マップデータとの差異に基づき導出される。生体情報は、被検者の年齢等を含み、当該被検者を特定する被検者ＩＤに基づき、検査結果ＤＢ６３１を参照することにより導出される。これら情報の導出については、後述する。
入力層は、差分情報及び生体情報の入力を受け付ける複数のニューロンを有し、入力された差分情報及び生体情報を中間層に受け渡す。中間層は、例えば単数又は複数の全結合層からなる単相又は多層構造をなし、全結合層に含まれる複数のニューロン夫々は、入力された差分情報及び生体情報の値に基づき、活性化又は非活性化を示す情報を出力する。出力層は、内視鏡画像に含まれる体内部位の劣化量に関する情報を出力する一又は複数のニューロンを有し、中間層から出力された各ニューロンの活性化又は非活性化を示す情報に基づき、劣化量を出力する。
情報処理装置６は、蠕動量学習済みモデル９１と同様に、劣化量学習済みモデル９２の中間層での演算処理に用いるパラメータを最適化する。劣化量学習済みモデル９２は、蠕動量学習済みモデル９１と同様に人工知能ソフトウェアの一部であるプログラムＰモジュールとして利用が想定される。また、劣化量学習済みモデル９２は、蠕動量学習済みモデル９１と同様にＮＮに限定されず、ＳＶＭ等の他の学習アルゴリズムで構築された学習済みモデルであってもよい。教師データとして用いられる差分情報（問題データ）と、これら情報に相関を有する劣化量に関する情報（回答データ）に関し、これらデータを導出するための元データとなる内視鏡画像及び距離情報は、各医療機関において行われた内視鏡検査の結果データとして大量に保存されている。従って、これら結果データを用いることにより、劣化量学習済みモデル９２を学習するための教師データを大量に生成することができる。
図９は、補正劣化量学習済みモデル９３の生成処理に関する説明図である。情報処理装置６は、劣化予想線（劣化予想線のパラメータの値）を問題データとし、劣化予想線の補正量を回答データとする教師データに基づき学習することで、劣化予想線を入力とし、劣化予想線の補正量を出力とするニューラルネットワークを構築（生成）する。劣化想線は、後述する劣化予想線導出部６２５（図１０参照）により導出される情報であり、現在及び過去の劣化量に基づき導出される。
入力層は、劣化予想線（劣化予想線のパラメータの値）の入力を受け付ける複数のニューロンを有し、入力された劣化予想線のパラメータの値夫々を中間層に受け渡す。中間層は、例えば単数又は複数の全結合層からなる単相又は多層構造をなし、全結合層に含まれる複数のニューロン夫々は、入力された劣化予想線のパラメータの値夫々に基づき、活性化又は非活性化を示す情報を出力する。出力層は、劣化予想線の補正量に関する情報を出力する一又は複数のニューロンを有し、中間層から出力された各ニューロンの活性化又は非活性化を示す情報に基づき、補正量を出力する。
情報処理装置６は、蠕動量学習済みモデル９１と同様に、補正劣化量学習済みモデル９３の中間層での演算処理に用いるパラメータを最適化する。補正劣化量学習済みモデル９３は、蠕動量学習済みモデル９１と同様に人工知能ソフトウェアの一部であるプログラムＰモジュールとして利用が想定される。また、補正劣化量学習済みモデル９３は、蠕動量学習済みモデル９１と同様にＮＮに限定されず、ＳＶＭ等の他の学習アルゴリズムで構築された学習済みモデルであってもよい。教師データとして用いられる劣化予想線（劣化予想線のパラメータの値／問題データ）と、補正量（回答データ）に関し、これらデータを導出するための元データとなる内視鏡画像及び距離情報は、各医療機関において行われた内視鏡検査の結果データとして大量に保存されている。従って、これら結果データを用いることにより、補正劣化量学習済みモデル９３を学習するための教師データを大量に生成することができる。
図１０は、情報処理装置６等の制御部６２に含まれる機能部を例示する機能ブロック図である。内視鏡用プロセッサ２０（内視鏡装置１０）の制御部２１は、主記憶装置２２に記憶されているプログラムＰを実行することにより、画像処理部２１１及び距離情報導出部２１２として機能する。情報処理装置６の制御部６２は、記憶部６３に記憶されているプログラムＰを実行することにより、取得部６２１、蠕動量補正部６２２、特徴量導出部６２３、差分情報導出部６２４、劣化予想線導出部６２５及び劣化予想値導出部６２６として機能する。また、制御部６２は、記憶部６３に記憶されているプログラムＰを実行することにより、又は蠕動量学習済みモデル９１等の学習済みモデルを構成する実体ファイルを読み出すことにより、蠕動量学習済みモデル９１、劣化量学習済みモデル９２及び補正劣化量学習済みモデル９３として機能する。
距離情報導出部２１２は、内視鏡画像又は撮影画像に基づき、撮像素子（先端部４４３に設けられた撮像素子）から体内部位（臓器内壁）までの距離情報を導出する。
画像処理部２１１は、内視鏡から出力された画像（撮影画像）をガンマ補正、ホワイトバランス補正、シェーディング補正等の各種画像処理を行い、内視鏡画像として出力する。更に、距離情報導出部２１２が導出した距離情報を取得し、当該距離情報及び、変換処理した画像に基づき、３次元テクスチャマッピングを行い、３次元マップデータを生成する。画像処理部２１１は、取得又は生成した撮影画像、内視鏡画像、距離情報及び３次元マップデータを情報処理装置６に出力（送信）する。画像処理部２１１は、距離情報を内視鏡画像又は撮影画像に重畳させて、情報処理装置６に出力するものであってもよい。画像処理部２１１は、更にキーボード１５から入力された被検者ＩＤを情報処理装置６に出力する。
取得部６２１は、内視鏡用プロセッサ２０が出力した内視鏡画像、撮影画像、距離情報、３次元マップデータ及び被検者ＩＤを取得し、取得した内視鏡画像及び距離情報（又は距離情報が重畳された内視鏡画像）を蠕動量学習済みモデル９１に出力し、３次元マップデータを蠕動量補正部６２２に出力する。取得部６２１は、取得した被検者ＩＤを差分情報導出部６２４に出力する。
蠕動量学習済みモデル９１は、取得部６２１から出力された内視鏡画像及び距離情報を入力層に入力し、出力層から出力された蠕動量の補正量を、蠕動量補正部６２２に出力する。
蠕動量補正部６２２は、蠕動量学習済みモデル９１から出力された蠕動量の補正量に基づいて、取得部６２１から出力された３次元マップデータを補正する。蠕動量の補正量に基づいて３次元マップデータを補正するため、蠕動運動による距離変化ノイズをキャンセルする（除く）ことができる。蠕動量補正部６２２は、補正した３次元マップデータを特徴量導出部６２３及び差分情報導出部６２４に出力する。
特徴量導出部６２３は、蠕動量補正部６２２により補正された３次元マップデータの表面形状、色情報等から、例えば病変が疑われる体内部位を特定するための特徴量を導出し、導出した特徴量を差分情報導出部６２４に出力する。特徴量導出部６２３は、３次元マップデータから、複数個の特徴量を導出するものであってもよい。
差分情報導出部６２４は、取得した被検者ＩＤに基づき、検査結果ＤＢ６３１を参照し、当該被検者ＩＤの過去（前回）の検査結果である３次元マップデータを取得する。差分情報導出部６２４は、取得した特徴部に基づき、蠕動量補正部６２２から取得した３次元マップデータと、前回の３次元マップデータとによる重ね合わせ処理を行い、臓器（体内部位）の表面について、その形状、色空間上の彩度、色相、明度の特徴量差分値を含む差分情報を導出する。差分情報導出部６２４は、導出した差分情報及び、被検者ＩＤによって特定される当該被検者の年齢等の生体属性に関する情報を、劣化量学習済みモデル９２に出力する。
劣化量学習済みモデル９２は、差分情報導出部６２４から出力された差分情報及び、被検者ＩＤにより特定される年齢等の生体属性に関する情報を入力層に入力し、出力層から出力された劣化量（今回の検査における劣化量）を劣化予想線導出部６２５に出力する。
劣化予想線導出部６２５は、被検者ＩＤに基づき検査結果ＤＢ６３１を参照し、当該被検者の過去の検査における複数の劣化量を取得する。劣化予想線導出部６２５は、取得した今回の劣化量及び過去の複数の劣化量に基づき、劣化予想線を導出する。劣化予想線導出部６２５は、例えば、劣化予想線を直線（線形近似）にて導出する場合、取得した今回の劣化量及び過去の複数の劣化量に基づき最小二乗法を用いるものであってもよい。又は、劣化予想線導出部６２５は、対数近似曲線、多項式近似曲線、累乗近似曲線又は指数近似曲線等の種々方法を用いて、劣化予想線を導出するものであってもよい。劣化予想線導出部６２５は、導出した劣化予想線（劣化予想線のパラメータ）を補正劣化量学習済みモデル９３及び劣化予想値導出部６２６に出力する。
補正劣化量学習済みモデル９３は、劣化予想線導出部６２５から出力された劣化予想線（劣化予想線のパラメータ）を入力層に入力し、出力層から出力された補正量を劣化予想値導出部６２６に出力する。当該補正量の導出は、補正劣化量学習済みモデル９３を用いる場合に限定されず、例えば、被検者の年齢等の生体属性、検査時の体温又は心拍数等の体調情報に基づき導出されるものであってもよい。すなわち、これら生体属性及び体調情報に基づき決定される補正係数を、例えばテーブル形式で記憶部６３に記憶しておき、情報処理装置６（制御部６２）は、検査結果ＤＢ６３１又は内視鏡用プロセッサ２０等から取得した被検者の生体属性又は体調情報に基づき、補正係数を導出する。そして、情報処理装置６は、導出した補正係数に基づき劣化予想線のパラメータを補正するものであってもよい。
劣化予想値導出部６２６は、劣化予想線導出部６２５が出力した劣化予想線を、補正劣化量学習済みモデル９３が出力した補正量に基づき補正する。劣化予想値導出部６２６は、補正した劣化予想線に基づき、現時点よりも所定期間経過後における将来の一つ又は複数個の劣化量（劣化量予想値）を導出する。劣化予想値導出部６２６は、導出した劣化量予想値を含む情報をディスプレイ等の表示部７に出力する。劣化予想値導出部６２６は、劣化量予想値に基づき、劣化予想値を可視化した画像、劣化予想値に基づき決定される警告情報又は改善案情報等の診断支援情報を導出し表示部７に出力して、これら情報を表示部７に表示されるものであってもよい。
本実施形態において、一連の処理における各機能部を、内視鏡用プロセッサ２０の制御部２１による機能部夫々と、情報処理装置６の制御部６２による機能部夫々とに分けて説明したが、これら機能部の分担は一例であり、これに限定されない。内視鏡用プロセッサ２０の制御部２１は、蠕動量学習済みモデル９１等の学習済みモデルも含め、情報処理装置６の制御部６２によって行われる全ての機能部として、機能するものであってもよい。すなわち、内視鏡用プロセッサ２０が、実質的に情報処理装置６を含むものであってもよい。または、内視鏡用プロセッサ２０の制御部２１は、撮像素子が撮像した撮影画像を出力するのみであり、情報処理装置６の制御部６２は、以降の処理を行う全ての機能部として機能するものであってもよい。または、内視鏡用プロセッサ２０の制御部２１と、情報処理装置６の制御部６２とは、例えばプロセス間通信を行うことにより、協働して一連の処理における各機能部として機能するものであってもよい。
図１１は、体内部位を撮影した画像に基づき生成された３次元マップデータに関する説明図である。上述のとおり、内視鏡用プロセッサ２０の制御部２１は、撮影画像又は内視鏡画像及び、撮像素子から臓器内壁までの距離情報に基づき、３次元マップデータを生成する。生成された３次元マップデータを含む表示画面は、内視鏡装置１０の表示装置又は、情報処理装置６の表示部７にて、表示される。
３次元マップデータには、例えば体腔内径を反映した３次元テクスチャマッピングが、距離情報と、臓器表面を含む撮影画像又は内視鏡画像から抽出した特徴量との重ね合わせにより行われている。また、３次元マップデータには、特徴量に基づき特定される臓器の表面の距離（撮像素子からの距離）又は位置（３次元マップ上の座標）を含む距離情報が、アノテーション表示されるものであってもよい。
図１２は、劣化推定線を示すグラフに関する説明図である。上述のとおり、劣化予想値導出部６２６は、劣化予想線導出部６２５が導出した劣化推定線を、補正劣化量学習済みモデル９３から出力された補正量に基づき補正し、補正した劣化推定線を導出する。
劣化推定線を示すグラフの横軸は、時間を示し、縦軸は、現在及び過去の劣化量と、将来の劣化量（劣化予想値）の値を示す。図に示すとおり、過去及び現在の検査に基づき、３個の劣化量がプロットされている。これら過去及び現在の劣化量に基づき、将来における劣化量（劣化予想値）を示す近似線が、劣化予想線として表示される。
上述のとおり、劣化予想線は、補正劣化量学習済みモデル９３から出力される補正量に基づき、推定値が変化するものとなる。当該補正量は、例えば被検者の年齢等の生体属性に関する情報に基づき導出されるものであり、補正劣化量学習済みモデル９３は、これら生体属性に関する情報についても入力層に入力するため、将来の劣化量の精度を向上させることができる。劣化予想値導出部６２６は、導出した劣化予想線（補正後の劣化予想線）に基づき、現時点（今回の検査の時点）から所定期間が経過した後の一つ又は複数の時点における劣化量（将来における複数時点の劣化量）を導出することができる。
図１３は、情報処理装置６の制御部６２による処理手順の一例を示すフローチャートである。図１４は、情報処理装置６の制御部６２による診断支援情報を導出する処理手順の一例を示すフローチャートである。情報処理装置６は、例えば、自装置に接続されている入力部８からの入力内容に基づき、当該フローチャートの処理を開始する。本実施形態におけるフローチャートは、情報処理装置６が内視鏡装置１０（内視鏡用プロセッサ２０）から内視鏡画像等を取得するにあたり、これの前提的な処理となる内視鏡用プロセッサ２０の処理を含む。
内視鏡用プロセッサ２０の制御部６２は、撮像素子から出力された撮影画像を取得する（Ｓ０１）。内視鏡用プロセッサ２０の制御部６２は、キーボード１５から入力された被検者ＩＤを取得する（Ｓ０２）。
内視鏡用プロセッサ２０の制御部６２は、撮像素子から撮像対象面（体内部位）までの距離情報を導出する（Ｓ０３）。内視鏡用プロセッサ２０の制御部６２は、距離情報を導出するにあたり、更に物理検出機器から出力される検出結果データを取得し、当該検出結果データ及び撮影画像に基づき距離情報を取得するものであってもよい。内視鏡用プロセッサ２０の制御部６２は、撮影画像と距離情報を関連付けて記憶する（Ｓ０４）。
内視鏡用プロセッサ２０の制御部６２は、撮影画像を画像処理し、内視鏡画像を生成する（Ｓ０５）。内視鏡用プロセッサ２０の制御部６２は、例えば、アフィン変換、射影変換、ガンマ補正、ホワイトバランス補正、シェーディング補正等の各種画像処理を行い、操作者の視認性を向上させた内視鏡画像を生成する。
内視鏡用プロセッサ２０の制御部６２は、３次元マップデータを生成する（Ｓ０６）。内視鏡用プロセッサ２０の制御部６２は、体腔内径を反映した３次元テクスチャマッピングを行う。内視鏡用プロセッサ２０の制御部６２は、対象となる体内部位に関する距離情報と臓器表面を含む内視鏡画像から抽出した特徴量の重ね合わせにより、３次元テクスチャマッピングを行うものであってもよい。内視鏡用プロセッサ２０の制御部６２は、３次元テクスチャマッピングを行うにあたり、上述した物理検出機器からの検出データを用いて、補間するものであってもよい。
内視鏡用プロセッサ２０の制御部６２は、生成又は取得した距離情報、内視鏡画像、３次元マップデータ及び被検者ＩＤを出力し、情報処理装置６に送信する（Ｓ０７）。内視鏡用プロセッサ２０の制御部６２は、更に撮像素子が撮影した撮影画像を出力して、情報処理装置６に送信するものであってもよい。内視鏡用プロセッサ２０の制御部６２は、距離情報を内視鏡画像に重畳して、情報処理装置６に送信するものであってもよい。
情報処理装置６の制御部６２は、内視鏡用プロセッサ２０から出力された内視鏡画像等を取得する（Ｓ１００）。制御部６２は、内視鏡用プロセッサ２０から出力された撮影画像、内視鏡画像（距離情報が重畳された内視鏡画像）、３次元マップデータ及び被検者ＩＤを取得する。制御部６２は、取得した撮影画像、内視鏡画像、３次元マップデータ及び被検者ＩＤを検査結果ＤＢ６３１に保存するものであってもよい。
情報処理装置６の制御部６２は、３次元マップデータに対し、蠕動運動の補正処理を行う（Ｓ１０１）。制御部６２は、距離情報が重畳された内視鏡画像（距離情報及び内視鏡画像）を蠕動量学習済みモデル９１に入力し、蠕動量学習済みモデル９１が出力した補正量に基づき、３次元マップデータに対し、臓壁表面の垂直方向の配置を補正する等、蠕動運動の補正処理を行う。
情報処理装置６の制御部６２は、補正した３次元マップデータにより特徴量を導出する（Ｓ１０２）。制御部６２は、補正した３次元マップデータの表面形状、色情報等から特徴量を導出する。３次元マップデータを用いることにより、体内部位の表面形状、色彩情報等を数値化して、特徴量を導出するための演算負荷を低減させ、効率的に特徴量を導出することができる。
情報処理装置６の制御部６２は、取得した被検者ＩＤに基づき検査結果ＤＢ６３１を参照して、過去の３次元マップデータを取得する（Ｓ１０３）。情報処理装置６の制御部６２は、現在及び過去の３次元マップデータの重ね合わせ処理を行うことにより、これら３次元マップデータにおける特徴量の差分情報を導出する（Ｓ１０４）。３次元マップデータを用いることにより、体内部位における特徴量に関する情報を数値化し、数値化した夫々の値により差分処理を行うため、効率的に差分情報を導出することができる。
情報処理装置６の制御部６２は、差分情報及び生体属性に基づき現在及び過去の劣化量を導出する（Ｓ１０５）。制御部６２は、導出した差分情報及び、被検者ＩＤにより検査結果ＤＢ６３１を検索して取得した生体属性を、劣化量学習済みモデル９２に入力し、劣化量学習済みモデル９２が出力した劣化量（現在の劣化量）を取得する。また、制御部６２は、被検者ＩＤにより検査結果ＤＢ６３１を検索して、当該被検者の過去の劣化量を取得する。制御部６２は、このように劣化量学習済みモデル９２及び検査結果ＤＢ６３１から取得することにより、現在及び過去の劣化量を導出する。
情報処理装置６の制御部６２は、現在及び過去の劣化量に基づき劣化予想線を導出する（Ｓ１０６）。制御部６２は、現在及び過去の劣化量夫々に基づき、線形近似又は非線形近似の手法を用い、劣化予想線を導出する。
情報処理装置６の制御部６２は、劣化予想線の補正処理を行う（Ｓ１０７）。制御部６２は、導出した劣化予想線（劣化予想線のパラメータ）を補正劣化量学習済みモデル９３に入力し、補正劣化量学習済みモデル９３が出力した劣化予想線の補正量を取得する。制御部６２は、導出した劣化予想線（劣化予想線のパラメータ）に対し、補正劣化量学習済みモデル９３から取得した補正量に基づき、劣化予想線の補正処理を行う。または、被検者の生体属性及び体調情報に基づき決定される補正係数が例えばテーブル形式（補正係数テーブル）で記憶部６３に記憶されており、制御部６２は、記憶部６３に記憶されている補正係数テーブルを参照し、劣化予想線を補正するための補正係数を導出するものであってもよい。すなわち、制御部６２は、検査結果ＤＢ６３１又は内視鏡用プロセッサ２０等から取得した被検者の生体属性又は体調情報に基づき、補正係数テーブルを参照して補正係数を導出し、当該補正係数を用いて劣化予想線（劣化予想線のパラメータ）の補正処理を行うものであってもよい。劣化予想線（劣化予想線のパラメータ）に用いる補正係数は、劣化予想線によって予想される将来における各時点に対し、現時点からの経過時間に応じて可変するものであってもよい。すなわち、補正係数は、現時点からの経過時間を変数（時間変数）として含むものであり、現時点からの経過時間に応じて、当該補正係数の値を変更し、劣化予想線（劣化予想線のパラメータ）を補正するものであってもよい。例えば、現時点から近い将来における時点を対象とした場合の補正係数（ｋ１）に対し、当該時点よりも更に時間が経過した時点を対象とした場合の補正係数（ｋ２）を小さい値とすることにより、現時点からの経過時間が長くなるにつれて、補正係数による影響度を小さくして誤差の振れ幅を狭くするものであってもよい。
情報処理装置６の制御部６２は、所定期間経過後の劣化予想値を導出する（Ｓ１０８）。制御部６２は、補正された劣化予想線に基づき、現時点（今回の検査の時点）から、所定期間が経過した後の一つ又は複数の時点における劣化予想値を導出する。
情報処理装置６の制御部６２は、劣化予想値に基づき診断支援情報（報知情報）を出力する（Ｓ１０９）。制御部６２は、劣化予想値に基づき、例えば、劣化予想値を可視化した画像、劣化予想値に基づき決定される警告情報又は、改善案情報等の診断支援情報を報知情報として導出し、当該報知情報を出力して、表示部７に表示する。記憶部６３には、例えば、劣化予想値及び生体属性に対し、警告情報又は改善案情報等が関連付けられている診断支援ＤＢ（図示せず）が記憶されており、制御部６２は、当該診断支援ＤＢを参照して、劣化予想値に基づき決定される警告情報又は改善案情報等を導出する。劣化予想値に基づき決定される警告情報又は改善案情報等の診断支援情報は、予測された劣化予想値と、予め決定された劣化閾値との比較により、導出するものであってもよい。制御部６２は、予測された劣化予想値が劣化閾値よりも小さい場合、所見無し等の問題無い旨を示す情報を診断支援情報として導出するものであってもよい。制御部６２は、Ｓ１０９の処理を行うにあたり、図１４に示すフローチャートの処理の流れにより、診断支援情報を導出する。
情報処理装置６の制御部６２は、劣化閾値を取得する（Ｓ１０９１）。当該劣化閾値は、被検者の年齢、性別等の生体属性に関する情報及び、対象となる体内部位と関連付けて、例えばテーブル形式にて情報処理装置６の記憶部６３に記憶されている。更に、劣化閾値は、複数の段階、すなわち病変ステージに基づいた複数個の劣化閾値を含むものであってもよい。一例として、劣化閾値の値が大きくなるにつれて、病変ステージの重度が大きくなる。制御部６２は、例えば、被検者の年齢、性別等の生体属性及び劣化量の対象となる体内部位に基づき、記憶部６３を参照して劣化閾値を導出することにより、劣化閾値を取得する。
情報処理装置６の制御部６２は、劣化予想値は劣化閾値よりも大きいか否かを判定する（Ｓ１０９２）。上述のとおり、劣化閾値が病変ステージに基づいた複数個の劣化閾値を含む場合、制御部６２は、最も小さい値の劣化閾値（最小劣化閾値）と、劣化予想値とを比較し、劣化予想値は劣化閾値（最小劣化閾値）よりも大きいか否かを判定する。
劣化予想値は劣化閾値（最小劣化閾値）よりも大きい場合（Ｓ１０９２：ＹＥＳ）、情報処理装置６の制御部６２は、劣化予想値の段階に応じた診断支援情報を取得する（Ｓ１０９３）。劣化閾値が病変ステージに基づいた複数個の劣化閾値を含む場合、制御部６２は、病変ステージに基づいた複数個の劣化閾値の内、劣化予想値に最も近似する劣化閾値を特定する。複数個の劣化閾値夫々は、病変ステージ夫々に対応付けられており、制御部６２は、特定した劣化閾値に基づき、劣化閾値の段階に応じた劣化予想値に対応する病変ステージを特定する。または、制御部６２は、病変ステージに基づいた複数個の劣化閾値により定まる個々の範囲において、劣化予想値がどの範囲に位置するかに基づき、当該劣化予想値に対応する病変ステージを特定するものであってもよい。
情報処理装置６の記憶部６３には、病変ステージ夫々に応じた診断支援情報が記憶されている。例えば、病変ステージが軽度の場合の診断支援情報は、定期的な運動を促す改善案情報である。病変ステージが中度の場合の診断支援情報は、精密検査を要することを示す勧告情報である。病変ステージが重度の場合の診断支援情報は、入院等による治療を示唆する警告情報である。
情報処理装置６の制御部６２は、取得した診断支援情報を出力する（Ｓ１０９４）。制御部６２は、病変ステージ夫々に応じた改善案情報、勧告情報又は警告情報等の診断支援情報を出力する。
劣化予想値が劣化閾値（最小劣化閾値）よりも大きくない場合、すなわち劣化予想値が劣化閾値（最小劣化閾値）以下である場合（Ｓ１０９２：ＮＯ）、情報処理装置６の制御部６２は、問題無い旨（所見無し）を診断支援情報として出力する（Ｓ１０９５）。
情報処理装置６の制御部６２は、劣化予想値に基づき保険支援情報を出力する（Ｓ１１０）。制御部６２は、劣化予想値に基づき、保険等級又は概算保険料等の保険支援情報を導出し、表示部７に表示する。記憶部６３には、例えば、劣化予想値及び生体属性に対し、保険等級又は概算保険料等が関連付けられている保険支援ＤＢ（図示せず）が記憶されており、制御部６２は、当該保険支援ＤＢを参照して、劣化予想値に基づき決定される保険等級又は概算保険料等を導出する。
本実施形態において、撮影された体内部位における特徴量の導出は、３次元マップデータにより行うものとしたが、これに限定されない。制御部６２は、内視鏡用プロセッサ２０から取得した内視鏡画像又は撮影画像に基づき、特徴量を導出するものであってもよい。
図１５は、情報処理装置６の制御部６２による蠕動量学習済みモデル９１の生成処理に関する処理手順の一例を示すフローチャートである。情報処理装置６の制御部６２は、教師データを取得する（Ｓ１２０）。教師データは、上述のとおり、内視鏡画像及び距離情報を問題データとし蠕動量の補正量を回答データとするものであり、当該内視鏡画像及び距離情報に対し、蠕動量の補正量をラベル付けしたデータである。内視鏡画像及び距離情報にラベル付けされる蠕動量の補正量は、例えば距離情報における距離変化の周期性から内視鏡画像における撮像箇所（体内部位）がどのように蠕動運動しているか、当該蠕動運動が正常な生理反応であるかに関する医師等による判断に基づき特定される量であってもよい。このような教師データの元データとなる内視鏡画像及び距離情報は、各医療機関において行われた内視鏡検査の結果データとして大量に保存されており、これら結果データを用いることにより、蠕動量学習済みモデル９１を学習するための教師データを大量に生成することができる。
情報処理装置６の制御部６２は、蠕動量学習済みモデル９１を生成する（Ｓ１２１）。制御部６２は、取得した教師データを用いて、内視鏡画像及び距離情報を入力とし、蠕動量の補正量を出力とする蠕動量学習済みモデル９１を構築（生成）する。蠕動量学習済みモデル９１がニューラルネットワークである場合、中間層での演算処理に用いるパラメータは、例えば誤差逆伝播法を用いることにより、最適化される。情報処理装置６の制御部６２は、蠕動量学習済みモデル９１と同様に、劣化量学習済みモデル９２及び補正劣化量学習済みモデル９３の夫々の学習済みモデルに対応した教師データを取得し、夫々の学習済みモデルを生成する。
本実施形態によれば、情報処理装置６は、内視鏡により所定期間を経て撮影した複数の画像を取得し、取得した複数の画像等に基づいて、前記複数の画像に含まれる体内部位の将来の状態を推定する。従って、内視鏡により所定期間を経て撮影され、所定の体内部位が含まれる複数の画像に基づいて、被検者の体内部位の将来の状態を推定するため、被検者の対象部位における将来的な変化に関する観点からの診断支援を行うことができる。なお、情報処理装置６が取得する画像は、撮像素子により撮影された撮影画像に限定されず、当該撮影画像に画像処理を施した内視鏡画像又は、当該撮影画像及び撮像素子からの距離情報に基づき生成された３次元モデルデータを含む。
本実施形態によれば、情報処理装置６は、取得した複数の画像に含まれる体内部位の将来における所定の経過期間毎の複数の状態を推定する。従って、当該推定により、当該体内部位における今後の病変の推移に関する情報を診断支援として提供することができる。
本実施形態によれば、情報処理装置６は、推定した体内部位の将来の状態に基づき、報知情報（診断支援情報）を出力する。情報処理装置６は、推定した体内部位の将来の状態に基づき、例えば当該状態の病変のステージに応じた注意喚起の度合を含む報知情報（診断支援情報）を出力するため、より効率的な診断支援に寄与する情報を出力することができる。
本実施形態によれば、情報処理装置６は、複数の画像に含まれる各画像による差分データ、すなわち各画像間における変化量に関するデータを導出し、当該差分データに基づき体内部位の将来の状態を推定するため、推定の精度を向上させることができる。
本実施形態によれば、情報処理装置６は、体内部位の距離情報及び画像に基づき３次元マップデータを生成し、当該３次元マップデータに基づき、体内部位の将来の状態を推定するため、当該距離情報における数値情報を用いて推定の精度を向上させることができる。
本実施形態によれば、情報処理装置６は、取得した画像に基づいて、当該画像に含まれる体内部位の蠕動運動に関する情報を導出し、当該体内部位の蠕動運動に関する情報に基づき、３次元マップデータにおける、例えば臓壁表面の垂直方向の配置を補正するため、体内部位の蠕動運動によるノイズ成分を除去し、推定の精度を向上させることができる。情報処理装置６は、当該補正を行うにあたり、蠕動量学習済みモデル９１を用いるため、補正精度を向上させることができる。
本実施形態によれば、情報処理装置６は、複数の画像夫々から生成した３次元マップデータに基づき、体内部位における劣化量を導出する。情報処理装置６は、当該劣化量を導出するにあたり、今回の検査による３次元マップデータと、前回の結果（過去の検査）による３次元マップデータとの重ね合わせ処理を行い、体内部位（臓器表面）の形状、彩度等における特徴量差分値（差分情報）を導出する。情報処理装置６は、この差分情報を劣化量学習済みモデル９２に入力して劣化量を取得するため、導出する劣化量の精度を向上させることができる。また、情報処理装置６は、導出した劣化量により生成される劣化予測線に基づき、体内部位の将来の状態を推定するため、推定の精度を向上させることができる。
本実施形態によれば、情報処理装置６は、被検者の生体属性に関する情報に基づき、導出した劣化量を補正するため、推定の精度を向上させることができる。生体属性は、例えば被検者における年齢、性別等の生体属性に関する情報を含む。情報処理装置６は、当該補正を行うにあたり、補正劣化量学習済みモデル９３を用いるため、補正精度を向上させることができる。
（実施形態３）
図１６は、実施形態３に係る差分学習済みモデル９４の生成処理に関する説明図である。情報処理装置６は、時系列による複数の差分情報を問題データとし、将来における複数の時点における差分情報を回答データとする教師データに基づき学習することで、時系列による複数の差分情報を入力とし、将来における複数の時点における差分情報を出力とするニューラルネットワークを構築（生成）する。
時系列による複数の差分情報とは、同一の被検者の所定の体内部位（内視鏡画像から抽出された特徴量に基づき特定される体内部位）における過去から現時点（所定の時点）の時系列による複数の差分情報を意味する。将来における複数の時点における差分情報とは、現時点（所定の時点）に対する次点及び、当該次点以降の次々点等の将来における複数の時点における差分情報を意味する。当該差分情報は、内視鏡画像から導出した状態（所定の体内部位の状態量）に相当する。
入力層は、時系列による複数の差分情報を受け付ける単数又は複数のニューロンを有し、入力された差分情報夫々を中間層に受け渡す。中間層は、複数のニューロンを含む自己回帰層を含む。自己回帰層は、例えばＬＳＴＭ(Long Short Term Memory／長期短期記憶)モデルとして実装されるものであり、このような自己回帰層を含むニューラルネットワークは、ＲＮＮ（再帰型ニューラルネットワーク）と称される。中間層は、時系列に沿って順次に入力された複数の差分情報夫々による変化量を出力する。出力層は、将来における複数の時点における差分情報を一又は複数のニューロンを有し、中間層から出力された複数の差分情報夫々による変化量に基づき、将来における複数の時点における差分情報を出力する。このようなＲＮＮに対する学習は、例えばＢＰＴＴ（Backpropagation Through Time／通時的逆伝播）アルゴリズムを用いて行われる。
教師データは、配列形式で保存されているものであってもよい。教師データを配列形式とする場合、例えば、配列番号の０から４（ｔ−４からｔ）までの要素夫々の値を問題データとし、配列番号の５から７（ｔ＋１からｔ＋３）までの要素夫々の値を回答データとするものであってもよい。入力層から入力された時系列となる問題データ（ｔ−２、ｔ−１、ｔ）はＬＳＴＭ（自己回帰層）に順次に受け渡され、ＬＳＴＭ（自己回帰層）は出力値を出力層及び、自身の層に出力することにより、時間的な変化及び順序を含む系列情報を処理することができる。
図１７は、情報処理装置６等の制御部６２に含まれる機能部を例示する機能ブロック図である。制御部６２は、記憶部６３に記憶されているプログラムＰを実行することにより、差分情報導出部６２４として機能する。制御部６２は、記憶部６３に記憶されているプログラムＰを実行することにより、又は差分学習済みモデル９４を構成する実体ファイルを読み出すことにより、差分学習済みモデル９４として機能する。
差分情報導出部６２４は、実施形態２と同様に蠕動量補正部６２２から取得した３次元マップデータと、前回の３次元マップデータとによる重ね合わせ処理を行い、臓器（体内部位）の表面について、その形状、色空間上の彩度、色相、明度の特徴量差分値を含む差分情報（今回の検査の差分情報）を導出する。
差分情報導出部６２４は、被検者ＩＤに基づき、検査結果ＤＢ６３１を参照し、当該被検者の過去の検査における３次元マップデータを取得し、取得した過去の検査における３次元マップデータに基づき、過去の検査の差分情報を導出する。
差分情報導出部６２４は、導出した今回及び過去の差分情報に基づき、過去から現在（今回の検査の時点）までの時系列による複数の差分情報を生成し、差分学習済みモデル９４及び、劣化予想値導出部６２６に出力する。
差分学習済みモデル９４は、時系列による複数の差分情報を入力層に入力し、出力層から出力された将来における複数の時点における差分情報を、劣化予想値導出部６２６に出力する。
劣化予想値導出部６２６は、取得した今回及び過去の差分情報及び、将来における複数の時点における差分情報に基づき、過去から将来における複数の劣化量を導出し、当該複数の劣化量に基づき、劣化予想線を導出する。劣化予想線導出を行うにあたり、実施形態２と同様に劣化量学習済みモデル９２、補正劣化量学習済みモデル９３を用いるものであってもよい。劣化予想値導出部６２６は、実施形態２と同様に導出した劣化予想線に基づき、現時点（今回の検査の時点）から所定期間が経過した後の一つ又は複数の時点における劣化量を導出する。また、劣化予想値導出部６２６は、導出した将来における劣化量に基づき、改善案情報等の診断支援情報を導出し出力するものであってもよい。
図１８は、情報処理装置６の制御部６２による処理手順の一例を示すフローチャートである。情報処理装置６は、例えば、自装置に接続されている入力部８からの入力内容に基づき、当該フローチャートの処理を開始する。
情報処理装置６の制御部６２は、内視鏡画像等を取得する（Ｓ２００）。制御部６２は、実施形態２と同様に内視鏡画像、３次元マップデータ及び被検者ＩＤを内視鏡装置１０から取得する。
情報処理装置６の制御部６２は、過去の内視鏡画像等を取得する（Ｓ２０１）。制御部６２は、被検者ＩＤに基づき検査結果ＤＢ６３１を参照し、当該被検者の過去の過去の内視鏡画像、３次元マップデータを取得する。
情報処理装置６の制御部６２は、現在及び過去の内視鏡画像等に基づき、時系列による複数の差分情報を取得する（Ｓ２０２）。制御部６２は、時系列による複数の差分情報を取得するにあたり、内視鏡画像から生成された３次元マップデータ夫々を重ね合わせ処理することにより、時系列にて隣接する３次元マップデータによる差分情報を導出する。または、制御部６２は、内視鏡画像に基づき差分情報を導出するものであってもよい。
情報処理装置６の制御部６２は、時系列による複数の差分情報を差分学習済みモデル９４に入力し、将来の複数の差分情報を取得する（Ｓ２０３）。情報処理装置６の制御部６２は、過去、現在及び将来における複数の差分状態に基づき、時系列による複数の劣化量を導出する（Ｓ２０４）。制御部６２は、Ｓ２０２の処理で導出した時系列による複数の差分情報（過去から現在までの差分情報）及び、差分学習済みモデル９４が出力した将来の複数の差分情報に基づき、過去から将来における時系列による複数の劣化量を導出する。
情報処理装置６の制御部６２は、劣化予想線を導出する（Ｓ２０５）。制御部６２は、過去から将来における時系列による複数の劣化量に基づき、線形近似又は曲線近似の手法を用いて、劣化予想線を導出する。
情報処理装置６の制御部６２は、所定期間経過後の劣化予想値を導出する（Ｓ２０６）。制御部６２は、劣化予想線に基づき、将来において所定期間経過した後の一つ又は複数の劣化予想値を導出する。
情報処理装置６の制御部６２は、劣化予想値に基づき診断支援情報を出力する（Ｓ２０７）。情報処理装置６の制御部６２は、劣化予想値に基づき保険支援情報を出力する（Ｓ２０８）。制御部６２は、実施形態２と同様に劣化予想値に基づき診断支援情報及び保険支援情報を出力する。
本実施形態によれば、情報処理装置６は、内視鏡により時系列で撮影された過去の複数の画像に基づき生成された３次元マップデータから導出した差分データが入力された場合、将来における複数の時系列の差分データを出力する差分学習済みモデル９４を効率的に生成することができる。また、情報処理装置６は、当該差分学習済みモデル９４を用いることにより、効率的に将来における差分情報を導出し、これら導出した差分情報夫々に基づき劣化量夫々を導出するため、将来における劣化量の推定精度を向上させることができる。
本実施形態において、内視鏡画像から導出した状態（所定の体内部位の状態量）として、差分情報に基づき説明したが、これに限定されない。内視鏡画像から導出した状態（所定の体内部位の状態量）は、劣化量によるものであってもよい。情報処理装置６は、時系列による複数の劣化量を問題データとし、将来における複数の時点における劣化量を回答データとする教師データに基づき学習することで、時系列による複数の劣化量を入力とし、将来における複数の時点における劣化量を出力とするニューラルネットワーク（劣化量学習済みモデル）を構築（生成）するものであってもよい。情報処理装置６は、当該劣化量学習済みモデルに、取得した複数の内視鏡画像から導出した劣化量を入力して、将来における複数の時系列の劣化量を取得し、取得した将来における複数の時系列の劣化量に基づき、複数の画像に含まれる体内部位の将来の状態を推定するものであってもよい。
（実施形態４）
図１９は、実施形態４に係る内視鏡画像学習済みモデル９５の生成処理に関する説明図である。情報処理装置６は、時系列の複数個の内視鏡画像を問題データとし、時系列での最後のデータの次点の内視鏡画像を回答データとする教師データに基づき学習することで、時系列の複数個の内視鏡画像を入力とし、当該次点の内視鏡画像を出力とするニューラルネットワークを構築（生成）する。
教師データである時系列の複数個の内視鏡画像は、各被検者毎の所定の体内部位における時系列の複数個の内視鏡画像であり、複数回によって行われた過去の検査夫々において撮影された複数の内視鏡画像に基づき生成される。回答データである次点の内視鏡画像は、問題データにおける時系列での最後のデータの次点（次時刻）における内視鏡画像であり、例えば図１９においては、データ(t+1)に相当する。回答データは、単一のデータに限定されず、複数のデータ、すなわち次点(t+1)、次々点(t+2)となる複数の内視鏡画像を含むものであってもよい。
入力層は、時系列による複数個の内視鏡画像を受け付ける単数又は複数のニューロンを有し、入力された複数個の内視鏡画像を中間層に受け渡す。中間層は、コンボリューション層及びプーリング層の以降に自己回帰層が設けられたＣＮＮとＲＮＮとが連結した多層構造を成す。コンボリューション層及びプーリング層により、時系列で入力された内視鏡画像夫々の特徴量が抽出される。自己回帰層は、抽出された特徴量夫々における変化量を出力する。出力層は、一又は複数のニューロンを有し、中間層から出力された内視鏡画像夫々の特徴量における変化量に基づき、次点の内視鏡画像を生成し出力する。ＣＮＮ及びＲＮＮとの連結構造をなすニューラルネットワークに対する学習は、例えば、誤差逆伝播法（Backpropagation）及びＢＰＴＴ（Backpropagation Through Time）を組み合わせることにより行われる。
図２０は、病変学習済みモデル９６の生成処理に関する説明図である。情報処理装置６は、内視鏡画像を問題データとし、病変の有無及び症状のステージを回答データとする教師データに基づき学習することで、内視鏡画像を入力とし、病変の有無及び症状のステージを出力とするニューラルネットワークを構築（生成）する。内視鏡画像には、例えば病変が疑われる体内部位が含まれる。病変の有無及び症状のステージは、内視鏡画像に含まれる体内部位に関する病変及び症状のステージに関する情報である。
入力層は、内視鏡画像の画素値の入力を受け付ける複数のニューロンを有し、入力された画素値及び距離情報を中間層に受け渡す。中間層は、内視鏡画像の画像特徴量を抽出する複数のニューロンを有し、抽出した画像特徴量を出力層に受け渡す。出力層は、病変の有無及び症状のステージに関する情報を出力する一又は複数のニューロンを有し、中間層から出力された画像特徴量に基づいて、病変の有無及び症状のステージに関する情報を出力する。病変学習済みモデル９６は、蠕動量学習済みモデル９１と同様にＣＮＮであってもよい。
図２１は、情報処理装置６等の制御部６２に含まれる機能部を例示する機能ブロック図である。制御部６２は、記憶部６３に記憶されているプログラムＰを実行することにより、取得部６２１として機能する。制御部６２は、記憶部６３に記憶されているプログラムＰを実行することにより、又は内視鏡画像学習済みモデル９５等の学習済みモデルを構成する実体ファイルを読み出すことにより、内視鏡画像学習済みモデル９５及び病変学習済みモデル９６として機能する。
取得部６２１は、実施形態１と同様に内視鏡用プロセッサ２０が出力した内視鏡画像及び被検者ＩＤを取得する。取得部６２１は、被検者ＩＤに基づき検査結果ＤＢ６３１を参照し、当該被検者の過去の検査による複数の内視鏡画像を取得する。取得部６２１は、内視鏡用プロセッサ２０が出力した内視鏡画像（今回の検査の内視鏡画像）に基づき、表面形状又は色情報等から特徴量を抽出し、当該特徴量に対応する体内部位（病変が疑われる部位）を含む内視鏡画像を特定する。特定する内視鏡画像（特定内視鏡画像）は、例えば、当該体内部位を含む内視鏡画像の１フレーム（静止画）又は、数フレームによる動画によるものであってもよい。取得部６２１は、今回の検査の内視鏡画像にて特定した特定内視鏡画像に基づき、過去の複数の内視鏡画像（過去の複数回の検査による内視鏡画像）における当該特定内視鏡画像に対応する内視鏡画像（過去の特定内視鏡画像）を特定する。取得部６２１は、今回及び過去の特定内視鏡画像に基づき、過去から今回までの時系列となる複数個の特定内視鏡画像夫々を、配列における各要素とするオブジェクト配列データを生成する。取得部６２１は、生成した時系列となる複数個の特定内視鏡画像（オブジェクト配列データ）を、内視鏡画像学習済みモデル９５に入力する。
内視鏡画像学習済みモデル９５は、取得部６２１から出力された時系列となる複数個の特定内視鏡画像を入力層に入力し、出力層から出力された次点（時系列での最後に位置する特定内視鏡画像の次点）の特定内視鏡画像を生成し、病変学習済みモデル９６に出力する。内視鏡画像学習済みモデル９５から出力された特定内視鏡画像は、将来における体内部位（病変が疑われる部位）を含む特定内視鏡画像として、推定されるものである。
病変学習済みモデル９６は、内視鏡画像学習済みモデル９５から出力された特定内視鏡画像を入力層に入力し、出力層から出力された病変の有無及び症状のステージ等の病変推定情報を表示部７に出力する。
図２２は、情報処理装置６の制御部６２による処理手順の一例を示すフローチャートである。情報処理装置６は、例えば、自装置に接続されている入力部８からの入力内容に基づき、当該フローチャートの処理を開始する。
情報処理装置６の制御部６２は、内視鏡画像等を取得する（Ｓ３００）。制御部６２は、実施形態２と同様に内視鏡画像及び被検者ＩＤを内視鏡装置１０から取得する。
情報処理装置６の制御部６２は、過去の内視鏡画像等を取得する（Ｓ３０１）。制御部６２は、被検者ＩＤに基づき検査結果ＤＢ６３１を参照し、当該被検者の過去の過去の内視鏡画像を取得する。
情報処理装置６の制御部６２は、特徴量を含む現在及び過去の複数の内視鏡画像を抽出する（Ｓ３０２）。制御部６２は、現在及び過去の複数の内視鏡画像から面形状又は色情報等から特徴量を抽出し、当該特徴量に対応する体内部位（病変が疑われる部位）を含む内視鏡画像（特定内視鏡画像）を特定する。
情報処理装置６の制御部６２は、現在及び過去の複数の内視鏡画像を内視鏡画像学習済みモデル９５に入力し、将来の内視鏡画像を取得する（Ｓ３０３）。制御部６２は、特定した現在及び過去の複数の内視鏡画像（特定内視鏡画像）により、時系列による複数の特定内視鏡画像からなる、例えばオブジェクト配列データを生成し、当該オブジェクト配列データを内視鏡画像学習済みモデル９５に入力する。そして、制御部６２は、内視鏡画像学習済みモデル９５が出力した将来の内視鏡画像（特定内視鏡画像）を取得する。
情報処理装置６の制御部６２は、将来の内視鏡画像を病変学習済みモデル９６に入力し、病変推定情報を取得する（Ｓ３０４）。制御部６２は、将来の内視鏡画像（特定内視鏡画像）を病変学習済みモデル９６に入力し、病変学習済みモデル９６が出力した病変の有無及び症状のステージ等の病変推定情報を取得する。
情報処理装置６の制御部６２は、病変推定情報を出力する（Ｓ３０５）。制御部６２は、取得した病変の有無及び症状のステージ等の病変推定情報を、ディスプレイ等の表示部７に出力する。制御部６２は、実施形態２と同様に病変推定情報に基づいて、改善提案等の診断支援情報、又は概算保険料等の保険支援情報を導出し、表示部７に出力するものであってもよい。
本実施形態によれば、情報処理装置６は、内視鏡により時系列で撮影された過去の内視鏡画像が入力された場合、将来の内視鏡画像を出力する内視鏡画像学習済みモデル９５を効率的に生成することができる。また、情報処理装置６は、内視鏡画像学習済みモデル９５を用いることにより、効率的に将来における内視鏡画像を導出し、導出した将来の内視鏡画像に基づき、病変の有無等の病変推定情報を導出するため、当該病変推定情報の推定精度を向上させることができる。
今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。各実施例にて記載されている技術的特徴は互いに組み合わせることができ、本発明の範囲は、請求の範囲内での全ての変更及び請求の範囲と均等の範囲が含まれることが意図される。
Ｓ 診断支援システム
１０ 内視鏡装置
１５ キーボード
１６ 収容棚
２０ 内視鏡用プロセッサ
２１ 制御部
２１１ 画像処理部
２１２ 距離情報導出部
２２ 主記憶装置
２３ 補助記憶装置
２４ 通信部
２５ タッチパネル
２６ 表示装置Ｉ／Ｆ
２７ 入力装置Ｉ／Ｆ
２８ 読取部
３１ 内視鏡用コネクタ
３１１ 電気コネクタ
３１２ 光コネクタ
３３ 光源
３４ ポンプ
３５ 送水タンク
３６ 送気送水口金
４０ 内視鏡
４３ 操作部
４３１ 制御ボタン
４３３ 湾曲ノブ
４４ 挿入部
４４１ 軟性部
４４２ 湾曲部
４４３ 先端部
４５ 折止部
４８ スコープコネクタ
４９ ライトガイド可撓管
５０ 表示装置
６ 情報処理装置
６１ 通信部
６２ 制御部
６２１ 取得部
６２２ 蠕動量補正部
６２３ 特徴量導出部
６２４ 差分情報導出部
６２５ 劣化予想線導出部
６２６ 劣化予想値導出部
６３ 記憶部
６３１ 検査結果ＤＢ
６３２ 記録媒体
Ｐ プログラム
６４ 入出力Ｉ／Ｆ
７ 表示部
８ 入力部
９１ 蠕動量学習済みモデル
９２ 劣化量学習済みモデル
９３ 補正劣化量学習済みモデル
９４ 差分学習済みモデル
９５ 内視鏡画像学習済みモデル
９６ 病変学習済みモデル

Claims (12)

  1. 内視鏡により所定期間を経て撮影した複数の画像を取得し、
    取得した前記複数の画像に基づいて、前記複数の画像に含まれる体内部位の将来の状態を推定する
    処理をコンピュータに実行させるプログラムであって、
    前記処理は、
    取得した前記複数の画像に基づいて、前記複数の画像夫々に含まれる体内部位の距離情報を導出し、
    導出した前記距離情報及び、前記体内部位の画像に基づき、前記体内部位である体腔内孔の臓器内壁における体腔内径を反映した３次元テクスチャマッピングが行われたマップデータを生成し、
    生成した前記マップデータに基づき、前記体内部位における劣化量を導出し、
    導出した前記劣化量により生成される劣化予測線に基づき、前記体内部位の将来の状態を推定する
    処理を含むプログラム。
  2. 取得した前記複数の画像に基づいて、前記複数の画像に含まれる体内部位の将来における所定の経過期間毎の複数の状態を推定する
    請求項１に記載のプログラム。
  3. 推定した前記体内部位の将来の状態に基づき、報知情報を出力する
    請求項１又は請求項２に記載のプログラム。
  4. 取得した前記複数の画像に含まれる各画像による差分データを導出し、
    導出した前記差分データに基づき、前記体内部位の将来の状態を推定する
    請求項１から請求項３のいずれか１項に記載のプログラム。
  5. 前記取得した画像に基づいて、該画像に含まれる体内部位の蠕動運動に関する情報を導出し、
    導出した前記蠕動運動に関する情報に基づき、前記マップデータを補正する
    請求項１から請求項４のいずれか１項に記載のプログラム。
  6. 前記体内部位の将来の状態の推定対象となる被検者の生体属性に関する情報を取得し、
    取得した前記被検者の生体属性に関する情報に基づき、前記劣化量を補正する
    請求項１から請求項５のいずれか１項に記載のプログラム。
  7. 前記内視鏡により時系列で撮影された過去の複数の画像から導出した状態が入力された場合、将来における複数の時系列の状態を出力するように学習済みの学習済みモデルに、取得した前記複数の画像から導出した状態を入力し、
    前記学習済みモデルから、前記将来における複数の時系列の状態を取得し、
    取得した前記将来における複数の時系列の状態に基づき、前記複数の画像に含まれる体内部位の将来の状態を推定する
    請求項１に記載のプログラム。
  8. 前記内視鏡により時系列で撮影された過去の複数の画像が入力された場合、将来における画像を出力するように学習済みの学習済みモデルに、取得した前記複数の画像を入力し、
    前記学習済みモデルから、前記将来における画像を取得し、
    取得した前記将来における画像に基づき、該画像に含まれる体内部位の将来の状態を推定する
    請求項１に記載のプログラム。
  9. 内視鏡により所定期間を経て撮影した複数の画像を取得し、
    取得した前記複数の画像に基づいて、前記複数の画像夫々に含まれる体内部位の距離情報を導出し、
    導出した前記距離情報及び、前記体内部位の画像に基づき、前記体内部位である体腔内孔の臓器内壁における体腔内径を反映した３次元テクスチャマッピングが行われたマップデータを生成し、
    生成した前記マップデータに基づき、前記体内部位における劣化量を導出し、
    導出した前記劣化量により生成される劣化予測線に基づき、前記体内部位の将来の状態を推定する
    処理をコンピュータに実行させる情報処理方法。
  10. 推定した前記体内部位の将来の状態に応じた改善案に関する情報を出力する
    請求項９に記載の情報処理方法。
  11. 推定した前記体内部位の将来の状態に基づいて、推定対象の被検者の保険料に関する情報を導出する
    請求項９又は請求項１０に記載の情報処理方法。
  12. 内視鏡により所定期間を経て撮影した複数の画像を取得する取得部と、
    取得した前記複数の画像に基づいて、前記複数の画像夫々に含まれる体内部位の距離情報を導出し、
    導出した前記距離情報及び、前記体内部位の画像に基づき、前記体内部位である体腔内孔の臓器内壁における体腔内径を反映した３次元テクスチャマッピングが行われたマップデータを生成し、
    生成した前記マップデータに基づき、前記体内部位における劣化量を導出し、
    導出した前記劣化量により生成される劣化予測線に基づき、前記体内部位の将来の状態を推定する推定部と
    を備える情報処理装置。
JP2019569984A 2019-07-23 2019-07-23 プログラム、情報処理方法及び情報処理装置 Active JP6704095B1 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/028894 WO2021014584A1 (ja) 2019-07-23 2019-07-23 プログラム、情報処理方法及び情報処理装置

Publications (2)

Publication Number Publication Date
JP6704095B1 true JP6704095B1 (ja) 2020-06-03
JPWO2021014584A1 JPWO2021014584A1 (ja) 2021-09-13

Family

ID=70858270

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019569984A Active JP6704095B1 (ja) 2019-07-23 2019-07-23 プログラム、情報処理方法及び情報処理装置

Country Status (3)

Country Link
US (1) US20220095889A1 (ja)
JP (1) JP6704095B1 (ja)
WO (1) WO2021014584A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240164706A1 (en) * 2021-03-25 2024-05-23 Sony Group Corporation In-vivo observation system, observation system, in-vivo observation method, and in-vivo observation device
JPWO2022202520A1 (ja) * 2021-03-26 2022-09-29
WO2022230607A1 (ja) * 2021-04-26 2022-11-03 富士フイルム株式会社 医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001204738A (ja) * 2000-01-26 2001-07-31 Olympus Optical Co Ltd 手術用ナビゲーションシステム
JP2004280807A (ja) * 2003-02-28 2004-10-07 Toshiba Corp サイバーホスピタルシステム
WO2005077253A1 (ja) * 2004-02-18 2005-08-25 Osaka University 内視鏡システム
JP2011092685A (ja) * 2009-09-30 2011-05-12 Fujifilm Corp 診断支援システム、診断支援プログラムおよび診断支援方法
JP2016071697A (ja) * 2014-09-30 2016-05-09 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ 学習装置、処理装置、予測システム、学習方法、処理方法、およびプログラム
JP2016529037A (ja) * 2013-08-27 2016-09-23 ハートフロー， インコーポレイテッド 冠動脈病変の部位、発症及び／又は変化を予測するためのシステム及び方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018022216A (ja) * 2016-08-01 2018-02-08 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001204738A (ja) * 2000-01-26 2001-07-31 Olympus Optical Co Ltd 手術用ナビゲーションシステム
JP2004280807A (ja) * 2003-02-28 2004-10-07 Toshiba Corp サイバーホスピタルシステム
WO2005077253A1 (ja) * 2004-02-18 2005-08-25 Osaka University 内視鏡システム
JP2011092685A (ja) * 2009-09-30 2011-05-12 Fujifilm Corp 診断支援システム、診断支援プログラムおよび診断支援方法
JP2016529037A (ja) * 2013-08-27 2016-09-23 ハートフロー， インコーポレイテッド 冠動脈病変の部位、発症及び／又は変化を予測するためのシステム及び方法
JP2016071697A (ja) * 2014-09-30 2016-05-09 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ 学習装置、処理装置、予測システム、学習方法、処理方法、およびプログラム

Also Published As

Publication number Publication date
WO2021014584A1 (ja) 2021-01-28
JPWO2021014584A1 (ja) 2021-09-13
US20220095889A1 (en) 2022-03-31

Similar Documents

Publication Publication Date Title
CN113544743B (zh) 内窥镜用处理器、程序、信息处理方法和信息处理装置
JP6704095B1 (ja) プログラム、情報処理方法及び情報処理装置
US8934722B2 (en) System and method for classification of image data items based on indirect user input
US20230105799A1 (en) Program, information processing method, and information processing device
JP7254742B2 (ja) プログラム、情報処理方法、情報処理装置及び診断支援システム
WO2021181520A1 (ja) 画像処理システム、画像処理装置、内視鏡システム、インターフェース及び画像処理方法
WO2020195807A1 (ja) 内視鏡用プロセッサ、情報処理装置、プログラム、情報処理方法および学習モデルの生成方法
Yan et al. Cine MRI analysis by deep learning of optical flow: Adding the temporal dimension
US20220084194A1 (en) Computer program, processor for endoscope, and information processing method
JP7203000B2 (ja) プログラム、情報処理方法及び情報処理装置
US20220304555A1 (en) Systems and methods for use of stereoscopy and color change magnification to enable machine learning for minimally invasive robotic surgery
US20230100147A1 (en) Diagnosis support system, diagnosis support method, and storage medium
US20220222840A1 (en) Control device, image processing method, and storage medium
US11734849B2 (en) Estimating patient biographic data parameters
US11978199B2 (en) Optical imaging system and related apparatus, method and computer program
JP2022175037A (ja) プログラム、情報処理方法及び内視鏡システム
JP2021115315A (ja) 内視鏡用プロセッサ、コンピュータプログラム、及び内視鏡システム
WO2023275974A1 (ja) 画像処理装置、画像処理方法及び記憶媒体
EP4373079A1 (en) System, method, and computer program for an optical imaging system and corresponding optical imaging system
Yao Machine Learning and Image Processing for Clinical Outcome Prediction: Applications in Medical Data from Patients with Traumatic Brain Injury, Ulcerative Colitis, and Heart Failure
WO2024110448A1 (en) System, method, and computer program for an optical imaging system and corresponding optical imaging system
WO2022179896A2 (en) Actor-critic approach for generating synthetic images

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191226

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191226

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20191226

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200304

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200421

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200511

R150 Certificate of patent or registration of utility model

Ref document number: 6704095

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250