JP7349005B1 - プログラム、情報処理方法、情報処理装置及び学習モデルの生成方法 - Google Patents

Abstract

【課題】内視鏡画像から癌の深達度を予測することができるプログラム等を提供する。【解決手段】プログラムは、内視鏡画像を取得し、内視鏡画像を入力した場合に癌の深達度を出力するよう学習済みの学習モデルに、取得した前記内視鏡画像を入力することで癌の深達度を出力する処理をコンピュータに実行させる。好適には、前記学習モデルは、癌の深達度を表す複数のクラスそれぞれに属する確率を出力する。更に好適には、前記学習モデルに基づき、前記深達度を出力する上で着目した前記内視鏡画像上の領域を示すヒートマップを生成し、前記ヒートマップを重畳した前記内視鏡画像を、前記深達度と共に出力する。【選択図】図１

Description

本発明は、プログラム、情報処理方法、情報処理装置及び学習モデルの生成方法に関する。

機械学習技術の進展に伴い、医療分野への機械学習の応用が増えている。例えば特許文献１では、ディープラーニングを利用して胃内視鏡イメージから胃病変を診断する病変診断方法等が開示されている。

特表２０２２－５０２１５０号公報

しかしながら、特許文献１に係る発明では、消化器官における癌の深達度を予測することができない。

一つの側面では、内視鏡画像から癌の深達度を予測することができるプログラム等を提供することを目的とする。

一つの側面では、プログラムは、内視鏡画像を取得し、前記内視鏡画像から撮像対象の消化器官を映した画像領域を特定し、特定した前記画像領域を切り抜いた画像から抽出される輪郭内を塗りつぶした塗りつぶし画像を生成し、生成した前記塗りつぶし画像を、内視鏡装置のメーカ毎に予め用意されているテンプレートのマスク画像と比較することで、取得した前記内視鏡画像を撮像した内視鏡装置のメーカを特定し、前記塗りつぶし画像に基づき、前記画像領域の周囲をマスクするマスク画像を生成し、特定した前記メーカに応じて、前記マスク画像を使用して、前記内視鏡画像の特定領域のピクセル数が所定値より大きいか否かを判定することで、該特定領域に文字があるか否かを判定し、内視鏡画像を入力した場合に癌の深達度を出力するよう学習済みの学習モデルに、取得した前記内視鏡画像を入力することで癌の深達度を出力し、前記特定領域に文字があると判定した場合、前記学習モデルに入力する画像から前記内視鏡画像を除外する処理をコンピュータに実行させる。

一つの側面では、内視鏡画像から癌の深達度を予測することができる。

画像診断システムの構成例を示す説明図である。 サーバの構成例を示すブロック図である。 端末の構成例を示すブロック図である。 実施の形態１の概要を示す説明図である。 分析画面の一例を示す説明図である。 前処理に関する説明図である。 前処理に関する説明図である。 前処理に関する説明図である。 前処理に関する説明図である。 前処理に関する説明図である。 前処理に関する説明図である。 前処理に関する説明図である。 前処理後の分析画面の一例を示す説明図である。 分析結果表示時の分析画面の一例を示す説明図である。 学習モデルの生成処理の手順を示すフローチャートである。 深達度の予測処理の手順を示すフローチャートである。 実施の形態２の概要を示す説明図である。 実施の形態２に係る深達度の予測処理の手順を示すフローチャートである。 実施の形態３の概要を示す説明図である。 実施の形態３に係る深達度の予測処理の手順を示すフローチャートである。 実施の形態４の概要を示す説明図である。 実施の形態４に係る深達度の予測処理の手順を示すフローチャートである。 実施の形態５の概要を示す説明図である。 実施の形態５に係る学習モデルの生成処理の手順を示すフローチャートである。 実施の形態６の概要を示す説明図である。 実施の形態６に係る学習モデルの生成処理の手順を示すフローチャートである。

以下、本発明をその実施の形態を示す図面に基づいて詳述する。
（実施の形態１）
図１は、画像診断システムの構成例を示す説明図である。本実施の形態では、機械学習により構築される学習モデル５０（図４参照）を用いて、内視鏡画像から癌の深達度を予測する画像診断システムについて説明する。画像診断システムは、情報処理装置１、端末２、内視鏡装置３を含む。情報処理装置１及び端末２は、インターネット等のネットワークＮに接続されている。

情報処理装置１は、種々の情報処理、情報の送受信が可能な情報処理装置であり、例えばサーバコンピュータ、パーソナルコンピュータ等である。本実施の形態では情報処理装置１がサーバコンピュータであるものとし、以下では簡潔のためサーバ１と読み替える。サーバ１は、訓練用の内視鏡画像から深達度予測用の学習モデル５０を構築し、当該学習モデル５０を用いて、内視鏡画像から癌の深達度を予測する。

端末２は、本システムのユーザ（例えば医療従事者）が使用する情報処理端末であり、例えばパーソナルコンピュータ、タブレット端末等である。端末２は、ユーザによる操作に従って、内視鏡装置３で撮像された内視鏡画像をサーバ１にアップロードし、深達度の予測結果を表示する。

図２は、サーバ１の構成例を示すブロック図である。サーバ１は、制御部１１、主記憶部１２、通信部１３、及び補助記憶部１４を備える。
制御部１１は、一又は複数のＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の演算処理装置を有し、補助記憶部１４に記憶されたプログラムＰ１を読み出して実行することにより、種々の情報処理、制御処理等を行う。主記憶部１２は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）等の一時記憶領域であり、制御部１１が演算処理を実行するために必要なデータを一時的に記憶する。通信部１３は、通信に関する処理を行うための通信モジュールであり、外部と情報の送受信を行う。

補助記憶部１４は、大容量メモリ、ハードディスク等の不揮発性記憶領域であり、制御部１１が処理を実行するために必要なプログラムＰ１（プログラム製品）、その他のデータを記憶している。また、補助記憶部１４は、学習モデル５０を記憶している。学習モデル５０は、所定の訓練データを学習済みの機械学習モデルであり、例えばＣＮＮ（Convolutional Neural Network；畳み込みニューラルネットワーク）である。学習モデル５０は、人工知能ソフトウェアの一部を構成するプログラムモジュールとしての利用が想定される。

なお、補助記憶部１４はサーバ１に接続された外部記憶装置であってもよい。また、サーバ１は複数のコンピュータからなるマルチコンピュータであってもよく、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。

また、本実施の形態においてサーバ１は上記の構成に限られず、例えば操作入力を受け付ける入力部、画像を表示する表示部等を含んでもよい。また、サーバ１は、ＣＤ（Compact Disk）－ＲＯＭ、ＤＶＤ（Digital Versatile Disc）－ＲＯＭ等の可搬型記憶媒体１ａを読み取る読取部を備え、可搬型記憶媒体１ａからプログラムＰ１を読み取って実行するようにしても良い。

図３は、端末２の構成例を示すブロック図である。端末２は、制御部２１、主記憶部２２、通信部２３、表示部２４、入力部２５、補助記憶部２６を備える。
制御部２１は、一又は複数のＣＰＵ、ＭＰＵ等の演算処理装置であり、補助記憶部２６に記憶されたプログラムＰ２を読み出して実行することにより、種々の情報処理を行う。主記憶部２２は、ＲＡＭ等の一時記憶領域であり、制御部２１が演算処理を実行するために必要なデータを一時的に記憶する。通信部２３は、通信に関する処理を行うための通信モジュールであり、外部と情報の送受信を行う。表示部２４は、液晶ディスプレイ等の表示画面であり、画像を表示する。入力部２５は、キーボード、マウス等の操作インターフェイスであり、ユーザから操作入力を受け付ける。補助記憶部２６は、ハードディスク、大容量メモリ等の不揮発性記憶領域であり、制御部２１が処理を実行するために必要なプログラムＰ２（プログラム製品）、その他のデータを記憶している。

なお、端末２は、ＣＤ－ＲＯＭ等の可搬型記憶媒体２ａを読み取る読取部を備え、可搬型記憶媒体２ａからプログラムＰ２を読み取って実行するようにしても良い。

図４は、実施の形態１の概要を示す説明図である。図４に基づき、本実施の形態の概要を説明する。

図４では、学習モデル５０に胃の内視鏡画像を入力した場合に、内視鏡画像に写る癌の深達度が出力される様子を概念的に図示している。学習モデル５０は深層学習により生成されるニューラルネットワークであり、例えばＣＮＮである。

なお、本実施の形態では学習モデル５０がＣＮＮであるものとして説明するが、本実施の形態はこれに限定されるものではなく、ＣＮＮ以外のニューラルネットワーク（例えばVision Transformer、Attention等）、決定木、ＳＶＭ（Support Vector Machine）等、その他の機械学習モデルであってもよい。

また、本実施の形態では胃癌を対象とするものとするが、撮像対象は胃以外の消化器官であってもよい。

サーバ１は、所定の訓練データを学習することにより、学習モデル５０を生成する。訓練データは、訓練用の内視鏡画像群に対し、癌の深達度の正解値が対応付けられたデータである。訓練用の内視鏡画像は、実際の患者の内視鏡画像である。正解値は、医療従事者によってラベル付けされた値である。

本実施の形態では深達度を、癌が胃壁のどの層まで達しているかを表す複数のクラスそれぞれに属する確率で表現する。具体的には、胃壁表面の粘膜（Ｍ）に留まっている確率、及びその下の粘膜下層（ＳＭ）に達している確率で表現する。

なお、上記は深達度の表現方法の一例であって、本実施の形態はこれに限定されるものではない。例えば深達度は、一般的なＴ１～Ｔ４（胃癌が粘膜に留まっている状態、筋肉層に進んでいる状態、胃の外側表面に出てきている状態、及び他の内蔵に入り込んでいる状態）で表現してもよい。また、本実施の形態では初期の胃癌が発生している状態を前提としているため、癌が生じていない状態の確率は予測しないが、癌の有無まで含めて予測可能としてもよい。

サーバ１は、訓練データに基づいて学習モデル５０を生成する。サーバ１は、訓練用の内視鏡画像を学習モデル５０に入力することで癌の深達度を出力し、これを正解値と比較する。サーバ１は、両者が近似するようにニューロン間の重み等のパラメータを調整する。サーバ１は、訓練用の各内視鏡画像を順次入力してパラメータを更新する。なお、サーバ１は所定の検証データを使ってパラメータを更新するかを決定する。最終的にサーバ１は、パラメータを最適化した学習モデル５０を生成する。

なお、サーバ１は、学習モデル５０に係る学習を行う前に、予測時と同様に、所定の前処理を行う。当該前処理について、詳しくは後述する。

図５は、分析画面の一例を示す説明図である。上記で生成した学習モデル５０を用いて内視鏡画像の分析を行う場合、ユーザは図５に示す画面上で操作を行う。分析画面は、画像表示欄５１、ボタン５２を含む。

画像表示欄５１は、分析対象とする内視鏡画像を表示する表示欄である。端末２は、アイコン５１１への画像ファイルのドラッグ＆ドロップ操作を受け付けた場合、あるいはアイコン５１１をクリックされたときに表示されるファイル選択ダイアログを利用して画像の選択入力を受け付けた場合、分析対象の内視鏡画像を画像表示欄５１に追加する。

ボタン５２は、学習モデル５０を用いた分析処理を実行させるためのボタンである。ボタン５２への操作入力を受け付けた場合、サーバ１は学習モデル５０を用いて各内視鏡画像における癌の深達度を予測（出力）する。なお、この時点でサーバ１は、後述のヒートマップ画像を同時に生成する。

ここで、アイコン５１１への画像ファイルの入力操作を受け付けた場合、サーバ１はまず、内視鏡画像に対して所定の前処理を行う。具体的には、サーバ１は、内視鏡画像から消化器官が映っている画像領域を切り出す処理を行うと同時に、内視鏡画像が処理対象外の撮像モードで撮像されたものか否かチェックする処理を行う。

内視鏡画像を学習モデル５０に入力して深達度を分析するにあたって、内視鏡装置３によっては、例えばＮＢＩ（Narrow Band Imaging）、ＬＣＩ（Linked Color Imaging）のように、消化器官の粘膜表面の模様や血管の輪郭、色調を強調する画像強調観察モードで撮像されたものがある。当該カメラで撮像された画像は生の画像を加工した画像であるため、学習モデル５０において分析対象とする画像としては不適切である。そこで本実施の形態では、画像強調処理が施された画像を選別し、処理対象から除外する。

図６～図１２は、前処理に関する説明図である。図６～図１２では、内視鏡画像に対して実行する前処理の手順を概念的に図示している。

前処理は、大きく分けて３つの工程から成る。具体的には、内視鏡画像から撮像対象の消化器官が映っている画像領域を特定する工程、特定した領域を元に正確なマスク領域の特定とノイズ削除を行ってマスク画像を生成する工程、及び生成したマスク画像を使用して画像強調観察モードで撮像されたものか否かを判定する工程から成る。以下、具体的な処理内容を説明する。

まず、内視鏡画像から撮像対象の消化器官が映っている領域を特定する工程について説明する。画像ファイルの入力を受け付けた場合、サーバ１はまず、図６に示すように、内視鏡画像の明るさを変更した３パターンの画像を生成する。具体的には、サーバ１は、内視鏡画像を鮮鋭化した画像、明るさとコントラストとを変更した画像、及び適応的ヒストグラム平坦化を施した画像をそれぞれ生成する。そしてサーバ１は、元画像を含む４枚の画像を合成する。

次にサーバ１は、合成した画像について、文字が記載されている可能性がある四隅の領域を黒く塗りつぶす。

次にサーバ１は、図７に示すように、当該画像に３つの画像処理を施す。具体的には、サーバ１は、当該画像の鮮鋭化、ガンマ補正、及び明るさとコントラストとの調整を行う。そしてサーバ１は、当該画像を２値化する。

次にサーバ１は、２値化した画像から最大輪郭を抽出する。そしてサーバ１は、最大輪郭を囲う矩形領域を算出（特定）することで、元画像から当該矩形領域を切り抜く。これにより、サーバ１は、図７右下に示すように、消化器官が映っている画像領域を特定する。

続いて、マスク画像を生成する工程について説明する。まずサーバ１は、図８に示すように、上記で特定した（切り抜いた）画像について、モルフォロジー変換（オープニング処理）を行って特定の位置（右上）にある文字を消去する。

次にサーバ１は、当該画像について上下を反転した画像、左右を反転した画像、及び上下左右を反転した画像をそれぞれ生成する。そしてサーバ１は、元画像を含む４枚の画像を合成する。

次にサーバ１は、図９に示すように、合成した画像を２値化し、全ての輪郭を抽出する。そしてサーバ１は、抽出した輪郭を塗りつぶして、多角形（図９では三角形）を描画（配置）した画像を生成する。

次にサーバ１は、当該画像から最大輪郭を抽出し、最大輪郭内を白く塗りつぶした画像を生成する。当該処理を施すことにより、仮に画像の一部に文字等のノイズが残っている場合でもノイズを消去することができる。

次にサーバ１は、図１０に示すように、当該塗りつぶし画像を、内視鏡装置３のメーカ毎に予め用意されているテンプレートのマスク画像と比較し、処理対象か否かを判定する。

対象であると判定した場合、サーバ１は、前の工程で切り抜いた画像（図７参照）に塗りつぶし画像を重畳し、マスク済みの画像を生成する。

次にサーバ１は、図１１に示すように、元画像と同サイズの黒塗り画像を生成する。そしてサーバ１は、上記で特定した矩形領域の情報を元に、黒塗り画像に対して塗りつぶし画像を合成し、マスク画像を生成する。これにより、図１１に示すように、消化器官が映っている画像領域の周囲をマスクするマスク画像が生成される。

続いて、画像強調観察モードで撮像されたものか否かを判定する工程について説明する。サーバ１は、上記で生成したマスク画像を元に、内視鏡画像が画像強調観察モードで撮像されたものであるか否かを判定する。具体的には、サーバ１は、内視鏡画像の特定領域に文字があるか否かを判定することで、画像強調観察モードで撮像されたものであるか否かを判定する。

図１２に示すように、本実施の形態で対象とするメーカの内視鏡画像では、画像強調観察モードで撮像した場合、画像が強調されていることを表す文字が特定の位置（右上）に現れる。そこでサーバ１は、当該文字があるか否かを判定することで、画像強調観察モードで撮像されたものであるか否かを判定する。

具体的には、サーバ１は、内視鏡画像に係るメーカ毎に処理を変えて文字の有無を判定する。図１２において「Ａ社」と示すメーカの場合、サーバ１は、上記で生成したマスク画像を使用して、消化器官が映っている画像領域を黒塗りした上で、特定の領域（右上の領域）を切り出す。そしてサーバ１は、切り出した領域のピクセル数が０より大きいか否かを判定することで、文字があるか否かを判定する。

一方で、図１２において「Ｂ社」と示すメーカの場合、サーバ１は、内視鏡画像の特定の領域（右上の領域）を切り抜く。そしてサーバ１は、切り抜いた領域のピクセル数が０より大きいか否かを判定することで、文字があるか否かを判定する。

サーバ１は、上述の如く文字の有無を判定する。文字があると判定した場合、サーバ１は、画像強調観察モードで撮像されたものであると判定する。この場合、サーバ１は、学習モデル５０に入力する画像から当該内視鏡画像を除外する。

図１３は、前処理後の分析画面の一例を示す説明図である。図１３では、上記の前処理を行った後の分析画面を図示している。図１３に示すように、端末２は、各内視鏡画像に対してマスク画像を適用し、マスクした部分に斜線を表示して、切り抜いた部分がわかるように表示する。また、端末２は、画像強調観察モードで撮像されたものとして除外されたことがわかるように、「処理対象外」というテキストを付するなどして内視鏡画像を表示する。

このように、サーバ１は内視鏡画像に対して前処理を施す。ボタン５２への操作入力を受け付けた場合、サーバ１は前処理後の画像を学習モデル５０に入力することで癌の深達度を予測し、分析結果を端末２に表示させる。

図１４は、分析結果表示時の分析画面の一例を示す説明図である。ボタン５２への操作入力を受け付けた場合、図１４に示すように表示が切り換わり、分析結果が表示される。具体的には、画面右側に分析結果表示欄５３が表示される。

分析結果表示欄５３は、学習モデル５０を用いた分析結果を表示する表示欄である。端末２は、複数の内視鏡画像全体での分析結果を分析結果表示欄５３の上部に表示すると共に、個々の内視鏡画像の分析結果を分析結果表示欄５３の下部に順次表示する。

具体的には、端末２は分析結果表示欄５３の下部に、深達度を表す各クラス（Ｍ、ＳＭ）に属する確率を内視鏡画像と対応付けて表示すると共に、内視鏡画像には、深達度を予測する上で学習モデル５０が着目した内視鏡画像上の領域を表すヒートマップを重畳して表示する。当該ヒートマップは、Ｇｒａｄ－ＣＡＭ（Gradient-weighted Class Activation Mapping）、Ａｔｔｅｎｔｉｏｎ等の公知技術を用いて生成することができる。サーバ１は、学習モデル５０に基づいてヒートマップを生成し、内視鏡画像に重畳して表示させる。これにより、学習モデル５０が画像のどの部分に着目して深達度を予測したか、ユーザが判別することができる。なお、例えば端末２は、ヒートマップ表示のオン／オフの切換操作を受け付けるようにしてもよく、また、ヒートマップ付きの画像と、ヒートマップ無しの画像とを並列で表示するなどしてもよい。

また、端末２は、複数の内視鏡画像全体での分析結果を分析結果表示欄５３の上部に表示する。例えば端末２は、各内視鏡画像の深達度のクラスを集計した集計結果を半円状の円グラフで表示する。また、端末２は、ほぼ全ての画像に対し同じ予測結果の場合は「High Confidence」と表示し、Ｍ、ＳＭいずれかの予測結果が７割程度の場合は「Middle Confidence」と表示し、予測結果がＭ、ＳＭで半々に近い場合は「Low Confidence」と表示する。

上記のように各内視鏡画像の分析結果が分析結果表示欄５３に表示されるが、ユーザは、各内視鏡画像に対応して表示されるリジェクトボタン５３１を操作することで、任意の内視鏡画像の分析結果を除外することができる。リジェクトボタン５３１が操作された場合、端末２は、対応する内視鏡画像を暗転させると共に、分析結果表示欄５３上部の集計結果から該当画像の分析結果を除外する。

図１５は、学習モデル５０の生成処理の手順を示すフローチャートである。図１５に基づき、機械学習により学習モデル５０を生成する際の処理内容について説明する。
サーバ１の制御部１１は、学習モデル５０生成用の訓練データを取得する（ステップＳ１１）。訓練データは、訓練用の内視鏡画像群に対し、癌の深達度の正解値が対応付けられたデータである。制御部１１は、訓練用の内視鏡画像に対して上述の前処理を施し、画像強調観察モードで撮像された画像を除外する（ステップＳ１２）。

制御部１１は訓練データに基づき、内視鏡画像を入力した場合に癌の深達度を出力する学習モデル５０を生成する（ステップＳ１３）。例えば制御部１１は、学習モデル５０としてＣＮＮを生成する。制御部１１は、訓練用の内視鏡画像を学習モデル５０に入力することで癌の深達度を出力し、出力された深達度を正解値と比較する。制御部１１は、出力される深達度が正解値と近似するように、学習モデル５０の重み等のパラメータを最適化する。これにより制御部１１は学習モデル５０を生成する。制御部１１は一連の処理を終了する。

図１６は、深達度の予測処理の手順を示すフローチャートである。図１６に基づき、学習モデル５０を用いて癌の深達度を予測する際の処理内容について説明する。
サーバ１の制御部１１は、端末２から内視鏡画像を取得する（ステップＳ３１）。制御部１１は、ステップＳ３１で取得した画像に対して前処理を施し、画像強調観察モードで撮像された画像である場合は除外する（ステップＳ３２）。

制御部１１は、内視鏡画像を学習モデル５０に入力することで、癌の深達度を出力する（ステップＳ３３）。具体的には、制御部１１は、癌の深達度を表す複数のクラス（Ｍ、ＳＭ）それぞれに属する確率を出力する。更に制御部１１は、学習モデル５０に基づき、深達度を予測する上で学習モデル５０が着目した内視鏡画像上の領域を表すヒートマップを生成する（ステップＳ３４）。制御部１１は、ステップＳ３３で出力された癌の深達度と共に、ステップＳ３４で生成されたヒートマップを重畳した内視鏡画像を端末２に表示させる（ステップＳ３５）。具体的には、制御部１１は、個々の内視鏡画像について癌の深達度とヒートマップ付きの画像とを表示させると共に、複数の内視鏡画像について癌の深達度の集計結果を表示させる。制御部１１は、リジェクトボタン５３１への操作入力を受け付けた場合、対応する内視鏡画像を暗転させると共に、当該画像を集計結果から除外する。制御部１１は一連の処理を終了する。

以上より、本実施の形態１によれば、癌の深達度をユーザに提示し、画像診断を支援することができる。

（実施の形態２）
本実施の形態では、内視鏡画像の余黒部分を処理することで、余黒部分に起因する誤判定を軽減する形態について述べる。なお、実施の形態１と重複する内容については同一の符号を付して説明を省略する。

図１７は、実施の形態２の概要を示す説明図である。図１７に基づき、本実施の形態の概要を説明する。

実施の形態１で説明したように、サーバ１は内視鏡画像に対する前処理として内視鏡画像にマスク画像を適用し、撮像部分を切り抜く。ここで、マスク画像において白抜き以外の四隅の部分を黒（Ｒ、Ｇ、Ｂが０）で埋めた上で、矩形状に撮像部分を切り抜く。

上記のように切り抜いた場合、四隅の部分は黒色になる。ここで、この画像をそのまま学習モデル５０に入力すると、学習モデル５０は四隅の余黒部分を病変の特徴の一部と誤認する恐れがある。そこで本実施の形態では、四隅の余黒部分を処理した上で学習モデル５０に入力する。

具体的には、サーバ１は、余黒部分をその他の撮像部分の平均色に置換する。なお、「その他の撮像部分」とは、画像中央の部分全部であってもよく、あるいは一部（例えば余黒部分近傍の領域）であってもよい。図１７の右下に、置換後の内視鏡画像を図示する。四隅の余黒部分を画像中央部分の平均色で置換することにより、余黒部分に起因した誤判定を軽減することができる。

図１８は、実施の形態２に係る深達度の予測処理の手順を示すフローチャートである。
画像強調観察モードで撮像された画像を除外する処理を実行した後（ステップＳ３２）、サーバ１の制御部１１は以下の処理を実行する。
制御部１１は、内視鏡画像の余黒部分を、その他の部分の平均色に置換する（ステップＳ２０１）。具体的には上述の如く、制御部１１は、撮像部分の平均色に余黒部分を置換する。制御部１１は、置換後の内視鏡画像を学習モデル５０に入力することで、癌の深達度を出力する（ステップＳ２０２）。制御部１１は処理をステップＳ３４に移行する。

なお、上記では特段説明しなかったが、学習時も同様に画像の余黒部分を平均色に置換した上で内視鏡画像を学習するようにしてもよい。

以上より、本実施の形態２によれば、余黒部分に起因する誤判定を軽減することができる。

（実施の形態３）
本実施の形態では、画像の四隅を判定根拠として深達度が予測された場合、この予測結果を除外する形態について述べる。

図１９は、実施の形態３の概要を示す説明図である。図１９に基づき、本実施の形態の概要を説明する。

実施の形態１で述べたように、サーバ１は深達度を予測後、Ｇｒａｄ－ＣＡＭ等の方法で学習モデル５０が着目した領域を示すヒートマップを生成する。図１９左側には、当該ヒートマップを図示している。

ここで、図１９に示すヒートマップでは画像の右下隅が判定根拠として示されている。この場合、学習モデル５０は本来判定根拠として適さない余黒部分に反応してしまったことがわかる。本実施の形態では、このように画像の四隅を判定根拠として深達度を予測した場合、当該画像を処理対象から除外する。

具体的には、サーバ１は、内視鏡画像を縦横所定数の領域（例えば７×７の領域）に分割する。そしてサーバ１は、ヒートマップに基づき、各領域の重要度を算出する。サーバ１は、算出した重要度を所定の閾値と比較し、重要度が閾値以上の領域の数をカウントする。最終的にサーバ１は、カウントされた総領域数のうち、画像の四隅に対応する領域が過半数を占めている場合、当該画像を処理対象から除外すると判定する。

なお、上記の判定方法は一例であって、本実施の形態はこれに限定されるものではない。例えばサーバ１は、画像の四隅に対応する領域の重要度が閾値以上の場合、直ちに処理対象から除外するものとしてもよい。すなわち、サーバ１は、内視鏡画像の四隅に位置する領域の重要度に応じて当該内視鏡画像を処理対象から除外すればよく、その判定方法は特に限定されない。

除外すると判定された場合、サーバ１は、当該内視鏡画像が処理対象から除外された旨を分析画面に表示させる。詳細な図示は省略するが、端末２はリジェクトボタン５３１が操作された場合と同様に、図１４の画面の分析結果表示欄５３において、対象の内視鏡画像を暗転させた上で、当該画像を集計結果から除外する。なお、「Ａｃｃｅｐｔ」のボタンが更に操作された場合、暗転動作が解除され、集計結果が変更される。

図２０は、実施の形態３に係る深達度の予測処理の手順を示すフローチャートである。癌の深達度を出力する上で学習モデル５０が着目した領域を示すヒートマップを生成した後（ステップＳ３４）、サーバ１の制御部１１は以下の処理を実行する。
制御部１１は、内視鏡画像を縦横所定数の領域に分割し、ヒートマップに基づき、各領域の重要度を算出する（ステップＳ３０１）。制御部１１は、内視鏡画像の四隅に対応する領域の重要度と、その他の領域の重要度とに応じて、当該内視鏡画像を処理対象から除外するか否かを判定する（ステップＳ３０２）。具体的には上述の如く、制御部１１は、重要度が閾値以上の領域の数をカウントし、その過半数が内視鏡画像の四隅の領域であった場合、処理対象から除外する。

制御部１１は、学習モデル５０に基づく深達度の分析結果を端末２に表示させる（ステップＳ３０３）。ここで制御部１１は、ステップＳ３０２で除外した内視鏡画像については、処理対象から除外された旨を表示させる。制御部１１は一連の処理を終了する。

以上より、本実施の形態３によれば、信頼性が低い分析結果を除外することができる。

（実施の形態４）
本実施の形態では、画像の端にある病変も考慮して深達度を予測可能とする形態について説明する。

図２１は、実施の形態４の概要を示す説明図である。図２１に基づき、本実施の形態の概要を説明する。

実施の形態１で説明したように、サーバ１は、内視鏡画像を学習モデル５０に入力することで癌の深達度を予測する。この場合にサーバ１は、画像をセンタークロップ（画像の中央部分を切り抜き）するため、画像の端にある病変が考慮されないことがある。そこで本実施の形態ではＦｉｖｅｃｒｏｐという手法を用いて、予測精度の向上を図る。

具体的には図２１に示すように、サーバ１は、内視鏡画像の中心に位置する矩形領域（実線で図示）を切り抜くと共に、当該矩形領域を画像の四隅にスライドさせた領域（破線で図示）を切り抜く。そしてサーバ１は、切り抜いた各画像を学習モデル５０に入力することで、画像毎に深達度を予測する。

サーバ１は、各画像の深達度から内視鏡画像全体における深達度を決定する。例えばサーバ１は、多数決により深達度を決定する。例えば５つの画像の深達度が「Ｍ」、「Ｍ」、「Ｍ」、「ＳＭ」、「ＳＭ」だった場合、最終的な深達度は「Ｍ」に決定される。

なお、上記の深達度の決定方法（多数決）は一例であって、本実施の形態はこれに限定されるものではない。例えばサーバ１は、画像の四隅の余黒部分を含まない画像中心の矩形領域（図２１に実線で示す領域）の予測結果の重みを、他の四隅の領域（破線で示す領域）よりも大きくするなどしてもよい。

図２２は、実施の形態４に係る深達度の予測処理の手順を示すフローチャートである。画像強調観察モードで撮像された画像を除外する処理を行った後（ステップＳ３２）、サーバ１の制御部１１は以下の処理を実行する。
制御部１１は内視鏡画像を、画像中心の矩形領域を切り抜いた画像と、当該矩形領域を画像の四隅にスライドした領域を切り抜いた画像とに分割する（ステップＳ４０１）。制御部１１は、切り抜いた各画像を学習モデル５０に入力することで、各画像に対応する深達度を出力する（ステップＳ４０２）。制御部１１は、各画像の深達度から内視鏡画像全体における深達度を決定する（ステップＳ４０３）。制御部１１は処理をステップＳ３４に移行する。

以上より、本実施の形態４によれば、画像の端にある病変も考慮して深達度を予測することができる。

（実施の形態５）
本実施の形態では、内視鏡を模擬したオブジェクトを重畳した画像を学習モデル５０に学習させることで、深達度の予測精度を向上させる形態について説明する。

図２３は、実施の形態５の概要を示す説明図である。図２３に基づき、本実施の形態の概要を説明する。

実施の形態１で説明したように、サーバ１は、内視鏡画像に学習モデル５０を入力することで癌の深達度を予測する。ここで、内視鏡画像に内視鏡が写り込んでしまい、学習モデル５０がこれを病変の特徴の一部と認識して誤判定をする恐れがある。

そこで本実施の形態では、学習時に内視鏡を模擬したオブジェクトを訓練用の内視鏡画像に重畳することで、内視鏡が写り込んだ画像を学習しておく。すなわち、サーバ１は、訓練用の内視鏡画像に内視鏡を模擬したオブジェクトを重畳し、オブジェクト重畳後の画像を訓練用の画像に用いる。例えばサーバ１は、実際に内視鏡が写り込んだ画像からオブジェクトとして内視鏡部分を切り取り、内視鏡が写り込んでいない画像に重畳する。サーバ１は実施の形態１と同様に、当該画像を学習モデル５０に入力することで癌の深達度を出力し、正解値と近似するように重み等のパラメータを最適化する。これにより、内視鏡が写り込むことによる誤判定を軽減する。

なお、例えばサーバ１は、内視鏡の大きさ、向き等が異なるオブジェクトを複数パターン用意しておき、いずれかのオブジェクトをランダムに重畳するようにしてもよい。また、例えばサーバ１は、画像に写る胃（消化器官）の向きに応じて、オブジェクトの向きを変更してもよい。

なお、内視鏡合成後の画像を事前に用意して学習モデル５０に学習させてもよく、あるいは学習中に内視鏡（オブジェクト）を合成して学習モデル５０に学習させてもよい。

図２４は、実施の形態５に係る学習モデル５０の生成処理の手順を示すフローチャートである。ステップＳ１２の処理を実行後、サーバ１の制御部１１は以下の処理を実行する。
制御部１１は、訓練用の内視鏡画像に対し、内視鏡を模擬したオブジェクトを重畳する（ステップＳ５０１）。制御部１１は、オブジェクトを重畳した内視鏡画像を用いて、学習モデル５０を生成する（ステップＳ５０２）。制御部１１は一連の処理を終了する。

以上より、本実施の形態５によれば、内視鏡が写り込んでいることによる誤判定を軽減することができる。

（実施の形態６）
本実施の形態では、カメラメーカの違いによるデータの不均衡を解消する形態について説明する。

図２５は、実施の形態６の概要を示す説明図である。図２５では、ＣｙｃｌｅＧＡＮ（Generative Adversarial Network）という機械学習モデルを用いて、第１メーカ（「Ａ社」と図示）のカメラで撮像された内視鏡画像（以下、「第１内視鏡画像」と呼ぶ）と、第２メーカ（「Ｂ社」と図示）のカメラで撮像された内視鏡画像（以下、「第２内視鏡画像」と呼ぶ）とを相互に変換する様子を概念的に図示している。

実施の形態１で説明したように、サーバ１は、訓練用の内視鏡画像を学習することで学習モデル５０を生成する。一方で、メーカ毎に入手可能な内視鏡画像には深達度のクラスには偏りがあり、あるメーカでは「Ｍ」の癌が、別のメーカでは「ＳＭ」の癌が多いというように、データの不均衡が生じる。従って、いずれかのメーカのカメラで撮像された内視鏡画像を多く学習すると、そのデータの不均衡に起因して予測の偏りが発生し、学習モデル５０の予測精度が低下する恐れがある。

そこで本実施の形態では、ＣｙｃｌｅＧＡＮを構築して各メーカの内視鏡画像を疑似的に生成し、データの不均衡を解消する。ＣｙｃｌｅＧＡＮは、異なるドメイン間でデータの相互変換を行うモデルであり、一のドメインのデータを他のドメインのデータに変換するための第１生成器（Generator）６１と、上記他のドメインのデータを上記一のドメインのデータに変換する第２生成器６２とを備える。また、ＣｙｃｌｅＧＡＮは、２つの生成器に対応して、各生成器で生成したデータの真偽を識別する２つの第１識別器（Discriminator）６３、第２識別器６４を備える。

サーバ１は、一のドメインを「Ａ社」製のカメラの第１内視鏡画像とし、他のドメインを「Ｂ社」製のカメラの第２内視鏡画像として、両者の相互変換を行うＣｙｃｌｅＧＡＮを生成する。サーバ１は、各メーカの内視鏡画像から成る訓練データを用いて学習を行う。サーバ１は、第１内視鏡画像を第１生成器６１に入力して第２内視鏡画像を生成し、第１識別器６３において真偽を識別する。また、サーバ１は、第２内視鏡画像を第２生成器６２に入力して第１内視鏡画像を生成し、第２識別器６４において真偽を識別する。サーバ１は、ドメイン間の変換を評価するための損失関数（Adversarial Loss）と、変換したデータの元のドメインへの逆変換を保証するための損失関数（Cycle Consistency Loss）とを用いて学習を行い、各生成器及び識別器のパラメータを最適化したＣｙｃｌｅＧＡＮを生成する。

サーバ１は、上記で生成した第１生成器６１、第２生成器６２を用いて、第１内視鏡画像と第２内視鏡画像とが同数となるように、第１内視鏡画像、第２内視鏡画像を生成する。例えばサーバ１は、訓練データにおいて第１内視鏡画像の枚数が第２内視鏡画像の枚数より少ない場合、その差分だけ第１内視鏡画像を生成する。あるいはサーバ１は、訓練データにおいて第２内視鏡画像の枚数が第１内視鏡画像の枚数より少ない場合、その差分だけ第２内視鏡画像を生成する。あるいはサーバ１は、全ての第１内視鏡画像から第２内視鏡画像を生成すると共に、全ての第２内視鏡画像から第１内視鏡画像を生成することで、両者が同数となるようにする。このようにサーバ１は、両者が同数となるように第１内視鏡画像及び／又は第２内視鏡画像を生成する。

サーバ１は、上記で生成した第１内視鏡画像及び／又は第２内視鏡画像を訓練データに加えた上で、学習モデル５０を生成する。すなわち、サーバ１は、第１内視鏡画像と第２内視鏡画像とを同数だけ学習する。これにより、ドメイン（カメラメーカ）間でのデータの不均衡を解消し、予測の偏りを改善することにより学習モデル５０の予測精度を向上させることができる。

図２６は、実施の形態６に係る学習モデル５０の生成処理の手順を示すフローチャートである。
サーバ１の制御部１１は、訓練データを取得する（ステップＳ６０１）。当該訓練データは、第１メーカのカメラで撮像された第１内視鏡画像と、第２メーカのカメラで撮像された第２内視鏡画像とを含む。制御部１１は処理をステップＳ１２に移行する。

ステップＳ１２の処理を実行後、制御部１１は訓練データに基づき、第１内視鏡画像を入力した場合に第２内視鏡画像に変換する第１生成器６１と、第２内視鏡画像を入力した場合に第１内視鏡画像に変換する第２生成器６２と、第１生成器６１が生成する第１内視鏡画像の真偽を識別する第１識別器６３と、第２生成器６２が生成する第２内視鏡画像の真偽を識別する第２識別器６４と、を共同でトレーニングすることにより第１生成器６１及び第２生成器６２を生成する（ステップＳ６０２）。

制御部１１は、ステップＳ６０２で生成された第１生成器６１及び／又は第２生成器６２を用いて、訓練データに含まれる第１内視鏡画像及び第２内視鏡画像が同数となるように、第１内視鏡画像及び／又は第２内視鏡画像を生成する（ステップＳ６０３）。制御部１１は、ステップＳ６０３で生成した第１内視鏡画像及び／又は第２内視鏡画像を加えた訓練データに基づき、学習モデル５０を生成する（ステップＳ６０４）。制御部１１は一連の処理を終了する。

なお、本実施の形態では第１内視鏡画像及び第２内視鏡画像が同数となるようにしたが、両者を同数とする構成は必須ではなく、いずれか一方又は双方を増加させるのみであってもよい。

また、本実施の形態では画像生成手段としてＣｙｃｌｅＧＡＮを用いたが、その他の画像生成手段を用いてもよい。

以上より、本実施の形態６によれば、カメラメーカの違いによるデータの不均衡を解消し、学習モデル５０の予測精度を向上させることができる。

今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

１ サーバ（情報処理装置）
１１ 制御部
１２ 主記憶部
１３ 通信部
１４ 補助記憶部
Ｐ１ プログラム
５０ 学習モデル
２ 端末
２１ 制御部
２２ 主記憶部
２３ 通信部
２４ 表示部
２５ 入力部
２６ 補助記憶部
Ｐ２ プログラム
６１ 第１生成器
６２ 第２生成器
６３ 第１識別器
６４ 第２識別器

Claims (15)

1. 内視鏡画像を取得し、
   前記内視鏡画像から撮像対象の消化器官を映した画像領域を特定し、
   特定した前記画像領域を切り抜いた画像から抽出される輪郭内を塗りつぶした塗りつぶし画像を生成し、
   生成した前記塗りつぶし画像を、内視鏡装置のメーカ毎に予め用意されているテンプレートのマスク画像と比較することで、取得した前記内視鏡画像を撮像した内視鏡装置のメーカを特定し、
   前記塗りつぶし画像に基づき、前記画像領域の周囲をマスクするマスク画像を生成し、
   特定した前記メーカに応じて、前記マスク画像を使用して、前記内視鏡画像の特定領域のピクセル数が所定値より大きいか否かを判定することで、該特定領域に文字があるか否かを判定し、
   内視鏡画像を入力した場合に癌の深達度を出力するよう学習済みの学習モデルに、取得した前記内視鏡画像を入力することで癌の深達度を出力し、
   前記特定領域に文字があると判定した場合、前記学習モデルに入力する画像から前記内視鏡画像を除外する
   処理をコンピュータに実行させるプログラム。
2. 前記学習モデルは、癌の深達度を表す複数のクラスそれぞれに属する確率を出力する
   請求項１に記載のプログラム。
3. 前記学習モデルに基づき、前記深達度を出力する上で着目した前記内視鏡画像上の領域を示すヒートマップを生成し、
   前記ヒートマップを重畳した前記内視鏡画像を、前記深達度と共に出力する
   請求項１に記載のプログラム。
4. 前記内視鏡画像の余黒部分を、その他の部分の平均色に置換し、
   置換後の前記内視鏡画像を前記学習モデルに入力することで、癌の深達度を出力する
   請求項１に記載のプログラム。
5. 前記学習モデルに基づき、前記深達度を出力する上で着目した前記内視鏡画像上の領域を示すヒートマップを生成し、
   前記ヒートマップに基づき、前記内視鏡画像上の各領域の重要度を算出し、
   前記内視鏡画像の四隅に位置する領域の重要度に応じて、該内視鏡画像を処理対象から除外する
   請求項１に記載のプログラム。
6. 前記内視鏡画像を、画像中心の矩形領域を切り抜いた画像と、該矩形領域を画像の四隅にスライドした領域を切り抜いた画像とに分割し、
   分割した各画像を前記学習モデルに入力することで、各画像に対応する深達度を出力し、
   各画像の深達度から前記内視鏡画像全体における深達度を決定する
   請求項１に記載のプログラム。
7. 内視鏡画像を取得し、
   前記内視鏡画像から撮像対象の消化器官を映した画像領域を特定し、
   特定した前記画像領域を切り抜いた画像から抽出される輪郭内を塗りつぶした塗りつぶし画像を生成し、
   生成した前記塗りつぶし画像を、内視鏡装置のメーカ毎に予め用意されているテンプレートのマスク画像と比較することで、取得した前記内視鏡画像を撮像した内視鏡装置のメーカを特定し、
   前記塗りつぶし画像に基づき、前記画像領域の周囲をマスクするマスク画像を生成し、
   特定した前記メーカに応じて、前記マスク画像を使用して、前記内視鏡画像の特定領域のピクセル数が所定値より大きいか否かを判定することで、該特定領域に文字があるか否かを判定し、
   内視鏡画像を入力した場合に癌の深達度を出力するよう学習済みの学習モデルに、取得した前記内視鏡画像を入力することで癌の深達度を出力し、
   前記特定領域に文字があると判定した場合、前記学習モデルに入力する画像から前記内視鏡画像を除外する
   処理をコンピュータが実行する情報処理方法。
8. 制御部を備える情報処理装置であって、
   前記制御部は、
   内視鏡画像を取得し、
   前記内視鏡画像から撮像対象の消化器官を映した画像領域を特定し、
   特定した前記画像領域を切り抜いた画像から抽出される輪郭内を塗りつぶした塗りつぶし画像を生成し、
   生成した前記塗りつぶし画像を、内視鏡装置のメーカ毎に予め用意されているテンプレートのマスク画像と比較することで、取得した前記内視鏡画像を撮像した内視鏡装置のメーカを特定し、
   前記塗りつぶし画像に基づき、前記画像領域の周囲をマスクするマスク画像を生成し、
   特定した前記メーカに応じて、前記マスク画像を使用して、前記内視鏡画像の特定領域のピクセル数が所定値より大きいか否かを判定することで、該特定領域に文字があるか否かを判定し、
   内視鏡画像を入力した場合に癌の深達度を出力するよう学習済みの学習モデルに、取得した前記内視鏡画像を入力することで癌の深達度を出力し、
   前記特定領域に文字があると判定した場合、前記学習モデルに入力する画像から前記内視鏡画像を除外する
   情報処理装置。
9. 内視鏡画像と、癌の深達度とを対応付けた訓練データを取得し、
   前記内視鏡画像から撮像対象の消化器官を映した画像領域を特定し、
   特定した前記画像領域を切り抜いた画像から抽出される輪郭内を塗りつぶした塗りつぶし画像を生成し、
   生成した前記塗りつぶし画像を、内視鏡装置のメーカ毎に予め用意されているテンプレートのマスク画像と比較することで、取得した前記内視鏡画像を撮像した内視鏡装置のメーカを特定し、
   前記塗りつぶし画像に基づき、前記画像領域の周囲をマスクするマスク画像を生成し、
   特定した前記メーカに応じて、前記マスク画像を使用して、前記内視鏡画像の特定領域のピクセル数が所定値より大きいか否かを判定することで、該特定領域に文字があるか否かを判定し、
   前記特定領域に文字があると判定した場合、学習対象とする画像から前記内視鏡画像を除外し、
   前記訓練データに基づき、内視鏡画像を入力した場合に癌の深達度を出力するよう学習済みの学習モデルを生成する
   処理をコンピュータが実行する学習モデルの生成方法。
10. 訓練用の内視鏡画像に対し、内視鏡を模擬したオブジェクトを重畳し、
    前記オブジェクトを重畳した前記内視鏡画像を用いて、前記学習モデルを生成する
    請求項９に記載の学習モデルの生成方法。
11. 前記訓練データは、第１メーカのカメラで撮像された第１内視鏡画像と、第２メーカのカメラで撮像された第２内視鏡画像とを含み、
    前記第１内視鏡画像を入力した場合に前記第２内視鏡画像に変換するよう学習済みの第１生成器、又は前記第２内視鏡画像を入力した場合に前記第１内視鏡画像に変換するよう学習済みの第２生成器を用いて、前記第２内視鏡画像又は第１内視鏡画像を生成し、
    生成した前記第２内視鏡画像又は第１内視鏡画像を加えた前記訓練データに基づき、前記学習モデルを生成する
    請求項９に記載の学習モデルの生成方法。
12. 前記訓練データに基づき、前記第１生成器と、前記第２生成器と、前記第１生成器が生成する前記第２内視鏡画像の真偽を識別する第１識別器と、前記第２生成器が生成する前記第１内視鏡画像の真偽を識別する第２識別器と、を共同でトレーニングすることにより前記第１生成器及び第２生成器を生成する
    請求項１１に記載の学習モデルの生成方法。
13. 内視鏡画像を取得し、
    内視鏡画像を入力した場合に癌の深達度を出力するよう学習済みの学習モデルに、取得した前記内視鏡画像を入力することで癌の深達度を出力し、
    前記学習モデルに基づき、前記深達度を出力する上で着目した前記内視鏡画像上の領域を示すヒートマップを生成し、
    前記ヒートマップに基づき、前記内視鏡画像上の各領域の重要度を算出し、
    前記内視鏡画像の四隅に位置する領域の重要度に応じて、該内視鏡画像を処理対象から除外する
    処理をコンピュータに実行させるプログラム。
14. 内視鏡画像を取得し、
    前記内視鏡画像を、画像中心の矩形領域を切り抜いた画像と、該矩形領域を画像の四隅にスライドした領域を切り抜いた画像とに分割し、
    内視鏡画像を入力した場合に癌の深達度を出力するよう学習済みの学習モデルに、分割した各画像を入力することで、各画像に対応する深達度を出力し、
    各画像の深達度から前記内視鏡画像全体における深達度を決定する
    処理をコンピュータに実行させるプログラム。
15. 内視鏡画像と、癌の深達度とを対応付けた訓練データであって、第１メーカのカメラで撮像された第１内視鏡画像と、第２メーカのカメラで撮像された第２内視鏡画像とを含む訓練データを取得し、
    前記訓練データに基づき、前記第１内視鏡画像を入力した場合に前記第２内視鏡画像に変換するよう学習済みの第１生成器と、前記第２内視鏡画像を入力した場合に前記第１内視鏡画像に変換するよう学習済みの第２生成器と、前記第１生成器が生成する前記第２内視鏡画像の真偽を識別する第１識別器と、前記第２生成器が生成する前記第１内視鏡画像の真偽を識別する第２識別器と、を共同でトレーニングすることにより前記第１生成器及び第２生成器を生成し、
    前記第１生成器又は前記第２生成器を用いて、前記第２内視鏡画像又は第１内視鏡画像を生成し、
    生成した前記第２内視鏡画像又は第１内視鏡画像を加えた前記訓練データに基づき、内視鏡画像を入力した場合に癌の深達度を出力するよう学習済みの学習モデルを生成する
    処理をコンピュータが実行する学習モデルの生成方法。

Images