WO2021075418A1

WO2021075418A1 - 画像処理方法、教師データ生成方法、学習済みモデル生成方法、発病予測方法、画像処理装置、画像処理プログラム、およびそのプログラムを記録した記録媒体

Info

Publication number: WO2021075418A1
Application number: PCT/JP2020/038592
Authority: WO
Inventors: 政至藤井; 一磯本; 賢植木; 上原　一剛
Original assignee: 国立大学法人鳥取大学; 株式会社Ｒ０
Priority date: 2019-10-18
Filing date: 2020-10-13
Publication date: 2021-04-22

Abstract

観察対象を撮影または描出した第１医用画像を取得する第１取得ステップＳ１と、前記第１医用画像の特徴量を抽出する第１抽出ステップＳ４と、前記観察対象を撮影または描出した第２医用画像を取得する第２取得ステップＳ８と、前記第２医用画像の特徴量を抽出する第２抽出ステップＳ１０と、前記第１医用画像の特徴量と前記第２医用画像の特徴量とを比較する比較ステップＳ１１と、前記比較ステップＳ１１の比較結果に基づいて、前記第１医用画像と前記第２医用画像との位置関係を特定する位置関係特定ステップＳ１３と、を備えた画像処理方法。

Description

画像処理方法、教師データ生成方法、学習済みモデル生成方法、発病予測方法、画像処理装置、画像処理プログラム、およびそのプログラムを記録した記録媒体

　本発明は、医用画像を用いた診断および治療に関し、特に内視鏡画像を用いた診断および治療に関する。

　特許文献１には、内視鏡による撮影によって観察部位の画像をリアルタイムでモニタ表示する際に、比較対象となる過去に記録された内視鏡画像をリアルタイムの画像と合わせて同時表示することが開示されている。具体的には、リアルタイムの画像の血管パターンと、過去の内視鏡画像の血管パターンとを比較することにより、同一の部位を撮影したリアルタイムの画像と過去の内視鏡画像とを同時に表示している。

特開２００８－１９４３３４号公報

　しかしながら、同一の部位を含む画像であっても、内視鏡の撮像素子の指向方向によって、大きく見え方が異なる。そのため、過去の内視鏡画像における病変部などがリアルタイムの画像のどこに存在するかを容易に判別できるとは限らない。

　本発明は、上記問題を解決するためになされたものであって、異なる医用画像における位置関係を容易に把握できる画像処理方法を提供することを課題とする。

　上記課題を解決するために、本発明は以下の態様を含む。
項１．
　観察対象を撮影または描出した第１医用画像を取得する第１取得ステップと、
　前記第１医用画像の特徴量を抽出する第１抽出ステップと、
　前記観察対象を撮影または描出した第２医用画像を取得する第２取得ステップと、
　前記第２医用画像の特徴量を抽出する第２抽出ステップと、
　前記第１医用画像の特徴量と前記第２医用画像の特徴量とを比較する比較ステップと、
　前記比較ステップの比較結果に基づいて、前記第１医用画像と前記第２医用画像との位置関係を特定する位置関係特定ステップと、
を備えた画像処理方法。
項２．
　前記第１医用画像および前記第２医用画像は、前記観察対象を内視鏡で撮影した内視鏡画像である、項１に記載の画像処理方法。
項３．
　前記特徴量は、前記観察対象の血管、リンパ管、腺管、柔毛または粘膜のパターンである、項２に記載の画像処理方法。
項４．
　前記第１抽出ステップの前に、前記第１医用画像の不明瞭な部分を補正する第１補正ステップと、
　前記第２抽出ステップの前に、前記第２医用画像の不明瞭な部分を補正する第２補正ステップと、
をさらに備えた、項２または３に記載の画像処理方法。
項５．
　前記第１医用画像に第１関心領域を設定する第１設定ステップをさらに備え、
　前記位置関係特定ステップは、前記比較結果に基づいて、第２医用画像における第１関心領域に対応する第２関心領域を特定する関心領域特定ステップを備えた、項２から４のいずれかに記載の画像処理方法。
項６．
　前記第２医用画像の撮影時期は、前記第１医用画像の撮影時期よりも後である、項５に記載の画像処理方法。
項７．
　前記第２医用画像において、前記第２関心領域を他の領域と識別可能に表示する表示ステップをさらに備えた、項６に記載の画像処理方法。
項８．
　前記第１医用画像の撮影時期は、前記第２医用画像の撮影時期よりも後である、項５に記載の画像処理方法。
項９．
　前記第１医用画像に第１関心領域を設定する第１設定ステップをさらに備え、
　前記第２医用画像は、前記第１関心領域の一部を前記内視鏡で拡大して撮影した画像である、項２から４のいずれかに記載の画像処理方法。
項１０．
　前記第１医用画像における前記第２医用画像の位置を識別可能に表示する表示ステップをさらに備えた、項９に記載の画像処理方法。
項１１．
　前記第２取得ステップ、第２抽出ステップ、比較ステップおよび位置関係特定ステップを繰り返して、位置の異なる複数の第２医用画像を取得し、
　前記複数の第２医用画像の互いに重複していない部分を繋ぎ合わせて合成拡大画像を生成する画像合成ステップ、
をさらに備えた、項９または１０に記載の画像処理方法。
項１２．
　前記第２医用画像は、一度の内視鏡挿入において、前記第１医用画像に続いて連続的に撮影された画像である、項２から４のいずれかに記載の画像処理方法。
項１３．
　前記一度の内視鏡挿入において、前記観察対象の異なる部位について、前記第２取得ステップおよび前記第２抽出ステップを繰り返し、
　前記各第２取得ステップで取得された複数の第２医用画像について、各第２医用画像の特徴量とその直前に取得された第２医用画像の特徴量とを比較し、
　前記比較結果に基づいて、前記第１医用画像と前記第２医用画像との位置関係、および前記複数の第２医用画像同士の位置関係を特定し、前記第１医用画像および複数の前記第２医用画像を繋ぎ合わせて３次元合成画像を生成する合成ステップをさらに備えた、項１２に記載の画像処理方法。
項１４．
　前記３次元合成画像を展開した２次元展開画像を生成する展開画像生成ステップをさらに備えた、項１３に記載の画像処理方法。
項１５．
　前記２次元展開画像に基づき、前記観察対象における観察状態を評価する観察状態評価ステップをさらに備えた、項１４に記載の画像処理方法。
項１６．
　前記第２医用画像に基づいて、前記観察対象における病変に関する病変情報を生成する病変情報生成ステップと、
　前記第１医用画像に前記病変情報を付加する病変情報付加ステップと、
　前記病変情報が付加された前記第１医用画像をモニタに表示する第２表示ステップと、
を備えた、項１～１５のいずれかに記載の画像処理方法。
項１７．
　前記病変情報は、前記病変の位置を示す位置情報である、項１６に記載の画像処理方法。
項１８．
　前記第１医用画像は、内視鏡から前記観察対象に白色光が照射された時に撮像された白色光画像であり、
　前記第２医用画像は、画像強調内視鏡画像である、項１６または１７に記載の画像処理方法。
項１９．
　前記第２医用画像は、光線力学的診断のために前記内視鏡から前記観察対象に光感受性物質を励起するための励起光が照射された時に撮像された蛍光画像である、項１８に記載の画像処理方法。
項２０．
　項８に記載の画像処理方法の前記関心領域特定ステップで特定された前記第２関心領域を前記第２医用画像に付加して、機械学習のための教師データを生成する、教師データ生成方法。
項２１．
　前記第１関心領域は病変部を含み、
　前記第２関心領域は前記病変部を含まない、項２０に記載の教師データ生成方法。
項２２．
　項１１に記載の画像処理方法の前記画像合成ステップによって生成された前記合成拡大画像に、前記第１関心領域を切除して得られた組織の病理学的診断情報を付加して、機械学習のための教師データを生成する、教師データ生成方法。
項２３．
　前記病理学的診断情報は、前記第１関心領域における病変部および非病変部の範囲に関する情報を含む、項２２に記載の教師データ生成方法。
項２４．
　項２０または２１に記載の教師データ生成方法によって生成された教師データを用いて機械学習を行い、
　未知の観察対象を内視鏡で撮影した内視鏡画像を入力とし、前記未知の観察対象における前記病変の発生に関する発病予測情報を出力とする学習済みモデルを生成する、学習済みモデル生成方法。
項２５．
　被検者の観察対象の内視鏡画像を取得する第３取得ステップと、
　項２４に記載の学習済みモデル生成方法によって生成された学習済みモデルに、前記第３取得ステップで取得された内視鏡画像を入力して、前記被検者の観察対象における前記病変の発生に関する発病予測情報を取得する発病予測ステップと、
を備えた発病予測方法。
項２６．
　観察対象を撮影または描出した第１医用画像を取得する第１取得部と、
　前記第１医用画像の特徴量を抽出する第１抽出部と、
　前記観察対象を撮影または描出した第２医用画像を取得する第２取得部と、
　前記第２医用画像の特徴量を抽出する第２抽出部と、
　前記第１医用画像の特徴量と前記第２医用画像の特徴量とを比較する比較部と、
　前記比較部の比較結果に基づいて、前記第１医用画像と前記第２医用画像との位置関係を特定する位置関係特定部と、
を備えた画像処理装置。
項２７．
　項１～１９のいずれかに記載の画像処理方法の各ステップをコンピュータに実行させる画像処理プログラム。
項２８．
　項２７に記載の画像処理プログラムを記録したコンピュータ読み取り可能な非一時的な記録媒体。

　本発明によれば、異なる医用画像における位置関係を容易に把握することができる。

第１実施形態に係る内視鏡システムの構成を示すブロック図である。第１実施形態に係る画像処理方法の処理手順を示すフローチャートである。第１実施形態に係る画像処理方法の処理手順を示すフローチャートである。画像補正の例を示す写真である。画像補正の例を示す写真である。異なる時期に撮影された同一人物の同一部位の内視鏡画像である。第２実施形態に係る内視鏡システムの構成を示すブロック図である。第２実施形態に係る画像処理方法の処理手順を示すフローチャートである。第２実施形態に係る画像処理方法および教師データ生成方法の処理手順を示すフローチャートである。第２実施形態に係る学習済みモデル生成装置の構成を示すブロック図である。第２実施形態に係る学習済みモデル生成方法の処理手順を示すフローチャートである。第２実施形態に係る他の内視鏡システムの構成を示すブロック図である。第２実施形態に係る発病予測方法の処理手順を示すフローチャートである。第３実施形態に係る内視鏡システムの構成を示すブロック図である。第３実施形態に係る画像処理方法の処理手順を示すフローチャートである。第３実施形態に係る画像処理方法の処理手順を示すフローチャートである。関心領域が設定された通常倍率画像の一例である。拡大画像の一例である。図１７に示す画像において、関心領域中に拡大画像が占める領域が示された画像の一例である。通常画像、通常画像中に設定された関心領域の画像、８０倍の拡大画像および５２０倍の超拡大画像の一例である。第３実施形態に係る学習済みモデル生成方法の処理手順を示すフローチャートである。第４実施形態に係る内視鏡システムの構成を示すブロック図である。第４実施形態に係る画像処理方法の処理手順を示すフローチャートである。第４実施形態に係る画像処理方法の処理手順を示すフローチャートである。第５実施形態に係る内視鏡システムの構成を示すブロック図である。白色光画像の一例である。図２６に示す白色光画像と同じ観察対象の蛍光画像の一例である。図２７に示す蛍光画像に対して、病変部として識別された領域を囲う枠がマーキングされた画像である。病変情報が付加された白色光画像の一例である。（ａ）は、蛍光画像の一例であり、（ｂ）は、図３０（ａ）に示す蛍光画像に対して、病変部として識別された領域がマーキングされた画像である。病変情報が付加された白色光画像の一例である。並列表示された白色光画像および蛍光画像の一例である。画像処理方法の処理手順を示すフローチャートである。教師データ生成方法の処理手順を示すフローチャートである。第５実施形態に係る学習済みモデル生成装置の構成を示すブロック図である。学習済みモデル生成方法の処理手順を示すフローチャートである。第５実施形態に係る内視鏡システムの構成を示すブロック図である。診断支援方法の処理手順を示すフローチャートである。

　以下、本発明の実施形態について添付図面を参照して説明する。なお、本発明は、下記の実施形態に限定されるものではない。

　［第１実施形態］
　以下、本発明の第１実施形態について説明する。図１は、第１実施形態に係る内視鏡システム１の構成を示すブロック図である。内視鏡システム１は、内視鏡２と、制御装置３と、モニタ４とを備えている。

　内視鏡２は、内部に光ファイバＦを備えている。内視鏡２の先端部には、蛍光体２ａ、および撮像素子２ｂが配置されており、内視鏡２の先端面には、１つの出射窓および１つの観察窓が設けられている。蛍光体２ａは出射窓に面しており、撮像素子２ｂは観察窓に面している。

　光ファイバＦからは青色光（中心発光波長４４５ｎｍ）が出射され、当該青色光は、蛍光体２ａによって白色光に変換され、出射窓から照射される。また、観察窓への入射光は、図示しないレンズにより撮像素子２ｂの受光面に結像する。撮像素子２ｂは、入射光を光電変換して、アナログの画像信号を生成する。

　なお、内視鏡２の構造はこれに限定されない。例えば、後述するカプセル内視鏡のように、光ファイバを持たず、先端部に光源が装着された内視鏡であってもよい。

　制御装置３は、内視鏡２に接続されており、主に、内視鏡２による光出射の制御、および撮像素子２ｂからの画像信号の処理などを行う。制御装置３は、光源装置５と、プロセッサ６とを備えている。

　光源装置５は、青色光を生成する光源５ａと、光源５ａを駆動する光源駆動部５ｂと、を備えている。本実施形態において、光源５ａはＬＥＤ光源であるが、レーザ光源やキセノンランプ等の蛍光光源を用いることもできる。

　プロセッサ６は、記憶部６０と、ＡＤ変換部６ａと、画像取得部６ｂと、補正部６ｃと、特徴量抽出部６ｄと、関心領域設定部６ｅと、保存部６ｆと、比較部６ｇと、関心領域特定部６ｈと、マーキング部６ｉと、を備えている。なお、プロセッサ６は、制御装置３とは別体の装置（例えば汎用コンピュータ）であってもよい。

　記憶部６０は、プロセッサ６による演算処理に用いられる各種プログラムや、演算処理によって生成された各種データを一時的／非一時的に記憶するものであり、主記憶装置（メモリ）および補助記憶装置として機能する。主記憶装置は、ＤＲＡＭ、ＳＲＡＭなどで構成することができ、補助記憶装置は、ハードディスク、ＳＳＤなどで構成することができる。

　ＡＤ変換部６ａは、撮像素子２ｂからの画像信号をＡＤ変換し、デジタルの画像信号を画像取得部６ｂに出力する。画像取得部６ｂ～マーキング部６ｉの各部は、集積回路などによってハードウェア的に実現してもよいが、ソフトウェア的に実現することもできる。この場合、画像取得部６ｂ～マーキング部６ｉの各部は、プロセッサ６の図示しないＣＰＵまたはＧＰＵが、記憶部６０に格納されている画像処理プログラムを図示しない主記憶装置（メモリ）に読み出して実行することにより実現される。画像処理プログラムは、通信ネットワークを介して制御装置３にダウンロードしてもよいし、画像処理プログラムのプログラムコードを記録したＳＤカードやＣＤ－ＲＯＭ等のコンピュータ読み取り可能な非一時的な記録媒体を介して、上記プログラムを制御装置３に供給してもよい。

　画像取得部６ｂ～マーキング部６ｉの各部の機能については、図２および図３に示すフローチャートを参照しながら説明する。図２に示すステップＳ１～Ｓ６は、内視鏡による検診時に実施され、図３に示すステップＳ８～Ｓ１６は、内視鏡による手術（本実施形態では、ＥＳＤ（内視鏡的粘膜下層剥離術）時に実施される。

　ステップＳ１（第１取得ステップ）では、内視鏡２が観察対象（例えば、下部消化管臓器）に挿入された状態で光源装置５を作動させ、画像取得部６ｂが内視鏡画像を取得する。当該内視鏡画像を第１医用画像とする。

　続いて、ステップＳ２（第１補正ステップ）では、必要に応じて補正部６ｃが第１医用画像の不明瞭な部分を補正する。光源の反射や焦点のずれがある場合や、粘液や異物、気泡等が存在すると、第１医用画像が部分的に不明瞭になる。補正部６ｃは、異なるタイミングで得られた内視鏡画像中の対応箇所を前記不明瞭な部分に置き換えることにより、第１医用画像を補正する。

　図４および図５に、補正の例を示す。このような補正を行うことにより、病変部や特徴量の検出が容易になる。

　第１医用画像中に癌やポリープなどの病変がない場合（ステップＳ３においてＮＯ）、検診が終了するまで（ステップＳ７においてＹＥＳ）、内視鏡２を異なる位置に移動させてステップＳ１およびＳ２を繰り返す。第１医用画像中に病変がある場合（ステップＳ３においてＹＥＳ）、ステップＳ４に移行する。

　なお、病変有無の判定は、ユーザが目視で行ってもよいし、制御装置３が自動で行ってもよい。自動判定の方法としては、例えば、内視鏡画像として白色光画像と、光力学的診断法（ＰＤＤ：Photodynamic Diagonosis）に用いられる蛍光画像とを同時に撮影し、蛍光画像において病変部として検出された部位に対応する白色光画像の部位を病変部として判定する方法や、人工知能による判定方法がある。

　ステップＳ４（第１抽出ステップ）では、特徴量抽出部６ｄが、第１医用画像の特徴量を抽出する。本実施形態において、特徴量は血管パターンであり、特徴量抽出部６ｄは、血管パターンの中で特徴的な形状を呈している１または複数の箇所を特徴量として抽出する。

　図６は、異なる時期に撮影された同一人物の同一部位（回盲部）の内視鏡画像である。各画像の左上の数字は、撮影年月を示している。各画像における血管のパターンは、互いに同一であることから、血管構造は健康であれば経時的変化し難いことが分かる。例えば、丸枠で囲った部分は、同一部位であり、血管パターンが同じである。特徴量抽出部６ｄは、このような部分を特徴量として抽出する。

　ステップＳ５（第１設定ステップ）では、関心領域設定部６ｅが、第１医用画像に第１関心領域を設定する。本実施形態では、関心領域設定部６ｅは、病変部を囲むように第１関心領域を設定する。第１関心領域の設定は、自動であってもよいし、手動であってもよい。

　ステップＳ６では、保存部６ｆが、第１医用画像を特徴量および第１関心領域と関連付けて記憶部６０に保存する。なお、ステップＳ１～Ｓ６は、検診が終了するまで（ステップＳ７においてＹＥＳ）繰り返される。記憶部６０に保存されたデータを、参照用データＤ１と称する。

　続いて、内視鏡による手術時に図３に示すステップＳ８～Ｓ１５が実施される。

　ステップＳ８（第２取得ステップ）では、ステップＳ１と同様に、画像取得部６ｂが内視鏡画像を取得する。当該内視鏡画像を第２医用画像とする。すなわち、第２医用画像の撮影時期は、第１医用画像の撮影時期よりも後である。

　ステップＳ９（第２補正ステップ）では、必要に応じて補正部６ｃが第２医用画像の不明瞭な部分を補正する。補正方法は、ステップＳ２と同様である。

　ステップＳ１０（第２抽出ステップ）では、ステップＳ４と同様に、特徴量抽出部６ｄが第２医用画像の特徴量を抽出する。

　ステップＳ１１（比較ステップ）では、比較部６ｇが、参照用データＤ１を参照して、第１医用画像の特徴量と第２医用画像の特徴量とを比較する。特徴量を比較する方法は、特に限定されないが、例えば特許文献１に記載の方法を用いることができる。同じ特徴量がない場合（ステップＳ１２においてＮＯ）、第２医用画像と同一部位を含む第１医用画像が存在しないため、手術が終了するまで（ステップＳ１６においてＹＥＳ）、内視鏡２を異なる位置に移動させて、ステップＳ８～Ｓ１１を繰り返す。

　同じ特徴量がある場合（ステップＳ１２においてＹＥＳ）、同じ特徴量を含む第１医用画像および第２医用画像は、同一部位を含む画像であるとみなすことができる。続いて、ステップＳ１３（関心領域特定ステップ）に移行し、関心領域特定部６ｈが、ステップＳ１１の比較結果に基づいて、第２医用画像における第１関心領域と対応する第２関心領域を特定する。具体的には、関心領域特定部６ｈは、第１医用画像における特徴量と第１関心領域との位置関係を演算し、第２医用画像における対応する特徴量と前記位置関係から、第２関心領域を特定する。また、内視鏡２の先端位置と観察対象に対する方向の同定を行うこともできる。

　続いて、ステップＳ１４（表示ステップ）では、マーキング部６ｉが、第２医用画像において、第２関心領域を他の領域と識別可能に表示する。本実施形態では、マーキング部６ｉは、第２関心領域を枠で囲むことにより、他の領域と識別可能に表示する。これにより、検査時に病変部として検出された第１関心領域に対応する箇所が、第２医用画像において自動的に識別可能に表示される。

　ステップＳ１５では、ユーザ（医師）が、鉗子等を操作することにより、第２関心領域に対応する組織を切除する。なお、組織の切除は、自動で行ってもよく、この場合、第２関心領域は自動切除のためのナビゲーション情報となる。ステップＳ８～Ｓ１５は、手術が終了するまで（ステップＳ１６においてＹＥＳ）繰り返される。

　このように、本実施形態では、手術時に取得された第２医用画像において、検査時に取得された第１医用画像を参照することにより、自動的に、病変部が第２関心領域として特定される。よって、異なる内視鏡画像における位置関係を容易に把握できる。

　なお、特徴量は、観察対象に現れる生体組織の構造パターンであれば特に限定されず、血管のパターンの他、腺管、柔毛、リンパ管、粘膜の紋様（皺）、臓器自体の形状のパターンなどであってもよい。このようなパターンは個人に特有のものであるが、生体組織の種類によって経時的変化の可能性が異なる。例えば、血管やリンパ管のパターンは経時的変化の可能性が低く、代謝により構造が置き換わる腺管、柔毛、粘膜の紋様は経時的変化の可能性が中程度であり、人体や臓器の動きによって変化する臓器自体の形状は経時的変化の可能性が大きい。そのため、特徴量抽出部６ｄは、複数種類の特徴量を抽出した場合、経時的変化の可能性に応じて、特徴量に対し傾斜的に優先度をつけて評価することが好ましい。また、特徴量の経時的変化の可能性が高いほど、第１医用画像を取得するタイミングと第２医用画像を取得するタイミングとの差を短くすることが好ましい。

　また、特徴量抽出部６ｄは、フェデレーテッドラーニング（分散協調学習）を使用して特徴量を抽出することが好ましい。これにより、処理速度の高速化、および、情報の匿名化の条件下での解析が可能となる。

　また、異なる時期に撮影された画像間で対応する部位の特徴量は、基本的には健康であれば同じである。そのため、対応する部位の特徴量が互いに異なっていた場合は、疾病の発生の可能性がある。そのため、同じ部位の特徴量を経時的に検知することで、健康状態の判定、疾病発生の予測、病状の増悪や改善の程度を判定することが可能となる。

　［第２実施形態］
　以下、本発明の第２実施形態について説明する。なお、第１実施形態におけるものと同一の機能を有する部材については、同一の符号を付し、原則として、その詳細な説明を省略する。

　図７は、第２実施形態に係る内視鏡システム１１の構成を示すブロック図である。内視鏡システム１１は、内視鏡２と、制御装置１３と、モニタ４とを備えている。

　制御装置１３は、内視鏡２に接続されており、主に、内視鏡２による光出射の制御、および撮像素子２ｂからの画像信号の処理などを行う。制御装置１３は、光源装置５と、プロセッサ１６とを備えている。

　プロセッサ６は、記憶部６０と、ＡＤ変換部６ａと、画像取得部６ｂと、補正部６ｃと、特徴量抽出部６ｄと、関心領域設定部６ｅと、保存部６ｆと、比較部６ｇと、関心領域特定部６ｈと、教師データ生成部６ｊと、を備えている。画像取得部６ｂ～教師データ生成部６ｊの各部は、集積回路などによってハードウェア的に実現してもよいが、ソフトウェア的に実現することもできる。この場合、画像取得部６ｂ～教師データ生成部６ｊの各部は、プロセッサ１６の図示しないＣＰＵまたはＧＰＵが、記憶部６０に格納されている画像処理プログラムまたは教師データ生成プログラムを図示しない主記憶装置（メモリ）に読み出して実行することにより実現される。これらのプログラムは、通信ネットワークを介して制御装置１３にダウンロードしてもよいし、画像処理プログラムのプログラムコードを記録したＳＤカードやＣＤ－ＲＯＭ等のコンピュータ読み取り可能な非一時的な記録媒体を介して、上記プログラムを制御装置１３に供給してもよい。

　以下、画像取得部６ｂ～教師データ生成部６ｊの各部の機能について、図８および図９に示すフローチャートを参照しながら説明する。図８に示すステップＳ２１～Ｓ２５は、ある年度の検診時に実施され、図９に示すステップＳ２５～Ｓ３３は、その翌年度の内視鏡による手術（本実施形態では、ＥＳＤ（内視鏡的粘膜下層剥離術）時に実施される。

　ステップＳ２１（第２取得ステップ）では、内視鏡２が観察対象（例えば、下部消化管臓器）に挿入された状態で光源装置５を作動させ、画像取得部６ｂが内視鏡画像を取得する。当該内視鏡画像を第２医用画像とする。

　ステップＳ２２（第２補正ステップ）では、必要に応じて補正部６ｃが第２医用画像の不明瞭な部分を補正する。

　ステップＳ２３（第２抽出ステップ）では、特徴量抽出部６ｄが第２医用画像の特徴量を抽出する。

　ステップＳ２４では、保存部６ｆが、第２医用画像を特徴量と関連付けて記憶部６０に保存する。なお、ステップＳ２１～Ｓ２４は、検診が終了するまで（ステップＳ２５においてＹＥＳ）繰り返される。記憶部６０に保存されたデータを、過去データＤ２と称する。

　続いて、翌年度の検診時に図９に示すステップＳ２６～Ｓ３５が実施される。

　ステップＳ２６（第１取得ステップ）では、ステップＳ２１と同様に、画像取得部６ｂが内視鏡画像を取得する。当該内視鏡画像を第１医用画像とする。すなわち、第１医用画像の撮影時期は、第２医用画像の撮影時期よりも後である。

　ステップＳ２７（第１補正ステップ）では、必要に応じて補正部６ｃが第１医用画像の不明瞭な部分を補正する。

　第１医用画像中に病変があった場合（ステップＳ２８においてＹＥＳ）、ステップＳ２９に移行する。ステップＳ２９（第１抽出ステップ）では、特徴量抽出部６ｄが、第１医用画像の特徴量を抽出する。本実施形態において、特徴量は血管パターンである。

　ステップＳ３０（第１設定ステップ）では、関心領域設定部６ｅが、第１医用画像に第１関心領域を設定する。本実施形態では、関心領域設定部６ｅは、病変部を囲むように第１関心領域を設定する。第１関心領域を設定は、自動であってもよいし、手動であってもよい。

　ステップＳ３１（比較ステップ）では、比較部６ｇが、過去データＤ２を参照して、第１医用画像の特徴量と第２医用画像の特徴量とを比較する。同じ特徴量がない場合（ステップＳ３２においてＮＯ）、第１医用画像と同一部位を含む第２医用画像が存在しないため、処理を終了する。

　同じ特徴量がある場合（ステップＳ３２においてＹＥＳ）、同じ特徴量を含む第１医用画像および第２医用画像は、同一部位を含む画像であるとみなすことができる。続いて、ステップＳ３３（関心領域特定ステップ）に移行し、関心領域特定部６ｈが、ステップＳ３１の比較結果に基づいて、第２医用画像における第１関心領域と対応する第２関心領域を特定する。

　続いて、ステップＳ３４では、教師データ生成部６ｊが、ステップＳ３３で特定された第２関心領域を第２医用画像（過去データＤ２）に付加して、機械学習のための教師データＤ３を生成する。検査が終了するまで（ステップＳ３５においてＹＥＳ）、内視鏡２の位置を移動させてステップＳ２６～Ｓ３４を繰り返す。生成された教師データＤ３は、記憶部６０に保存される。

　本実施形態では、あるタイミングで、第２医用画像を取得し、所定期間（１年）経過後に、第１医用画像を取得する。そして、第１医用画像において病変が発見された場合、病変部に第１関心領域を設定し、第１医用画像の特徴量と第２医用画像の特徴量とを比較することにより、第２医用画像における第１関心領域（病変部）に対応する第２関心領域を特定している。仮に、第２関心領域が病変部を含まない場合、前記所定期間が経過するまでに、病変が発生したことになる。すなわち、第２関心領域の組織は、病変が発生する前段階であることとなる。

　よって、図８および図９に示すフローを複数の被検者について行うことにより、第２関心領域が付加された第２医用画像を教師データＤ３のセット（学習用データセット）として蓄積し、機械学習を行うことにより、下記のように、病変が発生していない組織の画像に基づいて、所定期間後の病変の発生を予測することが可能となる。

　続いて、教師データＤ３を用いた機械学習について説明する。

　図１０は、本実施形態に係る学習済みモデル生成装置７の構成を示すブロック図である。学習済みモデル生成装置７は、例えば汎用のコンピュータで構成することができ、記憶部７０と、学習部７ａとを備えている。

　記憶部７０は、学習済みモデル生成装置７による演算処理に用いられる各種プログラムや、演算処理によって生成された各種データを保存するものであり、例えば、ＨＤＤ、ＳＳＤなどで構成される。記憶部７０には、上述のプロセッサ６によって生成された教師データＤ３が格納されている。

　学習部７ａは、学習済みモデル生成装置７のＧＰＵまたはＣＰＵが所定の学習プログラムを実行することにより実現される機能ブロックであり、教師データＤ３を用いて機械学習を行う。これにより、学習部７ａは、未知の観察対象を内視鏡で撮影した内視鏡画像を入力とし、前記未知の観察対象における病変の発生に関する発病予測情報を出力とする学習済みモデルＤ４を生成する。学習法は特に限定されないが、例えば、ディープラーニング、サポートベクターマシン、ランダムフォレストなどを用いることができる。

　図１１は、本実施形態に係る学習済みモデル生成方法の処理手順を示すフローチャートである。

　ステップＳ４１では、上述のプロセッサ６において生成された教師データＤ３を学習済みモデル生成装置７に転送して、記憶部７０に格納する。

　ステップＳ４２では、学習部７ａがニューラルネットワークなどの学習モデルに教師データＤ３を入力することにより、機械学習を実行する。機械学習が完了すると、学習済みモデルＤ４が作成される（ステップＳ４３）。作成された学習済みモデルＤ４は、記憶部７０に保存される（ステップＳ４４）。

　続いて、学習済みモデルＤ４を用いた診断支援について説明する。

　図１２は、本実施形態に係る内視鏡システム２１の構成を示すブロック図である。内視鏡システム２１は、内視鏡２と、制御装置２３と、モニタ４とを備えている。

　制御装置２３は、内視鏡２に接続されており、主に、内視鏡２による光出射の制御、および撮像素子２ｂからの画像信号の処理などを行う。制御装置２３は、光源装置５と、プロセッサ２６とを備えている。

　プロセッサ２６は、記憶部６０と、ＡＤ変換部６ａと、画像取得部６ｂと、補正部６ｃと、特徴量抽出部６ｄと、関心領域設定部６ｅと、保存部６ｆと、比較部６ｇと、発病予測部６ｋと、を備えている。画像取得部６ｂと～発病予測部６ｋの各部は、制御装置２３のＧＰＵまたはＣＰＵが所定の発病予測プログラムを実行することにより実現される機能ブロックである。

　以下、画像取得部６ｂ～発病予測部６ｋの各部の機能について、図１３に示すフローチャートを参照しながら説明する。このフローは、本実施形態に係る学習済みモデル生成方法および発病予測方法の手順を示すものであり、不特定の被検者に対して行われる。

　ステップＳ５１では、内視鏡２を被検者の観察対象（例えば、下部消化管臓器）に挿入する。

　ステップＳ５２（第３取得ステップ）では、光源装置５を作動させ、画像取得部６ｂが内視鏡画像を取得する。

　ステップＳ５３では、必要に応じて補正部６ｃが内視鏡画像の不明瞭な部分を補正する。

　ステップＳ５４（発病予測ステップ）では、発病予測部６ｋが、学習済みモデルＤ４にステップＳ５２で取得された内視鏡画像を入力して、被検者の観察対象における病変の発生に関する発病予測情報を取得する。

　ステップＳ５５では、モニタ４に予測結果が表示される。なお、予測結果をユーザに報知する態様は、特に限定されない。

　以上のように、本実施形態に係る発病予測方法では、複数の異なる時期の内視鏡検査による内視鏡画像の経時的変化から、被験者が将来的に発病するリスクを予測するとともに、発病リスクの高い部位を特定することができる。特に、ゲノムまたはエピゲノム解析の結果により、癌等の病変の発症リスクの高い疾患が予想される集団に対し、上記発病予測方法による予測を行うことにより、発病を未然に防ぐための手段を講じることができる。

　例えば、大腸癌の分野では、全大腸癌のうち５－１０％が遺伝性であるといわれており、大腸ポリポーシスの中でも、遺伝子異常を背景とする家族性大腸ポリポーシスが複数知られている。これまでは特定の疾患に対しての遺伝子スクリーニング検査が主であったが、全ゲノム解析やがん遺伝子パネル検査が行われるようになると、偶発的に発見される大腸ポリポーシス患者が増加することが予想される。これらの患者に対しては、定期的な大腸内視鏡検査によるサーベイランスが推奨されているが、このような集団に対して内視鏡検査をする際に、その遺伝子データと内視鏡画像情報の関連性を探索することに加え、内視鏡検査動画の経時的な情報を比較することにより、内視鏡検査画像上のポリープの発現史を探り、今後の内視鏡検査における早期診断・治療のための知見を得ることができる。

　また、ゲノム及びエピゲノム解析と、内視鏡画像の経時的変化との関連性を機械学習し、これによって生成された人工知能学習アルゴリズムによって求めることにより、将来的な発病リスクをより正確に予測することが可能となる。

　さらに、上記発病予測方法によって、病変の発症リスクが高い部位と、実際に発症した部位との同定数から、社会的スクリーニング検査における、有効な内視鏡検査の時間的間隔を割り出すことができる。

　［第３実施形態］
　以下、本発明の第３実施形態について説明する。なお、第１および第２実施形態におけるものと同一の機能を有する部材については、同一の符号を付し、原則として、その詳細な説明を省略する。

　図１４は、第３実施形態に係る内視鏡システム３１の構成を示すブロック図である。内視鏡システム３１は、内視鏡２と、制御装置３３と、モニタ４とを備えている。

　制御装置３３は、内視鏡２に接続されており、主に、内視鏡２による光出射の制御、および撮像素子２ｂからの画像信号の処理などを行う。制御装置３３は、光源装置５と、プロセッサ３６とを備えている。

　プロセッサ３６は、記憶部６０と、ＡＤ変換部６ａと、画像取得部６ｂと、補正部６ｃと、特徴量抽出部６ｄと、関心領域設定部６ｅと、保存部６ｆと、比較部６ｇと、位置演算部６ｍと、拡大位置表示部６ｎと、画像合成部６ｐと、を備えている。画像取得部６ｂ～画像合成部６ｐの各部は、集積回路などによってハードウェア的に実現してもよいが、ソフトウェア的に実現することもできる。この場合、画像取得部６ｂ～画像合成部６ｐの各部は、プロセッサ３６の図示しないＣＰＵまたはＧＰＵが、記憶部６０に格納されている画像処理プログラムを図示しない主記憶装置（メモリ）に読み出して実行することにより実現される。画像処理プログラムは、通信ネットワークを介して制御装置３３にダウンロードしてもよいし、画像処理プログラムのプログラムコードを記録したＳＤカードやＣＤ－ＲＯＭ等のコンピュータ読み取り可能な非一時的な記録媒体を介して、上記プログラムを制御装置３３に供給してもよい。

　以下、画像取得部６ｂ～画像合成部６ｐの各部の機能について、図１５および図１６に示すフローチャートを参照しながら説明する。

　ステップＳ６１（第１取得ステップ）では、内視鏡２が観察対象（例えば、下部消化管臓器）に挿入された状態で光源装置５を作動させ、画像取得部６ｂが内視鏡画像を取得する。当該内視鏡画像を第１医用画像とする。

　続いて、ステップＳ６２（第１補正ステップ）では、必要に応じて補正部６ｃが第１医用画像の不明瞭な部分を補正する。

　第１医用画像中に癌やポリープなどの病変がない場合（ステップＳ６３においてＮＯ）、検診が終了するまで（ステップＳ６８においてＹＥＳ）、内視鏡２を異なる位置に移動させてステップＳ６１およびＳ６２を繰り返す。第１医用画像中に病変がある場合（ステップＳ６３においてＹＥＳ）、ステップＳ６４に移行する。

　ステップＳ６４（第１抽出ステップ）では、特徴量抽出部６ｄが、第１医用画像の特徴量を抽出する。本実施形態において、特徴量は腺管のパターンである。

　ステップＳ６５（第１設定ステップ）では、関心領域設定部６ｅが、第１医用画像において病変部の全体または一部に第１関心領域を設定する。第１関心領域Ｒ１が設定された第１医用画像の一例を図１７に示す。

　図１５に示すステップＳ６６では、保存部６ｆが、第１医用画像を特徴量および第１関心領域と関連付けて記憶部６０に保存する。なお、第１医用画像が保存される領域は、記憶部６０の補助記憶領域であっても主記憶領域であってもよい。記憶部６０に保存されたデータを、参照用データＤ５と称する。

　続いて、ステップＳ６７の拡大画像処理に移行する。図１６は、ステップＳ６７の詳細な手順を示している。

　拡大画像処理では、まずステップＳ６７－１において、内視鏡２の図示しない対物レンズを制御して拡大モードに変更し、観察窓が第１関心領域内に指向するように調整する。本実施形態では、倍率が８０倍であるとする。

　ステップＳ６７－２では、画像取得部６ｂが内視鏡画像を取得する。当該内視鏡画像を第２医用画像とする。すなわち、第２医用画像は、第１関心領域の一部を内視鏡２で拡大して撮影した画像である。第２医用画像の一例を図１８に示す。

　図１６に示すステップＳ６７－３（第２補正ステップ）では、必要に応じて補正部６ｃが第２医用画像の不明瞭な部分を補正する。

　ステップＳ６７－４（第２抽出ステップ）では、ステップＳ６４と同様に、特徴量抽出部６ｄが第２医用画像の特徴量を抽出する。

　ステップＳ６７－５（比較ステップ）では、比較部６ｇが、参照用データＤ５を参照して、第１医用画像の特徴量と第２医用画像の特徴量とを比較する。同じ特徴量がない場合（ステップＳ６７－６においてＮＯ）、第２医用画像は第１関心領域に含まれないものとみなすことができる。そのため、内視鏡２による撮影範囲が第１関心領域を全て網羅するまで（ステップＳ６７－１１においてＹＥＳ）、内視鏡２を第１関心領域中の異なる位置に指向させて、ステップＳ６７－２～Ｓ６７－５を繰り返す。

　同じ特徴量がある場合（ステップＳ６７－６においてＹＥＳ）、第２医用画像は第１関心領域に含まれるものとみなされ、ステップＳ６７－７（位置関係特定ステップ）に移行する。ステップＳ６７－７では、保存部６ｆが、第２医用画像を記憶部６０の主記憶領域に保存する。保存された第２医用画像を断片拡大画像Ｄ６と称する。

　続いて、ステップＳ６７－８において、位置演算部６ｍが、比較結果に基づき、第１医用画像と第２医用画像との位置関係を特定する。具体的には、位置演算部６ｍが、第１関心領域における特徴量の位置と、第２医用画像における特徴量の位置に基づき、第１関心領域における第２医用画像の位置を演算する。

　続いて、ステップＳ６７－９において、拡大位置表示部６ｎが、第１関心領域における第２医用画像の位置を識別可能にモニタ４に表示する。図１９は、図１７に示す第１医用画像において、第１関心領域Ｒ１中に第２医用画像が占める領域Ｒ２が示された画像の一例である。これにより、ユーザは、第２医用画像（拡大画像）の第１医用画像（通常倍率画像）における位置を把握することができる。

　従来の内視鏡検査では、通常倍率の画像から拡大画像または超拡大画像に切り換えた際に、拡大モードの内視鏡による撮影位置が同定し難くなるという欠点があった。これに対し、通常倍率画像の第１関心領域における拡大画像の位置を表示することにより、拡大画像または超拡大画像の位置が把握しやすくなる。

　続いて、ステップＳ６７－１０（画像合成ステップ）において、画像合成部６ｐが、記憶部６０に保存された第２医用画像（断片拡大画像Ｄ６）を合成する。ステップＳ６７－１０が最初に実行された時点では、記憶部６０に保存されている断片拡大画像Ｄ６は１つだけであるので、合成は行われない。ステップＳ６７－２～Ｓ６７－１０は、取得された第２領域が第１関心領域を全て網羅するまで（ステップＳ６７－１１においてＹＥＳ）、内視鏡２の指向方向を変えながら繰り返される。

　ステップＳ６７－１０が２度目に実行された時点で、記憶部６０には２つの断片拡大画像Ｄ６が保存されているため、画像合成部６ｐは、２つの断片拡大画像Ｄ６の互いに重複していない部分を繋ぎ合わせて合成拡大画像Ｄ７を生成する。

　その後、ステップＳ６７－２～Ｓ６７－１０が繰り返される度に、画像合成部６ｐは、新たに取得された第２医用画像を合成拡大画像Ｄ７にさらに合成する。これを繰り返すことにより、最終的に第１関心領域全体に対応する合成拡大画像Ｄ７が得られる。

　なお、第２医用画像が取得される度に画像合成を行ってもよいし、拡大モードで第１関心領域を全て撮影した後に、取得された第２医用画像をまとめて合成してもよい。すなわち、取得された第２領域が第１関心領域を全て網羅するまで（ステップＳ６７－１１においてＹＥＳ）、断片拡大画像Ｄ６を記憶部６０に蓄積しておき、その後、画像合成部６ｐが蓄積された全ての断片拡大画像Ｄ６の互いに重複していない部分を繋ぎ合わせて拡大画像Ｄ７を生成してもよい。

　ステップＳ６７－２～Ｓ６７－１１の処理が終了すると、ステップＳ６７－１２において、再び対物レンズを制御して拡大モードから変更前のモードに戻し、図１５に示すステップＳ６８に移行する。

　以上のように、拡大モードで得られた第２医用画像を合成することにより、関心領域全体の高精細な合成拡大画像を得ることができる。なお、高精細な合成拡大画像を第１医用画像とし、さらに倍率の高い超拡大モード（例えば５２０倍）で撮影された画像を第２医用画像として、上述のステップＳ６１～Ｓ６８を実施してもよい。

　これにより、図２０に示すように、超拡大モードによる第２医用画像の位置の把握が容易になり、第２医用画像を繋ぎ合せて合成することにより、さらに情報量の多い高精細な合成拡大画像を得ることができる。

　このようにして得られた合成拡大画像によって、通常倍率の画像を目視した程度では正常か異常かの判別が困難な病変部も正確に判別することが可能となる。さらに、合成拡大画像は、病理学的診断情報（病理学的標本所見情報）との対比により、病変の発病過程における画像的特徴の変化を推定するための人工知能アルゴリズムの生成に利用することができる。具体的なフローの一例を図２１に示す。

　まず、ステップＳ７１では、手術により第１関心領域を切除して病変部の組織を得る。

　続いて、ステップＳ７２において、切除された組織について検査を行い、病理学的診断情報を取得する。病理学的診断情報は、第１関心領域における病変部および非病変部の範囲に関する情報を含む。

　続いて、ステップＳ７３において、病理学的診断情報を合成拡大画像に付加して、教師データを作成する。

　ステップＳ７４では、生成された教師データを用いて機械学習を行う。その結果、ステップＳ７５において、学習済みモデルが生成される。この学習済みモデルに未知の観察対象から取得された拡大画像を入力すると、合成拡大画像中の複数の領域毎に病変部であるか否かの情報が出力される。これにより、未知の観察対象における病変部と非病変部との境界を識別することが可能となり、合成拡大画像中に病変の範囲を囲繞する環状の境界線を表示することができる。また、学習済みモデルの出力結果に基づいて、発病可能性のある部位を同定することも可能となる。

　［第４実施形態］
　以下、本発明の第４実施形態について説明する。なお、第１～第３実施形態におけるものと同一の機能を有する部材については、同一の符号を付し、原則として、その詳細な説明を省略する。

　図２２は、第４実施形態に係る内視鏡システム４１の構成を示すブロック図である。内視鏡システム４１は、内視鏡２と、制御装置４３と、モニタ４とを備えている。

　制御装置４３は、内視鏡２に接続されており、主に、内視鏡２による光出射の制御、および撮像素子２ｂからの画像信号の処理などを行う。制御装置４３は、光源装置５と、プロセッサ４６とを備えている。

　プロセッサ４６は、記憶部６０と、ＡＤ変換部６ａと、画像取得部６ｂと、補正部６ｃと、特徴量抽出部６ｄと、関心領域設定部６ｅと、保存部６ｆと、比較部６ｇと、位置演算部６ｍと、画像合成部６ｐと、展開画像生成部６ｑと、観察状態評価部６ｒと、を備えている。画像取得部６ｂ～観察状態評価部６ｒの各部は、集積回路などによってハードウェア的に実現してもよいが、ソフトウェア的に実現することもできる。この場合、画像取得部６ｂ～観察状態評価部６ｒの各部は、プロセッサ４６の図示しないＣＰＵまたはＧＰＵが、記憶部６０に格納されている画像処理プログラムを図示しない主記憶装置（メモリ）に読み出して実行することにより実現される。画像処理プログラムは、通信ネットワークを介して制御装置４３にダウンロードしてもよいし、画像処理プログラムのプログラムコードを記録したＳＤカードやＣＤ－ＲＯＭ等のコンピュータ読み取り可能な非一時的な記録媒体を介して、上記プログラムを制御装置４３に供給してもよい。

　以下、画像取得部６ｂ～観察状態評価部６ｒの各部の機能について、図２３および図２４に示すフローチャートを参照しながら説明する。

　内視鏡システム４１は、観察対象全体の２次元展開画像を生成することにより、内視鏡検査の支援を行う機能や、人体を模擬した模型を用いた内視鏡検査のシミュレーションにおいて、検査精度を評価する機能を有している。下記のフローでは、実際の内視鏡検査、および内視鏡検査のシミュレーションの両方の場合について説明する。

　ステップＳ８１（第１取得ステップ）では、内視鏡２が観察対象に挿入された状態で光源装置５を作動させ、画像取得部６ｂが内視鏡画像を取得する。当該内視鏡画像を第１医用画像とする。実際の内視鏡検査の場合、観察対象は、例えば下部消化管臓器などであるが、内視鏡検査のシミュレーションの場合、観察対象は、人体模型もしくは臓器模型の内部である。

　続いて、ステップＳ８２（第１補正ステップ）では、必要に応じて補正部６ｃが第１医用画像の不明瞭な部分を補正する。

　ステップＳ８３（第１抽出ステップ）では、特徴量抽出部６ｄが、第１医用画像の特徴量を抽出する。実際の内視鏡検査の場合、特徴量は、血管パターンなどの観察対象の表面に現れる組織構造のパターンである。内視鏡検査のシミュレーションの場合、特徴量抽出部６ｄは、人体模型に形成された生体組織の構造を模したパターンを特徴量として抽出する。

　第１医用画像中に病変がある場合（ステップＳ８４においてＹＥＳ）、ステップＳ８５（第１設定ステップ）に移行し、関心領域設定部６ｅが、第１医用画像に第１関心領域を設定する。第１医用画像中に病変がない場合（ステップＳ８４においてＮＯ）、ステップＳ８６に移行する。

　ステップＳ８６では、保存部６ｆが、第１医用画像を記憶部６０の主記憶領域に保存する。保存された第１医用画像を断片画像Ｄ８と称する。

　続いて、ステップＳ８７の画像合成処理に移行する。図２３は、ステップＳ８７の詳細な手順を示している。

　画像合成処理では、まずステップＳ８７－１において、内視鏡２を移動させる。本実施形態では、内視鏡２を観察対象の奥側に所定距離だけ移動させる。

　続いて、ステップＳ８７－２において、画像取得部６ｂが第２医用画像を取得する。当該内視鏡画像を第２医用画像とする。つまり、第２医用画像は、一度の内視鏡挿入において、第１医用画像に続いて連続的に撮影された画像である。

　ステップＳ８７－３（第２補正ステップ）では、必要に応じて補正部６ｃが第２医用画像の不明瞭な部分を補正する。

　ステップＳ８７－４（第２抽出ステップ）では、ステップＳ８３と同様に、特徴量抽出部６ｄが第２医用画像の特徴量を抽出する。

　第２医用画像中に病変がある場合（ステップＳ８７－５においてＹＥＳ）、ステップＳ８７－６（第２設定ステップ）に移行し、関心領域設定部６ｅが、第２医用画像に第２関心領域を設定する。第２医用画像中に病変がない場合（ステップＳ８７－５においてＮＯ）、ステップＳ８７－７に移行する。

　ステップＳ８７－７（比較ステップ）では、比較部６ｇが、断片画像Ｄ８を参照して、第１医用画像の特徴量と第２医用画像の特徴量とを比較する。同じ特徴量がない場合（ステップＳ８７－８においてＮＯ）、第１医用画像と第２医用画像との共通部分がないものとみなすことができる。そのため、ステップＳ８７－９において、内視鏡２をいったんステップＳ８７－１における移動方向と逆方向（本実施形態では手前）に移動させ、その後、ステップＳ８７－２～Ｓ８７－７を繰り返す。

　同じ特徴量がある場合（ステップＳ８７－８においてＹＥＳ）、第１医用画像および第２医用画像は共通部分を有するため、第２医用画像は第１医用画像と連続した画像であるとみなすことができる。続いて、ステップＳ８７－１０において、保存部６ｆが、第２医用画像を記憶部６０の主記憶領域に保存する。

　続いて、ステップＳ８７－１１において、位置演算部６ｍが、比較結果に基づき、第１医用画像と第２医用画像との位置関係を特定し、ステップＳ８７－１２（画像合成ステップ）において、画像合成部６ｐが、記憶部６０に保存された断片画像Ｄ８（第１医用画像）に第２医用画像を合成する。

　その後、検査またはシミュレーションが終了するまで（ステップＳ８７－１３においてＹＥＳ）、観察対象の異なる部位について、ステップＳ８７－１～Ｓ８７－１２を繰り返す。すなわち、一度の内視鏡挿入において、観察対象の異なる部位について、ステップＳ８７－２およびＳ８７－４を繰り返し、ステップＳ８７－２の各々で取得された複数の第２医用画像について、ステップＳ８７－７において、各第２医用画像の特徴量とその直前に取得された第２医用画像の特徴量とを比較し、ステップＳ８７－１１において、比較結果に基づいて、第１医用画像と第２医用画像との位置関係、および複数の第２医用画像同士の位置関係を特定し、ステップＳ８７－１２において、第１医用画像および複数の前記第２医用画像を繋ぎ合わせて３次元合成画像を生成する。これにより、断片画像Ｄ８に、複数の第２医用画像が合成され、最終的に３次元合成画像Ｄ９が生成され、図２３に示すステップＳ８７が終了する。３次元合成画像Ｄ９は、同一の特徴量を有する画像同士を繋ぎ合わせたものであるため、観察対象の内周面の全周に亘る撮影によって生成された内表面全体の画像とみなすことができる。

　その後、ステップＳ８８（展開画像生成ステップ）において、展開画像生成部６ｑが、３次元合成画像Ｄ９を展開した２次元展開画像Ｄ１０を生成する。

　３次元合成画像Ｄ９および２次元展開画像Ｄ１０には、ステップＳ８５およびＳ８７－６で設定された関心領域が表示される。そのため、ユーザは、３次元合成画像Ｄ９または２次元展開画像Ｄ１０を参照することにより、病変部およびその周囲の範囲が容易に把握できるようになる。また、異なる時期に得られた複数の３次元合成画像Ｄ９または２次元展開画像Ｄ１０を比較することにより、領域ごとの経時的な変化が比較しやすくなる。

　また、内視鏡検査のシミュレーションの場合、さらにステップＳ８９を実施する。ステップＳ８９（観察状態評価ステップ）では、観察状態評価部６ｒが、２次元展開画像Ｄ１０に基づき、観察対象における観察状態を評価する。観察状態とは、観察すべき領域（観察対象の全領域）に対する実際に観察できた領域の割合や、未観察領域の有無などである。前記割合は、内視鏡２を挿入した人体模型の観察対象（模擬した管腔臓器）の全体面積を、あらかじめ人体模型作製時に計測しておき、２次元展開画像Ｄ１０から求められた２次元展開画像Ｄ１０の面積を観察対象の全体面積で除算することにより計算できる。また、未観察領域は、内視鏡２を挿入した人体模型の観察対象の２次元展開図を参照用２次元展開図としてあらかじめ作成しておき、２次元展開画像Ｄ１０を参照用２次元展開画像に重ね合わせることにより、把握することができる。

　このように、シミュレーションにおいて観察状態を評価することにより、内視鏡検査の質や検査術者の熟練度の評価を行うことができる。なお、シミュレーションは、人体模型を用いたシミュレーションの他、ＶＲシミュレータ、ＡＲシミュレータなどのコンピュータシミュレータによっても行うことができる。

　なお、内視鏡２が胆管膵管用内視鏡または消化管用細径内視鏡である場合、胆膵または膵管の内腔壁構造、血管、粘膜などのパターンを撮影した画像情報によって、病変や分枝等の相対的位置情報のマッピングを行うことができる。

　［付記事項］
　以上、本発明の第１～第４実施形態について説明したが、本発明は上記第１～第４実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて、種々の変更が可能である。例えば、異なる実施形態に開示された技術的手段を適宜組み合わせて得られる形態も、本発明の技術的範囲に属する。

　例えば、上記第１～第４実施形態では、内視鏡による観察対象は主に下部消化管臓器（大腸）であったが、本発明はこれに限定されない。例えば、鼻腔、口腔、食道、胃、十二指腸、胆管、膵管、小腸、肺、その他の内臓も、観察対象とすることができる。また、観察対象は生体に限らず、第４実施形態のように、人体模型やＶＲ、ＡＲであってもよい。

　また、上記第１～第４実施形態では、内視鏡２は軟性内視鏡の一種である消化器内視鏡であったが、適用可能な内視鏡の種類は特に限定されない。本発明に適用可能な内視鏡の例を、表１に示す。

　なお、内視鏡には、ＮＯＴＥＳ（natural orifice transluminal endoscopic surgery）に用いられるものも含まれる。ＮＯＴＥＳとは、軟性内視鏡を口や肛門、膣などの自然孔から挿入し、胃壁などの管腔壁を経て腹腔内に到達させ、診断や処置を行う手技である。

　また、上記第１～第４実施形態では、画像処理の対象となる第１医用画像および第２医用画像が内視鏡画像であったが、本発明はこれに限定されず、例えば、ＭＲＩ画像、ＣＴ画像および超音波画像なども画像処理の対象とすることができる。ＭＲＩ画像およびＣＴ画像においては、血管構造や特定臓器の位置関係などが特徴量として使用できる。また、超音波画像においては、実質臓器内の血管、門脈、胆管、リンパ管などの脈管構造、特定臓器の位置関係などが特徴量として使用できる。

　［第５実施形態］
　本発明の第５実施形態は、２０１９年１０月１８日に出願された日本国特許出願第２０１９－１９０９９４号に基づく優先権を主張するものである。

　（第５実施形態の背景技術）
　近年、胃癌の原因の一つとされるH. pylori感染率は低下しているものの、超高齢化社会を迎え、胃癌の罹患数は未だ減少していない。内視鏡的粘膜下層剥離術の普及に伴い早期胃癌の内視鏡診断の重要性が増しているが、病変悪化診断や存在診断が難しい場合がある。また、多発癌の見逃しは一定の頻度存在し、病変を拾い上げる客観的な診断法の開発が望まれている。

　そのような診断法として、光力学的診断法（ＰＤＤ：Photodynamic Diagonosis）が挙げられる。ＰＤＤは、腫瘍親和性のある光感受性物質と励起光を組み合わせた診断方法である。５－アミノレブリン酸（５－ＡＬＡ）などの特定の光感受性物質を人体に投与すると、腫瘍組織や新生血管に光感受性物質が集積する。組織に集積した物質に対して励起光を照射し、励起された物質から発生する蛍光を検知することにより、病変の有無を診断することができる。

　ＰＤＤにおける蛍光画像は、病変部位と非病変部位の境界コントラストが、通常の白色光画像よりも向上している。しかし、蛍光画像はその特性上、非病変部の詳細な観察には適さない。

　これに対し、特開２００６－９４９０７号公報には、蛍光画像と白色光画像を同時に取得して、ＴＶモニタに並列表示することが開示されている。これらの２つの画像により、病変部と非病変部の両方を観察することができる。

　（第５実施形態の概要）
　（第５実施形態の発明が解決しようとする課題）
　しかしながら、特開２００６－９４９０７号公報では、蛍光画像と白色光画像を常に交互に見比べる必要があるため、医師の負担が大きく、診察に要する時間の短縮を図ることが難しい。

　第５実施形態の発明は、上記問題を解決するためになされたものであって、医用画像による観察を容易にする技術を提供することを課題とする。

　（課題を解決するための手段）
　上記課題を解決するために、第５実施形態の発明は以下の態様を含む。
項１．
　生体の観察対象の医用画像を取得する第１取得ステップと、
　前記観察対象の前記医用画像以外の医用情報を取得する第２取得ステップと、
　前記医用情報に基づいて、前記観察対象における病変に関する病変情報を生成する病変情報生成ステップと、
　前記医用画像に前記病変情報を付加する病変情報付加ステップと、
　前記病変情報が付加された前記医用画像をモニタに表示する表示ステップと、
を備えた画像処理方法。
項２．
　前記病変情報は、前記病変の位置を示す位置情報である、項１に記載の画像処理方法。
項３．
　前記医用画像は、内視鏡から前記観察対象に白色光が照射された時に撮像された白色光画像であり、
　前記医用情報は、光線力学的診断のために前記内視鏡から前記観察対象に光感受性物質を励起するための励起光が照射された時に撮像された蛍光画像である、項１または２に記載の画像処理方法。
項４．
　生体の観察対象の医用画像を取得する第１取得部と、
　前記観察対象の前記医用画像以外の医用情報を取得する第２取得部と、
　前記医用情報に基づいて、前記観察対象における病変に関する病変情報を生成する病変情報生成部と、
　前記医用画像に前記病変情報を付加する病変情報付加部と、
　前記病変情報が付加された前記医用画像をモニタに表示する表示部と、
を備えた画像処理装置。
項５．
　生体の観察対象の医用画像を取得する第１取得ステップと、
　前記観察対象の前記医用画像以外の医用情報を取得する第２取得ステップと、
　前記医用情報に基づいて、前記観察対象における病変に関する病変情報を生成する病変情報生成ステップと、
　前記医用画像に前記病変情報を付加する病変情報付加ステップと、
　前記病変情報が付加された前記医用画像をモニタに表示する表示ステップと、
をコンピュータに実行させるための画像処理プログラム。
項６．
　項５に記載の画像処理プログラムを記録したコンピュータ読み取り可能な非一時的な記録媒体。
項７．
　生体の観察対象の医用画像を取得する第１取得ステップと、
　前記観察対象の前記医用画像以外の医用情報を取得する第２取得ステップと、
　前記医用情報に基づいて、前記観察対象における病変に関する病変情報を生成する病変情報生成ステップと、
　前記医用画像に前記病変情報を付加して、機械学習のための教師データを生成する教師データ生成ステップと、
を備えた教師データ生成方法。
項８．
　前記医用画像は、内視鏡から前記観察対象に白色光を照射した時に撮像された白色光画像であり、
　前記医用情報は、光線力学的診断のために前記内視鏡から前記観察対象に光感受性物質を励起するための励起光を照射した時に撮像された蛍光画像である、項７に記載の教師データ生成方法。
項９．
　生体の観察対象の医用画像を取得する第１取得部と、
　前記観察対象の前記医用画像以外の医用情報を取得する第２取得部と、
　前記医用情報に基づいて、前記観察対象における病変に関する病変情報を生成する病変情報生成部と、
　前記医用画像に前記病変情報を付加して、機械学習のための教師データを生成する教師データ生成部と、
を備えた教師データ生成装置。
項１０．
　生体の観察対象の医用画像を取得する第１取得ステップと、
　前記観察対象の前記医用画像以外の医用情報を取得する第２取得ステップと、
　前記医用情報に基づいて、前記観察対象における病変に関する病変情報を生成する病変情報生成ステップと、
　前記医用画像に前記病変情報を付加して、機械学習のための教師データを生成する教師データ生成ステップと、
をコンピュータに実行させる教師データ生成プログラム。
項１１．
　項１０に記載の教師データ生成プログラムを記録したコンピュータ読み取り可能な非一時的な記録媒体。
項１２．
　項７または８に記載の教師データ生成方法によって生成された教師データを用いて機械学習を行い、
　未知の観察対象の前記医用画像を入力とし、前記未知の観察対象における病変に関する病変情報を出力とする学習済みモデルを生成する、学習済みモデル生成方法。
項１３．
　項７または８に記載の教師データ生成方法によって生成された教師データを用いて機械学習を行い、
　未知の観察対象の前記医用画像を入力とし、前記未知の観察対象における病変に関する病変情報を出力とする学習済みモデルを生成する学習部、
を備えた学習済みモデル生成装置。
項１４．
　被検者の観察対象の医用画像を取得する第３取得ステップと、
　項１２に記載の学習済みモデル生成方法によって生成された学習済みモデルに、前記第３取得ステップで取得された医用画像を入力して、前記被検者の観察対象における病変に関する病変情報を取得する病変情報取得ステップと、
を備えた診断支援方法。
項１５．
　被検者の観察対象の医用画像を取得する第３取得部と、
　項１３に記載の学習済みモデル生成装置によって生成された学習済みモデルに、前記第３取得部によって取得された医用画像を入力して、前記被検者の観察対象における病変に関する病変情報を取得する病変情報取得部と、
を備えた診断支援装置。
項１６．
　被検者の観察対象の医用画像を取得する第３取得ステップと、
　項１２に記載の学習済みモデル生成方法によって生成された学習済みモデルに、前記第３取得ステップで取得された医用画像を入力して、前記被検者の観察対象における病変に関する病変情報を取得する病変情報取得ステップと、
をコンピュータに実行させる診断支援プログラム。
項１７．
　項１６に記載の診断支援プログラムを記録したコンピュータ読み取り可能な非一時的な記録媒体。

　（第５実施形態の発明の効果）
　第５実施形態の発明によれば、医用画像による観察を容易にすることができる。
　（第５実施形態の詳細な説明）

　以下、本発明の第５実施形態について添付図面を参照して説明する。なお、本発明は、下記の実施形態に限定されるものではない。

　（システム構成）
　図２５は、本発明の第５実施形態に係る内視鏡システム１０１の構成を示すブロック図である。内視鏡システム１０１は、内視鏡１０２と、制御装置１０３と、モニタ１０４とを備えている。

　内視鏡１０２は、光線力学的診断（ＰＤＤ）による上部消化器の観察に用いられる消化器内視鏡であり、被検者が光物質を内服して所定時間（約３時間）経過後に、上部消化器に挿入される。なお、観察対象は上部消化器に限定されない。

　内視鏡１０２は、内部に光ファイバＦ１０１、Ｆ１０２を備えている。内視鏡１０２の先端部には、蛍光体１２１、光偏向拡散部材１２２および撮像素子１２３が配置されており、内視鏡１０２の先端面には、２つの出射窓および１つの観察窓が設けられている。蛍光体１２１は出射窓の一方に面しており、光偏向拡散部材１２２は出射窓の他方に面しており、撮像素子１２３は観察窓に面している。

　後述するように、光ファイバＦ１０１の先端からは、青色光（中心発光波長４４５ｎｍ）が出射され、光ファイバＦ１０２の先端からは、ＰＤＤのための紫色励起光（中心発光波長４１０ｎｍ）が出射される。光ファイバＦ１０１からの青色光は、蛍光体１２１によって白色光に変換され、出射窓の一方から照射される。光ファイバＦ１０２からの紫色励起光は、光偏向拡散部材１２２を介して出射窓の他方から照射される。また、観察窓への入射光は、図示しないレンズにより撮像素子１２３の受光面に結像する。撮像素子１２３は、入射光を光電変換して、アナログの画像信号を生成する。

　なお、内視鏡１０２の構造はこれに限定されない。例えば、後述するカプセル内視鏡のように、光ファイバを持たず、先端部に光源が装着された内視鏡であってもよい。

　制御装置１０３は、内視鏡１０２に接続されており、主に、内視鏡１０２による光出射の制御、および撮像素子１２３からの画像信号の処理などを行う。制御装置１０３は、光源装置１０５と、プロセッサ１０６とを備えている。なお、制御装置１０３は、特許請求の範囲に記載の画像処理装置および教師データ生成装置に対応する。

　光源装置１０５は、青色光を生成する光源１５１と、紫色励起光を生成する光源１５２と、光源１５１，１５２を駆動する光源駆動部１５３と、を備えている。本実施形態において、光源１５１，１５２はＬＥＤ光源であるが、レーザ光源やキセノンランプ等の蛍光光源を用いることもできる。

　プロセッサ１０６は、タイミングコントローラ１６１と、ＡＤ変換部１６２と、白色光画像取得部（第１取得部）１６３と、蛍光画像取得部（第２取得部）１６４と、病変情報生成部１６５と、病変情報付加部１６６と、表示部１６７と、記憶部１６８と、を備えている。

　タイミングコントローラ１６１は、光源駆動部１５３が光源１５１，１５２を駆動するタイミングを制御するための信号を出力する。具体的には、タイミングコントローラ１６１は、光源１５１，１５２が所定の周期（例えば１／６０ｍｓ）で交互に駆動するように、光源駆動部１５３を制御する。また、タイミングコントローラ１６１は、白色光画像取得部１６３および蛍光画像取得部１６４が後述する白色光画像および蛍光画像をそれぞれ取得するタイミングを制御するための信号を出力する。

　ＡＤ変換部１６２は、撮像素子１２３からの画像信号をＡＤ変換し、デジタルの画像信号を白色光画像取得部１６３および蛍光画像取得部１６４に出力する。

　白色光画像取得部１６３は、内視鏡１０２から観察対象に白色光が照射された時に撮像された白色光画像を取得する機能を有している。具体的には、タイミングコントローラ１６１は、光源１５１が駆動しているタイミングで、画像取得を許可する信号を白色光画像取得部１６３に出力する。これに応じて、白色光画像取得部１６３は、ＡＤ変換部１６２から出力された画像信号を取り込む。図２６は、白色光画像の一例である。

　蛍光画像取得部１６４は、内視鏡１０２から観察対象に光感受性物質を励起するための紫色励起光が照射された時に撮像された蛍光画像（ＰＤＤ画像）を取得する機能を有している。具体的には、タイミングコントローラ１６１は、光源１５２が駆動しているタイミングで、画像取得を許可する信号を蛍光画像取得部１６４に出力する。これに応じて、蛍光画像取得部１６４は、ＡＤ変換部１６２から出力される画像信号を取り込む。図２７は、図２６に示す白色光画像と同じ観察対象の蛍光画像の一例である。

　病変情報生成部１６５は、蛍光画像に基づいて、観察対象における病変に関する病変情報を生成する機能を有している。観察対象に腫瘍細胞などの病変が存在する場合、光感受性物質が腫瘍細胞内に蓄積されるため、紫色励起光の照射時に病変部から蛍光（波長６３５ｎｍ）が発せられる。これにより、蛍光画像では、病変部と非病変部（本実施形態では、腫瘍の存在しない部位を意味する）のコントラストが大きくなる。病変情報生成部１６５は、蛍光が検出される部位を病変部として識別し、病変の位置を示す位置情報を病変情報として生成する。

　なお、病変情報生成部１６５は、蛍光画像から病変情報を生成するために、蛍光画像および確定診断された病変情報を教師データとして機械学習を行うことにより生成されたアルゴリズムを用いてもよい。

　図２８は、図２７に示す蛍光画像に対して、病変部として識別された領域を囲う枠Ｈ１０１がマーキングされた画像である。枠Ｈ１０１で囲まれた領域の位置（座標）が、病変情報に対応する。なお、病変情報の生成は、蛍光画像の解析により自動で行ってもよいし、内視鏡システム１０１のユーザ（医師）が、マウスやタッチパネルなどの入力装置を操作することにより、手動で行ってもよい。

　病変情報付加部１６６は、白色光画像に病変情報を付加（アノテーション）する機能を有している。本実施形態では、病変情報付加部１６６は、病変情報生成部１６５が蛍光画像に基づいて生成した病変情報（病変部の位置）を、当該蛍光画像と略同時に取得された白色光画像に付加し、白色光画像において対応する座標の領域を、他の領域と識別可能にマーキングする。

　図２９は、図２６に示す白色光画像に対して、病変情報が付加された画像を示している。図２９では、図２８に示す枠Ｈ１０１で囲まれた領域と同一座標の領域に枠Ｈ１０２がオーバーレイ表示されている。

　白色光画像に病変情報を付加する態様は特に限定されない。蛍光画像および白色光画像の他の例を、図３０および図３１に示す。図３０（ａ）は、蛍光画像取得部１６４が取得した蛍光画像の一例であり、図３０（ｂ）は、図３０（ａ）に示す蛍光画像に対して、病変部として識別された領域に枠Ｈ１０３がマーキングされた画像である。

　病変情報生成部１６５は、蛍光画像において病変部として識別された領域の位置情報を病変情報として生成し、病変情報付加部１６６は、当該病変情報を白色光画像に付加する。図３１は、病変情報が付加された白色光画像の一例を示しており、図３０（ｂ）においてマーキングされた領域に対応する領域を囲むフォーカス枠Ｈ１０４がオーバーレイ表示されている。

　表示部１６７は、病変情報が付加された白色光画像をモニタ１０４に表示する機能を有している。これにより、モニタ１０４には、図２９および図３１に示すような、病変部が識別可能に示された白色光画像が表示されるため、ユーザは、病変部と非病変部を同時に認識することができる。よって、単に白色光画像と蛍光画像を並列表示する従来技術に比べ、白色光画像による観察が容易になり、診察に要する時間を短縮することが可能となる。

　なお、表示部１６７は、図３２に示すように、病変情報が付加された白色光画像とともに蛍光画像もモニタ１０４に表示してもよい。

　記憶部１６８は、プロセッサ１０６による演算処理に用いられる各種プログラムや、演算処理によって生成された各種データを保存するものであり、例えば、フラッシュメモリ、ＨＤＤ、ＳＳＤなどで構成される。

　なお、後述する教師データ生成モードでは、病変情報付加部１６６は、病変情報が付加された白色光画像を、機械学習のための教師データＤ１０１として記憶部１６８に保存する。この場合、病変情報付加部１６６は、特許請求の範囲に記載の教師データ生成部に対応する。保存処理は、ユーザによる操作に応じて行ってもよいし、所定の周期で行ってもよい。

　（診察モード）
　図２５に示す内視鏡システム１０１は、被検者の診察のための診察モード、および、教師データ生成のための教師データ生成モードの２つのモードで動作することができる。図３３は、診察モードにおける内視鏡システム１０１によって実施される画像処理方法の処理手順を示すフローチャートである。この場合、制御装置１０３は、特許請求の範囲に記載の画像処理装置として機能する。

　ステップＳ１０１では、被検者に光感受性物質（例えば、５－ＡＬＡ）を内服してもらい、所定時間経過後に、内視鏡１０２を上部消化管に挿入する。なお、光感受性物質の種類は特に限定されず、５－ＡＬＡの他、Ｌ－グルコサミン、フォトフリン、レザフィリンなどが挙げられる。

　その後、内視鏡１０２からは、白色光と紫色励起光とが交互に出射される。ステップＳ１０２（第１取得ステップ）では、観察対象に白色光が照射された時に、白色光画像取得部１６３が白色光画像を取得する。続いて、内視鏡１０２からの照射光が紫色励起光に切り替わると、ステップＳ１０３（第２取得ステップ）において、蛍光画像取得部１６４が蛍光画像を取得する。

　なお、ステップＳ１０３を実行した後に、ステップＳ１０２を実行してもよい。

　続いて、ステップＳ１０４（病変情報生成ステップ）では、病変情報生成部１６５が、蛍光画像に基づいて、観察対象における病変に関する病変情報を生成する。

　続いて、ステップＳ１０５（病変情報付加ステップ）では、病変情報付加部１６６が、白色光画像に病変情報を付加する。

　続いて、ステップＳ１０６（表示ステップ）では、表示部１６７が、病変情報が付加された白色光画像をモニタ１０４に表示する。

　ステップＳ１０３～Ｓ１０６は、白色光および紫色励起光が照射される毎に、診察が終了するまで（ステップＳ１０７においてＹＥＳ）、繰り返し実行される。例えば、白色光と紫色励起光とが切り替わる周期が１／６０ｍｓである場合、ステップＳ１０３～Ｓ１０６は、１／３０ｍｓの周期で実行される。これにより、病変情報が付加された白色光画像は動画としてモニタ１０４に表示される。

　なお、病変情報は、病変の位置を示す位置情報に限定されず、例えば、病変の有無のみを示す情報であってもよい。その場合、ステップＳ１０６では、病変が存在する白色光画像を表示する際に、病変が有る旨のアラームを白色光画像に表示したり、病変が有る旨の警告を音声で知らせてもよい。

　（教師データ生成モード）
　図３４は、教師データ生成モードにおける内視鏡システム１０１によって実施される教師データ生成方法の処理手順を示すフローチャートである。この場合、制御装置１０３は、特許請求の範囲に記載の教師データ生成装置として機能する。

　図３４に示すステップＳ１０１～Ｓ１０６は、図３３に示すステップＳ１０１～Ｓ１０６と同一である。ユーザは、病変情報が付加された白色光画像を見ながら、任意のタイミング（例えば、異なる観察部位に移動したタイミング）で白色光画像の保存指示を行うことができる。

　白色光画像の保存指示がなされると（ステップＳ１０８でＹＥＳ）、ステップＳ１０９において、病変情報付加部１６６は、病変情報が付加された白色光画像を、機械学習のための教師データＤ１０１として記憶部１６８に保存する。

　ステップＳ１０２～Ｓ１０９は、一人の被検者の診察が終了するまで（ステップＳ１１０においてＹＥＳ）、繰り返される。これにより、記憶部１６８には、教師データＤ１０１のセット（学習用データセット）が蓄積される。なお、本実施形態では、教師データＤ１０１を保存する記憶部１６８は、制御装置１０３に内蔵されているが、これに限定されず、外付けのストレージであってもよいし、クラウド上のストレージであってもよい。

　診察終了時点で、蓄積された教師データＤ１０１のデータ量が十分でない場合（ステップＳ１１１においてＮＯ）、再度、他の被検者に対してステップＳ１０１～Ｓ１１０を実行する。ステップＳ１０１～Ｓ１１０は、教師データＤ１０１が十分に蓄積されるまで（ステップＳ１１１においてＹＥＳ）繰り返される。なお、教師データ作成モードでは、被検者の診察を兼ねていたが、必ずしも臨床現場で実施する必要はない。

　以上のように、教師データ作成モードでは、病変情報生成部１６５が蛍光画像に基づいて病変情報を生成し（ステップＳ１０４）、病変情報付加部１６６が白色光画像に病変情報を付加することにより、教師データＤ１０１を作成している。後述するように、教師データＤ１０１を用いて機械学習を行うことにより、未知の白色光画像から病変の有無を予測するための学習済みモデルを生成することができる。

　従来では、本実施形態と同様の教師データを作成するために、人間が確定診断結果に基づいて白色光画像における病変部を特定し、特定した病変部にマーキングを行っていた。この作業を白色光画像の各々に対して行う必要があるため、教師データ生成作業の負担が大きく、機械学習に必要な教師データを蓄積するために多大な時間を要していた。

　これに対し、本実施形態では、白色光画像における病変部を蛍光画像から生成された病変情報を用いて特定しているため、教師データの生成が自動化できる。よって、短時間で大量の教師データを蓄積することができ、後述する学習済みモデルおよび診断支援プログラムを作成する難易度を下げることができる。

　ＰＤＤによる病変部の検出精度は非常に高く、鳥取大学医学部機能病態内科における臨床事例では、蛍光画像に基づいて陽性と診断された２６の病変部のうち、２３が悪性腫瘍であり、３が良性腫瘍であった。そのため、教師データＤ１０１は、確定診断に基づいて生成された従来の教師データに近い品質を有している。よって、後述するＡＩによる診断支援における感度特異度を高めることができる。

　また、図２５に示すプロセッサ１０６の少なくとも白色光画像取得部１６３、蛍光画像取得部１６４、病変情報生成部１６５、病変情報付加部１６６および表示部１６７は、集積回路などによってハードウェア的に実現してもよいが、プロセッサ１０６の図示しないＣＰＵまたはＧＰＵが、記憶部１６８に格納されている画像処理プログラムまたは教師データ生成プログラムを図示しない主記憶装置（メモリ）に読み出して実行することによりソフトウェア的に実現することもできる。

　この場合、上記プログラムは、通信ネットワークを介して制御装置１０３にダウンロードしてもよいし、上記プログラムのプログラムコードを記録したＳＤカードやＣＤ－ＲＯＭ等のコンピュータ読み取り可能な非一時的な記録媒体を介して、上記プログラムを制御装置１０３に供給してもよい。

　（学習済みモデルの生成）
　続いて、教師データＤ１０１を用いた機械学習について説明する。

　図３５は、本実施形態に係る学習済みモデル生成装置１０７の構成を示すブロック図である。学習済みモデル生成装置１０７は、例えば汎用のコンピュータで構成することができ、記憶部１７１と、学習部１７２とを備えている。

　記憶部１７１は、学習済みモデル生成装置１０７による演算処理に用いられる各種プログラムや、演算処理によって生成された各種データを保存するものであり、例えば、ＨＤＤ、ＳＳＤなどで構成される。記憶部１７１には、上述のプロセッサ１０６によって生成された（すなわち、本実施形態に係る教師データ生成方法によって生成された）教師データＤ１０１が格納されている。

　学習部１７２は、学習済みモデル生成装置１０７のＧＰＵまたはＣＰＵが所定の学習プログラムを実行することにより実現される機能ブロックであり、教師データＤ１０１を用いて機械学習を行う。これにより、学習部１７２は、未知の観察対象の白色光画像を入力とし、前記未知の観察対象における病変に関する病変情報を出力とする学習済みモデルＤ１０２を生成する。学習法は特に限定されないが、例えば、ディープラーニング、サポートベクターマシン、ランダムフォレストなどを用いることができる。

　図３６は、学習済みモデル生成装置１０７によって実施される学習済みモデル生成方法の処理手順を示すフローチャートである。

　ステップＳ１２０では、上述のプロセッサ１０６において生成された教師データＤ１０１を学習済みモデル生成装置１０７に転送して、記憶部１７１に格納する。

　ステップＳ１２１では、学習部１７２がニューラルネットワークなどの学習モデルに教師データＤ１０１を入力することにより、機械学習を実行する。機械学習が完了すると、学習済みモデルＤ１０２が作成される（ステップＳ１２２）。作成された学習済みモデルＤ１０２は、記憶部１７１に保存される（ステップＳ１２３）。

　（ＡＩによる診断支援）
　続いて、学習済みモデルＤ１０２を用いた診断支援について説明する。

　図３７は、本実施形態に係る内視鏡システム１１１の構成を示すブロック図である。内視鏡システム１１１は、内視鏡１１２と、制御装置１１３と、モニタ１１４とを備えている。

　内視鏡１１２は、白色光画像による上部消化管の観察に用いられるものである。すなわち、図２５に示す内視鏡１０２とは異なり、内視鏡１１２は蛍光画像の撮像機能を有していない。なお、観察対象は上部消化管に限定されない。

　内視鏡１１２は、内部に光ファイバＦ１０３を備えている。内視鏡１１２の先端部には、蛍光体２２１および撮像素子２２２が配置されており、内視鏡１０２の先端面には、出射窓および観察窓が１つずつ設けられている。蛍光体２２１は出射窓に面しており、撮像素子２２２は観察窓に面している。

　光ファイバＦ１０３の先端からは、青色光（中心発光波長４４５ｎｍ）が出射される。光ファイバＦ１０３からの青色光は、蛍光体２２１によって白色光に変換され、出射窓から照射される。観察窓への入射光は、図示しないレンズにより撮像素子２２２の受光面に結像する。撮像素子２２２は、入射光を光電変換して、アナログの画像信号を生成する。

　制御装置１１３は、内視鏡１１２に接続されており、主に、内視鏡１１２による光出射の制御、および撮像素子２２２からの画像信号の処理などを行う。制御装置１１３は、光源装置１１５と、プロセッサ１１６とを備えている。なお、制御装置１１３は、特許請求の範囲に記載の診断支援装置に対応する。

　光源装置１１５は、青色光を生成する光源２５１と、光源２５１を駆動する光源駆動部２５２と、を備えている。光源２５１は、図２５に示す光源１５１と同様のものを用いることができる。

　プロセッサ１１６は、タイミングコントローラ２６１と、ＡＤ変換部２６２と、白色光画像取得部（第３取得部）２６３と、記憶部２６４と、病変情報取得部２６５と、表示部２６６と、を備えている。

　タイミングコントローラ２６１は、光源駆動部２５２が光源２５１を駆動するタイミングを制御するための信号を出力するとともに、白色光画像取得部２６３が白色光画像を取得するタイミングを制御するための信号を出力する。

　ＡＤ変換部２６２は、撮像素子２２２からの画像信号をＡＤ変換し、デジタルの画像信号を白色光画像取得部２６３に出力する。

　白色光画像取得部２６３は、内視鏡１１２から観察対象に白色光が照射された時に撮像された白色光画像を取得する機能を有している。具体的には、タイミングコントローラ１６１は、光源２５１が駆動している間、画像取得を許可する信号を白色光画像取得部２６３に出力する。これに応じて、白色光画像取得部２６３は、ＡＤ変換部２６２から出力された画像信号を取り込む。なお、白色光画像取得部２６３は、光源２５１が駆動しているか否かに関わらず、常時、白色光画像を取得する構成としてもよい。

　記憶部２６４は、プロセッサ１１６による演算処理に用いられる各種プログラムや、演算処理によって生成された各種データを保存するものであり、例えば、フラッシュメモリ、ＨＤＤ、ＳＳＤなどで構成される。記憶部２６４には、上述の学習済みモデル生成装置１０７によって生成された（すなわち、本実施形態に係る学習済みモデル生成方法によって生成された）学習済みモデルＤ１０２があらかじめ格納されている。

　病変情報取得部２６５は、学習済みモデルＤ１０２を図示しない主記憶装置（メモリ）に読み出して、学習済みモデルＤ１０２に白色光画像取得部２６３によって取得された白色光画像を入力し、被検者の観察対象における病変に関する病変情報を学習済みモデルＤ１０２から取得する。本実施形態では、病変情報は、白色光画像における病変部の位置情報であるが、これに限定されず、例えば、病変の有無のみを示す情報であってもよい。

　さらに本実施形態では、病変情報取得部２６５は、取得した病変情報を白色光画像に付加して、病変情報が付加された白色光画像（例えば、病変部に枠が重畳された白色光画像）を生成する。表示部２６６は、病変情報が付加された白色光画像をモニタ１１４に表示する。これにより、ユーザに病変の疑われる部位が示される。

　このように、内視鏡システム１１１では、内視鏡１１２は蛍光画像を撮像する機能を有していないが、病変情報取得部２６５が、白色光画像を学習済みモデルＤ１０２に入力することによって、病変情報を取得している。すなわち、病変情報取得部２６５は、ＰＤＤによって得られる病変情報と同等の情報を白色光画像から得ることができる。したがって、ユーザは、白色光画像のみによって、ＰＤＤと同等の精度で病変を検知することができる。

　図３８は、内視鏡システム１１１によって実施される診断支援方法の処理手順を示すフローチャートである。

　ステップＳ１３０では、内視鏡１１２を被検者の上部消化管に挿入する。なお、内視鏡１１２の挿入前に光感受性物質の内服は行わない。

　ステップＳ１３１（第３取得ステップ）では、白色光画像取得部２６３が、内視鏡１１２から観察対象に白色光が照射された時に撮像された白色光画像を取得する。

　ステップＳ１３２（病変情報取得ステップ）では、病変情報取得部２６５が、学習済みモデルＤ１０２にステップＳ１３０で取得された白色光画像を入力して、被検者の観察対象における病変に関する病変情報を取得する。さらに、病変情報取得部２６５は、取得した病変情報を白色光画像に付加して、病変情報が付加された白色光画像を生成する（ステップＳ１３３）。

　ステップＳ１３４では、表示部２６６が、病変情報が付加された白色光画像をモニタ１１４に表示する。

　なお、病変情報が病変の有無のみを示す情報である場合、ステップＳ１３３およびＳ１３４の代わりに、例えば警告表示や音声によって、ユーザに病変が存在する可能性があることを警告するようにしてもよい。

　なお、図３７に示すプロセッサ１１６の少なくとも白色光画像取得部２６３、病変情報取得部２６５および表示部２６６は、集積回路などによってハードウェア的に実現してもよいが、プロセッサ１１６の図示しないＣＰＵまたはＧＰＵが、記憶部２６４に格納されている診断支援プログラムを図示しない主記憶装置（メモリ）に読み出して実行することによりソフトウェア的に実現することもできる。

　この場合、上記プログラムは、通信ネットワークを介して制御装置１１３にダウンロードしてもよいし、上記プログラムのプログラムコードを記録したＳＤカードやＣＤ－ＲＯＭ等のコンピュータ読み取り可能な非一時的な記録媒体を介して、上記プログラムを制御装置１１３に供給してもよい。

　（付記事項）
　以上、本発明の第５実施形態について説明したが、本発明は上記第５実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて、種々の変更が可能である。さらに、上記第５実施形態と上記第１～第４実施形態の少なくともいずれかとを適宜組み合わせた形態も、本発明の権利範囲に属する。

　例えば、上記第５実施形態では、内視鏡１０２は軟性内視鏡の一種である消化器内視鏡であったが、本発明ではこれに限定されない。本発明に適用可能な内視鏡の例を、表２に示す。

　また、上記第５実施形態では、病変情報の生成のために用いられる医用情報が蛍光画像（ＰＤＤ画像）であり、生成された病変情報が付加される医用画像が白色光画像であったが、医用画像および医用情報の組み合わせはこれに限定されない。例えば、病変情報が付加される医用画像は、画像強調内視鏡画像などの他の内視鏡画像であってもよい。本発明において適用可能な医用画像および医用情報の組み合わせの例を表３に示す。

　画像強調内視鏡画像には、ＮＢＩ（Narrow Band Imaging）、ＢＬＩ（Blue LAＳER Imaging）、ＬＣＩ（Linked Color Imaging）、ＡＦＩ（Autofluorescence Imaging）などがある。例えば、医用画像および医用情報として、白色光画像およびＮＢＩ、蛍光画像およびＮＢＩ、といった組み合わせが考えられる。

また、色素内視鏡画像は、内視鏡検査中に各種の色素剤の散布を行い、その反応を観察する色素内視鏡検査法で得られる画像であり、病変の認識・病変範囲の確定・深達度の評価に有用である。色素内視鏡検査法の手法、色素および原理の例を表４に示す。

　また、上記第５実施形態では、医用画像に付加するための病変情報を生成するための医用情報は、単一の情報であったが、複数の情報であってもよい。すなわち、複数の情報に基づいて病変情報を生成し、生成した病変情報を医用画像に付加してもよい。例えば、医用情報として蛍光画像およびＮＢＩを用い、これらから生成された病変情報を白色光画像に付加してもよい。この場合、蛍光画像で陽性かつＮＢＩで暗色である部位と、蛍光画像で陽性かつＮＢＩで明色である部位とでは、病理組織が異なる可能性がある。このように、複数の医用情報を用いることにより、より詳細な病変情報を得ることができ、教師データの質を高めることができる。

　また、上記のように複数の医用情報を用いて同時に取得した複雑な教師データは、病変部位と非病変部位の境界領域を示すのみならず、将来的に病変となりうる部位を特定するための学習モデルを作成するために用いることができる。また、このようにして作成された学習モデルは、ある領域が特定の将来の時点において病変部位となる可能性の近似値を予測として出力することも可能である。さらに、本発明の内視鏡システムによって得られた病変情報は、治療の際の補助情報として利用できる。例えば、病変部の境界情報は、自動的治療装置（自動内視鏡等）に治療対象の位置を指定するための情報として利用できる。

　本発明は、消化器内科だけでなく、外科、脳外科、泌尿器科、耳鼻咽喉科、呼吸器内科などのあらゆる診療科における医用画像を用いた診断に適用できる。

１　内視鏡システム
２　内視鏡
２ａ　蛍光体
２ｂ　撮像素子
３　制御装置
４　モニタ
５　光源装置
５ａ　光源
５ｂ　光源駆動部
６　プロセッサ（画像処理装置）
６ａ　ＡＤ変換部
６ｂ　画像取得部（第１取得部、第２取得部）
６ｃ　補正部
６ｄ　特徴量抽出部（第１抽出部、第２抽出部）
６ｅ　関心領域設定部（位置関係特定部）
６ｆ　保存部
６ｇ　比較部
６ｈ　関心領域特定部
６ｉ　マーキング部
６ｊ　教師データ生成部
６ｋ　発病予測部
６ｍ　位置演算部
６ｎ　拡大位置表示部
６ｐ　画像合成部
６ｑ　展開画像生成部
６ｒ　観察状態評価部
７　学習済みモデル生成装置
７ａ　学習部
１１　内視鏡システム
１３　制御装置
１６　プロセッサ（画像処理装置）
２１　内視鏡システム
２３　制御装置
２６　プロセッサ（画像処理装置）
３１　内視鏡システム
３３　制御装置
３６　プロセッサ（画像処理装置）
４１　内視鏡システム
４３　制御装置
４６　プロセッサ（画像処理装置）
６０　記憶部
７０　記憶部
Ｄ１　参照用データ
Ｄ２　過去データ
Ｄ３　教師データ
Ｄ４　学習済みモデル
Ｄ５　参照用データ
Ｄ６　断片拡大画像
Ｄ７　拡大画像
Ｄ７　合成拡大画像
Ｄ８　断片画像
Ｄ９　３次元合成画像
Ｄ１０　２次元展開画像
Ｆ　光ファイバ
Ｒ１　第１関心領域
Ｒ２　領域
１０１　内視鏡システム
１０２　内視鏡
１０３　制御装置
１０４　モニタ
１０５　光源装置
１０６　プロセッサ
１０７　学習済みモデル生成装置
１１１　内視鏡システム
１１２　内視鏡
１１３　制御装置
１１４　モニタ
１１５　光源装置
１１６　プロセッサ
１２１　蛍光体
１２２　光偏向拡散部材
１２３　撮像素子
１５１　光源
１５２　光源
１５３　光源駆動部
１６１　タイミングコントローラ
１６２　ＡＤ変換部
１６３　白色光画像取得部
１６４　蛍光画像取得部
１６５　病変情報生成部
１６６　病変情報付加部
１６７　表示部
１６８　記憶部
１７１　記憶部
１７２　学習部
２２１　蛍光体
２２２　撮像素子
２５１　光源
２５２　光源駆動部
２６１　タイミングコントローラ
２６２　ＡＤ変換部
２６３　白色光画像取得部
２６４　記憶部
２６５　病変情報取得部
２６６　表示部
Ｄ１０１　教師データ
Ｄ１０２　学習済みモデル
Ｆ１０１　光ファイバ
Ｆ１０２　光ファイバ
Ｆ１０３　光ファイバ

Claims

　観察対象を撮影または描出した第１医用画像を取得する第１取得ステップと、
　前記第１医用画像の特徴量を抽出する第１抽出ステップと、
　前記観察対象を撮影または描出した第２医用画像を取得する第２取得ステップと、
　前記第２医用画像の特徴量を抽出する第２抽出ステップと、
　前記第１医用画像の特徴量と前記第２医用画像の特徴量とを比較する比較ステップと、
　前記比較ステップの比較結果に基づいて、前記第１医用画像と前記第２医用画像との位置関係を特定する位置関係特定ステップと、
を備えた画像処理方法。
　前記第１医用画像および前記第２医用画像は、前記観察対象を内視鏡で撮影した内視鏡画像である、請求項１に記載の画像処理方法。
　前記特徴量は、前記観察対象の血管、リンパ管、腺管、柔毛または粘膜のパターンである、請求項２に記載の画像処理方法。
　前記第１抽出ステップの前に、前記第１医用画像の不明瞭な部分を補正する第１補正ステップと、
　前記第２抽出ステップの前に、前記第２医用画像の不明瞭な部分を補正する第２補正ステップと、
をさらに備えた、請求項２または３に記載の画像処理方法。
　前記第１医用画像に第１関心領域を設定する第１設定ステップをさらに備え、
　前記位置関係特定ステップは、前記比較結果に基づいて、第２医用画像における第１関心領域に対応する第２関心領域を特定する関心領域特定ステップを備えた、請求項２から４のいずれかに記載の画像処理方法。
　前記第２医用画像の撮影時期は、前記第１医用画像の撮影時期よりも後である、請求項５に記載の画像処理方法。
　前記第２医用画像において、前記第２関心領域を他の領域と識別可能に表示する表示ステップをさらに備えた、請求項６に記載の画像処理方法。
　前記第１医用画像の撮影時期は、前記第２医用画像の撮影時期よりも後である、請求項５に記載の画像処理方法。
　前記第１医用画像に第１関心領域を設定する第１設定ステップをさらに備え、
　前記第２医用画像は、前記第１関心領域の一部を前記内視鏡で拡大して撮影した画像である、請求項２から４のいずれかに記載の画像処理方法。
　前記第１医用画像における前記第２医用画像の位置を識別可能に表示する表示ステップをさらに備えた、請求項９に記載の画像処理方法。
　前記第２取得ステップ、第２抽出ステップ、比較ステップおよび位置関係特定ステップを繰り返して、位置の異なる複数の第２医用画像を取得し、
　前記複数の第２医用画像の互いに重複していない部分を繋ぎ合わせて合成拡大画像を生成する画像合成ステップ、
をさらに備えた、請求項９または１０に記載の画像処理方法。
　前記第２医用画像は、一度の内視鏡挿入において、前記第１医用画像に続いて連続的に撮影された画像である、請求項２から４のいずれかに記載の画像処理方法。
　前記一度の内視鏡挿入において、前記観察対象の異なる部位について、前記第２取得ステップおよび前記第２抽出ステップを繰り返し、
　前記各第２取得ステップで取得された複数の第２医用画像について、各第２医用画像の特徴量とその直前に取得された第２医用画像の特徴量とを比較し、
　前記比較結果に基づいて、前記第１医用画像と前記第２医用画像との位置関係、および前記複数の第２医用画像同士の位置関係を特定し、前記第１医用画像および複数の前記第２医用画像を繋ぎ合わせて３次元合成画像を生成する合成ステップをさらに備えた、請求項１２に記載の画像処理方法。
　前記３次元合成画像を展開した２次元展開画像を生成する展開画像生成ステップをさらに備えた、請求項１３に記載の画像処理方法。
　前記２次元展開画像に基づき、前記観察対象における観察状態を評価する観察状態評価ステップをさらに備えた、請求項１４に記載の画像処理方法。
　前記第２医用画像に基づいて、前記観察対象における病変に関する病変情報を生成する病変情報生成ステップと、
　前記第１医用画像に前記病変情報を付加する病変情報付加ステップと、
　前記病変情報が付加された前記第１医用画像をモニタに表示する第２表示ステップと、
を備えた、請求項１～１５のいずれかに記載の画像処理方法。
　前記病変情報は、前記病変の位置を示す位置情報である、請求項１６に記載の画像処理方法。
　前記第１医用画像は、内視鏡から前記観察対象に白色光が照射された時に撮像された白色光画像であり、
　前記第２医用画像は、画像強調内視鏡画像である、請求項１６または１７に記載の画像処理方法。
　前記第２医用画像は、光線力学的診断のために前記内視鏡から前記観察対象に光感受性物質を励起するための励起光が照射された時に撮像された蛍光画像である、請求項１８に記載の画像処理方法。
　請求項８に記載の画像処理方法の前記関心領域特定ステップで特定された前記第２関心領域を前記第２医用画像に付加して、機械学習のための教師データを生成する、教師データ生成方法。
　前記第１関心領域は病変部を含み、
　前記第２関心領域は前記病変部を含まない、請求項２０に記載の教師データ生成方法。
　請求項１１に記載の画像処理方法の前記画像合成ステップによって生成された前記合成拡大画像に、前記第１関心領域を切除して得られた組織の病理学的診断情報を付加して、機械学習のための教師データを生成する、教師データ生成方法。
　前記病理学的診断情報は、前記第１関心領域における病変部および非病変部の範囲に関する情報を含む、請求項２２に記載の教師データ生成方法。
　請求項２０または２１に記載の教師データ生成方法によって生成された教師データを用いて機械学習を行い、
　未知の観察対象を内視鏡で撮影した内視鏡画像を入力とし、前記未知の観察対象における前記病変の発生に関する発病予測情報を出力とする学習済みモデルを生成する、学習済みモデル生成方法。
　被検者の観察対象の内視鏡画像を取得する第３取得ステップと、
　請求項２４に記載の学習済みモデル生成方法によって生成された学習済みモデルに、前記第３取得ステップで取得された内視鏡画像を入力して、前記被検者の観察対象における前記病変の発生に関する発病予測情報を取得する発病予測ステップと、
を備えた発病予測方法。
　観察対象を撮影または描出した第１医用画像を取得する第１取得部と、
　前記第１医用画像の特徴量を抽出する第１抽出部と、
　前記観察対象を撮影または描出した第２医用画像を取得する第２取得部と、
　前記第２医用画像の特徴量を抽出する第２抽出部と、
　前記第１医用画像の特徴量と前記第２医用画像の特徴量とを比較する比較部と、
　前記比較部の比較結果に基づいて、前記第１医用画像と前記第２医用画像との位置関係を特定する位置関係特定部と、
を備えた画像処理装置。
　請求項１～１９のいずれかに記載の画像処理方法の各ステップをコンピュータに実行させる画像処理プログラム。
　請求項２７に記載の画像処理プログラムを記録したコンピュータ読み取り可能な非一時的な記録媒体。