JP7260060B2 - 情報処理装置、表示方法、及びプログラム - Google Patents

Description

本開示は、情報処理装置、表示方法、及びプログラムが格納された非一時的なコンピュータ可読媒体に関する。

内視鏡を用いた医療を支援するシステムが知られている。例えば、特許文献１は、カプセル型内視鏡により撮影された画像を表示する画像表示装置について開示している。この画像表示装置では、「Ａｕｔｏ」アイコンを選択する操作が行なわれると、出血部位の画像を自動的に抽出する処理が行われる。

特開２００６－０６１４６９号公報

内視鏡を用いた生体内の検査中に、ユーザ（例えば医師）による病変の検出に加え、内視鏡の撮影画像に対する検出処理によるリアルタイムな病変の検出が行われる場合、ユーザによる検出結果と検出処理による検出結果とが食い違うことがある。しかしながら、このような食い違いを容易に認識することが困難であった。これに対し特許文献１に開示された技術では、自動的に出血部位の画像を抽出するだけであり、自動的な抽出結果とユーザによる検出結果との比較については考慮されていない。

本開示はこのような問題点を解決するためになされたものであり、内視鏡の撮影画像に対する検出処理による検出結果とユーザによる検出結果との食い違いを容易に認識することができる情報処理装置、表示方法、及びプログラムを提供することを目的とする。

本開示の第１の態様にかかる情報処理装置は、
内視鏡を用いた検査の最中に前記内視鏡が撮影した一連の画像のうち、ユーザが保存を指示した病変画像の撮影時点を取得する第一の取得部と、
前記検査の最中に前記内視鏡が撮影した前記一連の画像に対する検出処理により検出された病変画像の撮影時点を取得する第二の取得部と、
前記第一の取得部が取得した撮影時点である第一の撮影時点と、前記第二の取得部が取得した撮影時点である第二の撮影時点とを、時間軸にプロットした表示を、表示装置に行う表示制御部と
を有する。

本開示の第２の態様にかかる表示方法では、
内視鏡を用いた検査の最中に前記内視鏡が撮影した一連の画像のうち、ユーザが保存を指示した病変画像の撮影時点を取得し、
前記検査の最中に前記内視鏡が撮影した前記一連の画像に対する検出処理により検出された病変画像の撮影時点を取得し、
ユーザが保存を指示した病変画像の撮影時点である第一の撮影時点と、前記検出処理により検出された病変画像の撮影時点である第二の撮影時点とを、時間軸にプロットした表示を、表示装置に行う。

本開示の第３の態様にかかるプログラムは、
内視鏡を用いた検査の最中に前記内視鏡が撮影した一連の画像のうち、ユーザが保存を指示した病変画像の撮影時点を取得する第一の取得ステップと、
前記検査の最中に前記内視鏡が撮影した前記一連の画像に対する検出処理により検出された病変画像の撮影時点を取得する第二の取得ステップと、
前記第一の取得ステップで取得された撮影時点である第一の撮影時点と、前記第二の取得ステップで取得された撮影時点である第二の撮影時点とを、時間軸にプロットした表示を、表示装置に行う表示制御ステップと
をコンピュータに実行させる。

本開示によれば、内視鏡の撮影画像に対する検出処理による検出結果とユーザによる検出結果との食い違いを容易に認識することができる情報処理装置、表示方法、及びプログラムを提供できる。

実施の形態１にかかる情報処理装置の構成の一例を示すブロック図である。 実施の形態２にかかる検査支援システムの構成を示すブロック図である。 プロセッサ装置が生成する表示画面の一例を示す模式図である。 実施の形態２にかかる情報処理装置の機能構成の一例を示すブロック図である。 入出力制御部の制御に基づく表示例を示す模式図である。 図５に示した時間軸のスケールを拡大した場合の表示例を示している。 図６に示した時間軸のスケールを拡大した場合の表示例を示している。 実施の形態１にかかる情報処理装置のハードウェア構成の一例を示す模式図である。 実施の形態１にかかる情報処理装置の動作の一例を示すフローチャートである。 実施の形態３にかかる情報処理装置の機能構成の一例を示すブロック図である。 実施の形態３にかかる情報処理装置の動作の一例を示すフローチャートである。 実施の形態４にかかる情報処理装置の機能構成の一例を示すブロック図である。 失敗検出部が失敗を検出した場合の表示例を示す模式図である。 実施の形態４にかかる情報処理装置の動作の一例を示すフローチャートである。 実施の形態５にかかる情報処理装置の機能構成の一例を示すブロック図である。 フィードバックデータの生成のために表示される画面の表示例を示す模式図である。 フィードバックデータの生成のために表示される画面の表示例を示す模式図である。 実施の形態５にかかる情報処理装置の動作の一例を示すフローチャートである。

説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。また、各実施の形態の特徴は、技術的な矛盾が生じない限り組み合わせることができる。

＜実施の形態１＞
図１は、実施の形態１にかかる情報処理装置１の構成の一例を示すブロック図である。情報処理装置１は、内視鏡を用いたユーザ（例えば医師）による検査を支援する装置であり、病変の検出に関する表示処理を行う。図１に示すように、情報処理装置１は、第一の取得部２と、第二の取得部３と、表示制御部４とを有する。

第一の取得部２は、内視鏡を用いた検査の最中に当該内視鏡が撮影した一連の画像のうち、ユーザが保存を指示した病変画像の撮影時点を取得する。なお、この撮影時点は、撮影が行われた時点のシステム時刻などのような絶対的な時刻であってもよいし、撮影開始時点を基準とした相対的な時刻であってもよい。例えば、第一の取得部２は、内視鏡システムのログデータに基づいて、上述した撮影時点を取得してもよいし、内視鏡システムから出力される動画を解析することにより、上述した撮影時点を特定して、この撮影時点を取得してもよい。病変画像とは、病変部位を含む画像、すなわち、病変部位が検出された画像をいう。ここで、病変とは、病気等に起因する生体組織の異常を言い、例えばポリープ又は腫瘍などが含まれるが、これらに限られない。ユーザは、内視鏡を用いた検査中にユーザが視認した病変部位が写った画像を保存するよう内視鏡システムに対して指示する。このため、ユーザが保存を指示した病変画像は、ユーザが視認した病変部位が写った病変画像であるとみなすことができる。

第二の取得部３は、検査の最中に内視鏡が撮影した一連の画像に対する検出処理により検出された病変画像の撮影時点を取得する。この検出処理は、任意の画像認識処理を行って、画像に写された病変部位を検出する処理である。したがって、第二の取得部３は、検出処理により病変部位が検出された画像（病変画像）の撮影時点、換言すると、検出処理により検出された病変部位が写された病変画像の撮影時点を取得する。

表示制御部４は、表示装置における情報の表示を制御する。具体的には、表示制御部４は、第一の取得部２が取得した撮影時点である第一の撮影時点と、第二の取得部３が取得した撮影時点である第二の撮影時点とを、時間軸にプロットした表示を、表示装置に行う。

本実施の形態によれば、内視鏡を用いた検査の最中にユーザが保存を指示した病変画像の撮影時点、すなわち、ユーザが検出した病変についての病変画像の撮影時点と、検出処理が検出した病変についての病変画像の撮影時点とが時間軸にプロットされる。このため、両者の撮影時点を時間軸上で対比させることができる。つまり、本実施の形態によれば、ユーザによる検出と、検出処理による検出とについて、それぞれ、検査中のどの時点で撮影対象となった病変を検出しているかを対比して示すことができる。このため、内視鏡の撮影画像に対する検出処理による検出結果とユーザによる検出結果との食い違いを容易に認識することができる。例えば、検査中のある時間帯において、一方の検出では病変画像が得られており、他方の検出では病変画像が得られていない場合、当該時間帯の検出において、検出結果の食い違いが生じている可能性があることを容易に把握することができる。

なお、情報処理装置１は、図示しない構成としてプロセッサ及びメモリを備えるものである。当該プロセッサは、当該メモリから、情報処理装置１の上述の処理が実装されたコンピュータプログラムを読み出して、当該コンピュータプログラムを実行する。これにより、当該プロセッサは、第一の取得部２、第二の取得部３、及び表示制御部４の機能を実現する。

または、第一の取得部２、第二の取得部３、及び表示制御部４は、それぞれが専用のハードウェアで実現されていてもよい。また、各装置の各構成要素の一部又は全部は、汎用または専用の回路（circuitry）、プロセッサ等やこれらの組合せによって実現されもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組合せによって実現されてもよい。また、プロセッサとして、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等を用いることができる。

また、情報処理装置１の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。また、情報処理装置１の機能がＳａａＳ（Software as a Service）形式で提供されてもよい。

以下、実施の形態１をより具体的にした実施の形態について説明する。
＜実施の形態２＞
図２は、実施の形態２にかかる検査支援システム１０の構成を示すブロック図である。検査支援システム１０は、内視鏡システム１００と情報処理装置２００と表示装置３００とを備える。内視鏡システム１００は、検査対象者の生体内の管腔を検査するために用いられる。例えば、大腸を検査するために用いられるが、他の消化管などの検査に用いられてもよい。

内視鏡システム１００は、内視鏡１１０と、光源装置１２０と、プロセッサ装置１３０と、表示装置１４０とを有する。内視鏡１１０は、光源装置１２０と光学的に接続され、さらに、プロセッサ装置１３０と電気的に接続している。

内視鏡１１０は、検査対象者である人物の体内に挿入される挿入部１１１と、挿入部１１１の先端の方向などを操作するための操作部１１２とを有する。内視鏡１１０には、体内を撮影する撮像部１１３が設けられている。撮像部１１３は、例えば、各種レンズ、撮像センサ、信号処理回路などを有している。この撮像センサとしては、例えば、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal-Oxide Semiconductor）などのセンサが用いられる。各種レンズ及び撮像センサは、例えば、挿入部１１１の先端に配置されており、その他の信号処理回路は、例えば、操作部１１２に配置されている。撮像部１１３は、プロセッサ装置１３０の制御に従い、撮影した画像についての画像信号をプロセッサ装置１３０に出力する。

挿入部１１１の内部には、光源装置１２０からの照明光を挿入部１１１の先端まで伝搬するライトガイドが設けられており、体内を照明光により照らすことができる。また、挿入部１１１には、電子メスなどの処置具を操作部１１２から挿入部１１１の先端へと導く処置具挿通路が設けられている。このため、ユーザ（医師）は、内視鏡１１０の撮影画像を見ながら、処置具により病変部位の切除などを行うことができる。また、挿入部１１１には、空気又は水などを挿入部１１１の先端から射出するためのノズルが設けられている。

光源装置１２０は、プロセッサ装置１３０の制御に従って、内視鏡１１０内に設けられた上述したライトガイドに、照明光を供給する装置である。光源装置１２０から出力された照明光は、ライトガイドを通って、内視鏡１１０の先端から射出される。これにより、体内の観察部位が照射される。

プロセッサ装置１３０は、内視鏡１１０、光源装置１２０、表示装置１４０、及び情報処理装置２００と電気的に接続している。また、プロセッサ装置１３０は、ユーザからの指示の入力を受付ける入力装置と接続されている。特に、本実施の形態では、この入力装置は、内視鏡１１０を用いた検査の最中に内視鏡１１０が撮影した画像の保存を指示する入力を受付ける。このような入力装置は、操作部１１２の機能として設けられてもよいし、表示装置１４０がタッチパネルにより構成されている場合には、このタッチパネルがそのような入力装置として機能してもよい。なお、キーボード又はマウスなどのように、上述した構成とは独立して設けられた入力装置が用いられてもよい。

プロセッサ装置１３０は、内視鏡システム１００の動作を統括的に制御する。特に、プロセッサ装置１３０は、内視鏡１１０から受信した画像信号に対して所定の画像処理を行って、表示装置１４０に表示するための撮影画像を生成する。また、プロセッサ装置１３０は、図３に示すように、撮影画像領域５０に撮影画像を配置し、非撮影画像領域５１に検査対象者の情報などの様々な参考情報の文字又は画像を配置した表示画像５２を生成する。表示画像５２は、表示装置１４０の画面全体に表示される画像である。プロセッサ装置１３０は、表示画像５２を表示装置１４０に表示するよう制御する。また、プロセッサ装置１３０は、表示画像５２を情報処理装置２００に出力する。なお、プロセッサ装置１３０は、撮影画像を情報処理装置２００に出力してもよい。このように、プロセッサ装置１３０は、表示画像５２又は撮影画像を情報処理装置２００に出力することにより、内視鏡１１０による現在の撮影画像を情報処理装置２００に順次出力する。換言すると、プロセッサ装置１３０は、内視鏡１１０が撮影した動画、すなわち、生体内の管腔を時間的に連続して撮影した一連の画像をリアルタイムに情報処理装置２００に出力する。なお、本実施の形態では、後述する情報処理装置２００において検査中にリアルタイムに病変部位を検出するために、プロセッサ装置１３０は情報処理装置２００にリアルタイムに画像を出力するが、必ずしもリアルタイムに画像を出力しなくてもよい。すなわち、情報処理装置２００によるリアルタイムな病変部位の検出が必要とされない場合においては、プロセッサ装置１３０は、リアルタイムに撮影画像を出力しなくてもよい。例えば、検査が終了し、一連の撮影が終わった後の任意の時点で、検査中に撮影された撮影画像を情報処理装置２００に出力してもよい。このように、プロセッサ装置１３０は、内視鏡１１０が撮影した画像を出力する画像出力装置として機能する。

また、プロセッサ装置１３０は、内視鏡１１０の撮影中に、撮影画像の保存を指示する入力を受付けると、当該入力を受付けたタイミングの撮影画像の画像データをメモリ等の記憶装置に保存する。ユーザは、例えば、病変部位が写った撮影画像を保存対象とする。したがって、プロセッサ装置１３０は、内視鏡１１０の撮影中に、ユーザが病変画像の保存を指示する入力をすると、当該入力が受付けられたタイミングの撮影画像の画像データを保存する。すなわち、プロセッサ装置１３０は、内視鏡１１０を用いた検査の最中に内視鏡１１０が撮影した一連の画像のうち、ユーザが保存を指示した病変画像を保存する。

ここで、本実施の形態では、プロセッサ装置１３０は、内視鏡１１０を用いた検査の最中にユーザが病変画像の保存を指示すると、指示時点から一定の時間が経過するまでの間、所定の特徴を有する画像を出力する。具体的には、例えば、プロセッサ装置１３０は、指示時点から一定の時間が経過するまでの間、保存対象の撮影画像を出力する。すなわち、この間、プロセッサ装置１３０は、同じ画像を連続して出力する。換言すると、プロセッサ装置１３０は、この間、一つ前の画像と同じであるという特徴を有する画像を出力する。これにより、表示装置１４０及び情報処理装置２００には、この間の一連の画像による映像として、フリーズした映像が出力される。このような処理により、表示装置１４０には、指示時点から一定の時間が経過するまでの間、所定の特徴を有する画像が表示される。このため、ユーザは、自らの指示に応じて、プロセッサ装置１３０による撮影画像の保存処理が行われたことを把握することができる。

なお、所定の特徴としては上述に限らず他の特徴であってもよい。例えば、指示時点から一定の時間が経過するまでの間、撮影画像だけではなく、保存対象となった画像のサムネイル画像も配置された表示画像５２を表示装置１４０及び情報処理装置２００に出力してもよい。この場合、プロセッサ装置１３０は、この間、所定の領域にサムネイル画像が配置されているという特徴を有する画像を出力する。

プロセッサ装置１３０は、例えば、メモリと、ＣＰＵ、ＧＰＵなどのプロセッサとを備え、プロセッサが１以上の命令を含むソフトウェア（コンピュータプログラム）をメモリから読み出して実行することで、プロセッサ装置１３０の処理を実現する。

表示装置１４０は、プロセッサ装置１３０が生成した表示画像５２を表示する。表示装置１４０は、具体的には、例えば、液晶ディスプレイ、プラズマディスプレイ、有機ＥＬ（Electro-Luminescence）ディスプレイなどのプラットパネルディスプレイである。

次に、情報処理装置２００及び表示装置３００について説明する。
表示装置３００は、情報処理装置２００と電気的に接続されており、情報処理装置２００の制御にしたがって画像を表示する装置である。表示装置３００は、具体的には、例えば、液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイなどのプラットパネルディスプレイである。本実施の形態では、表示装置３００は、タッチパネルとして構成され、ユーザからの入力を受付ける入力装置としても機能する。

情報処理装置２００は、図１の情報処理装置１に対応しており、ユーザ（例えば医師）の検査を支援する装置である。以下、情報処理装置２００の詳細について説明する。

図４は、情報処理装置２００の機能構成の一例を示すブロック図である。図４に示すように、情報処理装置２００は、出力画像取得部２１０と、病変検出部２２０と、操作ログ取得部２３０と、検出ログ取得部２４０と、画像選択部２５０と、入出力制御部２６０とを有する。

出力画像取得部２１０は、プロセッサ装置１３０が出力した画像群（撮影された動画を構成する各フレーム画像（静止画））を取得する。すなわち、出力画像取得部２１０は、内視鏡１１０を用いた検査の最中に内視鏡１１０が撮影した一連の画像を取得する。より詳細には、出力画像取得部２１０は、生体内の管腔を時間的に連続して撮影した一連の画像をプロセッサ装置１３０から取得する。本実施の形態では、出力画像取得部２１０は、内視鏡１１０による現在の撮影画像をリアルタイムに順次取得するが、必ずしもリアルタイムに取得しなくてもよい。なお、プロセッサ装置１３０からの出力が表示画像５２である場合、出力画像取得部２１０は、病変検出部２２０の処理に用いる撮影画像を得るために、表示画像５２から撮影画像領域５０に配置された撮影画像を切り出す処理を行う。

病変検出部２２０は、出力画像取得部２１０が取得した画像に対して、病変部位の検出処理を順次行う。すなわち、撮影された動画を構成する各フレーム画像に対して、順次、病変部位の検出処理を行う。本実施の形態では、病変検出部２２０は、病変部位の検出処理をリアルタイムに行う。例えば、病変検出部２２０は、撮影された動画のフレームレートよりも早い処理速度で検出処理を行うことが好ましい。病変検出部２２０は、公知の画像認識処理を行なって、画像から病変部位を検出する。この検出処理では、病変部位の画像内における位置も検出される。例えば、病変検出部２２０は、機械学習アルゴリズムにより予め学習されたモデルに対して、出力画像取得部２１０が取得した画像を入力することにより、病変部位の検出処理を行う。このモデルは、例えば、ＣＮＮ（Convolution Neural Network）などの深層学習により学習されたモデルであるが、他の機械学習アルゴリズムを用いて学習されたモデルであってもよい。病変検出部２２０は、例えば、上述したモデルから出力された、画像に病変部位が写されている確率を表わす指標値（確度）が、所定の閾値を超えるか否かに基づいて、当該画像に病変部位が写されているか否かを判定する。

病変検出部２２０は、病変部位を検出すると、後述するメモリ２９１などの記憶装置に、病変画像と、検出された病変部位の画像内の位置情報と、上述した指標値と、病変画像の撮影時点を表わす情報（以下、撮影時点情報と称す）とをログとして記憶する。ここで、撮影時点情報は、撮影が行われた時点が特定できる情報であればよい。例えば、撮影時点情報は、撮影が行われた時点のシステム時刻である。上述の通り、撮影された画像はリアルタイムで出力画像取得部２１０に取得され、リアルタイムで病変検出処理が行われる。このため、病変検出部２２０は、情報処理装置２００が画像を取得した時刻を当該画像の撮影時点情報としてもよいし、病変検出部２２０が病変検出処理を行った時刻を当該画像の撮影時点情報としてもよい。また、撮影時点情報は、プロセッサ装置１３０が付帯情報として画像データに付帯したものであってもよい。なお、撮影時点情報は、上述の通り、撮影が行われた時点を特定できる情報であればよいため、システム時刻ではなく、動画のフレーム番号が用いられてもよい。

操作ログ取得部２３０は、図１の第一の取得部２に対応している。操作ログ取得部２３０は、内視鏡１１０を用いた検査の最中に内視鏡１１０が撮影した一連の画像のうち、ユーザが保存を指示した病変画像の撮影時点を取得する。また、操作ログ取得部２３０は、ユーザが保存を指示した病変画像を取得する。以下の説明では、取得された撮影時点及び病変画像をログと称すことがある。

本実施の形態では、操作ログ取得部２３０は、プロセッサ装置１３０が出力した一連のフレーム画像（すなわち動画）を解析することにより、ユーザが保存を指示した病変画像の撮影時点及び当該病変画像を取得する。具体的には、操作ログ取得部２３０は、取得した撮影画像における所定の特徴の有無に基づいて、当該撮影画像の撮影時点が、保存の指示の発生時点であるか否かを判定する。操作ログ取得部２３０は、取得した撮影画像に所定の特徴が存在する場合、当該撮影画像の撮影時点に、保存の指示が入力されたと判定する。そして、操作ログ取得部２３０は、この撮影画像をユーザが保存を指示した病変画像として取得するととともに、当該撮影画像の撮影時点を、ユーザが保存を指示した病変画像の撮影時点として取得する。なお、操作ログ取得部２３０は、当該撮影画像の撮影時点から所定の時間だけ前後した時点をユーザが保存を指示した病変画像の撮影時点として取得してもよい。このように、操作ログ取得部２３０は、出力画像取得部２１０が取得した画像における所定の特徴の有無に基づいて、保存の指示の発生時点を判定することにより、ユーザが保存を指示した病変画像の撮影時点及び当該病変画像を取得する。

上述の通り、本実施の形態では、プロセッサ装置１３０は、内視鏡１１０を用いた検査の最中にユーザが病変画像の保存を指示すると、指示時点から一定の時間が経過するまでの間、撮影画像としてフリーズした映像を出力する。したがって、本実施の形態では、操作ログ取得部２３０は、判定対象の画像が、この画像の１フレーム前の画像と同じであるか否かに基づいて、保存の指示の発生時点を判定することにより、ユーザが保存を指示した病変画像の撮影時点及び当該病変画像を取得する。なお、プロセッサ装置１３０が、指示時点から一定の時間が経過するまでの間、所定の特徴として他の特徴を有する画像を出力する場合には、操作ログ取得部２３０は、この他の特徴の有無を判定すればよい。例えば、操作ログ取得部２３０は、出力画像取得部２１０が取得した画像にサムネイル画像が配置されているか否かを判定してもよい。

このような操作ログ取得部２３０の処理によれば、プロセッサ装置１３０からログデータを取得することなく、ユーザが保存を指示した病変画像と当該病変画像の撮影時点を表わす情報（撮影時点情報）とが取得される。なお、操作ログ取得部２３０が取得する病変画像は、上述の通り、ユーザが保存を指示した病変画像であると推定された画像である。すなわち、操作ログ取得部２３０は、出力画像取得部２１０が取得した画像群の中から、ユーザが保存を指示した病変画像であると推定される画像を探して、これを取得する。また、操作ログ取得部２３０が取得する撮影時点情報は、病変検出部２２０により記憶される撮影時点情報と同様、例えば、撮影が行われた時点のシステム時刻であってもよい。この場合、操作ログ取得部２３０は、出力画像取得部２１０がリアルタイムに画像を取得した時刻を当該画像の撮影時点情報としてもよいし、病変検出部２２０がリアルタイムに病変検出処理を行った時刻を当該画像の撮影時点情報としてもよい。また、操作ログ取得部２３０が取得する撮影時点情報は、プロセッサ装置１３０が付帯情報として画像データに付帯したものであってもよい。また、撮影時点情報は、システム時刻ではなく、動画のフレーム番号が用いられてもよい。

なお、操作ログ取得部２３０は、上述の処理により、検査中の保存指示の操作に関する情報を取得したが、ログデータをプロセッサ装置１３０から取得してもよい。すなわち、操作ログ取得部２３０は、プロセッサ装置１３０がログデータとして出力した、ユーザが保存を指示した病変画像の撮影時点及び当該病変画像を取得してもよい。この場合、操作ログ取得部２３０において、上述した、所定の特徴の有無に基づく、保存の指示の発生時点の判定処理は省略できる。

検出ログ取得部２４０は、図１の第二の取得部３に対応している。検出ログ取得部２４０は、内視鏡１１０を用いた検査の最中に内視鏡１１０が撮影した一連の画像に対する検出処理により検出された病変画像の撮影時点を取得する。また、検出ログ取得部２４０は、当該検出処理により検出された病変画像を取得する。本実施の形態では、検出ログ取得部２４０は、病変検出部２２０がログデータとして記憶装置に記憶した病変画像及び当該病変画像の撮影時点情報を当該記憶装置から取得する。

画像選択部２５０は、病変検出部２２０の検出処理で同一の病変部位が検出された複数の病変画像を特定し、特定された当該複数の病変画像の中から一つの画像（以下、代表画像と称す）を選択する。本実施の形態では、画像選択部２５０は、検出ログ取得部２４０が取得した病変画像群から、同一の病変部位が検出された複数の病変画像を特定し、それらの中から代表画像を選択する。例えば、画像選択部２５０は、病変画像を相互に比較することにより、同一の病変部位が検出された複数の病変画像を特定する。より詳細には、画像選択部２５０は、検出ログ取得部２４０が取得した病変画像のうち、撮影された動画を構成する連続する撮影画像（フレーム画像）に対して、病変部位の特徴点を用いた物体追跡処理を行う。これにより、画像選択部２５０は、同一の病変部位が検出された複数の病変画像を特定する。このような処理により、同一の病変部位が時間的に連続して撮影され続けた際に得られる、同一の病変部位が写った複数の画像が特定される。そして、画像選択部２５０は、同一の病変部位が検出された複数の病変画像の中から代表画像を選択する。画像選択部２５０は、例えば、これら複数の病変画像のうち、検出処理における検出の確度が最も高い病変画像を選択する。なお、検出処理における検出の確度が最も高い病変画像が複数存在する場合には、これらのうち、病変部位を見やすい画像を選択してもよい。例えば、画像選択部２５０は、病変部位を見やすい画像として、病変部位の画像内での位置が最も中心に近い画像を選択してもよいし、病変部位と病変部位以外のコントラストが最大である画像を選択してもよい。なお、画像選択部２５０は、物体追跡処理ではなく、画像の類似度を算出する処理を行うことにより、同一の病変部位が検出された複数の病変画像を特定してもよい。この場合、同一の病変部位が時間的に連続して撮影されていなくても、同一の病変部位が写った複数の画像の特定が可能である。
なお、画像選択部２５０は、代表画像として、複数の画像を選択してもよい。特に、画像選択部２５０は、同一の病変部位が検出された複数の病変画像の中から、撮影条件が異なる２以上の画像を選択してもよい。例えば、画像選択部２５０は、撮影アングルが異なる２以上の画像を選択してもよいし、撮影距離が異なる２以上の画像を選択してもよい。これにより、代表画像として、様々な画像が表示されることとなる。

入出力制御部２６０は、情報処理装置２００における情報の入出力を制御する。情報処理装置２００は、ユーザからの指示の入力を受付ける入力装置と接続されており、入出力制御部２６０は、当該入力装置からの入力の受付処理を行う。特に、本実施の形態では、この入力装置は、表示装置３００の表示を見るユーザからの入力を受付ける。本実施の形態では、表示装置３００がタッチパネルとして構成され、表示装置３００が入力装置としても機能する。なお、キーボード又はマウスなどのように、表示装置３００とは独立して設けられた入力装置が用いられてもよい。

また、入出力制御部２６０は、表示装置３００の表示を制御する。入出力制御部２６０は、図１の表示制御部４に対応している。したがって、特に、入出力制御部２６０は、操作ログ取得部２３０が取得した撮影時点と、検出ログ取得部２４０が取得した撮影時点とを、時間軸にプロットした表示を、表示装置３００に行う。すなわち、入出力制御部２６０は、ユーザからの指示により保存が行われた病変画像の撮影時点と、病変検出部２２０により病変が検出された病変画像の撮影時点とを、時間軸にプロットした表示を行うよう制御する。また、本実施の形態では、入出力制御部２６０は、さらに、撮影時点と対応付けて病変画像を表示する。すなわち、入出力制御部２６０は、ユーザからの指示により保存が行われた病変画像の撮影時点と対応付けて、この病変画像を表示する。同様に、入出力制御部２６０は、病変検出部２２０により病変が検出された病変画像の撮影時点と対応付けて、この病変画像を表示する。より詳細には、後述する図５などに示されるように、入出力制御部２６０は、病変画像のサムネイル画像を表示する。

図５は、入出力制御部２６０の制御に基づく表示装置３００の表示例を示す模式図である。図５を参照しつつ、本実施の形態の入出力制御部２６０の表示制御について説明する。

入出力制御部２６０は、表示装置３００の画面におけるログ一覧領域６０に、ログの表示が可能な検査のリストを表示する。図５に示した例では、２０１９年７月１９日に行われた３つの検査がリストに挙げられている。図５に示した例では、リストの各項目として、検査が行われた時間が表示されている。すなわち、検査の開始時刻と終了時刻が表示されている。入出力制御部２６０は、例えば、出力画像取得部２１０が取得した一連の画像の最初の画像の撮影時刻を検査の開始時刻とし、当該一連の画像の最後の画像の撮影時刻を検査の終了時刻と特定し、図５のような表示を行う。

入出力制御部２６０は、ログ一覧領域６０に表示されているリストの中からいずれかの項目を選択する入力をユーザから受付けると、表示装置３００の画面におけるログ表示領域６１に、操作ログ取得部２３０及び検出ログ取得部２４０が取得した情報を表示する。図５に示した例では、検査時刻が１４時００分から１４時３３分である検査についてのログが表示されている。

入出力制御部２６０は、ログ表示領域６１に、時間軸６２と、操作ログ取得部２３０が取得した撮影時点を時間軸６２上で明示する印６３と、検出ログ取得部２４０が取得した撮影時点を時間軸６２上で明示する印６４とを表示する。また、さらに、入出力制御部２６０は、操作ログ取得部２３０が取得した撮影時点に対応する病変画像と、検出ログ取得部２４０が取得した撮影時点に対応する病変画像を表示する。なお、より詳細には、病変画像のサムネイル画像が表示される。図５に示した例では、操作ログ取得部２３０が取得した撮影時点に対応する病変画像として病変画像６５ａ及び６５ｂが表示されており、検出ログ取得部２４０が取得した撮影時点に対応する病変画像として病変画像６６ａ、６６ｂ、及び６６ｃが表示されている。また、図５に示した例では、印６３及び印６４は、一例として矢印である。また、図５に示した例では、時間軸６２の上側に、操作ログ取得部２３０が取得した情報についての表示が行われている。すなわち、時間軸６２の上側に、ユーザが保存した病変画像についての表示が行われている。入出力制御部２６０は、操作ログ取得部２３０が取得した病変画像をユーザ（たとえば医師）の検出した病変画像として表示する。これに対し、時間軸６２の下側に、検出ログ取得部２４０が取得した情報についての表示が行われている。すなわち、時間軸６２の下側に、病変検出部２２０が検出処理により自動的に検出された病変についての表示が行われている。なお、図５に示した例は、一例に過ぎず、時間軸６２の上側の表示内容と下側の表示内容が逆であってもよいことは言うまでもない。また、図５に示した例では、時間軸６２は画面の横方向に延在しているが、もちろん、時間軸６２は他の方向に延在していてもよい。

また、図５に示した例では、入出力制御部２６０は、時間軸６２の目盛りを表示しているが、時間軸６２の目盛りの表示が省略されてもよい。なお、図５に示した例では、時間軸６２の始端の目盛りとして、検査開始時刻が表示され、時間軸６２の終端の目盛りとして、検査終了時刻が表示されているが、必ずしも、目盛りを検査時刻と対応付けていなくてもよい。例えば、時間軸６２の始端の目盛りの値を０とし、時間軸６２の終端の目盛りの値を、撮影された映像の時間長に相当する値としてもよい。

なお、入出力制御部２６０は、病変検出部２２０により検出された病変部位の画像内の位置を示すよう表示してもよい。図５に示した例では、具体的には、入出力制御部２６０は、病変部位を囲む枠６７を表示している。

また、図５から図７に示すように、入出力制御部２６０は、ユーザから入力された指示に基づいて、時間軸６２のスケールを拡大又は縮小して表示する。入出力制御部２６０は、そのような指示として、例えば、時間軸６２をタッチ（タップ）又はクリックする操作が行なわれると、時間軸６２のスケールを変更してもよい。このようにすることにより、ログの閲覧における利便性を向上することができる。

図６は、図５に示した時間軸６２のスケールを拡大した場合の表示例を示している。図６に示した例では、図５に示した例よりも時間軸６２のスケールが拡大され、検査時刻が１４時１５分から１４時１８分までの時間帯のログが表示されている。また、図７は、図６に示した時間軸６２のスケールを拡大した場合の表示例を示している。図７に示した例では、図６に示した例よりも時間軸６２のスケールが拡大され、検査時刻が１４時１６分２０秒から１４時１６分５０秒までの時間帯のログが表示されている。

入出力制御部２６０は、表示対象の時間帯のログのうち、実際に表示するログを、時間軸６２のスケールに応じて変更してもよい。図５に示したように、スケールが縮小されている表示では、表示対象の時間帯（図５では、具体的には１４時００分から１４時３３分）に属する全てのログを表示すると、表示が煩雑になる恐れがある。このため、例えば、入出力制御部２６０は、所定のスケールよりも縮小されたスケールの時間軸６２を用いて表示される場合、表示対象の時間帯のログのうち一部のログだけを表示するようにしてもよい。すなわち、入出力制御部２６０は、一部の撮影時点及び当該撮影時点に対応する撮影画像だけを表示してもよい。なお、この場合において、撮影時点については、表示対象の時間帯の全ての撮影時点を表示し、撮影画像についてだけ、一部の撮影画像に表示を限定してもよい。入出力制御部２６０は、一部の撮影画像を選択する際、任意の選択基準により選択すればよい。例えば、入出力制御部２６０は、検出処理における検出の確度の大きさに基づいて選択してもよい。

図を参照し、上述した一部のログの表示について具体的に説明する。図６に示した例では、１４時１５分から１４時１８分の間に、病変検出部２２０の検出処理のログとして、病変画像６６a、６６ｄ、６６ｂが表示されている。これに対して、図５に示した例では、図６と同じ時間帯に着目すると、病変検出部２２０の検出処理のログとして、病変画像６６a、６６ｂだけが表示されている。同様に、図７に示した例では、１４時１６分２０秒から１４時１６分５０秒の間に、病変検出部２２０の検出処理のログとして、病変画像６６ｄ、６６ｂ、６６ｅが表示されている。これに対して、図６に示した例では、図７と同じ時間帯に着目すると、病変検出部２２０の検出処理のログとして、病変画像６６ｄ、６６ｂだけが表示されている。

また、入出力制御部２６０は、同一の病変部位が検出された複数の病変画像のうち、上述した画像選択部２５０により代表画像として選択された病変画像だけを表示してもよい。すなわち、同一の病変部位が検出された複数の病変画像のうち、代表画像として選択されていない病変画像については、表示を割愛してもよい。このとき、入出力制御部２６０は、代表画像として選択されている病変画像の撮影時点を表示し、同一の病変部位が検出された複数の病変画像のうち代表画像として選択されていない病変画像の撮影時点の表示を割愛してもよい。このようにすることにより、重複した病変についての表示が割愛され、視認性が向上する。本実施の形態では、所定のスケールよりも縮小されたスケールの時間軸６２を用いて表示される場合に、入出力制御部２６０は、同一の病変部位が検出された複数の病変画像のうち代表画像として選択された病変画像だけを表示する。これについて、図を参照して具体例を述べる。図７に示した例では、同一の病変部位が撮影されてる病変画像６６ｂと病変画像６６ｅが表示されているのに対し、図６に示した例では、それら撮影画像のうち代表画像である病変画像６６ｂだけが表示されている。

次に、情報処理装置２００のハードウェア構成の一例について説明する。図８は、情報処理装置２００のハードウェア構成の一例を示す模式図である。図８に示すように、情報処理装置２００は、入出力インタフェース２９０、メモリ２９１、及びプロセッサ２９２を含む。

入出力インタフェース２９０は、プロセッサ装置１３０、及び表示装置３００などの他の任意の装置と通信するための入出力回路である。

メモリ２９１は、例えば、揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。メモリ２９１は、プロセッサ２９２により実行される、１以上の命令を含むソフトウェア（コンピュータプログラム）、及び情報処理装置２００の各種処理に用いるデータなどを格納するために使用される。

プロセッサ２９２は、メモリ２９１からソフトウェア（コンピュータプログラム）を読み出して実行することで、図４に示した各構成要素の処理を行う。具体的には、プロセッサ２９２は、出力画像取得部２１０、病変検出部２２０、操作ログ取得部２３０、検出ログ取得部２４０、画像選択部２５０、及び入出力制御部２６０の処理を行う。

プロセッサ２９２は、例えば、ＣＰＵ、ＧＰＵなどであってもよい。プロセッサ２９２は、複数のプロセッサを含んでもよい。
このように、情報処理装置２００は、コンピュータとしての機能を備えている。

なお、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（ｔａｎｇｉｂｌｅ ｓｔｏｒａｇｅ ｍｅｄｉｕｍ）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ ＰＲＯＭ）、フラッシュＲＯＭ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

次に、情報処理装置２００の動作例について説明する。図９は、情報処理装置２００の動作の一例を示すフローチャートである。以下、図９のフローチャートを参照しつつ、動作例について説明する。

ステップＳ１００において、出力画像取得部２１０は、プロセッサ装置１３０が出力した、撮影された動画を構成する各フレーム画像を取得する。ステップＳ１００の後、処理はステップＳ１１０及びステップＳ１２０へ移行する。ステップＳ１１０からステップＳ１１２までの処理と、ステップＳ１２０からステップＳ１２１までの処理は、例えば並行して行われるが、順番に行われてもよい。

ステップＳ１１０からステップＳ１１２の処理について説明する。
ステップＳ１１０において、病変検出部２２０は、ステップＳ１１０で取得した画像に対して、病変部位の検出処理を順次行う。病変検出部２２０は、病変部位を検出すると、ログを記憶する。
次に、ステップＳ１１１において、検出ログ取得部２４０は、ログとして記憶された病変画像及び当該病変画像の撮影時点情報を取得する。
次に、ステップＳ１１２において、画像選択部２５０は、ステップＳ１１１で取得された病変画像に対し、同一の病変部位が検出された複数の病変画像を特定し、特定された当該複数の病変画像の中から代表画像を選択する。なお、同一の病変部位が検出された複数の病変画像を集約した表示を入出力制御部２６０が行わない場合には、本ステップは省略されてもよい。

ステップＳ１２０からステップＳ１２１の処理について説明する。
ステップＳ１２０において、操作ログ取得部２３０は、ステップＳ１００で取得された画像を解析することにより、ユーザが保存を指示したタイミングを特定する。すなわち、操作ログ取得部２３０は、静止画（病変画像）の保存操作の発生タイミングを特定する。そして、ステップＳ１２１において、操作ログ取得部２３０は、検査中に行われた保存指示の操作についてのログを取得する。具体的には、操作ログ取得部２３０は、ステップＳ１２０で特定されたタイミングに基づいて、ユーザが保存を指示した病変画像の撮影時点及び当該病変画像を取得する。

ステップＳ１１２及びステップＳ１２１の処理の後、処理はステップＳ１３０へ移行する。ステップＳ１３０において、入出力制御部２６０は、表示装置３００において、ログを表示する。

以上、実施の形態２について説明した。本実施の形態によれば、内視鏡を用いた検査の最中にユーザが保存を指示した病変画像の撮影時点と、情報処理装置２００が検出した病変についての病変画像の撮影時点とが病変画像とともに時間軸にプロットされる。すなわち、ユーザが検出した病変についての病変画像の撮影時点と、自動的に検出された病変についての病変画像の撮影時点とが病変画像とともに時間軸にプロットされる。このため、両者の検出状況を時間軸上で対比させることができる。したがって、自動的な検出処理による検出結果とユーザによる検出結果との食い違いを容易に認識することができる。

＜実施の形態３＞
次に、実施の形態３について説明する。例えば、大腸の内視鏡検査では、まず、内視鏡１１０を大腸の始端側（小腸と接続している端部側）まで挿入する。その後、実質的な検査が開始される。つまり、大腸の始端側から大腸の終端側（肛門と接続している端部側）に向けて順番に内視鏡１１０による観察が行われる。このように、内視鏡１１０の位置が検査のスタート位置に到達した後に、実際の検査が開始される。つまり、ユーザは、内視鏡１１０の位置が検査のスタート位置に到達するまでは、病変の検出は行わない、すなわち病変画像の保存指示は行わないことが想定される。一方、病変検出部２２０は、内視鏡１１０の位置が検査のスタート位置に到達するまでの間に撮影された画像からも病変画像を検出しうる。しかしながら、上述した通り、ユーザの実質的な検査は、内視鏡１１０の位置が検査のスタート位置に到達した後に行われるため、内視鏡１１０の位置が検査のスタート位置に到達するまでの間のログを表示装置３００に表示する利点は乏しい。

そこで、本実施の形態では、内視鏡１１０の位置が検査のスタート位置に到達した後のログを表示装置３００に表示する構成について説明する。
以下、実施の形態２と異なる点について説明し、重複する説明は適宜割愛する。本実施の形態では、情報処理装置２００の代わりに、情報処理装置２０１が用いられる。

図１０は、実施の形態３にかかる情報処理装置２０１の機能構成の一例を示すブロック図である。図１０に示すように、情報処理装置２０１は、所定部位画像特定部２６５をさらに有する点で、実施の形態２にかかる情報処理装置２００と異なっている。なお、所定部位画像特定部２６５の処理は、例えば、プロセッサ２９２が、メモリ２９１からソフトウェア（コンピュータプログラム）を読み出して実行することで実現される。

所定部位画像特定部２６５は、内視鏡１１０を用いた検査の最中に内視鏡１１０が撮影した一連の画像のうち、生体内の管腔の所定の部位が撮影された画像を特定する。例えば、大腸の内視鏡検査の場合、この所定の部位は、大腸の始端側に存在する部位であってもよい。この場合、具体的には、例えば、所定の部位は、回盲弁であってもよいし、虫垂の入口部であってもよい。なお、これらは一例に過ぎず、所定の部位は、検査のスタート位置の近傍の部位であればよい。所定部位画像特定部２６５は、内視鏡１１０が撮影した画像に対して、公知の画像認識処理を行って、所定の部位が撮影された画像を特定する。例えば、所定部位画像特定部２６５は、機械学習アルゴリズムにより予め学習されたモデルに対して、画像を入力することにより、当該画像が所定の部位が撮影された画像であるか否かを判定する。このモデルは、例えば、ＣＮＮなどの深層学習により学習されたモデルであるが、他の機械学習アルゴリズムを用いて学習されたモデルであってもよい。

本実施の形態の入出力制御部２６０は、所定の部位が撮影された画像の撮影時点以降のログを表示対象とする。すなわち、入出力制御部２６０は、所定の部位が撮影された画像の撮影時点以降の撮影時点を時間軸６２にプロットする。同様に、入出力制御部２６０は、所定の部位が撮影された画像の撮影時点以降に撮影された病変画像を表示する。すなわち、入出力制御部２６０は、所定の部位が撮影された画像の撮影時点までのログ（すなわち、病変画像の撮影時点及び当該病変画像）については表示対象から除外する。上述の通り、ユーザは、内視鏡１１０の位置が検査のスタート位置に到達するまでは、病変画像の保存指示は行わないことが想定されるが、病変検出部２２０は、内視鏡１１０の位置が検査のスタート位置に到達した後であるかにかかわらず病変画像を検出しうる。このため、入出力制御部２６０は、特に、病変検出部２２０の検出処理のログの表示に対して、上述のような表示の制限を行うことが好ましい。

次に、情報処理装置２０１の動作例について説明する。図１１は、情報処理装置２０１の動作の一例を示すフローチャートである。図１１に示したフローチャートは、ステップＳ１４０及びステップＳ１４１が追加されている点で、図９に示したフローチャートと異なっている。以下、図９に示したフローチャートと異なる点について説明する。

情報処理装置２０１は、ステップＳ１００の処理の後、さらにステップＳ１４０及びステップＳ１４１の処理を行う。ステップＳ１１０からステップＳ１１２までの処理と、ステップＳ１２０からステップＳ１２１までの処理と、ステップＳ１４０からステップＳ１４１までの処理とは、例えば並行して行われるが、順番に行われてもよい。

ステップＳ１４０において、所定部位画像特定部２６５は、内視鏡１１０を用いた検査の最中に内視鏡１１０が撮影した一連の画像から、所定の部位が撮影された画像を特定する。
次に、ステップＳ１４１において、入出力制御部２６０は、ステップＳ１４０による処理結果に基づいて、検査の実際の開始時点を特定する。すなわち、入出力制御部２６０は、所定の部位が撮影された画像の撮影時点を検査の実際の開始時点とする。
そして、ステップＳ１３０では、入出力制御部２６０は、ステップＳ１４１で特定された時点以降のログを表示対象とする。

以上、実施の形態３について説明した。本実施の形態によれば、情報処理装置２０１は、所定の部位が撮影された時点以降をログの表示対象とする。このため、内視鏡１１０の位置が実質的な検査のスタート位置に到達した後のログだけを表示対象とすることができる。すなわち、実質的な検査の開始前のログの表示をしないようにすることができる。このため、実質的な検査のログの表示の視認性を向上できる。

＜実施の形態４＞
次に、実施の形態４について説明する。上述した実施の形態では、内視鏡１１０の撮影画像に対する検出処理による検出結果とユーザによる検出結果との食い違いについては、表示装置３００の表示を見たユーザにより見出される。本実施の形態では、この食い違いを自動的に検出するための構成について説明する。

以下、実施の形態２と異なる点について説明し、重複する説明は適宜割愛する。本実施の形態では、情報処理装置２００の代わりに、情報処理装置２０２が用いられる。

図１２は、実施の形態４にかかる情報処理装置２０２の機能構成の一例を示すブロック図である。図１２に示すように、情報処理装置２０２は、失敗検出部２７０をさらに有する点で、実施の形態２にかかる情報処理装置２００と異なっている。なお、失敗検出部２７０の処理は、例えば、プロセッサ２９２が、メモリ２９１からソフトウェア（コンピュータプログラム）を読み出して実行することで実現される。

失敗検出部２７０は、ユーザ又は検出処理における病変部位の検出の失敗を検出する。すなわち、失敗検出部２７０は、内視鏡１１０を用いた検査中におけるユーザによる病変部位の検出の失敗、又は、病変検出部２２０による病変部位の検出の失敗を検出する。ここで、検出の失敗は、病変部位の検出漏れによる失敗と、正常な部位を誤って病変部位として検出する失敗（すなわち、誤検出による失敗）とを含む。失敗検出部２７０は、操作ログ取得部２３０が取得したログと検出ログ取得部２４０が取得したログとの対応関係をチェックすることにより、失敗を検出する。なお、失敗検出部２７０による検出された失敗は、実際には失敗ではない可能性もある。このため、失敗検出部２７０は、失敗候補を検出していると言うこともできる。

本実施の形態の失敗検出部２７０は、操作ログ取得部２３０が取得した病変画像と検出ログ取得部２４０が取得した病変画像とを比較することにより、ユーザ又は検出処理における病変部位の検出の失敗を検出する。具体的には、失敗検出部２７０は、操作ログ取得部２３０が取得した病変画像に写されている病変部位と同一の病変部位を写した病変画像が検出ログ取得部２４０により取得されているか否かを判定する。同様に、失敗検出部２７０は、検出ログ取得部２４０が取得した病変画像に写されている病変部位と同一の病変部位を写した病変画像が操作ログ取得部２３０により取得されているか否かを判定する。失敗検出部２７０は、例えば、操作ログ取得部２３０が取得した病変画像と検出ログ取得部２４０が取得した病変画像の類似度を算出することにより、一方の病変画像に写されている病変部位が他方の病変画像に写されているか否かを判定する。

操作ログ取得部２３０が取得した病変画像に写されている病変部位と同一の病変部位を写した病変画像が検出ログ取得部２４０により取得されていない場合、病変検出部２２０による検出漏れ、又は、ユーザによる誤検出が発生している恐れがある。したがって、失敗検出部２７０は、操作ログ取得部２３０が取得した病変画像に写されている病変部位と同一の病変部位を写した病変画像が検出ログ取得部２４０により取得されていない場合、当該病変部位についての検出の失敗を検出する。すなわち、失敗検出部２７０は、当該病変部位が写されている病変画像に関して失敗が発生していることを検出する。

また、検出ログ取得部２４０が取得した病変画像に写されている病変部位と同一の病変部位を写した病変画像が操作ログ取得部２３０により取得されていない場合、ユーザによる検出漏れ、又は、病変検出部２２０による誤検出が発生している恐れがある。したがって、失敗検出部２７０は、検出ログ取得部２４０が取得した病変画像に写されている病変部位と同一の病変部位を写した病変画像が操作ログ取得部２３０により取得されていない場合、当該病変部位についての検出の失敗を検出する。すなわち、失敗検出部２７０は、当該病変部位が写されている病変画像に関して失敗が発生していることを検出する。

本実施の形態の入出力制御部２６０は、失敗検出部２７０が失敗を検出した場合、どの病変画像に関して失敗を検出したかを表わす表示を行う。図１３は、失敗検出部２７０が失敗を検出した場合の表示装置３００の表示例を示す。図１３に示した例では、病変画像６６ｂ、病変画像６５ｂ、及び病変画像６６ｃに関して失敗が検出されたことが表示されている。

なお、上述した説明では、失敗検出部２７０は、病変画像を比較することにより失敗を検出したが、失敗検出部２７０は、撮影時点を比較することにより失敗を検出してもよい。例えば、失敗検出部２７０は、操作ログ取得部２３０により取得された撮影時点と検出ログ取得部２４０により取得された撮影時点とを比較することにより、ユーザ又は検出処理における病変部位の検出の失敗を検出してもよい。すなわち、失敗検出部２７０は、ユーザが保存を指示した病変画像の撮影時点と検出処理により検出された病変画像の撮影時点とを比較することにより、失敗を検出してもよい。具体的には、失敗検出部２７０は、所定の単位時間毎に、ユーザが保存を指示した病変画像の撮影時点と検出処理により検出された病変画像の撮影時点のうち、いずれか一方だけが取得されていないかどうかをチェックする。

チェック対象の単位時間において、ユーザが保存を指示した病変画像の撮影時点だけが取得されている場合、病変検出部２２０による検出漏れ、又は、ユーザによる誤検出が発生している恐れがある。したがって、この場合、失敗検出部２７０は、この単位時間において撮影された病変部位についての検出の失敗を検出する。また、チェック対象の単位時間において、検出処理により検出された病変画像の撮影時点だけが取得されている場合、ユーザによる検出漏れ、又は、病変検出部２２０による誤検出が発生している恐れがある。したがって、この場合、失敗検出部２７０は、この単位時間において撮影された病変部位についての検出の失敗を検出する。撮影時点の比較により失敗検出部２７０が失敗を検出した場合、入出力制御部２６０は、どの撮影時点に関して失敗を検出したかを表わす表示を行ってもよい。

このように、病変検出部２２０は、病変画像を比較することにより失敗を検出してもよいし、撮影時点を比較することにより失敗を検出してもよい。ただし、病変画像を比較することにより失敗を検出する方が、以下の点で好ましい。撮影時点を比較する場合、同一の病変部位に対してユーザ及び病変検出部２２０が適切に検出を行っていたとしても、病変画像に時間的な対応関係がない場合には検出の失敗が発生していると判定されてしまう。これに対して、病変画像を比較する場合、画像内容の比較が行われるため、そのような判定結果の発生を抑制することができる。

次に、情報処理装置２０２の動作例について説明する。図１４は、情報処理装置２０２の動作の一例を示すフローチャートである。図１４に示したフローチャートは、ステップＳ１５０が追加され、ステップＳ１３０がステップＳ１５１に置き換わっている点で、図９に示したフローチャートと異なっている。以下、図９に示したフローチャートと異なる点について説明する。

図１４に示したフローチャートでは、ステップＳ１１２及びステップＳ１２１の処理の後、処理はステップＳ１５０へ移行する。ステップＳ１５０において、失敗検出部２７０は、操作ログ取得部２３０が取得したログと検出ログ取得部２４０が取得したログとの対応関係をチェックすることにより、ユーザ又は検出処理における病変部位の検出の失敗を検出する。ステップＳ１５０の後、処理はステップＳ１５１へ移行する。ステップＳ１５１において、入出力制御部２６０は、表示装置３００において、ログと、失敗の検出結果とを表示する。

以上、実施の形態４について説明した。本実施の形態によれば、操作ログ取得部２３０が取得したログと検出ログ取得部２４０が取得したログとの対応関係をチェックすることにより、病変部位の検出の失敗が検出される。このため、ユーザは、より簡単に、内視鏡１１０の撮影画像に対する検出処理による検出結果とユーザによる検出結果との食い違いについて把握することができる。

＜実施の形態５＞
次に、実施の形態５について説明する。本実施の形態では、病変検出部２２０の検出精度を改善するためのフィードバックデータを生成する構成について説明する。
以下、実施の形態２と異なる点について説明し、重複する説明は適宜割愛する。本実施の形態では、情報処理装置２００の代わりに、情報処理装置２０３が用いられる。

図１５は、実施の形態５にかかる情報処理装置２０３の機能構成の一例を示すブロック図である。図１５に示すように、情報処理装置２０３は、フィードバックデータ生成部２７５をさらに有する点で、実施の形態２にかかる情報処理装置２００と異なっている。なお、フィードバックデータ生成部２７５の処理は、例えば、プロセッサ２９２が、メモリ２９１からソフトウェア（コンピュータプログラム）を読み出して実行することで実現される。

フィードバックデータ生成部２７５は、ユーザから入力された情報に基づいて、フィードバックデータを生成する。フィードバックデータ生成部２７５は、具体的には、フィードバックデータとして、病変画像と検出失敗情報とを対応付けたデータを生成する。ここで、検出失敗情報は、病変検出部２２０による検出の失敗についての分析情報であり、検出の失敗の種類（病変の検出漏れによる失敗か、病変の誤検出による失敗か）と失敗の要因とを含む。ただし、検出失敗情報は、必ずしも失敗の要因を含まなくてもよい。フィードバックデータ生成部２７５は、ユーザから入力された、病変画像を選択する指示と、選択された病変画像に対する、当該ユーザから入力された検出失敗情報とに基づいて、フィードバックデータを生成する。

本実施の形態では、入出力制御部２６０は、さらに、フィードバックデータを生成するためのユーザインタフェースを提供する。つまり、入出力制御部２６０は、病変画像を選択する指示の入力の受け付け処理、選択された病変画像に対する検出失敗情報の入力の受け付け処理を行う。また、入出力制御部２６０は、それらの処理のための画面の表示を行う。

図１６及び図１７は、フィードバックデータの生成のために表示装置３００に表示される画面の表示例を示す模式図である。入出力制御部２６０は、表示装置３００の画面における失敗情報領域７０に、検出失敗情報を入力するための表示を行う。入出力制御部２６０は、図５などに示したログの表示画面において表示されている病変画像のいずれかを選択する入力をユーザから受け付けると、検出失敗情報を入力するための画面の表示を行う。なお、病変画像の選択は、検出ログ取得部２４０が取得した病変画像を選択するものであってもよいし、操作ログ取得部２３０が取得した病変画像を選択するものであってもよい。例えば、いずれかの病変画像をタッチ（タップ）又はクリックする操作がユーザによって行なわれることにより、当該病変画像が選択される。

失敗情報領域７０には、選択された病変画像７１が表示されるとともに、検出失敗情報の入力欄７２が表示される。入力欄７２は、検出の失敗の種類についての入力欄である種類入力欄７２１と、検出の失敗の要因についての入力欄である要因入力欄７２２とを含む。ユーザは、病変画像７１を見て、検出失敗情報を入力する。例えば、ユーザは、失敗の検出の種類として適切なものを選択肢から選ぶとともに、失敗が発生した要因として適切なものを選択肢から選ぶ。

図１６は、病変検出部２２０により誤検出された病変が写った病変画像についての検出失敗情報の入力画面の一例を示している。図１６に示した例では、誤検出の要因の選択肢として、器具の映り込みによる誤検出、撮影画像がボケていることによる誤検出、泡などを病変として検出したことによる誤検出、撮影画像が暗すぎることによる誤検出、などが示されている。

図１７は、病変検出部２２０により検出が見過ごされたもののユーザにより検出された病変が写った病変画像についての検出失敗情報の入力画面の一例を示している。図１７では、検出漏れの要因の選択肢として、器具の映り込みによる検出漏れ、撮影画像がボケていることによる検出漏れ、泡などの映り込みによる検出漏れ、平坦型の病変のため検出が困難であったと推測される検出漏れ、などが示されている。

フィードバックデータ生成部２７５は、フィードバックデータとして、選択された病変画像と入力された検出失敗情報とを対応付けたデータを生成する。なお、フィードバックデータ生成部２７５は、選択された病変画像と類似する病変画像に対しても、選択された病変画像に対して入力された検出失敗情報と対応付けられたフィードバックデータを生成してもよい。フィードバックデータ生成部２７５は、生成したフィードバックデータをメモリ２９１などの記憶装置に記憶してもよいし、他の装置に提供してもよい。また、入出力制御部２６０は、生成されたフィードバックデータを、履歴として表示装置３００に表示してもよい

次に、情報処理装置２０３の動作例について説明する。図１８は、情報処理装置２０３の動作の一例を示すフローチャートである。図１８に示したフローチャートは、ステップＳ１６０からステップＳ１６２が追加されている点で、図９に示したフローチャートと異なっている。以下、図９に示したフローチャートと異なる点について説明する。

図１８に示したフローチャートでは、ステップＳ１３０の処理の後、処理はステップＳ１６０へ移行する。ステップＳ１６０において、入出力制御部２６０は、病変画像を選択する入力を受け付ける。そして、入出力制御部２６０は、上述した検出失敗情報の入力画面を表示する。次に、ステップＳ１６１において、入出力制御部２６０は、検出失敗情報の入力を受け付ける。そして、ステップＳ１６２において、フィードバックデータ生成部２７５は、ステップＳ１６０及びステップＳ１６１で受け付けられた入力に基づいて、フィードバックデータを生成する。

以上、実施の形態５について説明した。本実施の形態によれば、病変検出部２２０の検出の失敗についてのフィードバックデータが生成される。このため、病変検出部２２０の検出処理の精度の改善に有益なデータを得ることができる。

上述した各実施の形態については、様々な変形例が考えられ得る。例えば、上述した実施の形態では、出力画像取得部２１０がプロセッサ装置１３０からリアルタイムに撮影画像を取得し、病変検出部２２０がリアルタイムに病変の検出処理を行ったが、これらの処理はリアルタイムに行われなくてもよい。また、上述した実施の形態では、情報処理装置２００、２０１、２０２、２０３が病変検出部２２０を有したが、情報処理装置２００、２０１、２０２、２０３は、検出処理のログを取得できればよいため、病変検出部２２０は他の装置に設けられていてもよい。この場合、検出ログ取得部２４０は、当該他の装置から検出処理のログを取得する。また、上述した実施の形態２乃至５の特徴を任意に組み合わせてもよい。また、上述した実施の形態では、検査支援システム１０は、表示装置１４０及び表示装置３００を含んだが、いずれか一つの表示装置に全ての表示が行われてもよい。

以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
（付記１）
内視鏡を用いた検査の最中に前記内視鏡が撮影した一連の画像のうち、ユーザが保存を指示した病変画像の撮影時点を取得する第一の取得部と、
前記検査の最中に前記内視鏡が撮影した前記一連の画像に対する検出処理により検出された病変画像の撮影時点を取得する第二の取得部と、
前記第一の取得部が取得した撮影時点である第一の撮影時点と、前記第二の取得部が取得した撮影時点である第二の撮影時点とを、時間軸にプロットした表示を、表示装置に行う表示制御部と
を有する情報処理装置。
（付記２）
前記第一の取得部は、さらに、ユーザが保存を指示した病変画像である第一の病変画像を取得し、
前記第二の取得部は、さらに、前記検出処理により検出された病変画像である第二の病変画像を取得し、
前記表示制御部は、前記第一の撮影時点と対応付けて前記第一の病変画像を表示し、前記第二の撮影時点と対応付けて前記第二の病変画像を表示する
付記１に記載の情報処理装置。
（付記３）
同一の病変部位が検出された複数の前記第二の病変画像を特定し、当該複数の前記第二の病変画像の中から代表画像を選択する画像選択部をさらに有し、
前記表示制御部は、同一の病変部位が検出された複数の前記第二の病変画像のうち、前記代表画像として選択された前記第二の病変画像を表示する
付記２に記載の情報処理装置。
（付記４）
ユーザから入力された前記第一の病変画像又は前記第二の病変画像を選択する指示と、選択された病変画像に対する、当該ユーザから入力された検出失敗情報とに基づいて、当該病変画像と当該検出失敗情報とを対応付けたフィードバックデータを生成するフィードバックデータ生成部
をさらに有し、
前記検出失敗情報は、病変の誤検出又は病変の検出漏れのいずれかを検出の失敗の種類として示す情報である
付記２または３に記載の情報処理装置。
（付記５）
前記一連の画像のうち、生体内の管腔の所定の部位が撮影された画像を特定する所定部位画像特定部をさらに有し、
前記表示制御部は、前記所定の部位が撮影された画像の撮影時点以降の前記第二の撮影時点を前記時間軸にプロットする
付記１乃至４のいずれか１項に記載の情報処理装置。
（付記６）
前記内視鏡が撮影した画像を出力する画像出力装置が出力した前記一連の画像を取得する出力画像取得部をさらに有し、
前記画像出力装置は、前記内視鏡を用いた検査の最中にユーザが病変画像の保存を指示すると、指示時点から一定の時間が経過するまでの間、所定の特徴を有する画像を出力する装置であり、
前記第一の取得部は、前記出力画像取得部が取得した画像における前記特徴の有無に基づいて、保存の指示の発生時点を判定することにより、ユーザが保存を指示した病変画像の撮影時点及び当該病変画像を取得する
付記２に記載の情報処理装置。
（付記７）
前記表示制御部は、ユーザから入力された指示に基づいて、前記時間軸のスケールを拡大又は縮小して表示する
付記１乃至６のいずれか一項に記載の情報処理装置。
（付記８）
前記第一の取得部は、さらに、ユーザが保存を指示した病変画像である第一の病変画像を取得し、
前記第二の取得部は、さらに、前記検出処理により検出された病変画像である第二の病変画像を取得し、
前記情報処理装置は、前記第一の病変画像と前記第二の病変画像とを比較することにより、前記ユーザ又は前記検出処理における病変部位の検出の失敗を検出する失敗検出部をさらに有する
付記１乃至７のいずれか一項に記載の情報処理装置。
（付記９）
前記第一の撮影時点と前記第二の撮影時点とを比較することにより、前記ユーザ又は前記検出処理における病変部位の検出の失敗を検出する失敗検出部をさらに有する
付記１乃至７のいずれか一項に記載の情報処理装置。
（付記１０）
内視鏡を用いた検査の最中に前記内視鏡が撮影した一連の画像のうち、ユーザが保存を指示した病変画像の撮影時点を取得し、
前記検査の最中に前記内視鏡が撮影した前記一連の画像に対する検出処理により検出された病変画像の撮影時点を取得し、
ユーザが保存を指示した病変画像の撮影時点である第一の撮影時点と、前記検出処理により検出された病変画像の撮影時点である第二の撮影時点とを、時間軸にプロットした表示を、表示装置に行う
表示方法。
（付記１１）
内視鏡を用いた検査の最中に前記内視鏡が撮影した一連の画像のうち、ユーザが保存を指示した病変画像の撮影時点を取得する第一の取得ステップと、
前記検査の最中に前記内視鏡が撮影した前記一連の画像に対する検出処理により検出された病変画像の撮影時点を取得する第二の取得ステップと、
前記第一の取得ステップで取得された撮影時点である第一の撮影時点と、前記第二の取得ステップで取得された撮影時点である第二の撮影時点とを、時間軸にプロットした表示を、表示装置に行う表示制御ステップと
をコンピュータに実行させるプログラムが格納された非一時的なコンピュータ可読媒体。

１ 情報処理装置
２ 第一の取得部
３ 第二の取得部
４ 表示制御部
１０ 検査支援システム
６２ 時間軸
６３ 印
６４ 印
１００ 内視鏡システム
１１０ 内視鏡
１１１ 挿入部
１１２ 操作部
１１３ 撮像部
１２０ 光源装置
１３０ プロセッサ装置
１４０ 表示装置
２００ 情報処理装置
２０１ 情報処理装置
２０２ 情報処理装置
２０３ 情報処理装置
２１０ 出力画像取得部
２２０ 病変検出部
２３０ 操作ログ取得部
２４０ 検出ログ取得部
２５０ 画像選択部
２６０ 入出力制御部
２６５ 所定部位画像特定部
２７０ 失敗検出部
２７５ フィードバックデータ生成部
３００ 表示装置

Claims (10)

1. 内視鏡を用いた検査の最中に前記内視鏡が撮影した一連の画像のうち、ユーザが保存を指示した病変画像の撮影時点と、ユーザが保存を指示した病変画像である第一の病変画像とを取得する第一の取得部と、
   前記検査の最中に前記内視鏡が撮影した前記一連の画像に対する検出処理により検出された病変画像の撮影時点と、前記検出処理により検出された病変画像である第二の病変画像とを取得する第二の取得部と、
   同一の病変部位が検出された複数の前記第二の病変画像を特定し、当該複数の前記第二の病変画像の中から代表画像を選択する画像選択部と、
   前記第一の取得部が取得した撮影時点である第一の撮影時点と、前記第二の取得部が取得した撮影時点である第二の撮影時点とを、時間軸にプロットした表示を、表示装置に行うとともに、前記第一の撮影時点と対応付けて前記第一の病変画像を表示し、前記第二の撮影時点と対応付けて、同一の病変部位が検出された複数の前記第二の病変画像のうち、前記代表画像として選択された前記第二の病変画像を表示する表示制御部と
   を有する情報処理装置。
2. 内視鏡を用いた検査の最中に前記内視鏡が撮影した一連の画像のうち、ユーザが保存を指示した病変画像の撮影時点と、ユーザが保存を指示した病変画像である第一の病変画像とを取得する第一の取得部と、
   前記検査の最中に前記内視鏡が撮影した前記一連の画像に対する検出処理により検出された病変画像の撮影時点と、前記検出処理により検出された病変画像である第二の病変画像とを取得する第二の取得部と、
   前記第一の取得部が取得した撮影時点である第一の撮影時点と、前記第二の取得部が取得した撮影時点である第二の撮影時点とを、時間軸にプロットした表示を、表示装置に行うとともに、前記第一の撮影時点と対応付けて前記第一の病変画像を表示し、前記第二の撮影時点と対応付けて前記第二の病変画像を表示する表示制御部と、
   ユーザから入力された前記第一の病変画像又は前記第二の病変画像を選択する指示と、選択された病変画像に対する、当該ユーザから入力された検出失敗情報とに基づいて、当該病変画像と当該検出失敗情報とを対応付けたフィードバックデータを生成するフィードバックデータ生成部と
   を有し、
   前記検出失敗情報は、病変の誤検出又は病変の検出漏れのいずれかを検出の失敗の種類として示す情報である
   情報処理装置。
3. 内視鏡を用いた検査の最中に前記内視鏡が撮影した一連の画像のうち、ユーザが保存を指示した病変画像の撮影時点を取得する第一の取得部と、
   前記検査の最中に前記内視鏡が撮影した前記一連の画像に対する検出処理により検出された病変画像の撮影時点を取得する第二の取得部と、
   前記一連の画像のうち、生体内の管腔の所定の部位が撮影された画像を特定する所定部位画像特定部と、
   前記第一の取得部が取得した撮影時点である第一の撮影時点と、前記第二の取得部が取得した撮影時点である第二の撮影時点とを、時間軸にプロットした表示を、表示装置に行う表示制御部と
   を有し、
   前記表示制御部は、前記所定の部位が撮影された画像の撮影時点以降の前記第二の撮影時点を前記時間軸にプロットする
   情報処理装置。
4. 内視鏡を用いた検査の最中に前記内視鏡が撮影した一連の画像のうち、ユーザが保存を指示した病変画像の撮影時点を取得する第一の取得部と、
   前記検査の最中に前記内視鏡が撮影した前記一連の画像に対する検出処理により検出された病変画像の撮影時点を取得する第二の取得部と、
   前記第一の取得部が取得した撮影時点である第一の撮影時点と、前記第二の取得部が取得した撮影時点である第二の撮影時点とを、時間軸にプロットした表示を、表示装置に行う表示制御部と
   を有し、
   前記表示制御部は、ユーザから入力された指示に基づいて、前記時間軸のスケールを拡大又は縮小して表示する
   情報処理装置。
5. 内視鏡を用いた検査の最中に前記内視鏡が撮影した一連の画像のうち、ユーザが保存を指示した病変画像の撮影時点と、ユーザが保存を指示した病変画像である第一の病変画像とを取得する第一の取得部と、
   前記検査の最中に前記内視鏡が撮影した前記一連の画像に対する検出処理により検出された病変画像の撮影時点と、前記検出処理により検出された病変画像である第二の病変画像とを取得する第二の取得部と、
   前記第一の取得部が取得した撮影時点である第一の撮影時点と、前記第二の取得部が取得した撮影時点である第二の撮影時点とを、時間軸にプロットした表示を、表示装置に行う表示制御部と、
   前記第一の病変画像と前記第二の病変画像とを比較することにより、前記ユーザ又は前記検出処理における病変部位の検出の失敗を検出する失敗検出部と
   を有する情報処理装置。
6. 第一の取得部と第二の取得部と画像選択部と表示制御部とを有する情報処理装置が行う表示方法であって、
   前記第一の取得部が、内視鏡が撮影した一連の画像のうち、記憶装置に保存された病変画像の撮影時点と、当該病変画像である第一の病変画像とを取得し、
   前記第二の取得部が、前記内視鏡が撮影した前記一連の画像に対する検出処理により検出された病変画像の撮影時点と、前記検出処理により検出された病変画像である第二の病変画像とを取得し、
   前記画像選択部は、同一の病変部位が検出された複数の前記第二の病変画像を特定し、当該複数の前記第二の病変画像の中から代表画像を選択し、
   前記表示制御部は、前記第一の取得部が取得した撮影時点である第一の撮影時点と、前記第二の取得部が取得した撮影時点である第二の撮影時点とを、時間軸にプロットした表示を、表示装置に行うとともに、前記第一の撮影時点と対応付けて前記第一の病変画像を表示し、前記第二の撮影時点と対応付けて、同一の病変部位が検出された複数の前記第二の病変画像のうち、前記代表画像として選択された前記第二の病変画像を表示する
   表示方法。
7. 第一の取得部と第二の取得部と所定部位画像特定部と表示制御部とを有する情報処理装置が行う表示方法であって、
   前記第一の取得部が、内視鏡が撮影した一連の画像のうち、記憶装置に保存された病変画像の撮影時点を取得し、
   前記第二の取得部が、前記内視鏡が撮影した前記一連の画像に対する検出処理により検出された病変画像の撮影時点を取得し、
   前記所定部位画像特定部が、前記一連の画像のうち、生体内の管腔の所定の部位が撮影された画像を特定し、
   前記表示制御部が、前記第一の取得部が取得した撮影時点である第一の撮影時点と、前記第二の取得部が取得した撮影時点である第二の撮影時点とを、時間軸にプロットした表示を、表示装置に行い、
   前記表示制御部が、前記所定の部位が撮影された画像の撮影時点以降の前記第二の撮影時点を前記時間軸にプロットする
   表示方法。
8. 第一の取得部と第二の取得部と表示制御部とを有する情報処理装置が行う表示方法であって、
   前記第一の取得部が、内視鏡が撮影した一連の画像のうち、記憶装置に保存された病変画像の撮影時点を取得し、
   前記第二の取得部が、前記内視鏡が撮影した前記一連の画像に対する検出処理により検出された病変画像の撮影時点を取得し、
   前記表示制御部が、前記第一の取得部が取得した撮影時点である第一の撮影時点と、前記第二の取得部が取得した撮影時点である第二の撮影時点とを、時間軸にプロットした表示を、表示装置に行い、
   前記表示制御部が、ユーザから入力された指示に基づいて、前記時間軸のスケールを拡大又は縮小して表示する
   表示方法。
9. 第一の取得部と第二の取得部と表示制御部と失敗検出部とを有する情報処理装置が行う表示方法であって、
   前記第一の取得部が、内視鏡が撮影した一連の画像のうち、記憶装置に保存された病変画像の撮影時点と、当該病変画像である第一の病変画像とを取得し、
   前記第二の取得部が、前記内視鏡が撮影した前記一連の画像に対する検出処理により検出された病変画像の撮影時点と、前記検出処理により検出された病変画像である第二の病変画像とを取得し、
   前記表示制御部が、前記第一の取得部が取得した撮影時点である第一の撮影時点と、前記第二の取得部が取得した撮影時点である第二の撮影時点とを、時間軸にプロットした表示を、表示装置に行い、
   前記失敗検出部が、前記第一の病変画像と前記第二の病変画像とを比較することにより、ユーザ又は前記検出処理における病変部位の検出の失敗を検出する
   表示方法。
10. 内視鏡を用いた検査の最中に前記内視鏡が撮影した一連の画像のうち、ユーザが保存を指示した病変画像の撮影時点を取得する第一の取得ステップと、
    前記検査の最中に前記内視鏡が撮影した前記一連の画像に対する検出処理により検出された病変画像の撮影時点を取得する第二の取得ステップと、
    前記第一の取得ステップで取得された撮影時点である第一の撮影時点と、前記第二の取得ステップで取得された撮影時点である第二の撮影時点とを、時間軸にプロットした表示を、表示装置に行う表示制御ステップと
    をコンピュータに実行させ、
    前記表示制御ステップでは、ユーザから入力された指示に基づいて、前記時間軸のスケールを拡大又は縮小して表示する
    プログラム。

Images