JP7448923B2 - 情報処理装置、情報処理装置の作動方法、及びプログラム - Google Patents

Description

本開示は、情報処理装置、表示方法、及びプログラムが格納された非一時的なコンピュータ可読媒体に関する。

内視鏡を用いた医療を支援するシステムが知られている。例えば、特許文献１は、カプセル型内視鏡により撮影された画像を表示する画像表示装置について開示している。この画像表示装置は、主画像表示領域に現在表示されている画像の撮影時刻を表わすスライダを、カプセル内視鏡の撮像期間を表わすタイムバー上に表示する。

特開２００６－０６１４６９号公報

内視鏡を用いた生体内の検査中に、内視鏡の撮影画像に対する検出処理によりリアルタイムに病変を検出する場合、検出処理により検出された病変をユーザが内視鏡を用いて確認したいというニーズがある。内視鏡の現在の位置が、当該病変の撮影時の位置から移動してしまっている場合には、ユーザは、検出された病変が再び撮影されるように、生体内の内視鏡の位置を調整する必要がある。しかしながら、ユーザは、検出処理により検出された病変が検査中のいつの時点で撮影されたものであるかを容易に把握することができないため、内視鏡の位置をどれだけ移動させればよいかを把握することが難しい。すなわち、検出処理により検出された病変の撮影時点が現在からどれくらい前であるかを検査中に容易に把握できない。これに対し特許文献１に開示された技術では、検出処理により検出された病変をユーザが内視鏡を用いて確認することは想定していないため、当該技術では、検出処理により検出された病変の撮影時点が現在からどれくらい前であるかを把握できない。

本開示はこのような問題点を解決するためになされたものである。すなわち、本開示は、内視鏡の撮影画像に対する検出処理により検出された病変の撮影時点が現在からどれくらい前であるかを検査中に容易に把握できる情報処理装置、表示方法、及びプログラムを提供することを目的とする。

本開示の第１の態様にかかる情報処理装置は、
内視鏡による現在の撮影画像を順次取得する画像取得部と、
前記画像取得部が順次取得した画像に対して、病変部位の検出処理を順次行う病変検出部と、
前記病変検出部により病変部位が検出された前記画像の撮影時点について、現在の時点までの時間の経過度合いを、表示装置に表示する表示制御部と
を有する。

本開示の第２の態様にかかる表示方法では、
内視鏡による現在の撮影画像を順次取得し、
順次取得した画像に対して、病変部位の検出処理を順次行い、
病変部位が検出された前記画像の撮影時点について、現在の時点までの時間の経過度合いを、表示装置に表示する。

本開示の第３の態様にかかるプログラムは、
内視鏡による現在の撮影画像を順次取得する画像取得ステップと、
順次取得した画像に対して、病変部位の検出処理を順次行う病変検出ステップと、
病変部位が検出された前記画像の撮影時点について、現在の時点までの時間の経過度合いを、表示装置に表示する表示制御ステップと
をコンピュータに実行させる。

本開示によれば、内視鏡の撮影画像に対する検出処理により検出された病変の撮影時点が現在からどれくらい前であるかを検査中に容易に把握できる情報処理装置、表示方法、及びプログラムを提供できる。

実施の形態１にかかる情報処理装置の構成の一例を示すブロック図である。 実施の形態２にかかる検査支援システムの構成を示すブロック図である。 プロセッサ装置が生成する表示画面の一例を示す模式図である。 実施の形態２にかかる情報処理装置の機能構成の一例を示すブロック図である。 表示制御部の制御に基づく表示例を示す模式図である。 実施の形態２にかかる情報処理装置のハードウェア構成の一例を示す模式図である。 内視鏡による検査中の情報処理装置の動作の一例を示すフローチャートである。 表示制御部の制御に基づく表示例を示す模式図である。 実施の形態４にかかる情報処理装置の機能構成の一例を示すブロック図である。

説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。また、各実施の形態の特徴は、技術的な矛盾が生じない限り組み合わせることができる。

＜実施の形態１＞
図１は、実施の形態１にかかる情報処理装置１の構成の一例を示すブロック図である。情報処理装置１は、内視鏡を用いたユーザ（例えば医師）による検査を支援する装置であり、内視鏡の撮影画像を用いた病変の検出処理及び検出結果に基づく表示処理を行う。図１に示すように、情報処理装置１は、画像取得部２と、病変検出部３と、表示制御部４とを有する。

画像取得部２は、内視鏡による現在の撮影画像を順次取得する。具体的には、画像取得部２は、内視鏡により撮影された動画を構成する各フレーム画像を順次取得する。

病変検出部３は、画像取得部２が順次取得した画像に対して、病変部位の検出処理を順次行う。病変検出部３は、任意の画像認識処理を行って、画像に写された病変部位を検出する。ここで、病変とは、病気等に起因する生体組織の異常を言い、例えばポリープ又は腫瘍などが含まれるが、これらに限られない。

表示制御部４は、表示装置における情報の表示を制御する。具体的には、表示制御部４は、病変検出部３により病変部位が検出された画像の撮影時点について、現在の時点までの時間の経過度合いを、表示装置に表示する。この経過度合いは、現在からどれくらい以前に撮影された画像に対して病変が検出されたかを示す指標といえる。経過度合いの表示態様としては、任意の表示態様を採用することができる。表示制御部４は、後述する実施の形態で説明するように、グラフィカルに経過度合いを表示してもよいし、現在の時点までの経過時間を表わす数値を表示してもよい。

本実施の形態によれば、表示制御部４は、病変検出部３により病変部位が検出された画像の撮影時点について現在の時点までの時間の経過度合いを表示するよう制御する。このため、検出処理により検出された病変が検査中のいつの時点で撮影されたものであるかをユーザは容易に把握することができる。すなわち、情報処理装置１、又は、上述の処理により実現される表示方法によれば、内視鏡の撮影画像に対する検出処理により検出された病変の撮影時点が現在からどれくらい前であるかを検査中に容易に把握できる。

なお、情報処理装置１は、図示しない構成としてプロセッサ及びメモリを備えるものである。当該プロセッサは、当該メモリから、情報処理装置１の上述の処理が実装されたコンピュータプログラムを読み出して、当該コンピュータプログラムを実行する。これにより、当該プロセッサは、画像取得部２、病変検出部３、及び表示制御部４の機能を実現する。

または、画像取得部２、病変検出部３、及び表示制御部４は、それぞれが専用のハードウェアで実現されていてもよい。また、各装置の各構成要素の一部又は全部は、汎用または専用の回路（circuitry）、プロセッサ等やこれらの組合せによって実現されもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組合せによって実現されてもよい。また、プロセッサとして、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等を用いることができる。

また、情報処理装置１の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。また、情報処理装置１の機能がＳａａＳ（Software as a Service）形式で提供されてもよい。

以下、実施の形態１をより具体的にした実施の形態について説明する。
＜実施の形態２＞
図２は、実施の形態２にかかる検査支援システム１０の構成を示すブロック図である。検査支援システム１０は、内視鏡システム１００と情報処理装置２００と表示装置３００とスピーカ４００とを備える。内視鏡システム１００は、検査対象者の生体内の管腔を検査するために用いられる。例えば、大腸を検査するために用いられるが、他の消化管などの検査に用いられてもよい。

内視鏡システム１００は、内視鏡１１０と、光源装置１２０と、プロセッサ装置１３０と、表示装置１４０とを有する。内視鏡１１０は、光源装置１２０と光学的に接続され、さらに、プロセッサ装置１３０と電気的に接続している。

内視鏡１１０は、検査対象者である人物の体内に挿入される挿入部１１１と、挿入部１１１の先端の方向などを操作するための操作部１１２とを有する。内視鏡１１０には、体内を撮影する撮像部１１３が設けられている。撮像部１１３は、例えば、各種レンズ、撮像センサ、信号処理回路などを有している。この撮像センサとしては、例えば、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal-Oxide Semiconductor）などのセンサが用いられる。各種レンズ及び撮像センサは、例えば、挿入部１１１の先端に配置されており、その他の信号処理回路は、例えば、操作部１１２に配置されている。撮像部１１３は、プロセッサ装置１３０の制御に従い、撮影した画像についての画像信号をプロセッサ装置１３０に出力する。

挿入部１１１の内部には、光源装置１２０からの照明光を挿入部１１１の先端まで伝搬するライトガイドが設けられており、体内を照明光により照らすことができる。また、挿入部１１１には、電子メスなどの処置具を操作部１１２から挿入部１１１の先端へと導く処置具挿通路が設けられている。このため、ユーザ（医師）は、内視鏡１１０の撮影画像を見ながら、処置具により病変部位の切除などを行うことができる。また、挿入部１１１には、空気又は水などを挿入部１１１の先端から射出するためのノズルが設けられている。

光源装置１２０は、プロセッサ装置１３０の制御に従って、内視鏡１１０内に設けられた上述したライトガイドに、照明光を供給する装置である。光源装置１２０から出力された照明光は、ライトガイドを通って、内視鏡１１０の先端から射出される。これにより、体内の観察部位が照射される。

プロセッサ装置１３０は、内視鏡１１０、光源装置１２０、表示装置１４０、及び情報処理装置２００と電気的に接続している。プロセッサ装置１３０は、内視鏡システム１００の動作を統括的に制御する。特に、プロセッサ装置１３０は、内視鏡１１０から受信した画像信号に対して所定の画像処理を行って、表示装置１４０に表示するための撮影画像を生成する。また、プロセッサ装置１３０は、図３に示すように、撮影画像領域５０に撮影画像を配置し、非撮影画像領域５１に検査対象者の情報などの様々な参考情報の文字又は画像を配置した表示画像５２を生成する。表示画像５２は、表示装置１４０の画面全体に表示される画像である。プロセッサ装置１３０は、表示画像５２を表示装置１４０に表示するよう制御する。また、プロセッサ装置１３０は、表示画像５２を情報処理装置２００に出力する。なお、プロセッサ装置１３０は、撮影画像を情報処理装置２００に出力してもよい。このように、プロセッサ装置１３０は、表示画像５２又は撮影画像を情報処理装置２００に出力することにより、内視鏡１１０による現在の撮影画像を情報処理装置２００に順次出力する。換言すると、プロセッサ装置１３０は、内視鏡１１０が撮影した動画、すなわち、生体内の管腔を時間的に連続して撮影した一連の画像をリアルタイムに情報処理装置２００に出力する。

プロセッサ装置１３０は、例えば、メモリと、ＣＰＵ、ＧＰＵなどのプロセッサとを備え、プロセッサが１以上の命令を含むソフトウェア（コンピュータプログラム）をメモリから読み出して実行することで、プロセッサ装置１３０の処理を実現する。

表示装置１４０は、プロセッサ装置１３０が生成した表示画像５２を表示する。表示装置１４０は、具体的には、例えば、液晶ディスプレイ、プラズマディスプレイ、有機ＥＬ（Electro-Luminescence）ディスプレイなどのプラットパネルディスプレイである。

次に、情報処理装置２００、表示装置３００、及びスピーカ４００について説明する。
表示装置３００は、情報処理装置２００と電気的に接続されており、情報処理装置２００の制御にしたがって画像を表示する装置である。表示装置３００は、具体的には、例えば、液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイなどのプラットパネルディスプレイである。スピーカ４００は、情報処理装置２００と電気的に接続されており、情報処理装置２００の制御にしたがって音を出力する。

情報処理装置２００は、図１の情報処理装置１に対応しており、ユーザ（例えば医師）の検査を支援する装置である。以下、情報処理装置２００の詳細について説明する。

図４は、情報処理装置２００の機能構成の一例を示すブロック図である。図４に示すように、情報処理装置２００は、画像取得部２１０と、病変検出部２２０と、音制御部２３０と、表示制御部２４０とを有する。

画像取得部２１０は、図１の画像取得部２に対応しており、内視鏡１１０による現在の撮影画像を順次取得する。より詳細には、画像取得部２１０は、生体内の管腔を時間的に連続して撮影した一連の画像をリアルタイムに順次取得する。すなわち、画像取得部２１０は、撮影された動画を構成する各フレーム画像（静止画）をリアルタイムに順次取得する。なお、プロセッサ装置１３０からの出力が表示画像５２である場合、画像取得部２１０は、表示画像５２から撮影画像領域５０に配置された撮影画像を切り出す処理を行う。

病変検出部２２０は、図１の病変検出部３に対応しており、画像取得部２１０が順次取得した画像に対して、病変部位の検出処理を順次行う。すなわち、撮影された動画を構成する各フレーム画像に対して、順次、病変部位の検出処理を行う。病変検出部２２０は、病変部位の検出処理をリアルタイムに行う。例えば、病変検出部２２０は、撮影された動画のフレームレートよりも早い処理速度で検出処理を行うことが好ましい。病変検出部２２０は、公知の画像認識処理を行なって、画像から病変部位を検出する。この検出処理では、病変部位の画像内における位置も検出される。例えば、病変検出部２２０は、機械学習アルゴリズムにより予め学習されたモデルに対して、画像取得部２１０が取得した画像を入力することにより、病変部位の検出処理を行う。このモデルは、例えば、ＣＮＮ（Convolution Neural Network）などの深層学習により学習されたモデルであるが、他の機械学習アルゴリズムを用いて学習されたモデルであってもよい。病変検出部２２０は、例えば、上述したモデルから出力された、画像に病変部位が写されている確率を表わす指標値（確度）が、所定の閾値を超えるか否かに基づいて、当該画像に病変部位が写されているか否かを判定する。以下、病変部位を含む画像、すなわち、病変部位が検出された画像を病変画像とも称す。

病変検出部２２０は、病変部位を検出すると、後述するメモリ２９１などの記憶装置に、病変画像と、検出された病変部位の画像内の位置情報と、上述した指標値と、病変画像の撮影時点を表わす情報（以下、撮影時点情報と称す）とを記憶する。ここで、撮影時点情報は、撮影が行われた時点が現在時点からどの程度過去であるかを特定できる情報であればよい。例えば、撮影時点情報は、撮影が行われた時点のシステム時刻である。上述の通り、撮影された画像はリアルタイムで画像取得部２１０に取得され、リアルタイムで病変検出処理が行われる。このため、病変検出部２２０は、情報処理装置２００が画像を取得した時刻を当該画像の撮影時点情報としてもよいし、病変検出部２２０が病変検出処理を行った時刻を当該画像の撮影時点情報としてもよい。また、撮影時点情報は、プロセッサ装置１３０が付帯情報として画像データに付帯したものであってもよい。なお、撮影時点情報は、上述の通り、撮影が行われた時点が現在時点からどの程度過去であるかを特定できる情報であればよいため、システム時刻ではなく、動画のフレーム番号が用いられてもよい。なぜならば、最新の撮影画像（現在の撮影画像）のフレーム番号と、病変が検出された過去の撮影画像のフレーム番号と、動画のフレームレートに基づいて、病変が検出された撮影画像が、どの程度過去に撮影されたものであるかを特定できるためである。

音制御部２３０は、スピーカ４００の出力を制御する。音制御部２３０は、病変検出部２２０のリアルタイムな検出処理において、病変部位を検出した場合、検出したことを通知する音をスピーカ４００から出力する。これにより、ユーザに対して、病変部位の検出を知らせることができる。例えば、この音を聞いたユーザは、内視鏡１１０の撮影位置を調整することにより、情報処理装置２００が検出した病変部位を探すことができる。なお、表示装置３００には、後述するように、現在からどれくらい前の時点に撮影された画像に病変部位が検出されたかを表わす指標が表示される。このため、ユーザはこれを確認することにより、内視鏡１１０の位置を現在の位置からどれだけ戻せばよいかを容易に把握できる。したがって、後述する表示制御が行われることにより、ユーザは、検出された病変が再び撮影されるように、生体内の内視鏡１１０の位置を容易に調整することができる。

表示制御部２４０は、表示装置３００の表示を制御する。表示制御部２４０は、図１の表示制御部４に対応している。したがって、特に、表示制御部２４０は、病変検出部２２０の処理により見つかった病変画像の撮影時点について、現在の時点までの時間の経過度合いを、表示装置３００に表示する。表示制御部２４０は、病変画像の撮影時点情報を参照し、当該病変画像が撮影されてからの経過時間を算出することにより、当該病変画像についての経過度合いを特定する。

図５は、表示制御部２４０の制御に基づく表示装置３００の表示例を示す模式図である。図５を参照しつつ、本実施の形態の表示制御部２４０の表示制御について説明する。

表示制御部２４０は、表示装置３００の画面における病変画像領域６０に、病変検出部２２０により病変部位が検出された画像６１を表示する。図５に示した例では、病変画像領域６０には、検出された最新の病変画像が表示されている。このようにすることにより、ユーザは、情報処理装置２００がどの画像に対して病変を検出したかを確認することができる。

また、表示制御部２４０は、さらに、病変検出部２２０により検出された病変部位の画像６１内の位置を示すよう表示する。図５に示した例では、具体的には、表示制御部２４０は、画像６１上で、病変部位を囲む枠６２を表示する。表示制御部２４０は、病変検出部２２０が出力した病変部位の位置情報に基づいて、枠６２の表示位置を決定する。このように病変部位の位置を示す表示が行われるため、ユーザは、情報処理装置２００がどこを病変として検出したかを容易に確認することができる。

また、表示制御部２４０は、表示装置３００の画面における撮影映像領域６３に、画像取得部２１０がプロセッサ装置１３０から順次取得した、内視鏡１１０による現在の撮影画像を表示する。これにより、表示装置３００には、病変画像領域６０の病変画像と、内視鏡１１０が現在している映像とが並べて表示される。このように両方を同時に表示することで、情報処理装置２００が検出した病変部位をユーザが内視鏡１１０で確認したい場合に、情報処理装置２００が検出した病変部位と、現在の内視鏡１１０の撮影画像とを見比べることができる。したがって、情報処理装置２００が検出した病変部位をユーザが内視鏡１１０で確認する際の利便性が向上する。

また、表示制御部２４０は、表示装置３００の画面における時間経過領域６４に、検査中に特定された病変画像についての時間の経過度合いを表示する。本実施の形態では、表示制御部２４０は、現在の時点を起点とした時間軸６５上に、病変検出部２２０により病変部位が検出された画像の撮影時点を表わす印６６を表示することにより、経過度合いを表示する。図５に示した例では、印６６は、丸印であるが、他のデザインの印が用いられてもよい。

時間軸６５の一端６５ａは、現在の時点を表わし、時間軸６５の他端６５ｂは、現在の時点から所定の期間だけ遡った時点を表わす。なお、図５に示した例では、現在から５秒前までが時間軸６５により表わされているが、所定の期間としては、５秒に限らず、任意の時間を設定できる。上述の通り、それぞれの印６６は、病変画像の撮影時点を表わしている。時刻が進むにつれて、病変画像の撮影時点は、より遠い過去の時点へと推移していく。このため、表示制御部２４０は、時間軸６５上における印６６の表示位置を時刻の推移とともに移動させる。図５に示した例では、表示制御部２４０は、時刻が進むについて、印６６が時間軸６５に沿って下方向に流れるように表示する。このように、本実施の形態では、時間軸６５上に病変画像の撮影時点を表わす印６６が表示されるため、グラフィカルに撮影時点の時間の経過度合いが表示される。このため、ユーザが病変画像の撮影時点の時間的な経過度合いを視覚的に容易に把握できる。

図５に示すように、表示制御部２４０は、画像取得部２１０が順次取得した画像のうち、現在の時点から所定の期間（図５では、一例として５秒）だけ前の時点までの間に撮影された画像について、経過度合いを表示する。すなわち、表示制御部２４０は、検査中に検出された全ての病変について、経過度合いを表示するのではなく、直近の期間に検出された病変について、経過度合いを表示する。検査開始時から現時点までの全ての期間を対象として経過度合いを表示した場合、限られた画面サイズに、多くの情報を表示することとなってしまい、情報の視認性が低下してしまう。これに対し、直近の期間に検出された病変についてのみ経過度合いを表示することにより、直近の期間に検出された病変の経過度合いを見やすく表示することができる。情報処理装置２００により検出された病変をユーザが内視鏡１１０を用いて確認したいというニーズ、すなわち、この病変が再び撮影されるように内視鏡１１０の位置を調整したいというニーズは、この病変が検出された直後に発生することが多い。このため、直近の期間に限定して、経過度合いを表示することにより、ユーザの利便性を向上することができる。なお、表示制御部２４０は、検査開始時から現時点までの全ての期間を対象として経過度合いを表示してもよい。

表示制御部２４０は、検出処理における検出の確度に応じた印６６を表示してもよい。具体的には、表示制御部２４０は、病変検出部２２０により病変画像であると判定された画像についての指標値に応じた印６６を表示する。すなわち、表示制御部２４０は、指標値に応じて異なったデザインの印６６を表示してもよい。なお、指標値は、上述した通り、当該画像に病変部位が写されている確率を表わし、病変検出部２２０により出力される。例えば、表示制御部２４０は、この指標値に応じて、異なる色の印６６を表示してもよい。なお、色ではなく、形又は模様などが変更されてもよい。このようにすることにより、情報処理装置２００による検出結果の信頼性をユーザは容易に把握することができる。
なお、表示制御部２４０は、検出の確度に限らず、他の要因により、印６６の表示態様を変更してもよい。例えば、表示制御部２４０は、病変検出部２２０により検出された病変部位の大きさ又は診断結果（良性であるか否か、又は、悪性度合いなど）に応じた印６６を表示してもよい。

また、表示制御部２４０は、同一の画像に対して、病変検出部２２０により複数の病変部位が検出された場合、検出された病変部位の数に応じた印６６を表示してもよい。すなわち、表示制御部２４０は、検出された病変部位の数に応じて異なったデザインの印６６を表示してもよい。また、表示制御部２４０は、印６６の付近に、検出された病変部位の個数の値を表示してもよい。このようにすることにより、検出された病変部位の個数をユーザは容易に把握することができる。

次に、情報処理装置２００のハードウェア構成の一例について説明する。図６は、情報処理装置２００のハードウェア構成の一例を示す模式図である。図６に示すように、情報処理装置２００は、入出力インタフェース２９０、メモリ２９１、及びプロセッサ２９２を含む。

入出力インタフェース２９０は、プロセッサ装置１３０、表示装置３００、及びスピーカ４００などの他の任意の装置と通信するための入出力回路である。

メモリ２９１は、例えば、揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。メモリ２９１は、プロセッサ２９２により実行される、１以上の命令を含むソフトウェア（コンピュータプログラム）、及び情報処理装置２００の各種処理に用いるデータなどを格納するために使用される。

プロセッサ２９２は、メモリ２９１からソフトウェア（コンピュータプログラム）を読み出して実行することで、図４に示した各構成要素の処理を行う。具体的には、プロセッサ２９２は、画像取得部２１０、病変検出部２２０、音制御部２３０、及び表示制御部２４０の処理を行う。

プロセッサ２９２は、例えば、ＣＰＵ、ＧＰＵなどであってもよい。プロセッサ２９２は、複数のプロセッサを含んでもよい。
このように、情報処理装置２００は、コンピュータとしての機能を備えている。

なお、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（ｔａｎｇｉｂｌｅ ｓｔｏｒａｇｅ ｍｅｄｉｕｍ）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ ＰＲＯＭ）、フラッシュＲＯＭ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

次に、情報処理装置２００の動作例について説明する。図７は、内視鏡１１０による検査中の情報処理装置２００の動作の一例を示すフローチャートである。以下、図７のフローチャートを参照しつつ、動作例について説明する。

ステップＳ１００において、画像取得部２１０は、プロセッサ装置１３０から出力された、内視鏡１１０による現在の撮影画像を取得する。

次に、ステップＳ１０１において、病変検出部２２０は、ステップＳ１００で取得された画像に対して病変検出処理を行う。画像から病変が検出された場合（ステップＳ１０２でＹｅｓ）、処理はステップＳ１０３へ移行する。画像から病変が検出されない場合（ステップＳ１０２でＮｏ）、処理はステップＳ１０４へ移行する。

ステップＳ１０３では、音制御部２３０が、病変を検出したことを通知する音をスピーカ４００から出力する。ステップＳ１０３の後、処理はステップＳ１０４へ移行する。

ステップＳ１０４において、表示制御部２４０は、検査開始から現在までの間に既に検出されている病変画像について、撮影されてからの経過時間を算出する。これにより、表示制御部２４０は、検出された病変画像についての時間の経過度合いを特定する。

次に、ステップＳ１０５において、表示制御部２４０は、検査開始から現在までの間に既に検出されている病変画像の中から、経過度合いを表示する対象の病変画像を決定する。具体的には、表示制御部２４０は、経過時間が、時間軸６５の範囲に収まっている病変画像を経過度合いの表示対象とする。すなわち、表示制御部２４０は、現在の時点から所定の期間（図５では、一例として５秒）だけ前の時点までの間に撮影された病変画像を経過度合いの表示対象とする。

次に、ステップＳ１０６において、表示制御部２４０は、表示装置３００の表示内容を決定する。具体的には、表示制御部２４０は、病変画像領域６０に、検出された最新の病変画像を表示するとともに、当該病変画像上で、病変部位を囲む枠６２を表示する。また、表示制御部２４０は、撮影映像領域６３に、内視鏡１１０による現在の撮影画像を表示する。そして、表示制御部２４０は、時間経過領域６４に、ステップＳ１０５において経過度合いの表示対象として決定された病変画像についての経過度合いを表示する。ステップＳ１０６の後、処理はステップＳ１００に戻り、次の画像に対して、上述した処理が行われる。

以上、実施の形態２について説明した。本実施の形態によれば、表示制御部２４０は、病変検出部２２０により病変部位が検出された画像の撮影時点について現在の時点までの時間の経過度合いを、時間軸６５と印６６を用いて表示する。このため、経過度合いがグラフィカルに表示されるため、情報処理装置２００の検出処理により検出された病変が検査中のいつの時点で撮影されたものであるかをユーザは視覚的に容易に把握することができる。すなわち、ユーザは、情報処理装置２００の検出処理により検出された病変の撮影時点が現在からどれくらい前であるかを検査中に視覚的に容易に把握できる。このため、ユーザは、病変を内視鏡１１０で再度撮影するために、内視鏡１１０をどの程度移動させるべきかについて容易に推測できる。

＜実施の形態３＞
次に、実施の形態３について説明する。実施の形態２では、表示制御部２４０は、表示装置３００の画面における病変画像領域６０に１つの病変画像を表示したが、病変画像は複数表示されてもよい。以下、実施の形態２と異なる点について説明し、重複する構成及び処理については説明を割愛する。本実施の形態では、表示制御部２４０は、病変検出部２２０により検査中に複数の病変画像が検出された場合、図８に示すように、病変画像領域６０にこれら複数の病変画像を表示する。なお、表示制御部２４０は、表示する病変画像の数に上限を設けてもよい。例えば、表示制御部２４０は、直近で検出された最大Ｎ個（ただし、Ｎは正整数）の病変画像を表示してもよい。なお、Ｎの値が１の場合、実施の形態２のように、１つの病変画像が表示されることとなる。

ところで、病変画像を複数表示した場合、経過度合いを表わす印６６と病変部位との対応関係が分かりづらい。このため、図８に示すように、表示制御部２４０は、病変検出部２２０により検出された病変部位の画像内の位置と印６６とを対応付ける線６７を表示してもよい。このようにすることにより、病変画像毎の経過度合いを容易に判別することができる。なお、病変部位の画像内の位置と印６６とを対応付ける線６７は、表示される病変画像の数によらず、表示されてもよい。すなわち、表示される病変画像が１つである場合にも線６７が表示されてもよい。また、１つの病変画像内に複数の病変部位が検出された場合、それぞれの病変部位に対して、線６７が表示されてもよい。

＜実施の形態４＞
次に、実施の形態４について説明する。上述した実施の形態では、病変検出部２２０が、同一の病変部位を複数の画像において検出した場合、それぞれの画像について、経過度合いが表示されうる。したがって、経過度合いの視認性が低下する恐れがある。そこで、本実施の形態では、同一の病変部位について、画像毎に経過度合いの表示が行われないようにする。実施の形態４では、情報処理装置２００が情報処理装置５００に置き換わっている。

図９は、実施の形態４にかかる情報処理装置５００の機能構成の一例を示すブロック図である。図９に示すように、情報処理装置５００は、画像選択部２５０をさらに有する点で、情報処理装置２００と異なっている。なお、画像選択部２５０の処理は、例えば、プロセッサ２９２が、メモリ２９１からソフトウェア（コンピュータプログラム）を読み出して実行することで実現される。

画像選択部２５０は、病変検出部２２０の検出処理で同一の病変部位が検出された複数の画像を特定し、特定された当該複数の画像の中から一つの画像（以下、代表画像と称す）を選択する。つまり、画像選択部２５０は、同一の病変部位が検出された複数の病変画像を特定し、それらの中から代表画像を選択する。例えば、画像選択部２５０は、病変画像を相互に比較することにより、同一の病変部位が検出された複数の病変画像を特定する。より詳細には、画像選択部２５０は、撮影された動画を構成する連続する撮影画像（フレーム画像）に対して、病変部位の特徴点を用いた物体追跡処理を行うことにより、同一の病変部位が検出された複数の病変画像を特定する。このような処理により、同一の病変部位が時間的に連続して撮影され続けた際に得られる、同一の病変部位が写った複数の画像が特定される。そして、画像選択部２５０は、同一の病変部位が検出された複数の病変画像の中から代表画像を選択する。画像選択部２５０は、例えば、これら複数の病変画像のうち、検出処理における検出の確度が最も高い病変画像を選択する。なお、検出処理における検出の確度が最も高い病変画像が複数存在する場合には、これらのうち、病変部位を見やすい画像を選択してもよい。例えば、画像選択部２５０は、病変部位を見やすい画像として、病変部位の画像内での位置が最も中心に近い画像を選択してもよいし、病変部位と病変部位以外のコントラストが最大である画像を選択してもよい。なお、画像選択部２５０は、物体追跡処理ではなく、画像の類似度を算出する処理を行うことにより、同一の病変部位が検出された複数の病変画像を特定してもよい。この場合、同一の病変部位が時間的に連続して撮影されていなくても、同一の病変部位が写った複数の画像の特定が可能である。

また、本実施の形態の表示制御部２４０は、同一の病変部位が検出された複数の病変画像に対しては、画像選択部２５０により選択された病変画像だけを時間の経過度合いの表示対象とする。すなわち、表示制御部２４０は、同一の病変部位が検出された複数の病変画像のうち、画像選択部２５０により選択されていない病変画像については時間の経過度合いの表示対象としない。
より詳細には、本実施の形態では、表示制御部２４０は、経過時間が、時間軸６５の範囲に収まっている病変画像であって、以下の（１）又は（２）のいずれかを満たす病変画像を経過度合いの表示対象とする。
（１）画像選択部２５０により同一の病変部位が検出された複数の病変画像として特定されていない病変画像、すなわち、検出された病変部位が他の病変画像と重複していない病変画像
（２）画像選択部２５０により代表画像として選択された病変画像

同様に、本実施の形態の表示制御部２４０は、同一の病変部位が検出された複数の病変画像に対しては、画像選択部２５０により選択された病変画像だけを病変画像領域６０における表示対象とする。すなわち、表示制御部２４０は、同一の病変部位が検出された複数の病変画像のうち、画像選択部２５０により選択されていない病変画像については病変画像領域６０における表示対象としない。
より詳細には、本実施の形態では、表示制御部２４０は、以下の（１）又は（２）のいずれかを満たす病変画像のうち、直近で検出された最大Ｎ個（ただし、Ｎは正整数）の病変画像を表示対象とする。
（１）画像選択部２５０により同一の病変部位が検出された複数の病変画像として特定されていない病変画像、すなわち、検出された病変部位が他の病変画像と重複していない病変画像
（２）画像選択部２５０により代表画像として選択された病変画像

以上、実施の形態４について説明した。本実施の形態によれば、病変検出部２２０が同一の病変部位を複数の画像において検出した場合であっても、画像選択部２５０により表示対象とする画像が選択される。このため、表示の視認性の低下が抑制される。

上述した各実施の形態については、様々な変形例が考えられ得る。例えば、上述した実施の形態では、検査支援システム１０は、表示装置１４０及び表示装置３００を含んだが、表示装置１４０は省略されてもよい。また、上述した実施の形態では、表示制御部２４０は、病変画像領域６０に病変部位が検出された画像を表示し、撮影映像領域６３に内視鏡１１０による現在の撮影画像を表示したが、これらのいずれか一方又は両方について表示が省略されてもよい。

以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
（付記１）
内視鏡による現在の撮影画像を順次取得する画像取得部と、
前記画像取得部が順次取得した画像に対して、病変部位の検出処理を順次行う病変検出部と、
前記病変検出部により病変部位が検出された前記画像の撮影時点について、現在の時点までの時間の経過度合いを、表示装置に表示する表示制御部と
を有する情報処理装置。
（付記２）
前記表示制御部は、現在の時点を起点とした時間軸上に、前記病変検出部により病変部位が検出された前記画像の撮影時点を表わす印を表示することにより、前記経過度合いを表示する
付記１に記載の情報処理装置。
（付記３）
前記表示制御部は、前記検出処理における検出の確度に応じた前記印を表示する
付記２に記載の情報処理装置。
（付記４）
前記表示制御部は、同一の画像に対して、前記病変検出部により複数の病変部位が検出された場合、検出された病変部位の数に応じた印を表示する
付記２又は３に記載の情報処理装置。
（付記５）
前記表示制御部は、前記画像取得部が順次取得した画像のうち、現在の時点から所定の期間だけ前の時点までの間に撮影された画像について、前記経過度合いを表示する
付記１乃至４のいずれか１項に記載の情報処理装置。
（付記６）
前記検出処理で同一の病変部位が検出された複数の画像を特定し、特定された当該複数の画像の中から代表画像を選択する画像選択部をさらに有し、
前記表示制御部は、同一の病変部位が検出された前記複数の画像に対しては、前記画像選択部により選択された画像だけを前記経過度合いの表示対象とする
付記１乃至５のいずれか１項に記載の情報処理装置。
（付記７）
前記表示制御部は、さらに、前記病変検出部により病変部位が検出された前記画像を表示する
付記１乃至６のいずれか１項に記載の情報処理装置。
（付記８）
前記表示制御部は、さらに、前記病変検出部により検出された病変部位の前記画像内の位置を示すよう表示する
付記７に記載の情報処理装置。
（付記９）
前記表示制御部は、さらに、前記画像取得部が順次取得した、前記内視鏡による現在の撮影画像を表示する
付記７又は８に記載の情報処理装置。
（付記１０）
前記表示制御部は、
現在の時点を起点とした時間軸上に、前記病変検出部により病変部位が検出された前記画像の撮影時点を表わす印を表示することにより、前記経過度合いを表示し、
前記病変検出部により病変部位が検出された前記画像を表示し、
前記病変検出部により検出された病変部位の前記画像内の位置と前記印とを対応付ける線を表示する
付記１に記載の情報処理装置。
（付記１１）
前記病変検出部が病変部位を検出した場合、検出したことを通知する音をスピーカから出力する音制御部をさらに有する
付記１乃至１０のいずれか１項に記載の情報処理装置。
（付記１２）
内視鏡による現在の撮影画像を順次取得し、
順次取得した画像に対して、病変部位の検出処理を順次行い、
病変部位が検出された前記画像の撮影時点について、現在の時点までの時間の経過度合いを、表示装置に表示する
表示方法。
（付記１３）
内視鏡による現在の撮影画像を順次取得する画像取得ステップと、
順次取得した画像に対して、病変部位の検出処理を順次行う病変検出ステップと、
病変部位が検出された前記画像の撮影時点について、現在の時点までの時間の経過度合いを、表示装置に表示する表示制御ステップと
をコンピュータに実行させるプログラムが格納された非一時的なコンピュータ可読媒体。

１ 情報処理装置
２ 画像取得部
３ 病変検出部
４ 表示制御部
１０ 検査支援システム
６５ 時間軸
６６ 印
６７ 線
１００ 内視鏡システム
１１０ 内視鏡
１１１ 挿入部
１１２ 操作部
１１３ 撮像部
１２０ 光源装置
１３０ プロセッサ装置
１４０ 表示装置
２００ 情報処理装置
２１０ 画像取得部
２２０ 病変検出部
２３０ 音制御部
２４０ 表示制御部
２５０ 画像選択部
３００ 表示装置
４００ スピーカ
５００ 情報処理装置

Claims (9)

1. 内視鏡による現在の撮影画像を順次取得する画像取得部と、
   前記画像取得部が順次取得した画像に対して、病変部位の検出処理を順次行う病変検出部と、
   前記病変検出部により病変部位が検出された前記画像の撮影時点について、現在の時点までの時間の経過度合いを、表示装置に表示する表示制御部と
   を有し、
   前記表示制御部は、現在の時点を起点とした時間軸上に、前記病変検出部により病変部位が検出された前記画像の撮影時点を表わす印を表示することにより、前記経過度合いを表示し、
   前記表示制御部は、前記病変検出部により病変部位が検出された前記画像が複数ある場合、病変部位が検出された前記画像毎に、前記印を同一の前記時間軸上に表示する
   情報処理装置。
2. 前記表示制御部は、前記検出処理における検出の確度に応じた前記印を表示する
   請求項１に記載の情報処理装置。
3. 前記表示制御部は、同一の画像に対して、前記病変検出部により複数の病変部位が検出された場合、検出された病変部位の数に応じた印を表示する
   請求項１又は２に記載の情報処理装置。
4. 前記表示制御部は、前記画像取得部が順次取得した画像のうち、現在の時点から所定の期間だけ前の時点までの間に撮影された画像について、前記経過度合いを表示する
   請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記検出処理で同一の病変部位が検出された複数の画像を特定し、特定された当該複数の画像の中から代表画像を選択する画像選択部をさらに有し、
   前記表示制御部は、同一の病変部位が検出された前記複数の画像に対しては、前記画像選択部により選択された画像だけを前記経過度合いの表示対象とする
   請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 前記表示制御部は、さらに、前記病変検出部により病変部位が検出された前記画像を表示する
   請求項１乃至５のいずれか１項に記載の情報処理装置。
7. 前記表示制御部は、さらに、前記病変検出部により検出された病変部位の前記画像内の位置を示すよう表示する
   請求項６に記載の情報処理装置。
8. 画像取得部と病変検出部と表示制御部とを有する情報処理装置の作動方法であって、
   前記画像取得部が、内視鏡による現在の撮影画像を順次取得し、
   前記病変検出部が、前記画像取得部によって順次取得された画像に対して、病変部位の検出処理を順次行い、
   前記表示制御部が、前記病変検出部により病変部位が検出された前記画像の撮影時点について、現在の時点までの時間の経過度合いを、表示装置に表示し、
   前記表示制御部は、現在の時点を起点とした時間軸上に、前記病変検出部により病変部位が検出された前記画像の撮影時点を表わす印を表示することにより、前記経過度合いを表示し、
   前記表示制御部は、前記病変検出部により病変部位が検出された前記画像が複数ある場合、病変部位が検出された前記画像毎に、前記印を同一の前記時間軸上に表示する
   情報処理装置の作動方法。
9. 内視鏡による現在の撮影画像を順次取得する画像取得ステップと、
   順次取得した画像に対して、病変部位の検出処理を順次行う病変検出ステップと、
   病変部位が検出された前記画像の撮影時点について、現在の時点までの時間の経過度合いを、表示装置に表示する表示制御ステップと
   をコンピュータに実行させ、
   前記表示制御ステップでは、現在の時点を起点とした時間軸上に、前記病変検出ステップで病変部位が検出された前記画像の撮影時点を表わす印を表示することにより、前記経過度合いを表示し、
   前記表示制御ステップでは、前記病変検出ステップで病変部位が検出された前記画像が複数ある場合、病変部位が検出された前記画像毎に、前記印を同一の前記時間軸上に表示する
   プログラム。

Images