JP6425868B1 - 内視鏡画像観察支援システム、内視鏡画像観察支援装置、内視鏡画像観察支援方法 - Google Patents

Abstract

内視鏡画像観察支援システムは、カプセル内視鏡により撮影された複数の画像の観察を支援する。内視鏡画像観察支援システムは、複数の画像のそれぞれについて、判別対象の部位の画像である確度を示す判別確度を出力する判別部と、判別確度に基づいて、複数の画像を複数のクラスタに分類する分類部と、複数のクラスタの分類に基づいて、複数の画像の中から部位の境界の候補画像を特定する特定部と、を備える。

Description

本発明は、内視鏡画像観察支援システムに関する。

特許文献１は、カプセル内視鏡で取得された体内画像データを、被検者内部の所定部位ごとに分類することを開示する。

特開２００４−３２１６０３号公報

カプセル内視鏡検査では数万枚の画像が撮影される。読影者は、再生表示される内視鏡画像を観察して異常所見を含む画像を抽出するが、画像数が膨大であるために読影にかかる負担は大きい。特許文献１に記載される装置では、画像観察を効率化して読影にかかる負担を低減する目的で、部位の範囲、言い換えれば部位の境界を画像の色に基づいて自動判別し、画像の色を時系列で示したバーとともに自動判別の結果を表示する。この自動判別の結果には誤差が含まれるため、実際の部位の境界を自動判別の結果を参考に探す必要があるが、どの時系列範囲の画像を探せばよいか明確でないため、探す作業に手間がかかっている。

本発明はこうした状況に鑑みなされたものであり、その目的は、部位の境界の画像を読影者が容易に見つけられる技術を提供する。

上記課題を解決するために、本発明のある態様の観察支援システムは、カプセル内視鏡により撮影された複数の画像の観察を支援する観察支援システムであって、複数の画像のそれぞれについて、判別対象の部位の画像である確度を示す判別確度を出力する判別部と、判別確度に基づいて、複数の画像を複数のクラスタに分類する分類部と、複数のクラスタの分類に基づいて、複数の画像の中から部位の境界の候補画像を特定する特定部と、を備える。

本発明の別の態様は、観察支援装置である。この装置は、カプセル内視鏡により撮影された複数の画像のそれぞれについて出力された判別対象の部位の画像である確度を示す判別確度に基づいて、複数の画像が複数のクラスタに分類され、複数のクラスタの分類に基づいて複数の画像の中から抽出された部位の境界の候補画像に関する情報を、表示部に表示させる表示制御部を備える。

本発明のさらに別の態様もまた、観察支援装置である。この装置は、カプセル内視鏡により撮影された複数の画像のそれぞれについて出力された判別対象の部位の画像である確度を示す判別確度に基づいて、複数の画像が複数のクラスタに分類され、表示部に表示させるために、複数のクラスタの分類に基づいて複数の画像の中から部位の境界の候補画像を特定する特定部を備える。

本発明のさらに別の態様は、観察支援方法である。この方法は、カプセル内視鏡により撮影された複数の画像のそれぞれについて、判別対象の部位の画像である確度を示す判別確度を出力するステップと、判別確度に基づいて、複数の画像を複数のクラスタに分類するステップと、複数のクラスタの分類に基づいて、複数の画像の中から部位の境界の候補画像を特定するステップと、を含む。

なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、読影者による画像観察を効率的に実施させるための支援技術を提供できる。

第１の実施の形態に係る画像観察支援システムの概要を説明するための図である。 図１の管理サーバおよび記録装置の構成を示す図である。 候補画像特定処理のフローチャートを示す図である。 複数の内視鏡画像の判別確度を、直交座標系にプロットした図である。 内視鏡画像の読影画面の例を示す図である。 内視鏡画像のオーバービュー画面の例を示す図である。 候補画像一覧画面の例を示す図である。 内視鏡画像の読影画面の別の例を示す図である。 内視鏡画像の読影画面のさらに別の例を示す図である。 第２の実施の形態に係る候補画像特定処理のフローチャートを示す図である。 第３の実施の形態に係る内視鏡画像観察支援システムの管理サーバおよび記録装置の構成を示す図である。 変形例に係る内視鏡画像観察支援システムの概要を説明するための図である。 図１２の管理サーバ、記録装置およびクラウドサーバの構成を示す図である。 別の変形例に係る内視鏡画像観察支援システムの管理サーバ、記録装置およびクラウドサーバの構成を示す図である。

以下、本発明を好適な実施の形態をもとに図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施の形態は、発明を限定するものではなく例示であって、実施の形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。

（第１の実施の形態）
図１は、第１の実施の形態にかかるカプセル内視鏡の画像観察支援システムの概要を説明するための図である。内視鏡画像観察支援システム１は、読影者によるカプセル内視鏡画像の観察を支援する。通常の内視鏡を使用した検査では、医師が患者体内に挿入した内視鏡により撮影される画像をディスプレイでリアルタイムに観察して診断を行うが、カプセル内視鏡検査は、読影者がカプセル内視鏡により過去に撮影された大量の画像をまとめて観察する点で、通常の内視鏡検査と異なる。

カプセル内視鏡検査において、患者は腹部に複数のアンテナ（図示せず）を貼り付けられ、受信装置４をベルトで腰に付けた状態で、超小型カメラを内蔵したカプセル内視鏡３を口から飲み込む。カプセル内視鏡３は消化管を通過しながら静止画像を周期的に撮影して、撮影画像に、画像ＩＤおよび撮影時刻情報を付加した画像ファイルをアンテナ経由で受信装置４に送信する。なお本実施の形態のカプセル内視鏡３は、撮影フレームレートの可変機能を有し、たとえば移動速度が大きくなると撮影フレームレートを高くして、撮影を行ってもよい。

受信装置４には、記録媒体５が内蔵されており、受信装置４は受信した画像ファイルを記録媒体５に記録する。カプセル内視鏡３が０．５秒ごとに体内を撮影する場合、約８時間で体内の撮影を終了すると、約６万枚の内視鏡画像ファイルが記録媒体５に記録される。

画像ＩＤは画像を識別するための情報であり、撮影順を示すシリアルな番号を付加された情報であってよい。たとえば最初に撮影された内視鏡画像の画像ＩＤには「１」が付加され、２番目に撮影された内視鏡画像の画像ＩＤには「２」が付加されてよい。このように画像ＩＤを生成することで、画像ＩＤに含まれるシリアル番号が撮影順を表現するとともに、画像ＩＤの重複を回避できる。なお画像ＩＤおよび撮影時刻情報は、受信装置４が撮影画像を受信したときに、受信装置４により撮影画像に付加されてもよい。いずれにしてもカプセル内視鏡３で撮影された画像は、画像ＩＤおよび撮影時刻情報を対応付けられて記録媒体５に記録される。

患者からアンテナと受信装置４が回収されると、受信装置４のデータ端子が、管理サーバ１０に接続したデータ読出装置に接続され、データ読出装置が、記録媒体５に記録された約６万枚の内視鏡画像ファイルを読み出し、管理サーバ１０に送信する。データ読出装置は、管理サーバ１０にＵＳＢケーブルなどで接続される外部装置であってよい。なお記録媒体５は、受信装置４に着脱可能なメモリカードであってもよく、記録媒体５が受信装置４から取り外されてデータ読出装置に装着され、内視鏡画像ファイルを読み出されてもよい。記録媒体５は、管理サーバ１０に設けられたデータ読出用スロットに装着されて内視鏡画像ファイルを読み出されてもよい。

管理サーバ１０は、記録媒体５から読み出された内視鏡画像に所定の画像処理を施して、記録装置１２に記録する。記録装置１２は、ＨＤＤ（ハードディスクドライブ）で構成されてよく、またフラッシュメモリで構成されてもよい。記録媒体５に記録された内視鏡画像は、無圧縮のＲＡＷ（生の）画像であるか、または可逆圧縮のみを施したＲＡＷ画像であるため、データサイズは非常に大きい。そこで管理サーバ１０は、ＲＡＷ画像である内視鏡画像に所定の非可逆圧縮処理を施し、データサイズを低減して記録装置１２に記録する。なお本実施の形態では管理サーバ１０が内視鏡ＲＡＷ画像の画像処理を担当するが、他の機器、たとえば端末装置２０が内視鏡ＲＡＷ画像に画像処理を施して、記録装置１２に記録してもよく、記録装置１２は、端末装置２０に設けられてもよい。

複数の端末装置２０はＬＡＮ（ローカルエリアネットワーク）などのネットワーク２によって管理サーバ１０に接続される。端末装置２０はたとえば医師や技師（以下、単に「ユーザ」と呼ぶこともある）に割り当てられたパーソナルコンピュータなどであって、画面出力可能に表示装置２２に接続されるが、端末装置２０は表示装置と一体となったラップトップコンピュータであってもよく、また携帯型タブレットであってもよい。端末装置２０は管理サーバ１０にアクセスして、記録装置１２に記録された内視鏡画像を表示装置２２に表示する。

管理サーバ１０は、内視鏡ＲＡＷ画像を圧縮する際に、解析アプリケーションを実行して内視鏡画像を解析する機能をもつ。解析アプリケーションによる画像解析は、一つのカプセル内視鏡検査において撮影された全ての内視鏡ＲＡＷ画像に対して実施され、画像解析の結果は、圧縮した内視鏡画像に付加情報として付加される。

カプセル内視鏡検査の目的の一つは、消化管における出血源を探すことにある。管理サーバ１０は、記録媒体５から内視鏡ＲＡＷ画像を取得すると、解析アプリケーションを実行して画像処理することで、出血状態を撮影した可能性のある内視鏡ＲＡＷ画像を特定する。たとえば管理サーバ１０は、内視鏡画像の赤みが所定の閾値を超える場合に、出血状態を撮影した可能性のある画像であることを判定し、その内視鏡ＲＡＷ画像を圧縮する際に、赤み画像であることを示すフラグ情報を付加する。

また消化管内におけるカプセル内視鏡３の移動速度には差があり、移動速度の遅い箇所では、撮影される内視鏡画像の変化も小さい。そのため読影者が、ほぼ変化のない複数の内視鏡画像を含む全ての内視鏡画像を等しく観察することは、効率的でなく、負担が大きい。そこで解析アプリケーションは、時間的に連続して撮影された内視鏡ＲＡＷ画像を比較して、変化が小さい画像（類似画像）を特定する処理を行う。以下、この処理を「画像要約処理」と呼ぶ。

画像要約処理では、基準画像を設定し、基準画像に類似しているか否かを判定する対象となる判定対象画像に占める基準画像の被覆領域の割合を被覆率として算出する。判定対象画像は、基準画像よりも後に撮影された画像である。解析アプリケーションは、被覆率が閾値以上である場合に、判定対象画像を基準画像の類似画像として判定する。管理サーバ１０は、基準画像である内視鏡ＲＡＷ画像を圧縮する際に、基準画像であることを示すフラグ情報を付加し、類似画像である内視鏡ＲＡＷ画像を圧縮する際に、類似画像であることを示すフラグ情報を付加する。

また解析アプリケーションは、複数の基準画像の中から、体内の部位の境界を撮影した可能性のある候補画像を特定する。読影者が、所定の部位をメインターゲットとする診断を行う場合、撮影した内視鏡画像のどこからどこまでが当該対象となる部位の撮影画像であるかを容易に認識できることが好ましい。カプセル内視鏡３は、「胃」、「小腸」、「大腸」の各消化管内部を撮影するため、解析アプリケーションが、各消化管の入口（開始位置）を撮影した可能性のある候補画像を事前に特定しておくことで、読影者が画像診断時に、各消化管の境界を容易に探し出すことが可能となる。

管理サーバ１０ないしは端末装置２０において実行される再生アプリケーションは、画像要約処理により付加されたフラグ情報を参照して、内視鏡画像の再生時間を短縮する再生モードを有しており、読影者が、この再生モードを選択することで、観察時間の短縮化を実現できる。

実施例の再生アプリケーションは、４つの再生モードを有して構成される。
（第１再生モード）
第１再生モードは、端末装置２０に接続されたユーザインタフェースの操作を利用した手動再生モードである。第１再生モードでは、ユーザがマウスのホイールを回転させることで、内視鏡画像を１枚ずつコマ送り表示させることができる。そのため第１再生モードは、病変を撮影した複数枚の画像のなかで最も鮮明に病変を撮影した画像を特定する際に利用される。ユーザがホイールを奥向きに回転させると、内視鏡画像は順方向（撮影時刻の古い画像から新しい画像に向かう方向）に連続再生表示され、ユーザがホイールを手前向きに回転させると、内視鏡画像は逆方向（撮影時刻の新しい画像から古い画像に向かう方向）に連続再生表示される。

（第２再生モード）
第２再生モードは、設定された再生速度で内視鏡画像を順方向または逆方向に連続再生表示する自動再生モードである。第２再生モードは、通常の内視鏡画像観察に利用される。

（第３再生モード）
第３再生モードは、画像要約処理により特定された基準画像を設定された再生速度で順方向または逆方向に連続再生表示しつつ、類似画像を、設定された再生速度よりも高速で順方向または逆方向に連続再生表示する自動再生モードである。第３再生モードは、基準画像に対して変化の小さい類似画像を高速再生することで、第２再生モードと比べて観察時間の短縮を実現する。

（第４再生モード）
第４再生モードは、画像要約処理により特定された類似画像の表示を省略して、設定された再生速度で基準画像のみを順方向または逆方向に再生表示する自動再生モードである。第４再生モードは、類似画像の表示を省略することで、第３再生モードと比べて観察時間の短縮を実現する。なお第４再生モードに対して、裏モードである第４裏再生モードが設定されてよい。第４裏再生モードは、基準画像の表示を省略して、設定された再生速度で類似画像のみを順方向または逆方向に再生表示する自動再生モードである。第４裏再生モードは、第４再生モードでの観察後に、観察漏れのないことを確認するために利用される。

第１〜第３再生モードは、時間的に連続する内視鏡画像を順番に再生表示する連続再生モードであり、第４再生モード（第４裏再生モード）は、時間的に連続する内視鏡画像を間引いて再生表示する間引き再生モードである。再生アプリケーションは、ユーザにより選択された再生モードに応じて、内視鏡画像の再生処理を実施する。再生アプリケーションは、管理サーバ１０で実行されてもよく、また端末装置２０で実行されてもよい。

端末装置２０には、キーボードやマウスなどのユーザインタフェースが接続されている。端末装置２０は、管理サーバ１０と協働して、読影者による読影作業を支援する機能をもつ。端末装置２０は、表示装置２２に内視鏡画像の読影画面を表示させ、ユーザは読影画面において再生表示される内視鏡画像を観察して、病変等を撮影した内視鏡画像をキャプチャする。

図２は、管理サーバ１０および記録装置１２の構成を示す。管理サーバ１０は、ＲＡＷ画像取得部３０、画像処理部３２、表示制御部４２および再生処理部４６を備える。画像処理部３２は、赤み判定部３４、画像要約処理部３６、候補画像特定部３８および圧縮処理部４０を有する。候補画像特定部３８は、判別部５０、分類部５２および特定部５４を有する。管理サーバ１０の各機能は、解析アプリケーション、再生アプリケーションなど、各種アプリケーションを実行することによって実現されてよい。なお実施の形態では、管理サーバ１０が各種アプリケーションを実行するが、端末装置２０が各種アプリケーションを実行してもよい。

記録装置１２は、内視鏡画像記録部６０、検査情報記録部６２および観察内容記録部６４を備える。内視鏡画像記録部６０は、画像処理部３２により画像処理を施された内視鏡画像を記録する。検査情報記録部６２は、内視鏡検査に関する情報を記録する。観察内容記録部６４は、内視鏡画像の観察内容、たとえばユーザがキャプチャした画像や入力した所見情報などを記録する。

管理サーバ１０の構成はハードウエア的には、任意のプロセッサ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

ＲＡＷ画像取得部３０は、データ読出装置から送信される約６万枚の内視鏡ＲＡＷ画像を取得し、記録装置１２に一時記憶させる。画像処理部３２は、すべての内視鏡ＲＡＷ画像に対して、以下に示す画像処理を実施する。

＜赤み画像の特定＞
赤み判定部３４は、赤みを帯びた内視鏡ＲＡＷ画像を画像解析により探索し、赤みが所定の閾値より強い画像を特定する。赤み判定部３４は、特定した赤み画像の画像ＩＤを、圧縮処理部４０に提供する。

＜画像要約処理＞
画像要約処理部３６は、全ての内視鏡画像を、基準画像と、基準画像に類似する類似画像とに分類する画像要約処理を実施する。まず画像要約処理部３６は、最初に撮影された画像を基準画像として設定する。画像要約処理部３６は、基準画像の次に撮影された判定対象画像が基準画像に類似しているか否かの類似判定を実施する。画像要約処理部３６は、判定対象画像において、基準画像を変形した変形画像が含まれる被覆領域を求め、判定対象画像に占める被覆領域の割合を被覆率として算出する。

画像要約処理部３６は、被覆率が閾値以上である場合に、判定対象画像を基準画像の類似画像として判定する。画像要約処理部３６は、類似画像と判定した画像の次に撮影された画像を判定対象画像として、基準画像に類似しているか否かの類似判定を実施する。カプセル内視鏡３の移動速度が遅ければ、基準画像の後に撮影された数十枚の画像が類似画像として判定されることもある。

一方で、画像要約処理部３６は、被覆率が閾値未満である場合に、判定対象画像を非類似画像として判定する。画像要約処理部３６は、非類似画像と判定した画像を、新たな基準画像として設定し、次に撮影された画像を判定対象画像として、類似判定を実施する。画像要約処理部３６は、この画像要約処理を、約６万枚の全ての画像に対して実施し、基準画像と類似画像とに分類する。

基準画像と類似画像の枚数比は、閾値の設定によって調整される。閾値を大きくすれば、基準画像が多くなり、また閾値を小さくすれば、基準画像が少なくなる。第４再生モードでは、基準画像のみを再生表示するため、閾値の設定は、病変の見落とし等を抑制するために重要であるが、これまでの実績により、約６万枚の内視鏡画像のうち、約２万枚を基準画像として抽出するような閾値を設定することで、基準画像のみの読影により病変画像の見落としを防げることが分かってきている。画像要約処理部３６は、分類した基準画像の画像ＩＤおよび類似画像の画像ＩＤを、それぞれ圧縮処理部４０に提供する。

＜境界候補画像の特定＞
体内部位の境界の撮影位置をタイムバー上にランドマークとして設定することは、読影者が、部位毎の撮影画像の範囲を認識できるようになるため、特定の部位画像を診断する際に都合がよい。カプセル内視鏡３は、胃、小腸、大腸の各消化管内部を撮影するが、読影者が小腸の撮影画像のみを観察する場合、胃と小腸の境界の画像の撮影位置と、小腸と大腸の境界の画像の撮影位置とを画像診断の前にタイムバーにランドマークとして設定しておけば、小腸の撮影画像の範囲を容易に認識できるようになる。そこで候補画像特定部３８は、読影者が体内部位の境界を容易に探し出すことが可能となるように、複数の内視鏡画像の中から、体内の部位の境界を撮影した可能性のある候補画像を特定する処理を、読影者による画像観察の前に実施する。

図３は、候補画像特定処理のフローチャートを示す。判別部５０は、全ての内視鏡画像を対象として、各内視鏡画像が、判別対象である各部位の内視鏡画像である確度（以下、「判別確度」とも呼ぶ）を出力する（Ｓ１０）。判別部５０が実行する処理は、ＳＶＭ（Support Vector Machine）、ニューラルネットワーク等の機械学習手法など、既知の技術を用いて実現できる。本実施の形態では、胃、小腸および大腸の各部位が判別対象の部位であり、判別確度は次式で表されるベクトル量である。確度は、判別の確からしさを表す数値であり、０〜１の間の実数値を取る。
判別確度＝（胃の内視鏡画像である確度，小腸の内視鏡画像である確度，大腸の内視鏡画像である確度）

分類部５２は、複数の内視鏡画像のそれぞれの判別確度に基づいて、クラスタリング手法により、その複数の内視鏡画像を複数（Ｋ個）のクラスタに分類する（Ｓ１２）。このクラスタリングは、既知の技術を利用してよい。なお、階層的手法（たとえばウォード法など）を利用する場合、クラスタの数がＫ個になった時点でクラスタの併合を停止し、非階層的手法（たとえばＫ−ｍｅａｎｓ法など）を利用する場合、初期値として、分類すべきクラスタ数にＫを与える。

図４は、複数の内視鏡画像の判別確度を、直交座標系にプロットした図である。胃を撮影した内視鏡画像は、基本的に、胃の内視鏡画像である確度は高く、小腸および大腸の内視鏡画像である確度は低く判別されるため、座標（１，０，０）の近傍に集まる。小腸を撮影した内視鏡画像は、基本的に、小腸の内視鏡画像である確度は高く、胃および大腸の内視鏡画像である確度は低く判別されるため、座標（０，１，０）の近傍に集まる。大腸を撮影した内視鏡画像は、基本的に、大腸の内視鏡画像である確度は高く、胃および小腸の内視鏡画像である確度は低く判別されるため、座標（０，０，１）の近傍に集まる。胃と小腸との境界を撮影した内視鏡画像、および小腸と大腸との境界を撮影した内視鏡画像は、基本的に、胃、小腸、および大腸の内視鏡画像である確度はいずれも低く判別されるため、座標（０，０，０）の近傍に集まる。したがって、判定対象の部位をＬ個とすると、Ｋ（≧Ｌ＋１）個のクラスタに分類することで、各判別対象部位の内視鏡画像のクラスタと、それ以外、すなわち候補画像のクラスタとに分類されることが期待される。

なお胃と小腸との境界を撮影した内視鏡画像、および小腸と大腸との境界を撮影した内視鏡画像は、前者は胃および小腸の内視鏡画像である確度が大腸の内視鏡画像である確度よりも高く判別され、後者は小腸および大腸の内視鏡画像である確度が胃の内視鏡画像である確度よりも高く判別されるため、多少離れた位置に分布する。したがって、これらが異なるクラスタに分類されるように分類するクラスタの個数を設定すると、クラスタリングの精度が向上する。つまり複数の内視鏡画像をＫ（＝２Ｌ−１）個、すなわち判別対象である部位の個数に部位の境界の個数を加えた個数のクラスタに分類することが好ましい。

変形例では、分類部５２は、複数の内視鏡画像のそれぞれの判別確度に加え、複数の内視鏡画像のそれぞれの撮影開始時刻からの相対的な時間情報に基づいて、すなわち判別確度の各成分および時間情報を各成分とするベクトルに基づいて、クラスタリング手法により、その複数の内視鏡画像を複数のクラスタに分類してもよい。クラスタリングに時間情報が使われることにより、時間情報が近い内視鏡画像が同じクラスタに分類されやすくなり、クラスタリングの精度が向上する。また、たとえば、胃と小腸との境界を撮影した内視鏡画像と、小腸と大腸との境界を撮影した内視鏡画像のように時間情報が遠い内視鏡画像は、クラスタリングに時間情報が使われることにより、位置が離れるため、クラスタリングの精度が向上する。

以下では、分類部５２により、それぞれ点線で囲まれた５つのクラスタに分類された場合を例に説明する。

特定部５４は、全てのクラスタを対象として、各クラスタの代表ベクトルを特定する（Ｓ１４）。代表ベクトルは、たとえばクラスタに属する１以上の内視鏡画像の判別確度（ベクトル）の平均値や中央値である。特定部５４は、複数のクラスタの中から、各部位の内視鏡画像が分類された可能性の高いクラスタを特定する（Ｓ１６）。

具体的に特定部５４は、複数のクラスタのそれぞれの代表ベクトルと胃に対応する標準基底ベクトル（１，０，０）との内積を算出し、内積が最大となるクラスタを胃の内視鏡画像が分類された可能性が高いクラスタ（以下、「胃クラスタ」とも呼ぶ）として特定する（Ｓ１６０）。図４の例では、座標（１，０，０）の近傍に位置するクラスタ１６０が胃クラスタとして特定される。特定部５４は、複数のクラスタのそれぞれの代表ベクトルと小腸に対応する標準基底ベクトル（０，１，０）との内積を算出し、内積が最大となるクラスタを小腸の内視鏡画像が分類された可能性が高いクラスタ（以下、「小腸クラスタ」とも呼ぶ）として特定する（Ｓ１６２）。図４の例では、座標（０，１，０）の近傍に位置するクラスタ１６２が小腸クラスタとして特定される。特定部５４は、複数のクラスタのそれぞれの代表ベクトルと大腸に対応する標準基底ベクトル（０，０，１）との内積を算出し、内積が最大となるクラスタを小腸の内視鏡画像が分類された可能性が高いクラスタ（以下、「大腸クラスタ」とも呼ぶ）として特定する（Ｓ１６４）。図４の例では、座標（０，０，１）の近傍に位置するクラスタ１６４が大腸クラスタとして特定される。

特定部５４は、胃クラスタ、小腸クラスタおよび大腸クラスタ以外のクラスタを、部位の境界の画像が分類された可能性が高いクラスタ（以下、「境界クラスタ」とも呼ぶ）として特定する（Ｓ１８）。図４の例では、座標（０，０，０）の近傍に位置するクラスタ１６６、１６８が境界クラスタとして特定される。特定部５４は、境界クラスタに分類された内視鏡画像を候補画像として特定する（Ｓ２０）。なお特定部５４は、境界クラスタに分類された内視鏡画像に加えて、他のクラスタに分類された内視鏡画像のうち、境界クラスタに分類された任意の２つの内視鏡画像に撮影時刻が挟まれる内視鏡画像を、候補画像として特定してもよい。特定部５４は、特定した候補画像の画像ＩＤを、圧縮処理部４０に提供する。

＜内視鏡ＲＡＷ画像の圧縮処理＞
赤み判定部３４、画像要約処理部３６および候補画像特定部３８による画像解析処理は、圧縮処理部４０による内視鏡ＲＡＷ画像の圧縮処理の際に実施される。圧縮処理部４０は、内視鏡ＲＡＷ画像に非可逆の圧縮処理を施して、画像ＩＤおよび撮影時刻情報を付加した画像ファイルを生成し、内視鏡画像記録部６０に記録する。たとえば圧縮処理部４０は、ＪＰＥＧなどの画像フォーマットで内視鏡ＲＡＷ画像を圧縮してよい。

圧縮処理部４０は、圧縮した画像ファイルに、赤み判定部３４、画像要約処理部３６および候補画像特定部３８から提供された解析結果を示す情報を付加する。具体的に圧縮処理部４０は、赤み判定部３４から提供される画像ＩＤをもつ圧縮画像に、赤み画像であることを示す情報を付加する。この情報は、フラグ情報として付加されてよい。また圧縮処理部４０は、画像要約処理部３６による画像要約処理の結果をもとに、基準画像に、基準画像であることを示すフラグ情報を付加し、類似画像に、類似画像であることを示すフラグ情報を付加する。基準画像であるか類似画像であるかは表裏の関係にあるため、フラグ値１が基準画像を、フラグ値０が類似画像を表現してもよい。また圧縮処理部４０は、候補画像特定部３８から提供される画像ＩＤをもつ圧縮画像に、候補画像であることを示す情報を付加する。

実施例では、赤み判定部３４、画像要約処理部３６および候補画像特定部３８が、圧縮処理部４０による内視鏡ＲＡＷ画像の圧縮処理の前に、内視鏡ＲＡＷ画像に対してそれぞれ画像処理を実施している。変形例では、赤み判定部３４、画像要約処理部３６および候補画像特定部３８が、圧縮画像に対して、それぞれ画像解析を実施して、解析結果を示す情報が圧縮画像に付加されてよい。内視鏡画像記録部６０には、画像処理部３２により画像処理された画像ファイルが記録され、ユーザは、内視鏡画像記録部６０に記録された画像ファイルを用いて、内視鏡画像の観察を実施する。

以下、読影時に表示装置２２に表示される画面について説明する。
ユーザである医師Ｂは、端末装置２０にユーザＩＤおよびパスワードを入力してログインする。ユーザがログインすると、管理サーバ１０が検査情報記録部６２に記録された検査情報を端末装置２０に提供し、表示装置２２には、カプセル内視鏡検査の一覧が表示される。検査一覧画面には、患者ＩＤ、患者氏名、検査ＩＤ、検査日時などの検査情報が表示され、ユーザは、読影レポート作成の対象となる検査を選択する。検査一覧から患者ＩＤが「１１１１」、患者氏名「Ａ」、検査ＩＤが「０００１」の検査が選択されると、表示制御部４２は、ユーザが内視鏡画像を読影するための読影画面を生成して、表示装置２２に表示させる。

図５は、内視鏡画像の読影画面の例を示す。読影画面中央上部には、内視鏡画像を切り替えて再生表示するための再生領域１００が設けられる。読影画面は、画面左上隅にある再生モード選択ボタン１０２ａが選択された状態で、表示装置２２に表示される。なおオーバービューモード選択ボタン１０２ｂが選択されると、表示制御部４２は、図６に示すオーバービュー画面を生成して、表示装置２２に表示させる。また候補画像選択ボタンが選択されると、表示制御部４２は、図７に示す候補画像選択画面を生成して、表示装置２２に表示させる。

再生枚数切替ボタン１０８は、再生領域１００に表示する画像枚数を切り替えるための操作ボタンである。図５には、１枚表示が選択されている例を示しているが、ユーザは再生枚数切替ボタン１０８を操作することで、２枚表示または４枚表示を選択できる。

第２再生モード選択ボタン１１０は、第２再生モードを選択するための操作ボタンである。第３再生モード選択ボタン１１２は、第３再生モードを選択するための操作ボタンである。第４再生モード選択ボタン１１４は、基準画像のみを再生表示する第４再生モードを選択するための操作ボタンである。第４裏再生モード選択ボタン１１６は、類似画像のみを再生表示する第４裏再生モードを選択するための操作ボタンである。第４再生モードでは、類似画像の再生表示が省略されるため、ユーザは、第４再生モードを選択して読影した場合には、第４裏再生モードでも読影して、全ての内視鏡画像を観察することが推奨される。

ユーザは、第２再生モード選択ボタン１１０、第３再生モード選択ボタン１１２、第４再生モード選択ボタン１１４および第４裏再生モード選択ボタン１１６のいずれかを選択して、再生モードを設定する。なおデフォルトの状態では、第２再生モード選択ボタン１１０が選択されている。再生領域１００の下方に設けられた再生ボタン表示領域１０４には再生ボタン１０４ａと逆再生ボタン１０４ｂとが表示され、再生ボタン１０４ａが選択されると、再生領域１００において内視鏡画像が順方向（撮影時刻の古い画像から新しい画像に向かう方向）に再生表示され、逆再生ボタン１０４ｂが選択されると、再生領域１００において内視鏡画像が逆方向（撮影時刻の新しい画像から古い画像に向かう方向）に再生表示される。再生速度調節部１０６は、再生速度（１枚の内視鏡画像の表示時間）を調節するためのスライダを備える。再生速度調節部１０６は、スライダの位置により、再生速度、すなわち内視鏡画像の表示フレームレートを設定する。たとえば２０ｆｐｓの表示フレームレートは、１秒あたり２０枚の内視鏡画像を切替表示して、１枚あたりの表示時間が０．０５秒であることを意味する。

再生処理部４６は、再生モード選択領域１３０において選択された再生モード、および再生速度調節部１０６により設定された再生速度（表示フレームレート）にしたがって、再生領域１００に内視鏡画像を再生表示する。再生ボタン１０４ａまたは逆再生ボタン１０４ｂが選択されると、再生処理部４６は再生表示を開始するが、選択された再生ボタン１０４ａまたは逆再生ボタン１０４ｂの場所には、代わりに一時停止ボタンが表示される。内視鏡画像の再生表示中に、ユーザが一時停止ボタンを操作すると、再生処理部４６は、内視鏡画像の再生表示を一時停止する。この状態でユーザがマウスホイールを操作すると、再生処理部４６が、マウスホイールの回転に応じて、第１再生モードで内視鏡画像をコマ送り表示する。

ユーザは再生領域１００に表示された画像にマウスポインタを合わせてマウスの左ボタンをダブルクリックすると、その画像がキャプチャされてキャプチャ画像表示領域１２８に表示される。キャプチャ画像表示領域１２８に表示されるキャプチャ画像は、後に読影レポートに添付する画像の選択肢となる。この例では、８枚のキャプチャ画像１２８ａ〜１２８ｈが選択されている様子が示される

表示制御部４２は、一端を撮影開始時刻、他端を撮影終了時刻とするタイムバー１２０を再生領域１００の下方に表示する。実施の形態においてタイムバー１２０は、左端を撮影開始時刻、右端を撮影終了時刻とする横長矩形のバーであり、スライダ１２２は、再生領域１００に表示されている内視鏡画像の時間的な位置を示す。スライダ１２２により表現される時間位置は、時間表示領域１２４に撮影開始時刻からの相対的な時間情報としても表示される。ユーザがタイムバー１２０の任意の箇所にマウスポインタをあててマウスの左ボタンをクリックすると、その時間位置における内視鏡画像が再生領域１００に表示される。またユーザがスライダ１２２をドラッグしてタイムバー１２０内の任意の位置でドロップしても、その時間位置における内視鏡画像が再生領域１００に表示される。

表示制御部４２は、タイムバー１２０において、内視鏡画像の平均色値を示す表示を行う。表示制御部４２は各内視鏡画像の平均色値を算出し、タイムバー１２０の矩形領域内部を、各内視鏡画像の時間位置に合わせて、各内視鏡画像の平均色値で色塗りする。これによりタイムバー１２０は、内視鏡画像の時間的な色味を表現するカラーバーとして表示されることになる。カプセル内視鏡３により撮影された内視鏡画像は、その撮影した消化管の太さ等により色味が異なるため、表示制御部４２が、タイムバー１２０に、画像平均色値による色を付加することで、読影者は、撮影時刻と撮影部位との関係を感覚的に認識できるようになる。

表示制御部４２はさらに、タイムバー１２０において、候補画像の撮影時刻を示す指標１３４を表示する。図５で指標１３４は、タイムバー１２０上に網掛けとして表示されているが、所定色で塗りつぶされてもよい。指標１３４が表示されることで、ユーザは、候補画像を撮影した可能性の高い画像の存在を認識できる。なお表示制御部４２は、後述のようにランドマーク設定された場合、指標１３４の表示態様を、ランドマーク設定前と比べて異ならせてよい。表示制御部４２は、ランドマーク 設定された後は、候補画像に関する情報をユーザに提示する必要がないため、指標１３４を非表示としてよい。

赤色画像表示ボタン１２６は、タイムバー１２０において、赤み画像の撮影時刻に赤色マークを表示させるためのボタンである。赤色画像表示ボタン１２６が操作されると、表示制御部４２は、赤み画像の撮影時刻に、赤色マークを表示する。タイムバー１２０に赤色マークが表示されることで、ユーザは、出血を撮影した可能性の高い画像の存在を認識できる。

拡大表示ボタン１１８は、再生領域１００を拡大するためのボタンである。拡大表示ボタン１１８が操作されると、キャプチャ画像表示領域１２８は非表示とされて、その分だけ再生領域１００が拡大される。

ユーザはタイムバー１２０に、部位の開始位置を示すためのマークを付加できる。このマーク付加はランドマーク設定とも呼ばれ、画像診断を効率化する目的で、撮影画像の部位の範囲を特定するために実施される。ユーザは、マウス操作により、指標１３４の左端の時間位置あるいはそれより僅かに前の時間位置から再生表示を開始する。ユーザは、再生領域１００で再生表示される内視鏡画像を観察しながら、新たな部位画像が再生されると、再生領域１００の再生表示を停止させ、再生領域１００に表示された境界画像上にマウスポインタを配置して、右クリックする。表示制御部４２は、ランドマーク設定用の選択肢を含む選択ウィンドウを表示する。選択ウィンドウには、胃、小腸、大腸の開始位置をランドマーク設定するための３つの項目が表示される。ユーザは、項目を選択することで、当該項目で特定される部位の開始位置を、タイムバー１２０にランドマーク設定できる。ランドマークは、読影者が境界を認識できるような態様で、タイムバー１２０に表示される。読影者がランドマーク設定を行うことで、内視鏡画像を見直す際に、部位の開始位置を容易に知ることができる。

画面左上隅にあるオーバービューモード選択ボタン１０２ｂが選択されると、表示制御部４２は、オーバービュー画面を生成して、表示装置２２に表示させる。オーバービュー画面では、画像要約処理により特定された複数の基準画像から抽出された画像が表示される。

図６は、内視鏡画像のオーバービュー画面の例を示す。画像表示領域１３２には、複数の基準画像から抽出された画像が格子状に並べて表示される。たとえば約６万枚の内視鏡画像から約２万枚の基準画像が特定されているとき、表示制御部４２は、約２万枚の基準画像の中から所定の間隔で抽出した画像を、オーバービュー画面に表示する。抽出する枚数は、２千枚を上限として、ユーザにより自由に設定されてよい。基準画像の枚数をＮ枚、オーバービュー画面に含める画像枚数をＭ枚とすると、表示制御部４２は、時系列に並べた基準画像の中から（Ｎ／Ｍ）枚ごとに画像を抽出する。たとえばＮ＝２万枚、Ｍ＝２千枚であるとき、表示制御部４２は、撮影時刻順に基準画像を１０枚ごとに１枚を抽出し、オーバービュー画面に配列する。抽出画像は、画像表示領域１３２において格子状に配列され、ユーザはページ送りボタン１４０ａ、１４０ｂを操作して、画像を切り替えることができる。オーバービュー画面に表示される内視鏡画像は基準画像であり、互いに非類似のものに限定されるため、ユーザは、検査全体の概要を効率よく把握できる。

図５に戻って、画面左上隅にある候補画像一覧選択ボタン１０２ｃが選択されると、表示制御部４２は、複数の基準画像の中から、付加情報を参照して、体内の部位の境界を撮影した可能性のある候補画像を特定し、候補画像を含む候補画像一覧表示画面を生成して、表示装置２２に表示させる。なおタイムバー１２０に表示された指標１３４上にマウスポインタを配置して右クリックしたときに、表示制御部４２は、「候補画面一覧画面を表示する」ことを選択するための選択肢を含む選択ウィンドウを表示し、その選択肢が選択された場合に候補画像一覧画面を生成して、表示装置２２に表示させてもよい。

図７は、候補画像一覧画面の例を示す。画像表示領域１３６には、候補画像の一覧が格子状に並べて表示される。ユーザは、ページ送りボタン１３８ａ、１３８ｂを操作して、画像を切り替えることができる。ユーザが候補画像をマウスでダブルクリックすると、候補画像は拡大表示される。候補画像が一覧で表示されるため、体内の部位の境界を容易に探し出すことが可能となる。

ユーザは、候補画像が小腸の入口を撮影した画像であることを確認すると、候補画像上にマウスポインタを配置して、右クリックする。表示制御部４２は、ランドマーク設定用の選択肢を含む選択ウィンドウ１５０を表示する。選択ウィンドウ１５０には、胃、小腸、大腸の開始位置をランドマーク設定するための３つの項目が表示される。ユーザは選択枠１５２を所望の項目に合わせて、決定操作（たとえばマウスのダブルクリック）を行うことで、候補画像を、体内部位の開始位置画像として、ランドマーク設定できる。ランドマーク設定された画像の画像ＩＤは、観察内容記録部６４にランドマーク画像の画像ＩＤとして記録され、タイムバー１２０上の候補画像の撮影位置に、小腸の開始位置であることを示すマークが付加される。ユーザは、まず図７に示す候補画像一覧画面でランドマーク設定してから、図４に示す読影画面や図５に示すオーバービュー画面で画像観察を行ってもよい。

図８は、内視鏡画像の読影画面の別の例を示す。表示制御部４２は、タイムバー１２０の下方に、候補画像の撮影時刻を示す指標１３４を中括弧として表示する。中括弧の指標１３４が表示されることで、ユーザは、候補画像を撮影した可能性の高い画像の範囲を認識できる。

図９は、内視鏡画像の読影画面のさらに別の例を示す。表示制御部４２は、タイムバー１２０の下方に、タイムバー１２０に隣接する部位バー１４２を表示する。部位バー１４２は、タイムバー１２０と同じ長さの横長矩形のバーであり、再生領域１００に表示されている内視鏡画像が、胃、小腸または大腸の各部位の内視鏡画像であるか、または候補画像であるか識別できるような態様で表示される。たとえば部位バー１４２において、胃に対応する部分１４２ａ、小腸に対応する部分１４２ｂ、大腸に対応する部分１４２ｃおよび境界に対応する部分１４２ｄがそれぞれ異なる色で表示されてもよい。

以上説明した第１の実施の形態に係る内視鏡画像観察支援システム１によると、判別確度をクラスタリングすることにより、部位の境界を探すべき範囲が特定される。これにより、読影者は部位の境界を容易に見つけることができる。

（第２の実施の形態）
図１０は、候補画像特定処理のフローチャートを示す。図１０は、第１の実施の形態の図３に対応する。第１の実施の形態に係る内視鏡画像観察支援システム１との主な違いは、候補画像特定部３８による処理である。以下、第１の実施の形態に係る内視鏡画像観察支援システム１との違いを中心に説明する。

Ｓ１４までは図３と同様であるため、Ｓ２６から説明する。特定部５４は、複数のクラスタの中から、境界クラスタを特定する（Ｓ２６）。具体的に特定部５４は、複数のクラスタのそれぞれの代表ベクトルと各標準基底ベクトルとの内積を算出し（Ｓ２６０）、クラスタごとに内積を合計する（Ｓ２６２）。特定部５４は、内積の合計が小さいものから順に（Ｋ−Ｎ）個のクラスタを、すなわち判定対象の部位に対応するクラスタの数を除いた数のクラスタを、境界クラスタとして特定する（Ｓ２６４）。特定部５４は、そのクラスタに分類された内視鏡画像を候補画像として特定する（Ｓ２０）。

以上説明した第２の実施の形態に係る内視鏡画像観察支援システムによれば、第１の実施の形態に係る内視鏡画像観察支援システム１と同様の効果を奏することができる。

（第３の実施の形態）
図１１は、第３の実施の形態に係る内視鏡画像観察支援システムの管理サーバ１０および記録装置１２の構成を示す。図１１は、第１の実施の形態の図２に対応する。第１の実施の形態に係る内視鏡画像観察支援システム１との主な違いは、候補画像特定部３８による処理である。以下、第１の実施の形態に係る内視鏡画像観察支援システム１との違いを中心に説明する。

管理サーバ１０は、ＲＡＷ画像取得部３０、画像処理部３２、表示制御部４２および再生処理部４６を備える。画像処理部３２は、赤み判定部３４、画像要約処理部３６、候補画像特定部３８および圧縮処理部４０を有する。候補画像特定部３８は、判別部５０および特定部５４を有する。

本実施の形態では、判別部５０は、各内視鏡画像について、判別対象である各部位の内視鏡画像である確度のうち、確度が最も高い部位についての確度を、判別確度として出力する。なお、判別部５０は、第１の実施の形態と同様に、各部位の内視鏡画像である確度を成分とするベクトルを出力し、その絶対値を判別確度として出力してもよい。いずれにしても判別部５０は、スカラー量の判別確度を出力する。

特定部５４は、判別確度が比較的低い内視鏡画像を、具体的には判別確度が所定の閾値（０＜閾値＜１）を下回る内視鏡画像を候補画像として特定する。閾値には、実験や各種知見に基づき、候補画像を的確に特定できる値が設定されればよい。

変形例では、特定部５４は、所定枚数連続して閾値を上回る領域以外における内視鏡画像を、候補画像として特定してもよい。

以上説明した第３の実施の形態に係る内視鏡画像観察支援システムによれば、第１の実施の形態に係る内視鏡画像観察支援システム１と同様の効果を奏することができる。

以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

（変形例１）
図１２は、変形例に係る内視鏡画像観察支援システムの概要を説明するための図である。図１２は、第１の実施の形態の図１に対応する。本変形例では、内視鏡画像観察支援システム１は、クラウドサーバ１４をさらに備える。クラウドサーバ１４は、クラウドサービス事業者が提供するサーバである。

図１３は、管理サーバ１０、記録装置１２およびクラウドサーバ１４の構成を示す図である。図１３は、第１の実施の形態の図１に対応する。管理サーバ１０は、ＲＡＷ画像取得部３０、表示制御部４２および再生処理部４６を備える。クラウドサーバ１４は、画像処理部３２を備える。すなわち、本変形例では、管理サーバ１０が画像処理部３２の機能を有しない代わりに、クラウドサーバ１４が画像処理部３２の機能を有する。クラウドサーバ１４の画像処理部３２は、記録装置１２に一次記憶された内視鏡ＲＡＷ画像に対して、赤み画像の特定、画像要約処理、境界候補画像の特定を実施する。圧縮処理部４０は、所定の情報が付加された画像ファイルを生成し、記録装置１２に送信して内視鏡画像記録部６０に記録させる。

（変形例２）
変形例１では、クラウドサーバ１４が候補画像特定部３８のすべての機能を有する場合について説明した。クラウドサーバ１４は、候補画像特定部３８の一部の機能だけを有してもよい。図１４は、別の変形例に係る内視鏡画像観察支援システムの管理サーバ１０、記録装置１２およびクラウドサーバ１４の構成を示す図である。管理サーバ１０の画像処理部３２の候補画像特定部３８は、分類部５２および特定部５４を有する。クラウドサーバ１４は判別部５０を有する。すなわち、本変形例では、管理サーバ１０の画像処理部３２の候補画像特定部３８が判別部５０の機能を有しない代わりに、クラウドサーバ１４が画像処理部３２判別部５０の機能を有する。判別部５０は、記録装置１２に一次記憶された内視鏡ＲＡＷ画像に対して、判別確度を出力する処理を実施する。判別部５０は、出力した判別確度を、管理サーバ１０の候補画像特定部３８に提供する。

１ 内視鏡画像観察支援システム、 １０ 管理サーバ、 １２ 記録装置、 ３２ 画像処理部、 ３８ 候補画像特定部、 ４２ 表示制御部、 ５０ 判別部、 ５２ 分類部、 ５４ 特定部。

本発明は、内視鏡画像観察支援システムに利用できる。

Claims (15)

1. カプセル内視鏡により撮影された複数の画像の観察を支援する観察支援システムであって、
   前記複数の画像のそれぞれについて、判別対象の部位の画像である確度を示す判別確度を出力する判別部と、
   前記判別確度に基づいて、前記複数の画像を複数のクラスタに分類する分類部と、
   前記複数のクラスタの分類に基づいて、前記複数の画像の中から前記部位の境界の候補画像を特定する特定部と、
   を備えることを特徴とする内視鏡画像観察支援システム。
2. 前記分類部は、前記複数の画像を、第１クラスタと、前記第１クラスタとは異なる第２クラスタと、に分類し、
   前記特定部は、前記第１クラスタを前記判別対象の部位の画像が分類されたクラスタであると特定した場合、前記第２クラスタに分類された画像を前記候補画像として特定する、
   ことを特徴とする請求項１に記載の内視鏡画像観察支援システム。
3. 前記判別対象の部位がＬ個（Ｌは１以上の整数）であるとき、
   前記分類部は、前記複数の画像を（Ｌ＋１）個以上のクラスタに分類する、
   ことを特徴とする請求項１に記載の内視鏡画像観察支援システム。
4. 前記判別対象の部位が複数個であるとき、
   前記判別部は、前記複数の画像のそれぞれについて、前記複数の判別対象の部位のそれぞれの画像である確度を成分に含むベクトルを判別確度として出力し、
   前記特定部は、
   前記複数のクラスタのそれぞれについて、分類された１以上の画像の判別確度を代表する代表ベクトルを特定し、
   前記複数のクラスタのうち、前記代表ベクトルと前記複数の判別対象の部位のうちの或る部位に対応する標準基底ベクトルとの内積が最大になるクラスタを、その部位の画像が分類されたクラスタとして特定する、
   ことを特徴とする請求項１に記載の内視鏡画像観察支援システム。
5. 前記判別対象の部位が複数個であるとき、
   前記判別部は、前記複数の画像のそれぞれについて、前記複数の判別対象の部位のそれぞれの画像である確度を成分に含むベクトルを判別確度として出力し、
   前記特定部は、
   前記複数のクラスタのそれぞれについて、分類された１以上の画像の判別確度を代表する代表ベクトルを特定し、
   前記複数のクラスタのうち、前記代表ベクトルと前記複数の判別対象の部位のそれぞれに対応する各標準基底ベクトルとの内積の合計が小さいものから順に所定数のクラスタを、前記候補画像が分類されたクラスタとして特定する、
   ことを特徴とする請求項１に記載の内視鏡画像観察支援システム。
6. 前記複数の画像のそれぞれの撮影開始時刻からの相対的な時間情報および判別確度に基づいて、前記複数の画像を前記複数のクラスタに分類することを特徴とする請求項１に記載の内視鏡画像観察支援システム。
7. 前記判別部は、前記複数の画像のそれぞれについて、少なくとも胃、小腸、大腸のいずれかの画像である確度を示す判別確度を出力することを特徴とする請求項１に記載の内視鏡画像観察支援システム。
8. 前記特定部により特定された前記候補画像に関する情報を表示部に表示させる表示制御部をさらに備えることを特徴とする請求項１に記載の内視鏡画像観察支援システム。
9. 前記表示制御部は、前記特定部により特定された前記候補画像を表示部に一覧表示させることを特徴とする請求項８に記載の内視鏡画像観察支援システム。
10. 前記表示制御部は、一端を撮影開始時刻、他端を撮影終了時刻とするタイムバーを表示するとともに、前記候補画像に対応する指標をタイムバーに対応付けて表示させることを特徴とする請求項８に記載の内視鏡画像観察支援システム。
11. 前記表示制御部は、各撮影時刻における画像が、所定部位の画像または前記候補画像であることを表示するバーを、画像の撮影時刻に対応付けて表示させることを特徴とする請求項８に記載の内視鏡画像観察支援システム。
12. カプセル内視鏡により撮影された複数の画像のそれぞれについて出力された判別対象の部位の前記画像である確度を示す判別確度に基づいて、前記複数の画像が複数のクラスタに分類され、前記複数のクラスタの分類に基づいて前記複数の画像の中から特定された部位の境界の候補画像に関する情報を、表示部に表示させる表示制御部を備えることを特徴とする内視鏡画像観察支援装置。
13. カプセル内視鏡により撮影された複数の画像のそれぞれについて出力された判別対象の部位の画像である確度を示す判別確度に基づいて、前記複数の画像が複数のクラスタに分類され、表示部に表示させるために、前記複数のクラスタの分類に基づいて前記複数の画像の中から部位の境界の候補画像を特定する特定部を備えることを特徴とする内視鏡画像観察支援装置。
14. カプセル内視鏡により撮影された複数の画像のそれぞれについて、判別対象の部位の画像である確度を示す判別確度を出力するステップと、
    前記判別確度に基づいて、前記複数の画像を複数のクラスタに分類するステップと、
    前記複数のクラスタの分類に基づいて、前記複数の画像の中から部位の境界の候補画像を特定するステップと、
    を含むことを特徴とする内視鏡画像観察支援方法。
15. カプセル内視鏡により撮影された複数の画像のそれぞれについて、判別対象の部位の画像である確度を示す判別確度を出力する機能と、
    前記判別確度に基づいて、前記複数の画像を複数のクラスタに分類する機能と、
    前記複数のクラスタの分類に基づいて、前記複数の画像の中から部位の境界の候補画像を特定する機能と、
    をコンピュータに実行させることを特徴とする内視鏡画像観察支援プログラム。

Images