JP6741759B2 - 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム - Google Patents

Description

本発明は、例えば生体の管腔内を順次撮像することにより取得された管腔画像から異常領域を検出し、検出した異常領域に基づいて算出した情報を表示部に表示させる画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラムに関する。

内視鏡やカプセル型内視鏡等の医用観察装置を用いて生体内の管腔を時系列順に撮像することにより取得された一連の画像群（以下、生体内管腔画像群ともいう）から、異常領域等の注目領域が写った画像を代表画像として抽出する技術が知られている。医師等のユーザは、画像群から抽出された代表画像を観察することで、大量の画像を詳細に観察する負担を軽減することができ、正確かつ効率の良い診断を行うことが可能である。

例えば特許文献１には、時系列順に取得された生体内管腔画像群から注目領域を検出し、注目領域の特徴量と注目領域を含む生体内管腔画像の時系列位置とに基づいて注目領域をグループに分類し、各グループに分類された注目領域から代表領域を選出し、選出した代表領域を含む画像を代表画像として出力する画像処理装置が開示されている。

特開２０１１−２４７２７号公報

しかしながら、特許文献１が開示する技術では、ユーザが、生体内管腔画像群から選出された代表画像のみを観察することになる。このため、代表画像に写っている注目領域が時系列で前後する生体内管腔画像においても続いているか否か等、注目領域に係る時系列の情報を把握することができなかった。すなわち、特許文献１が開示する技術では、代表画像から精度の高い診断ができるものの、時系列の情報を加味したより精度の高い診断ができないおそれがあった。

本発明は、上記に鑑みてなされたものであって、生体の管腔内を時系列順に撮像することにより取得された一連の画像群を用いて診断を行う際に、効率的かつ精度の高い診断を行うことができる画像処理装置、画像処理装置の作動方法、及び画像処理装置の作動プログラムの提供を目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、生体内に導入される医用装置が撮像した複数の生体内管腔画像から異常領域をそれぞれ検出する異常検出部と、類似した前記異常領域を含む類似異常区間を設定する類似異常区間設定部と、前記類似異常区間に関する情報を生成する区間情報生成部と、前記類似異常区間に関する情報を表示装置に表示させる区間情報表示制御部と、を備えることを特徴とする。

上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置の作動方法は、異常検出部が、生体内に導入される医用装置が撮像した複数の生体内管腔画像から異常領域をそれぞれ検出する異常検出ステップと、類似異常区間設定部が、類似した前記異常領域を含む類似異常区間を設定する類似異常区間設定ステップと、区間情報生成部が、前記類似異常区間に関する情報を生成する区間情報生成ステップと、区間情報表示制御部が、前記類似異常区間に関する情報を表示装置に表示させる区間情報表示制御ステップと、を含むことを特徴とする。

上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置の作動プログラムは、生体内に導入される医用装置が撮像した複数の生体内管腔画像から異常領域をそれぞれ検出する異常検出手順と、類似した前記異常領域を含む類似異常区間を設定する類似異常区間設定手順と、前記類似異常区間に関する情報を生成する区間情報生成手順と、前記類似異常区間に関する情報を表示装置に表示させる区間情報表示制御手順と、をコンピュータに実行させることを特徴とする。

本発明によれば、生体の管腔内を時系列順に撮像することにより取得された一連の画像群を用いて診断を行う際に、効率的かつ精度の高い診断を行うことができるという効果を奏する。

図１は、本発明の実施の形態１に係る画像処理装置の機能構成を示すブロック図である。 図２は、本発明の実施の形態１に係る画像処理装置が行う画像処理を説明するフローチャートである。 図３は、本発明の実施の形態１に係る画像処理装置が行う画像処理において抽出された複数の代表画像の表示態様の一例を説明する図である。 図４は、本発明の実施の形態１に係る画像処理装置が行う画像処理において抽出した複数の代表画像から代表画像が選択された場合の表示態様の一例を説明する図である。 図５は、本発明の実施の形態１の変形例１に係る画像処理装置が行う画像処理において抽出した複数の代表画像から代表画像が選択された場合の表示態様の一例を説明する図である。 図６は、本発明の実施の形態１の変形例２に係る画像処理装置が行う画像処理において抽出した複数の代表画像から代表画像が選択された場合の表示態様の一例を説明する図である。 図７は、本発明の実施の形態１の変形例３に係る画像処理装置が行う画像処理において抽出した複数の代表画像から代表画像が選択された場合の表示態様の一例を説明する図である。 図８は、本発明の実施の形態１の変形例４に係る画像処理装置が行う画像処理において抽出された複数の代表画像の表示態様の一例を説明する図である。 図９は、本発明の実施の形態２に係る画像処理装置の機能構成を示すブロック図である。 図１０は、本発明の実施の形態２に係る画像処理装置が行う画像処理を説明するフローチャートである。 図１１は、本発明の実施の形態２の変形例１に係る画像処理装置の機能構成を示すブロック図である。 図１２は、本発明の実施の形態２の変形例２に係る画像処理装置の機能構成を示すブロック図である。 図１３は、本発明の実施の形態２の変形例３に係る画像処理装置の機能構成を示すブロック図である。 図１４は、本発明の実施の形態３に係る画像処理装置の機能構成を示すブロック図である。 図１５は、本発明の実施の形態３に係る画像処理装置が行う画像処理を説明するフローチャートである。

以下に、本発明を実施するための形態（以下、「実施の形態」という）を説明する。

（実施の形態１）
図１は、本発明の実施の形態１に係る画像処理装置の機能構成を示すブロック図である。同図に示す画像処理装置１は、演算部２と、記憶部３と、入力部４と、を備える。画像処理装置１は、カプセル型内視鏡や内視鏡等の医用装置により撮像された生体内管腔画像を取得して所定の画像処理を行う機能を有する。生体内管腔画像としては、各画素位置においてＲ（赤）、Ｇ（緑）、Ｂ（青）の波長成分に対する画素レベル（画素値）を持つカラー画像を用いる。生体内管腔画像は、時系列で連続して撮像されることにより生成され、順次画像処理装置１に入力される。画像処理装置１は、生成した画像や情報を表示装置５に出力して、各種情報を表示装置５に表示させる。表示装置５は、ＬＣＤやＥＬディスプレイ等の表示装置によって実現され、画像処理装置１から入力された生体内管腔画像を含む各種画面を表示する。

演算部２は、時系列で連続して撮像した生体内管腔画像の異常領域を検出する異常検出部２１と、類似した異常領域を含む類似異常区間を設定する類似異常区間設定部２２と、類似異常区間に関する区間情報を算出する区間情報生成部２３と、区間情報生成部２３が算出した区間情報を表示装置５に出力して、表示装置５における区間情報の表示制御を行う区間情報表示制御部２４と、類似異常区間から代表的な生体内管腔画像を代表画像として抽出する代表画像抽出部２５と、代表画像抽出部２５により抽出された代表画像を出力して、表示装置５における代表画像の表示制御を行う代表画像表示制御部２６とを有する。

異常検出部２１は、生体内管腔画像の各種特徴量に基づいて画像において注目すべき注目領域である異常領域を検出する。異常領域とは、管内画像における被写体の性状または状態が所定の条件を満たす領域である。例えば、管内画像が生体の管内画像（生体内管腔画像）である場合には、生体の組織性状または生体内の状態が所定の条件を満たすような領域である。より具体的には、例えば潰瘍、アフタ、びらん、ポリープ、腫瘍、出血、発赤、絨毛異常等の生体の組織性状が変化している領域、および出血等の生体内における状態変化が発生している領域等を挙げることができる。実施の形態１においては、管腔内画像の色特徴量（色情報）に基づいて異常領域を検出する例を説明する。ここで、出血や発赤、血管異常等の異常領域は赤色調の特定色を示し、潰瘍やアフタ等の異常領域は白色調の特定色を示す。そこで、異常検出部２１は、画素値の各色成分（Ｒ成分、Ｇ成分、Ｂ成分）や、これらの各色成分を基に公知の変換処理により二次的に算出した値（例えば、ＹＣｂＣｒ変換により算出した色差、ＨＳＩ変換により算出した色相、彩度、Ｇ／Ｒ、Ｂ／Ｇ等の色比など）といった色特徴量を用いて、生体内管腔画像内の特定色を示す領域を検出し、この領域を異常領域とする。より詳細には、事前に収集した各種の異常領域の色特徴量を基に、異常領域の判別基準（色範囲）を予め作成し、記憶部３に記録しておく。そして、生体内管腔画像から異常領域を検出する際に、この判別基準を記憶部３から読み出すと共に、生体内管腔画像を構成する各画素について色特徴量を算出し、各画素の色特徴量を判別基準と比較することにより、当該生体内管腔画像から異常領域を検出する。

なお、異常領域の検出方法は、上述した検出方法に限定されず、異常領域を検出可能な公知の種々の方法を適用することができる。例えば、代表的な色特徴量との特徴空間距離に基づく方法等を用いても良い。また、上記説明においては、生体内管腔画像を構成する画素単位の色特徴量を用いて異常領域を検出したが、画像内のエッジ情報等を基に生体内管腔画像を小領域に分割し、小領域単位の色特徴量を用いて異常領域を検出しても良い。さらに、色特徴量以外の形状特徴量や、テクスチャ特徴量を用いて、異常領域を検出しても良い。

類似異常区間設定部２２は、異常検出部２１が検出した異常領域に基づいて、同一の異常領域を含む類似異常区間を設定する。より詳細には、類似異常区間設定部２２は、異常領域を含む生体内管腔画像のうち、時系列で連続する生体内管腔画像を、同一の異常領域を含む生体内管腔画像群として抽出し、この生体内管腔画像群を一つの類似異常区間として設定する。

なお、同一の異常領域を含む生体内管腔画像群の抽出方法としては、上述した抽出方法の他にも、公知の種々の方法を適用することができる。例えば、異常画像間における正規化相互相関や、動きベクトル変化量や、画素値（輝度値又はＧ成分の値）の変化量等に基づいて、画像間の変化量を求め、変化量が所定値以下である異常画像群を、同一の異常領域を含む異常画像群として抽出しても良い。或いは、異常領域の形状特徴量（面積、円形度等）や色特徴量（色比、色相等）の異常画像間における差分値を算出し、差分値が、予め設定されている所定値以下である異常画像群を、同一の異常領域を含む異常画像群として抽出しても良い。

区間情報生成部２３は、類似異常区間の長さ情報を生成する長さ情報生成部２３１を有している。長さ情報生成部２３１は、類似異常区間の撮像画像枚数を算出する撮像枚数算出部２３１ａと、類似異常区間の撮像時間を算出する撮像時間算出部２３１ｂと、類似異常区間の移動距離を算出する移動距離算出部２３１ｃとを有する。本実施の形態１では、長さ情報生成部２３１が生成する長さ情報が、類似異常区間に関する情報に相当する。

撮像枚数算出部２３１ａは、類似異常区間における生体内管腔画像を計数することによって撮像画像枚数を算出する。

撮像時間算出部２３１ｂは、類似異常区間における生体内管腔画像の撮像に要した撮像時間を算出する。この撮像時間は、類似異常区間における医用装置の撮像部の移動時間に相当する。

移動距離算出部２３１ｃは、類似異常区間における医用装置の移動距離を算出する。具体的には、移動距離算出部２３１ｃは、例えば特開２００６−３３４２９７号公報で開示されているような、テンプレートマッチングを行って動きベクトルを算出し、この動きベクトルから移動距離を推定する方法を用いる。なお、移動距離算出部２３１ｃは、電波の受信状況や、医用装置内のセンサー等の検出結果により体内位置を推定する方法を用いて、推定結果から移動距離を算出するようにしてもよい。この体内位置の推定方法は、類似異常区間の開始位置と終了位置とにおける体内位置を推定し、その差を算出することで、移動距離を算出する。

区間情報表示制御部２４は、入力部４を介して代表画像が選択された場合、記憶部３を参照して、選択された代表画像に対応する類似異常区間について、撮像枚数算出部２３１ａ、撮像時間算出部２３１ｂ及び移動距離算出部２３１ｃがそれぞれ生成した長さ情報である撮像画像枚数、撮像時間及び移動距離を取得し、表示装置５に出力する。

代表画像抽出部２５は、異常検出部２１が検出した異常領域を含む生体内管腔画像から、同一の異常領域を含む生体内管腔画像群を抽出し、抽出された生体内管腔画像群から、各異常領域の重要度と、各異常領域の視認性とのうちの少なくともいずれかに基づいて代表画像を抽出する。代表画像抽出部２５は、同一の異常領域を含む生体内管腔画像群の各々から、重要度の高い異常領域を含む生体内管腔画像や、異常領域の視認性の良い生体内管腔画像を代表画像として抽出する。ここで、異常領域の重要度とは、生体内管腔画像に対する診断における検出対象と各異常領域との関連性、言い換えると、検出対象らしさのことをいい、この関連性が強いほど（検出対象らしいほど）重要度が高くなる。例えば、出血源を検出対象とする場合、検出された異常領域が出血源らしいほど、当該異常領域の重要度は高いと判断される。代表画像表示制御部２６は、類似異常区間が一つ設定されていれば、その類似異常区間から少なくとも一つの代表画像を抽出し、互いに異なる複数の類似異常区間が設定されていれば、各類似異常区間からそれぞれ少なくとも一つの代表画像を抽出する。

代表画像の抽出方法は特に限定されない。例えば、各生体内管腔画像群の時系列順での先頭の生体内管腔画像を代表画像として抽出しても良い。或いは、各生体内管腔画像群における同一の異常領域の色特徴量に基づいて抽出しても良い。具体的には、異常領域が赤色調の特定色を示す場合、異常領域の赤色が強い生体内管腔画像を優先的に代表画像として抽出し、異常領域が白色調の特定色を示す場合、異常領域の白色が強い生体内管腔画像を優先的に代表画像として抽出する。また、異常領域の面積が大きい生体内管腔画像や、異常領域の位置が中央に近い生体内管腔画像を優先的に代表画像として抽出しても良い。

代表画像表示制御部２６は、代表画像抽出部２５が抽出した代表画像を外部の表示装置５に出力して、出力した代表画像を該表示装置５に表示させる。

演算部２は、演算および制御機能を有するＣＰＵ（Central Processing Unit）等の汎用プロセッサ、またはＡＳＩＣ（Application Specific Integrated Circuit）もしくはＦＰＧＡ（Field Programmable Gate Array）等の専用の集積回路等を用いて実現される。演算部２が汎用プロセッサまたはＦＰＧＡによって実現される場合は、記憶部３が記憶する各種プログラムや各種データを記憶部３から読み出し、画像処理装置１を構成する各部への指示やデータの転送等を行い、画像処理装置１全体の動作を統括して制御する。演算部２がＡＳＩＣを用いて実現される場合は、各種処理を単独で実行してもよいし、記憶部３が記憶する各種データ等を用いることによって各種処理を実行してもよい。

記憶部３は、処理対象となる生体内管腔画像のデータ、および処理を行う際に必要な各種情報を記憶する。記憶部３は、ＲＯＭ（Read Only Memory）またはＲＡＭ（Random Access Memory）等の各種ＩＣメモリ、内蔵もしくはデータ通信端子で接続されたハードディスク、またはＣＤ−ＲＯＭ等の情報記録装置およびその読取装置等によって実現される。記憶部３は、画像処理装置１が取得した生体内管腔画像の画像データの他、画像処理装置１を動作させると共に、画像処理装置１に種々の機能を実行させるためのプログラムや、このプログラムの実行中に使用されるデータ等を記憶する。具体的には、記憶部３は、本実施の形態１に係る作動プログラムや、異常領域の検出処理等を行う際に用いられる各種パラメータを記憶する。

記憶部３が記憶する画像処理プログラム等の各種プログラムは、コンピュータ読み取り可能な記録媒体に記録することも可能である。また、各種プログラムの記憶部３または記録媒体への記録は、コンピュータまたは記録媒体を製品として出荷する際に行ってもよいし、通信ネットワークを介したダウンロードにより行ってもよい。ここでいう通信ネットワークは、例えば既存の公衆回線網、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）などによって実現されるものであり、有線、無線を問わない。

入力部４は、外部からの操作に応じた信号の入力を受け付け、受け付けた信号を演算部２に入力する。ここで、入力部４は、例えばキーボードやマウス等のユーザインタフェースを用いて実現される。なお、画像処理装置１が表示部を有する場合には、表示パネルの表面にタッチパネルを配設し、このタッチパネルを入力部として機能させることも可能である。

以上の構成を有する画像処理装置１は、１つのコンピュータを用いて実現してもよいし、複数のコンピュータを用いて実現してもよい。後者の場合には、通信ネットワークを介してデータの送受信を行いながら、互いに連携して処理を行うようにすることも可能である。なお、ここでいうコンピュータは、例えば汎用のパーソナルコンピュータやサーバ等によって構成することができる。

なお、生体内管腔画像を画像処理装置１に入力するための医用装置の構成に関して本発明では特に限定しない。医用装置の一例として、カプセル型内視鏡が挙げられる。カプセル型内視鏡は、経口摂取等によって被検体内に導入された後、臓器（消化管）内部を移動し、最終的に被検体の外部に排出される。その間、カプセル型内視鏡は、臓器内部を該臓器の蠕動運動により移動しつつ撮像を行い、画像信号を順次生成して、画像処理装置１や、カプセル型内視鏡と画像処理装置１との間を中継する中継装置に無線送信する。

続いて、画像処理装置１の演算部２が行う画像処理について、図２〜図４を参照して説明する。図２は、本発明の実施の形態１に係る画像処理装置が行う画像処理を説明するフローチャートである。まず、画像処理装置１は、生体内管腔画像の入力があると、生体内管腔画像の画像データを取得して記憶部３へ書き込んで記憶させる（ステップＳ１０１）。この生体内管腔画像は、時系列に沿って複数入力される。記憶部３は、入力される生体内管腔画像を時系列に沿って、又は時系列と対応付けて記憶する。画像処理装置１は、生体内管腔画像を撮像するカプセル内視鏡等の機器との通信によって生体内管腔画像を取得してもよいし、生体内管腔画像が記録された記録媒体から生体内管腔画像のデータを読み出すことによって取得してもよい。

続くステップＳ１０２において、異常検出部２１は、記憶部３に記憶された生体内管腔画像の画像データを順次読み出し、各生体内管腔画像から異常領域を検出する処理を行う。具体的には、異常検出部２１は、記憶部３に予め記録されている異常領域の判別基準を読み出し、各生体内管腔画像を構成する各画素の色特徴量をこの判別基準と比較することにより、異常領域を判別する。

その後、類似異常区間設定部２２は、ステップＳ１０２において検出された異常領域から、同一又は類似した異常領域を含む複数の生体内管腔画像からなる生体内管腔画像群として抽出し、この生体内管腔画像群を類似異常区間として設定する（ステップＳ１０３）。

続くステップＳ１０４において、代表画像抽出部２５は、ステップＳ１０３において抽出された各生体内管腔画像群から、異常領域の重要度の高い生体内管腔画像や異常領域の視認性の良い生体内管腔画像を少なくとも１枚、代表画像として抽出する。抽出される代表画像の数は、定数であっても良いし（例えば、各生体内管腔画像群から１枚）、生体内管腔画像群に属する生体内管腔画像の枚数に応じて決定しても良い（例えば、生体内管腔画像の枚数のα倍、０＜α＜１）。なお、後者の場合、代表画像の枚数が１枚に満たないときには、少なくとも１枚の代表画像を抽出するものとする。或いは、抽出される代表画像の数を特定せず、所定の基準を満たす生体内管腔画像（例えば、色特徴量が所定の閾値以上の生体内管腔画像）を全て代表画像として抽出しても良い。以下の説明では、一つの類似異常区間について、一枚の生体内管腔画像が代表画像として抽出されるものとして説明する。

続くステップＳ１０５において、区間情報生成部２３は、類似異常区間の長さ情報を生成する。具体的には、区間情報生成部２３は、長さ情報生成部２３１により算出された類似異常区間の撮像画像枚数、撮像時間及び移動距離を取得して、これらの情報を含む長さ情報を生成する。区間情報生成部２３は、各類似異常区間の長さ情報を生成後、生成した長さ情報を、類似異常区間と対応付けて記憶部３に記憶させる。

続くステップＳ１０６において、代表画像表示制御部２６は、ステップＳ１０４において代表画像抽出部２５が抽出した代表画像を外部の表示装置５に出力して、出力した代表画像を該表示装置５に表示させる。

図３は、本発明の実施の形態１に係る画像処理装置が行う画像処理において抽出された複数の代表画像の表示態様の一例を説明する図である。ステップＳ１０３において複数の類似異常区間が設定され、各類似異常区間において一枚の代表画像が抽出された場合、図３に示すように、それぞれの類似異常区間における代表画像Ｗ₁〜Ｗ₆が表示装置５に表示される。代表画像Ｗ₁〜Ｗ₆は、互いに異なる異常領域Ｒ₁〜Ｒ₁₀を含んだ生体内管腔画像である。

続くステップＳ１０７において、演算部２は、入力部４が受け付けた信号であって、表示装置５に表示されている複数の代表画像Ｗ₁〜Ｗ₆のうちのいずれかを選択する選択入力を指示する信号が入力されたか否かを判断する。ここで、演算部２は、選択入力がない場合（ステップＳ１０７：Ｎｏ）、本画像処理を終了する。これに対し、演算部２は、選択入力がある場合（ステップＳ１０７：Ｙｅｓ）、ステップＳ１０８に移行する。

ステップＳ１０８において、演算部２は、入力された信号に基づいて、選択された代表画像を判断し、判断結果を区間情報表示制御部２４に出力する。区間情報表示制御部２４は、選択された代表画像に対応する類似異常区間についての長さ情報を取得して、表示装置５に出力する。これにより、長さ情報が、代表画像とともに表示装置５に表示される。

図４は、本発明の実施の形態１に係る画像処理装置が行う画像処理において抽出した複数の代表画像から代表画像が選択された場合の表示態様の一例を説明する図である。入力部４を介して代表画像Ｗ₅が選択された場合、図４に示すように、当該代表画像Ｗ₅が選択されている旨を示す選択枠Ｓ₁が表示されるとともに、当該代表画像Ｗ₅に対応する類似異常区間についての長さ情報Ｄ₁である撮像画像枚数、撮像時間及び移動距離が表示されている。これにより、ユーザは、選択した代表画像についての時系列の情報を確認することができる。

以上説明した本発明の実施の形態１によれば、区間情報生成部２３が、類似異常区間設定部２２により設定された類似異常区間について、撮像画像枚数、撮像時間及び移動距離を長さ情報として生成し、入力部４を介して代表画像が選択された場合に、区間情報表示制御部２４が、選択された代表画像に対応する類似異常区間の長さ情報を取得して表示装置５に出力するようにしたので、生体の管腔内を時系列順に撮像することにより取得された一連の画像群から代表画像を抽出する際に、この代表画像に写っている注目領域に係る時系列の情報を表示することが可能となる。これにより、ユーザは、代表画像と、この代表画像に係る時系列の情報とを確認して、効率的かつ精度の高い診断を行うことができる。

なお、上述した実施の形態１では、長さ情報生成部２３１が、撮像画像枚数、撮像時間及び移動距離に関する情報を生成するものとして説明したが、撮像画像枚数、撮像時間及び移動距離のうち、少なくとも一つの情報があれば、代表画像が属する類似区間の時系列の情報を確認することが可能である。すなわち、上述した実施の形態１の構成において、撮像枚数算出部２３１ａ、撮像時間算出部２３１ｂ及び移動距離算出部２３１ｃのうち少なくとも一つを有するものであればよい。

上述した実施の形態１では、代表画像が選択された場合に、図４に示したような選択枠Ｓ₁と、当該代表画像に対応する長さ情報Ｄ₁が表示されるものとして説明したが、これに限らない。以下、変形例１〜３では、代表画像が選択された場合に表示装置５が表示する例を説明する。

（実施の形態１の変形例１）
本変形例１では、選択された代表画像とともに、体内における医用装置の位置等を示す画像を表示する。図５は、本発明の実施の形態１の変形例１に係る画像処理装置が行う画像処理において抽出した複数の代表画像から代表画像が選択された場合の表示態様の一例を説明する図である。

入力部４を介して代表画像Ｗ₅が選択された場合、上述したステップＳ１０８では、表示装置５が、図５に示すように、この選択された代表画像Ｗ₅とともに、体内において医用装置、例えばカプセル型内視鏡が通過した軌跡Ｑ₁を表示する。この際、軌跡Ｑ₁には、選択された代表画像Ｗ₅に関する情報として、軌跡Ｑ₁における代表画像Ｗ₅の位置を示す矢印Ｙ₁と、代表画像Ｗ₅が属する類似異常区間を示す破線矢印Ｙ_Rとが付与されている。

区間情報表示制御部２４は、代表画像Ｗ₅と対応付いている軌跡情報をもとに、矢印Ｙ₁の表示位置を算出する。また、区間情報表示制御部２４は、撮像枚数算出部２３１ａ、撮像時間算出部２３１ｂ及び移動距離算出部２３１ｃがそれぞれ生成した長さ情報である撮像画像枚数、撮像時間及び移動距離と、類似異常区間の開始位置及び／又は終了位置から体内におけるカプセル型内視鏡の位置情報を算出し、長さ情報と位置情報を統合することにより、体内位置統合情報である破線矢印Ｙ_Rを生成し、出力する。また、破線矢印Ｙ_Rの表示位置及び表示範囲は、代表画像Ｗ₅を含む類似異常区間の開始位置及び終了位置における各生体内管腔画像と対応付いている軌跡情報をもとに算出するようにしてもよい。

（実施の形態１の変形例２）
本変形例２では、選択された代表画像とともに、体内における医用装置の位置等を示す画像を表示する。図６は、本発明の実施の形態１の変形例２に係る画像処理装置が行う画像処理において抽出した複数の代表画像から代表画像が選択された場合の表示態様の一例を説明する図である。

入力部４を介して代表画像Ｗ₅が選択された場合、上述したステップＳ１０８では、表示装置５が、図６に示すように、この選択された代表画像Ｗ₅とともに、医用装置が取得した複数の生体内管腔画像の平均色を時系列に沿って配列したカラーバーＣＢ₁を表示する。この際、カラーバーＣＢ₁には、選択された代表画像Ｗ₅に関する情報として、カラーバーＣＢ₁における代表画像Ｗ₅の位置を示す矢印Ｙ₁と、代表画像Ｗ₅を含む類似異常区間を示す破線矢印Ｙ_Rとが付与されている。区間情報表示制御部２４は、代表画像Ｗ₅である生体内管腔画像の平均色の位置をもとに、矢印Ｙ₁の表示位置を算出する。また、区間情報表示制御部２４は、代表画像Ｗ₅が属する類似異常区間の開始位置と終了位置とにおける各生体内管腔画像の平均色の位置をもとに、破線矢印Ｙ_Rの表示位置及び表示範囲を算出する。

（実施の形態１の変形例３）
本変形例３では、選択された代表画像とともに、体内における医用装置の位置等を示す画像を表示する。図７は、本発明の実施の形態１の変形例３に係る画像処理装置が行う画像処理において抽出した複数の代表画像から代表画像が選択された場合の表示態様の一例を説明する図である。

入力部４を介して代表画像Ｗ₅が選択された場合、上述したステップＳ１０８では、表示装置５が、図７に示すように、この選択された代表画像Ｗ₅とともに、体内において医用装置、例えばカプセル型内視鏡が導入される被検体Ｑ₁₀の臓器マップＱ₂を表示する。この際、臓器マップＱ₂には、選択された代表画像Ｗ₅に関する情報として、軌跡Ｑ₁における代表画像Ｗ₅の位置を示す矢印Ｙ₁と、代表画像Ｗ₅を含む類似異常区間を示す破線矢印Ｙ_Rとが付与されている。区間情報表示制御部２４は、代表画像Ｗ₅と対応付いている軌跡情報や、カプセル型内視鏡の移動距離をもとに、矢印Ｙ₁の表示位置を算出する。また、区間情報表示制御部２４は、代表画像Ｗ₅が属する類似異常区間の開始位置及び終了位置における各生体内管腔画像と対応付いている軌跡情報や、移動距離をもとに、破線矢印Ｙ_Rの表示位置及び表示範囲を算出する。

なお、上述した変形例１〜３において、実施の形態１に係る長さ情報Ｄ₁をさらに表示するようにしてもよい。

（実施の形態１の変形例４）
上述した実施の形態１では、抽出された複数の代表画像を並べて一括して静止画表示するものとして説明したが、本変形例４では、これらの画像を切り替えて表示するようにしてもよい。図８は、本発明の実施の形態１の変形例４に係る画像処理装置が行う画像処理において抽出された複数の代表画像の表示態様の一例を説明する図である。図８に示すように、抽出された複数の代表画像Ｗ₁〜Ｗ₆は、予め設定されている条件に基づいて並べられており、表示装置５において、この配列順に表示される。条件としては、例えば時系列、異常領域の数等がある。このように、抽出された複数の代表画像を動画表示するようにしてもよい。本変形例４では、画像の切り替えにより順次表示される代表画像Ｗ₁〜Ｗ₆に対して、ユーザが選択入力した場合、選択入力時に表示されている代表画像が選択され、この選択された代表画像について、図４に示す長さ情報Ｄ₁等が表示される。

（実施の形態２）
図９は、本発明の実施の形態２に係る画像処理装置の機能構成を示すブロック図である。同図に示す画像処理装置１Ａは、演算部２Ａと、記憶部３と、入力部４とを備える。以下、実施の形態１に係る画像処理装置１の演算部２が有する構成部位と同様の構成部位については、同じ符号を付して説明する。画像処理装置１Ａは、生成した画像や情報を表示装置５に出力して、各種情報を表示装置５に表示させる。

演算部２Ａは、時系列で連続して撮像した生体内管腔画像の異常領域を検出する異常検出部２１と、類似した異常領域を含む類似異常区間を設定する類似異常区間設定部２２と、類似異常区間に関する情報を算出する区間情報生成部２３Ａと、区間情報生成部２３Ａが算出した区間情報を出力する区間情報表示制御部２４Ａと、類似異常区間から代表的な生体内管腔画像を代表画像として抽出する代表画像抽出部２５と、代表画像抽出部２５により抽出された代表画像を出力する代表画像表示制御部２６と、異常の種類を判定する異常種類判定部２７とを有する。

区間情報生成部２３Ａは、類似異常区間に属する複数の生体内管腔画像のうち、代表画像として選択されなかった生体内管腔画像を抽出する類似画像群抽出部２３２を有している。類似画像群抽出部２３２は、類似異常区間から時系列順に、この類似異常区間に属する全ての生体内管腔画像を抽出する非代表画像抽出部２３２ａを有している。本実施の形態２では、類似画像群抽出部２３２が抽出した生体内管腔画像が、類似異常区間に関する情報に相当する。

異常種類判定部２７は、形状異常であるか否かを判定する形状異常判定部２７１と、色異常であるか否かを判定する色異常判定部２７２と、テクスチャ異常であるか否かを判定するテクスチャ異常判定部２７３とを有している。

ポリープ、腫瘍等の形状異常は円形状の領域であることが多い。そこで、形状異常判定部２７１は、円形状を有する領域であるか否かに基づいて、検出された異常領域が形状異常であるか否かを判定する。具体的に、形状異常判定部２７１は、生体内管腔画像における画素値（輝度（Ｙ）成分の画素値や、Ｇ成分の画素値等）の勾配強度を公知のＳｏｂｅｌフィルタやＬａｐｌａｃｉａｎフィルタ等を用いて算出する。形状異常判定部２７１は、形状異常判定部２７１が算出した勾配強度と、事前に作成しておいた円形状モデルとの相関値を算出し、相関値が、予め設定されている閾値以上であれば、検出された異常領域が形状異常であると判定する。なお、本実施の形態２では、事前に作成しておいた円形状モデルとのパターンマッチングにより、検出された異常領域が形状異常であるか否かを判定するものとして説明したが、これに限らず、生体内管腔画像から円形状の領域を検出できればよいため、例えば、公知のハフ変換、ＲＡＮＳＡＣ、ＤＰＭ(Deformable Part Model)、ＥＬＳＤ(Ellipse and Line Segment Detector)等により検出してもよい。

上述したように、色異常であるアフタ、潰瘍等は白色調の特定色を示し、出血や発赤は赤色調の特定色を示す。そこで、色異常判定部２７２は、この白色及び赤色の特定色に基づいて、検出された異常領域が色異常であるか否かを判定する。具体的に、事前に収集した色異常、及びその他異常を有する画像から、各色成分（Ｒ成分、Ｇ成分、Ｂ成分）の画素値や、それらをもとに公知の変換処理により二次的に算出される値、色差（ＹＣｂＣｒ変換）、色相、彩度（ＨＳＩ変換）、色比（Ｇ／Ｒ、Ｂ／Ｇ）等を算出し、算出された値をもとに、色異常の判定基準を設定しておく。そして、色異常判定部２７２は、処理対象の各画素の色特徴量と、予め設定しておいた判定基準とをもとに、各画素が色異常であるか否かを判定する。なお、本実施の形態２では事前に設定しておいた判定基準に基づいて色異常を検出するものとして説明したが、これに限らず、生体内管腔画像より特定色を有する異常領域を検出できればよいため、例えば、代表的な色特徴量との特徴量空間距離に基づく方法等により検出してもよい。また、画素単位の色特徴量を用いて検出するのではなく、生体内管腔画像内のエッジ情報等をもとに小領域に分割した後、小領域単位の色特徴量を用いて色異常であるか否かを判定しもよい。

テクスチャ異常である絨毛異常は、粘膜表面の模様が不均一であることが多い。そこで、テクスチャ異常判定部２７３は、粘膜表面の模様が不均一である異常領域をテクスチャ異常と判定する。具体的には、事前に用意されたテクスチャ異常を有する画像からＬＢＰ（Local Binary Pattern）特徴量や、各色成分（Ｒ成分、Ｇ成分、Ｂ成分）の画素値の分散等のテクスチャ特徴量を算出し、算出された特徴量をもとにテクスチャ異常の判定基準を決定しておく。そして、生体内管腔画像を矩形に分割した分割領域毎に、算出したテクスチャ特徴量と、上述した判定基準とをもとに、各分割領域がテクスチャ異常であるか否かを判定する。

なお、本実施の形態２においては、形状異常判定部２７１の判定結果と、色異常判定部２７２及びテクスチャ異常判定部２７３の判定結果とが互いに異なることを前提に説明する。

区間情報表示制御部２４Ａは、代表画像として選択されなかった生体内管腔画像を出力する。区間情報表示制御部２４Ａは、形状異常判定部２７１が、代表画像が形状異常であると判定した場合、生体内管腔画像を高いフレームレートの動画で表示装置５に表示させる。これに対し、区間情報表示制御部２４Ａは、色異常判定部２７２が色異常であると判定した場合、及び／又はテクスチャ異常判定部２７３がテクスチャ異常であると判定した場合に、低フレームレート(間引き表示)の静止画で表示装置５に表示させる。形状異常（腫瘍）は、粘膜襞と間違え易いため、連続画像で詳しく確認する必要がある。それに対して、色異常及びテクスチャ異常は静止画からも診断し易い異常であるため、診断時間を削減するために静止画で素早く表示する。

続いて、画像処理装置１Ａの演算部２Ａが行う画像処理について、図１０を参照して説明する。図１０は、本発明の実施の形態２に係る画像処理装置が行う画像処理を説明するフローチャートである。まず、画像処理装置１Ａは、生体内管腔画像の入力があると、生体内管腔画像の画像データを取得して記憶部３へ書き込んで記憶させる（ステップＳ２０１）。その後は、上述した実施の形態１のステップＳ１０２〜Ｓ１０４と同様にして、各生体内管腔画像から異常領域を検出し（ステップＳ２０２）、検出された異常領域から類似異常区間を設定し（ステップＳ２０３）、設定された類似異常区間に属する複数の生体内管腔画像から代表画像を抽出する（ステップＳ２０４）。

続くステップＳ２０５において、区間情報生成部２３Ａは、類似異常区間から代表画像として選択されなかった生体内管腔画像を抽出する。具体的には、非代表画像抽出部２３２ａが、設定された類似異常区間に属する生体内管腔画像を抽出する。非代表画像抽出部２３２ａは、類似異常区間に属する生体内管腔画像の全てを抽出してもよいし、時系列で並んでいる複数の生体内管腔画像から、予め設定された間隔で生体内管腔画像を抽出してもよい。区間情報生成部２３Ａは、抽出された生体内管腔画像を区間情報として出力する。

続くステップＳ２０６において、代表画像表示制御部２６は、ステップＳ２０４において代表画像抽出部２５が抽出した代表画像を外部の表示装置５に出力して、出力した代表画像を該表示装置５に表示させる。表示装置５では、例えば、図３に示すように、それぞれの類似異常区間における代表画像Ｗ₁〜Ｗ₆が表示装置５に表示される。

続くステップＳ２０７において、異常種類判定部２７は、検出された異常領域が、形状異常であるか、又は色異常若しくはテクスチャ異常であるかの異常の種類を判定する。異常種類判定部２７は、形状異常判定部２７１、色異常判定部２７２及びテクスチャ異常判定部２７３の各判定結果に基づいて、設定された類似異常区間に属する生体内管腔画像が有する異常領域の異常の種類を判定する。

続くステップＳ２０８において、区間情報生成部２３Ａは、類似異常区間に対応する判定結果に基づいて、フレームレートの設定を行う。区間情報生成部２３Ａは、形状異常判定部２７１が、代表画像が形状異常であると判定した場合、この代表画像が属する類似異常区間の生体内管腔画像のフレームレートを、高フレームレートに設定する。これに対し、区間情報生成部２３Ａは、色異常判定部２７２が色異常であると判定した場合、及び／又はテクスチャ異常判定部２７３がテクスチャ異常であると判定した場合に、この代表画像が属する類似異常区間の生体内管腔画像のフレームレートを、低フレームレートに設定する。低フレームレートに設定された場合、類似異常区間に属する複数の生体内管腔画像は、間引き表示により表示装置５に表示される。

続くステップＳ２０９において、演算部２は、入力部４からの信号であって、表示装置５に表示されている複数の代表画像Ｗ₁〜Ｗ₆のうちのいずれかを選択する選択入力を指示する信号が入力されたか否かを判断する。ここで、演算部２は、選択入力がない場合（ステップＳ２０９：Ｎｏ）、本画像処理を終了する。これに対し、演算部２は、選択入力がある場合（ステップＳ２０９：Ｙｅｓ）、ステップＳ２１０に移行する。

ステップＳ２１０において、演算部２は、入力された信号に基づいて、選択された代表画像を判断し、判断結果を区間情報表示制御部２４Ａに出力する。区間情報表示制御部２４Ａは、選択された代表画像に対応する類似異常区間について、非代表画像抽出部２３２ａが抽出した生体内管腔画像と、この類似異常区間に係るフレームレートの情報とを取得して、表示装置５に出力する。

以上説明した本発明の実施の形態２によれば、異常種類判定部２７が、類似異常区間に属する生体内管腔画像群の異常領域の異常の種類を判定し、区間情報生成部２３Ａが、異常種類判定部２７の判定結果に基づいて類似異常区間のフレームレートを設定し、入力部４を介して代表画像が選択された場合に、区間情報表示制御部２４Ａが、選択された代表画像と、非代表画像抽出部２３２ａが抽出した代表画像以外の生体内管腔画像と、この類似異常区間に設定されたフレームレートを表示装置５に出力するようにした。これにより、ユーザは、生体の管腔内を時系列順に撮像することにより取得された一連の画像群から代表画像を観察する際に、この代表画像に写っている注目領域に係る時系列の情報を把握することができる。

また、本発明の実施の形態２によれば、異常種類判定部２７が、類似異常区間に属する生体内管腔画像群に存在する異常領域の種類を判定し、区間情報生成部２３Ａが、異常種類判定部２７の判定結果に基づいて類似異常区間のフレームレートを設定するようにしたので、異常の種類に応じて生体内管腔画像の表示態様を変えることができる。これにより、ユーザは、精度の高い診断を効率よく行うことができる。

なお、上述した実施の形態２では、区間情報生成部２３Ａが、異常領域の異常の種類に応じてフレームレートを変更するものとして説明したが、異常領域が形状異常である場合の生体内管腔画像の表示間隔を、異常領域が色異常又はテクスチャ異常である場合の生体内管腔画像の表示間隔と比して短く設定するようにしてもよい。

また、上述した実施の形態２では、すべての類似異常区間について、異常の種類を判定するものとして説明したが、選択入力された代表画像が属する類似異常区間のみについて、この類似異常区間の異常の種類を判定するようにしてもよい。この場合、ステップＳ２０７は、ステップＳ２０９において代表画像が選択された際に、異常種類判定部２７が、この代表画像が属する類似異常区間について異常の種類の判定を行う。

また、上述した実施の形態２では、異常種類判定部２７が、形状異常判定部２７１、色異常判定部２７２及びテクスチャ異常判定部２７３を有し、それぞれの判定結果に基づいてフレームレートを設定するものとして説明したが、異常種類判定部２７は、形状異常判定部２７１、色異常判定部２７２及びテクスチャ異常判定部２７３のうちのいずれか一つを有していればよい。例えば、異常種類判定部２７が形状異常判定部２７１のみを有している場合、区間情報生成部２３Ａは、形状異常判定部２７１により異常領域が形状異常であると判定された場合は高フレームレートに設定し、形状異常判定部２７１により異常領域が形状異常ではないと判定された場合は低フレームレートに設定すればよい。

（実施の形態２の変形例１）
図１１は、本発明の実施の形態２の変形例１に係る画像処理装置の機能構成を示すブロック図である。同図に示す画像処理装置１Ｂは、演算部２Ｂと、記憶部３と、入力部４とを備える。以下、実施の形態２に係る画像処理装置１Ａの演算部２Ａが有する構成部位と同様の構成部位については、同じ符号を付して説明する。画像処理装置１Ｂは、生成した画像や情報を表示装置５に出力して、各種情報を表示装置５に表示させる。

演算部２Ｂは、時系列で連続して撮像した生体内管腔画像の異常領域を検出する異常検出部２１と、類似した異常領域を含む類似異常区間を設定する類似異常区間設定部２２と、類似異常区間に関する情報を算出する区間情報生成部２３Ｂと、区間情報生成部２３Ｂが算出した区間情報を出力する区間情報表示制御部２４Ａと、異常の種類を判定する異常種類判定部２７とを有する。

区間情報生成部２３Ｂは、類似異常区間から代表画像として選択されなかった生体内管腔画像を抽出する類似画像群抽出部２３２Ａを有している。類似画像群抽出部２３２Ａは、類似異常区間から悪性度の高い重要な生体内管腔画像群を優先的に抽出する重要画像抽出部２３２ｂを有している。ここでいう悪性度は、組織の悪性の度合いを示すものであり、病理学的に設定される指標の一つであり、悪性の度合いを定量的に評価して決定される数値である。

重要画像抽出部２３２ｂは、類似異常区間に属する複数の生体内管腔画像のうち、悪性度の高い重要な生体内管腔画像を優先的に抽出する。具体的に、事前に用意された悪性度のレベルが様々な画像から、各色成分（Ｒ成分、Ｇ成分、Ｂ成分）の画素値や、それらをもとに公知の変換処理により二次的に算出される値、色差（ＹＣｂＣｒ変換）、色相、彩度（ＨＳＩ変換）、色比（Ｇ／Ｒ、Ｂ／Ｇ）等を算出し、算出された値をもとに悪性度の判別基準を設定しておく。重要画像抽出部２３２ｂは、類似異常区間に属する生体内管腔画像について、予め設定しておいた判定基準に基づいて悪性度を判定し、悪性度が高い生体内管腔画像を優先的に抽出する。ここでいう「優先的に抽出する」とは、予め設定されている数の生体内管腔画像を、悪性度が高い方から順に抽出することをいう。

本変形例１によれば、重要画像抽出部２３２ｂが、類似異常区間に属する複数の生体内管腔画像のうち、悪性度の高い重要な生体内管腔画像を抽出するようにしたので、表示装置５には、代表画像のほか、悪性度が高いと判定された生体内管腔画像が表示される。これにより、ユーザは、効率的、かつ確実な診断を行うことが可能となる。

（実施の形態２の変形例２）
図１２は、本発明の実施の形態２の変形例２に係る画像処理装置の機能構成を示すブロック図である。同図に示す画像処理装置１Ｃは、演算部２Ｃと、記憶部３と、入力部４とを備える。以下、実施の形態２に係る画像処理装置１Ａの演算部２Ａが有する構成部位と同様の構成部位については、同じ符号を付して説明する。画像処理装置１Ｃは、生成した画像や情報を表示装置５に出力して、各種情報を表示装置５に表示させる。

演算部２Ｃは、時系列で連続して撮像した生体内管腔画像の異常領域を検出する異常検出部２１と、類似した異常領域を含む類似異常区間を設定する類似異常区間設定部２２と、類似異常区間に関する情報を算出する区間情報生成部２３Ｃと、区間情報生成部２３Ｃが算出した区間情報を出力する区間情報表示制御部２４Ａと、異常の種類を判定する異常種類判定部２７とを有する。

区間情報生成部２３Ｃは、類似異常区間から代表画像として選択されなかった生体内管腔画像を抽出する類似画像群抽出部２３２Ｂを有している。類似画像群抽出部２３２Ｂは、類似異常区間から視認性の高い生体内管腔画像群を優先的に抽出する高視認性画像抽出部２３２ｃを有している。ここでいう視認性は、画像における被写体などの見え方の度合いを示すものであり、見え方を定量的に評価して決定される数値である。

高視認性画像抽出部２３２ｃは、類似異常区間に属する複数の生体内管腔画像のうち、視認性の高く、容易に診断が可能な生体内管腔画像群を優先的に抽出する。具体的に、事前に用意された視認性のレベルが様々な画像から、各色成分（Ｒ成分、Ｇ成分、Ｂ成分）の画素値や、それらをもとに公知の変換処理により二次的に算出される値、色差（ＹＣｂＣｒ変換）、色相、彩度（ＨＳＩ変換）、色比（Ｇ／Ｒ、Ｂ／Ｇ）等を算出し、算出された値をもとに視認性の判定基準を決定しておく。高視認性画像抽出部２３２ｃは、類似異常区間に属する生体内管腔画像について、予め決定しておいた判定基準に基づいて視認性を判定し、視認性が高い生体内管腔画像を優先的に抽出する。

本変形例２によれば、高視認性画像抽出部２３２ｃが、類似異常区間に属する複数の生体内管腔画像のうち、視認性の高い生体内管腔画像を抽出するようにしたので、表示装置５には、代表画像のほか、視認性が高いと判定された生体内管腔画像が表示される。これにより、ユーザは、代表画像と、代表画像とは異なる視認性の高い生体内管腔画像を確認することができ、効率的かつ精度の高い診断を行うことが可能となる。

（実施の形態２の変形例３）
図１３は、本発明の実施の形態２の変形例３に係る画像処理装置の機能構成を示すブロック図である。同図に示す画像処理装置１Ｄは、演算部２Ｄと、記憶部３と、入力部４とを備える。以下、実施の形態２に係る画像処理装置１Ａの演算部２Ａが有する構成部位と同様の構成部位については、同じ符号を付して説明する。画像処理装置１Ｄは、生成した画像や情報を表示装置５に出力して、各種情報を表示装置５に表示させる。

演算部２Ｄは、時系列で連続して撮像した生体内管腔画像の異常領域を検出する異常検出部２１と、類似した異常領域を含む類似異常区間を設定する類似異常区間設定部２２と、類似異常区間に関する情報を算出する区間情報生成部２３Ｄと、区間情報生成部２３Ｄが算出した区間情報を出力する区間情報表示制御部２４Ａと、異常の種類を判定する異常種類判定部２７とを有する。

区間情報生成部２３Ｄは、類似異常区間から代表画像として選択されなかった生体内管腔画像を抽出する類似画像群抽出部２３２Ｃを有している。類似画像群抽出部２３２Ｃは、類似異常区間から代表画像と類似していない生体内管腔画像群を抽出する非類似画像抽出部２３２ｄを有している。

非類似画像抽出部２３２ｄは、類似異常区間から代表的な生体内管腔画像と類似していない生体内管腔画像を抽出する。具体的には、代表画像と類似異常区間から代表画像として選択されなかった生体内管腔画像の正規化相互相関や動きベクトル変化量、画素値（輝度（Ｙ）成分の画素値や、Ｇ成分の画素値等）の変化量を算出して、算出した変化量が、予め設定されている所定値以上となる生体内管腔画像を優先的に抽出する。非類似画像抽出部２３２ｄは、例えば、変化量と所定値との差が大きい方から順に生体内管腔画像を抽出する。

本変形例３によれば、非類似画像抽出部２３２ｄが、類似異常区間に属する複数の生体内管腔画像のうち、代表画像との類似度が低い生体内管腔画像を抽出するようにしたので、表示装置５には、代表画像のほか、この代表画像から見え方が異なる生体内管腔画像が表示される。これにより、ユーザは、効率的、かつ精度の高い診断を行うことが可能となる。

なお、上述した実施の形態２及び変形例１〜３に係る区間情報生成部２３Ａ〜２３Ｄを適宜組み合わせてもよい。具体的には、非代表画像抽出部２３２ａ、重要画像抽出部２３２ｂ、高視認性画像抽出部２３２ｃ及び非類似画像抽出部２３２ｄのうち、少なくとも二つを組み合わせて代表画像以外の生体内管腔画像を抽出するようにしてもよい。例えば、非代表画像抽出部２３２ａと重要画像抽出部２３２ｂとを組み合わせた場合、重要画像抽出部２３２ｂは、非代表画像抽出部２３２ａにより抽出された複数の生体内管腔画像のそれぞれについて悪性度の判定を行い、判定基準を満たす生体内管腔画像を抽出する。

（実施の形態３）
図１４は、本発明の実施の形態３に係る画像処理装置の機能構成を示すブロック図である。同図に示す画像処理装置１Ｅは、演算部２Ｅと、記憶部３と、入力部４とを備える。以下、実施の形態１に係る画像処理装置１の演算部２が有する構成部位と同様の構成部位については、同じ符号を付して説明する。画像処理装置１Ｅは、生成した画像や情報を表示装置５に出力して、各種情報を表示装置５に表示させる。

演算部２Ｅは、時系列で連続して撮像した生体内管腔画像の異常領域を検出する異常検出部２１と、類似した異常領域を含む類似異常区間を設定する類似異常区間設定部２２と、類似異常区間における生体内の腸管の動きや、サイズ、腸管内の内容物の量、粘膜の損傷度を、類似異常区間に関する情報をとして生成する区間情報生成部２３Ｅと、区間情報生成部２３Ｅが算出した区間情報を出力する区間情報表示制御部２４Ｂとを有する。ここで、本実施の形態３における「内容物」とは、腸管内に残存する残渣や血液のことをいう。また、本実施の形態３においては、異常検出部２１が検出する異常領域は、腸管を含む領域の検出を行う。

区間情報生成部２３Ｅは、腸管の動き情報を算出する腸管動き情報算出部２３３と、腸管のサイズを算出する腸管サイズ算出部２３４と、腸管内における内容物の量を算出する内容物量算出部２３５と、粘膜の損傷度を算出する粘膜損傷度算出部２３６とを有している。

腸管動き情報算出部２３３は、腸管の動き情報を算出する。具体的に、腸管動き情報算出部２３３は、類似異常区間における生体内管腔画像群の正規化相相関、動きベクトル等により算出される画像の動きと、センサー等の検出結果から算出される医用装置の動きとにより腸管の動きを示す情報を算出する。

腸管サイズ算出部２３４は、腸管のサイズを算出する。具体的に、腸管サイズ算出部２３４は、画像内の奥行き情報（Ｒ成分の画素値や、自動ゲインコントロール（ＡＧＣ：Automatic Gain Control）値等）、および円弧領域(ハフ変換などによる円弧抽出)の大きさから腸管のサイズを算出する。

内容物量算出部２３５は、残渣の量を算出する残渣量算出部２３５ａと、出血の量を算出する出血量算出部２３５ｂとを有している。残渣量算出部２３５ａ及び出血量算出部２３５ｂは、色特徴量やテクスチャ特徴量に基づいて、生体内管腔画像における残渣の量、及び出血の量をそれぞれ算出する。内容物量算出部２３５は、残渣及び出血に加えて、生体内管腔画像における泡の量を算出するようにしてもよい。

粘膜損傷度算出部２３６は、粘膜の損傷度を算出する。具体的に、粘膜損傷度算出部２３６は、画像処理によって検出された、絨毛の有無や、粘膜性異常の有無などに基づいて、粘膜の損傷度を算出する。粘膜損傷度算出部２３６は、絨毛の単位面積当たりの量と、医学的に決められている判定基準とを比較することによって、粘膜の損傷度を算出する。絨毛の単位面積当たりの量は、生体内管腔画像の周波数解析を行った後、高周波成分を抽出することによって算出することができる。

区間情報表示制御部２４Ｂは、区間情報生成部２３Ｅが生成した、腸管の動き情報、腸管のサイズ、腸管内の異常領域における内容物の量及び粘膜の損傷度を、類似異常区間ごとに時系列で表示装置５に出力する。

続いて、画像処理装置１Ｅの演算部２Ｅが行う画像処理について、図１５を参照して説明する。図１５は、本発明の実施の形態３に係る画像処理装置が行う画像処理を説明するフローチャートである。まず、画像処理装置１Ｅは、生体内管腔画像の入力があると、生体内管腔画像の画像データを取得して記憶部３へ書き込んで記憶させる（ステップＳ３０１）。その後は、上述した実施の形態１のステップＳ１０２、Ｓ１０３と同様にして、各生体内管腔画像から異常領域を検出し（ステップＳ３０２）、検出された異常領域から類似異常区間を設定する（ステップＳ３０３）。

続くステップＳ３０４〜Ｓ３０７では区間情報生成部２３Ｅが、設定された類似異常区間ごとに、腸管に係る情報の算出を行う。ステップＳ３０４では、腸管動き情報算出部２３３が、腸管の動き情報を算出する。ステップＳ３０５では、腸管サイズ算出部２３４が、腸管のサイズを算出する。ステップＳ３０６では、内容物量算出部２３５が、残渣の量及び出血の量を算出する。ステップＳ３０７では、粘膜損傷度算出部２３６は、粘膜の損傷度を算出する。これらのステップＳ３０４〜ステップＳ３０７は、これらの情報が得られれば、この順に行う必要はなく、同時に行うようにしてもよい。

続くステップＳ３０８において、区間情報表示制御部２４Ｂは、区間情報生成部２３Ｅが生成した類似異常区間ごとの腸管に係る情報を取得して、表示装置５に出力する。表示装置５は、類似異常区間ごとに、当該類似異常区間に係る腸管の情報を表示する。

以上説明した本発明の実施の形態３によれば、区間情報生成部２３Ｅが、類似異常区間設定部２２により設定された類似異常区間について腸管に係る情報の算出を行い、区間情報表示制御部２４Ｂが、区間情報生成部２３Ｅにより生成された腸管に係る情報を取得して表示装置５に出力するようにしたので、生体の管腔内を時系列順に撮像することにより取得された一連の画像群から腸管に係る情報を表示する際に、生体内管腔画像に写っている腸管に係る時系列の情報を表示することが可能となる。これにより、ユーザは、各生体内管腔画像に写っている腸管に係る時系列の情報を確認して、精度の高い診断を行うことができる。

（その他の実施の形態）
ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した実施の形態１〜３によってのみ限定されるべきものではない。例えば、実施の形態１と実施の形態３とを組み合わせて、腸管に係る情報とともに、代表画像を表示して、代表画像の選択入力があった場合に、選択された代表画像に関する長さ情報を表示するようにしてもよい。このように、本発明はここでは記載していない様々な実施の形態等を含み得るものである。

以上のように、本発明にかかる画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラムは、生体の管腔内を時系列順に撮像することにより取得された一連の画像群を用いて診断を行う際に、効率的かつ精度の高い診断を行うのに有用である。

１、１Ａ〜１Ｅ 画像処理装置
２、２Ａ〜２Ｅ 演算部
３ 記憶部
４ 入力部
５ 表示装置
２１ 異常検出部
２２ 類似異常区間設定部
２３、２３Ａ〜２３Ｅ 区間情報生成部
２４、２４Ａ、２４Ｂ 区間情報表示制御部
２５ 代表画像抽出部
２６ 代表画像表示制御部
２７ 異常種類判定部
２３１ 長さ情報生成部
２３１ａ 撮像枚数算出部
２３１ｂ 撮像時間算出部
２３１ｃ 移動距離算出部
２３２、２３２Ａ〜２３２Ｃ 類似画像群抽出部
２３２ａ 非代表画像抽出部
２３２ｂ 重要画像抽出部
２３２ｃ 高視認性画像抽出部
２３２ｄ 非類似画像抽出部
２３３ 腸管動き情報算出部
２３４ 腸管サイズ算出部
２３５ 内容物量算出部
２３５ａ 残渣量算出部
２３５ｂ 出血量算出部
２３６ 粘膜損傷度算出部
２７１ 形状異常判定部
２７２ 色異常判定部
２７３ テクスチャ異常判定部

Claims (12)

1. 生体内に導入される医用装置が撮像した複数の生体内管腔画像から異常領域をそれぞれ検出する異常検出部と、
   類似した前記異常領域を含む類似異常区間を設定する類似異常区間設定部と、
   前記類似異常区間に関する情報を生成する区間情報生成部と、
   前記類似異常区間に関する情報を表示装置に表示させる区間情報表示制御部と、
   前記類似異常区間に属する複数の生体内管腔画像から、代表とする生体内管腔画像を抽出する代表画像抽出部と、
   前記代表とする生体内管腔画像を前記表示装置に表示させる代表画像表示制御部と、
   を備え、
   前記区間情報生成部は、
   前記類似異常区間に属する複数の生体内管腔画像のうち、前記代表とする生体内管腔画像以外の少なくとも一部の生体内管腔画像を抽出する類似画像群抽出部、
   を有することを特徴とする画像処理装置。
2. 前記類似画像群抽出部は、
   前記類似異常区間に属する複数の生体内管腔画像のうち、前記代表とする生体内管腔画像以外の全ての生体内管腔画像を抽出する非代表画像抽出部、
   を有することを特徴とする請求項１に記載の画像処理装置。
3. 前記類似画像群抽出部は、
   前記類似異常区間に属する複数の生体内管腔画像のうち、悪性度の高い複数の生体内管腔画像を抽出する重要画像抽出部、
   を有することを特徴とする請求項１に記載の画像処理装置。
4. 前記類似画像群抽出部は、
   前記類似異常区間に属する複数の生体内管腔画像のうち、視認性の高い複数の生体内管腔画像を抽出する高視認性画像抽出部、
   を有することを特徴とする請求項１に記載の画像処理装置。
5. 前記類似画像群抽出部は、
   前記類似異常区間に属する複数の生体内管腔画像のうち、前記代表とする生体内管腔画像との類似度が相対的に低い複数の生体内管腔画像を抽出する高視認性画像抽出部、
   を有することを特徴とする請求項１に記載の画像処理装置。
6. 前記異常検出部により検出された異常領域の異常の種類を判定する異常種類判定部、
   をさらに備え、
   前記区間情報生成部は、前記異常の種類に基づいて、前記生体内管腔画像の表示態様を決定する
   ことを特徴とする請求項１に記載の画像処理装置。
7. 前記異常種類判定部は、
   前記異常領域が形状異常であるか否かを判定する形状異常判定部と、
   前記異常領域が色異常であるか否かを判定する色異常判定部と、
   前記異常領域がテクスチャ異常であるか否かを判定するテクスチャ異常判定部と、
   のうちの少なくとも一つを有し、
   前記異常領域が、形状異常であるか、又は色異常若しくはテクスチャ異常であるかを判定する
   ことを特徴とする請求項６に記載の画像処理装置。
8. 前記区間情報生成部は、前記異常領域が形状異常である場合の前記生体内管腔画像のフレームレートを、前記異常領域が色異常又はテクスチャ異常である場合の前記生体内管腔画像のフレームレートと比して高く設定する
   ことを特徴とする請求項７に記載の画像処理装置。
9. 前記区間情報生成部は、前記異常領域が形状異常である場合の前記生体内管腔画像の表示間隔を、前記異常領域が色異常又はテクスチャ異常である場合の前記生体内管腔画像の表示間隔と比して短く設定する
   ことを特徴とする請求項７に記載の画像処理装置。
10. 外部からの操作に応じた信号の入力を受け付ける入力部をさらに備え、
    前記区間情報表示制御部は、前記入力部が、複数の前記代表画像のうちのいずれかを選択する操作に応じた信号の入力を受け付けた場合、選択された前記代表画像が属する前記類似異常区間に関する情報を表示装置に表示させる
    ことを特徴とする請求項１に記載の画像処理装置。
11. 異常検出部が、生体内に導入される医用装置が撮像した複数の生体内管腔画像から異常領域をそれぞれ検出する異常検出ステップと、
    類似異常区間設定部が、類似した前記異常領域を含む類似異常区間を設定する類似異常区間設定ステップと、
    区間情報生成部が、前記類似異常区間に属する複数の生体内管腔画像のうち、代表とする生体内管腔画像以外の少なくとも一部の生体内管腔画像を抽出し、該抽出した情報に基づいて前記類似異常区間に関する情報を生成する区間情報生成ステップと、
    区間情報表示制御部が、前記類似異常区間に関する情報を表示装置に表示させる区間情報表示制御ステップと、
    代表画像抽出部が、前記類似異常区間に属する複数の生体内管腔画像から、代表とする生体内管腔画像を抽出する代表画像抽出ステップと、
    代表画像表示制御部が、前記代表とする生体内管腔画像を前記表示装置に表示させる代表画像表示制御ステップと、
    を含むことを特徴とする画像処理装置の作動方法。
12. 生体内に導入される医用装置が撮像した複数の生体内管腔画像から異常領域をそれぞれ検出する異常検出手順と、
    類似した前記異常領域を含む類似異常区間を設定する類似異常区間設定手順と、
    前記類似異常区間に属する複数の生体内管腔画像のうち、代表とする生体内管腔画像以外の少なくとも一部の生体内管腔画像を抽出し、該抽出した情報に基づいて前記類似異常区間に関する情報を生成する区間情報生成手順と、
    前記類似異常区間に関する情報を表示装置に表示させる区間情報表示制御手順と、
    前記類似異常区間に属する複数の生体内管腔画像から、代表とする生体内管腔画像を抽出する代表画像抽出手順と、
    前記代表とする生体内管腔画像を前記表示装置に表示させる代表画像表示制御手順と、
    をコンピュータに実行させることを特徴とする画像処理装置の作動プログラム。

Images