JP5568196B1 - 画像処理装置及び画像処理方法 - Google Patents

Abstract

過去に実施されたカプセル型内視鏡検査の検査結果を利用した観察が可能な画像処理装置等を提供する。画像処理装置５は、今回の検査により得られた今回画像群及び過去の検査により得られた過去画像群の各々から、第１の特徴を示す第１の特徴画像及び第２の特徴を示す第２の特徴画像を抽出する画像抽出部５４ｃと、今回画像群から抽出された第１及び第２の特徴画像の撮像時刻の間隔に対応する第１の量と、過去画像群から抽出された第１及び第２の特徴画像の撮像時刻の間隔に対応する第２の量とを取得する撮像時間取得部５４ｄと、第１の量と第２の量とを比較する比較部５４ｅと、第１の量と第２の量との差が所定の基準値以上である場合に、今回画像群に対し、比較部５４ｅによる比較の結果に基づく表示制御を行う表示制御部５５とを備える。

Description

本発明は、被検体内に導入されて該被検体内を撮像するカプセル型内視鏡によって取得された画像を処理する画像処理装置及び画像処理方法に関する。

近年、内視鏡の分野では、患者等の被検体内に導入されて被検体内を撮像するカプセル型内視鏡を用いた検査が知られている。カプセル型内視鏡は、被検体の消化管内に導入可能な大きさに形成されたカプセル形状の筐体内に撮像機能や無線通信機能等を内蔵させた装置であり、被検体内を撮像することにより生成した画像データを被検体外に順次無線送信する。カプセル型内視鏡から無線送信された一連の画像データは、被検体外に設けられた受信装置に一旦蓄積され、受信装置からワークステーション等の画像処理装置に転送（ダウンロード）され、画像処理装置において種々の画像処理が施される。それにより、被検体内の臓器等が写った一連の画像が生成される。

これらの画像は、擬似動画又は静止画一覧等の形式で画面表示される。医療従事者（医師）は、画面表示された画像を観察し、異常のあるものを選び出すことにより、被検体の診断を行う。

ここで、カプセル型内視鏡を用いた１回の検査は約８時間におよび、その間に取得される画像は約６万枚に上る。このため、これらの画像を全て観察するには非常に時間がかかると共に、集中力が必要となる。そこで、画像処理装置には、観察作業を補助するため、例えば赤色の成分が多い画像のように、医学的に異常があると考えられる画像を自動抽出する異常部抽出機能が用意されている。異常部抽出機能は、一般に、医学的に異常があると医療従事者が判断した画像を収集し、それらの画像と同様の特徴量を持つ画像を抽出するアルゴリズムを有するソフトウェアを、ワークステーション等のハードウェアに組み込んでなる。

検査によって得られる画像の表示に関連する技術として、例えば特許文献１には、ＣＴ装置、ＭＲ装置、超音波診断装置等の医療診断装置においてリアルタイムに撮影している診断画像と過去に撮影した診断画像とを同一画面に表示させる医療画像診断装置が開示されている。

特開２００５−２８８０４３号公報

ところで、カプセル型内視鏡を用いた検査が行われると、通常、その時に取得された画像に対してのみ観察作業が行われる。即ち、今回取得された画像群に異常があるか否かのみが確認され、過去に実施されたカプセル型内視鏡を用いた検査や他の種類の検査に関する情報が参照されることはない。しかしながら、過去の検査において発見された異常箇所は、今回の検査においても残っている可能性が高いと考えられる。このため、医療従事者には、過去の検査に関する情報を参照して経過観察を行いたいという要望があった。

しかしながら、ＣＴ装置等の医療診断装置とは異なり、カプセル型内視鏡は、小腸等の蠕動運動により被検体内（消化管内）を移動しながら撮像を行うため、被検体内におけるカプセル型内視鏡の位置制御はもちろん、位置を特定することも困難である。このため、ある被検体に対する検査において異常箇所が一度発見されたとしても、その後の検査において、同じ異常箇所の位置を特定することは非常に難しい。従って、従来は、同じ被検体に対し、経過観察のために複数回検査を行う場合であっても、過去の検査結果を利用することができず、医療従事者は、全く新しい被検体と同様に検査を行い、初回の検査と同様の集中力で全ての画像を観察する必要があった。

本発明は、上記に鑑みてなされたものであって、同一の被検体に対してカプセル型内視鏡を用いた検査を複数回実施する場合において、過去の検査結果を利用した観察が可能な画像処理装置及び画像処理方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、被検体内に導入されて該被検体内を撮像するカプセル型内視鏡により取得された前記被検体内の画像を処理する画像処理装置であって、前記カプセル型内視鏡により前記被検体内を順次撮像して得られた第１の画像群、及び、前記被検体と同一の被検体内を前記第１の画像群よりも前に順次撮像して得られた第２の画像群の各々から、第１の特徴を示す第１の特徴画像及び第２の特徴を示す第２の特徴画像を抽出する画像抽出部と、前記第１の画像群から抽出された前記第１及び第２の特徴画像の撮像時刻の間隔に対応する第１の量と、前記第２の画像群から抽出された前記第１及び第２の特徴画像の撮像時刻の間隔に対応する第２の量とを取得する撮像時間取得部と、前記第１の量と前記第２の量とを比較する比較部と、前記第１の量と前記第２の量との差が基準値以上である場合に、前記第１の画像群に対し、前記比較部による比較の結果に基づく表示制御を行う表示制御部と、を備えることを特徴とする。

また、本発明に係る画像処理装置は、被検体内に導入されて該被検体内を撮像するカプセル型内視鏡により取得された前記被検体内の画像を処理する画像処理装置であって、前記カプセル型内視鏡により前記被検体内を順次撮像して得られた第１の画像群、及び、前記被検体と同一の被検体内を前記第１の画像群よりも前に順次撮像して得られた第２の画像群の各々から、第１の特徴を示す第１の特徴画像及び第２の特徴を示す第２の特徴画像を抽出する画像抽出部と、前記第１の画像群から抽出された前記第１の特徴画像と前記第２の特徴画像との間における前記カプセル型内視鏡の移動を特徴づける第１の特徴量と、前記第２の画像群から抽出された前記第１の特徴画像と前記第２の特徴画像との間における前記カプセル型内視鏡の移動を特徴づける第２の特徴量とを取得する特徴量取得部と、前記第１の特徴量と前記第２の特徴量とを比較する比較部と、前記第１の特徴量と前記第２の特徴量との差が基準値以上である場合に、前記第１の画像群に対し、前記比較部による比較の結果に基づく表示制御を行う表示制御部と、を備えることを特徴とする。

上記画像処理装置において、前記表示制御部は、前記差が前記基準値以上である場合に、前記第１の画像群の前記第１の特徴画像と前記第２の特徴画像との間の一連の画像を、観察注意画像として表示する制御を行うことを特徴とする。

上記画像処理装置は、前記差が所定の基準値以上である場合に、前記第１の画像群の前記第１の特徴画像と前記第２の特徴画像との間の一連の画像に対して所定の画像処理を施す画像処理部をさらに備えることを特徴とする。

上記画像処理装置は、前記第１の画像群に対応する画像データを取得する画像データ取得部と、前記第２の画像群を記憶する記憶部と、前記第１及び第２の画像群の各々に対し、前記第１及び第２の特徴を検出する画像処理を施す画像処理部と、をさらに備えることを特徴とする。

上記画像処理装置は、外部から入力される選択信号に基づいて、前記第１の画像群から画像を選択するさらに画像選択部を備え、前記画像抽出部は、前記画像選択部により選択された画像に対応する画像を、前記第２の画像群から抽出することを特徴とする。

上記画像処理装置において、前記第１及び第２の量は、前記第１の特徴画像の撮像時刻と前記第２の特徴画像の撮像時刻との間の時間であることを特徴とする。

上記画像処理装置において、前記第１及び第２の量は、前記第１の特徴画像の撮像時刻と前記第２の特徴画像の撮像時刻との間に前記カプセル型内視鏡により撮像された画像の枚数であることを特徴とする。

上記画像処理装置において、前記第１及び第２の特徴量は、前記第１の特徴画像と前記第２の特徴画像との間の一連の画像の平均色を表すパラメータの統計値、又は該平均色の変化を示すパラメータであることを特徴とする。

上記画像処理装置において、前記第１及び第２の特徴量は、前記第１の特徴画像と前記第２の特徴画像との間の一連の画像の各々における特定形状の有無を示すパラメータの統計値であることを特徴とする。

上記画像処理装置において、前記第１及び第２の特徴量は、前記第１の特徴画像と前記第２の特徴画像との間の一連の画像から検出された病変の数であることを特徴とする。

上記画像処理装置において、前記第１及び第２の特徴量は、前記第１の特徴画像の撮像時刻と前記第２の特徴画像の撮像時刻との間における前記カプセル型内視鏡の動きを示すパラメータであることを特徴とする。

上記画像処理装置において、前記カプセル型内視鏡の動きを示すパラメータは、前記カプセル型内視鏡の移動距離、前記カプセル型内視鏡が停止した回数、前記カプセル型内視鏡が停止していた時間、前記カプセル型内視鏡の最大移動速度、及び前記カプセル型内視鏡の回転数のいずれかであることを特徴とする。

本発明に係る画像処理方法は、被検体内に導入されて該被検体内を撮像するカプセル型内視鏡により取得された前記被検体内の画像を処理する画像処理方法であって、前記カプセル型内視鏡により前記被検体内を順次撮像して得られた第１の画像群、及び、前記被検体と同一の被検体内を前記第１の画像群よりも前に順次撮像して得られた第２の画像群の各々から、第１の特徴を示す第１の特徴画像及び第２の特徴を示す第２の特徴画像を抽出する画像抽出ステップと、前記第１の画像群から抽出された前記第１及び第２の特徴画像の撮像時刻の間隔に対応する第１の量と、前記第２の画像群から抽出された前記第１及び第２の特徴画像の撮像時刻の間隔に対応する第２の量とを取得する撮像時間取得ステップと、前記第１の量と前記第２の量とを比較する比較ステップと、前記第１の量と前記第２の量との差が基準値以上である場合に、前記第１の画像群に対し、前記比較部による比較の結果に基づく表示制御を行う表示制御ステップと、を含むことを特徴とする。

また、本発明に係る画像処理方法は、被検体内に導入されて該被検体内を撮像するカプセル型内視鏡により取得された前記被検体内の画像を処理する画像処理方法であって、前記カプセル型内視鏡により前記被検体内を順次撮像して得られた第１の画像群、及び、前記被検体と同一の被検体内を前記第１の画像群よりも前に順次撮像して得られた第２の画像群の各々から、第１の特徴を示す第１の特徴画像及び第２の特徴を示す第２の特徴画像を抽出する画像抽出ステップと、前記第１の画像群から抽出された前記第１の特徴画像と前記第２の特徴画像との間における前記カプセル型内視鏡の移動を特徴づける第１の特徴量と、前記第２の画像群から抽出された前記第１の特徴画像と前記第２の特徴画像との間における前記カプセル型内視鏡の移動を特徴づける第２の特徴量とを取得する特徴量取得ステップと、前記第１の特徴量と前記第２の特徴量とを比較する比較ステップと、前記第１の特徴量と前記第２の特徴量との差が基準値以上である場合に、前記第１の画像群に対し、前記比較部による比較の結果に基づく表示制御を行う表示制御ステップと、を含むことを特徴とする。

本発明によれば、今回の検査の画像群から取得された撮像時間又は特徴量と、過去の検査の画像群から取得された撮像時間又は特徴量とを比較し、両者の差が基準値以上である場合に、今回の検査の画像群に対して比較の結果に基づく表示制御を行うので、過去の検査結果を利用した観察を行うことが可能となる。それにより、異常箇所の発見効率を高めると共に、観察時間の短縮化を図ることができる。

図１は、本発明の実施の形態１に係る画像処理装置を含むカプセル型内視鏡システムの概略構成を示す模式図である。 図２は、図１に示すカプセル型内視鏡及び受信装置の概略構成を示す図である。 図３は、図１に示す画像処理装置の概略構成を示すブロック図である。 図４は、図３に示す画像処理装置の動作を示すフローチャートである。 図５は、図３に示す画像処理装置の動作を説明するための模式図である。 図６は、図１に示す表示装置に表示される観察画面の一例を示す模式図である。 図７は、本発明の実施の形態１の変形例１−４における観察画面の表示例を示す模式図である。 図８は、本発明の実施の形態１の変形例１−５における観察画面の表示例を示す模式図である。 図９は、本発明の実施の形態１の変形例１−６における観察画面の表示例を示す模式図である。 図１０は、本発明の実施の形態１の変形例１−７における観察画面の表示例を示す模式図である。 図１１は、本発明の実施の形態１の変形例１−８における観察画面の表示例を示す模式図である。 図１２は、本発明の実施の形態１の変形例１−８における観察画面の別の表示例を示す模式図である。 図１３は、本発明の実施の形態２に係る画像処理装置の概略構成を示すブロック図である。 図１４は、図１３に示す画像処理装置の動作を示すフローチャートである。 図１５は、本発明の実施の形態３に係る画像処理装置の概略構成を示すブロック図である。 図１６は、図１５に示す画像処理装置の動作を示すフローチャートである。 図１７は、本発明の実施の形態１〜３の変形例４における観察画面の表示例を示す模式図である。

以下に、本発明の実施の形態に係る画像処理装置及び画像処理方法について、図面を参照しながら説明する。なお、これらの実施の形態により本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。

（実施の形態１）
図１は、本発明の実施の形態１に係る画像処理装置を含むカプセル型内視鏡システムの概略構成を示す模式図である。図１に示すカプセル型内視鏡システム１は、被検体１０内に導入されて該被検体１０内を撮像することにより画像データを生成し、無線信号に重畳して送信するカプセル型内視鏡２と、カプセル型内視鏡２から送信された無線信号を、被検体１０に装着された受信アンテナユニット４を介して受信する受信装置３と、受信装置３から画像データを取得して所定の画像処理を施す画像処理装置５とを備える。

図２は、カプセル型内視鏡２及び受信装置３の概略構成を示すブロック図である。
カプセル型内視鏡２は、被検体１０が嚥下可能な大きさのカプセル形状の筐体に撮像素子等の各種部品を内蔵した装置であり、被検体１０内を撮像する撮像部２１と、被検体１０内を照明する照明部２２と、信号処理部２３と、カプセル型内視鏡２の姿勢検出手段としての加速度センサ２４と、メモリ２５と、送信部２６及びアンテナ２７と、バッテリ２８とを備える。

撮像部２１は、例えば、受光面に結像された光学像から被検体内を表す撮像信号を生成して出力するＣＣＤやＣＭＯＳ等の撮像素子と、該撮像素子の受光面側に配設された対物レンズ等の光学系とを含む。

照明部２２は、撮像時に被検体１０内に向けて光を放射するＬＥＤ（Light Emitting Diode）等により実現される。

カプセル型内視鏡２は、これらの撮像部２１及び照明部２２をそれぞれ駆動する駆動回路等が形成された回路基板（図示せず）を内蔵しており、撮像部２１及び照明部２２は、カプセル型内視鏡２の一端部から外側に視野を向けた状態で、この回路基板に固定されている。

信号処理部２３は、カプセル型内視鏡２内の各部を制御すると共に、撮像部２１から出力された撮像信号をＡ／Ｄ変換してデジタルの画像データを生成し、さらに所定の信号処理を施す。

加速度センサ２４は、例えばカプセル型内視鏡２の筐体の中央部付近に配設されており、カプセル型内視鏡２に与えられる３軸方向の加速度を検出して検出信号を出力する。出力された検出信号は、その時に生成された画像データと関連付けて記憶される。

メモリ２５は、信号処理部２３が実行する各種動作や、信号処理部２３において信号処理を施された画像データを一時的に記憶する。

送信部２６及びアンテナ２７は、メモリ２５に記憶された画像データを関連情報と共に無線信号に重畳して外部に送信する。

バッテリ２８は、カプセル型内視鏡２内の各部に電力を供給する。なお、バッテリ２８には、ボタン電池等の一次電池又は二次電池から供給された電力を昇圧等する電源回路が含まれているものとする。

カプセル型内視鏡２は、被検体１０に嚥下された後、臓器の蠕動運動等によって被検体１０の消化管内を移動しつつ、生体部位（食道、胃、小腸、及び大腸等）を所定の時間間隔（例えば０．５秒間隔）で順次撮像する。そして、この撮像動作により生成された画像データ及び関連情報を受信装置３に順次無線送信する。なお、関連情報には、カプセル型内視鏡２の個体を識別するために割り当てられた識別情報（例えばシリアル番号）等が含まれる。

受信装置３は、複数（図１においては８個）の受信アンテナ４ａ〜４ｈを有する受信アンテナユニット４を介して、カプセル型内視鏡２から無線送信された画像データ及び関連情報を受信する。各受信アンテナ４ａ〜４ｈは、例えばループアンテナを用いて実現され、被検体１０の体外表面上の所定位置（例えば、カプセル型内視鏡２の通過経路である被検体１０内の各臓器に対応した位置）に配置される。

図２に示すように、受信装置３は、受信部３１と、信号処理部３２と、メモリ３３と、データ送信部３４と、操作部３５と、表示部３６と、制御部３７と、バッテリ３８とを備える。

受信部３１は、カプセル型内視鏡２から無線送信された画像データを、受信アンテナ４ａ〜４ｈを介して受信する。
信号処理部３２は、受信部３１が受信した画像データに所定の信号処理を施す。
メモリ３３は、信号処理部３２において信号処理が施された画像データ及びその関連情報を記憶する。

データ送信部３４は、ＵＳＢ、又は有線ＬＡＮ、無線ＬＡＮ等の通信回線と接続可能なインタフェースであり、制御部３７の制御の下で、メモリ３３に記憶された画像データ及び関連情報を画像処理装置５に送信する。
操作部３５は、ユーザが各種設定情報等を入力する際に用いられる。

表示部３６は、検査に関する登録情報（検査情報、患者情報等）や、ユーザが入力した各種設定情報等を表示する。
制御部３７は、これらの受信装置３内の各部の動作を制御する。
バッテリ３８は、受信装置３内の各部に電力を供給する。

受信装置３は、カプセル型内視鏡２により撮像が行われている間（例えば、カプセル型内視鏡２が被検体１０に嚥下された後、消化管内を通過して排出されるまでの間）、被検体１０に装着されて携帯される。受信装置３は、この間、受信アンテナユニット４を介して受信した画像データに、各受信アンテナ４ａ〜４ｈにおける受信強度情報や受信時刻情報等の関連情報をさらに付加し、これらの画像データ及び関連情報をメモリ３３に記憶させる。カプセル型内視鏡２による撮像の終了後、受信装置３は被検体１０から取り外され、今度は画像処理装置５と接続されて、メモリ３３に記憶させた画像データ及び関連情報を画像処理装置５に転送する。なお、図１においては、画像処理装置５のＵＳＢポートにクレードル３ａを接続し、該クレードル３ａに受信装置３をセットすることにより受信装置３と画像処理装置５とを接続している。

画像処理装置５は、例えば、ＣＲＴディスプレイや液晶ディスプレイ等の表示装置５ａを備えたワークステーションを用いて構成される。画像処理装置５は、受信装置３を介して取得した被検体１０内の画像に所定の画像処理を施し、所定の形式の観察画面を生成して表示装置５ａに表示させる。

図３は、画像処理装置５の概略構成を示すブロック図である。図３に示すように、画像処理装置５は、入力部５１と、画像データ取得部５２と、記憶部５３と、演算部５４と、表示制御部５５と、制御部５６とを備える。

入力部５１は、例えばキーボードやマウス、タッチパネル、各種スイッチ等の入力デバイスによって実現される。入力部５１は、ユーザの操作に応じた情報や命令の入力を受け付ける。

画像データ取得部５２は、ＵＳＢ、又は有線ＬＡＮ、無線ＬＡＮ等の通信回線と接続可能なインタフェースであり、ＵＳＢポートやＬＡＮポート等を含んでいる。実施の形態１において、画像データ取得部５２は、ＵＳＢポートに接続されるクレードル３ａ等の外部機器や各種通信回線を介して、受信装置３から画像データ及び関連情報を取得するデータ取得部として機能する。

記憶部５３は、フラッシュメモリ、ＲＡＭ、ＲＯＭ等の半導体メモリや、ＨＤＤ、ＭＯ、ＣＤ−Ｒ、ＤＶＤ−Ｒ等の記録媒体及び該記録媒体への情報の書き込み及び読み取りを行う書込読取装置等によって実現される。記憶部５３は、画像処理装置５を動作させて種々の機能を実行させるためのプログラム及び各種情報や、カプセル型内視鏡検査によって取得された画像データ等を記憶する。より詳細には、記憶部５３は、今回の検査により生成され、受信装置３から取得された画像データを関連情報と共に記憶する今回画像データ記憶部５３ａと、過去の検査において取得され、後述する画像処理が施された画像データを記憶する過去画像データ記憶部５３ｂとを含む。

演算部５４は、ＣＰＵ等のハードウェアによって実現され、記憶部５３に記憶された所定のプログラムを読み込むことにより、画像データ取得部５２により取得された画像データに所定の画像処理を施し、画像を所定の形式で表示させるための画像データを生成すると共に、観察画面を生成するための所定の処理を実行する。

より詳細には、演算部５４は、画像処理部５４ａと、位置及び姿勢推定部５４ｂと、画像抽出部５４ｃと、撮像時間取得部５４ｄと、比較部５４ｅとを備える。

画像処理部５４ａは、今回画像データ記憶部５３ａに記憶された画像データに対し、ホワイトバランス処理、デモザイキング、色変換、濃度変換（ガンマ変換等）、平滑化（ノイズ除去等）、鮮鋭化（エッジ強調等）等の画像処理（以下、表示用の画像処理ともいう）を施すことにより、表示用の画像データを生成すると共に、平均色算出処理、病変検出処理、赤色検出処理、臓器検出処理、所定の特徴検出処理等の画像処理を施す。なお、これらの画像処理の結果である平均色、病変検出結果、赤色検出結果、臓器検出結果、所定の特徴検出結果等の情報（以下、特徴検出情報ともいう）は、画像データと関連付けられ、画像データと共に記憶部５３に記憶される。

位置及び姿勢推定部５４ｂは、画像データの関連情報として取得された受信強度情報、受信時刻情報に基づいて、画像の撮像時刻におけるカプセル型内視鏡２の被検体１０内における位置を推定する。また、位置の推定方法については、公知の種々の方法を用いることができる。また、位置及び姿勢推定部５４ｂは、画像データの関連情報として取得された加速度の検出信号に基づいて、カプセル型内視鏡２の進行方向に対するカプセル型内視鏡２の姿勢を推定する。位置及び姿勢の推定結果は画像データと関連付けられ、記憶部５３に記憶される。

画像抽出部５４ｃは、今回画像データ記憶部５３ａに記憶された画像データと関連付けられた特徴検出情報に基づいて、該画像データに対応する画像群（以下、今回画像群という）から、所定の特徴を示す画像（以下、特徴画像という）を複数抽出する。また、画像抽出部５４ｃは、過去画像データ記憶部５３ｂに記憶された画像データと関連付けられた特徴検出結果に基づいて、該画像データに対応する画像群（以下、過去画像群という）から、今回画像群から抽出された特徴画像に対応する特徴画像を抽出する。

ここで、カプセル型内視鏡２は、被検体１０の消化管の蠕動運動によって該消化管内を移動するため、カプセル型内視鏡２の位置や姿勢を制御することは困難であり、今回の検査と過去の検査とにおいて同じ構図の画像が得られることは少ない。また、小腸は絶えず蠕動運動を行っており、決まった形状がないため、カプセル型内視鏡２の位置を特定することも困難である。

しかしながら、消化管内であっても、胃の入り口のように色で識別可能な部位や、幽門、十二指腸球部、ファーター氏乳頭、パイエル板、バウヒン弁等のように特徴的な形状を有する部位や、被検体１０に特有の潰瘍やクリップが打たれている箇所等は、構図が違っていても、部位を特定することは比較的容易である。また、小腸が蠕動運動を行っているとはいえ、例えば右上腹部にあった部分が左下腹部まで動くようなことはなく、ある範囲内での位置の変化に留まるため、上記のような特徴的な部位は、今回の検査と過去の検査とにおいて、概ね近い位置に存在するはずである。そのため、上記の例示した部位が写った画像であれば、互いに異なる検査の間で対応関係をつけることは可能である。そこで、実施の形態１においては、上記部位が写った画像を、ランドマークとして抽出する。具体的には、以下に例示する画像が抽出される。

（１）撮像を開始した箇所の画像
画像群の最初の画像のことである。

（２）胃の入り口（食道との境界）の画像
食道の色は平均的に桃色系であるのに対して、胃の色は平均的に赤色系であるので、胃の入り口の画像は、例えば画像の平均色の変化から識別することができる。

（３）幽門画像
幽門は、十二指腸につながる胃の部分である。ここで、胃の画像の平均色は赤色系であり、十二指腸の画像の平均色は黄色系であることから、幽門が写った画像は、例えば画像の平均色の変化から識別することができる。

（４）十二指腸球部画像
十二指腸球部は十二指腸の入り口であり、球状に膨らんだ形状をなす。画像内に写った十二指腸球部は、例えば形状により識別することができる。

（５）ファーター氏乳頭画像
ファーター氏乳頭は、十二指腸に主胆管と主膵管が合流して開口している部分である。画像内に写ったファーター氏乳頭は、例えば形状により識別することができる。

（６）パイエル板画像
パイエル板とは、絨毛が未発達の領域がパッチワーク状に点在する領域のことであり、小腸（十二指腸、空腸、回腸）のうち、空腸と回腸とは、パイエル板の有無により画像的に識別される。パイエル板が写った画像は、例えば形状又はテクスチャにより識別することができる。

（７）バウヒン弁画像
バウヒン弁は、回腸と盲腸との境界にある弁であり、回腸の終端を示す。バウヒン弁が写った画像は、例えば形状により識別することができる。

（８）潰瘍画像
潰瘍が写った画像は、例えば赤色検出処理により抽出することができる。

（９）クリップが打たれた箇所の画像（クリップ画像）
クリップが写った画像は、例えば特定のクリップ形状をテンプレートとするマッチング処理により抽出することができる。

なお、抽出される画像としては、上記（１）〜（９）に限定されず、例えば、異常部位（柔毛が存在しない領域、柔毛が隆起している領域、柔毛の形状が変化（肥大等））を示すパラメータを算出し、該パラメータが所定の範囲内である画像を特徴画像として抽出しても良い。

撮像時間取得部５４ｄは、今回画像群から抽出された複数の特徴画像同士の撮像時刻の間隔（撮像時間）を取得する。また、撮像時間取得部５４ｄは、過去画像群に対しても同様に、抽出された特徴画像同士の撮像時刻の間隔（撮像時間）を取得する。

比較部５４ｅは、撮像時間取得部５４ｄにより今回画像群から取得された撮像時間と、過去画像群から取得された撮像時間とを比較し、両者の差が所定の基準値以上であるか否かを判定し、両者の差が所定の基準値以上である場合に、今回画像群から抽出された特徴画像とその間の画像に対して所定のフラグを付加する。

表示制御部５５は、今回画像を含む観察画面を表示装置５ａに所定の形式で表示させる制御を行う。この際、表示制御部５５は、比較部５４ｅによる比較の結果に基づき、上記所定のフラグが付加された画像を、ユーザの注意を喚起するような形式で表示を行う。

制御部５６は、ＣＰＵ等のハードウェアによって実現され、記憶部５３に記憶された各種プログラムを読み込むことにより、入力部５１を介して入力される信号や、画像データ取得部５２が取得した画像データ等に基づいて、画像処理装置５を構成する各部への指示やデータの転送等を行い、画像処理装置５全体の動作を統括的に制御する。

次に、画像処理装置５の動作について説明する。図４は、画像処理装置５の動作を示すフローチャートである。また、図５は、画像処理装置５の動作を説明するための模式図である。

まず、ステップＳ１０において、画像処理装置５は、今回行われたカプセル型内視鏡検査により生成された画像データ（今回画像データ）を受信装置３から取得し、記憶部５３に一時的に記憶させる。

続くステップＳ１１において、画像処理部５４ａは、今回画像データを記憶部５３から取り込んで表示用の画像処理を施し、さらに、平均色算出処理、病変検出処理、赤色検出処理、臓器検出処理、所定の特徴検出処理等の画像処理を施して特徴検出情報を生成する。また、位置及び姿勢推定部５４ｂは、画像データの関連情報（受信強度情報、受信時刻情報、加速度の検出信号）に基づいて、各画像の撮像時刻におけるカプセル型内視鏡２の位置及び姿勢を推定する。

ステップＳ１２において、画像抽出部５４ｃは、今回画像群Ｍ１、Ｍ２、…から、上記（１）〜（９）に例示した特徴画像を２つ以上抽出する。実施の形態１においては、図５に例示するように、幽門画像Ｍ（ａ）、クリップ画像Ｍ（ｂ）、ファーター氏乳頭画像Ｍ（ｃ）、及びバウヒン弁画像Ｍ（ｄ）が抽出されたものとする。

ステップＳ１３において、撮像時間取得部５４ｄは、今回画像群から抽出された特徴画像間の撮像時間を取得する。具体的には、図５に示すように、幽門画像Ｍ（ａ）とクリップ画像Ｍ（ｂ）との撮像時刻の間隔である撮像時間ΔＴ１、クリップ画像Ｍ（ｂ）とファーター氏乳頭画像Ｍ（ｃ）との撮像時刻の間隔である撮像時間ΔＴ２、及びファーター氏乳頭画像Ｍ（ｃ）とバウヒン弁画像Ｍ（ｄ）との撮像時刻の間隔である撮像時間ΔＴ３を算出する。

続くステップＳ１４において、演算部５４は、過去の検査において取得された画像データを記憶部５３から読み出す。なお、この際、過去画像データに対応する過去画像群に対し、所定の特徴検出処理等が未だなされていない場合には、画像処理部５４ａがこのタイミングで当該処理を実行し、特徴検出情報を生成するようにしても良い。

続くステップＳ１５において、画像抽出部５４ｃは、過去画像群から、各画像の特徴検出情報に基づいて、今回画像群から抽出された特徴画像に対応する特徴画像を抽出する。具体的には、図５に例示するように、過去画像群ｍ１、ｍ２、…から、幽門画像ｍ（ａ）、クリップ画像ｍ（ｂ）、ファーター氏乳頭画像ｍ（ｃ）、及びバウヒン弁画像ｍ（ｄ）を抽出する。なお、今回画像群Ｍ１、Ｍ２、…から抽出された特徴画像に対応する特徴画像を過去画像群から検出することができなければ、検出しなくても良い。

ステップＳ１６において、撮像時間取得部５４ｄは、過去画像群から抽出された特徴画像間の撮像時間を取得する。図５の場合、幽門画像ｍ（ａ）とクリップ画像ｍ（ｂ）との間の撮像時間Δｔ１、クリップ画像ｍ（ｂ）とファーター氏乳頭画像ｍ（ｃ）との間の撮像時間Δｔ２、及びファーター氏乳頭画像ｍ（ｃ）とバウヒン弁画像ｍ（ｄ）との間の撮像時間Δｔ３が算出される。

続いて、比較部５４ｅは、今回画像群と過去画像群とにおいて互いに対応する撮像時間毎に、ステップＳ１７及びＳ１８の処理を行う。具体的には、図５の場合、幽門画像Ｍ（ａ）、ｍ（ａ）とクリップ画像Ｍ（ｂ）、ｍ（ｂ）との間の撮像時間ΔＴ１、Δｔ１、クリップ画像Ｍ（ｂ）、ｍ（ｂ）とファーター氏乳頭画像Ｍ（ｃ）、ｍ（ｃ）との間の撮像時間ΔＴ２、Δｔ２、及び、ファーター氏乳頭画像Ｍ（ｃ）、ｍ（ｃ）とバウヒン弁画像Ｍ（ｄ）、ｍ（ｄ）との間の撮像時間ΔＴ３、Δｔ３が、それぞれ対応する撮像時間となる。

ステップＳ１７において、比較部５４ｅは、今回画像群から取得された撮像時間と過去画像群から取得された撮像時間との差をそれぞれ算出し、当該差が所定の基準値以上であるか否かを判定する。基準値としては、例えば、「過去画像群から取得された撮像時間の３０％」というように、相対的な値に定めると良い。

撮像時間の差が所定の基準値以上である場合（ステップＳ１７：Ｙｅｓ）、比較部５４ｅは、今回の検査においてその撮像時間内に撮像された一連の画像に、観察注意画像である旨を示す観察注意フラグを付加する（ステップＳ１８）。例えば図５の場合、過去の撮像時間Δｔ２よりも今回の撮像時間ΔＴ２が大幅に長くなっているため、今回画像群内のクリップ画像Ｍ（ｂ）からファーター氏乳頭画像Ｍ（ｃ）までの間の画像に観察注意フラグが付加される。

ここで、観察注意フラグを付加する理由は、今回画像群と過去画像群とで共通するランドマーク（クリップ画像Ｍ（ｂ）、ｍ（ｂ）及びファーター氏乳頭画像Ｍ（ｃ）、ｍ（ｃ））間において撮像時間が大幅に伸びている場合、被検体１０内の該当する部位において、カプセル型内視鏡２の移動を妨げる要因（腫瘍、形状の変化、残渣の滞留等）が新たに発生した可能性があると考えられるからである。

一方、撮像時間の差が所定の基準値未満である場合（ステップＳ１７：Ｎｏ）、処理はそのまま次のステップに移行する。例えば図５の場合、撮像時間ΔＴ１、Δｔ１同士、及び撮像時間ΔＴ３、Δｔ３同士では、大きな差異が認められないため、幽門画像Ｍ（ａ）〜クリップ画像（ｂ）、及びファーター氏乳頭画像（ｃ）〜バウヒン弁画像Ｍ（ｄ）の画像に対して特にフラグが付加されることはない。

ステップＳ１９において、表示制御部５５は、今回画像群を含む観察画面を生成し、表示装置５ａに表示させる。この際、表示制御部５５は、観察注意フラグが付加された画像に対し、医療従事者の注意を喚起して集中的に観察させるため、他の画像とは異なる形式で表示させるように制御を行う。

図６は、表示装置５ａに表示される観察画面の一例を示す模式図である。図６に示す観察画面Ｄ１は、検査ＩＤや検査日等の検査情報が表示される検査情報表示欄ｄ１と、患者ＩＤ、患者氏名、生年月日等の患者情報が表示される患者情報表示欄ｄ２と、今回の検査により取得された今回画像Ｍ_mainが擬似動画で順次表示される主表示領域ｄ３と、主表示領域ｄ３に順次表示される今回画像群の再生動作をユーザが操作する際に用いられる再生操作ボタン群ｄ４と、主表示領域ｄ３に表示中の画像をキャプチャする指示をユーザが入力する際に用いられるキャプチャボタンｄ５と、観察画面Ｄ１に表示される今回画像群の表示形式を擬似動画形式から静止画一覧表示形式に切り替える指示をユーザが入力する際に用いられるオーバービューボタンｄ６とを含む。

主表示領域ｄ３の下方には、主表示領域ｄ３に表示中の今回画像Ｍ_mainの撮像時刻を表すタイムバーｄ７及びスライダｄ８と、キャプチャされた画像をサムネイルとして一覧表示するキャプチャ画像表示領域ｄ９とが設けられている。なお、キャプチャされた各画像Ｍ_capの撮像時刻を示すため、各画像Ｍ_capと撮像時刻に応じたタイムバーｄ７上の位置とを結ぶラインを表示しても良い。

タイムバーｄ７上において、観察注意フラグが付加された画像に対応する領域ｄ１０、ｄ１１には、他の領域と識別可能な表示がなされている。具体的には、当該領域ｄ１０、ｄ１１が他の領域とは異なる色で表示されている。なお、図６においては、色の違いをハッチングの有無で示している。或いは、当該領域ｄ１０、ｄ１１を点滅表示しても良い。ユーザは、このようなタイムバーｄ７を参照することにより、今回画像群のうちで注意して観察すべき画像を把握することが可能となる。

このような観察画面Ｄ１において、入力部５１（マウス等）を用いた再生操作ボタン群ｄ４に対するポインタ操作により、今回画像群の再生の開始を指示する信号が画像処理装置５に入力されると、主表示領域ｄ３に一連の今回画像が所定の表示フレームレートで順次切り替えて表示される。

表示制御部５５は、観察注意フラグが付加された画像の表示順になると、主表示領域ｄ３における表示フレームレートを下げ、１枚当たりの画像の表示時間を長くする。これにより、ユーザは、観察注意フラグが付加された画像を注意して、集中的に観察することができる。

また、表示制御部５５は、観察注意フラグが付加された画像の表示順になった際に、画像の再生を一時停止する、或いは、観察注意画像である旨のメッセージを観察画面Ｄ１中に表示するなどして、ユーザの注意を喚起するようにしても良い。

或いは、表示制御部５５は、観察注意フラグが付加されていない画像を所定のレートで間引き表示することにより表示速度を上げ、観察注意フラグが付加された画像の表示順になった際に、間引き表示をやめて、全ての画像を順次表示するようにしても良い。この場合、ユーザは、観察注意フラグが付加された画像を隈なく集中的に観察し、それ以外の画像については簡易的に観察することができるので、観察効率を向上させることが可能となる。

さらに、表示制御部５５は、観察注意フラグが付加された画像をサムネイルとして、キャプチャ画像表示領域ｄ９に並べて表示しても良い。この場合、ユーザは、観察注意画像の全容を一目で把握することが可能となる。
このような観察画面Ｄ１の表示後、画像処理装置５の動作は終了する。

以上説明したように、実施の形態１においては、今回画像群と過去画像群との間において、特徴画像間の撮像時間が大幅に異なる領域の画像を強調する、或いは、ユーザが識別可能な形式で表示する。このため、ユーザは、過去の検査時から今回の検査時までの間に何らかの変化が生じている可能性がある被検体内の部位の画像を集中して観察し、診断を行うことができる。従って、異常箇所の発見効率を高めると共に、観察時間を全体として短縮することができ、観察効率を向上させることが可能となる。

（変形例１−１）
次に、本発明の実施の形態１の変形例１−１について説明する。
上記実施の形態１においては、今回画像群及び過去画像群の各々から抽出された複数の特徴画像の撮像時刻間の時間に対応する量として、撮像時間を取得した（ステップＳ１３及びＳ１６参照）。しかしながら、撮像時間の代わりに、ある特徴画像と別の特徴画像との間に撮像された一連の画像の枚数を取得しても良い。ここで、カプセル型内視鏡２において通常、一定の撮像フレームレートで撮像が行われるので、撮像時間と画像の枚数とは対応した量となる。この場合、図４のステップＳ１７においては、今回画像群から取得されたある区間の画像枚数と、過去画像群から取得された対応する区間の画像枚数との差が、所定の基準値以上であるか否かが判定される。

（変形例１−２）
次に、本発明の実施の形態１の変形例１−２について説明する。
観察画像Ｄ１に観察注意フラグが付加された画像を表示する際には、当該画像に対してさらに所定の画像処理を施した上で表示を行っても良い。例えば、観察注意フラグが付加された画像に対し、所定の病変領域を抽出する画像解析処理を施し、当該画像が主表示領域ｄ３に表示される際に、併せてその解析結果を表示しても良い。

その他にも、観察注意フラグを、観察画面を生成及び表示する際の各種補助機能のパラメータとして用いても良い。

（変形例１−３）
次に、本発明の実施の形態１の変形例１−３について説明する。
図６に示す観察画面Ｄ１においては、時刻のスケールを示すタイムバーｄ７を表示しているが、タイムバーｄ７の代わりに、今回画像群に含まれる各画像の平均色を時間軸に沿って並べた平均色バーを表示しても良い。この場合、ユーザは、平均色バーを目視することにより、画像の平均色に対応する臓器の種類の変化を確認することができる。また、この場合には、観察注意フラグが付加された画像に対応する平均色バー上の領域を点滅させるなどして、ユーザの注意を喚起すると良い。

（変形例１−４）
次に、本発明の実施の形態１の変形例１−４について説明する。
図７は、変形例１−４における観察画面の表示例を示す模式図である。図６に示す観察画面Ｄ１においては、今回画像群のみを表示したが、今回画像群と併せて、過去画像群を同じ画面に表示しても良い。

図７に示す観察画面Ｄ２には、観察画面Ｄ１に対し、参照画像として過去画像ｍ_refが表示される過去画像表示領域ｄ１２がさらに設けられている。この過去画像表示領域ｄ１２には、過去画像ｍ_refをスクロールするためのスクロールバーｄ１３も設けられている。なお、過去画像表示領域ｄ１２に表示されている過去画像ｍ_refの撮像時刻に応じたタイムバーｄ７上の位置に、マーカーｄ１４をさらに表示しても良い。

過去画像表示領域ｄ１２に表示される過去画像ｍ_refとしては、当該過去画像群に対する観察時にキャプチャされた画像であっても良いし、今回画像群中で観察注意フラグが付加された画像に対応する（即ち、ステップＳ１７において撮像時間を比較された）過去画像群中の画像であっても良いし、過去に行われた観察において異常と判断され、所定のラベルが付加された画像であっても良い。

（変形例１−５）
次に、本発明の実施の形態１の変形例１−５について説明する。
図８は、変形例１−５における観察画面の表示例を示す模式図である。図８に示す観察画面Ｄ３には、図６に示す観察画面Ｄ１に対し、主表示領域ｄ３に表示中の今回画像Ｍ_mainと対応する過去画像ｍ_refが表示される過去画像表示領域ｄ１５がさらに設けられている。表示中の今回画像Ｍ_mainと対応する過去画像ｍ_refは、例えば、今回画像群と過去画像群とにおいて対応する特徴画像の撮像時刻の間隔（図５参照）を按分することにより、推定することができる。このような過去画像表示領域ｄ１５は、画面に常に表示していても良いし、主表示領域ｄ３に観察注意フラグが付加された画像が表示されている間だけ表示することとしても良い。或いは、ユーザの操作により、表示／非表示を切り替えられるようにしても良い。

（変形例１−６）
次に、本発明の実施の形態１の変形例１−６について説明する。
図９は、変形例１−６における観察画面の表示例を示す模式図である。図９に示す観察画面Ｄ４には、図６に示すタイムバーｄ７及びキャプチャ画像表示領域ｄ９の代わりに、今回画像群から作成された平均色バーｄ１６と、過去画像群から作成された平均色バーｄ１７とが設けられている。これらの平均色バーｄ１６と平均色バーｄ１７とは、互いに対応する特徴画像の撮像時刻同士を結ぶラインで繋げられている。なお、図９においては、色の違いをハッチングの種類の違いで示している。

このように、２つの平均色バーｄ１６、ｄ１７を対比可能に表示することにより、医療従事者は、過去の検査時と今回の検査時とにおいて、被検体１０で変化のあった部位を把握することが可能となる。

（変形例１−７）
次に、本発明の実施の形態１の変形例１−７について説明する。
図１０は、変形例１−７における観察画面の表示例を示す模式図である。図１０に示す観察画面Ｄ５は、図６に示す観察画面Ｄ１に対し、被検体１０内におけるカプセル型内視鏡２の軌跡を表示する軌跡表示領域ｄ１８が設けられている。軌跡表示領域ｄ１８には、位置及び姿勢推定部５４ｂにより推定された各画像の撮像時刻におけるカプセル型内視鏡２の位置が点状のマークＰにより示されている。

このような軌跡表示領域ｄ１８に対し、本変形例１−７においては、観察注意フラグが付加された画像の位置を示すマークＰを、他の画像の位置を示すマークＰよりも密に表示する。それにより、医療従事者は、集中的に観察すべき画像の被検体１０内における位置をより正確に把握することが可能となる。

（変形例１−８）
次に、本発明の実施の形態１の変形例１−８について説明する。
図１１は、変形例１−８における観察画面の表示例を示す模式図である。図１１に示す観察画面Ｄ６には、今回画像一覧表示領域ｄ２１及び過去画像一覧表示領域ｄ２２が設けられている。今回画像一覧表示領域ｄ２１は、観察注意フラグが付加された複数の今回画像Ｍ_iが、静止画で一覧表示される領域である。また、過去画像一覧表示領域ｄ２２は、今回画像一覧表示領域ｄ２１に表示された今回画像Ｍ_iと対応する複数の過去画像ｍ_jが、静止画で一覧表示される領域である。

今回画像一覧表示領域ｄ２１には、当該領域をスクロールするためのスクロールバーｄ２３が設けられている。また、過去画像一覧表示領域ｄ２２には、当該領域をスクロールするためのスクロールバーｄ２４が設けられている。これらのスクロールバーｄ２３、ｄ２４は互いに連動して動作するように設定されていても良いし、各々が独立に動作するように設定されていても良い。このような観察画面Ｄ６には、例えば図６に示す観察画面Ｄ１から、オーバービューボタンｄ６に対するポインタ操作により移行することができる。

ユーザは、このような観察画面Ｄ６により、集中して観察すべき今回画像Ｍ_iと、これらに対応する過去画像ｍ_jとを比較し、症状の経過等を把握することが可能となる。

ここで、今回の検査と過去の検査とにおいて被検体１０内の同じ部位を撮像した画像であっても、図５に示すクリップ画像Ｍ（ｂ）、ｍ（ｂ）からファーター氏乳頭画像Ｍ（ｃ）、ｍ（ｃ）の間のように、撮像された画像の枚数が異なる場合がある。このような場合、図１２に示すように、今回画像群と過去画像群とにおいて互いに対応する特徴画像Ｍ_s、ｍ_s、及び特徴画像Ｍ_t、ｍ_tをランドマークとして、今回画像一覧表示領域ｄ２１に表示された今回画像Ｍ_s〜Ｍ_tに対応する範囲の過去画像ｍ_s〜ｍ_tのみを、過去画像一覧表示領域ｄ２２に表示しても良い。

（実施の形態２）
次に、本発明の実施の形態２について説明する。
図１３は、本発明の実施の形態２に係る画像処理装置の概略構成を示すブロック図である。図１３に示すように、実施の形態２に係る画像処理装置５−２は、図３に示す画像処理装置５に対し、撮像時間取得部５４ｄの代わりに特徴量取得部５４ｆを有する演算部５４−２を備える。なお、特徴量取得部５４ｆ以外の演算部５４−２及び画像処理装置５−２全体の構成は、図３に示すものと同様である。

特徴量取得部５４ｆは、画像抽出部５４ｃにより今回画像群及び過去画像群の各々から抽出された複数の特徴画像間において、カプセル型内視鏡２の移動を特徴づける特徴量を取得する。以下、今回画像群から取得された特徴量のことを今回特徴量といい、過去画像群から取得された特徴量のことを過去特徴量という。

また、実施の形態２において、比較部５４ｅは、特徴量取得部５４ｆにより取得された今回特徴量と過去特徴量とを比較し、両者の差が所定の基準値以上であるか否かを判定する。

カプセル型内視鏡２の移動を特徴づける特徴量としては、以下に例示するように、画像処理部５４ａにより算出される画像の特徴量の変化を示すパラメータや、位置及び姿勢推定部５４ｂにより算出されるカプセル型内視鏡２の位置の変化や動きを示すパラメータ等が挙げられる。なお、以下において、第１の特徴画像とは、今回画像群（又は過去画像群）から抽出された任意の特徴画像のことであり、第２の特徴画像とは、第１の特徴画像に対し、撮像時刻順に見て次に抽出された特徴画像のことである。

（１）画像の平均色の統計値
第１の特徴画像と第２の特徴画像との間の各画像の平均色を算出し、該平均色を示すパラメータの統計値（平均値、最頻値等）を特徴量とする。今回特徴量として算出された統計値と過去特徴量として算出された統計値との差が大きい場合、これらの画像に対応する被検体１０内の部位において、過去の検査時と今回の検査時との間に何らかの新たな変化が生じた可能性があるといえる。

（２）色の変化を示すパラメータ
第１の特徴画像と第２の特徴画像との間の各画像の平均色を算出し、これらの平均色の変化を表すパラメータを特徴量とする。平均色の変化を示すパラメータは、例えば、前画像に対する平均色の変化（Ｒ成分やＧ成分の変化）の割合が所定値以上である場合に、色の変化があった画像と判断し、第１の特徴画像と第２の特徴画像との間で色の変化があった画像の枚数（即ち、色の変化があった回数）を計上することにより取得される。ここで、被検体１０内において色の変化が激しい領域には、何らかの異常が生じている可能性があると考えられる。そのため、今回特徴量として算出されたパラメータと過去特徴量として算出されたパラメータとの差が大きい場合、これらの画像に対応する被検体１０内の部位において、何らかの異常が新たに生じ、或いは異常が消滅した可能性があるといえる。

（３）特定形状の有無を示すパラメータの統計値
第１の特徴画像と第２の特徴画像との間の各画像に対し、特定形状をテンプレートとするマッチング処理を行い、それによって取得されたマッチング度等のパラメータの統計値（平均値、最頻値等）を特徴量とする。この際、検出対象とする特定形状を、特定の病変を表す形状とすることにより、過去の検査時と今回の検査時との間におけるその病変の進行状況等を把握することが可能となる。

（４）病変画像（赤色検出処理により抽出された画像等）の数
第１の特徴画像と第２の特徴画像との間において抽出された病変画像の数を特徴量とする。今回特徴量として算出された病変画像の数と過去特徴量として算出された該病変画像の数との差が大きい場合、過去の検査時と今回の検査時との間に、その病変に何らかの変化が生じた可能性があるといえる。

（５）カプセル型内視鏡２の移動距離
第１の特徴画像と第２の特徴画像との間におけるカプセル型内視鏡２の移動距離を特徴量とする。カプセル型内視鏡２の移動距離は、各画像の撮像時刻におけるカプセル型内視鏡２の位置を順次接続した軌跡から推定することができる。今回特徴量として推定された移動距離と過去特徴量として推定された移動距離との差が大きい場合、これらの画像に対応する被検体１０内の部位（例えば小腸）の形状（伸縮等）や位置に何らかの変化が生じた可能性があるといえる。

（６）カプセル型内視鏡２が停止していた時間
第１の特徴画像と第２の特徴画像との間において、カプセル型内視鏡２が停止していた時間を特徴量とする。カプセル型内視鏡２の停止時間は、例えば、前画像に対する類似度が所定値（例えば９９％）以上である画像の枚数から推定することができる。今回特徴量として取得された停止時間と前回特徴量として取得された停止時間との差が大きい場合、これらの画像に対応する被検体１０内の部位に、カプセル型内視鏡２の移動を妨げる要因（腫瘍、形状の変化、残渣の滞留等）が新たに生じ、又は消滅した可能性があるといえる。

（７）カプセル型内視鏡２が停止した回数
第１の特徴画像と第２の特徴画像との間において、カプセル型内視鏡２が停止した回数を特徴量とする。カプセル型内視鏡２が停止した回数は、例えば、前画像に対する類似度が所定値（例えば９９％）以上であり、且つ類似度の変化率が所定値以上である画像の枚数で判断することができる。今回特徴量として取得された停止回数と前回特徴量として取得された停止回数との差が大きい場合、カプセル型内視鏡２の移動を妨げる要因が新たに生じ、又は消滅した可能性があるといえる。

（８）カプセル型内視鏡２の最大移動速度
第１の特徴画像と第２の特徴画像との間におけるカプセル型内視鏡２の移動速度の最大値を特徴量とする。カプセル型内視鏡２の移動速度は、時系列で互いに隣接する画像の撮像時刻とカプセル型内視鏡２の位置変化とから推定することができる。今回特徴量として取得された最大移動速度と過去特徴量として取得された最大移動速度との差が大きい場合、カプセル型内視鏡２の速度を変化させる要因が生じた可能性があるといえる。

（９）カプセル型内視鏡２の回転数
第１の特徴画像と第２の特徴画像との間においてカプセル型内視鏡２が回転した回数を特徴量とする。カプセル型内視鏡２の回転は、画像データの関連情報であるカプセル型内視鏡２の加速度の検出信号から推定することができる。今回特徴量として取得された回転数と過去特徴量として取得された回転数との差が大きい場合（大幅に増加した場合）、カプセル型内視鏡２の進行を妨げ、その場で回転させる何らかの要因が発生した可能性があるといえる。

次に、画像処理装置５−２の動作について説明する。図１４は、画像処理装置５−２の動作を示すフローチャートである。図１４に示すように、実施の形態２においては、ステップＳ２１、Ｓ２２、及びＳ２３における動作のみが実施の形態１（図４参照）とは異なる。

ステップＳ１２に続くステップＳ２１において、特徴量取得部５４ｆは、今回画像群から今回特徴量を取得する。

また、ステップＳ１５に続くステップＳ２２において、特徴量取得部５４ｆは、過去画像群から過去特徴量を取得する。

その後、比較部５４ｅは、今回画像群と過去画像群とにおいて互いに対応する画像区間（第１の特徴画像と第２の特徴画像との区間）毎に、ループＢの処理を行う。即ち、今回特徴量と過去特徴量との差が所定の基準値以上である場合に（ステップＳ２３：Ｙｅｓ）、今回画像群で当該画像区間に含まれる一連の画像に対し、観察注意フラグを付加する（ステップＳ１８）。
その後の動作（ステップＳ１９）については、実施の形態１と同様である。

以上、説明したように、実施の形態２によれば、今回画像群と過去画像群とにおいて対応する特徴画像の区間において算出されたカプセル型内視鏡２の移動を特徴づける量に基づいて観察注意画像を特定し、それらの画像を観察画面においてユーザの注意を喚起するように表示する。従って、ユーザは、過去の検査時から今回の検査時までの間に何らかの変化が生じている可能性がある被検体内の領域の画像を集中して観察することができ、観察効率を向上させることが可能となる。

（実施の形態３）
次に、本発明の実施の形態３について説明する。
本実施の形態３は、ユーザが今回画像群の内から所望の画像を特徴画像として選択できることを特徴とする。

図１５は、本発明の実施の形態３に係る画像処理装置の概略構成を示すブロック図である。図１５に示すように、実施の形態３に係る画像処理装置５−３は、図３に示す画像処理装置５に対し、画像選択部５４ｇ及びラベル付加部５４ｈをさらに有する演算部５４−３を備える。なお、画像選択部５４ｇ及びラベル付加部５４ｈ以外の演算部５４−３及び画像処理装置５−３全体の構成は、図３に示すものと同様である。

画像選択部５４ｇは、入力部５１を用いたユーザの操作に応じた選択信号の入力を受け付け、該選択信号に対応する画像を今回画像群の内から選択して選択フラグを付加する。以下、今回画像群の内からユーザの操作に応じて選択されたマーキング画像という。

ここで、選択信号の入力は、例えば図６〜図１２に例示する観察画面Ｄ１〜Ｄ６に対する所定のポインタ操作に応じて行われる。具体的には、図６に示す主表示領域ｄ３に表示中の画像Ｍ_mainに対するクリック操作であっても良いし、キャプチャボタンｄ５に対する操作であっても良いし、図１１に示す所望の今回画像Ｍ_iに対するクリック操作であっても良い。

ラベル付加部５４ｈは、今回画像群からマーキング画像が選択された際に、マーキング画像の特徴を表すラベルを当該マーキング画像に付加する。ラベルの種類としては、例えば、胃の入り口、幽門、十二指腸球部、ファーター氏乳頭、バイエル板、バウヒン弁、クリップが打たれた箇所等、被検体１０内のランドマークとして識別可能な特徴を表すラベルの他、腫瘍や出血等の病変症状を表すラベルが挙げられる。

この際、ラベル付加部５４ｈは、画像処理部５４ａによる画像処理の結果生成された特徴検出情報に基づいて上記ラベルを付加しても良い。或いは、ラベル付加部５４ｈは、入力部５１を用いたユーザの操作に応じた入力信号に基づいてラベルを付加しても良い。この場合、ラベル付加部５４ｈが受け付ける入力信号は、キーボード等の入力デバイスから入力されるテキスト情報であっても良いし、所定の複数のラベル候補の内から入力部５１を用いたユーザの操作に応じて選択される選択信号であっても良い。後者の場合、ユーザがマーキング画像の選択操作を行った際に、上述した特徴に対応するテキスト情報又はマークが示されたアイコンを画面に表示し、ユーザがマウス等の入力デバイスを用いて選択できるようにすると良い。

また、実施の形態３において、画像抽出部５４ｃは、マーキング画像に付加されたラベルをもとに、同じラベルが付加された画像を過去画像群から抽出する。

次に、画像処理装置５−３の動作について説明する。図１６は、画像処理装置５−３の動作を示すフローチャートである。図１６に示すように、実施の形態３においては、ステップＳ３１及びＳ３２における動作のみが実施の形態１（図４参照）とは異なる。

ステップＳ１１に続くステップＳ３１において、画像選択部５４ｇは、入力部５１を用いたユーザによるマーキング操作に応じ、マーキング画像に選択フラグ及びラベルを付加する。

続くステップＳ１３において、撮像時間取得部５４ｄは、選択フラグに基づいて抽出されるマーキング画像を特徴画像として扱い、これらの画像間の撮像時間を取得する。

また、ステップＳ１４に続くステップＳ３２において、画像抽出部５４ｃは、マーキング画像に付加されたラベルをもとに、マーキング画像に対応する過去画像を過去画像群から抽出する。
その後の動作（ステップＳ１６〜）については、実施の形態１と同様である。

以上説明したように、実施の形態３によれば、今回画像群のうち、ユーザが注目すべきと判断した画像を特徴画像と同様に扱い、過去画像群との間で撮像時間の比較を行うので、ユーザは、自身が気になった画像の近傍で、過去の検査時から何らかの変化が生じている可能性のある画像を集中して観察することが可能となる。

なお、実施の形態３においては、画像抽出部５４ｃが今回画像群から特徴画像を自動抽出する代わりに（図４のステップＳ１２参照）、ユーザがマーキング画像を選択することとしたが、画像抽出部５４ｃによる特徴画像の自動抽出と、ユーザによるマーキング画像の選択とを共に行うこととしても良い。

また、上記画像選択部５４ｇ及びラベル付加部５４ｈを、図１３に示す演算部５４−２に追加して設けても良い。

（変形例３−１）
次に、本発明の実施の形態３の変形例３−１について説明する。
上記実施の形態３においては、マーキング画像に対応する過去画像の抽出を、マーキング画像に付加されたラベルをもとに行った。しかしながら、過去画像の抽出は以下に例示する方法で行っても良い。

一例として、まず、画像選択部５４ｇは、今回画像群に対し、検査開始時刻を基準とするマーキング画像の撮像時刻を算出する。そして、画像選択部５４ｇは、マーキング画像の撮像時刻と同程度の撮像時刻となる複数の過去画像を過去画像群の内から絞り込む。この際、過去画像群においても、検査開始時刻を基準とした撮像時刻を用いる。そして、撮像時刻で絞り込まれた複数の画像の内から、過去の観察時に選択フラグが付加された画像を抽出する。

別の例として、画像選択部５４ｇは、上述したように撮像時刻で絞り込まれた複数の過去画像の内から、過去の観察時にキャプチャされた画像を抽出しても良い。

さらに別の例として、画像選択部５４ｇは、撮像時刻で絞り込まれた複数の過去画像に対して類似画像判別処理を行い、マーキング画像との類似度が最も高い過去画像を抽出しても良い。

或いは、画像選択部５４ｇは、マーキング画像から所定の特徴（異常部位等）を示すパラメータを算出し、該パラメータを参照して、撮像時刻で絞り込まれた複数の過去画像の内から、マーキング画像に対応する過去画像を抽出しても良い。

（変形例４）
次に、本発明の実施の形態１〜３の変形例４について説明する。
本変形例４においては、今回の検査結果に基づく観察画面に対し、過去の検査に関する情報を参照として表示することを特徴とする。なお、本変形例４は、図３、図１３、図１５に示す画像処理装置５、５−２、５−３のいずれに適用しても良い。

図１７は、変形例４における観察画面を示す模式図である。図１７に示す観察画面Ｄ７は、図７に示す観察画面Ｄ２に対し、前回結果ボタンｄ２５及び前回結果表示領域ｄ２６がさらに設けられている。

前回結果ボタンｄ２５は、過去の検査の結果を観察画面Ｄ７に表示させる指示をユーザが入力するためボタンである。この前回結果ボタンｄ２５に対するポインタ操作に応じて、前回結果表示領域ｄ２６の表示／非表示が切り替えられる。

前回結果表示領域ｄ２６は、過去の検査の検査日の他、画像選択部５４ｇにより選択された過去画像の撮像時刻に基づいて算出された種々の所要時間等が表示される領域である。具体的には、カプセル型内視鏡２が被検体１０に嚥下されてから、胃に到達するまでに要した時間（胃到達時間）、胃を通過するまでに要した時間（胃通過時間）、小腸に到達するまでに要した時間（小腸到達時間）、小腸を通過するまでに要した時間（小腸通過時間）等の情報が表示される。なお、これらの各時間は、カプセル型内視鏡２の嚥下時刻を基準（検査開始時刻）として、各画像の撮像時刻から算出されているが、例えば、撮像開始時刻（１枚目の画像の撮像時刻）や幽門通過時刻（胃到達時刻）を基準に算出しても良い。

また、前回結果表示領域ｄ２６には、上記列挙した時刻の他、キャプチャ画像数、キャプチャ画像に付加されたラベル、ユーザにより入力された観察結果（所見）等をさらに表示しても良い。さらに、これらの各項目をユーザが設定によりカスタマイズできるようにしても良い。

以上説明したように、変形例４によれば、過去の検査における詳細情報を文字情報で画面表示するので、ユーザは、過去の検査の記録を別途参照することなく、過去の検査と今回の検査との差異を把握することが可能となる。

なお、前回結果表示領域ｄ２６を、今回画像群と過去画像群とにおいて対応する撮像時間（又は特徴量）に所定の基準値以上の差があった場合にのみ、観察画面Ｄ７に表示するようにしても良い。或いは、前回結果表示領域ｄ２６を観察画面Ｄ７中のいずれかの位置に常時表示されるように設定できるようにしても良い。

（変形例５）
次に、本発明の実施の形態１〜３の変形例５について説明する。
上記実施の形態１において説明した観察画面Ｄ２〜Ｄ４及びＤ６においては、表示中の今回画像に基づいて過去画像を抽出し、過去画像表示領域ｄ１２、ｄ１５、ｄ２２に表示した。しかしながら、特定の過去画像に基づいて今回画像群内を検索することにより、主表示領域ｄ３や今回画像一覧表示領域ｄ２１に表示される今回画像を抽出しても良い。

例えば、過去画像群に対する過去の観察時に、ユーザが異常箇所と判断し、異常箇所がある旨を示すラベル（以下、異常ラベルという）が付加された過去画像が存在する場合、画像抽出部５４ｃは、異常ラベルが付加された過去画像に対応する今回画像を今回画像群から抽出しても良い。

抽出方法としては、例えば、検査開始時刻（又は幽門通過時刻）を基準とした過去画像の撮像時刻に基づき、撮像時刻が近い今回画像を絞り込んだ上で、類似画像判別処理を行い、過去画像と類似度が最も高い今回画像を選択する方法を用いても良い。この際、画像全体の類似度ではなく、異常がある部位のみに対する類似度を算出しても良い。或いは、撮像時刻に基づいて今回画像を絞り込んだ上で、過去画像と同様の特徴（例えば異常部位等）を示すパラメータを用いて今回画像を抽出しても良い。さらには、過去画像の位置情報を基づき、近傍の位置情報を有する今回画像を抽出しても良い。

表示制御部５５は、このようにして抽出された今回画像を、ユーザの注意を喚起する形式で観察画面に表示する。例えば、主表示領域ｄ３において今回画像を擬似動画で表示する場合、異常ラベルが付加された過去画像に対応する今回画像の表示タイミングになった際に、表示フレームレートを下げてゆっくり表示しても良い。また、異常ラベルが付加された過去画像に対応する今回画像のみが一覧表示される画面を生成しても良い。さらには、タイムバーｄ７（例えば図６参照）や平均色バーｄ１６（図９参照）に対し、異常ラベルが付加された過去画像に対応して抽出された今回画像の領域にマークを附したり、点滅表示をするなどしても良い。

以上説明した変形例５によれば、過去に異常ラベルが付加された過去画像に対応する今回画像を、ユーザの注意を喚起する形式で表示するので、ユーザは、過去に異常と診断された部位の経過を集中して観察することが可能となる。

（変形例６）
次に、本発明の実施の形態１〜３の変形例６について説明する。
上記実施の形態１〜３においては、過去の検査が１回のみである場合について説明した。しかしながら、同じ被検体１０に対して過去に複数回検査を行った場合には、以下のようにして過去画像の抽出及び表示を行うと良い。

最近の被検体１０の状態を診断したい場合には、複数回の過去の検査のうち、最新の検査により取得された過去画像群のみを対象として画像の抽出を行うと良い。

一方、被検体１０の状態の変化の傾向を診断したい場合には、複数回分の過去画像群の各々から画像抽出を行うと良い。この場合、各過去画像群から抽出された過去画像は、例えば図７に示す過去画像表示領域ｄ１２や、図８及び図９に示す過去画像表示領域ｄ１５に順次切り替えて表示しても良い。また、過去画像表示領域ｄ１５を１つの画面に複数設け、今回画像群から抽出された特徴画像（又はマーキング画像）に対応する複数の過去画像を、時系列に並べて表示しても良い。この場合、図９に示す平均色バーｄ１６、ｄ１７を、検査回数に応じて設け、時系列順に並べて表示しても良い。或いは、図１０に示す軌跡表示領域ｄ１８を検査回数に応じて設け、時系列順に並べて表示しても良い。

また、変形例４において説明したように、観察画面に前回結果表示領域ｄ２６を設ける場合には、過去の数回分の検査の結果の平均値を表示しても良いし、過去の検査毎に前回結果表示領域ｄ２６に設け、１つの観察画面に時系列順に並べて表示しても良い。

（変形例７）
次に、本発明の実施の形態１〜３の変形例７について説明する。
上記実施の形態１〜３においては、過去画像データを画像処理装置５、５−２、５−３に内蔵された記憶部５３に記憶させたが、過去画像データを画像処理装置５、５−２、５−３と接続可能な外部記憶装置に記憶させても良い。或いは、過去画像データをサーバ等に格納し、有線又は無線ＬＡＮ等のネットワークを介して過去画像データを画像処理装置５、５−２、５−３に取り込んでも良い。

以上説明した本発明は、実施の形態１〜３及びそれらの変形例に限定されるものではなく、各実施の形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成できる。例えば、各実施の形態や変形例に示される全構成要素からいくつかの構成要素を除外して形成しても良いし、異なる実施の形態や変形例に示した構成要素を適宜組み合わせて形成しても良い。

１ カプセル型内視鏡システム
２ カプセル型内視鏡
３ 受信装置
３ａ クレードル
４ 受信アンテナユニット
４ａ〜４ｈ 受信アンテナ
５、５−２、５−３ 画像処理装置
５ａ 表示装置
１０ 被検体
２１ 撮像部
２２ 照明部
２３ 信号処理部
２４ 加速度センサ
２５ メモリ
２６ 送信部
２７ アンテナ
２８ バッテリ
３１ 受信部
３２ 信号処理部
３３ メモリ
３４ データ送信部
３５ 操作部
３６ 表示部
３７ 制御部
３８ バッテリ
５１ 入力部
５２ 画像データ取得部
５３ 記憶部
５３ａ 今回画像データ記憶部
５３ｂ 過去画像データ記憶部
５４ 演算部
５４ａ 画像処理部
５４ｂ 位置及び姿勢推定部
５４ｃ 画像抽出部
５４ｄ 撮像時間取得部
５４ｅ 比較部
５４ｆ 特徴量取得部
５４ｇ 画像選択部
５４ｈ ラベル付加部
５５ 表示制御部
５６ 制御部

Claims (13)

1. 被検体内に導入されて該被検体内を撮像するカプセル型内視鏡により取得された前記被検体内の画像を処理する画像処理装置であって、
   前記カプセル型内視鏡により前記被検体内を順次撮像して得られた第１の画像群から、第１の特徴を示す第１の特徴画像及び第２の特徴を示す第２の特徴画像を抽出し、さらに、前記被検体と同一の被検体内を前記第１の画像群よりも前に順次撮像して得られた第２の画像群から、前記第１の特徴を示す第３の特徴画像及び前記第２の特徴を示す第４の特徴画像を抽出する画像抽出部と、
   前記第１の画像群から抽出された前記第１の特徴画像と前記第２の特徴画像との間における前記カプセル型内視鏡の移動を特徴づける第１の特徴量と、前記第２の画像群から抽出された前記第３の特徴画像と前記第４の特徴画像との間における前記カプセル型内視鏡の移動を特徴づける第２の特徴量とを取得する特徴量取得部と、
   前記第１の特徴量と前記第２の特徴量とを比較する比較部と、
   前記第１の画像群に対し、前記比較部による比較の結果に基づく表示制御を行う表示制御部と、
   を備えることを特徴とする画像処理装置。
2. 前記表示制御部は、前記第１の画像群の前記第１の特徴画像と前記第２の特徴画像との間の一連の画像を、観察注意画像として表示する制御を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の画像群の前記第１の特徴画像と前記第２の特徴画像との間の一連の画像に対して所定の画像処理を施す画像処理部をさらに備えることを特徴とする請求項１に記載の画像処理装置。
4. 前記第１の画像群に対応する画像データを取得する画像データ取得部と、
   前記第２の画像群を記憶する記憶部と、
   前記第１及び第２の画像群の各々に対し、前記第１及び第２の特徴を検出する画像処理を施す画像処理部と、
   をさらに備えることを特徴とする請求項１に記載の画像処理装置。
5. 外部から入力される選択信号に基づいて、前記第１の画像群から画像を選択する画像選択部をさらに備え、
   前記画像抽出部は、前記画像選択部により選択された画像に対応する画像を、前記第２の画像群から抽出することを特徴とする請求項１に記載の画像処理装置。
6. 前記第１及び第２の特徴量は、前記第１の特徴画像の撮像時刻と前記第２の特徴画像の撮像時刻との間の時間であることを特徴とする請求項１に記載の画像処理装置。
7. 前記第１及び第２の特徴量は、前記第１の特徴画像の撮像時刻と前記第２の特徴画像の撮像時刻との間に前記カプセル型内視鏡により撮像された画像の枚数であることを特徴とする請求項１に記載の画像処理装置。
8. 前記第１及び第２の特徴量は、前記第１の特徴画像と前記第２の特徴画像との間の一連の画像の平均色を表すパラメータの統計値、又は該平均色の変化を示すパラメータであることを特徴とする請求項１に記載の画像処理装置。
9. 前記第１及び第２の特徴量は、前記第１の特徴画像と前記第２の特徴画像との間の一連の画像の各々における特定形状の有無を示すパラメータの統計値であることを特徴とする請求項１に記載の画像処理装置。
10. 前記第１及び第２の特徴量は、前記第１の特徴画像と前記第２の特徴画像との間の一連の画像から検出された病変画像の数であることを特徴とする請求項１に記載の画像処理装置。
11. 前記第１及び第２の特徴量は、前記第１の特徴画像の撮像時刻と前記第２の特徴画像の撮像時刻との間における前記カプセル型内視鏡の動きを示すパラメータであることを特徴とする請求項１に記載の画像処理装置。
12. 前記カプセル型内視鏡の動きを示すパラメータは、前記カプセル型内視鏡の移動距離、前記カプセル型内視鏡が停止した回数、前記カプセル型内視鏡が停止していた時間、前記カプセル型内視鏡の最大移動速度、及び前記カプセル型内視鏡の回転数のいずれかであることを特徴とする請求項１１に記載の画像処理装置。
13. 被検体内に導入されて該被検体内を撮像するカプセル型内視鏡により取得された前記被検体内の画像を処理する画像処理方法であって、
    前記カプセル型内視鏡により前記被検体内を順次撮像して得られた第１の画像群から、第１の特徴を示す第１の特徴画像及び第２の特徴を示す第２の特徴画像を抽出し、さらに、前記被検体と同一の被検体内を前記第１の画像群よりも前に順次撮像して得られた第２の画像群から、前記第１の特徴を示す第３の特徴画像及び前記第２の特徴を示す第４の特徴画像を抽出する画像抽出ステップと、
    前記第１の画像群から抽出された前記第１の特徴画像と前記第２の特徴画像との間における前記カプセル型内視鏡の移動を特徴づける第１の特徴量と、前記第２の画像群から抽出された前記第３の特徴画像と前記第４の特徴画像との間における前記カプセル型内視鏡の移動を特徴づける第２の特徴量とを取得する特徴量取得ステップと、
    前記第１の特徴量と前記第２の特徴量とを比較する比較ステップと、
    前記第１の画像群に対し、前記比較部による比較の結果に基づく表示制御を行う表示制御ステップと、
    を含むことを特徴とする画像処理方法。

Images