JP5291955B2 - 内視鏡検査システム - Google Patents

Description

本発明は、カプセル内視鏡による検査を行い、その結果、医師が精密検査の必要有りと判断した被観察部位を、軟性内視鏡で撮像する内視鏡検査システム及び位置情報の表示方法に関するものである。

最近、撮像素子や照明光源などが超小型のカプセルに内蔵されたカプセル内視鏡による内視鏡検査が実用化されつつある。この内視鏡検査では、まず、患者にカプセル内視鏡を嚥下させ、照明光源で人体内の被観察部位（人体内管路の内壁面）を照明しつつ、撮像素子で被観察部位を撮影する。そして、これにより得られた画像データを患者に携帯させた受信装置で無線受信し、受信装置に設けられたフラッシュメモリなどの記憶媒体に逐次記憶していく。

また、カプセル内視鏡による被観察部位の撮影と並行して、人体内でのカプセル内視鏡の位置検出が行われる。例えば、患者が身に付けたシールドシャツに設けられたアンテナ等で、カプセル内視鏡から発信される電波の受信強度を検出した結果を元に、人体内でのカプセル内視鏡の位置を検出する技術が提案されている（例えば特許文献１及び２参照）。そして、受信装置は、カプセル内視鏡の位置検出結果（位置情報）を、被観察部位の撮影により得られた画像データに関連付けて記憶する。

内視鏡検査が終了すると、受信装置はワークステーションなどの情報管理装置にＵＳＢケーブル等を介して接続され、受信装置に記憶された全画像データが情報管理装置に取り込まれる。医師は、情報管理装置に取り込んだ画像データに基づく内視鏡画像をモニタに表示させて読影を行う。そして、医師は、例えば小腸内を撮影した内視鏡画像に病変部らしきものが映っていた場合には、この該当箇所を着目ポイントとして小腸用内視鏡（バルーン内視鏡）で精密検査する。

医師は、バルーン内視鏡の挿入部を患者の体内に挿入した後、先に取得した着目ポイントの位置情報を元に、挿入部の先端部を小腸内の着目ポイントまで進めた後、この先端部内に設けられた撮像部で着目ポイントを撮影する。これにより得られた画像データ（或いは画像信号）は、バルーン内視鏡に接続されたプロセッサに入力される。プロセッサは、バルーン内視鏡から入力された画像データ等に基づく内視鏡画像をモニタに表示させる。医師は、モニタに表示された内視鏡画像を読影して診断を下す。
２００５−１９２８８０号公報 ２００７−２３６７００号公報

ところで、上述のバルーン内視鏡を用いた内視鏡検査では、挿入部に設けられたバルーンを使って小腸を巧みに手繰り寄せながら先端部を着目ポイントまで進める。このように小腸が手繰り寄せられると、カプセル内視鏡検査時の位置は小腸が手繰り寄せられていない状態で得られるものなので、小腸内の着目ポイントの位置が不明になってしまう。その結果、着目ポイントを探すのに時間が掛かり、検査時間が長くなるという問題が発生する。また、検査時間が長くなると、患者の負担が増えてしまう。

本発明は上記問題を解決するためのものであり、カプセル内視鏡検査で医師が精密検査の必要有りと判断した着目ポイントを小腸内視鏡等の軟性内視鏡で撮像する際に、被検体内における軟性内視鏡の先端部の相対的な位置を検出可能な内視鏡検査システムを提供することを目的とする。

上記目的を達成するため、本発明は、被検体に嚥下され、被検体内の被観察部位を撮像するカプセル内視鏡と、被検体に挿入される挿入部を有し、前記挿入部に設けられた撮像部で前記被観察部位を撮像する軟性内視鏡と、前記カプセル内視鏡で得られた第１内視鏡画像、及び前記軟性内視鏡で得られた第２内視鏡画像をそれぞれモニタに表示して医師の読影に供するプロセッサとを備えており、前記第１内視鏡画像に基づいて、前記軟性内視鏡で精密検査の必要有りと予め判断された前記被観察部位を着目ポイントとし、前記挿入部の撮像部を前記着目ポイントまで到達させて前記着目ポイントの前記第２内視鏡画像を得るための内視鏡検査システムにおいて、前記プロセッサは、前記軟性内視鏡による精密検査前に、前記第１内視鏡画像の中から前記着目ポイントの前記第１内視鏡画像を予め選択するための第１画像選択手段と、前記第１内視鏡画像の中から、前記挿入部の被検体内への挿入位置から前記着目ポイントへ至る内視鏡挿入経路上で、経由ポイントとなる前記被観察部位の前記第１内視鏡画像を１以上選択する第２画像選択手段と、前記経由ポイント及び前記着目ポイントの前記第１内視鏡画像から、互いに異なる分光周波数帯域を有する複数の第１分光画像を生成する第１分光画像生成手段と、前記第２内視鏡画像から、前記挿入部の撮像部が次に到達すべき前記経由ポイントまたは前記着目ポイントの前記第１分光画像と同じ分光周波数帯域を有する複数の第２分光画像を生成する第２分光画像生成手段と、前記経由ポイント及び前記着目ポイントの複数の前記第１分光画像から第１画像特徴量をそれぞれ取得する第１画像特徴量取得手段と、複数の前記第２分光画像から第２画像特徴量をそれぞれ取得する第２画像特徴量取得手段と、前記第２内視鏡画像と、前記第１画像選択手段及び前記第２画像選択手段により選択された前記第１内視鏡画像との類似度を、前記第１画像特徴量及び前記第２画像特徴量を用いて前記分光周波数帯域毎に算出した結果に基づき、被検体内での前記挿入部の撮像部の相対的な位置情報を取得する位置情報取得手段と、前記位置情報取得手段により取得された前記位置情報を前記モニタに表示する表示制御手段と、を備えることを特徴とする。

前記第１画像特徴量及び前記第２画像特徴量は、それぞれ前記被観察部位の血管パターンの画像特徴量であることが好ましい。

前記第１画像特徴量取得手段は、前記第１分光画像から、前記経由ポイント及び前記着目ポイントの前記被観察部位の表面の凹凸を推定した推定結果を、前記第１画像特徴量として取得するとともに、前記第２画像特徴量取得手段は、前記第２分光画像から、前記被観察部位の表面の凹凸を推定した推定結果を、前記第２画像特徴量として取得することが好ましい。

前記カプセル内視鏡は、互いに異なる位置に配置された複数の光源を有しており、前記各光源を１つずつ順番に発光させるとともに、同一の前記被観察部位を前記各光源がそれぞれ発光される度に撮像し、前記第１画像特徴量取得手段は、前記カプセル内視鏡で得られた前記光源毎の前記経由ポイント及び前記着目ポイントの前記第１内視鏡画像から、前記経由ポイント及び前記着目ポイントのそれぞれの表面の凹凸を推定することが好ましい。

前記挿入部の撮像部の近傍には、前記被観察部位に照明光を照射するための照明窓が異なる位置に複数設けられており、前記各照明窓から１つずつ順番に前記被観察部位への照明光の照射が行われるとともに、前記撮像部は、同一の前記被観察部位を前記各照明窓からそれぞれ照射される照明光のもとで撮像し、前記第２画像特徴量取得手段は、前記軟性内視鏡で得られた同一の前記被観察部位の照明光毎の前記第２内視鏡画像から、当該被観察部位の表面の凹凸を推定することが好ましい。

前記第１内視鏡画像は前記被観察部位の全方位画像であるとともに、前記第２内視鏡画像は前記被観察部位の平面画像であり、前記プロセッサは、前記全方位画像を平面に展開した展開画像を作成する展開画像作成手段を備えており、前記経由ポイント及び前記着目ポイントの前記第１内視鏡画像は、前記カプセル内視鏡で得られた前記経由ポイント及び前記着目ポイントの前記全方位画像をそれぞれ前記展開画像作成手段で展開した前記展開画像であることが好ましい。

前記カプセル内視鏡には、被検体内での前記カプセル内視鏡の姿勢を検出する姿勢検出手段が設けられているとともに、前記プロセッサには、前記姿勢検出手段による前記経由ポイント及び前記着目ポイントでの前記カプセル内視鏡の姿勢検出結果を記憶した姿勢検出結果記憶手段が設けられ、前記表示制御手段は、前記挿入部の撮像部が次に到達すべき前記経由ポイントまたは前記着目ポイントに対応する前記姿勢検出結果を、前記姿勢検出結果記憶手段から検索して前記モニタに表示することが好ましい。医師は、軟性内視鏡の先端部が次に到達すべき経由ポイントまたは着目ポイントが被検体内（例えば人体内管路）のどの部分（具体的には腹側或いは背中側等）にあるかが分かる。その結果、軟性内視鏡の先端部を次のポイントに向けて進める際に、この先端部を向ける方向を絞り込むことができる。これにより、軟性内視鏡の先端部を次のポイントに容易に到達させることができる。

本発明の内視鏡検査システムは、カプセル内視鏡で得られた第１内視鏡画像の中から、着目ポイントの第１内視鏡画像を選択し、選択した第１内視鏡画像と軟性内視鏡で得られた第２内視鏡画像との類似度を算出した結果に基づき、被検体内での軟性内視鏡（挿入部）の撮像部の相対的な位置情報を取得するようにしたので、軟性内視鏡による内視鏡検査時に、着目ポイントの被検体内における相対的な位置がカプセル内視鏡による内視鏡検査時と異なっていたとしても、軟性内視鏡の撮像部が着目ポイントまで到達したかを正確に検出することができる。その結果、従来よりも軟性内視鏡の撮像部を着目ポイントに早く到達させられるので、検査時間が短くなり、患者の負担を減らすことができる。

図１及び図２に示すように、内視鏡検査システム２は、カプセル内視鏡システム３と電子内視鏡システム４とから構成されている。内視鏡検査システム２では、最初にカプセル内視鏡システム３を利用して患者（被検体）１０の内視鏡検査を行い、この検査の結果、例えば病変部の疑いのある箇所が見つかった場合には、電子内視鏡システム４を利用して当該箇所を精密検査（内視鏡検査）する。

カプセル内視鏡システム３は、患者１０の口部から人体内に嚥下されるカプセル内視鏡（Ｃａｐｓｕｌｅ Ｅｎｄｏｓｃｏｐｙ、以下、ＣＥと略す）１１と、患者１０が携帯する受信装置１２と、ＣＥ１１で得られた画像を取り込んで、医師が読影を行うためのワークステーション（以下、ＷＳと略す）１３とから構成される（図１参照）。

ＣＥ１１は、人体内管路（例えば小腸）を通過する際にその内壁面を撮像し、これにより得られた内視鏡画像の画像データを電波１４にて受信装置１２に逐次無線送信する。受信装置１２は、各種設定画面を表示する液晶表示器（ＬＣＤ）１６、及び各種設定を行うための操作部１７を備えている。受信装置１２は、ＣＥ１１から電波１４で無線送信された画像データ（以下、ＣＥ画像データという）を無線受信し、これを記憶する。

ＣＥ１１と受信装置１２間の電波１４の送受信は、ＣＥ１１内に設けられたアンテナ１８（図３参照）と、患者１０が身に付けたシールドシャツ１９内に装着された複数のアンテナ２０とを介して行われる。アンテナ２０には、ＣＥ１１からの電波１４の電界強度を測定する電界強度測定センサ２１が内蔵されている。

ＷＳ１３は、第１プロセッサ２４と、キーボードやマウスなどの操作部（第１及び第２画像選択手段）２５と、ＬＣＤ２６とを備えている。第１プロセッサ２４は、例えば、ＵＳＢケーブル２７（赤外線通信などの無線通信を用いても可）で受信装置１２と接続され、受信装置１２とデータの遣り取りを行う。そして、第１プロセッサ２４は、ＣＥ１１による検査中、または検査終了後に、受信装置１２からＣＥ画像データを取り込み、患者毎にＣＥ画像データを蓄積・管理するとともに、ＣＥ画像データから内視鏡画像（第１内視鏡画像に相当、以下、ＣＥ画像という）を生成し、これをＬＣＤ２６に表示させる。医師は、ＬＣＤ２６に表示されたＣＥ画像を読影する。

また、第１プロセッサ２４は、ＬＡＮ２９を介して、電子内視鏡システム４の第２プロセッサ３２に接続されている。第１プロセッサ２４は、受信装置１２から取り込んだＣＥ画像データの中から、医師が操作部２５で選択したＣＥ画像データの画像特徴量を抽出して、抽出した画像特徴量を、ＬＡＮ２９を介して第２プロセッサ３２へ送信する。

図２において、電子内視鏡システム４は、小腸検査用の軟性内視鏡であり、患者１０の口部などから挿入されるバルーン内視鏡（Ｂａｌｌｏｏｎ Ｅｎｔｅｒｏｓｃｏｐｙ、以下、ＢＥと略す）３１と、第２プロセッサ３２と、光源装置３３と、キーボードやマウスなどの操作部３４と、ＬＣＤ３５とから構成される。ＢＥ３１は、患者１０の体内に挿入される可撓性の挿入部３７と、挿入部３７の基端部分に連設された操作部３８と、第２プロセッサ３２や光源装置３３に接続されるユニバーサルコード３９とを備えている。

挿入部３７の先端には、小腸（人体内管路）の内壁面を撮像するための対物レンズ４１や撮像素子（撮像部）４２等（いずれも図９参照）が内蔵された先端部３７ａが連設されている。撮像素子４２から出力される撮像信号は、デジタルな画像データ（以下、ＢＥ画像データという）に変換された後、ユニバーサルコード３９を介して第２プロセッサ３２に入力される。また、先端部３７ａからは、挿入部３７内に設けられた光ファイバケーブル等を介して、光源装置３３からの照明光が小腸内壁面へ照射される。

先端部３７ａの後方には、複数の湾曲駒を連結した湾曲部３７ｂが設けられている。湾曲部３７ｂは、操作部３８に設けられたアングルノブが操作されて、挿入部３７内に挿設されたワイヤが押し引きされることにより、上下左右方向に湾曲動作する。これにより、先端部３７ａが被検体内の所望の方向に向けられる。湾曲部３７ｂの後方には、可撓性を有する軟性部３７ｃが設けられている。

先端部３７ａと湾曲部３７ｂとの間には、バルーン４８が取り付けられている。バルーン４８は、例えば、膨張伸縮自在なラテックスゴムからなる。バルーン４８内のエアーは、挿入部３７及びユニバーサルコード３９内に設けられた給排気路（図示せず）を介して、給排気装置（図示せず）により供給または吸引される。これにより、バルーン４８が膨張収縮される。医師は、ＢＥ３１で小腸の内視鏡検査を行う場合には、周知のように、バルーン４８を使って小腸を巧みに手繰り寄せながら先端部３７ａを小腸内で進める。

第２プロセッサ３２は、ＢＥ３１から入力されるＢＥ画像データに基づく内視鏡画像（第２内視鏡画像に相当、以下、ＢＥ画像という）を生成し、これをＬＣＤ３５に表示する。ＢＥ画像はＣＥ画像よりも鮮明であるため、ＢＥ３１は、ＣＥ１１による内視鏡検査で発見された病変部の疑いのある箇所を精密検査するのに適している。また、第２プロセッサ３２は、上述の第１プロセッサ２４からＬＡＮ２９を介して入力されるＣＥ画像データの画像特徴量に基づいて、患者１０の体内におけるＢＥ３１の先端部３７ａの相対的な位置を検出する（図１０及び図１１参照）。

次に、カプセル内視鏡システム３を構成するＣＥ１１、受信装置１２、第１プロセッサ２４について詳しく説明する。図３に示すように、ＣＰＵ５０は、ＣＥ１１の全体の動作を統括的に制御する。ＣＰＵ５０には、ＲＯＭ５１、ＲＡＭ５２、撮影ドライバ５３、変調回路５４、電力供給回路５６、照明ドライバ５７が接続されている。なお、図中の符号１４０は、患者１０の体内におけるＣＥ１１の姿勢を示す姿勢情報を検出する姿勢検出センサであり、第２実施形態で説明する。

ＣＰＵ５０は、ＲＯＭ５１から必要なプログラムやデータを読み出してＲＡＭ５２に展開し、読み出したプログラムを逐次処理する。撮影ドライバ５３には、対物レンズ５９により取り込まれた被観察部位の像光を撮像するＣＣＤやＣＭＯＳなどの撮像素子６０、及び信号処理回路６１が接続されている。対物レンズ５９は、前方視野角１４０°〜１８０°の撮影範囲を有し、この撮影範囲における被観察部位の全方位画像を像光として取り込む。撮影ドライバ５３は、所定のフレームレート、シャッタ速度で撮影が行われるように、撮像素子６０及び信号処理回路６１の動作を制御する。なお、符号Ｏは対物レンズ５９の光軸である。

信号処理回路６１は、撮像素子６０から出力された撮像信号に対して、相関二重サンプリング、増幅、およびＡ／Ｄ変換を施して、撮像信号をデジタルのＣＥ画像データに変換する。そして、変換したＣＥ画像データに対して、γ補正等の各種画像処理を施す。

変調回路５４には送信回路６３が接続され、この送信回路６３にはアンテナ１８が接続されている。変調回路５４は、信号処理回路６１から出力されたＣＥ画像データを電波１４に変調し、変調した電波１４を送信回路６３に出力する。送信回路６３は、変調回路５４からの電波１４を増幅して帯域通過濾波した後、アンテナ１８に出力する。これにより、ＣＥ１１から受信装置１２へＣＥ画像データが無線送信される。

電力供給回路５６は、電池６４の電力をＣＥ１１の各部に供給する。照明ドライバ５７は、ＣＰＵ５０の制御の下に、所定の照明光量で撮影が行われるように、被観察部位に照明光を照射する照明光源６５の駆動を制御する。

図４に示すように、ＣＰＵ６７は、受信装置１２の動作を統括的に制御する。ＣＰＵ６７には、データバス６８を介して、ＲＯＭ６９、ＲＡＭ７０、復調回路７１、画像処理回路７２、データストレージ７３、入力Ｉ／Ｆ７４、位置検出回路７５等が接続されている。また、データバス６８には、ＬＣＤ１６の表示制御を行うＬＣＤドライバ７６、ＵＳＢコネクタ７７を介して第１プロセッサ２４とのデータの遣り取りを媒介する通信Ｉ／Ｆ７８、電池７９の電力を受信装置１２の各部に供給する電力供給回路８０なども接続されている。

ＣＰＵ６７は、ＲＯＭ６９から必要なプログラムやデータを読み出してＲＡＭ７０に展開し、読み出したプログラムを逐次処理する。また、ＣＰＵ６７は、操作部１７からの操作入力信号に応じて、受信装置１２の各部を動作させる。復調回路７１は受信回路８１に接続されており、この受信回路８１にはアンテナ２０が接続されている。復調回路７１は、ＣＥ１１からの電波１４を元のＣＥ画像データに復調する。そして、復調回路７１は、復調したＣＥ画像データを画像処理回路７２に出力する。受信回路８１は、アンテナ２０を介して受信した電波１４を増幅して帯域通過濾波した後、復調回路７１に出力する。

画像処理回路７２は、復調回路７１で復調されたＣＥ画像データに対して各種画像処理を施した後、データストレージ７３へ出力する。このときに、ＣＥ画像データにはファイル名などの固有ＩＤ情報が付与される。データストレージ７３は、例えば、記憶容量が１ＧＢ程度のフラッシュメモリからなる。データストレージ７３は、画像処理回路７２から順次出力されるＣＥ画像データを記憶・蓄積する。入力Ｉ／Ｆ７４には、電界強度測定センサ２１からの検出結果が入力される。入力Ｉ／Ｆ７４に入力された電界強度測定センサ２１の検出結果は、位置検出回路７５に出力される。

位置検出回路７５は、電界強度測定センサ２１による電界強度の測定結果を元に、人体内のＣＥ１１の現在位置を検出し、この検出結果（以下、撮影位置情報という）をデータストレージ７３に出力する。データストレージ７３は、位置検出回路７５からの撮影位置情報を、画像処理回路７２からのＣＥ画像データに関連付けて記憶する。なお、電界強度の測定結果を元に、人体内のＣＥ１１の位置を検出する方法は周知であるため、ここでは説明を省略する。

図５に示すように、第１プロセッサ２４のＣＰＵ８３は、ＷＳ１３の全体の動作を統括的に制御する。ＣＰＵ８３には、データバス８４を介して、ＲＡＭ８６、通信Ｉ／Ｆ８７、データストレージ８８が接続されている。また、データバス８４には、ＬＣＤ２６の表示制御を行うＬＣＤドライバ８９、ＬＡＮ２９に接続されたＬＡＮＩ／Ｆ９０が接続されている。

ＣＰＵ８３は、データストレージ８８から必要なプログラムやデータを読み出してＲＡＭ８６に展開し、読み出したプログラムを逐次処理する。また、ＣＰＵ８３は、操作部２５からの操作入力信号に応じて、第１プロセッサ２４の各部を動作させる。通信Ｉ／Ｆ８７は、ＵＳＢコネクタ９１を経由した受信装置１２とのデータの遣り取りを媒介し、受信装置１２からのＣＥ画像データや撮影位置情報を受信する。これらＣＥ画像データ及び撮影位置情報はデータストレージ８８に格納される。

図６において、データストレージ８８には、画像データ格納部９３、撮影位置情報格納部９４、プログラム格納部９５、画像特徴量格納部９６が構築されている。画像データ格納部９３及び撮影位置情報格納部９４には、受信装置１２から取り込んだＣＥ画像データ、撮影位置情報がそれぞれ患者別に整理して格納されている。

プログラム格納部９５には、第１プロセッサ２４の動作を制御するための各種プログラムやデータの他に、ポイント画像選択プログラム９７が格納されている。このポイント画像選択プログラム９７が起動されると、ポイント画像選択画面９８（図８参照）がＬＣＤ２６に表示される。このポイント画像選択画面９８上で、受信装置１２から取り込んだＣＥ画像データの中から、患者１０の体内（小腸内）の着目ポイントを撮影したＣＥ画像データ、経由ポイントを撮影したＣＥ画像データが選択される（図７参照）。

図７に示すように、着目ポイントは、医師が受信装置１２から取り込んだＣＥ画像を読影した結果、病変部の疑いがあると医師が判断した被観察部位である。また、経由ポイントは、ＢＥ３１の患者１０の体内への挿入位置、例えば口部１０ａから着目ポイントへ至る内視鏡挿入経路Ｒの途中の被観察部位である。本実施形態では、第１〜第Ｚ経由ポイント（Ｚは２以上の自然数）が内視鏡挿入経路Ｒ（ＣＥ１１の移動経路）に沿って順番に選択される（第１経由ポイントだけでも可）。なお、本実施形態では、各ポイントがそれぞれ小腸内に設定されたものとして説明を行うが、人体内のいずれに設定されていてもよい。

ＢＥ３１の先端部３７ａは、口部１０ａから第１〜第Ｚ経由ポイントを経て着目ポイントに到達する。なお、以下の説明では、着目ポイント及び第１〜第Ｚ経由ポイントを撮影したＣＥ画像（データ）を、それぞれ着目ポイント画像（データ）、第１〜第Ｚ経由ポイント画像（データ）という。

このように選択された着目ポイント画像、及び第１〜第Ｚ経由ポイント画像は、ＢＥ３１のバルーン４８を使って小腸を手繰り寄せながら先端部３７ａを小腸内の着目ポイントに向けて進めた際に、先端部３７ａがどのポイントまで達したかを検出するために用いられる。すなわち、ＢＥ３１で得られたＢＥ画像データと、各ポイント画像データとがそれぞれ類似しているか否かで、先端部３７ａが第１〜第Ｚ経由ポイント及び着目ポイントのどのポイントまで到達したかを検出することができる。なお、ＢＥ画像データと各ポイント画像データとの類似の有無は、それぞれの画像データから抽出された画像特徴量を用いて判定される。

図５に戻って、ポイント画像選択プログラム９７が起動されると、ＣＰＵ８３には、歪み補正処理部（展開画像作成手段）１００、分光画像生成部（第１分光画像生成手段）１０１、及び画像特徴量抽出部（第１画像特徴量抽出手段）１０２が構築される。

歪み補正処理部１００は、操作部２５で医師により選択されたＣＥ画像データに対して台形歪み補正処理を施す。上述したようにＣＥ１１の対物レンズ５９（図３参照）は、被観察部位の全方位画像を像光として取り込むので、ＣＥ画像データは全方位画像データである。このため、平面画像データであるＢＥ画像データと、全方位画像データである各ポイント画像データとが一致しているか否か、つまり、同じポイントを撮影した画像である否かを判定する場合には、ＣＥ画像を平面に展開する必要がある。

そこで、歪み補正処理部１００は、医師により選択されたＣＥ画像データに対して台形歪み補正処理を施すことで、展開画像データを作成する。これにより、各ポイント画像データは、全て展開画像データとなる。なお、台形歪み補正処理以外の周知の歪み補正方法、展開画像作成方法を用いて、展開画像データを作成してもよい。

分光画像生成部１０１は、歪み補正処理部１００にて作成された展開画像データから、任意の分光周波数帯域（波長帯域）を有する分光画像のデータを生成する。ＢＥ３１を用いた内視鏡検査時に、その先端部３７ａが各ポイントに到達したか否かを正確に検出するためには、各ポイント画像データと、各ポイントの周辺のＣＥ画像データとの相違度が高いほど好ましい。これは、両者の相違度が低い、つまり、両者が類似していると、ＢＥ３１の先端部３７ａが各ポイントの周辺に到達した時点で、各ポイントに到達したとの誤検出が発生するためである。

そこで、分光画像生成部１０１は、歪み補正処理部１００にて作成された展開画像データから分光画像データ（第１分光画像）を生成する。これにより、医師により選択される各ポイント画像データは、全て展開画像データ及び分光画像データとなる。内視鏡を用いた医療診断の分野では、病変の発見を容易にするために、被観察部位の分光画像を生成して観察することで、被観察部位に色素を散布することなく、被観察部位の血管を強調した画像や、胃壁、腸の表層組織などの臓器の構造物を強調した画像を容易に得る観察方法が良く用いられる。従って、各ポイント画像データの分光画像データを生成して、例えば各ポイントの血管を強調することで、各ポイント画像データと各ポイントの周辺のＣＥ画像データとの相違度を高くすることができる。両者の相違度が高くなる分光周波数帯域は、観察する臓器の種類等に応じて変わる。分光画像生成部１０１にて生成される分光画像データの分光周波数帯域は、操作部２５を操作することで変更可能である。

分光画像生成部１０１は、操作部２５で分光画像表示操作がなされたら、データストレージ８８等に予め記憶された係数マトリックス（図示せず）を読み出して、歪み補正処理部１００にて作成された展開画像データに係数マトリックスを乗算するマトリックス演算処理を実行する。なお、係数マトリックスを用いて分光画像データを生成する方法は周知（例えば、特開２００７−３１９４４２号公報を参照）であるので、ここでは説明を省略する。また、他の方法を用いて分光画像データを生成してもよい。

画像特徴量抽出部１０２は、医師が操作部２５で着目ポイント及び第１〜第Ｚ経由ポイントの分光画像データ（以下、着目ポイント分光画像データ、第１〜第Ｚ経由ポイント分光画像データという）の選択操作を行った時、各ポイント分光画像データから、それぞれの画像特徴量である着目ポイント画像特徴量、第１〜第Ｚ経由ポイント画像特徴量（ともに第１画像特徴量に相当）を抽出する。画像特徴量は、例えば画像全体の色合い、色の分布、輪郭線の分布、形状等の画像データの持つ各特徴量を数値情報で表したものであり、ＢＥ画像データと各ポイント画像データとの類似度算出に用いられる。本実施形態では、画像特徴量として各ポイントの血管パターンの画像特徴量を抽出する。

血管パターンの画像特徴量の種類としては、「血管エッジの方向分布」、「血管曲率の分布」、「血管分岐点の数、位置関係」、「血管エッジ方向の変化パターン」等が挙げられる。「血管エッジの方向分布」は、血管エッジ（血管の幅（径）方向両端部）の方向分布、すなわち、各ポイント分光画像データに基づく各ポイント分光画像内の全血管をそれぞれ所定間隔に細分化し、細分化した各細分化血管の向き（０°〜１８０°）の分布を表したものである。なお、どの向きを０°（基準）とするかは適宜決定してよい。

「血管曲率の分布」は、各ポイント分光画像内の全血管をそれぞれ所定間隔に細分化し、細分化した各細分化血管の曲率の分布を表したものである。「血管分岐点の数、位置関係」は、各ポイント分光画像内の血管の全分岐点の数、及びその位置関係を表したものである。ここで、全分岐点の位置関係は、例えば、任意の分岐点の座標を基準座標（０，０）として、他の分岐点の位置をＸＹ座標で表したものでよい。「血管エッジ方向の変化パターン」は、各ポイント分光画像内の各血管の変化パターン（例えば、ある箇所で血管が２分岐し、２分岐した両血管がさらにそれぞれ２分岐、３分岐している等）を表したものである。

このような血管パターンの画像特徴量を抽出する方法は、周知の方法を用いてよく、ここでは説明を省略する。なお、画像特徴量抽出部１０２により抽出された各ポイント画像特徴量のデータには、それぞれ付帯情報として、各ポイント分光画像データの分光周波数帯域に関する分光周波数帯域情報、各ポイント分光画像データの元となった各ポイント画像のファイル名に関するファイル名情報が付されている。分光周波数帯域情報は分光画像生成部１０１から取得され、ファイル名情報は画像データ格納部９３から取得される。

画像特徴量抽出部１０２は、各ポイント分光画像データから抽出した各ポイント画像特徴量を、データストレージ８８に出力する。データストレージ８８の画像特徴量格納部９６は、画像特徴量抽出部１０２から出力される各ポイント画像特徴量を、患者別に分類して一時的に格納する（図６参照）。

図８に示すポイント画像選択画面９８は、受信装置１２から取り込んだＣＥ画像データの中から、各ポイント画像データを選択するための選択画面である。ポイント画像選択画面９８には、患者選択ボックス１０５、画像表示領域１０７、分光周波数帯域入力欄１０８、選択結果表示領域１０９等が設けられている。

患者選択ボックス１０５は、ＣＥ１１で得られたＣＥ画像の読影を行う患者１０の選択に用いられる。この患者選択ボックス１０５の右端の逆三角形のマークをポインタ１１０で指定してクリックすることで、患者１０の氏名や患者ＩＤ等がプルダウンメニューの形式でリスト表示される。そして、ポインタ１１０で患者１０の氏名等をクリックすることで、患者１０の選択が完了する。

画像表示領域１０７には、患者選択ボックス１０５で選択した患者１０のＣＥ画像が、例えばＣＥ１１による撮影順に１枚ずつ連続表示される。画像表示領域１０７の画像表示は、下部に設けられたコントロールバー１０７ａにポインタ１１０を合わせてクリックすることで、再生、一時停止、および停止させることができる。医師は、画像表示領域１０７に連続表示されるＣＥ画像を一枚ずつ読影する。

医師は、表示されたＣＥ画像に病変部の疑いのある箇所が映っていなければ、何もせずに、次に表示されるＣＥ画像の読影を行う。そして、医師は、表示されたＣＥ画像に病変部の疑いのある箇所が映っていると判断した場合には、コントロールバー１０７ａを操作して連続表示を一時停止するなどして、このＣＥ画像（単に、着目ポイント候補画像という）を詳細に読影する。この際に、画像表示領域１０７の上部には、着目ポイント候補画像のファイル名及び撮影位置情報が表示される。そして、医師は、着目ポイント候補画像で撮像された被観察部位をＢＥ３１で精密検査の必要有りと判断したら、この着目ポイント候補画像の分光画像を生成する操作を行う。

分光周波数帯域入力欄１０８には、分光画像を生成する際の分光周波数帯域が入力される。医師は、着目ポイント候補画像が画像表示領域１０７に表示されている状態で一時停止操作を行ったら、分光周波数帯域入力欄１０８に任意の分光周波数帯域を入力する。次いで、医師は、分光画像表示ボタン１１１をポインタ１１０で指定してクリックする。これにより、着目ポイント候補画像データを展開した展開画像データが作成された後、この展開画像データから、医師により入力された分光周波数帯域を有する分光画像データが生成される。そして、生成された分光画像データに基づく分光画像が画像表示領域１０７に表示される。

分光周波数帯域入力欄１０８に入力されている分光周波数帯域を変更した後、分光画像表示ボタン１１１を再度クリックすると、変更後の分光周波数帯域を有する分光画像が画像表示領域１０７に表示される。以下同様にして、医師は例えば血管パターンが強調された分光画像が表示されるまで、上述の操作を繰り返し実行する。そして、医師は、所望の分光画像が表示されたら、ポイント選択ボタン１１２をポインタ１１０で指定してクリックする（第１選択操作）。これにより、着目ポイント画像データとして、着目ポイント分光画像データが選択される。これと同時に、着目ポイント分光画像データから着目ポイント画像特徴量が抽出され、抽出された着目ポイント画像特徴量がデータストレージ８８の画像特徴量格納部９６（図６参照）に格納される。

選択結果表示領域１０９には、医師により選択された各ポイント（分光）画像データのファイル名及び分光周波数帯域等がそれぞれ表示される。例えば、着目ポイント画像データの選択が実行されると、選択結果表示領域１０９の「着目ポイント欄」に、選択された画像データのファイル名及び分光周波数帯域が表示される。

このようにして着目ポイント画像データの選択が完了したら、医師は、ポイント画像選択画面９８で第１〜第Ｚ経由ポイント画像データの選択を行う。この場合には、患者１０の口部１０ａ（ＢＥ３１の挿入部３７の挿入位置）から着目ポイントまでの間で撮影されたＣＥ画像が、画像表示領域１０７に１枚ずつ撮影順に連続表示される。医師は、連続表示されるＣＥ画像を参照して、第１経由ポイント画像の候補となるＣＥ画像（以下、第１経由ポイント候補画像という）が表示されたら、コントロールバー１０７ａを操作して連続表示を一時停止する。この際に、画像表示領域１０７の上部には、第１経由ポイント候補画像のファイル名及び撮影位置情報が表示される。

医師は、画像表示領域１０７に表示された第１経由ポイント候補画像やその撮影位置情報などを確認して、この画像を第１経由ポイント画像とするか否かを決定する。第１経由ポイント画像に決定しない場合には、コントロールバー１０７ａを操作して連続表示を再開させる。そして、医師は、第１経由ポイント画像を決定したら、分光周波数帯域入力欄１０８に任意の分光周波数帯域を入力して、分光画像表示ボタン１１１のクリック操作を行う。これにより、第１経由ポイント候補画像データを展開した展開画像データが作成された後、この展開画像データから、医師が入力した分光周波数帯域を有する分光画像データが生成されて、この分光画像データに基づく分光画像が画像表示領域１０７に表示される。

医師は、血管パターンが強調され、さらに判別し易い形状の血管パターンが映った分光画像が表示されるまで、分光周波数帯域の入力操作、及び分光画像の表示操作を繰り返す。医師は、所望の分光画像が表示されたら、ポイント選択ボタン１１２をポインタ１１０でクリックする（第２選択操作）。これにより、選択結果表示領域１０９の「第１経由ポイント欄」に、選択された画像データのファイル名及び分光周波数帯域が表示される。つまり、第１経由ポイント画像データとして第１経由ポイント分光画像データが選択される。

また、第１経由ポイント（分光）画像データの選択がなされるのと同時に、第１経由ポイント分光画像データから第１経由ポイント画像特徴量が抽出され、抽出された第１経由ポイント画像特徴量が画像特徴量格納部９６に格納される。以上で第１経由ポイント（分光）画像データの選択が完了する。

以下同様にして、第２〜第Ｚ経由ポイント画像データの選択が行われ、画像特徴量格納部９６に第２〜第Ｚ経由ポイント画像特徴量が格納される。医師は、各ポイント（分光）画像データの選択が完了したら、選択完了ボタン１１３をポインタ１１０で指定してクリックする。これにより、各ポイント画像の選択処理が完了するとともに、画像特徴量格納部９６に格納された各ポイント画像特徴量が、ＬＡＮＩ／Ｆ９０よりＬＡＮ２９を介して、第２プロセッサ３２へ送信される。

次に、電子内視鏡システム４を構成するＢＥ３１、第２プロセッサ３２について詳しく説明する。図９に示すように、ＢＥ３１の撮像素子４２は、対物レンズ４１から入射した被観察部位の像光が撮像面に結像され、各画素からこれに応じた撮像信号をＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）１１５へ出力する。ＡＦＥ１１５は、撮像素子４２から出力された撮像信号に対して、相関二重サンプリング、増幅、およびＡ／Ｄ変換を施して、撮像信号をデジタルのＢＥ画像データに変換する。ＡＦＥ１１５から出力されたＢＥ画像データは、上述したように、ユニバーサルコード３９を介して第２プロセッサ３２に入力される。なお、第２プロセッサ３２にＡＦＥ１１５を設けて、撮像素子４２から出力された撮像信号を第２プロセッサ３２にてＢＥ画像データに変換するようにしてもよい。

第２プロセッサ３２のＣＰＵ１１６は、電子内視鏡システム４の全体の動作を統括的に制御する。ＣＰＵ１１６には、データバス１１７を介して、ＲＡＭ１１９、ＤＳＰ１２０、画像メモリ１２１、データストレージ１２２が接続されている。また、データバス１１７には、ＬＣＤ３５の表示制御を行うＬＣＤドライバ１２３、ＬＡＮ２９に接続されたＬＡＮＩ／Ｆ１２４が接続されている。ＬＡＮＩ／Ｆ１２４には、ＬＡＮ２９を介して第１プロセッサ２４から各ポイント画像特徴量が入力される。入力された各ポイント画像特徴量は、データストレージ１２２に格納される。

ＣＰＵ１１６は、データストレージ１２２から必要なプログラムやデータを読み出してＲＡＭ１１９に展開し、読み出したプログラムを逐次処理する。また、ＣＰＵ１１６は、操作部３４からの操作入力信号に応じて第２プロセッサ３２の各部を動作させる。ＤＳＰ１２０は、ＢＥ３１から入力されるＢＥ画像データに対し各種画像処理を施す。ＤＳＰ１２０にて画像処理済のＢＥ画像データは、画像メモリ１２１に一旦格納される。画像メモリ１２１は、ＤＳＰ１２０から入力されるＢＥ画像データを先に格納したデータに逐次上書きする。

ＬＣＤドライバ１２３には、画像メモリ１２１から読み出したＢＥ画像データが格納されるＶＲＡＭ（図示せず）が接続されている。ＶＲＡＭには、ＢＥ画像データの書き込みと読み出しとが並行して行われる。ＬＣＤドライバ１２３は、ＶＲＡＭから読み出したＢＥ画像データをアナログのコンポジット信号に変換し、これをＬＣＤ３５にＢＥ画像として表示する。

データストレージ１２２には、画像特徴量格納部１２６、プログラム格納部１２７が構築されている。画像特徴量格納部１２６には、第１プロセッサ２４から入力された各ポイント画像特徴量が患者別に分類して格納される。ＣＰＵ１１６は、画像特徴量格納部１２６に格納された各ポイント画像特徴量に基づいて、ＢＥ３１で着目ポイントの精密検査（撮影）を行う際に、その先端部３７ａが第１〜第Ｚ経由ポイント及び着目ポイントのどのポイントまで達したかを検出する。具体的には、ＢＥ画像データの画像特徴量と各ポイント画像特徴量との類似度を算出する。

プログラム格納部１２７には、第２プロセッサ３２の動作を制御するための各種プログラムやデータの他に、ポイント検出プログラム１２８が格納されている。ポイント検出プログラム１２８が起動されると、ポイント検出画面１２９（図１０及び図１１参照）がＬＣＤ３５に表示される。ポイント検出画面１２９は、ＢＥ３１の先端部３７ａが、第１〜第Ｚ経由ポイント及び着目ポイントのどのポイントまで到達したかを表示する。ポイント検出プログラム１２８が起動されると、ＣＰＵ１１６には、分光画像生成部（第２分光画像生成手段）１３１、画像特徴量抽出部（第２画像特徴量取得手段）１３２、及びポイント検出部（位置情報取得手段）１３３が構築される。

分光画像生成部１３１は、画像メモリ１２１からＢＥ画像データを読み出すとともに、読み出したＢＥ画像データから、ＢＥ３１の先端部３７ａを次に到達させるポイント（以下、到達予定ポイントという）のポイント画像特徴量（分光周波数帯域情報）に基づいて、到達予定ポイントの分光画像データと同じ分光周波数帯域を有するＢＥ分光画像データ（第２分光画像）を生成する。

例えば、到達予定ポイントが第１経由ポイントである場合には、分光画像生成部１３１は、データストレージ１２２の画像特徴量格納部１２６を検索して、第１経由ポイント画像特徴量の分光周波数帯域情報を読み出す。そして、分光画像生成部１３１は、読み出した分光周波数帯域情報に基づき、第１経由ポイント分光画像データと同じ分光周波数帯域を有するＢＥ分光画像データを生成する。到達予定ポイントが第２〜第Ｚ経由ポイントまたは着目ポイントである場合も同様に、第２〜第Ｚ経由ポイントまたは着目ポイント分光画像データと同じ分光周波数帯域を有するＢＥ分光画像データが生成される。

分光画像生成部１３１により生成されたＢＥ分光画像データは、ＲＡＭ１１９の分光画像データ格納領域（図示せず）に一時的に格納される。この分光画像データ格納領域は、分光画像生成部１３１から入力されるＢＥ分光画像データを先に格納したデータに逐次上書きする。

画像特徴量抽出部１３２は、ＲＡＭ１１９の分光画像データ格納領域に格納されたＢＥ分光画像データから、その画像特徴量であるＢＥ画像特徴量（第２画像特徴量に相当）を抽出する。ＢＥ画像特徴量は、上述の各ポイント画像特徴量と同様に、被観察部位の血管パターンの画像特徴量である。画像特徴量抽出部１３２により抽出されたＢＥ画像特徴量は、ＲＡＭ１１９の画像特徴量格納領域（図示せず）に一時的に格納される。画像特徴量抽出部１３２は、ＲＡＭ１１９に新たなＢＥ分光画像データが格納される度に、逐次ＢＥ画像特徴量を抽出する。ＲＡＭ１１９の画像特徴量格納領域は、画像特徴量抽出部１３２から入力されるＢＥ画像特徴量のデータを先に格納したデータに逐次上書きする。

ポイント検出部１３３は、ＲＡＭ１１９に格納されているＢＥ画像特徴量と、画像特徴量格納部１２６に格納されている到達予定ポイントのポイント画像特徴量との類似度を算出する。そして、ポイント検出部１３３は、算出した類似度に基づき、ＢＥ３１で得られたＢＥ画像データと、ＣＥ１１で得られた到達予定ポイントのポイント画像データとが類似しているか否か、つまり、ＢＥ３１の先端部３７ａが到達予定ポイントに到達したか否かを検出する。

ここで、ポイント検出部１３３が用いる類似度計算式は、比較する２者の類似度合いが高い程、値が大となる関数を採用する。例えば下記の類似度計算式が用いられる。
類似度Ｄ＝Ｃ（定数）−Σ{ａ_ｉ ×(ｖｘ_ｉ −ｖｓ_ｉ )^２ }
（ｖｘ：到達予定ポイント画像特徴量の値、ｖｓ：ＢＥ画像特徴量の値、ａ_ｉ ：各パラメータに対する重み付け係数、ｉ：パラメータ番号）

ポイント検出部１３３は、上述の類似度計算式を用いて算出した類似度が所定の閾値未満の場合には、ＢＥ（分光）画像データと、到達予定ポイント（分光）画像データとは類似しておらず、ＢＥ３１の先端部３７ａが到達予定ポイントに到達していないと判断する。逆に算出した類似度が所定の閾値以上となる場合には、ＢＥ３１の先端部３７ａが到達予定ポイントに到達したと判断する。

ここで、ＢＥ３１とＣＥ１１とが同じポイントを撮影した場合であっても、撮影時の両者の姿勢等が異なっていれば、両者でそれぞれ得られたＢＥ画像と到達予定ポイントのＣＥ画像との向きが異なる場合がある。例えば、ＢＥ画像の向きを１８０°回転させると、ＢＥ画像と到達予定ポイントのＣＥ画像とが一致するような場合である。この場合には、ＢＥ３１の先端部３７ａが実際には到達予定ポイントに到達しているのに、ポイント検出部１３３で算出される類似度が所定の閾値未満となり、先端部３７ａが到達予定ポイントに到達していないと判断されるおそれがある。これを防止するため、例えば閾値の値を下げると、逆にＢＥ３１の先端部３７ａが実際には到達予定ポイントに到達していないのに、類似度が閾値以上となり、先端部３７ａが到達予定ポイントに到達したと判断するおそれがある。

そこで、例えばＢＥ分光画像データからＢＥ画像特徴量を抽出するのにあたって、ＢＥ分光画像データからその画像の向きが異なる複数の回転分光画像データを生成し、生成した回転分光画像データからその画像特徴量である回転画像特徴量を抽出する。次いで、ポイント検出部１３３は、ＢＥ画像特徴量及び回転画像特徴量と、到達予定ポイント画像特徴量との類似度をそれぞれ算出する。そして、算出された類似度のうちいずれか１つでも所定の閾値以上となっている場合には、ＢＥ３１の先端部３７ａが到達予定ポイントに到達したと判断すればよい。

ＢＥ３１の先端部３７ａが到達予定ポイントに到達したとの判断がなされた際に、今回到達した到達予定ポイントが第１経由ポイントである場合には、新たな到達予定ポイントとして第２経由ポイント、或いは第１経由ポイントが最後の経由ポイントである場合には、着目ポイントがそれぞれ設定される。以下、先端部３７ａが各ポイントに到達する度にこの設定が行われる。ＣＰＵ１１６の各部１３１〜１３３は、新たに設定された到達予定ポイントのポイント画像特徴量に基づいて、ＢＥ分光画像データの生成、ＢＥ画像特徴量の抽出、及び類似度の算出をそれぞれ行う。また、今回到達した到着予定ポイントが着目ポイントであれば、ＢＥ３１の先端部３７ａが着目ポイントに到達したので、ＣＰＵ１１６の各部１３１〜１３３は各処理を停止する。

図１０及び図１１に示すポイント検出画面１２９は、ＢＥ３１の先端部３７ａが、第１〜第Ｚ経由ポイント及び着目ポイントのどのポイントまで到達したかを表示する。ポイント検出画面１２９には、画像表示領域１３５、到達予定ポイント表示領域１３６、分光周波数帯域表示領域１３７、メッセージ表示領域１３８等が設けられている。

画像表示領域１３５には、ＢＥ３１で得られたＢＥ画像が表示される。なお、ＢＥ画像以外に、ＢＥ分光画像データに基づくＢＥ分光画像も同時に表示してもよい。到達予定ポイント表示領域１３６には、到達予定ポイントの名称（例えば、「第１経由ポイント」）が表示される。分光周波数帯域表示領域１３７には、到達予定ポイントのポイント画像特徴量のデータに付されている分光周波数帯域情報が表示される。

メッセージ表示領域１３８には、ＢＥ３１の先端部３７ａが到達予定ポイントに到達したか否かを表すメッセージが表示される。例えば、到達予定ポイントが第１経由ポイントの場合には、先端部３７ａが第１経由ポイントに到達するまでは、「第１経由ポイントに到達していません。」といったメッセージ表示領域１３８に表示される（図１０参照）。

また、先端部３７ａが第１経由ポイントに到達すると、「第１経由ポイントに到達しました！」といったメッセージ表示領域１３８に表示される（図１１参照）。この時には、第２経由ポイントが新たな到達予定ポイントに設定されるため、到達予定ポイント表示領域１３６には「第２経由ポイント」が表示され、分光周波数帯域表示領域１３７には、第２経由ポイント画像特徴量に対応する分光周波数帯域情報が表示される。そして、ＢＥ３１の先端部３７ａが第１経由ポイントを通過すると、メッセージ表示領域１３８の表示が「第２経由ポイントに到達していません」等に変更される。

以下同様にして、到達予定ポイントが第２〜第Ｚ経由ポイントまたは着目ポイントである場合も同様に、到達予定ポイントに対応した名称、分光周波数帯域情報、メッセージの表示が行われる。医師は、ポイント検出画面１２９を見ることで、ＢＥ３１の先端部３７ａが到達予定ポイントに到達したか否かを確認することができる。そして、先端部３７ａが到達予定ポイントに到達していない場合は、先端部３７ａをさらに進める或いは戻すことで到達予定ポイントに到達させることができる。これにより、ＢＥ３１の先端部３７ａを、最終的に着目ポイントに到達させることができる。

次に、上記のように構成された内視鏡検査システム２の作用について説明を行う。上述したように、内視鏡検査システム２では、最初にＣＥ１１（カプセル内視鏡システム３）を利用して患者１０の内視鏡検査を行い、この検査の結果、例えば病変部の疑いのある着目ポイントが見つかった場合には、ＢＥ３１（電子内視鏡システム４）を利用して着目ポイントを精密検査する。

最初に図１２を用いてカプセル内視鏡システム３での処理の流れを説明する。まず、検査前の準備として、医師は、シールドシャツ１９、受信装置１２を患者１０に装着させ、ＣＥ１１の電源を投入して患者１０に嚥下させる。患者１０に嚥下されたＣＥ１１は、人体内管路を通過する際に管路の内壁面を撮像し、これにより得られたＣＥ画像データを電波１４にて逐次発信する。また、このとき、アンテナ２０に装着された電界強度測定センサ２１でＣＥ１１からの電波１４の電界強度が検出され、この検出結果は、受信装置１２の位置検出回路７５に入力される。

受信装置１２のアンテナ２０で受信された電波１４は、受信回路８１を経て復調回路７１にて元のＣＥ画像データに復調され、画像処理回路７２にて各種画像処理が施された後、データストレージ７３へ出力される。また、位置検出回路７５は、ＣＥ１１からの電波１４の電界強度の測定結果を元に、患者１０の体内のＣＥ１１の現在位置を検出し、この検出結果、すなわち撮影位置情報をデータストレージ７３に出力する。データストレージ７３は、位置検出回路７５からの撮影位置情報を、画像処理回路７２からの画像データに関連付けて記憶する。

ＣＥ１１による撮影（内視鏡検査）が終了したら、受信装置１２と第１プロセッサ２４とをＵＳＢケーブル２７で接続する。次いで、医師は、操作部２５を操作して受信装置１２のデータストレージ７３に格納されたＣＥ画像データ及び撮影位置情報を第１プロセッサ２４に取り込む。取り込まれたＣＥ画像データ及び撮影位置情報は、データストレージ８８の画像データ格納部９３、撮影位置情報格納部９４にそれぞれ格納される。これらの取り込みが完了したら、医師は、操作部２５を操作してポイント画像選択プログラム９７を起動して、ＬＣＤ２６にポイント画像選択画面９８を表示させる。

医師は、ポインタ１１０を操作して、ポイント画像選択画面９８の患者選択ボックス１０５で患者１０の選択を行う。ＣＰＵ８３は、選択された患者１０のＣＥ画像データを画像データ格納部９３から読み出して、この患者１０のＣＥ画像を画像表示領域１０７に連続表示させる。医師は、表示されたＣＥ画像に病変部の疑いのある箇所が映っていなければ、何もせずに、次に表示されるＣＥ画像の読影を行う。そして、医師は、受信装置１２から取り込んだ全てのＣＥ画像を読影した結果、病変部の疑いのある画像が無かった場合には、ポイント画像選択画面９８を閉じてポイント画像選択処理を終了する。

逆に、医師は、表示されたＣＥ画像に病変部の疑いのある箇所が映っていると判断した場合には、コントロールバー１０７ａを操作して連続表示を一時停止操作させる。そして、医師は、画像表示領域１０７に表示されているＣＥ画像、つまり、着目ポイント候補画像を詳細に読影する。次いで、医師は、着目ポイント候補画像で撮像された被観察部位をＢＥ３１で精密検査する必要有りと判断したら、操作部２５を操作して、分光周波数帯域入力欄１０８に任意の分光周波数帯域を入力した後、ポインタ１１０で分光画像表示ボタン１１１をクリック操作する。なお、医師は精密検査の必要なしと判断したら、コントロールバー１０７ａを操作して連続表示を再開させる。

分光画像表示ボタン１１１のクリック操作を受けて、ＣＰＵ８３の歪み補正処理部１００は、着目ポイント候補画像データから展開画像データを作成するとともに、分光画像生成部１０１は、歪み補正処理部１００にて作成された展開画像データから、分光周波数帯域入力欄１０８に入力された分光周波数帯域を有する分光画像データを生成する。そして、ＣＰＵ８３は、画像表示領域１０７の表示を、分光画像生成部１０１にて生成された分光画像データに基づく分光画像に切り替える。

医師は、血管パターンが強調され、さらに判別し易い形状の血管パターンが映った分光画像が表示されるまで、上述の操作を繰り返し実行する。そして、医師は、所望の分光画像が表示されたら、ポイント選択ボタン１１２をクリック操作する。これにより、選択結果表示領域１０９の「着目ポイント欄」に、選択された画像データのファイル名、及び分光周波数帯域が表示される。つまり、着目ポイント（分光）画像データが選択される。同時に画像特徴量抽出部１０２は、着目ポイント分光画像データから着目ポイント画像特徴量を抽出してデータストレージ８８へ出力する。データストレージ８８は、着目ポイント画像特徴量を画像特徴量格納部９６に一時的に格納する。

このようにして着目ポイント（分光）画像データの選択が完了したら、医師は、第１〜第Ａ経由ポイント（分光）画像データの選択を開始する。医師が操作部２５等で各経由ポイント画像データの選択開始操作を行うと、ＣＰＵ８３は、撮影位置情報格納部９４に格納されている撮影位置情報を参照して、患者１０の口部１０ａから着目ポイントまでの間で撮影されたＣＥ画像を画像表示領域１０７に連続表示させる。医師は、連続表示されるＣＥ画像を参照して、第１経由ポイント画像の候補となるＣＥ画像が表示されたら、コントロールバー１０７ａを操作して連続表示を一時停止させる。

医師は、画像表示領域１０７に表示されているＣＥ画像、つまり、第１経由ポイント候補画像、及びその撮影位置情報等を確認して、この第１経由ポイント候補画像を第１経由ポイント画像として決定するか否かを決定する。第１経由ポイント候補画像を第１経由ポイント画像として決定しない場合には、医師の操作によりＣＥ画像の連続表示が再開される。

逆に医師は、第１経由ポイント候補画像を第１経由ポイント画像として決定したら、分光周波数帯域の入力操作、分光画像表示ボタン１１１のクリック操作を行う。これにより、歪み補正処理部１００によって第１経由ポイント候補画像データから展開画像データが作成された後、分光画像生成部１０１によって展開画像データから分光画像データが生成される。そして、画像表示領域１０７の表示が、分光画像データに基づく分光画像に切り替えられる。医師は、着目ポイント画像選択時と同様に、血管パターンが強調され、さらに判別し易い形状の血管パターンが映った分光画像が表示されるまで、上述の操作を繰り返し実行する。

次いで、医師は、所望の分光画像が表示されたら、ポイント選択ボタン１１２をポインタ１１０でクリックする。これにより、選択結果表示領域１０９の「第１経由ポイント欄」に、選択された画像データのファイル名、及び分光周波数帯域が表示される。つまり、第１経由ポイント（分光）画像データが選択される。同時に画像特徴量抽出部１０２は、第１経由ポイント分光画像データから第１経由ポイント画像特徴量を抽出してデータストレージ８８へ出力する。データストレージ８８は、第１経由ポイント画像特徴量を画像特徴量格納部９６に一時的に格納する。

以下同様にして、第２〜第Ｚ経由ポイント（分光）画像データの選択が行われ、画像特徴量格納部９６に第２〜第Ｚ経由ポイント画像特徴量が格納される。医師は、全てのポイント画像データの選択が完了したら、選択完了ボタン１１３をクリック操作する。これにより、各ポイント画像データの選択処理が完了するとともに、画像特徴量格納部９６に格納された各ポイント画像特徴量が、ＬＡＮ２９を介して、第２プロセッサ３２へ送信される。そして、ＣＥ１１を用いた内視鏡検査が行われる度に、上述の一連の操作・処理が繰り返し実行される。

次に、ＣＥ１１を用いた内視鏡検査で発見された着目ポイントをＢＥ３１で精密検査する。以下、図１３を用いて電子内視鏡システム４での処理の流れを説明する。まず、医師は、ＢＥ３１のユニバーサルコード３９を第２プロセッサ３２及び光源装置３３に接続した後、操作部３４を操作してポイント検出プログラム１２８を起動して、ＬＣＤ３５にポイント検出画面１２９を表示させる。なお、データストレージ１２２の画像特徴量格納部１２６には、第１プロセッサ２４からの各ポイント画像特徴量が格納されている。医師は、検査開始前に検査対象となる患者１０の情報を操作部３４等で入力する。

ポイント検出プログラム１２８が起動されると、ＣＰＵ１１６は、到達予定ポイントとして第１経由ポイントを設定し、データストレージ１２２の画像特徴量格納部１２６から検査対象の患者１０の第１経由ポイント画像特徴量を読み出す。これにより、ポイント検出画面１２９の各領域１３６〜１３８に、それぞれ第１経由ポイントに対応した名称、分光周波数帯域情報、メッセージが表示される。

ＬＣＤ３５にポイント検出画面１２９が表示されたら、医師は、光源装置３３をＯＮした後、ＢＥ３１の挿入部３７を患者１０の口部１０ａから患者体内に挿入し、その先端部３７ａに内蔵された撮像素子４２で人体内管路の内壁面を撮像する。撮像素子４２から出力されたＡＦＥ１１５で画像データとされる。このようにしてＢＥ３１で得られたＢＥ画像データは、ユニバーサルコード３９を介して第２プロセッサ３２に入力される。

第２プロセッサ３２に入力されたＢＥ画像データは、ＤＳＰ１２０にて各種画像処理が施された後、画像メモリ１２１に格納される。この画像メモリ１２１に格納されたＢＥ画像データを元に、ポイント検出画面１２９の画像表示領域１３５にＢＥ画像が表示される。医師は、画像表示領域１３５に表示されたＢＥ画像を見て、ＢＥ３１のバルーン４８を使って小腸を手繰り寄せながら先端部３７ａを第１経由ポイントに向けて進める。

この際に、ＣＰＵ１１６の分光画像生成部１３１は、先に読み出した第１経由ポイント画像特徴量の分光周波数帯域情報に基づいて、ＢＥ画像データから第１経由ポイント分光画像データと同じ分光周波数帯域を有するＢＥ分光画像データを生成する。そして、画像特徴量抽出部１３２は、分光画像生成部１３１により生成されたＢＥ分光画像データからＢＥ画像特徴量を抽出する。

次いで、ポイント検出部１３３は、画像特徴量抽出部１３２により抽出されたＢＥ画像特徴量と、第１経由ポイント画像特徴量との類似度を算出する。この類似度が所定の閾値未満の場合には、ＢＥ３１の先端部３７ａは第１経由ポイントに到達していないと判断される。この場合には、メッセージ表示領域１３８に「第１経由ポイントに到達していません。」といったメッセージが表示されるため、医師はＢＥ３１の先端部３７ａをさらに進めるなどして、先端部３７ａを第１経由ポイントに到達させる。

ポイント検出部１３３が算出した類似度が所定の閾値以上となると、ＢＥ３１の先端部３７ａが第１経由ポイントに到達したと判断される。この場合には、メッセージ表示領域１３８に「第１経由ポイントに到達しました。」といったメッセージが表示されるため、医師は、先端部３７ａが第１到達ポイントに到達したことが判る。先端部３７ａを第１経由ポイントに向けて進める際には、バルーン４８を使って小腸を手繰り寄せているため、患者体内における第１経由ポイントの相対的な位置がＣＥ１１による内視鏡検査時と異なる場合が多い。しかしながら、本実施形態では、ＢＥ画像特徴量と第１経由ポイント画像特徴量との類似度の算出結果に基づき、先端部３７ａが第１到達ポイントに到達したか否かを判断しているので、第１経由ポイントの相対的な位置の変動は問題とならず、第１経由ポイントに到達したことを正確に判断することができる。

ＣＰＵ１１６は、ＢＥ３１の先端部３７ａが第１経由ポイントに到達したと判断したら、第２経由ポイントを次の到達予定ポイントとして設定し、画像特徴量格納部１２６から第２経由ポイント画像特徴量を読み出す。そして、ＣＰＵ１１６は、各表示領域１３６〜１３８に、それぞれ第２経由ポイントに対応した名称、分光周波数帯域情報、メッセージを表示させる。また、ＣＰＵ１１６の各部１３１〜１３３は、新たに設定された第２経由ポイントのポイント画像特徴量に基づいて、ＢＥ分光画像データの生成、ＢＥ画像特徴量の抽出、及び類似度の算出をそれぞれ行う。

以下同様に、医師が、ＢＥ３１の先端部３７ａを第２〜第Ｚ経由ポイント或いは各経由ポイントを経て着目ポイントへそれぞれ進めた場合も、ＢＥ３１から得られたＢＥ画像データに基づき、（１）ＢＥ分光画像データの生成、（２）ＢＥ画像特徴量の抽出、（３）類似度の算出が繰り返し実行される。このため、算出された類似度が所定の閾値以上となるか或いは未満となるかで、先端部３７ａが第２〜第Ｚ経由ポイントまたは着目ポイントに到達したか否かが検出され、その検出結果がポイント検出画面１２９に表示される。これにより、医師は、先端部３７ａを第１〜第Ｚ経由ポイントに順番に到達させ、最終的には着目ポイントに到達させることができる。医師は、ＢＥ３１の先端部３７ａを着目ポイントに到達させたら、この着目ポイントをＢＥ３１で精密検査する。

以上のように、本発明の内視鏡検査システム２では、最初にＣＥ１１を用いて内視鏡検査を行い、この検査で発見された着目ポイントをＢＥ１１で精密検査するにあたって、ＣＥ画像データの中から着目ポイント及び各経由ポイント画像データを選択し、ＢＥ３１で得られたＢＥ画像データが先に選択された各ポイント画像データと類似しているか否かを判定することで、ＢＥ１１で小腸を手繰り寄せながらその先端部３７ａを小腸内で進めたとしても、先端部３７ａがどのポイントまで達したかを正確に検出することができる。つまり、患者１０（小腸）内におけるＢＥ３１の先端部３７ａの相対的な位置を検出することができる。

また、各ポイントの画像データとその周辺の画像データとの相違度が高くなるように分光画像データを生成することにより、ＢＥ３１の先端部３７ａが各ポイントの周辺に到達した時点で各ポイントに到達したとの誤検出の発生が防止される。つまり、先端部３７ａが各ポイントに到達したか否かをより正確に検出することができる。

なお、上記実施形態では、ＢＥ３１の挿入部３７を患者の口部１０ａから挿入して内視鏡検査を行う場合を例に挙げて説明を行ったが、本発明はこれに限定されるものではない。例えば、図１４に示すように、ＢＥ３１の挿入部３７を患者の肛門１０ｂから挿入して内視鏡検査を行う場合にも本発明を適用することができる。この場合の内視鏡挿入経路Ｒａは、肛門１０ｂから着目ポイントへ至る経路となる。このため、第１〜第Ｚ経由ポイントは、上記実施形態と異なり、ＣＥ１１の移動経路を遡る順番に選択される。

また、上記実施形態では、各ポイント画像特徴量及びＢＥ画像特徴量、つまり、血管パターンの画像特徴量の種類として「血管エッジの方向分布」、「血管曲率の分布」、「血管分岐点の数、位置関係」、「血管エッジ方向の変化パターン」を例に挙げて説明を行ったが本発明はこれに限定されるものではない。例えば、血管の分岐構造は所謂フラクタル構造をもつので、各ポイント（展開）画像の血管エッジのフラクタル次元値を算出し、算出したフラクタル次元値を各ポイント画像特徴量として用いてもよい。フラクタル次元値は、図形（ここでは血管エッジ）の複雑さのレベルを定量化したものであり、フラクタル次元値が小さいほどその図形の複雑さのレベルは低く、フラクタル次元値が大きいほどその図形の複雑さのレベルは高くなる。フラクタル次元値を算出する方法は周知（例えば特開２００７−１５１６０８号公報参照）であるので、ここでは説明を省略する。

また、各ポイント画像特徴量及びＢＥ画像特徴量の類似度として、各ポイントの展開画像及びＢＥ画像に２値化処理を施した後、細線処理を施して生成された両細線化画像（血管の芯線を表す画像）の類似度を周知の方法で算出してもよい。ここで、２値化とは、所定の閾値より大きな濃度値を有する画素には「白」を表す濃度値（例えば「１」）を割り当て、その所定の閾値以下の濃度値を有する画素には「黒」を表す濃度値（例えば「０」）を割り当てるプロセスをいう。また、細線化とは、画像データの連結成分を線図形に変換するプロセスをいう。これら２値化処理及び細線化処理は、周知（特開２００７−１１７１０８号公報、特開２００５−１５７９０２号公報参照）であるので、ここでは説明を省略する。

なお、上記各実施形態では、ＣＥ１１から発信される電波１４の電界強度を電界強度測定センサ２１で測定した結果を元に、撮影位置情報（人体内のＣＥ１１の位置情報）を検出するようにしているが、本発明はこれに限定されるものではない。例えば、ＣＥ１１に３軸方向の加速度センサを設け、この加速度センサで検出されたＣＥ１１の加速度を２重積分してＣＥ１１の移動距離を求めることで、撮影位置情報を検出してもよい。

なお、上記各実施形態では、ＣＥ１１で得られた各ポイントの展開画像データからそれぞれ１つの分光周波数帯域を有するポイント分光画像データを生成した場合を例に挙げて説明を行ったが、本発明はこれに限定されるものではない。例えば、１つのポイントの展開画像データから、互いに異なる分光周波数帯域を有する複数のポイント分光画像データを生成してもよい。また、この場合には、ＢＥ３１で得られたＢＥ画像データから、複数のポイント分光画像データのそれぞれと同じ分光周波数帯域を有する複数のＢＥ分光画像データを生成する。そして、各ポイント分光画像データと、各ＢＥ分光画像データとの類似の有無を分光周波数帯域毎にそれぞれ判定する。このように分光周波数帯域が異なる複数の分光画像データ同士を比較することで、ＢＥ３１の先端部３７ａが到達予定ポイントに到達したか否かをより正確に検出することができる。

さらに、上述したように分光周波数帯域が異なる複数の分光画像データを生成する場合には、各分光画像データを生成する際の分光周波数帯域の周波数（波長）の組み合せを患者別に或いは各患者共通で決定してもよい。上記組み合せの決定は、医師が操作部２５を操作することで設定可能としてもよいし、患者別に設定する場合には、病歴や疑われる疾患等の患者の情報に応じて自動的に決定してもよい。そして、分光周波数帯域が異なる複数の分光画像データの生成は、医師が手動で行ってもよいし、或いはプロセッサ等で自動的に行うようにしてもよい。

また、上記各実施形態では、ＣＥ１１で得られた各ポイント（展開）画像データからポイント分光画像データを生成する際に、その分光周波数帯域を医師が適宜選択しているが、本発明はこれに限定されるものではない。例えば、各ポイント画像データが得られた被観察部位（例えば、胃、小腸、大腸などの臓器）に応じて、分光画像データを生成する際の分光周波数帯域を決定してもよい。これは、例えば臓器別にそれぞれ血管パターン等が強調される分光周波数帯域がほぼ定まっているからである。

次に、本発明の第２実施形態の内視鏡検査システムについて説明を行う。上記第１実施形態では、ＢＥ３１の先端部３７ａを第１〜第Ｚ経由ポイント及び着目ポイントにそれぞれ到達させる際に、各ポイントがそれぞれ小腸（人体内管路）の内壁のどの部分（例えば腹側或いは背中側等）にあるかが不明なため、先端部３７ａを第１〜第Ｚ経由ポイント及び着目ポイントに到達させるのに手間取ることがある。

そこで、第２実施形態の内視鏡検査システムでは、小腸内でのＣＥ１１の姿勢（例えば、対物レンズ５９が「腹側」或いは「背中側」を向いている等）を検出して、ＣＥ１１が各ポイントで撮影を行った際の姿勢を検出する。そして、医師がＢＥ３１の先端部３７ａを到達予定ポイントに進める際に、この到達予定ポイントで先にＣＥ１１が撮影を行った際の姿勢に関する情報をＬＣＤ３５（ポイント検出画面１２９）に表示する。

図３に示すように、ＣＥ１１には人体内管路でのＣＥ１１の姿勢（向き）を検出する姿勢検出センサ１４０が設けられている。姿勢検出センサ１４０としては、ＣＥ１１の姿勢を検知可能な姿勢検知センサであれば特に種類は問わず、例えば３軸の加速度センサ（重力センサ）、姿勢ジャイロなどが用いられる。なお、各種姿勢検出センサを用いてＣＥ１１の姿勢を検知する方法は周知（例えば、特許第３６３１２６５号、特開２００６−２３９０５３号公報、特開２００６−０６８１０９号公報を参照）であるので、ここでは説明を省略する。

姿勢検出センサ１４０の検出結果（姿勢情報）は、ＣＥ画像データと同様に、変調回路５４にて電波１４に変調された後、送信回路６３を経てアンテナ１８に出力される。これにより、ＣＥ１１から受信装置１２へ姿勢情報が無線送信される。受信装置１２は、ＣＥ１１から無線受信した姿勢情報を画像データに関連付けてデータストレージ７３に記憶する。

以下、上記第１実施形態で説明したように、第１プロセッサ２４への画像データ及び姿勢情報等の取り込み、及び医師による各ポイント画像データの選択が行われ、着目ポイント画像特徴量及び各経由ポイント画像特徴量がデータストレージ８８の画像特徴量格納部９６に格納される。そして、図１５に示すように、各ポイント画像特徴量のデータには、各ポイントでの姿勢情報が付帯情報として付される。

姿勢情報が付された各ポイント画像特徴量は、上述したように、ＬＡＮ２９を介して第２プロセッサ３２へ送信された後、データストレージ１２２の画像特徴量格納部１２６に格納される。そして、ＢＥ３１を用いた内視鏡検査の開始時に、ポイント検出プログラム１２８が起動されると、ＬＣＤ３５にポイント検出画面１４１（図１６参照）が表示される。

図１６に示すように、ポイント検出画面１４１は、基本的には上記第１実施形態のポイント検出画面１２９（図１０参照）と同じである。ただし、ポイント検出画面１４１には、第１実施形態とは異なる到達予定ポイント表示領域１４２が設けられている。到達予定ポイント表示領域１４２には、到達予定ポイントの名称と共に、各ポイント画像特徴量のデータに付された姿勢情報に基づき、先にＣＥ１１が到達予定ポイントで撮影を行った際の姿勢情報、例えば「腹側」、「背中側」等がＣＰＵ（表示制御手段）１１６により表示される。

このように姿勢情報をポイント検出画面１４１上で表示することにより、医師は、到達予定ポイントが小腸内壁の例えば腹側或いは背中側の部分にあることが分かる。その結果、ＢＥ３１の先端部３７ａを到達予定ポイントに向けて進める際に、先端部３７ａを向ける方向を小腸内壁の腹側或いは背中側に絞り込むことができる。これにより、ＢＥ３１の先端部３７ａを到達予定ポイントに容易に到達させることができる。

次に、本発明の第３実施形態の内視鏡検査システムについて説明を行う。上記第１及び第２実施形態では、各ポイント画像及びＢＥ画像からそれぞれ画像特徴量として血管パターンの画像特徴量を抽出している。これに対して、第３実施形態では、上記各実施形態で説明したＣＥ１１及びＢＥ３１とは異なるＣＥ１４５、ＢＥ１４６で得られた各ポイント画像データ及びＢＥ画像データから、それぞれ小腸（人体内管路）の内壁面の凹凸情報を推定し、これらの推定結果を各ポイント画像特徴量及びＢＥ画像特徴量として用いる。

図１７に示すように、ＣＥ１４５は、基本的には上記第１及び第２実施形態のＣＥ１１と同じ構成である。ただし、ＣＥ１４５では、ＬＥＤ等の第１及び第２照明光源１４７Ｒ，１４７Ｌが撮像素子６０に関して対称な位置に２つ配されている。ＣＥ１４５は、第１及び第２照明光源１４７Ｒ，１４７Ｌを１つずつ順番にオンさせるとともに、同一の被観察部位を各照明光源１４７Ｒ，１４７Ｌがそれぞれオンされる度に撮像する。これにより、同じ被観察部位の撮像が、各照明光源１４７Ｒ，１４７Ｌのそれぞれから照射される照明光のもとで２回行われる。なお、第１及び第２照明光源１４７Ｒ，１４７Ｌの切替速度は、小腸内でのＣＥ１４５の移動速度よりも十分に速いので、同じ被観察部位を２回撮像することは可能である。

第１及び第２照明光源１４７Ｒ，１４７Ｌからそれぞれ小腸内壁面に照明光が照射されると、小腸内壁面の凹凸に起因して小腸内壁面には影が生じる。この際に、各照明光源１４７Ｒ，１４７Ｌの位置はそれぞれ異なっているので、各照明光源１４７Ｒ，１４７Ｌを切り替えると、小腸内壁面に生じる影の位置や大きさが変化する。従って、各照明光源１４７Ｒ，１４７Ｌでそれぞれ小腸内壁面を照明した際に得られるＣＥ画像データＣＥＲ，ＣＥＬの各画素の輝度値は異なる。

ＣＥ画像データＣＥＲ，ＣＥＬの各画素の輝度値は、第１及び第２照明光源１４７Ｒ，１４７Ｌからの距離はほぼ等しいとみなした場合、小腸内壁面の凹凸、より具体的には小腸内壁面の傾きなどよって変化する。例えば、図１８及び図１９に示すように、小腸内壁面Ｓが凸面であり、第１照明光源１４７Ｒに対向する小腸内壁面ＳのＰ１点が凸面の一方の傾斜部に位置し、撮像素子６０に対向する小腸内壁面ＳのＰ２点が凸面の頂部に位置し、第２照明光源１４７Ｌに対向する小腸内壁面ＳのＰ３点が凸面の他方の傾斜部に位置している場合を例に挙げて説明を行う。なお、図１８では、図面の煩雑化を防止するため、撮像素子６０及び第１及び第２照明光源１４７Ｒ、１４７を同一平面上に配置している。

ＣＥ画像データＣＥＲのＰ１点〜Ｐ３点に対応する画素の輝度値をｖＲとし、ＣＥ画像データＣＥＬのＰ１点〜Ｐ３に対応する画素の輝度値をｖＬとし、各Ｐ１点〜Ｐ３点におけるＣＥ画像データＣＥＲ，ＣＥＬの輝度値の差分をｄ（＝ｖＲ−ｖＬ）とすると、Ｐ１点では第１照明光源１４７Ｒの方が第２照明光源１４７Ｌよりも、その入射角が被写体面の垂直方向に近いので反射光（分散反射）が大となりｄ＞０、Ｐ２点では第１及び第２照明光源１４７Ｒ，１４７Ｌと入射角がほぼ同じなのでｄ≒０、Ｐ３点では第２照明光源１４７Ｌの方が、その入射角が被写体面の垂直方向に近いのでｄ＜０となる（図１９参照）。そして、Ｐ１点、Ｐ３点では、傾斜部の傾き角が大きくなるのに従って、ｄの絶対値が大きくなる。また、小腸内壁面Ｓが凹面であった場合には、Ｐ２点（凹面の底部）では凸面時と同様にｄ≒０となり、Ｐ１点，Ｐ３点では凸面時とは逆にｄ＜０，ｄ＞０となる。

このように、撮像素子６０に対する第１及び第２照明光源１４７Ｒ，１４７Ｌの位置関係を考慮して、ＣＥ画像データＣＥＲ，ＣＥＬの同一画素の輝度値の大きさを比較することで、小腸内壁面の凹凸情報を推定することができる。

また、図２０に示すように、ＢＥ１４６の先端部３７ａには、観察窓１４９、第１及び第２照明窓１５０Ｒ，１５０Ｌ、鉗子出口１５１、及び送気・送水用ノズル１５２が設けられている。観察窓１４９の後方には、対物レンズ４１及び撮像素子４２（図９参照）が配置されている。各照明窓１５０Ｒ，１５０Ｌは、観察窓１４９に関して対称な位置に２つ配されており、光源装置３３からの照明光を小腸内壁面へ照射する。鉗子出口１５１及び送気・送水用ノズル１５２は、周知であるので説明は省略する。

光源装置３３は、第２プロセッサ３２（ＣＰＵ１１６）からの制御信号に基づき、第１及び第２照明窓１５０Ｒ，１５０Ｌから１つずつ順番に照明光を照射させる。そして、ＢＥ１４６は、各照明窓１５０Ｒ，１５０Ｌからそれぞれ照明光が照射される度に被観察部位を撮像する。これにより、同一の被観察部位の撮像が、各照明窓１５０Ｒ，１５０Ｌのそれぞれから照射される照明光のもとで２回行われる。その結果、先に説明したＣＥ１４５と同様に、観察窓１４９に対する各照明窓１５０Ｒ，１５０Ｌの位置関係を考慮して、各照明窓１５０Ｒ，１５０Ｌからそれぞれ照明光を照射させた際に得られるＢＥ画像データＢＥＲ，ＢＥＬの同一画素の輝度値の大きさを比較することで、小腸内壁面の凹凸情報を推定することができる。

第３実施形態の第１プロセッサ２４のＣＰＵ８３、及び第２プロセッサ３２のＣＰＵ１１６には、それぞれ画像特徴量抽出部の代わりに凹凸情報推定部（図示せず）が構築される。これにより、ＣＰＵ８３の凹凸情報推定部は、医師により選択された各ポイント画像データ（ＣＥ画像データ）ＣＥＲ，ＣＥＬから凹凸情報を推定することで、各ポイント画像特徴量を取得する。また、ＣＰＵ１１６の凹凸情報推定部は、ＢＥ３１で得られたＢＥ画像データＢＥＲ，ＢＥＬから凹凸情報を推定することで、ＢＥ画像特徴量を取得する。

このように第３実施形態では、凹凸情報からなる各ポイント画像特徴量とＢＥ画像特徴量とをそれぞれ取得することで、各ポイント画像特徴量とＢＥ画像特徴量とが一致しているか否かに基づき、第１実施形態と同様に、ＢＥ３１の先端部３７ａが各経由ポイント及び着目ポイントのどのポイントまで達したかを検出することができる。なお、各ポイント画像データ及びＢＥ画像データの画像特徴量として、凹凸情報と上述の血管パターンの画像特徴量とを同時に取得してもよい。

なお、上記第３実施形態のＣＥ１４５は、対物レンズ５９の光軸ＯがＣＥ１４５の長軸に対して平行になるように配置されており、被観察部位の像光をＣＥ１４５の前端部から取り込んでいるが、このタイプのＣＥに限定されるものではない。例えば、図２１に示すＣＥ１５４のように、対物レンズ５９の光軸ＯがＣＥ１５４の長軸に対して垂直になるように配置されており、ＣＥ側面に形成された観察窓から被観察部位の像光を取り込むタイプのＣＥであってもよい。この場合も、第１及び第２照明光源１４７Ｒ、１４７Ｌを撮像素子６０ａに関して対称な位置に２つ配することで、ＣＥ１４５と同様に小腸内壁面の凹凸情報を推定することができる。

また、上述のＣＥ１５４では、撮像素子６０に隣接する位置に第１及び第２照明光源１４７Ｒ、１４７Ｌがそれぞれ配置されている場合を例に挙げて説明を行ったが、本発明はこれに限定されるものではない。例えば、図２２に示すＣＥ１５５のように、その両端部に各照明光源１４７Ｒ、１４７Ｌをそれぞれ配置してもよい。

また、上記第３実施形態のＢＥ１４６は、その先端部３７ａの先端面に観察窓１４９、第１及び第２照明窓１５０Ｒ，１５０Ｌが設けられている場合を例に挙げて説明を行ったが、本発明はこれに限定されるものではない。例えば、図２３に示すＢＥ１５６のように、その先端部３７ａの側面に観察窓１４９を設けるとともに、この観察窓１４９ａに関して対称な位置に第１及び第２照明窓１５０Ｒ，１５０Ｌをそれぞれ形成してもよい（鉗子出口及び送気・送水用ノズルは図示を省略）。この場合もＢＥ１４６と同様に被観察部位の凹凸情報を推定することができる。

なお、上記第３実施形態及びその他実施形態のＣＥ１４５，１５４，１５５では、撮像素子６０に関して対称な位置に２つの照明光源が配置されている場合を例に挙げて説明を行ったが、照明光源の配置位置及び配置数はこれに限定されるものではなく、任意に変更してもよい。また、同様にＢＥ１４６，１５６の照明窓の配置位置及び配置数も任意に変更してもよい。さらに、ＣＥ１５４，１５５（ＢＥ１５６も同様）の場合には、撮像素子６０及び各照明光源１４７Ｒ，１４７Ｌ（観察窓１４９及び各照明窓１５０Ｒ，１５０Ｌ）を伴回りさせてもよい。

なお、上記第３実施形態では、ＣＥ１４５で得られたＣＥ画像データＣＥＲ，ＣＥＬの同一画素の輝度値の大きさを比較することで、被観察部位（小腸内壁面）の凹凸情報を推定し、推定した凹凸情報をポイント画像特徴量として用いているが、本発明はこれに限定されるものではない。例えば、ＣＥ画像データＣＥＲ，ＣＥＬ間の差分計算（例えば、特開２００５−１５１０９９号公報参照）を行って差分画像データを生成し、この差分画像データに２値化処理や細線化処理を施す。そして、細線化処理等が施された差分画像データから陰影情報を抽出し、抽出した陰影情報をポイント画像特徴量として用いてよい。この場合には、ＢＥ画像データＢＥＲ，ＢＥＬからも同様にして陰影情報を抽出し、これをＢＥ画像特徴量として用いればよい。

また、ＣＥ１４５の第１及び第２照明光源１４７Ｒ、１４７Ｌからそれぞれ照射される照明光の波長を変えて被観察部位の撮影を行い、得られたＣＥ画像データＣＥＲ，ＣＥＬ間の色味の違いに基づいて、被観察部位の凹凸情報を推定してもよい。この場合には、ＢＥ１４６の第１及び第２照明窓１５０Ｒ，１５０Ｌから照射される照明光の波長を変えて、ＢＥ１４６で得られたＢＥ画像データＢＥＲ，ＢＥＬ間の色味の違いに基づき被観察部位の凹凸情報を推定する。

なお、ポイント検出画面１２９の画像表示領域１３５（図１０参照）に、上述のようにして得られた各ポイント画像データの凹凸情報や陰影情報を、ＢＥ３１で得られたＢＥ画像データに基づくＢＥ画像に強調して表示することで、ＢＥ１４６の先端部３７ａが到達予定ポイントまで到達したかを、医師が目視で確認できるようにしてもよい。

なお、上記各実施形態では、カプセル内視鏡システム３を構成する第１プロセッサ２４と、電子内視鏡システム４を構成する第２プロセッサ３２とが異なっている場合を例に挙げて説明を行ったが、本発明はこれに限定されるものではなく、両者が一体であってもよい。この場合には、受信装置１２からのＣＥ画像データの取り込みを第２プロセッサ３２で行い、第２プロセッサ３２で医師による各ポイント画像データの選択操作の受け付け、及び各ポイント画像特徴量の抽出なども行えるようにすればよい。

また、第２プロセッサ３２にて、医師による選択操作の受け付け、各ポイント画像特徴量の抽出なども行う場合には、第１プロセッサ２４は、受信装置１２から取り込んだＣＥ画像データを第２プロセッサ３２へ送信するだけの機能を有していればよい。

なお、上記各実施形態では、医師が選択したポイント画像データと、ＢＥ３１で得られたＢＥ画像データとの類度の有無を判定する際に、両画像データの画像特徴量の類似度を算出しているが、本発明はこれに限定されるものではなく、各ポイント（分光）画像データを第２プロセッサ３２に記憶させることで、ポイント（分光）画像データとＢＥ（分光）画像データとの類似度を直接算出するようにしてもよい。画像データ間の類似度を算出する方法は周知であるので説明は省略する。

また、上記各実施形態では、ＬＡＮ２９を介して第１プロセッサ２４から第２プロセッサ３２へ各ポイント画像特徴量データを送る場合を例に挙げて説明を行ったが、本発明はこれに限定されるものではなく、各種リムーバルメディアを用いてデータを送るようにしてもよい。

なお、上記各実施形態では、第１〜第Ｚ経由ポイント（分光）画像データを医師が選択する場合を例に挙げて説明を行ったが、本発明はこれに限定されるものではない。例えば、ＣＰＵ８３は、着目ポイント（分光）画像データが選択されたら、その撮影位置情報に基づき、撮影位置情報格納部９４に記憶されている情報を参照して、ＢＥ３１の挿入部３７の挿入位置（口部１０ａ等）から着目ポイントまでの間で撮影されたＣＥ画像データの中から、第１〜第Ｚ経由ポイント画像データを自動選択するようにしてもよい。この自動選択は、選択対象となる各ＣＥ画像データの中から、所定コマ数（所定間隔）おき、或いは所定撮影時間おきに１つのＣＥ画像データを選択する方法など適宜方法で行えばよい。なお、各経由ポイント分光画像データの生成は、上述したように医師の操作により行われる。或いは、上述のように各経由ポイント分光画像データの波長パラメータ（分光周波数帯域）設定を自動的に行ってもよい。

また、上記各実施形態では、ＣＥ１１で得られたＣＥ画像データの中から、着目ポイント画像データ及び第１〜第Ｎ経由ポイント画像データの両方の選択を行う場合を例に挙げて説明を行ったが、本発明はこれに限定されるものではない。例えば、着目ポイントが口部１０ａ或いは肛門１０ｂから近い位置にあるときは、着目ポイント画像データだけ選択するようにしてもよい。

なお、上記第１実施形態等では、ポイント画像選択画面９８（図８参照）上で着目ポイント画像データ及び第１〜第Ｚ経由ポイント画像データの選択を行う場合に、同じポイント選択ボタン１１２をクリック操作するようにしているが、本発明はこれに限定されるものではなく、着目ポイント画像データと各経由ポイント画像データとの選択を行うボタンをそれぞれ別々に設けるようにしてもよい。また、選択された各ポイント画像データの撮影位置情報（ＣＥ１１の撮影位置情報であり、撮影位置情報格納部９４に格納）に基づき、ポイント画像選択画面９８に、各ポイントの位置を表示した模式人体図（例えば図７参照）を表示してもよい。

また、上記各実施形態では、被検体（人体）内に挿入される軟性内視鏡として、小腸検査用のＢＥを例に挙げて説明を行ったが、本発明はこれに限定されるものではなく、ＢＥ以外の各種の軟性内視鏡を用いた場合にも本発明を適用することができる。

内視鏡検査システムを構成するカプセル内視鏡システムの構成を示す概略図である。 内視鏡検査システムを構成する電子内視鏡システムの構成を示す概略図である。 カプセル内視鏡の電気的構成を示すブロック図である。 受信装置の電気的構成を示すブロック図である。 カプセル内視鏡システムを構成する第１プロセッサの電気的構成を示すブロック図である。 第１プロセッサのデータストレージに格納されるデータを説明するための説明図である。 カプセル内視鏡で得られた画像データの中から、医師により選択される着目ポイント画像データ、第１〜第Ｚ経由ポイント画像データについて説明するための説明図である。 医師が各ポイント画像データの選択操作を行う際に表示されるポイント画像選択画面を説明するための説明図である。 電子内視鏡システムを構成する第２プロセッサの電気的構成を示すブロック図である。 バルーン内視鏡の先端部が到達予定ポイント（次に到達させるポイント）まで到達したか否かを表示するポイント検出画面を説明するための説明図であり、先端部が未だ到達予定ポイントに到達していない状態を示している。 バルーン内視鏡の先端部が到達予定ポイントまで到達したか否かを表示するポイント検出画面を説明するための説明図であり、先端部が到達予定ポイントに到達した状態を示している。 医師により選択された各ポイント画像データから画像特徴量を抽出する抽出処理を説明するためのフローチャートである。 バルーン内視鏡の先端部が各到達ポイントのいずれまで到達したか否かを検出する検出処理を説明するためのフローチャートである。 バルーン内視鏡の挿入部を患者の肛門から挿入する場合に、医師により選択される着目ポイント画像データ、第１〜第Ｚ経由ポイント画像データについて説明するための説明図である。 第２実施形態の各ポイント画像特徴量を説明するための説明図である。 第２実施形態で表示されるポイント検出画面を説明するための説明図である。 第３実施形態のカプセル内視鏡の断面図である。 図１７に示したカプセル内視鏡が、第１及び第２照明光源を切り替えて一つの被観察部位を２回撮像することを説明するための説明図である。 図１７及び図１８に示したカプセル内視鏡で得られた画像から、被観察部位の凹凸情報を推定する推定処理を説明するための説明図である。 第３実施形態のバルーン内視鏡の挿入部の先端部の正面図である。 図１７とは異なる形態の第３実施形態のカプセル内視鏡の断面図である。 図１７及び図２１とは異なる形態の第３実施形態のカプセル内視鏡の断面図である。 図２０とは異なる第３実施形態のバルーン内視鏡の先端部の斜視図である。

符号の説明

２ 内視鏡検査システム
３ カプセル内視鏡システム
４ 電子内視鏡システム
１０ 患者
１１，１４５、１５４，１５５ ＣＥ（カプセル内視鏡）
１２ 受信装置
２４ 第１プロセッサ
２５ 操作部
２９ ＬＡＮ
３１，１５６ ＢＥ（バルーン内視鏡）
３２ 第２プロセッサ
３４ 操作部
４２ 撮像素子
８３ ＣＰＵ
９８ ポイント画像選択画面
１００ 歪み補正処理部
１０１，１３１ 分光画像生成部
１０２，１３２ 画像特徴量抽出部
１２２ データストレージ
１２６ 画像特徴量格納部
１２９ ポイント検出画面
１３３ ポイント検出部

Claims (7)

1. 被検体に嚥下され、被検体内の被観察部位を撮像するカプセル内視鏡と、被検体に挿入される挿入部を有し、前記挿入部に設けられた撮像部で前記被観察部位を撮像する軟性内視鏡と、前記カプセル内視鏡で得られた第１内視鏡画像、及び前記軟性内視鏡で得られた第２内視鏡画像をそれぞれモニタに表示して医師の読影に供するプロセッサとを備えており、
   前記第１内視鏡画像に基づいて、前記軟性内視鏡で精密検査の必要有りと予め判断された前記被観察部位を着目ポイントとし、前記挿入部の撮像部を前記着目ポイントまで到達させて前記着目ポイントの前記第２内視鏡画像を得るための内視鏡検査システムにおいて、
   前記プロセッサは、
   前記軟性内視鏡による精密検査前に、前記第１内視鏡画像の中から前記着目ポイントの前記第１内視鏡画像を予め選択するための第１画像選択手段と、
   前記第１内視鏡画像の中から、前記挿入部の被検体内への挿入位置から前記着目ポイントへ至る内視鏡挿入経路上で、経由ポイントとなる前記被観察部位の前記第１内視鏡画像を１以上選択する第２画像選択手段と、
   前記経由ポイント及び前記着目ポイントの前記第１内視鏡画像から、互いに異なる分光周波数帯域を有する複数の第１分光画像を生成する第１分光画像生成手段と、
   前記第２内視鏡画像から、前記挿入部の撮像部が次に到達すべき前記経由ポイントまたは前記着目ポイントの前記第１分光画像と同じ分光周波数帯域を有する複数の第２分光画像を生成する第２分光画像生成手段と、
   前記経由ポイント及び前記着目ポイントの複数の前記第１分光画像から第１画像特徴量をそれぞれ取得する第１画像特徴量取得手段と、
   複数の前記第２分光画像から第２画像特徴量をそれぞれ取得する第２画像特徴量取得手段と、
   前記第２内視鏡画像と、前記第１画像選択手段及び前記第２画像選択手段により選択された前記第１内視鏡画像との類似度を、前記第１画像特徴量及び前記第２画像特徴量を用いて前記分光周波数帯域毎に算出した結果に基づき、被検体内での前記挿入部の撮像部の相対的な位置情報を取得する位置情報取得手段と、
   前記位置情報取得手段により取得された前記位置情報を前記モニタに表示する表示制御手段と、
   を備えることを特徴とする内視鏡検査システム。
2. 前記第１画像特徴量及び前記第２画像特徴量は、それぞれ前記被観察部位の血管パターンの画像特徴量であることを特徴とする請求項１記載の内視鏡検査システム。
3. 前記第１画像特徴量取得手段は、前記第１分光画像から、前記経由ポイント及び前記着目ポイントの前記被観察部位の表面の凹凸を推定した推定結果を、前記第１画像特徴量として取得するとともに、
   前記第２画像特徴量取得手段は、前記第２分光画像から、前記被観察部位の表面の凹凸を推定した推定結果を、前記第２画像特徴量として取得することを特徴とする請求項１記載の内視鏡検査システム。
4. 前記カプセル内視鏡は、互いに異なる位置に配置された複数の光源を有しており、前記各光源を１つずつ順番に発光させるとともに、同一の前記被観察部位を前記各光源がそれぞれ発光される度に撮像し、
   前記第１画像特徴量取得手段は、前記カプセル内視鏡で得られた前記光源毎の前記経由ポイント及び前記着目ポイントの前記第１内視鏡画像から、前記経由ポイント及び前記着目ポイントのそれぞれの表面の凹凸を推定することを特徴とする請求項３記載の内視鏡検査システム。
5. 前記挿入部の撮像部の近傍には、前記被観察部位に照明光を照射するための照明窓が異なる位置に複数設けられており、前記各照明窓から１つずつ順番に前記被観察部位への照明光の照射が行われるとともに、前記撮像部は、同一の前記被観察部位を前記各照明窓からそれぞれ照射される照明光のもとで撮像し、
   前記第２画像特徴量取得手段は、前記軟性内視鏡で得られた同一の前記被観察部位の照明光毎の前記第２内視鏡画像から、当該被観察部位の表面の凹凸を推定することを特徴とする請求項３または４記載の内視鏡検査システム。
6. 前記第１内視鏡画像は前記被観察部位の全方位画像であるとともに、前記第２内視鏡画像は前記被観察部位の平面画像であり、
   前記プロセッサは、前記全方位画像を平面に展開した展開画像を作成する展開画像作成手段を備えており、
   前記経由ポイント及び前記着目ポイントの前記第１内視鏡画像は、前記カプセル内視鏡で得られた前記経由ポイント及び前記着目ポイントの前記全方位画像をそれぞれ前記展開画像作成手段で展開した前記展開画像であることを特徴とする請求項１ないし５いずれか１項記載の内視鏡検査システム。
7. 前記カプセル内視鏡には、被検体内での前記カプセル内視鏡の姿勢を検出する姿勢検出手段が設けられているとともに、前記プロセッサには、前記姿勢検出手段による前記経由ポイント及び前記着目ポイントでの前記カプセル内視鏡の姿勢検出結果を記憶した姿勢検出結果記憶手段が設けられ、
   前記表示制御手段は、前記挿入部の撮像部が次に到達すべき前記経由ポイントまたは前記着目ポイントに対応する前記姿勢検出結果を、前記姿勢検出結果記憶手段から検索して前記モニタに表示することを特徴とする請求項１ないし６いずれか１項記載の内視鏡検査システム。

Images