JPWO2016110993A1

JPWO2016110993A1 - 内視鏡システム、内視鏡装置及び内視鏡システムの制御方法

Info

Publication number: JPWO2016110993A1
Application number: JP2016568237A
Authority: JP
Inventors: 成剛温
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2015-01-09
Filing date: 2015-01-09
Publication date: 2017-10-19
Also published as: US20170296043A1; WO2016110993A1

Abstract

内視鏡システムは、撮像部１１０と、第１のフレームレートで撮像を行う第１のモードと、第２のフレームレートで撮像を行う第２のモードとの、いずれのモードで撮像部１１０を動作させる第１の処理部１２０と、撮像画像を外部装置２００に送信する第１の通信部１３０を含むカプセル型内視鏡１００と、撮像画像に基づいてモード切り替え指示を出力する第２の処理部２２０と、モード切り替え指示を送信する第２の通信部２３０を含む外部装置２００を含み、第１の処理部１２０は、モード切り替え指示に基づいて、小腸の途中から大腸までを第２のモードで動作させる。

Description

本発明は、内視鏡システム、内視鏡装置及び内視鏡システムの制御方法等に関する。

近年、小型の撮像部を内蔵したカプセル型の内視鏡装置が広く知られるようになった。カプセル型内視鏡は小型であるため、電源の節約等の理由から撮像枚数を節約するためにフレームレートの制御を行う。フレームレートの制御は、例えばカプセル型内視鏡が消化管内を動く速さに応じて行われ、動きが遅い場合にはフレームレートを下げ、動きが速い場合にはフレームレートを上げる。

特許文献１には、体内に嚥下されたカプセル本体で撮像した画像を用いてカプセルの運動を分析し、適応的に撮像フレームレートを制御する手法が開示されている。具体的には、カプセルの運動が比較的遅い場合には撮像フレームレートを遅く、カプセルの運動が比較的速い場合には撮像フレームレートを速く制御する。

特開２００６−２２３８９２号公報

特許文献１の手法では、動きに基づいてフレームレートを制御しており、現在撮像している被写体が、撮像すべき被写体であるか否か（例えば特定の部位であるか否か）ということを考慮していない。そのため、注目被写体以外で激しい運動が生じた場合、非注目被写体を無用な高フレームレートで撮影してしまう可能性がある。それによって非注目被写体の撮像に電力を費やすため、カプセル本体にあるバッテリーが途中で切れてしまい、注目被写体での撮像ができないリスクがある。

本発明の幾つかの態様によれば、撮像画像に基づいて小腸の途中から高フレームレートに切り替えて撮像することで、低消費電力であり、且つ注目被写体の撮像漏れを抑止する内視鏡システム、内視鏡装置及び内視鏡システムの制御方法等を提供することができる。

本発明の一態様は、カプセル型内視鏡と、外部装置と、を含み、前記カプセル型内視鏡は、小腸及び大腸を撮像し、複数の撮像画像を時系列に取得する撮像部と、第１のフレームレートで撮像を行う第１のモードと、少なくとも第１のフレームレートよりも高い第２のフレームレートで撮像を行う第２のモードとの、いずれのモードで前記撮像部を動作させるかを制御する第１の処理部と、前記撮像画像を前記外部装置に送信する第１の通信部と、を含み、前記外部装置は、前記撮像画像に基づいて、前記小腸の途中で前記第１のモードから前記第２のモードへのモード切り替え指示を出力する第２の処理部と、前記モード切り替え指示を前記第１の通信部に送信する第２の通信部と、を含み、前記第１の処理部は、前記モード切り替え指示に基づいて、前記小腸の途中で前記撮像部を前記第１のモードから前記第２のモードに切り替えて、前記小腸の途中から前記大腸までを前記第２のモードで動作させる制御を行う内視鏡システムに関係する。

本発明の一態様では、外部装置において撮像画像に基づきモード切り替え指示を出力し、カプセル型内視鏡は、モード切り替え指示に応じて小腸の途中から大腸までを比較的高いフレームレートで撮像する第２のモードで動作する。これにより、大腸を高フレームレートで撮像でき、且つ小腸の開始位置から高フレームレートで撮像を行う場合等に比べて消費電力を低減すること等が可能になる。

本発明の他の態様は、小腸及び大腸を撮像し、時系列の撮像画像を取得する撮像部と、第１のフレームレートで撮像を行う第１のモードと、少なくとも第１のフレームレートよりも高い第２のフレームレートで撮像を行う第２のモードとの、いずれのモードで前記撮像部を動作させるかを制御する処理部と、を含み、前記撮像画像に基づいて、前記小腸の途中で前記撮像部を前記第１のモードから前記第２のモードに切り替えて、前記小腸の途中から前記大腸までを前記第２のモードで動作させる制御を行う内視鏡装置に関係する。

本発明の他の態様では、内視鏡装置は、撮像画像に基づき小腸の途中から大腸までを比較的高いフレームレートで撮像する第２のモードで動作する。これにより、大腸を高フレームレートで撮像でき、且つ小腸の開始位置から高フレームレートで撮像を行う場合等に比べて消費電力を低減すること等が可能になる。また、第２のモードへの切り替えに必要な処理を内視鏡装置の内部で実行することも可能になる。

本発明の他の態様は、撮像部の小腸及び大腸の撮像により、複数の撮像画像を時系列に取得し、前記撮像画像に基づいて、前記小腸の途中で第１のフレームレートで撮像を行う第１のモードから、少なくとも第１のフレームレートよりも高い第２のフレームレートで撮像を行う第２のモードへのモード切り替え指示を出力し、前記モード切り替え指示に基づいて、前記小腸の途中で前記撮像部を前記第１のモードから前記第２のモードに切り替えて、前記小腸の途中から前記大腸までを前記第２のモードで動作させる制御を行う内視鏡システムの制御方法に関係する。

図１は、本実施形態に係る内視鏡システムの構成例。図２は、本実施形態に係る内視鏡システムの詳細な構成例。図３は、本実施形態に係る内視鏡装置（カプセル型内視鏡）の構成例。図４は、本実施形態の処理を説明するフローチャート。図５は、切り替え判定部の構成例。図６は、領域設定及び局所特徴量算出処理の説明図。図７は、ＬＢＰ特徴量の算出処理の説明図。図８は、ＨＳＶ特徴量の算出処理の説明図。図９は、ＨＯＧ特徴量の算出処理の説明図。図１０は、色に関する局所特徴量の説明図。図１１は、区間を設定して小腸の途中の検出処理を行う手法の説明図。図１２は、ＢｏＦアルゴリズム処理の流れを説明する図。図１３は、ユーザ毎の絨毛分布の個人差を説明する図。

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

１．本実施形態の手法
まず本実施形態の手法について説明する。カプセル型内視鏡では、本体を小型化する必要があるため、バッテリー容量にも制限がある。そのため、ユーザに飲み込まれてから体外に排出されるまでの間、常に十分なフレームレートで撮像することが理想的であるが、現状では実現が困難である。それに対して、カプセル型内視鏡ではフレームレートを切り替える手法が広く知られている。例えば特許文献１では動きに基づいてフレームレートを制御する手法が開示されている。

しかし特許文献１の手法では、現在撮像している被写体が、撮像すべき被写体であるか否か（例えば特定の部位であるか否か）ということを考慮していない。例えば、本実施形態に係るカプセル型内視鏡では、主として大腸の観察を目的としている。その場合、何らかの理由で胃や小腸において動きが速くなれば、胃や小腸を高フレームレートで撮像することになり、大腸到達時に十分なバッテリーが残っていないおそれがある。また、カプセル型内視鏡が大腸を移動中であっても、動きが速くなければ高フレームレートにならないため、大腸を低フレームレートで撮像する可能性もある。ユーザ（例えば医師）による診断を高精度で行うためには、注目被写体の撮像漏れは極力抑止すべきであり、注目被写体を高フレームレートで撮像する必要性は高い。

仮に、カプセル型内視鏡の現在位置（現在撮像している被写体）を検出する、或いはカプセル型内視鏡が注目部位に位置している（注目被写体を撮像している）か否かを検出することが可能であれば、上記課題に対応可能である。具体的には、注目被写体の撮像を高フレームレートで行い、他の被写体（非注目被写体）の撮像を低フレームレートで行うことで、限られたバッテリー容量でも、注目被写体を効率的に撮像可能となる。

例えば注目被写体が大腸である場合、大腸の開始位置（大腸のうちの小腸側の端点であり、小腸と大腸の境界）を撮像画像に対する画像処理により検出する手法が考えられる。しかし、大腸の開始位置は画像上で大きな特徴を有するものではなく、撮像画像の画像処理により認識することは容易ではない。また、大腸等の消化器官では残渣が撮像されることも多く、当該残渣により消化管の壁面等の構造が隠されてしまい、画像処理による検出処理が阻害されるおそれもある。

さらにいえば、図１や図２を用いて後述するように、画像処理をカプセル型内視鏡以外の外部装置で行う場合、撮像画像を外部装置に送信する処理、及び外部装置から検出結果（狭義には後述するモード切り替え指示）を受信する処理が必要になる。そのため、撮像画像の取得後、高フレームレートへの切り替えまでの間に、当該送受信による遅延が発生する。その場合、仮に大腸の開始位置の検出が正確に行えたとしても、遅延時間の間にカプセル型内視鏡が大腸に入ってしまい、大腸の開始位置近傍が低フレームレートでの撮像しかされない可能性がある。

これに対して、小腸の開始位置（小腸のうちの胃側の端点であり、胃と小腸の境界）の撮像画像に基づく検出は比較的容易である。なぜなら、小腸には特徴的な絨毛構造がみられ、且つ当該絨毛構造は胃にはみられない。つまり、画像処理により絨毛構造（絨毛分布）を検出することで小腸の開始位置を検出可能である。具体的には、絨毛分布が少ない（狭義には無い）状態から絨毛分布が多い状態へと移行したポイントを小腸の開始位置と判定すればよい。

しかし、小腸の開始位置の検出が高精度で行えたとしても、それだけでは大腸を注目被写体とする場合には不十分である。この場合、大腸を確実に高フレームレートで撮像するには、小腸の開始位置から体外への排出までを高フレームレートとする必要があり、非注目領域の撮像まで高フレームレートで行ってしまうという当初の課題が解決されない。小腸の撮像には平均的には数時間を要するため、小腸全体を高フレームレートで撮像することでバッテリー切れとなり、大腸を高フレームレートで撮像できない可能性がある。

そこで本出願人は、注目被写体を低フレームレートで撮像する可能性を抑止し、且つ非注目被写体の高フレームレートでの撮像をできるだけ抑える手法を提案する。具体的には、本実施形態に係る内視鏡システムは図１に示したように、カプセル型内視鏡１００と、外部装置２００を含み、カプセル型内視鏡１００は、小腸及び大腸を撮像し、複数の撮像画像を時系列に取得する撮像部１１０と、第１のフレームレートで撮像を行う第１のモードと、少なくとも第１のフレームレートよりも高い第２のフレームレートで撮像を行う第２のモードとの、いずれのモードで前記撮像部を動作させるかを制御する処理部（第１の処理部）１２０と、撮像画像を外部装置２００に送信する通信部１３０（第１の通信部）を含み、外部装置２００は、撮像画像に基づいて、小腸の途中で第１のモードから第２のモードへのモード切り替え指示を出力する処理部（第２の処理部）２２０と、モード切り替え指示を第１の通信部１３０に送信する通信部（第２の通信部）２３０を含む。そして、第１の処理部１２０は、モード切り替え指示に基づいて、小腸の途中で撮像部１１０を第１のモードから第２のモードに切り替えて、小腸の途中から大腸までを第２のモードで動作させる制御を行う。

ここで、小腸の途中とは、小腸の開始位置よりも肛門側であり、且つ小腸の終了位置（大腸との境界）よりも口側の位置をいう。具体的には、小腸全体の長さをＬとした場合に、小腸の開始位置を基準としてｐ×Ｌ〜ｑ×Ｌの範囲に含まれる位置を指すものであってもよいここでｐ、ｑは０＜ｐ≦ｑ＜１を満たす数である。ｐ、ｑの具体的な値は限定されないが、一例としてはｐ＝０．２、ｑ＝０．８といった値でもよい。

本実施形態の手法では、小腸の中間的な位置から高フレームレートでの撮像を開始し、大腸でも高フレームレートでの撮像を継続する。そのため、大腸を高フレームレートで撮像できる可能性を高めることが可能である。また、小腸の開始位置から高フレームレートで撮像する場合に比べて、高フレームレートで撮像される小腸の領域を狭くする、すなわち小腸を高フレームレートで撮像する時間を短くすることが可能になる。そのため、非注目被写体の撮像でのバッテリー消費を抑止し、バッテリーを注目被写体である大腸の撮像に効率的に利用することが可能になる。

さらに、本実施形態の手法では小腸から大腸への切り替わり位置を検出する必要はなく、小腸のうち開始位置よりもある程度大腸寄りであることを検出できれば十分である。つまり、小腸の途中であることの検出処理を行う場合に、ある程度の時間、ある程度の枚数の撮像画像を用いることが可能である。そのため、図１等の構成を用い、撮像画像の取得後、高フレームレートへの切り替えまでの間に、送受信による遅延が発生する例であっても大きな問題とならない。具体的には、小腸の途中であることが検出されるタイミングの近傍のタイミングでは、カプセル型内視鏡１００は小腸を移動中であることが想定されるため、撮像画像の取得後、高フレームレートへの切り替えまでの間にカプセル型内視鏡１００が大腸に入ってしまう可能性が低く、大腸の撮像漏れ（低フレームレートでの撮像）の可能性が低い。また、図１１を用いて後述するように、検出処理にある程度の枚数の撮像画像を用いることができるため、検出処理の精度を向上させることも可能である。

以下、第１〜第３の実施形態について説明する。第１の実施形態では、基本的な処理例を説明し、第２の実施形態では学習処理を用いて小腸の途中を検出する手法を説明する。第３の実施形態では、学習処理を用いるとともに、ユーザ毎の絨毛分布の個人差を考慮した手法を説明する。

２．第１の実施形態
第１の実施形態に係る内視鏡システムの構成例を図２に示す。内視鏡システムは、大きくカプセル型内視鏡１００及び外部装置２００により構成されている。カプセル型内視鏡１００は、撮像部１１０、Ａ／Ｄ変換部１１５、処理部１２０、通信部１３０、制御部１５０、及び光源部１６０を含む。そして、通信部１３０は、撮像画像送信部１３１、切り替え指示受信部１３２を含む。

一方、外部装置２００は、画像保存部２１０、処理部２２０、通信部２３０、制御部２５０を含む。そして、処理部２２０は、画像処理部２２１、切り替え判定部２２２を含み、通信部２３０は、撮像画像受信部２３１、切り替え指示送信部２３２を含む。

カプセル型内視鏡１００においては、制御部１５０の制御により、光源部１６０が出射する光は、カプセル型内視鏡１００以外の被写体に照射する。その被写体からの反射光は、撮像部１１０にある光学レンズ系を介して同じく撮像部１１０にある撮像素子に入る。撮像部１１０の撮像素子により出力されたアナログ撮像画像はＡ／Ｄ変換部１１５へ転送される。本実施形態では、原色単版配列の撮像素子に対応する。

撮像部１１０は、Ａ／Ｄ変換部１１５を介して撮像画像送信部１３１へ接続している。撮像画像送信部１３１は、無線を介して外部装置２００にある撮像画像受信部２３１へ接続している。また、無線を介して外部装置２００にある切り替え指示送信部２３２が、切り替え指示受信部１３２へ接続している。処理部（第１の処理部）１２０は、撮像部１１０へ接続している。制御部１５０は、撮像部１１０、Ａ／Ｄ変換部１１５、処理部１２０、撮像画像送信部１３１、切り替え指示受信部１３２、及び光源部１６０と双方向に接続している。

Ａ／Ｄ変換部１１５は、制御部１５０の制御により、撮像部１１０からのアナログ撮像画像をデジタル化してデジタル撮像画像（以下撮像画像と省略）として撮像画像送信部１３１へ転送する。撮像画像送信部１３１は、制御部１５０の制御により、無線を介して外部装置２００にある撮像画像受信部２３１へ撮像画像を送信する。

本実施形態では、無線を介して、撮像画像を圧縮せずに外部装置２００へ送信する構成となっているが、この構成に限定する必要はない。例えば、撮像画像を一旦圧縮して外部装置２００へ送信する構成にしてもよい。

本実施形態では、外部装置２００にある切り替え指示送信部２３２からの判断制御信号（切り替え指示、モード切り替え指示）を用いて、所定の処理の仕組みで撮像画像フレームレート（以下撮像ＦＲと省略）を制御する構成となっている。そのため、処理部１２０での処理構成については、外部装置２００の処理構成の説明の後で記述する。

外部装置２００においては、撮像画像受信部２３１は、画像処理部２２１を介して画像保存部２１０及び切り替え判定部２２２へ接続している。切り替え判定部２２２は、切り替え指示送信部２３２へ接続している。切り替え指示送信部２３２は、無線を介してカプセル型内視鏡１００にある切り替え指示受信部１３２につながっている。制御部２５０は、画像保存部２１０、画像処理部２２１、切り替え判定部２２２、撮像画像受信部２３１、及び切り替え指示送信部２３２と双方向に接続している。

撮像画像受信部２３１は、無線を介してカプセル型内視鏡１００から転送されてきた撮像画像を受け取り、画像処理部２２１へ転送する。

画像処理部２２１は、制御部２５０の制御に基づき、撮像画像受信部２３１からの撮像画像に対して画像処理を行う。例えば、公知の補間処理、カラーマネジメント処理、エッジ強調処理、階調変換処理などを実施する。制御部２５０の制御に基づき、処理後のＲＧＢ３板撮像画像を画像保存部２１０へ転送して保存する。一方、処理後の撮像画像を、制御部２５０の制御に基づき切り替え判定部２２２へ転送する。

本実施形態は、上述したように大腸を診断するためのカプセル状の内視鏡に対応している。大腸の診断漏れを抑制した上、消費電力を節約するため、カプセル状の内視鏡が患者に口から飲み込まれてから大腸の入口の手前まで低フレームレートで撮像し、大腸入口から高フレームレートで撮像することが理想である。しかし、残渣や泡、カプセル自身の動き、患者の小腸及び大腸の構造の違いなどの影響でリアルタイムに大腸入口を検出することが困難である。従って、大腸入口の検出に失敗して、大腸に入ってからも低フレームレートで撮像し続けるリスクがある。そのため本実施形態では、カプセル状の内視鏡が患者に口から飲み込まれてから大腸に入る前に小腸途中の所定領域まで低フレームレート（例えば、２ｆｐｓ）で撮像し、小腸途中の所定領域から高フレームレート（例えば、１２ｆｐｓ）に切り替えて撮像する構成を提案する。この小腸途中の所定領域の特定が本実施形態の特徴となっている。

周知のように、小腸は、十二指腸、空腸と回腸から構成されている。胃が十二指腸を介して空腸とつながり、回腸が回盲弁によって大腸（結腸）とつながっている。空腸と回腸の明確な解剖学の境界はないが、おおむね口側の２／５が空腸、残りの３／５が回腸とされる。絨毛は、小腸にある特有なもの（構造）であり、絨毛は十二指腸において最も密生している。また、絨毛は回腸の終わりに向かって（大腸側に向かって）その密度が減るものであり、空腸では、全体的に腸内部の絨毛の分布が回腸の絨毛の分布に比べて密である。本実施例では、この十二指腸、空腸と回腸内部の絨毛の分布に着目し、撮像した画像に対し画像認識処理に基づいて絨毛分布を識別する。この絨毛分布の識別情報を利用して空腸と回腸のおおよその境界を特定し、空腸と回腸のおおよその境界を前記低フレームレートから高フレームレートへの撮像フレームレートを切り替えするための小腸途中の所定領域とする。ただし、以下で説明する手法からわかるように、本実施形態の手法は小腸の途中であること、すなわちバッテリー消費を抑止できる程度に小腸の開始位置よりも肛門側であり、且つ大腸の撮像漏れを抑止できる程度に小腸の終了位置よりも口側の位置を検出できればよく、特定の部位の境界を厳密に検出するものではない。

具体的には、切り替え判定部２２２において、時系列に撮像した画像に対して持続的に前記腸内の絨毛の分布を識別し、絨毛分布の減少が確認できたら、この時点のカプセル本体がある小腸の位置を小腸途中の所定領域と判定する。制御部２５０の制御に基づき、切り替え指示送信部２３２を介して無線でその判定情報をリアルタイムにカプセル本体にある切り替え指示受信部１３２へ送信する。切り替え指示受信部１３２が、制御部１５０の制御に基づき、判定情報を処理部１２０へ転送する。処理部１２０は、制御部１５０の制御に基づき、低フレームレートから高フレームレートの撮像モードに切り替えて撮像する。

また、本実施形態では、小腸途中の所定領域まで低フレームレート（例えば、２ｆｐｓ）で撮像し、小腸途中の所定領域から高フレームレート（例えば、８ｆｐｓ）に切り替えて撮像する仕組みとなっているが、このような構成に限定する必要はない。一つの変形例として、小腸途中の所定領域まで低フレームレート（例えば、２ｆｐｓ）で撮像し、小腸の絨毛分布の減少が確認できたら高フレームレート（例えば、８ｆｐｓ）に切り替えて撮像し、小腸の絨毛分布がさらに減少したら、超高フレームレート（例えば、１６ｐｆｓ）に切り替えて撮像する。このように、絨毛の分布に応じて多段階（３段階以上（その値を含む）を含む）フレームレートを切り替えて撮像構成にしてもよい。

また、高フレームレートと超高フレームレートとの切り替えは、絨毛分布に基づいて行われるものには限定されない。もう一つの変形例として、低フレームレートが１段階（例えば、２ｆｐｓ）、高フレームレートが２段階（例えば、８ｆｐｓと１６ｆｐｓ）の構成で、小腸途中の所定領域まで低フレームレートで撮像し、小腸の絨毛分布の減少が確認できたら高フレームレートモードに切り替えて撮像する。この場合、さらに、高フレームレートモードにおいて、カプセル本体の動きを検出し、多段階で撮像フレームレートを制御する。動きがないあるいは小さい場合、高フレームレート１（例えば、８ｆｐｓ）で撮像し、動きが大きい場合、高フレームレート２（例えば、１６ｆｐｓ）で撮像する。つまり、診断漏れを防ぐため、小腸途中の所定領域から動きに応じて多段階撮像フレームレートで撮像する構成にする。動きの大きさの測定に関しては、時系列に撮像された複数の画像を用いて検出してもよいし、動きを検出するセンサーなどを用いて検出してもよい。

本実施形態及び変形例に示されているように、撮像画像を用いて絨毛の分布を検出し、カプセル本体が口に飲みこまれてから小腸途中の所定領域まで低フレームレートで撮像し、小腸途中の所定領域から大腸を通過し体外に排出されるまで１段階以上（その値を含む）の高フレームレートで撮像するため、大腸の診断もれが予防できることと同時に、カプセル型内視鏡１００の消費電力も節約できる。

また、以上ではカプセル型内視鏡１００の本体で撮像した画像を外部装置２００へ送信し、外部装置２００において小腸途中の所定領域を検出する構成となっているが、この構成を限定する必要はない。小腸途中の所定領域を検出する構成をカプセル型内視鏡１００の本体に組み込んでもよい。

この場合の内視鏡装置（カプセル型内視鏡）４００の構成例を図３に示す。内視鏡装置４００は図３に示したように、撮像部１１０、Ａ／Ｄ変換部１１５、処理部１２０、撮像画像送信部１３１、制御部１５０、光源部１６０を含む。そして、処理部１２０は、画像処理部１２１、切り替え判定部１２２、フレームレート制御部１２３を含む。

ここで、撮像部１１０、Ａ／Ｄ変換部１１５、制御部１５０、光源部１６０は、図２を用いて上述したものと同様である。

撮像画像送信部１３１は、撮像画像を外部に対して送信する。図３の例では、撮像画像に基づく小腸の途中の検出処理は内視鏡装置内部で行うため、撮像画像送信部１３１による送信は当該検出処理を目的としたものではない。例えば、撮像画像送信部１３１から送信された撮像画像は、外部装置の記憶部への記憶、或いは表示部への表示に用いられるものであってもよい。

処理部１２０の画像処理部１２１と切り替え判定部１２２は、図２における外部装置２００の画像処理部２２１と切り替え判定部２２２に対応する。行われる処理は同様であるため、詳細な説明は省略する。

フレームレート制御部１２３は、図２におけるカプセル型内視鏡１００の処理部１２０自体に相当する。具体的には、切り替え判定部１２２における判定結果（切り替え指示）に基づいて、撮像ＦＲの制御を行う。

図３の構成では、撮像画像に基づく小腸の途中の検出処理を内視鏡装置４００の内部で実行することができる。そのため、上述したような撮像画像の取得後、高フレームレートへの切り替えまでの間の遅延を、図２の例に比べて小さくすることが可能であり、大腸の撮像漏れの可能性をより抑止することができる。

図４に本実施形態に係る処理を流れを説明するフローチャートを示す。本実施形態の処理が開始されると、まずカプセル型内視鏡１００において撮像画像が撮像される（Ｓ１０１）。そしてカプセル型内視鏡１００の通信部（第１の通信部）１３０から外部装置２００に対して撮像画像が送信され（Ｓ１０２）、外部装置２００の通信部（第２の通信部）２３０で撮像画像が受信される（Ｓ１０３）。

外部装置２００の処理部（第２の処理部）２２０では、取得した撮像画像に基づいて小腸の途中を検出する検出処理を行う（Ｓ１０４）。検出処理では、例えば絨毛分布の検出を行えばよく、具体的な手法については第２，第３の実施形態で後述する。

検出処理の結果、撮像ＦＲの切り替えが必要と判定された場合には、外部装置２００の通信部２３０から切り替え指示が送信され（Ｓ１０５）、カプセル型内視鏡１００の通信部１３０により、当該切り替え指示が受信される（Ｓ１０６）。そして、カプセル型内視鏡１００の処理部１２０は、受信した切り替え指示に基づいて、撮像部１１０の撮像ＦＲの切り替え制御を実行する（Ｓ１０７）。

以上の本実施形態では、第２の処理部２２０（狭義には切り替え判定部２２２）は、小腸の胃側から大腸側へ向かうにつれて変化する特徴量を撮像画像から検出し、検出結果に基づいてモード切り替え指示を出力する。

このようにすれば、小腸の途中（所定領域）を適切に検出することが可能になる。そのため、小腸から大腸への切り替わりといった画像処理から検出困難な状況を検出対象とする必要がないため、判定処理（検出処理）を精度よく行うことが可能になる。なお、撮像画像を用いることからわかるように、特徴量とは画像から検出可能なものであり、色、テクスチャ、勾配、輪郭（エッジ）等の特徴、或いはそれらを用いることで検出可能な特徴を表す量である。

また、第２の処理部２２０は、小腸の胃側から大腸側へ向かうにつれて変化する特徴として、絨毛分布に関する情報を撮像画像から検出し、検出結果に基づいてモード切り替え指示を出力してもよい。

これにより、絨毛分布を用いて小腸の途中を検出することが可能になる。上述したように、口から胃までは絨毛がみられず、また大腸も絨毛がみられない。さらに、小腸内でも胃に近い位置では絨毛が多く、大腸側に行くほど絨毛が少なくなる。つまり、絨毛分布は、小腸であるか否か、さらには小腸においてどの程度大腸側に移動した位置であるかを判定する指標として用いることができ、小腸の途中の検出処理に適している。なお、ここでの「絨毛分布に関する情報」とは、例えば絨毛分布の多い少ないを表す情報であってもよく、例えば第３の実施形態で後述する絨毛スコアであってもよい。或いは、「絨毛分布に関する情報」とは、第２の実施形態で後述するように、時系列で取得される画像がそれぞれ絨毛画像であるか否かを表す情報であってもよいし、図１１を用いて後述するように、所定区間における絨毛画像の枚数を表す情報であってもよい。

また、図３を用いて上述したように、以上の本実施形態は、小腸及び大腸を撮像し、時系列の撮像画像を取得する撮像部１１０と、第１のフレームレートで撮像を行う第１のモードと、少なくとも第１のフレームレートよりも高い第２のフレームレートで撮像を行う第２のモードとの、いずれのモードで撮像部１１０を動作させるかを制御する処理部１２０を含み、撮像画像に基づいて、小腸の途中で撮像部１１０を第１のモードから第２のモードに切り替えて、小腸の途中から大腸までを第２のモードで動作させる制御を行う内視鏡装置（カプセル型内視鏡）４００に適用できる。

これにより、撮像部１１０のモード（撮像ＦＲ）切り替えだけでなく、当該切り替えのための小腸の途中を検出する処理についても、内視鏡装置４００の内部で実行することが可能になる。この場合、内視鏡装置４００の処理部１２０は、小腸の胃側から大腸側へ向かうにつれて変化する特徴量として、絨毛分布に関する情報を撮像画像から検出し、検出結果に基づいて、小腸の途中で撮像部１１０を第１のモードから第２のモードに切り替える制御を行うことになる。

例えば、内視鏡装置４００の処理部１２０は、撮像部１１０が第１のモードで動作している状態において、絨毛分布が減少したと判定された場合に、第１のモードから第２のモードに切り替える制御を行えばよい。絨毛分布が減少したか否かの判定手法の詳細については、第２、第３の実施形態において後述する。

第２、第３の実施形態では、小腸の途中を検出する処理、つまり狭義には絨毛分布に関する判定処理は、外部装置２００の処理部（第２の処理部）２２０において行われるものとして説明するが、本実施形態の手法を図３に示した内視鏡装置４００に適用する場合、対応する処理は内視鏡装置４００の処理部１２０で実行されることになる。すなわち、本明細書において外部装置２００の処理部（第２の処理部）２２０が行うと記載した処理は、図３の内視鏡装置４００の処理部１２０により行われてもよい。

３．第２の実施形態
本実施形態における内視鏡システム或いは内視鏡装置の構成は第１の実施形態と同様であり、図２又は図３の構成を用いることが可能である。第１の実施形態と同一の構成要素については同一の符号を付与して適宜説明を省略し、第１の実施形態の構成要素と異なる部分のみを説明する。

図５は、本実施形態に係る切り替え判定部２２２の構成の一例である。切り替え判定部２２２は、分類部３０１、分析判断部３０２及び記憶部３０３を備えている。画像処理部２２１は、分類部３０１、分析判断部３０２を介して切り替え指示送信部２３２へ接続している。記憶部３０３は、分類部３０１へ接続している。制御部２５０は、分類部３０１、分析判断部３０２及び記憶部３０３と双方向に接続している。

なお、図５では図２における外部装置２００の切り替え判定部２２２の構成を示したが、図３における内視鏡装置（カプセル型内視鏡）４００の切り替え判定部１２２の構成も、図５と同様である。

本実施形態では、公知の画像認識技術で撮像画像に対する色、勾配及びテクスチャ関連の少なくとも一つの特徴量で学習・分類した結果に基づいて、絨毛の分布特徴を分析し小腸途中の所定領域を検出する。

本実施形態においては、Bag-of-Features（以下ＢｏＦと記す）と呼ばれる対象物の位置によらない画像認識技術のアルゴリズムを用いる。この手法は、文書検索手法であるBag-of-Wordsを画像認識に適用したもので、学習と分類の２段階の処理から構成されている。

学習の段階では、まず、複数の学習画像を選ぶ。本実施例では、「絨毛」と「その他」を含む少なくとも２つ以上（その値を含む）の分類項目（分類画像）を設定するため、絨毛の分布密度が高い画像（例えば、画像の中に写っている絨毛構造が多いもの）を「絨毛」の学習画像、それ以外の画像（例えば、画像の中に写っている絨毛構造がないもの、絨毛構造が少ないものなど）を「その他」の学習画像とする。

なお、分類項目はこのような２つを設定するものに限定する必要はない。分類精度を高めるために、画像の内容に応じて、「絨毛」の項目をさらに分割して「絨毛が多い」、「絨毛がやや多い」、「絨毛が少ない」、「絨毛がない」などの新しい分類項目を設定し、それらに対応する学習画像を選ぶ構成にしてもよい。

学習画像から複数の小さいサンプル領域を抽出し特徴量抽出処理によって特徴量ベクトルを算出し、クラスタリング処理によってVisual Word（以下ＶＷと記す）という観察基準を選出する。本実施形態では、公知のK-means法を利用する。続いて、各学習画像から空間方向において順次抽出した各々の小領域に対して上記同様に特徴量ベクトルを算出し、前記ＶＷとの距離を求める。この距離が最も小さいＶＷに一票を投票する。一枚の学習画像の全部の小領域に対する投票処理が完了したら、その画像に対応するＢｏＦヒストグラムが生成される。最終的に、学習画像の枚数分のＢｏＦヒストグラムが生成される。これらのＢｏＦヒストグラム及びそれらを成分とするＢｏＦベクトルを用いて画像を分類するための学習識別器を構築する。本実施例では、ＳＶＭ（Support Vector Machine）という学習識別器アルゴリズムを採用する。

具体的な学習処理を説明する。なお、本実施形態における切り替え判定部２２２は、学習結果を保持していればよい。そのため、切り替え判定部２２２において学習処理を行ってもよいし、学習処理は外部装置２００の他のブロック、或いは他の装置において行われ、切り替え判定部２２２はその結果を取得するものであってもよい。

学習用画像は、画像と絨毛分布の程度との対応が予め判明している画像である。例えば診断対象の患者とは別の患者から予め撮像しておいた画像を用いる。複数の学習用画像は時系列の画像である必要はない。

図６に示すように、画像ＩＭ（１枚の学習用画像）に所定サイズの局所領域ＬＡを設定する。具体的には、複数の局所領域ＬＡ１、ＬＡ２、ＬＡ３、・・・を、互いに重なりを許して設定する。例えば画像ＩＭのサイズが３００画素×３００画素の場合、局所領域のサイズを３０画素×３０画素に設定するが、画像ＩＭのサイズに応じて局所領域のサイズを変えてもよい。

次に、各局所領域ＬＡの画像に対して、例えば、ＬＢＰ（Locally Binary Pattern）を適用する。ＬＢＰ値は、局所領域ＬＡの各画素を中心とする３×３画素から求める。３×３画素の中心の画素をＰ０とし、その周囲の８画素をＰ１〜Ｐ９とすると、Ｐ１〜Ｐ９の各画素とＰ０とで画素値を比較し、Ｐ０の画素値以上の場合には“１”を割り当て、Ｐ０の画素値より小さい場合には“０”を割り当てる。そのビットをＰ１〜Ｐ９の順に並べて８ビットの値を得る。

これを、局所領域ＬＡの全画素について行い、１つの局所領域ＬＡあたり３０×３０＝９００個のＬＢＰ値を得る。その９００個のＬＢＰ値を０〜２５５のＬＢＰ値に振り分けて、各値の個数をカウントし、局所領域ＬＡについて２５６次元の局所特徴ヒストグラムを得る。さらに、ブロックごとに正規化し、これを２５６次元の特徴ベクトル（局所特徴量）とみなし、この局所特徴量を局所領域ＬＡ１、ＬＡ２、・・・の各々について求め、局所領域の個数分の局所特徴量を生成する。以上の局所特徴量の算出処理を説明するものが図７である。

この局所領域から局所特徴量を算出する処理を複数の画像に対して行い、局所特徴量として多数のベクトルを記憶する。例えば学習用画像を１００枚とし、画像１枚あたり１００個の局所領域を設定したとすると、１００００個分の局所特徴量が取得される。

次に、これらの記憶された局所特徴量に対して例えばK-means法等を用いてクラスタリングを行い、代表ベクトルを抽出する。この代表ベクトルが上述のＶＷに対応する。K-means法は、分割クラス数をｋ個とし、ｋ個の代表ベクトルを初期状態に設定して特徴ベクトルをｋ個のクラスに分割し、各クラスの平均位置を求めて代表ベクトルを移動してクラスの分割を再度行い、これを繰り返して最終的なクラスの分割を決める手法である。例えば、本実施形態では代表ベクトル（ＶＷ）の数をｋ＝１００個とする。

次に設定された１００個の代表ベクトルの中から、局所特徴量と代表ベクトルのユークリッド距離が最短となるものを見いだす。これを各画像について局所領域毎に行う。１００個の代表ベクトルに１〜１００の番号を付し、各番号の代表ベクトルに対してユークリッド距離が最短だった局所領域が何個あったかをカウントし、１００次元のヒストグラムを生成する。このヒストグラムは１枚の学習用画像毎に生成する。これを１００次元のベクトルとみなし、画像のＢｏＦ（Bag of Features）特徴ベクトルと呼ぶ。

以上の処理により、１枚の学習用画像から１つのＢｏＦ特徴ベクトルが取得される。この学習用画像の枚数分だけのＢｏＦ特徴ベクトルと、正解のラベル（例えば、「絨毛」か「その他」かというラベル）とを関連づけて学習データセットを生成する。

そして、上記の学習データセットを用いて、例えばＳＶＭ（Support Vector Machine）により学習を行う。ＳＶＭは、与えられた学習データセットから、特徴ベクトルのベクトル空間におけるラベルの分離面（例えば「絨毛」と「その他」の特徴ベクトルを分離する面）を決定する学習器である。例えば、特徴ベクトルのベクトル空間において線形に分離を行い、分離平面を決定する。或いは、特徴ベクトルよりも高次元のベクトル空間において線形に分離を行い、特徴ベクトルの次元で見たときに非線形な分離面を決定してもよい。本実施形態では、以上の学習処理の結果を記憶部３０３に保存する。

分類の段階では、分類するための撮像画像を順に入力し、撮像画像から空間方向において順次抽出した各々の小領域に対して上記同様に局所特徴量を算出し、前記ＶＷとの距離を求める。この距離が最も小さいＶＷに一票を投票する。１枚の撮像画像の全部の小領域に対する投票処理が完了することで、学習時と同様に、１枚の撮像画像から１つのＢｏＦ特徴ベクトル（ＢｏＦのヒストグラム）が求められる。

続いて、学習により得られたＳＶＭ識別器と、撮像画像から取得されたＢｏＦ特徴ベクトルを用いて識別を行い、その識別結果（分類結果）を出力する。具体的には、分類部３０１は、制御部２５０の制御に基づき、画像処理部２２１からの撮像画像を用いて上記のようにＢｏＦヒストグラムを作成し、記憶部３０３からのＳＶＭ識別器と学習画像からのＢｏＦヒストグラム及びそれらを成分とするＢｏＦ特徴ベクトルの情報を抽出して比較し、「絨毛」と「その他」のどちら一方に属するかを示す分類インデックス指標を与える。具体的には、「絨毛」であることの確からしさを表す絨毛スコアと、「その他」であることの確からしさを表すその他スコアを求める。分類部３０１は、撮像画像の分類インデックス指標を分析判断部３０２へ転送する。

本実施形態では、撮像画像に対する色、勾配及びテクスチャ関連の少なくとも一つの特徴量で特徴量ベクトルを算出する構成となっている。

勾配に関する特徴量は上述したように例えばＬＢＰである。また、色に関する特徴量は、図８に示したＨＳＶ（Hue-Saturation-Value）であってもよい。ＨＳＶは、色相（Hue）、彩度（Saturation）、明度（Value）の３成分からなる色空間である。ＨＳＶを用いた場合の局所特徴量の算出の一例を図８に示す。ＨＳＶ色空間は、色相方向、彩度方向及び明度方向にそれぞれ複数の領域に分割する。まず、画像を画素ごとにＨＳＶ表色系に変換する。変換後のＨＳＶ画像をブロックに分割し、ブロック単位で色相に関する彩度、及び明度を要素とするヒストグラムを算出する。続いて、ブロックを移動し、同様な処理を実施し、１枚の画像に含まれるブロック数分のヒストグラムを作成する。さらに、ブロックごとに正規化し、ＨＳＶ特徴量ベクトルを生成する。

また、テクスチャに関する特徴量は、図９に示したＨＯＧ（Histogram-of-Oriented-Gradient）であってもよい。ＨＯＧを用いた場合の局所特徴量の算出の一例を示す。画像の局所領域をブロックに分割し、画素毎に輝度勾配情報（勾配方向と重みなど）を算出し、ブロック単位で輝度勾配のヒストグラムを算出する。続いて、さらに、ブロックを移動し、同様な処理を実施し、１枚の画像に含まれるブロック数分のヒストグラムを作成する。さらに、ブロックごとに正規化し、ＨＯＧ特徴量ベクトルを生成する。

本実施形態では、ＬＢＰ特徴量、ＨＳＶ特徴量及びＨＯＧ特徴量を用いて学習・分類を実施する構成となっているが、このような構成に限定する必要はない。必要に応じて勾配、色及びテクスチャに関するあらゆる特徴量を用いて学習・分類を実施する構成としてもよい。

また、これらの複数種類の局所特徴量を組み合わせた特徴ベクトルを生成してもよい。色、勾配、テクスチャの組合せ方法には、大きく分けて処理の早い段階で組合せるアーリーフュージョン（early fusion）と処理の遅い段階で組合せるレイトフュージョン（late fusion）がある。

アーリーフュージョンの一例として、各局所領域の中の３×３画素のパターンをテクスチャ特徴量のＵＬＢＰ（Uniform LBP）特徴量と中心画素のＨＳＶ色特徴の組合せによって表現する方法がある。ＨＳＶ色特徴は、例えば、図１０のようにＨＳＶ色空間を色相方向に１２分割し、彩度方向に３分割し、無彩色の明度を４分割する。この場合、合計４０次元の特徴量であり、ＵＬＢＰ特徴量が１０次元であるため、その結果生成されるアーリーフュージョンの特徴量の次元は、４０×１０＝４００次元である。

レイトフュージョンの一例として、ＨＳＶ色特徴量のＢｏＦヒストグラムとＬＢＰヒストグラムを並べて得られる結合ヒストグラムを画像の特徴ベクトルとする方法がある。また、レイトフュージョンの別の例として、色単独、テクスチャ単独、或いは、それらの上述したアーリーフュージョンやレイトフュージョンの組合せをそれぞれ別々に、後述するＳＶＭ等の判別器で学習し、分類時の分類スコアを合算し、それをある閾値で判定する方法がある。以上のような手法を組合せることで、より精度の高い学習・分類器を構築できる。

以上の学習、分類処理の流れを説明するものが図１２である。図１２の左側が学習段階を表し、具体的には学習画像を複数の局所領域に分割して局所特徴量を求める（Ａ１、Ａ２）。これを複数の学習画像に対して行うことで多数の局所特徴量が求められるため、そこからＶＷを設定する（Ａ３）。さらに、ＶＷと局所特徴量との距離に基づいて、１枚の学習画像から１つのＢｏＦ特徴ベクトル（ＢｏＦヒストグラム）を求める（Ａ４）。この際、各学習画像には正解データ（「絨毛」、「その他」というタグ）が付されているため、ＢｏＦ特徴ベクトルと正解データから識別器（例えばＳＶＭ）を構成する（Ａ５）。

分類時には、撮像画像（テスト画像）に対して同様に局所領域への分割と局所特徴量の算出が行われる（Ｂ１，Ｂ２）。そして、Ａ３で設定されたＶＷと局所特徴量との距離に基づいて、１枚の学習画像から１つのＢｏＦ特徴ベクトル（ＢｏＦヒストグラム）を求める（Ｂ３）。そして、求められたＢｏＦ特徴ベクトルと、Ａ５で構成された識別器とにより、１つの撮像画像を複数の分類項目のいずれか１つに分類する（Ｂ４，Ｂ５）。

分析判断部３０２は、制御部２５０の制御に基づき、時系列に撮像された複数の画像からなる区間内において、「絨毛」或いは「その他」と分類された画像の枚数を用いて、絨毛分布を求める。図１１は、「絨毛」又は「その他」の分布測定プロセスの一例を示している。時系列に撮像された画像をＮ枚画像（Ｎ≧２の整数）単位で１つの分布測定の区間とする。その区間内において、「絨毛」と分類された画像の枚数をカウントし、そのカウント数が所定の閾値ｔｈ１より大きい場合、この区間を「絨毛区間」と判定する。一方、区間内に「その他」と分類された画像の枚数をカウントし、そのカウント数が所定の閾値ｔｈ２より大きい場合、この区間を「その他区間」と判定する。１つの区間の判定が終わったら、時系列方向でｎ枚（ｎ≧１）画像をシフトして、次のＮ枚画像からなる新しい区間で同じ判定を実施する。このように繰り返して区間ごとに「絨毛区間」あるいは「その他区間」の判定を実施する。

解剖学上では、絨毛が小腸にしか分布していない。小腸の前半領域において絨毛の分布密度が高く、回腸領域になると絨毛の分布密度がやや低くなる。本実施例では、大腸診断をするためのカプセル状の内視鏡に対応している。まず、カプセル型内視鏡１００が飲み込まれてから低フレームレートで撮像する。前記の「絨毛区間」と「その他区間」の判定プロセスで、カプセル型内視鏡１００が飲み込まれてから、ある区間で初めて「絨毛区間」と判定された場合、カプセル型内視鏡１００が小腸に入ったと知らせる。ただし、低フレームレートのままで撮像し続ける。続いて、その直前の区間が「絨毛区間」の状態だが、ある区間が「その他区間」に切り替わった場合、小腸途中の所定領域と識別し、撮像フレームレートを低フレームレートから高フレームレートへ切り替える。

このように、カプセル型内視鏡１００が口から飲み込まれてから低フレームレートで撮像するが、時系列に撮像された複数の所定枚数の画像からなる区間内に「絨毛」あるいは「その他」と分類された画像の枚数を用いて「絨毛区間」あるいは「その他区間」を判定する。そして、絨毛の分布密度が低くなる小腸途中の所定領域を識別して撮像フレームレートを低フレームレートから高フレームレートへ切り替えて小腸の後半と大腸を撮像することで、大腸の診断もれが予防できることと同時に、カプセル型内視鏡１００の消費電力も節約できる。

なお、以上の説明では小腸途中の所定領域を識別して、低フレームレートから高フレームレートへ切り替えて、その後ずっと高フレームレートで撮像し続ける構成となっているが、このような構成に限定する必要はない。

本実施形態の一変形例をさらに提案する。解剖学上では、小腸の前半領域において絨毛の分布密度が高く、回腸領域になると絨毛の分布密度がやや低くなると定義されている。しかしこの定義は、小腸の前半領域が後半の回腸領域に比べて平均的に絨毛の分布密度が高いとのことで、患者によっては、小腸の前半領域においても、絨毛の分布密度が非常に高い区域と相対的に絨毛の分布密度がやや低い区域がある。一方、回腸領域においても、絨毛の分布密度が非常に低い区域と相対的に絨毛の分布密度がやや高い区域がある。つまり、例えば、小腸の前半領域においては、回腸領域に比べて平均的に絨毛の分布密度が高いが、同じ小腸の前半領域の中に区域によって絨毛の分布密度のばらつきがあり、絨毛の分布密度が相対的に低い区域もある。さらに、カプセル型内視鏡１００が体内の物理的な動きに任せて動いているため、前後に前進したり後退したりして、ずっと前に進んでいるわけではない。例えば、一旦胃から小腸に入ってからまた胃に戻る状況がよくある。

これらのような場合、上述した「絨毛区間」又は「その他区間」の判定プロセスでは、小腸の前半領域に絨毛の分布密度が低くなる場合、また、一旦胃から小腸に入ってから再び胃に戻った場合にも、「絨毛区間」の出現後に「その他区間」が現れるため、低フレームレートから高フレームレートに切り替えてカプセル型内視鏡１００が体外排出されるまで高フレームレートで撮像し続けることになる。

そのため、消費電力の無駄になり、途中で電源切れになるリスクがある。そこで、本変形例では、前記の課題に対応するため、以下のように提案する。「その他区間」が現れたら直ちに低フレームレートから高フレームレートに切り替えて撮像するが、その後、「絨毛区間」がまた現れたら再び高フレームレートから低フレームレートに切り替えて撮像する。つまり、「絨毛区間」と「その他区間」が判定される度に高フレームレートから低フレームレート、あるいは、低フレームレートから高フレームレートに切り替えて撮像する。

このようにすれば、上述したような高フレームレートでの撮像継続が好ましくない状況において、適切に低フレームレートに戻ることができ、消費電力を低減できる。なお、この構成では、さらに診断漏れや「絨毛区間」あるいは「その他区間」の誤判定を防ぐため、飲み込まれてから一定の時間が経ったら、高フレームレートで撮像するように固定する構成にしてもよく、種々の変形実施が可能である。

以上の本実施形態では、第２の処理部２２０は、撮像部１１０が第１のモードで動作している状態において、絨毛分布が減少したと判定された場合に、第１のモードから第２のモードへのモード切り替え指示を出力する。

上述の例であれば、絨毛分布が減少したか否かはＮ枚の判定区間における「絨毛」と判定された画像の枚数に基づいて判定すればよい。この場合、枚数が単純に減少したか否かを判定してもよいが、上述したように閾値判定により「絨毛区間」か「その他区間」かを判定し、「絨毛区間」から「その他区間」へ遷移した場合に、絨毛分布が減少したと判定してもよい。

これにより、絨毛分布が減少したと判定された場合に、第２のモード、すなわち高フレームレートモードへと切り替えることが可能になる。上述したように、小腸の中の絨毛分布は大腸側へ移動するほど平均的に小さくなることが知られている。つまり、ある程度絨毛分布が減少したということは、小腸の開始位置に対してある程度大腸側まで移動していることに対応するため、それを高フレームレートへの切り替えトリガーとすれば、適切に消費電力を低減するとともに、大腸の撮像漏れを抑止することが可能になる。

また、第２の処理部２２０は、絨毛分布が増加したと判定された場合に、撮像部１１０を第１のモードで動作させるモード切り替え指示を出力してもよい。

絨毛分布が増加したとは、具体的には絨毛分布がない胃から、絨毛分布がみられる小腸へ撮像部位が変化した状況に対応する。つまり、絨毛分布の増加をトリガーとして撮像部１１０を第１のモードで動作させることで、小腸の開始位置以降の被写体を第１のモードで撮像することが可能になる。なお、絨毛分布を撮像画像から判定するためには、撮像部１１０による撮像は必須である。つまり、絨毛分布の増加前であっても撮像部１１０を全く動作させないという実施形態は考えにくい。一例としては、絨毛分布の増加前には第１のフレームレートよりもさらに低い第０のフレームレートで動作するモードに設定しておいてもよい。

或いは、ユーザの口に飲み込まれてから絨毛分布が減少するまでは常に第１のモードで動作させてもよい。この場合、絨毛分布の増加自体は撮像ＦＲの切り替えトリガーとはならない。

また、第２の処理部２２０は、撮像部１１０が撮像した複数の撮像画像の各撮像画像を、絨毛分布が多いと判断された第１の分類画像、及び絨毛分布が少ないと判断された第２の分類画像を少なくとも含む複数の分類画像のいずれかに分類し、複数の分類画像のうちの少なくとも１つの分類画像の出現頻度に基づいて、絨毛分布を求め、絨毛分布に基づいて、第１のモードから第２のモードへのモード切り替え指示を出力してもよい。

これにより、各撮像画像をいずれかの分類画像（分類項目）に分類し、その分類結果に基づいて絨毛分布を求めることが可能になる。上述したように、本実施形態では、分類項目とは絨毛分布の多い少ないを表す項目であることを想定しているため、撮像画像がいずれの分類項目に分類されたかという分類結果は、当該撮像画像に含まれる絨毛分布の多寡を表す情報として利用可能である。

また、第２の処理部２２０は、学習処理により求められた分類情報を取得し、撮像部１１０が撮像した複数の撮像画像の各撮像画像から求められる特徴量と、分類情報とに基づいて、複数の撮像画像を複数の分類画像のいずれかに分類してもよい。

これにより、分類処理を学習処理に基づいて実行することが可能になる。上述の本実施形態では学習用の特徴量としてＢｏＦ特徴ベクトルを用い、且つＳＶＭを識別器として利用する例を示したが、他の特徴量を用いたり、他の手法により識別器を構成することも可能である。

また、第２の処理部２２０は、時系列的に取得されたＮ（Ｎは２以上（その値を含む）の整数）枚の撮像画像を含む判定区間を設定し、Ｎ枚の撮像画像のうち、第１の分類画像に分類された撮像画像がｔｈ１（ｔｈ１はＮ以下（その値を含む）の正の整数）以下である場合、又は第２の分類画像に分類された撮像画像がｔｈ２（ｔｈ２はＮ以下（その値を含む）の正の整数）以上である場合に、絨毛分布が少ないと判定し、第１のモードから第２のモードへのモード切り替え指示を出力してもよい。

これにより、図１１に示したように所定区間における「絨毛」に分類された画像の枚数、或いは「その他」に分類された画像の枚数を用いて、小腸の途中を検出してモード切り替え指示を出力することが可能になる。なお、分類項目（分類画像）が３以上（その値を含む）であった場合には、各分類項目の出現頻度のうちいずれを用いてもよいし、２以上（その値を含む）の分類項目の出現頻度を組み合わせて用いてもよい。なお上述した本実施形態の手法では、具体的には判定区間がいずれの分類項目に該当する区間であるかを特定しているが、これに限定されず、枚数（或いは割合）そのものの時系列変化を判定してもよい。

また、第２の処理部２２０は、撮像部１１０が第２のモードで動作している状態において、絨毛分布が増加したと判定された場合に、第２のモードから第１のモードへのモード切り替え指示を出力してもよい。

これにより、第２のモード（高フレームレートモード）に移行した後であっても、当該移行が不適切なものであったと判定して、第１のモード（低フレームレートモード）に戻すことが可能になり、不要な電力消費を抑えることが可能になる。ここでの第２のモードへの遷移が不適切であった状況とは、具体的には上述した小腸から胃への出戻り等が考えられる。

また、第１の処理部１２０は、第１のモードでは第１のフレームレートで撮像部１１０を動作させ、第２のモードでは第２のフレームレート、又は第２のフレームレートよりも高い第３のフレームレートで撮像部１１０を動作させる制御を行ってもよい。その際、第２の処理部２２０は、撮像部１１０が第２のモードで動作している状態において、撮像部１１０が第２のフレームレートと第３のフレームレートのいずれで動作するかを切り替えるフレームレート切り替え指示を出力し、第１の処理部１２０は、フレームレート切り替え指示に基づいて、撮像部１１０を第２のフレームレートと第３のフレームレートのいずれかで動作させる制御を行う。

これにより、第２のモード（高フレームレートモード）の中でも複数の撮像ＦＲを切り替えることが可能になる。このため、所定の対象を第３のフレームレートで撮像することで、当該対象の撮像漏れの可能性をさらに抑止することが可能になる。

また、第２の処理部２２０は、撮像部１１０が第２のモードで動作している状態における、絨毛分布又はカプセル型内視鏡１００の動き情報に基づいて、撮像部１１０が第２のフレームレートと第３のフレームレートのいずれで動作するかを切り替えるフレームレート切り替え指示を出力してもよい。

これにより、高フレームレート（第２のフレームレート）と超高フレームレート（第３のフレームレート）との切り替えを、絨毛分布又は動き情報を用いて行うことが可能になる。例えば絨毛分布を用いる場合、判定区間における「絨毛」と判定された画像の割合に関して２つの閾値を用意し、閾値Ｔ１を下回ったら第１のフレームレートから第２のフレームレート（第１のモードから第２のモード）へ切り替え、閾値Ｔ２（＜Ｔ１）を下回ったら、第２のフレームレートから第３のフレームレートへ（第２のモード内で）切り替えてもよい。絨毛分布が十分小さい場合とは、大腸に十分近い位置であることが想定されるため、注目被写体である大腸を第３のフレームレートで撮像できる可能性を高くでき、且つ可能な限り第３のフレームレートで動作する時間を短くして消費電力を低減することが可能になる。なおこの場合でも閾値Ｔ２だけでは大腸の開始位置付近の撮像漏れの可能性があるため、閾値Ｔ１を設定しておく意義が失われるわけではない。

また、動き情報については動きが大きい場合に第３のフレームレートとすればよい。動きが大きければ、撮像と撮像の間にカプセル型内視鏡１００が移動する距離も長くなるため、被写体の撮像漏れが発生する可能性が高くなる。それに対して、動きが大きい場合に第３のフレームレートとすることで、撮像漏れの可能性を抑止することが可能である。

４．第３の実施形態
本実施形態における内視鏡システム或いは内視鏡装置の構成は第１の実施形態と同様であり、図２又は図３の構成を用いることが可能である。第１の実施形態と同一の構成要素については同一の符号を付与して適宜説明を省略し、第１の実施形態の構成要素と異なる部分のみを説明する。

第２の実施形態では、１枚の撮像画像を「絨毛」と「その他」のいずれかに分類するものとしていた。しかし実際に撮像される画像では、１つの画像の中に複数の分類項目が含まれることが非常に多い。例えば、１つの撮像画像の中に、「絨毛」領域と「その他」領域が混在する可能性がある。

第２の実施形態では、記憶部３０３からのＳＶＭ識別器と、撮像画像からのＢｏＦヒストグラム（及びそれらを成分とするＢｏＦ特徴ベクトル）の情報を抽出して比較し、「絨毛」と「その他」のどちら一方に属するかを示す分類インデックス指標を与えていた。そして、「絨毛」領域と「その他」領域が混在する場合、「絨毛」領域と「その他」領域に対して、それぞれ「絨毛」と「その他」のＳＶＭのスコアが計算され、最終的に、「絨毛」のＳＶＭスコアと「その他」のＳＶＭスコアと比較して、ＳＶＭスコアが高い分類項目が対応する分類インデックス指標を撮像画像に与える。また、３種類以上（その値を含む）の分類項目に対応する領域が混在する撮像画像を分類する場合も同様に、ＳＶＭスコアが最も高い分類項目が対応する分類インデックス指標を撮像画像に与える。

つまり、第２の実施形態に示されている分類手法では、撮像画像に最も高いＳＶＭスコアがもつ分類項目が与えられるが、この撮像画像に他の分類項目に対応する領域も存在する可能性がある。

そして上述のように、絨毛の多さは観察の対象者（患者）によって異なる。例えば、小腸において、全体的に絨毛が非常に多い患者もいれば、全体的に絨毛が非常に少ない患者もいる。この場合、第２の実施形態のように、最も高いＳＶＭスコアをもつ分類項目で撮像画像を分類し、その分類結果で「絨毛区間」と「その他区間」を判定することが誤判定になるリスクがある。

具体例の模式図を図１３に示す。図１３では横軸に体内での位置、縦軸に絨毛の量（絨毛の量に対応する絨毛スコア）を表す。横軸では左に行くほど口側であり、右に行くほど肛門側となる。なお、図１３では簡単のため絨毛スコアが線形で単調減少するものとしたが、実際には非線形であり、単調減少でない区間があってもよい。説明を単純にするために、絨毛スコアがｔｈ１を超えた場合に対象の画像を「絨毛」に分類することを考える。

図１３の場合、ユーザＡは全体に絨毛の量が多く、絨毛スコアが大きいため、絨毛スコアがｔｈ１を下回らない。そのため、小腸の途中を検出することができず、適切な撮像ＦＲの切り替えができない。なお、大腸は絨毛が少ないため、大腸に入ったところで高フレームレートに移行する指示が出されることが想定されるが、それでは大腸の開始位置付近の撮像漏れの可能性が高い。一方、ユーザＢは全体に絨毛の量が少なく、絨毛スコアが小さいため、絨毛スコアがｔｈ１を上回らない。そのため、小腸に入っているにもかかわらず撮像画像が「絨毛」に分類されないため、やはり適切な撮像ＦＲの切り替えができない。

また、図１３では撮像ＦＲの切り替え自体が難しい極端な例を示したが、小腸の途中での撮像ＦＲの切り替えが可能な状況であっても個人差が大きいことは望ましくない。なぜなら、絨毛スコアに応じて高フレームレートへの切り替え位置（小腸内での位置であり、例えば小腸の開始位置を０％、終了位置を１００％とした場合の移動割合等）が変化するため、小腸の途中であっても口に近い側で切り替わるユーザと、肛門に近い側で切り替わるユーザとが生じることになる。その場合、過剰に口に近い側で切り替わってしまえば、消費電力の低減効果が小さくなるし、過剰に肛門に近い側で切り替わってしまえば、大腸の撮像漏れのおそれが生じる。つまり、ユーザ毎の絨毛の量によらず、消費電力低減と撮像漏れの抑止という２つの効果のバランスがとれた位置で切り替わることが望ましい。

そこで本実施形態では、ＳＶＭスコアが最大となる項目と関係なく、撮像画像の「絨毛」のＳＶＭスコア、或いは「その他」のＳＶＭスコアを用いて、前記のように複数画像からなる区間どうしのＳＶＭスコアの変化率で小腸途中の所定領域を判定することを提案する。

例えば、患者の口から飲み込まれてから撮像された各々の撮像画像の「絨毛」のＳＶＭスコアを前記の区間単位で合計平均化する。各々の区間単位の「絨毛」の平均ＳＶＭスコアの変化率が初めて所定の閾値より大きくなると、その区間が小腸領域に入っていると判定する。そこからある区間の「絨毛」の平均ＳＶＭスコアの変化率が所定の閾値より小さくなると、その区間が小腸途中の所定領域と判定し、低フレームレートから高フレームレートに切り替えて撮像するように制御する。

このようにすれば、ユーザの個人差を吸収して、適切な位置（タイミング）で高フレームレートに切り替えることが可能になる。例えば、小腸の開始位置、すなわち初めて絨毛スコアが増加した際の絨毛スコアを基準として、当該スコアに対して値が５０％低下した位置を小腸の途中（所定領域）とすればよい。図１３の例であればユーザＡの切り替え位置は、絨毛スコアが開始位置でのスコアＳ_Ａの１／２となるＣ１になるし、ユーザＢの切り替え位置は絨毛スコアが開始位置でのスコアＳ_Ｂの１／２となるＣ２となる。このように、区間どうしの「絨毛」或いは「その他」のＳＶＭスコアの変化率でフレームレートを切り替えて撮像することで、各々の患者の絨毛分布の特徴に応じて適応的に撮像フレームレートを制御することができ、誤判定のリスクを抑制することができる。

なお、本実施形態においてもカプセル型内視鏡１００が小腸に入った後、胃に戻るような状況を考慮してもよい。具体的には、一旦高フレームレートへの切り替えが行われた後で、それが胃への出戻りのような状況であると判定されたら、再度低フレームレートへ戻す制御を行ってもよい。この場合にも、本実施形態では「絨毛」か「その他」かの分類結果ではなく、絨毛スコア（或いはその他スコア）を用いればよい。具体的には、高フレームレートへの移行後の区間の「絨毛」の平均ＳＶＭスコア（或いは所定基準に対する平均ＳＶＭスコアの変化率）が再び所定の閾値より大きくなった場合には、また高フレームレートから低フレームレートに切り替えて撮像する構成にしてもよい。

以上の本実施形態では、第２の処理部２２０は、撮像部１１０が撮像した複数の撮像画像の各撮像画像に対して、絨毛分布の程度を表す絨毛スコアを算出し、絨毛スコアの時系列的な変化に基づいて、第１のモードから第２のモードへのモード切り替え指示を出力する。

ここでの絨毛スコアとは、例えばＳＶＭで算出されるＳＶＭスコアであってもよい。一般的な学習処理で取得される識別器では識別時（分類時）に各分類項目に対するスコアが算出されるため、ＳＶＭ以外の識別器を用いる場合であっても当該スコアを利用すればよい。また、絨毛スコアは「絨毛」に対応するスコアであってもよいがこれに限定されず、「その他」に対応するスコアを用いてもよい。なぜなら、「その他」のスコアとは絨毛の少なさを表す指標であるため、「その他」のスコアが小さい（大きい）ことと「絨毛」のスコアが大きい（小さい）ことは同義として扱うことが可能なためである。

これにより、ユーザの個人差を考慮して、小腸の途中を検出することが可能になる。第２の実施形態のように、各撮像画像をスコアが最大となる項目に分類するものとすると、図１３に示したような極端なユーザの場合、適切なモード切り替え（フレームレート切り替え）ができない。それに対して、絨毛スコアそのものの時系列変化を用いるものとすれば、ユーザ毎の絨毛の絶対量に左右されず、適切な検出処理が可能となる。

以上、本発明を適用した３つの実施の形態１〜３およびその変形例について説明したが、本発明は、各実施の形態１〜３やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施の形態１〜３や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施の形態１〜３や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。

１００カプセル型内視鏡、１１０撮像部、１１５Ａ／Ｄ変換部、１２０処理部、
１２１画像処理部、１２２切り替え判定部、１２３フレームレート制御部、
１３０通信部、１３１撮像画像送信部、１３２切り替え指示受信部、
１５０制御部、１６０光源部、２００外部装置、２１０画像保存部、
２２０処理部、２２１画像処理部、２２２切り替え判定部、２３０通信部、
２３１撮像画像受信部、２３２切り替え指示送信部、２５０制御部、
３０１分類部、３０２分析判断部、３０３記憶部

Claims

カプセル型内視鏡と、
外部装置と、
を含み、
前記カプセル型内視鏡は、
小腸及び大腸を撮像し、複数の撮像画像を時系列に取得する撮像部と、
第１のフレームレートで撮像を行う第１のモードと、少なくとも第１のフレームレートよりも高い第２のフレームレートで撮像を行う第２のモードとの、いずれのモードで前記撮像部を動作させるかを制御する第１の処理部と、
前記撮像画像を前記外部装置に送信する第１の通信部と、
を含み、
前記外部装置は、
前記撮像画像に基づいて、前記小腸の途中で前記第１のモードから前記第２のモードへのモード切り替え指示を出力する第２の処理部と、
前記モード切り替え指示を前記第１の通信部に送信する第２の通信部と、
を含み、
前記第１の処理部は、
前記モード切り替え指示に基づいて、前記小腸の途中で前記撮像部を前記第１のモードから前記第２のモードに切り替えて、前記小腸の途中から前記大腸までを前記第２のモードで動作させる制御を行うことを特徴とする内視鏡システム。
請求項１において、
前記第２の処理部は、
前記小腸の胃側から前記大腸側へ向かうにつれて変化する特徴量を前記撮像画像から検出し、検出結果に基づいて前記モード切り替え指示を出力することを特徴とする内視鏡システム。
請求項２において、
前記第２の処理部は、
前記小腸の前記胃側から前記大腸側へ向かうにつれて変化する前記特徴量として、絨毛分布に関する情報を前記撮像画像から検出し、前記検出結果に基づいて前記モード切り替え指示を出力することを特徴とする内視鏡システム。
請求項３において、
前記第２の処理部は、
前記撮像部が前記第１のモードで動作している状態において、前記絨毛分布が減少したと判定された場合に、前記第１のモードから前記第２のモードへの前記モード切り替え指示を出力することを特徴とする内視鏡システム。
請求項３又は４において、
前記第２の処理部は、
前記絨毛分布が増加したと判定された場合に、前記撮像部を前記第１のモードで動作させる前記モード切り替え指示を出力することを特徴とする内視鏡システム。
請求項３乃至５のいずれかにおいて、
前記第２の処理部は、
前記撮像部が撮像した複数の前記撮像画像の各撮像画像を、前記絨毛分布が多いと判断された第１の分類画像、及び前記絨毛分布が少ないと判断された第２の分類画像を少なくとも含む複数の分類画像のいずれかに分類し、
複数の前記分類画像のうちの少なくとも１つの分類画像の出現頻度に基づいて、前記絨毛分布を求め、前記絨毛分布に基づいて、前記第１のモードから前記第２のモードへの前記モード切り替え指示を出力することを特徴とする内視鏡システム。
請求項６において、
前記第２の処理部は、
学習処理により求められた分類情報を取得し、前記撮像部が撮像した複数の前記撮像画像の各撮像画像から求められる特徴量と、前記分類情報とに基づいて、複数の前記撮像画像を複数の前記分類画像のいずれかに分類することを特徴とする内視鏡システム。
請求項７において、
前記第２の処理部は、
時系列的に取得されたＮ（Ｎは２以上（その値を含む）の整数）枚の前記撮像画像を含む判定区間を設定し、Ｎ枚の前記撮像画像のうち、前記第１の分類画像に分類された前記撮像画像がｔｈ１（ｔｈ１はＮ以下（その値を含む）の正の整数）以下である場合、又は前記第２の分類画像に分類された前記撮像画像がｔｈ２（ｔｈ２はＮ以下の正の整数）以上である場合に、前記絨毛分布が少ないと判定し、前記第１のモードから前記第２のモードへの前記モード切り替え指示を出力することを特徴とする内視鏡システム。
請求項３乃至５のいずれかにおいて、
前記第２の処理部は、
前記撮像部が撮像した複数の前記撮像画像の各撮像画像に対して、前記絨毛分布の程度を表す絨毛スコアを算出し、
前記絨毛スコアの時系列的な変化に基づいて、前記第１のモードから前記第２のモードへの前記モード切り替え指示を出力することを特徴とする内視鏡システム。
請求項３乃至９のいずれかにおいて、
前記第２の処理部は、
前記撮像部が前記第２のモードで動作している状態において、前記絨毛分布が増加したと判定された場合に、前記第２のモードから前記第１のモードへの前記モード切り替え指示を出力することを特徴とする内視鏡システム。
請求項３乃至１０のいずれかにおいて、
前記第１の処理部は、
前記第１のモードでは前記第１のフレームレートで前記撮像部を動作させ、前記第２のモードでは前記第２のフレームレート、又は前記第２のフレームレートよりも高い第３のフレームレートで前記撮像部を動作させる制御を行い、
前記第２の処理部は、
前記撮像部が前記第２のモードで動作している状態において、前記撮像部が前記第２のフレームレートと前記第３のフレームレートのいずれで動作するかを切り替えるフレームレート切り替え指示を出力し、
前記第１の処理部は、
前記フレームレート切り替え指示に基づいて、前記撮像部を前記第２のフレームレートと前記第３のフレームレートのいずれかで動作させる制御を行うことを特徴とする内視鏡システム。
請求項１１において、
前記第２の処理部は、
前記撮像部が前記第２のモードで動作している状態における、前記絨毛分布又は前記カプセル型内視鏡の動き情報に基づいて、前記撮像部が前記第２のフレームレートと前記第３のフレームレートのいずれで動作するかを切り替える前記フレームレート切り替え指示を出力することを特徴とする内視鏡システム。
小腸及び大腸を撮像し、時系列の撮像画像を取得する撮像部と、
第１のフレームレートで撮像を行う第１のモードと、少なくとも第１のフレームレートよりも高い第２のフレームレートで撮像を行う第２のモードとの、いずれのモードで前記撮像部を動作させるかを制御する処理部と、
を含み、
前記撮像画像に基づいて、前記小腸の途中で前記撮像部を前記第１のモードから前記第２のモードに切り替えて、前記小腸の途中から前記大腸までを前記第２のモードで動作させる制御を行うことを特徴とする内視鏡装置。
請求項１３において、
前記処理部は、
前記小腸の前記胃側から前記大腸側へ向かうにつれて変化する特徴量として、絨毛分布に関する情報を前記撮像画像から検出し、検出結果に基づいて、前記小腸の途中で前記撮像部を前記第１のモードから前記第２のモードに切り替える制御を行うことを特徴とする内視鏡装置。
請求項１４において、
前記処理部は、
前記撮像部が前記第１のモードで動作している状態において、前記絨毛分布が減少したと判定された場合に、前記第１のモードから前記第２のモードに切り替える制御を行うことを特徴とする内視鏡装置。
撮像部の小腸及び大腸の撮像により、複数の撮像画像を時系列に取得し、
前記撮像画像に基づいて、前記小腸の途中で第１のフレームレートで撮像を行う第１のモードから、少なくとも第１のフレームレートよりも高い第２のフレームレートで撮像を行う第２のモードへのモード切り替え指示を出力し、
前記モード切り替え指示に基づいて、前記小腸の途中で前記撮像部を前記第１のモードから前記第２のモードに切り替えて、前記小腸の途中から前記大腸までを前記第２のモードで動作させる制御を行うことを特徴とする内視鏡システムの制御方法。