図1において、カプセル内視鏡システム2は、患者10の口部から人体内に嚥下されるカプセル内視鏡(Capsule Endoscope、以下、CEと略す)11と、患者10がベルトなどに取り付けて携帯する受信装置12と、CE11で得られた画像を取り込んで、医師が読影を行うためのワークステーション(以下、WSと略す)13とから構成される。
CE11は、人体内管路を通過する際に管路の内壁面を撮像し、これにより得られた画像データを電波14にて受信装置12に無線送信する。受信装置12は、各種設定画面を表示する液晶表示器(以下、LCDと略す)15、および各種設定を行うための操作部16を備えている。受信装置12は、CE11から電波14で無線送信された画像データを無線受信し、これを記憶する。
CE11と受信装置12間の電波14の送受信は、CE11内に設けられたアンテナ39(図2、および図8参照)と、患者10が身に付けたシールドシャツ17内に装着された複数のアンテナ18とを介して行われる。アンテナ18には、CE11からの電波14の電界強度を測定する電界強度測定センサ19が内蔵されている。電界強度測定センサ19は、電界強度の測定結果を位置検出回路98(図11参照)に出力する。
WS13は、プロセッサ20と、キーボードやマウスなどの操作部21と、モニタ22とを備えている。プロセッサ20は、例えば、USBケーブル23(赤外線通信などの無線通信を用いても可)で受信装置12と接続され、受信装置12とデータの遣り取りを行う。プロセッサ20は、CE11による検査中、または検査終了後に、受信装置12から画像データを取り込み、患者毎に画像データを蓄積・管理する。また、画像データから表示用画像を生成し、これをモニタ22に表示させる。
図2において、CE11は、透明な前カバー30と、この前カバー30に嵌合して水密な空間を形成する後カバー31とからなる。両カバー30、31は、その先端または後端が略半球形状となった筒状に形成されている。
両カバー30、31が作る空間内には、被観察部位の像光を取り込むための対物光学系32と、被観察部位の像光を撮像するCCD33とからなる撮像部34が組み込まれている。CCD33は、対物光学系32から入射した被観察部位の像光が撮像面に結像され、各画素からこれに応じた撮像信号を出力する。
対物光学系32は、前カバー30の先端の略半球形状となった部分に配された、透明な凸型の光学ドーム32aと、光学ドーム32aの後端に取り付けられ、後端に向けて先細となったレンズホルダー32bと、レンズホルダー32bに固着されたレンズ32cとから構成される。対物光学系32は、光軸35を中心軸として、例えば、前方視野角140°〜180°の撮影範囲を有し、この撮影範囲における被観察部位の全方位画像を像光として取り込む。
両カバー30、31内には、撮像部34の他に、被観察部位に光を照射する照明光源部36、送信回路65や電力供給回路67(ともに図8参照)が実装された電気回路基板37、ボタン型の電池38、および電波14を送信するためのアンテナ39などが収容されている。
前カバー30の先端側からCE11を見た図3において、照明光源部36は、四個の近傍照射用光源50a〜50d(縦線ハッチングで示す)、二個の遠方照射用光源51a、51b(横線ハッチングで示す)、および二個の非白色光源52a、52bの計八個の光源からなる。近傍照射用光源50a〜50dは、光軸35を中心とする円の周りに、90°毎に等間隔で配置されている。遠方照射用光源51a、51b、および非白色光源52a、52bは、近傍照射用光源50a〜50dの位置から45°ずれた位置に配置されている。
図4に示すように、近傍照射用光源50a〜50dには、比較的広い照射範囲で、ある程度の照射強度が得られるような指向特性を有し、照射距離が比較的短い白色LEDが用いられている。また、図5に示すように、遠方照射用光源51a、51bには、近傍照射用光源50a〜50dよりも狭い照射範囲で照射強度が得られるような指向特性を有し、近傍照射用光源50a〜50dよりも照射距離が長い白色LEDが用いられている。非白色光源52a、52bには、分光画像を取得するために、白色LEDとは異なる波長域の光、例えば、赤、青、緑色などの光を発するLEDが用いられている。
図6において、近傍照射用光源50a〜50dの照射範囲53a〜53dは、CCD33の撮影範囲54を四等分した正方形状の等分区域(請求項5の分割区域に相当)55a〜55dにそれぞれ割り当てられている。照射範囲53a〜53dは円形であり、その中心は、等分区域55a〜55dの中心と一致している。照射範囲53a〜53dは、等分区域55a〜55dの境界で互いに重複している。
また、図7に示すように、遠方照射用光源51a、51bの照射範囲56a、56bは、撮影範囲54の中央に位置する中央区域57に割り当てられている。中央区域57は、その四隅が等分区域55a〜55dの中心に位置しており、等分区域55a〜55dと同じ面積を有する。照射範囲56a、56bも円形であるが、近傍照射用光源50a〜50dとの指向特性の違いにより、照射範囲53a〜53dに比べて面積が小さい。照射範囲56a、56bの中心は、中央区域57の中心から、遠方照射用光源51a、51bの配列方向にずれた位置にある。照射範囲56a、56bは、中央区域57の中心からその周囲にかけて、大部分で互いに重複している。
なお、符号58は、モニタ22に画像を表示する際の表示範囲であり、図6、および図7の上下左右は、モニタ22に画像を表示する際の向きに一致している。また、各照射範囲53a〜53d、56a、56bは、実際にはCE11と被観察部位との距離に応じて変わるが、ここでは煩雑を避けるため、各照射範囲53a〜53d、56a、56bと撮影範囲54とは、図6および図7に示す位置関係で略一定と見做す。さらに、各照射範囲53a〜53dの中心は、等分区域55a〜55dの中心に一致していなくてもよく、同様に、中央区域57の四隅が等分区域55a〜55dの中心に位置していなくてもよい。また、各区域55a〜55d、57の形状は、上記の正方形状に限定されず、例えば、表示範囲58と同じ円形でもよい。各区域55a〜55d、57の面積も、異なっていてもよい。
CE11は人体内管路を撮影するため、等分区域55a〜55dには、CE11と相対的に距離が近い部位が映し出されることが多い。一方、中央区域57には、CE11と相対的に距離が遠い部位が映し出されることが多い。このため、本実施形態の如く、近傍照射用光源50a〜50dで等分区域55a〜55dを、遠方照射用光源51a、51bで中央区域57をそれぞれ照明すれば、CE11と被観察部位との距離に適応した照明が可能となる。
図8において、CPU60は、CE11の全体の動作を統括的に制御する。CPU60には、ROM61、およびRAM62が接続されている。ROM61には、CE11の動作を制御するための各種プログラムやデータが記憶される。CPU60は、ROM61から必要なプログラムやデータを読み出してRAM62に展開し、読み出したプログラムを逐次処理する。
ROM61には、一般的な症例から得られた画像データ(以下、症例画像データという)も記憶されている。症例画像データには、例えば、他の患者のカプセル内視鏡検査で得られた病変部周辺の画像データや、典型的な形状、色、大きさなどの特徴量をもつ病変部、あるいは寄生虫や食べ滓などの異物の画像データがある。症例画像データは、画像解析回路69で画像解析をする際に読み出される。
CCD33には、ドライバ63、および信号処理回路64が接続されている。ドライバ63は、所定のフレームレート(例えば、2fps(フレーム/秒))で撮影が行われるように、CCD33、および信号処理回路64の動作を制御する。信号処理回路64は、CCD33から出力された撮像信号に対して、相関二重サンプリング、増幅、およびA/D変換を施して、撮像信号をデジタルの画像データに変換する。そして、変換した画像データに対して、γ補正等の各種画像処理を施す。
アンテナ39には、送信回路65が接続されている。送信回路65には、変調回路66が接続され、変調回路66はCPU60に接続している。変調回路66は、信号処理回路64から出力されたデジタルの画像データをRAM62から読み出して、読み出した画像データ、およびその画素数の情報(以下、画素数情報という)を電波14に変調し、変調した電波14を送信回路65に出力する。送信回路65は、変調回路66からの電波14を増幅して帯域通過濾波した後、アンテナ39に出力する。
電力供給回路67は、電池38の電力をCE11の各部に供給する。ドライバ68は、CPU60の制御の下に、照明光源部36の駆動を制御する。
図9において、ドライバ68は、定電圧源80と、五個のスイッチング素子81a〜81eとを有する。定電圧源80は、各光源50a〜50d、51a、51bの入力端にそれぞれ接続されている(非白色光源52a、52bは図示省略)。定電圧源80は、電力供給回路67から供給される電力を元に、各光源50a〜50d、51a、51bに一定の電圧を出力する。定電圧源80から出力される電圧は、各光源50a〜50d、51a、51bの定格電圧である。
スイッチング素子81a〜81eは、FETなどの周知の半導体スイッチング素子である。スイッチング素子81a〜81dには、近傍照射用光源50a〜50dの出力端がそれぞれ接続されている。スイッチング素子81eには、遠方照射用光源51a、51bの出力端が並列に接続されている。各光源50a〜50d、51a、51bが接続されたスイッチング素子81a〜81eの反対側は、接地されている。
スイッチング素子81a〜81eは、CPU60からのパルス信号Pa〜PeがHighレベルのとき(図10参照)にオンし、パルス信号Pa〜PeがLowレベル(図10参照)となるとオフする。スイッチング素子81a〜81dがオンすると、近傍照射用光源50a〜50dが各々点灯し、オフすると消灯する。スイッチング素子81eがオンすると、遠方照射用光源51a、51bが同時に点灯し、オフすると消灯する。パルス信号Pa〜PeがHighレベルとなるのは、CCD33の露光期間(電子シャッタパルスが入力されてから、信号電荷が読み出されるまでの期間)の開始から、規定の露光量となるまでの時間である。
図8に戻って、画像解析回路69は、CPU60の制御の下に、信号処理回路64から画像データを読み出す。また、画像解析回路69は、ROM61から症例画像データを読み出す。そして、信号処理回路64からの画像データと、症例画像データとを比較する。
信号処理回路64からの画像データと症例画像データとの比較結果は、CE11で現在撮影している部位に関心領域があるか否かを表す尺度となる。つまり、二つの画像データの一致の度合いが高いほど、CE11が関心領域を撮影していることを示している。画像解析回路69は、信号処理回路64からの画像データと症例画像データとの比較結果として、例えば、これらの一致の度合いを示す評価値を算出する。
画像解析回路69は、周知の画像認識技術を応用して、評価値を算出する。具体的には、症例画像データの関心領域をテンプレートとし、信号処理回路64からの画像データの所定のサーチエリア毎に、テンプレートとの形状や色の一致の度合いを検出していく。このとき、サーチエリアの大きさや角度を種々変えながら、信号処理回路64からの画像データの全域に亘って検出を行う。そして、一致の度合いが最も高い一部分を関心領域と判断し、その部分の面積の大きさを評価値とする。
画像解析回路69は、算出した評価値と予め設定された閾値とを比較する。評価値が閾値以上であった場合、画像解析回路69は、関心領域と判断した部分が属する区域(以下、特定区域という)を表す情報(以下、区域情報という)をCPU60に出力する。評価値が閾値以下であった場合、言い換えれば、画像に関心領域が映し出されていない、あるいは関心領域は映し出されているが、その面積が極端に小さい場合は、区域情報は出力されない。
特定区域は、例えば、各区域55a〜55d、57のうち、関心領域と判断した部分の中心画素の位置と、その中心の位置が最も近い区域である。ここで、中央区域57は、等分区域55a〜55dの一部を含んでいるが、中央区域57に関心領域と判断した部分があった場合でも、その中心の位置が中央区域57の中心よりも等分区域55a〜55dの中心の位置に近かった場合は、特定区域は等分区域55a〜55dのいずれかとなる。中央区域57が特定区域となるのは、中央区域57を構成する四辺の中点同士を結んでできる正方形59(図7参照)の内部に、関心領域と判断された部分の中心画素が位置する場合である。
図10(a)に示すように、CPU60は、画像解析回路69から区域情報が出力されない場合は、パルス信号Pa〜Pdをスイッチング素子81a〜81dに出力する。これにより、全ての近傍照射用光源50a〜50dが点灯され、全ての等分区域55a〜55dが照明される。
一方、CPU60は、画像解析回路69から区域情報が出力された場合、区域情報で表される特定区域に該当する近傍照射用光源のみを点灯させる。具体的には、特定区域が等分区域55aであった場合、(b)に示すように、CPU60はパルス信号Paのみを出力し、近傍照射用光源50aのみを点灯させる。特定区域が中央区域57であった場合は、(c)に示すように、パルス信号Peのみを出力し、遠方照射用光源51a、51bを点灯させる。このように、特定区域に該当する光源に、CPU60から選択的にパルス信号を出力することにより、特定区域のみが照明される。
再び図8に戻って、トリミング処理回路70は、CPU60の制御の下に、信号処理回路64から画像データを読み出し、画像データにトリミング処理を施す。トリミング処理回路70は、画像解析回路69から区域情報が出力されたときに駆動される。トリミング処理回路70は、特定区域のみを画像データから切り出す。トリミング処理回路70は、切り出した画像データ(以下、切り出し画像データという)を信号処理回路64に出力する。変調回路66は、トリミング処理回路70を経ずに信号処理回路64から出力された画像と同様に、信号処理回路64から切り出し画像データを読み出し、画素数情報とともに切り出し画像データを電波14に変調する。
以上をまとめると、画像解析回路69から区域情報が出力されていないときには、近傍照射用光源50a〜50dが点灯されて等分区域55a〜55dが均等に照明される。また、信号処理回路64から出力された画像データは、トリミング処理回路70を経ずに、そのまま変調回路66に出力される。以下、この条件下での撮影を通常撮影という。
一方、画像解析回路69から区域情報が出力されたときには、特定区域に該当する光源のみが点灯されて、特定区域のみが照明される。また、信号処理回路64から出力された画像データは、トリミング処理回路70によって特定区域のみが切り出されて切り出し画像データとされ、変調回路66に出力される。以下、この条件下での撮影を切り出し撮影という。本実施形態では、画像解析回路69から区域情報が出力されたら、切り出し撮影が例えば五回繰り返され、その後は自動的に通常撮影に戻される。
図11において、CPU90は、受信装置12の全体の動作を統括的に制御する。CPU90には、バス91を介して、ROM92、およびRAM93が接続されている。ROM92には、受信装置12の動作を制御するための各種プログラムやデータが記憶される。CPU90は、ROM92から必要なプログラムやデータを読み出してRAM93に展開し、読み出したプログラムを逐次処理する。また、CPU90は、操作部16からの操作入力信号に応じて、受信装置12の各部を動作させる。
アンテナ18には、受信回路94が接続されている。受信回路94には、復調回路95が接続されている。受信回路94は、アンテナ18を介して受信した電波14を増幅して帯域通過濾波した後、復調回路95に出力する。復調回路95は、受信装置12からの電波14を元の画像データ、および画素数情報に復調する。そして、復調した画像データをDSP96に、画素数情報をデータストレージ97にそれぞれ出力する。
DSP(Digital Signal Processor)96は、復調回路95からの画像データに対して各種信号処理を施した後、画像データをデータストレージ97に出力する。データストレージ97は、例えば、記憶容量が1GB程度のフラッシュメモリからなる。データストレージ97は、DSP96から順次出力される画像データと、復調回路95からの画素数情報とを関連付けて記憶・蓄積する。
位置検出回路98は、電界強度測定センサ19による電波14の電界強度の測定結果を元に、人体内のCE11の現在位置を検出し、この検出結果(以下、位置情報という)をデータストレージ97に出力する。データストレージ97は、画素数情報とともに、位置検出回路98からの位置情報をDSP96からの画像データに関連付けて記憶する。
なお、人体内のCE11の位置を検出する具体的な方法としては、例えば、人体内のCE11の位置に応じた、複数のアンテナ18が受信する電波14の電界強度分布を事前に実験で求めておき、位置と電界強度分布の関係を対応させたデータテーブルを予めROM82に記憶しておく。そして、電界強度測定センサ19の測定結果とデータテーブルの電界強度分布とを照らし合わせ、該当するCE11の位置をデータテーブルから読み出すことで行う。
もしくは、各アンテナ18への電波14の到達時間のずれ量、すなわち、電波14の位相差を検出し、これを元に位置を検出してもよい。この場合、電波14の位相差は、各アンテナ18とCE11との相対的な位置関係(距離)を表している。位置検出回路98は、適当な換算式やデータテーブルを用いて、電波14の位相差を各アンテナ18とCE11との距離に換算することで、CE11の位置の検出を行う。さらには、少なくとも二つのアンテナ18への電波14の到来方向を検出し、二つのアンテナ18間の距離を基線長とする三角測量の原理に基づいて、CE11の位置を検出してもよい。
バス91には、上記各部に加えて、LCD15の表示制御を行うドライバ99、USBコネクタ100を介してプロセッサ20とのデータの遣り取りを媒介する通信I/F101、電池102の電力を受信装置12の各部に供給する電力供給回路103などが接続されている。
図12において、CPU110は、WS13の全体の動作を統括的に制御する。CPU110には、バス111を介して、モニタ22の表示制御を行うドライバ112、USBコネクタ113を経由した受信装置12とのデータの遣り取りを媒介し、受信装置12からの画像データを受信する通信I/F114、受信装置12からの画像データを記憶・蓄積するデータストレージ115、およびRAM116が接続されている。
データストレージ115には、画像データの他に、WS13の動作に必要な各種プログラムやデータ、医師の読影を支援する支援ソフトのプログラムが記憶されている。RAM116には、データストレージ115から読み出したデータや、各種演算処理により生じる中間データが一時記憶される。
支援ソフトを立ち上げると、モニタ22には、例えば、図13に示すような作業ウィンドウ120が表示される。この作業ウィンドウ120上で医師が操作部21を操作することにより、画像の表示・編集、検査情報の入力などを行うことができる。作業ウィンドウ120には、患者10の氏名、年齢などを記載した患者情報や、検査日などの検査情報が表示される領域121の他、領域122〜124が設けられている。
領域122には、簡易的な人体の解剖図125が表示されており、位置情報から導かれるCE11の概略的な移動軌跡126が解剖図125内に表示されている。領域123には、データストレージ115に記憶された画像データのうち、切り出し撮影で得られた画像(図示は等分区域55aの画像)が連続表示される。また、切り出し撮影の前後に通常撮影をして得られた画像も、切り出し撮影で得られた画像の表示の間に適当な枚数で挿入される。領域123の画像表示は、下部に設けられたコントロールバー127にカーソル128を合わせて操作することで、再生、一時停止、および停止させることができる。なお、領域123に現在表示されている画像の撮影箇所を視覚的に特定可能とするため、移動軌跡126上の撮影箇所と領域123とは、点線129で結ばれている。
領域124には、領域123に現在表示されている切り出し撮影で得られた画像の前、または後に、通常撮影で得られた画像が一枚ずつ静止画表示される。領域123の場合と同様に、領域124の画像表示も、コントロールバー130を操作することで、再生、一時停止、および停止させることができる。領域123、124に表示させる画像の振り分けは、画素数情報を参照して行われる。なお、領域124にも、切り出し撮影で得られた画像を挿入してもよい。また、切り出し撮影で得られた画像の表示時間を、通常撮影で得られた画像よりも長くしてもよい。
次に、上記のように構成されたカプセル内視鏡システム2で検査を行う際の処理手順を、図14のフローチャートを参照して説明する。まず、検査前の準備として、医師は、受信装置12、シールドシャツ17、およびアンテナ18を患者10に装着させ、CE11の電源を投入して患者10にCE11を嚥下させる。
CE11が患者10に嚥下されると、S10に示すように、全ての近傍照射用光源50a〜50dで人体内の被観察部位が照明されつつ、フレームレート2fpsで撮影を行う通常撮影が設定され、CCD33により人体内管路の内壁面が撮像される。このとき、対物光学系32から入射した人体内の被観察部位の像光は、CCD33の撮像面に結像され、これによりCCD33から撮像信号が出力される。
S11において、CCD33から出力された撮像信号は、信号処理回路64で相関二重サンプリング、増幅、およびA/D変換が施され、デジタルの画像データに変換された後、各種画像処理が施される。
S12において、画像解析回路69では、信号処理回路64から画像データが、ROM61から症例画像データがそれぞれ読み出され、信号処理回路64からの画像データと症例画像データとが比較される。そして、これらの比較結果として評価値が算出され、算出された評価値と閾値とが比較される。
評価値が閾値以上であった場合は、解析した画像に関心領域が映し出されていると判断され(S13でyes)、S14に移行する。評価値が閾値以下であった場合は、解析した画像に関心領域が映し出されていないか、あるいは関心領域は映し出されているが、その面積が極端に小さいと判断され(S13でno)、S19に移行する。
S14において、解析した画像に関心領域が映し出されていると判断されると、画像解析回路69からCPU60に区域情報が出力される。画像解析回路69からの区域情報を受けて、CPU60では、S15に示すように、特定区域に該当する光源のスイッチング素子のみにパルス信号が出力され、特定区域に該当する光源のみが点灯される。そして、S16に示すように、特定区域のみが照明された状態で切り出し撮影が実行され、S17において、トリミング処理回路70によって、特定区域が画像データから切り出され、切り出し画像データが生成される。
画像解析回路69から区域情報が出力されなかった場合、信号処理回路64からの画像データは、画素数情報とともに変調回路66で電波14に変調される。一方、画像解析回路69から区域情報が出力された場合、トリミング処理回路70で生成された切り出し画像データが画素数情報とともに変調回路66で電波14に変調される。変調された電波14は、S18およびS19に示すように、送信回路65で増幅、帯域通過濾波された後、アンテナ39から送信される。
S16〜S18の各処理は、切り出し撮影が五回実行されるまで繰り返される(S20でno)。切り出し撮影が五回実行された後(S20でyes)、またはS19にて画像データ送信後、処理がリターンされる。なお、図示はしていないが、画像解析回路69から区域情報が出力された場合、画像解析に供された画像データは、切り出し撮影が実行される前に電波14に変調されてアンテナ39から送信される。
画像解析回路69から区域情報が出力されなかった場合、次回の撮影も、全ての近傍照射用光源50a〜50dが点灯されて通常撮影が行われる。一方、画像解析回路69から区域情報が出力された場合、特定区域に該当する近傍照射用光源のみが点灯されて切り出し撮影が五回行われた後、通常撮影に戻る。これら一連の処理は、CE11による検査が終了するまで続けられる。
受信装置12では、アンテナ18で電波14が受信されると、受信回路94で電波14が増幅、帯域通過濾波された後、復調回路95で元の画像データおよび画素数情報に復調される。復調された画像データは、DSP96で各種信号処理が施された後、画素数情報とともにデータストレージ97に出力される。
また、このとき、電界強度測定センサ19で電波14の電界強度が測定される。そして、電界強度測定センサ19の測定結果を元に、人体内のCE11の位置が位置検出回路98で検出される。位置検出回路98の検出結果、すなわち位置情報は、データストレージ97に出力される。データストレージ97には、画像データ、画素数情報、および位置情報が関連付けられて記憶される。
検査終了後、医師は、受信装置12とプロセッサ20とをUSBケーブル23で接続し、データストレージ97に記憶された画像データ、およびこれに関連付けられた画素数情報、位置情報をWS13のデータストレージ115にアップロードする。そして、WS13にて、支援ソフトを用いて読影を行う。
医師は、必要に応じてコントロールバー127を操作しながら、領域123に連続表示される切り出し撮影で得られた画像を読影する。そして、領域123に現在表示されている切り出し撮影で得られた画像の前、または後に、通常撮影で得られた画像を一枚ずつ領域124に静止画表示させ、より詳細な読影を行う。
以上説明した第一の実施形態によれば、関心領域が映し出された特定区域のみを照明して、特定区域のみをトリミング処理で切り出すので、重点的に読影したい画像を効率的に得ることができる。
より具体的に説明すると、光源を選択的に点灯させるため、近傍照射用光源50a〜50dを全て点灯させる通常撮影と比べて、光源に掛かる消費電力が低減される。また、切り出し画像データの容量は、通常撮影で得られる画像データと比べて1/4であるので、無線送信する画像データの容量も1/4となる。このため、無線送信に掛かる消費電力も1/4となる。したがって、切り出し撮影では、通常撮影に比べて消費電力を大幅に低減させることができる。そのうえ、切り出し撮影で得られた画像には、必ず関心領域が映し出されているので、読影時に利用価値が高い画像を提供することができる。
通常撮影のみを行う場合に比べて、画像データの容量が減るので、データストレージ97の容量が小さくて済み、部品コストを削減することができる。
切り出し撮影で得られた画像をモニタ22に表示させ、通常撮影で得られた画像は操作に応じて表示させるので、読影時に扱う画像の量が減り、医師の負担を軽くすることができる。
上記実施形態では、特定区域が一つの場合を例示して説明したが、一つの画像に特定区域が複数ある場合も想定される。特定区域が複数あった場合は、通常撮影を実行してもよいし、複数の特定区域に該当する光源を点灯させ、トリミング処理も複数の特定区域に対して実行してもよい。例えば、特定区域が等分区域55a、55cであった場合は、近傍照射用光源50a、50cを点灯させる。そして、等分区域55a、55cをそれぞれ切り出す。等分区域55aと等分区域55bあるいは等分区域55dのように、特定区域が上下左右に連なっていた場合は、一つ一つ切り出すのではなく、連なった特定区域をまとめて切り出してもよい。一つの特定区域に複数の関心領域があった場合は、上記実施形態と同様の処理をすれば事足りる。
また、上記実施形態では、特定区域に該当する光源のみを点灯させ、その他の光源は消灯させているが、特定区域に該当する光源よりも低い照明光量で、その他の光源を点灯させてもよい。光源に掛かる消費電力低減の効果は減るが、特定区域に該当する光源のみを点灯させる場合と比べて、各照射範囲53a〜53d、56a、56dが重複している各区域55a〜55d、57の境界の照明光量が多くなる。
ところで、CE11の人体内における移動速度が比較的速い場合は、前後コマの類似箇所が少ない、映し出された被観察部位が異なる画像が撮影されるので、読影時の画像の利用価値が高い。一方、移動速度が比較的遅い、またはCE11が停止している場合は、前後コマの類似箇所が多い、映し出された被観察部位が略同じか全く同じ画像が撮影されるので、前者の場合と比較して、画像の利用価値が低い。利用価値が低い画像が撮影される状況としては、移動速度が遅い場合に限らず、移動距離が小さい、あるいは画像の類似度が高い場合も考えられる。
読影時の利用価値に関わらず、一律に通常撮影を行うと、利用価値が低い画像に掛ける消費電力が無駄となる。そこで、読影時の利用価値が低いと思われる画像は、以下の第二の実施形態で説明するように、通常撮影よりも画素数、および照明光量を減らして撮影を行う。
第二の実施形態を示す図15において、CE140は、画像解析回路69、トリミング処理回路70の代わりに、加速度センサ141と、積分回路142とを有する。画像解析回路69、トリミング処理回路70がないため、信号処理回路64からの画像データは、これらに読み出されずに直接変調回路66に出力される。なお、第一の実施形態と同じ部材には同じ符号を付し、説明を省略する。また、以下の説明では、後カバー31側から前カバー30側に向かう光軸35に平行な方向をF方向、その逆方向をR方向(ともに図2参照)と定義する。CE140がF方向を進行方向として移動しているときには、CCD33は前方の被観察部位を撮像する。逆に、CE140がR方向を進行方向として移動しているときには、CCD33は後方の被観察部位を撮像する。
加速度センサ141は、F、R方向のCE140の加速度を測定し、この測定結果を積分回路142に出力する。加速度センサ141は、CE140がF方向を進行方向として移動していて加速、またはR方向を進行方向として移動していて減速したときには、測定結果が正となるように設定されている。反対に、CE140がF方向を進行方向として移動していて減速、またはR方向を進行方向として移動していて加速したときには、加速度センサ141の測定結果は負となる。CE140がF、R方向に関して等速運動、または静止、もしくはF、R方向に対して垂直となって移動しているときには、加速度センサ141の測定結果は0となる。積分回路142は、加速度センサ141の測定結果を適当な時間間隔で一回積分して、F、R方向のCE140の移動速度V0を求める。積分回路142は、求めた移動速度V0のデータをCPU60に出力する。
CPU60は、積分回路142から逐次出力される移動速度V0を、加速度の測定開始時から積算して、その時点でのCE140の移動速度Vを算出する。CE140がF方向を進行方向として移動しているときには、移動速度Vは正となる。CE140が静止したとき、もしくはF、R方向に対して垂直となって移動しているときには、移動速度Vは0となる。また、CE140がR方向を進行方向として移動しているときには、移動速度Vは負となる。
CPU60は、例えば、五回の撮影毎(一定時間毎(例えば、1秒毎)でも可)に、算出した移動速度Vの絶対値|V|と、予め設定された閾値THとを比較する。CPU60は、移動速度の絶対値|V|と閾値THとの比較結果に応じて、CCD33で得られる画像の画素数をCCD33の最高の画素数Pmax、およびPlowの二段階で変換するための制御信号をドライバ63に出力する。ドライバ63は、CPU60からの各制御信号に基づいて、CCD33を駆動する。
すなわち、CPU60は、移動速度の絶対値|V|が閾値TH以上であった場合(|V|≧TH)、第一の実施形態と同様の通常撮影(画素数Pmax)を行わせる。また、移動速度の絶対値|V|が第一の閾値TH未満であった場合(|V|<TH)、または移動速度の絶対値|V|が0であった(|V|=0、つまりCE140が停止)場合、CPU60は、画素数Pmaxよりも少ない画素数Plowで撮影(以下、低画素数撮影という)を行わせる。
図10(d)に示すように、CPU60は、低画素数撮影では、通常撮影時よりもパルス幅(Highレベルとなる時間)を減じたパルス信号Pa〜Pdを出力し、近傍照射用光源50a〜50dの点灯時間、すなわち被観察部位に当てられる照明光の照明光量(積算光量)を通常撮影時に比べて減らす。
ここで、画素数を変換する方法の説明に移る前に、CCD33の概略構成を述べる。図16において、CCD33は、垂直方向Vおよび水平方向Hに沿って二次元正方格子状に配列された複数の受光素子150を有する。受光素子150は、たとえばpn接合型ダイオード(フォトダイオード)であり、光電変換により入射光を信号電荷に変換して蓄積する。
受光素子150の対物光学系32側には、赤色フィルタ、緑色フィルタ、青色フィルタ(それぞれR、G、Bで表す)のいずれかが設けられている。受光素子150は、各色フィルタに対応する色成分の光を受光し、R、G、Bの各色の画素151を構成する。各色フィルタは、Gの画素151が市松状に配置され、水平方向Hに配置されたGの画素151間にRの画素151が配置された行と、Rの画素151の代わりにBの画素151が配置された行とが垂直方向Vに交互に配列されてなる、いわゆるベイヤー配列をとっている。
受光素子150の各列には、垂直電荷転送路(以下、VCCDと略す)152が設けられている。受光素子150とVCCD152とは、読み出しゲート153を介して接続されている。VCCD152は、読み出しゲート153を介して受光素子150から読み出した信号電荷を垂直方向Vに転送する。
各VCCD152の終端には、ラインメモリ(以下、LMと略す)154が接続され、LM154には、水平電荷転送路(以下、HCCDと略す)155が接続されている。LM154は、各VCCD152から一行分の画素151の信号電荷を順次に受け取り、信号電荷を選択的(例えば、一行分全て、あるいは一列分あけて)にHCCD155に転送する。HCCD155は、LM154から読み出した信号電荷を、水平方向Hに転送する。
HCCD155の終端には、出力アンプ156が設けられている。出力アンプ156は、FD(フローティングディフュージョン)アンプからなり、HCCD155から信号電荷を順次に受け取り、電荷電圧変換により信号電荷を電圧信号(撮像信号)に変換して出力する。
本実施形態では、画素数を変換するための手法として、ビニング読み出し処理を用いる。ビニング読み出し処理は、VCCD152、またはHCCD155で信号電荷を転送するときに、二以上の画素151の信号電荷をVCCD152、またはHCCD155上で加算するものである。
二以上の画素151の信号電荷を加算して一つの画素を表す信号とするので、最終的な画像データのデータ容量を大幅に削減することができ、また、見かけ上のCCD33の感度も向上する。なお、信号処理回路64による増幅の増幅率を上げれば、同様にCCD33の感度を上げることはできるが、ノイズが乗って画質が著しく劣化してしまい、読影に耐え得る画像とならない。対して、ビニング読み出し処理によれば、画質を維持しつつ、CCD33の感度を向上させることができる。
図17〜図20を用いて、ビニング読み出し処理を概念的に説明する。まず、図17において、4×4の16個の画素151(R、B4個ずつ、G8個)について着目する。この場合、図18に示すように、第一列目のR画素R1、R2と、第三列目のR画素R3、R4とをVCCD152上でそれぞれ加算し、R1R2、R3R4とする。そして、これらをHCCD155上で加算し、R1R2R3R4とする。
同様に、図19に示すように、第二列目のB画素B1、B2と、第四列目のB画素B3、B4とをVCCD152上でそれぞれ加算し、B1B2、B3B4とし、これらをHCCD155上で加算し、B1B2B3B4とする。また、図20に示すように、第一列目のG画素G1、G2、第二列目のG画素G3、G4、および第三列目のG画素G5、G6、第四列目のG画素G7、G8もVCCD152、HCCD155上で加算し、G1G2G3G4、およびG5G6G7G8とする。
次いで、図18〜図20の右側に示すように、R1R2R3R4、B1B2B3B4、G1G2G3G4、およびG5G6G7G8のそれぞれをR、G、B画素とする2×2の4個の加算画素157に再配列する。通常撮影時は、全画素151の信号電荷を個別に読み出して、CCD33の最高の画素数Pmaxで画像を構成するが、こうした画素加算と再配列をすることにより、画素数が画素数Pmaxの1/4となる。本実施形態では、一例として、低画素数撮影時の画素数Plowを画素数Pmaxの1/4(厳密に1/4ではなく、略1/4でも可)とする。なお、ビニング読み出し処理の詳細については、特開2000−350099号公報を参照されたい。
画素数Plowを画素数Pmaxの1/4とすると、見かけ上のCCD33の感度が通常撮影時の四倍となる。このため、低画素数撮影では、近傍照射用光源50a〜50dの照明光量を通常撮影時の1/4とする。したがって、図10(d)に示すパルス信号Pa〜Pdのパルス幅は、(a)に示すパルス信号Pa〜Pdのパルス幅の1/4となっている。
第二の実施形態による処理手順を示す図21において、まず、第一の実施形態と同様に、通常撮影の設定で撮影(S10)、画像データの出力(S11)、および画像データの無線送信(S19)が五回繰り返し行われた後(S30でyes)、S31に示すように、CPU60にて、移動速度Vの絶対値|V|と、閾値THとが比較される。移動速度の絶対値|V|が閾値TH以上であった場合(|V|≧TH、S32でyes)は、S33において、第一の実施形態と同様の通常撮影がなされるように、CPU60からドライバ63およびドライバ68に制御信号およびパルス信号が出力される。
移動速度の絶対値|V|が閾値TH未満であった場合(|V|<TH、S32でno)は、S34において、通常撮影の1/4の照明光量、および画素数Pmaxの1/4の画素数である画素数Plowの低画素数撮影がなされるように、CPU60からドライバ63およびドライバ68に制御信号およびパルス信号が出力される。
CPU60からの制御信号を受けて、通常、低画素数の各撮影のうち、設定された撮影に応じて、ドライバ63およびドライバ68によりCCD33および照明光源部36が駆動される。通常撮影が設定された場合は、パルス信号Pa〜Pdによって近傍照射用光源50a〜50dが全て点灯され、各等分区域55a〜55dが照明される。また、全画素の信号電荷が個別に読み出され、画素数Pmaxの画像が生成される。
低画素数撮影が設定された場合は、通常撮影の1/4のパルス幅のパルス信号Pa〜Pdが出力され、各等分区域55a〜55dが通常撮影の1/4の照明光量で照明される。また、ビニング読み出し処理が実行され、画素数Plowの画像が生成される。そして、設定された撮影で五回の撮影が終了すると、再びCPU60による移動速度Vの絶対値|V|と閾値THとの比較、および比較結果に応じた撮影の設定が実行される。これら一連の処理は、CE140による検査が終了するまで続けられる。
支援ソフトを用いて読影をする際には、通常撮影で得られた画像を領域123に表示させ、低画素数撮影で得られた画像を領域124に表示させる。
このように、ビニング読み出し処理を実行して、CCD33の感度を上げつつ画素数を減らせば、CCD33の感度を上げた分照明光量を減らすことができ、光源に掛かる消費電力を低減することができるとともに、画像データの容量低減も達成することができる。
第二の実施形態では、低画素数撮影に切り替えるトリガーとして、CE140の移動速度を挙げたが、移動距離でもよい。この場合、例えば、加速度センサ141として、X、Y、Zの三軸の加速度を測定可能な三軸加速度センサを用い、F、R方向、およびF、R方向に直交する二軸の加速度を測定する。そして、加速度センサ141の測定結果を、積分回路142で適当な時間間隔で二回積分して、CE11の移動距離を求める。
以下、第二の実施形態と同様に、単位時間あたり(または規定撮影回数毎)の移動距離の増分(移動量)が大きい場合(移動速度が速い場合と同義)は通常撮影とし、移動量が小さい場合(移動速度が遅い場合と同義)は低画素数撮影とする。
さらに、低画素数撮影に切り替えるトリガーは、上記のCEの移動速度、移動距離に限らない。例えば、図22に示すCE160のように、画像の類似度に応じて画素数を変化させてもよい。
CE160には、前後コマ(例えば、前回送信した画像データと今回送信した画像データ)の類似度を算出する類似度算出回路161が設けられている。類似度算出回路161は、例えば、信号処理回路64から出力された画像データを、前後コマの二フレーム分格納し、画像データが出力される毎に古い画像データを順次書き換えるフレームメモリを有する。類似度算出回路161は、前後コマに映し出された被観察部位の形状、色等を、周知の画像認識技術を用いて解析し、この解析結果を元に、前後コマの類似度を算出する。類似度は、前後コマに映し出された被観察部位が異なる箇所であれば低く、同じ箇所であれば高くなる。
この場合も第二の実施形態と同様に、類似度が低い場合(移動速度が速い場合、移動量が大きい場合と同義)は通常撮影とし、類似度が高い場合(移動速度が遅い場合、移動量が小さい場合と同義)は低画素数撮影とする。
もしくは、CEが一定の距離を移動する毎に通常撮影を実行させ、その合間に低画素数撮影を実行させてもよい。あるいは、類似度が低い場合と比べて高い場合のフレームレートを下げ、通常撮影を実行させ、類似度が高い場合の通常撮影の合間に、低画素数撮影を実行させてもよい。
CE11が一定の距離を移動する毎、あるいは類似度が高い場合に、低フレームレートで通常撮影を実行させるだけだと、その合間に病変部等の関心領域があった場合、関心領域を撮影した画像の数が少なかったり、場合によっては撮影されずに見落とすおそれがある。対して、通常撮影の合間も低画素数撮影で画像を確保すれば、光源およびデータ送信に掛かる消費電力をできるだけ抑えつつ、関心領域の見落とし等が起こる懸念を少なくすることができる。また、一つの関心領域が複数の画像に納まっている可能性が高いので、一つの関心領域を複数の画像で多面的に読影したいという医師側の要望にも応えることができる。
なお、ビニング読み出し処理を実行して近傍照射用光源50a〜50dの照明光量を減らす低画素数撮影の代わりに、第一の実施形態の遠方照射用光源51a、51bで中央区域57を照明する切り出し撮影を採用してもよい。
ここで、通常撮影では、人体内の被観察部位の像光がCCD33の撮像面に結像されて、信号処理回路64によりデジタルの画像データが出力されるまでに要する時間(以下、撮影処理時間という)と、画像データが変調回路66で電波14に変調されて、アンテナ39から送信されるまでに要する時間(以下、送信処理時間という)とを加えた時間は、フレームレートで規定される撮影時間間隔と同じである。一方、切り出し撮影、および低画素数撮影では、画像データの容量が減るので、撮影処理時間は通常撮影と同程度であるが、送信処理時間は通常撮影と比べて短くなる。したがって、フレームレートが一定の下で切り出し撮影、および低画素数撮影を実行したときには、撮影時間間隔のうち、撮影処理も送信処理も行わない空き時間ができる。
上記の空き時間を、CCD33、ドライバ63、信号処理回路64などの撮影に関わる各部や、送信回路65、変調回路66などの送信に関わる各部の動作を休止させ、消費電力を抑える待機時間とすれば、電池38の消耗をさらに抑えることができ、CEの長寿命化を図ることができる。CEの長寿命化が達成されれば、観察の途中に電池38が尽きてCEの動作が停止され、撮りこぼしが生じてしまうといった問題が生じるおそれがなくなる。
また、空き時間を待機時間にするのではなく、空き時間を無くして、画像データの送信後すぐに次の撮影を実行させてもよい。この場合、例えば、CEが通過する時間が通常1秒以内と極めて短い食道や、蠕動運動によって移動速度が急激に速くなる腸など、他の人体内管路と比べて移動速度が速い部位の撮影時に限定して適用し、通常撮影時よりも画素数を減らして撮影時間間隔を狭めて(フレームレートを上げて)、撮影回数を増やす。その他の部位は、第一、第二の実施形態に記載の例を適用する。
あるいは、CEの電源投入直後に、CEが患者10に嚥下されて食道を通ることを想定して、CEの電源投入後から一定時間は、空き時間無しの切り出し撮影、または低画素数撮影を実行させ、一定時間経過後に第一、第二の実施形態の処理に移行してもよい。電源投入からの経過時間は、CPU60の内蔵クロック等で計測すればよい。このように、移動速度が比較的速い部位は、画素数と撮影時間間隔を変化させて撮影回数を増やせば、移動速度が速い部位の撮りこぼしを少なくすることができるし、CEの長寿命化を図ることもできる。なお、上記実施形態では特に記載していないが、撮影間隔(フレームレート)を変更する際には、CPU60の内蔵クロック60aに基づいて行う。
なお、変換する画素数は二段階に限らず、それ以上であってもよい。また、撮像素子としてCCDを例示して説明したが、CMOSであってもよい。この場合、ドライバ63、信号処理回路64等の機能は、CMOS撮像センサに一体的に含まれる。さらに、画素数情報、位置情報の他に、動作時間やフレームレートを画像データに関連づけてもよい。
撮影毎に画像データを送信するのではなく、何回か撮影を実行した後に、それらで得られた画像データをまとめて送信してもよい。また、図23に示すCE170のように、データストレージ97に相当するストレージデバイス171を搭載しておき、無線送信に関わる変調回路66等の各部の代わりに、ストレージデバイス171に蓄積されたデータを外部に送信(有線、無線いずれでも可)する通信I/F172を持たせ、体外へ排出されたCE170を回収後、ストレージデバイス171に蓄積されたデータを、通信I/F172を介してまとめてプロセッサ20に取り込んでもよい。この場合も照明光量や画素数を減らせば電力が削減されるので、上記実施形態と同様の効果が得られる。
上記実施形態では、通常撮影と切り出し撮影、または低画素数撮影とが目まぐるしく行われることを避ける目的で、所定回数撮影毎、あるいは一定時間毎に、画像解析や移動速度Vの絶対値|V|と閾値THとの比較を実行しているが、各閾値との比較判断にヒステリシス特性をもたせ、閾値±αのときに撮影の切り替えを行うようにしてもよい。
照明光量を減らす方法としては、上述したパルス信号のパルス幅を減らす他に、定電圧源80の代わりに可変電圧源または可変電流源を用い、近傍照射用光源50a〜50dに与える電圧、電流の大きさや電圧、電流を与える時間を減らしてもよい。
上記実施形態では、位置情報を得るために電界強度測定センサ19を用いているが、この代わりに、例えば、CEに磁石、アンテナ18にホール素子を設けて、磁石による磁界の強度をホール素子で測定して、この測定結果を元に、位置検出回路98で人体内におけるCEの位置を検出してもよい。また、電界強度測定センサ19やホール素子などを用いずに、例えば、周知の画像認識技術を利用して画像データを解析する画像解析回路を受信装置12に設け、この画像解析回路でCEからの画像データを解析することで、CEの位置を検出してもよい。この場合、例えば、典型的な臓器の特定部位の画像をテンプレートとして用意し、このテンプレートとCEからの画像データの一致の度合いに基づいて、CEの位置を特定する。要するに、人体内におけるCEの位置が分ればよく、上記で示した例以外の他の如何なる方法を用いてもよい。
また、移動速度、移動距離の測定方法も上記実施形態で例示した態様に限らない。例えば、位置情報や動作時間から移動速度、移動距離を演算により割り出してもよい。