JPWO2010131687A1 - 被検体内撮像システムおよび被検体内導入装置 - Google Patents

被検体内撮像システムおよび被検体内導入装置 Download PDF

Info

Publication number
JPWO2010131687A1
JPWO2010131687A1 JP2010540975A JP2010540975A JPWO2010131687A1 JP WO2010131687 A1 JPWO2010131687 A1 JP WO2010131687A1 JP 2010540975 A JP2010540975 A JP 2010540975A JP 2010540975 A JP2010540975 A JP 2010540975A JP WO2010131687 A1 JPWO2010131687 A1 JP WO2010131687A1
Authority
JP
Japan
Prior art keywords
light
image
wavelength
unit
spectrum
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010540975A
Other languages
English (en)
Other versions
JP4741033B2 (ja
Inventor
哲夫 薬袋
哲夫 薬袋
慎介 田中
慎介 田中
内山 昭夫
昭夫 内山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Medical Systems Corp
Original Assignee
Olympus Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Medical Systems Corp filed Critical Olympus Medical Systems Corp
Priority to JP2010540975A priority Critical patent/JP4741033B2/ja
Application granted granted Critical
Publication of JP4741033B2 publication Critical patent/JP4741033B2/ja
Publication of JPWO2010131687A1 publication Critical patent/JPWO2010131687A1/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041Capsule endoscopes for imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655Control therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0684Endoscope light sources using light emitting diodes [LED]

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Endoscopes (AREA)

Abstract

カプセル内視鏡10は、強度ピークが第1波長の第1光を放射する第1光源と、強度ピークが前記可視光帯域内であって前記第1波長よりも長い第2波長の第2光を放射する第2光源と、波長ピークが前記可視光体域内であって前記第2波長よりも長い第3波長の第3光を放射する第3光源と、を含む照明部と、前記第1光と前記第2光との少なくとも一方を受光して電荷を蓄積する第1受光素子と、前記第2光と前記第3光との少なくとも一方を受光して電荷を蓄積する第2受光素子と、前記第1受光素子と前記第2受光素子とのうち少なくとも一方に蓄積された電荷より画像信号を生成する画像信号生成部と、を含む撮像部と、を備えた。

Description

本発明は、被検体内撮像システムおよび被検体内導入装置に関し、特に人や動物などの被検体の内部を観察するための被検体内撮像システムおよびその被検体内導入装置に関する。
従来、人や動物などの被検体の内部を観察する装置には、2つの端部を有し、一方の端部を被検体の内部へ挿入して被検体の内部を観察する内視鏡(以下、単に内視鏡という)やカプセル型の内視鏡(以下、単にカプセル内視鏡という)などが存在する。内視鏡には、先端部にCCD(Charge Coupled Device)センサやCMOS(Complementary Metal Oxide Semiconductor)センサなどが設けられた電子内視鏡やチューブ状のプローブ内に光ファイバの束が通されたファイバスコープなどが存在する。このような内視鏡は、プローブが被検体の口や肛門等から挿入されて被検体内部の画像を取得する(例えば以下に示す特許文献1参照)。
一方、カプセル内視鏡は、被検体内に導入されるカプセル型の被検体内導入装置であり、人や動物などが飲み込める程度の大きさを備える。このカプセル内視鏡は、例えば経口で被検体内に導入される。被検体内部に導入されたカプセル内視鏡は、例えば定期的に被検体内部を撮像し、撮像して得られた被検体内部の画像を無線信号として外部の受信装置へ送信する(例えば以下に示す特許文献2参照)。観察者は、内視鏡やカプセル内視鏡で得られた複数の画像を個別または連続して再生し、これを観察することで被検体の内部を観察する。
ここで、例えば内視鏡では、被検体内を照明する光源にハロゲンランプなどの白色光源が採用され、撮像機構にモノクロのCCDと回転するカラーフィルタとを用いたいわゆる面順次カラーフィルタ方式の撮像機構が採用される。ハロゲンランプなどの白色光源は、一般的に、可視光帯域において略均一な強度の光を放射することができる。また、面順次カラーフィルタ方式の撮像機構は、三原色(R,G,B)それぞれのフィルタの光透過率を合わせることで、容易に各色成分で均一な受光感度を得ることができる。このため、白色光源と面順次カラーフィルタ方式の撮像機構とを用いることで、各色成分のバランスが取れたきれいな画像を得ることができる。
ただし、ハロゲンランプ等の白色光源や面順次カラーフィルタ方式の撮像機構は、その構成が比較的大きくまた駆動に比較的大きな電力を要する。このため、大きさに制限のあるカプセル内視鏡に上記白色光源や撮像機構を搭載することは困難である。そこで従来のカプセル内視鏡では、比較的小型で消費電力の小さいLED(Light Emitting Diode)を光源として用いると共に、また、色の三原色ごとの受光素子を備えたCCDアレイを撮像部として用いていた。
また、例えば以下に示す特許文献1には、LEDとCCDアレイとを用いた場合に、LEDの発光スペクトルにおける中心波長を各CCDの主要スペクトル感度の間に位置させることで、撮像画像の色や輝度を実際のものに近づける技術が開示されている。
特許第3898781号公報 特開2003−70728号公報 特開2002−369217号公報 特開2005−74034号公報
ところで近年では、観察内容の多様化のため、白色光を用いて照明した際の撮像により得られる画像(以下、通常光画像または白色光画像という)の他に、ある特定波長の光(以下、特殊光という)を照射した際の撮像により得られる画像(以下、特殊光画像という)を取得できるカプセル内視鏡が求められている。
そこで近年では、CCDなどの受光部にカラーフィルタが設けられたカプセル内視鏡が存在する。ただし、このカプセル内視鏡では、RGBの色成分それぞれの受光部が山なり受光波長スペクトルを持つ。そのため、このように色成分ごとに山なりの受光波長スペクトルを持つ受光部に対してフラットな発光波長スペクトルの光が入射した場合、合成される受光波長スペクトル(合成受光波長スペクトル)はフラットなスペクトルとならない場合がある。その結果、カプセル内視鏡で得られる通常光画像が正確に被写体を撮像した画像とはならない場合がある。
また、たとえば上記した特許文献3が開示するところの技術を用いた場合、通常光画像は取得できるものの、特殊光画像を取得するためには、通常光画像から特定波長成分を抽出するなど処理が必要となるため、画像処理に要する負担が増大してしまう。また、上記特許文献3は、そもそも特殊光画像については考慮されていないため、通常光画像の他に特殊光画像を取得することができない。
そこで本発明は、上記の問題に鑑みてなされたものであり、通常光画像と特殊光画像とを鮮明な画像で取得することが可能な被検体内撮像システムおよび被検体内導入装置を提供することを目的とする。また、本発明は、画像処理に要する負担を増大させることなく、通常光画像と特殊光画像とを取得することが可能な被検体内撮像システムおよび被検体内導入装置を提供することを目的とする。
かかる目的を達成するために、本発明の一態様による被検体内撮像システムは、被検体内に導入される被検体内導入装置と、該被検体内導入装置から送信された無線信号を受信する受信装置と、を含む被検体内撮像システムであって、前記被検体内導入装置が、受光波長スペクトルを備えた受光素子を複数備えた受光部と、前記受光波長スペクトルに対応する発光波長スペクトルから所定波長だけ乖離する発光波長スペクトルを複数備えた発光部と、前記複数の発光素子のなかから所定の発光素子を選択する選択部と、前記受光部で合成されたフラットな合成波長スペクトルを基に通常光画像を生成する、もしくは、前記受光部で合成された鋭利な合成波長スペクトルを基に特殊光画像を生成する画像生成部と、前記画像生成部で生成された通常光画像もしくは特殊光画像を送信する送信部と、前記選択部の選択に基づいて前記受光素子の駆動を制御する制御部と、を備えることを特徴とする。
また、本発明の他の態様による被検体内導入装置は、受光波長スペクトルを備えた受光素子を複数備えた受光部と、前記受光波長スペクトルに対応する受光波長スペクトルから所定波長だけ乖離する発光波長スペクトルを複数備えた発光部と、前記複数の発光素子のなかから所定の発光素子を選択する選択部と、前記受光部で合成されたフラットな合成波長スペクトルを基に通常光画像を生成する、もしくは、前記受光部で合成された鋭利な合成波長スペクトルを基に特殊光画像を生成する画像生成部と、前記画像生成部で生成された通常光画像もしくは特殊光画像を送信する送信部と、前記選択部の選択に基づいて前記受光素子の駆動を制御する制御部と、を備えたことを特徴とする。
本発明の前記態様によれば、通常光画像を取得するための光源の他に、特殊光画像を取得するための光源を別途搭載し、これらを組合せて駆動しつつ通常光画像と特殊光画像とを取得するため、画像処理に要する負担を増大させることなく、通常光画像と特殊光画像とを取得することが可能な被検体内撮像システムおよび被検体内導入装置を実現することが可能となる。
図1は、本発明の実施の形態1によるカプセル内視鏡システムの概略構成を示す模式図である。 図2は、本発明の実施の形態1によるカプセル内視鏡の概略構成を示す斜視図である。 図3は、本発明の実施の形態1によるカプセル内視鏡の概略構成を示すブロック図である。 図4は、本発明の実施の形態1によるカプセル内視鏡の照明部における各LEDの発光スペクトルを示す図である。 図5は、本発明の実施の形態1における照明部の他の形態の概略構成を示すブロック図である。 図6は、本発明の実施の形態1によるCCDアレイの概略構成例を示す図である。 図7は、本発明の実施の形態1による各CCDの分光感度特性のスペクトルを示す図である。 図8は、本発明の実施の形態1による全てのLEDを発光させた際の各CCDの合成感度特性のスペクトルを示す図である。 図9は、本発明の実施の形態1においてNU光源であるLEDとG光源であるLEDとを駆動した際のB画素用のCCDとB画素用のCCDとの合成感度特性のスペクトルを示す図である。 図10は、本発明の実施の形態1による受信装置の概略構成を示すブロック図である。 図11は、本発明の実施の形態1による表示装置の概略構成を示すブロック図である。 図12は、本発明の実施の形態1によるカプセル内視鏡の概略動作例を示すフローチャートである。 図13は、本発明の実施の形態1の変形例1−1によるCCDアレイの概略構成例を示す図である。 図14は、本発明の実施の形態1による各CCDの分光感度特性のスペクトルを示す図である。 図15は、本発明の実施の形態1の変形例1−2によるCCDアレイの概略構成例を示す図である。 図16は、本発明の実施の形態1の変形例1−2による各CCDの分光感度特性のスペクトルを示す図である。 図17は、本発明の実施の形態1の変形例1−3による撮像部およびその周辺回路の概略構成例を示すブロック図である。 図18は、本発明の実施の形態1の変形例1−3によるカプセル制御回路の概略動作例を示すフローチャートである。 図19は、本発明の実施の形態2による画像処理回路およびその周辺回路の概略構成を示すブロック図である。 図20は、本発明の実施の形態2による通常光画像である第1画像を表示するGUI画面と特殊光画像である第2画像を表示するGUI画面との一例を示す図である。 図21は、本発明の実施の形態2による第1画像と第2画像とを並列に表示するGUI画面の一例を示す図である。 図22は、本発明の実施の形態2において第1画像データから生成したサムネイル画像および第2画像データから生成したサムネイル画像をGUI画面におけるタイムバーが示す時間軸上の位置にリンクさせつつ表示した一例を示す図である。 図23は、本発明の実施の形態2においてサムネイル画像をGUI画面におけるタイムバーが示す時間軸上の位置にリンクさせつつ表示した一例を示す図である。 図24は、本発明の実施の形態2の変形例2−1によるGUI画面の一例を示す図である。 図25は、本発明の実施の形態2の変形例2−1によるGUI画面の一例を示す図である。 図26は、本発明の実施の形態3による表示装置の概略構成を示すブロック図である。 図27は、本発明の実施の形態3によるレポートの作成対象とする検査ファイルをユーザが確認および選択するためのGUI画面を示す図である。 図28は、図27に示すGUI画面によって選択した検査ファイルに含まれる第1画像/第2画像に対してコメント等を入力するためのGUI画面を示す図である。 図29は、図28に示すGUI画面を用いて構造強調処理や狭帯域成分の抽出処理等の画像の加工処理をユーザが指示する際の作業を説明するための図である。 図30は、本発明の実施の形態3による構造強調処理や狭帯域成分の抽出処理等の加工処理がなされた画像が存在する第1画像/第2画像についてのサムネイル画像の表示例を示す図である。 図31Aは、本発明の実施の形態3によるGUI画面を用いて作成およびエクスポートされたレポートの一例を示す図である(その1)。 図31Bは、本発明の実施の形態3によるGUI画面を用いて作成およびエクスポートされたレポートの一例を示す図である(その2)。 図32は、本発明の実施の形態3による検査ファイルが複数の画像ファイルよりなる場合に何れか1つ以上の画像ファイルを単一ファイルとして出力するためのGUI画面の一例を示す図である。 図33は、図32に示すGUI画面の再生欄に表示中の画像の画像データに対して構造強調処理や狭帯域成分の抽出処理等の加工処理をユーザが指示する際の作業を説明するための図である。
以下、本発明を実施するための最良の形態を図面と共に詳細に説明する。なお、以下の説明において、各図は本発明の内容を理解でき得る程度に形状、大きさ、および位置関係を概略的に示してあるに過ぎず、従って、本発明は各図で例示された形状、大きさ、および位置関係のみに限定されるものではない。また、各図では、構成の明瞭化のため、断面におけるハッチングの一部が省略されている。さらに、後述において例示する数値は、本発明の好適な例に過ぎず、従って、本発明は例示された数値に限定されるものではない。
<実施の形態1>
以下、本発明の実施の形態1による被検体内観察システムおよび被検体内導入装置を、図面を用いて詳細に説明する。なお、以下の説明では、被検体内観察システムとして、図1に示すような、被検体内に経口にて導入され、被検体の食道から肛門にかけて管腔内を移動する途中で撮像動作を実行することで被検体内部の画像を取得するカプセル内視鏡10を被検体内導入装置として用いるカプセル内視鏡システム1を例に挙げる。また、カプセル内視鏡10としては、1つの撮像部を備えた、いわゆる単眼のカプセル内視鏡を例に挙げる。ただし、これに限定されず、例えば複眼のカプセル内視鏡としてもよい。また、例えば被検体内に経口にて導入され、被検体の胃や小腸や大腸などに蓄えた液体に浮かぶ単眼または複眼のカプセル内視鏡を被検体内導入装置に適用するなど、種々変形可能である。
(構成)
図1は、本実施の形態1によるカプセル内視鏡システム1の概略構成を示す模式図である。図1に示すように、カプセル内視鏡システム1は、経口にて被検体900内に導入されるカプセル内視鏡10と、カプセル内視鏡10より無線送信された画像信号を受信する受信装置20と、受信装置20が受信した画像信号を例えば携帯型記録媒体30を介して入力して表示する表示装置40と、を含む。また、被検体900の体表には、カプセル内視鏡10から無線送信されたと信号を受信するための1つ以上の受信アンテナ21a〜21h(以下、受信アンテナ21a〜21hのうち任意のアンテナを指す場合の符号を21とする)が取り付けられる。受信アンテナ21は、信号ケーブルおよび不図示のバラン等を介して受信装置20に接続される。なお、カプセル内視鏡10へ制御信号等を無線にて入力可能とする場合、被検体900の体表に、例えばバラン等を介して受信装置20に接続された無線送信用の送信アンテナ22を取り付けてもよい。
・カプセル内視鏡
ここで、本実施の形態1によるカプセル内視鏡10の概略構成を、図面を用いて詳細に説明する。図2は、本実施の形態1によるカプセル内視鏡10の概略構成を示す斜視図である。図3は、本実施の形態1によるカプセル内視鏡10の概略構成を示すブロック図である。
図2に示すように、カプセル内視鏡10は、一方の端が開口され、他方の端がドーム状に閉口された中空の円筒部100aと、円筒部100aの開口された端に設けられたドーム型の透明キャップ100bと、から構成される筐体100を備える。筐体100内部は、円筒部100aの開口に透明キャップ100bがはめ込まれることで、水密に封止される。また、筐体100内の透明キャップ100b側には、実装面が透明キャップ100b側へ向いた状態で基板103Bが配置される。基板103Bの実装面には、例えば、被検体900内部を照明する照明部107としてのLED107a〜107dおよび被検体900内部を撮像する撮像部103に含まれる対物レンズ103aおよびCCDアレイ103Aが設けられる。このような配置により、撮像部103および照明部107の照明/撮像方向Drが透明キャップ100bを介して筐体100の外側を向く。
また、図3に示すように、カプセル内視鏡10は、筐体100内部に、カプセル制御回路101と、CCD駆動回路102およびCCDアレイ103Aを含む撮像部103と、画像信号処理回路104と、無線送受信回路105と、LED駆動回路106およびLED107a〜107dを含む照明部107と、カプセル内視鏡10内の各回路へ電力を供給するバッテリ108および電源回路109と、を含む。
本実施の形態1による照明部107において、LED107aはシアン(C)光源であり、LED107bはイエロー(Y)光源であり、LED107cは近赤外光光源であり、LED107dは近紫外光光源である。ここで図4に、カプセル内視鏡10の照明部107における各LED107a〜107dの発光スペクトルを示す。
図4に示すように、C光源であるLED107aの発光スペクトルEcと、Y光源であるLED107bの発光スペクトルEyと、近赤外光光源であるLED107cの発光スペクトルEniとは、略同様な発光強度および帯域幅のスペクトル形状を有する。また、各発光スペクトルEc,EyおよびEniは、可視光帯域全体に亘って略均一の光強度が得られるように、それぞれの発光強度ピーク(または発光中心波長)を示す波長がずれている。
例えば、C光源であるLED107aの発光スペクトルEcの強度ピークを示す波長(または中心波長)は3つの光源(LED107a〜107c)の発光スペクトルEc,EyおよびEniのうち最も紫外光側に位置し、NI(Near Infrared−ray)光源であるLED107cの発光スペクトルEniの強度ピークを示す波長(または中心波長)は3つの光源(LED107a〜107c)の発光スペクトルEc,EyおよびEniのうち最も赤外光側に位置し、Y光源であるLED107bの発光スペクトルEyは発光スペクトルEcの強度ピークを示す波長(または中心波長)と発光スペクトルEniの強度ピークを示す波長(または中心波長)との略中間に位置する。これにより、可視光帯域全体に亘って略均一の光強度が得られる照明部107を実現できる。
なお、上記発光スペクトルEc,EyおよびEniは、図4に示すようなスペクトル形状に限らず、可視光帯域全体に亘って略均一の光強度が得られるか、もしくは、後述する色成分(R,G,B)ごとのCCD(103r,103g,103b)に相互に略同等の分光感度特性を実現させることでき得る発光スペクトルの組合せであれば、如何様にも変形することができる。また、近赤外光光源であるLED107cはマゼンタ(M)光源に置き換得ることも可能である。
一方、近紫外光(NU:Near Ultraciolet)光源であるLED107dの発光スペクトルEnuの帯域幅は、LED107a〜107cそれぞれの発光スペクトルEc,EyおよびEniの帯域幅と比較して狭い。LED107dは、本実施の形態1において、特殊光画像を取得するための光源である。このため、LED107dの発光スペクトルEnuの帯域幅を他の光源の帯域幅よりも狭くすることで、ターゲットとする近紫外光付近の色成分についてクリアな画像を得ることが可能となる。ただし、これに限定されるものではなく、他の光源(LED107a〜107c)の発光スペクトル(Ec,EyおよびEni)と同様の帯域幅であってもよい。
また、LED107a〜107dを同時に発光させた際に得られる合計の光強度分布において、LED107dから放射された近紫外光(以下、特殊光という)を主とする波長帯域の光強度分布と、LED107a〜107cから放射された光の合成光を主とする波長帯域の光強度分布との間には、光強度の低下が存在することが好ましい。これにより、LED107dから放射された近紫外光(以下、特殊光という)のスペクトルと、LED107a〜107cから放射された光の合成光のスペクトルとを、実質的に分離することが可能となるため、結果、特殊光をターゲットとした特殊光画像をよりクリアな画像とすることができる。
なお、発光スペクトルEyを、LED107dからの近紫外光の一部を蛍光物質などの波長変換部を用いて波長変換することで得られた黄色(Y)成分のスペクトルの光に置き換えることも可能である。LED107dとLED107bとは、通常光観察および特殊光観察において互いにオーバラップする期間駆動される。したがって、図5に示すように、LED107dからの近紫外光の一部をLED107bからの黄色光と同等のスペクトルの光に変換する波長シフタ107eをLED107dに設けることで、LED107bを省くことが可能となる。この結果、照明部107の構成を簡略化することが可能となる。なお、図5は、本実施の形態における照明部107の他の形態の概略構成を示すブロック図である。
また、上記と同様に、発光スペクトルEniを、LED107aからのシアン光の一部を蛍光物質などの波長変換部を用いて波長変換することで得られた近赤外光(NI)成分のスペクトルの光に置き換えることも可能である。LED107a〜LED107dは、通常光観察において互いにオーバラップする期間駆動される。そこで、LED107dからの近紫外光の一部をLED107bからの黄色光と同等のスペクトルの光に変換する波長シフタ107eに加え、図5に示すように、LED107aからのシアン光の一部をLED107cからの近赤外光と同等のスペクトルの光に変換する波長シフタ107fを設けることで、LED107bとともにLED107cを省くことも可能である。この結果、照明部107の構成をより簡略化することが可能となる。
この他、上記した波長シフタ107eおよび107fに限らず、例えばLED107dからの近紫外光を、発光スペクトルEc,EyおよびEniそれぞれのスペクトル形状の光に変換する1つまたは複数の波長シフタを用いても良い。
図3に戻り説明する。図3において、撮像部103は、光電変換素子であるCCDが2次元マトリクス状に配列した撮像素子であるCCDアレイ103Aと、カプセル制御回路101の制御の下でCCDアレイ103Aを駆動するCCD駆動回路102と、を含む。なお、撮像部103には、図2に示す基板103Bや対物レンズ103a等が含まれる。
ここで、本実施の形態1によるCCDアレイ103Aの概略構成例を図6に示す。また、図7に各CCD103r,103gおよび103bの分光感度特性のスペクトルSr,SgおよびSbを示し、図8に全てのLED107a〜107dを発光させた際の各CCD103r、103gおよび103bの合成感度特性のスペクトルCr,CgおよびCbを示し、図9にNU光源であるLED107dとG光源であるLED107bとを駆動した際のB画素用のCCD103bとB画素用のCCD103gとの合成感度特性のスペクトルCb1およびCg1を示す。なお、図7には、参考として、図4に示す各LED107a〜107dの発光スペクトルEc,EyおよびEniを記す。
図6に示すように、CCDアレイ103Aは、赤色(R)成分の光を受光してその光量に応じた電荷を蓄積するR画素用のCCD103rと、緑色(G)成分の光を受光してその光量に応じた電荷を蓄積するG画素用のCCD103gと、青色(B)成分の光を受光してその光量に応じた電荷を蓄積するB画素用のCCD103bと、よりなる画素103eが、2次元マトリクス状に複数配列した構成を備える。
図7に示すように、R画素用のCCD103rの分光感度特性のスペクトルSrは、ピークを示す波長(または中心波長)がY光源(LED107b)およびNU光源(LED107c)の発光スペクトルEyおよびEniの強度ピークを示す波長(または中心波長)の間に位置する形状となる。すなわち、R画素用のCCD103rの分光感度特性は、その補色が赤色(R)となるイエロー(Y)と近赤外光(NI)との発光スペクトルEyおよびEniそれぞれの強度ピークの間にピーク波長が位置する分布形状となる。このため、図8に示すように、全ての光源(LED107a〜107d)を発光させた際に得られるCCD103rの感度特性、すなわち、CCD103rの分光感度特性のスペクトルSrとLED107a〜107dの発光スペクトルEc,Ey,EniおよびEnuとの合成から得られるCCD103rの感度特性(以下、これをR画素合成感度特性という)のスペクトルCrは、中心波長(例えばスペクトルSrのピーク波長と対応する波長)近辺が略平坦で且つ両肩からの減衰がスペクトルSrよりも急峻な略台形の分布形状となる。
同じく図7に示すように、G画素用のCCD103gの分光感度特性のスペクトルSgは、ピークを示す波長(または中心波長)がC光源(LED107a)およびY光源(LED107b)の発光スペクトルEcおよびEyの強度ピークを示す波長(または中心波長)の間に位置する形状となる。すなわち、G画素用のCCD103gの分光感度特性は、その補色が緑色(G)となるシアン(C)とイエロー(Y)との発光スペクトルEcおよびEyそれぞれの強度ピークの間にピーク波長が位置する分布形状となる。このため、図8に示すように、全ての光源(LED107a〜107d)を発光させた際に得られるCCD103gの感度特性、すなわち、CCD103gの分光感度特性のスペクトルSgとLED107a〜107dの発光スペクトルEc,Ey,EniおよびEnuとの合成から得られるCCD103gの感度特性(以下、これをG画素合成感度特性という)のスペクトルCgは、中心波長(例えばスペクトルSgのピーク波長と対応する波長)近辺が略平坦で且つ両肩からの減衰がスペクトルSgよりも急峻な略台形の分布形状となる。
また、図7に示すように、B画素用のCCD103bの分光感度特性のスペクトルSbは、ピークを示す波長(または中心波長)がC光源(LED107a)の発光スペクトルEcの強度ピークを示す波長(または中心波長)よりも短い、すなわち紫外光側に位置した形状となる。したがって、図8に示すように、全ての光源(LED107a〜107d)を発光させた際に得られるCCD103bの感度特性、すなわち、CCD103bの分光感度特性のスペクトルSbとLED107a〜107dの発光スペクトルEc,Ey,EniおよびEnuとの合成から得られるCCD103bの感度特性(以下、これをG画素合成感度特性という)のスペクトルCbは、略中心波長(例えばスペクトルSbのピーク波長と対応する波長)から赤外光側にかけて略平坦で且つ赤外光側の肩からの減衰がスペクトルSbよりも急峻な分布形状となる。
以上のことから、図8に示すように、本実施の形態1では、LED107a(LED107dを含んでもよい)の発光スペクトルEc(Enu)とCCD103bの分光感度特性(スペクトルSb)とから得られる合成感度特性(スペクトルCb)のピーク近傍と、LED107aおよび107b(またはLED107bおよび107c)の発光スペクトルEcおよびEy(または発光スペクトルEyおよびEni)とCCD107g(またはLED107r)の分光感度特性(スペクトルSg(またはスペクトルSr))とから得られる合成感度特性(スペクトルCg(またはスペクトルCb))のピーク近傍と、がブロードな感度特性となっている。なお、感度特性がブロードであるとは、個々のCCDの分光感度特性のスペクトル形状や個々のLEDの発光スペクトルのスペクトル形状と比較して、その特性の波長依存性を無視できる又は誤差として許容できる程度に、十分に平坦なスペクトル形状を備えていることを意味する。
また、シアン(C)光に対するCCD103bの合成感度特性(スペクトルCbの長波長側)と、シアン(C)光(またはイエロー(Y)光)とイエロー(Y)光(または近赤外光(NU))との合成光に対するCCD103g(またはCCD103r)の合成感度特性(スペクトルCg(またはスペクトルCr))とを重畳した感度特性(第1重畳感度特性)における合成感度特性(スペクトルCb)のピークから合成感度特性(スペクトルCg(またはスペクトルCr))のピークまでの高低差よりも、近紫外光(NU)に対するCCD103dの合成感度特性(スペクトルCbの短波長側)と合成感度特性(スペクトルCbの長波長側)とを重畳した感度特性(第2重畳感度特性)における合成感度特性(スペクトルCbの短波長側)のピークから合成感度特性(スペクトルCbの長波長側)のピークまでの高低差の方が大きい。
なお、本実施の形態1では、スペクトルSbのピーク波長(または中心波長)がNU光源(LED107d)の発光スペクトルEnuの強度ピークを示す波長(または中心波長)よりも長く、さらに、発光スペクトルEnuの波長帯域が他の発光スペクトル(Ec,EyおよびEni)よりも十分に狭く且つ発光スペクトルEnuのピーク波長(または中心波長)とCCD103bの受光感度特性のスペクトルSbの強度ピークを示す波長(または中心波長)とが十分に離れている場合(例えば、発光スペクトルEcのピーク波長(または中心波長)とCCD103bの受光感度特性のスペクトルSbの強度ピークを示す波長(または中心波長)との波長差よりも、発光スペクトルEnuのピーク波長(または中心波長)とCCD103bの受光感度特性のスペクトルSbの強度ピークを示す波長(または中心波長)との波長差の方が大きい場合)を例に挙げることで、上述したように、LED107dからの特殊光を主とする波長帯域の光強度分布とLED107a〜107cから放射された光の合成光を主とする波長帯域の光強度分布との間に光強度の窪み(低下部分)を設け、これにより、LED107dからの特殊光のスペクトルとLED107a〜107cから放射された光の合成光のスペクトルとを実質的に分離させている。
このため、図8に示すように、全ての光源(LED107a〜107d)を発光させた際に得られるCCD103bの感度特性、すなわち、CCD103bの分光感度特性のスペクトルSbとLED107a〜107dの発光スペクトルEc,Ey,EniおよびEnuとの合成から得られるG画素合成感度特性のスペクトルCbにおいて、略中心波長(例えばスペクトルSbのピーク波長と対応する波長)から紫外光側にかけての帯域では、LED107aの発光スペクトルEcのピーク波長近傍とLED107dの発光スペクトルEnuのピーク波長近傍との間に一時的な感度特性の低下が形成される。これにより、LED107dから放射された特殊光に対する撮像部103の分光感度特性と他の光源(LED107a〜107c)から放射された光の合成光に対する撮像部103の分光感度特性とを実質的に分離することが可能となるため、結果、特殊光をターゲットとした特殊光画像をよりクリアな画像とすることができる。なお、B画素合成感度特性のスペクトルCbにおける紫外光側も、肩からの減衰がスペクトルSbよりも急峻な分布形状であることが好ましい。
また、LED107dからの近紫外光(NU)に対するCCD103bの感度特性(以下、これを第1特殊光合成感度特性という)は、図9のスペクトルCb1に示すように、LED107dの発光スペクトルEnuとCCD103bの分光感度特性のスペクトルSbとを合成して得られる分布形状となる。同様に、LED107bからのイエロー(Y)光に対するCCD103gの感度特性(以下、これを第2特殊光合成感度特性という)は、図9のスペクトルCg1に示すように、LED107bの発光スペクトルEyとCCD103bの分光感度特性のスペクトルSbとを合成して得られる分布形状となる。
そこで本実施の形態1では、LED107dと、このLED107dの発光スペクトルEnuと十分に分離した発光スペクトルEyの光を放射するLED107bとを駆動した状態でCCDアレイ103AにおけるB画素用のCCD103bとG画素用のCCD103gとを駆動することで、2種類の特殊光成分よりなる特殊光画像を取得する。なお、2種類の特殊光成分のうち、1つは、第1特殊光合成感度特性に従って光電変換される近紫外光(例えば波長が415nm近辺の光:以下、第1特殊光という)であり、他の1つは、第2特殊光合成感度特性に従って光電変換される緑色(例えば波長が540nm近辺の光:以下、第2特殊光という)である。
ここで、被検体900内部における光の透過率は、波長によって異なる。すなわち、波長の短い光ほど、被検体900内壁における深い部分で反射する。また、波長が415nm付近の光および540nm付近の光は、例えば血液による吸収率が高い。このため、第1特殊光と第2特殊光とを用いて被検体900内部を撮像することで、異なる深さの血管の形状が撮像された特殊光画像を取得することが可能となる。
なお、シアン(C)と近紫外光(NU)との補色は、B画素用のCCD103bが受光可能な波長帯域の光、すなわち青色(B)であってもよい。また、CCDアレイ103Aに代えて、CMOS(Complementary Metal Oxide Semiconductor)センサアレイなど、種々の撮像素子を用いることができる。さらに、LED107a〜107dに代えて種々の発光素子を用いることができる。
図3に戻り説明する。カプセル制御回路101は、各種動作を実行するためのプログラムおよびパラメータを記憶したメモリを含み、このメモリから適宜プログラムおよびパラメータを読み出して実行することで、カプセル内視鏡10内の各ユニットを制御する動作を実行する。例えばカプセル制御回路101は、読み出したプログラムを同じく読み出したパラメータに基づいて実行することで、照明部107のLED駆動回路106にLED107a〜107dにおける何れかの組合せを発光させると共に、撮像部103に定期的且つ交互に通常光画像の画像信号と特殊光画像の画像信号とを生成させる。また、カプセル制御回路101は、撮像部103において取得された画像信号を画像信号処理回路104に処理させた後、処理後の画像信号を無線送受信回路105に無線送信させる。
なお、画像信号処理回路104は、例えば入力された画像信号に対してA/D(Analog to Digital)変換などの信号処理を実行する。また、無線送受信回路105は、入力された処理後の画像信号を無線送信用の信号に変換し、これを送信アンテナ105tから無線信号として送信する。なお、無線送受信回路105が後述する受信装置20から無線送信された制御信号を受信アンテナ105rを介して受信してこれをカプセル制御回路101に入力し、カプセル制御回路101が入力された制御信号に基づいて各種動作を実行するように構成してもよい。
また、バッテリ108および電源回路109は、カプセル内視鏡10内の各ユニットに電力を供給する。このバッテリ108には、例えばボタン電池(Button Battery)などの1次電池(Primarybattery)または2次電池(Secondary Battery)を用いることができる。
・受信装置
次に、本実施の形態1による受信装置20の概略構成を、図面を用いて詳細に説明する。図10は、本実施の形態1による受信装置20の概略構成を示すブロック図である。
図10に示すように、受信装置20は、被検体900の体表に取り付けられた受信アンテナ21が接続された無線受信回路203と、受信アンテナ21および無線受信回路203を介して受信された受信信号に所定の処理を実行する受信信号処理回路204と、無線受信回路203におけるRSSI(Received Signal Strength Indication)回路において検出された受信信号の電波強度からカプセル内視鏡10の被検体900内部での位置を検出する位置検出回路205と、カプセル内視鏡10へ送信する制御信号等に所定の処理を実行する送信信号処理回路206と、送信信号処理回路206で処理された送信信号を送信アンテナ22を介して無線送信する無線送信回路207と、受信装置20内の各回路を制御する受信装置制御回路201と、受信装置制御回路201が各回路を制御するために実行するプログラムおよびパラメータやカプセル内視鏡10から受信した画像の画像データ等を記憶するメモリ回路202と、カプセル内視鏡10から受信した画像や受信装置20への各種設定画面等をユーザへ表示する画像表示回路208と、ユーザが受信装置20またはカプセル内視鏡10への各種設定および指示を入力するユーザI/F回路209と、カプセル内視鏡10から受信した画像の画像データ等を着脱可能な携帯型記録媒体30へ出力するデータ出力I/F制御回路210と、受信装置20内の各回路へ電力を供給するバッテリ211および電源回路212と、を含む。
受信装置20において、無線受信回路203は、定期的に送信される画像信号を受信アンテナ21を介して受信し、この受信した画像信号を受信信号処理回路204に入力する。受信信号処理回路204は、入力された画像信号に対して所定の処理を実行して画像データを生成した後、生成された画像データをメモリ回路202および画像表示回路208に入力する。メモリ回路202に入力された画像データは、一時メモリ回路202において保持される。また、画像表示回路208は、入力された画像データを再生することで、カプセル内視鏡10から送られた画像をユーザへ表示する。
また、受信装置20における無線受信回路203は、実装するRSSI回路において検出された各受信アンテナ21での受信信号の電波強度を位置検出回路205へ入力する。位置検出回路205は、受信装置制御回路201の制御の下、各受信アンテナ21の被検体900体表上での位置と各受信アンテナ21で受信された受信信号の電波強度とに基づき、例えば三次元測位等を用いて、被検体900内におけるカプセル内視鏡10の位置を検出する。また、位置検出回路205は、検出したカプセル内視鏡10の位置情報を受信装置制御回路201を介して受信信号処理回路204またはメモリ回路202に入力する。例えば受信信号処理回路204に位置情報が入力される場合、受信信号処理回路204は、位置検出に用いた受信信号に相当する画像データに位置情報を付加し、この位置情報が付加された画像データをメモリ回路202に入力する。一方、メモリ回路202に位置情報が入力される場合、受信信号制御回路201は、直前にメモリ回路202に保存された画像データに対して新たな位置情報が付加されるようにメモリ回路202を制御する。
位置情報が付加された画像データは、受信装置制御回路201によってメモリ回路202から読み出され、データ出力I/F制御回路210を介して携帯型記録媒体30に入力する。これにより、位置情報が付加された画像データが携帯型記録媒体30に保存される。
・表示装置
次に、本実施の形態1による表示装置40の概略構成を、図面を用いて詳細に説明する。図11は、本実施の形態1による表示装置40の概略構成を示すブロック図である。
図11に示すように、表示装置40は、表示装置40内の各回路を制御する表示装置制御回路401と、表示装置制御回路401が実行する各種プログラムおよびパラメータや受信装置20から入力した画像データ等を記憶する記憶回路402と、携帯型記録媒体30からこれに保存された画像データを入力するデータ入力I/F制御回路403と、マウスやキーボードやジョイスティック等のユーザが操作入力に用いる入力装置411に対するインタフェースであるユーザI/F制御回路407と、表示装置制御回路401を介して入力された画像データを用いてユーザにカプセル内視鏡10が取得した画像を観察させる各種GUI(Graphical User Interface)画面を生成する画像処理回路404と、画像処理回路404で生成されたGUI画面をモニタ406に表示させるモニタ制御回路405と、液晶ディスプレイや有機/無機EL(Electro−luminescence)ディスプレイ等で構成されたモニタ406と、を含む。
ユーザは、受信装置20において携帯型記録媒体30にカプセル内視鏡10からの画像データを蓄積すると、この携帯型記録媒体30を受信装置20から取り外し、表示装置40に差し込む。その後、表示装置40に接続された入力装置411を用いて表示装置40に各種指示を入力することで、携帯型記録媒体30に蓄積された画像のGUI画面をモニタ406に表示し、このGUI画面を用いて被検体900内部を観察しつつ、必要に応じて表示装置40に対する各種操作指示を入力する。
(動作)
次に、本実施の形態1によるカプセル内視鏡システム1の動作について詳細に説明する。まず、本実施の形態1によるカプセル内視鏡10の動作について説明する。図12は、本実施の形態1によるカプセル内視鏡10の概略動作例を示すフローチャートである。なお、図12では、カプセル内視鏡10内の各回路を制御するカプセル制御回路101の動作に着目して説明する。
図12に示すように、カプセル制御回路101は、起動後、第1所定時間が経過したか否かを判定し(ステップS101)、第1所定時間が経過後(ステップS101のYes)、まず、LED駆動回路106を制御することで、全てのLED107a〜107dを第2所定時間発光させる(ステップS102)。続いてカプセル制御回路101は、CCD駆動回路102を駆動することで、CCDアレイ103Aの全てのCCD103r、103gおよび103bに蓄積された電荷を読み出し(ステップS103)、この読み出しにより得られた通常光画像の画像信号を画像信号処理回路104に入力し、画像信号処理回路104においてこの画像信号に対する所定の処理を実行する(ステップS104)。なお、処理後の画像信号は、無線送受信回路105に入力される。その後、カプセル制御回路101は、無線送受信回路105を制御することで、通常光画像の画像信号を第1画像データとして受信装置20へ無線送信する(ステップS105)。なお、第1所定時間が経過していない場合(ステップS101のNo)、カプセル制御回路101は、例えば待機する。また、受信装置20へ無線送信される第1画像データには、例えば撮像時もしくは信号処理時の時刻がタイムスタンプとして付加されていてもよい。また、ステップS101〜S105までが、通常光画像を取得する第1撮像モードである。
次に、カプセル制御回路101は、ステップS101から第3所定時間が経過したか否かを判定し(ステップS106)、第3所定時間が経過後(ステップS106のYes)、まず、LED駆動回路106を制御することで、近紫外光(NU)光源であるLED107dとY光源であるLED107bとを発光させる(ステップS107)。続いてカプセル制御回路101は、CCD駆動回路102を駆動することで、CCDアレイ103AにおけるCCD103bおよび103gに蓄積された電荷を読み出し(ステップS108)、この読み出しにより得られた特殊光画像の画像信号を画像信号処理回路104に入力し、画像信号処理回路104においてこの画像信号に対する所定の処理を実行する(ステップS109)。なお、処理後の画像信号は、無線送受信回路105に入力される。その後、カプセル制御回路101は、無線送受信回路105を制御することで、特殊光画像の画像信号を第2画像データとして受信装置20へ無線送信する(ステップS110)。なお、第2所定時間が経過していない場合(ステップS106のNo)、カプセル制御回路101は、例えば待機する。また、受信装置20へ無線送信される第2画像データには、例えば撮像時もしくは信号処理時の時刻がタイムスタンプとして付加されていてもよい。また、ステップS106〜S110までが、特殊光画像を取得する第2撮像モードである。
以上により、カプセル内視鏡10から通常光画像の第1画像データと特殊光画像の第2画像データとが受信装置20へ定期的かつ交互に送信される。これに対し、受信装置20は、受信した第1および第2画像データに対して撮像時のカプセル内視鏡10の位置情報を付加すると共に受信信号処理回路204において所定の処理を実行し、その後、第1および第2画像データをデータ出力I/F制御回路210を介して携帯型記録媒体30に入力する。また、携帯型記録媒体30を介して第1および第2画像データが入力された表示装置40は、例えばユーザによる指示に従い、入力した第1および/または第2画像データを用いてGUI画面を生成し、このGUI画面をモニタ406に表示することで、被検体900内部の観察環境をユーザに提供する。
以上のように構成および動作することで、本実施の形態1では、通常光画像(第1画像)を取得するための光源(LED107a〜107c(LED107dを含んでもよい)の他に、特殊光画像(第2画像)を取得するための光源(LED107d)を別途搭載し、これらを組合せて駆動しつつ通常光画像と特殊光画像とを取得するため、画像処理に要する負担を増大させることなく、通常光画像と特殊光画像とを取得することが可能なカプセル内視鏡システム1およびカプセル内視鏡10を実現することが可能となる。
なお、本実施の形態1では、カプセル内視鏡10において自動的に駆動する光源(LED107a〜107d)の組合せを切り替えて、定期的に通常光画像と特殊光画像とを取得するように構成したが、本発明はこれに限定されず、例えば受信装置20からカプセル内視鏡10を操作することで、駆動する光源(LED107a〜107d)の組合せを選択できるように構成してもよい。
(変形例1−1)
なお、上記した実施の形態1では、1つの画素103eが色の三原色(R画素,G画素およびB画素)それぞれのCCD103r,103gおよび103bを備えたCCDアレイ103Aを例に挙げたが、本発明はこれに限定されるものではない。以下、CCDアレイ103Aの他の形態を、本実施の形態1の変形例1−1として、図面を用いて詳細に説明する。
図13は、本変形例1−1によるCCDアレイ103A−1の概略構成例を示す図である。図14は、各CCD103r,103g,103bおよび103nuの分光感度特性のスペクトルSr,Sg,SbおよびSnuを示す図である。なお、図14には、参考として、図4に示す各LED107a〜107dの発光スペクトルEc,EyおよびEniを記す。
上記した実施の形態1では、特殊光画像を取得する際の特殊光として、波長が415nm程度の第1特殊光と、波長が540nm程度の第2特殊光と、を例示し、これらの色成分よりなる画像を特殊光画像(第2画像データ)として取得した。そこで本変形例1−1では、図13に示すように、R画素用のCCD103r,G画素用のCCD103gおよびB画素用のCCD103bの他に、近紫外光(NU)画素用のCCD103nuを含む画素103fが2次元マトリクス状に配列したCCDアレイ103A−1を例に挙げる。
CCD103r,103gおよび103bは、上記実施の形態1と同様である。一方、CCD103nuは、図14に示すように、その感度ピークを示す波長(または中心波長)がNU光源であるLED107dの発光スペクトルEnuと略同じであるスペクトルSnuの分光感度特性を備える。
すなわち、本変形例1−1では、CCDアレイ103A−1の各画素103fがLED107dからの波長415nm程度の近紫外光(第1特殊光)をターゲットとしたCCD103nuを含むことで、より鮮明な特殊光画像を取得することを可能にしている。なお、他の構成、動作および効果は、上記実施の形態1と同様であるため、ここでは詳細な説明を省略する。
(変形例1−2)
また、上記したCCDアレイ103Aの他の形態を、本発明の実施の形態1の変形例1−2として、図面を用いて詳細に説明する。図15は、本変形例1−2によるCCDアレイ103A−2の概略構成例を示す図である。図16は、各CCD103r,103g,103b,103nuおよび103ngの分光感度特性のスペクトルSr,Sg,Sb,SnuおよびSngを示す図である。なお、図16には、参考として、図4に示す各LED107a〜107dの発光スペクトルEc,EyおよびEniを記す。
上記した変形例1−1では、波長415nm程度の近紫外光(第1特殊光)をターゲットとしたCCD103nuを各画素103fに含めた場合を例に挙げたが、本変形例1−2では、これに加え、波長540nm程度の光(第2特殊光)をターゲットとしたCCD103ngをさらに各画素103hに含める。そこで本変形例1−2によるCCDアレイ103A−2は、図15に示すように、R画素用のCCD103r,G画素用のCCD103g,B画素用のCCD103bおよびNU画素用のCCD103nuの他に、第2特殊光を受光する画素(NG画素)用のCCD103ngを含む画素103hが2次元マトリクス状に配列した構成を備える。CCD103r,103g,103bおよび103nuは、上記変形例1−1と同様である。一方、CCD103ngの分光感度特性のスペクトルSngは、図16に示すように、その感度ピークを示す波長(または中心波長)が略540nmとなる分布形状を備える。
このように、第1特殊光と第2特殊光とをそれぞれターゲットとしたCCD103nuおよび103ngを1つの画素103hに含めることで、より鮮明な特殊光画像を取得することが可能となる。なお、他の構成、動作および効果は、上記実施の形態1と同様であるため、ここでは詳細な説明を省略する。
(変形例1−3)
また、上記した実施の形態1またはその変形例では、カプセル内視鏡10が通常光画像(第1画像データ)および特殊光画像(第2画像データ)を取得後順次、受信装置20へ送信していた。ただし、本発明はこれに限定されず、例えば1つ以上の通常光画像(第1画像データ)と1つ以上の特殊光画像(第2画像データ)とをまとめて受信装置20へ送信するように構成してもよい。以下、この場合を上記実施の形態1の変形例1−3として、図面を用いて詳細に説明する。ただし、以下の説明において、上記実施の形態1またはその変形例と同様の構成については、同一の符号を付し、その詳細な説明を省略する。
図17は、本変形例1−3による撮像部103−1およびその周辺回路の概略構成例を示すブロック図である。図17に示すように、本変形例1−3による撮像部103−1は、CCDアレイ103AとCCD駆動回路102−1とバッファ103Cとを含む。
バッファ103Cは、CCDアレイ103Aが生成した画像信号を一時記憶するページメモリである。CCD駆動回路102−1は、カプセル制御回路101からの制御の下、CCDアレイ103Aが生成した通常光画像の画像信号を一時、バッファ103Cに保存し、続けて特殊光画像の画像信号をCCDアレイ103Aに生成させる。また、画像信号処理回路104は、カプセル制御回路101からの制御の下、例えばバッファ103Cに格納されている通常光画像の画像信号を読み出し、これに所定の処理を実行して無線送受信回路105へ出力した後、続けてCCDアレイ103Aから特殊光画像の画像信号を読み出し、これに所定の処理を実行して無線送受信回路105へ出力する。無線送受信回路105は、入力された通常光画像の画像信号と特殊光画像の画像信号とを1度の送信処理により受信装置20へ送信する。
次に、本変形例1−3によるカプセル制御回路101の動作について、図面を用いて詳細に説明する。図18は、本変形例1−3によるカプセル制御回路101の概略動作例を示すフローチャートである。
図12に示すように、カプセル制御回路101は、図12のステップS101およびS102と同様の動作を実行することで、全てのLED107a〜107dを第2所定時間発光させる(図18のステップS101およびS102)。続いてカプセル制御回路101は、CCD駆動回路102−1を駆動することで、CCDアレイ103Aの全てのCCD103r、103gおよび103bに蓄積された電荷を第1画像信号としてバッファ103Cに保存する(ステップS203)。なお、CCDアレイ103Aのマトリクス構造とバッファ103Cのマトリクス構造とはミラーであることが好ましい。これにより、CCDアレイ103Aに生じた電荷をそのままバッファ103Cに移動することで、CCDアレイ103Aが生成した画像信号を容易にバッファ103Cに保存することが可能となる。
次に、カプセル制御回路101は、図12のステップS106およびS107と同様の動作を実行することで、近紫外光(NU)光源であるLED107dとY光源であるLED107bとを発光させる(図18のステップS106およびS107)。続いてカプセル制御回路101は、バッファ103Cに保存しておいた第1画像信号を読み出し(ステップS202)、この第1画像信号を画像信号処理回路104に入力して、画像信号処理回路104においてこの画像信号に対する所定の処理を実行する(ステップS203)。なお、処理後の第1画像信号は、無線送受信回路105に入力される。
次に、カプセル制御回路101は、図12のステップS108およびS109と同様の動作を実行することで、CCDアレイ103AにおけるCCD103bおよび103gに蓄積された電荷を第2画像信号として読み出して、これに所定の処理を実行する(図18のステップS108およびS109)。なお、処理後の第2画像信号は、無線送受信回路105に入力される。その後、カプセル制御回路101は、無線送受信回路105を制御することで、第1および第2画像信号を一度の送信処理により受信装置20へ無線送信する(ステップS204)。
以上のように動作することで、第1画像信号と第2画像信号とを一度の送信処理で受信装置20へ送信することが可能となるため、送信に要する処理および時間を低減することが可能となる。なお、他の構成、動作および効果は、上記した実施の形態1またはその変形例と同様であるため、ここでは詳細な説明を省略する。
<実施の形態2>
次に、本発明の実施の形態2による被検体内観察システムおよび被検体内導入装置を、図面を用いて詳細に説明する。なお、以下の説明において、上記実施の形態1またはその変形例と同様の構成については、同一の符号を付し、その詳細な説明を省略する。
本実施の形態2では、上記実施の形態1によるカプセル内視鏡システム1と同様の構成の構成を適用することができる。ただし、本実施の形態2では、図11に示す表示装置40における画像処理回路404が、図19に示す画像処理回路404Aに置き換えられる。なお、図19は、本実施の形態2による画像処理回路404Aおよびその周辺回路の概略構成を示すブロック図である。
図19に示すように、画像処理回路404Aは、例えば記憶回路402から表示装置制御回路401を介して表示対象の1つ以上の画像データ(以下、画像データ群im1という)を取得するデータ取得部4041と、データ取得部4041が取得した画像データ群im1のうちの第1画像データに所定の処理を実行する第1画像処理部4042aと、同じくデータ取得部4041が取得した画像データ群im1のうちの第2画像データに所定の処理を実行する第2画像処理部4042bと、ユーザI/F制御回路407を介して入力装置411から入力された指示(表示画像選択情報)に基づいてモニタ406(図11参照)に表示する画像を処理後の第1画像データim01および第2画像データim02から選択すると共に選択した第1/第2画像データim01/im02を用いてGUI画面を生成する画像表示処理部4043と、ユーザI/F制御回路407を介して入力された指示(サムネイル登録情報)に基づいてデータ取得部4041が取得した画像データ群im1のうちサムネイル表示対象とされた第1/第2画像データからサムネイル画像を生成するサムネイル生成部4044と、を含む。
なお、画像表示処理部4043で生成されたGUI画面は、モニタ制御回路405に入力され、モニタ制御回路405による制御の下、モニタ406に表示される。また、サムネイル生成部4044で生成された第1/第2サムネイル画像Sm01/Sm02は、モニタ制御回路405に入力される。モニタ制御回路405は、入力された第1/第2サムネイル画像Sm01/Sm02を適宜、GUI画面に組み込む。また、モニタ406へは、第1/第2サムネイル画像Sm01/Sm02が組み込まれたGUI画面が入力される。これにより、モニタ406には、図20〜図25に示すようなGUI画面が表示される。
ここで、本実施の形態2によりモニタ406に表示されるGUI画面の例を、図面を用いて詳細に説明する。図20は、通常光画像である第1画像(第1画像データim01による画像)IM01を表示するGUI画面A1と特殊光画像である第2画像(第2画像データim02による画像)IM02を表示するGUI画面A2との一例を示す図である。図21は、第1画像IM01と第2画像IM02とを並列に表示するGUI画面A3の一例を示す図である。図22は第1画像データim01から生成したサムネイル画像Sm01および第2画像データim02から生成したサムネイル画像Sm02をGUI画面A1におけるタイムバーA13が示す時間軸上の位置にリンクさせつつ表示した一例を示す図であり、図23はサムネイル画像Sm01およびサムネイル画像Sm02をGUI画面A2におけるタイムバーA13が示す時間軸上の位置にリンクさせつつ表示した一例を示す図である。
まず、図20に示すように、通常光画像である第1画像IM01を表示するGUI画面A1は、第1画像IM01を表示する主画像表示領域A11と、モニタ406に表示するGUI画面を後述するGUI画面A1〜A3の中で切り替える切り替え指示(GUI画面切替指示)や、主画像表示領域A11(または主画像表示領域A21/A31/A32)に表示中の第1画像IM01(または第2画像IM02)のサムネイル画像Sm01(またはサムネイル画像Sm02)を登録する指示(サムネイル登録指示)を入力するための操作ボタンA12と、カプセル内視鏡10による撮像期間(少なくとも第1/第2画像データim01/im02が存在する期間)の時間軸を示すタイムバーA13と、主画像表示領域A11(または主画像表示領域A21/A31/A32)に表示中である第1画像IM01の時間軸上の位置を示すと共に主画像表示領域A11に表示中の第1画像IM01(または第2画像IM02)を切り替える指示(表示画像選択指示)を入力するためのスライダA14と、を実装する。また、特殊光画像である第2画像IM02を表示するGUI画面A2は、主画像表示領域A11が、第2画像IM02を表示する主画像表示領域A21に置き換えられた構成である。
さらに、図21に示すGUI画面A3は、GUI画面A1/A2に2つの主画像表示領域A11およびA21が組み込まれている。この2つの主画像表示領域A11およびA21には、例えば略同じ時刻に撮像された第1画像IM01と第2画像IM02とがそれぞれ表示される。
ユーザは、主画像表示領域A11/A21に表示中の第1画像IM01/第2画像IM02を観察しつつ、入力装置411からGUI機能の1つであるポインタP1を用いて操作ボタンA12やスライダA14を操作することで、主画像表示領域A11/A21に表示する画像を選択したり、モニタ406に表示するGUI画面を切り替えたり、主画像表示領域A11/A21に表示中の第1画像IM01/第2画像IM02のサムネイル画像Sm01/Sm02を登録したり、などの操作を入力装置411より入力する。また、ユーザによりサムネイル画像Sm01/Sm02が選択されると、主画像表示領域A11/A21には、選択されたサムネイル画像Sm01/Sm02に対応する第1画像IM01/第2画像IM02が表示される。
以上のような構成とすることで、本実施の形態2では、通常光画像と特殊光画像とのサムネイルを容易に登録および閲覧することが可能なGUI画面をユーザに提供することが可能となる。なお、他の構成、動作および効果は、上記した実施の形態1またはその変形例と同様であるため、ここでは詳細な説明を省略する。
(変形例2−1)
また、上記した実施の形態2では、主画像表示領域A11に表示中である第1画像IM01のサムネイル画像Sm01、または、主画像表示領域A21に表示中である第2画像IM02のサムネイル画像Sm02を個別に登録する場合を例に挙げたが、本発明はこれに限定されるものではない。例えば、主画像表示領域A11/A21に表示中である第1画像IM01/第2画像IM02のサムネイル画像Sm01/Sm02と、この第1画像Im01/第2画像IM02と略同時に取得された第2画像Im02/第1画像IM01のサムネイル画像Sm02/Sm01とを、ユーザによる1回のサムネイル登録指示で自動的に登録するように構成してもよい。以下、この場合を本実施の形態2による変形例2−1として、図面を用いて詳細に説明する。
図24は本変形例2−1によるGUI画面A1/A2の一例を示す図であり、図25は本変形例2−1によるGUI画面A3の一例を示す図である。図24に示すように、本変形例2−1によるGUI画面A1/A2では、タイムバーA13が示す時間軸上の点に対して、第1画像IM01のサムネイル画像Sm01と第2画像IM02のサムネイル画像Sm02とが共に登録されている。同様に、図25に示すように、本変形例2−1によるGUI画面A3では、タイムバーA13が示す時間軸上の点に対して、第1画像IM01のサムネイル画像Sm01と第2画像IM02のサムネイル画像Sm02とが共に登録されている。
以上のような構成とすることで、本変形例2−1では、通常光画像および特殊光画像のうち何れか一方に対するサムネイル画像の登録指示により、両方の画像に自動的にサムネイル画像を登録し、さらに、これらを並列に表示することが可能となるため、複数の画像に対して容易にサムネイル画像を登録し、さらに、容易に閲覧することが可能なGUI画面をユーザに提供することが可能となる。なお、他の構成、動作および効果は、上記した実施の形態1またはその変形例と同様であるため、ここでは詳細な説明を省略する。
<実施の形態3>
次に、本発明の実施の形態3による被検体内観察システムおよび被検体内導入装置を、図面を用いて詳細に説明する。なお、以下の説明において、上記実施の形態1、2またはそれらの変形例と同様の構成については、同一の符号を付し、その詳細な説明を省略する。
本実施の形態3では、上記実施の形態1におけるカプセル内視鏡10が取得した第1画像IM01/第2画像IM02に対してユーザがコメントを付加でき、さらに、コメント付きの第1画像IM01および/または第2画像IM02をレポート形式で電子ファイルまたは紙に出力できるように構成される。そこで本実施の形態3では、上記実施の形態1によるカプセル内視鏡システム1と同様の構成の構成を適用することができる。ただし、本実施の形態3では、図11に示す表示装置40が、図26に示す表示装置40Aに置き換えられる。なお、図26は、本実施の形態3による表示装置40Aの概略構成を示すブロック図である。
図26に示すように、表示装置40Aは、図11に示す表示装置40と同様の構成において、表示装置制御回路401が表示装置制御回路401Aに置き換えられると共に、外部のプリンタ413と接続されたプリンタ駆動回路408Aが設けられている。また、記憶回路402内には、検査フォルダ4021と、管理フォルダ4022と、入出力フォルダ4023と、が格納されている。
表示装置制御回路401Aは、例えばモニタ406に表示するGUI画面を切り替えるなどの制御を実行する表示制御部4011と、入力装置411より入力された各種指示に基づいてカプセル内視鏡10より受信した第1画像データim01/第2画像データim02に構造強調処理や狭帯域成分の抽出処理等の加工処理を実行する画像加工部4012と、画像加工部4012により加工処理された第1画像データim01/第2画像データim02の画像ファイルを生成する画像ファイル生成部4013と、画像ファイル生成部4013により生成された画像ファイルに対して入力装置411より入力されたコメント(テキスト)等を付加してレポートを作成するレポート作成部4014と、作成したレポートをPDF(Portable Document Format)ファイルなどの電子ファイルまたは紙にエクスポートする出力処理部4015と、電子ファイルとして出力しておいたレポートを例えば記憶回路402や外部記憶装置等からインポートする入力処理部4016と、を備える。
また、記憶回路402において、検査フォルダ4021には、一度の検査によりカプセル内視鏡10から受信した第1画像データim01および第2画像データim02の画像データ群im1が1つの検査ファイルとして保存される。管理フォルダ4021には、例えば被検体900の情報や検査実行日などの各種情報を格納するファイルが管理ファイルとして格納される。入出力フォルダ4023には、ユーザにより作成され、エクスポートされたレポートの電子ファイルが格納される。なお、各管理ファイルと検査ファイルとは関連付けられていてもよい。
次に、本実施の形態3によるレポート作成用のGUI画面およびこのGUI画面を用いて作成されるレポートについて、図面を用いて詳細に説明する。図27は、本実施の形態3によるレポートの作成対象とする検査ファイルをユーザが確認および選択するためのGUI画面B1を示す図である。図28は、図27に示すGUI画面B1によって選択した検査ファイルに含まれる第1画像IM01/第2画像IM02に対してコメント等を入力するためのGUI画面B2を示す図である。図29は、図28に示すGUI画面B2を用いて構造強調処理や狭帯域成分の抽出処理等の画像の加工処理をユーザが指示する際の作業を説明するための図である。図30は、構造強調処理や狭帯域成分の抽出処理等の加工処理がなされた画像が存在する第1画像IM01/第2画像IM02についてのサムネイル画像の表示例を示す図である。
図27に示すように、GUI画面B1には、レポート作成対象として選択可能な検査ファイルF1〜F4の一覧を表示する対象検査ファイル一覧表示欄B11と、選択中の検査ファイルに含まれる第1画像IM01/第2画像IM02の何れかおよび被検体900の情報等を表示する主表示領域B12と、主表示領域B12に表示する静止画像の第1画像IM01/第2画像IM02を切り替える、もしくは、主表示領域B12に再生する動画像の第1画像IM01/第2画像IM02を順再生、逆再生、早送り、巻き戻しおよび頭出し等の操作を入力するための操作ボタンB13と、一度に主表示領域B12に表示する第1画像IM01/第2画像IM02の枚数を例えば1枚、2枚、4枚の中から切り替える切替ボタンB14a〜B14cと、主表示領域B12に表示中の第1画像IM01/第2画像IM02に対してレポートを作成する指示を入力するレポート作成ボタンB14dと、第1画像IM01/第2画像IM02の印刷指示を入力する画像出力ボタンB14eと、主表示領域B12に表示する画像を第1画像IM01と第2画像IM02との何れかに切り替える表示画像切替ボタンB14fと、カプセル内視鏡10による撮像期間(少なくとも第1/第2画像データim01/im02が存在する期間)の時間軸を示すタイムバーB15と、主表示領域B12に表示中である第1画像IM01/第2画像IM02の時間軸上の位置を示すと共に主表示領域B12に表示中の第1画像IM01/第2画像IM02を切り替える指示(表示画像選択指示)を入力するためのスライダB15aと、登録されたサムネイル画像Sm11〜SM15,…を時系列に沿って表示する副表示領域B16と、を実装する。また、副表示領域B16に表示された各サムネイル画像Sm11〜Sm15,…には、それぞれのサムネイル画像が対応する第1画像データim01/第2画像データim02に対してコメント等が付加されているか否か等を表示するコメントフラグRm11〜Rm15,…が近接して表示される。
ユーザは、モニタ406に表示されたGUI画面B1に対し、入力装置411よりポインタP1を用いてレポート作成対象とする検査ファイルF1〜F4の何れかを選択する。なお、検査ファイル内の画像は、主表示領域B12に表示された第1画像IM01/第2画像IM02や副表示領域B16に表示されたサムネイル画像Sm11〜SM15,…を参照することで確認することができる。何れかの検査ファイルを選択した状態で、ユーザがレポート作成ボタンB14dをクリックすると、モニタ406には、図28に示すGUI画面B2が表示される。
図28に示すように、GUI画面B2には、レポート作成対象とされた検査ファイル(ここでは検査ファイルF1とする)に含まれる第1画像IM01/第2画像IM02のうちコメントの入力対象とする画像を表示する対象画像表示領域B21と、対象画像表示領域B21に表示中の第1画像IM01/第2画像IM02に対して付加するコメントを入力するコメント入力欄B23と、コメント入力欄B23に入力したコメントを対象の第1画像IM01/第2画像IM02に付加したり対象の第1画像IM01/第2画像IM02に付加されたコメントを削除したりするための編集ボタンB21aと、対象画像表示領域B21に表示中の第1画像IM01/第2画像IM02と関連する一般情報等を表示する辞書欄B24と、辞書欄に登録する一般情報等を入力する辞書登録欄B25と、検査ファイルF1中の各第1画像IM01/第2画像IM02について登録されたサムネイル画像Sm11〜SM15,…を一覧表示するサムネイル一覧表示領域B22と、コメント等が付加された第1画像IM01/第2画像IM02についてのレポートを印刷またはエクスポートするレポート生成ボタンB26と、を実装する。なお、サムネイル一覧表示領域B22に表示された各サムネイル画像Sm3には、これと対応する第1画像データim01/第2画像データim02の撮像時刻を示す時刻情報Tm3が近接して表示されてもよい。
ユーザは、モニタ406に表示されたGUI画面B2に対し、入力装置411よりポインタP1を用いてサムネイル一覧表示領域B22に表示されたサムネイル画像Sm3の何れかを選択する。これにより、対象画像表示領域B21には選択されたサムネイル画像Sm3と対応する第1画像IM01/第2画像IM02が表示される。この状態で、ユーザが入力装置411の例えばキーボード等を用いてコメント入力欄B23にコメントを入力し、編集ボタンB21aにおける登録ボタンをクリックすることで、選択中の第1画像IM01/第2画像IM02に入力したコメントが付加される。また、ユーザが入力装置411よりポインタP1を用いてレポート生成ボタンB26をクリックすることで、後述する図31Aまたは図31Bに示すようなレポートR1またはR2が作成される。
また、ユーザが、対象画像表示領域B21に表示された第1画像IM01/第2画像IM02に対して例えば入力装置411におけるマウスを右クリックすると、GUI画面B2には図29に示すような加工メニュー欄B27がポップアップ表示される。ユーザは、入力装置411よりポインタP1を用いて加工メニュー欄B27に一覧表示された加工処理の選択肢のうち何れかを選択することで、対象の第1画像データim01/第2画像データim02に対する加工処理が実行される。
また、上記のように選択中の第1画像データim01/第2画像データim02に対する加工処理後の画像データを生成すると、GUI画面B2におけるサムネイル一覧表示領域B22における対応するサムネイル画像(これをサムネイル画像Sm41とする)には、図30に示すように、加工処理後の画像データのサムネイル画像が重畳されて表示される。これにより、ユーザは何れの第1画像IM01/第2画像IM02に加工処理された画像データが存在するかを容易に特定することが可能となる。なお、サムネイル一覧表示領域B22では、同時期に取得された第1画像データim01と第2画像データim02とのサムネイル画像を重畳して表示してもよい。これにより、ユーザは、通常光画像と特殊光画像との両方が存在する画像を容易に特定することが可能となる。
次に、上記のGUI画面B1およびB2を用いて作成およびエクスポートされたレポートの例を、図面を用いて詳細に説明する。図31Aおよび図31Bは、それぞれ、図27〜図30に示すGUI画面B1およびB2を用いて作成およびエクスポートされたレポートの一例を示す図である。
まず、図31Aに示すように、レポートR1には、被検体900の情報(患者情報R41a)や検査情報R41bや診断結果や治療内容等の情報(診断情報R41c)などの各種情報を表示するヘッダ領域R41と、コメントCm41/Cm42が付された画像IM41/IM42、この画像IM41/IM42の撮像時刻Tm41/Tm42、画像IM41/IM42の被検体900内部における撮像箇所を示すイメージSi41/Si42、および、画像IM41/IM42に付加されたコメントCm41/Cm42を表示するボディ領域R42A/R42Bとを含む。なお、ボディ領域は、2つに限らず、1つであっても3つ以上の複数であってもよい。
また、図31Bに示すように、レポートR2では、加工処理した画像IM51についてコメントを表示したり(ボディ領域R52A参照)、複数の画像IM42およびIM52に対して1つのコメントを表示したり(ボディ領域R52B参照)するように構成してもよい。
また、図32に示すように、第1画像データim01/第2画像データim02に静止画像(静止画像ファイルPF1,PF2,…)や動画像(動画像ファイルMF1,MF2,…)など、複数のファイルが存在する場合、何れか1つ以上のファイルを単一ファイルとして出力できるように構成してもよい。なお、図32は、検査ファイルF1〜F4,…が複数の画像ファイルよりなる場合に何れか1つ以上の画像ファイルを単一ファイルとして出力するためのGUI画面B3の一例を示す図である。
例えば、図32に示すGUI画面B3において、静止画像ファイルPF1またはPF2を単一ファイルとして出力する場合、もしくは、動画像ファイルMF1またはMF2を単一ファイルとして出力する場合、ユーザは、入力装置411よりポインタP1を用いて静止画像一覧B31または動画像一覧B32から目的のファイル(図32の例では動画像ファイルMF2)を選択し、登録ボタンB34をクリックする。これにより、単一ファイルとして出力するファイルの一覧B35に、選択中のファイル(動画ファイルMF2)が登録される。なお、選択中のファイルは、例えば再生欄B33において再生される。また、再生欄B33における再生は、操作ボタンB33aを操作することで、停止、順再生、逆再生等が可能である。なお、GUI画面B3において一覧B35に列挙されたファイルのうち何れかを選択した状態で除外ボタンB36をクリックすると、この選択中のファイルが出力対象のファイルから除外される。さらに、OKボタンB38をクリックすると、一覧B35に登録されている1つ以上のファイルが単一ファイルとして出力される。なお、出力ファイルの名称は、例えばユーザが入力装置411を用いて名称入力欄B37に入力した名称とすることができる。
また、図33は、図32に示すGUI画面B3の再生欄B33に表示中の画像の画像データに対して構造強調処理や狭帯域成分の抽出処理等の加工処理をユーザが指示する際の作業を説明するための図である。
ユーザが、再生欄B33に表示された画像に対して例えば入力装置411におけるマウスを右クリックすると、GUI画面B3には図33に示すような加工メニュー欄B39がポップアップ表示される。ユーザは、入力装置411よりポインタP1を用いて加工メニュー欄B39に一覧表示された加工処理の選択肢のうち何れかを選択することで、表示中の画像の画像データに対する加工処理が実行され、これにより得られた加工処理後の画像データが静止画像ファイルまたは動画像ファイルとして新たに静止画像一覧B31または動画像一覧B32に登録される。
以上のような構成とすることで、本実施の形態3では、目的の画像や画像群(検査ファイル)に対して容易かつ明確にコメントを付加し、これをレポートとして出力することが可能となる。なお、他の構成、動作および効果は、上記した実施の形態1またはその変形例と同様であるため、ここでは詳細な説明を省略する。
また、上記実施の形態は本発明を実施するための例にすぎず、本発明はこれらに限定されるものではなく、仕様等に応じて種々変形することは本発明の範囲内であり、更に本発明の範囲内において、他の様々な実施の形態が可能であることは上記記載から自明である。
1 カプセル内視鏡システム
10 カプセル内視鏡
20 受信装置
21a〜21h 受信アンテナ
22 送信アンテナ
30 携帯型記録媒体
40 表示装置
100 筐体
100a 円筒部
100b 透明キャップ
101 カプセル制御回路
102、102−1 CCD駆動回路
103、103−1 撮像部
103A、103A−1、103A−2 CCDアレイ
103B 基板
103C バッファ
103a 対物レンズ
103b、103e、103f、103g、103ng、103nu CCD
103e、103h 画素
104 画像信号処理回路
105 無線送受信回路
105r 受信アンテナ
105t 送信アンテナ
106 LED駆動回路
107 照明部
107a、107b、107c、107d LED
107e、107f 波長シフタ
108 バッテリ
109 電源回路
201 受信装置制御回路
202 メモリ回路
203 無線受信回路
204 受信信号処理回路
205 位置検出回路
206 送信信号処理回路
207 無線送信回路
208 画像表示回路
209 ユーザI/F回路
210 データ出力I/F制御回路
211 バッテリ
212 電源回路
401 表示装置制御回路
402 記憶回路
403 データ入力I/F制御回路
404 画像処理回路
405 モニタ制御回路
406 モニタ
407 ユーザI/F制御回路
411 入力装置
Cb、Cb1、Cg、Cg1、Cr、Sb、Sg、Sng、Snu、Sr スペクトル
Ec、Eni、Enu、Ey 発光スペクトル
かかる目的を達成するために、本発明の一態様による被検体内撮像システムは、被検体内に導入される被検体内導入装置と、該被検体内導入装置から送信された無線信号を受信する受信装置と、を含む被検体内撮像システムであって、前記被検体内導入装置が、受光波長スペクトルを備えた受光素子を複数備えた受光部と、前記受光波長スペクトルに対応する発光波長スペクトルから所定波長だけ乖離する近紫外光に発光強度ピークを有する近紫外光光源とイエローに発光強度ピークを有するイエロー光源とを含む発光波長スペクトルを複数備えた発光部と、前記複数の発光部のなかから前記近紫外光光源と前記イエロー光源とに該当する発光部を選択可能な選択部と、前記受光部で合成されたフラットな合成波長スペクトルを基に通常光画像を生成する、もしくは、前記選択部で前記近紫外光光源と前記イエロー光源とを選択して発光を行った際の前記受光部の青色成分光を受光する画素と緑色成分光を受光する画素とにおいて合成された鋭利な合成波長スペクトルを基に特殊光画像を生成する画像生成部と、前記画像生成部で生成された通常光画像もしくは特殊光画像を送信する送信部と、前記選択部の選択に基づいて前記受光素子の駆動を制御する制御部と、を備えることを特徴とする。
また、本発明の他の態様による被検体内導入装置は、受光波長スペクトルを備えた受光素子を複数備えた受光部と、前記受光波長スペクトルに対応する受光波長スペクトルから所定波長だけ乖離する近紫外光に発光強度ピークを有する近紫外光光源とイエローに発光強度ピークを有するイエロー光源とを含む発光波長スペクトルを複数備えた発光部と、前記複数の発光部のなかから前記近紫外光光源と前記イエロー光源とに該当する発光部を選択可能な選択部と、前記受光部で合成されたフラットな合成波長スペクトルを基に通常光画像を生成する、もしくは、前記選択部で前記近紫外光光源と前記イエロー光源とを選択して発光を行った際の前記受光部の青色成分光を受光する画素と緑色成分光を受光する画素とにおいて合成された鋭利な合成波長スペクトルを基に特殊光画像を生成する画像生成部と、前記画像生成部で生成された通常光画像もしくは特殊光画像を送信する送信部と、前記選択部の選択に基づいて前記受光素子の駆動を制御する制御部と、を備えたことを特徴とする。
かかる目的を達成するために、本発明の一態様による被検体内撮像システムは、被検体内に導入される被検体内導入装置と、該被検体内導入装置から送信された無線信号を受信する受信装置と、を含む被検体内撮像システムであって、前記被検体内導入装置が、赤色、青色および緑色の光を受光する受光波長スペクトルを備えた受光素子を複数備えた受光部と、前記受光波長スペクトルの中心波長からそれぞれ所定波長だけ乖離する近紫外光に発光強度ピークを有する近紫外光光源とイエローに発光強度ピークを有するイエロー光源と、シアンに発光強度ピークを有するシアン光源と、近赤外光に発光強度ピークを有する近赤外光源と、を含む発光波長スペクトルを有する複数発光部と、前記複数の発光部のなかから前記近紫外光光源と前記イエロー光源とに該当する発光部を選択可能な選択部と、を備え、前記受光部のうち青色成分光を受光するB画素の受光強度ピークを示す波長が、前記シアン光源の発光強度ピークを示す波長より紫外光側に位置しており、前記B画素は、前記近紫外光に対する分光感度特性を有しており、前記被検体内導入装置が、さらに、前記全ての発光部を発光させた際に、赤色、青色および緑色の光を受光する全ての前記受光素子受光された合成波長スペクトルを基に通常光画像を生成する、もしくは、前記選択部で前記近紫外光光源と前記イエロー光源とを選択して発光を行った際の前記受光部の青色成分光を受光する画素と緑色成分光を受光する画素とにおいて合成された鋭利な合成波長スペクトルを基に特殊光画像を生成する画像生成部と、前記画像生成部で生成された通常光画像もしくは特殊光画像を送信する送信部と、前記選択部の選択に基づいて前記受光素子の駆動を制御する制御部と、を備えることを特徴とする。
また、本発明の他の態様による被検体内導入装置は、赤色、青色および緑色の光を受光する受光波長スペクトルを備えた受光素子を複数備えた受光部と、前記受光波長スペクトルの中心波長からそれぞれ所定波長だけ乖離する近紫外光に発光強度ピークを有する近紫外光光源とイエローに発光強度ピークを有するイエロー光源と、シアンに発光強度ピークを有するシアン光源と、近赤外光に発光強度ピークを有する近赤外光源と、を含む発光波長スペクトルを有する複数発光部と、前記複数の発光部のなかから前記近紫外光光源と前記イエロー光源とに該当する発光部を選択可能な選択部と、を備え、前記受光部のうち青色成分光を受光するB画素の受光強度ピークを示す波長が、前記シアン光源の発光強度ピークを示す波長より紫外光側に位置しており、前記B画素は、前記近紫外光に対する分光感度特性を有しており、前記全ての発光部を発光させた際に、赤色、青色および緑色の光を受光する全ての前記受光素子受光された合成波長スペクトルを基に通常光画像を生成する、もしくは、前記選択部で前記近紫外光光源と前記イエロー光源とを選択して発光を行った際の前記受光部の青色成分光を受光する画素と緑色成分光を受光する画素とにおいて合成された鋭利な合成波長スペクトルを基に特殊光画像を生成する画像生成部と、前記画像生成部で生成された通常光画像もしくは特殊光画像を送信する送信部と、前記選択部の選択に基づいて前記受光素子の駆動を制御する制御部と、をさらに備えたことを特徴とする。

Claims (12)

  1. 被検体内に導入される被検体内導入装置と、該被検体内導入装置から送信された無線信号を受信する受信装置と、を含む被検体内撮像システムであって、
    前記被検体内導入装置は、
    受光波長スペクトルを備えた受光素子を複数備えた受光部と、
    前記受光波長スペクトルに対応する発光波長スペクトルから所定波長だけ乖離する発光波長スペクトルを複数備えた発光部と、
    前記複数の発光素子のなかから所定の発光素子を選択する選択部と、
    前記受光部で合成されたフラットな合成波長スペクトルを基に通常光画像を生成する、もしくは、前記受光部で合成された鋭利な合成波長スペクトルを基に特殊光画像を生成する画像生成部と、
    前記画像生成部で生成された通常光画像もしくは特殊光画像を送信する送信部と、
    前記選択部の選択に基づいて前記受光素子の駆動を制御する制御部と、
    を備えることを特徴とする被検体内撮像システム。
  2. 前記フラットな合成波長スペクトルは、紫外光領域の付近でくぼみを有することを特徴とする請求項1に記載の被検体内撮像システム。
  3. 前記受光素子の受光波長スペクトルの中心波長は、前記複数の発光波長スペクトルのうち隣接する2つの発光波長スペクトルの中心波長間の中央付近に位置することを特徴とする請求項1に記載の被検体内撮像システム。
  4. 前記制御部は、少なくとも2つの異なる発光波長スペクトルの光が放射されるように前記発光部を駆動して前記通常光画像を取得し、前記発光部のうち1を駆動して前記特殊光画像を取得することを特徴とする請求項1に記載の被検体内撮像システム。
  5. 前記撮像部は、前記発光波長スペクトルのうち紫外光領域付近の発光波長スペクトルと略一致する受光波長スペクトルを持つ受光素子を含むことを特徴とする請求項1に記載の被検体内撮像システム。
  6. 前記撮像部は、前記発光波長スペクトルのうち紫外光領域付近の発光波長スペクトルと略一致する受光波長スペクトルを持つ受光素子を含み、
    前記制御部は、少なくとも2つの異なる発光波長スペクトルの光が放射されるように前記発光部を駆動して前記通常光画像を取得し、前記紫外光領域付近の発光波長スペクトルと略一致する受光波長スペクトルを持つ受光素子を駆動して前記特殊光画像を取得することを特徴とする請求項1に記載の被検体内撮像システム。
  7. 前記送信部は、前記通常光画像と前記特殊光画像とを個別に送信することを特徴とする請求項4または6に記載の被検体内撮像システム。
  8. 前記制御部は、前記照明部と前記撮像部とを駆動することで前記通常光画像と前記特殊光画像とを交互に生成させ、
    前記撮像部は、前記通常光画像または前記特殊光画像を一時保持するバッファメモリを含み、
    前記送信部は、前記撮像部が生成した特殊光画像または通常光画像と前記バッファメモリに記憶された前記通常光画像または特殊光画像とを連続して送信することを特徴とする請求項4または6に記載の被検体内撮像システム。
  9. 前記紫外光領域付近の発光波長スペクトルの光は、該紫外光領域付近の発光波長スペクトルの光以外の光の波長をシフトすることで生成されることを特徴とする請求項1に記載の被検体内撮像システム。
  10. 前記複数の発光波長スペクトルは、青色波長帯域の発光波長スペクトルと、緑色波長帯域の発光波長スペクトルと、赤色波長帯域の発光波長スペクトルと、を含むことを特徴とする請求項1に記載の被検体内撮像システム。
  11. 前記紫外光領域付近の発光波長スペクトルは、該紫外光領域付近の発光波長スペクトル以外の発光波長スペクトルよりも鋭利であることを特徴とする請求項1に記載の被検体内撮像システム。
  12. 受光波長スペクトルを備えた受光素子を複数備えた受光部と、
    前記受光波長スペクトルに対応する受光波長スペクトルから所定波長だけ乖離する発光波長スペクトルを複数備えた発光部と、
    前記複数の発光素子のなかから所定の発光素子を選択する選択部と、
    前記受光部で合成されたフラットな合成波長スペクトルを基に通常光画像を生成する、もしくは、前記受光部で合成された鋭利な合成波長スペクトルを基に特殊光画像を生成する画像生成部と、
    前記画像生成部で生成された通常光画像もしくは特殊光画像を送信する送信部と、
    前記選択部の選択に基づいて前記受光素子の駆動を制御する制御部と、
    を備えたことを特徴とする被検体内導入装置。
JP2010540975A 2009-05-12 2010-05-12 被検体内撮像システムおよび被検体内導入装置 Expired - Fee Related JP4741033B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010540975A JP4741033B2 (ja) 2009-05-12 2010-05-12 被検体内撮像システムおよび被検体内導入装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2009115576 2009-05-12
JP2009115576 2009-05-12
JP2010540975A JP4741033B2 (ja) 2009-05-12 2010-05-12 被検体内撮像システムおよび被検体内導入装置
PCT/JP2010/058065 WO2010131687A1 (ja) 2009-05-12 2010-05-12 被検体内撮像システムおよび被検体内導入装置

Publications (2)

Publication Number Publication Date
JP4741033B2 JP4741033B2 (ja) 2011-08-03
JPWO2010131687A1 true JPWO2010131687A1 (ja) 2012-11-01

Family

ID=43085060

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010540975A Expired - Fee Related JP4741033B2 (ja) 2009-05-12 2010-05-12 被検体内撮像システムおよび被検体内導入装置

Country Status (5)

Country Link
US (1) US8740777B2 (ja)
EP (1) EP2386239A4 (ja)
JP (1) JP4741033B2 (ja)
CN (1) CN102316785B (ja)
WO (1) WO2010131687A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2353044B1 (en) * 2008-10-02 2019-12-04 Yepp Australia Pty Ltd Imaging system
JP5058209B2 (ja) * 2009-05-22 2012-10-24 株式会社日立製作所 ストリームデータ処理において逆再生を行うデータ処理システム
EP2453376B1 (en) * 2010-11-15 2019-02-20 Fujifilm Corporation Medical image recording/reproducing apparatus, medical image recording/reproducing method and program
CN103513413B (zh) * 2012-06-18 2017-05-24 奥林巴斯株式会社 内窥镜装置以及内窥镜图像的记录目的地文件夹变更方法
JP6342390B2 (ja) * 2012-06-29 2018-06-13 ギブン イメージング リミテッドGiven Imaging Ltd. 画像ストリームを表示するシステムおよび方法
WO2015099749A1 (en) * 2013-12-27 2015-07-02 Capso Vision Inc. Capsule camera device with multi-spectral light sources
JP6639920B2 (ja) * 2016-01-15 2020-02-05 ソニー・オリンパスメディカルソリューションズ株式会社 医療用信号処理装置、及び医療用観察システム
JP6654051B2 (ja) * 2016-01-15 2020-02-26 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察システム
WO2017141417A1 (ja) * 2016-02-19 2017-08-24 Hoya株式会社 内視鏡用光源装置
CN110121280A (zh) * 2017-02-28 2019-08-13 松下知识产权经营株式会社 化妆模拟装置、方法以及非瞬时性存储介质
CN107769812B (zh) * 2017-10-31 2019-10-15 乐普医学电子仪器股份有限公司 一种用于植入式医疗器械的无线通讯系统
US11700437B2 (en) * 2020-12-16 2023-07-11 Anx Robotica Corp. Capsule endoscope with a dynamic adjustable color illumination spectrum

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2655571B2 (ja) * 1986-12-27 1997-09-24 オリンパス光学工業株式会社 撮像装置
JP3898781B2 (ja) 1996-07-01 2007-03-28 オリンパス株式会社 内視鏡
US7116352B2 (en) * 1999-02-25 2006-10-03 Visionsense Ltd. Capsule
US8636648B2 (en) * 1999-03-01 2014-01-28 West View Research, Llc Endoscopic smart probe
DE10052863A1 (de) * 2000-10-24 2002-04-25 Christian Pilgrim Endoskopisches Instrument zur Anwendung in Hohlräumen
DE10108277A1 (de) 2001-02-21 2002-08-29 Franz Josef Gasmann Aufnahmegerät, Verfahren zur Rekonstruktion einer Bildinformation und Verfahren zur Kalibrierung einer Bildinformation
JP4166509B2 (ja) 2001-06-20 2008-10-15 オリンパス株式会社 カプセル式内視鏡
US7347817B2 (en) * 2001-08-02 2008-03-25 Given Imaging Ltd. Polarized in vivo imaging device, system and method
IL151049A0 (en) * 2001-08-02 2003-04-10 Given Imaging Ltd In vivo imaging methods and devices
JP4231657B2 (ja) 2002-05-10 2009-03-04 オリンパス株式会社 カプセル型医療装置
JP4253550B2 (ja) 2003-09-01 2009-04-15 オリンパス株式会社 カプセル型内視鏡
JP4554944B2 (ja) * 2004-01-15 2010-09-29 Hoya株式会社 内視鏡装置
JP2007525261A (ja) * 2004-01-16 2007-09-06 ザ シティ カレッジ オブ ザ シティ ユニバーシティ オブ ニューヨーク 光学式画像化とポイント蛍光分光学とを組み合わせたインビボ医療診断のためのマイクロスケールコンパクトデバイス
CN101701849A (zh) * 2004-01-23 2010-05-05 奥林巴斯株式会社 图像处理系统以及照相机
JP4482021B2 (ja) * 2004-01-23 2010-06-16 オリンパス株式会社 カメラ
KR101041311B1 (ko) * 2004-04-27 2011-06-14 파나소닉 주식회사 형광체 조성물과 그 제조 방법, 및 그 형광체 조성물을 이용한 발광장치
JP4459709B2 (ja) * 2004-05-10 2010-04-28 Hoya株式会社 蛍光観察内視鏡装置
DE202005022114U1 (de) * 2004-10-01 2014-02-10 Nichia Corp. Lichtemittierende Vorrichtung
JP2006136453A (ja) * 2004-11-11 2006-06-01 Fujinon Corp 内視鏡装置
JP2006166940A (ja) * 2004-12-10 2006-06-29 Olympus Corp 内視鏡照明装置
US8109981B2 (en) * 2005-01-25 2012-02-07 Valam Corporation Optical therapies and devices
US8301229B2 (en) * 2005-05-12 2012-10-30 Olympus Medical Systems Corp. Biological observation display apparatus for presenting color or spectral images
JP2006314557A (ja) * 2005-05-12 2006-11-24 Olympus Medical Systems Corp 生体観測装置
JP4500207B2 (ja) * 2005-05-13 2010-07-14 オリンパスメディカルシステムズ株式会社 生体観測装置
US20090091614A1 (en) * 2005-05-13 2009-04-09 Olympus Medical Systems Corp. Biological observation apparatus
WO2006124648A2 (en) * 2005-05-13 2006-11-23 The University Of North Carolina At Chapel Hill Capsule imaging devices, systems and methods for in vivo imaging applications
JP2006345947A (ja) * 2005-06-13 2006-12-28 Olympus Medical Systems Corp 内視鏡装置
JP2007212376A (ja) * 2006-02-13 2007-08-23 Fujifilm Corp 光断層画像化装置
JP4951256B2 (ja) * 2006-03-16 2012-06-13 オリンパスメディカルシステムズ株式会社 生体観測装置
US8084706B2 (en) * 2006-07-20 2011-12-27 Gsi Group Corporation System and method for laser processing at non-constant velocities
JP2008096413A (ja) * 2006-09-11 2008-04-24 Olympus Corp 分光観察装置および内視鏡システム
US20080068664A1 (en) * 2006-09-14 2008-03-20 Zvika Gilad Device and method for displaying images received from an in-vivo imaging device
US20080177140A1 (en) * 2007-01-23 2008-07-24 Xillix Technologies Corp. Cameras for fluorescence and reflectance imaging
EP2116176B1 (en) * 2007-02-26 2011-12-28 Olympus Medical Systems Corp. Capsule endoscope
US9730573B2 (en) * 2007-03-20 2017-08-15 Given Imaging Ltd. Narrow band in-vivo imaging device

Also Published As

Publication number Publication date
CN102316785A (zh) 2012-01-11
EP2386239A1 (en) 2011-11-16
CN102316785B (zh) 2014-10-08
US8740777B2 (en) 2014-06-03
JP4741033B2 (ja) 2011-08-03
WO2010131687A1 (ja) 2010-11-18
EP2386239A4 (en) 2012-08-15
US20110213203A1 (en) 2011-09-01

Similar Documents

Publication Publication Date Title
JP4741033B2 (ja) 被検体内撮像システムおよび被検体内導入装置
JP6495539B2 (ja) 画像処理装置、画像処理装置の作動方法、および画像処理プログラム
US8390679B2 (en) Capsule endoscope device
US10004389B2 (en) Endoscope system, operation method for endoscope system, processor device, and operation method for processor device
US10022074B2 (en) Endoscope system, processor device for endoscope system, operation method for endoscope system, and operation method for processor device
JPWO2004096029A1 (ja) カプセル内視鏡およびカプセル内視鏡システム
US10993607B2 (en) Endoscope apparatus and method of operating endoscope apparatus
CN1827033A (zh) 内窥镜装置
JP6690003B2 (ja) 内視鏡システム及びその作動方法
US10299665B2 (en) Imaging device and capsule endoscope system
KR20120097828A (ko) 협대역 영상을 제공할 수 있는 내시경 장치 및 상기 내시경 장치의 영상 처리 방법
CN106163367A (zh) 医用图像处理装置及其工作方法以及内窥镜系统
US20160058348A1 (en) Light source device for endoscope and endoscope system
CN106037618A (zh) 内窥镜用光源装置和内窥镜系统
JP5259141B2 (ja) 被検体内画像取得システム、被検体内画像処理方法および被検体内導入装置
JP2015192840A (ja) 医用画像処理装置及びその作動方法
JPWO2018142658A1 (ja) 内視鏡システム
JP6616071B2 (ja) 内視鏡用のプロセッサ装置、内視鏡用のプロセッサ装置の作動方法、内視鏡用の制御プログラム
JP6254506B2 (ja) 内視鏡システム及びその作動方法
CN111712177B (zh) 图像处理装置、内窥镜系统、图像处理方法及记录介质
JP2016067373A (ja) 内視鏡用光源装置及び内視鏡システム
JP2016144507A (ja) 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法
JP6669539B2 (ja) 画像処理装置、画像処理装置の作動方法、および画像処理プログラム
JP2016067782A (ja) 内視鏡用のプロセッサ装置、内視鏡用のプロセッサ装置の作動方法、内視鏡用の制御プログラム
US20230233070A1 (en) Endoscope light source device, endoscope system, and method of changing illumination light in endoscope light source device

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110419

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110502

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140513

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees