JP4603097B2 - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
JP4603097B2
JP4603097B2 JP2010515311A JP2010515311A JP4603097B2 JP 4603097 B2 JP4603097 B2 JP 4603097B2 JP 2010515311 A JP2010515311 A JP 2010515311A JP 2010515311 A JP2010515311 A JP 2010515311A JP 4603097 B2 JP4603097 B2 JP 4603097B2
Authority
JP
Japan
Prior art keywords
data
image data
circuit
image
luminance value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010515311A
Other languages
English (en)
Other versions
JPWO2010050400A1 (ja
Inventor
哲夫 薬袋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Medical Systems Corp
Original Assignee
Olympus Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Medical Systems Corp filed Critical Olympus Medical Systems Corp
Application granted granted Critical
Publication of JP4603097B2 publication Critical patent/JP4603097B2/ja
Publication of JPWO2010050400A1 publication Critical patent/JPWO2010050400A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041Capsule endoscopes for imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0607Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for annular illumination
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476Non-optical details, e.g. housings, mountings, supports
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Signal Processing (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Description

本発明は、画像処理装置および画像処理方法に関し、特に人や動物や植物や物体などの被検体内に導入されて被検体内の画像を取得する画像処理装置および画像処理方法に関する。
従来、白色光を出力する光源を用いて被検体内を照明しつつ被検体内を撮像して取得した画像データから任意の波長帯域の分光画像を生成するカプセル型内視鏡システムが存在する(例えば以下に示す特許文献1参照)。
特開2007−319442号公報
しかしながら、被検体内における波長成分ごとの分光光量は、例えば被検体の体液や細胞または素材の色などによって大きく異なる。例えば人体や動物等では、色の3原色のうち、緑(G)成分と青(B)成分との分光光量に比べ、赤(R)成分の分光光量が非常に大きい。このため、分光光量の小さい緑(G)成分および青(B)成分の画像データでは撮像対象の形状的特徴を示す信号レベルの起伏がノイズによる信号レベルの起伏と同程度となってしまい、波長成分ごとに鮮明な画像を生成することが困難であるという問題が存在した。
また、上記した特許文献1が開示するところのカプセル型医療システムでは、カプセル内視鏡の固体差や撮像対象の分光特性の違いなどにより生じる任意の波長帯域ごとの画像のばらつきを、係数マトリクスを用いて補正することで、任意の波長帯域ごとの適切な分光画像を生成していた。
しかしながら、本特許文献1による技術では、マトリクス演算を含む複雑な処理が必要なため、これを実現するためには比較的大きな演算回路や複雑なソフトウエアプログラムなどが必要であるという問題が存在した。
そこで本発明は、上記の問題に鑑みてなされたものであり、小型かつ簡易な構成で波長成分ごとの鮮明な画像を生成することを可能にする画像処理装置および画像処理方法を提供することを目的とする。
かかる目的を達成するために、本発明による画像処理装置は、同一の範囲を写す波長成分ごとの複数の画像データのうち赤色の画像データの輝度値をもとに緑色および青色の画像データの輝度値を増幅する増幅部を備え、前記増幅部が、前記緑色および青色の画像データにおける単位領域の輝度値を前記赤色の画像データにおける前記単位領域と対応する領域の輝度値をもとに増幅することを特徴としている。
また、本発明による画像処理装置は、同一の範囲を写す波長成分ごとの複数の画像データのうち赤色の画像データの輝度値をもとに緑色および青色の画像データの輝度値を増幅する増幅部を備え、前記増幅部が、前記赤色の画像データに含まれる形状を当該赤色の画像データの前記輝度値をもとに検出する形状検出部を含み、該形状検出部で検出した形状をもとに前記緑色および青色の画像データの輝度値を増幅することを特徴としている。
上記した本発明による画像処理装置は、前記増幅部が、前記緑色および青色の画像データが入力される反転入力端子と、接地された非反転入力端子と、を有する差動増幅回路と、前記緑色および青色の画像データと同期して前記赤色の画像データが入力される制御端子を有し、前記差動増幅回路の前記反転入力端子と出力端子との間に接続された可変抵抗と、前記差動増幅回路の前記出力端子に接続されたインバータ回路と、を有することを特徴としている。
上記した本発明による画像処理装置は、前記形状検出部が、前記赤色の画像データが入力され、該赤色の画像データの輝度値が所定値以上であるか否かを検出し、該検出した結果を検出信号として出力し、前記増幅部が、前記赤色の画像データと同期して前記緑色および青色の画像データが入力される反転入力端子と、接地された非反転入力端子と、を有する差動増幅回路と、前記形状検出部から出力された検出信号が入力される制御端子を有し、前記差動増幅回路の前記反転入力端子と出力端子との間に接続された可変抵抗と、前記差動増幅回路の前記出力端子に接続されたインバータ回路と、を有することを特徴としている。
また、本発明による画像処理方法は、同一の範囲を写す波長成分ごとの複数の画像データのうち赤色の画像データの輝度値をもとに該緑色および青色の画像データの輝度値を増幅する増幅ステップを含み、前記増幅ステップが、前記緑色および青色の画像データにおける単位領域の輝度値を前記赤色の画像データにおける前記単位領域と対応する領域の輝度値をもとに増幅することを特徴としている。
また、本発明による画像処理方法は、同一の範囲を写す波長成分ごとの複数の画像データのうち赤色の画像データの輝度値をもとに該緑色および青色の画像データの輝度値を増幅する増幅ステップと、前記赤色の画像データに含まれる形状を当該赤色の画像データの輝度値をもとに検出する形状検出ステップと、を含み、前記増幅ステップが、前記形状検出ステップで検出した前記形状をもとに前記緑色および青色の画像データの輝度値を増幅することを特徴としている。
本発明によれば、1つの画像データの輝度値に基づいて他の画像データの輝度値を増幅するという簡易な構成で波長成分ごとの画像のコントラストを調整することが可能になるため、小型かつ簡易な構成で波長成分ごとの鮮明な画像を生成することを可能にする画像処理装置、被検体内導入装置、医療システムおよび画像処理方法を実現することが可能となる。
図1は、本発明の実施の形態1または2による医療システムの概略構成を示す模式図である。 図2は、本発明の実施の形態1または2による医療システムを構成する各装置の概略構成を示すブロック図である。 図3は、本発明の実施の形態1または2によるカプセル型医療装置の概略構成を示す斜視図である。 図4は、本発明の実施の形態1または2による光源の概略構成を示す斜視図である。 図5は、本発明の実施の形態1または2で使用する光源の放射輝度特性を示す図である。 図6は、被検体を例えば人や動物等とした場合の体腔内壁の分光特性を示す図である。 図7は、人や動物等の血液の吸光度特性を示す図である。 図8は、415nm付近の波長帯域の光および540nm付近の波長帯域の光が被検体の内壁に対して反射する様子を説明するための概念図である。 図9は、本発明の実施の形態1または2による撮像素子の概略構成を示すレイアウト図である。 図10は、本発明の実施の形態1または2による撮像素子における各素子の分光感度特性を示す図である。 図11は、本発明の実施の形態1による特殊光観察の動作の概略を示すフローチャートである。 図12は、本発明の実施の形態1による受信信号処理回路の概略構成を示すブロック図である。 図13は、本発明の実施の形態1による画像生成回路の構成例を示すブロック図である。 図14は、本発明の実施の形態1によるGデータコントラスト調整回路およびBデータコントラスト調整回路の回路構成例を示す回路図である。 図15は、本発明の実施の形態1によるコントラスト調整によって得られる効果を説明するための図である。 図16は、本発明の実施の形態2による特殊光観測の動作の概略を示すフローチャートである。 図17は、本発明の実施の形態2による画像生成回路の構成例を示すブロック図である。 図18は、本発明の実施の形態2によるコントラスト調整によって得られる効果を説明するための図である。
以下、本発明を実施するための最良の形態を図面と共に詳細に説明する。なお、以下の説明において、各図は本発明の内容を理解でき得る程度に形状、大きさ、および位置関係を概略的に示してあるに過ぎず、従って、本発明は各図で例示された形状、大きさ、および位置関係のみに限定されるものではない。また、各図では、構成の明瞭化のため、断面におけるハッチングの一部が省略されている。さらに、後述において例示する数値は、本発明の好適な例に過ぎず、従って、本発明は例示された数値に限定されるものではない。
<実施の形態1>
まず、本発明の実施の形態1による医療システム1を、図面を用いて詳細に説明する。本実施の形態では、被検体900の胃902内に蓄えた液体904に浮かぶ被検体内導入装置にカプセル型医療装置10を適用して胃902の内壁画像を取得する場合を例に挙げる。ただし、本発明はこれに限定されず、本実施の形態によるカプセル型医療装置10を食道から肛門にかけて移動する途中で被検体900内の画像を取得する被検体内導入装置に適用することも可能である。また、液体904が蓄えられる臓器は、胃902に限らず、例えば小腸や大腸など、各種器官とすることができる。さらに、液体904には、例えば生理食塩水や水など、被検体900およびカプセル型医療装置10に対して悪影響を与えない液体を用いることが好ましい。
また、本実施の形態では、赤色(R),緑色(G),青色(B)の各波長成分を含む白色光を用いて被検体900内を照明し、この状態で被検体900内を撮像して、赤色(R),緑色(G),青色(B)の各波長成分についての画像データを取得する場合を例に挙げる。ただし、本発明はこれに限定されず、赤色(R),緑色(G),青色(B)のうち少なくとも2つの波長成分を含む光で被検体900内を照明し、この状態で被検体900内を撮像して、少なくとも2つの波長成分についての画像データを取得するものであればよい。
なお、以下の説明では、赤色(R)、緑色(G)および青色(B)の波長成分を含む光(白色光を含む)を通常光といい、何れかの波長成分のみよりなる光を特殊光という。また、赤色(R)、緑色(G)および青色(B)の波長成分を含む画像データを通常光画像といい、何れか1つまたは2つの波長成分よりなる画像を特殊光画像という。さらに、以下の説明では、通常光画像を生成する動作を通常光観察といい、特殊光画像を生成する動作を特殊光観察という。したがって、本実施の形態は、通常光で照明しつつ撮像することで取得した画像データから通常光画像と特殊光画像とを生成することで、通常光観察と特殊光観察とを同時に行なう場合の例である。
図1は、本実施の形態による医療システム1の概略構成を示す模式図である。図1に示すように、例えば経口で被検体900内に導入されて胃902に蓄えられた液体904に浮遊するカプセル型医療装置10と、このカプセル型医療装置10と無線通信を行なうことでカプセル型医療装置10との間で画像データや制御命令等を送受信する通信装置130と、を備える。
また、通信装置130は、フラッシュメモリ(登録商標)やスマートカード(登録商標)などの携帯型記録媒体140が着脱可能に構成される。携帯型記録媒体140には、例えばカプセル型医療装置10が取得した被検体内画像の画像データが記録される。ユーザは、携帯型記録媒体140を例えばパーソナルコンピュータやサーバなどの情報処理端末150に接続し、携帯型記録媒体140に格納された画像データを情報処理端末150で読み取って情報処理端末150の表示部に被検体内画像を表示させることで、カプセル型医療装置10で取得された被検体内画像を目視により確認することができる。なお、本説明では、体外アンテナ120と通信装置130と情報処理端末150とを体外装置という。
通信装置130は、被検体900外に配置される。また、通信装置130には、同軸ケーブルなどの接続ケーブル139を介して1つ以上の体外アンテナ120が接続される。各体外アンテナ120は、被検体900外であってカプセル型医療措置10の近傍に配置される。通信装置130は、この体外アンテナ120を介してカプセル型医療装置10とデータの送受信を行なう。
ここで、図2および図3を用いて、本実施の形態による医療システム1をより詳細に説明する。図2は、本実施の形態による医療システム1を構成する各装置の概略構成を示すブロック図である。図3は本実施の形態によるカプセル型医療装置10の概略構成を示す斜視図である。
・カプセル型医療装置
まず、本実施の形態によるカプセル型医療装置10の一例を、図2を用いて詳細に説明する。図2に示すように、被検体900内に導入されるカプセル型医療装置10は、被検体900内を撮像する撮像部15Aおよび撮像素子駆動回路15と、撮像時に被検体900内を照明する光源16Aおよび光源駆動回路16と、撮像部15Aで生成された画像信号に所定の処理を実行して画像データを生成する画像信号処理回路14と、画像信号処理回路14で生成された画像データを無線信号として外部へ出力する送信回路13および送信用アンテナ13Aと、被検体900外に配置された通信装置130から無線信号として送信された制御信号等を受信する受信回路12および受信用アンテナ12Aと、カプセル型医療装置10内の各回路を駆動制御する制御回路11と、カプセル型医療装置10内の各回路に電力を供給するバッテリ17Bおよび電源回路17と、を備える。
また、制御回路11は、例えば受信回路12を介して通信装置130から受信した制御命令や予め自身が備えるメモリ等に記憶されたプログラムや制御パラメータ等に基づき、定期的(例えば1秒間に2コマ)に、撮像素子駆動回路15、光源駆動回路16および画像信号処理回路14を駆動制御して撮像動作を実行させ、これにより取得された画像データを送信回路13を介して通信装置130へ送信する。
なお、カプセル型医療装置10は、不図示のセンサ素子およびこれを駆動制御するセンサ素子駆動回路を備えていてもよい。センサ素子は、例えば体温計や圧力計やpH計などで構成され、適宜、被検体内情報として被検体900内の温度や圧力やpH値などを取得する。センサ素子制御回路は、制御回路11からの制御のもと、センサ素子を駆動して被検体内情報を取得し、これを送信回路13へ入力する。送信回路13は入力された被検体内情報を通信装置130へ送信する。
また、カプセル型医療装置10の各回路は、図2に示すように、容器18とキャップ19とからなるカプセル型の筐体内に収納される。ここで図3に示すように、容器18は、一方の端が半球状のドーム形状をしており他方の端が開口された略円筒形状または半楕円球状の形状を有する。一方、キャップ19は、半球形状を有し、容器18の開口に嵌められることで容器18内を封止する。容器18およびキャップ19よりなるカプセル型容器は、例えば被検体900が飲み込める程度の大きさである。また、本実施の形態では、少なくともキャップ19が透明な材料で形成される。上述した光源16Aは、カプセル型容器(18、19)内のキャップ19側に配置された回路基板16Bに搭載される。同様に、撮像部15Aは、カプセル型容器(18、19)内のキャップ19側に配置された不図示の回路基板に搭載される。なお、各回路基板における素子搭載面は、キャップ19側に向けられている。したがって、撮像部15Aおよび光源16Aの撮像/照明方向は、図3に示すように、透明なキャップ19を介して被検体900へ向けられている。なお、撮像部15Aの受光面側には、対物レンズ15cが配設されている。また、キャップ19は、光源16Aから出力した光および/又は対物レンズ15cを介して撮像素子15aに入射する光の配光を調整したり光源16Aおよび撮像部15Aの撮像/照明範囲を広角にしたりするためのレンズとしての機能も果たしている。
・通信装置
次に、本実施の形態による通信装置130の一例を、図2を用いて詳細に説明する。図2に示すように、被検体900外表(例えば被検体900表面または被検体900が着用する衣服等)に配置される通信装置130は、通信装置130内の各回路を駆動制御する制御回路131と、カプセル型医療装置10から無線信号として送信された画像データを受信する受信回路133およびこれと接続ケーブル139−1を介して接続されたm個(mは1以上)の体外アンテナ121−1〜121−mと、受信した画像信号に所定の処理を実行する受信信号処理回路134と、所定の処理が実行された画像データ等を保持するメモリ回路135と、携帯型記録媒体140等が着脱可能なインタフェース回路137と、制御回路131が生成したカプセル型医療装置10の制御命令等を無線信号としてカプセル型医療装置10へ送信する送信回路132およびこれと接続ケーブル139−2を介して接続されたn個(nは1以上)の体外アンテナ122−1〜122−nと、通信装置130内の各回路に電力を供給するバッテリ138Bおよび電源回路138と、を備える。
なお、受信信号処理回路134で処理された画像データは、制御回路131の制御のもと、メモリ回路135に格納されてもよいし、インタフェース回路137に接続された携帯型記録媒体140に格納されてもよい。また、制御回路131は、受信信号処理回路134で処理された画像データを不図示のグラフィックボード等を介して外部接続された表示装置へ送信してもよいし、通信装置130自身が搭載する表示部等に表示してもよい。
さらに、通信装置130には、操作者が撮像指示などの各種操作を入力するための操作部が設けられても、この操作部を備えた他の装置と無線回線又は有線回線を介して通信可能に構成されてもよい。
さらに、通信装置130は、受信回路133で受信された無線信号の電波強度等と被検体900外表に固定された体外アンテナ120の位置等とに基づいて、被検体900内部におけるカプセル型医療装置10の位置を検出する位置検出回路136が設けられていてもよい。なお、位置検出回路136で検出されたカプセル型医療装置10の位置は、例えば、制御回路131に入力され、位置検出のタイミングと同じくしてカプセル型医療装置10から受信した画像データと共に、メモリ回路135または携帯型記録媒体140に格納される。
(通常光観察および特殊光観察)
次に、本実施の形態によるカプセル型医療装置10を用いて取得した画像データから通常光画像と特殊光画像とを生成するための構成および動作について、図面を用いて詳細に説明する。
上述したように、本実施の形態では、赤色(R),緑色(G),青色(B)の各波長成分を含む通常光を用いて被検体900内を照明し、この状態で被検体900内を撮像して、赤色(R),緑色(G),青色(B)の各波長成分についての画像データを取得する。したがって、この画像データは、同一範囲を写す波長成分ごとの複数の画像データよりなる。
そこで、本実施の形態では、赤色(R),緑色(G),青色(B)の各波長成分の画像データを用いて通常光画像を生成する(通常光観察)と共に、赤色(R),緑色(G),青色(B)の各波長成分の画像のうち緑色(G)および青色(B)の波長成分の画像データを用いて特殊光画像を生成する(特殊光観察)。ただし、これに限定されず、特殊光観察によって生成する特殊光画像は、緑色(G)の波長成分のみの画像であっても青色(B)の波長成分のみの画像であってもよい。
図4は、本実施の形態による光源16Aの概略構成を示す斜視図である。なお、図4では、説明の都合上、カプセル型医療装置10における光源16Aおよびこれを搭載する回路基板16B以外の構成については省略する。
図4に示すように、本実施の形態では、回路基板16Bにおける素子搭載面16usに、4つの光源16Aが搭載されている。各光源16Aは、光源駆動回路16から印加された電圧により駆動されて光を出力する発光素子16aを含む。なお、光源駆動回路16は、回路基板16Bに搭載されており、光源16Aと電気的に接続される。また、素子搭載面16usは、キャップ19側に向けて配設されている。
この発光素子16aには、例えば白色光(通常光)を出力する白色LED(Light Emitting Diode)や例えば415nm付近の特定の波長帯域の光(特殊光)を出力するLEDなどを用いることができる。ただし、発光素子16aに例えば415nm付近の特定の波長帯域の光(特殊光)を出力するLEDを用いた場合、光源16Aには、発光素子16aから出力された特殊光を波長変換して青色(B)の光と緑色(G)の光と赤色(R)の光とを含む通常光を出力する波長変換部16bが設けられる。なお、この場合、本説明では波長変換部16bと発光素子16aとを含めて光源16Aとする。また、赤色(R)の光は例えば680nm付近の波長帯域の光であり、緑色(G)の光は例えば540nm付近の波長帯域の光であり、青色(B)の光は例えば415nm付近の波長帯域の光である。なお、より具体的には、415nm付近の波長帯域の光とは、波長が380nmから460nmの間に含まれる光であり、540nm付近の波長帯域の光とは、波長が500nmから580nmの間に含まれる光である。
ここで図5に、本実施の形態で使用する光源16Aの放射輝度特性を示す。図5に示すように、本実施の形態では、光源16Aから415nm付近の波長帯域の光(青色(B)成分)と540nm付近の波長帯域の光(緑色(G)成分)と680nm付近の波長帯域の光(赤色(R)成分)とを含む通常光が出力される。
また、本実施の形態では、各光源16Aから出力される各波長成分の光の配光が一致または略一致するように、それぞれの光源16Aが構成される。さらに、本実施の形態では、回路基板16B上に配置された複数の光源16A全体から出力される各波長成分の光の配光が一致または略一致するように、複数の光源16Aがレイアウトされる。例えば各光源16Aから出力された通常光のうち、赤色(R)色成分の特殊光と緑色(G)色成分の特殊光と青色(B)色成分の特殊光との配光は、それぞれが互いに一致する。加えて、複数の光源16Aを1つの光源として考えた場合でも、赤色(R)色成分の特殊光と緑色(G)色成分の特殊光と青色(B)色成分の特殊光との配光は、それぞれが互いに一致する。このように各色成分の特殊光の配光を一致させることで、色むらの無い画像を撮像することが可能となる。なお、配光を一致させる方法としては、光源16Aの光取出面に光を拡散するフィルムを設けたり、複数の光源16Aを撮像素子を中心としてシンメトリックに配置したりなど、種々の方法を用いることが可能である。
また、被検体900を例えば人や動物等とした場合、体腔内の内壁(撮像対象物)を照明した際の分光特性では、緑色(G)や青色(B)に比べて赤色(R)が強くなる。すなわち、図6に示すように、被検体900における体腔内壁の分光特性が680nm付近にピークを持つ曲線となる。なお、図6は、被検体900を例えば人や動物等とした場合の体腔内壁の分光特性を示すグラフである。
一方、人や動物等の血液は、図7に示すように、680nm付近の波長帯域の光と比較して415nm付近の波長帯域の光と540nm付近の波長帯域の光とを強く吸収する。したがって、被検体900を人や動物等とした場合では、415nm付近の波長帯域の反射光と540nm付近の波長帯域の反射光とを受光することで、血液の集中部分である血管の形状を得ることが可能である。なお、図7は、人や動物等の血液の吸光度特性を示すグラフである。
また、一般的に光は、波長が長い程、物体に対する透過率が大きい。すなわち、図8に示すように、415nm付近の波長帯域の光L415は、被検体900の内壁s900の表面S11付近に存在する血管によって吸収される。また、吸収されなかった光L415は、内壁s900の表面S11付近で反射する。このため、分光法により、415nm付近の波長帯域の光L415(特殊光)を観察することで、被検体900の内壁s900における表面S11付近の血管の形状を得ることができる。一方、540nm付近の波長帯域の光L540は、図8に示すように、内壁s900の比較的深層の部分S12に存在する血管によって吸収される。また、吸収されなかった光L540は、内壁s900の比較的深層の部分S12で反射する。このため、分光法により、540nm付近の波長帯域の光L540(特殊光)を観察することで、被検体900の内壁s900における比較的深層の部分S12の血管の形状を得ることができる。なお、図8は、415nm付近の波長帯域の光および540nm付近の波長帯域の光が被検体900の内壁s900に対して反射する様子を説明するための概念図である。
このことから、415nm付近の波長帯域の光L415(特殊光)を受光して得られた特殊光画像と540nm付近の波長帯域の光L540(特殊光)を受光して得られた特殊光画像とを重畳することで、被検体900内の血管の立体的形状を画像化する特殊光観察が可能となる。また、このような重畳された特殊光画像に通常光観察により得られた通常光画像を重ねることで、被検体900の内壁形状とこの部分の立体的な血管形状とを再現する画像を得ることができる。
そこで本実施の形態では、図9および図10に示すように、415nm付近の波長成分(青色(B)成分)の光を受光する受光素子15bと、540nm付近の波長成分(緑色(G)成分)の光を受光する受光素子15gと、680nm付近の波長成分(赤色(R)成分)の光を受光する受光素子15rと、が周期性を持って2次元配列された撮像素子15aを用いて被検体900内を撮像する。これにより、415nm付近の波長成分(青色(B)成分)よりなる画像データ(以下、Bデータという)と、540nm付近の波長成分(緑色(G)成分)よりなる画像データ(以下、Gデータという)と、680nm付近の波長成分(赤色(R)成分)よりなる画像データ(以下、Rデータという)と、を生成することが可能となる。
なお、図9は、本実施の形態による撮像素子15aの概略構成を示すレイアウト図である。また、図10は、撮像素子15aにおける各素子の分光感度特性を示すグラフである。図10において、ラインL15bは受光素子15bの分光感度特性を示し、ラインL15gは受光素子15gの分光感度特性を示し、ラインL15rは受光素子15rの分光感度特性を示す。
さらに、以下の説明において、周期性を持ってライン方向(図9中、横方向とする)に配列された受光素子15r、15gおよび15bが撮像する被検体900内部の領域を単位領域という。すなわち、図9に示す例では、受光素子15gと受光素子15rと受光素子15bとを含む計3つの受光素子によって撮像される領域を単位領域とする。したがって、撮像素子駆動回路15は、撮像部15Aにおける撮像素子15aを1ラインずつ順次読み出すことで、RデータとGデータとBデータとを含む1つの画像データを取得する。なお、単位領域として定義される領域は、上述した1つの画素が撮像する領域に限らず、種々変形することが可能である。
ただし、上述したように、被検体900を人や動物等とした場合の体腔内壁の分光特性は、680nm付近にピークが存在する。したがって、受光素子15rで得られるRデータの輝度値(または画素値)を表す信号強度に対して、受光素子15gで得られるGデータの信号強度および受光素子15bで得られるBデータの信号強度は、それぞれ非常に小さい。このため、本実施の形態のように通常光観察と特殊光観察とを同時に行なう場合、GデータとBデータとにおけるS/N比が非常に小さくなり、この結果、特殊光観察によって鮮明な血管画像を得ることが難しい。
そこで本実施の形態では、特定の波長成分の画像データの輝度値をもとに他の波長成分の画像データの輝度値を増幅することで、Gデータにおける血管と他の部分とのコントラストおよびBデータにおける血管と他の部分とのコントラストをそれぞれ調整する。これにより、鮮明な特殊光画像を取得することが可能な特殊光観察を実現することができる。
なお、本実施の形態では、Gデータの輝度値とBデータの輝度値と増幅する増幅率を決定するパラメータに、Rデータの信号強度、すなわちRデータの輝度値を用いる。Rデータは、上述したように、赤色(R),緑色(G),青色(B)の各成分のうち信号強度が最も大きい。したがって、このRデータを用いてGデータおよびBデータを増幅することで、GデータおよびBデータのダイナミックレンジを実質的に広げることが可能となるため、コントラストが強調された鮮明な画像を生成することが可能となる。
また、Rデータは、上述したように、被検体900を人や動物等とした場合の体腔内壁(撮像対象物)の形状が強く含まれている。そのため、RデータとGデータとBデータとの間で対応する単位領域ごとに、Rデータを用いてGデータおよびBデータを増幅することで、体腔内壁の形状に応じた的確な信号強度(または画素値)の増幅が可能となる。この結果、ノイズを抑制しつつ的確なコントラスト調整が可能となり、良好な血管の立体形状を再現する特殊光画像を生成することが可能となる。
ここで図11を用いて、Rデータを用いたGデータおよびBデータのコントラスト調整を含む特殊光観察の動作を説明する。図11は、本実施の形態による特殊光観察の動作の概略を示すフローチャートである。
図11に示すように、本動作では、まず、定期的または通信装置130を介したユーザからの要求に応じてカプセル型医療装置10が光源16Aを駆動して被検体900内を照明しつつ撮像部15Aを駆動することで、Rデータ、GデータおよびBデータ(R/G/Bデータ)それぞれを取得する(ステップS101)。
次に、取得されたR/G/Bデータのうち、Rデータを用いてGデータおよびBデータ(G/Bデータ)のコントラストを調整する(ステップS102)。なお、このステップS102は、カプセル型医療装置10の例えば画像信号処理回路14において実行されても、通信装置130の例えば受信信号処理回路134において実行されても、携帯型記録媒体140等を介してR/G/Bデータ(画像データ)を取得した情報処理端末150において実行されてもよい。また、このステップS102は、アナログ処理で実現されてもデジタル信号で実現されてもよい。さらに、このステップS102は、アナログ/デジタル回路を用いて実現されても、所定のソフトウエアを実行することで実現されてもよい。
以上のようにRデータを用いてG/Bデータのコントラストを調整すると、次に、コントラスト調整後のG/Bデータを重畳することで特殊光画像を生成する(ステップS103)。これにより、被検体900内の血管を立体的に再現した特殊光画像を取得することができる。なお、このステップS103は、カプセル型医療装置10の画像信号処理回路14において実行されても、通信装置130の受信信号処理回路134において実行されても、携帯型記録媒体140等を介してコントラスト調整後のG/Bデータ(画像データ)を取得した情報処理端末150において実行されてもよい。また、このステップS103は、アナログ処理で実現されてもデジタル信号で実現されてもよい。さらに、このステップS103は、アナログ/デジタル回路を用いて実現されても、所定のソフトウエアを実行することで実現されてもよい。
ここで、図11におけるステップS102およびS103の処理を、通信装置130の受信信号処理回路134において実現する際の構成を、図面を用いて詳細に説明する。図12は、本実施の形態による受信信号処理回路134の概略構成を示すブロック図である。また、図13は、図12における画像生成回路1342の構成例を示すブロック図である。なお、本実施の形態による受信信号処理回路134は、特殊光観察と共に通常光観察を実現することが可能なように構成されている。
図12に示すように、受信信号処理回路134は、カプセル型医療装置10から受信回路133を介してデジタル信号として入力された画像データに対し、D/A(Digital to Analog)変換や各色成分(R,G,B成分)の分離などの所定の処理を実行する前処理回路1341と、前処理回路1341から出力されたRデータ、GデータおよびBデータ(R/G/Bデータ)を用いて通常光画像およびコントラスト補正された特殊光画像を生成する画像生成回路1342と、画像生成回路1342から出力された通常光画像の画像データ(以下、通常光画像データという)にホワイトバランス調整、同時化、色シフト、ガンマ補正、および、構造強調などの処理を実行する通常光画像調整回路1343と、画像生成回路1342から出力された特殊光画像の画像データ(以下、特殊光画像データという)にホワイトバランス調整、同時化、色シフト、ガンマ補正、および、構造強調などの処理を実行する特殊光画像調整回路1344と、を備える。また、前処理回路1341からは、所定の水平同期信号および垂直同期信号に同期してRデータとGデータとBデータとが出力される。
なお、受信信号処理回路134は、通常光画像調整回路1343が生成した通常光画像および特殊光画像調整回路1344が生成した特殊光画像が正常であるか否かを判定する画像診断回路1345を有してもよい。この画像診断回路1345は、例えば通常光画像または特殊光画像の画像データの信号レベルを検出し、例えば値が飽和(サチレーション)していないかなどを判定する。また、画像診断回路1345は、診断結果を制御回路131に入力する。制御回路131は、通常光画像または特殊光画像が正常でない場合、例えばこれを破棄する制御を各回路に実行させる。
また、図12に示す画像生成回路1342は、図13に示すように、R/G/Bデータから通常光画像データを生成する通常光画像生成回路1342−1と、Rデータに基づいてGデータのコントラストを調整するGデータコントラスト調整回路1342−2gと、Rデータに基づいてBデータのコントラストを調整するBデータコントラスト調整回路1342−2bと、Gデータコントラスト調整回路1342−2gによりコントラスト調整されたGデータ(以下、これをG’データという)およびBデータコントラスト調整回路1342−2bによりコントラスト調整されたBデータ(以下、これをB’データという)から特殊光画像データを生成する特殊光画像生成回路1342−3と、を備える。なお、Gデータコントラスト調整回路1342−2gとBデータコントラスト調整回路1342−2bとは、本実施の形態による画像処理装置1342−2を構成する。
通常光画像生成回路1342−1は、Rデータを一時格納するバッファであるRデータメモリ1342−1rと、Gデータを一時格納するバッファであるGデータメモリ1342−1gと、Bデータを一時格納するバッファであるBデータメモリ1342−1bと、を含む。通常光画像生成回路1342−1は、アナログ信号で入力されたR/G/Bデータをデジタル信号に変換し、これを各メモリ(1342−1r、1342−1g、1342−1b)に格納する。また、通常光画像生成回路1342−1は、各メモリから所定の水平同期信号および垂直同期信号に従って1ラインずつ順次画素データを読み出して合成することで、赤色(R),緑色(G),青色(B)成分を含む通常光画像データを生成して出力する。
一方、特殊光画像生成回路1342−3は、コントラスト調整されたGデータ(G’データ)を一時格納するバッファであるGデータメモリ1342−3gと、コントラスト調整されたBデータ(B’データ)を一時格納するバッファであるBデータメモリ1342−3bと、を含む。特殊光画像生成回路1342−3は、アナログ信号で入力されたG’/B’データをデジタル信号に変換し、これを各メモリ(1342−3g、1342−3b)に格納する。また、特殊光画像生成回路1342−3は、各メモリから所定の水平同期信号および垂直同期信号に従って1ラインずつ順次画素データを読み出して合成することで、緑色(G),青色(B)成分を含む重畳された特殊光画像データを生成して出力する。
なお、図13に示す回路構成において、Gデータコントラスト調整回路1342−2gおよびBデータコントラスト調整回路1342−2bは、図11におけるステップS102の処理を実行する回路である。また、特殊光画像生成回路1342−3は、図11におけるステップS103の処理を実行する回路である。
ここで、図13におけるGデータコントラスト調整回路1342−2gおよびBデータコントラスト調整回路1342−2bの回路構成例について、図面を用いて詳細に説明する。図14は、本実施の形態によるGデータコントラスト調整回路1342−2gおよびBデータコントラスト調整回路1342−2bの回路構成例を示す回路図である。
図14に示すように、Gデータコントラスト調整回路1342−2gは、差動増幅回路AMP1と、差動増幅回路AMP1の反転入力端子(−)に接続された抵抗RES1と、差動増幅回路AMP1の出力端子に設けられたインバータINV1と、差動増幅回路AMP1の反転入力端子(−)と出力端子との間に接続された可変抵抗VR1と、を備える。なお、差動増幅回路AMP1の非反転入力端子(+)は、接地される。
この回路構成において、図12の前処理回路1341から出力されたR/G/Bデータのうち、Gデータは、抵抗RES1を介して差動増幅回路AMP1の反転入力端子(−)に入力される。また、Rデータは、可変抵抗VR1の制御端子に入力される。さらに、差動増幅回路AMP1の反転入力端子(−)に入力されるGデータと、可変抵抗VR1の制御端子に入力されるRデータとは、所定の水平同期信号および垂直同期信号に従って同期されている。したがって、可変抵抗VR1の抵抗値がRデータの信号レベルによって制御されることで、差動増幅回路AMP1においてGデータの単位領域の輝度値がこの単位領域に対応するRデータの単位領域の輝度値で増幅される。
以上のような回路構成とすることで、抵抗RES1を介して差動増幅回路AMP1の反転入力端子(−)に入力されたGデータの輝度値を表す信号レベルは、以下の式1に従って増幅され、G’データとして出力される。なお、式1では、Gデータの輝度値を表す信号レベルをGとし、Rデータの輝度値を表す信号レベルをRとし、増幅後のGデータの輝度値を表す信号レベルをG’とする。また、kは任意定数である。
G’=G×(k×R) ・・・(式1)
同様に、Bデータコントラスト調整回路1342−2bは、差動増幅回路AMP2と、差動増幅回路AMP2の反転入力端子(−)に接続された抵抗RES2と、差動増幅回路AMP2の出力端子に設けられたインバータINV2と、差動増幅回路AMP2の反転入力端子(−)と出力端子との間に接続された可変抵抗VR2と、を備える。また、差動増幅回路AMP2の非反転入力端子(+)は、接地される。
この回路構成において、図12の前処理回路1341から出力されたR/G/Bデータのうち、Bデータは、抵抗RES2を介して差動増幅回路AMP2の反転入力端子(−)に入力される。また、Rデータは、可変抵抗VR2の制御端子に入力される。さらに、差動増幅回路AMP2の反転入力端子(−)に入力されるBデータと、可変抵抗VR2の制御端子に入力されるRデータとは、所定の水平同期信号および垂直同期信号に従って同期されている。したがって、可変抵抗VR2の抵抗値がRデータの信号レベルによって制御されることで、差動増幅回路AMP2においてBデータの単位領域の輝度値がこの単位領域に対応するRデータの単位領域の輝度値で増幅される。
以上のような回路構成とすることで、抵抗RES2を介して差動増幅回路AMP2の反転入力端子(−)に入力されたBデータの輝度値を表す信号レベルは、以下の式2に従って増幅され、B’データとして出力される。なお、式2では、Bデータの輝度値を表す信号レベルをBとし、Rデータの輝度値を表す信号レベルをRとし、増幅後のBデータの輝度値を表す信号レベルをB’とする。また、kは任意定数である。
B’=B×(k×R) ・・・(式2)
なお、図14に示すGデータコントラスト調整回路1342−2gおよびBデータコントラスト調整回路1342−2bは、R/G/Bデータをアナログ処理するアナログ回路であるが、本発明はこれに限定されず、R/G/Bデータをデジタル処理するデジタル回路として構成することも可能である。この場合、デジタルのR/G/Bデータが用いられるか、アナログのR/G/Bデータが適宜A/D(Analog to Digital)変換して使用される。
以上のように、最も輝度値の大きいデータや撮像対象の形状等の特徴を強く含むデータ(本例ではRデータ)を用いて他のデータ(本例ではG/Bデータ)のコントラストを調整することで、ノイズを抑制しつつ的確な輝度値の増幅が可能となる。この結果、的確なコントラスト調整が可能となり、鮮明な特殊光画像を生成することが可能となる。
ここで、本実施の形態によるコントラスト調整によって得られる効果を、図15を用いて詳細に説明する。例えば本実施の形態のように被検体900として人や動物等を適用した場合、被検体900内を通常光を出力する光源16Aで照明することで得られる青色(B)成分と緑色(G)成分との光量は、赤色(R)成分に比べて非常に小さい。このため、光源16Aで照明しつつ撮像部15Aを駆動して得られた青色(B)成分の特殊光画像(例えば図15(a)参照)と緑色(B)成分の特殊光画像(例えば図15(b)参照)とは、赤色(R)成分の特殊光画像(例えば図15(c)参照)と比較して、非常に暗く、不鮮明となってしまう。なお、図15(a)〜(c)は、図6および図7に示す体腔内壁の分光特性および血液の吸光度特性を有する被検体900内を、図5に示す放射輝度特性を備えた光源16Aで照明しつつ、図10に示す分光感度特性を有する撮像部15Aで撮像した際に得られた各成分(B/G/R)の特殊光画像である。
また、青色(B)成分の光量と緑色(G)成分の光量とが小さいため、Bデータのノイズレベルを除いた輝度値を表す信号レベルLvb(例えば図15(d)参照)とGデータのノイズレベルを除いた輝度値を表す信号レベルLvg(例えば図15(e)参照)とは、Rデータのノイズレベルを除いた輝度値を表す信号レベルLvr(例えば図15(f)参照)と比較して、非常に小さい。このため、Gデータに含まれる血管の形状を示す信号レベルの起伏(例えば図15(a)および(d)の血管921参照)は、ノイズによる信号レベルの起伏と同程度となってしまう。同じく、Bデータに含まれる血管の形状を示す信号レベルの起伏(例えば図15(b)および(e)の血管922参照)は、ノイズによる信号レベルの起伏と同程度となってしまう。なお、図15(d)は図15(a)に示す青色(B)成分の特殊光画像を示すBデータであり、図15(e)は図15(b)に示す緑色(G)成分の特殊光画像を示すGデータである。また、図15(f)は図15(c)に示す赤色(R)成分の特殊光画像を示すRデータである。
そこで、本実施の形態のように、輝度値の最も大きなRデータで、輝度値の比較的小さいBデータおよびGデータを増幅することで、青色(B)成分の特殊光画像に含まれる血管の形状を示す信号レベルの起伏(例えば図15(g)の血管921参照)および緑色(G)成分の特殊光画像に含まれる血管の形状を示す信号レベルの起伏(例えば図15(h)の血管922参照)を増幅し、形状のコントラストを明確にすることが可能となる(例えば図15(i)参照)。なお、図15(g)は図15(d)に示すBデータを図15(f)に示すRデータで増幅することで得られたB’データを示し、図15(h)は図15(e)に示すGデータを図15(f)に示すRデータで増幅することで得られたG’データを示す。また、図15(i)は、図15(g)に示すB’データによりなる特殊光画像と図15(h)に示すG’データよりなる特殊光画像とを重畳して生成された特殊光画像を示す。
また、本実施の形態では、Rデータが撮像対象の形状(例えば図15(c)および(f)の突起930参照)を含んでいるため、このRデータを用いてBデータおよびGデータを増幅することで、BデータおよびGデータにおける形状的特徴を含まない部分、すなわちノイズを多く含む部分の信号レベルが増幅されることを防止できるため、より鮮明な特殊光画像を得ることが可能となる(例えば図15(i)参照)。
なお、本実施の形態では、被検体900として人や動物等を例に挙げたが、本発明はこれに限定されず、例えば植物やその他の生体、もしくは、生体以外であるタンクやパイプなどの物体など、種々変形することが可能である。ただし、被検体900内の分光特性は被検体900として適用した生体または物体によって異なるため、特殊光による画像データの信号強度を増幅する際に使用する増幅用の画像データは、Rデータに限るものではなく、被検体900内の分光特性に応じて適宜選択されることが好ましい。例えば被検体900として植物を適用した場合、植物の分光特性が緑色(G)成分にピークを有するため、増幅用の画像データにはGデータが使用されることが好ましい。
<実施の形態2>
次に、本発明の実施の形態2による医療システムを、図面を用いて詳細に説明する。なお、以下において、本発明の実施の形態1と同様の構成については、説明の簡略化のため、同一の符号を付し、その詳細な説明を省略する。
上記した実施の形態1では、通常光観察と特殊光観察とを同時に行なう際、輝度値の最も大きい画像データ(例えばRデータ)を用いて輝度値の比較的小さい画像データ(例えばG/Bデータ)を増幅することで、不鮮明な特殊光画像のコントラストを強調して鮮明な特殊光画像を生成する場合を例に挙げた。これに対し、本実施の形態では、撮像対象の形状的特徴を強く含む画像データを用いて撮像対象の形状を検出し、検出した形状に基づいて輝度値の比較的小さい画像データを増幅することで、不鮮明な特殊光画像のコントラストを強調して鮮明な特殊光画像を生成する場合を例に挙げる。なお、本実施の形態による医療システムは、本発明の実施の形態1による医療システム1(図1参照)と同様の構成を有する。ただし、本実施の形態では、本発明の実施の形態1における画像生成回路1342(図13参照)が、画像生成回路2342(後述する図17参照)に置き換えられる。
ここで、図16を用いて、Rデータに含まれる形状的特徴を用いたGデータおよびBデータのコントラスト調整を含む特殊光観察の動作を説明する。図16は、本実施の形態による特殊光観測の動作の概略を示すフローチャートである。
図16に示すように、本動作では、まず、定期的または通信装置130を介したユーザからの要求に応じてカプセル型医療装置10が光源16Aを駆動して被検体900内を照明しつつ撮像部15Aを駆動することで、Rデータ、GデータおよびBデータ(R/G/Bデータ)をそれぞれ取得する(ステップS201)。
次に、取得されたR/G/Bデータのうち、Rデータに含まれる形状的特徴を検出する(ステップS202)。なお、このステップS202は、カプセル型医療装置10の例えば画像信号処理回路14において実行されても、通信装置130の例えば受信信号処理回路134において実行されても、携帯型記録媒体140等を介してR/G/Bデータ(画像データ)を取得した情報処理端末150において実行されてもよい。また、このステップS202は、アナログ処理で実現されてもデジタル信号で実現されてもよい。さらに、このステップS202は、アナログ/デジタル回路を用いて実現されても、所定のソフトウエアを実行することで実現されてもよい。
以上のようにRデータに含まれる形状的特徴を検出すると、次に、Rデータに含まれる形状的特徴に基づいてGデータおよびBデータ(G/Bデータ)のコントラストを調整する(ステップS203)。例えば、GデータおよびBデータのうちステップS202で検出した形状的特徴から突出した部分などの強調すべき領域に対応する範囲の輝度値を増幅することで、ステップS203の処理を実行することができる。なお、このステップS203は、カプセル型医療装置10の例えば画像信号処理回路14において実行されても、通信装置130の例えば受信信号処理回路134において実行されても、携帯型記録媒体140等を介してR/G/Bデータ(画像データ)を取得した情報処理端末150において実行されてもよい。また、このステップS203は、アナログ処理で実現されてもデジタル信号で実現されてもよい。さらに、このステップS203は、アナログ/デジタル回路を用いて実現されても、所定のソフトウエアを実行することで実現されてもよい。
以上のようにRデータに含まれる形状的特徴を用いてG/Bデータのコントラストを調整すると、次に、コントラスト調整後のG/Bデータを重畳することで特殊光画像を生成する(ステップS204)。これにより、被検体900内の血管を立体的に再現した特殊光画像を取得することができる。なお、このステップS204は、カプセル型医療装置10の画像信号処理回路14において実行されても、通信装置130の受信信号処理回路134において実行されても、携帯型記録媒体140等を介してコントラスト調整後のG/Bデータ(画像データ)を取得した情報処理端末150において実行されてもよい。また、このステップS204は、アナログ処理で実現されてもデジタル信号で実現されてもよい。さらに、このステップS204は、アナログ/デジタル回路を用いて実現されても、所定のソフトウエアを実行することで実現されてもよい。
次に、図17を用いて、本実施の形態による画像生成回路2342の構成を詳細に説明する。図17は、本実施の形態による画像生成回路2342の構成例を示すブロック図である。
図17と図13とを比較すると明らかなように、本実施の形態による画像生成回路2342は、本発明の実施の形態1による画像生成回路1342と同様の構成において、Gデータコントラスト調整回路1342−2gとBデータコントラスト調整回路1342−2bとのそれぞれのRデータ入力ライン上に、形状検出回路2342−4が設けられた構成を有する。したがって、本実施の形態では、Gデータコントラスト調整回路1342−2gおよびBデータコントラスト調整回路1342−2bそれぞれに、Rデータの代りに、形状検出回路2342−4から出力された検出信号が入力される。
形状検出回路2342−4は、例えばRデータの輝度値が予め設定しておいた所定のしきい値レベル以上である場合、Highレベルの検出信号を出力する。また、形状検出回路2342−4は、例えばRデータの輝度値が予め設定しておいた所定のしきい値レベル未満である場合、Lowレベルの検出信号を出力する。すなわち、形状検出回路2342−4は、Rデータに従ってGデータおよびBデータに同期した検出信号を出力し、これをGデータコントラスト調整回路1342−2gおよびBデータコントラスト調整回路1342−2bにそれぞれ入力する。
Gデータコントラスト調整回路1342−2gは、形状検出回路2342−4から入力されている検出信号がHighレベルである場合、Gデータを所定のゲインに従って増幅し、G”データとして出力する。同様に、Bデータコントラスト調整回路1342−2bは、形状検出回路2342−4から入力されている検出信号がHighレベルである場合、Bデータを所定のゲインに従って増幅し、B”データとして出力する。なお、形状検出回路2342−4とGデータコントラスト調整回路1342−2gとBデータコントラスト調整回路1342−2bとは、本実施の形態による画像処理装置2342−2を構成する。
すなわち、図18に示す例では、(a)に示すRデータの輝度値がしきい値レベルVth以上となると、形状検出回路2342−4は(d)に示すようにHighレベルの検出信号を出力する。このHighレベルの検出信号は、Rデータの輝度値がしきい値レベルVth以上である期間T1、出力される。また、Rデータの輝度値がしきい値レベルVth未満の期間では、形状検出回路2342−4はLowレベルの検出信号を出力する。Bデータコントラスト調整回路1342−2bは、形状検出回路2342−4から出力された検出信号の信号レベルに従って(b)に示すBデータの輝度値を増幅するため、(e)に示すように期間T1内の輝度値が増幅されたB”データを出力する。同様に、Gデータコントラスト調整回路1342−2gは、形状検出回路2342−4から出力された検出信号の信号レベルに従って(c)に示すGデータの輝度値を増幅するため、(f)に示すように期間T1内の輝度値が増幅されたG”データを出力する。なお、図18は、本実施の形態によるコントラスト調整によって得られる効果を説明するための図である。また、図18(a)、(b)、(c)は、それぞれ図15の(c)、(b)、(a)に対応する。
なお、Gデータコントラスト調整回路1342−2gおよびBデータコントラスト調整回路1342−2bから出力されたG”データおよびB”データは、本発明の実施の形態1と同様に、特殊光画像生成回路1342−3に入力され、適宜、緑色(G),青色(B)成分を含む重畳された特殊光画像データに生成されて出力される。
以上のように、本実施の形態では、撮像対象物の形状的特徴を最も強く含むデータ(本例ではRデータ)を用いて他のデータ(本例ではG/Bデータ)のコントラストを調整することで、本発明の実施の形態1と同様に、ノイズを抑制しつつ的確な輝度値の増幅が可能となる。この結果、的確なコントラスト調整が可能となり、鮮明な特殊光画像を生成することが可能となる。
(変形例)
なお、本実施の形態では、基準とする色成分の画像データ(本説明ではRデータ)が所定のしきい値以上である場合に他の色成分の画像データ(本説明ではG/Bデータ)を増幅することで、撮像対象の形状に基づいて特殊光画像データの輝度値を増幅する構成を例に挙げたが、本発明はこれに限定されるものではない。すなわち、例えば基準とする色成分の画像データに対してエッジ判定処理して撮像対象の形状を特定し、この形状に基づいて特殊光画像データの輝度値を増幅するように構成するなど、種々変形することが可能である。また、形状の特定は2次元であっても3次元であってもよい。3次元の場合、形状の起伏に応じて増幅率を変化させることが好ましい。
また、上記実施の形態は本発明を実施するための例にすぎず、本発明はこれらに限定されるものではなく、仕様等に応じて種々変形することは本発明の範囲内であり、更に本発明の範囲内において、他の様々な実施の形態が可能であることは上記記載から自明である。
1 医療システム
10 カプセル型医療装置
11 制御回路
12 受信回路
13 送信回路
14 画像信号処理回路
15 撮像素子駆動回路
15A 撮像部
15a 撮像素子
15b、15g、15r 受光素子
16 光源駆動回路
16A 光源
16B 回路基板
16a 発光素子
16b 波長変換部
17 電源回路
17B バッテリ
18 容器
19 キャップ
120 体外アンテナ
130 通信装置
131 制御回路
132 送信回路
133 受信回路
134 受信信号処理回路
135 メモリ回路
136 位置検出回路
137 インタフェース回路
138 電源回路
138B バッテリ
139 接続ケーブル
140 携帯型記録媒体
150 情報処理端末
1341 前処理回路
1342、2342 画像生成回路
1342−1b、1342−3b Bデータメモリ
1342−1g、1342−3g Gデータメモリ
1342−1r Rデータメモリ
1342−2、2342−2 画像処理装置
1342−2b Bデータコントラスト調整回路
1342−2g Gデータコントラスト調整回路
1342−3 特殊光画像生成回路
1343 通常光画像調整回路
1344 特殊光画像調整回路
1345 画像診断回路
2342−4 形状検出回路
AMP1、AMP2 差動増幅回路
INV1、INV2 インバータ
RES1、RES2 抵抗
VR1、VR2 可変抵抗

Claims (6)

  1. 同一の範囲を写す波長成分ごとの複数の画像データのうち赤色の画像データの輝度値をもとに緑色および青色の画像データの輝度値を増幅する増幅部を備え、
    前記増幅部は、前記緑色および青色の画像データにおける単位領域の輝度値を前記赤色の画像データにおける前記単位領域と対応する領域の輝度値をもとに増幅することを特徴とする画像処理装置。
  2. 同一の範囲を写す波長成分ごとの複数の画像データのうち赤色の画像データの輝度値をもとに緑色および青色の画像データの輝度値を増幅する増幅部を備え、
    前記増幅部は、前記赤色の画像データに含まれる形状を当該赤色の画像データの前記輝度値をもとに検出する形状検出部を含み、該形状検出部で検出した形状をもとに前記緑色および青色の画像データの輝度値を増幅することを特徴とする画像処理装置。
  3. 前記増幅部は、
    前記緑色および青色の画像データが入力される反転入力端子と、接地された非反転入力端子と、を有する差動増幅回路と、
    前記緑色および青色の画像データと同期して前記赤色の画像データが入力される制御端子を有し、前記差動増幅回路の前記反転入力端子と出力端子との間に接続された可変抵抗と、
    前記差動増幅回路の前記出力端子に接続されたインバータ回路と、
    を有することを特徴とする請求項1または2に記載の画像処理装置。
  4. 前記形状検出部は、前記赤色の画像データが入力され、該赤色の画像データの輝度値が所定値以上であるか否かを検出し、該検出した結果を検出信号として出力し、
    前記増幅部は、
    前記赤色の画像データと同期して前記緑色および青色の画像データが入力される反転入力端子と、接地された非反転入力端子と、を有する差動増幅回路と、
    前記形状検出部から出力された検出信号が入力される制御端子を有し、前記差動増幅回路の前記反転入力端子と出力端子との間に接続された可変抵抗と、
    前記差動増幅回路の前記出力端子に接続されたインバータ回路と、
    を有することを特徴とする請求項に記載の画像処理装置。
  5. 同一の範囲を写す波長成分ごとの複数の画像データのうち赤色の画像データの輝度値をもとに該緑色および青色の画像データの輝度値を増幅する増幅ステップを含み、
    前記増幅ステップは、前記緑色および青色の画像データにおける単位領域の輝度値を前記赤色の画像データにおける前記単位領域と対応する領域の輝度値をもとに増幅することを特徴とする画像処理方法。
  6. 同一の範囲を写す波長成分ごとの複数の画像データのうち赤色の画像データの輝度値をもとに該緑色および青色の画像データの輝度値を増幅する増幅ステップと、
    前記赤色の画像データに含まれる形状を当該赤色の画像データの輝度値をもとに検出する形状検出ステップと、
    を含み、
    前記増幅ステップは、前記形状検出ステップで検出した前記形状をもとに前記緑色および青色の画像データの輝度値を増幅することを特徴とする画像処理方法。
JP2010515311A 2008-10-27 2009-10-22 画像処理装置および画像処理方法 Active JP4603097B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008275859 2008-10-27
JP2008275859 2008-10-27
PCT/JP2009/068192 WO2010050400A1 (ja) 2008-10-27 2009-10-22 画像処理装置、被検体内導入装置、医療システムおよび画像処理方法

Publications (2)

Publication Number Publication Date
JP4603097B2 true JP4603097B2 (ja) 2010-12-22
JPWO2010050400A1 JPWO2010050400A1 (ja) 2012-03-29

Family

ID=42128763

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010515311A Active JP4603097B2 (ja) 2008-10-27 2009-10-22 画像処理装置および画像処理方法

Country Status (5)

Country Link
US (1) US8055043B2 (ja)
EP (1) EP2351515A4 (ja)
JP (1) JP4603097B2 (ja)
CN (1) CN102264272B (ja)
WO (1) WO2010050400A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5334952B2 (ja) 2010-12-16 2013-11-06 富士フイルム株式会社 画像処理装置
JP5698186B2 (ja) * 2012-05-23 2015-04-08 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
JP5932748B2 (ja) * 2013-09-27 2016-06-08 富士フイルム株式会社 内視鏡システム
US20160249793A1 (en) * 2013-12-27 2016-09-01 Kang-Huai Wang Capsule Camera Device with Multi-Spectral Light Sources
JP5789345B2 (ja) * 2015-02-12 2015-10-07 富士フイルム株式会社 内視鏡システム
JP7346602B2 (ja) 2020-01-21 2023-09-19 オリンパス株式会社 内視鏡システム、内視鏡プロセッサ、内視鏡プロセッサの作動方法及び内視鏡プロセッサの作動プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04340888A (ja) * 1991-05-16 1992-11-27 Fuji Photo Optical Co Ltd 面順次式電子内視鏡装置
JP2000330037A (ja) * 1999-05-24 2000-11-30 Olympus Optical Co Ltd 内視鏡用写真撮影装置
JP2003093342A (ja) * 2001-09-27 2003-04-02 Fuji Photo Optical Co Ltd 電子内視鏡装置
JP2005192880A (ja) * 2004-01-08 2005-07-21 Olympus Corp 画像処理方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3179166B2 (ja) 1992-02-25 2001-06-25 オリンパス光学工業株式会社 電子内視鏡装置
JP2001352555A (ja) 2000-06-06 2001-12-21 Canon Inc 撮影装置
US6956602B2 (en) * 2001-09-27 2005-10-18 Fujinon Corporation Electronic endoscope for highlighting blood vessel
JP3925138B2 (ja) * 2001-10-03 2007-06-06 ソニー株式会社 画像信号処理方法及び画像信号処理回路
JP4340888B2 (ja) 2003-06-23 2009-10-07 富士ゼロックス株式会社 画像処理装置および画像処理方法、画像処理プログラム、記憶媒体
JP4253550B2 (ja) 2003-09-01 2009-04-15 オリンパス株式会社 カプセル型内視鏡
WO2006025334A1 (ja) * 2004-08-30 2006-03-09 Olympus Corporation 内視鏡装置
US20060232668A1 (en) 2005-04-18 2006-10-19 Given Imaging Ltd. Color filter array with blue elements
JP4409523B2 (ja) 2005-05-12 2010-02-03 オリンパスメディカルシステムズ株式会社 生体観測装置
JP2007319442A (ja) 2006-06-01 2007-12-13 Fujifilm Corp カプセル内視鏡システム、および画像処理装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04340888A (ja) * 1991-05-16 1992-11-27 Fuji Photo Optical Co Ltd 面順次式電子内視鏡装置
JP2000330037A (ja) * 1999-05-24 2000-11-30 Olympus Optical Co Ltd 内視鏡用写真撮影装置
JP2003093342A (ja) * 2001-09-27 2003-04-02 Fuji Photo Optical Co Ltd 電子内視鏡装置
JP2005192880A (ja) * 2004-01-08 2005-07-21 Olympus Corp 画像処理方法

Also Published As

Publication number Publication date
EP2351515A4 (en) 2015-03-11
CN102264272B (zh) 2014-07-30
CN102264272A (zh) 2011-11-30
US8055043B2 (en) 2011-11-08
EP2351515A1 (en) 2011-08-03
JPWO2010050400A1 (ja) 2012-03-29
US20100266202A1 (en) 2010-10-21
WO2010050400A1 (ja) 2010-05-06

Similar Documents

Publication Publication Date Title
EP1862109A2 (en) Capsule endoscopic system and image processing apparatus
JP4603097B2 (ja) 画像処理装置および画像処理方法
US7061523B2 (en) Capsule type medical device
JP4422679B2 (ja) カプセル内視鏡およびカプセル内視鏡システム
EP2356935B1 (en) Image-processing system, imaging device, receiving device, and image display device
JPWO2008102803A1 (ja) 被検体内導入システム
US20180307933A1 (en) Image processing apparatus, image processing method, and computer readable recording medium
Kfouri et al. Toward a miniaturized wireless fluorescence-based diagnostic imaging system
CN102843950B (zh) 图像显示装置以及胶囊型内窥镜系统
JP4956694B2 (ja) 情報処理装置及びカプセル型内視鏡システム
US8419632B2 (en) Body-insertable apparatus having light adjustment control unit and in-vivo information acquisition system
JP3893121B2 (ja) カプセル型内視鏡システム及びカプセル型内視鏡
JP2006043276A (ja) 被検体内画像取得システムおよび被検体内導入装置
JP5341257B2 (ja) 画像処理装置、画像処理装置の作動方法、画像処理プログラムおよび内視鏡システム
US9668644B2 (en) Floatation-volume adequacy determining system and floatation-volume adequacy determining method
US8830310B2 (en) Capsule endoscope
US20240122443A1 (en) Program, information processing method, and endoscope system
JP4383432B2 (ja) カプセル型内視鏡システム及びカプセル型内視鏡
JP2019136241A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
WO2006040831A1 (ja) カプセル型内視鏡システム及びカプセル型内視鏡
JP2018038460A (ja) 色調整治具及び電子内視鏡システム
JP5896877B2 (ja) 調光装置
WO2017217029A1 (ja) 動き判定装置、被検体内導入装置、動き判定方法及びプログラム
JP2011000208A (ja) 撮像装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100907

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100930

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131008

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4603097

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131008

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250