JP5277253B2 - 画像処理システム - Google Patents

画像処理システム Download PDF

Info

Publication number
JP5277253B2
JP5277253B2 JP2010537825A JP2010537825A JP5277253B2 JP 5277253 B2 JP5277253 B2 JP 5277253B2 JP 2010537825 A JP2010537825 A JP 2010537825A JP 2010537825 A JP2010537825 A JP 2010537825A JP 5277253 B2 JP5277253 B2 JP 5277253B2
Authority
JP
Japan
Prior art keywords
image
observation mode
imaging
light source
observation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010537825A
Other languages
English (en)
Other versions
JPWO2010055938A1 (ja
Inventor
和昭 田村
健 森
昭夫 内山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2010537825A priority Critical patent/JP5277253B2/ja
Publication of JPWO2010055938A1 publication Critical patent/JPWO2010055938A1/ja
Application granted granted Critical
Publication of JP5277253B2 publication Critical patent/JP5277253B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041Capsule endoscopes for imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0607Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for annular illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0007Image acquisition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00Medical imaging apparatus involving image processing or analysis
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)

Description

この発明は、画像処理システム、その撮像装置、受信装置および画像表示装置に関し、特に、白色画像などの通常画像と特定の色成分よりなる分光画像との生成を適切に行う画像処理システム、その撮像装置、受信装置および画像表示装置に関する。
近年、内視鏡分野においては、撮像機能と無線通信機能とを設けたカプセル型の被検体内導入装置(例えばカプセル型内視鏡)が提案され、このカプセル型内視鏡を用いて被検体内の画像を取得する被検体内導入システムが開発されている。カプセル型内視鏡は、被検体内を観察(検査)するために、例えば被検体の口から飲込まれ、その後、自然排出されるまでの間、体腔内たとえば胃、小腸等の臓器の内部をその蠕動運動に従って移動するとともに、例えば0.5秒間隔で被検体内の画像を撮像するように機能する。
カプセル型内視鏡が被検体内を移動する間、このカプセル型内視鏡によって撮像された画像は、被検体の体表面に配置したアンテナを介して外部の画像表示装置に受信される。この画像表示装置は、カプセル型内視鏡に対する無線通信機能と画像のメモリ機能とを有し、被検体内のカプセル型内視鏡から受信した画像をメモリに順次格納する。医師または看護師は、かかる画像表示装置に蓄積された画像、すなわち被検体の消化管内の画像をディスプレイに表示することによって、被検体内を観察(検査)し、診断することができる。
ここで、特許文献1には、複数の個別の光源と複数の個別の光センサとを配置し、光源動作時に被写体に反射した光を、光センサで感知した光量で、光源の動作や利得を制御する生体内撮像装置が記載されている。
特開2006−247404号公報
ところで、カプセル型内視鏡などを撮像装置として用いた画像生成システムでは、撮像により取得される画像の明るさが一定であるとは限らない。そのため、画像データ自体の生成や生成された画像データに対する画像処理を安定して行うことが困難であるという問題が存在した。
そこで本発明は、上記の問題に鑑みてなされたものであり、画像データ自体の生成や生成された画像データに対する画像処理を安定して行うことが可能な画像処理システム、その撮像装置、受信装置および画像表示装置を提供することを目的とする。
上述した課題を解決し、目的を達成するために、この発明にかかる画像処理システムは、第1の光源で照明しつつ画像を撮像する第1の観察モードと、前記第1の光源とは異なる第2の光源で照明しつつ画像を撮像する第2の観察モードとの二つの観察モードを有し、いずれか一方の観察モードを選択して撮像された画像に基づいて表示を行うための画像を生成する画像生成手段と、一方の観察モードで撮像した画像の明るさを検出する明るさ検出手段と、前記明るさ検出手段で検出された画像の明るさに基づいて前記一方の観察モードでの観察に続いて行われる他方の観察モードでの露光動作または画像処理を制御する制御手段と、を備えたことを特徴とする。
上記した本発明による画像処理システムは、前記第1の観察モードが、白色照明光による通常光観察であり、前記第2の観察モードが、特定の波長帯の照明光による特殊光観察であることを特徴とする。
上記した本発明による画像処理システムは、前記画像生成手段が、前記一方の観察モードと前記他方の観察モードとを交互に又は連続して画像を生成することを特徴とする。
上記した本発明による画像処理システムは、前記画像生成手段が、被写体を繰り返し撮像する撮像手段と、前記撮像手段による撮像に併せて前記被写体を照明する照明手段と、前記撮像手段により取得された画像に所定の処理を実行する画像処理手段と、を含み、前記制御手段が、前記明るさ検出手段によって検出された画像の明るさに基づいて、前記照明手段、前記撮像手段および前記画像処理手段の少なくとも1つを制御することを特徴とする。
上記した本発明による画像処理システムは、前記制御手段が、前回の撮像により得られた画像の明るさに基づいて次の撮像における前記撮像手段の露光時間を制御することを特徴とする。
上記した本発明による画像処理システムは、前記制御手段が、前回の撮像により得られた画像の明るさに基づいて次の撮像における前記照明手段の発光時間を制御することを特徴とする。
上記した本発明による画像処理システムは、前記所定の処理が、前記画像の同時化処理、圧縮処理、保存処理、動き検出処理、赤色検出処理、および、当該画像と種類が異なる画像の生成処理の少なくとも1つを含み、前記制御手段が、前記撮像手段が取得した画像の明るさに基づいて前記画像処理手段による当該画像に対する前記所定の処理を制御することを特徴とする。
上記した本発明による画像処理システムは、前記画像生成手段が、前記異なる種類の画像として通常光画像と特殊光画像とを生成することを特徴とする。
上記した本発明による画像処理システムは、前記照明手段が、前記被写体を通常光で照明する通常光光源と、前記被写体を特殊光で照明する特殊光光源と、を含み、前記画像生成手段が、前記被写体を前記通常光光源で照明した際に前記撮像手段が取得した画像を前記通常光画像として生成し、前記被写体を前記特殊光光源で照明した際に前記撮像手段が取得した画像を前記特殊光画像として生成することを特徴とする。
上記した本発明による画像処理システムは、前記画像生成手段が、前記照明手段と前記撮像手段とを含み、被検体内に導入されて該被検体内の前記被写体を前記撮像手段が撮像して得られた画像を無線信号にて送信する撮像装置と、前記撮像装置が無線信号にて送信した前記画像を受信し、該画像を所定の記録領域に記録する受信装置と、前記受信装置に記録された画像を該受信装置から取得して表示する画像表示装置と、を含み、前記画像処理手段が、前記撮像装置と前記受信装置と前記画像表示装置とのいずれか1つ以上に設けられたことを特徴とする。
上記した本発明による画像処理システムは、前記撮像手段が、前記被写体を観察する第1の観察モードによる撮像動作および前記第1の観察モードとは異なる第2の観察モードによる撮像動作とを同一観察モードの複数回繰り返しを含めて交互に行い、前記制御手段が、前記第1の観察モード時における露光時間を測定する露光時間測定部と、前記露光時間測定部の測定結果をもとに前記第2の観察モードの撮像動作を制御する観察モード制御部と、を含むことを特徴とする。
上記した本発明による画像処理システムは、前記撮像手段が、前記第1の観察モードに用いる光を照射する第1の光源部と、前記第1の観察モードとは異なる第2の観察モードに用いる光を照射する第2の光源部と、を含み、前記露光時間測定部が、前記第1の光源部によって照射される光の露光時間を前記第1の観察モード時の露光時間として測定することを特徴とする。
上記した本発明による画像処理システムは、前記観察モード制御部が、前記露光時間測定部の測定結果をもとに少なくとも前記第2の光源部の動作を制御することによって前記第2の観察モードの撮像動作を制御することを特徴とする。
上記した本発明による画像処理システムは、前記観察モード制御部が、前記第1の観察モード時における露光時間が前回まで複数回連続して所定値を超える場合、次の前記第2の観察モードによる撮像動作を停止させ、該第2の観察モードに替えて前記第1の観察モードによる撮像動作を行わせ、複数回連続して所定値を超えない場合、次の前記第2の観察モードによる撮像動作を行わせることを特徴とする。
上記した本発明による画像処理システムは、前記第1の光源部が、前記撮像手段の光軸方向に対して狭い指向性をもった狭指向性光源と広い指向性をもった広指向性光源とを有し、前記観察モード制御部が、前記第1の観察モード時における露光時間が前回まで複数回連続して所定値を超える場合、前記広指向性光源のみから光を照射させて次の前記第2の観察モードによる撮像動作を行わせ、複数回連続して所定値を超えない場合、前記広指向性光源および前記狭指向性光源から光を照射させて次の前記第2の観察モードによる撮像動作を行わせることを特徴とする。
上記した本発明による画像処理システムは、少なくとも前記撮像手段および前記照明手段が液中内か否かを検出する状態検出手段を備え、前記観察モード制御部が、前記第1の観察モード時における露光時間が前回まで複数回連続して所定値を超える場合であって前記状態検出手段が液中であると検出した場合には、前記広指向性光源のみから光を照射させて次の前記第2の観察モードによる撮像動作を行わせ、前記第1の観察モード時における露光時間が前回まで複数回連続して所定値を超える場合であって前記状態検出手段が液中でないと検出した場合には、次の前記第2の観察モードによる撮像動作を停止させ、該第2の観察モードに替えて前記第1の観察モードによる撮像動作を行わせることを特徴とする。
上記した本発明による画像処理システムは、前記第1の観察モードが、白色光源を用いて前記被写体を撮像し、前記第2の観察モードが、特定の色成分の分光光を照射する狭帯域光源を用いて前記被写体を撮像することを特徴とする。
上記した本発明による画像処理システムは、前記狭帯域光源が、青色および緑色を特定の色成分とする分光光を照射することを特徴とする。
上記した本発明による画像処理システムは、前記撮像装置が、前記被検体内に導入されるカプセル型内視鏡であることを特徴とする。
また、本発明による撮像装置は、第1の光源で照明しつつ画像を撮像する第1の観察モードと、前記第1の光源とは異なる第2の光源で照明しつつ画像を撮像する第2の観察モードとの二つの観察モードを有し、いずれか一方の観察モードを選択して撮像された画像に基づいて表示を行うための画像を生成する画像生成手段と、一方の観察モードで撮像した画像の明るさを検出する明るさ検出手段と、前記明るさ検出手段で検出された画像の明るさに基づいて前記一方の観察モードでの観察に続いて行われる他方の観察モードでの露光動作または画像処理を制御する制御手段と、前記画像生成手段が生成した画像を送信する送信手段と、を備えたことを特徴とする。
また、本発明による受信装置は、第1の光源で照明しつつ撮像した画像と、前記第1の光源とは異なる第2の光源で照明しつつ撮像した画像との二つの画像をそれぞれ受信する画像受信手段と、前記画像受信手段で受信された前記画像を所定の記録領域に記録する記録手段と、前記画像受信手段で受信された前記画像の明るさを検出する明るさ検出手段と、前記明るさ検出手段で検出された画像の明るさに基づいて前記記録手段による当該画像の記録の可否を制御する制御手段と、を備えたことを特徴とする。
また、本発明による画像表示装置は、第1の光源で照明しつつ撮像した画像と、前記第1の光源とは異なる第2の光源で照明しつつ撮像した画像との二つの画像それぞれに対して所定の画像処理を実行する画像処理手段と、前記画像の明るさを検出する明るさ検出手段と、前記明るさ検出手段が検出した前記画像の明るさに基づいて前記画像処理手段による当該画像に対する前記所定の画像処理を制御する制御手段と、前記画像および/または前記画像処理手段によって前記所定の画像処理がなされた画像を表示する表示手段と、を備えたことを特徴とする。
この発明によれば、画像の明るさ情報に応じて制御を適切に行うことが可能となるため、画像データ自体の生成や生成された画像データに対する画像処理を安定して行うことが可能な画像処理システム、その撮像装置、受信装置および画像表示装置を実現することができる。
図1は、この実施の形態による画像処理システムの概略構成を示すブロック図である。 図2は、この発明の実施の形態2によるカプセル型内視鏡システムの全体概要構成を示す図である。 図3は、この発明の実施の形態2によるカプセル型内視鏡の撮像部および照明部近傍の平面図である。 図4は、この発明の実施の形態2によるカプセル型内視鏡の撮像部および照明部近傍の断面図である。 図5は、血液の吸光特性レベルの波長依存性を示す図である。 図6は、体腔内壁と血管に対する光の進入と反射との関係を示す模式図である。 図7は、この発明の実施の形態2によるカプセル型内視鏡の構成を示すブロック図である。 図8は、この発明の実施の形態2によるカプセル型内視鏡内の観察モード制御部による観察モード制御処理手順を示すフローチャートである。 図9は、この発明の実施の形態2によるカプセル型内視鏡内の観察モード制御部による観察モード制御処理の一例を示すタイミングチャートである。 図10は、この発明の実施の形態3によるカプセル型内視鏡の撮像部および照明部近傍の平面図である。 図11は、この発明の実施の形態3によるカプセル型内視鏡の撮像部および照明部近傍の断面図である。 図12は、この発明の実施の形態3によるカプセル型内視鏡内の観察モード制御部による観察モード制御処理手順を示すフローチャートである。 図13は、この発明の実施の形態4によるカプセル型内視鏡内の観察モード制御部による観察モード制御処理手順を示すフローチャートである。 図14は、この発明の実施の形態5によるカプセル型内視鏡内の観察モード制御部による観察モード制御処理手順を示すフローチャートである。 図15は、この発明の実施の形態6によるカプセル型内視鏡の構成を示すブロック図である。 図16は、図15に示した発光量調整部による発光量調整処理手順を示すフローチャートである。 図17は、この発明の実施の形態7によるカプセル型内視鏡の発光量調整部による発光量調整処理手順を示すフローチャートである。 図18は、この発明の実施の形態8による受信装置の構成を示すブロック図である。 図19は、図18に示した明るさ調整部による明るさ調整処理手順を示すフローチャートである。 図20は、この発明の実施の形態9によるカプセル型内視鏡の構成を示すブロック図である。 図21は、この発明の実施の形態9によるカプセル型内視鏡の概略動作を示すフローチャートである。 図22は、この発明の実施の形態9による受信装置3の概略動作を示すフローチャートである。 図23は、この発明の実施の形態10による画像表示装置4の概略動作を示すフローチャートである。 図24は、この発明の実施の形態10において画像表示装置が実行する画像処理機能の一例(動き検出機能)の概略動作を示すフローチャートである。 図25は、この発明の実施の形態10において画像表示装置が実行する画像処理機能の他の一例(赤色検出機能)の概略動作を示すフローチャートである。 図26は、この発明の実施の形態11によるカプセル型内視鏡の構成を示すブロック図である。 図27は、この発明の実施の形態11によるカプセル型内視鏡の概略動作を示すフローチャートである。 図28は、この発明の実施の形態11による受信装置の概略動作を示すフローチャートである。 図29は、この発明の実施の形態11による画像表示装置の概略動作を示すフローチャートである。
以下、図面を参照して、この発明にかかる画像処理システム、その撮像装置、受信装置および画像表示装置の好適な実施の形態を詳細に説明する。なお、以下に示す全ての実施の形態は、その構成の全部または一部を適宜組合せることが可能である。
(実施の形態1)
まず、この発明の実施の形態1によるカプセル内視鏡システムを説明するにあたり、カプセル型内視鏡システムの構築概念となる画像処理システムの構成を、図面を用いて詳細に説明する。図1は、この実施の形態による画像処理システムの概略構成を示すブロック図である。図1に示すように、この実施の形態による画像処理システム100は、大別して、画像生成手段101と表示手段102と明るさ検出手段106と制御手段107と、を備える。画像生成手段101は、異なる種類の画像、たとえば色成分の組合せよりなる画像(例えば後述する通常光画像と特殊光画像)を交互または連続して生成する少なくとも二つ以上の観察モードを有し、いずれか一方の観察モードを選択してその観察モード下で画像を生成する手段である。この画像生成手段101は、被写体を撮像する撮像手段103と、撮像時に被写体を照明する照明手段104と、撮像により得られた画像データに所定の画像処理を実行する画像処理手段105と、を備える。明るさ検出手段106は、撮像手段104が一方の観察モードでの撮像により得られた画像の明るさを示す情報(以下、単に明るさ情報という)を検出する。制御手段107は、明るさ検出手段106によって検出された明るさ情報に基づいて画像生成手段101の撮像手段103、照明手段104および画像処理手段105の少なくとも1つを制御することで、画像生成手段101による他方の観察モードでの画像の生成を制御する。
この実施の形態における明るさ情報には、たとえば撮像手段103が撮像する際の露光時間や、撮像手段103によって取得された画像の平均輝度や、撮像手段103によって取得された画像の所定領域に含まれる画素の信号強度の積分値(露光量ともいう)など、画像の明るさを示すあらゆる情報を明るさ情報として利用することが可能である。
制御手段107は、明るさ検出手段106において検出された明るさ情報に基づいて、例えば、照明手段104の発光量(パワー)や発光時間を決定したり、駆動する光源の種類を選択したりなどの制御を行う。また、制御手段107は、同じく検出された明るさ情報に基づいて、撮像手段103による露光時間を決定したり、画像信号を読み出す画素の種類(R,G,Bのいずれか1つ以上)の選択をしたりなどの制御を行う。さらに、制御手段107は、同じく検出された明るさ情報に基づいて、画像処理手段105による画像処理における種々のパラメータを変更したり、実行する画像処理機能を選択したりする制御を行う。
このように本実施の形態では、取得された画像の明るさ情報に基づいて画像生成手段101における撮像手段103や照明手段104や画像処理手段105を制御して画像の明るさに応じた適切な制御を行うため、画像データ自体の生成や生成された画像データに対する処理を安定して行うことが可能となる。
(実施の形態2)
つぎに、この発明の実施の形態2による画像処理システムとして、撮像装置にカプセル型内視鏡を用いたカプセル型内視鏡システムを例に挙げて説明する。なお、この実施の形態によるカプセル型内視鏡システムは、上述した実施の形態1による画像処理システムをより具体化したものであり、その概念は当該画像処理システムの概念に含まれるものである。
図2は、この発明の実施の形態2にかかるカプセル型内視鏡システムの構成を示す模式図である。図2に示すように、この実施の形態2にかかるカプセル型内視鏡システムは、被検体1の体内画像を撮像する撮像装置としてのカプセル型内視鏡2と、カプセル型内視鏡2によって無線送信された画像信号を受信する受信装置3と、カプセル型内視鏡2によって撮像された体内画像を表示する画像表示装置4と、受信装置3と画像表示装置4との間におけるデータの受け渡しを行うための可搬型の記録媒体5とを備える。
カプセル型内視鏡2は、カプセル型の筐体内部に撮像機能と無線通信機能とを備える。カプセル型内視鏡2は、経口摂取等によって被検体1の臓器内部に導入され、その後、蠕動運動等によって被検体1の臓器内部を移動しつつ、所定の間隔(例えば0.5秒間隔)で被検体1の体内画像を順次撮像する。具体的には、カプセル型内視鏡2は、白色光を用いた通常画像の撮像(通常光観察)と、体腔内壁の鮮明な血管画像などを、青色および緑色の特定の色成分からなる特殊光を用いて生成する分光画像を撮像(特殊光観察)とを、それぞれ複数回繰り返しを含めて交互に行う。カプセル型内視鏡2は、このように撮像した被検体1の体内画像の画像信号を外部の受信装置3に無線送信する。カプセル型内視鏡2は、被検体1の臓器内部に導入されてから被検体1の外部に排出されるまでの期間、かかる体内画像の撮像動作および無線送信動作を順次繰り返す。
受信装置3は、例えば被検体1の体表上に分散配置される複数の受信アンテナ3a〜3hを備え、複数の受信アンテナ3a〜3hのうちの少なくとも一つを介して被検体1内部のカプセル型内視鏡2からの無線信号を受信する。受信装置3は、カプセル型内視鏡2からの無線信号から画像信号を抽出し、この抽出した画像信号に含まれる体内画像の画像データを取得する。
また、受信装置3は、取得した画像データに対して各種の画像処理を行い、予め挿着された記録媒体5に、この画像処理された体内画像群を蓄積する。また、受信装置3は、体内画像群の各画像に、撮像時刻または受信時刻等の時間データを各々対応付ける。
なお、受信装置3の受信アンテナ3a〜3hは、図2に示したように被検体1の体表上に配置してもよいし、被検体1に着用させるジャケットに配置されてもよい。また、受信装置3の受信アンテナ数は、1以上であればよく、特に8つに限定されない。
画像表示装置4は、記録媒体5を介して被検体1の体内画像群等の各種データを取り込み、取り込んだ体内画像群等の各種データを表示するワークステーションのような構成を有する。具体的には、画像表示装置4は、受信装置3から取り外された記録媒体5を挿着され、この記録媒体5の保存データを取り込むことによって、被検体1の体内画像群等の各種データを取得する。画像表示装置4は、取得した体内画像をディスプレイに表示する機能を有する。この画像表示装置4による画像表示によって診断等が行われる。
記録媒体5は、上述した受信装置3と画像表示装置4との間におけるデータの受け渡しを行うための可搬型の記録メディアである。記録媒体5は、受信装置3および画像表示装置4に対して着脱可能であって、両者に対する挿着時にデータの出力および記録が可能な構造を有する。具体的には、記録媒体5は、受信装置3に挿着された場合、受信装置3によって画像処理された体内画像群および各画像の時間データ等を記録する。
カプセル型内視鏡2は、カプセル型筐体21内に各種機能が内蔵され、一端部がドーム型透明カバー20に覆われ、この一端部側に照明部および撮像部が配置される。図3および図4に示すように、円板状の基板23の円中央部に鏡筒24が設けられ、この鏡筒24内にカプセル型筐体21の円筒軸が光軸となる光学レンズ13および撮像素子14が設けられる。基板23の周縁側には、白色光を発光する白色LEDで実現される通常光光源10a〜10c(10)と、415nm(青色)付近にピークをもつ波長帯の光と540nm(緑色)付近にピークをもつ波長帯の光とを発光する特殊光光源11a〜11c(11)とが交互に異なる位置に円環状に配置される。なお、特殊光光源11は、415nmを発光するLEDチップに540nmを発光する蛍光体を塗布した2波長発光タイプとしている。また、各光源10,11は、ほぼ同じ配光特性を有している。また、各光源10,11の上部には、透明の固定部材12が設けられる。なお、撮像素子14は、通常のベイヤー配列のCCDなどによって実現される。
ここで、特殊光光源11を用いた特殊光観察について説明する。まず、図5に示すように、血液の吸光特性レベルは、415nm(青色)にピークL1があり、540nm(緑色)にピークがある以外は低い。そして、図6に示すように、体腔内壁には、粘膜表層40に毛細血管43が存在し、さらに粘膜深部41には、太い血管44が存在する。体腔内壁に照射される415nm(青色)の光30Bは、波長が短いため、組織内部まで透過せず、上述した血液の吸光特性によって毛細血管43に吸収される。また、540nm(緑色)の光30Gは、青色よりも波長が長いため、粘膜深部41まで透過し、上述した血液の吸光特性によって太い血管44に吸収される。一方、赤色の光30Rは、内部組織42まで透過し、散乱光としてほとんどが反射される。したがって、415nm(青色)および540nm(緑色)のみの受光感度を持たせれば、毛細血管43および太い血管44などの血管画像のコントラスト情報を得ることができる。
したがって、特殊光観察では、青色と緑色の波長をもつ光を被写体に照明し、青色と緑色の波長の感度特性をもつ撮像素子を用いることによって血管のコントラスト情報を得ることができ、血管画像である分光画像を得ることができる。
図7は、カプセル型内視鏡2の詳細構成を示すブロック図である。図7に示すように、カプセル型内視鏡2は、被写体の照明光を発する照明部51、被写体からの反射光を受光して被写体を撮像する撮像部52、カプセルが内外の状態を検出する状態検出部53、カプセル型内視鏡2全体を制御するシステム制御部54、撮像部52によって撮像された画像データなどの情報をカプセル型内視鏡2の外部、特に被検体外に送信用アンテナ56を介して送信する送信回路55、およびシステム制御部54の制御のもとに各種構成部位に電源を供給する電源回路57とを有する。
照明部51は、上述した通常光光源10、特殊光光源11、および通常光光源10および特殊光光源11の駆動制御を行う光源制御回路61を有する。なお、特殊光光源11は、通常光光源10に供給する電流が同じである場合、通常光に比して光量が少ない特殊光を発光する。また、撮像部52は、上述した撮像素子14と、この撮像素子14の駆動制御を行う撮像素子制御回路62とを有する。さらに、状態検出部53は、センサ部63と、センサ部63を駆動制御するセンサ部制御回路64とを有する。センサ部63は、少なくとも、カプセル型内視鏡2が被検体1内で、水などの液中にあるか否か(液中にあるか気体中にあるか否か)を検出することができる各種センサによって実現される。
システム制御部54は、露光時間測定部71と観察モード制御部72とを有する。露光時間測定部71は、明るさ情報として、少なくとも通常光観察時における露光時間を測定する。一方、観察モード制御部72は、露光時間測定部71が測定した露光時間情報をもとに、通常光画像の撮像を行う第1の観察モードに対応する通常光観察モードと、特殊光画像の撮像を行う第2の撮像モードに対応する特殊光観察モードとの動作を制御する。
ここで、図8および図9を参照して、観察モード制御部72による観察モード制御処理手順について説明する。図8に示すように、観察モード制御部72は、まず、予め設定された光量の通常光を通常光光源10から発光する(ステップS101)。その後、撮像部52によって通常光画像を撮像して取得する(ステップS102)。そして、この通常光画像を送信回路55および送信用アンテナ56を介して被検体外部の受信装置3にデータ送信する(ステップS103)。その後、特殊光観察モードであるか否かを判断する(ステップS104)。特殊光観察モードでない場合(ステップS104,No)には、ステップS201に移行し、通常光観察モードを続行する。一方、特殊光観察モードである場合(ステップS104,Yes)には、さらに、露光時間測定部71の測定結果をもとに、通常光の露光時間が連続して規定値以上であったか否かを判断する(ステップS105)。連続して規定値以上である場合(ステップS105,Yes)には、ステップS101に移行し、通常光観察モードを維持して通常光観察を行う。
一方、通常光の露光時間が連続して規定値以上でない場合(ステップS105,No)には、特殊光光源11を発光させ(ステップS106)、ステップS102に移行して撮像部52によって特殊光画像を撮像して取得する。すなわち、特殊光観察モードの動作を行わせる。
すなわち、観察モード制御部72は、予め設定された交互順序で特殊光観察を行う場合、前回および前々回の通常光観察時の露光時間がともに規定値以上である場合、換言すれば、通常光の反射光が少ない場合、特殊光観察を行っても反射光量が少ないため、十分な明るさをもった特殊光画像を得ることができないため、この特殊光観察に替えて通常光観察を行うようにしている。
図9は、観察モード制御部72による具体的な観察モードの動作制御を示したタイミングチャートである。図9では、時間間隔ΔT1で、通常光観察と特殊光観察とを行う場合を示している。時間Δt2は、露光時間であり、時間Δt3は、規定値であり、時間tmaxは、最大露光時間設定値である。図9において、上段に示すように、最初の時間帯では、通常光観察M11→特殊光観察M21→通常光観察M12→特殊光観察M22→通常光観察M13のように通常光観察と特殊光観察とが交互に行われている。ここで、通常光観察M13の後に、特殊光観察を行う場合、通常光観察M12,M13の露光時間Δt2がともに規定値Δt3以上となり、連続して規定値Δt3以上となったため、特殊光観察を行わず、この特殊光観察の時間に、特殊光観察に替えて通常光観察M14を行う動作制御を行う。その後、通常光観察を行う時間帯には、通常光観察M15を行い、次の特殊光観察を行う場合には、通常光観察M15時の露光時間Δt2が規定値Δt3未満であるため、連続して規定値Δt3以上とならないため、特殊光観察M23が行われる。
このように、通常光観察は、交互に行う時間帯で常に通常光観察を行うが、特殊光観察は、通常光観察時の露光時間が連続して規定値以上となった場合、その直後の特殊光観察を行わずに、通常光観察を行うようにしている。これによって、十分な明るさをもたない特殊光画像に替えて十分な明るさをもった通常光画像を得ることができ、電力の効率的な利用を行うことができる。
(実施の形態3)
つぎに、この発明の実施の形態3による画像処理システムとして、撮像装置にカプセル型内視鏡を用いたカプセル型内視鏡システムを例に挙げて説明する。なお、この実施の形態によるカプセル型内視鏡システムは、上記実施の形態2によるカプセル型内視鏡システムと同様、上述した実施の形態1による画像処理システムをより具体化したものであり、その概念は当該画像処理システムの概念に含まれるものである。
この実施の形態3では、特殊光光源11を、撮像素子14の光軸に対して広指向性を有する広指向性特殊光光源111(111a〜111c)と狭指向性を有する狭指向性特殊光光源112(112a〜112c)との各対で構成している。図10および図11に示すように、広指向性特殊光光源111および狭指向性特殊光光源112は、ともに対となって円環状に配置されるが、広指向性特殊光光源111は、狭指向性特殊光光源112の内周に配置される。狭指向性特殊光光源112が広指向性特殊光光源111の内周に配置されることによって、広指向性特殊光光源111の光が直接、撮像素子14に入射するのを防止することができ、広帯域にフラットな光を照射することができる。
図12は、この発明の実施の形態3による観察モード制御部による観察モード制御処理手順を示すフローチャートである。図12において、観察モード制御部72は、図8に示したステップS101〜S105と同様な処理を行い、ステップ105に対応するステップS205で、通常光の露光時間が連続して規定値以上になったか否かを判断する。
その後、通常光の露光時間が連続して規定値以上でない場合(ステップS205,No)には、狭指向性特殊光光源112および広指向性特殊光光源111を発光させ(ステップS206)、ステップS202に移行して特殊光観察モードの動作を行わせる。
一方、通常光の露光時間が連続して規定値以上である場合(ステップS205,Yes)には、さらにセンサ部63の検出結果をもとに、カプセル型内視鏡2が液中にあるか否かを判断する(ステップS207)。カプセル型内視鏡2が液中にない場合(ステップS207,No)には、カプセル型内視鏡2が気体中にあり、ステップS201に移行して、この特殊光観察期間に通常光観察を行わせる。一方、カプセル型内視鏡2が液中にある場合(ステップS207,Yes)、広指向性特殊光光源111のみを発光させ(ステップS208)、ステップS202に移行して特殊光観察を行わせる。この場合、広指向性の光が照射されるため、カプセル型内視鏡2に近接した周辺の被写体に対する特殊光画像を得ることができる。
(実施の形態4)
上述した実施の形態2,3では、いずれも露光時間測定部71が撮像部52の露光時間を測定することを前提して説明したが、これに限らず、通常光光源10,110の発光量を露光時間に対応づけて測定してもよい。この場合、観察モード制御部72は、図8に示したフローチャートのステップS105に替えて、図13のステップS305に示すように、通常光の発光量が連続して規定値以上であるか否かを判断すればよい。
(実施の形態5)
また、上述した実施の形態2〜4では、観察モード制御部72が、特殊光観察を行うか、特殊光観察を行わずに通常光観察に置き換えるかの処理を行っていたが、これに限らず、たとえば、図14に示すように、ステップS305に対応するステップS405における判断処理の後、通常光の発光量が連続して規定値以上である場合には、特殊光光源11,111,112の発光量を増大させた(ステップS406)後に、特殊光観察を行い、通常光の発光量が連続して規定値以上でない場合(ステップS405,No)には、特殊光光源11,111,112の発光量を初期値に戻した(ステップS407)後、特殊光観察を行うようにする。このような発光量制御を行うことによって、特殊光観察の電力消費を抑えた観察を行うことができる。
(実施の形態6)
つぎに、この発明の実施の形態6による画像処理システムとして、撮像装置にカプセル型内視鏡を用いたカプセル型内視鏡システムを例に挙げて説明する。なお、この実施の形態によるカプセル型内視鏡システムは、上記実施の形態2〜5のいずれかによるカプセル型内視鏡システムと同様、上述した実施の形態1による画像処理システムをより具体化したものであり、その概念は当該画像処理システムの概念に含まれるものである。
この実施の形態6では、図15に示すように、通常光画像と特殊光画像との各画像の撮像に対して、個別に通常光光源10と特殊光光源11との発光量調整を行って取得される各画像の明るさを適切なものにする、システム制御部54をカプセル型内視鏡2に備えていることを特徴とする。
システム制御部54は、取得される通常光画像と特殊光画像とのそれぞれに対応して通常光光源10と特殊光光源11との発光量調整を行う発光量調整部171を有する。なお、システム制御部54は、通常光画像と特殊光画像とを撮像する各観察モードの切換等のモード制御を行う観察モード制御部172を有する。
ここで、図16を参照して、発光量調整部171による発光量調整処理手順について説明する。まず、発光量調整部171は、観察モード制御部172の制御内容をもとに、現在撮像した画像が、通常光画像であるか否かを判断する(ステップS501)。通常光画像である場合(ステップS501,Yes)には、発光量調整部171は、前回取得した通常光画像の所定範囲内の全画素(R,G,B)の値を積算する(ステップS502)。その後、この積算値が適正範囲、すなわち適正な明るさをもつ画像であるか否かを判断する(ステップS503)。積算値が適正範囲でない場合(ステップS503,No)には、画像の明るさが適正範囲内となるように、通常光光源10の発光量を調整し(ステップS504)、ステップS508に移行する。一方、積算値が適正範囲である場合(ステップS503,Yes)には、現在設定されている通常光光源10の発光量を維持させるため、そのままステップS508に移行する。
一方、通常光画像でない場合(ステップS501,No)には、前回取得した特殊光画像の所定範囲内の緑(G)画素と青(B)画素とを積算する(ステップS505)。その後、積算値が適正範囲であるか否かを判断する(ステップS506)。積算値が適正範囲でない場合(ステップS506,No)には、画像の明るさが適正範囲内となるように、特殊光光源11の発光量を調整し(ステップS507)、ステップS508に移行する。なお、積算値が適正範囲内である場合(ステップS506,Yes),そのままステップS508へ移行する。その後、ステップS508では、発光量調整処理が終了か否かを判断し、終了でない場合(ステップS508,No)に限り、上述した処理を繰り返し、終了である場合(ステップS508,Yes)には、本処理を終了する。
この実施の形態6では、通常光画像および特殊光画像の各画像に対して個別に発光量調整を行うようにしているので、各画像はそれぞれ適正な明るさをもった画像として取得することができる。
なお、この実施の形態6では、通常光光源10および特殊光光源11に対する発光量調整を行うようにしていたが、これに限らず、通常光画像および特殊光画像毎に、露光時間調整を行うようにしてもよい。
また、上述した実施の形態6では、ステップS502,S505でそれぞれ異なる積算を行っていたが、これに限らず、各ステップS502,S505がともに全画素を積算するようにしてもよい。すなわち、ステップS502,S505の積算処理を共通化してもよい。この場合、ステップS503,S506の各適正範囲をそれぞれ異なるように設定することが好ましい。
(実施の形態7)
つぎに、この発明の実施の形態7による画像処理システムとして、撮像装置にカプセル型内視鏡を用いたカプセル型内視鏡システムを例に挙げて説明する。なお、この実施の形態によるカプセル型内視鏡システムは、上記実施の形態2〜6のいずれかによるカプセル型内視鏡システムと同様、上述した実施の形態1による画像処理システムをより具体化したものであり、その概念は当該画像処理システムの概念に含まれるものである。
この実施の形態7では、通常光画像と特殊光画像との各画像に対して、各画像出力の特性に対応した各算出式をもとにそれぞれの輝度を明るさ情報として算出し、通常光光源10および特殊光光源11の発光量を調整することを特徴とする。
この実施の形態7の発光量調整部171は、実施の形態6に示した発光量調整部171と同様に発光量調整を行うが、図17に示した発光量調整処理手順に従って処理を行う。すなわち、発光量調整部171は、観察モード制御部172の制御内容をもとに、現在撮像した画像が、通常光画像であるか否かを判断する(ステップS601)。通常光画像である場合(ステップS601,Yes)には、発光量調整部171は、前回取得した通常光画像の所定範囲内の全画素(R,G,B)の平均輝度YWを次式(1)に従って算出する(ステップS602)。
YW=0.30×R+0.59×G+0.11×B …(1)
その後、この平均輝度YWが適正範囲、すなわち適正な明るさをもつ画像であるか否かを判断する(ステップS603)。平均輝度YWが適正範囲でない場合(ステップS603,No)には、画像の明るさが適正範囲内となるように、通常光光源10の発光量を調整し(ステップS604)、ステップS608に移行する。一方、平均輝度YWが適正範囲である場合(ステップS603,Yes)には、現在設定されている通常光光源10の発光量を維持させるため、そのままステップS608に移行する。
一方、通常光画像でない場合(ステップS601,No)には、前回取得した特殊光画像の所定範囲内の緑(G)画素と青(B)画素との値をもとに平均輝度を次式(2)に従って算出する(ステップS605)。
YN=0.30×G+0.70×B …(2)
なお、この式(2)は、赤(R)画素を緑(G)画素として出力し、青(B)画素を青(B)画素として出力する場合に適用される算出式である。
その後、この平均輝度YNが適正範囲であるか否かを判断する(ステップS606)。平均輝度YNが適正範囲でない場合(ステップS606,No)には、画像の明るさが適正範囲内となるように、特殊光光源11の発光量を調整し(ステップS607)、ステップS608に移行する。画像の明るさが適正範囲内である場合(ステップS606,Yes)、そのままステップS608へ移行する。その後、ステップS608では、発光量調整処理が終了か否かを判断し、終了でない場合(ステップS608,No)に限り、上述した処理を繰り返し、終了である場合(ステップS608,Yes)には、本処理を終了する。なお、ステップS603,S606の適正範囲は、同じであってもよいし、異なっていてもよい。
この実施の形態7では、通常光画像および特殊光画像の各画像に対してそれぞれ異なる平均輝度算出式によって個別に平均輝度を算出し、この平均輝度をもとに発光量調整を行うようにしているので、各画像はそれぞれ適正な明るさをもった画像として取得することができる。
(実施の形態8)
つぎに、この発明の実施の形態8による画像処理システムとして、撮像装置にカプセル型内視鏡を用いたカプセル型内視鏡システムを例に挙げて説明する。なお、この実施の形態によるカプセル型内視鏡システムは、上記実施の形態2〜7のいずれかによるカプセル型内視鏡システムと同様、上述した実施の形態1による画像処理システムをより具体化したものであり、その概念は当該画像処理システムの概念に含まれるものである。
この実施の形態8では、受信した通常光画像および特殊光画像それぞれ対応した画素データの増幅処理を施すことによって、各画像データの明るさ調整を行うことを特徴とする。
図18は、この発明の実施の形態8である受信装置3の画像処理に関する構成を示すブロック図である。図18に示すように、この受信装置3は、カプセル型内視鏡2から無線送信された無線信号からベースバンド信号に変換されたデータDに対して前処理を行ってRGBの各色データを出力する前処理回路203と、前処理部203が処理した画像が通常光画像であるか特殊光画像であるかを判定する画像判定部204と、画像判定部204による判定結果をもとに画像の所定範囲の平均輝度を算出する平均輝度算出部205と、平均輝度算出部205の算出結果をもとに各画像データを増幅あるいは減衰する増幅部206と、増幅部206によって処理された画像に、所定の信号処理を施して外部に出力する信号処理部207とを有する。また、受信装置3は、前処理部203、画像判定部204、平均輝度算出部205、増幅部206、および信号処理部207を制御する制御部200を有する。さらに、制御部200は、明るさ調整部201を有し、明るさ調整部201は、画像判定部204および平均輝度算出部205の処理結果をもとに増幅部206による増幅処理を制御して画像の明るさ調整を行う。
ここで、図19に示すフローチャートを参照して、明るさ調整処理手順について説明する。まず、明るさ調整部201は、画像判定部204の判定結果をもとに、入力された画像が通常光画像であるか否かを判断する(ステップS701)。通常光画像でない場合(ステップS701,No)には、明るさ調整部201は、平均輝度算出部205に、この特殊光画像の所定範囲内の全画素の平均輝度を算出させる(ステップS702)。
その後、この算出された平均輝度が適正範囲であるか否かを判断する(ステップS703)。平均輝度が適正範囲内でない場合(ステップS703,No)には、この特殊光画像の明るさが適正範囲となるように、増幅部206による画素データの増幅率を変更し、適正な明るさをもった画素データからなる特殊光画像を信号処理部207に出力し(ステップS704)、ステップS705に移行する。
一方、平均輝度が適正範囲であった場合(ステップS703,Yes)には、各画素データの増幅を行わず、そのまま信号処理部207に出力し、ステップS705に移行する。また、ステップS701において、通常光画像である場合(ステップS701,Yes)には、そのままステップS705に移行する。その後、ステップS705では、明るさ調整処理が終了か否かを判断し、終了でない場合(ステップS705,No)に限り、上述した処理を繰り返し、終了である場合(ステップS705,Yes)には、本処理を終了する。
この実施の形態8では、取得された画像の種類、すなわち通常光画像と特殊光画像にそれぞれ対応した画素データの増幅処理を行うようにしているので、適正な明るさをもった画像を取得することができる。
なお、明るさ調整部201は、平均輝度の算出結果をもとに、信号処理部207によってさらに増幅するようにしてもよい。また、増幅部204は、増幅に限らず、減衰処理を行うようにしてもよい。
さらに、上述した実施の形態8では、受信装置3内での処理として説明したが、これに限らず、画像表示装置4側で、受信装置3内と同様な増幅処理を行うようにしてもよい。もちろん、カプセル型内視鏡2側で増幅処理を行ってもよい。
また、上述した実施の形態2〜8では、いずれもカプセル型内視鏡2を例にとって説明した。カプセル型内視鏡2は、被検体内に導入された後は、カプセル型内視鏡2自体で独立して観察モードの動作制御をしなくてはならず、この発明の適用に好適である。
(実施の形態9)
つぎに、この発明の実施の形態9による画像処理システムとして、撮像装置にカプセル型内視鏡を用いたカプセル型内視鏡システムを例に挙げて説明する。なお、この実施の形態によるカプセル型内視鏡システムは、上記実施の形態2〜8のいずれかによるカプセル型内視鏡システムと同様、上述した実施の形態1による画像処理システムをより具体化したものであり、その概念は当該画像処理システムの概念に含まれるものである。
この実施の形態によるカプセル型内視鏡2は、前回の撮像により得られた画像データの明るさを基準に、次の撮像における通常光光源10または特殊光光源11の発光時間を決定する。また、この撮像により得られた画像データは、送信回路55より送信用アンテナ56を介して無線信号にて被検体1外の受信装置3へ送信される。受信装置3は、カプセル型内視鏡2から受信した画像データをたとえば携帯型の記録媒体5に記録する。この際、受信装置3は、明るさが著しく小さい画像および著しく大きい画像を保存しないように動作する。これにより、全体が暗くぼやけているような露出アンダーの画像や全体が白くなってしまったような露出オーバの画像など、被検体1内部の読影に有効でない画像(後述する許容範囲に含まれない画像)を破棄することが可能となる。
つづいて、この実施の形態9によるカプセル内視鏡システムを、図面と共に詳細に説明する。この実施の形態9によるカプセル型内視鏡システムは、上述の実施の形態のいずれかと同様である。ただし、図20に示すように、この実施の形態では、カプセル型内視鏡2のシステム制御部54における露光時間測定部71(図7参照)が、明るさ情報検出部71Aに置き換えられる。明るさ情報検出部71Aは、たとえば撮像素子14から読み出された画像信号における所定領域中の画素の信号強度を積分した値(露光量ともいう)を明るさ情報として検出する。なお、図20は、この実施の形態9によるカプセル型内視鏡の構成を示すブロック図である。
つぎに、この実施の形態によるカプセル型内視鏡システムの動作について、図面を用いて詳細に説明する。図21は、この実施の形態9によるカプセル型内視鏡の概略動作を示すフローチャートである。図22は、この実施の形態9による受信装置3の概略動作を示すフローチャートである。なお、図21に示す動作は、カプセル型内視鏡2内のバッテリが残量切れになるまで繰り返される。
図21に示すように、カプセル型内視鏡2は、起動後、まず、通常光観察モードを選択し(ステップS901)、通常光光源10を発光する(ステップS902)。続いて、カプセル型内視鏡2は、撮像部52を駆動して画像データを取得し(ステップS903)、取得した画像データを無線信号にて受信装置3へ送信する(ステップS904)。
つぎに、カプセル型内視鏡2は、撮像モードを通常光観察モードと特殊光観察モードとのいずれかに切り替える(ステップS905)。例えば、現在の撮像モードが通常光観察モードである場合、観察モードが特殊光観察モードに切り替えられ、特殊光観察モードである場合、通常光観察モードに切り替えられる。つづいて、カプセル型内視鏡2は、切り替え後の観察モード、すなわち次回撮影時の観察モードが特殊光観察モードであるか否かを判定する(ステップS906)。
ステップS906の判定の結果、現在の観察モードが通常光観察モードである場合(ステップS906のNo)、カプセル型内視鏡2は、前回に取得した通常光画像におけるR成分とG成分とB成分との全ての成分から画像の明るさ情報を検出する(ステップS907)。つづいて、カプセル型内視鏡2は、検出した明るさ情報から通常光光源10の発光時間を算出し(ステップS908)、算出した発光時間にて通常光光源10を発光した(ステップS909)後、ステップS903へ帰還する。なお、ステップS908において算出された発光時間が予め上限として定めておいた発光時間の最大値よりも大きい場合、カプセル内視鏡2は、たとえばこの最大値の発光時間で通常光抗原10を発光する。
一方、ステップS906の判定の結果、現在の観察モードが特殊光観察モードである場合(ステップS906のYes)、カプセル型内視鏡2は、直前に取得した通常光画像または特殊光画像におけるG成分とB成分、すなわち特殊光画像を形成する色成分から画像の明るさ情報を検出し(ステップS910)、検出した明るさ情報から特殊光光源11の発光時間を算出し(ステップS911)、算出した発光時間にて特殊光光源11を発光した(ステップS912)後、ステップS903へ帰還する。なお、ステップS912において算出された発光時間が予め上限として定めておいた発光時間の最大値よりも大きい場合、カプセル内視鏡2は、たとえばこの最大値の発光時間で通常光抗原10を発光する。
また、図22に示すように、受信装置3は、カプセル型内視鏡2から画像データを受信するのを待機する(ステップS921,S921のNo)。カプセル型内視鏡2から画像データを受信すると(ステップS921のYes)、受信装置3は、受信した画像が特殊光画像であるか否かを判定する(ステップS922)。受信した画像が特殊光画像でない場合、すなわち通常光画像である場合(ステップS922のNo)、受信装置3は、通常光画像に対する明るさの許容範囲を取得する(ステップS923)。一方、受信した画像が特殊光画像である場合(ステップS922のYes)、受信装置3は、特殊光画像に対する明るさの許容範囲を取得する(ステップS924)。なお、通常光画像に対する明るさの許容範囲と、特殊光画像に対する明るさの許容範囲とは、たとえばそれぞれの範囲の上限値と下限値とを予め設定しておくことで実現することができる。また、それぞれの上限値と下限値とは、例えば受信装置3における不図示のメモリ等に予め記憶される。
つぎに、受信装置3は、対象の画像の所定の領域に含まれる画素の画素値より当該画像の明るさ情報を導出し(ステップS925)、この明るさ情報より特定される画像の明るさがステップS923またはS924で特定した許容範囲内に含まれるか否かを判定する(ステップS926)。ステップS926の判定の結果、対象画像の明るさが許容範囲内に含まれる場合(ステップS926のYes)、受信装置3は、対象画像に対する同時化処理や圧縮処理などの画像処理を実行し(ステップS927)、画像処理後の画像データを記録媒体5に保存する(ステップS928)。一方、対象画像の明るさが許容範囲内にない場合(ステップS926のNo)、受信装置3は、対象の画像データを破棄する(ステップS929)。
その後、受信装置3は、たとえばユーザから当該動作の終了指示が入力されたか否かを判定し(ステップS930)、終了指示が入力されていた場合(ステップS930のYes)、図22に示す動作を終了する。一方、終了指示が入力されていない場合(ステップS930のNo)、受信装置3は、ステップS921へ帰還して、以降の動作を実行する。
以上のように、この実施の形態では、受信装置3において適正な明るさを持っていない画像データを保存しないという適切な制御を画像の明るさに基づいて安定して行うことが可能である。この結果、読影に有効でない画像データに対する各種処理や読影に有効でない画像データを記憶しておく領域を省くことが可能となり、処理の軽量化や記憶領域の有効活用が可能となる。
(実施の形態10)
つぎに、この発明の実施の形態10による画像処理システムとして、撮像装置にカプセル型内視鏡を用いたカプセル型内視鏡システムを例に挙げて説明する。なお、この実施の形態によるカプセル型内視鏡システムは、上記実施の形態2〜9のいずれかによるカプセル型内視鏡システムと同様、上述した実施の形態1による画像処理システムをより具体化したものであり、その概念は当該画像処理システムの概念に含まれるものである。
この実施の形態によるカプセル型内視鏡2は、前回の撮像により得られた画像データの明るさを基準に、次の撮像における通常光光源10または特殊光光源11の発光時間を決定する。また、この撮像により得られた画像データは、送信回路55より送信用アンテナ56を介して無線信号にて被検体1外の受信装置3へ送信され、所定のストレージ(例えば記録媒体5)に保存される。保存された画像データは、たとえば受信装置3を不図示のクレードルに接続した際にクレードルと画像表示装置4とを接続する通信インタフェース(たとえばUSBやLAN等)を介して画像表示装置4にロードされる。画像表示装置4は、入力した画像データに対して、画像の動き(しいては画像の変化から予測されるカプセル型内視鏡2の移動)を検出する動き検出機能や、画像中に赤い部分があるか否かや画像中の赤い部分の領域等を検出する赤色検出機能などの画像処理機能を実行する。
動き検出機能は、前後する画像間で動きベクトルのスカラー量(ただし、絶対値)を算出し、このスカラー量が予め設定しておいたしきい値よりも大きい場合、表示対象、すなわち読影対象の画像として対象の画像を選別する。なお、表示対象外とされた画像は、たとえば前後する画像に対する時系列情報を保ったまま所定の記憶領域にストックされる。
ここで、大きなスカラー量が算出される場合には、たとえばカプセル型内視鏡2の撮像窓が体内組織に近接している状態から空の方向を向いた場合(以下、第1ケースという)や、観察窓が空方向を向いていた状態から体内組織に接触した場合(以下、第2ケースという)などがある。撮像窓が体内組織に近接している状態では、少ない照明光量で被写体(体内組織)を明るく撮像することができる。このため、第1のケースでは、観察窓が空を向いた直後に撮像される1または数枚の画像が露出アンダーの暗い画像となってしまう。この暗い画像は、読影には適さない画像であるが、直前に撮像された観察窓が体内組織に近接している際の画像に対して大きな動きベクトルを持つため、そのスカラー量が大きな値となる。この結果、この暗い画像が表示対象画像として選別されてしまう。一方で、撮像窓が空を向いた状態では、撮像部と被写体との距離が長いため、多くの照明光量で照明しなければ明るい画像を得ることができない。このため、第2のケースでは、観察窓が体内組織に近接した直後に撮像される1または数枚の画像が露出オーバの明るすぎる画像となってしまう。この明るすぎる画像は、読影には適さない画像であるが、直前に撮像された観察窓が空を向いている際の画像に対して大きな動きベクトルを持つため、そのスカラー量が大きな値となる。この結果、この明るすぎる画像が表示対象画像として選別されてしまう。
そこでこの実施の形態では、前後する画像間における動きベクトルのスカラー量に加え、各画像の明るさ情報に基づいて、対象の画像を表示対象として選別するか否かを判定する。これにより、読影には適さない、暗い画像や明るすぎる画像が表示対象として選別されることを防止できる。
また、赤色検出機能は、明るさが不足する画像や過多となった画像に対してそのアルゴリズムが誤作動する可能性がある。これは、暗い画像ではR成分(赤色成分)が他の成分(G,B成分)に対して支配的になるなど、明暗の程度によって画像のホワイトバランスが変化してしまうためである。すなわち、各色成分の相対値に基づいたアルゴリズムによって赤色の強い画像(赤色領域を多く含む画像やR成分の強い画像など)を検出する赤色検出機能は、画像のホワイトバランスが崩れると、このホワイトバランスが崩れた画像に対して実空間の色とは異なる評価をしてしまう可能がある。この結果、実空間では赤色が強い場合であってもそれを撮像した画像が赤色の強い画像として評価されたり、あるいは、実空間では赤色が強くない場合であってもそれを撮像した画像が赤色の強い画像として評価されたりする場合がある。
そこでこの実施の形態では、ある程度均一な明るさを持った画像に対してのみ赤色検出を行うように構成する。これにより、ホワイトバランスが大きく崩れた画像に対して赤色検出が実行されることを回避できるため、赤色検出機能の動作を安定させることが可能となる。
以下、この実施の形態によるカプセル内視鏡システムの動作について、図面を用いて詳細に説明する。図23は、この実施の形態10による画像表示装置4の概略動作を示すフローチャートである。図24は、この実施の形態10において画像表示装置が実行する画像処理機能の一例(動き検出機能)の概略動作を示すフローチャートである。図25は、この実施の形態10において画像表示装置が実行する画像処理機能の他の一例(赤色検出機能)の概略動作を示すフローチャートである。
まず、図23に示すように、画像表示装置4は、クレードルを介した受信装置3からの画像データの入力を待機し(ステップS1001,S1001のNo)、画像データが入力されると(ステップS1001のYes)、この画像データに対する画像処理機能を実行する(ステップS1002)。なお、ステップS1001において入力される画像データは、1つの画像データに限らず、例えば時系列に沿って配列した一群の画像データであってもよい。また、ステップS1002において実行される画像処理機能には、たとえば動き検出機能や赤色検出機能などがある。
つぎに、画像表示装置4は、画像処理機能を用いて画像処理した画像を表示する画像表示処理を実行する(ステップS1003)ことで、ユーザに被検体内画像を読影させる。その後、画像表示装置4は、例えばユーザから本動作の終了指示が入力されたか否かを判定し(ステップS1004)、入力されていた場合(ステップS1004のYes)、本動作を終了する。一方、終了指示が入力されていなかった場合(ステップS1004のNo)、画像表示装置4は、ステップS1001へ帰還し、以降の動作を実行する。ただし、ステップS1001に限らず、ステップS1002やS1003へ帰還してもよい。
つぎに、図23のステップS1002において実行される画像処理機能の一例として、動き検出機能を説明する。図24に示すように、動き検出機能が実行されると、画像表示装置4は、入力された画像データのうち1つを選択し(ステップS1011)、この画像の明るさ情報を検出する(ステップS1012)。なお、画像データの選択は、例えば画像データが時系列に沿って配列している場合、この時系列順とする。
つぎに、画像表示装置4は、検出した画像の明るさ情報に基づいて、対象の画像の明るさが予め設定された許容範囲内であるか否かを判定し(ステップS1013)、許容範囲内に無い場合(ステップS1013のNo)、対象の画像データを表示対象外の画像データとし(ステップS1017)、その後、ステップS1018へ移行する。
一方、対象の画像の明るさが許容範囲内である場合(ステップS1013のYes)、画像表示装置4は、対象の画像データと時系列における直前の画像データとの間の動きベクトルを算出する(ステップS1014)。つづいて、画像表示装置4は、算出した動きベクトルのスカラー量(絶対値)が予め設定しておいたしきい値以上であるか否かを判定し(ステップS1015)、しきい値以上で無い場合(ステップS1015のNo)、対象の画像データを表示対象外の画像データとし(ステップS1017)、その後、ステップS1018へ移行する。
一方、算出した動きベクトルのスカラー量(絶対値)がしきい値以上である場合(ステップS1015のYes)、画像表示装置4は、対象の画像を表示対象画像として選別する(ステップS1016)。なお、表示対象画像の選別は、例えば画像データに表示対象であることを示すフラグを添付したり、表示対象とする画像を別のフォルダ等の記録領域に記録したりなどで実現することができる。
その後、画像表示装置4は、入力された全ての画像データに対して以上の処理を実行済みであるか否かを判定し(ステップS1018)、実行済みである場合(ステップS1018のYes)、図23に示す動作へリターンする。一方、未だ処理していない画像データがある場合(ステップS1018のNo)、画像表示装置4は、ステップS1011へ帰還し、以降の動作を実行する。
つぎに、図23のステップS1002において実行される画像処理機能の一例として、赤色検出機能を説明する。図25に示すように、赤色検出機能が実行されると、画像表示装置4は、入力された画像データのうち1つを選択し(ステップS1021)、この画像の明るさ情報を検出する(ステップS1022)。なお、画像データの選択は、例えば画像データが時系列に沿って配列している場合、この時系列順とする。
つぎに、画像表示装置4は、検出した画像の明るさ情報に基づいて、対象の画像の明るさが予め設定された許容範囲内であるか否かを判定し(ステップS1023)、許容範囲内に無い場合(ステップS1023のNo)、対象の画像データを赤色検出の対象外とし(ステップS1027)、その後、ステップS1028へ移行する。
一方、対象の画像の明るさが許容範囲内である場合(ステップS1023のYes)、画像表示装置4は、予め不図示のメモリ等において管理しておいた明るさ情報に応じた色評価関数のしきい値を特定し(ステップS1024)、このしきい値を用いて対象画像に対する赤色検出を実行する(ステップS1025)。また、画像表示装置4は、検出した結果を画像データの時系列と同じ時系列に沿って保存する(ステップS1026)。
その後、画像表示装置4は、入力された全ての画像データに対して以上の処理を実行済みであるか否かを判定し(ステップS1028)、未だ処理していない画像データがある場合(ステップS1028のNo)、ステップS1021へ帰還し、以降の動作を実行する。一方、全ての画像データに対する処理が実行済みである場合(ステップS1028のYes)、画像表示装置4は、ステップS1026において時系列に沿って保存しておいた赤色検出結果から赤色バーのイメージを生成し(ステップS1029)、その後、図23に示す動作をリターンする。なお、赤色バーとは、時系列に沿った画像の赤色検出結果を一目で認識できるようにイメージ化したバー状の画像である。
以上のように、この実施の形態では、画像処理機能が画像の明るさに基づいて動作することで画像の明るさに応じた適切な制御が可能となるため、画像データに対する画像処理を安定して行うことが可能となる。
なお、この実施の形態10では、明るさ情報の値が予め設定した上限値と下限値との範囲(許容範囲)内にあるか否かに基づいて、画像表示装置4が動作を制御するように構成されたが、本発明はこれに限定されず、種々変形することが可能である。たとえば、前後する画像間における画像の明るさ情報の値の変化量を算出し、この変化量に応じて画像表示装置4が動作するように構成することも可能である。この場合、例えば前の画像に対する変化量が予め設定したしきい値よりも大きい画像は、表示対象画像として選別されたり、赤色検出対象画像として選別されたりする。
また、この実施の形態10では、明るさ情報の値が許容範囲内に含まれる画像を赤色検出の対象として赤色検出を行うように構成したが、本発明はこれに限定されず、種々変形することが可能である。たとえば、赤色検出機能が、赤色検出に使用する色評価係数のしきい値を明るさ情報の値に応じて変化させるように構成してもよい。これにより、赤色検出機能の動作精度をより向上させることが可能となる。なお、色評価関数のしきい値と明るさ情報との対応関係は、予め導出しておいたものをメモリにおいてテーブル管理しておくとよい。
(実施の形態11)
つぎに、この発明の実施の形態11による画像処理システムとして、撮像装置にカプセル型内視鏡を用いたカプセル型内視鏡システムを例に挙げて説明する。なお、この実施の形態によるカプセル型内視鏡システムは、上記実施の形態2〜10のいずれかによるカプセル型内視鏡システムと同様、上述した実施の形態1による画像処理システムをより具体化したものであり、その概念は当該画像処理システムの概念に含まれるものである。
この実施の形態によるカプセル内視鏡システムでは、たとえばカプセル内視鏡2が通常光画像を取得する。これにより得られた画像は、受信装置を介して画像表示装置4へ入力される。画像表示装置4は、入力された通常光画像からそのG成分とB成分とを用いて特殊光画像を生成する。また、画像表示装置4は、通常光画像および特殊光画像に対する所定の画像処理を実行し、この結果および画像をユーザに表示する。
ここで、通常光光源10を用いた通常光観察モードで撮像された画像データは、これにR成分が多く含まれていると、その一方でG,B成分が不足している場合がある。この場合、通常光画像の明るさは十分なものの、この通常光画像から生成した特殊光画像の明るさは小さい。そこで本実施の形態では、前回の撮像により得られた画像の明るさに基づいて、次の撮像により得られる画像におけるG,B成分が特殊光画像の生成に十分な大きさとなるように、照明部51Bを制御する。これにより、一度の撮像で得られた画像から通常光画像と特殊光画像とを取得することが可能となる。
以下、この実施の形態によるカプセル内視鏡システムを、図面を用いて詳細に説明する。この実施の形態によるカプセル型内視鏡システムは、上述の実施の形態のいずれかと同様である。ただし、図26に示すように、この実施の形態では、カプセル型内視鏡2の照明部51における特殊光光源11が省略されている。また、システム制御部54Bが、画像の明るさ情報を検出する明るさ情報検出部73と検出した明るさ情報に基づいて画像にフラグ(通常光画像フラグ,特殊光画像フラグ)を添付するフラグ付加部74とを備えたシステム制御部54Bに置き換えられている。なお、図26は、この実施の形態11によるカプセル型内視鏡の構成を示すブロック図である。
つぎに、この実施の形態によるカプセル内視鏡システムの動作について、図面を用いて詳細に説明する。図27は、この実施の形態11によるカプセル型内視鏡の概略動作を示すフローチャートである。図28は、この実施の形態11による受信装置の概略動作を示すフローチャートである。図29は、この実施の形態11による画像表示装置の概略動作を示すフローチャートである。なお、図27に示す動作は、カプセル型内視鏡2内のバッテリが残量切れになるまで繰り返される。
図27に示すように、カプセル内視鏡2は、起動後、まず、通常光光源10を発光し(ステップS1101)、続いて、撮像部52を駆動して画像データを取得する(ステップS1102)。つづいて、カプセル型内視鏡2は、取得した画像データのR,G,B成分から通常光画像の明るさ情報(以下、通常光画像明るさ情報という)を検出し(ステップS1103)、つづいて、同画像データのG,B成分からこれらよりなる特殊光画像の明るさ情報(以下、特殊光画像明るさ情報という)を検出する(ステップS1104)。
つぎに、カプセル型内視鏡2は、ステップS1103で検出した通常光画像明るさ情報の値が予め設定しておいた許容範囲内であるか否かを判定し(ステップS1105)、許容範囲内である場合(ステップS1105のYes)、画像データに当該画像データが読影に有効な通常光画像であることを示す通常光画像フラグを添付する(ステップS1106)。一方、通常光画像明るさ情報の値が許容範囲内で無い場合(ステップS1105のNo)、カプセル型内視鏡2は、そのままステップS1107へ移行する。
つぎに、カプセル型内視鏡2は、ステップS1104で検出した特殊光画像明るさ情報の値が予め設定しておいた許容範囲内であるか否かを判定し(ステップS1107)、許容範囲内である場合(ステップS1107のYes)、画像データに当該画像データが特殊光画像を生成可能な画像データであることを示す特殊光画像フラグを添付する(ステップS1108)。一方、特殊光画像明るさ情報の値が許容範囲内で無い場合(ステップS1107のNo)、カプセル型内視鏡2は、そのままステップS1109へ移行する。なお、上述の通常光画像フラグおよび特殊光画像生成フラグに代えて、算出した通常光画像明るさ情報および/または特殊光画像明るさ情報を画像データに添付するように構成してもよい。
つぎに、カプセル型内視鏡2は、画像データを受信装置3へ送信する(ステップS1109)。つづいて、カプセル型内視鏡2は、特殊光画像明るさ情報から次の撮像における通常光光源10の発光時間を算出し(ステップS1110)、この算出した発光時間で通常光光源10を発光する(ステップS1111)。その後、カプセル型内視鏡2は、ステップS1102へ帰還して、以降、同様の動作を実行する。なお、ステップS1110において算出された発光時間が予め上限として定めておいた発光時間の最大値よりも大きい場合、カプセル型内視鏡2は、たとえばこの最大値の発光時間で通常光抗原10を発光する。
また、図28に示すように、受信装置3は、カプセル型内視鏡2から画像データを受信するのを待機する(ステップS1121,S1121のNo)。カプセル型内視鏡2から画像データを受信すると(ステップS1121のYes)、受信装置3は、受信した画像データに通常光画像フラグと特殊光画像フラグとのうち少なくとも一方が添付されているか否かを判定し(ステップS1122)、添付されていない場合(ステップS1122のNo)、この画像データを保存せずに破棄する(ステップS1125)。
一方、画像データに特殊光画像生成フラグが添付されている場合(ステップS1122のYes)、受信装置3は、この画像データに対して同時化処理や圧縮処理などの所定の画像処理を実行し(ステップS1123)、画像処理後の画像データを記録媒体5に保存する(ステップS1124)。
その後、受信装置3は、たとえばユーザから当該動作の終了指示が入力されたか否かを判定し(ステップS1126)、終了指示が入力されていた場合(ステップS1126のYes)、図28に示す動作を終了する。一方、終了指示が入力されていない場合(ステップS1126のNo)、受信装置3は、ステップS1121へ帰還して、以降の動作を実行する。
また、図29に示すように、画像表示装置4は、クレードルを介した受信装置3からの画像データの入力を待機し(ステップS1131,S1131のNo)、画像データが入力されると(ステップS1131のYes)、入力された画像データのうち1つを選択し(ステップS1132)、この画像データに特殊光画像フラグが添付されているか否かを判定する(ステップS1133)。ステップS1133の判定の結果、画像データに特殊光画像フラグが添付されていない場合(ステップS1133のNo)、画像表示装置4は、そのままステップS1135へ移行する。一方、画像データに特殊光画像フラグが添付されている場合(ステップS1133のYes)、画像表示装置4は、この画像データにおけるG,B成分から特殊光画像を生成し(ステップS1134)、ステップS1135へ移行する。
ステップS1135では、画像表示装置4は、画像データを保存する。したがって、通常光画像の他にステップS1134において特殊光画像が生成されていた場合、画像表示装置4は、ステップS1135において通常光画像と特殊光画像とを保存する。
つぎに、画像表示装置4は、入力された全ての画像データに対して以上の処理を実行済みであるか否かを判定し(ステップS1136)、未だ処理していない画像データがある場合(ステップS1136のNo)、画像表示装置4は、ステップS1132へ帰還し、以降の動作を実行する。一方、全ての画像データに対する処理が実行済みである場合(ステップS1136のYes)、画像表示装置4は、例えばユーザから本動作の終了指示が入力されたか否かを判定し(ステップS1137)、入力されていた場合(ステップS1137のYes)、本動作を終了する。一方、終了指示が入力されていなかった場合(ステップS1137のNo)、画像表示装置4は、ステップS1131へ帰還し、以降の動作を実行する。
以上のように、この実施の形態では、カプセル型内視鏡2のみならず、受信装置3および画像表示装置4が、カプセル型内視鏡2によって画像データに付加された明るさに基づく情報(フラグや明るさ情報等)に基づいて動作することが可能であるため、画像データ自体の生成や生成された画像データに対する処理を安定して行うことが可能となる。
なお、上記した実施の形態2〜8では、画像の明るさに応じて撮像部52の露光時間を制御することで撮像部52が取得する画像の明るさを調整し、上述した実施の形態9〜11では、画像の明るさに応じて照明部51の照明時間を制御することで撮像部52が取得する画像の明るさを調整していた。ただし、本発明はこれに限定されず、実施の形態2〜8において画像の明るさに応じて照明部51の照明時間を制御することで撮像部52が取得する画像の明るさを調整し、実施の形態9〜11において画像の明るさに応じて撮像部52の露光時間を制御することで撮像部52が取得する画像の明るさを調整するなど、上述の実施の形態間でその構成を部分的に種々組み換えることは当業者にとって容易であるため、ここでは詳細な説明を省略する。
100 画像処理システム
101 画像生成手段
102 表示手段
103 照明手段
104 撮像手段
105 画像処理手段
106 明るさ検出手段
107 制御手段
1 被検体
2 カプセル型内視鏡
3 受信装置
3a〜3h 受信アンテナ
4 画像表示装置
10,110 通常光光源
11 特殊光光源
12 透明カバー
13 光学レンズ
14 撮像素子
20 ドーム型透明カバー
21 カプセル型筐体
23 基板
40 粘膜表層
41 粘膜深部
42 内部組織
43 毛細血管
44 血管
51 照明部
52 撮像部
53 状態検出部
54,54B システム制御部
55 送信回路
56 送信用アンテナ
57 電源回路
61 光源制御回路
62 撮像素子制御回路
63 センサ部
64 センサ部制御回路
71 露光時間測定部
72,172 観察モード制御部
73 明るさ情報検出部
74 フラグ付加部
111 広指向性特殊光光源
112 狭指向性特殊光光源
171 発光量調整部
201 明るさ調整部
203 前処理部
204 画像判定部
205 平均輝度算出部
206 増幅部
207 信号処理部

Claims (19)

  1. 第1の光源で照明しつつ画像を撮像する第1の観察モードと、前記第1の光源とは異なる第2の光源で照明しつつ画像を撮像する第2の観察モードとの二つの観察モードを有し、前記第1の観察モードによる撮像動作および前記第2の観察モードによる撮像動作とを同一観察モードの複数回の繰り返しを含めて交互に行い、いずれか一方の観察モードで撮像された画像に基づいて表示を行うための画像を生成する画像生成手段と、
    一方の観察モードで撮像した画像の明るさを検出する明るさ検出手段と、
    前記明るさ検出手段で検出された画像の明るさに基づいて前記一方の観察モードでの観察に続いて行われる他方の観察モードでの動作または処理を制御する制御手段と、
    を備え、
    前記制御手段は、
    前記第1の観察モード時における露光時間を測定する露光時間測定部と、
    前記露光時間測定部の測定結果をもとに前記第2の観察モードの撮像動作を制御する観察モード制御部と、
    を有することを特徴とする画像処理システム。
  2. 白色照明光を発光する第1の光源で照明しつつ画像を撮像する通常光観察である第1の観察モードと、前記第1の光源とは異なる特定の波長帯の照明光を発光する第2の光源で照明しつつ画像を撮像する特殊光観察である第2の観察モードとの二つの観察モードを有し、前記第1の観察モードによる撮像動作および前記第2の観察モードによる撮像動作とを同一観察モードの複数回の繰り返しを含めて交互に行い、いずれか一方の観察モードで撮像された画像に基づいて表示を行うための画像を生成する画像生成手段と、
    一方の観察モードで撮像した画像の明るさを検出する明るさ検出手段と、
    前記明るさ検出手段で検出された画像の明るさに基づいて前記一方の観察モードでの観察に続いて行われる他方の観察モードでの動作または処理を制御する制御手段と、
    を備え、
    前記制御手段は、
    前記第1の観察モード時における露光時間を測定する露光時間測定部と、
    前記露光時間測定部の測定結果をもとに前記第2の観察モードの撮像動作を制御する観察モード制御部と、
    を有することを特徴とする画像処理システム。
  3. 被写体を繰り返し撮像する撮像手段と、第1の光源、および前記第1の光源とは異なる第2の光源を有し、前記撮像手段による撮像に併せて前記被写体を照明する照明手段と、前記撮像手段により取得された画像に所定の処理を実行する画像処理手段と、を備え、前記第1の光源で照明しつつ画像を撮像する第1の観察モードと、前記第2の光源で照明しつつ画像を撮像する第2の観察モードとの二つの観察モードを有し、いずれか一方の観察モードで撮像された画像に基づいて表示を行うための画像を生成する画像生成手段と、
    一方の観察モードで撮像した画像の明るさを検出する明るさ検出手段と、
    前記明るさ検出手段で検出された画像の明るさに基づいて、前記照明手段、前記撮像手段および前記画像処理手段の少なくとも1つを制御する制御手段と、
    を備えたことを特徴とする画像処理システム。
  4. 被写体を繰り返し撮像する撮像手段と、白色照明光を発光する第1の光源、および前記第1の光源とは異なる特定の波長帯の照明光を発光する第2の光源を有し、前記撮像手段による撮像に併せて前記被写体を照明する照明手段と、前記撮像手段により取得された画像に所定の処理を実行する画像処理手段と、を備え、前記第1の光源で照明しつつ画像を撮像する通常光観察である第1の観察モードと、前記第2の光源で照明しつつ画像を撮像する特殊光観察である第2の観察モードとの二つの観察モードを有し、いずれか一方の観察モードで撮像された画像に基づいて表示を行うための画像を生成する画像生成手段と、
    一方の観察モードで撮像した画像の明るさを検出する明るさ検出手段と、
    前記明るさ検出手段で検出された画像の明るさに基づいて、前記照明手段、前記撮像手段および前記画像処理手段の少なくとも1つを制御する制御手段と、
    を備えたことを特徴とする画像処理システム。
  5. 前記画像生成手段は、前記一方の観察モードと前記他方の観察モードとにおいてそれぞれ撮像された画像に対し、交互に又は連続して、表示を行うための画像を生成することを特徴とする請求項1〜4のいずれか一つに記載の画像処理システム。
  6. 前記制御手段は、前回の撮像により得られた画像の明るさに基づいて次の撮像における前記撮像手段の露光時間を制御することを特徴とする請求項3または4に記載の画像処理システム。
  7. 前記制御手段は、前回の撮像により得られた画像の明るさに基づいて次の撮像における前記照明手段の発光時間を制御することを特徴とする請求項3または4に記載の画像処理システム。
  8. 前記所定の処理は、前記画像の同時化処理、圧縮処理、保存処理、動き検出処理、赤色検出処理、および、当該画像と種類が異なる画像の生成処理の少なくとも1つを含み、
    前記制御手段は、前記撮像手段が取得した画像の明るさに基づいて前記画像処理手段による当該画像に対する前記所定の処理を制御することを特徴とする請求項3または4に記載の画像処理システム。
  9. 前記画像生成手段は、異なる種類の画像として通常光画像と特殊光画像とを生成することを特徴とする請求項1〜4のいずれか一つに記載の画像処理システム。
  10. 前記画像生成手段は、異なる種類の画像として通常光画像と特殊光画像とを生成し、
    前記照明手段は、前記被写体を通常光で照明する前記第1の光源としての通常光光源と、前記被写体を特殊光で照明する前記第2の光源としての特殊光光源と、を含み、
    前記画像生成手段は、前記被写体を前記通常光光源で照明した際に前記撮像手段が取得した画像を前記通常光画像として生成し、前記被写体を前記特殊光光源で照明した際に前記撮像手段が取得した画像を前記特殊光画像として生成することを特徴とする請求項3または4に記載の画像処理システム。
  11. 前記画像生成手段は、
    前記照明手段と前記撮像手段とを含み、被検体内に導入されて該被検体内の前記被写体を前記撮像手段が撮像して得られた画像を無線信号にて送信する撮像装置と、
    前記撮像装置が無線信号にて送信した前記画像を受信し、該画像を所定の記録領域に記録する受信装置と、
    前記受信装置に記録された画像を該受信装置から取得して表示する画像表示装置と、
    を含み、
    前記画像処理手段は、前記撮像装置と前記受信装置と前記画像表示装置とのいずれか1つ以上に設けられたことを特徴とする請求項3または4に記載の画像処理システム。
  12. 前記露光時間測定部は、前記第1の光源によって照射される光の露光時間を前記第1の観察モード時の露光時間として測定することを特徴とする請求項1または2に記載の画像処理システム。
  13. 前記観察モード制御部は、前記露光時間測定部の測定結果をもとに少なくとも前記第2の光源の動作を制御することによって前記第2の観察モードの撮像動作を制御することを特徴とする請求項1または2に記載の画像処理システム。
  14. 前記観察モード制御部は、前記第1の観察モード時における露光時間が前回まで複数回連続して所定値を超える場合、次の前記第2の観察モードによる撮像動作を停止させ、該第2の観察モードに替えて前記第1の観察モードによる撮像動作を行わせ、複数回連続して所定値を超えない場合、次の前記第2の観察モードによる撮像動作を行わせることを特徴とする請求項1または2に記載の画像処理システム。
  15. 前記画像生成手段は、
    被写体を繰り返し撮像する撮像手段と、
    前記撮像手段による撮像に併せて前記被写体を照明する照明手段と、
    前記撮像手段により取得された画像に所定の処理を実行する画像処理手段と、
    を備え、
    前記第1の光源は、前記撮像手段の光軸方向に対して狭い指向性をもった狭指向性光源と、広い指向性をもった広指向性光源と、を有し、
    前記観察モード制御部は、前記第1の観察モード時における露光時間が前回まで複数回連続して所定値を超える場合、前記広指向性光源のみから光を照射させて次の前記第2の観察モードによる撮像動作を行わせ、複数回連続して所定値を超えない場合、前記広指向性光源および前記狭指向性光源から光を照射させて次の前記第2の観察モードによる撮像動作を行わせることを特徴とする請求項12に記載の画像処理システム。
  16. 少なくとも前記撮像手段および前記照明手段が液中内か否かを検出する状態検出手段を備え、
    前記観察モード制御部は、前記第1の観察モード時における露光時間が前回まで複数回連続して所定値を超える場合であって前記状態検出手段が液中であると検出した場合には、前記広指向性光源のみから光を照射させて次の前記第2の観察モードによる撮像動作を行わせ、前記第1の観察モード時における露光時間が前回まで複数回連続して所定値を超える場合であって前記状態検出手段が液中でないと検出した場合には、次の前記第2の観察モードによる撮像動作を停止させ、該第2の観察モードに替えて前記第1の観察モードによる撮像動作を行わせることを特徴とする請求項15に記載の画像処理システム。
  17. 前記第1の観察モードでは、前記第1の光源として白色光源を用いて被写体を撮像し、
    前記第2の観察モードでは、前記第2の光源として特定の色成分の分光光を照射する狭帯域光源を用いて前記被写体を撮像することを特徴とする請求項1または2に記載の画像処理システム。
  18. 前記狭帯域光源は、青色および緑色を特定の色成分とする分光光を照射することを特徴とする請求項17に記載の画像処理システム。
  19. 前記撮像装置は、前記被検体内に導入されるカプセル型内視鏡であることを特徴とする請求項11に記載の画像処理システム。
JP2010537825A 2008-11-17 2009-11-16 画像処理システム Active JP5277253B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010537825A JP5277253B2 (ja) 2008-11-17 2009-11-16 画像処理システム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2008293834 2008-11-17
JP2008293834 2008-11-17
PCT/JP2009/069435 WO2010055938A1 (ja) 2008-11-17 2009-11-16 画像処理システム、その撮像装置、受信装置および画像表示装置
JP2010537825A JP5277253B2 (ja) 2008-11-17 2009-11-16 画像処理システム

Publications (2)

Publication Number Publication Date
JPWO2010055938A1 JPWO2010055938A1 (ja) 2012-04-12
JP5277253B2 true JP5277253B2 (ja) 2013-08-28

Family

ID=42170067

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010537825A Active JP5277253B2 (ja) 2008-11-17 2009-11-16 画像処理システム

Country Status (5)

Country Link
US (1) US20110218398A1 (ja)
EP (1) EP2356935B1 (ja)
JP (1) JP5277253B2 (ja)
CN (1) CN102215737B (ja)
WO (1) WO2010055938A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9277855B2 (en) * 2010-08-10 2016-03-08 Boston Scientific Scimed, Inc. Endoscopic system for enhanced visualization
JP2012216954A (ja) * 2011-03-31 2012-11-08 Sony Corp 無線通信システム
JP6089436B2 (ja) * 2012-04-18 2017-03-08 ソニー株式会社 画像処理装置と画像処理装置の作動方法および撮像装置
CN104780825B (zh) * 2013-05-29 2016-09-21 奥林巴斯株式会社 内窥镜系统
JPWO2015072432A1 (ja) * 2013-11-14 2017-03-16 オリンパス株式会社 カプセル型内視鏡及びカプセル型内視鏡システム
US20160249793A1 (en) * 2013-12-27 2016-09-01 Kang-Huai Wang Capsule Camera Device with Multi-Spectral Light Sources
JP6400994B2 (ja) * 2014-09-05 2018-10-03 オリンパス株式会社 検査画像表示システム
CN105877690A (zh) * 2015-01-05 2016-08-24 王瑞瑞 带录像功能的耳鼻观察器
JPWO2017168477A1 (ja) * 2016-03-28 2019-02-07 パナソニックIpマネジメント株式会社 撮像装置および画像処理方法
CN111712178B (zh) * 2018-02-14 2023-08-01 富士胶片株式会社 内窥镜系统及其工作方法
WO2021199566A1 (ja) * 2020-03-31 2021-10-07 富士フイルム株式会社 内視鏡システム、制御方法、及び制御プログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005074034A (ja) * 2003-09-01 2005-03-24 Olympus Corp カプセル型内視鏡
JP2007215927A (ja) * 2006-02-20 2007-08-30 Pentax Corp 内視鏡プロセッサ、擬似カラー画像生成プログラム、及び蛍光内視鏡システム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030117491A1 (en) 2001-07-26 2003-06-26 Dov Avni Apparatus and method for controlling illumination in an in-vivo imaging device
JP4139276B2 (ja) * 2003-06-17 2008-08-27 オリンパス株式会社 電子内視鏡装置及び信号処理装置
US7153259B2 (en) * 2003-09-01 2006-12-26 Olympus Corporation Capsule type endoscope
JP2006075331A (ja) * 2004-09-09 2006-03-23 Sanyo Electric Co Ltd 内視鏡用撮像装置
JP4615963B2 (ja) * 2004-10-29 2011-01-19 オリンパス株式会社 カプセル型内視鏡装置
WO2007010997A1 (ja) * 2005-07-20 2007-01-25 Olympus Medical Systems Corp. 体腔内導入装置用留置装置および体腔内導入装置留置システム
JP4839034B2 (ja) * 2005-07-20 2011-12-14 オリンパス株式会社 生体内情報取得装置留置システム
WO2008095183A2 (en) * 2007-02-01 2008-08-07 Proteus Biomedical, Inc. Ingestible event marker systems

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005074034A (ja) * 2003-09-01 2005-03-24 Olympus Corp カプセル型内視鏡
JP2007215927A (ja) * 2006-02-20 2007-08-30 Pentax Corp 内視鏡プロセッサ、擬似カラー画像生成プログラム、及び蛍光内視鏡システム

Also Published As

Publication number Publication date
EP2356935A4 (en) 2014-03-05
US20110218398A1 (en) 2011-09-08
EP2356935B1 (en) 2017-03-08
EP2356935A1 (en) 2011-08-17
CN102215737A (zh) 2011-10-12
CN102215737B (zh) 2014-05-28
WO2010055938A1 (ja) 2010-05-20
JPWO2010055938A1 (ja) 2012-04-12

Similar Documents

Publication Publication Date Title
JP5277253B2 (ja) 画像処理システム
EP2441374B1 (en) Capsule endoscope device
JP5025720B2 (ja) 被検体内導入システム
JP4936528B2 (ja) カプセル内視鏡システム、およびカプセル内視鏡システムの作動方法
KR100889093B1 (ko) 피검체 내 도입 장치, 피검체 외부 장치, 피검체 내 도입 장치 및 피검체 외부 장치를 갖는 무선형 피검체 내 정보 취득 시스템, 피검체 외부 장치를 포함하는 베스트 및 복수의 전력 공급 신호 송신 수단으로부터 하나의 전력 공급 신호 송신 수단을 선택하기 위한 방법
US7061523B2 (en) Capsule type medical device
EP1898773B1 (en) In vivo imaging device, system and method
EP1862109A2 (en) Capsule endoscopic system and image processing apparatus
US7993265B2 (en) In-vivo image acquiring system and body-insertable apparatus
US20140022367A1 (en) Device, system and method of displaying in-vivo images at variable rate
JP5265139B2 (ja) 体内画像取得システム
JP2013529950A (ja) 生体内カメラの画像取得制御
KR20060013519A (ko) 무선형 피검체 내 정보 취득 시스템 및 피검체 외부 장치
US20080318540A1 (en) Receiving Apparatus
EP2351515A1 (en) Image processing device, in-examinee guiding device, medical system, and image processing method
JP3893121B2 (ja) カプセル型内視鏡システム及びカプセル型内視鏡
JP5341257B2 (ja) 画像処理装置、画像処理装置の作動方法、画像処理プログラムおよび内視鏡システム
US8830310B2 (en) Capsule endoscope
JP4383432B2 (ja) カプセル型内視鏡システム及びカプセル型内視鏡
US20200196845A1 (en) Capsule endoscope system, capsule endoscope, and receiving device
JP4656825B2 (ja) 被検体内導入装置および無線型被検体内情報取得システム
JPWO2017217029A1 (ja) 動き判定装置、被検体内導入装置、動き判定方法及びプログラム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120416

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120515

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120621

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130507

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130520

R151 Written notification of patent or utility model registration

Ref document number: 5277253

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250