JP4589464B2 - 画像生成装置、内視鏡システム、および画像生成方法 - Google Patents

画像生成装置、内視鏡システム、および画像生成方法 Download PDF

Info

Publication number
JP4589464B2
JP4589464B2 JP2010515306A JP2010515306A JP4589464B2 JP 4589464 B2 JP4589464 B2 JP 4589464B2 JP 2010515306 A JP2010515306 A JP 2010515306A JP 2010515306 A JP2010515306 A JP 2010515306A JP 4589464 B2 JP4589464 B2 JP 4589464B2
Authority
JP
Japan
Prior art keywords
color component
image
data
yellow
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010515306A
Other languages
English (en)
Other versions
JPWO2010044446A1 (ja
Inventor
哲夫 薬袋
和昭 田村
健 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Application granted granted Critical
Publication of JP4589464B2 publication Critical patent/JP4589464B2/ja
Publication of JPWO2010044446A1 publication Critical patent/JPWO2010044446A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041Capsule endoscopes for imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30028Colon; Small intestine
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30092Stomach; Gastric

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Description

この発明は、白色光によって照明された被写体のカラー画像である通常画像と特定の色成分をもとに生成される分光画像とを同一の被写体に対して位置関係を一致して同時に得ることができる画像生成装置、内視鏡システム、および画像生成方法に関するものである。
近年、内視鏡分野においては、撮像機能と無線通信機能とを設けたカプセル型の被検体内導入装置(例えばカプセル型内視鏡)が提案され、このカプセル型内視鏡を用いて被検体内の画像を取得する被検体内導入システムが開発されている。カプセル型内視鏡は、被検体内を観察(検査)するために、例えば被検体の口から飲込まれ、その後、自然排出されるまでの間、体腔内たとえば胃、小腸等の臓器の内部をその蠕動運動に従って移動するとともに、例えば0.5秒間隔で被検体内の画像を撮像するように機能する。
カプセル型内視鏡が被検体内を移動する間、このカプセル型内視鏡によって撮像された画像は、被検体の体表面に配置したアンテナを介して外部の画像表示装置に受信される。この画像表示装置は、カプセル型内視鏡に対する無線通信機能と画像のメモリ機能とを有し、被検体内のカプセル型内視鏡から受信した画像をメモリに順次格納する。医師または看護師は、かかる画像表示装置に蓄積された画像、すなわち被検体の消化管内の画像をディスプレイに表示することによって、被検体内を観察(検査)し、診断することができる。
ここで、特許文献1には、体内画像を取得する場合、鮮明な画像を得るために、青感度素子の割合を、赤感度素子および緑感度素子のそれぞれの割合に比して大きくしたカラーフィルタアレイ(CFA)を用いるものが記載されている。これは、青色の光が他の光に比して波長が短いため、体内組織内部に透過し散乱することなく、体内組織表面で反射することを利用したものである。
特開2006−297093号公報 特開平5−332838号公報 特開2007−195023号公報 特開2006−33639号公報
ところで、内視鏡などの分野では、白色光によって照明された被写体のカラー画像である通常画像と特定の色成分をもとに生成される分光画像との複数の画像を得て、診断等を行っているが、同じ被写体に対して位置関係が一致した通常画像と分光画像とを同時に得ることができなかった。
すなわち、同一被写体に対する通常画像と分光画像とは、通常画像用および分光画像用の各撮像素子を異なる近傍位置に配置し、切り替えによって各画像を取得し、あるいは、通常画像用および分光画像用の照明手段を異なる位置に配置し、各照明手段を切り替えて1つの撮像素子によって各画像を取得するようにしていた。いずれの場合にも、各画像は、同一の被写体に対して位置関係が一致した画像とは言えない。
この発明は、上記に鑑みてなされたものであって、簡易な構成で、同一被写体に対して位置関係が一致した通常画像と分光画像とを同時に得ることができる画像生成装置、内視鏡システム、および画像生成方法を提供することを目的とする。
上述した課題を解決し、目的を達成するために、この発明にかかる画像生成装置は、取得された複数の色要素情報をもとに第1の画像情報を生成する第1画像情報生成部と、各色要素情報をもとに所定の色成分を検出する色成分検出部と、前記複数の色要素情報のうち所定の色要素情報から前記色成分検出部が検出した所定の色成分を除去する色成分除去部と、前記色成分除去部によって色成分が除去された色要素情報と他の色要素情報とをもとに第2の画像情報を生成する第2画像情報生成部と、を備え、前記複数の色要素情報が、赤色、緑色、青色の3つのデータであり、前記色成分検出部が、黄色の色成分を検出し、前記色成分除去部が、前記緑色データから前記黄色の色成分を除去した黄色除去緑色データを生成し、前記第2画像情報生成部が、前記黄色除去緑色データと前記青色データとをもとに前記第2の画像情報を生成することを特徴とする。
また、この発明にかかる画像生成装置は、上述した発明において、前記色成分検出部が、黄色成分または黄色成分以上の赤色成分を含む長波長成分を検出し、前記色成分除去部が、前記緑色データから前記黄色成分または黄色成分以上の赤色成分を含む長波長成分を除去した色データを生成することを特徴とする。
また、この発明にかかる画像生成装置は、上述した発明において、前記第2画像情報生成部が、前記第1の画像情報の赤色データに前記黄色除去緑色データを対応づけ、前記第1の画像情報の緑色データおよび青色データのそれぞれに前記青色データを対応付けて生成することを特徴とする。
また、この発明にかかる画像生成装置は、上述した発明において、前記第2画像情報生成部が、前記黄色除去緑色データおよび前記青色データの各コントラスト情報をもとに、前記第2の画像情報を生成することを特徴とする。
また、この発明にかかる内視鏡システムは、取得された複数の色要素情報をもとに第1の画像情報を生成する第1画像情報生成部と、各色要素情報をもとに所定の色成分を検出する色成分検出部と、前記複数の色要素情報のうち所定の色要素情報から前記色成分検出部が検出した所定の色成分を除去する色成分除去部と、前記色成分除去部によって色成分が除去された色要素情報と他の色要素情報とをもとに第2の画像情報を生成する第2画像情報生成部と、を有する画像生成装置を備え、前記複数の色要素情報が、赤色、緑色、青色の3つのデータであり、前記色成分検出部が、黄色の色成分を検出し、前記色成分除去部が、前記緑色データから前記黄色の色成分を除去した黄色除去緑色データを生成し、前記第2画像情報生成部が、前記黄色除去緑色データと前記青色データとをもとに前記第2の画像情報を生成することを特徴とする。
また、この発明にかかる内視鏡システムは、上記した発明において、被検体の体内画像を撮像する内視鏡装置と、前記画像生成装置が生成した第1および第2の画像情報を表示する表示装置と、をさらに備えることを特徴とする。
また、この発明にかかる内視鏡システムは、上述した発明において、前記内視鏡装置が、カプセル型内視鏡であることを特徴とする。
また、この発明にかかる画像生成方法は、取得された赤色データ、緑色データ、および青色データをもとに第1の画像情報を生成する第1画像情報生成ステップと、前記第1の画像情報の色相を算出し、この算出した色相をもとに黄色成分を検出する色成分検出ステップと、前記緑色データから前記黄色成分を除去する色成分除去ステップと、前記色成分除去ステップによって前記黄色成分を除去した緑色データである黄色除去緑色データと前記青色データとをもとに、第2の画像情報を生成する第2画像情報生成ステップと、を含み、前記複数の色要素情報が、赤色、緑色、青色の3つのデータであり、前記色成分検出ステップが、黄色の色成分を検出し、前記色成分除去ステップが、前記緑色データから前記黄色の色成分を除去した黄色除去緑色データを生成し、前記第2画像情報生成ステップが、前記黄色除去緑色データと前記青色データとをもとに前記第2の画像情報を生成することを特徴とする。
また、この発明にかかる画像生成装置は、取得された複数の色要素情報をもとに第1の画像情報を生成する第1画像情報生成手段部と、各色要素情報をもとに所定の色成分を検出する色成分検出手段と、前記複数の色要素情報のうち所定の色要素情報から前記色成分検出手段が検出した所定の色成分を除去する色成分除去手段と、前記色成分除去手段によって色成分が除去された色要素情報と他の色要素情報とをもとに第2の画像情報を生成する第2画像情報生成手段と、を備え、前記複数の色要素情報が、赤色、緑色、青色の3つのデータであり、前記色成分検出手段が、黄色の色成分を検出し、前記色成分除去手段が、前記緑色データから前記黄色の色成分を除去した黄色除去緑色データを生成し、前記第2画像情報生成手段が、前記黄色除去緑色データと前記青色データとをもとに前記第2の画像情報を生成することを特徴とする。
この発明によれば、第1画像生成手段が、取得された複数の色要素情報をもとに白色画像などの通常画像である第1の画像情報を生成するとともに、色成分検出手段が、各色要素情報をもとに所定の色成分を検出し、色成分除去手段が、前記複数の色要素情報のうち所定の色要素情報から前記色成分検出手段が検出した所定の色成分を除去し、第2画像情報生成手段が、前記色成分除去手段によって色成分が除去された色要素情報と他の色要素情報とをもとに血管画像などの分光画像である第2の画像情報を生成するようにしているので、簡易な構成で、同一被写体に対して位置関係が一致した通常画像などの第1の画像情報と分光画像などの第2の画像情報とを同時に得ることができる。
図1は、この発明の実施の形態である内視鏡システムであるカプセル型内視鏡システムの全体概要構成を示す図である。 図2は、カプセル型内視鏡に搭載される撮像素子の画素配列の一例を示す図である。 図3は、画像生成装置の構成を示すブロック図である。 図4は、画像生成回路の構成を示す詳細ブロック図である。 図5は、体腔内壁の分光特性、血液の吸光特性、発光素子の放射輝度、および撮像素子の分光感度の各波長依存性を示す図である。 図6は、体腔内壁と血管に対する光の進入と反射との関係を示す模式図である。 図7は、この発明の実施の形態である画像生成処理手順を示すフローチャートである。
以下、図面を参照して、この発明にかかる画像生成装置およびこれを用いた内視鏡システム、並びに画像生成方法の好適な実施の形態を詳細に説明する。なお、この実施の形態では、内視鏡システムにおける内視鏡装置の一例としてカプセル型内視鏡を例示するが、この実施の形態によってこの発明が限定されるものではない。
(実施の形態)
図1は、この発明の実施の形態にかかる内視鏡システムの構成を示す模式図である。図1に示すように、この実施の形態にかかる内視鏡システムは、被検体1の体内画像を撮像するカプセル型内視鏡2と、カプセル型内視鏡2によって無線送信された画像信号を受信する受信装置3と、カプセル型内視鏡2によって撮像された体内画像を表示する画像表示装置4と、受信装置3と画像表示装置4との間におけるデータの受け渡しを行うための可搬型の記録媒体5とを備える。
カプセル型内視鏡2は、被検体1の体内画像を撮像する内視鏡装置の一例であり、カプセル型の筐体内部に撮像機能と無線通信機能とを備える。カプセル型内視鏡2は、経口摂取等によって被検体1の臓器内部に導入され、その後、蠕動運動等によって被検体1の臓器内部を移動しつつ、所定の間隔(例えば0.5秒間隔)で被検体1の体内画像を順次撮像する。具体的には、カプセル型内視鏡2は、臓器内部において被写体に白色光等の照明光を照射し、この照明光によって照明された被写体の画像、すなわち被検体1の体内画像を撮像する。カプセル型内視鏡2は、このように撮像した被検体1の体内画像の画像信号を外部の受信装置3に無線送信する。カプセル型内視鏡2は、被検体1の臓器内部に導入されてから被検体1の外部に排出されるまでの期間、かかる体内画像の撮像動作および無線送信動作を順次繰り返す。なお、カプセル型内視鏡2の撮像部は、図2に示すような赤(R)、緑(G)、青(B)の画素が配置された撮像素子が用いられる。ここでは、図2の画素配列2aに例示するようなベイヤー配列の撮像素子が用いられ、Gデータが、RデータおよびBデータの2倍の受光感度をもち、通常の撮像素子の配列となっており、そのまま上述したRGBデータの通常画像(白色光画像)を得ることができる。また、カプセル型内視鏡の発光部は、白色光を発光するLEDが用いられている。
受信装置3は、例えば被検体1の体表上に分散配置される複数の受信アンテナ3a〜3hを備え、複数の受信アンテナ3a〜3hのうちの少なくとも一つを介して被検体1内部のカプセル型内視鏡2からの無線信号を受信する。受信装置3は、カプセル型内視鏡2からの無線信号から画像信号を抽出し、この抽出した画像信号に含まれる体内画像の画像データを取得する。
また、受信装置3は、被写体の位置関係が互いに一致する2種類の画像を異なる画像処理によって生成する画像生成機能を備える。受信装置3は、カプセル型内視鏡2から取得した1フレーム分の体内画像の色データをもとに異なる画像処理を行って、被写体の位置関係が一致し且つ画像処理が異なる2種類の画像、例えば白色光画像などの通常画像および分光画像を生成する。受信装置3によって生成された通常画像および分光画像は、描画態様が互いに異なる同一被写体の体内画像である。受信装置3は、カプセル型内視鏡2から1フレーム分の体内画像を取得する都度、取得した1フレーム分の体内画像に基づく同一被写体の通常画像および分光画像を順次生成する。受信装置3は、予め挿着された記録媒体5に、通常画像群および分光画像群を蓄積する。この場合、受信装置3は、同一の体内画像に基づく同一被写体の通常画像および分光画像を、画像処理が異なる同一フレーム番号の体内画像として記録媒体5に順次保存する。また、受信装置3は、白色光画像群および分光画像群の各画像に、元の体内画像の撮像時刻または受信時刻等の時間データを各々対応付ける。
なお、受信装置3の受信アンテナ3a〜3hは、図1に示したように被検体1の体表上に配置してもよいし、被検体1に着用させるジャケットに配置されてもよい。また、受信装置3の受信アンテナ数は、1以上であればよく、特に8つに限定されない。
画像表示装置4は、記録媒体5を介して被検体1の体内画像群等の各種データを取り込み、取り込んだ体内画像群等の各種データを表示するワークステーションのような構成を有する。具体的には、画像表示装置4は、受信装置3から取り外された記録媒体5を挿着され、この記録媒体5の保存データを取り込むことによって、被検体1の体内画像群(通常画像群および分光画像群)等の各種データを取得する。画像表示装置4は、取得した体内画像をディスプレイに表示し、この表示した体内画像に指定された所望の画像領域を異なる画像処理の同一被写体画像に切り替える表示切替機能を有する。この画像表示装置4による画像表示によって診断等が行われる。
記録媒体5は、上述した受信装置3と画像表示装置4との間におけるデータの受け渡しを行うための可搬型の記録メディアである。記録媒体5は、受信装置3および画像表示装置4に対して着脱可能であって、両者に対する挿着時にデータの出力および記録が可能な構造を有する。具体的には、記録媒体5は、受信装置3に挿着された場合、受信装置3によって画像処理された体内画像群および各画像の時間データ等を記録する。
つぎに、図3を参照し、受信装置3に組み込まれる画像生成装置10について説明する。画像生成装置10は、無線送信された無線信号からベースバンド信号に変換されたデータDに対して前処理を行ってRGBの各色データを出力する前処理回路11と、RGBの各色データをもとに通常画像D1と分光画像D2とを生成する画像生成回路12と、通常画像D1に対して所定の画像調整などの後処理を行って最終的な通常画像D10を出力する通常画像調整回路13と、分光画像D2に対して所定の画像調整などの後処理を行って最終的な分光画像D20を出力する分光画像調整回路14とを有する。特に、画像生成回路12は、入力されたRGBの各色データから黄色成分を検出し、Gデータからこの黄色成分データを除去したデータとBデータとをもとに分光画像を生成する。
図4は、画像生成回路12の詳細構成を示すブロック図である。画像生成回路12は、通常画像生成回路21、色相算出回路22、黄色成分検出回路23、黄色成分除去回路24、および分光画像生成回路25を有する。通常画像生成回路21は、入力されたRGBの各色データをそれぞれRデータメモリ、Gデータメモリ、Bデータメモリに一時格納し、これらを合成して1フレームの通常画像データD1として出力する。
色相算出回路22は、通常画像生成回路21から出力された通常画像データD1をもとに、色相を算出する。黄色成分検出回路23は、色相算出回路22が算出した色相をもとに黄色成分データDYを検出する。一方、黄色成分除去回路24は、通常画像生成回路21に入力されるGデータから黄色成分データDYを除去した黄色除去GデータGYを生成する。
分光画像生成回路25は、黄色成分除去回路24から出力された黄色除去Gデータおよび通常画像生成回路21に入力されるBデータをもとに、緑および青のコントラスト情報を用いた分光画像データD2を生成出力する。分光画像生成回路25は、黄色除去GデータをRデータメモリに、BデータをGデータメモリおよびBデータメモリに一時格納し、コントラスト情報を用いた分光画像データD2を各RGBデータに対応させて出力する。
ここで、図5および図6を参照して、分光画像について説明する。図5(a)の分光特性L1に示すように、体腔内壁の分光特性レベルは、黄色(580nm)〜赤色(680nm)以上にかけて大きい。一方、血液の吸光特性レベルは、図5(b)の吸光特性L2に示すように、415nm(青色)と540nm(緑色)とにピークがある以外は低い。すなわち、体腔内壁の画像は、一般に赤みがかったものとなり、体腔内壁の分光特性による色や明るさのコントラスト情報は、G画素(Gデータ)とR画素(Rデータ)とに多く現れ、血液の吸光特性による明るさのコントラスト情報は、B画素(Bデータ)とG画素(Gデータ)とに多く現れる。
一方、発光素子の放射輝度レベルは、図5(c)の発光特性L3に示すように、ピーク波長は血液の吸光特性のピーク波長と同じ415nm付近にあるが、全体では青色(B)、緑色(G)、赤色(R)に偏らず、白色光が実現されている。ここで、図5(d)に示すように、撮像素子の分光感度レベルは、各B、G、R画素が、415nm(青色)、540nm(緑色)、および680nm(赤色)をほぼ中心としてピークをもつ分布特性L4B,L4G,L4Rをもつ。ただし、各分布特性L4B,L4G,L4Rは、各分布が重複する領域が存在し、たとえば、分布特性L4G,L4Rとは、580nm(黄色)で重複している。すなわち、GデータおよびRデータには、それぞれ黄色成分が含まれることになる。
ところで、図6に示すように、体腔内壁には、粘膜表層40に毛細血管50が存在し、さらに粘膜深部41には、太い血管51が存在する。体腔内壁に照射される415nm(青色)の光は、波長が短いため、組織内部まで透過せず、上述した血液の吸光特性によって毛細血管50に吸収される(図6の30B参照)。また、540nm(緑色)の光は、青色よりも波長が長いため、粘膜深部41まで透過し、上述した血液の吸光特性によって太い血管51に吸収される(図6の30G参照)。一方、赤色の光は、内部組織42まで透過し、散乱光としてほとんどが反射される(図6の30R参照)。したがって、415nm(青色)および540nm(緑色)のみの受光感度を持たせれば、毛細血管50および太い血管51などの血管画像のコントラスト情報を得ることができる。
したがって、BデータおよびGデータのみによって血管のコントラスト情報をもとに血管画像が上述した分光画像として得られるが、図5(d)に示した撮像素子の分光感度の分布特性から、Gデータに黄色成分が含まれ、分光画像の解像度が低下してしまう。
このため、上述した画像生成回路12によって、各RGBデータから色相を算出し、この色相から黄色成分を検出し、この黄色成分を、Gデータから削除することによって緑色(540nm)のみのコントラスト情報を得ることができる。一方、Bデータからは、青色(415nm)のみのコントラスト情報を得ることができる。なお、Bデータには、少量のGデータの短波長成分が含まれてもよいし、Gデータには、少量のBデータの長波長成分が含まれていてもよい。要は、415nm(青色)と540nm(緑色)の成分のコントラスト情報のみによって分光画像が生成されればよい。
なお、上述した実施の形態では、Gデータから黄色成分を除去するようにしていたが、黄色成分以上の赤色成分を含む長波長成分を除去するようにしてもよい。このような黄色成分以上の長波長成分をGデータから除去することによって、Gデータが緑色領域のみの狭帯域データとなり、鮮鋭な分光画像を得ることができる。
また、上述した実施の形態では、受信装置3内に画像生成装置10を持たせるようにしているが、これに限らず、画像表示装置4側に持たせるようにしてもよい。この場合、受信装置3は、通常画像のみを生成し、記録媒体5は通常画像のみを記録し、画像表示装置4内の画像生成装置10が、通常画像を形成するRGBデータをもとに分光画像を生成すればよい。また、この分光画像は、必要な場合に、作成指示をもとに所望の通常画像から作成するようにしてもよい。
さらに、上述した実施の形態では、画像生成装置10を回路構成で示したが、ソフトウェアによる画像処理によって通常画像および分光画像を生成するようにしてもよい。すなわち、図7に示すように、まず通常画像を形成するRGBデータから通常画像を生成する(ステップS101)。その後、この通常画像のデータから色相を算出し、この色相から黄色成分を検出する(ステップS102)。その後、Gデータから黄色成分を除去する(ステップS103)。最後に、Bデータと、黄色成分を除去したGデータとから分光画像を生成し(ステップS104)、本処理を終了する。この場合、ステップS101を省略して、ステップS102〜S104によって通常画像か分光画像を得るようにしてもよい。
この実施の形態では、取得した各RGBデータから白色光の通常画像を得るとともに、同時に通常画像と位置関係が一致した血管画像などの分光画像を得ることができる。この結果、通常画像と分光画像との位置関係が一致しているので、診断等のときに、関心対象の特定などを容易かつ高精度に行うことができる。
なお、上述した実施の形態では、図2に示したようにベイヤー配列の撮像素子を用いていたが、これに限らず、RデータとBデータとの解像度を上げるため、R,G,G,Bの配列のうちの2つのG画素のうちの1つをマゼンタ(Mg)画素にしてもよい。Mg画素にすることでR成分とB成分とに感度をもたせることができ、RデータとBデータとの解像度を上げることができる。
以上のように、本発明にかかる画像生成装置、内視鏡システム、および画像生成方法は、白色光によって照明された被写体のカラー画像である通常画像と特定の色成分をもとに生成される分光画像とを取得することに有用であり、特に、同一の被写体に対して位置関係が一致した通常画像と分光画像とを簡易な構成で同時に得ることができる画像生成装置、内視鏡システム、および画像生成方法に適している。
1 被検体
2 カプセル型内視鏡
2a 画素配列
3 受信装置
3a〜3h 受信アンテナ
4 画像表示装置
5 記録媒体
10 画像生成装置
11 前処理回路
12 画像生成回路
13 通常画像調整回路
14 分光画像調整回路
21 通常画像生成回路
22 色相算出回路
23 黄色成分検出回路
24 黄色成分除去回路
25 分光画像生成回路
40 粘膜表層
41 粘膜深部
42 内部組織
50 毛細血管
51 血管

Claims (9)

  1. 取得された複数の色要素情報をもとに第1の画像情報を生成する第1画像情報生成部と、
    各色要素情報をもとに所定の色成分を検出する色成分検出部と、
    前記複数の色要素情報のうち所定の色要素情報から前記色成分検出部が検出した所定の色成分を除去する色成分除去部と、
    前記色成分除去部によって色成分が除去された色要素情報と他の色要素情報とをもとに第2の画像情報を生成する第2画像情報生成部と、
    を備え、
    前記複数の色要素情報は、赤色、緑色、青色の3つのデータであり、
    前記色成分検出部は、黄色の色成分を検出し、
    前記色成分除去部は、前記緑色データから前記黄色の色成分を除去した黄色除去緑色データを生成し、
    前記第2画像情報生成部は、前記黄色除去緑色データと前記青色データとをもとに前記第2の画像情報を生成することを特徴とする画像生成装置。
  2. 前記色成分検出部は、黄色成分または黄色成分以上の赤色成分を含む長波長成分を検出し、
    前記色成分除去部は、前記緑色データから前記黄色成分または黄色成分以上の赤色成分を含む長波長成分を除去した色データを生成することを特徴とする請求項1に記載の画像生成装置。
  3. 前記第2画像情報生成部は、前記第1の画像情報の赤色データに前記黄色除去緑色データを対応づけ、前記第1の画像情報の緑色データおよび青色データのそれぞれに前記青色データを対応付けて生成することを特徴とする請求項1に記載の画像生成装置。
  4. 前記第2画像情報生成部は、前記黄色除去緑色データおよび前記青色データの各コントラスト情報をもとに、前記第2の画像情報を生成することを特徴とする請求項1に記載の画像生成装置。
  5. 取得された複数の色要素情報をもとに第1の画像情報を生成する第1画像情報生成部と、各色要素情報をもとに所定の色成分を検出する色成分検出部と、前記複数の色要素情報のうち所定の色要素情報から前記色成分検出部が検出した所定の色成分を除去する色成分除去部と、前記色成分除去部によって色成分が除去された色要素情報と他の色要素情報とをもとに第2の画像情報を生成する第2画像情報生成部と、を有する画像生成装置を備え、
    前記複数の色要素情報は、赤色、緑色、青色の3つのデータであり、
    前記色成分検出部は、黄色の色成分を検出し、
    前記色成分除去部は、前記緑色データから前記黄色の色成分を除去した黄色除去緑色データを生成し、
    前記第2画像情報生成部は、前記黄色除去緑色データと前記青色データとをもとに前記第2の画像情報を生成することを特徴とする内視鏡システム。
  6. 被検体の体内画像を撮像する内視鏡装置と、
    前記画像生成装置が生成した第1および第2の画像情報を表示する表示装置と、
    をさらに備えることを特徴とする請求項5に記載の内視鏡システム。
  7. 前記内視鏡装置は、カプセル型内視鏡であることを特徴とする請求項6に記載の内視鏡システム。
  8. 取得された赤色データ、緑色データ、および青色データをもとに第1の画像情報を生成する第1画像情報生成ステップと、
    前記第1の画像情報の色相を算出し、この算出した色相をもとに黄色成分を検出する色成分検出ステップと、
    前記緑色データから前記黄色成分を除去する色成分除去ステップと、
    前記色成分除去ステップによって前記黄色成分を除去した緑色データである黄色除去緑色データと前記青色データとをもとに、第2の画像情報を生成する第2画像情報生成ステップと、
    を含み、
    前記複数の色要素情報は、赤色、緑色、青色の3つのデータであり、
    前記色成分検出ステップは、黄色の色成分を検出し、
    前記色成分除去ステップは、前記緑色データから前記黄色の色成分を除去した黄色除去緑色データを生成し、
    前記第2画像情報生成ステップは、前記黄色除去緑色データと前記青色データとをもとに前記第2の画像情報を生成することを特徴とする画像生成方法。
  9. 取得された複数の色要素情報をもとに第1の画像情報を生成する第1画像情報生成手段部と、
    各色要素情報をもとに所定の色成分を検出する色成分検出手段と、
    前記複数の色要素情報のうち所定の色要素情報から前記色成分検出手段が検出した所定の色成分を除去する色成分除去手段と、
    前記色成分除去手段によって色成分が除去された色要素情報と他の色要素情報とをもとに第2の画像情報を生成する第2画像情報生成手段と、
    を備え、
    前記複数の色要素情報は、赤色、緑色、青色の3つのデータであり、
    前記色成分検出手段は、黄色の色成分を検出し、
    前記色成分除去手段は、前記緑色データから前記黄色の色成分を除去した黄色除去緑色データを生成し、
    前記第2画像情報生成手段は、前記黄色除去緑色データと前記青色データとをもとに前記第2の画像情報を生成することを特徴とする画像生成装置。
JP2010515306A 2008-10-17 2009-10-15 画像生成装置、内視鏡システム、および画像生成方法 Active JP4589464B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008268896 2008-10-17
JP2008268896 2008-10-17
PCT/JP2009/067863 WO2010044446A1 (ja) 2008-10-17 2009-10-15 画像生成装置、内視鏡システム、および画像生成方法

Publications (2)

Publication Number Publication Date
JP4589464B2 true JP4589464B2 (ja) 2010-12-01
JPWO2010044446A1 JPWO2010044446A1 (ja) 2012-03-15

Family

ID=42106610

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010515306A Active JP4589464B2 (ja) 2008-10-17 2009-10-15 画像生成装置、内視鏡システム、および画像生成方法

Country Status (5)

Country Link
US (1) US9443321B2 (ja)
EP (1) EP2345359A4 (ja)
JP (1) JP4589464B2 (ja)
CN (1) CN102186401B (ja)
WO (1) WO2010044446A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013005524A1 (de) 2013-04-03 2014-10-09 Heinrich Schemmann Vorrichtung und Verfahren zur Farbbilderfassung von medizinischen Objekten
WO2015099749A1 (en) * 2013-12-27 2015-07-02 Capso Vision Inc. Capsule camera device with multi-spectral light sources
US10835152B2 (en) * 2014-09-25 2020-11-17 Progenity, Inc. Electromechanical pill device with localization capabilities
EP3620098B1 (en) 2018-09-07 2021-11-03 Ambu A/S Enhancing the visibility of blood vessels in colour images
JP7234086B2 (ja) * 2019-10-04 2023-03-07 株式会社日立製作所 生体情報取得装置およびプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04197331A (ja) * 1990-11-29 1992-07-16 Fuji Photo Optical Co Ltd 電子内視鏡用信号処理回路
JPH06245899A (ja) * 1992-12-28 1994-09-06 Olympus Optical Co Ltd 電子内視鏡装置
JP2001212073A (ja) * 2000-02-07 2001-08-07 Fuji Photo Film Co Ltd 蛍光撮像装置
JP2003079568A (ja) * 2001-06-29 2003-03-18 Fuji Photo Film Co Ltd 蛍光画像取得方法および装置並びにプログラム
JP2006341078A (ja) * 2005-05-12 2006-12-21 Olympus Medical Systems Corp 生体観測装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05332838A (ja) 1992-05-26 1993-12-17 Imaizumi Shokai:Kk 色ムラ外観検査装置
WO2005111706A1 (en) * 2004-05-14 2005-11-24 Canon Kabushiki Kaisha Color display apparatus
JP4084784B2 (ja) 2004-07-20 2008-04-30 株式会社バンダイナムコゲームス プログラム、情報記憶媒体、写真印刷装置及び写真印刷方法
US20060232668A1 (en) 2005-04-18 2006-10-19 Given Imaging Ltd. Color filter array with blue elements
RU2381737C2 (ru) 2005-05-12 2010-02-20 Олимпус Медикал Системз Корп. Устройство для наблюдения биологических объектов
JP4485440B2 (ja) * 2005-09-09 2010-06-23 オリンパスメディカルシステムズ株式会社 受信装置、モニタ装置、およびこれらを用いた被検体内情報取得システム
JP4730105B2 (ja) 2006-01-20 2011-07-20 ソニー株式会社 画像処理装置および方法、学習装置および方法、並びにプログラム
JP4951256B2 (ja) * 2006-03-16 2012-06-13 オリンパスメディカルシステムズ株式会社 生体観測装置
JP2010035637A (ja) * 2008-07-31 2010-02-18 Olympus Medical Systems Corp 画像表示装置およびこれを用いた内視鏡システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04197331A (ja) * 1990-11-29 1992-07-16 Fuji Photo Optical Co Ltd 電子内視鏡用信号処理回路
JPH06245899A (ja) * 1992-12-28 1994-09-06 Olympus Optical Co Ltd 電子内視鏡装置
JP2001212073A (ja) * 2000-02-07 2001-08-07 Fuji Photo Film Co Ltd 蛍光撮像装置
JP2003079568A (ja) * 2001-06-29 2003-03-18 Fuji Photo Film Co Ltd 蛍光画像取得方法および装置並びにプログラム
JP2006341078A (ja) * 2005-05-12 2006-12-21 Olympus Medical Systems Corp 生体観測装置

Also Published As

Publication number Publication date
CN102186401A (zh) 2011-09-14
JPWO2010044446A1 (ja) 2012-03-15
EP2345359A1 (en) 2011-07-20
WO2010044446A1 (ja) 2010-04-22
CN102186401B (zh) 2014-06-18
EP2345359A4 (en) 2012-04-04
US9443321B2 (en) 2016-09-13
US20100265322A1 (en) 2010-10-21

Similar Documents

Publication Publication Date Title
JP4589463B2 (ja) 撮像装置
EP1898773B1 (en) In vivo imaging device, system and method
EP1862109A2 (en) Capsule endoscopic system and image processing apparatus
US20030028078A1 (en) In vivo imaging device, system and method
US20090289200A1 (en) Fluorescent image obtainment method and apparatus, fluorescence endoscope, and excitation-light unit
JP2011250926A (ja) 電子内視鏡システム
JP7333805B2 (ja) 画像処理装置、内視鏡システム、及び画像処理装置の作動方法
EP2124710B1 (en) Narrow band in-vivo imaging device
JP4589464B2 (ja) 画像生成装置、内視鏡システム、および画像生成方法
JP2019219417A (ja) 血液を含む組織の画像形成装置
JP2010069063A (ja) 画像取得方法および装置
US10299665B2 (en) Imaging device and capsule endoscope system
US20170258304A1 (en) Imaging device, endoscope, and capsule endoscope
JP3893121B2 (ja) カプセル型内視鏡システム及びカプセル型内視鏡
US20170276847A1 (en) Imaging system
JP5341257B2 (ja) 画像処理装置、画像処理装置の作動方法、画像処理プログラムおよび内視鏡システム
US10863149B2 (en) Image processing apparatus, image processing method, and computer readable recording medium
JP2005021516A (ja) 電子内視鏡システム
JP2010075513A (ja) 狭帯域画像取得方法および狭帯域画像取得システム
JP2006314808A (ja) カプセル型内視鏡システム及びカプセル型内視鏡
CN212939651U (zh) 一种病理窄带胶囊内镜

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100817

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100909

R151 Written notification of patent or utility model registration

Ref document number: 4589464

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130917

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250