JP7090705B2 - 内視鏡装置、内視鏡装置の作動方法及びプログラム - Google Patents

内視鏡装置、内視鏡装置の作動方法及びプログラム Download PDF

Info

Publication number
JP7090705B2
JP7090705B2 JP2020528571A JP2020528571A JP7090705B2 JP 7090705 B2 JP7090705 B2 JP 7090705B2 JP 2020528571 A JP2020528571 A JP 2020528571A JP 2020528571 A JP2020528571 A JP 2020528571A JP 7090705 B2 JP7090705 B2 JP 7090705B2
Authority
JP
Japan
Prior art keywords
light
image
peak wavelength
absorbance
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020528571A
Other languages
English (en)
Other versions
JPWO2020008527A1 (ja
Inventor
央樹 谷口
順平 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of JPWO2020008527A1 publication Critical patent/JPWO2020008527A1/ja
Application granted granted Critical
Publication of JP7090705B2 publication Critical patent/JP7090705B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A61B1/051Details of CCD assembly
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0669Endoscope light sources at proximal end of an endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0684Endoscope light sources using light emitting diodes [LED]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/307Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the urinary organs, e.g. urethroscopes, cystoscopes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/125Colour sequential image capture, e.g. using a colour wheel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Urology & Nephrology (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Endoscopes (AREA)

Description

本発明は、内視鏡装置、内視鏡装置の作動方法及びプログラム等に関する。
内視鏡装置を用いて、経尿道的に膀胱腫瘍を切除する手技(経尿道的膀胱腫瘍切除術:TUR-Bt)が広く知られている。TUR-Btでは、膀胱内に灌流液を満たした状態で腫瘍の切除が行われる。灌流液の影響によって、膀胱壁は薄く引き伸ばされた状態となる。この状態で手技が行われるため、TUR-Btでは穿孔のリスクが伴う。
膀胱壁は、内側から粘膜層、筋層、脂肪層の3層で構成されている。そのため、各層の識別が容易となる形態を用いて表示を行うことによって、穿孔を抑制することが可能と考えられる。
内視鏡装置を用いた生体内の観察及び処置においては、画像処理によって特定の被写体を強調する手法が広く知られている。例えば特許文献1は、特定の波長帯域の光の照射によって撮像される画像信号に基づいて、特定の深さにある血管の情報を強調する手法を開示している。また特許文献2は、βカロテンの吸光特性を考慮した複数の波長帯域の照明光を照射することによって、脂肪層を強調する手法を開示している。
特開2016-67775号公報 国際公開第2013/115323号
TUR-Btでは電気メスを用いて腫瘍を切除する。そのため、腫瘍周辺の組織が熱変性を生じて色が変化する。例えば、筋層が熱変性すると、脂肪層に類似した色である黄色に変化する。具体的には、筋層に含まれるミオグロビンが熱変性することによって、メトミオグロビンに変化する。これによって、熱変性した筋層は、黄色調(褐色調)を呈する。そのため、単純に脂肪層に対する強調処理を行った場合、熱変性した筋層も同時に強調されるおそれがあり、穿孔リスクの抑制が困難である。なお、ここではTUR-Btを例示したが、脂肪層と熱変性した筋層の識別が容易でないという課題は、生体の他の部位に対する観察や手技を行う場合においても同様である。
特許文献1は、血管を強調する手法であり、脂肪層や熱変性した筋層を強調する手法を開示していない。特許文献2は、脂肪層を強調する手法を開示しているが、熱変性した筋層を考慮しておらず、両者の識別は困難である。
本発明の幾つかの態様によれば、脂肪層と熱変性した筋層の識別に好適な画像を提示する内視鏡装置、内視鏡装置の作動方法及びプログラム等を提供できる。
本発明の一態様は、第1の光、第2の光及び第3の光を含む複数の照明光を照射する照明部と、前記照明部の照射に基づく被検体からの戻り光を撮像する撮像部と、前記第1の光の照射によって撮像された第1の画像、前記第2の光の照射によって撮像された第2の画像、及び前記第3の光の照射によって撮像された第3の画像に基づいて、表示画像を生成する画像処理部と、を含み、前記第1の光のピーク波長におけるβカロテンの吸光度と、前記第2の光のピーク波長におけるβカロテンの吸光度の差を第1吸光度差とし、前記第1の光のピーク波長におけるメトミオグロビンの吸光度と、前記第2の光のピーク波長におけるメトミオグロビンの吸光度の差を第2吸光度差とした場合において、前記第1吸光度差は前記第2吸光度差に比べて小さく、前記第3の光のピーク波長は、前記第1の光のピーク波長及び前記第2の光のピーク波長と異なる内視鏡装置に関係する。
本発明の他の態様は、第1の光、第2の光及び第3の光を含む複数の照明光を照射し、前記複数の照明光の照射に基づく被検体からの戻り光を撮像し、前記第1の光の照射によって撮像された第1の画像、前記第2の光の照射によって撮像された第2の画像、及び前記第3の光の照射によって撮像された第3の画像に基づいて、表示画像を生成し、前記第1の光のピーク波長におけるβカロテンの吸光度と、前記第2の光のピーク波長におけるβカロテンの吸光度の差を第1吸光度差とし、前記第1の光のピーク波長におけるメトミオグロビンの吸光度と、前記第2の光のピーク波長におけるメトミオグロビンの吸光度の差を第2吸光度差とした場合において、前記第1吸光度差は前記第2吸光度差に比べて小さく、前記第3の光のピーク波長は、前記第1の光のピーク波長及び前記第2の光のピーク波長と異なる内視鏡装置の作動方法に関係する。
本発明のさらに他の態様は、第1の光、第2の光及び第3の光を含む複数の照明光を照明部に照射させ、前記照明部の照射に基づく被検体からの戻り光を撮像し、前記第1の光の照射によって撮像された第1の画像、前記第2の光の照射によって撮像された第2の画像、及び前記第3の光の照射によって撮像された第3の画像に基づいて、表示画像を生成する、ステップをコンピュータに実行させ、前記第1の光のピーク波長におけるβカロテンの吸光度と、前記第2の光のピーク波長におけるβカロテンの吸光度の差を第1吸光度差とし、前記第1の光のピーク波長におけるメトミオグロビンの吸光度と、前記第2の光のピーク波長におけるメトミオグロビンの吸光度の差を第2吸光度差とした場合において、前記第1吸光度差は前記第2吸光度差に比べて小さく、前記第3の光のピーク波長は、前記第1の光のピーク波長及び前記第2の光のピーク波長と異なるプログラムに関係する。
図1(A)、図1(B)はTUR-Btの説明図。 内視鏡装置の構成例。 図3(A)、図3(B)は第1の実施形態の照明光の分光特性の例、図3(C)は各色素の吸光度の説明図。 内視鏡装置の動作を説明するフローチャート。 白色光観察モードでの処理を説明するフローチャート。 第1の実施形態の特殊光観察モードでの処理を説明するフローチャート。 撮像素子のカラーフィルタの分光特性の例。 内視鏡装置の他の構成例。 図9(A)、図9(B)は第2の実施形態の照明光の分光特性の例、図9(C)は各色素の吸光度の説明図。 第2の実施形態の特殊光観察モードでの処理を説明するフローチャート。 図11(A)、図11(B)は第3の実施形態の照明光の分光特性の例、図11(C)は各色素の吸光度の説明図。 第3の実施形態の特殊光観察モードでの処理を説明するフローチャート。
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
1.本実施形態の手法
まず本実施形態の手法について説明する。なお、以下ではTUR-Btを例にとって説明を行うが、本実施形態の手法は、脂肪層と熱変性した筋層を識別する必要がある他の場面にも適用可能である。即ち、本実施形態の手法は、TUR-BO(経尿道的膀胱腫瘍一塊切除術)等の膀胱を対象とした他の手技に適用してもよいし、膀胱とは異なる部位を対象とした観察や手技に適用してもよい。
図1(A)、図1(B)はTUR-Btの説明図である。図1(A)は腫瘍が発生している状態の膀胱壁の一部を例示する模式図である。膀胱壁は内側から粘膜層、筋層、脂肪層の3層で構成される。腫瘍は、比較的初期の段階では粘膜層に留まるが、進行するにつれて筋層や脂肪層等の深い層に浸潤していく。図1(A)では、筋層に浸潤していない腫瘍を例示している。
図1(B)は、TUR-Btによって腫瘍が切除された後の膀胱壁の一部を例示する模式図である。TUR-Btでは、少なくとも腫瘍周辺の粘膜層が切除される。例えば、粘膜層、及び筋層のうちの粘膜層に近い一部が切除対象となる。切除された組織は、病理診断の対象となり、腫瘍の性質、及びどの深さまで腫瘍が達しているかが調べられる。また、図1(A)に例示したように腫瘍が筋層非浸潤性がんの場合、病態によってはTUR-Btを用いて腫瘍を完全に切除可能である。即ち、TUR-Btは診断と治療を兼ねた手技である。
TUR-Btにおいては、筋層に浸潤していない比較的早期の腫瘍を完全に切除することを考慮すれば、膀胱壁をある程度深い層まで切除することが重要である。例えば、腫瘍周辺の粘膜層を残さないために、筋層の途中まで切除対象とすることが望ましい。一方で、TUR-Btにおいては、灌流液の影響によって膀胱壁が薄く引き伸ばされた状態となっている。そのため、過剰に深い層まで切除することによって、穿孔のリスクが増大してしまう。例えば、脂肪層は切除対象としないことが望ましい。
TUR-Btにおいて、適切な切除を実現するためには、筋層と脂肪層の識別が重要となる。一般的な白色光を用いた観察では、筋層は白色~赤色調を呈し、脂肪層は黄色調を呈するため、色に基づいて2つの層を識別可能なように思える。しかしTUR-Btにおいては腫瘍の切除に電気メスを用いるため、筋層が熱変性する場合がある。筋層に含まれるミオグロビンがメトミオグロビンに変化することによって、吸光特性が変化する。結果として、熱変性した筋層は黄色調を呈し、脂肪層と熱変性した筋層の識別が困難となる。
特許文献2は、脂肪層を強調表示する手法を開示するものの、脂肪層と熱変性した筋層との色味の類似性を考慮していない。そのため、従来手法では脂肪層と熱変性した筋層の識別が困難であり、適切な手技を実現できないおそれがあった。
本実施形態に係る内視鏡装置1は、図2に例示するように、照明部3と、撮像部10と、画像処理部17を含む。照明部3は、第1の光、第2の光及び第3の光を含む複数の照明光を照射する。撮像部10は、照明部3の照射に基づく被検体からの戻り光を撮像する。画像処理部17は、第1の光の照射によって撮像された第1の画像、第2の光の照射によって撮像された第2の画像、及び第3の光の照射によって撮像された第3の画像に基づいて、表示画像を生成する。
ここで、第1の光、第2の光、第3の光は、以下の特性を満たす光である。第1の光のピーク波長におけるβカロテンの吸光度と、第2の光のピーク波長におけるβカロテンの吸光度の差を第1吸光度差とし、第1の光のピーク波長におけるメトミオグロビンの吸光度と、第2の光のピーク波長におけるメトミオグロビンの吸光度の差を第2吸光度差とした場合において、第1吸光度差は第2吸光度差に比べて小さい。また第3の光のピーク波長は、第1の光のピーク波長及び第2の光のピーク波長のいずれとも異なる。ピーク波長とは、各光の強度が最大となる波長である。なお、ここでの吸光度差とは、正の値を想定しており、例えば2つの吸光度の差分絶対値である。
βカロテンは、脂肪層に多く含まれる色素であり、メトミオグロビンは熱変性した筋層に多く含まれる色素である。第1の光と第2の光はβカロテンの吸光度差が相対的に小さいため、脂肪層を撮像した領域において、第1の画像と第2の画像の信号値の相関が相対的に高い。一方、第1の光と第2の光はメトミオグロビンの吸光度差が相対的に大きいため、熱変性した筋層を撮像した領域において、第1の画像と第2の画像の信号値の相関が相対的に低い。このように、脂肪層と熱変性した筋層に含まれる色素の吸光特性を考慮した2つの光を用いることによって、脂肪層と熱変性した筋層を識別が容易な態様で表示することが可能になる。なお望ましくは、第1吸光度差は、第2吸光度差との差が明確になる程度に値が小さく、例えば第1吸光度差と第2吸光度差の差分は所定閾値以上である。例えば、第1吸光度差は第1閾値Th1よりも小さく、且つ、第2吸光度差は第2閾値Th2よりも大きい。例えば、Th1は0に近い正の値であり、Th2はTh1に比べて大きい値である。さらに望ましくは、第1の光のピーク波長におけるβカロテンの吸光度と、第2の光のピーク波長におけるβカロテンの吸光度は略等しい。ただし、第1吸光度差と第2吸光度差は、差異が明確となる程度に値が異なればよく、具体的な数値については種々の変形実施が可能である。
図3(C)を用いて後述するように、βカロテンとメトミオグロビンの吸光特性は既知である。よって、2つの光を用いて撮像された2つの画像を比較しなくても、1つの光を用いて撮像された1つの画像の信号値から、βカロテンが支配的かメトミオグロビンが支配的かを判定可能なように思えるかもしれない。例えば、後述するG2の光のピーク波長では、メトミオグロビンの吸光度が相対的に高くβカロテンの吸光度が相対的に小さい。よって、G2の光の照射によって得られたG2画像の信号値(画素値)が相対的に小さい領域が熱変性した筋層であり、信号値が相対的に大きい領域が脂肪層であると判定できるようにも思える。しかし、被写体に含まれる色素の濃度は被写体に応じてばらつきがある。よって、画像の信号が所定閾値よりも小さければ熱変性した筋層であり、所定閾値よりも大きければ脂肪層であると判定できるような所定閾値を設定することは容易でない。換言すれば、1つの光の照射によって得られた画像の信号値のみを用いた場合、脂肪層と熱変性した筋層の識別精度が低いおそれがある。
その点、本実施形態の手法は、2つの光を照射し、第1の画像と第2の画像を用いて識別を行う。同じ被写体に対して2つの光を照射した結果を比較するため、被写体ごとの色素濃度のばらつきが問題とならない。結果として、1つの信号値を用いた判定に比べて精度の高い識別処理が可能になる。
なお、撮像された画像内に、脂肪層と熱変性した筋層のいずれとも異なる被写体が撮像される場合がある。TUR-Btの例であれば、撮像画像には粘膜層及び熱変性していない筋層が撮像される。以下本明細書では、熱変性した筋層はその旨を明示し、単に「筋層」と表記した場合、当該筋層は熱変性していない筋層を表すものとする。粘膜層及び筋層は、いずれも色素としてミオグロビンを多く含む。白色光を用いた観察では、ミオグロビンの濃度が相対的に高い粘膜層は赤色に近い色味で表示され、ミオグロビンの濃度が相対的に低い筋層は白色に近い色味で表示される。
第1の光と第2の光は、脂肪層と熱変性した筋層の識別に適した特性を有するが、このいずれとも異なる被写体の識別までは考慮していない。その点、本実施形態の照明部3は、第1の光と第2の光のいずれともピーク波長の異なる第3の光を照射する。これによって、βカロテンとメトミオグロビンのいずれとも異なる色素を多く含む被写体が存在する場合にも、当該被写体を識別することが可能になる。具体的には、熱変性した筋層の視認性を高める強調処理を行う場合に、粘膜層や筋層を誤って強調することを抑制可能である。
なお、望ましくは、第1の光のピーク波長におけるミオグロビンの吸光度と、第2の光のピーク波長におけるミオグロビンの吸光度の差を第3吸光度差とした場合において、第3吸光度差は第2吸光度差に比べて小さい。具体的には、第1の光のピーク波長におけるミオグロビンの吸光度と、第2の光のピーク波長におけるミオグロビンの吸光度は略等しい。
第1の光及び第2の光を上記の特性となる光とした場合、第1の画像と第2の画像の信号値の相関が相対的に低い領域は、熱変性している筋層に対応すると判定できる。換言すれば、信号値の相関が相対的に高い領域は、脂肪層又は筋層又は粘膜層に対応すると判定できる。第1の画像と第2の画像に基づいて、撮像画像から熱変性している筋層に対応する領域のみを抽出できるため、熱変性している筋層を適切に強調するとともに、その他の領域を強調しないことが可能になる。例えば下式(1)、(2)を用いて後述する例のように、画像全体を対象として強調処理を行った場合に、熱変性した筋層に対応する領域の画素値を大きく変化させるとともに、脂肪層又は筋層又は粘膜層に対応する領域の画素値の変化量を相対的に小さくすることが可能になる。第3吸光度差が第2吸光度差に比べて小さい場合の具体例を、第1の実施形態及び第2の実施形態において後述する。
ただし第3吸光度差は、第2吸光度差に比べて小さいものに限定されない。換言すれば、第1の光のピーク波長におけるミオグロビンの吸光度と、第2の光のピーク波長におけるミオグロビンの吸光度は略等しいものに限定されず、ミオグロビンに関して任意の吸光特性を有してもよい。
上述した通り、脂肪層と熱変性した筋層は類似する黄色調の色味を有するものの、粘膜層及び筋層は黄色調とは異なる色味を有する。そのため、画像処理部17は色判定処理を行うことによって、脂肪層又は熱変性した筋層のいずれかと判定される領域と、それ以外の被写体であると判定される領域とを識別可能である。画像処理部17は、前処理として撮像画像から脂肪層又は熱変性した筋層のいずれかである領域を検出し、検出された領域のみを対象として、第1の画像と第2の画像に基づく強調処理を実行する。このようにすれば、粘膜層及び筋層は前処理の段階において強調対象から除外される。第1の光と第2の光は、脂肪層と熱変性した筋層とを識別可能であればよいため、ミオグロビンに関する吸光特性を考慮する必要がなく、ピーク波長及び波長帯域の選択に柔軟性を持たせることが可能である。詳細については第3の実施形態において後述する。
2.第1の実施形態
第1の実施形態について説明する。まず図2を用いて内視鏡装置1の構成について説明した後、処理の詳細を説明する。また、いくつかの変形例についても説明する。
2.1 システム構成例
図2は、内視鏡装置1のシステム構成例を示す図である。内視鏡装置1は、挿入部2と、本体部5と、表示部6を含む。本体部5は、挿入部2に接続される照明部3と、処理部4を含む。
挿入部2は、生体内へ挿入される部分である。挿入部2は、照明部3から入力された光を被写体に向けて照射する照明光学系7と、被写体からの反射光を撮像する撮像部10を含む。撮像部10とは、具体的には撮像光学系である。
照明光学系7は、照明部3から入射された光を挿入部2の先端まで導光するライトガイドケーブル8と、光を拡散させて被写体に照射する照明レンズ9を含む。撮像部10は、照明光学系7によって照射された光のうち、被写体の反射光を集光する対物レンズ11と、対物レンズ11によって集光された光を撮像する撮像素子12を含む。撮像素子12は、CCD(Charge Coupled Device)センサやCMOS(Complementary MOS)センサ等の種々のセンサによって実現できる。撮像素子12から順次出力されるアナログ信号は、不図示のA/D変換部によってデジタルの画像に変換される。なおA/D変換部は、撮像素子12に含まれてもよいし、処理部4に含まれてもよい。
照明部3は、異なる波長帯域の光を射出する複数の発光ダイオード(LED:light emitting diode)13a~13eと、ミラー14と、ダイクロイックミラー15を含む。複数の発光ダイオード13a~13eのそれぞれから照射される光は、ミラー14及びダイクロイックミラー15によって同一のライトガイドケーブル8に入射する。なお、図2では発光ダイオードが5つの例を示したが、発光ダイオードの数はこれに限定されない。例えば、後述するように発光ダイオードは3つ或いは4つであってもよい。或いは、発光ダイオードは6つ以上であってもよい。
図3(A)、図3(B)は、複数の発光ダイオード13a~13eの分光特性を表す図である。図3(A)、図3(B)の横軸は波長を表し、縦軸が照射光の強度を表す。本実施形態の照明部3は、青色の波長帯域の光B1、緑色の波長帯域の光G1、及び赤色の波長帯域の光R1を射出する3つの発光ダイオードを含む。例えば、B1の波長帯域とは450nm~500nmであり、G1の波長帯域とは525nm~575nmであり、R1の波長帯域とは600nm~650nmである。各光の波長帯域とは、当該帯域において、照明光が所定閾値以上の強度を有することを表す波長の範囲である。ただしB1、G1、R1の波長帯域はこれに限定されず、青色の波長帯域を400nm~500nmとし、緑色の波長帯域を500nm~600nmとし、赤色の波長帯域を600nm~700nmとする等の種々の変形実施が可能である。
さらに本実施形態の照明部3は、緑色の波長帯域の狭帯域光G2及びG3を射出する2つの発光ダイオードを含む。本実施形態における第1の光はG2に対応し、第2の光はG3に対応する。即ち、第1の光は、540nm±10nmの範囲にピーク波長を有する狭帯域光であり、第2の光は、580nm±10nmの範囲にピーク波長を有する狭帯域光である。なお、ここでの狭帯域光とは、白色光画像を撮像する際に用いられるRGBの各光(図3(A)のB1,G1,R1)に比べて波長帯域が狭い光である。例えばG2及びG3の半値幅は数nm~数10nmである。
図3(C)は、βカロテン、メトミオグロビン及びミオグロビンの吸光特性を示す図である。図3(C)の横軸は波長を表し、図3(C)の縦軸は吸光度を表す。
脂肪層に含まれるβカロテンは、530nmよりも波長が長い帯域において平坦な吸光特性を有している。筋層に含まれるミオグロビンは、540nmと580nmに同程度の吸光度であるピークを有している。熱変性した筋層に含まれるメトミオグロビンは540nmと580nmとで吸光度に差が生じている。
G2及びG3を図3(B)に示した波長に設定した場合、G2の波長帯域でのβカロテンの吸光度とG3の波長帯域でのβカロテンの吸光度は略等しく、G2の波長帯域でのミオグロビンの吸光度とG3の波長帯域でのミオグロビンの吸光度が略等しい。なお、G2の波長帯域でのβカロテンの吸光度とは例えばG2のピーク波長におけるβカロテンの吸光度であり、G3の波長帯域でのβカロテンの吸光度とは例えばG3のピーク波長におけるβカロテンの吸光度である。ミオグロビンについても同様である。このため、βカロテン又はミオグロビンを多く含む領域では、G2を照射して得られるG2画像の信号値(画素値、輝度値)と、G3を照射して得られるG3画像の信号値の差が小さい。
一方、メトミオグロビンについてはG2の波長帯域での吸光度が、G3の波長帯域での吸光度と比較して高い。そのため、メトミオグロビンが含まれる領域では、G3を照射して得られるG3画像の信号値に比べて、G2を照射して得られるG2画像の信号値が小さく、G2画像の方が暗くなる。
処理部4は、メモリ16と、画像処理部17と、制御部18を含む。メモリ16は、撮像素子12によって取得された画像信号を、照明光の波長ごとに記憶する。メモリ16は、例えばSRAM又はDRAM等の半導体メモリであるが、磁気記憶装置や光学記憶装置を用いてもよい。
画像処理部17は、メモリ16に記憶された画像信号に対する画像処理を行う。ここでの画像処理は、メモリ16に記憶された複数の画像信号に基づく強調処理と、複数の出力チャンネルの各チャンネルに画像信号を割り当てることによって表示画像を合成する処理と、を含む。複数の出力チャンネルとは、Rチャンネル、Gチャンネル、Bチャンネルの3チャンネルであるが、Yチャンネル、Crチャンネル、Cbチャンネルの3チャンネルを用いてもよいし、他の構成のチャンネルを用いてもよい。
画像処理部17は、強調量算出部17aと、強調処理部17bを含む。強調量算出部17aは、例えば強調量算出回路である。強調処理部17bは、例えば強調処理回路である。なお、ここでの強調量とは、強調処理における強調の程度を決定するパラメータである。下式(1)、(2)を用いて後述する例では、強調量とは0以上1以下のパラメータであり、値が小さくなるほど、信号値の変化量を大きくするパラメータである。即ち、後述する例においては、強調量算出部17aで算出される強調量とは、値が小さいほど、強調の程度が強くなるパラメータである。ただし、強調量を、値が大きいほど強調の程度が強くなるパラメータとする等の種々の変形実施が可能である。
強調量算出部17aは、第1の画像と第2の画像の相関に基づいて、強調量を算出する。より具体的には、G2の照射によって撮像されたG2画像と、G3の照射によって撮像されたG3画像の相関に基づいて、強調処理に用いる強調量を算出する。強調処理部17bは、強調量に基づいて表示画像に対して強調処理を行う。ここでの強調処理とは、処理前に比べて、脂肪層と熱変性した筋層の識別を容易にする処理である。また本実施形態における表示画像とは、処理部4の出力画像であり、表示部6において表示される画像である。また画像処理部17は、撮像素子12から取得した画像に対して、他の画像処理を行ってもよい。例えば、ホワイトバランス処理や、ノイズ低減処理等の公知の処理を、強調処理の前処理或いは後処理として実行してもよい。
制御部18は、撮像素子12による撮像タイミングと、発光ダイオード13a~13eの点灯タイミングと、画像処理部17の画像処理タイミングと、を同期させる制御を行う。制御部18は、例えば制御回路又はコントローラである。
表示部6は、画像処理部17から出力される表示画像を順次表示する。即ち、表示画像をフレーム画像とする動画を表示する。表示部6は、例えば液晶ディスプレイやEL(Electro-Luminescence)ディスプレイ等である。
外部I/F部19は、ユーザが内視鏡装置1に対して入力等を行うためのインターフェースである。即ち、内視鏡装置1を操作するためのインターフェース、或いは内視鏡装置1の動作設定を行うためのインターフェース等である。例えば、外部I/F部19は、観察モードを切り替えるためのモード切り替えボタン、画像処理のパラメータを調整するための調整ボタン等を含む。
なお、本実施形態の内視鏡装置1は以下のように構成されてもよい。即ち、内視鏡装置1(狭義には処理部4)は、情報を記憶するメモリと、メモリに記憶された情報に基づいて動作するプロセッサと、を含む。情報は、例えばプログラムや各種のデータである。プロセッサは、強調処理を含む画像処理、及び照明部3の照射制御を行う。強調処理は、第1の画像(G2画像)及び第2の画像(G3画像)に基づいて強調量を決定し、当該強調量に基づいて所与の画像を強調する処理である。強調対象の画像は、例えば出力のRチャンネルに割り当てられるR1画像であるが、種々の変形実施が可能である。
プロセッサは、例えば各部の機能が個別のハードウェアを用いて実現されてもよいし、或いは各部の機能が一体のハードウェアを用いて実現されてもよい。例えば、プロセッサはハードウェアを含み、そのハードウェアは、デジタル信号を処理する回路及びアナログ信号を処理する回路の少なくとも一方を含むことができる。例えば、プロセッサは、回路基板に実装された1又は複数の回路装置や、1又は複数の回路素子を用いて構成することができる。回路装置は例えばIC等である。回路素子は例えば抵抗、キャパシター等である。プロセッサは、例えばCPU(Central Processing Unit)であってもよい。ただし、プロセッサはCPUに限定されるものではなく、GPU(Graphics Processing Unit)、或いはDSP(Digital Signal Processor)等、各種のプロセッサを用いることが可能である。またプロセッサはASICによるハードウェア回路でもよい。またプロセッサは、アナログ信号を処理するアンプ回路やフィルタ回路等を含んでもよい。メモリは、SRAM、DRAMなどの半導体メモリであってもよいし、レジスターであってもよいし、ハードディスク装置等の磁気記憶装置であってもよいし、光学ディスク装置等の光学式記憶装置であってもよい。例えば、メモリはコンピュータによって読み取り可能な命令を格納しており、当該命令をプロセッサが実行することによって、処理部4の各部の機能が処理として実現される。ここでの命令は、プログラムを構成する命令セットの命令でもよいし、プロセッサのハードウェア回路に対して動作を指示する命令であってもよい。
また、本実施形態の処理部4の各部は、プロセッサ上で動作するプログラムのモジュールとして実現されてもよい。例えば、画像処理部17は画像処理モジュールとして実現される。制御部18は、照明光の発光タイミングと撮像素子12の撮像タイミングの同期制御等を行う制御モジュールとして実現される。
また、本実施形態の処理部4の各部が行う処理を実現するプログラムは、例えばコンピュータによって読み取り可能な媒体である情報記憶装置に格納できる。情報記憶装置は、例えば光ディスク、メモリーカード、HDD、或いは半導体メモリなどを用いて実現できる。半導体メモリは例えばROMである。ここでの情報記憶装置は、図2のメモリ16であってもよいし、メモリ16と異なる情報記憶装置であってもよい。処理部4は、情報記憶装置に格納されるプログラムに基づいて本実施形態の種々の処理を行う。即ち情報記憶装置は、処理部4の各部としてコンピュータを機能させるためのプログラムを記憶する。コンピュータは、入力装置、処理部、記憶部、出力部を備える装置である。プログラムは、処理部4の各部の処理をコンピュータに実行させるためのプログラムである。
換言すれば、本実施形態の手法は、第1の光、第2の光及び第3の光を含む複数の照明光を照明部3に照射させ、照明部3の照射に基づく被検体からの戻り光を撮像し、第1の光の照射によって撮像された第1の画像、第2の光の照射によって撮像された第2の画像、及び第3の光の照射によって撮像された第3の画像に基づいて、表示画像を生成するステップをコンピュータに実行させるプログラムに適用できる。プログラムが実行するステップとは、図4~図6、図10、図12のフローチャートに示す各ステップである。第1~第3の光は、上述した通り、以下の特性を有する。即ち、第1の光のピーク波長におけるβカロテンの吸光度と第2の光のピーク波長におけるβカロテンの吸光度の差を第1吸光度差とし、第1の光のピーク波長におけるメトミオグロビンの吸光度と第2の光のピーク波長におけるメトミオグロビンの吸光度の差を第2吸光度差とした場合において、第1吸光度差は第2吸光度差に比べて小さく、第3の光のピーク波長は、第1の光のピーク波長及び第2の光のピーク波長と異なる。
2.2 強調処理と表示画像生成処理
図4は、内視鏡装置1の処理を説明するフローチャートである。この処理が開始されると、制御部18は、観察モードが白色光観察モードであるか否かを判定する(S101)。白色光観察モードである場合(S101でYes)、照明部3は図3(A)に示した3つの光B1,G1,R1に対応する3つの発光ダイオードを順次点灯させることによって、B1,G1,R1を順次照射する(S102)。撮像部10は、各照明光を照射したときの被写体における反射光を撮像素子12を用いて順次撮像する(S103)。S103では、B1の照射によるB1画像、G1の照射によるG1画像、R1の照射によるR1画像が順次撮像され、取得された画像(画像データ、画像情報)が順次メモリ16に記憶される。なお、3つの照明光の照射順序及び撮像順序については種々の変形実施が可能である。画像処理部17は、メモリ16に記憶された画像に基づいて、白色光観察モードに対応する画像処理を実行する(S104)。
図5は、S104の処理を説明するフローチャートである。画像処理部17は、S103の処理において取得した画像がB1画像、G1画像、R1画像のいずれであるかを判定する(S201)。B1画像である場合、画像処理部17は出力のBチャンネルにB1画像を割り当てることによって表示画像を更新する(S202)。同様に、G1画像である場合、画像処理部17は出力のGチャンネルにG1画像を割り当て(S203)、R1画像である場合、画像処理部17は出力のRチャンネルにR1画像を割り当てる(S204)。B1、G1、R1の3種類の照明光に対応する画像が取得された時点で、出力の3チャンネルの全てに画像が割り当てられるため、白色光画像が生成される。なお、白色光画像は、1フレームごとに更新されてもよいし、3フレームに1回の頻度で更新されてもよい。生成された白色光画像は、表示部6に送信され表示される。
図3(B)、図3(C)に示した通り、ミオグロビンが存在する領域においては、B1及びG1の波長帯域での吸収が、R1の波長帯域での吸収よりも大きい。そのため、ミオグロビンが存在する領域は、白色光画像において淡い赤色調に表示される。なお、具体的にはミオグロビンの濃度が高い粘膜層と、ミオグロビンの濃度が低い筋層とで色味は異なり、粘膜層は赤色に近い色で表示され、筋層は白色に近い色で表示される。
また、メトミオグロビンが存在する領域においては、ミオグロビンに比べてG1の吸収が小さくなる。そのため、メトミオグロビンが存在する領域は、黄色調に表示される。βカロテンが存在する領域においては、B1の波長帯域において吸収が非常に大きい。そのため、βカロテンが存在する領域は、黄色調に表示される。
メトミオグロビンが多く含まれる熱変性した筋層と、βカロテンが多く含まれる脂肪層はどちらも黄色調に表示されるため、互いを識別することが難しい。より具体的には、穿孔リスクの指標となる脂肪層の識別が難しい。
そこで本実施形態の内視鏡装置1は、白色光観察モードと異なる特殊光観察モードで動作を行う。なお観察モードの切り替えは、例えば外部I/F部19を用いて行われる。図4に戻って説明を行う。S101で特殊光観察モードであると判定された場合(S101でNo)、照明部3は図3(B)に示した4つの光B1,G2,G3,R1に対応する4つの発光ダイオードを順次点灯させることによって、B1,G2,G3,R1を順次照射する(S105)。撮像部10は、各照明光を照射したときの被写体における反射光を撮像素子12で順次撮像する(S106)。S106では、B1画像、G2画像、G3画像、R1画像が順次撮像され、取得された画像が順次メモリ16に記憶される。なお、4つの照明光の照射順序及び撮像順序については種々の変形実施が可能である。画像処理部17は、メモリ16に記憶された画像に基づいて、特殊光観察モードに対応する画像処理を実行する(S107)。
図6は、S107の処理を説明するフローチャートである。画像処理部17は、S106で取得した画像がB1画像、G2画像、G3画像、R1画像のいずれであるかを判定する(S301)。B1画像である場合、画像処理部17は出力のBチャンネルにB1画像を割り当てる(S302)。同様に、G2画像である場合、画像処理部17は出力のGチャンネルにG2画像を割り当て(S303)、R1画像である場合、画像処理部17は出力のRチャンネルにR1画像を割り当てる(S304)。
また、取得した画像がG3画像である場合、画像処理部17の強調量算出部17aは、G3画像と、取得済みのG2画像とに基づいて、強調量を算出する(S305)。そして画像処理部17の強調処理部17bは、算出した強調量に基づいて、表示画像に対する強調処理を行う(S306)。表示画像に対する強調処理とは、出力の各チャンネルに割り当てられるB1画像、G2画像、R1画像のうちの少なくとも1つの画像に対する強調処理である。
なお図6では、出力のGチャンネルにG2画像を割り当てる例を示した。G2はG3に比べて、G1の波長帯域との重複が大きいため、G2画像を用いることによって表示画像の演色性が向上すると考えられるためである。ただし出力のGチャンネルにG3画像を割り当ててもよい。また図6では、G3画像の取得タイミングにおいて、強調量の算出処理及び強調処理を行う例を示したが、G2画像の取得タイミングにおいて上記処理を実行してもよい。或いは、G2画像の取得タイミングとG3画像の取得タイミングの両方において強調量の算出処理及び強調処理を行ってもよい。
図3()、図3(C)に示した通り、G2の波長帯域はG3の波長帯域に比べてメトミオグロビンの吸光度が大きい波長帯域である。また、G2とG3は、ミオグロビンの吸光度の差が小さく、且つ、sカロテンの吸光度の差が小さい。従って、G2画像とG3画像の相関を求めた場合、相関が低い領域はメトミオグロビンを多く含む領域に対応し、相関が高い領域はミオグロビン又はsカロテンを多く含む領域に対応する。
具体的には、強調量算出部17aは、第1の画像の信号値と第2の画像の信号値の比率に基づいて、強調量を算出する。このようにすれば、第1の画像と第2の画像の相関を容易な演算によって求めることが可能になる。より具体的には、下式(1)によって強調量を算出する。
Emp(x,y)=G2(x,y)/G3(x,y) …(1)
上式(1)において、Empは強調量を表す強調量画像である。(x,y)は画像中の位置を表す。G2(x,y)はG2画像中の(x,y)における画素値を表し、G3(x,y)はG3画像中の(x,y)における画素値を表す。各(x,y)について上式(1)を演算することによって、強調量画像Empが取得される。換言すれば、1画素当たり1つの強調量が算出され、当該強調量の集合が強調量画像Empである。
なお上式(1)では、Emp>1となるときEmp=1として値をクリップする。図3()、図3(C)に示した通り、各色素の吸光度はG2の波長帯域が、G3の波長帯域に比べて大きい。同じ画素での画素値はG2画像<G3画像となると考えられるため、通常Emp≦1となる。Emp>1となる場合、術具などの生体以外のものが被写体であるか、ノイズが影響していると考えられる。その点、Emp=1を上限としてクリップすることによって、メトミオグロビンを含む領域のみを安定して強調可能な強調量を算出できる。なお、本実施形態の強調量とは、上式(1)に示した比率そのものに限定されず、比率に基づいて求められる種々の情報を含む。例えば、上記クリップ処理を行った結果も、本実施形態の強調量に含まれる。
強調処理部17bは、強調量に基づいて、表示画像に対して色変換処理を行う。具体的には、下式(2)を用いて出力のRチャンネルの値を調整する。
B’(x,y)=B(x,y)
G’(x,y)=G(x,y)
R’(x,y)=R(x,y)×Emp(x,y) …(2)
ここでB,G,Rは、それぞれ強調処理前のBチャンネル、Gチャンネル、Rチャンネルの画像である。本実施形態の例では、B(x,y)とはB1画像の(x,y)における画素値であり、G(x,y)とはG2画像の(x,y)における画素値であり、R(x,y)とはR1画像の(x,y)における画素値である。また、B’,G’,R’は、それぞれ強調処理後のBチャンネル、Gチャンネル、Rチャンネルの画像である。上式(2)に示した強調処理を行うことによって、メトミオグロビンを含む領域では赤色の信号値が小さくなる。
結果として、メトミオグロビンを多く含む熱変性した筋層は緑色調で表示される。ミオグロビン又はβカロテンを多く含む領域の色味の変化は少ない。よってミオグロビンを多く含む粘膜層及び筋層は赤色調~白色調で表示され、βカロテンを多く含む脂肪層は黄色調で表示される。このように本実施形態の手法によれば、手技の中で筋層が熱変性する可能性がある場合にも、筋層と脂肪層との境界を視認性の高い態様で表示することが可能である。特に本実施形態の手法をTUR-Btに適用した場合は、膀胱の腫瘍を摘出する際に、膀胱壁の穿孔を抑制することが可能になる。
2.3 変形例
以下、いくつかの変形例について説明する。
2.3.1 強調量算出処理、強調処理の変形例
上式(1)では、強調量算出部17aは、G2画像とG3画像の比率に基づいて強調量を算出した。ただし強調量算出部17aは、第1の画像の信号値と第2の画像の信号値の差分に基づいて、強調量を算出してもよい。具体的には、下式(3)を用いて強調量を算出する。
Emp(x,y)={G3(x,y)-G2(x,y)}/G3(x,y) …(3)
上式(3)では、Emp<0となるときEmp=0として値をクリップする。上式(1)の例と同様に、同じ画素での画素値はG2画像<G3画像となると考えられるため、通常0≦Emp≦1となる。Emp<0となる場合、術具などの生体以外のものが被写体であるか、ノイズが影響していると考えられる。その点、Emp=0を下限としてクリップすることによって、メトミオグロビンを含む領域のみを安定して強調可能な強調量を算出できる。なお、ここでの強調量は、差分そのものに限定されず、差分に基づいて求められる種々の情報を含む。例えば、上式(3)に示したようにG3(x,y)による正規化を行った結果、及びクリップ処理を行った結果も、強調量に含まれる。
なお、上式(3)を用いて求められる強調量は、画像間の相関が高いほど0に近く、相関が低いほど1に近づく。よってメトミオグロビンを多く含む領域、即ち画像間の相関が低い領域の赤色の信号値を小さくするという処理を、上式(3)の強調量画像Empを用いて実現する場合、強調処理部17bは下式(4)の演算を行う。
B’(x,y)=B(x,y)
G’(x,y)=G(x,y)
R’(x,y)=R(x,y)×{1-Emp(x,y)} …(4)
上式(3)及び(4)を用いた処理を行うことによって、メトミオグロビンを多く含む熱変性した筋層は緑色調で表示され、ミオグロビンを多く含む粘膜層及び筋層は赤色調~白色調で表示され、βカロテンを多く含む脂肪層は黄色調で表示される。
なお、以上では強調処理として、出力のRチャンネルの信号値を変化させる色変換処理の例を説明したが、強調処理もこれに限定されない。例えば強調処理部17bは、出力のGチャンネルの信号値を変化させる色変換処理、又は、出力のBチャンネルの信号値を変化させる色変換処理を行ってもよい。或いは強調処理部17bは、2以上のチャンネルの信号値を変化させる色変換処理を行ってもよい。
また強調処理部17bは、強調処理として、彩度変換処理を行ってもよい。彩度を強調する場合、合成画像のRGB色空間をHSV色空間に変換してもよい。HSV色空間への変換は、下式(5)~(9)を用いて行う。
H(x,y)=(G(x,y)-B(x,y))/(Max(RGB(x,y))-Min(RGB(x,y)))×60° …(5)
H(x,y)=(B(x,y)-R(x,y))/(Max(RGB(x,y))-Min(RGB(x,y)))×60°+120° …(6)
H(x,y)=(R(x,y)-G(x,y))/(Max(RGB(x,y))-Min(RGB(x,y)))×60°+240° …(7)
S(x,y)=(Max(RGB(x,y))-Min(RGB(x,y)))/(Max(RGB(x,y)) …(8)
V(x,y)=Max(RGB(x,y)) …(9)
なお、式(5)はB、G、Rの画像のうち、R画像の輝度値が最も高い場合である色相Hである。式(6)はB、G、Rの画像のうち、G画像の輝度値が最も高い場合である色相Hである。式(7)はB、G、Rの画像のうち、B画像の輝度値が最も高い場合である色相Hである。また上式(5)~(9)において、Sは彩度であり、Vは明度である。また、Max(RGB(x、y))は画像中の位置(x、y)におけるR、G、B画像の画素値が最も高い値であり、Min(RGB(x、y))は画像中の位置(x、y)におけるR、G、B画像の画素値が最も低い値である。
彩度を強調する場合、強調処理部17bは、上式(5)~(9)を用いて、HSV色空間へ変換した後、下式(10)を用いて、メトミオグロビンが含まれる領域の彩度を変化させる。
S'(x,y)=S(x,y)×1/(Emp(x,y)) …(10)
S’は強調後の彩度であり、Sは強調前の彩度である。強調量Empは0以上1以下の値をとるため、強調後の彩度は強調前と比べ、より大きな値となる。
強調処理部17bは、彩度を強調した後、下式(11)~(20)を用いてHSV色空間をRGB色空間へ戻す。なお下式(11)のfloorは切り捨て処理を表す。
h(x,y)=floor{H(x,y)/60} …(11)
P(x,y)=V(x,y)×(1-S(x,y)) …(12)
Q(x,y)=V(x,y)×(1-S(x,y)×(H(x,y)/60-h(x,y)) …(13)
T(x,y)=V(x,y)×(1-S(x,y)×(1-H(x,y)/60+h(x,y)) …(14)
h(x,y)=0のとき
B(x,y)=P(x,y)
G(x,y)=T(x,y)
R(x,y)=V(x,y) …(15)
h(x,y)=1のとき
B(x,y)=P(x,y)
G(x,y)=V(x,y)
R(x,y)=Q(x,y) …(16)
h(x,y)=2のとき
B(x,y)=T(x,y)
G(x,y)=V(x,y)
R(x,y)=P(x,y) …(17)
h(x,y)=3のとき
B(x,y)=V(x,y)
G(x,y)=Q(x,y)
R(x,y)=P(x,y) …(18)
h(x,y)=4のとき
B(x,y)=V(x,y)
G(x,y)=P(x,y)
R(x,y)=T(x,y) …(19)
h(x,y)=5のとき
B(x,y)=Q(x,y)
G(x,y)=P(x,y)
R(x,y)=V(x,y) …(20)
また、強調処理部17bは、色相変換処理を行ってもよい。強調処理部17bは、例えば彩度S及び明度Vの値を維持し、色相Hに対して強調量画像Empを作用させることによって、色相変換処理を実行する。
以上のように、本実施形態の強調処理は、脂肪層と熱変性した筋層の識別が容易となる処理、換言すれば脂肪層と熱変性した筋層の境界の視認性を向上させる処理であればよく、具体的な処理内容は種々の変形実施が可能である。
2.3.2 照明光に関する変形例
以上では、白色光観察モードと特殊光観察モードを切り替え可能であり、照明部3が図3(A)、図3(B)に示したように、B1,G1,R1,G2,G3の5つの照明光を照射する例を説明した。
上述した特殊光観察モードでは、図3(B)に示した通り、B1,G2,G3,R1の光を照射する4つの発光ダイオードを用いた。B1は青色の波長帯域に対応し、R1は赤色の波長帯域に対応する。またG2は緑色の波長帯域の狭帯域光である。そのため、B1画像を出力のBチャンネルに割り当て、G2画像を出力のGチャンネルに割り当て、R1画像を出力のRチャンネルに割り当てることによって、演色性の高い表示画像を生成することが可能である。
ただし本実施形態の手法は脂肪層と熱変性した筋層を識別可能な表示が可能な構成であればよく、演色性の高い表示画像の生成は必須の構成ではない。例えば、特殊光観察モードにおいてB1又はR1の発光を省略する変形実施が可能である。この場合、例えば表示画像の生成時に、省略した光の照射によって撮像した画像を割り当てていた出力チャンネルに、G3画像を割り当てる。
例えば、R1を照射する発光ダイオードを除く場合、出力のBチャンネルにB1画像を割り当て、出力のGチャンネルにG2画像を割り当て、出力のRチャンネルにG3画像を割り当てることによって、表示画像を生成する。B1を照射する発光ダイオードを除く場合、出力のBチャンネルにG3画像を割り当て、出力のGチャンネルにG2画像を割り当て、出力のRチャンネルにR1画像を割り当てることによって、表示画像を生成する。強調処理は、上記の例と同様にRチャンネルに対して行ってもよいし、他のチャンネルに対して行ってもよいし、彩度変換処理や色相変換処理を行ってもよい。なお、上述した3つの撮像画像と出力チャンネルとの対応関係は一例であり、各撮像画像を異なるチャンネルに割り当てて表示画像を生成してもよい。
この場合、特殊光観察モードでの表示画像は疑似カラーでの表示となるため、白色光観察モードと比べて術野の見え方が大きく異なる。即ち、演色性を考慮した場合、B1とR1の両方を用いることが望ましい。ただし、発光ダイオードを順次照射して撮像する場合、撮像タイミングが異なるため、画像間に位置ずれが生じる。B1とR1の両方を用いる場合、1周期が4フレームとなるが、いずれか一方を除く場合、1周期が3フレームとなる。即ち、位置ずれを抑制するという観点からすれば、B1とR1の一方を除いた方が有利である。
また本実施形態の手法は脂肪層と熱変性した筋層を識別することを目的としており、白色光観察モード自体は必須の構成ではない。そのため、図4のS101~S104、図5の処理を省略し、S105~S107、図6の処理を繰り返す構成であってもよい。この場合、G1を照射する発光ダイオードを省略可能であり、発光ダイオードはB1,G2,G3,R1に対応する4つ、或いは、B1とR1のいずれか一方を除いた3つとなる。
以上で説明したように、本実施形態の照明部3は、少なくとも第1の光(G2)及び第2の光(G3)に加えて、第3の光を照射する。第3の光は、青色の波長帯域にピーク波長を有する光、又は、赤色の波長帯域にピーク波長を有する光である。青色の波長帯域にピーク波長を有する光とは、450nm~500nmの波長帯域に対応する光(B1)である。赤色の波長帯域にピーク波長を有する光とは、600nm~650nmの波長帯域に対応する光(R1)である。ここで、450nm~500nmの波長帯域に対応する光とは、450nm~500nmの範囲において照射光の強度が所定閾値以上である光を表す。他の波長帯域に対応する光についても同様である。また、ここでの第3の光は、具体的には第1の光に比べて波長帯域が広く、且つ、第2の光に比べて波長帯域の広い光である。
本実施形態の第1の光と第2の光は、被写体がメトミオグロビンを多く含む領域であるか否かの識別に有効であるが、βカロテンを多く含む領域であるかミオグロビンを多く含む領域であるかの識別が難しい。その点、B1又はR1を追加することで、βカロテンとミオグロビンの識別が可能になる。
例えばB1の波長帯域では、βカロテンの吸光度はG2の波長帯域及びG3の波長帯域に比べて非常に大きい。そのため、脂肪層はB1画像が入力されるチャンネルの色味が抑えられ、G2画像及びG3画像が入力されるチャンネルの色味が支配的となる。一方、B1の波長帯域では、ミオグロビンの吸光度はG2の波長帯域及びG3の波長帯域に比べて小さい。そのため、筋層や粘膜層はB1画像が入力されるチャンネルの色味が相対的に強く、G2画像及びG3画像が入力されるチャンネルの色味が相対的に弱くなる。つまり、B1画像、G2画像、G3画像を各チャンネルに入力することによって表示画像を合成した場合に、脂肪層の色味と、筋層又は粘膜層の色味が異なる色味となり識別が容易である。
R1を追加した場合も同様であり、G2画像、G3画像、R1画像を各チャンネルに入力することによって表示画像を合成した場合に、脂肪層の色味と、筋層又は粘膜層の色味が異なる色味となる。
ただし表示画像の演色性を考慮すれば、第3の光に加えて第4の光を照射することが望ましい。第4の光の波長帯域は、可視光の波長帯域のうち、第1~第3の光でカバーされない波長帯域に設定される。具体的には、照明部3は、第3の光が青色の波長帯域にピーク波長を有する光(B1)である場合、赤色の波長帯域にピーク波長を有する光(R1)を第4の光として照射する。また照明部3は、第3の光が赤色の波長帯域にピーク波長を有する光(R1)である場合、青色の波長帯域にピーク波長を有する光(B1)を第4の光として照射する。
このようにすれば、特殊光観察モードにおいても、演色性の高い表示画像を生成することが可能になる。
2.3.3 他の変形例
また上記の例では、撮像素子12がモノクロ素子であることを想定したが、撮像素子12は、カラーフィルタを備えるカラー素子であってもよい。具体的には、撮像素子12はカラーCMOSであってもよいし、カラーCCDであってもよい。
図7は、撮像素子12が備えるカラーフィルタの分光特性の例である。カラーフィルタは、RGBのそれぞれに対応する波長帯域を透過する3つのフィルタを含む。カラーフィルタはベイヤ配列であってもよいし、他の配列であってもよい。またカラーフィルタは補色型のフィルタであってもよい。
或いは、撮像素子12は、複数のモノクロ素子から構成されてもよい。図8は内視鏡装置1の他の構成例である。内視鏡装置1の撮像部10は、被写体から戻る反射光を波長帯域ごとに分離する色分解プリズム20と、色分解プリズム20によって分離された各波長帯域の光を撮像する3つの撮像素子12a、12b、12cを含む。
撮像素子12がカラーフィルタを有する場合、又は、複数の素子(12a~12c)から構成される場合、照明部3が異なる複数の波長帯域の光を同時に照射し、撮像部10が、各波長帯域に対応する画像をそれぞれ撮像することが可能である。
例えば白色光観察モードでは、照明部3はB1、G1、R1を照射する発光ダイオードを同時に点灯させる。撮像部10は、B1画像、G1画像及びR1画像を同時に撮像することによって、白色光観察が可能になる。
特殊光観察モードでは、例えば照明部3は、B1とG3を照射する発光ダイオードの組み合わせと、G2とR1を照射する発光ダイオードの組み合わせを交互に点灯させる。撮像部10は、B1画像とG3画像の組み合わせ、及びG2画像とR1画像の組み合わせを2面順次方式によって撮影することによって、特殊光観察が可能になる。なお、ここでは色分離を考慮して上記組み合わせとしたが、G2とG3が同時に点灯する組み合わせ以外であれば、他の組み合わせを用いてもよい。
また、以上では各光の照射が発光ダイオードを用いて行われる例を説明したが、これに変えてレーザーダイオードを用いてもよい。特に、狭帯域光であるG2及びG3を、レーザーダイオードに置き換えてもよい。
また、照明部3の構成も図2に示した発光ダイオード13a~13e、ミラー14、ダイクロイックミラー15を含む構成に限定されない。例えば照明部3は、キセノンランプ等の白色光を照射する白色光源と、各照明光に対応する波長帯域を透過する色フィルタを有するフィルタターレットとを用いて、異なる波長帯域の光を順次照射してもよい。この場合、キセノンランプは、蛍光体と、当該蛍光体を励起するレーザーダイオードとの組み合わせに置き換えてもよい。
また、内視鏡装置として、制御装置とスコープが接続され、そのスコープをユーザが操作しながら体内を撮影するタイプを想定できる。但し、これに限定されず、本発明を適用した内視鏡装置として例えばロボットを用いた手術支援システム等を想定できる。
例えば、手術支援システムは、制御装置とロボットとスコープとを含む。スコープは例えば硬性鏡である。制御装置は、ロボットを制御する装置である。即ち、ユーザが制御装置の操作部を操作することによってロボットを動作させ、ロボットを用いて患者に対する手術を行う。また制御装置の操作部を操作することによって、ロボットを経由することによってスコープを操作し、手術領域を撮影する。制御装置は、図2の処理部4を含んでいる。ユーザは、処理部4が表示装置に表示した画像を見ながら、ロボットを操作する。本発明は、このような手術支援システムにおける制御装置に適用できる。なお、制御装置はロボットに内蔵されてもよい。
3.第2の実施形態
次に第2の実施形態について説明する。第1の実施形態と同様の構成、処理については説明を省略する。
図9(A)、図9(B)は、複数の発光ダイオード13a~13eの分光特性を表す図である。図9(A)、図9(B)の横軸は波長を表し、縦軸が照射光の強度を表す。本実施形態の照明部3は、青色の波長帯域の光B1、緑色の波長帯域の光G1、及び赤色の波長帯域の光R1を射出する3つの発光ダイオードを含む。各波長帯域は第1の実施形態と同様である。
さらに本実施形態の照明部3は、赤の波長帯域の狭帯域光R2及びR3を射出する2つの発光ダイオードを含む。本実施形態における第1の光はR2に対応し、第2の光はR3に対応する。即ち、第1の光は、630nm±10nmの範囲にピーク波長を有する狭帯域光であり、第2の光は、680nm±10nmの範囲にピーク波長を有する狭帯域光である。
図9(C)は、βカロテン、メトミオグロビン及びミオグロビンの吸光特性を示す図であり図3(C)と同様である。
R2及びR3を図9(B)に示した波長に設定した場合、R2の波長帯域でのβカロテンの吸光度とR3の波長帯域でのβカロテンの吸光度は略等しく、R2の波長帯域でのミオグロビンの吸光度とR3の波長帯域でのミオグロビンの吸光度が略等しい。このため、βカロテン又はミオグロビンを含む領域では、R2を照射して得られるR2画像の信号値と、R3を照射して得られるR3画像の信号値の差が小さい。
一方、メトミオグロビンについてはR2の波長帯域での吸光度が、R3の波長帯域での吸光度と比較して高い。そのため、メトミオグロビンが含まれる領域では、R3を照射して得られるR3画像の信号値に比べて、R2を照射して得られるR2画像の信号値が小さく、R2画像の方が暗くなる。
本実施形態の内視鏡装置1の処理は図4と同様である。また白色光観察モードにおける処理も図5と同様である。即ち、白色光観察モードである場合、照明部3は図9(A)に示した3つの光B1,G1,R1に対応する3つの発光ダイオードを順次点灯させることによって、B1,G1,R1を順次照射する(S102)。撮像部10は、各照明光を照射したときの被写体における反射光を撮像素子12を用いて順次撮像する(S103)。画像処理部17は、出力のBチャンネルにB1画像を割り当て、出力のGチャンネルにG1画像を割り当て、出力のRチャンネルにR1画像を割り当てる(S104、図5)。
一方特殊光観察モードであると判定された場合、照明部3は図9(B)に示した4つの光B1,G1,R2,R3に対応する4つの発光ダイオードを順次点灯させることによって、B1,G1,R2,R3を順次照射する(S105)。撮像部10は、各照明光を照射したときの被写体における反射光を撮像素子12で順次撮像する(S106)。第2の実施形態におけるS106では、B1画像、G1画像、R2画像、R3画像が順次撮像され、取得された画像が順次メモリ16に記憶される。
図10は、第2の実施形態におけるS107の処理を説明するフローチャートである。画像処理部17は、S106で取得した画像がB1画像、G1画像、R2画像、R3画像のいずれであるかを判定する(S401)。B1画像である場合、画像処理部17は出力のBチャンネルにB1画像を割り当てる(S402)。同様に、G1画像である場合、画像処理部17は出力のGチャンネルにG1画像を割り当て(S403)、R2画像である場合、画像処理部17は出力のRチャンネルにR2画像を割り当てる(S404)。
また、取得した画像がR3画像である場合、画像処理部17の強調量算出部17aは、R3画像と、取得済みのR2画像とに基づいて、強調量を算出する(S405)。そして画像処理部17の強調処理部17bは、算出した強調量に基づいて、表示画像に対する強調処理を行う(S406)。
R2及びR3は、βカロテン、メトミオグロビン、ミオグロビンの各色素の吸光度差に関して、G2及びG3と同様の特性を有する。よって強調量算出部17aは、上式(1)又は(3)と同様に、下式(21)又は(22)を用いて強調量を算出する。
Emp(x,y)=R2(x,y)/R3(x,y) …(21)
Emp(x,y)={R3(x,y)-R2(x,y)}/R3(x,y) …(22)
また強調処理部17bによる強調処理は、上式(2)を用いてもよいし、上式(4)を用いてもよい。或いは上述したように、Rチャンネル以外の信号値を変換する処理、彩度変換処理、色相変換処理等の種々の変形実施も可能である。
なお図10では、出力のRチャンネルにR2画像を割り当てる例を示した。R2はR3に比べて、R1の波長帯域との重複が大きいため、R2画像を用いることによって表示画像の演色性が向上すると考えられるためである。ただし出力のRチャンネルにR3画像を割り当ててもよい。また図10では、R3画像の取得タイミングで強調量の算出処理及び強調処理を行う例を示したが、R2画像の取得タイミングで上記処理を実行してもよい。或いは、R2画像の取得タイミングとR3画像の取得タイミングの両方で強調量の算出処理及び強調処理を行ってもよい。
また、第1の実施形態で説明した変形例は、本実施形態にも同様に適用可能である。即ち、B1とG1は演色性を考慮して両方をもちいてもよいし、いずれか一方を省略して疑似カラー画像を表示してもよい。
第2の実施形態における第3の光は、青色の波長帯域にピーク波長を有する光、又は、緑色の波長帯域にピーク波長を有する光である。青色の波長帯域にピーク波長を有する光とは、450nm~500nmの波長帯域に対応する光(B1)である。緑色の波長帯域にピーク波長を有する光とは、525nm~575nmの波長帯域に対応する光(G1)である。また、ここでの第3の光は、具体的には第1の光に比べて波長帯域が広く、且つ、第2の光に比べて波長帯域の広い光である。B1又はG1を追加することによって、βカロテンとミオグロビンの識別が可能になる。具体的には、B1画像、R2画像、R3画像を各チャンネルに入力することによって表示画像を合成した場合に、脂肪層の色味と、筋層又は粘膜層の色味が異なる色味となる。或いは、G1画像、R2画像、R3画像を各チャンネルに入力することによって表示画像を合成した場合に、脂肪層の色味と、筋層又は粘膜層の色味が異なる色味となる。
また照明部3は、第3の光が青色の波長帯域にピーク波長を有する光(B1)である場合、緑色の波長帯域にピーク波長を有する光(G1)を第4の光として照射してもよい。或いは、第3の光が緑色の波長帯域にピーク波長を有する光(G1)である場合、青色の波長帯域にピーク波長を有する光(B1)を第4の光として照射してもよい。このようにすれば、特殊光観察モードにおいても、演色性の高い表示画像を生成することが可能になる。
また撮像素子12及び照明部3について種々の変形実施が可能である点も第1の実施形態と同様である。
4.第3の実施形態
第1の実施形態及び第2の実施形態では、第1の光のピーク波長におけるミオグロビンの吸光度と、第2の光のピーク波長におけるミオグロビンの吸光度が略等しい例について説明した。この場合、第1の画像と第2の画像を用いることによって、被写体に多く含まれる色素がメトミオグロビンであるか、或いはβカロテン又はミオグロビンであるかを識別可能になる。即ち、撮像画像中には脂肪層、熱変性した筋層、筋層、粘膜層等の被写体が撮影されるが、そのうちの熱変性した筋層に対して、重点的に強調処理を行うことが可能になる。
ただし、メトミオグロビンとミオグロビンとの識別を他の手法によって実現可能であれば、第1の光と第2の光は、第1の吸光度差が第2の吸光度差よりも小さいという条件を満たせば足りる。換言すれば、第1の光のミオグロビンの吸光度と、第2の光のミオグロビンの吸光度とは関係は任意に設定可能になる。
図11(A)、図11(B)は、複数の発光ダイオードの分光特性を表す図である。図11(A)、図11(B)の横軸は波長を表し、縦軸が照射光の強度を表す。本実施形態の照明部3は、青色の波長帯域の光B1、緑色の波長帯域の光G1、及び赤色の波長帯域の光R1を射出する3つの発光ダイオードを含む。各波長帯域は第1の実施形態と同様である。
さらに本実施形態の照明部3は、緑の波長帯域の狭帯域光G2と、赤の波長帯域の狭帯域光R2を射出する2つの発光ダイオードを含む。
G2の波長帯域でのβカロテンの吸光度とR2の波長帯域でのβカロテンの吸光度は略等しい。このため、βカロテンを含む領域では、G2を照射して得られるG2画像の信号値と、R2を照射して得られるR2画像の信号値の差が小さい。
一方、メトミオグロビンについてはG2の波長帯域での吸光度が、R2の波長帯域での吸光度と比較して高い。そのため、メトミオグロビンが含まれる領域では、R2を照射して得られるR2画像の信号値に比べて、G2を照射して得られるG2画像の信号値が小さく、G2画像の方が暗くなる。
よって例えば下式(23)を用いて強調量を算出することによって、メトミオグロビンを多く含む熱変性した筋層の領域における信号値の変化量を大きくし、βカロテンを多く含む脂肪層の領域における信号値の変化量を小さくすることが可能になる。
Emp(x,y)=G2(x,y)/R2(x,y) …(23)
ただし、ミオグロビンについて、G2の波長帯域での吸光度が、R2の波長帯域での吸光度と比較して高い。そのため上式(23)を用いて求められるEmpを強調処理に用いた場合、ミオグロビンを多く含む領域、具体的には筋層や粘膜層に対しても、信号値を大きく変化させる強調処理が行われてしまう。
そこで本実施形態では、画像処理部17は、撮像画像中から、脂肪層又は熱変性した筋層のいずれかであると判定される領域を検出する。強調処理部17bは、検出された領域のみを対象として、強調量を用いた強調処理を実行する。このようにすれば、ミオグロビンを多く含む領域は検出処理の段階において除外されるため、不必要な強調処理を抑制可能である。
本実施形態の内視鏡装置1の処理は図4と同様である。また白色光観察モードにおける処理も図5と同様である。
一方特殊光観察モードであると判定された場合、照明部3は図11(B)に示した3つの光B1,G2,R2に対応する3つの発光ダイオードを順次点灯させることによって、B1,G2,R2を順次照射する(S105)。撮像部10は、各照明光を照射したときの被写体における反射光を撮像素子12を用いて順次撮像する(S106)。第3の実施形態におけるS106では、B1画像、G2画像、R2画像が順次撮像され、取得された画像が順次メモリ16に記憶される。
図12は、第3の実施形態におけるS107の処理を説明するフローチャートである。画像処理部17は、S106で取得した画像がB1画像、G2画像、R2画像のいずれであるかを判定する(S501)。B1画像である場合、画像処理部17は出力のBチャンネルにB1画像を割り当てる(S502)。同様に、G2画像である場合、画像処理部17は出力のGチャンネルにG2画像を割り当て(S503)、R2画像である場合、画像処理部17は出力のRチャンネルにR2画像を割り当てる(S504)。
また、取得した画像がR2画像である場合、画像処理部17の強調量算出部17aは、R2画像と、取得済みのG2画像とに基づいて、強調量を算出する(S505)。さらに画像処理部17は、強調処理前の表示画像に基づいて色判定処理を行い、黄色であると判定される領域を検出する(S506)。例えば画像処理部17は、RGBの各チャンネルの信号値に基づいて色差Cr,Cbを求め、Cr及びCbが所定範囲内の領域を黄色領域として検出する。
G2は緑色の波長帯域であり、R2は赤色の波長帯域である。よって、BチャンネルにB1画像を割り当て、GチャンネルにG2画像を割り当て、RチャンネルにR2画像を割り当てた場合、表示画像の演色性はある程度高くなる。結果として、脂肪層及び熱変性した筋層は黄色調で表示され、筋層や粘膜層は赤色調~白色調で表示される。即ち、特殊光観察モードにおいて、各出力チャンネルに割り当てられる画像に基づいて所定色の領域を検出することで、脂肪層及び熱変性した筋層のいずれかであると推定される領域を検出可能である。
そして画像処理部17の強調処理部17bは、S506で検出された黄色領域を対象として、S505で算出した強調量に基づく強調処理を行う(S507)。
本実施形態の手法でも、第1の実施形態及び第2の実施形態と同様に、脂肪層と熱変性した筋層を、識別が容易な態様で表示することが可能になる。各実施形態を比較した場合、第1の実施形態及び第2の実施形態は、黄色領域の検出処理が不要であり撮像画像全体を強調処理の対象とできるため、処理負荷が比較的軽いという点で利点がある。一方、第3の実施形態は、第1の光と第2の光の波長帯域を設定する際に、ミオグロビンの吸光度を考慮する必要がないため、波長帯域の設定の柔軟性が高いという点で利点がある。
なお、以上では黄色領域を検出する処理を例示したが、例えば赤色領域及び白色領域を検出し、撮像画像のうちの検出領域以外の領域を強調処理の対象とするといった変形実施が可能である。
また第1の光がG2であり、第2の光がR2である例を説明したが、本実施形態ではβカロテンに関する第1吸光度差とメトミオグロビンに関する第2吸光度差が、第1吸光度差<第2吸光度差となればよく、具体的な波長帯域は種々の変形実施が可能である。
また、第3の光の波長帯域についても種々の変形実施が可能である。例えば第3の光は、可視光の波長帯域のうち、第1の光及び第2の光でカバーされない波長帯域であればよく、B1には限定されない。また、以上では第1~第3の光を用いて演色性の高い表示画像が生成可能な例を示したが、第1~第3の光に基づいて疑似カラー画像を生成する変形実施も可能である。その場合、第4の光を追加することで表示画像の演色性を高くしてもよい。
また第1の実施形態及び第2の実施形態と同様に、強調量算出処理及び強調処理の内容は種々の変形実施が可能であるし、撮像素子12及び照明部3についても種々の変形実施が可能である。
以上、本発明を適用した実施形態およびその変形例について説明したが、本発明は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内において、構成要素を変形することによって具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例において説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。
1…内視鏡装置、2…挿入部、3…照明部、4…処理部、5…本体部、6…表示部、
7…照明光学系、8…ライトガイドケーブル、9…照明レンズ、10…撮像部、
11…対物レンズ、12,12a~12c…撮像素子、
13a~13e…発光ダイオード、14…ミラー、15…ダイクロイックミラー、
16…メモリ、17…画像処理部、17a…強調量算出部、17b…強調処理部、
18…制御部、19…外部I/F部、20…色分解プリズム

Claims (16)

  1. 第1の光、第2の光及び第3の光を含む複数の照明光を照射する照明部と、
    前記照明部の照射に基づく被検体からの戻り光を撮像する撮像部と、
    前記第1の光の照射によって撮像された第1の画像、前記第2の光の照射によって撮像された第2の画像、及び前記第3の光の照射によって撮像された第3の画像に基づいて、表示画像を生成する画像処理部と、
    を含み、
    前記第1の光のピーク波長におけるβカロテンの吸光度と、前記第2の光のピーク波長におけるβカロテンの吸光度の差を第1吸光度差とし、
    前記第1の光のピーク波長におけるメトミオグロビンの吸光度と、前記第2の光のピーク波長におけるメトミオグロビンの吸光度の差を第2吸光度差とした場合において、
    前記第1吸光度差は前記第2吸光度差に比べて小さく、
    前記第3の光のピーク波長は、前記第1の光のピーク波長及び前記第2の光のピーク波長と異なり、
    前記画像処理部は、
    前記第1の画像、前記第2の画像及び前記第3の画像に基づいて、前記被検体の熱変性した筋層と、前記被検体の脂肪層と、前記被検体の熱変成していない筋層とを、互いに識別可能な態様で表示する前記表示画像を生成することを特徴とする内視鏡装置。
  2. 請求項1において、
    前記第1の光のピーク波長におけるミオグロビンの吸光度と、前記第2の光のピーク波長におけるミオグロビンの吸光度の差を第3吸光度差とした場合において、
    前記第3吸光度差は前記第2吸光度差に比べて小さいことを特徴とする内視鏡装置。
  3. 請求項1において、
    前記第1の光は、540nm±10nmの範囲にピーク波長を有する狭帯域光であり、
    前記第2の光は、580nm±10nmの範囲にピーク波長を有する狭帯域光であることを特徴とする内視鏡装置。
  4. 請求項3において、
    前記第3の光は、青色の波長帯域にピーク波長を有する光、又は、赤色の波長帯域にピーク波長を有する光であることを特徴とする内視鏡装置。
  5. 請求項4において、
    前記照明部は、
    前記第3の光が前記青色の波長帯域にピーク波長を有する光である場合、前記赤色の波長帯域にピーク波長を有する光を第4の光として照射し、
    前記第3の光が前記赤色の波長帯域にピーク波長を有する光である場合、前記青色の波長帯域にピーク波長を有する光を前記第4の光として照射することを特徴とする内視鏡装置。
  6. 請求項4において、
    前記青色の波長帯域にピーク波長を有する光は、450nm~500nmの波長帯域に対応する光であり、
    前記赤色の波長帯域にピーク波長を有する光は、600nm~650nmの波長帯域に対応する光であることを特徴とする内視鏡装置。
  7. 請求項1において、
    前記第1の光は、630nm±10nmの範囲にピーク波長を有する狭帯域光であり、
    前記第2の光は、680nm±10nmの範囲にピーク波長を有する狭帯域光であることを特徴とする内視鏡装置。
  8. 請求項7において、
    前記第3の光は、青色の波長帯域にピーク波長を有する光、又は、緑色の波長帯域にピーク波長を有する光であることを特徴とする内視鏡装置。
  9. 請求項8において、
    前記照明部は、
    前記第3の光が前記青色の波長帯域にピーク波長を有する光である場合、前記緑色の波長帯域にピーク波長を有する光を第4の光として照射し、
    前記第3の光が前記緑色の波長帯域にピーク波長を有する光である場合、前記青色の波長帯域にピーク波長を有する光を前記第4の光として照射することを特徴とする内視鏡装置。
  10. 請求項8において、
    前記青色の波長帯域にピーク波長を有する光は、450nm~500nmの波長帯域に対応する光であり、
    前記緑色の波長帯域にピーク波長を有する光は、525nm~575nmの波長帯域に対応する光であることを特徴とする内視鏡装置。
  11. 請求項1において、
    前記画像処理部は、
    前記第1の画像と前記第2の画像の相関に基づいて、強調量を算出する強調量算出部と、
    前記強調量に基づいて前記表示画像に対して強調処理を行う強調処理部と、
    を含むことを特徴とする内視鏡装置。
  12. 請求項11において、
    前記強調量算出部は、
    前記第1の画像の信号値と前記第2の画像の信号値の比率又は差分に基づいて、前記強調量を算出することを特徴とする内視鏡装置。
  13. 請求項11において、
    前記強調処理部は、
    前記強調量に基づいて、前記表示画像に対して色変換処理を行うことを特徴とする内視鏡装置。
  14. 請求項1において、
    前記被検体は、膀胱壁であることを特徴とする内視鏡装置。
  15. 照明部と撮像部と画像処理部を含む内視鏡装置の作動方法であって、
    前記照明部が、第1の光、第2の光及び第3の光を含む複数の照明光を出射し、
    前記撮像部が、前記複数の照明光の出射に基づく被検体からの戻り光を撮像し、
    前記画像処理部が、前記第1の光の出射によって撮像された第1の画像、前記第2の光の出射によって撮像された第2の画像、及び前記第3の光の出射によって撮像された第3の画像に基づいて、表示画像を生成し、
    前記第1の光のピーク波長におけるβカロテンの吸光度と、前記第2の光のピーク波長におけるβカロテンの吸光度の差を第1吸光度差とし、
    前記第1の光のピーク波長におけるメトミオグロビンの吸光度と、前記第2の光のピーク波長におけるメトミオグロビンの吸光度の差を第2吸光度差とした場合において、
    前記第1吸光度差は前記第2吸光度差に比べて小さく、
    前記第3の光のピーク波長は、前記第1の光のピーク波長及び前記第2の光のピーク波長と異なり、
    前記画像処理部が、前記表示画像の生成において、
    前記第1の画像、前記第2の画像及び前記第3の画像に基づいて、前記被検体の熱変性した筋層と、前記被検体の脂肪層と、前記被検体の熱変成していない筋層とを、互いに識別可能な態様で表示する前記表示画像を生成することを特徴とする内視鏡装置の作動方法。
  16. 第1の光、第2の光及び第3の光を含む複数の照明光を照明部に照射させ、
    前記照明部の照射に基づく被検体からの戻り光を撮像し、
    前記第1の光の照射によって撮像された第1の画像、前記第2の光の照射によって撮像された第2の画像、及び前記第3の光の照射によって撮像された第3の画像に基づいて、表示画像を生成する、
    ステップをコンピュータに実行させ、
    前記第1の光のピーク波長におけるβカロテンの吸光度と、前記第2の光のピーク波長におけるβカロテンの吸光度の差を第1吸光度差とし、
    前記第1の光のピーク波長におけるメトミオグロビンの吸光度と、前記第2の光のピーク波長におけるメトミオグロビンの吸光度の差を第2吸光度差とした場合において、
    前記第1吸光度差は前記第2吸光度差に比べて小さく、
    前記第3の光のピーク波長は、前記第1の光のピーク波長及び前記第2の光のピーク波長と異なり、
    前記表示画像を生成するステップにおいて、
    前記第1の画像、前記第2の画像及び前記第3の画像に基づいて、前記被検体の熱変性した筋層と、前記被検体の脂肪層と、前記被検体の熱変成していない筋層とを、互いに識別可能な態様で表示する前記表示画像を生成することを特徴とするプログラム。
JP2020528571A 2018-07-03 2018-07-03 内視鏡装置、内視鏡装置の作動方法及びプログラム Active JP7090705B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/025210 WO2020008527A1 (ja) 2018-07-03 2018-07-03 内視鏡装置、内視鏡装置の作動方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2020008527A1 JPWO2020008527A1 (ja) 2021-07-08
JP7090705B2 true JP7090705B2 (ja) 2022-06-24

Family

ID=69060473

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020528571A Active JP7090705B2 (ja) 2018-07-03 2018-07-03 内視鏡装置、内視鏡装置の作動方法及びプログラム

Country Status (3)

Country Link
US (1) US20210100440A1 (ja)
JP (1) JP7090705B2 (ja)
WO (1) WO2020008527A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012170639A (ja) 2011-02-22 2012-09-10 Fujifilm Corp 内視鏡システム、および粘膜表層の毛細血管の強調画像表示方法
JP2016002133A (ja) 2014-06-13 2016-01-12 オリンパス株式会社 内視鏡
WO2016151672A1 (ja) 2015-03-20 2016-09-29 オリンパス株式会社 生体観察装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3228627B2 (ja) * 1993-03-19 2001-11-12 オリンパス光学工業株式会社 内視鏡用画像処理装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012170639A (ja) 2011-02-22 2012-09-10 Fujifilm Corp 内視鏡システム、および粘膜表層の毛細血管の強調画像表示方法
JP2016002133A (ja) 2014-06-13 2016-01-12 オリンパス株式会社 内視鏡
WO2016151672A1 (ja) 2015-03-20 2016-09-29 オリンパス株式会社 生体観察装置

Also Published As

Publication number Publication date
JPWO2020008527A1 (ja) 2021-07-08
WO2020008527A1 (ja) 2020-01-09
US20210100440A1 (en) 2021-04-08

Similar Documents

Publication Publication Date Title
US11381759B2 (en) Multi-function imaging
US9503692B2 (en) Image processing device, electronic apparatus, endoscope system, information storage device, and method of controlling image processing device
CN109068945B (zh) 图像处理装置、图像处理装置的工作方法及记录介质
JP5496075B2 (ja) 内視鏡診断装置
JP5501210B2 (ja) 画像処理装置
WO2011080996A1 (ja) 画像処理装置、電子機器、プログラム及び画像処理方法
US20120218394A1 (en) Image processing device, electronic apparatus, endoscope system, information storage device, and method of controlling image processing device
JP5808031B2 (ja) 内視鏡システム
JP5385188B2 (ja) 電子内視鏡システム
WO2017104046A1 (ja) 内視鏡装置
US20130113906A1 (en) Endoscope system, processor device thereof, and method for displaying oxygen saturation level
US20190041333A1 (en) Imaging method using fluoresence and associated image recording apparatus
JP6839773B2 (ja) 内視鏡システム、内視鏡システムの作動方法及びプロセッサ
US20210088772A1 (en) Endoscope apparatus, operation method of endoscope apparatus, and information storage media
JP7090705B2 (ja) 内視鏡装置、内視鏡装置の作動方法及びプログラム
JP7090706B2 (ja) 内視鏡装置、内視鏡装置の作動方法及びプログラム
WO2022071413A1 (ja) 画像処理装置、内視鏡システム、画像処理装置の作動方法、及び画像処理装置用プログラム
JP7123135B2 (ja) 内視鏡装置、内視鏡装置の作動方法及びプログラム
WO2022059233A1 (ja) 画像処理装置、内視鏡システム、画像処理装置の作動方法、及び画像処理装置用プログラム
WO2020188727A1 (ja) 内視鏡装置、内視鏡装置の作動方法及びプログラム
JP7090699B2 (ja) 内視鏡装置及び内視鏡装置の作動方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201211

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201211

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210803

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210927

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220309

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220531

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220614

R151 Written notification of patent or utility model registration

Ref document number: 7090705

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151