JP6481762B2 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP6481762B2
JP6481762B2 JP2017536902A JP2017536902A JP6481762B2 JP 6481762 B2 JP6481762 B2 JP 6481762B2 JP 2017536902 A JP2017536902 A JP 2017536902A JP 2017536902 A JP2017536902 A JP 2017536902A JP 6481762 B2 JP6481762 B2 JP 6481762B2
Authority
JP
Japan
Prior art keywords
light
fluorescence
image
spectral distribution
relative spectral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017536902A
Other languages
English (en)
Other versions
JPWO2017141291A1 (ja
Inventor
俊介 安木
俊介 安木
今川　太郎
太郎 今川
慎作 日浦
慎作 日浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Publication of JPWO2017141291A1 publication Critical patent/JPWO2017141291A1/ja
Application granted granted Critical
Publication of JP6481762B2 publication Critical patent/JP6481762B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00186—Optical arrangements with imaging filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655—Control therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N2021/6417—Spectrofluorimetric devices
    • G01N2021/6419—Excitation at two or more wavelengths
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N2021/6417—Spectrofluorimetric devices
    • G01N2021/6421—Measuring at two or more wavelengths

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Endoscopes (AREA)

Description

本開示は、被写体に励起光を照射して、被写体が放出した蛍光の相対分光分布を算出する撮像装置に関する。
特許文献１は、光源部と、励起光カットフィルタ部と、カラーフィルタ部と、撮像部と、画像処理部と、を有する内視鏡装置を開示する。光源部は、蛍光物質が投与された生体組織へ第１の波長帯域の励起光と、第２の波長帯域の参照光と、を出射する。励起光カットフィルタ部は、励起光を遮断する。カラーフィルタ部は、蛍光物質から発せられる蛍光の波長帯域を含む第３の波長帯域の透過率が相対的に高い第１のフィルタと、第２の波長帯域の透過率が相対的に高い第２のフィルタと、を具備する。撮像部は、蛍光物質が投与された生体組織へ励起光及び参照光が同時に出射された際に受光される戻り光の強度に応じた画像を生成する。画像処理部は、画像に含まれる各色成分から、蛍光の受光によって生じる信号成分を分離した第１の画像と、参照光の受光によって生じる信号成分を分離した第２の画像と、をそれぞれ取得する。
これにより、安価かつ汎用性の高い構成により蛍光観察を実施することができる。
国際公開第２０１３／０８４５６６号
本開示は、簡易な構成で高解像度の蛍光の相対分光分布を算出する撮像装置を提供する。
本開示における撮像装置は、照明部と、撮像部と、メモリと、演算部とを備える。照明部は、互いに異なる相対分光分布を有する励起光を発光する複数の光源を有し、光源毎に被写体に励起光を照射する。撮像部は、光源毎に、被写体が励起光により放出した蛍光と、被写体が励起光を反射した反射光とを同時に撮像し、撮像画像を生成する。メモリは、光源毎の反射光の相対分光分布に関する情報を記憶する。演算部は、メモリが記憶している光源毎の反射光の相対分光分布に関する情報と、撮像部により生成された光源毎の撮像画像とを用いて、被写体が放出する蛍光の相対分光分布を算出する。
本開示によれば、簡易な構成で高解像度の蛍光の相対分光分布を算出する撮像装置を提供することができる。
図１は、実施の形態１における撮像装置の構成を示すブロック図である。 図２は、実施の形態１における撮像装置の動作を説明するためのフローチャートである。 図３は、実施の形態２における撮像装置の動作を説明するためのフローチャートである。 図４は、分光分布をＲＧＢベクトルで表現した図である。
（本開示に至った経緯）
励起光を照射されて蛍光を放出する被写体は、蛍光と被写体が励起光を反射した反射光とが混ざりあった観測光を放出することになる。そのため、蛍光を撮像するための撮像装置は、観測光から蛍光と反射光とを分ける必要がある。
従来から、撮像部としてハイパースペクトルカメラを備える構成の撮像装置が知られている。ハイパースペクトルカメラは波長分解能が高いために、後述するように互いに波長が異なる蛍光と反射光とを分けることができる。しかし、ハイパースペクトルカメラが二次元状に蛍光を撮像するためには、走査して蛍光を撮像する必要がある。そのため、ハイパースペクトルカメラを備える構成の撮像装置では、高い空間分解能と高い時間分解能とを両立させることが困難である。すなわち、上記の撮像装置では、高解像度の蛍光の相対分光分布を取得することは困難である。また、一般的にハイパースペクトルカメラは高価であるため、撮像装置も高価になってしまう。
また、従来から、特許文献１に示すような、カラーフィルタを備える構成の撮像装置が知られている。カラーフィルタを備える構成の撮像装置は、走査しなくとも蛍光を撮像できるが、蛍光と反射光とを分けて取得するためには、カラーフィルタを切り替える必要がある。このため、撮像装置の構成が複雑になる。
すなわち、従来までの撮像装置では、簡易な構成で高解像度の蛍光の相対分光分布を取得することが困難であった。
そこで、本開示における撮像装置は、例えばＲＧＢカメラのような空間分解能と時間分解能が高い撮像部を備え、演算によって蛍光の相対分光分布を算出する。これにより、簡易な構成で高解像度の蛍光の相対分光分布を算出する撮像装置が実現できる。
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより請求の範囲に記載の主題を限定することは意図されていない。
（実施の形態１）
以下、図１〜図２を用いて、実施の形態１を説明する。
［１−１．構成］
［１−１−１．蛍光と分光分布］
蛍光は、物質が放出する光であり、その物質のもつ特性を反映している。そのため、蛍光は、物質の定性的、定量的な解析に利用することができる。蛍光は、蛍光を発生させることができる特定の範囲の波長を有する光（励起光）を物質に照射した際に発生し、基本的に励起光の波長より長い波長を有する。
分光分布は、例えば光を回折格子で連続的に波長ごとに分離して得られる、横軸に光の波長を、縦軸に各波長における光の強度を表したものである。例えば、蛍光の分光分布には、その分布形状に蛍光を放出する物質のもつ定性的な情報が反映されており、その全体的な強度に蛍光を放出する物質のもつ定量的な情報が反映されている。また、定性的な情報を表した分光分布を相対分光分布という。すなわち、本開示において、互いに異なる強度を有する分光分布であっても、それぞれ同じ分布形状を有する分光分布であれば、その各分光分布を同一の相対分光分布として扱う。本開示における分光分布は、連続的な波長ごとの分布であってもよいし、離散的な波長ごとの分布であってもよい。また、本開示における分光分布は、後述するＲＧＢベクトルのような波長方向に積分を実施して色情報に変換した分布であってもよい。
蛍光は、蛍光を発生させることができる波長を有する励起光であればどの波長を有する励起光を用いても、相対分光分布は変化しないという特徴を持つ。すなわち、互いに異なる波長を有する励起光を物質に照射しても、物質から放出される各蛍光の相対分光分布は同じである。
本開示の撮像装置は、蛍光の相対分光分布が励起光の相対分光分布によって変化しない点を利用している。
［１−１−２．ＲＧＢベクトル］
本実施の形態では、ＲＧＢカメラで撮像した撮像画像の各画素のＲＧＢ値を三次元のベクトルとしてとらえ、ＲＧＢ値をＲＧＢベクトルと標記する。以下、ＲＧＢベクトルの方向と長さについて説明する。
ＲＧＢベクトルの方向とは、ＲＧＢの各色の比率を反映した情報であり、光を放出する物質の定性的な特性に関する情報を含む。つまり、ＲＧＢベクトルの方向は、相対分光分布に関係する。ＲＧＢベクトルの方向としては、例えば長さを１で正規化したＲＧＢベクトルを用いることができる。一方、ＲＧＢベクトルの長さとは、ＲＧＢの全体的な強度を反映した値であり、光を放出する物質の定量的な特性に関する情報を含む。
ある分光分布を有する光を、ＲＧＢカメラで撮像した場合、撮像画像のある画素のＲＧＢベクトルの各値は、光の分光分布に撮像素子のＲ（赤）、Ｇ（緑）、Ｂ（青）の各分光感度特性をそれぞれ掛け算し、さらに積分した値となる。そのため、同一のＲＧＢカメラで撮像した場合に、光の相対分光分布が同じであれば、ＲＧＢベクトルの方向は同じとなる。つまりＲＧＢベクトルの方向は、光の相対分光分布の情報を含む。また、光の相対分光分布が同じまま強度のみが変化すると、ＲＧＢベクトルの長さのみが変化する。つまり、ＲＧＢベクトルの長さは、光の分光分布の強度に関する情報を含む。なお、本実施の形態では、ＲＧＢベクトルも分光分布の一つであり、またＲＧＢベクトルの方向も相対分光分布の一つであるととらえる。そのため、ＲＧＢベクトルを分光分布とも標記し、ＲＧＢベクトルの方向を相対分光分布とも標記する。
ここで、ある蛍光を発生させる物質に、ある強度の励起光を照射して得られた蛍光のＲＧＢベクトルをベクトルＶ１とし、２倍の強度の励起光を照射して得られた蛍光のＲＧＢベクトルをベクトルＶ２とする。そうすると、ベクトルＶ１とベクトルＶ２の方向は変わらないが、ベクトルＶ２の長さはベクトルＶ１の長さの２倍となる。
［１−１−３．撮像装置の構成］
図１は、実施の形態１における撮像装置１００の構成を示すブロック図である。
撮像装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１０、照明部１２０、撮像部１３０、メモリ１４０、演算部１５０を備える。照明部１２０は、光源１２１および光源１２２を有する。
ＣＰＵ１１０は、各部の動作を制御する。例えば、ＣＰＵ１１０は、照明部１２０に対して、光源１２１、光源１２２のオンオフを制御する。また、ＣＰＵ１１０は、撮像部１３０に対して、撮像を指示する。
照明部１２０は、互いに異なる相対分光分布を有する励起光を発光する光源１２１、光源１２２を有し、光源毎に被写体２００に励起光を照射する。本実施の形態では、光源１２１は、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）であり、波長４３０ｎｍを中心とした狭波長帯域の相対分光分布を有する励起光Ｌ１を発光する。また、光源１２２は、ＬＥＤであり、波長４５０ｎｍを中心とした狭波長帯域の相対分光分布を有する励起光Ｌ２を発光する。照明部１２０は、ＣＰＵ１１０の制御に従って、光源１２１または光源１２２を発光させ、励起光を被写体２００へ照射する。
被写体２００は、光源１２１からの励起光Ｌ１及び光源１２２からの励起光Ｌ２のそれぞれの照射により、同一の相対分光分布を有する蛍光を放出する。被写体２００は、励起光を照射されると、励起光を反射した反射光と、励起光により放出した蛍光とが混ざり合った観測光を放出する。図１において、被写体２００が励起光Ｌ１に対して放出した観測光４０１は、反射光Ｒ１と蛍光Ｆ１が混ざりあった光である。また、被写体２００が励起光Ｌ２に対して放出した観測光４０２は、反射光Ｒ２と蛍光Ｆ２が混ざりあった光である。
撮像部１３０は、レンズと撮像素子とを備える。撮像部１３０が備えるレンズは、被写体２００から放出される観測光４０１または観測光４０２による被写体２００の像を撮像素子に結像させる。撮像部１３０が備える撮像素子は、ＲＧＢのベイヤ配列の画素を有し、３色のカラー撮像が可能である。撮像部１３０は、光源毎に、被写体２００が励起光により放出した蛍光と、被写体２００が励起光を反射した反射光とを同時に撮像し、撮像画像を生成する。すなわち、撮像部１３０は、光源毎に励起光と蛍光が混ざりあった観測光を撮像し、撮像画像を生成する。撮像部１３０は、被写体２００の像をカラーの撮像画像として撮像し、メモリ１４０に記憶させる。本実施の形態では、撮像部１３０として、空間分解能と時間分解能が高いＲＧＢカメラを用いている。ＲＧＢカメラは、ハイパースペクトルカメラに対して、比較的安価である。ＲＧＢカメラでは、蛍光と反射光が同じ画素に入り、混合された状態で撮像される。
メモリ１４０は、撮像部１３０が生成した撮像画像を記憶する。また、メモリ１４０は、演算部１５０のワークメモリとして使用される。さらに、メモリ１４０は、光源毎の反射光の相対分光分布に関する情報を記憶する。実施の形態１においては、メモリ１４０は、光源毎の反射光の相対分光分布に関する情報として、光源１２１及び光源１２２の各分光情報を記憶する。ここで、光源１２１及び光源１２２の各分光情報とは、各光源の励起光の相対分光分布に関する情報である。各光源の励起光の相対分光分布に関する情報とは、より詳しくは、各光源の励起光をそれぞれ撮像部１３０で撮像した場合のＲＧＢベクトルの方向に関する情報である。すなわち、各光源の励起光の相対分光分布に関する情報とは、各励起光のＲＧＢベクトルである。ここで、メモリ１４０が記憶する各励起光のＲＧＢベクトルの長さは、１になるように正規化されているとする。なお、メモリ１４０が記憶する各励起光のＲＧＢベクトルの長さは、１になるように正規化されていなくてもよく、任意の長さであってもよいし、各励起光の強度の情報を反映させた長さであってもよい。
演算部１５０は、メモリ１４０が記憶している光源毎の反射光の相対分光分布に関する情報と、撮像部１３０により撮像された光源毎の撮像画像とを用いて、被写体２００が放出する蛍光の相対分光分布を算出する。実施の形態１において、演算部１５０は、光源毎の分光情報、すなわち光源１２１及び光源１２２の各分光情報と、撮像部１３０により撮像された光源毎の撮像画像とを用いて、後述する演算処理を行い、蛍光の相対分光分布を算出する。演算部１５０は、異なる相対分光分布を有する励起光を各々被写体２００に照射させて得られる複数の観測光の分光分布には、共通の蛍光の相対分光分布が含まれることを利用して、蛍光の相対分光分布を算出する。本実施の形態では、蛍光Ｆ１と蛍光Ｆ２は共通の相対分光分布、すなわち同一方向を持つＲＧＢベクトルを有する。
また、演算部１５０は、蛍光Ｆ１及び蛍光Ｆ２の分光分布、すなわちＲＧＢベクトルも算出する。さらに、演算部１５０は、算出した蛍光の相対分光分布、つまり同一方向を持つ蛍光のＲＧＢベクトルを用いて、反射光の分光分布、つまり反射光のＲＧＢベクトルを算出する。演算部１５０は、蛍光の分光分布、つまり蛍光のＲＧＢベクトルを用いて蛍光画像を算出し、反射光の分光分布、つまり反射光のＲＧＢベクトルを用いて反射光画像を算出する。すなわち、演算部１５０は、撮像画像より蛍光画像と反射光画像を算出する。言い換えると、演算部１５０は、撮像画像を蛍光画像と反射光画像に分離する。
なお、本実施の形態では、被写体２００の撮像時に用いる光源は、光源１２１、光源１２２のみとし、被写体２００は暗室内で撮像されているとする。また、撮像部１３０は所定の画角で被写体２００を撮像し、被写体２００は静止しているとする。つまり、撮像部１３０が撮像する被写体２００の各撮像画像において、被写体２００は同じ位置関係で撮像されているとする。
［１−２．動作］
［１−２−１．撮像装置の動作］
以上のように構成された撮像装置１００について、その動作を以下説明する。
図２は、撮像装置１００の動作を説明するためのフローチャートである。
（ステップＳ２０１）ＣＰＵ１１０は、光源１２１をオンにするよう照明部１２０を制御する。照明部１２０は、光源１２１をオンにし、励起光Ｌ１を被写体２００へ照射する。被写体２００は、励起光Ｌ１を照射されると、反射光Ｒ１と蛍光Ｆ１が混ぜ合わさった観測光４０１を放出する。
（ステップＳ２０２）ＣＰＵ１１０は、励起光Ｌ１が照射された状態で、撮像部１３０に被写体２００を撮像させる。撮像部１３０は、被写体２００が放出した観測光４０１を撮像し、画像１を生成する。画像１は、被写体２００が励起光Ｌ１により放出した蛍光Ｆ１と、被写体２００が励起光Ｌ１を反射した反射光Ｒ１とを同時に含んだ撮像画像となる。撮像部１３０は、画像１をメモリ１４０に記憶させる。
（ステップＳ２０３）ＣＰＵ１１０は、ステップＳ２０２の撮像が終わると、光源１２１をオフにするよう照明部１２０を制御する。照明部１２０は、光源１２１をオフにする。
（ステップＳ２０４）ＣＰＵ１１０は、光源１２２をオンにするよう照明部１２０を制御する。照明部１２０は、光源１２２をオンにし、励起光Ｌ２を被写体２００へ照射する。被写体２００は、励起光Ｌ２を照射されると、反射光Ｒ２と蛍光Ｆ２が混ぜ合わさった観測光４０２を放出する。
（ステップＳ２０５）ＣＰＵ１１０は、励起光Ｌ２が照射された状態で、撮像部１３０に被写体２００を撮像させる。撮像部１３０は、被写体２００が放出した観測光４０２を撮像し、画像２を生成する。画像２は、被写体２００が励起光Ｌ２により放出した蛍光Ｆ２と、被写体２００が励起光Ｌ２を反射した反射光Ｒ２とを同時に含んだ撮像画像となる。撮像部１３０は、画像２をメモリ１４０に記憶させる。
（ステップＳ２０６）ＣＰＵ１１０は、ステップＳ２０５の撮像が終わると、光源１２２をオフにするよう照明部１２０を制御する。照明部１２０は、光源１２２をオフにする。
（ステップＳ２０７）ＣＰＵ１１０は、演算部１５０に、メモリ１４０が記憶している画像１及び画像２と、光源１２１及び光源１２２の各分光情報とを用いて、蛍光の相対分光分布を算出させる。演算部１５０は、画像１及び画像２の各画素で蛍光の相対分光分布を算出する。演算部１５０は、算出した蛍光の相対分光分布を用いて蛍光画像を算出する。また、演算部１５０は、画像１及び画像２と、光源１２１及び光源１２２の各分光情報と、算出した蛍光の相対分光分布とを用いて、反射光画像を算出してもよい。
［１−２−２．蛍光の相対分光分布の算出］
ステップＳ２０７の演算の詳細を述べる。
演算は、画像１及び画像２において、それぞれ空間的に同じ位置となる画素を用いて行われる。撮像部１３０が備えるカラー撮像が可能な撮像素子は、複数の色フィルタを市松状に配置したベイヤ配列構造を有する。そのため、１画素の中には１色の値しか含まれていない。そのため、周辺画素の色の値を用いた補間処理によって、画素に含まれていない色の値を作り出すことを行い、１画素中に複数色の値を持たせる必要がある。１画素中に複数色の値を持たせる方法は、補間処理に限らず任意の方法を用いてよい。なお、ベイヤ配列構造を有する撮像素子の他に、デバイスの状態から１画素中に複数色の値を含むような撮像素子も存在するため、撮像部１３０はそのような撮像素子を備えてもよい。
以下、蛍光を放出している被写体２００を撮像した画素を対象として説明する。画像１において被写体２００を撮像した画素を画素ｐ１として、画像２において画素ｐ１と空間的に同じ位置にある画素を画素ｐ２として説明する。また、各ＲＧＢベクトルは、撮像素子の分光感度特性を含んだベクトルである。また、励起光Ｌ１及び励起光Ｌ２の各ＲＧＢベクトルは各励起光の強度によって任意の長さとできるため、本実施の形態において、正規化された各励起光のＲＧＢベクトルを演算に用いている。
画素ｐ１のＲＧＢベクトルは、反射光Ｒ１のＲＧＢベクトルと蛍光Ｆ１のＲＧＢベクトルの和となっている。同様に、画素ｐ２のＲＧＢベクトルは、反射光Ｒ２のＲＧＢベクトルと蛍光Ｆ２のＲＧＢベクトルの和となっている。ここで、光源１２１及び光源１２２は狭波長帯域のＬＥＤであるため、反射光Ｒ１及び反射光Ｒ２の各ＲＧＢベクトルの方向は、各々励起光Ｌ１及び励起光Ｌ２の各ＲＧＢベクトルの方向と同一と見なすことができる。従って、画像１において、反射光Ｒ１のＲＧＢベクトルの方向と、メモリ１４０で記憶している励起光Ｌ１のＲＧＢベクトルの方向とは同一と見なすことができる。同様に、画像２において、反射光Ｒ２のＲＧＢベクトルの方向と、メモリ１４０で記憶している励起光Ｌ２のＲＧＢベクトルの方向とは同一と見なすことができる。
このことより、画素ｐ１のＲＧＢベクトルは、励起光Ｌ１のＲＧＢベクトルと、蛍光Ｆ１のＲＧＢベクトルの方向を示すベクトルとの線形結合として表現できる。同様に、画素ｐ２のＲＧＢベクトルは、励起光Ｌ２のＲＧＢベクトルと、蛍光Ｆ２のＲＧＢベクトルの方向を示すベクトルとの線形結合として表現できる。なお、画素ｐ１及び画素ｐ２には、それぞれ同一の相対分光分布を持つ蛍光が含まれるため、蛍光Ｆ１のＲＧＢベクトル及び蛍光Ｆ２のＲＧＢベクトルは、それぞれ方向が同じベクトルとして表現できる。
ここで、画素ｐ１のＲＧＢベクトルをベクトルＩ１＝（Ｉ１Ｒ，Ｉ１Ｇ，Ｉ１Ｂ）とし、励起光Ｌ１のＲＧＢベクトルをベクトルｒ１＝（ｒ１Ｒ，ｒ１Ｇ，ｒ１Ｂ）とし、蛍光Ｆ１のＲＧＢベクトルの方向を示すベクトルをベクトルｆ＝（ｆＲ，ｆＧ，ｆＢ）とする。これにより、ベクトルＩ１は次式で表される。
Figure 0006481762
ただし、ａ１は、ベクトルｒ１の重み、ｂ１は、ベクトルｆの重みである。
また、画素ｐ２のＲＧＢベクトルをベクトルＩ２＝（Ｉ２Ｒ，Ｉ２Ｇ，Ｉ２Ｂ）とし、励起光Ｌ２のＲＧＢベクトルをベクトルｒ２＝（ｒ２Ｒ，ｒ２Ｇ，ｒ２Ｂ）とする。蛍光Ｆ２のＲＧＢベクトルの方向を示すベクトルは、蛍光Ｆ１のＲＧＢベクトルの方向を示すベクトルと同じベクトルｆで表すことができる。これにより、ベクトルＩ２は次式で表される。
Figure 0006481762
ただし、ａ２は、ベクトルｒ２の重み、ｂ２は、ベクトルｆの重みである。
ここで、蛍光Ｆ１と蛍光Ｆ２の各ＲＧＢベクトルにおいては、ベクトルｆの長さと、重みｂ１、ｂ２の大きさの不定性を解消するため、ｂ１を１に固定する。これにより、未知数の数を１つ削減できる。
これにより、画素ｐ１に含まれる蛍光Ｆ１の強度は、ベクトルｆの長さに反映される。一方、画素ｐ２に含まれる蛍光Ｆ２の強度は、画素ｐ１に含まれる蛍光Ｆ１の強度に対する比率として、重みｂ２に反映される。
以上により、（数１）、（数２）から、未知数がａ１、ａ２、ｂ２、ｆＲ、ｆＧ、ｆＢの６つである６個の方程式が得られるため、各未知数を算出することが可能となる。
また、ｂ１を未知数のままとして、ベクトルｆの長さを任意の定数に正規化する式を加えて、未知数が７つである７個の方程式として、各未知数を算出してもよい。
さらに、画素ｐ１において、ａ１とベクトルｒ１の積から、画素ｐ１の反射光Ｒ１のＲＧＢベクトルを算出することができる。また、ｂ１（＝１）とベクトルｆの積から、画素ｐ１の蛍光Ｆ１のＲＧＢベクトルを算出することができる。これらはそれぞれ、（数１）の右辺の第一項と第二項に相当する。
また、画素ｐ２において、ａ２とベクトルｒ２の積から、画素ｐ２の反射光Ｒ２のＲＧＢベクトルを算出することができる。また、ｂ２とベクトルｆの積から、画素ｐ２の蛍光Ｆ２のＲＧＢベクトルを算出することができる。これらはそれぞれ、（数２）の右辺の第一項と第二項に相当する。
以上の演算を行うことにより、演算部１５０は、画像１及び画像２を用いて、蛍光の相対分光分布を算出することができる。また、以上の演算を全対象画素で行うことにより、蛍光の相対分光分布を反映する画像を算出することができる。また、演算部１５０は、算出した蛍光の相対分光分布と、光源１２１及び光源１２２の各分光情報とを用いて、反射光画像と蛍光画像を算出することができる。すなわち、演算部１５０は、算出した蛍光の相対分光分布及び反射光の相対分光分布に関する情報を用いて、蛍光画像を算出することができる。また、演算部１５０は、算出した蛍光の相対分光分布及び反射光の相対分光分布に関する情報を用いて、反射光画像を算出することができる。これにより、画像１から、画像１に含まれる反射光画像と蛍光画像とが分離され、画像２から、画像２に含まれる反射光画像と蛍光画像とが分離される。画像１、画像２のそれぞれから分離した反射光画像と蛍光画像は、各画素にＲＧＢベクトルを有しているため、カラー画像となる。
［１−３．まとめ］
実施の形態１の撮像装置１００は、照明部１２０と、撮像部１３０と、メモリ１４０と、演算部１５０とを備える。照明部１２０は、互いに異なる相対分光分布を有する励起光を発光する光源１２１、光源１２２を有し、光源毎に被写体２００に励起光を照射する。撮像部１３０は、光源毎に、被写体２００が励起光により放出した蛍光と、被写体２００が励起光を反射した反射光とを同時に撮像し、撮像画像を生成する。メモリ１４０は、光源１２１、光源１２２の各励起光の相対分光分布に関する情報を記憶する。演算部１５０は、メモリ１４０が記憶している光源毎の励起光の相対分光分布に関する情報と、撮像部１３０により生成された画像１、画像２とを用いて、被写体２００が放出する蛍光の相対分光分布を算出する。
これにより、演算部１５０は、演算により蛍光の相対分光分布を算出することができる。また、演算部１５０は、蛍光の相対分光分布を用いて蛍光画像を算出することができる。さらに、演算部１５０は、光源１２１及び光源１２２の各分光情報、つまり各励起光の相対分光分布に関する情報を用いて、反射光画像を算出することができる。
従って、撮像装置１００は、複数の光源を用いて撮像した複数の撮像画像を用いて、各々の撮像画像から蛍光画像と反射光画像とを分離することができる。
（実施の形態２）
［２−１．動作］
［２−１−１．撮像装置の動作］
以下、図３〜図４を用いて、実施の形態２を説明する。
実施の形態２における撮像装置の構成は、実施の形態１と同様であり、演算部１５０の動作のみ異なる。従って、実施の形態２では、演算部１５０の動作のみ説明する。
図３は、撮像装置１００の動作を説明するためのフローチャートである。図３において、図２のフローチャート同様の動作に関しては同符号を付与し、説明を省略する。
（ステップＳ３０７）ＣＰＵ１１０は、演算部１５０に、メモリ１４０が記憶している画像１及び画像２と、光源１２１及び光源１２２の各分光情報である各励起光のＲＧＢベクトルとを用いて、画素単位で蛍光のＲＧＢベクトルの方向を算出させる。
（ステップＳ３０８）ＣＰＵ１１０は、演算部１５０に、メモリ１４０が記憶している画像１及び画像２から、各々蛍光画像と反射光画像を算出させる。すなわち、演算部１５０は、画像１及び画像２と、光源１２１及び光源１２２の各分光情報と、ステップＳ３０７で算出した蛍光のＲＧＢベクトルの方向とを用いて、蛍光画像と反射光画像を算出する。
［２−１−２．蛍光画像の算出］
実施の形態１では、演算部１５０は、（数１）、（数２）の方程式を解き、すべての未知数を算出することにより、蛍光画像と反射光画像を一度に算出した。本実施の形態では、演算部１５０は、ステップＳ３０７の演算により、まず蛍光のＲＧＢベクトルの方向を算出する。
演算は、画像１及び画像２において、それぞれ空間的に同じ位置となる画素で行われる。実施の形態１と同様、１画素の中に１色の値しか含まれていない場合、周辺画素の色の値を用いた補間処理によって、画素に含まれていない色の値を作り出すことを行い、１画素中に複数色の値を持たせる。
以下、蛍光を放出している被写体２００を撮像した画素を対象として説明する。また、画像１において被写体２００を撮像した画素を画素ｐ１とし、画像２において画素ｐ１と空間的に同じ位置にある画素を画素ｐ２として説明する。
図４は、ＲＧＢの３値で表現される分光分布をＲＧＢベクトルで表現した図である。図４に示すように、平面５０１は、ＲＧＢの三次元空間上で、画素ｐ１のＲＧＢベクトルであるベクトルＩ１と、メモリ１４０で記憶している励起光Ｌ１のＲＧＢベクトルであるベクトルｒ１とを含む。同様に、平面５０２は、ＲＧＢの三次元空間上で、画素ｐ２のＲＧＢベクトルであるベクトルＩ２と、メモリ１４０で記憶している励起光Ｌ２のＲＧＢベクトルであるベクトルｒ２とを含む。
実施の形態１で示した通り、画素ｐ１、画素ｐ２において、各蛍光のＲＧＢベクトルの方向を示すベクトルは、それぞれベクトルｆとして表現できる。そのため、平面５０１と平面５０２の交線５０３の方向が、画素ｐ１及び画素ｐ２に含まれるベクトルｆの方向と同じになる。この性質を利用して、演算部１５０は、ベクトルｆの方向を算出することができる。
ＲＧＢの三次元空間上での平面５０１と平面５０２との交線５０３の方向は、両平面の垂線ベクトルの外積で算出される。さらに各平面の垂線ベクトルの方向は、その平面に含まれる互いに平行でない２つのベクトルの外積で算出されることができる。そのため、ベクトルｆの方向は、（数３）のように、ベクトルＩ１とメモリ１４０で記憶しているベクトルｒ１の外積で求められたベクトルと、ベクトルＩ２とメモリ１４０で記憶しているベクトルｒ２の外積で求められたベクトルとの外積で算出することができる。
Figure 0006481762
ここで、∝（比例）の記号は、ベクトルｆの方向は決まるが、長さ（強度）は決まらないという意味で用いている。
以上の演算を全対象画素で行うことにより、演算部１５０は、画像１及び画像２から、蛍光のＲＧＢベクトルの方向情報を含む画像を算出することができる。つまり、演算部１５０は、蛍光の相対分光分布を反映する画像を算出することができる。本実施の形態では、蛍光の相対分光分布は、ＲＧＢベクトルで表現されるため、蛍光の相対分光分布を反映する画像は、カラー画像となる。例えば、全ての画素において、ベクトルｆの長さが１となるように正規化し、正規化したＲＧＢベクトルを用いて画像を算出してもよい。この画像は、定性的な分析に利用できる。
［２―１−３．蛍光画像と反射光画像の分離］
ステップＳ３０８の演算の詳細について述べる。演算は、蛍光を放出している被写体２００を撮像した画素を対象として、ステップＳ３０７と同様、画素単位で行われる。画像１において被写体２００を撮像した画素を画素ｐ１とし、画像２において画素ｐ１と空間的に同じ位置にある画素を画素ｐ２として説明する。
ステップＳ３０７で求めた、画素ｐ１及び画素ｐ２に含まれるベクトルｆの方向は、（数１）及び（数２）における、ベクトルｆに相当する。そのため、画素ｐ１及び画素ｐ２に含まれるベクトルｆの長さを１に正規化したベクトルを、（数１）及び（数２）の第二項に適用することができる。ベクトルｆの適用により、（数１）では、３個の方程式に対して、未知数は２つ（ａ１、ｂ１）となるため、ａ１及びｂ１を算出することができる。（数２）でも同様に、３個の方程式に対して、未知数が２つ（ａ２、ｂ２）となるため、ａ２及びｂ２を算出することができる。
以上の演算を全対象画素で行うことにより、演算部１５０は、画像１及び画像２のそれぞれから、反射光画像と蛍光画像を算出することができる。つまり、画像１から、画像１に含まれる反射光画像と蛍光画像とが分離され、画像２から、画像２に含まれる反射光画像と蛍光画像とが分離される。実施の形態１と同様、それぞれの反射光画像と蛍光画像は、各画素にＲＧＢベクトルを有しているため、カラー画像となる。
［２−２．まとめ］
実施の形態２の撮像装置１００では、演算部１５０は、メモリ１４０が記憶している画像１及び画像２と、光源１２１及び光源１２２の各分光情報である各励起光のＲＧＢベクトルとを用いて、画素単位で蛍光の相対分光分布を算出する。
これにより、演算部１５０は、蛍光のＲＧＢベクトルの方向情報の画像、つまり蛍光の相対分光分布を反映する画像を最初に算出することができる。
従って、撮像装置１００は、使用用途により、蛍光及び反射光の強度の情報が必要ではなく、蛍光の定性的な情報のみが必要な場合は、ステップＳ３０８の演算を実施せず、算出時間を短縮することができる。
（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１〜２を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施の形態にも適用できる。また、上記実施の形態１〜２で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
そこで、以下、他の実施の形態を例示する。
実施の形態１では、ｂ１を１としたが、これに限らず、ｂ１を定数とすれば、ｂ１はどのような値でもよい。
実施の形態２では、演算部１５０は、蛍光のＲＧＢベクトルの方向情報を、外積の計算で算出したが、これに限らず、空間上の平面及び平面に対する垂線を表現する方程式を用いて、方程式を解く方法で算出してもよい。
実施の形態１〜２では、光源数を２つとし、撮像部１３０が撮像できる色数を３色（ＲＧＢ）としたが、これに限らず、未知数の数に対して、方程式の数が上回る構成であればよい。光源を１つ増やすと、方程式は撮像部１３０が撮像できる色数分増え、未知数は反射光と蛍光の重みの２つ分増える。撮像部１３０が撮像できる色をＲＧＢの３色から１色増やすと、方程式は光源数分増え、未知数は蛍光のベクトルの１要素分増える。例えば、光源数を３つとし、撮像部１３０が撮像できる色数を４色とした場合、方程式の数は１３となり、未知数の数は１０となる。ただし、未知数の数に対して、方程式の数が多くなる場合には、例えば最小二乗法のような手法を用いて、未知数の最適解を求めてもよい。また、光源数及び撮像部１３０が撮像できる色数を増やした場合、メモリ１４０で記憶する各光源の分光情報も合わせて増やす必要がある。また、光源数を増やした場合、それに応じて撮像画像の撮像枚数も増やす必要があり、撮像部１３０は光源数だけ撮像画像を撮像する。
実施の形態１〜２では、光源はＬＥＤであるが、光源はＬＥＤに限定されない。光源は、狭波長帯域の分光分布を有する励起光を発光する光源であればよく、例えばレーザーであってもよい。また、光源は、モノクロメーターまたは特定の波長の光を透過させる光学フィルタを備える光源であってもよい。広義には、方程式を構成するにあたり、被写体２００の分光反射率分布を含めた反射光のＲＧＢベクトルと、励起光のＲＧＢベクトルとを同一と見なせればどのような光源でもよい。
実施の形態１〜２では、複数の励起光の中心波長を、それぞれ４３０ｎｍ、４５０ｎｍとしたが、これに限らず、被写体２００が蛍光を発生させることのできる波長であればどのような波長としてもよい。すなわち、複数の光源のそれぞれは、被写体２００に蛍光を放出させるような励起光を発光する光源であればよい。
実施の形態１〜２では、蛍光が含まれている画素を例にとって説明したが、撮像画像中には蛍光が含まれていない画素も存在する場合がある。演算部１５０は、演算の対象画素に蛍光が含まれていないと、その画素での方程式を解くことができない。そのため、演算部１５０は、予め、光源毎の撮像画像中で、蛍光が含まれていない画素（領域）を検出する演算を行ってもよい。蛍光が含まれていない画素の検出方法には、例えば、画素のＲＧＢベクトルの方向と、メモリ１４０に記憶されている励起光のＲＧＢベクトルの方向とを比較する方法がある。両者の方向が同じであれば、対象画素には蛍光のＲＧＢベクトルが含まれておらず、対象画素に蛍光が含まれていないとみなすことができる。実施の形態２での、外積によって蛍光のＲＧＢベクトルの方向を算出する演算では、ノイズを考慮しなければ、蛍光が含まれていない画素における外積は０となる。そのため、演算部１５０は、この演算を蛍光が含まれていない画素を検出する演算として行ってもよい。演算部１５０は、検出した蛍光が含まれていない画素（領域）に含まれない画素、すなわち、蛍光が含まれている画素を対象に蛍光の相対分光分布を算出する。また、演算部１５０は、蛍光が含まれていない画素を対象に、例えば、ステップＳ２０７、ステップＳ３０７、ステップＳ３０８の演算を実施しない、蛍光の強度を０とする、撮像画像の画素の情報を反射光に関する情報とする、としてもよい。
実施の形態１〜２では、被写体２００は、暗室内で撮像されているとしたが、環境光の存在下で撮像されていてもよい。その場合、例えば、演算部１５０は、励起光を照射して撮像した撮像画像と、励起光を照射しないで撮像した撮像画像との差分画像を算出する。その差分画像には、励起光に関連する反射光と蛍光のみが含まれるため、差分画像は実質的に暗室内で撮像した撮像画像と同等と見なすことができる。
実施の形態１〜２では、メモリ１４０に記憶されている励起光のＲＧＢベクトルの長さを、１に正規化したが、これに限らず、どのような長さにしてもよい。どのような長さにしても、その分の重みの値が対応して変化するだけで、反射光画像を算出する際に、重みと励起光のＲＧＢベクトルの積は一定のベクトルとなる。また、蛍光のＲＧＢベクトルの長さに関しても同様であり、どのような長さにしてもよく、蛍光画像を算出する際に、重みと蛍光のＲＧＢベクトルの積は一定のベクトルになる。
実施の形態１〜２では、色情報としてＲＧＢ値を用いたが、これに限らず、例えば、Ｙ（黄）やＮＩＲ（近赤外）のような別の色情報を用いてもよい。
実施の形態１〜２では、演算部１５０は、ステップＳ２０７、ステップＳ３０７、ステップＳ３０８の演算を、全画素で行うとしたが、これに限らず、例えば撮像画像の一部の画素のみで行ってもよい。
実施の形態１〜２では、演算部１５０は、重みとＲＧＢベクトルの積から蛍光画像と反射光画像を算出するとしたが、これに限らず、蛍光及び反射光の強度情報を反映する重み（ａ１、ｂ１、ａ２、ｂ２）のそれぞれから強度画像を算出してもよい。
実施の形態１〜２では、メモリ１４０が記憶する光源１２１及び光源１２２の各分光情報を各励起光のＲＧＢベクトルとしたが、これに限らず、より細かい波長の刻みで、各励起光の分光分布と撮像素子の分光感度特性とを含んだ各分光情報としてもよい。その場合、演算部１５０は、各分光情報を波長方向に積分して、ＲＧＢベクトルを算出する。また、メモリ１４０が各励起光の分光分布と撮像素子の分光感度特性を別々で記憶しておき、演算部１５０が演算により各励起光のＲＧＢベクトルを算出してもよい。
実施の形態１〜２では、複数の励起光の照射で、被写体２００は同一の相対分光分布を有する蛍光を放出するとしたが、被写体２００が異なる相対分光分布を有する蛍光を放出する場合でも、全く演算が実施できないというわけではない。その場合では、算出される蛍光の方向の情報と、反射光及び蛍光の強度の情報とに誤差が含まれて算出されることになる。誤差が許容できる範囲内であれば、複数の励起光の照射で、同一の相対分光分布を有さない蛍光を放出する被写体２００に対しても本開示の適用は可能である。
演算部１５０は、画像１もしくは画像２から算出した、蛍光画像の強度を反射光画像の強度で正規化する演算を実施してもよい。例えば、光源による空間的な強度ムラや撮像部１３０のシェーディングによるムラ等が存在する場合、撮像画像における蛍光の強度分布にもそれらの影響でムラが発生する。反射率が同じ被写体２００の領域では、反射光の強度分布には、光源による強度ムラや撮像部１３０のシェーディングによるムラの情報が含まれる。そのため、蛍光画像の強度を反射光画像の強度で正規化することにより、それらに起因する蛍光画像に発生するムラを緩和できる。
実施の形態１〜２では、メモリ１４０が光源毎の励起光の相対分光分布に関する情報を記憶しておき、上記の演算に使用するとしたが、メモリ１４０が各励起光を被写体２００に照射した場合に得られる光源毎の反射光の相対分光分布に関する情報を記憶しておき、上記の演算に使用してもよい。具体的には、メモリ１４０が反射光Ｒ１と反射光Ｒ２のそれぞれの相対分光分布に関する情報を記憶しておき、演算部１５０が、上記の演算において、ベクトルｒ１とベクトルｒ２をそれぞれ反射光Ｒ１と反射光Ｒ２の相対分光分布に関する情報に置き換えて、演算すればよい。演算部１５０は、画像１および画像２と、反射光Ｒ１及び反射光Ｒ２の各分光情報、すなわち各反射光のＲＧＢベクトルとを用いて、蛍光の相対分光分布、蛍光画像、反射光画像を算出することができる。
このように、被写体２００毎の反射光の相対分光分布が予め既知であれば、各光源は広波長帯域の光源であってもよい。ただし、被写体２００が変わると、その被写体２００の分光反射率分布、つまり反射光の相対分光分布が変化するため、メモリ１４０は被写体２００に応じて被写体２００毎の反射光のＲＧＢベクトルを記憶する必要がある。また、演算部１５０は、演算に使用する反射光のＲＧＢベクトルを被写体２００に応じて変更する必要がある。
実施の形態１〜２では、演算部１５０は、画像１及び画像２の両方から、それぞれの蛍光画像と反射光画像を算出したが、これに限らず、任意の蛍光画像と反射光画像を算出するとしてもよい。実施の形態１における方程式を解く際の演算や、実施の形態２における蛍光のＲＧＢベクトルの方向を算出する際の演算には、画像１及び画像２の両画像を用いる必要がある。しかし、演算部１５０がさらにそこからどの蛍光画像と反射光画像を算出するかは、任意に選択できる。
なお、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
本開示は、蛍光物質（被写体）から放出される蛍光を撮像して物質の解析を行う装置に適用可能である。具体的には、内視鏡装置、蛍光観察装置、分析装置、撮像装置などに、本開示は適用可能である。
１００ 撮像装置
１１０ ＣＰＵ
１２０ 照明部
１２１，１２２ 光源
１３０ 撮像部
１４０ メモリ
１５０ 演算部
２００ 被写体
４０１，４０２ 観測光
５０１，５０２ 平面
５０３ 交線
Ｆ１，Ｆ２ 蛍光
Ｌ１，Ｌ２ 励起光
Ｒ１，Ｒ２ 反射光

Claims (12)

  1. 互いに異なる相対分光分布を有する励起光を発光する複数の光源を有し、前記光源毎に被写体に励起光を照射する照明部と、
    前記光源毎に、前記被写体が前記励起光により放出した蛍光と、前記被写体が前記励起光を反射した反射光とを同時に撮像し、撮像画像を生成する撮像部と、
    前記光源毎の反射光の相対分光分布に関する情報を記憶するメモリと、
    前記メモリが記憶している前記光源毎の反射光の相対分光分布に関する情報と、前記撮像部により生成された前記光源毎の前記撮像画像とを用いて、前記被写体が放出する蛍光の相対分光分布を算出する演算部と、
    を備えた撮像装置。
  2. 前記光源毎の反射光の相対分光分布に関する情報は、前記光源毎の前記励起光の相対分光分布に関する情報である請求項１に記載の撮像装置。
  3. 前記演算部は、前記光源毎の前記撮像画像中で、蛍光が含まれていない領域を検出し、検出した前記領域に含まれない画素を対象に前記蛍光の相対分光分布を算出する請求項１または請求項２に記載の撮像装置。
  4. 前記演算部は、前記蛍光の相対分光分布及び前記反射光の相対分光分布に関する情報を用いて、蛍光画像を算出する請求項１ないし請求項３のいずれか１項に記載の撮像装置。
  5. 前記演算部は、前記蛍光の相対分光分布及び前記反射光の相対分光分布に関する情報を用いて、反射光画像を算出する請求項１ないし請求項３のいずれか１項に記載の撮像装置。
  6. 前記演算部は、前記蛍光の相対分光分布及び前記反射光の相対分光分布に関する情報を用いて、蛍光画像及び反射光画像を算出し、前記蛍光画像の強度を前記反射光画像の強度で正規化する演算を行う請求項１ないし請求項３のいずれか１項に記載の撮像装置。
  7. 複数の前記光源のそれぞれは、前記被写体に前記蛍光を放出させるような前記励起光を発光する光源である請求項１ないし請求項６のいずれか１項に記載の撮像装置。
  8. 複数の前記光源のそれぞれは、レーザーである請求項１ないし請求項６のいずれか１項に記載の撮像装置。
  9. 複数の前記光源のそれぞれは、モノクロメーターを備える請求項１ないし請求項６のいずれか１項に記載の撮像装置。
  10. 複数の前記光源のそれぞれは、ＬＥＤである請求項１ないし請求項６のいずれか１項に記載の撮像装置。
  11. 複数の前記光源のそれぞれは、特定の波長の光を透過させる光学フィルタを備える請求項１ないし請求項６のいずれか１項に記載の撮像装置。
  12. 前記撮像部は、ＲＧＢカメラである請求項１ないし請求項６のいずれか１項に記載の撮像装置。
JP2017536902A 2016-02-18 2016-08-30 撮像装置 Active JP6481762B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016028450 2016-02-18
JP2016028450 2016-02-18
PCT/JP2016/003936 WO2017141291A1 (ja) 2016-02-18 2016-08-30 撮像装置および画像処理方法

Publications (2)

Publication Number Publication Date
JPWO2017141291A1 JPWO2017141291A1 (ja) 2018-02-22
JP6481762B2 true JP6481762B2 (ja) 2019-03-13

Family

ID=59625867

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017536902A Active JP6481762B2 (ja) 2016-02-18 2016-08-30 撮像装置

Country Status (3)

Country Link
US (1) US10667675B2 (ja)
JP (1) JP6481762B2 (ja)
WO (1) WO2017141291A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7010467B2 (ja) * 2017-12-14 2022-01-26 株式会社ナベル パック詰めされた卵の検査装置
CN112272765A (zh) * 2018-05-03 2021-01-26 乌斯特技术股份公司 纺织品亮度测量系统
CN110889011B (zh) * 2019-11-29 2022-07-26 杭州当虹科技股份有限公司 一种视频指纹方法
WO2022147064A1 (en) * 2020-12-31 2022-07-07 Precision Healing, Inc. Multispectral sample analysis using fluorescence signatures
JP2023042252A (ja) * 2021-09-14 2023-03-27 株式会社東芝 光学検査方法、光学検査プログラム、処理装置、及び、光学検査装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006296635A (ja) 2005-04-19 2006-11-02 Olympus Corp 内視鏡装置
JP5147538B2 (ja) * 2008-05-22 2013-02-20 富士フイルム株式会社 蛍光画像取得装置および蛍光画像取得装置の作動方法
JP5191327B2 (ja) 2008-09-17 2013-05-08 富士フイルム株式会社 画像取得装置および画像取得装置の作動方法
EP2165643B1 (en) 2008-09-17 2012-04-18 FUJIFILM Corporation Image obtaining method and image obtaining apparatus
JP5246698B2 (ja) * 2008-12-09 2013-07-24 富士フイルム株式会社 撮像装置
JP2010142570A (ja) * 2008-12-22 2010-07-01 Hoya Corp 内視鏡光学系
WO2013084566A1 (ja) 2011-12-07 2013-06-13 オリンパスメディカルシステムズ株式会社 内視鏡装置

Also Published As

Publication number Publication date
JPWO2017141291A1 (ja) 2018-02-22
WO2017141291A1 (ja) 2017-08-24
US20170319052A1 (en) 2017-11-09
US10667675B2 (en) 2020-06-02

Similar Documents

Publication Publication Date Title
JP6481762B2 (ja) 撮像装置
US20180224333A1 (en) Image capturing apparatus and image capturing computer program product
JP6765036B2 (ja) 外観検査装置と外観検査方法
JP6364777B2 (ja) 画像データ取得システム及び画像データ取得方法
US20080144013A1 (en) System and method for co-registered hyperspectral imaging
US10616458B2 (en) Imaging apparatus and image processing method
JP6322939B2 (ja) 撮像システム及び色検査システム
JP2008145386A (ja) 距離画像取得装置及び方法
US11293877B2 (en) Defect detecting device and defect detecting method
US20150098092A1 (en) Device and Method For the Simultaneous Three-Dimensional Measurement of Surfaces With Several Wavelengths
JP6068375B2 (ja) 分光放射輝度計
JP2009025189A (ja) 計測器
JP2010514046A (ja) デジタル画像の取得のためのカラーシーケンシャルフラッシュ
JP6926822B2 (ja) 金属帯表面の検査方法および検査装置
JP6341335B2 (ja) 二次元測色装置
JP6908373B2 (ja) 検査対象物の表面の凹凸を検査する方法及びその表面検査装置
KR20120103319A (ko) 표면각도 측정 광센서 및 이를 이용한 감지 방법
JP2012189342A (ja) 顕微分光測定装置
WO2018128146A1 (ja) 分光測定方法および分光測定装置
JP2010203802A (ja) 表面分析方法及び表面分析装置
JP7284457B2 (ja) 量子効率分布の取得方法、量子効率分布の表示方法、量子効率分布の取得プログラム、量子効率分布の表示プログラム、分光蛍光光度計及び表示装置
JP2022006624A (ja) 校正装置、校正方法、校正プログラム、分光カメラ、及び情報処理装置
WO2020003673A1 (ja) イメージセンサの分光感度測定方法、分光感度測定装置の検査方法及び分光感度測定装置
Simova et al. Active spectral imaging nondestructive evaluation (SINDE) camera
JP2015166763A (ja) 顕微鏡装置および解析方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180717

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180903

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190115

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190128

R150 Certificate of patent or registration of utility model

Ref document number: 6481762

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150