JPWO2019151029A1 - 撮像装置および撮像方法、並びにプログラム - Google Patents

撮像装置および撮像方法、並びにプログラム Download PDF

Info

Publication number
JPWO2019151029A1
JPWO2019151029A1 JP2019569027A JP2019569027A JPWO2019151029A1 JP WO2019151029 A1 JPWO2019151029 A1 JP WO2019151029A1 JP 2019569027 A JP2019569027 A JP 2019569027A JP 2019569027 A JP2019569027 A JP 2019569027A JP WO2019151029 A1 JPWO2019151029 A1 JP WO2019151029A1
Authority
JP
Japan
Prior art keywords
image
light
wavelength
effective wavelength
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019569027A
Other languages
English (en)
Inventor
丈士 上森
丈士 上森
厚史 伊藤
厚史 伊藤
信一郎 五味
信一郎 五味
優介 森内
優介 森内
中村　憲一郎
憲一郎 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2019151029A1 publication Critical patent/JPWO2019151029A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/58—Extraction of image or video features relating to hyperspectral data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)

Abstract

本開示は、ユーザが被写体の種別を意識することなく、最適な波長の光を照射して撮像することができるようにする撮像装置および撮像方法、並びにプログラムに関する。白色光が照射された対象物のマルチスペクトル画像より、対象物の解析に最適な光の波長を、有効波長として特定し、有効波長の光を対象物に照射し、この状態の対象物をマルチスペクトル画像として撮像し、有効波長のスペクトル画像に基づいて、対象物を解析する。本開示は、内視鏡装置に適用することができる。

Description

本開示は、撮像装置および撮像方法、並びにプログラムに関し、特に、ユーザが被写体の種別を意識することなく、最適な波長の光を照射して撮像できるようにした撮像装置および撮像方法、並びにプログラムに関する。
内視鏡画像からエッジ成分を抽出し、そのエッジ成分の複雑度を検出し、その複雑度に応じて被写体を近接撮影したものであるか遠景撮影したものかを判定し、RGB（Red Green Blue）画像から分光画像を生成するためのマトリクスパラメータを切り替えることによって、近接撮影と遠景撮影とで異なる波長の分光画像を生成する方法が開示されている（特許文献１参照）。
特開２０１４−１５４９８２号公報
しかしながら、特許文献１の方法では、生成する分光画像の波長の組み合わせは、事前に用意されたものであり、撮影対象の様々な状況に応じた柔軟な対応はなされていない。
また、RGB画像から精度よく任意の波長の分光画像を生成することは難しく、適用できるシーンが限られる。
本開示は、このような状況に鑑みてなされたものであり、特に、ユーザが被写体の種別を意識することなく、最適な波長の光を照射して撮像できるようにするものである。
本開示の一側面の撮像装置は、白色光を対象物に照射する白色光源部と、前記対象物のマルチスペクトル画像を撮像する撮像部と、前記白色光が照射された前記対象物の前記マルチスペクトル画像より、前記対象物の解析に最適な光の波長を、有効波長として特定する対象物識別部と、前記有効波長の光を前記対象物に照射する可変波長光源部とを含む撮像装置である。
本開示の一側面の撮像方法は、白色光を対象物に照射する白色光源処理と、前記対象物のマルチスペクトル画像を撮像する撮像処理と、前記白色光が照射された前記対象物の前記マルチスペクトル画像より、前記対象物の解析に最適な光の波長を、有効波長として特定する対象物識別処理と、前記有効波長の光を前記対象物に照射する可変波長光照射処理とを含む撮像方法である。
本開示の一側面のプログラムは、白色光を対象物に照射する白色光源部と、前記対象物のマルチスペクトル画像を撮像する撮像部と、前記白色光が照射された前記対象物の前記マルチスペクトル画像より、前記対象物の解析に最適な光の波長を、有効波長として特定する対象物識別部と、前記有効波長の光を前記対象物に照射する可変波長光源部としてコンピュータを機能させるプログラムである。
本開示の一側面においては、白色光が対象物に照射され、前記対象物のマルチスペクトル画像が撮像され、前記白色光が照射された前記対象物の前記マルチスペクトル画像より、前記対象物の解析に最適な光の波長が、有効波長として特定され、前記有効波長の光が前記対象物に照射される。
本開示の一側面によれば、ユーザが被写体の種別を意識することなく、最適な波長の光を照射して撮像することが可能となる。
本開示に係る撮像装置の第１の実施の形態の構成例を示す図である。 マルチスペクトルカメラの感度特性を説明する図である。 可変波長光源部により発光される光の狭帯域分光強度特性を説明する図である。 擬似カラー画像の生成方法を説明する図である。 擬似カラー画像の生成方法を説明する図である。 図１の撮像装置による撮像処理を説明するフローチャートである。 本開示に係る撮像装置の第２の実施の形態の構成例を示す図である。 マルチスペクトル画像におけるバンド数が少ない場合の例を説明する図である。 マルチスペクトル画像におけるバンド数が少ない場合の例を説明する図である。 図７の撮像装置による撮像処理を説明するフローチャートである。 汎用のコンピュータの構成例を説明する図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、以下の順序で説明を行う。
１．第１の実施の形態
２．第２の実施の形態
３．ソフトウェアにより実行させる例
＜＜１．第１の実施の形態＞＞
図１は、本開示に係る撮像装置の第１の実施の形態の構成例を示している。
図１の撮像装置１１は、内視鏡装置を用いた、主に人体の内臓組織や患部病変をマルチスペクトル画像として撮像し、撮像したマルチスペクトル画像に基づいて、内臓組織や患部病変を解析し、解析結果を表示する。
尚、本実施の形態においては、図１の撮像装置１１が、人体の内臓組織や患部病変をマルチスペクトル画像として撮像し、撮像したマルチスペクトル画像に基づいて、内臓組織や患部病変を解析するものとして説明を進めるものとするが、同様の構成により、それ以外の用途に適用してもよい。例えば、図１の撮像装置１１が、野菜や果物をマルチスペクトル画像として撮像して、撮像したマルチスペクトル画像から糖度や塩分、または熟し具合などを解析するようにしてもよい。
より具体的には、撮像装置１１は、まず、マルチスペクトルにより用いて白色光下で撮像し、撮像した画像から、CNN（Convolutional Neural Network）などのニューラルネットワークを用いて構成される識別器を用いて、撮像された被写体となる臓器の部位や病変部等を識別する。
また、撮像装置１１は、識別する際に得られるパラメータをもとに、識別に最適な被写体に照射すべき光の波長を特定する。
そして、撮像装置１１は、特定した最適な波長の光を可変波長光源部で発光させて、被写体に照射することによって、白色光下より波長分解能が高い最適な波長のスペクトル画像（分光画像）を取得する。
これにより、撮像装置１１は、対象物である被写体を詳細に識別し、識別した被写体の特性を高精度に解析することが可能となる。また、撮像装置１１は、白色光下で撮像したスペクトル画像と、被写体の識別や解析に最適な波長からなる狭帯域光下で撮像したスペクトル画像とから擬似カラー画像を生成し、被写体である内臓組織や病変部の特性や解析結果を強調した画像を生成することで、内臓組織や病変部の特性を分かり易く表示することが可能となる。
以下、図１の撮像装置１１の詳細な構成について説明する。
撮像装置１１は、マルチスペクトルカメラ３１、入力画像制御部３２、スイッチ（S/W）３３、対象物識別部３４、表示画像生成部３５、表示部３６、特性解析部３７、光源制御部３８、スイッチ（S/W）３９、白色光源部４０、および可変波長光源部４１を備えている。
マルチスペクトルカメラ３１は、複数の広帯域のスペクトル画像からなるマルチスペクトル画像（複数のバンド（波長帯域）の分光画像）を撮像して入力画像制御部３２に出力する。
白色光源部４０により白色光が対象物である被写体に照射されて、マルチスペクトルカメラ３１により撮像されたマルチスペクトル画像が供給される場合、入力画像制御部３２は、スイッチ３３を制御して、対象物識別部３４と接続し、マルチスペクトル画像を対象物識別部３４に出力する。
また、後述する有効波長情報に基づいて、光源制御部３８より供給される有効波長の光が可変波長光源部４１により対象物である被写体に照射されて、マルチスペクトルカメラ３１により撮像されたマルチスペクトル画像が供給される場合、入力画像制御部３２は、スイッチ３３を制御して、マルチスペクトル画像のうち、有効波長情報に対応するスペクトル画像を特性解析部３７に出力する。
スイッチ３３は、入力画像制御部３２により制御され、対象物識別部３４に接続される場合、入力画像制御部３２より出力されるマルチスペクトル画像を出力し、特性解析部３７に接続される場合、有効波長情報に対応する波長帯のスペクトル画像を出力する。
対象物識別部３４は、白色光源部４０により白色光が被写体に照射された状態で撮像されたマルチスペクトル画像と、対象物との関係が事前に学習された識別器５１を用いて、マルチスペクトル画像に基づいて、被写体となる対象物を識別する。
また、対象物識別部３４は、識別する際に得られた識別器５１内部のパラメータに基づいて、識別に有効となる被写体に照射する光の波長の情報を、有効波長情報として表示画像生成部３５、および光源制御部３８に出力する。
特性解析部３７は、可変波長光源部４１により被写体の撮像に有効な波長の光が可変波長光源部４１により照射された状態で、マルチスペクトルカメラ３１により撮像されたマルチスペクトル画像のうちの、有効波長のスペクトル画像に基づいて、対象物である被写体を識別する。また、特性解析部３７は、識別結果に基づいて、対象物の特性を解析して解析結果を表示画像生成部３５に出力する。
尚、特性解析部３７は、例えば、CNNなどのニューラルネットワークで構成された識別器（対象物識別部３４における識別器５１に対応する）などから構成されるようにしてもよく、これにより、部位および病変部の進行具合を分類してもよい。このような識別器は、予め様々な部位および病変部の進行度合い別のスペクトル画像（分光画像）を用いて学習しておくことで実現できる。また、別の例として、狭帯域光のスペクトル画像（分光画像）内の血管や組織構造の形状などを解析し、病変部か否かを判定できるようにしてもよい。
ここで、本実施の形態となる内視鏡装置の場合、対象物は、人体の様々な部位の生体組織である。このため、本開示において最終的に必要とされる画像は、正常な組織か病変組織かを判定するために、粘膜表層の毛細血管や、わずかな粘膜の肥厚、深部血管などの観察が可能な画像となる。
例えば、消化器における腫瘍の場合、毛細血管の集まりやそのパターンを観察することが重要であり、これらを観察し易くするために、例えば、波長が415nmや、540nmなどの狭波長帯域光を照射することで撮像される狭帯域光スペクトル画像（Narrow Band Imaging（NBI））が必要とされる。
一般に、診断に有用な狭帯域光スペクトル画像の波長帯域は、診断対象となる部位及び病変部に応じて異なる。
そのため、例えば、狭波長帯域の青色光を照射し、正常組織と病変組織における自家蛍光の強さを色の違いを強調表示する蛍光観察や、赤外光を用いて粘膜の深いところにある血管や血流情報を強調表示する赤外光観察なども、診断対象となる部位及び病変部に応じて用いられる。
対象物識別部３４は、マルチスペクトル画像に基づいて、上述した対象物となる被写体の部位や病変組織を識別した上で、識別した対象の観察に必要とされるスペクトル画像の撮像に最適な光の波長の情報である有効波長情報を生成して光源制御部３８に出力する。
尚、対象物識別部３４が備える識別器５１については、例えば、CNN（Convolutional Neural Network）が用いられるが、CNNを用いた識別器５１の詳細については、”Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization”（https://arxiv.org/pdf/1610.02391.pdf）を参照されたい。
識別器５１は、CNNを用いることによって、どの波長帯域のスペクトル画像を注目しているのかを解析することが可能であり、対象物の識別に有効な波長を決定することができる。
より詳細には、CNNを用いた識別器５１は、複数の畳み込み層とプーリング層からなる特徴量抽出部６１と、その特徴量に基づいて、対象物の識別結果に対応するクラスに分類する識別部６２とから成る。識別部６２の最終層は、ソフトマックス関数を用いて、各クラスの特徴量を確率スコアに変換し、各クラスのタグとして付与する。対象物識別部３４は、この確率スコアが最大となるクラスの識別結果を出力する。
また、出力する有効波長の数は、マルチスペクトルカメラ３１のバンド数以下の任意の数であり、CNNを用いた手法により得られる各スペクトル画像の注目度の大きさの順に決定される。
光源制御部３８は、スイッチ３９を制御して、白色光源部４０、または可変波長光源部４１を切り替えて、それぞれから白色光、または有効波長情報に基づいた波長の光を発光させて、被写体となる対象物を照射させる。
より詳細には、光源制御部３８は、最初の処理において、白色光源部４０を制御して白色光を発光させる。また、光源制御部３８は、その次の処理において、決定された有効波長の情報に基づいて、対応する波長の光を、可変波長光源部４１を制御して発光させる。
このような動作により、マルチスペクトルカメラ３１は、最初の処理で、白色光源部４０により白色光が被写体となる対象物に照射された状態のマルチスペクトル画像を撮像する。このマルチスペクトル画像から対象物が識別されて、識別結果となる対象物の測定に最適な有効波長が特定され、有効波長情報として出力される。
そして、次の処理で、マルチスペクトルカメラ３１は、可変波長光源部４１により有効波長情報に対応する狭帯域波長の光が被写体となる対象物に照射された状態のマルチスペクトル画像を撮像する。このとき撮像されるマルチスペクトル画像のうち、有効波長情報に対応するスペクトル画像が用いられて、特性解析部３７により被写体となる対象物が解析される。
表示画像生成部３５は、白色光が発光された状態で撮像されたマルチスペクトル画像と、被写体となる対象物の特性の解析結果とを重畳して画像を生成し、有機EL（Electro Luminescence）やLCD（Liquid Crystal Display）などからなる表示部３６に出力して表示させる。
より詳細には、表示画像生成部３５は、白色光が照射された状態において撮像されたマルチスペクトル画像と、有効波長情報に対応する有効波長の光が照射された状態における、対応する波長のスペクトル画像とを用いて、疑似カラー画像を生成して表示部３６に表示する。尚、擬似カラー画像の生成については、図４，図５を参照して詳細を後述する。
＜マルチスペクトルカメラの感度特性と可変波長光源部により発光される狭帯域分布＞
次に、図２，図３を参照して、マルチスペクトルカメラ３１の感度特性と可変波長光源部４１により発光される狭帯域分布の関係について説明する。
マルチスペクトルカメラ３１は、例えば、図２で示されるような、波長λ１をピークとしたバンドＣｗ１のスペクトル画像と、波長λ２をピークとしたバンドＣｗ２のスペクトル画像と、波長λ３をピークとしたバンドＣｗ３のスペクトル画像と、・・・波長λｎをピークとしたバンドＣｗｎのスペクトル画像とからなるマルチスペクトル画像を撮像する。
尚、ここでは、ｎ種類のバンドの広帯域のスペクトル画像からなるマルチスペクトル画像が撮像される例が示されている。図２で示されるように、各スペクトル画像のバンドは、広帯域であり、その境界の一部の波長が重なっている。
すなわち、図２で示されるように、初期動作において、白色光源部４０からは広波長帯域の白色光が被写体である対象物に照射されており、マルチスペクトルカメラ３１により白色光下でのスペクトル画像が得られる。これにより、対象物の全ての波長帯域での分光反射率情報を取得することが可能となり、対象物がどの部位および病変部かを識別する上で望ましいマルチスペクトル画像を取得することができる。
一方、可変波長光源部４１は、被写体である対象物の識別に最適な狭帯域のバンドからなる光として、例えば、図３で示されるように、波長λ１をピークとしたバンドＣｎ１の光と、波長λ５をピークとしたバンドＣｎ５とからなる分光分布の光を発光する。
すなわち、可変波長光源部４１は、マルチスペクトルカメラ３１における各バンドの帯域と比較して、狭帯域からなるバンドＣｎ１乃至Ｃｎｎのうちのいずれか、対象物となる被写体の撮像に最適な波長帯の分光分布を備えた光を発光する。
尚、図３における波長λ１、λ５をピークとしたバンドＣｎ１，Ｃｎ５の組み合わせからなる分光分布の光を発光させる例であり、これ以外の、もしくは、これ以上のバンドの組み合わせ、または、いずれかのバンドのみの分光分布の光を発光させるようにしてもよい。
＜疑似カラー画像の生成について＞
次に、図４，図５を参照して、表示画像生成部３５における疑似カラー画像の生成について説明する。
表示画像生成部３５は、白色光下および狭帯域光下で撮像された各波長帯域からなるバンドのスペクトル画像（分光画像）から疑似カラー画像を生成し、特性解析部３７の解析結果を重畳して表示画像を生成し表示部３６に表示させる。
例えば、対象物識別部３４で得られた有効波長がλ１，λ５であり、可変波長光源部４１により波長λ１，λ５をピークとしたバンドＣｎ１，Ｃｎ５の組み合わせからなる分光特性を備えた光を発光させる場合を考える。ここでは、波長λ１乃至λ５のそれぞれをピークとする５種類のバンドＣｎ１乃至Ｃｎ５のスペクトル画像によりマルチスペクトル画像が形成されるものとする。
この場合、表示画像生成部３５は、例えば、図４で示されるように、有効波長λ１，λ５をピークとしたバンドＣｎ１，Ｃｎ５のスペクトル画像Ｐ１，Ｐ５については、ゲインを調整した後、それぞれBチャネル、およびRチャネルに独立に割り当る。
そして、表示画像生成部３５は、波長λ１とλ５の中間波長である波長λ２乃至λ４のそれぞれをピークとしたバンドＣｗ２乃至Ｃｗ４のスペクトル画像Ｐ２乃至Ｐ４を、加算してゲインを調整した後、Gチャネルに割り当てる。
このようにして、表示画像生成部３５は、RGBの各チャネルに割り当てた画像を合成することにより、図４で示されるような、疑似カラー画像Ｐ２１を生成する。
このとき、波長λ１，λ５をピークとしたバンドＣｗ１，Ｃｗ５のスペクトル画像Ｐ１，Ｐ５は、白色光下で撮像されたスペクトル画像でも良いし、狭帯域光下で撮影されたスペクトル画像でもよい。尚、スペクトル画像Ｐ１，Ｐ５、およびスペクトル画像Ｐ２乃至Ｐ４を加算した画像を、RGBチャネルのいずれに割り当てるかについては、上述以外であってもよい。
また、有効波長が、例えば、波長λ１のみであるの場合、表示画像生成部３５は、図５で示されるように有効波長である波長λ１をピークとしたバンドＣｗ１のスペクトル画像Ｐ１をB、G、Rのうちの、いずれかの１チャネルに割り当る。図５では、波長λ１をピークとしたバンドＣｗ１のスペクトル画像Ｐ１は、Bチャネルに割り当てられている。
そして、表示画像生成部３５は、波長λ２乃至λｍをピークとしたバンドＢ２乃至Ｂｍのスペクトル画像Ｐ２乃至Ｐｍを加算してゲインを調整した後、残りの２チャネルの一方のチャネル（図５では、Gチャネル）に、割り当て、波長λｍ＋１乃至λｎをピークとしたバンドＣｗｍ＋１乃至Ｃｗｎのスペクトル画像Ｐｍ＋１乃至Ｐｎを加算して、ゲインを調整した後、残りの２チャネルの他方のチャネル（図５では、Rチャネル）に、割り当てる。
表示画像生成部３５は、このようにしてRGBの各チャネルに割り当てた画像を合成することにより、図５で示されるような、疑似カラー画像Ｐ３１を生成する。
＜図１の撮像装置による撮像処理＞
次に、図６のフローチャートを参照して、図１の撮像装置１１による撮像処理について説明する。
ステップＳ１１において、光源制御部３８は、スイッチ３９を制御して、白色光源部４０に接続すると共に、白色光源部４０を制御して、マルチスペクトルカメラ３１の撮像範囲内の被写体である対象物に対して白色光を照射させる。このとき、光源制御部３８は、白色光源部４０を制御して白色光を発光させていることを示す情報を入力画像制御部３２に出力する。
ステップＳ１２において、マルチスペクトルカメラ３１は、白色光源部４０により白色光が照射された状態で、被写体である対象物をマルチスペクトル画像として撮像し、入力画像制御部３２に出力する。
ステップＳ１３において、入力画像制御部３２は、スイッチ３３を制御して、対象物識別部３４に接続し、マルチスペクトルカメラ３１により撮像されたマルチスペクトル画像の全スペクトル画像を対象物識別部３４に出力する。
ステップＳ１４において、対象物識別部３４は、マルチスペクトルカメラ３１により撮像されたマルチスペクトル画像、すなわち、全てのスペクトル画像に基づいて、CNNなどよりなる識別器５１を用いて、対象物を識別する。
ステップＳ１５において、対象物識別部３４は、対象物を識別する際の、識別部５１のパラメータに基づいて、対象物の解析に有効な光の波長を有効波長として特定する。
ステップＳ１６において、対象物識別部３４は、特定した有効波長の情報を有効波長情報として表示画像生成部３５、および光源制御部３８に出力する。このとき、対象物識別部３４は、有効波長情報と併せて、マルチスペクトル画像を表示画像生成部３５に出力する。
ステップＳ１７において、光源制御部３８は、スイッチ３９を制御して、可変波長光源部４１に接続し、有効波長情報に基づいた波長の光を発光させ、被写体である対象物に照射させる。このとき、光源制御部３８は、有効波長情報を入力画像制御部３２に出力する。
ステップＳ１８において、マルチスペクトルカメラ３１は、可変波長光源部４１により有効波長情報に基づいた波長の光が照射された状態で、被写体である対象物をマルチスペクトル画像として撮像し、撮像したマルチスペクトル画像を入力画像制御部３２に出力する。このとき、白色光源部４０においては、白色光が発光されない状態とされる。
ステップＳ１９において、入力画像制御部３２は、スイッチ３３を特性解析部３７に接続すると共に、マルチスペクトルカメラ３１より供給されるマルチスペクトル画像のうち、有効波長情報に対応するスペクトル画像を特性解析部３７に出力する。
ステップＳ２０において、特性解析部３７は、入力画像制御部３２により供給されてきた、有効波長情報に対応する帯域のスペクトル画像に基づいて、被写体である対象物を識別し、解析する。
ステップＳ２１において、特性解析部３７は、被写体である対象物の識別結果に基づいた解析結果を表示画像生成部３５に出力する。このとき、特性解析部３７は、解析結果と併せて、有効波長情報に対応する帯域のスペクトル画像を表示画像生成部３５に出力する。
ステップＳ２２において、表示画像生成部３５は、特性解析部３７からの解析結果および有効波長情報に対応するスペクトル画像と、対象物識別部３４からの有効波長情報およびマルチスペクトル画像とに基づいて、擬似カラー画像を生成すると共に、解析結果を重畳して、表示部３６に表示させる。擬似カラー画像の生成方法は、例えば、図４または図５を参照して説明した方法により生成される。
以上の一連の処理により、白色光が被写体である対象物に照射された状態におけるマルチスペクトル画像が撮像されて、対象物が認識され、認識された対象物を観察して、解析するのに最適な光の波長が特定されて、有効波長情報として出力される。そして、有効波長情報に対応する波長の光が対象物に照射された状態において、再びマルチスペクトル画像が撮像されて、有効波長情報に対応するスペクトル画像が抽出されて、解析され、解析結果と、有効波長情報とに基づいて、擬似カラー画像が生成されて、解析結果が重畳されて表示される。
結果として、被写体となる対象物を撮像するだけで、対象物の解析に対応した適切な波長の光を照射した状態でのマルチスペクトル画像の撮像を実現することが可能となり、さらに、適切な光が照射された状態において撮像されたマルチスペクトル画像のうち、被写体である対象物の解析に有効なスペクトル画像を用いて解析することができるので、対象物の適切な解析を実現することが可能となる。
すなわち、マルチスペクトル画像を撮像するにあたって、予め部位や病変毎の有効波長をユーザが設定する必要がなく、有効波長となる狭波長帯域光が対象物に照射されるので、対象物の識別に有効な波長における波長分解能が高いスペクトル画像を撮像することが可能となる。
また、白色光を用いて撮像されたマルチスペクトル画像から求められる対象物に対して有効な光の波長のスペクトル画像に基づいて、疑似カラー画像を生成することで、対象物の特徴が強調されたカラー画像をユーザに提示することが可能となり、対象物の特徴を解り易く表示することが可能となる。
＜＜２．第２の実施の形態＞＞
以上においては、マルチスペクトルカメラ３１により撮像されたマルチスペクトル画像に基づいて、対象物である被写体を識別して、適切な光の波長を有効波長として特定する例について説明してきたが、マルチスペクトル画像に基づいて、チャネル数を増やしたハイパーマルチスペクトル画像を生成し、ハイパーマルチスペクトル画像から対象物を特定して、最適な光の波長帯域をより高精度に求めるようにしてもよい。
図７は、マルチスペクトル画像に基づいて、チャネル数を増やしたハイパーマルチスペクトル画像を生成し、ハイパーマルチスペクトル画像から対象物を特定して、最適な光の波長帯域を、より高精度に求めるようにした撮像装置１１の構成例を示している。尚、図７の撮像装置１１において、図１の撮像装置１１における構成と同一の機能を備えた構成については、同一の符号を付しており、適宜その説明は省略する。
図７の撮像装置１１において、図１の撮像装置１１と異なる点は、スイッチ３３および対象物識別部３４との間にハイパースペクトル画像生成部７１を設けた点である。
すなわち、マルチスペクトルカメラ３１の波長バンド数（チャネル数）が少ない場合であって、例えば、図８で示されるように、マルチスペクトル画像が、波長λ１１をピークとしたバンドＣｎ１０１、波長λ１２をピークとしたバンドＣｎ１０２、および波長λ１３をピークとしたバンドＣｎ１０３から構成されることを考える。このとき、本来の最適なバンドＣｎ１１１に対しては、いずれのバンドも同一ではなく、最も近いバンドＳ１０２についても有効波長とは言い難い状態となる。
また、やはりマルチスペクトルカメラ３１の波長バンド数（チャネル数）が少ない場合であって、例えば、図９で示されるように、マルチスペクトル画像が、波長λ２１をピークとしたバンドＣｗ２０１、波長λ２２をピークとしたバンドＣｗ２０２、および波長λ２３をピークとしたバンドＣｗ２０３から構成されるとき、図８の場合に比べて各バンドは広帯域ではあるが、本来の最適なバンドＣｎ２１１に対しては、いずれのバンドも同一ではなく、最も近いバンドＣｗ２０２についても有効波長とは、やはり言い難い状態となる。
そこで、ハイパースペクトル画像生成部７１は、マルチスペクトルカメラ３１により撮像されたマルチスペクトル画像に基づいて、よりバンド数が多い（チャネル数が多い）ハイパースペクトル画像を生成する。
より詳細には、ハイパースペクトル画像生成部７１は、例えば、特開２００３−９３３３６号公報に開示されている技術（RGB画像から任意の波長の分光画像を生成する方法、および４チャネル以上に拡張した場合の方法など）を用いることにより、マルチスペクトル画像より、さらに多くのバンド（さらに多くのチャネル）からなるハイパースペクトル画像を生成する。この場合、マルチスペクトルカメラ３１に代えて、通常のRGBカメラを用いるようにして、ハイパースペクトル画像生成部７１によりRGB画像からハイパーマルチスペクトル画像を生成するようにしてもよい。
結果として、マルチスペクトルカメラ３１により生成されるマルチスペクトル画像が少ないバンド数（少ないチャネル数）であっても、精度の高い有効波長情報を得ることが可能となる。また、その有効波長の狭帯域光の下で撮影したスペクトル画像は、マルチスペクトルカメラ３１の感度特性よりも狭帯域な波長分解能性能を有したスペクトル画像として取得することができる。
＜図７の撮像装置による撮像処理＞
次に、図１０のフローチャートを参照して、図７の撮像装置１１による撮像処理について説明する。尚、図１０のフローチャートにおけるステップＳ３１，Ｓ３２，Ｓ３７乃至Ｓ４３の処理については、図６のフローチャートにおけるステップＳ１１，Ｓ１２，Ｓ１６乃至Ｓ２２の処理と同様であるので、その説明は省略する。
すなわち、ステップＳ３１，Ｓ３２の処理により、白色光が照射されて、マルチスペクトル画像が撮像されると、ステップＳ３３において、入力画像制御部３２は、スイッチ３３を制御して、ハイパースペクトル画像生成部７１に接続し、マルチスペクトルカメラ３１により撮像されたマルチスペクトル画像の全スペクトル画像をハイパースペクトル画像生成部７１に出力する。
ステップＳ３４において、ハイパースペクトル画像生成部７１は、マルチスペクトル画像より、ハイパースペクトル画像を生成し、対象物識別部３４に出力する。
ステップＳ３５において、対象物識別部３４は、ハイパースペクトル画像生成部７１により生成されたハイパーマルチスペクトル画像に基づいて、CNNなどよりなる識別器５１を用いて、対象物を識別する。
ステップＳ３６において、対象物識別部３４は、対象物の識別結果とハイパースペクトル画像とに基づいて、対象物の解析に有効な光の波長を有効波長として特定する。
ステップＳ３７以降の処理により、有効波長の情報が有効波長情報として出力されて、対象物に対して適切な波長の光が照射されたスペクトル画像が撮像され、適切な波長の光が照射された状態で撮像されたスペクトル画像により対象物が解析され、擬似カラー画像を表示することが可能となる。
結果として、ハイパースペクトル画像を用いて対象物を識別し、識別結果に基づいて適切な波長の光を決定することができるので、より高精度に適切な有効波長を特定することができ、高精度に特定された有効波長の光が照射されたスペクトル画像に基づいて、より適切な対象物の解析を実現することが可能となる。
＜＜３．ソフトウェアにより実行させる例＞＞
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、記録媒体からインストールされる。
図１１は、汎用のコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタフェース１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。
入出力インタフェース１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブル記憶媒体１０１１に対してデータを読み書きするドライブ１０１０が接続されている。
CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブル記憶媒体１０１１ら読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記憶媒体１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブル記憶媒体１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
尚、図１１におけるCPU１００１が、図１，図７における入力画像制御部３２、対象物識別部３４、特性解析部３７、表示画像生成部３５、光源制御部３８、およびハイパースペクトル画像生成部７１の機能を実現させる。
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
尚、本開示は、以下のような構成も取ることができる。
＜１＞ 白色光を対象物に照射する白色光源部と、
前記対象物のマルチスペクトル画像を撮像する撮像部と、
前記白色光が照射された前記対象物の前記マルチスペクトル画像より、前記対象物の解析に最適な光の波長を、有効波長として特定する対象物識別部と、
前記有効波長の光を前記対象物に照射する可変波長光源部と
を含む撮像装置。
＜２＞ 前記対象物識別部は、前記白色光が照射された前記対象物の前記マルチスペクトル画像より、前記対象物を識別し、識別結果に基づいて、前記対象物の解析に最適な光の波長を、有効波長として特定する
＜１＞に記載の撮像装置。
＜３＞ 前記対象物識別部は、CNN（Convolutional Neural Network）により、前記白色光が照射された前記対象物の前記マルチスペクトル画像より、前記対象物を識別し、識別結果に基づいて、前記対象物の解析に最適な光の波長を、有効波長として特定する
＜２＞に記載の撮像装置。
＜４＞ 前記撮像部は、前記対象物識別部により特定された前記有効波長の光が照射された前記対象物のマルチスペクトル画像を撮像する
＜１＞に記載の撮像装置。
＜５＞ 前記対象物識別部により特定された前記有効波長の光が照射された前記対象物のマルチスペクトル画像のうち、前記有効波長の光に対応するスペクトル画像に基づいて、前記対象物の特性を解析する特性解析部をさらに含む
＜４＞に記載の撮像装置。
＜６＞ 前記特性解析部は、CNN（Convolutional Neural Network）により、前記対象物識別部により特定された前記有効波長の光が照射された前記対象物のマルチスペクトル画像のうち、前記有効波長の光に対応するスペクトル画像に基づいて、前記対象物を識別し、識別結果に応じて、前記対象物の特性を解析する
＜５＞に記載の撮像装置。
＜７＞ 前記特性解析部の解析結果を強調する前記有効波長の光に対応するスペクトル画像と、それ以外のマルチスペクトル画像とを、RGBチャネルに割り当てて、擬似カラー画像を生成する表示画像生成部をさらに含む
＜５＞に記載の撮像装置。
＜８＞ 前記表示画像生成部は、第１の有効波長の光に対応するスペクトル画像を、前記RGBチャネルのうちの第１のチャネルに割り当て、前記第１の有効波長とは異なる第２の有効波長の光に対応するスペクトル画像を、前記RGBチャネルのうちの第２のチャネルに割り当て、その他のスペクトル画像を第３のチャネルに割り当てて、前記擬似カラー画像を生成する
＜７＞に記載の撮像装置。
＜９＞ 前記表示画像生成部は、第１の有効波長の光に対応するスペクトル画像のゲインを調整して、前記RGBチャネルのうちの第１のチャネルに割り当て、前記第１の有効波長とは異なる第２の有効波長の光に対応するスペクトル画像のゲインを調整して、前記RGBチャネルのうちの第２のチャネルに割り当て、その他のスペクトル画像を加算した上で、ゲインを調整して、第３のチャネルに割り当てて、前記擬似カラー画像を生成する
＜８＞に記載の撮像装置。
＜１０＞ 前記表示画像生成部は、第１の有効波長の光に対応するスペクトル画像を、前記RGBチャネルのうちの第１のチャネルに割り当て、前記第１の有効波長の光に対応するスペクトル画像以外のスペクトル画像の一部を、前記RGBチャネルのうちの第２のチャネルに割り当て、前記第１の有効波長の光に対応するスペクトル画像以外のスペクトル画像の一部以外を、第３のチャネルに割り当てて、前記擬似カラー画像を生成する
＜７＞に記載の撮像装置。
＜１１＞ 前記表示画像生成部は、第１の有効波長の光に対応するスペクトル画像のゲインを調整して、前記RGBチャネルのうちの第１のチャネルに割り当て、前記第１の有効波長の光に対応するスペクトル画像以外のスペクトル画像の一部を加算した上で、ゲインを調整して、前記RGBチャネルのうちの第２のチャネルに割り当て、前記第１の有効波長の光に対応するスペクトル画像以外のスペクトル画像の一部以外を加算した上で、ゲインを調整して、第３のチャネルに割り当てて、前記擬似カラー画像を生成する
＜１０＞に記載の撮像装置。
＜１２＞ 前記マルチスペクトル画像に基づいて、前記マルチスペクトル画像より多くのバンドのスペクトル画像からなるハイパースペクトル画像を生成するハイパースペクトル画像生成部をさらに含み、
前記対象物識別部は、前記白色光が照射された前記対象物の前記マルチスペクトル画像に基づいて生成された前記ハイパースペクトル画像より、前記対象物の解析に最適な光の波長を、有効波長として特定する
＜１＞乃至＜１１＞のいずれかに記載の撮像装置。
＜１３＞ 前記撮像部は、前記対象物の広波長帯域のマルチスペクトル画像として撮像する
＜１＞乃至＜１２＞のいずれかに記載の撮像装置。
＜１４＞ 前記可変波長光源部は、複数の狭波長帯域の光の少なくともいずれか、または、それらの組み合わせからなる光を、前記有効波長の光として発光し、前記対象物に照射する
＜１＞乃至＜１３＞のいずれかに記載の撮像装置。
＜１５＞ 白色光を対象物に照射する白色光源処理と、
前記対象物のマルチスペクトル画像を撮像する撮像処理と、
前記白色光が照射された前記対象物の前記マルチスペクトル画像より、前記対象物の解析に最適な光の波長を、有効波長として特定する対象物識別処理と、
前記有効波長の光を前記対象物に照射する可変波長光照射処理と
を含む撮像方法。
＜１６＞ 白色光を対象物に照射する白色光源部と、
前記対象物のマルチスペクトル画像を撮像する撮像部と、
前記白色光が照射された前記対象物の前記マルチスペクトル画像より、前記対象物の解析に最適な光の波長を、有効波長として特定する対象物識別部と、
前記有効波長の光を前記対象物に照射する可変波長光源部と
してコンピュータを機能させるプログラム。
１１ 撮像装置， ３１ マルチスペクトルカメラ， ３２ 入力画像制御部， ３３ スイッチ， ３４ 対象物識別部， ３５ 表示画像生成部， ３６ 表示部， ３７ 特性解析部， ３８ 光源制御部， ３９ スイッチ， ４０ 白色光源部， ４１ 可変波長光源部， ５１ 識別器， ６１ 特徴量抽出部， ６２ 識別部， ７１ ハイパースペクトル画像生成部

Claims (16)

  1. 白色光を対象物に照射する白色光源部と、
    前記対象物のマルチスペクトル画像を撮像する撮像部と、
    前記白色光が照射された前記対象物の前記マルチスペクトル画像より、前記対象物の解析に最適な光の波長を、有効波長として特定する対象物識別部と、
    前記有効波長の光を前記対象物に照射する可変波長光源部と
    を含む撮像装置。
  2. 前記対象物識別部は、前記白色光が照射された前記対象物の前記マルチスペクトル画像より、前記対象物を識別し、識別結果に基づいて、前記対象物の解析に最適な光の波長を、有効波長として特定する
    請求項１に記載の撮像装置。
  3. 前記対象物識別部は、CNN（Convolutional Neural Network）により、前記白色光が照射された前記対象物の前記マルチスペクトル画像より、前記対象物を識別し、識別結果に基づいて、前記対象物の解析に最適な光の波長を、有効波長として特定する
    請求項２に記載の撮像装置。
  4. 前記撮像部は、前記対象物識別部により特定された前記有効波長の光が照射された前記対象物のマルチスペクトル画像を撮像する
    請求項１に記載の撮像装置。
  5. 前記対象物識別部により特定された前記有効波長の光が照射された前記対象物のマルチスペクトル画像のうち、前記有効波長の光に対応するスペクトル画像に基づいて、前記対象物の特性を解析する特性解析部をさらに含む
    請求項４に記載の撮像装置。
  6. 前記特性解析部は、CNN（Convolutional Neural Network）により、前記対象物識別部により特定された前記有効波長の光が照射された前記対象物のマルチスペクトル画像のうち、前記有効波長の光に対応するスペクトル画像に基づいて、前記対象物を識別し、識別結果に応じて、前記対象物の特性を解析する
    請求項５に記載の撮像装置。
  7. 前記特性解析部の解析結果を強調する前記有効波長の光に対応するスペクトル画像と、それ以外のマルチスペクトル画像とを、RGBチャネルに割り当てて、擬似カラー画像を生成する表示画像生成部をさらに含む
    請求項５に記載の撮像装置。
  8. 前記表示画像生成部は、第１の有効波長の光に対応するスペクトル画像を、前記RGBチャネルのうちの第１のチャネルに割り当て、前記第１の有効波長とは異なる第２の有効波長の光に対応するスペクトル画像を、前記RGBチャネルのうちの第２のチャネルに割り当て、その他のスペクトル画像を第３のチャネルに割り当てて、前記擬似カラー画像を生成する
    請求項７に記載の撮像装置。
  9. 前記表示画像生成部は、第１の有効波長の光に対応するスペクトル画像のゲインを調整して、前記RGBチャネルのうちの第１のチャネルに割り当て、前記第１の有効波長とは異なる第２の有効波長の光に対応するスペクトル画像のゲインを調整して、前記RGBチャネルのうちの第２のチャネルに割り当て、その他のスペクトル画像を加算した上で、ゲインを調整して、第３のチャネルに割り当てて、前記擬似カラー画像を生成する
    請求項８に記載の撮像装置。
  10. 前記表示画像生成部は、第１の有効波長の光に対応するスペクトル画像を、前記RGBチャネルのうちの第１のチャネルに割り当て、前記第１の有効波長の光に対応するスペクトル画像以外のスペクトル画像の一部を、前記RGBチャネルのうちの第２のチャネルに割り当て、前記第１の有効波長の光に対応するスペクトル画像以外のスペクトル画像の一部以外を、第３のチャネルに割り当てて、前記擬似カラー画像を生成する
    請求項７に記載の撮像装置。
  11. 前記表示画像生成部は、第１の有効波長の光に対応するスペクトル画像のゲインを調整して、前記RGBチャネルのうちの第１のチャネルに割り当て、前記第１の有効波長の光に対応するスペクトル画像以外のスペクトル画像の一部を加算した上で、ゲインを調整して、前記RGBチャネルのうちの第２のチャネルに割り当て、前記第１の有効波長の光に対応するスペクトル画像以外のスペクトル画像の一部以外を加算した上で、ゲインを調整して、第３のチャネルに割り当てて、前記擬似カラー画像を生成する
    請求項１０に記載の撮像装置。
  12. 前記マルチスペクトル画像に基づいて、前記マルチスペクトル画像より多くのバンドのスペクトル画像からなるハイパースペクトル画像を生成するハイパースペクトル画像生成部をさらに含み、
    前記対象物識別部は、前記白色光が照射された前記対象物の前記マルチスペクトル画像に基づいて生成された前記ハイパースペクトル画像より、前記対象物の解析に最適な光の波長を、有効波長として特定する
    請求項１に記載の撮像装置。
  13. 前記撮像部は、前記対象物の広波長帯域のマルチスペクトル画像として撮像する
    請求項１に記載の撮像装置。
  14. 前記可変波長光源部は、複数の狭波長帯域の光の少なくともいずれか、または、それらの組み合わせからなる光を、前記有効波長の光として発光し、前記対象物に照射する
    請求項１に記載の撮像装置。
  15. 白色光を対象物に照射する白色光源処理と、
    前記対象物のマルチスペクトル画像を撮像する撮像処理と、
    前記白色光が照射された前記対象物の前記マルチスペクトル画像より、前記対象物の解析に最適な光の波長を、有効波長として特定する対象物識別処理と、
    前記有効波長の光を前記対象物に照射する可変波長光照射処理と
    を含む撮像方法。
  16. 白色光を対象物に照射する白色光源部と、
    前記対象物のマルチスペクトル画像を撮像する撮像部と、
    前記白色光が照射された前記対象物の前記マルチスペクトル画像より、前記対象物の解析に最適な光の波長を、有効波長として特定する対象物識別部と、
    前記有効波長の光を前記対象物に照射する可変波長光源部と
    してコンピュータを機能させるプログラム。
JP2019569027A 2018-02-05 2019-01-22 撮像装置および撮像方法、並びにプログラム Pending JPWO2019151029A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018017956 2018-02-05
JP2018017956 2018-02-05
PCT/JP2019/001762 WO2019151029A1 (ja) 2018-02-05 2019-01-22 撮像装置および撮像方法、並びにプログラム

Publications (1)

Publication Number Publication Date
JPWO2019151029A1 true JPWO2019151029A1 (ja) 2021-01-14

Family

ID=67478269

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019569027A Pending JPWO2019151029A1 (ja) 2018-02-05 2019-01-22 撮像装置および撮像方法、並びにプログラム

Country Status (4)

Country Link
US (1) US11388323B2 (ja)
JP (1) JPWO2019151029A1 (ja)
CN (1) CN111670000B (ja)
WO (1) WO2019151029A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114449137A (zh) * 2020-11-02 2022-05-06 北京小米移动软件有限公司 滤光片结构、拍摄方法、装置、终端及存储介质
WO2022177823A1 (en) * 2021-02-17 2022-08-25 PacificMD Biotech, LLC System and method for endoscopic imaging and analyses
US11707182B2 (en) 2021-03-24 2023-07-25 PacificMD Biotech, LLC Endoscope and endoscope sheath with diagnostic and therapeutic interfaces
CN115245312A (zh) * 2021-04-27 2022-10-28 山东威高宏瑞医学科技有限公司 内窥镜多光谱图像处理系统及处理和训练方法
TWI796156B (zh) 2022-03-04 2023-03-11 國立中正大學 以波段用於超頻譜檢測物件影像之方法
WO2023188513A1 (ja) * 2022-03-28 2023-10-05 富士フイルム株式会社 情報処理装置、情報処理方法、及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005348902A (ja) * 2004-06-09 2005-12-22 Olympus Corp 内視鏡装置
JP2006288612A (ja) * 2005-04-08 2006-10-26 Olympus Corp 画像表示装置
JP2012120764A (ja) * 2010-12-10 2012-06-28 Fujifilm Corp 内視鏡システム、光学装置、および波長可変素子の透過光の波長帯域のずれ補正方法
JP2012152333A (ja) * 2011-01-25 2012-08-16 Fujifilm Corp 内視鏡システム及びその光源制御方法
WO2016194150A1 (ja) * 2015-06-02 2016-12-08 オリンパス株式会社 特殊光内視鏡装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003093336A (ja) 2001-09-26 2003-04-02 Toshiba Corp 電子内視鏡装置
JP4773217B2 (ja) * 2006-01-31 2011-09-14 富士フイルム株式会社 電子内視鏡装置
JP4849985B2 (ja) * 2006-07-21 2012-01-11 富士フイルム株式会社 電子内視鏡システム
JP2010213950A (ja) * 2009-03-18 2010-09-30 Fujifilm Corp 内視鏡補助器具およびこれを用いた内視鏡システム
JP5582948B2 (ja) * 2010-09-29 2014-09-03 富士フイルム株式会社 内視鏡装置
TWI554243B (zh) * 2011-01-21 2016-10-21 愛爾康研究有限公司 用於光學同調斷層掃描、照明或光凝治療的組合式外科內探針
JP2014154982A (ja) 2013-02-06 2014-08-25 Canon Inc 撮像装置およびその制御方法
JP2015211727A (ja) * 2014-05-01 2015-11-26 オリンパス株式会社 内視鏡装置
EP3940371B1 (en) * 2014-06-05 2023-08-30 Universität Heidelberg Method and imaging apparatus for acquisition of fluorescence and reflectance images
JP2017012395A (ja) * 2015-06-30 2017-01-19 富士フイルム株式会社 内視鏡システム及び内視鏡システムの作動方法
JP6744712B2 (ja) * 2015-12-17 2020-08-19 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法
US10321816B2 (en) * 2016-06-17 2019-06-18 Fujifilm Corporation Light source device and endoscope system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005348902A (ja) * 2004-06-09 2005-12-22 Olympus Corp 内視鏡装置
JP2006288612A (ja) * 2005-04-08 2006-10-26 Olympus Corp 画像表示装置
JP2012120764A (ja) * 2010-12-10 2012-06-28 Fujifilm Corp 内視鏡システム、光学装置、および波長可変素子の透過光の波長帯域のずれ補正方法
JP2012152333A (ja) * 2011-01-25 2012-08-16 Fujifilm Corp 内視鏡システム及びその光源制御方法
WO2016194150A1 (ja) * 2015-06-02 2016-12-08 オリンパス株式会社 特殊光内視鏡装置

Also Published As

Publication number Publication date
CN111670000A (zh) 2020-09-15
CN111670000B (zh) 2024-06-28
US11388323B2 (en) 2022-07-12
US20210037173A1 (en) 2021-02-04
WO2019151029A1 (ja) 2019-08-08

Similar Documents

Publication Publication Date Title
JPWO2019151029A1 (ja) 撮像装置および撮像方法、並びにプログラム
CN111601536B (zh) 缺光环境中的超光谱成像
US11089278B2 (en) Image-processing device, fluorescence observation device and method for emulating a first type of fluorescence observation device on a second type of fluorescence observation device
JP2007244681A (ja) 生体観測装置
CN114175609A (zh) 缺光环境中的超光谱成像
JP4717103B2 (ja) 信号処理システム及び信号処理プログラム
US11699220B2 (en) Fusion of molecular chemical imaging with RGB imaging
JP2022162028A (ja) 内視鏡画像処理装置、内視鏡システム、内視鏡画像処理装置の作動方法、内視鏡画像処理プログラム及び記憶媒体
Martín-Pérez et al. Hyperparameter optimization for brain tumor classification with hyperspectral images
JP5315561B2 (ja) 撮像装置、撮像方法、及びプログラム
US20210192295A1 (en) Systems and methods of combining imaging modalities for improved tissue detection
JP6931425B2 (ja) 医用画像学習装置、医用画像学習方法、及びプログラム
WO2017195863A1 (ja) 撮像装置
JP7449004B2 (ja) 周波数帯域を用いたハイパースペクトルによる物体画像の検出方法
TWI803223B (zh) 於超頻譜影像之物件偵測方法
JP2023521651A (ja) 顕微鏡システムのためのおよび変換関数を決定するためのシステム、方法およびコンピュータプログラム
WO2023118256A1 (en) Microscope system and corresponding method
JP2024133014A (ja) 科学用または手術用イメージングシステムのためのシステム、方法およびコンピュータプログラム、科学用または手術用イメージングシステム
WO2015166267A1 (en) Imaging techniques

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221011

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221205

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230404