JP6859554B2 - 観察補助装置、情報処理方法、およびプログラム - Google Patents

観察補助装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
JP6859554B2
JP6859554B2 JP2017521836A JP2017521836A JP6859554B2 JP 6859554 B2 JP6859554 B2 JP 6859554B2 JP 2017521836 A JP2017521836 A JP 2017521836A JP 2017521836 A JP2017521836 A JP 2017521836A JP 6859554 B2 JP6859554 B2 JP 6859554B2
Authority
JP
Japan
Prior art keywords
light
observation
image
unit
microscope
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017521836A
Other languages
English (en)
Other versions
JPWO2016194699A1 (ja
Inventor
恭輔 鎌田
恭輔 鎌田
有希恵 田村
有希恵 田村
文也 竹内
文也 竹内
Original Assignee
ライカ ミクロジュステムス（シュヴァイツ）アーゲー
ライカ ミクロジュステムス（シュヴァイツ）アーゲー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ライカ ミクロジュステムス（シュヴァイツ）アーゲー, ライカ ミクロジュステムス（シュヴァイツ）アーゲー filed Critical ライカ ミクロジュステムス（シュヴァイツ）アーゲー
Publication of JPWO2016194699A1 publication Critical patent/JPWO2016194699A1/ja
Application granted granted Critical
Publication of JP6859554B2 publication Critical patent/JP6859554B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0218—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using optical fibers
    • G01J3/0221—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using optical fibers the fibers defining an entry slit
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20—Surgical microscopes characterised by non-optical aspects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458—Fluorescence microscopy
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/0012—Surgical microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0028—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders specially adapted for specific applications, e.g. for endoscopes, ophthalmoscopes, attachments to conventional microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J2003/003—Comparing spectra of two light sources

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Multimedia (AREA)
  • Ophthalmology & Optometry (AREA)
  • Radiology & Medical Imaging (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Description

本発明は、励起光を光源として利用可能な顕微鏡に取り付けて診断に利用可能な装置等に関するものである。
従来の技術として、蛍光手術用実体顕微鏡は、観察対象野内の観察対象の蛍光区域を識別するための蛍光手術用実体顕微鏡であって、励起稼動状態では前記観察対象野を、少なくとも１つの照明光線路を介して励起波長領域内の光で照射し、手術稼動状態では前記観察対象野を、前記少なくとも１つの照明光線路を介して照明波長領域内の光で照射する第１照明装置と、前記観察対象野によりもたらされた反射光及び発光光を案内するための観察光線路と、前記励起波長領域内及び発光波長領域内において透過性である、前記観察光線路内の（好ましくは選択的に挿入可能な）第１観察フィルタとを含んで構成される蛍光手術用実体顕微鏡が知られていた（例えば、特許文献１参照）。
特開２０１２−５８７３２号公報（第１頁、第１図等）
しかしながら、従来の技術においては、励起光を光源として用いて、顕微鏡により観察対象を観察する際に、適切かつ容易に観察を行なうことができないという課題があった。
例えば、励起光を光源として用いた観察においては、励起光で励起された部分しか観察することができないため、励起されていない部分がどのようになっているかを確認することができず、励起されていない部分の状況の同時把握ができなかった。また、励起光で観察しただけでは、医師等が、適切な領域を観察しているか否かを判断することが困難であった。
例えば、励起光を光源として用いた観察においては、観察される領域の見え方が、自然光等を光源として用いた場合とは大きく異なるため、医師等は、適切な領域を観察しているか否かを判断することが困難であり、蛍光する部分の自然光画像との位置対応関係が掌握しにくい等の問題もあった。つまり、蛍光画像のみでは解剖学的位置との整合性をとることが困難であり、蛍光発色部分と自然光下の解剖学的な術野の両者の同時把握も必要である。
本発明は、上記のような課題を解消するためになされたものであり、励起光を光源として用いた観察を適切かつ容易に行なうことができる観察補助装置等を提供することを目的とする。
本発明の観察補助装置は、光源として励起光と励起光以外の波長を含む光である観察光とを切り替えて利用可能であり、第二のビームスプリッタを備えた顕微鏡の、第二ビームスプリッタから出射される光を用いて、励起光と観察光とをそれぞれ光源として用いた場合の、顕微鏡の同じ観察領域の画像を撮像する撮像部と、励起光と観察光とをそれぞれ光源として用いて撮像部が撮像した画像を重ねて合成して出力する出力部とを備えた観察補助装置である。
かかる構成により、励起光を光源として用いた観察を適切かつ容易に行なうことができる。例えば、励起光と観察光とをそれぞれ光源として用いて撮像した画像を重ねて合成して出力することで、観察光を用いた画像で観察可能な励起光では観察できない部分と、励起光を用いた画像で観察可能な蛍光を発する部位とを同時観察できる。また、例えば、観察光で観察可能な励起光で観察できない部分を見ることで適切な場所を観察しているか否かを確認しながら、励起光による観察を行なうことができる。また、励起光を用いた画像と観察光を用いた画像が重ねて合成されて出力されるため、両方の画像に示されている部位等の対応関係は一目瞭然に容易に把握することができる。また、両方の画像間で視線を移動させる必要がないため、視認性に優れている。
また、本発明の観察補助装置は、前記観察補助装置において、顕微鏡は、第一ビームスプリッタを更に備え、励起光を光源として利用した場合に顕微鏡の第一ビームスプリッタから出射される光を分光する分光部を更に備え、出力部は、分光部による分光結果に応じた出力を更に行なう観察補助装置である。
かかる構成により、顕微鏡により観察対象を観察する際に、顕微鏡の観察領域についての分光分析を同時に行なうことができることができる。
また、本発明の観察補助装置は、前記観察補助装置において、第一ビームスプリッタから出射される光のうちの少なくとも一部の光が入射され、入射された光を分光部に対して出射させる光ファイバを更に備え、分光部は、第一ビームスプリッタから出射される光のうちの、光ファイバを介して入射される光を分光する観察補助装置である。
かかる構成により、顕微鏡により観察対象を観察する際に、顕微鏡の観察領域についての分光分析を同時に行なうことができる。また、光ファイバで接続することにより、例えば、観察補助装置、特に分光部を配置する位置についての自由度を高くすることができる。
また、本発明の観察補助装置は、前記観察補助装置において、顕微鏡の拡大率および焦点距離の少なくとも一方を受け付ける受付部を更に備え、出力部は、分光部の分光結果を、受付部が受け付けた拡大率および焦点距離の少なくとも一方に応じて補正する観察補助装置である。
かかる構成により、拡大率や焦点距離の変化による分光部に入射される光の変化を補正した分光結果をえることができる。
また、本発明の観察補助装置は、前記観察補助装置において、顕微鏡は、オートズーム機構を有しており、出力部は、オートズーム機構が出力するズームの拡大率に応じて、分光部の分光結果を補正する観察補助装置である。
かかる構成により、顕微鏡のズームの拡大率に応じた補正を自動的に行なうことができる。
また、本発明の観察補助装置は、前記観察補助装置において、出力部は、分光部の分光結果が予め指定された条件を満たす場合に、予め指定された出力を行なう観察補助装置である。
かかる構成により、観察領域で観察される観察対象が予め指定された条件を満たすか否かを判断することができる。
また、本発明の観察補助装置は、前記観察補助装置において、分光部は、励起光を光源として通常組織を観察した場合に第一ビームスプリッタから出射される光の分光と、異常組織を観察した場合に第一ビームスプリッタから出射される光の分光と、をそれぞれ行ない、出力部は、通常組織に対する分光結果と、異常組織に対する分光結果との比較に関する情報を出力する観察補助装置である。
かかる構成により、例えば、正常組織に対する分光結果を参考にして異常組織に対する分光結果を分析することができる。
また、本発明の観察補助装置は、前記観察補助装置において、分光部は、同じ観察対象を、観察光を光源として観察した場合に第一ビームスプリッタから出射される光と、励起光を光源として観察した場合に第一ビームスプリッタから出射される光と、をそれぞれ分光し、出力部は、分光部の、観察光を光源とした場合の分光結果を用いて、励起光を光源として得られた分光結果を補正する観察補助装置である。
かかる構成により、励起光を光源とした場合に得られた分光結果から、観察光の影響を除去することができる。
また、本発明の観察補助装置は、前記観察補助装置において、前記撮像部は、顕微鏡の第二ビームスプリッタから出射される光を用いて、同じ光源を用いた場合における顕微鏡の同じ観察領域の複数の画像を撮像し、出力部は、撮像部が撮像した複数の画像を合成した画像を更に出力する観察補助装置である。
かかる構成により、複数の画像を合成して画像内の特定の部分等、例えば、蛍光している部分等を強調した画像を出力することができる。
また、本発明の観察補助装置は、前記観察補助装置において、出力部は、更に、励起光と観察光とをそれぞれ光源として用いて撮像部が撮像した画像をそれぞれが重ならないよう同時に出力する観察補助装置である。
かかる構成により、合成した画像に加えて、合成していない観察光を光源とした場合の観察領域の画像と、励起光を光源とした場合の観察領域の画像とを出力することができる。これにより、例えば、観察光を光源とした場合の観察領域の画像と、励起光を光源とした場合の観察領域の画像とを比較することができる。また、観察光を光源とした画像に表示されている部分と、励起光を光源とした画像に表示されている部分を明確に分離して視認することができる。
また、本発明の観察補助装置は、前記観察補助装置において、光源として励起光を用いた場合に、撮像部が撮像した画像について、撮像した画像が移動したか否か、または画像の拡大率が変化したか否かを判断する判断部を更に備え、撮像部は、判断部が、画像の移動または拡大率の変化を検出した場合に、光源を観察光に切り替えて顕微鏡の観察領域の画像を撮像し、出力部は、観察光を光源として撮像部が撮像した画像の出力を更新する観察補助装置である。
かかる構成により、励起光を用いて観察している場合における観察領域の変更を検出して、変更された観察領域についての観察光を光源として用いた撮像画像を自動的に取得することができる。
また、本発明の観察補助装置は、前記観察補助装置において、観察光が自然光である観察補助装置である。
かかる構成により、励起光を光源として用いた観察を適切かつ容易に行なうことができる。例えば、励起光と自然光とをそれぞれ光源として用いて撮像した画像を重ねて合成して出力することで、自然光を用いた画像で観察可能な励起光では観察できない部分と、励起光を用いた画像で観察可能な蛍光を発する部位とを同時観察できる。また、例えば、自然光で観察可能な励起光では観察できない部分を見ることで適切な場所を観察しているか否かを確認しながら、励起光による観察を行なうことができる。また、励起光を用いた画像と自然光を用いた画像が重ねて合成されて出力されるため、両方の画像に示されている部位等の対応関係は一目瞭然に容易に把握することができる。また、両方の画像間で視線を移動させる必要がないため、視認性に優れている。
本発明による観察補助装置等によれば、励起光を光源として用いた観察を適切かつ容易に行なうことができる。
本発明の実施の形態における診断システムの構成の一例を示す模式図 同診断システムの観察補助装置の動作について説明するフローチャート 同診断システムの観察補助装置が取得した分光結果の一例を示す図 同診断システムの観察補助装置が取得したグラフの一例を示す図 同診断システムの観察補助装置による複数の画像を合成する処理を説明するための、合成対象となる４枚のフレーム画像を示す模式図（図５（ａ））、および合成した画像を示す模式図（図５（ｂ）） 同診断システムの観察補助装置による表示例を示す図 同診断システムの観察補助装置が取得したグラフの一例を示す図 本発明の実施の形態におけるコンピュータシステムの外観の一例を示す図 同コンピュータシステムの構成の一例を示す図
以下、観察補助装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
（実施の形態）
図１は、本発明の実施の形態における診断システム１０００の一例を示す模式図である。
診断システム１０００は、観察補助装置１、顕微鏡２を備える。
観察補助装置１は、分光部１０１、光ファイバ１０２、受付部１０３、撮像部１０４、判断部１０５、出力部１０６を備える。
顕微鏡２は、第一ビームスプリッタ２０１、第二ビームスプリッタ２０２、レンズ群２０３、オートズーム機構２０４、接眼部２０５、光源２０６、偏向プリズム２０７を備える。
顕微鏡２は、光源として励起光を利用可能な顕微鏡である。顕微鏡２は、例えば、光学顕微鏡である。顕微鏡２は、例えば、手術用実体顕微鏡である。励起光は、例えば、観察対象に蓄積された蛍光物質を励起させる波長の光である。蛍光物質が蓄積された部分を含む領域に励起光を照射することにより、蛍光物質が蓄積された部分から蛍光を発光（放射）させることができ、蛍光物質が蓄積された部分を顕微鏡により視認することが可能となる。
顕微鏡２は、同一の光線路２０上に配置されるレンズ群２０３と、第一ビームスプリッタ２０１と、第二ビームスプリッタ２０２と、接眼部２０５と、を備えており、レンズ群２０３に対向した位置に配置される観察対象を、レンズ群２０３と、第一ビームスプリッタ２０１と、第二ビームスプリッタ２０２とを介して接眼部２０５から観察可能となっている。ここでの同一の光線路２０は、例えば、観察対象からレンズ群２０３に入射される光が、接眼部２０５まで進む光線路である。この光線路２０に対する第一ビームスプリッタ２０１と第二ビームスプリッタ２０２との配置は、逆であっても良い。
レンズ群２０３は、１以上のレンズ、通常は複数のレンズで構成されている。ここでは一例として、レンズ群２０３が、観察対象側に配置される対物レンズ２０３ａと、ズームレンズ２０３ｂとを有している場合を示している。対物レンズ２０３ａは、図示しない１以上のレンズ（通常は、複数のレンズ）で構成されている。対物レンズ２０３ａが複数のレンズで構成される場合、その枚数や、構成されるレンズの種類や組合わせ等については問わない。
ズームレンズ２０３ｂは、複数のレンズ（図示せず）で構成されており、１以上のレンズの位置を前後に移動させることにより、焦点距離や拡大率を変更できるようになっている。拡大率は、倍率と考えてもよい。ここでは、ズームレンズ２０３ｂは、オートズーム機構２０４によって、図示しない操作部に対してユーザが行なった操作に応じて、構成する１以上のレンズの位置を電動で移動させることにより、拡大率を変更可能となっている。ただし、ズームレンズ２０３ｂは、手動で操作可能なズームレンズであっても良い。オートズーム機構２０４は、例えば、ズームレンズ２０３ｂの現在の拡大率を示す情報や、ズームによって変更される焦点距離等の情報を取得して、観察補助装置１に対して出力してもよい。なお、オートズーム機構２０４の構成や、オートズーム機構２０４が、拡大率の情報等を取得するための構成については公知であるため、ここでは詳細な説明は省略する。
また、対物レンズ２０３ａは、対物レンズ２０３ａ自身の焦点距離の情報や、拡大率の情報等を取得して、観察補助装置１に対して出力しても良い。対物レンズ２０３ａの拡大率の情報等を取得するための構成については公知であるため、ここでは詳細な説明は省略する。かかることは、後述する接眼部２０５が有する接眼レンズ（図示せず）等においても同様である。
なお、本実施の形態においては、レンズ群２０３は、ズームレンズと同様の、レンズの位置を移動可能な構成を有する複数のレンズで構成される対物レンズであっても良い。また、レンズ群２０３は、ズームレンズ２０３ｂを有していなくても良い。また、ズームレンズ２０３ｂの設けられている位置は問わない。
第一ビームスプリッタ２０１は、観察対象からレンズ群２０３を経て入射される光を２つに分離して、分離した一方の光を、上述した接眼部２０５に至る光線路２０に出射する。また、分離した他方の光を、観察補助装置１の分光部１０１に対して出射する。つまり、分離した他方の光を、第一ビームスプリッタ２０１から分光部１０１に入射される光線路２１に対して出射する。ここでは、具体的には、分光部１０１と光学的に結合された光ファイバ１０２に、分離した光を入射させる。光ファイバ１０２の第一ビームスプリッタ２０１側の端面近傍には、第一ビームスプリッタ２０１で分離された光を集光して、光ファイバ１０２の端面に入射させるための１以上のレンズ（図示せず）を備えていても良い。例えば、第一ビームスプリッタ２０１は、入射される光の一部を反射させ、残りの光を透過させることで、光を２つに分離する。通常、反射光を、分光部１０１に対して出射する。第一ビームスプリッタ２０１としては、例えば、プリズム型、平面型、ウェッジ基板型等が知られている。ここでは、一例としてプリズム型の第一ビームスプリッタ２０１を用いた場合を例に挙げて示している。なお、第一ビームスプリッタ２０１はハーフミラーであってもよい。なお、ビームスプリッタの構成は、公知であるため、ここでは詳細な説明は省略する。
第二ビームスプリッタ２０２は、観察対象からレンズ群２０３と第一ビームスプリッタ２０１とを経て入射される光を２つに分離して、分離した一方の光を、上述した接眼部２０５に至る光線路２０に出射する。また、分離した他方の光を、観察補助装置１の撮像部１０４に対して出射する。つまり、分離した他方の光を、第一ビームスプリッタ２０１から分光部１０１に入射される光線路２１に対して出射する。撮像部１０４と、第二ビームスプリッタ２０２との間は、例えば、接続管や、マウント部材等の接続部２０２ｂを介して接続される。撮像部１０４と、第二ビームスプリッタ２０２との間には、第二ビームスプリッタ２０２で分離された光を集光して、撮像部１０４の撮像面（図示せず）等に入射させるための１以上のレンズ（図示せず）を備えていても良い。第二ビームスプリッタ２０２の構成等については、第一ビームスプリッタ２０１と同様のものが利用可能であるため、ここでは詳細な説明は省略する。
顕微鏡２は、通常、２つの接眼部２０５を備えている。ただし、接眼部２０５は一つであっても良い。接眼部２０５には、例えば、接眼レンズ（図示せず）が設けられている。
なお、顕微鏡２は、上記以外の１以上のレンズ等の光学系を備えていても良い。例えば、例えば、上述した同一の光線路上に、結像レンズ（図示せず）や、偏向プリズム（図示せず）等を備えていても良い。結像レンズを備えている場合、第一ビームスプリッタ２０１や第二ビームスプリッタ２０２は、それぞれ、対物レンズ２０３ａと、結像レンズとの間に設けるようにすることが好ましい。
また、ここでは説明を省略しているが、顕微鏡２は、フォーカス機構等を備えていても良い。
また、顕微鏡２は、焦点距離の情報や拡大率の情報の少なくとも一方を取得して、観察補助装置１に出力する顕微鏡情報出力部（図示せず）等を備えていても良い。なお、顕微鏡の焦点距離や拡大率の情報を取得して出力する構成は公知技術であるため、ここでは詳細な説明は省略する。
光源２０６は、励起光を顕微鏡２の観察対象に対して照射する。光源２０６は、例えば、偏向プリズム２０７で偏向させた励起光を観察対象に対して照射する。観察対象は、例えば試料である。観察対象は、具体的には、生体の腫瘍が発生している患部等である。観察対象に対して励起光を照射するということは、観察領域に励起光を照射することと考えてもよい。なお、偏向プリズム２０７を介さずに、直接光源２０６から光を観察対象に照射するようにしても良い。また、観察対象と光源２０６との間の１以上のレンズ（図示せず）や１以上の凹面鏡等のミラー（図示せず）等を配置してもよい。
光源２０６は、観察対象の表面から光を照射してもよく、裏面から光を照射しても良い。例えば、顕微鏡２が手術用顕微鏡である場合、光源２０６は観察対象の正面から光を照射する。
光源２０６が照射する励起光の波長は、観察対象が有する蛍光物質を励起させて蛍光を発光させることが可能な波長あるいは波長帯の光であり、その波長あるいは波長帯は、励起対象となる蛍光物質に応じて決定される。例えば、観察対象が腫瘍である場合において５−ＡＬＡ（５−Ａｍｉｎｏｌｅｖｕｌｉｎｉｃ Ａｃｉｄ）を投与した場合、この５−ＡＬＡが腫瘍細胞内に集積して蛍光物質（ＰｒｏｔｏｐｏｒｐｈｙｒｉｎＩＸ：ＰｐＩＸ）となるが、この蛍光物質から蛍光を発光させるためには、例えば、波長が４００ｎｍの励起光が用いられる。
顕微鏡２においては、例えば、光源２０６を点灯させることで、励起光を観察対象に照射する光の光源として利用可能となり、光源２０６を消灯させることで、自然光を観察対象に照射する光の光源として利用可能となる。つまり、顕微鏡２は、光源２０６の点灯と消灯との切換により、観察対象に照射する光の光源として励起光と自然光とを切り替えて利用することが可能である。あるいは、光源２０６の光を観察対象に照射するか照射しないかを、光源２０６の照射方向や、偏向プリズム２０７の位置を変更させることによって、切り替えてもよい。ここでの自然光は、環境光や、可視光や、白色光等と考えてもよく、必ずしも太陽光でなくても良い。自然光は、例えば、室内に設けられた照明等が発する室内光等と考えてもよい。例えば、自然光は、出術室等において手術中に、観察対象に照射される照明光であってもよい。なお、顕微鏡２は、観察対象に自然光を照射するための光源（図示せず）や、偏向プリズム（図示せず）等を有していても良い。
光源２０６は、出射する励起光の強度を切り替え可能なものであっても良い。例えば、光源２０６は、同じ波長帯の光を照射する複数の光源（図示せず）で構成されていても良く、この場合、複数の光源のオン、オフの組合わせにより、出射される光の強度を変更することが可能である。
なお、顕微鏡２は、観察補助装置１が出力する情報、例えば制御情報に応じて、光源として、励起光を利用する場合と、自然光を利用する場合とを適宜切り替え可能なものであっても良い。例えば、顕微鏡２は、観察補助装置１が出力する情報により、励起光を照射する光源２０６を点灯、消灯を切り替えられるものであってもよい。
なお、図１に示した顕微鏡２は、一例であり、本実施の形態においては、叙述したような機能や構造等を備えている顕微鏡であれば、他の構造の顕微鏡であっても良い。
観察補助装置１は、例えば、顕微鏡２による観察を補助するために用いられる装置である。観察補助装置１は、顕微鏡２に着脱可能となるように取り付けられるものであることが好ましい。ただし、観察補助装置１は、顕微鏡２に取り付けられた状態で固定されていても良い。観察補助装置１は、例えば、医療用に用いられる装置である。医療用に用いられるということは、例えば、診断や手術灯の医療行為や、医療行為に関連した検査等に用いられることである。
分光部１０１は、顕微鏡２の、第一ビームスプリッタ２０１から出射される光を分光する。例えば、分光部１０１は、第一ビームスプリッタ２０１から出射される光のうちの、光ファイバ１０２を介して入射される光を分光する。例えば、分光部１０１は、光ファイバ１０２を介して、第一ビームスプリッタ２０１と光学的に接続される。光ファイバ１０２は、例えば、観察補助装置１の一部と考えてよい。
分光部１０１は、例えば、入射される光を分光して、波長毎の光強度を取得する。なおここでの波長は、周波数に適宜、置き換えて考えてもよい。かかることは以下においても同様である。分光部１０１が取得する光強度は、例えば、相対強度である。光強度の単位等は問わない。光強度は、光強度を示す信号強度であっても良い。分光部１０１は、例えば、入射光のスペクトルを取得する。スペクトルは、例えば、分光スペクトルである。分光スペクトルは、例えば、観察対象についての蛍光スペクトルや、反射スペクトルである。例えば、分光部１０１は、光源２０６から照射される励起光によって観察対象の蛍光物質から発光されて、第一ビームスプリッタ２０１で分離されて入射される蛍光のスペクトルを取得する。また、例えば、分光部１０１は、観察対象で反射され、第一ビームスプリッタ２０１で分離されて入射される自然光のスペクトルを取得する。なお、分光部１０１が取得するスペクトルは、例えば、吸収スペクトルや、発振スペクトルであってもよい。なお、分光部１０１が取得する光強度は、例えば、相対強度である。例えば、分光部１０１が取得するスペクトルは、複数の波長と相対的な光強度とを対応付けて有する情報である。
例えば、分光部１０１は、同じ観察対象を、自然光を光源として観察した場合に第一ビームスプリッタ２０１から出射される光と、励起光を光源２０６として観察した場合に第一ビームスプリッタ２０１から出射される光と、をそれぞれ分光し、それぞれの分光結果を取得するようにしてもよい。分光結果は、波長毎の光強度の値や、スペクトルである。取得したそれぞれの分光結果は、例えば、図示しない格納部等に蓄積しておく。なお、励起光だけを光源として用いて観察を行なう場合、顕微鏡２が配置された部屋等の照明を消灯したり、部屋等への外部からの光を遮光したりすることが好ましい。このように消灯や遮光を行なわないで励起光を光源として用いて観察を行なった場合、分光部１０１は、励起光により発生する蛍光と、自然光による反射光との両方の分光を行なうこととなる。
また、分光部１０１は、励起光を光源２０６として通常組織を観察した場合に第一ビームスプリッタ２０１から出射される光の分光と、異常組織を観察した場合に第一ビームスプリッタ２０１から出射される光の分光と、をそれぞれ行ない、それぞれの分光結果を取得するようにしても良い。例えば、ユーザが、観察対象となる組織を、通常組織と、異常組織とに切り替えるようにして、分光部１０１は、それぞれの組織について分光結果を取得する。組織とは、通常、生体の組織である。異常組織とは、例えば、病変部位の組織である。病変部位の組織とは腫瘍組織である。通常組織は、異常組織以外の組織である。ただし、通常組織と異常組織として用いられる組織は、同じ生体、例えば同じ被験者の同様の部位、例えば同じ臓器や、近接した部位等の組織であることが好ましい。取得したそれぞれの分光結果は、例えば、図示しない格納部等に蓄積しておく。
なお、分光部１０１の構成や、分光部１０１が分光を行なうための動作等については、以下のＵＲＬ等に示されている分光器のような通常の分光器と同様であるため、ここでは詳細な説明は省略する（"ミニ分光器：ラマン分光装置用｜浜松ホトニクス"、［ｏｎｌｉｎｅ］、［平成２７年５月２９日検索］、インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｗｗｗ．ｈａｍａｍａｔｓｕ．ｃｏｍ／ｊｐ／ｊａ／ｐｒｏｄｕｃｔ／ａｐｐｌｉｃａｔｉｏｎ／１５０５／４５１７／４３８７／ｉｎｄｅｘ．ｈｔｍｌ＞」。
光ファイバ１０２には、第一ビームスプリッタ２０１から出射される光のうちの少なくとも一部の光が入射される。そして、光ファイバ１０２は、入射された光を分光部１０１に対して出射させる。光ファイバ１０２には、第一ビームスプリッタ２０１で分離された光のうちの、接眼部２０５に至る光線路２０に出射される光とは異なる光の全てが入射されても良く、その一部だけが入射されても良い。例えば、一部の光だけを図示しないレンズ等で集光して光ファイバ１０２に入射させるようにしても良い。例えば、顕微鏡２の観察領域内の一部の領域、好ましくは、観察領域の中央近傍から得られる光だけが、光ファイバ１０２に入射されるようにしても良い。観察領域の中央近傍とは、例えば、観察領域の中心位置を含む対象な領域であって、観察領域の５０％以下の面積、好ましくは７〜１３％の面積を占める領域である。例えば、７〜１３％の面積とすることで、通常のカメラの中央重点測光と同様の面積の光を受光することとなり、観察領域の適切な部位の光を受光することができる。顕微鏡２の観察領域は、例えば、顕微鏡２の観察野や、視野等と考えてもよい。
受付部１０３は、顕微鏡２の拡大率および焦点距離の少なくとも一方を受け付ける。例えば、受付部１０３は、上述したような顕微鏡２のオートズーム機構２０４や対物レンズ２０３ａや、接眼部２０５や、図示しない顕微鏡情報出力部等が出力する拡大率および焦点距離の少なくとも一方の情報を受け付けても良い。また、上述したような顕微鏡２のオートズーム機構２０４や対物レンズ２０３ａや、接眼部２０５や、図示しない顕微鏡情報出力部等が出力する顕微鏡２が使用しているレンズを示す情報や、ズームレンズの状況を示す情報等を受け付けて、この受け付けた情報を用いて、受付部１０３が、拡大率や焦点距離の情報を算出してもよく、このような場合も、実質的に、拡大率および焦点距離の少なくとも一方を受け付けることと考えてもよい。また、ユーザが図示しない入力デバイス等を介して入力した拡大率および焦点距離の情報を受け付けても良い。顕微鏡２の拡大率は、通常の顕微鏡の拡大率（あるいは倍率）と同様であり、例えば、顕微鏡２のレンズ群２０３の拡大率と、接眼部２０５が有する接眼レンズ（図示せず）の拡大率との積である。なお、顕微鏡２の拡大率や焦点距離の算出方法や、取得方法については、公知技術であるため、ここでは詳細な説明は省略する。ここでの受け付けは、入力インターフェース（図示せず）を介した情報の入力の受付や、キーボードやマウス、タッチパネルなどの入力デバイスから入力された情報の受け付けなどを含む概念である。入力手段は、テンキーやキーボードやマウスやメニュー画面によるもの等、何でも良い。受付部１０３は、テンキーやキーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。
撮像部１０４は、顕微鏡２の第二ビームスプリッタ２０２から出射される光を用いて、顕微鏡２の同じ観察領域の画像を撮像する。撮像部１０４は、ＣＣＤやＣＭＯＳ等の撮像素子（図示せず）を備えている。撮像部１０４が備えている撮像素子の画素数や、サイズ等は問わない。撮像部１０４が撮像する画像は、通常、カラーの画像であるが、文句ローム画像であっても良い。撮像部１０４が撮像する画像は、動画像であっても良く、静止画像であっても良く、その両方であってもよい。撮像部１０４は、一定または不定の時間間隔毎に連続して２以上の静止画像を撮像してもよい。例えば、撮像部１０４は、第二ビームスプリッタ２０２から出射され、図示しない接続管やマウント部材等を介して入射される光を分光する。例えば、撮像部１０４は、接続管やマウント部材等を介して、第二ビームスプリッタ２０２と光学的に接続される。撮像部１０４と第二ビームスプリッタ２０２との間には、適宜、図示しない１以上のレンズやミラー、プリズム等が設けられていても良い。
撮像部１０４は、例えば、顕微鏡２の第二ビームスプリッタ２０２から出射される光を用いて、顕微鏡２の同じ観察領域の複数の画像を撮像してもよい。例えば、撮像部１０４は、予め指定された時間間隔ごとに連続して同じ観察領域の画像を複数回撮像して、顕微鏡２の同じ観察領域の複数の画像を撮像してもよい。また、この複数の画像は、同じ観察領域を撮像した動画像の、連続した複数のフレーム画像や、動画像から予め指定された１以上のフレーム画像数おきに順次取得された複数のフレーム画像であってもよい。例えば、撮像部１０４は、動画像を取得し、この動画像から、このような複数のフレーム画像を取得しても良い。同じ観察領域の複数の画像とは、例えば、観察領域を移動させず、また、観察領域に対して拡大率の変更等を行なわずに撮像された複数の画像である。例えば、撮像部１０４は、図示しない受付部が、同じ観察領域の複数の画像を撮像する指示を受け付けた場合に、複数の画像を撮像するようにしてもよく、常時、複数の画像を撮像するようにしても良い。
また、撮像部１０４は、顕微鏡２の、第二ビームスプリッタ２０２から出射される光を用いて、励起光と自然光とをそれぞれ光源２０６として用いた場合の、顕微鏡２の同じ観察領域の画像を撮像してもよい。同じ観察領域の画像とは、上記と同様に、観察領域を移動させず、かつ拡大率の変更を行なわずに撮像した画像である。ここで撮像する画像は、いずれも静止画像であってもよく、いずれも動画像であっても良く、一方が静止画像で、他方が動画像であっても良い。
また、撮像部１０４は、後述する判断部１０５が、画像の移動または拡大率の変化を検出した場合に、光源を自然光に切り替えて顕微鏡２の観察領域の画像を撮像してもよい。移動または拡大率の変化の検出対象となる画像は、例えば、励起光を光源として用いて撮像された動画像または、２以上の静止画像、好ましくは、２以上の連続した順番で撮像された静止画像である。画像の移動とは、例えば、画像内における撮像対象の移動や、対応する画素や画素群の移動や、対応する動きオブジェクトの移動である。かかることは拡大率の変化についても同様である。また、ここでの画像の移動は、顕微鏡２の移動等に伴う観察領域の移動によるものであっても良く、観察対象の移動によるものであってもよい。かかることは拡大率の変化についても同様である。ここでの画像の移動や拡大率の変化は、閾値以上の画像の移動や、拡大率の変化である。例えば、撮像部１０４は、励起光を光源として用いた画像を撮像していた場合において、後述する判断部１０５が、画像の移動または拡大率の変化を検出した場合に、一時的に、光源を自然光に切り替えて顕微鏡２の観察領域の画像を撮像し、撮像後、光源を励起光に再度切り替えて顕微鏡２の観察領域の画像を撮像してもよい。これにより、観察領域の設定に変化があった場合に、変化した観察領域を自然光で撮像した画像を取得することができ、変化後の観察領域を自然光で撮像した画像を取得することができる。
判断部１０５は、光源２０６として励起光を用いた場合に、撮像部１０４が撮像した画像について、撮像した画像が移動したか否か、または画像の拡大率が変化したか否かを判断する。例えば、判断部１０５は、励起光を用いて撮像された動画像または、２以上の静止画像、好ましくは、２以上の連続した順番で撮像された静止画像において、画像が移動したか否か、または画像の拡大率が変化したいか否かを判断する。例えば、動画像のフレーム画像間や、２以上の静止画像間において、差分画像等を用いて画素や、画素ブロックや画素オブジェクト等の画素群について動き検出を行なって、その動きから、画像の動きや、画像の拡大率の変化を検出する。例えば、画素や画素群について検出した動きが閾値以上である場合、画像が動いたと判断する。また、動き検出により検出された画素群や動きオブジェクトの大きさの変化、例えば、面積の変化が、閾値以上である場合、画像の拡大率が変化したと判断する。なお、撮像した画像から、画像の動きを検出したり、画像の拡大率の変化の有無を判断する処理は、被写体の動き等を検出する技術等として、公知の技術であるため、ここでは、詳細な説明は省略する。
出力部１０６は、分光部１０１による分光結果に応じた出力を行なう。出力部１０６は、例えば、分光部１０１による分光結果を出力する。例えば、出力部１０６は、分光部１０１が分光結果として取得した波長毎の光強度の値を、グラフや表で出力する。例えば、出力部１０６は、波長毎の光強度の値を、横軸を波長、縦軸を光強度としたグラフで表示する。例えば、出力部１０６は、分光結果として取得した波長毎の光強度のうちの予め指定された波長帯（波長の範囲）の光強度を用いて基準値を設定し、この波長帯以外の他の波長について取得した光強度としては、この基準値を基準として取得した値を出力するようにしても良い。基準値を基準として取得した光強度の値とは、例えば、分光部１０１が取得した波長毎の光強度と、基準値との差で表される光強度の値である。例えば、出力部１０６は、設定した基準値に対応する光強度を０とした場合の、波長毎の光強度を算出して出力しても良い。基準値は、予め指定された波長帯の光強度に応じて設定される。予め指定された波長帯は、例えば、異常組織についての分光結果と通常組織についての分光結果でも、光強度の値に大きな違いがないと考えられる波長帯であることが好ましい。予め指定された波長帯は、例えば、５００〜５３０ｎｍの範囲内に設定される波長帯である。例えば、出力部１０６は、分光結果のうちの、予め指定された波長帯に含まれる波長について取得された光強度の平均値や、中間値等である。ただし、予め指定された波長帯に含まれる波長からどのように、基準値を取得してもよい。
また、出力部１０６は、分光部１０１が分光結果として取得した波長毎の光強度の値を用いて、光強度が最大値を取る波長を検出し、この波長の値を分光結果に応じた出力として出力してもよい。ここでの最大値は、予め指定された波長帯、つまり波長の範囲内における最大値であっても良い。例えば、波長が、５５０−７５０ｎｍまでの範囲における最大値であっても良い。また、この最大値の光強度の値を取得して、分光結果に応じた出力として出力してもよい。また、この上記のグラフの光強度が最大となる波長の近傍の面積を算出して出力しても良い。この面積は、どのように算出しても良く、例えば、積分等を用いて算出してもよい。また、出力部１０６は、分光部１０１が分光結果として取得した波長毎の光強度の値を用いて２以上のピークを検出し、このピークの光強度の値の比を算出して出力しても良い。ピークを自動で検出する技術は公知であるため、詳細な説明は省略する。なお、ここでの光強度としては、分光部１０１が取得した光強度の値を用いても良く、上述したような分光結果が示す光強度と基準値との差を用いるようにしてもよい。かかることは、以下においても同様である。
また、出力部１０６は、分光部１０１の分光結果を、受付部１０３が受け付けた拡大率および焦点距離の少なくとも一方に応じて補正してもよい。ここでの補正は、分光結果全体に対して行なわれても良く、一部に対して行なわれても良い。そして、出力部１０６は、補正した分光結果に応じた出力を行うようにしてもよい。具体的には、分光結果が有する１以上の波長の光強度の値を、受付部１０３が受け付けた拡大率および焦点距離の少なくとも一方に応じて補正してもよい。例えば、拡大率が大きくなる（あるいは焦点距離が長くなる）と、顕微鏡２の観察領域（例えば、観察野）に入射される光の量が減ることから、出力部１０６は、拡大率が増加するに従って（あるいは焦点距離が長くなるに従って）、連続的あるいは非連続的に、１以上の波長の光強度の値を増加させるようにしてもよい。ここでの、１以上の波長は、分光部１０１が光強度の値を取得した全ての波長であってもよく、その一部の波長でも良い。例えば、最大値の光強度が得られた波長の光強度や、ピークの光強度が得られた波長の光強度だけを補正しても良い。あるいは、最大値の光強度が得られた波長とその近傍の波長の光強度や、ピークの光強度が得られた波長とその近傍の波長の光強度だけを補正しても良い。ここでの最大値は、予め指定された波長帯、つまり波長の範囲における最大値であっても良い。
例えば、拡大率がｎ倍になると、観察領域から入射される光は、１／ｎ２倍に減少するため、出力部１０６は、拡大率がｎ倍になると、分光結果が有する１以上の波長の光強度の値をｎ２倍に補正する。例えば、出力部１０６は、光強度の最大値を、ｎ２倍に補正する。この場合のｎ倍の基準となる拡大率は予め指定しておくようにすればよい。この基準となる拡大率の場合の拡大率を１倍と考えるようにすればよい。なお、焦点距離に関しても、焦点距離の変化による観察領域の面積の変化による光量の変化を補うように、光強度を補正すればよい。
なお、例えば、分光部１０１が取得した分光結果の光強度の最大値をＬ１、上述したように求めた基準値をＬＢとすると、この最大値Ｌ１については、拡大率のｎ倍に応じて光強度をｎ２倍に補正して、補正後の光強度をｎ２Ｌ１とするとともに、他の波長Ｘの光強度ＬＸについては、この基準値ＬＢの光強度が補正の前後で変更されないように、（ｎ２Ｌ１−ＬＢ）Ｌｘ／ｎ２Ｌ１を補正値として取得するようにしても良い。つまり、補正後の最大値と基準値との間に、分光結果の各波長の光強度を割り当てるよう、各波長の光強度を補正するようにしてもよい。
なお、出力部１０６は、オートズーム機構２０４が出力するズームの拡大率に応じて、分光部１０１の分光結果を補正するようにしてもよい。例えば、オートズーム機構２０４から、ズームの拡大率の情報、即ち顕微鏡２の拡大率を示す情報を取得して、この拡大率に応じて、上記の拡大率に応じた補正と同様の補正を行なうようにしてもよい。
出力部１０６は、励起光を光源として用いた場合の、分光部１０１の分光結果が予め指定された条件を満たす場合に、予め指定された出力を行なうようにしてもよい。例えば、出力部１０６は、分光結果である波長毎の光強度の中に、予め設定された閾値以上の光強度が存在するか否かを判断し、存在する場合に、条件を満たすと判断して予め指定された出力を行うようにしてもよい。また、例えば、出力部１０６は、分光結果である波長毎の光強度の最大値が、予め設定された閾値以上の光強度であるか否かを判断し、閾値以上である場合に、条件を満たすと判断して予め指定された出力を行うようにしてもよい。また、例えば、出力部１０６は、分光結果である波長毎の光強度の最大値について上述したように取得した面積が、予め設定された閾値以上であるか否か、を判断し、存在する場合に、条件を満たすと判断して予め指定された出力を行うようにしてもよい。なお、ここでの光強度の最大値や閾値等は、分光部１０１が取得した光強度の最大値や閾値であっても良く、上述したような基準値を基準として取得した光強度についての最大値や閾値であっても良い。
ここでの予め指定された出力は、例えば、顕微鏡２の観察領域（例えば観察野）として、適切な観察領域が設定されていること等を観察者等に通知するための出力である。ここでの予め指定された出力は、例えば、予め指定された音の出力や、予め指定された画像の表示や、予め指定されたランプ等の点灯や点滅である。予め指定された音は、例えば、ブザー音やアラーム音であってもよく、予め用意された音声ファイルの再生等であっても良い。音を出力することで、顕微鏡２による観察を妨げずに、条件を満たすことを通知することができる。例えば、顕微鏡２の接眼部２０５内に透過型の液晶パネル（図示せず）や、部分的に発光させることが可能な透明なパネル等を設け、出力部１０６は、この液晶パネルに予め指定された表示を行なったり、予め指定された光を発光させても良い。なお、予め指定された出力を行なうということは、出力に予め指定された変化を加えることと考えても良く、例えば、予め指定された条件を満たさない場合に出力していた出力を、条件を満たした場合に終了すること等も含む概念である。
なお、出力部１０６は、励起光を光源として用いた場合の、分光部１０１による分光結果において、予め指定された波長や波長帯に、光強度のピークが存在するか否かを判断し、判断結果に応じて、観察対象が異常組織であるか否かを示す情報を出力するようにしてもよい。例えば、以下に述べる非特許文献１に示すように、蛍光物質ＰｐＩＸを用いて、励起光を観察対象に照射して得られた光を分光分析した場合、腫瘍組織においては、６３６ｎｍにピークが存在することが知られていることから、ピークが検出された周波数が６３６ｎｍである場合に、異常組織が観察領域に含まれることを示す情報、例えば音を出力してもよい。（非特許文献１：島谷 浩二、外１名、"手術顕微鏡下５−ＡＬＡ誘導蛍光計測による脳腫瘍の術中同定に関する研究"、［ｏｎｌｉｎｅ］、［平成２７年５月２６日検索］、インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｒｅｐｏｓｉｔｏｒｙ．ｄｌ．ｉｔｃ．ｕ−ｔｏｋｙｏ．ａｃ．ｊｐ／ｄｓｐａｃｅ／ｂｉｔｓｔｒｅａｍ／２２６１／２０３８２／１／Ｋ−０１３６２−ａ．ｐｄｆ＞）。
なお、出力部１０６は、上述したような補正した分光結果と補正していない分光結果とをそれぞれ出力しても良い。また、上述したような補正した分光結果と補正していない分光結果との少なくとも一方と、上述したような予め指定された出力とを、それぞれ出力するようにしても良い。
出力部１０６は、例えば、分光部１０１が取得した通常組織に対する分光結果と、異常組織に対する分光結果との比較に関する情報を出力する。比較に関する情報とは、例えば、通常組織に対する分光結果と異常組織に対する分光結果とを比較可能となるように示した情報である。例えば、分光部１０１が取得して蓄積したこれらの分光結果に関する情報を同時に、好ましくは同じ画面に出力する。例えば、通常組織に対する分光結果のグラフと、異常組織に対する分光結果のグラフとを重ねて示したグラフである。また、比較に関する情報は、通常組織に対する分光結果と異常組織に対する分光結果との差を示す情報であり、例えば、各波長毎の値の差を示すグラフである。
出力部１０６は、分光部１０１の、自然光を光源とした場合の分光結果を用いて、励起光を光源として得られた分光結果を補正してもよい。そして、補正した分光結果に応じた情報を上記の補正していない分光結果と同様に出力しても良い。例えば、出力部１０６は、励起光を光源として得られた分光結果と、自然光を光源とした場合の分光結果との差を、補正した分光結果として取得して出力しても良い。例えば、出力部１０６は、励起光を光源として得られた分光結果が示す各周波数毎の光強度から、自然光を光源とした場合の分光結果が示す上記の各周波数に対応する周波数毎の光強度を減算し、減算して得られた各周波数毎の光強度の値を出力する。
出力部１０６は、例えば、上記のように撮像部１０４が同じ観察領域を撮像した複数の画像を合成した画像を更に出力してもよい。ここでの同じ観察領域を撮像した複数の画像は、例えば、同じ光源、例えば励起光の光源２０６を用いて撮像された複数の画像である。例えば、出力部１０６は、撮像部１０４が撮像した複数の画像を合成する。そして、合成した画像を出力、例えば、図示しないモニタ等に表示する。出力部１０６は、例えば、同じ観察領域を撮像した動画像から予め指定された数の複数のフレーム画像を順次取得し、予め指定された数のフレーム画像を取得する毎に、このフレーム画像を合成して、合成した画像を順次表示するようにしても良い。この場合、例えば、新たに合成した画像を表示する際には、直前に表示されていた画像を、新たに合成した画像で更新するようにすればよい。
複数の画像の合成は、例えば、蛍光物質によって蛍光している部分が強調される、あるいは視認しやすくなるような合成であることが好ましい。例えば、輝度の高い部分（明るい部分）がより明るくなるような合成であることが好ましい。例えば、複数の画像の合成は、複数の画像の加算平均である。また、複数の画像の合成は、複数の画像のスクリーン合成であっても良い。画像の加算平均や、スクリーン合成については、公知技術であるため、ここでは詳細な説明は省略する。ただし、上記以外の合成を行なうようにしてもよい。合成方法は、ユーザが適宜設定できるようにしても良い。
出力部１０６は、例えば、励起光と自然光とをそれぞれ光源として用いて撮像部１０４が撮像した画像を更に出力（例えば表示）するようにしてもよい。例えば、出力部１０６は、それぞれの光源で撮像された画像を、同時に表示してもよい。例えば、それぞれの光源で撮像された画像を、一の画面内に配置して同時に表示してもよい。この場合、例えば、画像同士は重ならないようにしてもよい。また、出力部１０６は、画像同士を完全に重ねて表示しても良い。完全に重ねるとは、画像同士の四辺や、向き、角が一致するよう重ねることである。重ねる際には、例えば、上に配置される画像の透過度を、下に配置される画像が表示されるよう、０％以外の値、例えば、５０％程度に設定して配置しても良く、上に配置される画像を、オーバーレイ合成や、スクリーン合成、焼き込み合成、乗算合成等の合成モードで下の画像に対して合成するようにしてもよい。また、出力部１０６は、例えば、励起光と自然光とをそれぞれ光源として用いて撮像部１０４が撮像した画像を重ねて合成して出力するとともに、更に、この励起光と自然光とをそれぞれ光源として用いて撮像部１０４が撮像した画像をそれぞれが重ならないように出力するようにしてもよい。出力部１０６は、例えば、撮像部１０４が、励起光を光源として用いて、現在、画像（例えば動画像）を撮像している場合、励起光を用いて撮像された画像としては、撮像された最新の画像を順次表示するようにし、自然光を用いて撮像された画像については、図示しない格納部等に蓄積されている同じ撮像領域について直前に自然光を光源として撮像した画像を表示するようにしてもよい。また、出力部１０６は、撮像部１０４が、自然光を光源として用いて、現在、画像（例えば、動画像）を撮像している場合、自然光を用いて撮像された画像としては、撮像された最新の画像を順次表示するようにし、励起光を用いて撮像された画像については、図示しない格納部等に蓄積されている同じ撮像領域について直前に励起光を光源として撮像した画像を表示するようにしてもよい。また、出力部１０６は、撮像部１０４が顕微鏡２の同じ観察領域を同じ光源を用いて撮像した複数の画像を合成した画像を更に出力してもよい。例えば、出力部１０６は、同じ光源を用いて撮像した同じ領域の複数の画像を合成した画像を、同じ観察領域を励起光と自然光とをそれぞれ光源として撮像した画像を重ねて合成した画像とともに、出力してもよい。
なお、現在、励起光を光源として画像（例えば、動画像）を撮像している場合においても、予め指定された一定または不定の時間毎に、順次、自然光を光源とした撮像を行なうようにして、自然光を光源として撮像が行なわれる毎に、この画像で、直前に表示されていた自然光を光源として撮像されていた画像を更新するようにしても良い。例えば、撮像部１０４が、励起光を光源として２９フレームのフレーム画像を撮像する毎に、自然光を光源として１フレームのフレーム画像を撮像するようにし、出力部１０６は、励起光を光源として撮像したフレーム画像については順次表示するとともに、自然光を光源として撮像した画像としては、２９フレーム毎に撮像したフレーム画像を、順次、更新して表示するようにすればよい。また、撮像部１０４は、例えば、励起光を光源として、予め決められた時間（例えば、２０秒間等）撮影を行なう毎に、自然光を一瞬照射して撮影を行なうようにしてもよい。なお、撮像部１０４は、例えば、顕微鏡２に対して光源を切り替える指示を出力することで、撮像に利用する光源を、適宜、切り替えるようにする。
また、出力部１０６は、例えば、判断部１０５による画像の移動または拡大率の変化の検出に応じて、撮像部１０４が自然光を光源２０６として画像を撮像した場合に、この画像で、自然光を光源２０６として撮像部１０４が撮像した画像の出力を更新するようにしてもよい。特に、現在、励起光を光源として用いて撮像部１０４が撮像を行なっている場合には、このようにすることが好ましい。これにより、観察領域が変更された場合に、自然光を光源として用いて撮像された画像を更新することができ、励起光を用いて撮像されている部分を、自然光で撮像した画像でも示すことができる。
なお、光ファイバ１０２を介して分光部１０１が光を受光する範囲が、上述したように顕微鏡２の観察領域の一部の範囲である場合、出力部１０６は、この顕微鏡２の観察領域のうちの、光ファイバ１０２を介して分光部１０１が光を受光する一部の範囲を示す画像を、撮像部１０４が撮像した観察領域の画像内に表示してもよい。例えば、画像に範囲を示す輪郭の画像等を表示してもよい。また、出力部１０６は、接眼部２０５に設けられた透過型の液層パネル等に、この光ファイバ１０２を介して分光部１０１が光を受光する一部の範囲を示す画像を表示してもよい。
また、出力部１０６は、自然光を光源として撮影した画像と、励起光を光源として撮影した画像とを合成する際に、励起光を光源として撮影した画像の蛍光表示範囲（例えば、病的領域等）の輝度を、デフォルトの輝度に設定しても良く、ユーザ等の指示に応じて手動で設定しても良い。また、出力部１０６は、分光部１０１の分光結果に対応した輝度となるよう撮影した画像の蛍光表示範囲の輝度を自動設定しても良い。例えば、出力部１０６は、撮影した画像の蛍光表示範囲の輝度が、分光部１０６が取得した分光結果が示す蛍光値の最大値近傍の値の、予め決められた比率の値となるように、蛍光表示範囲の輝度値を設定しても良い。例えば、出力部１０６は、蛍光表示範囲の輝度の最大値が、分光部１０６が取得した分光結果が示す蛍光値の最大値近傍の値の、予め決められた比率の値となるように、撮影した画像の蛍光表示範囲に割り当てられる輝度値の範囲を設定するようにしても良い。最大値近傍の値は、最大値であってもよい。予め決められた比率は、例えば、１％以上１００％未満の値である。
出力とは、モニタへの表示、プロジェクターを用いた投影、プリンタへの印字、音出力、ランプ等の点灯、外部の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラムなどへの処理結果の引渡しなどを含む概念である。ここでの表示は、有線接続や無線接続されたモニタへの表示や、無線接続された他の装置のモニタへの表示等も含む概念である。
出力部１０６は、モニタやスピーカー等の出力デバイスを含むと考えても含まないと考えても良い。また、出力部１０６は、複数の出力デバイスを備えていても良い。この複数の出力デバイスは同じ種類の出力デバイスを含んでいても良く、異なる種類の出力デバイスを含んでいても良い。出力部１０６は、１または２以上の出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。
次に、診断システム１０００の観察補助装置１の動作の一例について図２のフローチャートを用いて説明する。
（ステップＳ１０１）分光部１０１は、自然光を光源として用いた状態の顕微鏡２の第一ビームスプリッタ２０１から出射される光を受光するタイミングであるか否かを判断する。受光するタイミングは、予め指定された一定または不定の時間間隔であっても良く、励起光を光源として観察が行なわれる直前のタイミングであっても良い。受光するタイミングである場合、光ファイバ１０２等を介して光を受光して、ステップＳ１０２に進み、タイミングでない場合、ステップＳ１０６に進む。
（ステップＳ１０２）分光部１０１は、ステップＳ１０１で受光した光を分光して、分光結果である波長毎の光強度の値を取得する。
（ステップＳ１０３）分光部１０１は、ステップＳ１０１で受光した光を図示しない格納部等に蓄積する。なお、自然光を光源として用いた場合の分光結果が不要であれば、ステップＳ１０２とステップＳ１０３との処理は省略しても良い。
（ステップＳ１０４）撮像部１０１は、第二ビームスプリッタ２０２から出力される光を用いて、自然光を光源とした場合の撮像領域の画像を撮像する。
（ステップＳ１０５）撮像部１０１は、ステップＳ１０４で撮像した画像を、図示しない格納部に蓄積して、ステップＳ１０１に戻る。
（ステップＳ１０６）分光部１０１は、顕微鏡２により励起光を光源として用いた観察が行なわれるか否かを判断する。例えば、顕微鏡２から、励起光を出射する光源２０６が点灯したこと、あるいは点灯していることを示す情報を受信した場合に、励起光を光源として用いた観察が行なわれると判断してもよく、ユーザから励起光を光源に用いることを示す情報を図示しない受付部等が受け付けた場合に、励起光を光源として用いた観察が行なわれると判断してもよい。励起光を光源として用いた観察が行なわれる場合、ステップＳ１０７に進み、行なわれない場合、ステップＳ１０１に戻る。
（ステップＳ１０７）分光部１０１は、励起光を光源として用いた状態の顕微鏡２の第一ビームスプリッタ２０１から出射される光を受光するタイミングであるか否かを判断する。例えば、分光部１０１は、電源投入後や、観察補助装置１の起動後から、予め指定された時間が経過する毎に、受光するタイミングであると判断する。受光するタイミングである場合、光ファイバ１０２等を介して光を受光してステップＳ１０８に進み、受光するタイミングでない場合、ステップＳ１１６に進む。
（ステップＳ１０８）分光部１０１は、ステップＳ１０７で受光した光を分光して、分光結果である波長毎の光強度の値を取得する。
（ステップＳ１０９）受付部１０３は、顕微鏡２から、拡大率や焦点距離の情報を受信する。また、自然光を光源として利用してステップＳ１０２等で取得し蓄積した波長毎の光強度の値を読み出しても良い。
（ステップＳ１１０）出力部１０６は、ステップＳ１０９で取得した拡大率や焦点距離の情報は、自然光を光源として利用して取得した波長毎の光強度の値を用いて、ステップＳ１０８で取得した分光結果を補正する。
（ステップＳ１１１）出力部１０６は、ステップＳ１１０で補正した分光結果が、予め指定された条件を満たすか否かを判断する。例えば、分光結果が示す予め指定された波長帯（波長範囲）のうちの光強度の最大値が、予め指定された閾値を超えているか否かを判断し、超えている場合、条件を満たすと判断し、超えていない場合、条件を満たさないと判断する。条件を満たすと判断した場合、ステップＳ１１２に進み、条件を満たさないと判断した場合、ステップＳ１１３に進む。
（ステップＳ１１２）出力部１０６は、予め指定された出力を行なう。予め指定された出力は、例えば、音の出力や、ランプ等の点灯である。
（ステップＳ１１３）出力部１０６は、分光結果を示すグラフを表示する。なお、後述するステップＳ１１４において、正常な組織について取得された分光結果の情報が蓄積されている場合、この正常な組織について取得された分光結果のグラフを、例えば、上記の分光結果のグラフと重ねて表示してもよい。例えば、上記の分光結果のグラフが、例えば異常な組織についての取得された分光結果のグラフである場合、正常な組織と異常な組織とについてそれぞれ取得された分光結果を比較するグラフを表示することができる。
（ステップＳ１１４）出力部１０６は、正常な組織について取得された分光結果の情報として、ステップ１０８で取得した分光結果や、ステップＳ１１０で補正した分光結果の情報を蓄積するか否かを判断する。例えば、出力部１０６は、図示しない操作受付部等が、ユーザ等から、正常な組織について取得された分光結果の情報として、ステップＳ１１０で補正した分光結果の情報を蓄積する指示を受け付けたか否かを判断する。正常な組織について取得された分光結果の情報として蓄積する場合、ステップＳ１１５に進み、蓄積しない場合、ステップＳ１０１に戻る。
（ステップＳ１１５）出力部１０６は、ステップＳ１０８で取得した分光結果や、ステップＳ１１０で補正した分光結果等を、図示しない格納部等に蓄積する。そして、ステップＳ１０１に戻る。
（ステップＳ１１６）撮像部１０４は、顕微鏡２の第二ビームスプリッタ２０２から出射される光を用いて、励起光を光源として利用した場合の観察領域の画像を、順次、撮像する。例えば、撮像部１０４は観察領域の動画像を撮像する。
（ステップＳ１１７）判断部１０５は、ステップＳ１１６で撮像部１０４が順次撮像した複数の画像（例えば、動画像を構成する連続したフレーム画像）に対して、画像の移動や拡大率の変化を検出する処理を行ない、予め指定された閾値以上の画像の移動や、拡大率の変化が検出された場合、ステップＳ１２１に進み、検出されなかった場合、ステップＳ１１８に進む。
（ステップＳ１１８）出力部１０６は、ステップＳ１１６において、予め指定された数の複数の画像が撮像されたか否かを判断する。撮像された場合、ステップＳ１１９に進み、撮像されていない場合、ステップＳ１１６に戻る。
（ステップＳ１１９）出力部１０６は、ステップＳ１１６において撮像された複数の画像のうちの、予め指定された数の複数の画像を合成する。例えば、複数の画像の加算平均を行なって、一の画像を取得する。
（ステップＳ１２０）出力部１０６は、ステップＳ１１９で合成により取得した画像を図示しないモニタ等に表示する。例えば、出力部１０６は、撮像部１０４が、自然光を光源として利用して撮像した最新の観察領域の画像を、ステップＳ１１９で合成した画像と同一画面に同時に表示してもよい。そして、ステップＳ１０１に戻る。
（ステップＳ１２１）撮像部１０４は、例えば、顕微鏡２に光源を自然光に切り替えさせるための指示等を送信して顕微鏡２の光源を自然光に切り替えて、第二ビームスプリッタ２０２から出射される光を用いて、自然光を光源として利用した場合の、顕微鏡２の観察領域の画像を撮像する。ここで撮像する画像は、静止画像であっても良く、動画像であっても良く、動画像の１フレーム画像や連続した数フレーム画像であっても良い。
（ステップＳ１２２）撮像部１０４は、撮像した画像を、図示しない格納部等に蓄積する。
（ステップＳ１２３）分光部１０１は、光源を自然光に切り替えた状態の、第一ビームスプリッタ２０１から出射される光を、光ファイバ１０２等を介して受光して、波長毎の光強度を分光結果として取得する。
（ステップＳ１２４）分光部１０１は、ステップＳ１２３で取得した分光結果を、図示しない格納部等に蓄積する。そして、ステップＳ１１６に戻る。
なお、図２のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
以下、本実施の形態における診断システム１０００の具体的な動作について説明する。ここでは、顕微鏡２が手術用顕微鏡であり、この手術用顕微鏡を手術室で、５−ＡＬＡを経口投与した患者の患部を観察対象として観察するために利用する場合を例に挙げて説明する。また、光源２０６が出射する励起光の波長が４００ｎｍであるとし、自然光は、手術室内の照明であるとする。
まず、顕微鏡２のレンズ群２０３の対物レンズ２０３ａを、観察対象である腫瘍組織上に移動させ、自然光を光源として用いた観察するための操作を、ユーザが顕微鏡２の図示しない操作部等に対して行なうと、顕微鏡２の光源２０６は点灯されず、自然光のうちの観察対象において反射された光が、レンズ群２０３等を経て接眼部２０５に至る光線路２０に出射され、顕微鏡２の接眼部２０５からは、レンズ群２０３等で拡大された観察対象が肉眼で観察される。これにより、観察対象を自然光により観察することができる。
観察対象からレンズ群２０３を経て出射される光は、第一ビームスプリッタ２０１で２つに分離され、分離された一方の光が、光ファイバ１０２に入射され、光ファイバ１０２を経て、観察補助装置１の分光部１０１に入射される。
また、第一ビームスプリッタ２０１で分離された光のうちの、接眼部２０５に向かう光線路に出射される光は、第二ビームスプリッタ２０２で２つに分離され、分離された一方の光が観察補助装置１の撮像部１０４に入射される。
分光部１０１は、自然光を光源として用いた場合に入射される光を受光するタイミングであるか否かを判断する。ここでは、例えば、図示しない時計等から取得される現在の時刻が、上記の操作から予め指定された時間が経過した受光するタイミングを示す時刻であると判断して、光ファイバ１０２を介して入射される光から波長毎の光強度を取得する。この波長毎の光強度は、自然光を光源として用いた場合の分光結果である。取得した分光結果は、図示しない格納部等に蓄積する。
また、撮像部１０４は、入射される光を用いて、顕微鏡２の観察領域の静止画像を撮像する。この画像は、観察領域を自然光を用いて撮像した画像である。撮像した画像は、図示しない格納部等に蓄積する。
ここで、手術室の照明を消灯し、励起光を光源として用いた観察するための操作を、ユーザが顕微鏡２の図示しない操作部等に対して行なうと、光源２０６が予め指定された明るさ（例えば１８００ルクス）の励起光を患部に対して照射する。ここでは、例えば、顕微鏡２の拡大率が、基準となる拡大率に設定され、焦点距離も基準となる焦点距離に設定されていたとする。励起光が照射されることで、観察対象である腫瘍組織の蛍光物質が蓄積された部分が蛍光を発光し、顕微鏡２の観察対象から発光された蛍光が、レンズ群２０３等をへて接眼部２０５に至る光線路に出射され、顕微鏡２の接眼部２０５からは、レンズ群２０３等で拡大された観察対象の蛍光が肉眼で観察される。また、顕微鏡２は、例えば、励起光を光源として利用した観察が行なわれることを示す情報を観察補助装置１に対して送信する。また、顕微鏡２のレンズ群２０３等が、現在の拡大率や焦点距離等の情報を、観察補助装置１に送信する。
観察対象からレンズ群２０３を経て出射される光（蛍光）は、第一ビームスプリッタ２０１で２つに分離され、分離された一方の光が、光ファイバ１０２に入射され、光ファイバ１０２を経て、観察補助装置１の分光部１０１に入射される。
また、第一ビームスプリッタ２０１で分離された光のうちの、接眼部２０５に向かう光線路に出射される光は、第二ビームスプリッタ２０２で２つに分離され、分離された一方の光が観察補助装置１の撮像部１０４に入射される。
観察補助装置１の図示しない受信部等が、励起光を光源として利用した観察が行なわれることを示す情報を顕微鏡２から受診すると、分光部１０１は、光ファイバ１０２を介して入射される光から波長毎の光強度を取得する。
また、受付部１０３は、顕微鏡２から送信される拡大率等の情報を受信する。
図３は、分光部１０１が取得した波長毎の光強度を示すスペクトルのグラフの一例である。図３においては、横軸は波長、縦軸は光強度を示す。ここでの光強度は、相対強度である。
出力部１０６は、分光部１０１が取得した分光結果の５００ｎｍから５２０ｎｍの範囲の波長毎の光強度から基準値を取得し、この基準値が示す光強度の値を０とした場合の周波数毎の光強度を分光部１０１が取得した分光結果を用いて取得する。そして、このようにして取得した分光結果である波数毎の光強度を示すグラフの画像を取得する。ここでは、一例として、波長毎の光強度を示す近似曲線のグラフの画像を取得する。
図４は、出力部１０６が取得したグラフの画像を示す図である。図４においては、横軸は波長、縦軸は光強度を示す。ここでの光強度は、相対強度である。
なお、自然光を光源として用いた場合において同じ観察領域について分光部１０１が取得した上述したような分光結果を用いて、励起光を光源として用いた場合に得られる分光結果を補正するようにしても良いが、ここでは、励起光を光源として用いた観察を行なう際には、自然光を消灯するため、観察には自然光の影響が少ないことから、このような補正を行わないよう予め設定されているものとする。
また、分光部１０１が取得した分光結果を、基準値が示す光強度の値が０となるように変更して得られた分光結果のうちの、５５０ｎｍ〜７５０ｎｍまでの間の波長における光強度の最大値を検出する。そして、検出した光強度に対して、必要に応じて補正を行なう。ただし、ここでは、顕微鏡２から受信した拡大率や焦点距離の値が、いずれも予め指定された基準となる値と一致するため、拡大率や焦点距離等に応じた補正は行なわない。なお、受信した拡大率等が、基準値と異なる場合、この基準値に対する拡大率の違い等に応じて、最大値を補正するようにすればよい。そして、出力部１０６は、分光部１０１が取得した光強度の最大値（補正を行なっている場合は、最大値を補正した値）が、予め設定された光強度の閾値以上であるか否かを判断する。例えば、閾値以上である場合、顕微鏡２の観察領域に、蛍光物質が含まれる部分、即ち蛍光物質が蓄積された腫瘍組織が適切に配置されていると考えられる。ここでは、閾値以上であったとすると、出力部１０６は、予め指定された音を出力する。この音により、ユーザは、現在設定している観察領域が適切な観察領域であることを、接眼部２０５から観察領域を確認しながら認識することができる。なお、この音は、閾値未満であった光強度が、最初に閾値以上になったときにのみ発せられるようにすることが好ましい。
音が発せられない場合、適切な観察領域が設定していないと考えられることから、ユーザは、顕微鏡２の観察領域を音が発せられるまで移動させて、適切な観察領域を探すようにすればよい。
また、撮像部１０４は、第二ビームスプリッタ２０２から出力される光を受光することで、顕微鏡２の観察領域の画像を撮像する。ここでは、連続した複数のフレーム画像で構成される動画像を撮像する。そして、撮像したフレーム画像から予め指定された数の複数の連続したフレーム画像、例えば、４枚の連続したフレーム画像を取得し、取得したフレーム画像の合成、ここでは加算平均を行なう。
図５は、出力部１０６が行なう複数の画像を合成する処理を説明するための、合成対象となる４枚のフレーム画像を示す模式図（図５（ａ））、および合成した画像を示す模式図（図５（ｂ））である。図において、領域５１〜５４は、各フレーム画像の蛍光部分であるとする。また、領域５５は、合成された画像のうちの、蛍光部分が合成された領域である。
加算平均を行なうことで、例えば、同じ観察領域で観察を行なっている際に観察対象の観察されている部分が少し動いた場合においても、撮像した複数の画像間において変化のあった部分の画素が複数の画像間で平均化されて値が変化し、変化のない部分は平均化されても値が変化しないため、変化のない部分が強調されて表示されることとなる。観察対象が生体である場合、心拍や呼吸等による観察対象の小さな動きは避けられないが、図５に示すように加算平均を行なうことで、蛍光部分を示す画素のうちの変化の少ない部分が強調表示されることとなり、結果的に、蛍光部分を強調した画像を得ることができる。
そして、出力部１０６は、図５（ｂ）に示したような励起光を光源として撮像した複数の画像を合成して得られた画像と、上記において自然光を光源とした場合に撮像部１０４が撮像した観察領域の画像とをモニタ１０６ａに配列して同時に表示する。ここでは、例えば、図４に示した分光結果のグラフも、同時に表示するものとする。
図６は、出力部１０６による分光結果を示すグラフと、観察領域を撮像した画像との表示例を示す図であり、画像６１は分光結果を示すグラフ、画像６２は励起光を光源として用いた場合に撮像した複数の画像を合成した画像、画像６３は、自然光を光源として用いた場合に撮像した複数の画像を合成した画像である。
なお、撮像部１０４が励起光を光源として用いた際に撮像した複数のフレーム画像を用いて、判断部１０５が、適宜、動き検出等を行なって、フレーム画像間における画像の移動や拡大率の変化の有無を判断し、画像の移動や拡大率の変化が検出された場合には、上位のように連続した４つのフレーム画像を合成せずに、顕微鏡２の光源２０６の消灯させて、光源を自然光に切り替えることで、撮像部１０４が、一旦、変化があった観察領域の画像を自然光を用いて撮像するようにして、出力部１０６により表示される観察領域の画像を、この撮像された画像で更新するようにしてもよい。そして、再度、励起光を用いて観察領域の画像を撮像するようにすることで、撮像された画像に変化があった場合に、変化後の観察領域を、自然光を光源として用いて撮像された画像と、励起光を光源として用いて撮像された画像とを出力、例えば、表示することができる。
なお、分光部１０１等が上記と同様の処理を行なって、励起光を光源として用いて正常組織を観察する際の分光結果を予め取得しておくようにし、この分光結果を、出力部１０６等が、ユーザ等の操作に応じて、正常な組織の分光結果として図示しない格納部等に蓄積しておくようにする。そして、図４に示すような異常組織の分光結果を示すグラフを作成する際に、この正常な組織の分光結果から作成されたグラフを重ねたグラフを作成するようにして、このグラフを、図４に示すグラフの代わりに、モニタ１０６ａ等に表示するようにしてもよい。
図７は、異常組織の分光結果を示すグラフと正常組織の分光結果を示すグラフとを重ねたグラフを示す図であり、実線７１は、異常組織の分光結果を示すグラフであり、点線７２は、正常組織の分光結果を示すグラフである。
以上、本実施の形態によれば、励起光を光源として用いて、顕微鏡により観察対象を観察する際に、観察領域についての分光分析を同時に行なうことができる。これにより、分光分析結果を利用して、例えば、顕微鏡２の観察領域が適切な位置に設定されているかということを、リアルタイムに認識することができ、励起光を用いて適切な観察を行なうことができる。また、分光分析結果を利用して、観察領域における異常組織の検出をリアルタイムに行なうこと等も可能となる。
例えば、従来の技術においては、顕微鏡により観察している領域内の蛍光物質が励起光に応じて発する光量を定量的に把握することができないため、光量の多い部分、即ち蛍光物質が多い部分を観察しているか否かを、観察者自身が主観的に判断しなければならず、その結果、顕微鏡の観察領域が蛍光物質の多い領域に設定されているか否かを正確に判断できず、適切な観察を行なうことができない問題や、適切な観察領域を探すために、長い時間を必要としてしまう問題があったが、本実施の形態によれば、分光結果によって、適切な観察領域を観察しているか否か等をリアルタイムに、容易に確認することが可能となる。
また、従来の技術においては、顕微鏡で観察を行なっている際に、観察対象が、異常組織であるか否か等を、分光結果を用いて判断することができなかった。例えば、分光結果を出力するためには、観察を一旦中断しなければならず、リアルタイムな判断等が行えないため、手術等の短時間に判断を行いたい状況では、利用しにくい、という問題があった。これに対し、本実施の形態においては、分光分析結果を利用して、観察領域における異常組織の検出をリアルタイムに行なうことができ、短時間に判断を行ないたい状況等においても利用可能とすることができる。
また、本実施の形態においては、例えば、励起光と自然光とをそれぞれ光源として用いて撮像した画像を重ねて合成して出力することで、自然光を用いた画像で適切な観察場所を観察しているか否かを確認しながら、励起光を用いた画像で蛍光を発する部位も同時に観察できる。また、励起光を用いた画像と自然光を用いた画像が重ねて合成されて出力されるため、両方の画像に示されている部位等の対応関係は一目瞭然に容易に把握することができる。また、両方の画像間でユーザが視線を移動させる必要がないため、視認性を向上させることができる。これにより、本実施の形態においては、励起光を光源として用いた観察を適切かつ容易に行なうことができる。
なお、上記実施の形態においては、光源として励起光と自然光とを用いる場合について説明したが、本発明は、光源として励起光と励起光以外の波長を含む光（以下、観察光と称す）とを用いる場合において適用可能なものである。観察光を用いて撮像した画像には、励起光を用いて撮像した画像には見えない部分が含まれることとなるため、上記のように、光源として励起光と観察光とを用いることにより、それぞれを光源として撮像した画像を重ねて合成して出力することによって励起光だけでは観察できない部分も同時に観察することが可能となり、観察を適切かつ容易に行なうことができる。
励起光以外の波長を含む光とは、励起光の波長以外の波長の光を少なくとも含む光と考えて良い。観察光は、励起光以外の波長の光を含んでいれば励起光を含んでいても良く、励起光を含んでいなくても良い。観察光は、上記実施の形態において説明したような自然光であっても良く、自然光を含んでいても良く、自然光を含んでいなくても良い。観察光は、単色光であっても良く、複色光であっても良い。観察光は、可視光を含んでいても良く、含んでいなくても良い。例えば、励起光が赤色光でない場合、観察光は、赤色光や赤色光を含む光であっても良い。また、励起光が波長８００ｎｍ以外の光である場合、観察光は、非可視光である波長８００ｎｍの光であってもよい。この場合のように、観察光が非可視光である場合、撮像部等として赤外線カメラ等のような非可視光を光源として用いて撮像が可能な構成を備えた撮像部等を用いることが好ましい。
なお、上記各実施の形態において、各処理（各機能）は、単一の装置（システム）によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。
また、上記実施の形態において、各構成要素が実行する処理に関係する情報、例えば、各構成要素が受け付けたり、取得したり、選択したり、生成したり、送信したり、受信したりする情報や、各構成要素が処理で用いるしきい値や数式、アドレス等の情報等は、上記説明で明記していない場合であっても、図示しない記録媒体において、一時的に、あるいは長期にわたって保持されていてもよい。また、その図示しない記録媒体への情報の蓄積を、各構成要素、あるいは、図示しない蓄積部が行ってもよい。また、その図示しない記録媒体からの情報の読み出しを、各構成要素、あるいは、図示しない読み出し部が行ってもよい。
また、上記各実施の形態では、観察補助装置がスタンドアロンである場合について説明したが、観察補助装置は、スタンドアロンの装置であってもよく、サーバ・クライアントシステムにおけるサーバ装置であってもよい。後者の場合には、出力部や受付部は、通信回線を介して入力を受け付けたり、画面を出力したりすることになる。
また、上記各実施の形態において、各構成要素は専用のハードウェアにより構成されてもよく、あるいは、ソフトウェアにより実現可能な構成要素については、プログラムを実行することによって実現されてもよい。例えば、ハードディスクや半導体メモリ等の記録媒体に記録されたソフトウェア・プログラムをＣＰＵ等のプログラム実行部が読み出して実行することによって、各構成要素が実現され得る。その実行時に、プログラム実行部は、格納部（例えば、ハードディスクやメモリ等の記録媒体）にアクセスしながらプログラムを実行してもよい。
なお、上記各実施の形態における観察補助装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、光源として励起光と励起光以外の波長を含む光である観察光とを切り替えて利用可能であり、第二のビームスプリッタを備えた顕微鏡の、当該第二ビームスプリッタから出射される光を用いて、励起光と観察光とをそれぞれ光源として用いた場合の、前記顕微鏡の同じ観察領域の画像を撮像する撮像部と、励起光と観察光とをそれぞれ光源として用いて前記撮像部が撮像した画像を重ねて合成して出力する出力部として機能させるためのプログラムである。
なお、上記プログラムにおいて、上記プログラムが実現する機能には、ハードウェアでしか実現できない機能は含まれない。例えば、情報を取得する取得部や、情報を出力する出力部などにおけるモデムやインターフェースカードなどのハードウェアでしか実現できない機能は、上記プログラムが実現する機能には含まれない。
また、このプログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
図８は、上記プログラムを実行して、上記実施の形態による観察補助装置を実現するコンピュータの外観の一例を示す模式図である。上記実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムによって実現されうる。
図８において、コンピュータシステム９００は、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）ドライブ９０５を含むコンピュータ９０１と、キーボード９０２と、マウス９０３と、モニタ９０４とを備える。
図９は、コンピュータシステム９００の内部構成を示す図である。図９において、コンピュータ９０１は、ＣＤ−ＲＯＭドライブ９０５に加えて、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９１１と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ９１２と、ＭＰＵ９１１に接続され、アプリケーションプログラムの命令を一時的に記憶すると共に、一時記憶空間を提供するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９１３と、アプリケーションプログラム、システムプログラム、及びデータを記憶するハードディスク９１４と、ＭＰＵ９１１、ＲＯＭ９１２等を相互に接続するバス９１５とを備える。なお、コンピュータ９０１は、ＬＡＮへの接続を提供する図示しないネットワークカードを含んでいてもよい。
コンピュータシステム９００に、上記実施の形態による観察補助装置等の機能を実行させるプログラムは、ＣＤ−ＲＯＭ９２１に記憶されて、ＣＤ−ＲＯＭドライブ９０５に挿入され、ハードディスク９１４に転送されてもよい。これに代えて、そのプログラムは、図示しないネットワークを介してコンピュータ９０１に送信され、ハードディスク９１４に記憶されてもよい。プログラムは実行の際にＲＡＭ９１３にロードされる。なお、プログラムは、ＣＤ−ＲＯＭ９２１、またはネットワークから直接、ロードされてもよい。
プログラムは、コンピュータ９０１に、上記実施の形態による観察補助装置の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティプログラム等を必ずしも含んでいなくてもよい。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいてもよい。コンピュータシステム９００がどのように動作するのかについては周知であり、詳細な説明は省略する。
本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
以上のように、本発明にかかる観察補助装置等は、顕微鏡を用いた観察を補助する装置等として適しており、特に、顕微鏡の観察領域から得られる光を分光する装置等として有用である。

Claims (13)

  1. 光源として励起光と励起光以外の波長を含む光である観察光とを切り替えて利用可能であり、第二のビームスプリッタを備えた顕微鏡の、当該第二ビームスプリッタから出射される光を用いて、励起光と観察光とをそれぞれ光源として用いた場合の、前記顕微鏡の同じ観察領域の画像を撮像する撮像部と、
    励起光と観察光とをそれぞれ光源として用いて前記撮像部が撮像した画像を重ねて合成して出力する出力部とを備え、
    前記撮像部は、励起光を光源として動画像を撮像している場合に、予め指定された時間毎に観察光を光源とした撮像を行う観察補助装置。
  2. 光源として励起光と励起光以外の波長を含む光である観察光とを切り替えて利用可能であり、第二のビームスプリッタを備えた顕微鏡の、当該第二ビームスプリッタから出射される光を用いて、励起光と観察光とをそれぞれ光源として用いた場合の、前記顕微鏡の同じ観察領域の画像を撮像する撮像部と、
    励起光と観察光とをそれぞれ光源として用いて前記撮像部が撮像した画像を重ねて合成して出力する出力部と、
    光源として励起光を用いた場合に、前記撮像部が撮像した画像について、当該撮像した画像が移動したか否か、または画像の拡大率が変化したか否かを判断する判断部とを備え、
    前記撮像部は、前記判断部が、画像の移動または拡大率の変化を検出した場合に、光源を観察光に切り替えて顕微鏡の観察領域の画像を撮像し、
    前記出力部は、観察光を光源として前記撮像部が撮像した画像の出力を更新する観察補助装置。
  3. 前記顕微鏡は、第一ビームスプリッタを更に備え、
    励起光を光源として利用した場合に前記顕微鏡の第一ビームスプリッタから出射される光を分光する分光部を更に備え、
    前記出力部は、前記分光部による分光結果に応じた出力を更に行なう請求項１または請求項２記載の観察補助装置。
  4. 前記第一ビームスプリッタから出射される光のうちの少なくとも一部の光が入射され、当該入射された光を前記分光部に対して出射させる光ファイバを更に備え、
    前記分光部は、前記第一ビームスプリッタから出射される光のうちの、前記光ファイバを介して入射される光を分光する請求項３記載の観察補助装置。
  5. 前記顕微鏡の拡大率および焦点距離の少なくとも一方を受け付ける受付部を更に備え、
    前記出力部は、前記分光部の分光結果を、前記受付部が受け付けた拡大率および焦点距離の少なくとも一方に応じて補正する請求項３記載の観察補助装置。
  6. 前記顕微鏡は、オートズーム機構を有しており、
    前記出力部は、前記オートズーム機構が出力するズームの拡大率に応じて、前記分光部の分光結果を補正する請求項５記載の観察補助装置。
  7. 前記出力部は、前記分光部の分光結果が予め指定された条件を満たす場合に、予め指定された出力を行なう請求項３記載の観察補助装置。
  8. 前記分光部は、励起光を光源として通常組織を観察した場合に前記第一ビームスプリッタから出射される光の分光と、異常組織を観察した場合に前記第一ビームスプリッタから出射される光の分光と、をそれぞれ行ない、
    前記出力部は、通常組織に対する分光結果と、異常組織に対する分光結果との比較に関する情報を出力する請求項３記載の観察補助装置。
  9. 前記分光部は、同じ観察対象を、観察光を光源として観察した場合に前記第一ビームスプリッタから出射される光と、励起光を光源として観察した場合に前記第一ビームスプリッタから出射される光と、をそれぞれ分光し、
    前記出力部は、前記分光部の、観察光を光源とした場合の分光結果を用いて、励起光を光源として得られた分光結果を補正する請求項３記載の観察補助装置。
  10. 前記撮像部は、前記顕微鏡の第二ビームスプリッタから出射される光を用いて、同じ光源を用いた場合における顕微鏡の同じ観察領域の複数の画像を撮像し、
    前記出力部は、前記撮像部が撮像した複数の画像を合成した画像を更に出力する請求項１または２記載の観察補助装置。
  11. 前記出力部は、更に、励起光と観察光とをそれぞれ光源として用いて前記撮像部が撮像した画像をそれぞれが重ならないように同時に出力する請求項１または請求項２記載の観察補助装置。
  12. コンピュータを、
    光源として励起光と励起光以外の波長を含む光である観察光とを切り替えて利用可能であり、第二のビームスプリッタを備えた顕微鏡の、当該第二ビームスプリッタから出射される光を用いて、励起光と観察光とをそれぞれ光源として用いた場合の、前記顕微鏡の同じ観察領域の画像を撮像する撮像部と、
    励起光と観察光とをそれぞれ光源として用いて前記撮像部が撮像した画像を重ねて合成して出力する出力部として機能させ、
    前記撮影部は、励起光を光源として動画像を撮像している場合に、予め指定された時間毎に観察光を光源とした撮像を行うプログラム。
  13. コンピュータを、
    光源として励起光と励起光以外の波長を含む光である観察光とを切り替えて利用可能であり、第二のビームスプリッタを備えた顕微鏡の、当該第二ビームスプリッタから出射される光を用いて、励起光と観察光とをそれぞれ光源として用いた場合の、前記顕微鏡の同じ観察領域の画像を撮像する撮像部と、
    励起光と観察光とをそれぞれ光源として用いて前記撮像部が撮像した画像を重ねて合成して出力する出力部と、
    光源として励起光を用いた場合に、前記撮像部が撮像した画像について、当該撮像した画像が移動したか否か、または画像の拡大率が変化したか否かを判断する判断部として機能させ、
    前記撮像部は、前記判断部が、画像の移動または拡大率の変化を検出した場合に、光源を観察光に切り替えて顕微鏡の観察領域の画像を撮像し、
    前記出力部は、観察光を光源として前記撮像部が撮像した画像の出力を更新するプログラム。
JP2017521836A 2015-06-02 2016-05-24 観察補助装置、情報処理方法、およびプログラム Active JP6859554B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015112179 2015-06-02
JP2015112179 2015-06-02
PCT/JP2016/065272 WO2016194699A1 (ja) 2015-06-02 2016-05-24 観察補助装置、情報処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2016194699A1 JPWO2016194699A1 (ja) 2018-04-12
JP6859554B2 true JP6859554B2 (ja) 2021-04-14

Family

ID=57441510

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017521836A Active JP6859554B2 (ja) 2015-06-02 2016-05-24 観察補助装置、情報処理方法、およびプログラム

Country Status (5)

Country Link
US (2) US10852517B2 (ja)
EP (1) EP3306307A4 (ja)
JP (1) JP6859554B2 (ja)
CN (3) CN114324268A (ja)
WO (1) WO2016194699A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3306307A4 (en) * 2015-06-02 2019-02-27 National University Corporation Asahikawa Medical University OBSERVATION SUPPORT DEVICE, INFORMATION PROCESSING PROCESS AND PROGRAM
WO2018042413A1 (en) * 2016-08-28 2018-03-08 Siegel Gabriel A system for histological examination of tissue specimens
GB201907953D0 (en) * 2019-06-04 2019-07-17 Smi Drug Discovery Ltd An optical microscope
US20220309678A1 (en) * 2019-06-18 2022-09-29 Surgvision Gmbh Luminescence imaging with refining loop based on combination of partial illuminations

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4111903A1 (de) * 1991-04-12 1992-10-15 Bayer Ag Spektroskopiekorrelierte licht-rastermikroskopie
US5528368A (en) * 1992-03-06 1996-06-18 The United States Of America As Represented By The Department Of Health And Human Services Spectroscopic imaging device employing imaging quality spectral filters
JPH11103471A (ja) 1997-09-25 1999-04-13 Olympus Optical Co Ltd 映像信号処理装置
CA2338675A1 (en) * 1998-07-27 2000-02-10 Cedars-Sinai Medical Center Spectral topography of mammalian matter
JP2000097859A (ja) * 1998-09-24 2000-04-07 Olympus Optical Co Ltd 蛍光観察方法及び装置
JP2006509573A (ja) 2002-12-13 2006-03-23 イエトメド リミテッド 手術中に腫瘍と正常組織とを実時間で区別するのに特に有用な光学的検査方法および装置
CN100416333C (zh) * 2004-03-31 2008-09-03 奥林巴斯株式会社 观察装置
JP2006171024A (ja) 2004-12-10 2006-06-29 Olympus Corp 多点蛍光分光測光顕微鏡および多点蛍光分光測光方法
CN101151378B (zh) * 2005-03-30 2013-04-03 奥林巴斯株式会社 规定部位发光量测定方法、规定部位发光量测定装置、表达量测定方法及测定装置
JP2008139796A (ja) * 2006-12-05 2008-06-19 Keyence Corp 蛍光顕微鏡、蛍光顕微鏡の操作方法、蛍光顕微鏡操作プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP5074044B2 (ja) * 2007-01-18 2012-11-14 オリンパス株式会社 蛍光観察装置および蛍光観察装置の作動方法
ATE555711T1 (de) 2007-12-19 2012-05-15 Kantonsspital Aarau Ag Verfahren zur analyse und bearbeitung von fluoreszenzbildern
JP4288323B1 (ja) * 2008-09-13 2009-07-01 独立行政法人科学技術振興機構 顕微鏡装置及びそれを用いた蛍光観察方法
KR101061004B1 (ko) 2008-12-10 2011-09-01 한국전기연구원 광역학 치료 및 광 검출을 위한 장치
DE102008062650B9 (de) * 2008-12-17 2021-10-28 Carl Zeiss Meditec Ag Operationsmikroskop zur Beobachtung einer Infrarot-Fluoreszenz und Verfahren hierzu
KR101172745B1 (ko) 2010-01-29 2012-08-14 한국전기연구원 생체로부터 발생하는 다중 분광 광 영상 검출 및 광치료를 위한 복합 장치
EP2359745A1 (en) 2010-02-12 2011-08-24 Helmholtz Zentrum München Deutsches Forschungszentrum für Gesundheit und Umwelt (GmbH) Method and device for multi-spectral photonic imaging
JP5707758B2 (ja) * 2010-07-13 2015-04-30 ソニー株式会社 撮像装置、撮像システム、手術用ナビゲーションシステム、及び撮像方法
DE102010044503B4 (de) 2010-09-06 2017-11-02 Leica Microsystems (Schweiz) Ag Fluoreszenz-Operations-Stereomikroskop
JP6053673B2 (ja) * 2011-04-28 2016-12-27 オリンパス株式会社 蛍光観察装置とその画像表示方法
US20140378843A1 (en) * 2012-01-20 2014-12-25 The Trustees Of Dartmouth College Method And Apparatus For Quantitative Hyperspectral Fluorescence And Reflectance Imaging For Surgical Guidance
CN105263390A (zh) 2013-04-23 2016-01-20 雪松-西奈医学中心 用于从荧光团同时录制可见光图像和红外光图像的系统和方法
CN104597590B (zh) * 2014-12-30 2018-02-02 深圳先进技术研究院 一种超分辨荧光光谱成像显微镜
EP3306307A4 (en) * 2015-06-02 2019-02-27 National University Corporation Asahikawa Medical University OBSERVATION SUPPORT DEVICE, INFORMATION PROCESSING PROCESS AND PROGRAM

Also Published As

Publication number Publication date
EP3306307A1 (en) 2018-04-11
US20180157020A1 (en) 2018-06-07
WO2016194699A1 (ja) 2016-12-08
US11719920B2 (en) 2023-08-08
JPWO2016194699A1 (ja) 2018-04-12
US20210109333A1 (en) 2021-04-15
EP3306307A4 (en) 2019-02-27
CN114414046A (zh) 2022-04-29
US10852517B2 (en) 2020-12-01
CN107923851A (zh) 2018-04-17
CN114324268A (zh) 2022-04-12

Similar Documents

Publication Publication Date Title
US11719920B2 (en) Observation assisting device, information processing method, and program
WO2018034075A1 (ja) 撮像システム
US20120056996A1 (en) Special-illumination surgical video stereomicroscope
WO2015012096A1 (ja) 医療用観察装置
JP2016052391A (ja) 撮像システム
US10805512B2 (en) Dual path endoscope
WO2014199984A1 (ja) 手術用顕微鏡システム
EP3586716B1 (en) Endoscope device
JP2008295971A (ja) 眼底カメラ
WO2022044897A1 (ja) 医療撮像システム、医療撮像装置、および動作方法
JPH11104061A (ja) 経内視鏡的蛍光観察装置
WO2017043539A1 (ja) 画像処理システム、画像処理装置、投影装置、及び投影方法
JP2011005002A (ja) 内視鏡装置
JP2010259675A (ja) 網膜機能計測装置
WO2019100449A1 (zh) 一种基于传像光纤的手术导航系统
JP2002345739A (ja) 画像表示装置
JP6293392B1 (ja) 生体観察システム
JP2003111716A (ja) 標準光源、補正係数算出方法および装置並びに蛍光画像生成方法および装置
JP2021148886A (ja) 制御装置および医療用観察システム
JP2014083352A (ja) 撮影装置及び撮影装置における合焦方法
US20180092519A1 (en) Infrared fluorescence observation device
JP2003000528A (ja) 蛍光診断画像生成方法および装置
WO2022044898A1 (ja) 医療撮像システム、医療撮像装置、および動作方法
JP5508140B2 (ja) 眼底撮像装置及びその処理方法
JP2019063243A (ja) 眼科撮影装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20171031

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190402

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200207

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200323

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200603

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201013

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201211

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210105

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20210201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20210201

R150 Certificate of patent or registration of utility model

Ref document number: 6859554

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250