WO2023189393A1 - 生体試料観察システム、情報処理装置及び画像生成方法 - Google Patents

生体試料観察システム、情報処理装置及び画像生成方法 Download PDF

Info

Publication number
WO2023189393A1
WO2023189393A1 PCT/JP2023/009189 JP2023009189W WO2023189393A1 WO 2023189393 A1 WO2023189393 A1 WO 2023189393A1 JP 2023009189 W JP2023009189 W JP 2023009189W WO 2023189393 A1 WO2023189393 A1 WO 2023189393A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
information
deconvolution
observation
intensity distribution
Prior art date
Application number
PCT/JP2023/009189
Other languages
English (en)
French (fr)
Inventor
萌絵 坂田
克尚 神明
和博 中川
哲朗 桑山
歩 田口
憲治 池田
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2023189393A1 publication Critical patent/WO2023189393A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

本開示の一形態に係る生体試料観察システムは、生体試料を含むサンプルに複数のライン状の光を照射する照射部と、前記複数のライン状の光にそれぞれ対応する複数の観察スリットを通過した光を受ける撮像部と、前記観察スリットごとに、点像強度分布関数を最適化し、最適な前記点像強度分布関数と前記撮像部により受けられた前記光に基づく蛍光画像とをデコンボリューションする画像処理部(170)と、を備える。

Description

生体試料観察システム、情報処理装置及び画像生成方法
 本開示は、生体試料観察システム、情報処理装置及び画像生成方法に関する。
 生体蛍光イメージングでは、例えば、マルチプレックス蛍光イメージング技術が用いられている。このマルチプレックス蛍光イメージング技術により得られる蛍光画像は、ボケる傾向にある。蛍光画像のボケを抑えるため、例えば、特許文献1から3のような技術が提案されている。
特許第6928757号 特開2014-164004号公報 国際公開第2019/053768号
 しかしながら、上記の技術では、励起波長ごとの観察スリットを有するライン共焦点蛍光顕微鏡特有の要因から生じるボケを抑えることは難しい。例えば、ある一つの観察スリットでフォーカスを合わせて全観察スリットで撮影を行うため、他の観察スリットではフォーカスが合っておらず、観察スリットごとに蛍光画像のボケの度合いが異なる。
 そこで、本開示では、蛍光画像のボケを抑えることが可能な生体試料観察システム、情報処理装置及び画像生成方法を提案する。
 本開示の一形態に係る生体試料観察システムは、生体試料を含むサンプルに複数のライン状の光を照射する照射部と、前記複数のライン状の光にそれぞれ対応する複数の観察スリットを通過した光を受ける撮像部と、前記観察スリットごとに、点像強度分布関数を最適化し、最適な前記点像強度分布関数と前記撮像部により受けられた前記光に基づく蛍光画像とをデコンボリューションする画像処理部と、を備える。
 本開示の一形態に係る情報処理装置は、複数のラインで同時に撮影を行うライン共焦点蛍光顕微鏡における観察スリットごとに、点像強度分布関数を最適化し、最適な前記点像強度分布関数と蛍光画像とをデコンボリューションする画像処理部を備える。
 本開示の一形態に係る画像生成方法は、複数のラインで同時に撮影を行うライン共焦点蛍光顕微鏡における観察スリットごとに、点像強度分布関数を最適化し、最適な前記点像強度分布関数と蛍光画像とをデコンボリューションする。
本開示の実施形態に係る情報処理システムの概略構成の一例を示す図である。 本開示の実施形態に係る蛍光観察装置の概略構成の一例を示す図である。 本開示の実施形態に係る観察ユニットの概略構成の一例を示す図である。 本開示の実施形態に係るサンプルの一例を示す図である。 本開示の実施形態に係るサンプルにライン照明が照射される領域を拡大して示す図である。 本開示の実施形態に係る観察スリットごとのフォーカス評価を説明するための図である。 本開示の実施形態に係る観察スリット(励起波長)ごとに撮影したチャートを示す図である。 本開示の実施形態に係るピンホール撮影データを示す図である。 本開示の実施形態に係るピンホール撮影データにおける中央側ピンホールと端ピンホールとの信号波形を示す図である。 本開示の実施形態に係るピンホールサンプルを説明するための図である。 本開示の実施形態に係る第1処理例の流れを示すフローチャートである。 本開示の実施形態に係る最適なPSF(Point Spread Function)の生成を説明するための図である。 本開示の実施形態に係るデコンボリューション前後の蛍光画像及び細胞解析結果画像を示す図である。 本開示の実施形態に係る第2処理例の流れを示すフローチャートである。 本開示の実施形態に係る第2処理例を説明するための図である。 本開示の実施形態に係る色分離後のビーズ蛍光画像を示す図である。 本開示の実施形態に係るデコンボリューション効果の評価結果を説明するための図である。 本開示の実施形態に係るピンホール撮影データを示す図である。 本開示の実施形態に係るビーズ蛍光画像(デコンボリューション対象画像)における領域分割を説明するための図である。 本開示の実施形態に係る第3処理例のバリエーション1の流れを示すフローチャートである。 本開示の実施形態に係るデコンボリューション効果の評価結果を説明するための図である。 本開示の実施形態に係るピンホール撮影データにおける領域ごとの最適PSFの用意を説明するための図である。 本開示の実施形態に係る画像全体をデコンボリューションした結果の混合比率を説明するための図である。 本開示の実施形態に係る第2処理例の流れを示すフローチャートである。 本開示の実施形態に係る第2処理例の変形例の流れを示すフローチャートである。 本開示の実施形態に係る第2処理例の変形例に対応する情報処理システムの概略構成の一例を示す図である。 本開示の実施形態に係る色分離後のビーズ蛍光画像を示す図である。 本開示の実施形態に係るデコンボリューション効果の評価結果を説明するための図である。 本開示の実施形態に係る理想波形とデコンボリューション後の波形との評価処理の流れの一例を示すフローチャートである。 本開示の実施形態に係るピンホールごとのPSFの作成を説明するための図である。 本開示の実施形態に係る理想波形、理想波形をPSFでぼかした波形及びその波形をPSFでデコンボリューションした波形を示す図である。 本開示の実施形態に係るぼかした画と場所ごとのPSFとをdeconvlucyでデコンボリューションした後の波形を示す図である。 本開示の実施形態に係るぼかした画と場所ごとのPSFとをdeconvwnrでデコンボリューションした後の波形を示す図である。 本開示の実施形態に係るぼかした画と場所ごとのPSFとをdeconvregでデコンボリューションした後の波形を示す図である。 本開示の実施形態に係るぼかした画と場所ごとのPSFとのデコンボリューション後の波形のエッジ評価結果を示す図である。 本開示の実施形態に係る理想波形とデコンボリューション後の波形との評価処理の流れの一例を示すフローチャートである。 本開示の実施形態に係るぼかした画と観察スリットごとのPSFとをdeconvlucyでデコンボリューションした後の波形を示す図である。 本開示の実施形態に係るぼかした画と観察スリットごとのPSFとをdeconvwnrでデコンボリューションした後の波形を示す図である。 本開示の実施形態に係るぼかした画と観察スリットごとのPSFとをdeconvregでデコンボリューションした後の波形を示す図である。 本開示の実施形態に係るぼかした画と観察スリットごとのPSFとのデコンボリューション後の波形のエッジ評価結果を示す図である。 情報処理装置のハードウェアの概略構成の一例を示す図である。
 以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、この実施形態により本開示に係るシステムや装置、方法などが限定されるものではない。また、以下の各実施形態において、基本的に同一の部位には同一の符号を付することにより重複する説明を省略する。
 以下に説明される1又は複数の実施形態(実施例、変形例を含む)は、各々が独立に実施されることが可能である。一方で、以下に説明される複数の実施形態は少なくとも一部が他の実施形態の少なくとも一部と適宜組み合わせて実施されてもよい。これら複数の実施形態は、互いに異なる新規な特徴を含み得る。したがって、これら複数の実施形態は、互いに異なる目的又は課題を解決することに寄与し得、互いに異なる効果を奏し得る。
 以下に示す項目順序に従って本開示を説明する。
 1.実施形態
 1-1.情報処理システムの構成例
 1-2.蛍光観察装置の構成例
 1-3.画像処理部の第1処理例
 1-4.画像処理部の第2処理例
 1-5.画像処理部の第3処理例
 1-6.画像処理部の第2処理例の変形例
 1-7.デコンボリューションの関数例
 1-8.作用・効果
 2.他の実施形態
 3.ハードウェアの構成例
 4.付記
 <1.実施形態>
 <1-1.情報処理システムの構成例>
 本実施形態に係る情報処理システムの構成例について図1を参照して説明する。図1は、本実施形態に係る情報処理システムの概略構成の一例を示す図である。情報処理システムは、生体試料観察システムの一例である。
 図1に示すように、本実施形態に係る情報処理システムは、情報処理装置100と、データベース200とを備える。この情報処理システムへの入力として、蛍光試薬10Aと、標本20Aと、蛍光染色標本30Aとが存在する。
 (蛍光試薬10A)
 蛍光試薬10Aは、標本20Aの染色に使用される薬品である。蛍光試薬10Aは、例えば、蛍光抗体、蛍光プローブ、または核染色試薬などであるが、蛍光試薬10Aの種類はこれらに特に限定されない。蛍光抗体には、例えば、直接標識に使用される一次抗体、または間接標識に使用される二次抗体が含まれる。また、蛍光試薬10Aは、蛍光試薬10Aおよび蛍光試薬10Aの製造ロットを識別可能な識別情報を付されて管理される。以降、その識別情報を「試薬識別情報11A」と呼称する。試薬識別情報11Aは、例えば、一次元バーコード情報や二次元バーコード情報などのバーコード情報などであるが、これに限定されない。蛍光試薬10Aは、同種類の製品であっても、製造方法や抗体が取得された細胞の状態などに応じて製造ロット毎にその性質が異なる。例えば、蛍光試薬10Aにおいて、製造ロット毎にスペクトル情報、量子収率、または蛍光標識率などが異なる。蛍光標識率は、「F/P値:Fluorescein/Protein」とも呼称され、抗体を標識する蛍光分子数を指す。そこで、本実施形態に係る情報処理システムにおいて、蛍光試薬10Aは、試薬識別情報11Aを付されることによって製造ロット毎に管理される。換言すると、各蛍光試薬10Aの試薬情報は製造ロット毎に管理される。これによって、情報処理装置100は、製造ロット毎に現れる僅かな性質の違いも考慮した上で蛍光シグナルと自家蛍光シグナルとを分離することができる。なお、蛍光試薬10Aが製造ロット単位で管理されることはあくまで一例であり、蛍光試薬10Aは製造ロットよりも細かい単位で管理されてもよい。
 (標本20A)
 標本20Aは、人体から採取された検体または組織サンプルから病理診断または臨床検査などを目的に作製されたものである。標本20Aについて、例えば臓器または細胞などの使用される組織の種類、対象となる疾病の種類、例えば年齢、性別、血液型、または人種などの対象者の属性、または、例えば食生活、運動習慣、または喫煙習慣などの対象者の生活習慣は特に限定されない。また、標本20Aは、各標本20Aを識別可能な識別情報を付されて管理される。以降、その識別情報を「標本識別情報21A」と呼称する。標本識別情報21Aは、試薬識別情報11Aと同様に、例えば、一次元バーコード情報や二次元バーコード情報などのバーコード情報などであるが、これに限定されない。標本20Aは、使用される組織の種類、対象となる疾病の種類、対象者の属性、または対象者の生活習慣などに応じてその性質が異なる。例えば、標本20Aにおいて、使用される組織の種類などに応じて計測チャネルまたはスペクトル情報などが異なる。そこで、本実施形態に係る情報処理システムにおいて、標本20Aは、標本識別情報21Aを付されることによって個々に管理される。これによって、情報処理装置100は、標本20A毎に現れる僅かな性質の違いも考慮した上で蛍光シグナルと自家蛍光シグナルとを分離することができる。
 (蛍光染色標本30A)
 蛍光染色標本30Aは、標本20Aが蛍光試薬10Aによって染色されることで作成されたものである。本実施形態において、蛍光染色標本30Aは、標本20Aが少なくとも1つの蛍光試薬10Aによって染色されることを想定しているところ、染色に用いられる蛍光試薬10Aの数は特に限定されない。また、染色方法は、標本20Aおよび蛍光試薬10Aそれぞれの組み合わせなどによって決まり、特に限定されるものではない。蛍光染色標本30Aは、情報処理装置100に対して入力され、撮像される。
 (情報処理装置100)
 情報処理装置100は、図1に示すように、取得部110と、画像処理部170と、保存部120と、処理部130と、表示部140と、制御部150と、操作部160と、を備える。
 (取得部110)
 取得部110は、情報処理装置100の各種処理に使用される情報を取得する構成である。図1に示すように、取得部110は、情報取得部111と、画像取得部112と、を備える。
 (情報取得部111)
 情報取得部111は、試薬情報および標本情報を取得する構成である。より具体的には、情報取得部111は、蛍光染色標本30Aの生成に使用された蛍光試薬10Aに付された試薬識別情報11A、および標本20Aに付された標本識別情報21Aを取得する。例えば、情報取得部111は、バーコードリーダーなどを用いて試薬識別情報11Aおよび標本識別情報21Aを取得する。そして、情報取得部111は、試薬識別情報11Aに基づいて試薬情報を、標本識別情報21Aに基づいて標本情報をそれぞれデータベース200から取得する。情報取得部111は、取得したこれらの情報を後述する情報保存部121に保存する。
 (画像取得部112)
 画像取得部112は、蛍光染色標本30A、少なくとも1つの蛍光試薬10Aで染色された標本20Aの画像情報を取得する構成である。より具体的には、画像取得部112は、例えばCCDやCMOSなどの任意の撮像素子を備えており、当該撮像素子を用いて蛍光染色標本30Aを撮像することで画像情報を取得する。ここで、「画像情報」は、蛍光染色標本30Aの画像自体だけでなく、像として視覚化されていない測定値なども含む概念であることに留意されたい。例えば、画像情報には、蛍光染色標本30Aから放射した蛍光の波長スペクトルに関する情報が含まれていてもよい。以下、その蛍光の波長スペクトルを蛍光スペクトルという。画像取得部112は、画像情報を後述する画像情報保存部122に保存する。
 (画像処理部170)
 画像処理部170は、画像取得部112によって取得された蛍光染色標本30Aの画像情報を処理する。例えば、画像処理部170は、蛍光染色標本30Aの画像情報に対し、画像情報に基づく画像からボケを除去するボケ補正を行う。このボケ補正に関する処理などについて詳しくは後述する。
 (保存部120)
 保存部120は、情報処理装置100の各種処理に使用される情報、または各種処理によって出力された情報を保存する構成である。図1に示すように、保存部120は、情報保存部121と、画像情報保存部122と、解析結果保存部123と、を備える。
 (情報保存部121)
 情報保存部121は、情報取得部111によって取得された試薬情報および標本情報を保存する構成である。なお、後述する解析部131による解析処理および画像生成部132による画像情報の生成処理、すなわち画像情報の再構築処理が終了した後には、情報保存部121は、処理に用いられた試薬情報および標本情報を削除することで空き容量を増やしてもよい。
 (画像情報保存部122)
 画像情報保存部122は、画像処理部170によって処理された蛍光染色標本30Aの画像情報を保存する構成である。なお、情報保存部121と同様に、解析部131による解析処理および画像生成部132による画像情報の生成処理、すなわち画像情報の再構築処理が終了した後には、画像情報保存部122は、処理に用いられた画像情報を削除することで空き容量を増やしてもよい。
 (解析結果保存部123)
 解析結果保存部123は、後述する解析部131によって行われた解析処理の結果を保存する構成である。例えば、解析結果保存部123は、解析部131によって分離された、蛍光試薬10Aの蛍光シグナルまたは標本20Aの自家蛍光シグナルを保存する。また、解析結果保存部123は、別途、機械学習などによって解析精度を向上させるために、解析処理の結果をデータベース200へ提供する。なお、解析結果保存部123は、解析処理の結果をデータベース200へ提供した後には、自らが保存している解析処理の結果を適宜削除することで空き容量を増やしてもよい。
 (処理部130)
 処理部130は、画像情報、試薬情報、および標本情報を用いて各種処理を行う機能構成である。図1に示すように、処理部130は、解析部131と、画像生成部132と、を備える。
 (解析部131)
 解析部131は、画像情報、標本情報および試薬情報を用いて各種解析処理を行う構成である。例えば、解析部131は、標本情報および試薬情報に基づいて画像情報から標本20Aの自家蛍光シグナルと蛍光試薬10Aの蛍光シグナルとを分離する処理(色分離処理)を行う。
 具体的には、解析部131は、標本情報に含まれる計測チャネルに基づいて自家蛍光シグナルを構成する1以上の要素を認識する。例えば、解析部131は、自家蛍光シグナルを構成する1以上の自家蛍光成分を認識する。そして、解析部131は、標本情報に含まれる、これらの自家蛍光成分のスペクトル情報を用いて画像情報に含まれる自家蛍光シグナルを予想する。そして、解析部131は、試薬情報に含まれる、蛍光試薬10Aの蛍光成分のスペクトル情報、および予想した自家蛍光シグナルに基づいて画像情報から自家蛍光シグナルと蛍光シグナルとを分離する。
 ここで、標本20Aが2以上の蛍光試薬10Aで染色されている場合、解析部131は、標本情報および試薬情報に基づいて画像情報、または、自家蛍光シグナルと分離された後の蛍光シグナルから、これら2以上の蛍光試薬10Aそれぞれの蛍光シグナルを分離する。例えば、解析部131は、試薬情報に含まれる、各蛍光試薬10Aの蛍光成分のスペクトル情報を用いて、自家蛍光シグナルと分離された後の蛍光シグナル全体から各蛍光試薬10Aそれぞれの蛍光シグナルを分離する。
 また、自家蛍光シグナルが2以上の自家蛍光成分によって構成されている場合、解析部131は、標本情報および試薬情報に基づいて画像情報、または、蛍光シグナルと分離された後の自家蛍光シグナルから、各自家蛍光成分それぞれの自家蛍光シグナルを分離する。例えば、解析部131は、標本情報に含まれる各自家蛍光成分のスペクトル情報を用いて、蛍光シグナルと分離された後の自家蛍光シグナル全体から各自家蛍光成分それぞれの自家蛍光シグナルを分離する。
 蛍光シグナルおよび自家蛍光シグナルを分離した解析部131は、これらのシグナルを用いて各種処理を行う。例えば、解析部131は、分離後の自家蛍光シグナルを用いて、他の標本20Aの画像情報に対して減算処理を行うことで当該他の標本20Aの画像情報から蛍光シグナルを抽出してもよい。その減算処理は、「バックグラウンド減算処理」とも呼称される。標本20Aに使用される組織、対象となる疾病の種類、対象者の属性、および対象者の生活習慣などの観点で同一または類似の標本20Aが複数存在する場合、これらの標本20Aの自家蛍光シグナルは類似している可能性が高い。ここでいう類似の標本20Aとは、例えば染色される組織切片の染色前の組織切片、染色された切片に隣接する切片、同一ブロックにおける染色切片と異なる切片、又は同一組織における異なるブロックにおける切片等、異なる患者から採取した切片などが含まれる。以下、組織切片を切片と呼称する。同一ブロックは、染色切片と同一の場所からサンプリングされたものである。異なるブロックは、染色切片と異なる場所からサンプリングされたものである。そこで、解析部131は、ある標本20Aから自家蛍光シグナルを抽出できた場合、他の標本20Aの画像情報から当該自家蛍光シグナルを除去することで、当該他の標本20Aの画像情報から蛍光シグナルを抽出してもよい。また、解析部131は、他の標本20Aの画像情報を用いてS/N値を算出する際に、自家蛍光シグナルを除去した後のバックグラウンドを用いることでS/N値を改善することができる。
 また、解析部131は、バックグラウンド減算処理以外にも分離後の蛍光シグナルまたは自家蛍光シグナルを用いて様々な処理を行うことができる。例えば、解析部131は、これらのシグナルを用いて標本20Aの固定化状態の解析を行ったり、画像情報に含まれる物体の領域を認識するセグメンテーションまたは領域分割を行ったりすることができる。物体は、例えば、細胞、細胞内構造、または組織、などである。細胞内構造は、例えば、細胞質、細胞膜、核、などである。組織は、例えば、腫瘍部、非腫瘍部、結合組織、血管、血管壁、リンパ管、繊維化構造、壊死、などである。
 (画像生成部132)
 画像生成部132は、解析部131によって得られた解析結果、例えば、解析部131によって分離された蛍光シグナルまたは自家蛍光シグナルに基づいて画像情報を生成、すなわち再構成する構成である。例えば、画像生成部132は、蛍光シグナルのみが含まれる画像情報を生成したり、自家蛍光シグナルのみが含まれる画像情報を生成したりすることができる。その際、蛍光シグナルが複数の蛍光成分によって構成されていたり、自家蛍光シグナルが複数の自家蛍光成分によって構成されたりしている場合、画像生成部132は、それぞれの成分単位で画像情報を生成することができる。さらに、解析部131が分離後の蛍光シグナルまたは自家蛍光シグナルを用いた各種処理を行った場合、画像生成部132は、それらの処理の結果を示す画像情報を生成してもよい。各種処理としては、例えば、標本20Aの固定化状態の解析、セグメンテーション、またはS/N値の算出などがある。本構成によれば、標的分子等に標識された蛍光試薬10Aの分布情報、つまり蛍光の二次元的な広がりや強度、波長、及びそれぞれの位置関係が可視化され、特に標的物質の情報が複雑な組織画像解析領域においてユーザである医師や研究者の視認性を向上させることができる。
 また、画像生成部132は、解析部131によって分離された蛍光シグナルまたは自家蛍光シグナルに基づいて自家蛍光シグナルに対する蛍光シグナルを区別するよう制御し、画像情報を生成しても良い。具体的には、標的分子等に標識された蛍光試薬10Aの蛍光スペクトルの輝度を向上させる、標識された蛍光試薬10Aの蛍光スペクトルのみを抽出し変色させる、2以上の蛍光試薬10Aによって標識された標本20Aから2以上の蛍光試薬10Aの蛍光スペクトルを抽出しそれぞれを別の色に変色する、標本20Aの自家蛍光スペクトルのみを抽出し除算または減算する、ダイナミックレンジを向上させる、等を制御し画像情報を生成してもよい。これによりユーザは目的となる標的物質に結合した蛍光試薬由来の色情報を明確に区別することが可能となり、ユーザの視認性を向上させることができる。
 (表示部140)
 表示部140は、画像生成部132によって生成された画像情報をディスプレイに表示することでユーザへ提示する構成である。なお、表示部140として用いられるディスプレイの種類は特に限定されない。また、本実施形態では詳細に説明しないが、画像生成部132によって生成された画像情報がプロジェクターによって投影されたり、プリンタによってプリントされたりすることでユーザへ提示されてもよい。換言すると、画像情報の出力方法は特に限定されない。
 (制御部150)
 制御部150は、情報処理装置100が行う処理全般を統括的に制御する機能構成である。例えば、制御部150は、操作部160を介して行われるユーザによる操作入力に基づいて、上記で説明したような各種処理の開始や終了などを制御する。各種処理としては、例えば、蛍光染色標本30Aの撮像処理、解析処理、画像情報の生成処理、および画像情報の表示処理などがある。画像情報の生成処理としては、例えば、画像情報の再構築処理がある。なお、制御部150の制御内容は特に限定されない。例えば、制御部150は、汎用コンピュータ、PC、タブレットPCなどにおいて一般的に行われる処理、例えば、OS(Operating System)に関する処理を制御してもよい。
 (操作部160)
 操作部160は、ユーザからの操作入力を受ける構成である。より具体的には、操作部160は、キーボード、マウス、ボタン、タッチパネル、またはマイクロフォンなどの各種入力手段を備えており、ユーザはこれらの入力手段を操作することで情報処理装置100に対して様々な入力を行うことができる。操作部160を介して行われた操作入力に関する情報は制御部150へ提供される。
 (データベース200)
 データベース200は、標本情報、試薬情報、および解析処理の結果を管理する装置である。より具体的に説明すると、データベース200は、標本識別情報21Aと標本情報、試薬識別情報11Aと試薬情報をそれぞれ紐づけて管理する。これによって、情報取得部111は、計測対象である標本20Aの標本識別情報21Aに基づいて標本情報を、蛍光試薬10Aの試薬識別情報11Aに基づいて試薬情報をデータベース200から取得することができる。
 データベース200が管理する標本情報は、上記のとおり、標本20Aに含まれる自家蛍光成分固有の計測チャネルおよびスペクトル情報を含む情報である。しかし、これら以外にも、標本情報には、各標本20Aについての対象情報、具体的には、例えば臓器、細胞、血液、体液、腹水、胸水などの使用される組織の種類、対象となる疾病の種類、例えば年齢、性別、血液型、または人種などの対象者の属性、または、例えば食生活、運動習慣、または喫煙習慣などの対象者の生活習慣に関する情報が含まれてもよく、標本20Aに含まれる自家蛍光成分固有の計測チャネルおよびスペクトル情報を含む情報及び対象情報は標本20Aごとに紐づけられてもよい。これにより、対象情報から標本20Aに含まれる自家蛍光成分固有の計測チャネルおよびスペクトル情報を含む情報を容易にたどることができ、例えば複数の標本20Aにおける対象情報の類似性から解析部131に過去に行われた類似の分離処理を実行させ、測定時間を短縮することが可能となる。なお、「使用される組織」は対象から採取された組織には特に限定されず、ヒトや動物等の生体内組織や細胞株、測定の対象物に含まれる溶液、溶剤、溶質、材料も含めてもよい。
 また、データベース200が管理する試薬情報は、上記のとおり、蛍光試薬10Aのスペクトル情報を含む情報であり、しかし、これ以外にも、試薬情報には、製造ロット、蛍光成分、抗体、クローン、蛍光標識率、量子収率、褪色係数、および、吸収断面積またはモル吸光係数などの蛍光試薬10Aに関する情報が含まれてもよい。褪色係数は、蛍光試薬10Aの蛍光強度の低減し易さを示す情報である。さらに、データベース200が管理する標本情報および試薬情報は異なる構成で管理されていてもよく、特に試薬に関する情報はユーザに最適な試薬の組み合わせを提示する試薬データベースであってもよい。
 ここで、標本情報および試薬情報は、製造者であるメーカーなどから提供されるか、本開示に係る情報処理システム内で独自に計測されることを想定している。例えば、蛍光試薬10Aの製造者は、製造ロット毎にスペクトル情報や蛍光標識率などを計測し提供することなどをしない場合が多い。したがって、本開示に係る情報処理システム内で独自にこれらの情報を計測し、管理することで蛍光シグナルと自家蛍光シグナルの分離精度が向上され得る。また、管理の簡略化のために、データベース200は、メーカーなどによって公開されているカタログ値、または各種文献に記載されている文献値などを標本情報および試薬情報、特に試薬情報として用いてもよい。しかし、一般的に、実際の標本情報および試薬情報はカタログ値や文献値とは異なる場合が多いため、上記のように標本情報および試薬情報が本開示に係る情報処理システム内で独自に計測され管理される方がより好ましい。
 また、データベース200にて管理されている標本情報、試薬情報、および解析処理の結果を用いる機械学習技術などによって、例えば、蛍光シグナルと自家蛍光シグナルとの分離処理などの解析処理の精度が向上され得る。機械学習技術などを用いて学習を行う主体は特に限定されないところ、本実施形態では情報処理装置100の解析部131が学習を行う場合を一例として説明する。例えば、解析部131は、ニューラルネットワークを用いて、分離後の蛍光シグナルおよび自家蛍光シグナルと、分離に用いられた画像情報、標本情報および試薬情報とが紐づけられた学習データによって機械学習された分類器または推定器を生成する。そして、画像情報、標本情報および試薬情報が新たに取得された場合、解析部131は、それらの情報を分類器または推定器に入力することで、当該画像情報に含まれる蛍光シグナルおよび自家蛍光シグナルを予測して出力することができる。
 また、予測される蛍光シグナルおよび自家蛍光シグナルよりも精度の高い、過去に行われた類似の分離処理を算出し、それらの処理における処理の内容を統計的または回帰的に分析し、分析結果に基づいて蛍光シグナルと自家蛍光シグナルの分離処理を改善する方法が出力されてもよい。分離処理は、例えば、類似の画像情報、標本情報、または試薬情報が用いられる分離処理である。処理の内容は、例えば、処理に用いられる情報やパラメータなどを含む。なお、機械学習の方法は上記に限定されず、公知の機械学習技術が用いられ得る。また、人工知能によって蛍光シグナルと自家蛍光シグナルの分離処理が行われてもよい。また、蛍光シグナルと自家蛍光シグナルとの分離処理だけでなく、分離後の蛍光シグナルまたは自家蛍光シグナルを用いた各種処理、例えば、標本20Aの固定化状態の解析、またはセグメンテーションなどが機械学習技術などによって改善されてもよい。
 以上、本実施形態に係る情報処理システムの構成例について説明した。なお、図1を参照して説明した上記の構成はあくまで一例であり、本実施形態に係る情報処理システムの構成は係る例に限定されない。例えば、情報処理装置100は、図1に示す機能構成の全てを必ずしも備えなくてもよい。また、情報処理装置100は、データベース200を内部に備えていてもよい。情報処理装置100の機能構成は、仕様や運用に応じて柔軟に変形可能である。
 また、情報処理装置100は、上記で説明してきた処理以外の処理を行ってもよい。例えば、蛍光試薬10Aに関する量子収率、蛍光標識率、および吸収断面積、もしくはモル吸光係数などの情報が試薬情報に含まれることによって、情報処理装置100は、自家蛍光シグナルが除去された画像情報、および試薬情報を用いて画像情報における蛍光分子数や、蛍光分子と結合している抗体数などを算出してもよい。
 <1-2.蛍光観察装置の構成例>
 上記の情報処理システムは、例えば、蛍光観察装置500に適用され得る。この蛍光観察装置500は、顕微鏡システムの一例である。以下、蛍光観察装置500の構成例について図2及び図3を参照して説明する。図2は、本実施形態に係る蛍光観察装置500の概略構成の一例を示す図である。図3は、本実施形態に係る観察ユニット1の概略構成の一例を示す図である。
 図2に示すように、蛍光観察装置500は、観察ユニット1と、処理ユニット2と、表示部3と、を有する。
 観察ユニット1は、励起部(照射部)10と、ステージ20と、分光イメージング部30と、観察光学系40と、走査機構50と、フォーカス機構60と、非蛍光観察部70と、を含む。
 励起部10は、波長が異なる複数の照射光を観察対象物に照射する。励起部10は、例えば、異軸平行に配置された波長の異なる複数のライン照明を観察対象物である病理標本、すなわち病理サンプルに照射する。励起部10は、照射部として機能する。ステージ20は、病理標本を支持する台であって、走査機構50により、ライン照明によるライン光の方向に対して垂直方向に移動可能に構成されている。分光イメージング部30は、分光器を含み、ライン照明によりライン状に励起された病理標本の蛍光スペクトル、すなわち分光データを取得する。
 すなわち、観察ユニット1は、ライン照明に応じた分光データを取得するライン分光器として機能する。また、観察ユニット1は、複数の蛍光波長それぞれについて撮像対象である病理標本により生成された複数の蛍光画像をライン毎に撮像し、撮像した複数の蛍光画像のデータをラインの並び順で取得する撮像装置としても機能する。
 ここで、異軸平行とは、複数のライン照明が異軸かつ平行であることをいう。異軸とは、同軸上に無いことをいい、軸間の距離は特に限定されない。平行とは、厳密な意味での平行に限られず、ほぼ平行である状態も含む。例えば、レンズ等の光学系由来のディストーションや製造公差による平行状態からの逸脱があってもよく、この場合も平行とみなす。
 励起部10と分光イメージング部30は、ステージ20に対し、観察光学系40を介して接続されている。観察光学系40は、フォーカス機構60によって最適な焦点に追従する機能を有している。観察光学系40には、暗視野観察、明視野観察などを行うための非蛍光観察部70が接続されてもよい。また、観察ユニット1には、励起部10、分光イメージング部30、走査機構50、フォーカス機構60、非蛍光観察部70などを制御する制御部80が接続されてもよい。
 処理ユニット2は、記憶部21と、データ校正部22と、画像形成部23とを含む。この処理ユニット2は、観察ユニット1によって取得された病理標本の蛍光スペクトルに基づいて、典型的には、病理標本の画像を形成し、あるいは蛍光スペクトルの分布を出力する。以下、病理標本はサンプルSともいう。ここでの画像とは、そのスペクトルを構成する色素やサンプル由来の自家蛍光などの構成比率、波形からRGB(赤緑青)カラーに変換されたものや、特定の波長帯の輝度分布などをいう。
 記憶部21は、例えばハードディスクドライブやフラッシュメモリといった不揮発性の記憶媒体と、当該記憶媒体に対するデータの書き込みおよび読み出しを制御する記憶制御部と、を含む。記憶部21は、励起部10が含む複数のライン照明それぞれにより射出される光の各波長と、分光イメージング部30のカメラで受光された蛍光との相関を示す分光データが記憶される。また、記憶部21には、観察対象となるサンプル(病理標本)に関する自家蛍光の標準スペクトルを示す情報や、サンプルを染色する色素単体の標準スペクトルを示す情報が予め記憶される。
 データ校正部22は、分光イメージング部30のカメラで撮像された撮像画像に基づき記憶部21に記憶された分光データの構成を行う。画像形成部23は、分光データと、励起部10により照射された複数のライン照明の間隔Δyとに基づき、サンプルの蛍光画像を形成する。例えば、データ校正部22や画像形成部23等を含む処理ユニット2は、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)等のコンピュータに用いられるハードウェア要素および必要なプログラム(ソフトウェア)により実現される。CPUに代えて、またはこれに加えて、FPGA(Field Programmable Gate Array)等のPLD(Programmable Logic Device)、あるいは、DSP(Digital Signal Processor)、その他ASIC(Application Specific Integrated Circuit)等が用いられてもよい。
 表示部3は、例えば、画像形成部23で形成された蛍光画像に基づく画像等の各種情報を表示する。この表示部3は、例えば、処理ユニット2に一体的に取り付けられたモニタで構成されてもよいし、処理ユニット2に接続された表示装置であってもよい。表示部3は、例えば、液晶デバイスあるいは有機ELデバイス等の表示素子と、タッチセンサとを備え、撮影条件の入力設定や撮影画像等を表示するUI(User Interface)として構成される。
 次に、観察ユニット1の詳細について図3を参照して説明する。ここでは、励起部10がそれぞれ2波長の発光を行う2つのライン照明Ex1およびEx2を含むものとして説明する。例えば、ライン照明Ex1が波長405nmの光と波長561nmの光とを発光し、ライン照明Ex2が波長488nmの光と波長645nmの光とを発光する。
 図3に示すように、励起部10は、複数の励起光源L1、L2、L3、L4を有する。各励起光源L1~L4は、波長がそれぞれ405nm、488nm、561nm及び645nmのレーザ光を出力するレーザ光源で構成される。例えば、各励起光源L1~L4は、発光ダイオード(LED)やレーザダイオード(LD)などで構成される。
 さらに、励起部10は、各励起光源L1~L4に対応するよう、複数のコリメータレンズ11、複数のレーザラインフィルタ12、複数のダイクロイックミラー13a、13b、13cと、ホモジナイザ14と、コンデンサレンズ15と、入射スリット部16とを有する。
 励起光源L1から出射されるレーザ光と励起光源L3から出射されるレーザ光は、それぞれコリメータレンズ11によって平行光になった後、各々の波長帯域の裾野をカットするためのレーザラインフィルタ12を透過し、ダイクロイックミラー13aによって同軸にされる。同軸化された2つのレーザ光は、さらに、ライン照明Ex1となるべくフライアイレンズなどのホモジナイザ14とコンデンサレンズ15によってビーム成形される。
 励起光源L2から出射されるレーザ光と励起光源L4から出射されるレーザ光も同様に各ダイクロイックミラー13b、13cによって同軸化され、ライン照明Ex1とは異軸のライン照明Ex2となるようにライン照明化される。ライン照明Ex1およびEx2は、各々が通過可能な複数の入射スリットを有する入射スリット部16において距離Δyだけ離れた異軸ライン照明、すなわち1次像を形成する。
 なお、本実施形態では、4つのレーザを2つの同軸、2つの異軸とした例について説明するが、このほかに、2つのレーザを2つの異軸構成にしたり、4つのレーザを4つの異軸構成にしたりしてもよい。
 1次像は、観察光学系40を介してステージ20上のサンプルSに照射される。観察光学系40は、コンデンサレンズ41と、ダイクロイックミラー42,43と、対物レンズ44と、バンドパスフィルタ45と、コンデンサレンズ46とを有する。コンデンサレンズ46は結像レンズの一例である。ライン照明Ex1、Ex2は、対物レンズ44と対になったコンデンサレンズ41で平行光にされ、ダイクロイックミラー42、43により反射されて対物レンズ44を透過し、ステージ20上のサンプルSに照射される。
 ここで、図4は、本実施形態に係るサンプルSの一例を示す図である。図4では、サンプルSを励起光であるライン照明Ex1およびEx2の照射方向から見た様子が示されている。サンプルSは、典型的には、図4に示すような組織切片等の観察対象物Saを含むスライドで構成されるが、勿論それ以外であってもよい。観察対象物Saは、例えば、核酸、細胞、タンパク、菌、ウイルスなどの生体試料である。サンプルS、すなわち観察対象物Saは、複数の蛍光色素によって染色されている。観察ユニット1は、サンプルSを所望の倍率に拡大して観察する。
 図5は、本実施形態に係るサンプルSにライン照明Ex1およびEx2が照射される領域Aを拡大して示す図である。図5の例では、領域Aに2つのライン照明Ex1およびEx2が配置されており、それぞれのライン照明Ex1およびEx2に重なるように、分光イメージング部30の撮影エリアR1およびR2が配置される。2つのライン照明Ex1およびEx2は、それぞれZ軸方向に平行であり、Y軸方向に所定の距離Δyだけ離れて配置される。
 サンプルSの表面において、図5に示したようにライン照明Ex1およびEx2が形成される。これらのライン照明Ex1およびEx2によってサンプルSにおいて励起された蛍光は、図3に示すように、対物レンズ44によって集光され、ダイクロイックミラー43に反射され、ダイクロイックミラー42と、励起光をカットするバンドパスフィルタ45とを透過し、コンデンサレンズ46で再び集光されて、分光イメージング部30に入射する。
 分光イメージング部30は、図3に示すように、観察スリット部31と、撮像素子32と、第1プリズム33と、ミラー34と、回折格子35と、第2プリズム36と、を有する。回折格子35は例えば波長分散素子である。
 図3の例では、撮像素子32は、2つの撮像素子32a、32bを含んで構成されている。この撮像素子32は、回折格子35によって波長分散された複数の光、例えば蛍光等を受光する。撮像素子32には、例えば、CCD(Charge Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)などの2次元イメージャが採用される。撮像素子32は、撮像部として機能する。
 観察スリット部31は、コンデンサレンズ46の集光点に配置され、励起ライン数と同じ数、図3の例では2本の観察スリットを有する。観察スリットの数は特に限定されるものではなく、例えば、4本であってもよい。この観察スリット部31を通過した2つの励起ライン由来の蛍光スペクトルは、第1プリズム33で分離され、それぞれミラー34を介して回折格子35の格子面で反射することにより、励起波長各々の蛍光スペクトルにさらに分離される。分離された4つの蛍光スペクトルは、ミラー34および第2プリズム36を介して撮像素子32aおよび32bに入射され、分光データとして、ライン方向の位置xと、波長λにより表現される分光データ(x,λ)に展開される。分光データ(x,λ)は、撮像素子32に含まれる画素のうち、行方向において位置x、列方向において波長λの位置の画素の画素値である。なお、分光データ(x,λ)は、単に分光データとして記述されることがある。
 なお、撮像素子32aおよび32bの画素サイズ(nm/Pixel)は特に限定されず、例えば、2nm/Pixel以上20nm/Pixel以下に設定される。この分散値は、回折格子35のピッチや光学的に実現しても良いし、撮像素子32aおよび32bのハードウェアビニングを使って実現しても良い。また、光路の途中にダイクロイックミラー42やバンドパスフィルタ45が挿入され、励起光、すなわちライン照明Ex1およびEx2が撮像素子32に到達しないようにされている。
 各ライン照明Ex1およびEx2は、それぞれ単一の波長で構成される場合に限られず、それぞれが複数の波長で構成されてもよい。ライン照明Ex1およびEx2がそれぞれ複数の波長で構成される場合、これらで励起される蛍光もそれぞれ複数のスペクトルを含む。この場合、分光イメージング部30は、当該蛍光を励起波長に由来するスペクトルに分離するための波長分散素子を有する。波長分散素子は、回折格子やプリズムなどで構成され、典型的には、観察スリット部31と撮像素子32との間の光路上に配置される。
 なお、ステージ20および走査機構50は、X-Yステージを構成し、サンプルSの蛍光画像を取得するため、サンプルSをX軸方向およびY軸方向へ移動させる。WSI(Whole slide imaging)では、Y軸方向にサンプルSをスキャンし、その後、X軸方向に移動し、さらにY軸方向へのスキャンを行うといった動作が繰り返される。走査機構50を用いることで、サンプルS、すなわち観察対象物Sa上において空間的に距離Δyだけ離れた、それぞれ異なる励起波長で励起された色素スペクトル、すなわち蛍光スペクトルを、Y軸方向に連続的に取得することができる。
 走査機構50は、サンプルSにおける照射光の照射される位置を経時的に変化させる。例えば、走査機構50は、ステージ20をY軸方向に走査する。この走査機構50によって、ステージ20に対して複数のライン照明Ex1,Ex2をY軸方向、つまり、各ライン照明Ex1,Ex2の配列方向に走査させることができる。これは、この例に限定されず、光学系の途中に配置されたガルバノミラーによって複数のライン照明Ex1およびEx2がY軸方向に走査されてもよい。各ライン照明Ex1およびEx2由来のデータ、例えば、2次元データ又は3次元データは、Y軸について距離Δyだけ座標がシフトしたデータになるので、予め記憶された距離Δy、または、撮像素子32の出力から計算される距離Δyの値に基づいて、補正され出力される。
 図3に示すように、非蛍光観察部70は、光源71、ダイクロイックミラー43、対物レンズ44、コンデンサレンズ72、撮像素子73などにより構成される。非蛍光観察部70においては、図3の例では、暗視野照明による観察系を示している。
 光源71は、ステージ20に対して対物レンズ44と対向する側に配置され、ステージ20上のサンプルSに対して、ライン照明Ex1、Ex2とは反対側から照明光を照射する。暗視野照明の場合、光源71は、対物レンズ44のNA(開口数)の外側から照明し、サンプルSで回折した光(暗視野像)を対物レンズ44、ダイクロイックミラー43およびコンデンサレンズ72を介して撮像素子73で撮影する。暗視野照明を用いることで、蛍光染色サンプルのような一見透明なサンプルであってもコントラストを付けて観察することができる。
 なお、この暗視野像を蛍光と同時に観察して、リアルタイムのフォーカスに使ってもよい。この場合、照明波長は、蛍光観察に影響のない波長を選択すればよい。非蛍光観察部70は、暗視野画像を取得する観察系に限られず、明視野画像、位相差画像、位相像、インラインホログラム(In-line hologram)画像などの非蛍光画像を取得可能な観察系で構成されてもよい。例えば、非蛍光画像の取得方法として、シュリーレン法、位相差コントラスト法、偏光観察法、落射照明法などの種々の観察法が採用可能である。照明用光源の位置もステージ20の下方に限られず、ステージ20の上方や対物レンズ44の周りにあってもよい。また、リアルタイムでフォーカス制御を行う方式だけでなく、予めフォーカス座標(Z座標)を記録しておくプレフォーカスマップ方式等の他の方式が採用されてもよい。
 なお、上述では、励起光としてのライン照明は、ライン照明Ex1およびEx2の2本で構成されたが、これに限定されず、3本、4本あるいは5本以上であってもよい。またそれぞれのライン照明は、色分離性能がなるべく劣化しないように選択された複数の励起波長を含んでもよい。また、ライン照明が1本であっても、複数の励起波長から構成される励起光源で、かつそれぞれの励起波長と、撮像素子32で所得されるデータとを紐づけて記録すれば、異軸平行ほどの分離能は得られないが、多色スペクトルを得ることができる。
 以上、本開示に係る技術を蛍光観察装置500に適用した適用例について説明した。なお、図2及び図3を参照して説明した上記の構成はあくまで一例であり、本実施形態に係る蛍光観察装置500の構成は係る例に限定されない。例えば、蛍光観察装置500は、図2及び図3に示す構成の全てを必ずしも備えなくてもよいし、図2及び図3に示されていない構成を備えてもよい。
 このような複数の観察スリットを有する観察スリット部31を備える蛍光観察装置500(例えば、ライン共焦点蛍光顕微鏡)においては、例えば、ある一つの観察スリットに基づいて全観察スリットのフォーカスを合わせて全観察スリットで撮影を行うため、他の観察スリットではフォーカスが合っておらず、観察スリットごとに蛍光画像のボケの度合いが異なる。このようなボケが生じると、例えば、ボケによる隣接ピクセルからの信号の漏れ込みが原因となり、色分離後画像において細胞解析の結果が生物学的に正しくないと思われるものになること、一例として、二つの細胞が存在しているはずである箇所が一つの細胞として検出されることなどがある。
 ここで、図6は、本実施形態に係る観察スリットごとのフォーカス評価を説明するための図である。図6では、縦軸が隣接画素差分の和であり、横軸が対物位置(μm)である。励起波長は、例えば、405μm、488μm、532μm、638μmである。図6の例では、励起波長は四つであるが、この数は観察スリットの数に対応するものであり、二つであってもよく、特に限定されるものではない。
 図6に示すように、観察スリット(励起波長)ごとに、対物位置に対する隣接画素差分の和を示すドットが提示されている。これらの各ドットに対して、観察スリットごとに、ガウシアン関数によるピークフィットにより最適フォーカス位置が推定される。この推定された最適フォーカス位置は、図6中に表として観察スリットごとに示されている。405励起用の観察スリットの最適フォーカス位置は6.58μmであり、488励起用の観察スリットの最適フォーカス位置は6.22でμmあり、532励起用の観察スリットの最適フォーカス位置は5.56μmであり、638励起用の観察スリットの最適フォーカス位置は6.18μmである。405励起用の観察スリットの最適フォーカス位置と532励起用の観察スリットの最適フォーカス位置との差は、1μmよりも大きい。
 図7は、本実施形態に係る観察スリット(励起波長)ごとに撮影したチャートを示す図である。図7に示すように、正方形枠A1が示す画が、フォーカスが最も合っている画であるが、そのときのフォーカス位置は、観察スリットによって異なっている。図7の例では、405励起用の観察スリットのフォーカス位置は、ある基準位置から+7μmであり、488励起用、532励起用及び638励起用の観察スリットの最適フォーカス位置は+6μmである。405励起用の観察スリットのフォーカス位置だけが他の励起用の観察スリットと異なる。このように全ての観察スリットでフォーカスが合っていないため、いずれかの観察スリットにおいて蛍光画像のボケが発生する。
 図8は、本実施形態に係るピンホール撮影データ(ピンホール撮影画像)を示す図である。図8の例では、ピンホールH1が黒点で示されているが、実際の画像ではピンホールH1は白点であり、ピンホールH1以外の領域は黒となる。これは、以下のピンホール撮影データに係る図でも同様である。図9は、図8に示すピンホール撮影データにおける中央側ピンホール(図8中の点線丸枠A2内のピンホールH1)と端ピンホール(図8中の実線丸枠A3内のピンホールH1)との信号波形を示す図である。図9の例では、縦軸が強度であり、横軸は位置である。これは、以下の波形に係る図面でも同様である。
 図8に示すように、ピンホール撮影データは、観察スリットのスリット長手方向B1に複数のピンホールH1が並ぶ画像である。このピンホール撮影データは、各ピンホールH1を有するピンホールサンプル300が蛍光観察装置500により撮影されて得られる。ピンホール撮影データにおいては、1枚の画像内でも場所ごとにボケ方が異なる。例えば、図9に示すように、端ピンホールの信号波形(図9中の実線C1参照)の広がりは、中央側ピンホールの信号波形(図9中の点線C2参照)の広がりよりも大きいため、スリット長手方向端領域におけるボケは、スリット長手方向中央領域におけるボケよりも大きい。
 図10は、本実施形態に係るピンホールサンプル300を説明するための図である。図10に示すように、ピンホールサンプル300は、ガラス310に遮光膜320(例えば、クロム膜)をつけてガラス310をマスクすることで作成されている。遮光膜320は、観察スリットのスリット長手方向B1に複数のピンホールH1を有する。このピンホールサンプル300には、封止剤330を介してカバーガラス340が載置される。この状態のピンホールサンプル300が、バックライト350(例えば、ランバーシアン)からの透過光により蛍光観察装置500により撮影される。これにより、図8に示すように、観察スリットのスリット長手方向B1にピンホールH1が複数並んだピンホール撮影データ(ピンホール撮影画像)が得られる。なお、ピンホールサンプル300は、蛍光体で作成されてもよい。
 なお、上述では、ある一つの観察スリットに基づいて全観察スリットのフォーカスを合わせる構成、すなわち、各ライン照明(複数ライン)が同じ焦点位置を有する構成に限定されず、異なる焦点位置を有する構成であってもよい。異なる焦点位置をもって走査撮影すると、フォーカス座標(Z座標)の異なる画像を撮影することができる。顕微鏡撮影では、フォーカス座標を変えながら複数の断面データを撮影する用途があり、この方式であれば複数の断面を同時に撮影できるというメリットがある。なお、異なる断層像(異なるスリットでの撮影像)でそれぞれ異なるボケ補正を行うことも有用である。
 <1-3.画像処理部の第1処理例>
 本実施形態に係る画像処理部170の第1処理例について図11から図13を参照して説明する。図11は、本実施形態に係る第1処理例の流れを示すフローチャートである。図12は、本実施形態に係る最適なPSF(Point Spread Function:点像強度分布関数)の生成を説明するための図である。図13は、本実施形態に係るデコンボリューション前後の蛍光画像(上段)及び細胞解析結果画像(下段)を示す図である。細胞解析結果画像は、処理対象の蛍光画像に基づいて細胞一つ一つをセグメンテーションした画像である。
 図11に示すように、ステップS11において、画像処理部170は、ピンホール正解信号波形と初期PSFをコンボリューション(畳み込み)し、ピンホール正解信号波形をボケさせる。ステップS12において、画像処理部170は、ボケたピンホール正解信号波形が実際のピンホール撮影データの信号波形に近づくようにPSFを変えながら非線形最小二乗フィッティングを行い、最適PSFを生成する。ステップS13において、画像処理部170は、最適なPSFとボケた蛍光画像をデコンボリューション(逆畳み込み)し、復元された蛍光画像を生成する。ここでいうデコンボリューションとは、ボケ画像を補正する手法を指し、例えば、ボケ画像と点像強度分布関数との逆畳み込み処理を行うことによる補正を含む。
 ピンホール正解信号波形は、予め求められたピンホール正解信号波形である。このピンホール正解信号波形は、ピンホールサイズに応じて理論的又は実験的に予め求められている。例えば、ピンホール正解信号波形はシミュレーションなどにより求められてもよい。ピンホール正解信号波形は、例えば、画像処理部170が備える記憶部(図示せず)などに記憶されており、必要に応じて記憶部から画像処理部170により読み出される。
 ピンホール撮影データは、上記のようにピンホールサンプル300(図10参照)が用いられて実際に蛍光観察装置500により得られたピンホール撮影画像に関するデータである。このピンホール撮影データは、蛍光観察装置500の特有のボケ(装置特有のボケ)を含むことになる。この特有のボケは、例えば、観察ユニット1が有する各部の部品精度や取り付け精度などに起因して発生するものである。ピンホール撮影データは、画像取得部112により取得されて画像処理部170に送られる。
 図12に示すように、ピンホール正解信号波形(図12中の実線D1参照)がボケさせられ、PSFが変えられつつ、ボケたピンホール正解信号波形が実際のピンホール撮影データの信号波形(図12中の点線D2参照)に近づくように非線形最小二乗フィッティングが実行される。そして、ボケたピンホール正解信号波形と実際のピンホール撮影データの信号波形との差が最も小さくなった(すなわち、ほぼ一致した)ときのPSFが最適なPSFとなる。この最適なPSFとボケた蛍光画像がデコンボリューションされ、エッジが復元された蛍光画像が生成される。
 なお、PSFとしては、例えば、ガウシアン関数とローレンチアン関数を足し合わせたものが使用される。PSFは、点像強度分布関数以外にも、点像分布関数や点拡がり関数などと呼ばれることもある。また、デコンボリューションに用いられる関数、すなわちデコンボリューション関数としては、例えば、deconvlucy関数を使用しているが、deconvwnr関数、deconvreg関数、deconvblind関数などが用いられてもよい。これらのdeconvlucyやdeconvwnr、deconvreg、deconvblindなどの関数は、例えば、matlab限定で使用される関数である。
 上記のような第1処理例によれば、蛍光画像のボケが除去され、蛍光画像のエッジが復元される。したがって、蛍光画像のボケを抑制することが可能になるので、空間漏れこみ低減により、色分離後画像における細胞解析の結果が生物学的に理解できるものとなる。例えば、所望個数の細胞が存在しているはずである箇所がその所望個数よりも少ない個数の細胞として検出されることを抑えることができる。
 例えば、図13に示すように、デコンボリューション前の細胞解析結果画像(左側の画像参照)では、丸枠A4内の細胞は二つであるが、デコンボリューション後の細胞解析結果画像(右側の画像参照)では、丸枠A4内の細胞は五つである。このように上記のデコンボリューションを実行することで、五つの細胞が存在しているはずである箇所が二つの細胞として検出されることを抑えることができる。したがって、ボケによる隣接ピクセルからの信号の漏れ込みが原因となり、色分離後画像において細胞解析の結果が生物学的に正しくないと思われるものになることを抑制することができる。
 ここで、例えば、ピンホール正解信号波形は、ピンホール出射端での光強度分布から得られる。このピンホール出射端での光強度分布は、既知の導波管での電磁波解析により与えられ、ピンホール端部での電界をゼロとしたベッセル関数により記述される。なお、取り扱いのし安さから上記ベッセル関数は近似的にCos^2で置き換えることもできる。例えば、基底モード(第一種ベッセル関数0次)はCos関数で近似可能である。
 例えば、円筒管のモード形状導出では、下記の式(1)は極座標波動方程式であり、下記の式(2)は円筒管の端で電界Eが0の条件である。なお、直交座標(x、y、z)から円筒座標(x、θ、z)への変換は、x=rcosθ及びy=rsinθ(極座標)で与えられる。また、円筒管の直径は2aである。下記の式(1)及び式(2)に基づき、下記の式(1)は変数分離法により二つの下記の式(3)及び式(4)に分離される。下記の式(3)及び式(4)に基づき、二つの一般解の下記の式(5)及び(6)が得られる。基底では、式(6)は定数である。なお、j(p)=0の第m番目の根をPnmと書けば、固有値はk=Pnm/aである。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
Figure JPOXMLDOC01-appb-M000005
Figure JPOXMLDOC01-appb-M000006
 PSFは、光学系のPSF(Point Spread Function)である。この光学系のPSFとは、光学系の物体平面におかれた無限小の点光源(例えば、発光する分子などが近い)が特定の光学系を透過したのちに像面(実際にはイメージセンサなど)にどのようなボケ具合で映るかを示したものである。仮に物体平面に置かれる試料について無限の解像度でその真の画像を知っていれば、この真の画像と光学系のPSFとのコンボリューションを取ることにより、イメージセンサ上に映し出される光学系を透過したあとの画像を計算により生成できる。
 また、本実施形態に関する計算においては、像面側に口径D、焦点距離f1の接眼レンズと焦点距離f2の対物レンズとを用いた場合、点光源は、d=4λf1/(πD)のビームウエストをもつガウス分布を像面に構成する(λ:光の波長)。これは、物体面において、4λf2/f1(πD)のビームウエストをもつガウス分布のように見えるので、f(r)=I0exp(-2r^2/(4λf2/f1(πD)^2))が半径上のr地点におけるPSFとなる。
 ただし、本実施形態においては、上記の各関数はあくまで最適解を求めるための出発点として初期PSFとして用いるものであって、必ずしも上記の各関数に限られるものではなく、同様の形状をした関数を収束演算の出発点として用いれば足りる。
 <1-4.画像処理部の第2処理例>
 本実施形態に係る画像処理部170の第2処理例について図14及び図15を参照して説明する。図14は、本実施形態に係る第2処理例の流れを示すフローチャートである。図15は、本実施形態に係る第2処理例を説明するための図である。
 図14に示すように、ステップS21において、画像処理部170は、405励起のピンホール撮影データを用いてPSFを最適化し、405励起スリット用最適PSFを生成する。このPSFの最適化処理は、図11中のステップS11及びステップS12の処理に相当する。図14及び図15に示すように、ステップS22において、画像処理部170は、最適なPSFとボケた405励起蛍光画像をデコンボリューションし、復元された405励起蛍光画像を生成する。なお、405励起とは励起波長が405μmであることを意味し、405励起のピンホール撮影データとは励起波長が405μmによる撮影によって得られた撮影データである(他の励起波長も同様である)。
 また、画像処理部170は、上記と同じように、488励起、532励起及び638励起のピンホール撮影データを用いて、ステップS21及びステップS22において、上記のPSFの最適化処理及びデコンボリューション処理を行い、復元された488励起蛍光画像、532励起蛍光画像及び638励起蛍光画像を生成する。なお、図14及び図15において、励起波長ごとに用いるデータは異なるが、処理自体は同じであるため、ステップに同じ符号を付す。励起波長は、例えば、405μm、488μm、532μm、638μmである。
 図14及び図15に示すように、ステップS23において、画像処理部170は、復元された405励起蛍光画像、488励起蛍光画像、532励起蛍光画像及び638励起蛍光画像をパッキングする。ステップS24において、解析部131は、画像処理部170がパッキングした蛍光画像群に対して色分離処理を実行する。図14に示すように、ステップS25において、画像処理部170は、色分離後画像に対して細胞解析を行う。
 なお、図15の例では、色素1、色素2、色素3、色素4というように、色分離処理によって色素ごとに色分離後画像が得られる。色分離処理は、例えば、観察対象に対して励起光を照射して検出される蛍光から、その観察対象の自家蛍光による蛍光成分、および/または、隣接する波長領域による蛍光成分を分離する処理を含む。
 このような第2処理例によれば、観察スリットごとのピンホール撮影データそれぞれにおいて、PSFを最適化することで、観察スリットごとに異なる最適PSFを作成し、マルチスペクトル画像の各励起蛍光画像をそれぞれに対応する観察スリットの最適PSFとデコンボリューションする。これにより、蛍光画像のボケが除去され、蛍光画像のエッジが復元される。したがって、蛍光画像のボケを抑制することが可能になるので、空間漏れこみ低減により、色分離後画像における細胞解析の結果が生物学的に理解できるものとなる。
 ここで、デコンボリューション効果(ボケ補正効果)の評価結果について図16及び図17を参照して説明する。図16は、本実施形態に係る色分離後のビーズ蛍光画像を示す図である。図17は、本実施形態に係るデコンボリューション効果の評価結果を説明するための図である。
 図16に示すように、色分離後のビーズ蛍光画像が示されている。この色分離後のビーズ蛍光画像において正方形枠A5で囲んでいる1ビーズについて、デコンボリューション効果の評価結果が図17に示される。この図17での評価結果は、デコンボリューション効果をビーズの信号波形解析により評価した結果である。図17の例では、ビーズ波形は1ビーズの中央部分の波形である。
 図17に示すように、上記の1ビーズについて、デコンボリューション前(図17中の左側グラフ参照)と、観察スリット間で共通のPSFとデコンボリューションした結果(図17中の中央グラフ参照)と、観察スリットごとに異なるPSFとデコンボリューションした結果(図17中の右側グラフ参照)との3パターンにおける、ビーズ波形(図17中の点線E1参照)とそのビーズ波形の左右エッジの傾き(ビーズ波形上の太実線E2参照)の平均とが提示されている。
 図17の例では、デコンボリューション前のビーズ波形における左右エッジの傾きの平均は0.0093であり、観察スリット間で共通のPSFとデコンボリューションした結果のビーズ波形における左右エッジの傾きの平均は0.0411であり、観察スリットごとに異なるPSFとデコンボリューションした結果のビーズ波形における左右エッジの傾きの平均は0.0531である。このような左右エッジの傾きの平均が高い方が、エッジの鋭い画であることを示す。したがって、各左右エッジの傾きの平均結果の比較により、今回注目した1ビーズについては、観察スリットごとに異なるPSFとデコンボリューションした結果が最もエッジの鋭い画に復元できたといえる。
 <1-5.画像処理部の第3処理例>
 本実施形態に係る画像処理部170の第3処理例について図18から図23を参照して説明する。
 第3処理例では、画像処理部170は、スライド上の異なる位置に存在するピンホールH1それぞれにおいて、第1処理例又は第2処理例に記載した方法でPSFを最適化することで画像内場所ごとに異なる最適PSFを作成し、蛍光画像内の各領域をそれぞれの場所に対応する最適PSFとデコンボリューションする。この方法について、以下2つのバリエーションがある。
 (バリエーション1)
 バリエーション1について図18から図20を参照して説明する。図18は、本実施形態に係るピンホール撮影データを示す図である。図19は、本実施形態に係るビーズ蛍光画像(デコンボリューション対象画像)における領域分割を説明するための図である。図20は、本実施形態に係る第3処理例のバリエーション1の流れを示すフローチャートである。
 バリエーション1では、ピンホール撮影データにおける長手方向中央領域とその中央領域を両側から挟む一対の端領域とで異なるPSFを使用する。
 図18に示すように、画像処理部170は、ピンホール撮影データにおける長手方向中央のピンホールH1(図18中の実線の丸枠A6内のピンホールH1)と長手方向端のピンホールH1(図18中の点線の丸枠A7内のピンホールH1)との画像内長手方向の場所に基づいて、図19に示すように、一つの中央領域及び二つの端領域を決定する。
 図20に示すように、ステップS31及びステップS32において、画像処理部170は、ピンホール撮影データにおける長手方向中央のピンホールH1と長手方向端のピンホールH1のそれぞれでPSFを最適化し、中央領域用最適PSFと端領域用最適PSFを作成する。画像処理部170は、ボケた蛍光画像も長手方向の中央領域と端領域とに分割し、ステップS33及びステップS34において、それぞれの領域に中央領域用最適PSFと端領域用最適PSFを適用してデコンボリューションを行うことで、エッジが復元された画像を生成する。
 なお、画像の分割数は特に限定されるものではなく、ピンホール位置に合わせて画像をさらに分割し、PSFの種類をさらに増やしてもよい。また、中央領域用最適PSFと端領域用最適PSFの間を補間するように、PSFを例えば連続的又は段階的に変化させてもよい。
 ここで、デコンボリューション効果の評価結果について図21を参照して説明する。図21は、本実施形態に係るデコンボリューション効果の評価結果を説明するための図である。この図21での評価結果は、デコンボリューションの効果をビーズの信号波形解析により評価した結果である。図21の例では、ビーズ波形は1ビーズの中央部分の波形である。
 図21に示すように、色分離後のビーズ蛍光画像における正方形枠A8(図19参照)で囲まれている1ビーズについて、1種類のPSFとデコンボリューションした結果(図21中の左側グラフ参照)と、長手方向中央領域と端領域とで異なる2種類のPSFとデコンボリューションした結果(図21中の右側グラフ参照)との2パターンにおける、ビーズ波形(図21中の点線E1参照)とそのビーズ波形の左右エッジの傾き(ビーズ波形上の太実線E2参照)の平均が提示されている。
 図21の例では、1種類のPSFとデコンボリューションした結果のビーズ波形における左右エッジの傾きの平均は0.0413であり、長手方向中央領域と端領域とで異なる2種類のPSFとデコンボリューションした結果のビーズ波形における左右エッジの傾きの平均は0.0459である。したがって、それらの左右エッジの傾きの平均結果の比較により、今回注目した1ビーズについては、画像内領域ごとに異なるPSFとデコンボリューションした場合が最もエッジの鋭い画に復元できたといえる。
 (バリエーション2)
 バリエーション2について図22及び図23を参照して説明する。図22は、本実施形態に係るピンホール撮影データにおける領域ごとの最適PSFの用意を説明するための図である。図23は、本実施形態に係る画像全体をデコンボリューションした結果の混合比率を説明するための図である。
 バリエーション2では、ピンホール撮影データにおける領域ごとに異なる最適PSFを使って、画像全体をデコンボリューションした結果の混合比率を場所によって変える。
 画像処理部170は、図22に示すように、ピンホール撮影データにおいて長手方向左端領域用、中央領域用及び右端領域用の最適PSFを用意し、それぞれを使ってボケた蛍光画像全体をデコンボリューションする。図22の例では、画像処理部170は、(1)ピンホールH1に対応する最適PSFを左端領域用PSFとして設定し、(4)ピンホールH1に対応する最適PSFを中央領域用PSFとして設定し、(8)ピンホールH1に対応する最適PSFを右端領域用PSFとして設定する。
 その後、画像処理部170は、図23に示すように、得られた3つのデコンボリューション結果画像の混合比率を画像内の場所によって変えることで、最終的なデコンボリューション結果画像を作成する。図23の例では、画の左端になるほど、左端領域用PSFとのデコンボリューション結果画像の混合比率が高くなり、画の中央になるほど、中央領域用PSFとのデコンボリューション結果画像の混合比率が高くなり、画の右端になるほど、右端領域用PSFとのデコンボリューション結果画像の混合比率が高くなる。
 このような第3処理例によれば、スライド上の異なる位置に存在する各ピンホールH1それぞれにおいて、第1処理例又は第2処理例に記載した方法でPSFを最適化することで画像内場所ごとに異なる最適PSFを作成し、蛍光画像内の各領域をそれぞれの場所に対応する最適PSFとデコンボリューションする。これにより、蛍光画像のボケが除去され、蛍光画像のエッジが復元される。したがって、蛍光画像のボケを抑制することが可能になるので、空間漏れこみ低減により、色分離後画像における細胞解析の結果が生物学的に理解できるものとなる。
 <1-6.画像処理部の第2処理例の変形例>
 本実施形態に係る画像処理部170の第2処理の変形例について図24から図26を参照して説明する。図24は、本実施形態に係る第2処理例の流れを示すフローチャートである。図25は、本実施形態に係る第2処理例の変形例の流れを示すフローチャートである。図26は、本実施形態に係る第2処理例の変形例に対応する情報処理システムの概略構成の一例を示す図である。
 第2処理例では、図24に示すように、色分離前にデコンボリューションを行っているが、変形例では、図25に示すように、色分離後にデコンボリューションを行っており、色分離のフローにおいて、デコンボリューション処理を入れるタイミングが異なっている。図26に示すように、変形例では、画像処理部170は、画像取得部112及び画像情報保存部122(図1参照)との間ではなく、画像生成部132の後段に設けられている。
 図24に示すように、色分離前にデコンボリューションするフローにおいては、数百枚のマルチスペクトル画像に対してデコンボリューションを行うことになるのに対し、図25に示すように、色分離後にデコンボリューションするフローでは、十枚前後の色素画像に対してのデコンボリューション処理で済むため、デコンボリューション処理にかかる時間を短縮できる。例えば、9MIXのbeads画像の色分離にかかった時間は、色分離前にデコンボリューションを行うフローで約12分27秒であり、色分離後にデコンボリューションを行うフローでは約3分45秒となり、その時間を大幅に短縮できることがわかる。また、色分離後にデコンボリューションするフローでは、色分離前にデコンボリューションするフローよりもエッジが鋭い画像に復元できる。これは、色分離前のマルチスペクトル画像と比較してS/Nの高い画がデコンボリューションの対象になっているためである。
 また、色分離後の蛍光画像を観察スリットごとに異なるPSFとデコンボリューションする際、基本的には色素のコントリビューションに合った観察スリットのPSFを適用することにする。例えば、AF488色素は488励起の最適PSF、AF647色素は638励起の最適PSFなどである。タンデム色素のような複数励起波長にまたがる色素の場合には、使用する標準スペクトルのピーク比率からPSFの適切な混合比率を算出して混合したPSFを適用する。
 ここで、デコンボリューション効果の評価結果について図27及び図28を参照して説明する。図27は、本実施形態に係る色分離後のビーズ蛍光画像を示す図である。図28は、本実施形態に係るデコンボリューション効果の評価結果を説明するための図である。
 図27に示すように、色分離後のビーズ蛍光画像が示されている。この色分離後のビーズ蛍光画像において正方形枠A9で囲まれている1ビーズについて、デコンボリューション効果の評価結果が図28に示される。この図28での評価結果は、デコンボリューション効果をビーズの信号波形解析により評価した結果である。図28の例では、ビーズ波形は1ビーズの中央部分の波形である。
 図28に示すように、上記の1ビーズについて、デコンボリューション前(図28中の左側グラフ参照)と、色分離前にデコンボリューションした結果(図28中の中央グラフ参照)と、色分離後にデコンボリューションした結果(図28中の右側グラフ参照)との3パターンにおける、ビーズ波形(図28中の点線E1参照)とそのビーズ波形の左右エッジの傾き(ビーズ波形上の太実線E2参照)の平均とが提示されている。
 図28の例では、デコンボリューション前のビーズ波形における左右エッジの傾きの平均は0.0093であり、色分離前にデコンボリューションした結果のビーズ波形における左右エッジの傾きの平均は0.0531であり、色分離後にデコンボリューションした結果のビーズ波形における左右エッジの傾きの平均は0.0560である。したがって、それらの左右エッジの傾きの平均結果の比較により、今回注目した1ビーズについては、色分離後にデコンボリューションした結果が最もエッジの鋭い画に復元できたといえる。
 さらに、各ビーズにおける左右エッジの傾きの平均を画像内全ビーズについて算出しそれらの平均値を求めることで、画像全体のデコンボリューション効果を確認した。平均値は、デコンボリューション前では0.0080、色分離前にデコンボリューションした結果では0.0497、色分離後にデコンボリューションした結果では0.0536となっており、色分離後にデコンボリューションを行った時に最も画像全体のエッジが復元できたという結果になった。これは、色分離前のマルチスペクトル画像と比較して、S/Nの高い画がデコンボリューションの対象になっているためと考えられる。
 <1-7.デコンボリューションの関数例>
 本実施形態に係るデコンボリューションの関数例について図29から図40を参照して説明する。
 デコンボリューションの関数例としては、deconvlucy、deconvwnr、deconvregが挙げられる。deconvlucyは、高速の、減衰付きルーシーリチャードソンアルゴリズムを実行するものである。この関数は、最適化手法とポアソン統計量を使用して、反復的に計算を行うものである。このdeconvlucyの関数では、ループがありで、入力したPSFや結果の画を変えながらデコンボリューションが行われる。deconvwnrは、最小二乗解を求める。この関数は、ブレ除去中に発生しうるノイズ増幅を小さくするため、ノイズに関するいくつかの情報を与えることができる。deconvregは、制約付きの最小二乗解を求める。なお、出力イメージに制約を設定する。この関数は、ブレ除去中に発生しうるノイズ増幅を小さくするため、ノイズに関するいくつかの情報を与えることができる。これらdeconvwnr及びdeconvregの関数では、ループがなしで、入力したPSFをそのまま使ってデコンボリューションが行われる。
 なお、deconvlucy、deconvwnr、deconvreg以外にも、deconvblindが用いられてもよい。deconvblindは、ブラインドデコンボリューションアルゴリズムを実行する。このアルゴリズムは、PSFの知識なしにブレ除去を行うものである。PSFの初期推定値を引数として渡す。この関数は、復元されたイメージに加え、復元されたPSFも返す。この実装では、deconvlucyと同じ減衰及び反復モデルを使用する。
 ここでは、deconvlucy、deconvwnr、deconvregの違いをシミュレーションピンホールのデコンボリューション(場所ごとのPSF、観察スリットごとのPSF)において観察する。この観察に必要な処理は、例えば、情報処理システムを適用した蛍光観察装置500により実行される。
 (場所ごとのPSF)
 場所ごとのPSFを用いるデコンボリューションについて図29から図31について説明する。図29は、本実施形態に係る理想波形とデコンボリューション後の波形との評価処理の流れの一例を示すフローチャートである。図30は、本実施形態に係るピンホールH1ごとのPSFの作成を説明するための図である。図31は、本実施形態に係る理想波形、理想波形をPSFでぼかした波形及びその波形をPSFでデコンボリューションした波形を示す図である。
 図29に示すように、ステップS51において、画像処理部170は、ピンホール撮影データ(405励起で撮影)における場所ごとに異なるPSF1~8を作成する。例えば、図30に示すように、ピンホールH1ごとにPSF1、PSF2、PSF3、・・・が作成される。図29に戻り、ステップS52において、画像処理部170は、理想波形をPSF1~8のそれぞれとコンボリューションしてぼかす。ステップS53において、画像処理部170は、ぼかした画をPSF1~8のそれぞれとデコンボリューションして元に戻す。ステップS54において、画像処理部170は、理想波形とデコンボ後波形(デコンボリューション後の波形)において、左右エッジの傾きの平均を算出する。
 図31に示すように、左右エッジ(図31中の点線F1参照)とは、Peak(ピーク)の90%点と10%点を結ぶ線である。なお、図31の例では、細実線G1のグラフは理想波形であり、破線G2のグラフは理想波形をPSFでぼかした波形であり、太実線G3のグラフは破線G2の波形をPSFでデコンボリューションした波形である。これは、以下の図である図32から図34、図37から図39でも同様である。
 ここで、デコンボリューション効果の評価結果について図32から図35を参照して説明する。図32は、本実施形態に係るぼかした画と場所ごとのPSFとをdeconvlucyでデコンボリューションした後の波形を示す図である。図33は、本実施形態に係るぼかした画と場所ごとのPSFとをdeconvwnrでデコンボリューションした後の波形を示す図である。図34は、本実施形態に係るぼかした画と場所ごとのPSFとをdeconvregでデコンボリューションした後の波形を示す図である。図35は、本実施形態に係るぼかした画と場所ごとのPSFとのデコンボリューション後の波形のエッジ評価結果を示す図である。
 なお、図32の例では、ぼかしはPSF1で行われ、デコンボリューションはPSF1~8で行われている。デコンボリューションは、左上側グラフから右へ並ぶグラフ順に、PSF1、PSF2、PSF3、PSF4で行われており、左下側グラフから右へ並ぶグラフ順にPSF5、PSF6、PSF7、PSF8で行われている。これは、以下の図である図33及び図34でも同様である。
 図32に示すように、図32中の左上側グラフのように、PSF1でぼかしてPSF1でデコンボリューションした場合には、理想波形とデコンボリューション後の波形(拡がり)はかなり近づいており、デコンボリューションの効果が大きいことがわかる。また、ぼかした画に合っていない場所用のPSFでデコンボリューションした場合でも、図32中の左上側グラフ以外のグラフのように、理想波形とデコンボリューション後の波形は近づいており、ある程度デコンボリューション効果が出ていることがわかる。
 図33に示すように、図33中の左上側グラフのように、PSF1でぼかしてPSF1でデコンボリューションした場合には、理想波形とデコンボリューション後の波形(拡がり)はほぼ同じであり、デコンボリューションの効果が大きいことがわかる。一方、ぼかした画に合っていない場所用のPSFでデコンボリューションした場合には、図33中の左上側グラフ以外のグラフのように、図32と比べると、理想波形とデコンボリューション後の波形はあまり近づいておらず、デコンボリューション効果が小さいことがわかる。
 図34に示すように、図34中の左上側グラフのように、PSF1でぼかしてPSF1でデコンボリューションした場合には、図33と同様、理想波形とデコンボリューション後の波形(拡がり)はほぼ同じであり、デコンボリューションの効果が大きいことがわかる。一方、ぼかした画に合っていない場所用のPSFでデコンボリューションした場合には、図34中の左上側グラフ以外のグラフのように、図32と比べると、理想波形とデコンボリューション後の波形はあまり近づいておらず、デコンボリューション効果が小さいことがわかる。
 図35に示すように、理想波形を各PSF1~8のいずれかでぼかした画と各PSF1~8のそれぞれとをデコンボリューションした結果が提示されている。図35の例では、縦軸は上記の左右エッジの平均値であり、横軸は理想波形及び使用したPSFの種類である。左上側グラフは、理想波形をPSF1でぼかした画と各PSF1~8のそれぞれとをデコンボリューションした結果である。ぼかしは、左上側グラフから右へ並ぶグラフ順に、PSF1、PSF2、PSF3、PSF4で行われており、左下側グラフから右へ並ぶグラフ順にPSF5、PSF6、PSF7、PSF8で行われている。
 図35によれば、deconvlucyは、場所ごとにPSFを使い分けてデコンボリューションしても、結果(左右エッジの平均値)の差が小さいことがわかる。一方、deconvwnr及びdeconvregは、場所ごとにPSFを使い分けてデコンボリューションすると結果の差が大きいことがわかるが、ぼかした画に合ったPSFでデコンボリューションすると、エッジが理想波形を超えるような過デコンボリューションになることなく理想波形に近づけることが可能であることがわかる。
 (観察スリットごとのPSF)
 観察スリットごとのPSFを用いるデコンボリューションについて図36及び図40について説明する。図36は、本実施形態に係る理想波形とデコンボリューション後の波形との評価処理の流れの一例を示すフローチャートである。
 図36に示すように、ステップS61において、画像処理部170は、ピンホール撮影データ(ピンホール(4))における観察スリットごとに異なるPSF405、488、532、638を作成する。ステップS62において、画像処理部170は、理想波形をPSF405、488、532、638のそれぞれとコンボリューションしてぼかす。ステップS63において、画像処理部170は、ぼかした画をPSF405、488、532、638のそれぞれとデコンボリューションして元に戻す。ステップS64において、画像処理部170は、理想波形とデコンボ後波形(デコンボリューション後の波形)において、左右エッジ(peakの90%点と10%点を結ぶ線)の傾きの平均を算出する。
 なお、PSF405は405励起用PSFであり、PSF488は488励起用PSFであり、PSF532は532励起用PSFであり、PSF638は638励起用PSFである。これらのPSF405、488、532、638は、励起波長ごと、すなわち観察スリットごとに決定される。
 ここで、デコンボリューション効果の評価結果について図37から図40を参照して説明する。図37は、本実施形態に係るぼかした画と観察スリットごとのPSFとをdeconvlucyでデコンボリューションした後の波形を示す図である。図38は、本実施形態に係るぼかした画と観察スリットごとのPSFとをdeconvwnrでデコンボリューションした後の波形を示す図である。図39は、本実施形態に係るぼかした画と観察スリットごとのPSFとをdeconvregでデコンボリューションした後の波形を示す図である。図40は、本実施形態に係るぼかした画と観察スリットごとのPSFとのデコンボリューション後の波形のエッジ評価結果を示す図である。
 なお、図37の例では、ぼかしはPSF405で行われ、デコンボリューションはPSF405、PSF488、PSF532、PSF638で行われている。デコンボリューションは、最左側グラフから右へ並ぶグラフ順に、PSF405、PSF488、PSF532、PSF638で行われている。これは、以下の図である図38及び図39でも同様である。
 図37によれば、ぼかした画に合っている観察スリット用のPSFでデコンボリューションした時(図37中の最左側グラフ)と、ぼかした画に合っていない観察スリット用のPSFでデコンボリューションした時(図37中の最左側グラフ以外の三つのグラフ)とで、デコンボリューション効果の差は小さいことがわかる。一方、図38及び図39によれば、ぼかした画に合っている観察スリット用のPSFでデコンボリューションした時(図38及ぶ図39中の最左側グラフ)と、ぼかした画に合っていない観察スリット用のPSFでデコンボリューションした時(図38及ぶ図39中の最左側グラフ以外の三つのグラフ)とで、デコンボリューション効果の差は大きいことがわかる。
 つまり、deconvlucyを使ってデコンボリューションした場合には、画像に合ったPSF405)でデコンボリューションした時と画像に合っていないPSF(PSF488、532、638)でデコンボリューションした時の結果にあまり差はない。一方で、deconvwnrやdeconvregを使ってデコンボリューションした場合には、画像に合ったPSF(PSF405)でデコンボリューションした時はデコンボリューション効果が非常に良く出ているが、それと比べると、画像に合っていないPSF(PSF488、532、638)でデコンボリューションした時のデコンボリューション効果はかなり小さい。
 図40に示すように、理想波形を各PSF405、PSF488、PSF532、PSF638のいずれかでぼかした画と各PSF405、PSF488、PSF532、PSF638のそれぞれとをデコンボリューションした結果が提示されている。図40の例では、縦軸は上記の左右エッジの平均値であり、横軸は理想波形及び使用したPSFの種類である。左上側グラフは、理想波形をPSF405でぼかした画と各PSF405、PSF488、PSF532、PSF638のそれぞれとをデコンボリューションした結果である。ぼかしは、左上側グラフから右へ並ぶグラフ順に、PSF405、PSF488で行われており、左下側グラフから右へ並ぶグラフ順にPSF532、PSF638で行われている。
 図40によれば、deconvlucyは、観察スリットごとにPSFを使い分けてデコンボリューションしても、結果(左右エッジの平均値)の差が小さいことがわかる。一方、deconvwnr及びdeconvregは、観察スリットごとにPSFを使い分けてデコンボリューションすると結果の差が大きいことがわかるが、ぼかした画に合った観察スリット用のPSFでデコンボリューションすると、エッジが理想波形を超えるような過デコンボリューションになることなく理想波形に近づけることが可能であることがわかる。
 <1-8.作用・効果>
 以上説明したように、本実施形態によれば、生体試料を含むサンプルSに複数のライン状の光を照射する照射部(例えば、励起部10)と、複数のライン状の光にそれぞれ対応する複数の観察スリット(例えば、観察スリット部31の観察スリット)を通過した光を受ける撮像部(例えば、撮像素子32)と、観察スリットごとに、点像強度分布関数を最適化し、最適な点像強度分布関数と撮像部により受けられた光に基づく蛍光画像とをデコンボリューションする画像処理部170と、を備える。これにより、蛍光画像のエッジを復元することが可能になるので、蛍光画像のボケを抑えることができる。
 また、複数のライン状の光の励起波長は、観察スリットごとに異なってもよい。この場合でも、蛍光画像のボケを抑えることができる。
 また、複数のライン状の光の焦点位置は、ライン状の光ごとに異なってもよい。この場合でも、蛍光画像のボケを抑えることができる。
 また、画像処理部170は、蛍光画像に対応する画像内場所ごとに点像強度分布関数を最適化し、画像内場所ごとの最適な点像強度分布関数と蛍光画像とをデコンボリューションしてもよい。これにより、確実に蛍光画像のボケを抑えることができる。
 また、画像処理部170は、撮像部により撮影されたピンホール撮影データに基づく複数のピンホールの場所に応じた最適な点像強度分布関数、または、それらのピンホールの場所の間に補間された最適な前記点像強度分布関数を用いてもよい。これにより、確実に蛍光画像のボケを抑えることができる。
 また、画像処理部170は、画像内場所ごとの最適な点像強度分布関数と蛍光画像の全体とをデコンボリューションした結果(例えば、各デコンボリューション結果画像)の混合比率を画像内場所に応じて変えてもよい。これにより、確実に蛍光画像のボケを抑えることができる。
 また、画像処理部170は、所定のピンホール正解信号波形を初期点像強度分布関数でぼかし、ぼかしたピンホール正解信号波形を撮像部により撮影されたピンホール撮影データに近づけるよう、非線形最小二乗フィッティングで最適な点像強度分布関数を求めてもよい。これにより、確実に蛍光画像のボケを抑えることができる。
 また、画像処理部170は、最適な点像強度分布関数と蛍光画像とをデコンボリューションするとき、ルーシーリチャードソンアルゴリズムに基づいたデコンボリューション(例えば、deconvlucy)、ウィーナーフィルタを用いたデコンボリューション(例えば、deconvwnr)、正則化フィルタを用いたデコンボリューション(例えば、deconvreg)、または、ブラインドデコンボリューションアルゴリズムに基づいたデコンボリューション(例えば、deconvblind)を行ってもよい。これにより、確実に蛍光画像のボケを抑えることができる。
 また、画像処理部170は、最適な前記点像強度分布関数と色分離後の蛍光画像とをデコンボリューションしてもよい。これにより、確実に蛍光画像のボケを抑えることができる。さらに、デコンボリューション後に色分離処理を行う場合に比べ、処理時間を短縮することができ、また、エッジが鋭い画像を復元することができる。
 <2.他の実施形態>
 上述した実施形態又は変形例に係る処理は、上記実施形態以外にも種々の異なる形態又は変形例にて実施されてよい。例えば、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
 また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
 また、上述した実施形態又は変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。また、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
 <3.ハードウェアの構成例>
 各実施形態(又は各変形例)に係る情報処理装置100のハードウェアの構成例について図41を参照して説明する。図41は、情報処理装置100のハードウェアの概略構成の一例を示すブロック図である。情報処理装置100による各種処理は、例えば、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
 図41に示すように、情報処理装置100は、CPU(Central Processing Unit)901、ROM(Read Only Memory)902、RAM(Random Access Memory)903及びホストバス904aを備える。また、情報処理装置100は、ブリッジ904、外部バス904b、インタフェース905、入力装置906、出力装置907、ストレージ装置908、ドライブ909、接続ポート911、通信装置913及びセンサ915を備える。情報処理装置100は、CPU901に代えて、又はこれとともに、DSP若しくはASICなどの処理回路を有してもよい。
 CPU901は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置100内の動作全般を制御する。また、CPU901は、マイクロプロセッサであってもよい。ROM902は、CPU901が使用するプログラムや演算パラメータ等を記憶する。RAM903は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。CPU901は、例えば、情報処理装置100の少なくとも処理部130及び制御部150を具現し得る。
 CPU901、ROM902及びRAM903は、CPUバスなどを含むホストバス904aにより相互に接続されている。ホストバス904aは、ブリッジ904を介して、PCI(Peripheral Component Interconnect/Interface)バス等の外部バス904bに接続されている。なお、必ずしもホストバス904a、ブリッジ904および外部バス904bを分離構成する必要はなく、1つのバスにこれらの機能を実装してもよい。
 入力装置906は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、実施者によって情報が入力される装置によって実現される。また、入力装置906は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置100の操作に対応した携帯電話やPDA等の外部接続機器であってもよい。さらに、入力装置906は、例えば、上記の入力手段を用いて実施者により入力された情報に基づいて入力信号を生成し、CPU901に出力する入力制御回路などを含んでいてもよい。実施者は、この入力装置906を操作することにより、情報処理装置100に対して各種のデータを入力したり処理動作を指示したりすることができる。入力装置906は、例えば、情報処理装置100の少なくとも操作部160を具現し得る。
 出力装置907は、取得した情報を実施者に対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、CRTディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ELディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音響出力装置や、プリンタ装置等がある。出力装置907は、例えば、情報処理装置100の少なくとも表示部140を具現し得る。
 ストレージ装置908は、データ格納用の装置である。ストレージ装置908は、例えば、HDD等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置908は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置908は、CPU901が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。ストレージ装置908は、例えば、情報処理装置100の少なくとも保存部120を具現し得る。
 ドライブ909は、記憶媒体用リーダライタであり、情報処理装置100に内蔵、あるいは外付けされる。ドライブ909は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、RAM903に出力する。また、ドライブ909は、リムーバブル記憶媒体に情報を書き込むこともできる。
 接続ポート911は、外部機器と接続されるインタフェースであって、例えばUSB(Universal Serial Bus)などによりデータ伝送可能な外部機器との接続口である。
 通信装置913は、例えば、ネットワーク920に接続するための通信デバイス等で形成された通信インタフェースである。通信装置913は、例えば、有線若しくは無線LAN(Local Area Network)、LTE(Long Term Evolution)、Bluetooth(登録商標)又はWUSB(Wireless USB)用の通信カード等である。また、通信装置913は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ又は各種通信用のモデム等であってもよい。この通信装置913は、例えば、インターネットや他の通信機器との間で、例えばTCP/IP等の所定のプロトコルに則して信号等を送受信することができる。
 センサ915は、本実施形態においては、スペクトルを取得可能なセンサ(例えば、撮像素子等)を含むところ、他のセンサ(例えば、加速度センサ、ジャイロセンサ、地磁気センサ、感圧センサ、音センサ、または測距センサ等)を含んでもよい。センサ915は、例えば、情報処理装置100の少なくとも画像取得部112を具現し得る。
 なお、ネットワーク920は、ネットワーク920に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク920は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ethernet(登録商標)を含む各種のLAN(Local Area Network)、WAN(Wide Area Network)などを含んでもよい。また、ネットワーク920は、IP-VPN(Internet Protocol-Virtual Private Network)などの専用回線網を含んでもよい。
 以上、情報処理装置100の機能を実現可能なハードウェア構成例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本開示を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
 なお、上記のような情報処理装置100の各機能を実現するためのコンピュータプログラムを作製し、PC等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等を含む。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
 <4.付記>
 なお、本技術は以下のような構成も取ることができる。
(1)
 生体試料を含むサンプルに複数のライン状の光を照射する照射部と、
 前記複数のライン状の光にそれぞれ対応する複数の観察スリットを通過した光を受ける撮像部と、
 前記観察スリットごとに、点像強度分布関数を最適化し、最適な前記点像強度分布関数と前記撮像部により受けられた前記光に基づく蛍光画像とをデコンボリューションする画像処理部と、
 生体試料観察システム。
(2)
 前記複数のライン状の光の励起波長は、前記観察スリットごとに異なる、
 上記(1)に記載の生体試料観察システム。
(3)
 前記複数のライン状の光の焦点位置は、前記ライン状の光ごとに異なる、
 上記(1)または(2)に記載の生体試料観察システム。
(4)
 前記画像処理部は、前記蛍光画像に対応する画像内場所ごとに前記点像強度分布関数を最適化し、前記画像内場所ごとの最適な前記点像強度分布関数と前記蛍光画像とをデコンボリューションする、
 上記(1)から(3)のいずれか一つに記載の生体試料観察システム。
(5)
 前記画像処理部は、前記撮像部により撮影されたピンホール撮影データに基づく複数のピンホールの場所に応じた最適な前記点像強度分布関数、または、前記複数のピンホールの場所の間に補間された最適な前記点像強度分布関数を用いる、
 上記(4)に記載の生体試料観察システム。
(6)
 前記画像処理部は、前記画像内場所ごとの最適な前記点像強度分布関数と前記蛍光画像の全体とをデコンボリューションした結果の混合比率を前記画像内場所に応じて変える、
 上記(4)に記載の生体試料観察システム。
(7)
 前記画像処理部は、所定のピンホール正解信号波形を初期点像強度分布関数でぼかし、ぼかした前記ピンホール正解信号波形を前記撮像部により撮影されたピンホール撮影データに近づけるよう、非線形最小二乗フィッティングで最適な前記点像強度分布関数を求める、
 上記(1)から(6)のいずれか一つに記載の生体試料観察システム。
(8)
 前記画像処理部は、最適な前記点像強度分布関数と前記蛍光画像とをデコンボリューションするとき、ルーシーリチャードソンアルゴリズムに基づいたデコンボリューション、ウィーナーフィルタを用いたデコンボリューション、正則化フィルタを用いたデコンボリューション、または、ブラインドデコンボリューションアルゴリズムに基づいたデコンボリューションを行う、
 上記(1)から(7)のいずれか一つに記載の生体試料観察システム。
(9)
 前記画像処理部は、最適な前記点像強度分布関数と色分離後の前記蛍光画像とをデコンボリューションする、
 上記(1)から(8)のいずれか一つに記載の生体試料観察システム。
(10)
 複数のラインで同時に撮影を行うライン共焦点蛍光顕微鏡における観察スリットごとに、点像強度分布関数を最適化し、最適な前記点像強度分布関数と蛍光画像とをデコンボリューションする画像処理部を有する、
 情報処理装置。
(11)
 複数のラインで同時に撮影を行うライン共焦点蛍光顕微鏡における観察スリットごとに、点像強度分布関数を最適化し、最適な前記点像強度分布関数と蛍光画像とをデコンボリューションする画像生成方法。
(12)
 上記(1)から(9)のいずれか一つに記載の生体試料観察システムに係る構成要素を備える情報処理装置。
(13)
 上記(1)から(9)のいずれか一つに記載の生体試料観察システムにより画像を生成する画像生成方法。
 1   観察ユニット
 2   処理ユニット
 3   表示部
 10  励起部
 11  コリメータレンズ
 10A 蛍光試薬
 11A 試薬識別情報
 12  レーザラインフィルタ
 13a ダイクロイックミラー
 13b ダイクロイックミラー
 14  ホモジナイザ
 15  コンデンサレンズ
 16  入射スリット部
 20  ステージ
 20A 標本
 21  記憶部
 21A 標本識別情報
 22  データ校正部
 23  画像形成部
 30  分光イメージング部
 30A 蛍光染色標本
 31  観察スリット部
 32  撮像素子
 32a 撮像素子
 32b 撮像素子
 33  第1プリズム
 34  ミラー
 35  回折格子
 36  第2プリズム
 40  観察光学系
 41  コンデンサレンズ
 42  ダイクロイックミラー
 43  ダイクロイックミラー
 44  対物レンズ
 45  バンドパスフィルタ
 46  コンデンサレンズ
 50  走査機構
 60  フォーカス機構
 70  非蛍光観察部
 71  光源
 72  コンデンサレンズ
 73  撮像素子
 80  制御部
 100 情報処理装置
 110 取得部
 111 情報取得部
 112 画像取得部
 120 保存部
 121 情報保存部
 122 画像情報保存部
 123 解析結果保存部
 130 処理部
 131 解析部
 132 画像生成部
 140 表示部
 150 制御部
 160 操作部
 170 画像処理部
 200 データベース
 300 ピンホールサンプル
 310 ガラス
 320 遮光膜
 330 封止剤
 340 カバーガラス
 350 バックライト
 500 蛍光観察装置

Claims (11)

  1.  生体試料を含むサンプルに複数のライン状の光を照射する照射部と、
     前記複数のライン状の光にそれぞれ対応する複数の観察スリットを通過した光を受ける撮像部と、
     前記観察スリットごとに、点像強度分布関数を最適化し、最適な前記点像強度分布関数と前記撮像部により受けられた前記光に基づく蛍光画像とをデコンボリューションする画像処理部と、
     を備える、生体試料観察システム。
  2.  前記複数のライン状の光の励起波長は、前記観察スリットごとに異なる、
     請求項1に記載の生体試料観察システム。
  3.  前記複数のライン状の光の焦点位置は、前記ライン状の光ごとに異なる、
     請求項1に記載の生体試料観察システム。
  4.  前記画像処理部は、前記蛍光画像に対応する画像内場所ごとに前記点像強度分布関数を最適化し、前記画像内場所ごとの最適な前記点像強度分布関数と前記蛍光画像とをデコンボリューションする、
     請求項1に記載の生体試料観察システム。
  5.  前記画像処理部は、前記撮像部により撮影されたピンホール撮影データに基づく複数のピンホールの場所に応じた最適な前記点像強度分布関数、または、前記複数のピンホールの場所の間に補間された最適な前記点像強度分布関数を用いる、
     請求項4に記載の生体試料観察システム。
  6.  前記画像処理部は、前記画像内場所ごとの最適な前記点像強度分布関数と前記蛍光画像の全体とをデコンボリューションした結果の混合比率を前記画像内場所に応じて変える、
     請求項4に記載の生体試料観察システム。
  7.  前記画像処理部は、所定のピンホール正解信号波形を初期点像強度分布関数でぼかし、ぼかした前記ピンホール正解信号波形を前記撮像部により撮影されたピンホール撮影データに近づけるよう、非線形最小二乗フィッティングで最適な前記点像強度分布関数を求める、
     請求項1に記載の生体試料観察システム。
  8.  前記画像処理部は、最適な前記点像強度分布関数と前記蛍光画像とをデコンボリューションするとき、ルーシーリチャードソンアルゴリズムに基づいたデコンボリューション、ウィーナーフィルタを用いたデコンボリューション、正則化フィルタを用いたデコンボリューション、または、ブラインドデコンボリューションアルゴリズムに基づいたデコンボリューションを行う、
     請求項1に記載の生体試料観察システム。
  9.  前記画像処理部は、最適な前記点像強度分布関数と色分離後の前記蛍光画像とをデコンボリューションする、
     請求項1に記載の生体試料観察システム。
  10.  複数のラインで同時に撮影を行うライン共焦点蛍光顕微鏡における観察スリットごとに、点像強度分布関数を最適化し、最適な前記点像強度分布関数と蛍光画像とをデコンボリューションする画像処理部を有する、
     情報処理装置。
  11.  複数のラインで同時に撮影を行うライン共焦点蛍光顕微鏡における観察スリットごとに、点像強度分布関数を最適化し、最適な前記点像強度分布関数と蛍光画像とをデコンボリューションする画像生成方法。
PCT/JP2023/009189 2022-03-29 2023-03-10 生体試料観察システム、情報処理装置及び画像生成方法 WO2023189393A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-053872 2022-03-29
JP2022053872 2022-03-29

Publications (1)

Publication Number Publication Date
WO2023189393A1 true WO2023189393A1 (ja) 2023-10-05

Family

ID=88200760

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/009189 WO2023189393A1 (ja) 2022-03-29 2023-03-10 生体試料観察システム、情報処理装置及び画像生成方法

Country Status (1)

Country Link
WO (1) WO2023189393A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020011571A1 (en) * 2000-05-17 2002-01-31 Lin Gregory Sharat Compton deconvolution camera
JP2014164004A (ja) * 2013-02-22 2014-09-08 Hitachi High-Technologies Corp 蛍光顕微鏡
WO2019230878A1 (ja) * 2018-05-30 2019-12-05 ソニー株式会社 蛍光観察装置及び蛍光観察方法
CN111340702A (zh) * 2020-02-24 2020-06-26 江南大学 基于盲估计的微小缺陷高频超声显微成像的稀疏重构方法
JP6928757B2 (ja) * 2015-07-24 2021-09-01 ライカ マイクロシステムズ シーエムエス ゲゼルシャフト ミット ベシュレンクテル ハフツングLeica Microsystems CMS GmbH 光学顕微鏡における画像処理のためのシステムおよび方法
WO2021177004A1 (ja) * 2020-03-05 2021-09-10 ソニーグループ株式会社 顕微鏡装置、画像取得システム、及び画像取得方法
JP2021140032A (ja) * 2020-03-05 2021-09-16 ソニーグループ株式会社 信号取得装置、信号取得システム、及び信号取得方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020011571A1 (en) * 2000-05-17 2002-01-31 Lin Gregory Sharat Compton deconvolution camera
JP2014164004A (ja) * 2013-02-22 2014-09-08 Hitachi High-Technologies Corp 蛍光顕微鏡
JP6928757B2 (ja) * 2015-07-24 2021-09-01 ライカ マイクロシステムズ シーエムエス ゲゼルシャフト ミット ベシュレンクテル ハフツングLeica Microsystems CMS GmbH 光学顕微鏡における画像処理のためのシステムおよび方法
WO2019230878A1 (ja) * 2018-05-30 2019-12-05 ソニー株式会社 蛍光観察装置及び蛍光観察方法
CN111340702A (zh) * 2020-02-24 2020-06-26 江南大学 基于盲估计的微小缺陷高频超声显微成像的稀疏重构方法
WO2021177004A1 (ja) * 2020-03-05 2021-09-10 ソニーグループ株式会社 顕微鏡装置、画像取得システム、及び画像取得方法
JP2021140032A (ja) * 2020-03-05 2021-09-16 ソニーグループ株式会社 信号取得装置、信号取得システム、及び信号取得方法

Similar Documents

Publication Publication Date Title
JP7424286B2 (ja) 蛍光観察装置及び蛍光観察方法
AU2014265382B2 (en) Microscopy of a tissue sample using structured illumination
US10580128B2 (en) Whole slide multispectral imaging systems and methods
JP7181537B2 (ja) 高空間分解能の時間分解イメージング法
JP6605716B2 (ja) 病理学的明視野画像における自動染色検出
CN115032196B (zh) 一种全划片高通量彩色病理成像分析仪器及方法
JP2006317261A (ja) 走査型サイトメータの画像処理方法及び装置
US11842555B2 (en) Signal acquisition apparatus, signal acquisition system, and signal acquisition method
JP6968357B2 (ja) 画像取得方法および画像取得装置
WO2017217325A1 (ja) データ復元装置、顕微鏡システム、およびデータ復元方法
WO2023189393A1 (ja) 生体試料観察システム、情報処理装置及び画像生成方法
JP2022519038A (ja) スペクトル分離
US20230092749A1 (en) High throughput snapshot spectral encoding device for fluorescence spectral microscopy
US20210174147A1 (en) Operating method of image processing apparatus, image processing apparatus, and computer-readable recording medium
US11378515B2 (en) Image processing device, imaging system, actuation method of image processing device, and computer-readable recording medium
US20220413275A1 (en) Microscope device, spectroscope, and microscope system
WO2023276219A1 (ja) 情報処理装置、生体試料観察システム及び画像生成方法
WO2023149296A1 (ja) 情報処理装置、生体試料観察システム及び画像生成方法
WO2022249583A1 (ja) 情報処理装置、生体試料観察システム及び画像生成方法
Sanderson Confocal microscopy
WO2022080189A1 (ja) 生体試料検出システム、顕微鏡システム、蛍光顕微鏡システム、生体試料検出方法及びプログラム
Salsman et al. Super-Resolution Radial Fluctuations (SRRF) Microscopy
JP2019041737A (ja) 画像処理装置、観察装置、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23779418

Country of ref document: EP

Kind code of ref document: A1