JP5947377B2 - 極めて弱い光のマルチスペクトル二次元イメージング方法及びそのシステム - Google Patents

極めて弱い光のマルチスペクトル二次元イメージング方法及びそのシステム Download PDF

Info

Publication number
JP5947377B2
JP5947377B2 JP2014516173A JP2014516173A JP5947377B2 JP 5947377 B2 JP5947377 B2 JP 5947377B2 JP 2014516173 A JP2014516173 A JP 2014516173A JP 2014516173 A JP2014516173 A JP 2014516173A JP 5947377 B2 JP5947377 B2 JP 5947377B2
Authority
JP
Japan
Prior art keywords
weak light
dimensional
photon
image
dmd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014516173A
Other languages
English (en)
Other versions
JP2014520268A (ja
Inventor
チャイ,ガンジェ
ドゥー,ケンミン
ワン,チャオ
ユー,ウェンカイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Center For Space Science And Applied Research Chinese Academy Of Sciences
National Space Science Center of CAS
Original Assignee
Center For Space Science And Applied Research Chinese Academy Of Sciences
National Space Science Center of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Center For Space Science And Applied Research Chinese Academy Of Sciences, National Space Science Center of CAS filed Critical Center For Space Science And Applied Research Chinese Academy Of Sciences
Publication of JP2014520268A publication Critical patent/JP2014520268A/ja
Application granted granted Critical
Publication of JP5947377B2 publication Critical patent/JP5947377B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2803Investigating the spectrum using photoelectric array detector
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2823Imaging spectrometer
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/75Systems in which material is subjected to a chemical reaction, the progress or the result of the reaction being investigated
    • G01N21/76Chemiluminescence; Bioluminescence
    • G01N21/763Bioluminescence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/42Photometry, e.g. photographic exposure meter using electric radiation detectors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/42Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/44Electric circuits
    • G01J2001/4413Type
    • G01J2001/442Single-photon detection or photon counting
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2823Imaging spectrometer
    • G01J2003/2826Multispectral imaging, e.g. filter imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6452Individual samples arranged in a regular 2D-array, e.g. multiwell plates

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Plasma & Fusion (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Investigating Or Analysing Materials By The Use Of Chemical Reactions (AREA)

Description

本発明は極めて弱い光検知の技術分野に関し、特に極めて弱い光マルチスペクトルイメージング方法及びそのシステムに関し、単一光子検知装置のリニアアレイと分光技術を採用して極めて弱い光対象のマルチスペクトル二次元イメージングを実現し、生物自発光、医療診断、物質の非破壊分析、天文観測、国防軍事、スペクトル測量、量子電子工学などの分野に応用できる。
マルチスペクトル画像はより多くのスペクトル情報を含み、また、マルチスペクトルイメージング技術はメタメリズム問題をよく解決したため、マルチスペクトルイメージングは精確な色情報を取得、表示する重要な技術である。極めて弱い光対象のマルチスペクトルイメージングは特に多くの分野で幅広く応用される見通しを有する。
単一光子検知装置は典型的な極めて弱い光検知装置であり、計数型の単一光子検知装置が飽和状態で作動する場合、感度は単一光子レベルに達することができ、統計学の方法によって光子密度画像を取得する。光子数識別能力を有する単一光子検知装置が亜飽和状態で作動する場合、出力する電気信号の振幅は検知された光子数の変化に従って変化し、この電気信号によって極めて弱い光画像を取得する。現在の単一光子検知装置の反応スペクトルの範囲は赤外、可視光などの周波数帯を覆っているが、単一の単一光子検知装置にとって、その反応スペクトルの範囲が狭く、通常は単一周波数の光を検知することに用いられる。
単一光子検知装置による二次元イメージングは、圧縮センシング理論(Compressive Sensing、CSと略称)とデジタル光処理(Digital Light Processing、DLPと略称)技術に基づき、今の極めて弱い光二次元イメージング技術における面素検知技術が未熟であり、極めて弱い光対象に対する高質のイメージングを実現し難いという問題を解決し、点検知器と二次元伝動走査を組合わせる方法の採用によるイメージングの時間が長く、解像度が機械伝動の精度に制約される問題を避けた。
CS理論はE.J.Candesなどの人から提出されたもので、伝統的なリニア・サンプリング・モードを乗り越え、圧縮可能の信号の少量のリニア・ランダム投影に原信号を再構成するための情報が十分含まれていることを表明した。この「サンプリングを先、再構成を後」というアイディアにより、二次元信号は、時間に従って分布する一次元信号に転換され、単一の検知装置によるサンプリングが可能となった。
CS理論は圧縮サンプリングとスパース再構成との2つの部分を備える。
圧縮サンプリングは、被測定信号の高次元から低次元へマッピングする過程である。x∈Rは被測定データで、y∈Rは観測データで、Φ∈Rkxnはランダム投影マトリックス(k≪n)で、e∈Rは測量(測定)ノイズである場合、圧縮サンプリングの過程を下記式(1)で表示できる。
xは変換領域がスパースなもので、即ち

及びΨはスパース変換マトリックスである場合、式(1)は下記式(2)になる。
ランダム投影マトリックスΦは、測量マトリックス(測定マトリックス)とも言え、RIP(Restricted Isometry Property)を満足する必要がある。また、ΦとΨは関連しないほど、サンプリングに必要な測量数kは小さくなるため、通常、Φはにランダム・マトリックスに設計される。
スパース再構成は、実際は観測データyと測量マトリックスΦが既知の状況で式(1)におけるxの解を求めることであり、これはill―posedの問題で、一般的には最適化方法で解を求め、該方法を下記式(3)で表示できる。
xは変換領域がスパースなものである場合、式(2)に対応する再構成を下記式(4)で表示できる。
式(3)と式(4)において、第1項は最小二乗制約であり、f(x)と記する。第2項は スパース度に対する制約である。この2項の和は目標関数であり、φ(x)と記する。
DLP技術は、アメリカのテキサス・インスツルメンツ(TI)から提出されたものであり、デジタル映像又は図形信号と結合し、そのマイクロミラーとレンズシステムはデジタル画像をスクリーン又は他の表面に反射することができ、その核心はDLPチップ、即ちデジタル・マイクロミラー・デバイス(Digital MICRO―mirror Device、DMDと略称)であり、現在世界で最精密の光スイッチであるかもしれない。それは、ヒンジに取り付けられた200万個もあるマイクロミラーのマトリックスを備え、各マイクロミラーの大きさは人間の髪の毛の1/5よりも小さい。各マイクロミラーは−12°と+12°の間で揺動可能であり、この2つの状態を0及び1と記する場合、0と1の間で高速に揺動させるようにパルス幅変調波(PWM)でマイクロミラーを駆動すれば、中間状態を実現できる。DMD及びその周辺の精密な電子素子はいわゆるDLP技術である。
本発明の目的は、単一光子検知技術とスペクトル分光技術を組合わせ、単一光子検知装置のような点検知器によって二次元イメージング及び極めて弱い光対象のスペクトルイメージングを実現する時の問題を解決するために、新型の極めて弱い光マルチスペクトルイメージング方法及びそのシステムを提供することであって、それによって、各反応周波数帯の単一光子検知装置をリニアアレイに配置し、分光技術と組合わせれば、極めて弱い光対象のマルチスペクトル二次元イメージングを実現できる。
上記1番目の目的を実現するために、本発明は新型の極めて弱い光二次元イメージング方法を提供し、その特徴は以下の通りである。圧縮センシング理論とDLP技術を採用し、単一光子検知装置のリニアアレイを検知素子とし、高解像質の光学変調を実現した。該方法は下記ステップを備える。
1)圧縮サンプリングのステップ
前記圧縮サンプリングは、DMD8と第1のレンズ1と第2のレンズ2とを組合わせ、二次元画像データ(すなわち、観察対象の二次元画像)を一次元データ序列に変換し前記二次元画像の圧縮サンプリングを完成させるためのものであり、
フィルター6によって極めて弱い光の雑光(極めて弱い光に含まれている雑光)を除去し、その後、該極めて弱い光は、第1のレンズ1を通してDMD8上に画像を形成し、前記極めて弱い光が第2のレンズ2に向けて反射される確率を、所定の測定マトリックスに従ってDMD8のマイクロミラーごとに制御して、被測定信号(前記極めて弱い光)を変調し、第2のレンズ2によって光子のピント合わせを制御して、被測定信号(該極めて弱い光)集光する。
変調されて集光された極めて弱い光分光光度計3によって分光した後、単一光子検知装置のリニアアレイ4によって異なる波長に対しイメージングを行う(異なる波長ごとに入射する前記極めて弱い光の光子数を観測して前記一次元データ序列を得る)
2)スパース再構成のステップ
前記スパース再構成は、中央処理手段5と光子検知装置のリニアアレイ4との組合わせによって完成するものであり、最適化アルゴリズムとDMD8における測定マトリックスを用い一次元データ序列から波長ごとの二次元画像である光子密度画像を再構成して前記観察対象の二次元画像を求める。
該方法は下記具体的なステップを備える。
1)前記圧縮サンプリングは、被測定信号(観察対象の二次元画像)を高次元から低次元へマッピングする過程である。
x∈Rは被測定データ(観察対象の二次元画像データ)(nは二次元画像の画素数)であり、y∈Rは観測データ(kは該観察データを得るために測定する測定数)であり、Φ∈Rk×n測定マトリックスであるランダム投影マトリックス(k≪n)であり、e∈Rは測量ノイズである場合、圧縮サンプリングの過程を下記式(1)で表示できる。

変換領域においてスパースである場合Ψはスパース変換マトリックスであるウェーブレット変換マトリックスとすると、

と表されるので、式(1)は下記式(2)で表される
該式において、Ψは小波変換(ウェーブレット変換)マトリックスであり、ΦはGaussianランダム・マトリックスである。
2)前記観測データを得るために測定する測量数はkであり、二次元画像の像素数(画素数)はnである場合、式(1)における測量マトリックスはΦ={Φ,…,Φ,…,Φ}と表され、ΦはΦのi番目の行であり、√n×√nの二次元画像の列を直列に接続し、n×1の一次元列のベクトルに変換して式(1)におけるxに対応させたもので、そのうちの各要素は対応する位置における前記極めて弱い光の光子の密度を表すDMD8被測定データ(観察対象の二次元画像データ)と同じ解像度を有し、該DMD8から形成した1×nの一次元行のベクトル(その各要素は、各マイクロミラーが前記光子を第2のレンズ2に向けて反射する確率であり、該1×nの一次元行のベクトルを形成するには、マイクロミラーのマトリックス配列の列を直列に接続して列のベクトルを形成し、該列のベクトルを転置する)は、測量マトリックスΦの中の1行に対応する
3)測量周期(測定周期)はTであり、この時間において、DMD8は変わらず、分光光度計3は光を分光し、対応する波長の単一光子検知装置に入射させ、単一光子検知装置のリニアアレイ4におけるある波長に対応する検知装置に検知された光子数はNである場合、N/Tは観察対象のスペクトルにおける対応する波長の光子密度画像とDMD8におけるランダム数のアレイΦの内積値に相当し、該内積値は、式(1)における観側データyの要素(下記の式で表される)に対応し、

ここで、Φi,j、xはそれぞれΦとxのj番目の要素であり、測定マトリックスΦ従ってDMD8毎回変化させ、k回の測定を繰り返すことにより、観測データyの全体を取得し、該波長のベクトル画像(二次元画像)の取得のためのデータが用意できる。
他の波長の二次元画像の観測データyの取得にも同様の方法が適用される。
4)前記スパース再構成は、観測データyと測定マトリックスΦが既知の状況で式(1)におけるxの解を求めるものであり、一般的には下記式(3)で表される最適化アルゴリズムによって解を求め
ここでτは正の実数であり、変換領域においてスパースであれば、式(3)を下記式(4)で表示できる。
式(3)と式(4)において、第1項は最小二乗制約であり、f(x)と記する。第2項はxスパース度に対する制約である。この2項の和は目標関数であり、φ(x)と記する。
好ましい選択として、前記最適化アルゴリズムは、離散ウェーブレット変換(DWT)を用いたスパース再構成算法アルゴリズムSpaRSA―DWT(Sparse Reconstruction by Separable Approximation with Discrete Wavelet Transform)を採用して、今回に反復する推測値に対してDWT変換を行い、変換係数を閾値処理し、その後、DWT逆変換を行い、新たな推測値を得て、前記DWT変換、前記閾値処理及び前記逆変換を反復し、且つ各反復において最良のステップファクターを算出することである。
閾値処理関数を

(ここでu,vは実数)と表示し、式(3)又は(4)の第1項をf(x)と記す場合、該アルゴリズムを以下のように表示できる。
ここでαtは、正の実数であって反復回数に従って変化するであり、αtI(ここでIは単位行列)を▽f(x)に接近させる値、即ち、αtは下記の式を満たす値となる。
最小二乗法によって該式の解を求め、この解

が得られる。
本発明のイメージング過程は圧縮サンプリングと、スパース再構成との2つのステップに分けられ、そのうち、圧縮サンプリングは二次元画像データを一次元データ序列に転化させ、DMDとレンズを組合わせて完成するものであり、スパース再構成は得た一次元データ序列によって二次元画像を算出するものである。
2番目の目的を実現するために、本発明は新型の極めて弱い光マルチスペクトル二次元イメージングシステムを提供する。その特徴は以下の通りである。該極めて弱い光マルチスペクトル二次元イメージングシステムは圧縮センシング理論とDLP技術を採用し、単一光子検知装置のリニアアレイを検知素子とし、高解像質の光学変調を実現した。
前記極めて弱い光マルチスペクトル二次元イメージングシステムは、フィルター6と、第1のレンズ1と、DMD8と、第2のレンズ2と、分光光度計3と、異なる反応波長の単一光子検知装置によって構成された単一光子検知装置のリニアアレイ4と、中央処理手段5とを含んで構成される。
そのうち、DMD8と第1のレンズ1と第2のレンズ2とを組合わせ、観察対象の二次元画像データを一次元データ序列に変換し、被測定信号(前記二次元画像)の圧縮サンプリングを完成させるためのものであり、フィルター6によって極めて弱い光に含まれる雑光を除去し、その後、該極めて弱い光は、第1のレンズ1を通してDMD8上に画像を形成し、光子(極めて弱い光)が第2のレンズ2に向けて反射される確率を、所定の測定マトリックスに従ってDMD8のマイクロミラーごとに制御して、被測定信号(極めて弱い光)を変調し、第2のレンズ2によってピント合わせを制御して、被測定信号(極めて弱い光)を集光する。
変調されて集合され極めて弱い光が分光光度計3によって分光された後、単一光子検知装置のリニアアレイ4によって異なる波長に対しイメージングを行う(異なる波長ごとに入射する極めて弱い光の光子数を観測して一次元データ序列を得る)。変調されて集合した極めて弱い光が単一光子検知リニアアレイに取り受けられる前に、分光光度計(プリズムと回折格子などの各種の分光デバイスと装置が含まれる)によってスペクトル分離を実現し、それにより、その後の異なる反応波長の検知装置の検知を容易にし、異なる波長に対してイメージングを行うことができ、即ちマルチスペクトルイメージングができる。
中央処理手段5は単一光子検知装置のリニアアレイ4と組合わせてスパース再構成を完成させ、DMD8における測量マトリックスと最適化アルゴリズムによって波長ごとの二次元画像である光子密度画像を再構成して観察対象の二次元画像を求める。
前記単一光子検知装置は計数型の単一光子検知装置を採用し、規定の時間内で光子数を計数し、統計学の方法で光子数密度を算出し、該算出値を検知された光子の確率に換算して測量値(測定値)とする。
前記単一光子検知装置は、光子数識別能力を有する単一光子検知装置を採用し、出力する電気信号の振幅の大きさによって画像データを取得し、その出力する電気信号の振幅を光子密度の測量値とすることができる。
前記分光光度計は、光コリメータ部分と、分光部分と、角度測量(角度測定)部分と、光度観察及び測量部分(光度観測部分)とを備え、スペクトル分析と測量に用いられる。
前記分光光度計はプリズム分光光度計又は回折格子分光光度計である。
本発明のメリットは、圧縮センシング理論(Compressive Sensing、CSと略称)に基づき、デジタル光処理(Digital Light Processing、DLPと略称)技術によって光学変調を行い、光子検知装置を検知素子として、点検知器で極めて弱い光対象の単一スペクトルに対して二次元イメージングを行い、リニアアレイ単一光子検知装置で極めて弱い光対象に対してマルチスペクトル二次元イメージングを行うことを実現し、構成は簡単であり、感度は単一光子レベルに達することができ、解像度は現在非常に高い解像度を達成しているDMDに直接に関連している。検知装置は単一光子検知リニアアレイであり、多種の波長に反応すると共に、極めて弱い光のマルチスペクトルイメージングを完成させることができる。
本発明は生物自発光の検知、医療診断、物質の非破壊分析、天文観測、国防軍事、スペクトル測量、量子電子工学などの分野に幅広く応用できる。
本発明に係るシステムの構成図である。 本発明においてSpaRSA−DWT算法によるカラー画像再構成の模擬結果図である。
以下、図面に基づいて本発明を更に詳細に説明する。
図1において、フィルター6によって観察対象からの極めて弱い光の雑光を除去し、第1のレンズ1を通してDMDに画像を形成する。光子が第2のレンズ2までに反射される確率をDMD制御システム7で制御し、その後、第2のレンズ2によって光子は集合する。検知装置が計数型の単一光子検知装置である場合、規定の時間内で光子に対して計数し、該算出値を検知された光子の確率に換算して測量値となる。光子数識別能力を有する単一光子検知装置が採用される場合、出力する電気信号の振幅を光子密度の測量値となることができる。最後に、コンピューター5で、測量値とDMD制御システム7における測量マトリックスにより、最適化方法で光子密度画像を再構成する。
数学上の理解を便利にするために、測量数はkである場合、式(1)における測量マトリックスはΦ={Φ,…,Φ,…,Φ}となり、ΦはΦのi行目である。√n×√nの二次元画像の列の首尾を接続し、n×1の一次元列のベクトルに変えて式(1)におけるxに対応させ、そのうちの各素子は対応する位置における光子の密度を代表する。DMDは同じ解像度を有し、その列の首尾は接続されて1×nの一次元行のベクトルに変わり、測量マトリックスΦの中の1行に対応し、そのうちの各素子は、対応する位置における光子が第2のレンズ2までに透過する確率を代表する。検知装置は計数型の単一光子検知装置であり、測量周期はTであり、この時間帯において、DMDは変わらず、単一光子検知装置に検知された光子数はNである場合、N/Tは光子密度画像とDMDにおけるランダム数のアレイの内積値に相当する。光子数識別能力を有する単一光子検知装置が採用される場合、単一光子検知装置の出力する電気信号の振幅は光子密度画像とDMD制御システム7におけるランダム数のアレイの内積値に相当する。
該内積値の式(1)における観測データyに対応する素子の式は

(Φi,j、xはそれぞれΦとxのj番目の素子)である。測量マトリックスによってDMDを変え、k回の測量を繰り返したら、観測データyの全体が得られ、物理的に式(1)の過程を実現する。
光子学の知識によれば、1つの素子面積dA内で、任意時刻にr点で観察した1つの光子の確率p(r)dAは該位置の光の強さと正比例となっている。模擬実現において、生物チップのカラー画像で極めて弱い光画像を模擬する。生物チップは典型的な極めて弱い光源であり、現在は主に蛍光標記の方法によってその観察を便利にする。実際は、全ての生物は自発光の特性を有し、自発光スペクトルに多くの重要な情報が含まれている。
本システムの実行可能性と実用性を検証するために、模擬実験で生物チップカラー画像をR、G、Bの三原色の組合せと見なしてスペクトル分離を模擬し、仮に原画像を知らない場合に、本システムで紹介する方法によって原カラー画像を回復する。実験において、画像の解像度は64×64であり、Gaussianマトリックスで圧縮サンプリングを行い、SpaRSA−DWTスパース再構成算法によって画像再構成を行い、図2に示す結果を得る。そのうち、図2(a)は原始光子密度のカラー画像であり、図2(b)は1回の測量においてDMDにおけるランダム・マトリックスであり、黒点は0を代表し、白点は1を代表し、グレー点は中間値を代表し、図2(c)は原画像のR分量であり、図2(d)はSpaRSA−DWT算法のR分量の再構成画像であり、図2(e)はSpaRSA−DWT算法のR分量の残差画像であり、図2(f)は原画像のG分量であり、図2(g)はSpaRSA−DWT算法のG分量の再構成画像であり、図2(h)はSpaRSA−DWT算法のG分量の残差画像であり、図2(i)は原画像のB分量であり、図2(j)はSpaRSA−DWT算法のB分量の再構成画像であり、図2(k)はSpaRSA−DWT算法のB分量の残差画像であり、図2(l)はSpaRSA−DWT算法の再構成カラー画像であり、原始画像との関連係数は0.9783であり、ピーク信号対雑音比は23.95dBである。
最後に説明したいのは、上記実施例は本発明の技術案を説明するためのものであり、技術案を制限するものではない。実施例に基づいて本発明を詳細に説明したが、本発明の技術案に対する修正、又は同等的な取り替えは全て本発明の技術案の精神と範囲から逸脱せず、本発明の請求項の保護範囲に入っていると当業者は理解すべきである。
1 第1レンズ
2 第2レンズ
3 分光光度計
4 単一光子検知装置のリニアアレイ
5 中央処理手段
6 フィルター
7 DMD制御システム
DMD

Claims (8)

  1. 圧縮センシング理論とDLP技術を採用し、単一光子検知装置のリニアアレイを検知素子とし、高解像質の光学変調を実現するための極めて弱い光マルチスペクトル二次元イメージング方法であって、該方法は、
    1)圧縮サンプリングのステップと、
    2)スパース再構成のステップと、を備え、
    前記圧縮サンプリングは、DMD(8)と第1のレンズ(1)と第2のレンズ(2)とを組合わせ、観察対象の二次元画像を一次元データ序列に変換し前記二次元画像の圧縮サンプリングを完成させるものであり、
    フィルター(6)によって極めて弱い光に含まれている雑光を除去し、その後、該極めて弱い光は、前記第1のレンズ(1)を通して前記DMD(8)上に画像を形成し、前記極めて弱い光が前記第2のレンズ(2)に向けて反射される確率を、所定の測定マトリックスに従って前記DMD(8)のマイクロミラーごとに制御して、前記極めて弱い光を変調し、前記第2のレンズ(2)によって該極めて弱い光を集光し、
    変調されて集光された極めて弱い光分光光度計(3)によって分光した後、前記単一光子検知装置のリニアアレイ(4)によって異なる波長ごとに入射する前記極めて弱い光の光子数を観測して前記一次元データ序列を得るものであり
    前記スパース再構成は、中央処理手段(5)と前記単一光子検知装置のリニアアレイ(4)との組合わせによって完成するものであり、最適化アルゴリズムと前記測定マトリックスを用い、前記一次元データ序列から波長ごとの二次元画像である光子密度画像を再構成して前記観察対象の二次元画像を求めることを特徴とする極めて弱い光マルチスペクトル二次元イメージング方法。
  2. 下記ステップを備えることを特徴とする請求項1に記載の極めて弱い光マルチスペクトル二次元イメージング方法。
    1)前記圧縮サンプリングは、観察対象の二次元画像を高次元から低次元へマッピングする過程であり、
    x∈R観察対象の二次元画像データ(nは二次元画像の画素数)、y∈Rを観測データ(kは該観測データを得るために測定する測定数)、Φ∈Rk×n前記測定マトリックスであるランダム投影マトリックス(k≪n)、e∈Rを測定ノイズとすると、前記圧縮サンプリングの過程を下記式(1)で表示でき、

    変換領域においてスパースである場合Ψをスパース変換マトリックスであるウェーブレット変換マトリックスとすると

    と表されるので、式(1)は下記式(2)で表され

    2)式(1)における前記測定マトリックスはΦ={Φ,…,Φ,…,Φ}と表され、ΦはΦのi番目の行であり、√n×√nの二次元画像の列を直列に接続し、n×1の一次元列のベクトルに変換して式(1)におけるxに対応させたもので、そのうちの各要素は対応する位置における前記極めて弱い光の光子の密度を表し
    前記DMD(8)、観察対象の二次元画像データと同じ解像度を有し、該DMD(8)から形成した1×nの一次元行のベクトル(その各要素は、各マイクロミラーが前記光子を第2のレンズ(2)に向けて反射する確率であり、該1×nの一次元行のベクトルを形成するには、マイクロミラーのマトリックス配列の列を直列に接続して列のベクトルを形成し、該列のベクトルを転置する)は、前記測定マトリックスΦの中の1行に対応し
    3)測定周期はTであり、この時間において、前記DMD(8)は変わらず、前記分光光度計(3)は光を分光し、対応する波長の前記単一光子検知装置に入射させ、前記単一光子検知装置のリニアアレイ(4)におけるある波長に対応する検知装置に検知された前記光子数をNとすると、N/Tは観察対象の前記波長の光子密度画像と前記DMD(8)におけるランダム数のアレイΦの内積値に相当し、該内積値は、式(1)における観測データyの要素(下記の式で表される)に対応し、

    ここで、Φi,j、xはそれぞれΦとxのj番目の要素であり、前記測定マトリックスΦ従って前記DMD(8)毎回変化させ、k回の測定を繰り返すことにより、観測データyの全体を取得し
    他の波長の二次元画像の観測データyの取得にも同様の方法適用
    4)前記スパース再構成は、前記観測データyと前記測定マトリックスΦが既知の状況で式(1)におけるxの解を求めるものであり、下記式(3)で表わされる最適化アルゴリズムによって解を求め

    ここでτは正の実数であり、変換領域においてスパースとすると、式(3)は下記式(4)で表示でき、

    式(3)と式(4)において、第1項は最小二乗制約であり第2項はxスパース度に対する制約であり、この2項の和は目標関数であ
  3. 前記最適化アルゴリズムは、離散ウェーブレット変換(DWT)を用いた可分近似を採用し、推測値に対してDWT変換を行い、変換係数を閾値処理し、その後、DWT逆変換を行い、新たな推測値を得て、前記DWT変換、前記閾値処理及び前記逆変換を反復し、且つ各反復において最良のステップファクターを算出することであり、
    閾値処理関数を

    (ここでu,vは実数)と表示し、式(3)又は(4)の第1項をf(x)と記すと、前記アルゴリズムを以下のように表示でき、

    ここでαtは、正の実数であって反復回数に従って変化するであり、αtI(ここでIは単位行列)

    に接近させる値、即ち、αtは下式

    を満たす値であって、
    最小二乗法によって該式の解を求め、この解

    によりαtを決定することを特徴とする請求項1に記載の極めて弱い光マルチスペクトル二次元イメージング方法。
  4. 圧縮センシング理論とDLP技術を採用し、単一光子検知装置のリニアアレイを検知素子とし、高解像質の光学変調を実現するための極めて弱い光マルチスペクトル二次元イメージングシステムであって、
    前記極めて弱い光マルチスペクトル二次元イメージングシステムは、フィルター(6)と、第1のレンズ(1)と、DMD(8)と、第2のレンズ(2)と、分光光度計(3)と、異なる反応波長の単一光子検知装置によって構成された単一光子検知装置のリニアアレイ(4)と、中央処理手段(5)とを備え、
    前記DMD(8)と前記第1のレンズ(1)と前記第2のレンズ(2)とを組合わせ、観察対象の二次元画像を一次元データ序列に変換し前記二次元画像の圧縮サンプリングを完成させるものであり、前記フィルター(6)によって極めて弱い光に含まれている雑光を除去し、その後、該極めて弱い光は、前記第1のレンズ(1)を通して前記DMD(8)上に画像を形成し、前記極めて弱い光前記第2のレンズ(2)に向けて反射される確率を、所定の測定マトリックスに従って前記DMD(8)のマイクロミラーごとに制御して、前記極めて弱い光を変調し、前記第2のレンズ(2)によって該極めて弱い光を集光し、
    変調されて集合された極めて弱い光が前記分光光度計(3)によって分光された後、前記単一光子検知装置のリニアアレイ(4)によって異なる波長ごと入射する前記極めて弱い光の光子数を観測して前記一次元データ序列を得るものであり
    前記中央処理手段(5)は前記単一光子検知装置のリニアアレイ(4)と組合わせてスパース再構成を完成させ、前記測定マトリックスと最適化アルゴリズムによって波長ごとの二次元画像である光子密度画像を再構成して前記観察対象の二次元画像を求めることを特徴とする極めて弱い光マルチスペクトル二次元イメージングシステム。
  5. 前記単一光子検知装置は計数型の単一光子検知装置を採用し、規定の時間内で光子計数し、統計学の方法で光子数密度を算出し、該算出値を検知された光子の確率に換算して測定値とすることを特徴とする請求項4に記載の極めて弱い光マルチスペクトル二次元イメージングシステム。
  6. 前記単一光子検知装置は、光子数識別能力を有する単一光子検知装置を採用し、出力する電気信号の振幅の大きさによって画像データを取得し、その出力する電気信号の振幅を光子密度の測定値とすることができることを特徴とする請求項4に記載の極めて弱い光マルチスペクトル二次元イメージングシステム。
  7. 前記分光光度計は、光コリメータ部分と、分光部分と、角度測定部分と、光度観測部分とを備え、スペクトル分析と測定に用いられることを特徴とする請求項4に記載の極めて弱い光マルチスペクトル二次元イメージングシステム。
  8. 前記分光光度計はプリズム分光光度計又は回折格子分光光度計であることを特徴とする請求項4又は7に記載の極めて弱い光マルチスペクトル二次元イメージングシステム。
JP2014516173A 2011-06-20 2012-04-23 極めて弱い光のマルチスペクトル二次元イメージング方法及びそのシステム Expired - Fee Related JP5947377B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201110166471.6 2011-06-20
CN201110166471.6A CN102353449B (zh) 2011-06-20 2011-06-20 一种极弱光多光谱成像方法及其系统
PCT/CN2012/074536 WO2012174940A1 (zh) 2011-06-20 2012-04-23 一种极弱光多光谱成像方法及其系统

Publications (2)

Publication Number Publication Date
JP2014520268A JP2014520268A (ja) 2014-08-21
JP5947377B2 true JP5947377B2 (ja) 2016-07-06

Family

ID=45577060

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014516173A Expired - Fee Related JP5947377B2 (ja) 2011-06-20 2012-04-23 極めて弱い光のマルチスペクトル二次元イメージング方法及びそのシステム

Country Status (5)

Country Link
US (1) US9807317B2 (ja)
EP (1) EP2728324A4 (ja)
JP (1) JP5947377B2 (ja)
CN (1) CN102353449B (ja)
WO (1) WO2012174940A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170094200A (ko) * 2014-12-09 2017-08-17 바스프 에스이 광 검출기

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102353449B (zh) 2011-06-20 2014-11-12 中国科学院空间科学与应用研究中心 一种极弱光多光谱成像方法及其系统
EP2755327A4 (en) 2011-10-25 2015-11-04 Ct Space Sci & Applied Res Cas MULTI-DIMENSIONAL MULTI-DIMENSIONAL IMAGING SYSTEM AND METHOD WITH TEMPORARY RESOLUTION OR ULTRA-LIGHT LIGHT
CN102768069B (zh) * 2012-07-27 2014-09-03 中国科学院空间科学与应用研究中心 一种互补测量的单光子光谱计数成像系统及方法
CN103925999B (zh) * 2014-05-06 2015-12-30 中山大学 一种图像光谱探测方法及系统
CN104267407B (zh) * 2014-09-12 2017-04-19 清华大学 基于压缩采样的主动成像方法和系统
CN104796674A (zh) * 2015-04-17 2015-07-22 南京理工大学 基于压缩感知的彩色成像装置及方法
US10948344B2 (en) * 2016-08-26 2021-03-16 Halliburton Energy Services, Inc. Optical fiber spectroscopy using single photon detectors (SPDs)
KR101775615B1 (ko) * 2016-11-24 2017-09-07 단국대학교 산학협력단 고감도 영상 획득방법
CN106840400A (zh) * 2017-01-24 2017-06-13 深圳企管加企业服务有限公司 多光谱成像系统
CN106908144B (zh) * 2017-03-28 2018-07-17 北京振兴计量测试研究所 一种超微弱星光照度测量装置及方法
CN107590472B (zh) * 2017-09-19 2024-04-05 中国科学院西安光学精密机械研究所 基于推扫式光谱成像仪的光谱分类器及分类方法
CN107976408A (zh) * 2017-10-17 2018-05-01 中国科学院遥感与数字地球研究所 一种文物无损检测装置
CN107846592A (zh) * 2017-10-18 2018-03-27 中国科学院计算技术研究所 压缩感知图像的采集重建方法和系统
CN107807091B (zh) * 2017-11-29 2024-03-19 苏州蛟视智能科技有限公司 一种压缩感知成像装置及方法
WO2019178794A1 (zh) * 2018-03-22 2019-09-26 深圳大学 一种荧光寿命的测量方法及装置
CN111315488B (zh) * 2018-08-06 2023-08-01 卡梅尔诊断有限公司 细胞组织分析的方法及装置
US10630917B1 (en) * 2018-09-28 2020-04-21 Massachusetts Institute Of Technology Apparatus and methods for all-CMOS compressive sensing
US20200288965A1 (en) * 2019-03-11 2020-09-17 Spring Biomed Vision Ltd. System and method for enhanced imaging of biological tissue
CN110187498B (zh) * 2019-05-27 2021-08-17 中国科学院国家空间科学中心 一种真热光关联成像系统
CN110487427A (zh) * 2019-07-08 2019-11-22 清远市天之衡传感科技有限公司 基于dmd微镜阵列的单光子偏振态量子成像系统
CN111007006B (zh) * 2019-11-25 2021-11-26 东北大学 一种多光谱调制输出光源装置
CN112946876B (zh) * 2019-12-10 2023-01-03 苏州大学 应用于dmd系统工作台低速运动控制方法及系统
CN112037132B (zh) * 2020-08-31 2023-07-28 广东工业大学 一种多孔径紧凑型多光谱成像系统及深度学习图像超分辨率重建方法
CN112197863A (zh) * 2020-12-04 2021-01-08 武汉精测电子集团股份有限公司 一种点阵光谱测量装置、面阵色度测量装置及方法
CN113324920B (zh) * 2021-05-27 2022-05-17 西安电子科技大学 基于微纳结构滤光片调制和稀疏矩阵变换的光谱重建方法
CN113447976B (zh) * 2021-06-29 2024-04-02 中国科学院高能物理研究所 一种高分辨率慢正电子束形貌的测量方法及装置
CN113379906B (zh) * 2021-07-23 2023-04-11 中国科学院西安光学精密机械研究所 一种基于超像素滤波的单光子三维图像重建方法及系统
CN114397255B (zh) * 2021-11-12 2023-09-01 中国科学院西安光学精密机械研究所 一种宽谱段高分辨视频光谱成像系统和方法
CN114486746B (zh) * 2021-11-25 2023-12-08 中国科学院西安光学精密机械研究所 基于压缩感知的高分辨率光子集成成像系统及成像方法
CN114264370B (zh) * 2021-12-23 2024-04-26 中国科学院国家空间科学中心 一种压缩感知计算层析成像光谱仪系统和成像方法
CN114935758B (zh) * 2022-05-17 2024-05-10 中国科学院西安光学精密机械研究所 基于光子集成回路的分布式合成孔径成像系统及成像方法
CN116773850B (zh) * 2023-05-16 2024-07-23 苏州大学 一种基于单光子探测器测量转速和转角的装置及方法
CN116538949B (zh) * 2023-07-03 2023-09-15 湖南大学 一种基于时域超分辨的高速动态过程dic测量装置与方法
CN118334818B (zh) * 2024-06-12 2024-08-16 太原理工大学 一种基于互补成像的远距离火灾预警系统及方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6249348B1 (en) * 1998-11-23 2001-06-19 Lj Laboratories, L.L.C. Integrated spectrometer assembly and methods
JP2000244933A (ja) * 1999-02-24 2000-09-08 Dainippon Printing Co Ltd 撮像装置
US6996292B1 (en) 2002-04-18 2006-02-07 Sandia Corporation Staring 2-D hadamard transform spectral imager
US7326900B2 (en) * 2002-11-18 2008-02-05 Mitsui Engineering & Shipbuilding Co., Ltd. Two-dimensional weak radiation detector with a detection means based on orthogonal modulation
JP3950059B2 (ja) * 2003-01-06 2007-07-25 三井造船株式会社 時間分解二次元微弱光検出方法および装置
JP2005249760A (ja) * 2004-03-01 2005-09-15 Atoo Kk 微弱光スペクトルの測定方法及びその装置
US7283231B2 (en) * 2004-07-20 2007-10-16 Duke University Compressive sampling and signal inference
US20060239336A1 (en) * 2005-04-21 2006-10-26 Baraniuk Richard G Method and Apparatus for Compressive Imaging Device
US20080174777A1 (en) 2006-04-11 2008-07-24 University Of Wyoming Spectrometers using 2-dimensional microelectromechanical digital micromirror devices
US20080219579A1 (en) * 2007-03-05 2008-09-11 Aksyuk Vladimir A Methods and Apparatus for Compressed Imaging Using Modulation in Pupil Plane
CN101387548B (zh) * 2007-09-11 2011-12-07 中国科学院西安光学精密机械研究所 单光子计数成像仪
EP2215441A2 (en) * 2007-10-25 2010-08-11 The Research Foundation of the State University of New York Single photon spectrometer
US8144321B2 (en) * 2008-10-22 2012-03-27 Texas Instruments Incorporated Encoding optical spectra using a DMD array
CN101509869B (zh) 2009-03-13 2011-06-08 重庆大学 基于可编程微镜阵列的可见-近红外光谱探测方法及光谱仪
US9134229B2 (en) * 2009-09-22 2015-09-15 Polyvalor, Limited Partnership Method and system for optical data acquisition and tomography imaging of a turbid medium object
US20110109773A1 (en) * 2009-11-10 2011-05-12 General Electric Company System and method for adaptive nonlinear compressed visual sensing
US8860835B2 (en) * 2010-08-11 2014-10-14 Inview Technology Corporation Decreasing image acquisition time for compressive imaging devices
US8717484B2 (en) * 2010-08-11 2014-05-06 Inview Technology Corporation TIR prism to separate incident light and modulated light in compressive imaging device
CN102353449B (zh) 2011-06-20 2014-11-12 中国科学院空间科学与应用研究中心 一种极弱光多光谱成像方法及其系统
CN102393248B (zh) * 2011-10-26 2013-09-11 中国科学院空间科学与应用研究中心 一种时间分辨极弱光多光谱成像系统及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170094200A (ko) * 2014-12-09 2017-08-17 바스프 에스이 광 검출기
KR102497704B1 (ko) 2014-12-09 2023-02-09 바스프 에스이 광 검출기

Also Published As

Publication number Publication date
CN102353449A (zh) 2012-02-15
EP2728324A4 (en) 2015-02-18
EP2728324A1 (en) 2014-05-07
US9807317B2 (en) 2017-10-31
US20140043486A1 (en) 2014-02-13
WO2012174940A1 (zh) 2012-12-27
CN102353449B (zh) 2014-11-12
JP2014520268A (ja) 2014-08-21

Similar Documents

Publication Publication Date Title
JP5947377B2 (ja) 極めて弱い光のマルチスペクトル二次元イメージング方法及びそのシステム
EP2685227B1 (en) Single photon-counting imaging system and method thereof
JP6952277B2 (ja) 撮像装置および分光システム
Cao et al. A prism-mask system for multispectral video acquisition
US10425598B2 (en) Methods and systems for time-encoded multiplexed imaging
US10274420B2 (en) Compact multifunctional system for imaging spectroscopy
RU2653772C1 (ru) Система формирования широкополосного гиперспектрального изображения на основе сжатого зондирования с нерегулярной дифракционной решеткой
Bacca et al. Noniterative hyperspectral image reconstruction from compressive fused measurements
CN110793632B (zh) 一种用于火焰拍摄的高速高精度光谱视频系统及方法
Brady et al. Compressive imaging spectrometers using coded apertures
Webb et al. Spectral and 3D cultural heritage documentation using a modified camera
DeVerse et al. Application of spatial light modulators for new modalities in spectrometry and imaging
Qi et al. A super-resolution fusion video imaging spectrometer based on single-pixel camera
Leblanc et al. Interferometric lensless imaging: rank-one projections of image frequencies with speckle illuminations
JP2022546720A (ja) 光学装置および方法
CN112556849B (zh) 高光谱成像装置
Gehm et al. Adaptive spectroscopy: towards adaptive spectral imaging
Toivonen Practical Spectral Diffraction Imaging
WO2023106143A1 (ja) 分光画像を生成するシステムに用いられる装置およびフィルタアレイ、分光画像を生成するシステム、ならびにフィルタアレイの製造方法
Rueda-Chacon Higher order discretization model for coded aperture spectral imaging systems
Xu Compressive Hyperspectral Imaging and Machine Vision
JP2022183671A (ja) 画像処理装置、画像処理方法およびプログラム
JP2022186292A (ja) 画像処理装置、画像処理方法およびプログラム
Castorena-Martinez Non-uniformity correction and calibration of hyperspectral image data
SAHOO et al. Single-shot multispectral imaging with a monochromatic camera: supplementary material

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140603

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141216

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20150306

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150416

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150929

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160531

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160602

R150 Certificate of patent or registration of utility model

Ref document number: 5947377

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees