JP6985450B2 - 信号対雑音比調整回路、信号対雑音比調整方法および信号対雑音比調整プログラム - Google Patents

信号対雑音比調整回路、信号対雑音比調整方法および信号対雑音比調整プログラム Download PDF

Info

Publication number
JP6985450B2
JP6985450B2 JP2020073648A JP2020073648A JP6985450B2 JP 6985450 B2 JP6985450 B2 JP 6985450B2 JP 2020073648 A JP2020073648 A JP 2020073648A JP 2020073648 A JP2020073648 A JP 2020073648A JP 6985450 B2 JP6985450 B2 JP 6985450B2
Authority
JP
Japan
Prior art keywords
image
signal
noise ratio
images
threshold
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020073648A
Other languages
English (en)
Other versions
JP2020177669A (ja
Inventor
テメリス ゲオルゲ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leica Instruments Singapore Pte Ltd
Original Assignee
Leica Instruments Singapore Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leica Instruments Singapore Pte Ltd filed Critical Leica Instruments Singapore Pte Ltd
Publication of JP2020177669A publication Critical patent/JP2020177669A/ja
Application granted granted Critical
Publication of JP6985450B2 publication Critical patent/JP6985450B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361Optical details, e.g. image relay to the camera or image sensor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10064Fluorescence image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20182Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Microscoopes, Condenser (AREA)
  • Studio Devices (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Image Processing (AREA)

Description

実施例は、信号対雑音比調整回路および蛍光顕微鏡法用の顕微鏡システムに関する。
蛍光顕微鏡法および外科手術用顕微鏡法のような低光量画像化のアプリケーションにおいて、カメラの信号対雑音比は、画像化処理にとってボトルネックになり得る。その理由は、ビデオフレームレートにおいて明瞭な画像を得るためには蛍光強度が十分に大きくない可能性があることである。結果として画像は、過度に雑音を含んだものになり得る。したがって画像の信号対雑音比を調整するための改善されたコンセプトが必要である。
一実施形態は、第1画像のSNRが第1閾値を下回っているか否かを特定するように構成された信号対雑音比(SNR:signal to noise ratio)調整回路に関する。さらに、この調整回路は、ビデオシーケンスのこの第1画像と先行する第2画像との間の画像化コンテンツの変化が、第2閾値を下回っているか否かを特定するように構成されている。SNR調整回路は、さらに、SNRが第1閾値を下回っている場合かつ変化が第2閾値を下回っている場合に、第1画像または第2画像と比べて増大されたSNRを有する第3画像を生成するように構成されている。
SNR調整回路は、第1画像の信号対雑音比が小さすぎるか否かを特定し、またビデオシーケンスにおいて画像化コンテンツの、大きすぎる可能性がある変化が生じ得たか否かを特定する。第1画像の信号対雑音比と、ビデオシーケンスの画像化コンテンツの変化が存在し得るか否かと、に依存して、ビデオシーケンス内で選択的に使用することができかつ増大されたSNRを有する第3画像を生成可能である。
例示的な一実施形態において、第3画像の生成には、少なくとも2つの画像を結合して、重大な損失を生じさせることなく信号対雑音比を増大させることによってビデオシーケンスの画像品質を改善し得る第3画像を形成することが含まれていてよい。
別の例示的な一実施形態において、少なくとも2つの画像の結合には、少なくとも2つの画像を加算することが含まれていてよい。
別の一実施例において、少なくとも2つの画像の結合には、少なくとも2つの画像についてのピクセル値の統計分布を計算し、この統計分布に基づいてこれらの少なくとも2つの画像を結合することが含まれていてよい。これにより、少なくとも2つの画像を結合するために、計算した統計分布から導出されかつあらかじめ定めた判定基準を満たすピクセル値だけを考慮することができ、これにより、第3画像のより大きなSNRを得ることが可能である。
選択的な一実施形態は、さらに、第1画像および第2画像を使用して動き補償情報を計算可能である。少なくとも2つの画像の結合には、この動き補償情報を使用して、少なくとも2つの画像のうちの少なくとも1つに動き補償を行うことが含まれていてよい。この動き補償を使用することにより、第1画像と第2画像の慣用の結合によって結果的にモーションブラー作用が生じる場合であっても、第1画像と第2画像とを結合することができる。
別の一実施形態において、第3画像の生成には、この第3画像を取り込むための露光時間を増大させることが含まれていてよい。より長い露光時間を使用することにより、雑音の影響を減少可能である。
別の一実施形態は、さらに、画像化コンテンツの変化を特定するために、第3画像とは異なる画像特性を有する第1画像および第2画像を使用可能である。特定の特性の第1画像および第2画像は、例えば、後続の画像を結合する場合に結果的にモーションブラー作用を生じるリスクになり得る画像化コンテンツの大きな変化があり得るか否かを特定するために必要な情報を計算するために使用可能である。
例示的な一実施形態において、第1画像および第2画像は、白色光画像であってよい。2つの白色光画像から特定される動き補償は、蛍光画像に適用可能である。白色光画像が大きな信号対雑音比を有し得るという事実に起因して、蛍光画像に適用される動き変化を計算するために白色光画像に適用することにより、第1画像と第2画像との間の画像化コンテンツの変化をより正確に特定可能である。
別の一実施例は、さらに、複数の画像を含むビデオシーケンスを受信するように構成された入力インタフェースを有していてよく、この入力インタフェースにより、既存のカメラの増設装置として、信号対雑音比(SNR)調整回路の一実施形態を使用可能である。
別の一実施例は、第3画像として蛍光画像を生成可能である。生成された蛍光画像は、増大されたSNRを有しかつ大きなモーションブラー作用を有しない、蛍光画像のビデオシーケンスを生成するために使用可能である。
別の一実施形態は、SNRが第1閾値を下回っている場合かつ変化が第2閾値を上回っている場合に、増大されたSNRを有する第3画像を生成しないようにすることが可能である。これにより、第3画像の生成を回避可能である。このことが意味するのは、SNRの増大が、許容できないほどに大きなモーションブラーの犠牲を払って行われ得る場合に、第3画像が生成しなくてもよいことである。
別の例示的な一実施形態として、顕微鏡システムは、蛍光カメラと、ディスプレイと、SNR調整回路とを有していてよい。このような顕微鏡システムが有し得る利点は、モーションブラーの生成を回避する一方で、蛍光画像の増大されたSNRにおいて、観察される対象体の蛍光画像を取り込むことである。顕微鏡システムは選択的には、さらに、画像化コンテンツの動き推定のために、白色光画像を取り込む白色光反射カメラを有していてよい。
別の一実施形態として、信号対雑音比(SNR)調整方法は、第1画像のSNRが第1閾値を下回っているか否かを特定するステップを含んでいてよい。この方法には、さらに、ビデオシーケンスの第1画像と先行する第2画像との間の画像化コンテンツの変化が、第2閾値を下回っているか否かを特定するステップが含まれている。このSNR調整方法は、さらに、SNRが第1閾値を下回っている場合かつ変化が第2閾値を下回っている場合に、第1画像または第2画像と比べて増大されたSNRを有する第3画像を生成するステップを有する。
別の一実施例はさらに、第3画像とは異なる画像特性を有する第1画像および第2画像を使用して、画像化コンテンツの変化を特定するステップを有していてよい。
別の例示的な一実施形態として、コンピュータプログラムは、プロセッサ上で実行されるときに、SNR調整方法を実施させるプログラムコードを有していてよい。
以下では、単なる例として、また添付の図面を参照して、装置および/または方法のいくつかの例を説明する。
信号対雑音比調整回路を示す図である。 信号対雑音比調整回路を有する顕微鏡システムを示す図である。 SNR調整方法を示すフローチャートである。
以下では、いくつかの実施例が示されている添付の図を参照して、さまざまな実施例をより一層詳しく説明する。図面において線の太さは、層および/または領域は明瞭にするために誇張されていることがある。
したがってさらなる実施例にはさまざまな変更および択一的な形態が可能であるが、それらのいくつかの特定の実施例が図面に示されており、以下ではこれらを詳細に説明する。しかしながらこの詳細な説明は、説明される特定の形態にさらなる実施例を限定するものではない。さらなる実施例は、本開示の範囲内に入るすべての変化形態、同等の形態および択一的な形態を含み得る。同じまたは類似の参照符号は、図面の説明を通して、類似または同様の構成要素を参照しており、これらの構成要素は、同じに実装可能かまたは、同じまたは類似の機能を提供しながらも相互に比較した場合に変更された形態で実装可能である。
ある構成要素が、別の構成要素に「接続されている」または「結合されている」と言われる場合、これらの構成要素は、相互に直接に接続または結合されるか、または1つ以上の中間の構成要素を介して接続または結合されることが可能であると理解される。2つの構成要素のAとBとが、「または」を使用して組み合わされる場合、このことは、明示的または暗示的に異なる定義がなされない場合、考えられ得るすべての組み合わせ、すなわちAのみ、Bのみ、ならびにAおよびBを開示するものと理解される。同じ組み合わせについて択一的な言い回しは、「AおよびBのうちの少なくとも1つ」または「Aおよび/またはB」である。同じことは、2つよりも多くの組み合わせについても準用される。
特定の実施例を説明する目的で、本明細書で使用される用語は、さらなる実施例を限定することを意図していない。「1つの(不定冠詞a)」、「1つの(不定冠詞an)」および「その(定冠詞the)」のような単数形が使用され、ただ1つの構成要素だけを使用することが、明示的にもまた暗示的にも必須であると定義されていない場合にはつねに、さらなる実施例は、同じ機能を実装するために複数の構成要素も使用可能である。同様に、1つの機能が、後に複数の構成要素を使用して実装されるように記載されている場合、さらなる実施例は、単一の構成要素または処理エンティティを使用して同じ機能を実装可能である。さらに「有する」、「有している」、「含む」および/または「含んでいる」という語が使用される場合、提示された機能、整数、ステップ、演算、処理、動作、構成要素および/またはコンポーネントが存在することを規定するが、1つ以上の別の機能、整数、ステップ、演算、処理、動作、構成要素、コンポーネントおよび/またはこれらの任意のグループが存在することまたはこれを付加することを除外するものはではないと理解されるであろう。
特に別の定義がなされない限り、(技術用語および科学用語を含めた)すべての用語は、本明細書において、これらの実施例が属する技術の通常の意味で使用されている。
図1には、SNR調整回路の一実施形態が略示されている。
一実施形態において、SNR調整回路100は、第1画像のSNRが第1閾値を下回っているか否かを特定可能である。このSNR調整回路100は、さらに、ビデオシーケンスの第1画像と先行する第2画像との間の画像化コンテンツの変化が、第2閾値を下回っているか否かを特定可能である。SNR調整回路100は、SNRが第1閾値を下回っている場合かつ変化が第2閾値を下回っている場合に、第1画像または第2画像と比べて増大されたSNRを有する第3画像を生成可能である。
SNR調整回路100は、第1画像の信号対雑音比が小さすぎるか否かを特定し、また信号対雑音比を増大させるのには大きすぎる可能性がある、ビデオシーケンスにおける画像化コンテンツの変化が存在し得るか否かを特定する。画像化コンテンツの大きな変化(個別の画像間の多量の動き)を有するビデオシーケンスについては、例えば、複数の画像の結合は、結果的にモーションブラーを生じさせ得る。第1画像の信号対雑音比と、モーションブラーが存在し得るか否かと、に依存して、ビデオシーケンスに直接に加えることができる第3画像を生成可能である。
例示的な一実施形態において、第3画像の生成には、少なくとも2つの画像を結合して第3画像を形成することが含まれ得る。その有利な作用は、モーションブラー作用を大きく増大させることなく雑音を減少させることにより、ビデオシーケンスの画像品質を直接に改善できることが考えられ、これにより、例えば、顕微鏡の画像の信号対雑音比を調整するための改善されたコンセプトが可能になる。例えば、少なくとも2つの画像の結合には、少なくとも2つの画像を加算することが含まれていてよい。
少なくとも2つの画像の結合には、さらにまたは択一的に、少なくとも2つの画像についてのピクセル値の統計分布を計算し、この統計分布に基づいてこれらの少なくとも2つの画像を結合することが含まれていてよい。
これにより、少なくとも2つの画像を結合するために、計算した統計分布から導出されかつあらかじめ定めた判定基準を満たすピクセル値だけを考慮することができ、これにより、結果的に(雑音を減少させるための)第3画像のより大きなSNRを得ることが可能である。
平均SNRピクセル値および対応する標準偏差を計算するために考えられ得る計算方法または雑音モデルは、例えば、ガウス雑音モデル(ノーマル雑音モデル)、レイリー雑音モデル、アーラン(ガンマ)雑音モデル、指数雑音モデル、一様雑音モデル、またはインパルス(ごま塩)雑音モデルであってよい。
別の選択的な一実施形態は、さらに、第1画像および第2画像を使用して動き補償情報を計算可能である。少なくとも2つの画像の結合には、この動き補償情報を使用して、少なくとも2つの画像のうちの少なくとも1つに動き補償を行うことを含んでいてよい。この動き補償を使用することにより、第1画像と第2画像との慣用の結合によって結果的にモーションブラー作用が生じる場合であっても、第1画像と第2画像とを結合することができる。
結合される少なくとも2つの画像は、必ずしも、動き推定に使用される第1画像および第2画像でなくてもよい。動き推定に使用される第1画像および第2画像は、例えば、白色光カメラの白色光画像であってよいのに対し、結合される少なくとも2つの画像は、蛍光カメラのビデオシーケンスの画像であってよい。
モーションブラー作用は、単一の画像が、異なる複数の位置において同じ対象体(からの光)についての情報を含むという事実に起因する、画像化コンテンツの汚れとして定義可能であり、これは、画像化される対象体の高速によって引き起こされる。
別の一実施形態において、第3画像の生成には、この第3画像を取り込むための露光時間の増大させることが含まれていてよい。より長い露光時間を使用することにより、雑音の影響を減少可能である。
別の一実施形態はさらに、画像化コンテンツの変化を特定するために、第3画像とは異なる画像特性を有する第1画像および第2画像を使用可能である。異なる特定の特性の第1画像および第2画像は、例えば、モーションブラー作用の危険性が存在し得ることを相応に意味し得る、画像化コンテンツの大きな変化が存在し得るか否かを特定するために必要な数学的な情報を計算するために使用可能である。
異なる画像特性または画像タイプは、白色光画像、蛍光画像、熱画像、x線画像、TEM画像、REM画像、AFM画像またはSTM画像であってよい。しかしながらこの画像タイプは、上述の例に限定されない。これは、任意の別のタイプの画像特性であってもよい。
例示的な一実施形態において、第1画像および第2画像は、白色光画像であってよい。2つの白色光画像から特定される動き補償は、蛍光画像に適用可能であり、これにより、結果的にモーションブラー作用が減少される。白色光画像の信号対雑音比が大きいことに起因して、蛍光画像に適用される動き変化を計算するために白色光画像の使用することにより、第1画像と第2画像との間の画像化コンテンツの変化をより正確に特定可能である。
別の一実施例はさらに、複数の画像を有するビデオシーケンスを受信するように構成された入力インタフェース110を有していてよく、この入力インタフェース110により、既存のカメラの増設装置として、信号対雑音比(SNR)調整回路100の一実施形態を使用可能であり、また例えばより大きなSNRを有する第3画像を出力するように構成された出力インタフェース120を有していてよい。
別の一実施例は、第3画像として蛍光画像を生成可能である。生成された蛍光画像は、増大されたSNRを有しかつ大きなモーションブラー作用を有しない、蛍光画像のビデオシーケンスを生成するために使用可能である。
別の一実施形態は、SNRが第1閾値を下回っている場合かつ変化が第2閾値を上回っている場合に、増大されたSNRを有する第3画像を生成しないようにすることが可能である。観察される対象体が動いていない場合、慣用のアプローチは、積分時間を長くし、結果的にフレームレートを減少させることにより、画像品質を改善することがある。設定のこの変更は、SNRを改善させ得るが、対象体が動いている場合には同時にモーションブラーを被ることにもなり得る。したがってこのような場合、カメラは、慣用的には、一般に雑音とモーションブラーとの間の良好な妥協が行われる調整に設定されるが、すべての動作条件において最適な画像品質は引き出されない。しかしながらSNR調整回路の実施形態は、結果的に生じ得るモーションブラーが、許容可能な閾値を下回り得る条件において、SNRを動的に増大させることができる。
図2に示したように、別の例示的な一実施形態は、蛍光カメラ230と、ディスプレイ220と、SNR調整回路210と、を有する顕微鏡システム200であってよい。選択的には、顕微鏡システム200は、さらに、白色光画像を取得するための白色光反射カメラ240を有していてよい。ディスプレイ220を使用することにより、外科医は、例えば、対応する外科手術を望み通りに自分が行っているか否かを蛍光ビデオシーケンス上でチェックすることが可能である。
このような顕微鏡システムが有し得る利点は、モーションブラーの生成を回避する一方で、蛍光画像の増大されたSNRにおいて、観察される対象体の蛍光画像を取り込むことである。選択的には、顕微鏡システムはさらに、画像化コンテンツの動き推定用に白色光画像を取り込む白色光反射カメラを有していてよい。
顕微鏡システムは、光学顕微鏡、蛍光顕微鏡、2つの機能を提供する光学顕微鏡および蛍光顕微鏡の組み合わせであってよい。しかしながら顕微鏡システムは、上述の例に限定されない。
ディスプレイは、LEDディスプレイ、OLEDディスプレイ、タッチパネルが実装されたLEDもしくはOLEDディスプレイ、またはCRTスクリーンまたはモニタであってよい。しかしながらディスプレイのタイプは、上述の例には限定されない。これは、任意の別のタイプのディスプレイであってもよい。
SNR調整回路は、顕微鏡に直接に実装される半導体回路、SNR調整方法を実施するコンピュータプログラムを実行するための、顕微鏡の内部の、もしくは顕微鏡に外部接続されるCPU/コンピュータ、または例えばスマートフォンもしくはタブレットのような、Wi−FiもしくはBluetoothを介してモバイル装置に接続されている回路であってよい。しかしながらSNR調整回路のタイプは、上述の例には限定されない。
ビデオカメラは、光学カメラ、蛍光カメラ、熱画像化カメラまたは任意の別のタイプのカメラであってよい。
白色光反射カメラは、白色光画像を取得可能な2つ以上の白色光反射カメラであってよい。
図3には、例示的な一実施形態が示されている。SNR調整方法は、以下のステップを有し得る。すなわち、第1画像のSNRが第1閾値を下回っているか否かを特定するステップ310と、ビデオシーケンスの第1画像と先行する第2画像との間の画像化コンテンツの変化が、第2閾値を下回っているか否かを特定するステップ320と、SNRが第1閾値を下回り得る場合かつ変化が第2閾値を下回り得る場合に、第1画像または第2画像と比べて増大されたSNRを有する第3画像を生成するステップ330と、を有していてよい。
付加的な一実施例において、SNR調整方法は、さらに、第3画像とは異なる画像特性を有する第1画像および第2画像を使用して、画像化コンテンツの変化を特定する、同様に図3に示されているステップ320aを有していてよい。
詳細に述べると、第1画像のSNRが、第1閾値を下回っている可能性があるか否かを特定することは、第1画像において雑音が多くなりすぎている可能性があるか否かを特定することを意味する。ビデオシーケンスの第1画像と先行する第2画像との間の画像化コンテンツの変化が、第2閾値を下回っている可能性があるか否かを特定することは、観察される対象体の動きが、ビデオシーケンスにおいて、特にビデオシーケンスの第1画像と第2画像との間の連続画像の変化において、モーションブラーを生じ得るか否かを特定することを意味する。モーションブラー作用の度合いが高すぎて適切なビデオシーケンスを取得できない場合、第3画像を生成することができる。このことは、結果的にモーションブラーを減少させることができる、1秒当たりのフレームを増大させるために、生成された第3画像が、連続画像としてビデオシーケンスに加えられる付加的な画像になり得ることを意味する。
この方法は、後続の蛍光画像を形成することには限定されない。この方法は、熱画像、x線画像、TEM画像、REM画像、AFM画像またはSTM画像にも適用可能である。しかしながら画像タイプは、上述の例には限定されない。これは、任意の別のタイプの画像特性であってもよい。
別の付加的な一実施形態として、コンピュータプログラムは、プロセッサ上で実行されるときに、SNR調整方法を実施させるプログラムコードを有していてよい。
このコンピュータプログラムは、SNR調整方法を実施するSNR調整回路を含む、顕微鏡を動作させるソフトウェアであってよい。
本明細書で使用されるように、用語「および/または(かつ/または)」は、関連する記載項目のうちの1つまたは複数の項目のあらゆる全ての組み合わせを含んでおり、「/」として略記されることがある。
いくつかの態様を装置の文脈において説明してきたが、これらの態様が、対応する方法の説明も表していることが明らかであり、ここではブロックまたは装置がステップまたステップの特徴に対応している。同様に、ステップの文脈において説明された態様は、対応する装置の対応するブロックまたは項目または特徴の説明も表している。ステップの一部または全部は、例えば、プロセッサ、マイクロプロセッサ、プログラマブルコンピュータまたは電子回路等のハードウェア装置(またはハードウェア装置を使用すること)によって実行されてもよい。いくつかの実施形態では、極めて重要なステップのいずれか1つまたは複数が、そのような装置によって実行されてもよい。
一定の実装要件に応じて、本発明の実施形態は、ハードウェアまたはソフトウェアで実装され得る。この実装は、非一過性の記録媒体によって実行可能であり、非一過性の記録媒体は、各方法を実施するために、プログラマブルコンピュータシステムと協働する(または協働することが可能である)、電子的に読取可能な制御信号が格納されている、デジタル記録媒体等であり、これは例えば、フロッピーディスク、DVD、ブルーレイ、CD、ROM、PROMおよびEPROM、EEPROMまたはFLASHメモリである。したがって、デジタル記録媒体は、コンピュータ読取可能であってもよい。
本発明のいくつかの実施形態は、本明細書に記載のいずれかの方法が実施されるように、プログラマブルコンピュータシステムと協働することができる、電子的に読取可能な制御信号を有するデータ担体を含んでいる。
一般的に、本発明の実施形態は、プログラムコードを備えるコンピュータプログラム製品として実装可能であり、このプログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されるときにいずれかの方法を実施するように作動する。このプログラムコードは、例えば、機械可読担体に格納されていてもよい。
別の実施形態は、機械可読担体に格納されている、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを含んでいる。
したがって、換言すれば、本発明の実施形態は、コンピュータプログラムがコンピュータ上で実行されるときに本明細書に記載のいずれかの方法を実施するためのプログラムコードを有するコンピュータプログラムである。
したがって、本発明の別の実施形態は、プロセッサによって実行されるときに本明細書に記載のいずれかの方法を実施するために、格納されているコンピュータプログラムを含んでいる記録媒体(またはデータ担体またはコンピュータ読取可能な媒体)である。データ担体、デジタル記録媒体または被記録媒体は、典型的に、有形である、かつ/または非一過性である。本発明の別の実施形態は、プロセッサと記録媒体を含んでいる、本明細書に記載されたような装置である。本発明の別の実施形態は、プロセッサと記録媒体を含んでいる、本明細書に記載されたような装置である。
したがって、本発明の別の実施形態は、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを表すデータストリームまたは信号シーケンスである。データストリームまたは信号シーケンスは例えば、データ通信接続、例えばインターネットを介して転送されるように構成されていてもよい。
別の実施形態は、処理手段、例えば、本明細書に記載のいずれかの方法を実施するように構成または適合されているコンピュータまたはプログラマブルロジックデバイスを含んでいる。
別の実施形態は、本明細書に記載のいずれかの方法を実施するために、インストールされたコンピュータプログラムを有しているコンピュータを含んでいる。
本発明の別の実施形態は、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを(例えば、電子的にまたは光学的に)受信機に転送するように構成された装置またはシステムを含んでいる。受信機は、例えば、コンピュータ、モバイル機器、記憶装置等であってもよい。装置またはシステムは、例えば、コンピュータプログラムを受信機に転送するために、ファイルサーバを含んでいてもよい。
いくつかの実施形態では、プログラマブルロジックデバイス(例えばフィールド・プログラマブル・ゲート・アレイ)が、本明細書に記載された方法の機能の一部または全部を実行するために使用されてもよい。いくつかの実施形態では、フィールド・プログラマブル・ゲート・アレイは、本明細書に記載のいずれかの方法を実施するためにマイクロプロセッサと協働してもよい。一般的に、有利には、任意のハードウェア装置によって方法が実施される。
100 SNR調整回路
110 入力インタフェース
120 出力インタフェース
200 顕微鏡システム
210 SNR調整回路
220 ディスプレイ
230 蛍光カメラ
240 白色光反射カメラ
310 第1画像のSNRが第1閾値を下回っているか否かを特定するステップ
320 ビデオシーケンスの第1画像と先行する第2画像との間の画像化コンテンツの変化が、第2閾値を下回っているか否かを特定するステップ
320a 第3画像とは異なる画像特性を有する第1画像と第2画像とを使用して、画像化コンテンツの変化を特定するステップ
330 SNRが第1閾値を下回っている場合かつ変化が第2閾値を下回っている場合に、第1画像または第2画像と比べて増大されたSNRを有する第3画像を生成するステップ

Claims (11)

  1. 信号対雑音比調整回路(100)であって、前記信号対雑音比調整回路(100)は、
    第1画像の信号対雑音比が第1閾値を下回っているか否か特定し、
    ビデオシーケンスの前記第1画像と先行する第2画像との間の画像化コンテンツの変化が、第2閾値を下回っているか否かを特定し、
    前記信号対雑音比が前記第1閾値を下回っている場合かつ前記変化が前記第2閾値を下回っている場合に、前記第1画像または前記第2画像と比べて増大された信号対雑音比を有する第3画像を生成する、
    ように構成されており、
    前記第3画像の生成には、前記第3画像を形成するために少なくとも2つの画像を結合することが含まれており、
    前記少なくとも2つの画像の結合には、
    前記少なくとも2つの画像についてのピクセル値の統計分布を計算することと、
    前記統計分布に基づいて前記少なくとも2つの画像を結合することと、
    が含まれている、
    信号対雑音比調整回路(100)。
  2. 前記信号対雑音比調整回路(100)は、さらに、前記第1画像および前記第2画像を使用して動き補償情報を計算するように構成され、
    前記少なくとも2つの画像の結合には、前記動き補償情報を使用して、前記少なくとも2つの画像のうちの少なくとも1つに動き補償を行うことが含まれている、
    請求項1記載の信号対雑音比調整回路(100)。
  3. 前記信号対雑音比調整回路(100)は、さらに、画像化コンテンツの前記変化を特定するために、前記第3画像とは異なる画像特性を有する第1画像および第2画像を使用するように構成されている、
    請求項1または2記載の信号対雑音比調整回路(100)。
  4. 前記第1画像および前記第2画像は、白色光画像である、
    請求項1から3までのいずれか1項記載の信号対雑音比調整回路(100)。
  5. 前記信号対雑音比調整回路(100)は、さらに、複数の画像を含むビデオシーケンスを受信するように構成された入力インタフェースを有する、
    請求項1から4までのいずれか1項記載の信号対雑音比調整回路(100)。
  6. 前記信号対雑音比調整回路(100)は、前記第3画像として蛍光画像を生成するように構成されている、
    請求項1から5までのいずれか1項記載の信号対雑音比調整回路(100)。
  7. 前記信号対雑音比調整回路(100)は、さらに、前記信号対雑音比が前記第1閾値を下回っている場合かつ前記変化が第2閾値を上回っている場合に、増大された前記信号対雑音比を有する第3画像を生成しないように構成されている、
    請求項1から6までのいずれか1項記載の信号対雑音比調整回路(100)。
  8. 蛍光カメラ(230)と、ディスプレイ(220)と、請求項1から7までのいずれか1項記載の信号対雑音比調整回路(210)と、を有する、
    顕微鏡システム。
  9. 信号対雑音比調整方法であって、
    第1画像の信号対雑音比が第1閾値を下回っているか否かを特定するステップ(310)と、
    ビデオシーケンスの前記第1画像と先行する第2画像との間の画像化コンテンツの変化が、第2閾値を下回っているか否かを特定するステップ(320)と、
    前記信号対雑音比が前記第1閾値を下回っている場合かつ前記変化が前記第2閾値を下回っている場合に、前記第1画像または前記第2画像と比べて増大された信号対雑音比を有する第3画像を生成するステップ(330)と、
    を有し、
    前記第3画像を生成するステップは、前記第3画像を形成するために少なくとも2つの画像を結合するステップを含み、
    前記少なくとも2つの画像を結合するステップは、
    前記少なくとも2つの画像についてのピクセル値の統計分布を計算することと、
    前記統計分布に基づいて前記少なくとも2つの画像を結合することと、
    を含む、
    信号対雑音比調整方法。
  10. 前記信号対雑音比調整方法は、さらに、前記第3画像とは異なる画像特性を有する第1画像および第2画像を使用して、画像化コンテンツの前記変化を特定するステップ(320a)を有する、
    請求項9記載の信号対雑音比調整方法。
  11. プロセッサ上で実行されるときに、請求項9または10に記載された方法を実施させるプログラムコードを有するコンピュータプログラム。
JP2020073648A 2019-04-17 2020-04-16 信号対雑音比調整回路、信号対雑音比調整方法および信号対雑音比調整プログラム Active JP6985450B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP19169859 2019-04-17
EP19169859.6A EP3726459B1 (en) 2019-04-17 2019-04-17 Signal to noise ratio adjustment circuit, signal to noise ratio adjustment method and signal to noise ratio adjustment program

Publications (2)

Publication Number Publication Date
JP2020177669A JP2020177669A (ja) 2020-10-29
JP6985450B2 true JP6985450B2 (ja) 2021-12-22

Family

ID=66448302

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020073648A Active JP6985450B2 (ja) 2019-04-17 2020-04-16 信号対雑音比調整回路、信号対雑音比調整方法および信号対雑音比調整プログラム

Country Status (4)

Country Link
US (1) US11379954B2 (ja)
EP (1) EP3726459B1 (ja)
JP (1) JP6985450B2 (ja)
CN (1) CN111866308B (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11709155B2 (en) 2017-09-18 2023-07-25 Waters Technologies Corporation Use of vapor deposition coated flow paths for improved chromatography of metal interacting analytes
US11709156B2 (en) 2017-09-18 2023-07-25 Waters Technologies Corporation Use of vapor deposition coated flow paths for improved analytical analysis
US11918936B2 (en) 2020-01-17 2024-03-05 Waters Technologies Corporation Performance and dynamic range for oligonucleotide bioanalysis through reduction of non specific binding

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5561611A (en) * 1994-10-04 1996-10-01 Noran Instruments, Inc. Method and apparatus for signal restoration without knowledge of the impulse response function of the signal acquisition system
JP3731814B2 (ja) * 2001-05-07 2006-01-05 富士写真フイルム株式会社 蛍光画像表示装置
US7199823B2 (en) * 2001-06-18 2007-04-03 Olympus Optical Co., Ltd. Method and apparatus for improving live view performance of an image pickup apparatus for a microscope
US7599536B2 (en) * 2004-07-30 2009-10-06 Brainlab Ag Optimizing image signal interpretation for analog image signals from medical image recording devices
FR2884341B1 (fr) * 2005-04-11 2008-05-02 Gen Electric Procede et systeme d'amelioration d'une image digitale generee a partir d'un detecteur de rayons x
US20070165961A1 (en) * 2006-01-13 2007-07-19 Juwei Lu Method And Apparatus For Reducing Motion Blur In An Image
JP2007288595A (ja) * 2006-04-18 2007-11-01 Pioneer Electronic Corp フレーム巡回型ノイズ低減装置
US20080002907A1 (en) * 2006-06-29 2008-01-03 Microvision, Inc. Auto-exposure using image characterstics
WO2008136771A1 (en) * 2007-05-02 2008-11-13 Agency For Science, Technology And Research Motion compensated image averaging
US20090059039A1 (en) * 2007-08-31 2009-03-05 Micron Technology, Inc. Method and apparatus for combining multi-exposure image data
US8570386B2 (en) * 2008-12-31 2013-10-29 Stmicroelectronics S.R.L. Method of merging images and relative method of generating an output image of enhanced quality
US8963949B2 (en) 2009-04-22 2015-02-24 Qualcomm Incorporated Image selection and combination method and device
US8526754B2 (en) * 2009-05-28 2013-09-03 Aptina Imaging Corporation System for enhancing depth of field with digital image processing
JP5870264B2 (ja) * 2010-11-08 2016-02-24 パナソニックIpマネジメント株式会社 撮像装置、撮像方法、プログラム、および集積回路
JP6057890B2 (ja) * 2011-02-21 2017-01-11 オリンパス株式会社 蛍光観察装置
DE102011013614A1 (de) * 2011-03-08 2012-09-13 Carl Zeiss Microimaging Gmbh Laser-Scanning-Mikroskop und Verfahren zu seinem Betrieb
EP2518687B1 (en) * 2011-04-26 2013-04-24 FEI Company Method for determining a reconstructed image using a particle-optical apparatus
US9270875B2 (en) * 2011-07-20 2016-02-23 Broadcom Corporation Dual image capture processing
JP5742541B2 (ja) 2011-07-25 2015-07-01 富士通株式会社 画像処理装置および画像処理プログラム
US8929017B2 (en) * 2011-12-12 2015-01-06 Lsi Corporation Systems and methods for SNR measurement using equalized data
US8964089B2 (en) * 2012-05-09 2015-02-24 Canon Kabushiki Kaisha Systems and methods for simulated preview for preferred image exposure
FR3009394B1 (fr) * 2013-07-31 2016-12-23 Dxo Labs Dispositif pour la prise de vue en basse lumiere apte a se connecter a un dispositif de type telephone mobile
US9432589B2 (en) * 2013-08-15 2016-08-30 Omnivision Technologies, Inc. Systems and methods for generating high dynamic range images
FR3013876B1 (fr) * 2013-11-28 2016-01-01 Sagem Defense Securite Analyse d'une image multispectrale
CN103888689B (zh) * 2014-03-13 2017-10-31 北京智谷睿拓技术服务有限公司 图像采集方法及图像采集装置
US10027986B2 (en) * 2014-09-24 2018-07-17 Integrated Device Technology, Inc. Apparatuses and methods for filtering noise from a video signal
US9754360B2 (en) * 2014-12-22 2017-09-05 The Research Foundation For The State University Of New York Determination of spatial distribution of charged particle beams
US10440355B2 (en) * 2015-11-06 2019-10-08 Facebook Technologies, Llc Depth mapping with a head mounted display using stereo cameras and structured light
US10341565B2 (en) * 2016-05-10 2019-07-02 Raytheon Company Self correcting adaptive low light optical payload
US10891719B2 (en) * 2016-05-11 2021-01-12 Cornell University Systems, methods and programs for denoising signals using wavelets
WO2017214730A1 (en) * 2016-06-14 2017-12-21 Novadaq Technologies Inc. Methods and systems for adaptive imaging for low light signal enhancement in medical visualization
JP2018006993A (ja) 2016-06-30 2018-01-11 株式会社ニコン 画像処理装置、撮像システムおよび撮像装置
WO2019026189A1 (ja) * 2017-08-01 2019-02-07 オリンパス株式会社 撮像装置および制御方法
TWI646842B (zh) * 2017-09-11 2019-01-01 晨星半導體股份有限公司 應用於顯示裝置的電路及相關的訊號處理方法
EP3588430A1 (en) * 2018-06-27 2020-01-01 Leica Microsystems CMS GmbH Image processing apparatus and method for enhancing a phase distribution
EP3624047B1 (en) * 2018-09-14 2022-08-10 Leica Microsystems CMS GmbH Deconvolution apparatus and method using a local signal-to-noise ratio

Also Published As

Publication number Publication date
US11379954B2 (en) 2022-07-05
US20200334792A1 (en) 2020-10-22
CN111866308A (zh) 2020-10-30
EP3726459A1 (en) 2020-10-21
EP3726459B1 (en) 2022-02-16
CN111866308B (zh) 2023-06-16
JP2020177669A (ja) 2020-10-29

Similar Documents

Publication Publication Date Title
JP6985450B2 (ja) 信号対雑音比調整回路、信号対雑音比調整方法および信号対雑音比調整プログラム
US9413951B2 (en) Dynamic motion estimation and compensation for temporal filtering
US9514525B2 (en) Temporal filtering for image data using spatial filtering and noise history
CN109565551B (zh) 对齐于参考帧合成图像
US8508605B2 (en) Method and apparatus for image stabilization
US9479695B2 (en) Generating a high dynamic range image using a temporal filter
CN101155265B (zh) 补偿图像亮度的系统、介质和方法
JP2013031174A (ja) 多重露出フュージョン基盤でゴーストブラーを除去したhdr映像生成装置及び方法
JP2010286488A (ja) 映像処理装置および方法
JP6711396B2 (ja) 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
CN111385484B (zh) 信息处理方法和装置
Gryaditskaya et al. Motion aware exposure bracketing for HDR video
JP2015043495A (ja) 画像処理装置、撮像装置、画像処理方法、およびプログラム
US20200021736A1 (en) Signal processing circuit and imaging apparatus
EP3953896A1 (en) High-dynamic-range image generation with pre-combination denoising
JP2010004266A (ja) 動き適応型ノイズ低減装置、画像信号処理装置、画像入力処理装置、および、動き適応ノイズ低減方法
CN113259594A (zh) 图像处理方法及装置、计算机可读存储介质、终端
US20100103191A1 (en) Locus smoothing method and navigation device using the same
JP2015088832A (ja) 画像処理装置、撮像装置、および画像処理方法
JP2019168862A5 (ja)
JP2016201084A (ja) 画像処理装置及びコンピュータ可読記憶媒体
JP2012068733A (ja) 画像処理装置および画像処理プログラム
JP2015179426A (ja) 情報処理装置、パラメータの決定方法、及びプログラム
US9374526B2 (en) Providing frame delay using a temporal filter
JP2014171133A (ja) 撮像装置、撮像システムおよび撮像方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200416

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210422

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210524

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210823

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211027

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211125

R150 Certificate of patent or registration of utility model

Ref document number: 6985450

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150