JP7382090B1 - 迅速なノイズ抑制コントラスト強調のためのｇｐｕ高速化データ処理方法 - Google Patents

Abstract

【課題】本開示は、データ処理方法に関し、より具体的には、線形又は非線形の光学顕微鏡画像への適用において、迅速なノイズ抑制とコントラスト強調を可能にするためのデジタル画像処理方法に関する。【解決手段】本開示の方法は、選択的なレーザーオン及びレーザーオフ状態にデジタル的に類似する手段によって、ハードウェアベースのフィードバック動作する適応／制御型照明技術をデジタル的に再現するものであり、信号強度を選択的に最適化し、最も明るい構造の飽和をほとんど防止しつつ、弱い強度の形態の可視性を最適化することができる。【選択図】図１

Description

特許法第３０条第２項適用 （１）２０２２年１月１４日 ウェブサイト ｈｔｔｐｓ：／／ｄｏｉ．ｏｒｇ／１０．１０１６／ｊ．ｉｓｃｉ．２０２２．１０３７７３ ｈｔｔｐｓ：／／ｗｗｗ．ｃｅｌｌ．ｃｏｍ／ｉｓｃｉｅｎｃｅ／ｆｕｌｌｔｅｘｔ／Ｓ２５８９－００４２（２２）０００４３－８？＿ｒｅｔｕｒｎＵＲＬ＝ｈｔｔｐｓ％３Ａ％２Ｆ％２Ｆｌｉｎｋｉｎｇｈｕｂ．ｅｌｓｅｖｉｅｒ．ｃｏｍ％２Ｆｒｅｔｒｉｅｖｅ％２Ｆｐｉｉ％２ＦＳ２５８９００４２２２０００４３８％３Ｆｓｈｏｗａｌｌ％３Ｄｔｒｕｅにて公開 （２）２０２２年２月１８日 ウェブサイト ｈｔｔｐｓ：／／ｗｗｗ．ｃｅｌｌ．ｃｏｍ ｈｔｔｐｓ：／／ｗｗｗ．ｃｅｌｌ．ｃｏｍ／ｉｓｃｉｅｎｃｅ／ｈｏｍｅ ｈｔｔｐｓ：／／ｗｗｗ．ｃｅｌｌ．ｃｏｍ／ｉｓｃｉｅｎｃｅ／ｉｓｓｕｅｓ ｈｔｔｐｓ：／／ｗｗｗ．ｃｅｌｌ．ｃｏｍ／ｉｓｃｉｅｎｃｅ／ｉｓｓｕｅ？ｐｉｉ＝Ｓ２５８９－００４２（２２）Ｘ０００２－３ ｈｔｔｐｓ：／／ｗｗｗ．ｃｅｌｌ．ｃｏｍ／ｉｓｃｉｅｎｃｅ／ｆｕｌｌｔｅｘｔ／Ｓ２５８９－００４２（２２）０００４３－８ ｈｔｔｐｓ：／／ｗｗｗ．ｃｅｌｌ．ｃｏｍ／ｉｓｃｉｅｎｃｅ／ｐｄｆ／Ｓ２５８９－００４２（２２）０００４３－８．ｐｄｆにて公開

本発明は、データ処理方法に関するものであり、具体的には、迅速なノイズ抑制コントラスト強調のためのデジタル画像処理方法に関するものである。

光学的な神経細胞のイメージングは、研究者らが、脳機能及び機能不全だけではなく、様々な神経系の障害を調査するのに役立つ。神経細胞の構造は、通常、構造的テクスチャー及び信号強度分布に著しい変化を示す。例えば、神経細胞をイメージングする場合、細胞体 （すなわち、神経細胞体）は、１ミクロンよりもさらに薄いであろう隣接繊維構造 （すなわち、軸索及び樹状突起）よりも桁違いに高輝度であることがしばしば観察される。実際のところ、神経細胞のイメージングは、十分に広い信号強度分布をもたらす。高度な最先端の取得及び表示システムが採用されたとしても、ダイナミックレンジが限られているために、情報を犠牲にすることなく全ての神経細胞の詳細をデジタル化して視覚化することは困難である場合が多い。これに加えて、様々な光学的、電気的及びその他の環境要因がバックグラウンドノイズを増大させ、この結果、超微細な神経細胞構造から発生する弱い強度の信号を著しく劣化させ、最終的には、このような構造の信号対ノイズ比（ＳＮＲ）及びコントラスト比の両方を低下させる。

弱い強度の信号構造における従来のコントラスト強調法では、最も明るい構造が飽和してしまい、ＳＮＲをさらに劣化させるノイズ増幅の問題を引き起こすおそれがある。

適応／制御型照明（adaptive/controlled illumination）は、レーザ励起パワーを調整することによって、信号強度のリアルタイムの局所最適化を可能にする有望な技術である。しかし、適応型照明には、専用のハードウェアのセットアップが必要であり、電子応答が遅いため、有効な帯域幅が貧弱であり、このため、特に、拡張された視野にわたる高いデジタル解像度をターゲットとする場合に、デジタル解像度の不可逆的損失（エイリアシング）が生じる可能性がある。これに加えて、適応型照明では、弱い強度の信号構造を局所的に強化しつつ、依然としてノイズが増幅されてしまうことがある。

米国特許第９６３９９１５号明細書に開示される画像処理方法は、画像内の複数の画素のそれぞれのためのノイズ低減フィルタを含む。ノイズ低減フィルタは、対応する画素、複数の画素間に引き起こされるノイズ効果の異なるレベルに基づいて、画像の線状ノイズモデルに従うように構成される。ノイズ効果の異なるレベルは、他の画素、複数の画素間、及び隣接して対応する画素によって引き起こされる。この方法は、ノイズが低減された画像を得るために、複数の画素のそれぞれにノイズ低減フィルタを使用することにより、複数の画素のそれぞれにノイズ低減フィルタリングを実行することをさらに含む。

米国特許第８４１７０５０号明細書では、静止画像又はビデオシーケンスのような信号内の多数のスケール又は解像度のそれぞれで強力なフィルタリングを採用する。特定の実施形態では、強力なフィルタリングは、各スケールで、ノイズ除去され、シャープ化され、コントラスト強調された信号と、補正信号との両方を生成するための各スケールでの非線形近傍演算からなり、又はこれを含む。

これまでに非常に多くのアナログ／デジタル信号処理方法が提案されたが、既存のハードウェアベースのアナログ技術は、動作するための専用のハードウェア構成を必要とし、これはコスト及び複雑さを増大させる。電子的な制限のために応答が遅くなると、有効な帯域幅が低下し、エイリアシングが発生する可能性がある。ハードウェアベースの方法とは別に、既存のソフトウェアベースのコントラスト強調アルゴリズムは、望ましくないノイズ増幅を生じることが多く、信号対ノイズ比が低下し、及び画像内の最も明るい構造を飽和させることが多い。

したがって、最も明るい構造を飽和させず、バックグラウンドノイズを増幅させることなく、弱い信号構造の可視性を改善することを支援するために、光学線形及び非線形画像化モダリティに適用することが可能な、ノイズ補償されたデジタル式のコントラスト強調技術を導入することが必要である。

米国特許第９６３９９１５号明細書 米国特許第８４１７０５０号明細書

本発明の目的は、専用のハードウェアを使用せずに、ハードウェアベースの適応/制御照明技術を再現することが可能であり、光学顕微鏡画像における弱い強度の構造のコントラスト比を選択的に向上させることができ、明るい強度の構造にあまり影響を与えない、デジタル方法を提供することである。この方法は、効率的なバックグラウンドノイズの抑制と、これに続く局所的な強度の増大とを行う。

第１に、本発明は、迅速なノイズ抑圧とコントラスト強調とを行うためのデータ処理方法を提供する。このデータ処理方法は、以下のステップを実行するようにグラフィック処理装置又は中央処理装置を構成することを含む。
ｉ）第１の幅及び第１の高さを有し、所定のビット深度を有する複数の画素又はデータポイントを含み、ビット深度を２乗して１をマイナスすることで最大画素値又は最大画素強度を得ることを可能な入力画像を取得するステップ。
ｉｉ）前記入力画像に対して第１の画素ビニング又は第１の補間処理を実行し、第１のリダクション係数によって前記入力画像をリサイズし、前記第１のリダクション係数によって前記第１の幅よりも狭い第２の幅と、前記第１のリダクション係数によって前記第１の高さよりも低い第２の高さと、を有する第１のリサイズ画像を生成するステップ。
ｉｉｉ）前記第１のリサイズ画像に対して第１のローパスフィルタリング処理を実行し、第１のぼかし画像を取得するステップ。
ｉｖ）前記第１のぼかし画像に対して第２の補間処理を実行し、前記第１のぼかし画像を前記第２の幅及び前記第２の高さからアップスケールし、前記第１の幅及び前記第１の高さを有する第２のリサイズ画像を取得するステップ。
ｖ）前記第２のリサイズ画像に対して第１の所定値を分割するための分割処理を実行し、第１の分割レイヤー画像を取得するステップ。
ｖｉ）閾値処理を実行し、前記第１の分割レイヤー画像をユーザ定義の閾値でトランケートし、第１の増幅レイヤー画像を取得するステップ。
ｖｉｉ）前記入力画像に対して第１の増幅処理を実行し、前記第１の増幅レイヤー画像によって前記入力画像を乗算し、第１の増幅画像を生成するステップ。
ｖｉｉｉ）前記第１の増幅画像に対して第２の画素ビニング又は第３の補間処理を実行し、第２のリダクション係数によって第１の増幅画像をリサイズし、前記第２のリダクション係数によって前記第１の幅よりも狭い第３の幅と、前記第２のリダクション係数によって前記第１の高さよりも低い第３の高さと、を有する第３のリサイズ画像を生成するステップ。
ｉｘ）前記第３のリサイズ画像に対して第２のローパスフィルタリング処理を実行し、第２のぼかし画像を取得するステップ。
ｘ）前記第２のぼかし画像に対して第４の補間処理を実行し、前記第２のぼかし画像を前記第３の幅及び前記第３の高さからアップスケールし、前記第１の幅及び前記第１の高さを有する第４のリサイズ画像を取得するステップ。
ｘｉ）前記第４のリサイズ画像及び前記第１の増幅画像に対して第１の減算処理を実行し、前記第４のリサイズ画像から前記第１の増幅画像を減算し、第１の減算画像を生成するステップ。
ｘｉｉ）前記第１の減算画像に対して第３のローパスフィルタリング処理を実行し、第３のぼかし画像を取得するステップ。
ｘｉｉｉ）前記第１の増幅レイヤー画像に対して第２の減算処理を実行し、前記ユーザ定義の閾値を超える第２の所定値から前記第１の増幅レイヤー画像を減算し、第２の減算画像又は第２の増幅レイヤー画像を取得するステップ。
ｘｉｖ）前記第３のぼかし画像に対して第２の増幅処理を実行し、前記第２の増幅レイヤー画像によって前記第３のぼかし画像を乗算し、第２の増幅画像を生成するステップ。
ｘｖ）前記入力画像及び前記第２の増幅画像に対して第３の減算処理を実行し、前記入力画像から前記第２の増幅画像を減算し、第３の減算画像を取得するステップ。
ｘｖｉ）前記第１の増幅レイヤー画像に対して一連の演算処理を実行し、第３の増幅レイヤー画像を取得するステップ。
ｘｖｉｉ）前記第３の減算画像に対して第３の増幅処理を実行し、前記第３の増幅レイヤー画像によって前記第３の減算画像を乗算し、第３の増幅画像、又はノイズ抑制・コントラスト強調された出力画像を生成するステップ。

好ましい実施形態では、前記第１の補間処理、前記第２の補間処理、前記第３の補間処理、及び前記第４の補間処理が、バイリニアである。

好ましい実施形態では、前記第１の画素ビニング又は前記第１の補間処理における前記第１のリダクション係数が、１０である。

好ましい実施形態では、前記第１のローパスフィルタリング処理が、２９×２９の第１のカーネルサイズを有するガウシアンカーネルを使用してコンボリューションを実行するガウシアンぼかし操作を含む。

好ましい実施形態では、前記第１のぼかし画像に対して加算処理が実行され、前記第２の補間処理を実行する前に、前記第１のぼかし画像に非ゼロ数が加算される。

好ましい実施形態では、前記分割処理における前記第１の所定値が、最大画素強度の９０％である。

好ましい実施形態では、前記閾値処理における前記ユーザ定義の閾値が、３．０～８．０の範囲内であり、浮動小数点を適用することが可能である。

好ましい実施形態では、前記第２の画素ビニング又は前記第３の補間処理における前記第２のリダクション係数が、３である。

好ましい実施形態では、前記第２のローパスフィルタリング処理が、２９×２９の第２のカーネルサイズを有するガウシアンカーネルを使用してコンボリューションを実行するガウシアンぼかし操作を含む。

好ましい実施形態では、前記第３のローパスフィルタリング処理が、７×７の第３のカーネルサイズを有するガウシアンカーネルを使用してコンボリューションを実行するガウシアンぼかし操作を含む。

好ましい実施形態では、前記第２の減算処理における前記第２の所定値が、前記ユーザ定義の閾値の１．２５倍である。

好ましい実施形態では、前記第３の増幅レイヤー画像を取得するための前記第１の増幅レイヤー画像に対する前記一連の演算処理が、
第１に、４の分割係数によって前記第１の増幅レイヤー画像を分割し、第２の分割レイヤー画像を取得することと、
第２に、前記第２の分割レイヤー画像を２乗して、モディファイされた分割レイヤー画像を取得することと、
第３に、前記モディファイされた分割レイヤー画像に０．９の値を加算し、第３の増幅レイヤー画像を取得することと、を含む。

本発明のデータ処理方法は、専用のハードウェアを使用せずに、ハードウェアベースの適応/制御照明技術を再現することが可能であり、光学顕微鏡画像における弱い強度の構造のコントラスト比を選択的に向上させることができ、明るい強度の構造にあまり影響を与えない。この方法によれば、効率的なバックグラウンドノイズの抑制と、これに続く局所的な強度の増大とを行うことができる。

図１は、本発明によるデータ処理方法の手順を示すブロック図である。 図２は、増幅レイヤー準備処理を示すフローチャートである。 図３は、ノイズ抑制処理を示すフローチャートである。 図４は、局所ブースト処理を示すフローチャートである。 図５（ａ）～（ｄ）は、複数の入力画像とそれぞれの処理後画像とを比較するデモンストレーションの図である。 図６は、α_ｍａｘの単一パラメータ制御のデモンストレーションの図である。 図７は、本開示におけるデータ処理方法の平均処理時間を示す時間計算量プロットである。 図８は、画像取得及び処理システムを示すブロック図である。 図９は、本発明による画像取得及び処理システムの手順の詳細を示すブロック図である。

当業者が本開示をより深く理解するために、本開示の実施形態における技術的な解決策は、本開示の実施形態における添付の図面を参照し、以下に明確かつ完全に説明される。

本明細書で使用される用語は、特定の実施形態を説明することのみを目的としており、本発明を限定することを意図するものではない。本明細書で使用される単数形の記載は、文脈に別段の明示がない限り、複数の場合も含むものとする。さらに、本明細書で使用される「を含む」及び／又は「を含んだ」の用語は、記載された機能、整数、手順、操作、要素及び／又は構成を特定するが、１つ以上の他の機能、整数、手順、操作、要素、構成及び／又はこれらの集合の存在又は付加を排除するものではない。

図面に示される例示的な実施形態を説明する際に、特定の用語を使用してその意味を明確にした。しかし、本開示は、そのように選択された特定の用語に限定されるものではなく、特定の要素のそれぞれが、同様の構造を有し、同様の方法で操作し、又は同様の結果を達成する全ての技術的等価物を含むものと理解されなければならない。

以下の説明において、例示的な実施形態は、特定のタスクを実行するか又は特定の抽象データ型を実行するルーチン、プログラム、オブジェクト、コンポーネント、データ構造等を含むプログラムモジュール又は機能プロセスとして実施することができ、既存のハードウェア、ネットワーク要素又は制御ノードを使用して実行することができる操作の動作及び象徴的な表現（例えば、フローチャートの形で）を参照して説明する。そのような既存のハードウェアには、中央処理装置 （ＣＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレー （ＦＰＧＡ）、コンピュータ等が含まれる。これらの用語は、一般的にプロセッサと総称されることがある。

特に明記しない限り、又は論旨から明らかなように、「処理する」、「演算する」、「算出する」、「決定する」又は「表示する」などの用語は、コンピュータシステム、又はコンピュータシステムのレジスタ及びメモリ内の物理的、電子的量として表されるデータを操作し、コンピュータシステムのメモリ又はレジスタ内の物理的量として同様に表される他のデータ、又はその他の情報記憶、送信、又は表示デバイス内の物理的な電子量として表されるデータの操作及び変換を行うコンピュータシステム、又は同様の電子計算機の動作及び処理を意味する。

本発明によれば、カスタム開発された多光子光学顕微鏡（ＭＰＭ）システムを用いた複数の励起波長で、視野（ＦＯＶ）が広くナイキスト条件を満たす（エリアシングなし）脳／神経細胞構造の２光子蛍光イメージングの手段によって、入力画像が取得される。本発明の開示された方法は、強いノイズバックグラウンドによって汚染された弱い強度の超微細な神経細胞構造を良好に回収する。開示された方法は、信号対ノイズ比（ＳＮＲ）、信号対バックグラウンドノイズ比（ＳＢＲ）及びコントラスト比を同時に改善することを可能とする。エヌビディア（登録商標）コーポレーションのＣｏｍｐｕｔｅｒ Ｕｎｉｆｉｄｅ Ｄｅｖｉｃｅ Ａｒｃｈｉｔｅｃｔｕｒｅ（ＣＵＤＡ）に支援された画像処理装置（ＧＰＵ）の高速化を活用することによって、開示された方法は、典型的な１０００×１０００サイズの１６ビット符号なし画像に対して３ｍｓ未満の時間計算量を可能とする。

＜本発明の開示されたデータ処理法＞
図１は、本開示の一実施形態によるデータ処理方法の概要を示す。図２は、本開示の一実施形態による第１の増幅レイヤー画像を取得するための処理のフローチャートを示す。図３は、本開示の一実施形態によるノイズ抑制処理のフローチャートを示す。図４は、本開示の一実施形態による局所ブースト処理のフローチャートを示す。

図１に示されるように、入力画像である「入力」に対して、増幅レイヤー準備処理Ｓ０１を実行し、第１の増幅レイヤーＬＡＹ１を取得する。第１の増幅レイヤーＬＡＹ１に対して、ノイズ抑制処理Ｓ０２を実行し、ノイズ抑制バージョンＳＵＢ３を取得する。ノイズ抑制バージョンＳＵＢ３に対して、局所ブースト処理Ｓ０３を実行し、処理済みの画像を「出力」として取得する。

「入力」は、ノイズで汚染された低コントラストの１６ビット画像であり、Ｒ×Ｃ画素を有するｆ（ｒ，ｃ）と表記することができる。ここで、ｒ及びｃは、それぞれ行（ｒｏｗ）及び列（ｃｏｌｕｍｎ）の位置を表わす。

処理Ｓ０１では、まず、ｆ（ｒ，ｃ）に対する１０倍のダウンスケールを行い、ｒ^／，ｃ^／の画素数を減少させた第１のリサイズ画像ｆ^Ｄ（ｒ^／，ｃ^／）を取得する。下記の数式（１）及び図２中の「ＲＥＳ１」を参照されたい。Ｒ^／×Ｃ^／画素の画像の全てにおいて、ｒ^／及びｃ^／は、それぞれ行及び列の位置を表わす。ｆ^Ｄ（ｒ^／，ｃ^／）に対して、２９×２９カーネルのガウシアンぼかしでローパスフィルターを掛け、第１のぼかし画像を生成する。図２中の「ＢＬＲ１」を参照されたい。次の処理におけるゼロ除算を防止するために、「ＢＬＲ１」のそれぞれの画素に１．０を加算する。下記の数式（２）のｌ（ｒ^／，ｃ^／）、及び図２中の「ＡＤＤ」を参照されたい。バイリニア補間によって、ｌ（ｒ^／，ｃ^／）をリサイズしてＲ×Ｃ画素に戻し、第２のリサイズ画像を生成する。下記の数式（３）のｌ^Ｕ（ｒ，ｃ）、図２中の「ＲＥＳ２」を参照されたい。ここで、ｌ^Ｕ（ｒ，ｃ）の画素値の逆数を、最大許容強度の９０％、つまり、１６ビット画像の場合は０．９×（２^１６－１）で乗算し、第１の分割レイヤー画像を生成する。下記の数式（４）のｄ（ｒ，ｃ）及び図２中の「ＤＩＶ」を参照されたい。ユーザ定義の閾値α_ｍａｘ以上のｄ（ｒ，ｃ）の画素値をそれぞれα_ｍａｘ’にトランケートし、第１の増幅レイヤー画像を生成する。下記の数式（５）のα（ｒ，ｃ）、図２中の「ＬＡＹ１」を参照されたい。「ＬＡＹ１」は、その後のノイズ抑制処理Ｓ０２において使用される。本実施形態では、ユーザ定義の閾値α_ｍａｘは、３．０～８．０の範囲内であり、浮動小数点を適用することが可能である。

処理Ｓ０２では、まず、「入力」又はｆ（ｒ，ｃ）を「ＬＡＹ１」又はα（ｒ，ｃ）によって画素ごとに乗算し、第１の増幅画像を生成する。図３中の「ＡＮＰ１」、及び下記の数式（６）のｇ（ｒ，ｃ）を参照されたい。ｇ（ｒ，ｃ）は、３倍のダウンスケールで適用され、第３のリサイズ画像を生成する。図３中の「ＲＥＳ３」、及び下記の数式（７）のｇ^Ｄ（ｒ^／／，ｃ^／／）を参照されたい。ｒ^／／及びｃ^／／は、それぞれ行及び列の位置を表わす。ｇ^Ｄ（ｒ^／／，ｃ^／／）は、Ｒ^／／×Ｃ^／／の画素数を減少させたものである。ｇ^Ｄ（ｒ^／／，ｃ^／／）に対して、２９×２９カーネルガウシアンぼかしでローパスフィルタを掛け、第２のぼかし画像を生成する。図３中の「ＢＬＲ２」、及び下記の数式（８）のＬ（ｒ^／／，ｃ^／／）を参照されたい。バイリニア補間によって、Ｌ（ｒ^／／，ｃ^／／）をリサイズしてＲ×Ｃ画素に戻し、第４のリサイズ画像を生成する。図３中の「ＲＥＳ４」、及び下記の数式（９）のＬ^Ｕ（ｒ，ｃ）を参照されたい。Ｌ^Ｕ（ｒ，ｃ）からｇ（ｒ，ｃ）を減算し、第１の減算画像を生成する。図３中の「ＳＵＢ１」を参照されたい。ＳＵＢ１に対して、７×７カーネルガウシアンぼかしでローパスフィルタを掛け、第３のぼかし画像を生成する。図３中の「ＢＬＲ３」、及び下記の数式（１０）のＬ^／（ｒ，ｃ）を参照されたい。α（ｒ，ｃ）に対して、［１．２５×α_ｍａｘ－α（ｒ，ｃ）］の減算操作を実行し、第２の減算画像又は第２の増幅レイヤー画像を生成する。図３中の「ＳＵＢ２」又は「ＬＡＹ２」を参照されたい。続いて、Ｌ^／（ｒ，ｃ）又はＢＬＲ３をＳＵＢ２又はＬＡＹ２によって画素ごとに乗算し、第２の増幅画像を生成する。図３中の「ＡＭＰ２」を参照されたい。ｆ（ｒ，ｃ）又は「入力」からＡＭＰ２を減算し、第３の減算画像を取得する。図３中の「ＳＵＢ３」、及び下記の数式（１１）のＳ（ｒ，ｃ）を参照されたい。ＳＵＢ３又はＳ（ｒ，ｃ）は、「入力」又はｆ（ｒ，ｃ）のノイズ抑制バージョンであり、その後の局所ブースト処理Ｓ０３において使用される。

処理Ｓ０３では、ＬＡＹ１又はα（ｒ，ｃ）に対して、［Ｘ＋｛α（ｒ，ｃ）／Ｙ｝^ｎ］として与えられる一連の演算操作を実行し、第３の増幅レイヤー画像を生成する。図４中の「ＬＡＹ３」を参照されたい。一実施形態では、Ｘ、Ｙ及びｎの値は、それぞれ０．９、４．０、２．０を選択する。第３の減算画像はＳ（ｒ，ｃ）であり、ＳＵＢ３でもあるが、これをＬＡＹ３で画素ごとに乗算し、第３の増幅画像、又はノイズ抑制・コントラスト強調された出力画像を生成する。図４中の「出力」、及び下記の数式（１２）のＦ（ｒ，ｃ）を参照されたい。

「入力」中の高強度領域は、ＬＡＹ３中の対応する領域で１に近い値になるため、ＳＵＢ３をＬＡＹ３で乗算した場合に、「出力」中における飽和を防止することができる。一方、「入力」中の低強度領域は、ＬＡＹ３中の対応する領域で１より大きい値になるため、ＳＵＢ３をＬＡＹ３で乗算した場合に、「出力」の低強度領域が局所的に強調される。

本開示のデータ処理方法の適用は、Ｎａｖ１．８－ｔｄＴｏｍａｔｏ－陽性マウスの後根神経節（ＤＲＧ）の切片、及びＴｈｙ１－ＧＦＰ－陽性マウスの大脳皮質領域の２光子励起蛍光（ＴＰＥＦ）画像でデモンストレーションされる。ＤＲＧの切片は、高輝度の体細胞及び低強度の細い軸索線維で構成され、大脳皮質領域は、軸索、樹状突起、及び樹状突起棘で構成される。ＴＰＥＦイメージングは、Ｎａｖ１．８－ｔｄＴｏｍａｔｏ及びＴｈｙ１－ＧＦＰ－陽性検体について、それぞれ１０７０ｎｍ及び９１９ｎｍ（７０ＭＨｚ、＜６０ｆｓ、＜４０ｍＷの平均励起出力）の中心励起波長で実行される。

図５（ａ）及び（ｃ）は、Ｎａｖ１．８－ｔｄＴｏｍａｔｏ及びＴｈｙ１－ＧＦＰ検体の２つのＴＰＥＦ画像を示すものであり、それぞれ１５０μｍのスケールバーが付いている。図５（ａ）及び（ｃ）は両方とも、ＳＮＲ、ＳＢＲ及びコントラスト比が低いことを示す。図５（ａ）の画像ではα_ｍａｘ＝８．０、及び図５（ｃ）の画像はα_ｍａｘ＝６．０に調整した後、本発明の開示されたデータ処理方法を適用した。処理された画像を図５（ｂ）及び（ｄ）にそれぞれ示す。本開示のデータ処理方法は、それぞれのケースに有意な画質改善をもたらしている。

図６は、図５（ａ）及び（ｃ）からそれぞれ取得したＮａｖ１．８－ｔｄＴｏｍａｔｏ画像の２つの対象領域（ＲＯＩ）と、Ｔｈｙ１－ＧＦＰ画像の２つの対象領域とを示すものであり、α_ｍａｘの効果を定量的に視覚化することを目的とする。最初の行、つまり、図６中の「ＩＮＰ」は、未処理の２つの対象領域を示している。後続の行は、３．０～８．０まで変化する様々なα_ｍａｘの値で処理された対象領域を順番に示している。

図７は、入力画像サイズ（１６ビット、符号なしフォーマット）に関して、開示されたデータ処理方法のための平均処理時間をミリ秒単位でプロットしたものである。平均処理時間には、ホストからＧＰＵに未処理の入力画像をアップロードすること、ＧＰＵにアップロードされた画像を処理すること、及び処理された出力画像をＧＰＵからホストにダウンロードすることが含まれる。上から１番目の曲線（正方形ブロックが付いた曲線）は、従来のＣＰＵであるｉ７－９８００Ｘを介した平均処理時間をプロットしたものであり、１０，０００×１０，０００画素の１６ビット入力画像に対して最大２０００ｍｓを消費する。２番目及び３番目の曲線（三角形が付いた曲線、及び球が付いた曲線）は、Ｑｕａｄｒｏ Ｐ１０００とＱｕａｄｒｏ ＲＴＸ８０００の２つのＣＵＤＡに対応するＧＰＵを介した平均処理時間をプロットしたものであり、それぞれが処理速度の大幅な向上を示している。Ｑｕａｄｒｏ ＲＴＸ８０００は、同じ１０，０００×１０，０００画素の１６ビット入力画像に対して最大１１１ｍｓを消費するが、これは、ｉ７－９８００Ｘと比較して１８倍のパフォーマンス向上を表わす。

一実施形態において、画像取得及び処理システムは、迅速なノイズ抑制とコントラスト強調のために提供される。これは、グラフィック処理ユニットによって高速化され、線形又は非線形の光学顕微鏡への適用において、デジタル的に実現されたハードウェアベースの適応／制御型の照明効果を有し、１，０００×１，０００画素の１６ビット入力画像に対して３ｍｓ以下の時間計算量を保証する。

図８は、画像取得及び処理システム１００をデモンストレーションする図である。画像取得及び処理システム１００は、コンピュートユニファイドデバイスアーキテクチャ（ＣＵＤＡ）に対応するグラフィックカードを備えたコンピュータ１１０と、高デジタル解像度の生体試料の画像を取得するように構成された線形又は非線形の光学顕微鏡システム１２０とからなる。

図９は、画像取得及び処理システム１００の手順を示すブロック図である。線形又は非線形の光学顕微鏡システム１２０によって取得された画像は、入力として提供され、ハードウェアベースの適応／制御照明技術をデジタル的に再現する迅速なノイズ抑制とコントラスト強調のためのデータ処理方法によって処理される。本データ処理方法は、コンピュータ１１０のＣＵＤＩに対応するグラフィック処理ユニットを構成することを含み、以下のステップを実行する。

ステップＡ１においては、線形又は非線形の光学顕微鏡システムからノイズの影響を受けた低コントラストの入力画像を取得する。入力画像は、第１の幅及び第１の高さを有し、所定のビット深度を有する複数の画素又はデータポイントを含み、ビット深度を２乗して１をマイナスすることで最大画素値又は最大画素強度を得ることが可能である。

増幅レイヤー準備処理Ｓ０１は、ステップＡ２～Ａ７を含む。

ステップＡ２においては、入力画像に対して第１のバイリニア補間処理を実行し、第１のリダクション係数の１０によって入力画像をリサイズし、第１のリダクション係数によって第１の幅よりも狭い第２の幅と、第１のリダクション係数によって第１の高さよりも低い第２の高さと、を有する第１のリサイズ画像を生成する。

ステップＡ３においては、２９×２９の第１のカーネルサイズを有するガウシアンカーネルを使用して、第１のリサイズ画像に対してコンボリューション操作を実行することにより、第１のリサイズ画像に対して第１のガウシアンぼかし処理を実行し、第１のぼかし画像を得る。

ステップＡ４においては、第１のぼかし画像に非ゼロ数である１．０を加算するための加算処理を実行し、非ゼロ画像を取得する。

ステップＡ５においては、非ゼロ画像に対して第２のバイリニア補間処理を実行し、第２の幅及び第２の高さから非ゼロ画像をアップスケールし、第１の幅及び第１の高さを有する第２のリサイズ画像を取得する。

ステップＡ６においては、第２のリサイズ画像によって最大画素強度の９０％を分割するための分割処理を実行し、第１の分割レイヤー画像を取得する。

ステップＡ７においては、第１の分割レイヤー画像を３．０～８．０の範囲内のユーザ定義の閾値でトランケートするための閾値処理を実行し、第１の増幅レイヤー画像を取得する。

ノイズ抑制処理Ｓ０２は、ステップＡ８～Ａ１６を含む。

ステップＡ８においては、入力画像に対して第１の増幅処理を実行し、第１の増幅レイヤー画像によって入力画像を乗算し、第１の増幅画像を生成する。

ステップＡ９においては、第１の増幅画像に対して第３のバイリニア補間処理を実行し、第２のリダクション係数の３によって第１の増幅画像をリサイズし、第２のリダクション係数によって第１の幅よりも狭い第３の幅と、第２のリダクション係数によって第１の高さよりも低い第３の高さと、を有する第３のリサイズ画像を生成する。

ステップＡ１０においては、２９×２９の第２のカーネルサイズを有するガウシアンカーネルを使用して、第３のリサイズ画像に対してコンボリューション操作を実行することにより、第３のリサイズ画像に対して第２のガウシアンぼかし処理を実行し、第２のぼかし画像を取得する。

ステップＡ１１においては、第２のぼかし画像に対して第４のバイリニア補間処理を実行し、第３の幅及び第３の高さから第２のぼかし画像をアップスケールし、第１の幅及び第１の高さを有する第４のリサイズ画像を取得する。

ステップＡ１２においては、第４のリサイズ画像及び第１の増幅画像に対して第１の減算処理を実行し、第４のリサイズ画像から第１の増幅画像を減算し、第１の減算画像を生成する。

ステップＡ１３においては、７×７の第３のカーネルサイズを有するガウシアンカーネルを使用して、第１の減算画像に対してコンボリューション操作を実行することにより、第１の減算画像に対して第３のガウシアンぼかし処理を実行し、第３のぼかし画像を取得する。

ステップＡ１４においては、第１の増幅レイヤー画像に対して第２の減算処理を実行し、ユーザ定義の閾値の１．２５倍から第１の増幅レイヤー画像を減算し、第２の減算画像又は第２の増幅レイヤー画像を取得する。

ステップＡ１５においては、第３のぼかし画像に対して第２の増幅処理を実行し、第２の増幅レイヤー画像によって第３のぼかし画像を乗算し、第２の増幅画像を生成する。

ステップＡ１６においては、入力画像及び第２の増幅画像に対して第３の減算処理を実行し、入力画像から第２の増幅画像を減算し、第３の減算画像を取得する。

局所ブースト処理Ｓ０３は、ステップＡ１７及びＡ１８を含む。

ステップＡ１７においては、第１の増幅レイヤー画像に対して一連の演算処理を実行する。第１に、４の分割係数によって第１の増幅レイヤー画像を分割し、第２の分割レイヤー画像を取得する。第２に、第２の分割レイヤー画像を２乗して、モディファイされた分割レイヤー画像を取得する。第３に、モディファイされた分割レイヤー画像に０．９の値を加算し、第３の増幅レイヤー画像を取得する。

ステップＡ１８においては、第３の減算画像に対して第３の増幅処理を実行し、第３の増幅レイヤー画像によって第３の減算画像を乗算し、第３の増幅画像、又はコントラスト比が強調された出力画像を生成する。

要するに、本開示は、ハードウェアベースの解決策の代わりに、迅速なノイズ抑制・コントラスト強調を提供するためのデジタルアプローチを報告するものである。これは、線形又は非線形の光学顕微鏡への適用において、フィードバック動作する適応／制御型照明技術をデジタル的に再現するものである。

本発明について記載された全ての文書は、個々の文書が参照によって組み込まれることが具体的かつ個別に示されるのと同様に、参照によって本出願に組み込まれる。さらに、本発明で教示された内容を読んだ後、当業者は、本発明に様々な修正及び変更を加えることができ、これらの同等物もまた、特許請求の範囲によって規定される範囲内に含まれることを理解すべきである。

Ｓ０１ 増幅レイヤー準備処理
Ｓ０２ ノイズ抑制処理
Ｓ０３ 局所ブースト処理
１１０ コンピュータ
１２０ 線形又は非線形の光学顕微鏡システム

Claims (13)

1. 迅速なノイズ抑制コントラスト強調のためのデータ処理方法であって、
   第１の幅及び第１の高さを有し、所定のビット深度を有する複数の画素又はデータポイントを含み、最大画素値又は最大画素強度を得ることが可能な入力画像を取得するステップと、
   前記入力画像に対して第１の画素ビニング又は第１の補間処理を実行し、第１のリダクション係数によって前記入力画像をリサイズし、前記第１のリダクション係数によって前記第１の幅よりも狭い第２の幅と、前記第１のリダクション係数によって前記第１の高さよりも低い第２の高さと、を有する第１のリサイズ画像を生成するステップと、
   前記第１のリサイズ画像に対して第１のローパスフィルタリング処理を実行し、第１のぼかし画像を取得するステップと、
   前記第１のぼかし画像に対して第２の補間処理を実行し、前記第１のぼかし画像を前記第２の幅及び前記第２の高さからアップスケールし、前記第１の幅及び前記第１の高さを有する第２のリサイズ画像を取得するステップと、
   前記第２のリサイズ画像に対して第１の所定値を分割するための分割処理を実行し、第１の分割レイヤー画像を取得するステップと、
   閾値処理を実行し、前記第１の分割レイヤー画像をユーザ定義の閾値でトランケートし、第１の増幅レイヤー画像を取得するステップと、
   前記入力画像に対して第１の増幅処理を実行し、前記第１の増幅レイヤー画像によって前記入力画像を乗算し、第１の増幅画像を生成するステップと、
   前記第１の増幅画像に対して第２の画素ビニング又は第３の補間処理を実行し、第２のリダクション係数によって第１の増幅画像をリサイズし、前記第２のリダクション係数によって前記第１の幅よりも狭い第３の幅と、前記第２のリダクション係数によって前記第１の高さよりも低い第３の高さと、を有する第３のリサイズ画像を生成するステップと、
   前記第３のリサイズ画像に対して第２のローパスフィルタリング処理を実行し、第２のぼかし画像を取得するステップと、
   前記第２のぼかし画像に対して第４の補間処理を実行し、前記第２のぼかし画像を前記第３の幅及び前記第３の高さからアップスケールし、前記第１の幅及び前記第１の高さを有する第４のリサイズ画像を取得するステップと、
   前記第４のリサイズ画像及び前記第１の増幅画像に対して第１の減算処理を実行し、前記第４のリサイズ画像から前記第１の増幅画像を減算し、第１の減算画像を生成するステップと、
   前記第１の減算画像に対して第３のローパスフィルタリング処理を実行し、第３のぼかし画像を取得するステップと、
   前記第１の増幅レイヤー画像に対して第２の減算処理を実行し、前記ユーザ定義の閾値を超える第２の所定値から前記第１の増幅レイヤー画像を減算し、第２の減算画像又は第２の増幅レイヤー画像を取得するステップと、
   前記第３のぼかし画像に対して第２の増幅処理を実行し、前記第２の増幅レイヤー画像によって前記第３のぼかし画像を乗算し、第２の増幅画像を生成するステップと、
   前記入力画像及び前記第２の増幅画像に対して第３の減算処理を実行し、前記入力画像から前記第２の増幅画像を減算し、第３の減算画像を取得するステップと、
   前記第１の増幅レイヤー画像に対して一連の演算処理を実行し、第３の増幅レイヤー画像を取得するステップと、
   前記第３の減算画像に対して第３の増幅処理を実行し、前記第３の増幅レイヤー画像によって前記第３の減算画像を乗算し、第３の増幅画像又はコントラスト最適化出力画像を生成するステップと、
   を実行するためのグラフィック処理ユニットを構成することを含むデータ処理方法。
2. 前記第１の補間処理、前記第２の補間処理、前記第３の補間処理、及び前記第４の補間処理が、バイリニアである請求項１に記載の方法。
3. 前記第１の画素ビニング又は前記第１の補間処理における前記第１のリダクション係数が、１０である請求項１に記載の方法。
4. 前記第１のローパスフィルタリング処理が、２９×２９の第１のカーネルサイズを有するガウシアンカーネルを使用してコンボリューションを実行するガウシアンぼかし操作を含む請求項１に記載の方法。
5. 前記第１のぼかし画像に対して加算処理が実行され、前記第２の補間処理を実行する前に、前記第１のぼかし画像に非ゼロ数が加算される請求項１に記載の方法。
6. 前記分割処理における前記第１の所定値が、最大画素強度の９０％である請求項１に記載の方法。
7. 前記閾値処理における前記ユーザ定義の閾値が、３．０～８．０の範囲内であり、浮動小数点を適用することが可能である請求項１に記載の方法。
8. 前記第２の画素ビニング又は前記第３の補間処理における前記第２のリダクション係数が、３である請求項１に記載の方法。
9. 前記第２のローパスフィルタリング処理が、２９×２９の第２のカーネルサイズを有するガウシアンカーネルを使用してコンボリューションを実行するガウシアンぼかし操作を含む請求項１に記載の方法。
10. 前記第３のローパスフィルタリング処理が、７×７の第３のカーネルサイズを有するガウシアンカーネルを使用してコンボリューションを実行するガウシアンぼかし操作を含む請求項１に記載の方法。
11. 前記第２の減算処理における前記第２の所定値が、前記ユーザ定義の閾値の１．２５倍である請求項１に記載の方法。
12. 前記第３の増幅レイヤー画像を取得するための前記第１の増幅レイヤー画像に対する前記一連の演算処理が、
    第１に、４の分割係数によって前記第１の増幅レイヤー画像を分割し、第２の分割レイヤー画像を取得することと、
    第２に、前記第２の分割レイヤー画像を２乗して、モディファイされた分割レイヤー画像を取得することと、
    第３に、前記モディファイされた分割レイヤー画像に０．９の値を加算し、第３の増幅レイヤー画像を取得することと、
    を含む請求項１に記載の方法。
13. 請求項１～１１のいずれか１項に記載の方法を実行するための手段を含む、画像取得及び処理システム。