JP6429428B2 - リアルタイムアプリケーションのための同時エッジアーチファクト除去を伴う二次元離散フーリエ変換 - Google Patents

リアルタイムアプリケーションのための同時エッジアーチファクト除去を伴う二次元離散フーリエ変換 Download PDF

Info

Publication number
JP6429428B2
JP6429428B2 JP2018500813A JP2018500813A JP6429428B2 JP 6429428 B2 JP6429428 B2 JP 6429428B2 JP 2018500813 A JP2018500813 A JP 2018500813A JP 2018500813 A JP2018500813 A JP 2018500813A JP 6429428 B2 JP6429428 B2 JP 6429428B2
Authority
JP
Japan
Prior art keywords
image data
dimensional
fourier transform
fast fourier
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018500813A
Other languages
English (en)
Other versions
JP2018522349A (ja
Inventor
マームッド ファイザル
マームッド ファイザル
トゥーツ マルト
トゥーツ マルト
バレンティン オウバステッド ラシュヨラン
バレンティン オウバステッド ラシュヨラン
ウルフ スコグランド ボー
ウルフ スコグランド ボー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
kinawa Institute of Science and Technology Graduate University
Original Assignee
kinawa Institute of Science and Technology Graduate University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by kinawa Institute of Science and Technology Graduate University filed Critical kinawa Institute of Science and Technology Graduate University
Publication of JP2018522349A publication Critical patent/JP2018522349A/ja
Application granted granted Critical
Publication of JP6429428B2 publication Critical patent/JP6429428B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/10Image enhancement or restoration using non-spatial domain filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/14Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G06F17/141Discrete Fourier transforms
    • G06F17/142Fast Fourier transforms, e.g. using a Cooley-Tukey type algorithm
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20056Discrete and fast Fourier transform, [DFT, FFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20192Edge enhancement; Edge preservation

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Discrete Mathematics (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Complex Calculations (AREA)

Description

本発明は2次元離散フーリエ変換(2次元DFT)におけるエッジ効果または級数終端誤差を除去するようフィールド・プログラマブル・ハードウェアを構成する方法およびシステムに関する。本出願は、ここに、2015年7月20日に出願された米国仮出願62/194,689を全体として参照により引用する。
離散フーリエ変換(DFT)は、デジタル通信システム、画像処理、コンピュータビジョン、生物医学的画像化、および2次元データからの3次元(例えば、トモグラフィー)密度の再構築を含むが、これに限定されない広範囲の用途を有する、最も一般的に使用され極めて重要な関数の1つである。フーリエ画像解析は、空間領域における複雑な畳み込み演算を周波数領域における単純な掛け算に変換することにより、計算を単純化する。その計算の複雑性に起因して、DFTは、しばしば、高いスループットおよびリアルタイムに近い動作を必要とするアプリケーションの計算上の制約となる。1965年に最初に提案されたクーリー−テューキー型高速フーリエ変換(FFT)アルゴリズム(非特許文献1)は、1次元DFTについて、DFTの複雑さをO(N)からO(NlogN)に低減する。しかしながら、2次元DFTの場合、1次元FFTを2次元で計算しなければならないので、その複雑性はO(NlogN)に増加し、2次元DFTはリアルタイムマシンビジョンアプリケーションにとって重大なボトルネックになってしまう(非特許文献2)。
資源効率がよく高スループットな2次元DFTの実装がいくつか存在する。これらの実装の多くは、ソフトウェアベースであり、例えば、Intel MKL(非特許文献3)、FFTW(非特許文献4)およびSpiral(非特許文献5)等の汎用プロセッサ(GPP)の効率的なパフォーマンスのために最適化されている。GPP上の実装は、様々なシナリオに容易に適用できる。しかしながら、GPPはより多くの電力を消費し、リアルタイム組み込みアプリケーションにとって理想的ではない。特定用途向け集積回路(ASIC)ベースの実装もいくつか提案されているが(非特許文献6)、ASIC実装を変更するのは容易ではないため、画像処理システムの迅速な試作に対して費用効率の高い解決策ではない。その固有の並列性およびリコンフィギュラビリティにより、フィールド・プログラマブル・ゲート・アレイ(FPGA)は、FFTアルゴリズム自体の並列性を完全に利用するため、FFT計算を加速する魅力的なターゲットである。過去数年間で、高スループットのFPGAベースの実装がいくつかあった。これらの実装のほとんどは、外部メモリを効率的に使用して行および列の分解(RCD)により1次元FFTを繰り返し起動することに依存している(非特許文献2、7および8)。それらの多くは、リアルタイムまたはリアルタイムに近い性能(すなわち、標準512×512画像に対し1秒あたり23フレーム以上)を達成している。
2次元DFTを計算している間、画像は周期的であると仮定されるが、通常はそうではない。この画像の非周期性は、エッジアーチファクトまたは級数終端誤差として知られる、フーリエ変換におけるアーチファクトの原因となる。これらのアーチファクトは、非特許文献9および10に見られるように、周波数領域における高振幅係数のいくつかのクロスとして現れる。このようなエッジアーチファクトは、後続の処理段階に渡されることができ、生物医学的用途において結果の重大な誤解につながるおそれがある。現在の2次元FFT FPGA実装のいずれも、この問題に直接取り組んでいない。これらのアーチファクトは、たいてい、ミラーリング、ウィンドウイング、ゼロ詰め、または後処理(例えば、フィルタリング技術)を用いて前処理中に除去される。これらの技術は、通常、計算集約的であり、画像サイズの増加を伴い、しばしば変換を変更する傾向もある。最も一般的な手法は、エッジをゆっくり減衰させるために、コーナーピクセルにおいて画像をランピングすることである。ランピングは通常、テューキー(テーパーコサイン)またはハミング窓などのアポディゼイション関数により行われ、強度をなめらかにゼロに低減する。このような手法は、FFTを計算する前に、窓関数をルックアップテーブル(LUT)に格納し、それに画像ストリームを乗算することによって、前処理動作としてFPGAに実装することができる(非特許文献10)。この手法は、小さな画像の場合、極端に計算集約的というわけではないが、画像から不注意に必要な情報を取り除いてしまうため、画像をさらに他の画像と共に処理して、診断や他の意思決定に重要なアプリケーションに使用される最終的な画像を再構築する場合、深刻な結果をもたらす可能性がある。他の一般的な方法は、画像をN×Nから2N×2Nへミラーリングする方法である。このようにすることで、画像は周期的になり、エッジアーチファクトが除去される。しかしながら、この方法は、画像のサイズを4倍に増加させるだけでなく、変換を対称にするため、不正確な位相成分を生成してしまう。
これまでのRCDベースの2次元FFT FPGA実装のほとんどは、2つの大きな設計上の課題を有している。(1)1次元FFT実装は、かなり高いスループットおよび資源効率性を有している必要がある。(2)画像は通常大きく、行および列の1次元FFT演算の間に中間のストレージが必要となるため、外部DRAMは、高帯域幅を有し、効率的にアドレス指定される必要がある。
1次元、2次元、または多次元FFTを計算している間に同時にエッジアーチファクトを取り除くことは、使用される方法に関わらず、追加の設計上の課題をもたらす。しかしながら、これらのアーチファクトは、次の処理レベルに伝播するおそれがあるため、アプリケーション内で除去されなければならない。
Cooley, James W., and John W. Tukey. An algorithm for the machine calculation of complex Fourier series. Mathematics of computation 19.90 (1965): 297-301 Kee, H., Bhattacharyya, S. S., Petersen, N., & Kornerup, J. Resource-efficient acceleration of 2-dimensional Fast Fourier Transform computations on FPGAs. Distributed Smart Cameras, 2009. ICDSC 2009. Third ACM/IEEE International Conference on. IEEE, 2009 Wang, Endong, et al. Intel Math Kernel Library. High-Performance Computing on the Intel Xeon Phi. Springer International Publishing, 2014. 167-188 Frigo, Matteo, and Steven G. Johnson. FFTW: An adaptive software architecture for the FFT. Acoustics, Speech and Signal Processing, 1998. Proceedings of the 1998 IEEE International Conference on. Vol. 3. IEEE, 1998 Puschel, Markus, et al. SPIRAL: Code generation for DSP transforms. Proceedings of the IEEE 93.2 (2005): 232-275 Lenart, Thomas, Mats Gustafsson, and Viktor Owall. A hardware acceleration platform for digital holographic imaging. Journal of Signal Processing Systems 52.3 (2008): 297-311 Uzun, Isa Servan, Abbes Amira, and Ahmed Bouridane. FPGA implementations of fast Fourier transforms for real-time signal and image processing. Vision, Image and Signal Processing, IEE Proceedings-. Vol. 152. No. 3. IET, 2005 Yu, Chi-Li, et al. Multidimensional DFT IP generator for FPGA platforms. Circuits and Systems I: Regular Papers, IEEE Transactions on 58.4 (2011): 755-764 He, Dajun, and Qibin Sun. A practical print-scan resilient watermarking scheme. IEEE ICIP (1). 2005 Bailey, Donald G. Design for embedded image processing on FPGAs. John Wiley and Sons, 2011: 323-324 Moisan, Lionel. Periodic plus smooth image decomposition. Journal of Mathematical Imaging and Vision 39.2 (2011): 161-179 Hast, Anders. Robust and Invariant Phase Based Local Feature Matching. Pattern Recognition (ICPR), 2014 22nd International Conference on. IEEE, 2014 Galerne, Bruno, Yann Gousseau, and Jean-Michel Morel. Random phase textures: Theory and synthesis. Image Processing, IEEE Transactions on 20.1 (2011): 257-267 Hovden, Robert, et al. Periodic Artifact Reduction in Fourier Transforms of Full Field Atomic Resolution Images. Microscopy and Microanalysis 21.02 (2015): 436-441 Kehtarnavaz, Nasser, and Sidharth Mahotra. FPGA implementation made easy for applied digital signal processing courses. Acoustics, Speech and Signal Processing (ICASSP), 2011 IEEE International Conference on. IEEE, 2011 Elliott, Chance, et al. National instruments LabVIEW: a programming environment for laboratory automation and measurement. Journal of the Association for Laboratory Automation 12.1 (2007): 17-24 Caesar, Greg, and Mark Wetzel. PXI Express: extending backplanes to 6 Gbyte/s while maintaining backwards compatibility. Autotestcon, 2005. IEEE. IEEE, 2005 National Instruments Technical Document [online], Device Specifications NI PXIe-7976R, NI FlexRIO FPGA Module for PXI Exporess. 2014, Available: http://www.ni.com/pdf/manuals/374545a.pdf (Accessed on: 16th January, 2015) Jung, Hyunuk, and Soonhoi Ha. Hardware synthesis from coarse-grained dataflow specification for fast HW/SW cosynthesis. Proceedings of the 2nd IEEE/ACM/IFIP international conference on Hardware/software codesign and system synthesis. ACM, 2004 Eonic PowerFFT ASIC [Online]. Available: http://www.eonic.com/ Kee, Hojin, et al. Systematic generation of FPGA-based FFT implementations. Acoustics, Speech and Signal Processing, 2008. ICASSP 2008. IEEE International Conference on. IEEE, 2008
上述したように、エッジアーチファクトを除去するための既存技術は、メモリをたくさん使用し1次元DFTルーティンを何回も起動する等、大きな計算資源を必要とする、または、使いやすい実装可能な方法でエッジアーチファクトを効果的かつ十分に除去しない。今日まで、リアルタイムアプリケーションのための2次元離散フーリエ変換についてエッジアーチファクトを除去するのに利用できる効率的かつ効果的な技術は存在しない。
本発明の目的は、リアルタイムでの2次元離散フーリエ変換においてエッジアーチファクトを除去するための効率的かつ効果的なスキームおよびシステムを提供することである。
本発明のもう1つの目的は、2次元FFT FPGA(Field Programmable GateArray)に容易に実装可能であって、リアルタイムでの2次元離散フーリエ変換においてエッジアーチファクトを除去するための効率的かつ効果的なスキームおよびシステムを提供することである。
本発明のもう1つの目的は、リアルタイムでの2次元離散フーリエ変換においてエッジアーチファクトを除去するための効率的かつ効果的なスキームが実装されたFPGAを備える2次元FFTシステムを提供することである。
これらの利点およびその他の利点を達成するために、本発明の目的に従って、具現化され広範に記載されているように、1つの側面では、本発明は、1以上のデジタル処理装置において実行される、対象画像データの2次元離散フーリエ変換を行う方法であって、前記対象画像データから境界画像データを抽出するステップ(a)と、前記対象画像データの各行に対し1次元高速フーリエ変換を行い、前記対象画像データの各列に対して1次元高速フーリエ変換を行うことによって、前記対象画像データの2次元高速フーリエ変換を行うステップ(b)と、スムース成分の高速フーリエ変換を導出するように、列単位1次元高速フーリエ変換を行うことなく前記境界画像データに対し簡易2次元高速フーリエ変換処理を行うステップ(c)と、前記ステップ(b)によって実行された前記対象画像データの2次元高速フーリエ変換から前記ステップ(c)において導出された前記スムース成分の高速フーリエ変換を減算することによって、エッジアーチファクトが除去された前記対象画像データのピリオディック成分の高速フーリエ変換を導出するステップ(d)と、を含み、前記ステップ(c)は、抽出された前記境界画像データにおいて第1列ベクトルのみに対して1次元高速フーリエ変換を行い、拡大縮小された列ベクトルを使用して抽出された前記境界画像データの残りの列の1次元高速フーリエ変換を導出し、抽出された前記境界画像データの各行に対し1次元高速フーリエ変換を行うことを含む、方法を提供する。この方法において、前記ステップ(b)および(c)は並行して処理されてもよい。
この方法において、前記1以上のプロセッサは、ホストコンピュータと、前記ホストコンピュータと接続された1以上のフィールド・プログラマブル・ゲート・アレイ(FPGA)と、を備え、前記ステップ(a)および(d)は、前記ホストコンピュータによって実行され、前記ステップ(b)および(c)は、前記1以上のFPGAによって並行して実行されてもよい。
他の側面では、本発明は、対象画像データの2次元離散フーリエ変換を行うシステムであって、ホストコンピュータと、バスにより前記ホストコンピュータと接続された1以上のフィールド・プログラマブル・ゲート・アレイ(FPGAs)と、を備え、前記ホストコンピュータは、前記対象画像データから境界画像データを抽出し、前記1以上のFPGAは、(i)前記対象画像データの各行に対し1次元高速フーリエ変換を行い、前記対象画像データの各列に対して1次元高速フーリエ変換を行うことによって、前記対象画像データの2次元高速フーリエ変換を行い、前記1以上のFPGAは、(ii)スムース成分の高速フーリエ変換を導出するように、列単位1次元高速フーリエ変換を行わずに、抽出された前記境界画像データに対し簡易2次元高速フーリエ変換処理を行い、前記ホストコンピュータは、前記スムース成分の前記高速フーリエ変換を前記対象画像データの前記2次元高速フーリエ変換から減算することによって、エッジアーチファクトが除去された前記対象画像データのピリオディック成分の高速フーリエ変換を導出し、前記簡易2次元高速フーリエ変換処理は、前記境界画像データにおいて第1列ベクトルのみに対して1次元高速フーリエ変換を行い、拡大縮小された列ベクトルを使用して抽出された前記境界画像データの残りの列の1次元高速フーリエ変換を導出し、抽出された前記境界画像データの各行に対し1次元高速フーリエ変換を行うことを含む、システムを提供する。このシステムにおいて、前記ホストコンピュータは、(i)および(ii)が並行して処理されるように前記1以上のFPGAを制御してもよい。
他の側面では、本発明は、N(Nは2より大きい整数)次元画像データのN次元高速フーリエ変換を行う方法であって、前記N次元画像データを、複数の2次元画像データにスライスし、上記の対象画像データの2次元離散フーリエ変換の実行方法を前記複数の2次元画像データのそれぞれに対し実行し、上記の方法を前記複数の2次元画像データのそれぞれに対し実行した結果からN次元高速フーリエ変換を導出する、方法を提供する。同様に、上記のシステムは、前記ホストコンピュータは、さらに、N(Nは2より大きい整数)次元画像データを受け取り、受け取った前記N次元画像データを複数の2次元画像データにスライスし、前記1以上のFPGAは、前記複数の2次元画像データのそれぞれに対して(i)および(ii)を実行し、前記ホストコンピュータは、前記1以上のFPGAが前記複数の2次元画像データのそれぞれに対し実行した(i)および(ii)の結果から前記N次元画像データのN次元フーリエ変換を導出するように構成されていてもよい。
本発明の1以上の側面によれば、2次元FFTにおいてとにかく生成されるエッジアーチファクトが効率的におよび効果的に除去される。特に、いくつかの実施形態では、効果的にエッジアーチファクトを除去しつつ、2次元DFTのための外部へのアクセスおよび1次元DFT処理がこれまでの技術と比較して大幅に削減される。例えば、本発明の実施例において、1次元FFTの必要な起動回数は低減され、外部DRAMの利用は大幅に低減され、これにより計算資源を大幅に節約する。
本発明の追加のまたは個々の特徴と利点は、以下の記載において説明され、一部はその記載から明らかであり、あるいは、本発明の実施により習得することができる。本発明の目的と他の利点は添付図面だけでなくその明細書および特許請求の範囲において特に指摘される構成によって実現され、達成されるだろう。
上述の一般的な説明と、以下に述べる詳細な説明は、例示的かつ説明的なものであって、特許請求されている本発明の詳しい説明を提供することが意図されていることを理解されたい。
図1は、非周期的な境界を有する例示画像に適用された、本発明の実施形態に係る、処理前後の画像およびそれぞれのフーリエ成分分布を示す。図1(a)は、非周期的な境界を有する例示画像である。図1(b)は、図1(a)の画像の2次元DFTを示す図である。図1(c)は、スムース成分のDFT、すなわち、図1(a)の画像から除去されたアーチファクトである。図1(d)は、ピリオディック成分、すなわち、エッジアーチファクトが除去された図1(a)の画像のDFTである。図1(e)は、スムース成分から再構築した画像を示す図である。図1(f)は、ピリオディック成分から再構築された画像を示す図である。 図2は、ミラーリング、ピリオディックプラススムースデコンポジション(PSD)、および本発明の実施形態に係る改良ピリオディックプラススムースデコンポジション(OPSD)について、画像サイズの増加に伴うDRAMアクセス回数と計算対象のDFTポイント数とをそれぞれ示すグラフである。 図3は、本発明の実施形態に係る、PXIe筐体上の高速バスを介して接続されたホストPCコントローラを備えるPXIeベースのマルチFPGAシステムのブロック図である。 図4は、ILUTを伴う2次元FFTのブロック図であり、本発明の実施形態に係る、制御部(CU)を介してスケジュールされた外部メモリとローカルメモリとの間のデータ転送を示している。 図5は、本発明の実施形態に係る、改良ピリオディックプラススムースデコンポジションを使用した同時エッジアーチファクト除去を伴うPXIeベースの2次元FFT実装の機能ブロック図である。 図6は、本発明の実施形態に係る全体的なハードウェア設計の流れを示す図である。DFTは標準VHDLブロック、Flip関数、およびMath関数を用いて実装される。Flip関数およびMath関数は、図7および図8において詳細に描かれており、ディスプレイAおよびディスプレイBは、それぞれ、オリジナルのDFTおよび改良DFTを示す図であり、1つまたは2つの表示装置上に表示されてもよい。 図7はFlip関数を示す図である。画像のエッジは、ベクトルに格納され、減算され、対応して入れ替えられる。 図8はMath関数を示す図である。標準CORDICを使用してコサインが実装されている。 図9は、画像について、原画像、そのDFT、計算された除去成分(RC)、およびDFT−Rをそれぞれ示す図である。
上述したこれらのアーチファクトを除去する理想的な方法は、画像から最小限の情報を除去しつつ、画像を周期的にすることを含むべきである。本開示は、この目的のために、効率的なピリオディックプラススムース(“P+S”)デコンポジション(PSD)ベースの手法を使用する。Moisan(非特許文献11)によって最初に提示され非特許文献12、13および14において使用されたPSDは、境界のピクセルを除いてピクセルに直接介入せず、画像サイズの増加を伴わないため、エッジアーチファクトを除去するための理想的な方法である。さらに、PSDは本来、本質的に並列であるため、高スループットのFPGAベースの実装に対して理想的なものとなる。本発明者らは、オリジナルのP+Sデコンポジションアルゴリズムを大幅に改良し、全体的な実装をより効率的にした。特に、1次元FFTの必要起動回数および外部DRAMの利用を大幅に削減する。
本開示において、アルゴリズムを迅速に試作するために、本発明者らは、ロバストなデータフローベースのグラフィカルデザイン環境(非特許文献16)であるNational Instruments社のLabView FPGA 2014(非特許文献15)を使用した。LabView FPGAは、National Instruments(NI)社のXilinxベースのリコンフィギュラブルハードウェアとの統合を提供し、ホストPCとの効率的な通信およびPXIe(PCI eXtentions for Industry Express)バス(非特許文献17)を介した複数のFPGA間の高スループット通信を可能にする。LabView FPGAにより、外部のハードウェア記述言語(HDL)コードを統合することができ、将来の処理段階に対し開示された設計を柔軟に拡張できる。本発明者らは、Xilinx Kintex 7FPGAおよび2GB高帯域幅外部メモリを有するNI社のPXIe7976R(非特許文献18)ボードを用いた。しかしながら、本開示で提示される改良および設計は、リコンフィギュラブルコンピュータベースのシステムに拡張可能である。
本開示は以下のように構成されている。次のセクションIでは、ピリオディックプラススムースデコンポジションを用いたエッジアーチファクトの除去について説明する。次に、セクションIIでは、FFT起動回数を減少させ、外部メモリへのアクセスを減少させる、本発明の実施形態に係るP+Sデコンポジションの改良について説明する。セクションIIIAでは、ハードウェア構成について説明し、セクションIIIBでは、使用されるハードウェアの文脈における改良P+Sデコンポジションのためのアーキテクチャの実施形態、さらなる処理段階のために一般化する方法、および様々なアプリケーションならびに実験結果について説明する。
<I.エッジアーチファクト除去のためのピリオディックプラススムースデコンポジション>
ピリオディックプラススムースデコンポジション(PSD)は、画像をピリオディック成分およびスムース成分に分解することを含み、スムース成分は、画像の境界から計算され、その後、ピリオディック成分を得るために、画像から減算される。有限領域Ω={0,1,・・・,n−1}×{0,1,・・・,m−1}上で離散n×mグレースケール画像Iを持つものとする。Iの離散フーリエ変換(DFT)は、以下のように定義される。
Figure 0006429428
これは、行列の乗算WIVと同等であり、ここで、
Figure 0006429428
かつ、
Figure 0006429428
である。
Vは、Wと同一の構造を有するが、m次元である。wkは周期nを有するので、wk=wk+ln、∀k,l∈Nであり、したがって、
Figure 0006429428
である。
一般的に、Iは(n,m)ピリオディックではないため、図1(b)に示すように、DFT内には、画像の対向するエッジ間の鋭い不連続から生じる高振幅エッジアーチファクトが存在する。Moisan(非特許文献11)は、Iを、全ての高周波の細部を伴う画像のエッセンスをとらえるピリオディック成分Pと、境界での不連続を再作成する、なめらかに変化する背景Sとに分解することを提案した。すなわち、I=P+Sである。ピリオディックプラススムースデコンポジションは、境界画像B=R+Cを最初に構築することによって計算することができる。ここで、Rは、行方向に遷移するときの境界不連続を表し、Cは、列方向に進むときの境界不連続を表す。
Figure 0006429428
境界画像Bの構造は、以下に示すように、エッジにのみ非ゼロ値が存在する簡易な構造であるとわかる。
Figure 0006429428
スムース成分SのDFTは、以下の式によって求めることができる。
Figure 0006429428
エッジアーチファクトが除去された画像IのDFTは、
Figure 0006429428
である。図1は、非周期境界を有する例示画像に適用された、本発明の実施形態に係る、処理前後の画像Iとそれぞれのフーリエ成分分布とを示す図である。具体的には、図1(a)は、非周期境界を有する画像Iである。図1(b)は、図1(a)の画像の2次元DFTを示す図である。図1(c)は、スムース成分のDFT、すなわち、図1(a)の画像から除去されたアーチファクトである。図1(d)は、ピリオディック成分、すなわち、エッジアーチファクトが除去された図1(a)の画像のDFTである。図1(e)は、スムース成分から再構築された画像を示す図である。図1(f)は、ピリオディック成分から再構築された画像を示す図である。
図に示されるように、再構築の際、図1(a)の実画像と、図1(f)の周期的な再構築画像との間に無視できる視覚的差異があるのは、明らかである。以下のアルゴリズム1は、全体的なP+S実装を要約している。アルゴリズムの構成方法はいくつか存在する。本開示では、ピリオディック成分およびスムース成分のDFTがさらなる処理段階で容易に利用できるように構成されている。最良の結果を得るには、ピリオディック成分およびスムース成分の両方が、同様の処理段階を経て、結果を表示する前に、一緒に組み入れなければならない。しかしながら、アプリケーションによっては、スムース成分は完全に破棄されてしまう場合がある。
Figure 0006429428
<II.FPGA実装のためのPSD改善>
本開示は、FPGA上で効果的に構成されることができるよう、オリジナルのP+Sアルゴリズムの大幅な改善を提供する。以下に説明するように、本開示におけるこの独自の改良の結果として、1次元FFT起動回数および外部DRAMの利用が大幅に削減される。上記のアルゴリズム1は、2つの2次元FFTが各画像フレーム(すなわち、原画像Iおよび境界画像B)に対し計算される必要があることを示している。これらのFFTは並行して計算することができるが、それには、1次元FFTを多量に起動し、外部メモリに繰り返しアクセスすることが必要となる。
上記式(6)を調べると、本発明者らは、境界画像Bが、境界行と境界列とが互いの代数的否定であるという意味で対称であることに気づいた。全体で、Bはn+m−1個の固有要素を有し、行および列に対し以下のコーナ間関係を有する。
Figure 0006429428
BのFFTを計算するには、通常、最初に1次元FFTを列単位で実行し、その後1次元FFT’を行単位で実行する、または、その逆を行う。長さnの列ベクトルvのFFTは、Wvであり、Wは式(4)で与えられる。行列Bの列方向のFFTは、以下のように与えられる。
Figure 0006429428
B.で示される第1列に対し、このベクトルの1次元FFTは以下のとおりである。
Figure 0006429428
列j∈{2,3,・・・,n−1}の1次元FFTは以下のようになることがわかる。
Figure 0006429428
最終列B.の1次元FFTは以下のとおりである。
Figure 0006429428
したがって、行列Bの列方向FFTは以下のとおりである。
Figure 0006429428
行列Bの列単位の1次元FFTを計算するには、第1ベクトルのFFTを計算し、次に、適切にスケーリングされたベクトルνを使用して残りの列のFFTを導出すれば十分である。行単位FFTは通常計算されなければならない。アルゴリズム2は、
Figure 0006429428
を計算するためのショートカットの要約を提示する。アルゴリズム2で提示されたステップは、アルゴリズム1のステップ13を置換する。境界画像の列単位1次元FFTの計算を減らすことにより、本方法は、FPGAベースの実装について、1次元FFTの起動回数を大幅に削減し、DRAMアクセスを削減する。これは、初期ベクトル
Figure 0006429428
および縮尺係数b1jをブロックRAM/レジスタメモリに一時的に格納することにより実装でき、DRAMアクセスを劇的に削減し、1次元FFTの必要な起動回数を低減する。
Figure 0006429428
N×M画像の場合、上述した技術によれば、2次元FFTの列単位成分を計算しつつ、DRAMアクセスを4NMポイントから3NM+N+M−1ポイントに減らすことができ、1次元FFTの起動回数をM列ベクトルよりも1列ベクトルに減らすことができる。換言すると、計算対象となるDFTポイントの数は4NMから3NM+Mに削減される。表1は、DRAMアクセスポイント(読み出し)およびDFTポイントについて、ミラーリングと、P+Sデコンポジション(PSD)と、改良P+Sデコンポジション(OPSD)の本実施形態との比較を示している。ミラーリングは、最大振幅情報を維持しながらエッジアーチファクトを除去する代替技術の1つであるため、比較目的で使用されている。しかしながら、画像の複製に起因して、位相情報のほとんどが失われる。
図2は、ミラーリング、ピリオディックプラススムースデコンポジション(PSD)、および本発明の実施形態に係る改良ピリオディックプラススムースデコンポジション(OPSD)について、画像サイズの増加に伴うDRAMアクセス回数と計算対象となるDFTポイントの数をそれぞれ示すグラフである。図2に示すように、本発明の実施形態に係る改良PSD法は、従来のミラーリングおよびPDSと比較して、外部メモリからの読み出しを大幅に削減することができるとともに、必要なDFT計算の総数を削減することができる。
Figure 0006429428
<III.改良PSDのFPGA実装>
<A.ハードウェア構成>
2次元DFTは、通常、複雑な画像処理およびマシンビジョンシステムにおいて畳み込み演算を単純化するために使用されるので、本発明者らは、本発明の実施例として、次の処理レベルのために拡張可能なシステムの設計を試作した。図3は、本発明の実施形態に係る、PXIe筐体上の高速バスを介して接続されたホストPCコントローラを備えるPXIeベースのマルチFPGAシステムのブロック図である。本発明の実施形態に係る改良ピリオディックプラススムースデコンポジションアルゴリズム案を迅速に試作するため、PXIe(PCI eXtentions for Industry express)ベースのリコンフィギュラブルシステムを使用した。PXIeは、バス構造が強化されたPCIシステムの工業用拡張であり、各接続デバイスに最大4GB/sのスループットでバスへの専用アクセスを提供する。これにより、ホストPCと複数のFPGAとの間の高速専用リンクが可能となる。LabView FPGAグラフィカルデザイン環境を複雑な信号および画像処理システムの迅速な試作に使用することができる。これにより、効果的に外部HDLコードとLabViewグラフィカルデザインを1つのプラットフォーム上で効果的に統合することができる。実施例を作成するのに、本発明者らは、FlexRIO(Flexible Reconfigurable I/O)FPGAボードを使用し、PXIe筐体に接続した。PXIe FlexRIO FPGAボードは柔軟性があり、複数のFPGA間において1.5GB/sの高速で直接データ転送ができるため、高スループットを達成するために使用できる。これにより、通常ホストPCを介して通信するマルチFPGAシステムを大幅に単純化することができる。この特徴により、さらなる処理段階に対して我々のシステムを拡張することが可能となり、様々なアプリケーションに対して柔軟に対応できる。図3は、PXIe筐体上の高速バスを介して接続されたホストPCコントローラを有するPXIeベースのマルチFPGAシステムの基本概要を示す図である。Kintex 7 FPGAと最大10GB/sのデータ帯域幅を有する2GB外部DRAMとを有するNI社PXIe−7976R FlexRIOボードを使用した。このFPGAボードは、PXIe−8135コアi7PCコントローラと共にPXIe−1082筐体に接続された。
<B.基本アーキテクチャ>
上記したアルゴリズム1および2のように、本実施形態の実装は、4つの段階に分解できる。(1)画像フレームの2次元FFTを計算する。(2)境界画像を計算する。(3)境界画像の2次元FFTを計算し、スムース成分を算出する。(4)原画像の2次元FFTからスムース成分を減算して、ピリオディック成分を導出する。全てのステップのうち、ボトルネックは、2次元FFT計算に存在するだろう。
FPGA上の2次元FFTの実装のほとんどは、中間外部DRAM記憶装置を用いて行および列の分解(RCD)を使用する。RCDベースの2次元FFTの高速化は、通常、列単位および行単位の1次元FFT計算に使用される1次元FFTのスループットに依存する。N×M画像のRCDは、N行方向の1次元FFTおよびM列方向の1次元FFTの計算を必要とする。これは、最初の(行また列)方向の計算の後、M×N(もしくは、M=NならばN)個の値が記憶されなければならないことを意味する。2次元FFTは通常、大きな画像に対し計算されるので、限られた組み込みブロックRAMには格納できず、外部メモリを使用しなければならない。したがって、高速化は、外部メモリの帯域幅および効率的なアドレッシングにも依存する。小さなサイズの画像の場合、外部メモリとは対照的に、レジスタを介して実装されたブロックRAMまたはメモリを使用できる(非特許文献19)。外部メモリと異なり、使用可能なチャネル数および帯域幅という点で制限がないため、レジスタメモリは、通常、より高速でより使いやすい。しかしながら、このような手法は、リソースが高価であり、画像が大きい場合にはかなりの量のFPGAリソースが消費される。Uzun(非特許文献7)は、共用外部RAMを備えるいくつかの1次元FFTプロセッサを用いるリアルタイム2次元FFT計算のためのアーキテクチャを提示した。
本発明の実施形態に係る2次元FFT実装の場合、本発明者らは、マルチコア1次元FFTを伴うRCDに基づく手法も使用した。1次元FFT実装の場合、本発明者らは、Hojin(非特許文献20)によって最初に示されたInner Loop Unrolling Technique(ILUT)を使用し、2次元FFT設定(非特許文献2)においても使用した。長さNの1次元FFTは、logNのFFTステージを有し、各ステージは、N/2個のバタフライユニットを有する。ILUTは、いくつかのバタフライユニットを並行して実行することによって単一のFFTステージを展開することを含む(非特許文献2)。図4は、ILUTを伴う2次元DFTのブロック図を示し、本発明の実施形態に係る、制御部(CU)を介してスケジューリングされた外部メモリとローカルメモリとの間のデータ転送を示す。カメラとFPGAとの間のデータは、DMA(Direct MemoryAccess)FIFOを使用することによりPCコントローラを介して転送される。しかしながら、カメラリンクフロントエンドを使用することにより、データをFPGAに直接転送することも可能である。図4に示すローカルメモリは、外部メモリと1次元FFTコアとの間でデータをバッファするのに使用される。このローカルメモリは、リード/ライト成分に分割され、FPGAスライスを使用して実装される。これにより、境界画像の2次元FFTを計算するのに必要なベクトルを一時的に保存するためのブロックRAM(BRAM)を節約できる。制御部(CU)は、ローカルメモリと外部メモリとの間でのデータの転送のスケジューリングを編成する。
境界画像の2次元FFTは、行および列の分解によって算出される必要もある。しかしながら、数学的に上記に示したとおり、初期の行方向FFTは、第1(境界)ベクトルの1次元FFTを計算することにより算出でき、残りのベクトルのFFTは、適切にこのベクトルをスケーリングすることによって計算することができる。境界画像はPCコントローラで算出される。しかし、画像全体がFPGAに転送される必要はない。第1列および最終列の1次元FFTを計算するための境界列ベクトルが必要である。第1列と最終列との間の各列の1次元FFTについて、
Figure 0006429428
の適切なスケーリングのために境界行ベクトルも必要である。ホストとFPGAとの間のデータ転送を最小限にするために、本実施形態は、DMA FIFOを介して転送されている各画像フレームの終わりに余分の行および列ベクトルを関連付ける。したがって、N×M画像フレームを転送する場合、PCコントローラから送信されるデータポイントの量は、NM+N+Mとなる。
画像フレームが外部DRAMに直接格納されている間、境界画像の行ベクトルおよび列ベクトルはブロックRAM(BRAM)に格納される。これにより、実画像のFFT計算と並列して処理される境界画像の列単位1次元FFTを計算することができる。制御部は、外部メモリとローカルメモリとの間の全てのリード/ライト動作の予定を決定する。図5は、上述した本発明の実施形態に係る改良PSD処理を伴う全体の2次元FFTの機能ブロック図である。具体的には、上述した本発明の実施形態に係る改良ピリオディックプラススムースデコンポジションを使用した同時エッジアーチファクト除去を伴うPXIeベースの2次元FFT実装の機能ブロック図である。2つの画像の減算はホストPCで行われ、メモリのクラッシュを最小限に抑え、かつ、それが利用可能になるにつれて、各フレームのピリオディック成分およびスムース成分にアクセスできるようになる。
従来のRCDベースの2次元FFTハードウェア実装は、エッジアーチファクを同時に除去するのにピリオディックプラススムースデコンポジションを使用していない。本発明の実施形態は、各画像フレームに対する1次元FFTの計算量(原画像および境界画像)を効果的に2倍にするが、同時エッジアーチファクト除去を行わない従来の実装と比較して、実行時間がほんの少し長くなるだけである。上述したように、この高速化は、原画像および境界画像についての2次元FFT計算の並列化と、オリジナルのピリオディックプラススムースデコンポジションアルゴリズムを改良することによる外部DRAMアクセスの削減によって達成された。
上述したように、本開示は、同時エッジアーチファクト除去を伴う高スループット2次元DFTを計算するための、改良されたFPGAベースのスキームを提供する。これは、ピリオディックプラススムースデコンポジションアルゴリズムに基づいており、2次元画像の周波数領域を、高周波の十字形アーチファクトを有し、原画像の2次元DFTから減算されることができるスムース成分に分割し、アーチファクトのないピリオディック成分を取得する。この手法は、2つの2次元DFTを同時に計算することを含むため、外部メモリアドレッシングおよび1次元FFTが繰り返し起動されることが問題となりうる。この問題を解決するため、上述したように、本開示は、オリジナルのPSDアルゴリズムを改良するためのスキームを提供し、当該スキームは、計算対象となるDFTサンプルの数およびDRAMアクセスを24%も削減することができる。本発明の実施形態に係る技術を、高速PXIバス上のホストPCと通信するXilinx Kintex 7 FPGAを使用した広範な合成およびベンチマークを用いてテストした。開示システムは、いくつかのFPGAが高速バスを介し通信することをサポートするように拡張可能であり、大規模コンピュータビジョンおよび生物医学的応用に理想的でありうる。画像をピリオディック周波数成分とスムース周波数成分とに分解するにも関わらず、本発明の実施形態に係る設計は、従来のFPGAベースの2次元DFT実装と比較して、少しだけ長いランタイムを必要とするのみであり、様々なリアルタイムアプリケーションに使用できる。
<本発明の実施形態の追加の詳細および他の変形例>
幾つかは既に説明済みではあるが、本発明の実施形態の追加の詳細および他の考えられる変形例を以下に示す。
本発明のいくつかの実施形態は、LabView 2014を用いて作成し、LabView FPGAモジュール 2014を用いてテストした。使用したFPGAデバイスはXilinx Vertix 5であったが、設計は、どのようなFPGAモジュールにも拡張可能である。
画像取得は、National Instruments(NI)社の画像入力ソフトウェアIMAQ Visionを使って行った。画像はファイルからロードしたが、IMAQプロトコルをサポートしていれば、カメラや他の画像入力装置からロードしてもよい。
代替の画像取得ソフトウェアであるパワーオーバーカメラリンク(PoCL)を画像取得プロトコルとして使ってもよい。
本発明の実施形態において使用する離散フーリエ変換(DFT)機能は、National Instruments社のものであり、LabView 2014において提供されている。しかしながら、全体的な設計を迅速化するために、他のDFT IntellectualProperty(IP)ブロックに置き換えてもよい。
図6は、本発明の実施形態に係る全体的なハードウェア設計フローを示す図である。DFTは、標準VHDLブロック、Flip関数およびMath関数を用いて実装される。ディスプレイAおよびディスプレイBは、オリジナルのDFTおよび改良DFTをそれぞれ示し、単一のまたは2つのディスプレイ上に表示されてもよい。
Flip関数のフロー図を図7に示す。メモリ交換に必要な全体の時間を減らすために、指標配列関数、差関数および部分配列置換関数を、非特許文献11で述べられているように、キャッシュメモリ内で位置を直接入れ替えるのに使用する。
図8に示すMath関数は、必要な数学関数(除算、乗算、減算、および余弦を含む)を計算し、フーリエ変換されたflip関数の出力を入力として必要とする。
Math関数における余弦は、CORDIC(Coordinate Rotation Digital Computer)アルゴリズムを使用して、または、LUT(ルックアップテーブル)に基づいて計算してもよい。
図6の点線の領域は並列処理を表すことに留意されたい。DFTは、flip関数のDFTとその後のmath関数の計算に並行して計算される。
図9は、本実施形態に係る画像について、原画像、そのDFT、算出された除去成分(RC)、およびDFT−RCをそれぞれ示す図である。
本発明の本実施形態は、画像サイズ512×512に対するものであったが、任意の矩形サイズに拡大縮小できる。IMAQディスプレイを用いて、結果をスクリーン上に表示する。
3GHzの汎用プロセッサ(GPP)と比較して、開示のスキームは、1.5クロックサイクル未満で改良FFTを潜在的に計算できる。しかしながら、この数値は、使用されるFPGAのタイプおよび選択されるクロックサイクルに依存する。
本開示は、同時エッジアーチファクト除去を伴う高スループット2次元DFTを計算するための新規なFPGAベースの設計を提供した。アポディゼイション関数またはミラー関数を使用してこれらのアーチファクトを除去する標準的な手法は、重要な周波数を除去すること、または画像サイズを増加させることによって計算を急増させることを伴う。本開示は、512×512サイズの画像ストリームに対しリアルタイム性能(すなわち、1秒あたり23フレーム以上)を達成しつつ、FPGA実装用に改良されたアーチファクト除去アルゴリズムに基づくピリオディックプラススムースデコンポジションを使用する。ここに開示される手法は、外部メモリ利用を大幅に削減し、メモリが衝突するのを防止し、設計を単純化する。本発明の実施形態は、ホストPCと通信するPXIeベースのXilinx Kintex 7 FPGAシステムを使用して実証され、さらに様々な工業用途に開示されたスキームを拡張できる利点を与える。
本発明の趣旨及び範囲から逸脱することなく本発明に対して様々な修正及び変形を行えることは当業者には自明であろう。すなわち、本発明は添付の特許請求の範囲とその均等物の範囲内で生じるさまざまな修正及び変形を包含することが意図されている。特に、上述したいずれか2以上の実施形態及びその修正のいずれかの一部又は全体が結合されて本発明の範囲内でみなされることは明示的に熟慮される。

Claims (7)

  1. 対象画像データの2次元離散フーリエ変換を行う方法であって、
    前記対象画像データの最外画素以外の画素が全てゼロに設定されている境界画像データを構築するステップ(a)と、
    前記対象画像データの各行に対し1次元高速フーリエ変換を行い、前記対象画像データの各列に対して1次元高速フーリエ変換を行うことによって、前記対象画像データの2次元高速フーリエ変換を行うステップ(b)と、
    構築された前記境界画像データにおいて第1列のみに対して1次元高速フーリエ変換を行い、構築された前記境界画像データの残りの列について列単位1次元高速フーリエ変換を行わず、前記第1列の1次元高速フーリエ変換の結果をスケーリングすることにより、構築された前記境界画像データの残りの列の1次元高速フーリエ変換を導出し、構築された前記境界画像データの各行に対し1次元高速フーリエ変換を行うことにより、前記境界画像データの2次元高速フーリエ変換を行うステップ(c)と、
    前記ステップ(b)によって実行された前記対象画像データの2次元高速フーリエ変換から前記ステップ(c)において導出された前記境界画像データの高速フーリエ変換を減算することによって、前記対象画像データからエッジアーチファクトが除去された画像データの高速フーリエ変換を導出するステップ(d)と、
    1以上のデジタル処理装置が実行する、方法。
  2. 前記ステップ(b)および(c)は並行して処理される、
    請求項1に記載の方法
  3. 前記1以上のデジタル処理装置は、ホストコンピュータと、前記ホストコンピュータと接続された1以上のフィールド・プログラマブル・ゲート・アレイ(FPGA)と、を備え、
    前記ステップ(a)および(d)は、前記ホストコンピュータによって実行され、前記ステップ(b)および(c)は、前記1以上のFPGAによって並行して実行される、
    請求項1に記載の方法。
  4. 対象画像データの2次元離散フーリエ変換を行うシステムであって、
    ホストコンピュータと、
    バスにより前記ホストコンピュータと接続された1以上のフィールド・プログラマブル・ゲート・アレイ(FPGAs)と、を備え、
    前記ホストコンピュータは、前記対象画像データの最外画素以外の画素が全てゼロに設定されている境界画像データを構築し、
    前記1以上のFPGAは、(i)前記対象画像データの各行に対し1次元高速フーリエ変換を行い、前記対象画像データの各列に対して1次元高速フーリエ変換を行うことによって、前記対象画像データの2次元高速フーリエ変換を行い、
    前記1以上のFPGAは、(ii)構築された前記境界画像データにおいて第1列のみに対して1次元高速フーリエ変換を行い、構築された前記境界画像データの残りの列について列単位1次元高速フーリエ変換を行わず、前記第1列の1次元高速フーリエ変換の結果をスケーリングすることにより、構築された前記境界画像データの残りの列の1次元高速フーリエ変換を導出し、構築された前記境界画像データの各行に対し1次元高速フーリエ変換を行うことにより、前記境界画像データの2次元高速フーリエ変換を行い、
    前記ホストコンピュータは、前記対象画像データの2次元高速フーリエ変換から前記境界画像データの高速フーリエ変換を減算することによって、前記対象画像データからエッジアーチファクトが除去された画像データの高速フーリエ変換を導出する
    システム。
  5. 前記ホストコンピュータは、(i)および(ii)が並行して処理されるように前記1以上のFPGAを制御する、
    請求項4に記載のシステム。
  6. N(Nは2より大きい整数)次元画像データのN次元高速フーリエ変換を行う方法であって、
    前記N次元画像データを、複数の2次元画像データにスライスし、
    請求項1記載の対象画像データの2次元離散フーリエ変換の実行方法を前記複数の2次元画像データのそれぞれに対し実行し、
    請求項1記載の前記方法を前記複数の2次元画像データのそれぞれに対し実行した結果からN次元高速フーリエ変換を導出する、
    処理を1以上のデジタル処理装置が実行する、
    方法。
  7. 前記ホストコンピュータは、さらに、N(Nは2より大きい整数)次元画像データを受け取り、受け取った前記N次元画像データを複数の2次元画像データにスライスするよう構成され、
    前記1以上のFPGAは、前記複数の2次元画像データのそれぞれに対して(i)および(ii)を実行し、
    前記ホストコンピュータは、前記1以上のFPGAが前記複数の2次元画像データのそれぞれに対し実行した(i)および(ii)の結果から前記N次元画像データのN次元フーリエ変換を導出する、
    請求項5に記載のシステム。
JP2018500813A 2015-07-20 2016-07-20 リアルタイムアプリケーションのための同時エッジアーチファクト除去を伴う二次元離散フーリエ変換 Active JP6429428B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562194689P 2015-07-20 2015-07-20
US62/194,689 2015-07-20
PCT/JP2016/003401 WO2017013877A1 (en) 2015-07-20 2016-07-20 2d discrete fourier transform with simultaneous edge artifact removal for real-time applications

Publications (2)

Publication Number Publication Date
JP2018522349A JP2018522349A (ja) 2018-08-09
JP6429428B2 true JP6429428B2 (ja) 2018-11-28

Family

ID=57835019

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018500813A Active JP6429428B2 (ja) 2015-07-20 2016-07-20 リアルタイムアプリケーションのための同時エッジアーチファクト除去を伴う二次元離散フーリエ変換

Country Status (5)

Country Link
US (1) US10121233B2 (ja)
EP (1) EP3326082A4 (ja)
JP (1) JP6429428B2 (ja)
CN (1) CN107851088B (ja)
WO (1) WO2017013877A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016081939A1 (en) * 2014-11-21 2016-05-26 Vid Scale, Inc. One-dimensional transform modes and coefficient scan order
CN107911576A (zh) * 2017-11-01 2018-04-13 北京小米移动软件有限公司 图像处理方法、装置和存储介质
CN111145075B (zh) * 2019-12-16 2023-05-12 深圳云天励飞技术有限公司 数据处理系统
US11954819B1 (en) * 2020-02-28 2024-04-09 Unm Rainforest Innovations System and methods for fast and scalable 2D convolutions and cross-correlations for processing image databases and videos on CPUs
CN114792303B (zh) * 2022-03-21 2023-05-16 视微影像(河南)科技有限公司 频域或扫频光学相干断层扫描的全范围分析方法与系统
CN114998161A (zh) * 2022-06-02 2022-09-02 中国科学院西安光学精密机械研究所 一种基于完美傅里叶变换的傅里叶叠层显微术高精度重构图像方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5089982A (en) * 1990-05-24 1992-02-18 Grumman Aerospace Corporation Two dimensional fast Fourier transform converter
US5450553A (en) * 1990-06-15 1995-09-12 Kabushiki Kaisha Toshiba Digital signal processor including address generation by execute/stop instruction designated
SE9601229D0 (sv) * 1996-03-07 1996-03-29 B Ulf Skoglund Apparatus and method for providing reconstruction
US5991788A (en) 1997-03-14 1999-11-23 Xilinx, Inc. Method for configuring an FPGA for large FFTs and other vector rotation computations
US6021423A (en) 1997-09-26 2000-02-01 Xilinx, Inc. Method for parallel-efficient configuring an FPGA for large FFTS and other vector rotation computations
EP0967763B1 (en) * 1998-06-29 2004-12-01 Alcatel Multicarrier receiver with per-carrier RLS frequency domain equalisation
WO2003087990A2 (en) * 2002-04-09 2003-10-23 The Escher Group, Ltd. Encoding and decoding data using angular symbology and beacons
CA2631004C (en) * 2007-05-09 2016-07-19 Universite De Sherbrooke Image reconstruction methods based on block circulant system matrices
CN101944235B (zh) * 2009-09-18 2012-02-01 哈尔滨工程大学 基于分数傅立叶变换的图像压缩方法
US9071825B2 (en) * 2012-04-24 2015-06-30 Tektronix, Inc. Tiling or blockiness detection based on spectral power signature
CN102722895B (zh) * 2012-05-15 2014-03-26 哈尔滨工程大学 基于分数傅立叶变换的形状描述方法
JP6061619B2 (ja) * 2012-10-30 2017-01-18 オリンパス株式会社 顕微鏡システム
JP5892501B1 (ja) * 2013-03-13 2016-03-23 学校法人沖縄科学技術大学院大学学園 相関ノイズを除去する拡張視野反復再構成法
US9734129B2 (en) * 2014-04-22 2017-08-15 Sandisk Technologies Llc Low complexity partial parallel architectures for Fourier transform and inverse Fourier transform over subfields of a finite field

Also Published As

Publication number Publication date
US20180204313A1 (en) 2018-07-19
JP2018522349A (ja) 2018-08-09
EP3326082A1 (en) 2018-05-30
CN107851088B (zh) 2019-03-01
CN107851088A (zh) 2018-03-27
WO2017013877A1 (en) 2017-01-26
EP3326082A4 (en) 2018-10-17
US10121233B2 (en) 2018-11-06

Similar Documents

Publication Publication Date Title
JP6429428B2 (ja) リアルタイムアプリケーションのための同時エッジアーチファクト除去を伴う二次元離散フーリエ変換
JP7009609B2 (ja) 加速数学エンジン
Cao et al. Fast image deconvolution using closed-form thresholding formulas of lq (q= 12, 23) regularization
CN106991665B (zh) 基于cuda图像融合并行计算的方法
JP2021507335A (ja) 行列入力を行列プロセッサ用のベクトル化入力に変換するためのシステムおよび方法
Mahmood et al. 2D discrete Fourier transform with simultaneous edge artifact removal for real-time applications
WO2010067324A1 (en) A method of operating a computing device to perform memoization
Licciardo et al. Frame buffer-less stream processor for accurate real-time interest point detection
Rahman et al. Parallel implementation of a spatio-temporal visual saliency model
Adámek et al. GPU fast convolution via the overlap-and-save method in shared memory
Lee et al. Implementing algorithms for signal and image reconstruction on graphical processing units
Rogan et al. Improving the fast back projection algorithm through massive parallelizations
Bhadouria et al. A novel image impulse noise removal algorithm optimized for hardware accelerators
Mahmood et al. Algorithm and architecture optimization for 2D discrete Fourier transforms with simultaneous edge artifact removal
Ha et al. Fast Parallel Unbiased Diffeomorphic Atlas Construction on Multi-Graphics Processing Units.
CN114140340A (zh) 图像数据的伪影处理方法及装置、存储介质、终端
Baier et al. GPU-based nonlocal filtering for large scale SAR processing
Modieginyane et al. CUDA based performance evaluation of the computational efficiency of the DCT image compression technique on both the CPU and GPU
Keskin et al. An efficient parallel implementation of 3D-FFT on GPU
Kauker et al. Memory saving discrete Fourier transform on GPUs
Mahmood et al. Research Article Algorithm and Architecture Optimization for 2D Discrete Fourier Transforms with Simultaneous Edge Artifact Removal
Van der Maar et al. Experiences with Cell-BE and GPU for tomography
Van Luong et al. A massively parallel approach to affine transformataion in medical image registration
Jolly et al. Multi-sector algorithm for hardware acceleration of the general Hough transform
Park et al. Performance analysis of a novel GPU computation-to-core mapping scheme for robust facet image modeling

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180202

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180201

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180201

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180604

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180612

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180731

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181016

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181029

R150 Certificate of patent or registration of utility model

Ref document number: 6429428

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250