JP6429428B2 - リアルタイムアプリケーションのための同時エッジアーチファクト除去を伴う二次元離散フーリエ変換 - Google Patents
リアルタイムアプリケーションのための同時エッジアーチファクト除去を伴う二次元離散フーリエ変換 Download PDFInfo
- Publication number
- JP6429428B2 JP6429428B2 JP2018500813A JP2018500813A JP6429428B2 JP 6429428 B2 JP6429428 B2 JP 6429428B2 JP 2018500813 A JP2018500813 A JP 2018500813A JP 2018500813 A JP2018500813 A JP 2018500813A JP 6429428 B2 JP6429428 B2 JP 6429428B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- dimensional
- fourier transform
- fast fourier
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims description 38
- 238000012545 processing Methods 0.000 claims description 30
- 238000003491 array Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 2
- 230000000737 periodic effect Effects 0.000 description 39
- 230000006870 function Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 20
- 239000013598 vector Substances 0.000 description 20
- 238000004422 calculation algorithm Methods 0.000 description 19
- 238000000354 decomposition reaction Methods 0.000 description 17
- 238000013461 design Methods 0.000 description 16
- 238000004364 calculation method Methods 0.000 description 10
- 239000000203 mixture Substances 0.000 description 8
- 238000013459 approach Methods 0.000 description 7
- 230000004913 activation Effects 0.000 description 6
- 238000001994 activation Methods 0.000 description 6
- 238000012546 transfer Methods 0.000 description 6
- 230000006872 improvement Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 208000028934 otopalatodigital syndrome spectrum disease Diseases 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000003775 Density Functional Theory Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 206010047571 Visual impairment Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000012432 intermediate storage Methods 0.000 description 1
- 238000007620 mathematical function Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000004452 microanalysis Methods 0.000 description 1
- 238000000386 microscopy Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration using non-spatial domain filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
- G06F17/141—Discrete Fourier transforms
- G06F17/142—Fast Fourier transforms, e.g. using a Cooley-Tukey type algorithm
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Optimization (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Pure & Applied Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Discrete Mathematics (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Image Processing (AREA)
- Complex Calculations (AREA)
Description
ピリオディックプラススムースデコンポジション(PSD)は、画像をピリオディック成分およびスムース成分に分解することを含み、スムース成分は、画像の境界から計算され、その後、ピリオディック成分を得るために、画像から減算される。有限領域Ω={0,1,・・・,n−1}×{0,1,・・・,m−1}上で離散n×mグレースケール画像Iを持つものとする。Iの離散フーリエ変換(DFT)は、以下のように定義される。
本開示は、FPGA上で効果的に構成されることができるよう、オリジナルのP+Sアルゴリズムの大幅な改善を提供する。以下に説明するように、本開示におけるこの独自の改良の結果として、1次元FFT起動回数および外部DRAMの利用が大幅に削減される。上記のアルゴリズム1は、2つの2次元FFTが各画像フレーム(すなわち、原画像Iおよび境界画像B)に対し計算される必要があることを示している。これらのFFTは並行して計算することができるが、それには、1次元FFTを多量に起動し、外部メモリに繰り返しアクセスすることが必要となる。
<A.ハードウェア構成>
2次元DFTは、通常、複雑な画像処理およびマシンビジョンシステムにおいて畳み込み演算を単純化するために使用されるので、本発明者らは、本発明の実施例として、次の処理レベルのために拡張可能なシステムの設計を試作した。図3は、本発明の実施形態に係る、PXIe筐体上の高速バスを介して接続されたホストPCコントローラを備えるPXIeベースのマルチFPGAシステムのブロック図である。本発明の実施形態に係る改良ピリオディックプラススムースデコンポジションアルゴリズム案を迅速に試作するため、PXIe(PCI eXtentions for Industry express)ベースのリコンフィギュラブルシステムを使用した。PXIeは、バス構造が強化されたPCIシステムの工業用拡張であり、各接続デバイスに最大4GB/sのスループットでバスへの専用アクセスを提供する。これにより、ホストPCと複数のFPGAとの間の高速専用リンクが可能となる。LabView FPGAグラフィカルデザイン環境を複雑な信号および画像処理システムの迅速な試作に使用することができる。これにより、効果的に外部HDLコードとLabViewグラフィカルデザインを1つのプラットフォーム上で効果的に統合することができる。実施例を作成するのに、本発明者らは、FlexRIO(Flexible Reconfigurable I/O)FPGAボードを使用し、PXIe筐体に接続した。PXIe FlexRIO FPGAボードは柔軟性があり、複数のFPGA間において1.5GB/sの高速で直接データ転送ができるため、高スループットを達成するために使用できる。これにより、通常ホストPCを介して通信するマルチFPGAシステムを大幅に単純化することができる。この特徴により、さらなる処理段階に対して我々のシステムを拡張することが可能となり、様々なアプリケーションに対して柔軟に対応できる。図3は、PXIe筐体上の高速バスを介して接続されたホストPCコントローラを有するPXIeベースのマルチFPGAシステムの基本概要を示す図である。Kintex 7 FPGAと最大10GB/sのデータ帯域幅を有する2GB外部DRAMとを有するNI社PXIe−7976R FlexRIOボードを使用した。このFPGAボードは、PXIe−8135コアi7PCコントローラと共にPXIe−1082筐体に接続された。
上記したアルゴリズム1および2のように、本実施形態の実装は、4つの段階に分解できる。(1)画像フレームの2次元FFTを計算する。(2)境界画像を計算する。(3)境界画像の2次元FFTを計算し、スムース成分を算出する。(4)原画像の2次元FFTからスムース成分を減算して、ピリオディック成分を導出する。全てのステップのうち、ボトルネックは、2次元FFT計算に存在するだろう。
幾つかは既に説明済みではあるが、本発明の実施形態の追加の詳細および他の考えられる変形例を以下に示す。
Claims (7)
- 対象画像データの2次元離散フーリエ変換を行う方法であって、
前記対象画像データの最外画素以外の画素が全てゼロに設定されている境界画像データを構築するステップ(a)と、
前記対象画像データの各行に対し1次元高速フーリエ変換を行い、前記対象画像データの各列に対して1次元高速フーリエ変換を行うことによって、前記対象画像データの2次元高速フーリエ変換を行うステップ(b)と、
構築された前記境界画像データにおいて第1列のみに対して1次元高速フーリエ変換を行い、構築された前記境界画像データの残りの列について列単位1次元高速フーリエ変換を行わず、前記第1列の1次元高速フーリエ変換の結果をスケーリングすることにより、構築された前記境界画像データの残りの列の1次元高速フーリエ変換を導出し、構築された前記境界画像データの各行に対し1次元高速フーリエ変換を行うことにより、前記境界画像データの2次元高速フーリエ変換を行うステップ(c)と、
前記ステップ(b)によって実行された前記対象画像データの2次元高速フーリエ変換から前記ステップ(c)において導出された前記境界画像データの高速フーリエ変換を減算することによって、前記対象画像データからエッジアーチファクトが除去された画像データの高速フーリエ変換を導出するステップ(d)と、
を1以上のデジタル処理装置が実行する、方法。 - 前記ステップ(b)および(c)は並行して処理される、
請求項1に記載の方法 - 前記1以上のデジタル処理装置は、ホストコンピュータと、前記ホストコンピュータと接続された1以上のフィールド・プログラマブル・ゲート・アレイ(FPGA)と、を備え、
前記ステップ(a)および(d)は、前記ホストコンピュータによって実行され、前記ステップ(b)および(c)は、前記1以上のFPGAによって並行して実行される、
請求項1に記載の方法。 - 対象画像データの2次元離散フーリエ変換を行うシステムであって、
ホストコンピュータと、
バスにより前記ホストコンピュータと接続された1以上のフィールド・プログラマブル・ゲート・アレイ(FPGAs)と、を備え、
前記ホストコンピュータは、前記対象画像データの最外画素以外の画素が全てゼロに設定されている境界画像データを構築し、
前記1以上のFPGAは、(i)前記対象画像データの各行に対し1次元高速フーリエ変換を行い、前記対象画像データの各列に対して1次元高速フーリエ変換を行うことによって、前記対象画像データの2次元高速フーリエ変換を行い、
前記1以上のFPGAは、(ii)構築された前記境界画像データにおいて第1列のみに対して1次元高速フーリエ変換を行い、構築された前記境界画像データの残りの列について列単位1次元高速フーリエ変換を行わず、前記第1列の1次元高速フーリエ変換の結果をスケーリングすることにより、構築された前記境界画像データの残りの列の1次元高速フーリエ変換を導出し、構築された前記境界画像データの各行に対し1次元高速フーリエ変換を行うことにより、前記境界画像データの2次元高速フーリエ変換を行い、
前記ホストコンピュータは、前記対象画像データの2次元高速フーリエ変換から前記境界画像データの高速フーリエ変換を減算することによって、前記対象画像データからエッジアーチファクトが除去された画像データの高速フーリエ変換を導出する、
システム。 - 前記ホストコンピュータは、(i)および(ii)が並行して処理されるように前記1以上のFPGAを制御する、
請求項4に記載のシステム。 - N(Nは2より大きい整数)次元画像データのN次元高速フーリエ変換を行う方法であって、
前記N次元画像データを、複数の2次元画像データにスライスし、
請求項1記載の対象画像データの2次元離散フーリエ変換の実行方法を前記複数の2次元画像データのそれぞれに対し実行し、
請求項1記載の前記方法を前記複数の2次元画像データのそれぞれに対し実行した結果からN次元高速フーリエ変換を導出する、
処理を1以上のデジタル処理装置が実行する、
方法。 - 前記ホストコンピュータは、さらに、N(Nは2より大きい整数)次元画像データを受け取り、受け取った前記N次元画像データを複数の2次元画像データにスライスするよう構成され、
前記1以上のFPGAは、前記複数の2次元画像データのそれぞれに対して(i)および(ii)を実行し、
前記ホストコンピュータは、前記1以上のFPGAが前記複数の2次元画像データのそれぞれに対し実行した(i)および(ii)の結果から前記N次元画像データのN次元フーリエ変換を導出する、
請求項5に記載のシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201562194689P | 2015-07-20 | 2015-07-20 | |
US62/194,689 | 2015-07-20 | ||
PCT/JP2016/003401 WO2017013877A1 (en) | 2015-07-20 | 2016-07-20 | 2d discrete fourier transform with simultaneous edge artifact removal for real-time applications |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018522349A JP2018522349A (ja) | 2018-08-09 |
JP6429428B2 true JP6429428B2 (ja) | 2018-11-28 |
Family
ID=57835019
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018500813A Active JP6429428B2 (ja) | 2015-07-20 | 2016-07-20 | リアルタイムアプリケーションのための同時エッジアーチファクト除去を伴う二次元離散フーリエ変換 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10121233B2 (ja) |
EP (1) | EP3326082A4 (ja) |
JP (1) | JP6429428B2 (ja) |
CN (1) | CN107851088B (ja) |
WO (1) | WO2017013877A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016081939A1 (en) * | 2014-11-21 | 2016-05-26 | Vid Scale, Inc. | One-dimensional transform modes and coefficient scan order |
CN107911576A (zh) * | 2017-11-01 | 2018-04-13 | 北京小米移动软件有限公司 | 图像处理方法、装置和存储介质 |
CN111145075B (zh) * | 2019-12-16 | 2023-05-12 | 深圳云天励飞技术有限公司 | 数据处理系统 |
US11954819B1 (en) * | 2020-02-28 | 2024-04-09 | Unm Rainforest Innovations | System and methods for fast and scalable 2D convolutions and cross-correlations for processing image databases and videos on CPUs |
CN114792303B (zh) * | 2022-03-21 | 2023-05-16 | 视微影像(河南)科技有限公司 | 频域或扫频光学相干断层扫描的全范围分析方法与系统 |
CN114998161A (zh) * | 2022-06-02 | 2022-09-02 | 中国科学院西安光学精密机械研究所 | 一种基于完美傅里叶变换的傅里叶叠层显微术高精度重构图像方法 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5089982A (en) * | 1990-05-24 | 1992-02-18 | Grumman Aerospace Corporation | Two dimensional fast Fourier transform converter |
US5450553A (en) * | 1990-06-15 | 1995-09-12 | Kabushiki Kaisha Toshiba | Digital signal processor including address generation by execute/stop instruction designated |
SE9601229D0 (sv) * | 1996-03-07 | 1996-03-29 | B Ulf Skoglund | Apparatus and method for providing reconstruction |
US5991788A (en) | 1997-03-14 | 1999-11-23 | Xilinx, Inc. | Method for configuring an FPGA for large FFTs and other vector rotation computations |
US6021423A (en) | 1997-09-26 | 2000-02-01 | Xilinx, Inc. | Method for parallel-efficient configuring an FPGA for large FFTS and other vector rotation computations |
EP0967763B1 (en) * | 1998-06-29 | 2004-12-01 | Alcatel | Multicarrier receiver with per-carrier RLS frequency domain equalisation |
WO2003087990A2 (en) * | 2002-04-09 | 2003-10-23 | The Escher Group, Ltd. | Encoding and decoding data using angular symbology and beacons |
CA2631004C (en) * | 2007-05-09 | 2016-07-19 | Universite De Sherbrooke | Image reconstruction methods based on block circulant system matrices |
CN101944235B (zh) * | 2009-09-18 | 2012-02-01 | 哈尔滨工程大学 | 基于分数傅立叶变换的图像压缩方法 |
US9071825B2 (en) * | 2012-04-24 | 2015-06-30 | Tektronix, Inc. | Tiling or blockiness detection based on spectral power signature |
CN102722895B (zh) * | 2012-05-15 | 2014-03-26 | 哈尔滨工程大学 | 基于分数傅立叶变换的形状描述方法 |
JP6061619B2 (ja) * | 2012-10-30 | 2017-01-18 | オリンパス株式会社 | 顕微鏡システム |
JP5892501B1 (ja) * | 2013-03-13 | 2016-03-23 | 学校法人沖縄科学技術大学院大学学園 | 相関ノイズを除去する拡張視野反復再構成法 |
US9734129B2 (en) * | 2014-04-22 | 2017-08-15 | Sandisk Technologies Llc | Low complexity partial parallel architectures for Fourier transform and inverse Fourier transform over subfields of a finite field |
-
2016
- 2016-07-20 JP JP2018500813A patent/JP6429428B2/ja active Active
- 2016-07-20 WO PCT/JP2016/003401 patent/WO2017013877A1/en active Application Filing
- 2016-07-20 CN CN201680042150.6A patent/CN107851088B/zh active Active
- 2016-07-20 US US15/746,407 patent/US10121233B2/en active Active
- 2016-07-20 EP EP16827444.7A patent/EP3326082A4/en not_active Ceased
Also Published As
Publication number | Publication date |
---|---|
US20180204313A1 (en) | 2018-07-19 |
JP2018522349A (ja) | 2018-08-09 |
EP3326082A1 (en) | 2018-05-30 |
CN107851088B (zh) | 2019-03-01 |
CN107851088A (zh) | 2018-03-27 |
WO2017013877A1 (en) | 2017-01-26 |
EP3326082A4 (en) | 2018-10-17 |
US10121233B2 (en) | 2018-11-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6429428B2 (ja) | リアルタイムアプリケーションのための同時エッジアーチファクト除去を伴う二次元離散フーリエ変換 | |
JP7009609B2 (ja) | 加速数学エンジン | |
Cao et al. | Fast image deconvolution using closed-form thresholding formulas of lq (q= 12, 23) regularization | |
CN106991665B (zh) | 基于cuda图像融合并行计算的方法 | |
JP2021507335A (ja) | 行列入力を行列プロセッサ用のベクトル化入力に変換するためのシステムおよび方法 | |
Mahmood et al. | 2D discrete Fourier transform with simultaneous edge artifact removal for real-time applications | |
WO2010067324A1 (en) | A method of operating a computing device to perform memoization | |
Licciardo et al. | Frame buffer-less stream processor for accurate real-time interest point detection | |
Rahman et al. | Parallel implementation of a spatio-temporal visual saliency model | |
Adámek et al. | GPU fast convolution via the overlap-and-save method in shared memory | |
Lee et al. | Implementing algorithms for signal and image reconstruction on graphical processing units | |
Rogan et al. | Improving the fast back projection algorithm through massive parallelizations | |
Bhadouria et al. | A novel image impulse noise removal algorithm optimized for hardware accelerators | |
Mahmood et al. | Algorithm and architecture optimization for 2D discrete Fourier transforms with simultaneous edge artifact removal | |
Ha et al. | Fast Parallel Unbiased Diffeomorphic Atlas Construction on Multi-Graphics Processing Units. | |
CN114140340A (zh) | 图像数据的伪影处理方法及装置、存储介质、终端 | |
Baier et al. | GPU-based nonlocal filtering for large scale SAR processing | |
Modieginyane et al. | CUDA based performance evaluation of the computational efficiency of the DCT image compression technique on both the CPU and GPU | |
Keskin et al. | An efficient parallel implementation of 3D-FFT on GPU | |
Kauker et al. | Memory saving discrete Fourier transform on GPUs | |
Mahmood et al. | Research Article Algorithm and Architecture Optimization for 2D Discrete Fourier Transforms with Simultaneous Edge Artifact Removal | |
Van der Maar et al. | Experiences with Cell-BE and GPU for tomography | |
Van Luong et al. | A massively parallel approach to affine transformataion in medical image registration | |
Jolly et al. | Multi-sector algorithm for hardware acceleration of the general Hough transform | |
Park et al. | Performance analysis of a novel GPU computation-to-core mapping scheme for robust facet image modeling |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180202 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20180201 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180201 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20180604 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180612 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180731 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181016 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181029 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6429428 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |