JP6961749B2 - インターリーブチャネルデータ用の構成可能な畳み込みエンジン - Google Patents
インターリーブチャネルデータ用の構成可能な畳み込みエンジン Download PDFInfo
- Publication number
- JP6961749B2 JP6961749B2 JP2020084320A JP2020084320A JP6961749B2 JP 6961749 B2 JP6961749 B2 JP 6961749B2 JP 2020084320 A JP2020084320 A JP 2020084320A JP 2020084320 A JP2020084320 A JP 2020084320A JP 6961749 B2 JP6961749 B2 JP 6961749B2
- Authority
- JP
- Japan
- Prior art keywords
- convolution
- circuit
- stream
- channel
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012805 post-processing Methods 0.000 claims description 57
- 230000004044 response Effects 0.000 claims description 45
- 238000010606 normalization Methods 0.000 claims description 26
- 238000006243 chemical reaction Methods 0.000 claims description 22
- 230000009466 transformation Effects 0.000 claims description 15
- 238000000844 transformation Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 description 78
- 238000011176 pooling Methods 0.000 description 70
- 238000000034 method Methods 0.000 description 64
- 230000008569 process Effects 0.000 description 55
- 239000000872 buffer Substances 0.000 description 36
- 238000010586 diagram Methods 0.000 description 34
- 238000004364 calculation method Methods 0.000 description 25
- 238000007781 pre-processing Methods 0.000 description 21
- 238000001914 filtration Methods 0.000 description 19
- 238000012937 correction Methods 0.000 description 15
- 238000013507 mapping Methods 0.000 description 14
- 238000003860 storage Methods 0.000 description 13
- 238000012952 Resampling Methods 0.000 description 10
- 238000001514 detection method Methods 0.000 description 10
- 230000033001 locomotion Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 238000011161 development Methods 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 7
- 230000000875 corresponding effect Effects 0.000 description 6
- 238000009825 accumulation Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 5
- 241000023320 Luma <angiosperm> Species 0.000 description 4
- 230000001276 controlling effect Effects 0.000 description 4
- 230000001186 cumulative effect Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 230000002829 reductive effect Effects 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000003705 background correction Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000002950 deficient Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000036961 partial effect Effects 0.000 description 3
- 230000002085 persistent effect Effects 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- YGSDEFSMJLZEOE-UHFFFAOYSA-N salicylic acid Chemical compound OC(=O)C1=CC=CC=C1O YGSDEFSMJLZEOE-UHFFFAOYSA-N 0.000 description 3
- 229960000196 stridex Drugs 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 241000238370 Sepia Species 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000000059 patterning Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 238000009966 trimming Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 241000699670 Mus sp. Species 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013481 data capture Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000004049 embossing Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000009249 intrinsic sympathomimetic activity Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/15—Correlation function computation including computation of convolution operations
- G06F17/153—Multidimensional correlation or convolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
- G06V10/507—Summing image-intensity values; Histogram projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
- G06V10/955—Hardware or software architectures specially adapted for image or video understanding using specific electronic processors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Computational Mathematics (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Analysis (AREA)
- Biodiversity & Conservation Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Algebra (AREA)
- Neurology (AREA)
- Image Processing (AREA)
- Complex Calculations (AREA)
Description
例示的な電子デバイス
例示的な画像信号処理パイプライン
例示的なビジョンモジュール
例示的な畳み込みエンジンアーキテクチャ
畳み込みエンジン処理モード
畳み込みコア回路
(NΣH2−(ΣH)2) (2)
式中、Nは畳み込みカーネルのサイズであり、Hはカーネルデータである。式2は、式1の分母の一部を形成し、したがって、NCCスコアを計算する過程でカーネル統計値を計算することができる。
チャネルごとの空間プーリング及び正規化
インターリーブチャネルマージ
Claims (20)
- 畳み込みエンジンであって、
1つ以上の第1の畳み込みカーネルを第1の入力データに適用することによって第1の値の第1のストリームを生成するように構成された第1の畳み込み回路であって、前記第1のストリーム内の前記第1の値が、インターリーブ方式でデータの第1の複数のデータチャネルを定義する、第1の畳み込み回路と、
前記第1の畳み込み回路に結合された第2の畳み込み回路であって、
前記第1の畳み込み回路からの前記第1のストリームの前記第1の値を第2の入力データとして受信し、
1つ以上の第2の畳み込みカーネルを前記第2の入力データに適用することによって、インターリーブ方式でデータの第2の複数のデータチャネルを定義する第2の値を有する第2のストリームを生成する、前記第2の畳み込み回路と、
を備え、
前記第2の畳み込み回路は、
第1の出力値を生成するよう構成された第1の実行クラスタと、
第2の出力値を生成するよう構成された第2の実行クラスタと、
前記第1の実行クラスタ及び前記第2の実行クラスタと結合された第1の後処理回路であって、前記第1の出力値及び前記第2の出力値を組み合わせることによって、前記第2の値を有する前記第2のストリームを生成する、前記第1の後処理回路と、
を備える、畳み込みエンジン。 - 前記1つ以上の第1の畳み込みカーネルにおける或る第1の畳み込みカーネルは、第1のフィルタ要素を含み、
前記1つ以上の第2の畳み込みカーネルにおける或る第2の畳み込みカーネルは、前記第1のフィルタ要素とは異なる第2のフィルタ要素を含む、請求項1に記載の畳み込みエンジン。 - 前記第1の畳み込み回路が、
第3の実行クラスタ及び第4の実行クラスタであって、前記第3の実行クラスタが第3の出力値を生成する一方で、前記第4の実行クラスタが非アクティブ化される、前記第3の実行クラスタ及び第4の実行クラスタと、
前記第3の実行クラスタ及び前記第4の実行クラスタに結合された第2の後処理回路であって、前記第3の出力値から第1の値の第1のストリームを生成するよう構成された前記第2の後処理回路と、
含む、請求項1に記載の畳み込みエンジン。 - 前記第3の実行クラスタは、クロックサイクル毎に前記第3の出力値の一つを生成するよう構成され、
前記第1の実行クラスタは、クロックサイクル毎に前記第1の出力値の一つを生成するよう構成され、
前記第2の実行クラスタは、前記第1の実行クラスタと並行して、クロックサイクル毎に前記第2の出力値の一つを生成するよう構成された、
請求項3に記載の畳み込みエンジン。 - 第1の後処理回路は、複数の第2の畳み込みカーネルに関する正規化相互相関(NCC)スコア及び前記第1の実行クラスタからの前記第1の出力値を計算するように構成されたマルチチャネルNCCユニットとを含む、請求項1に記載の畳み込みエンジン。
- 第1の後処理回路は、前記第1の実行クラスタからの前記第1の出力値に関連付けられた最大値又は最小値を判定するように構成されたピークファインダを更に含む、請求項1に記載の畳み込みエンジン。
- 第1の後処理回路は、前記第1の実行クラスタからの前記第1の出力値に対して非線形変換を実行するように構成された応答整流ユニットを更に含む、請求項1に記載の畳み込みエンジン。
- 第1の後処理回路は、前記第1の実行クラスタからの前記第1の出力値に対して、インターチャネル局所応答正規化(LRN)を実行するように構成されたLRNユニットを更に含む、請求項1に記載の畳み込みエンジン。
- 前記第1の入力データは、インターリーブ方式で複数の画像のチャネルを定義する、第1の値の第1のストリームを含む、請求項1に記載の畳み込みエンジン。
- 前記第1の畳み込み回路は、
前記第1の畳み込み回路及び前記第2の畳み込み回路の外部にあるメモリに前記第1の値を記憶することなく、前記第2の畳み込み回路へ前記第1のストリームの前記第1の値を提供するよう構成されている、請求項1に記載の畳み込みエンジン。 - 畳み込みエンジンであって、
1つ以上の第1の畳み込みカーネルを第1の入力データに適用することによって第1の値の第1のストリームを生成するように構成された第1の畳み込み回路であって、前記第1のストリーム内の前記第1の値が、インターリーブ方式でデータの第1の複数のデータチャネルを定義する、第1の畳み込み回路と、
1つ以上の第2の畳み込みカーネルを第2の入力データに適用することによって第2の値の第2のストリームを生成するように構成された第2の畳み込み回路であって、前記第2のストリーム内の前記第2の値が、インターリーブ方式でデータの第2の複数のデータチャネルを定義し、前記第1の畳み込み回路及び前記第2の畳み込み回路が並行に作動して、前記第1の値の第1のストリーム及び前記第2の値の第2のストリームを生成する、前記第2の畳み込み回路と、
前記第1の畳み込み回路に連結されて前記第1のストリームを受信し、前記第2の畳み込み回路に連結されて前記第2のストリームを受信するチャネルマージ回路とを備え、
前記チャネルマージ回路が、
前記畳み込みエンジンの第1のモードでは、前記第1の値を含む第1の出力ストリームと、前記第2の値を含む第2の出力ストリームとを生成し、前記第1の畳み込み回路で受信された前記第1の入力データが、前記第2の畳み込み回路で受信された前記第2の入力データと同一であり、
前記畳み込みエンジンの第2のモードでは、前記第2の値とインターリーブされた前記第1の値を含む第3の出力ストリームを受信し、前記第3の出力ストリームがインターリーブ方式で前記第1の複数のデータチャネル及び前記第2の複数のデータチャネルを定義し、前記第1の畳み込み回路によって受信された前記第1の入力データが、前記第2の畳み込み回路によって受信された前記第2の入力データと同じである、ように構成されている、畳み込みエンジン。 - 前記第1の畳み込み回路が第1の畳み込みカーネルを前記第1の入力データに適用すると同時に、前記第2の畳み込み回路が第2の畳み込みカーネルを前記第2の入力データに適用し、
前記第1の畳み込みカーネルが第1のフィルタ要素を有し、前記第2の畳み込みカーネルが前記第1のフィルタ要素とは異なる第2のフィルタ要素を有する、請求項11に記載の畳み込みエンジン。 - 前記第1の畳み込み回路は、
畳み込みコアであって、
前記第1の複数のデータチャネルの偶数チャネルを定義する偶数データ値のストリームを生成するように構成された第1の実行クラスタと、
前記第1の複数のデータチャネルの奇数チャネルを定義する奇数データ値のストリームを生成するように構成された第2の実行クラスタと、
を含む、畳み込みコアと、
前記第1の実行クラスタに連結されて前記偶数データ値のストリームを受信し、前記第2の実行クラスタに連結されて前記奇数データ値のストリームを受信する後処理回路であって、前記偶数データ値のストリーム及び前記奇数データ値のストリームから前記第1の値の第1のストリームを生成するように構成された、後処理回路と、
を含む、請求項11に記載の畳み込みエンジン。 - 前記後処理回路が、
複数の第1の畳み込みカーネルのマルチチャネル正規化相互相関(NCC)スコアと、前記偶数データ値のストリームとを計算するように構成されたマルチチャネルNCCユニットを含む、請求項13に記載の畳み込みエンジン。 - 前記後処理回路が、偶数チャネルに関連付けられた前記NCCスコアに基づきテンプレートにとっての最良一致位置を判定するよう構成されたピークファインダを更に含む、請求項14に記載の畳み込みエンジン。
- 前記後処理回路が、前記第1の実行クラスタからの前記偶数データ値のストリームへ非線形変換を実行するように構成された応答整流ユニットを含む、請求項13に記載の畳み込みエンジン。
- 第1の後処理回路は、前記第1の複数のデータチャネルの偶数チャネルを定義する偶数データ値に対して、チャネル間局所応答正規化(LRN)を実行するように構成されたLRNユニットを更に含む、請求項13に記載の畳み込みエンジン。
- 前記後処理回路が、
前記第1の実行クラスタに連結され、複数の第1の畳み込みカーネルの正規化相互相関(NCC)スコア及び前記偶数データ値のストリームを計算するように構成されたマルチチャネルNCCユニットと、
前記マルチチャネルNCCユニットに連結され、前記偶数データ値のストリームに対して非線形変換を実行するように構成された応答整流ユニットと、
前記応答整流ユニットに連結され、前記応答整流ユニットの出力に対してチャネル間局所応答正規化(LRN)を実行するように構成されたチャネル間LRNユニットと、
を含む、後処理回路と、
前記畳み込みエンジンが、前記マルチチャネルNCCユニット、前記応答整流ユニット、及び前記チャネル間LRNユニットを選択的にアクティブ化させる又は非アクティブ化させるように構成された制御回路を更に含む、請求項13に記載の畳み込みエンジン。 - 前記畳み込みエンジンを、前記第1及び第2のモードを含む複数のモード間で切り替えるように構成された制御回路を更に備える、請求項11に記載の畳み込みエンジン。
- 前記第2の畳み込み回路が、第1のマルチプレクサを含み、
前記チャネルマージ回路が、第2のマルチプレクサを含み、
前記制御回路が、
前記畳み込みエンジンの前記第1のモードにおいて、
前記第1のマルチプレクサに、前記第1の入力データを、前記第2の畳み込み回路への前記第2の入力データとして選択させ、
前記第2のマルチプレクサに、前記第2の値の第2の出力ストリームを、前記チャネルマージ回路の前記第2の出力ストリームとして選択させ、
前記畳み込みエンジンの前記第2のモードにおいて、
前記第1のマルチプレクサに、前記第1の入力データを、前記第2の畳み込み回路への前記第2の入力データとして選択させ、
前記第2のマルチプレクサに、前記第3の出力ストリームを、前記チャネルマージ回路の出力として選択させる、
ように更に構成された、請求項19に記載の畳み込みエンジン。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/499,543 | 2017-04-27 | ||
US15/499,543 US10176551B2 (en) | 2017-04-27 | 2017-04-27 | Configurable convolution engine for interleaved channel data |
JP2019558415A JP6705065B1 (ja) | 2017-04-27 | 2018-03-06 | インターリーブチャネルデータ用の構成可能な畳み込みエンジン |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019558415A Division JP6705065B1 (ja) | 2017-04-27 | 2018-03-06 | インターリーブチャネルデータ用の構成可能な畳み込みエンジン |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020144907A JP2020144907A (ja) | 2020-09-10 |
JP6961749B2 true JP6961749B2 (ja) | 2021-11-05 |
Family
ID=61750535
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019558415A Active JP6705065B1 (ja) | 2017-04-27 | 2018-03-06 | インターリーブチャネルデータ用の構成可能な畳み込みエンジン |
JP2020084320A Active JP6961749B2 (ja) | 2017-04-27 | 2020-05-13 | インターリーブチャネルデータ用の構成可能な畳み込みエンジン |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019558415A Active JP6705065B1 (ja) | 2017-04-27 | 2018-03-06 | インターリーブチャネルデータ用の構成可能な畳み込みエンジン |
Country Status (7)
Country | Link |
---|---|
US (3) | US10176551B2 (ja) |
JP (2) | JP6705065B1 (ja) |
KR (2) | KR102163424B1 (ja) |
CN (2) | CN112926726A (ja) |
DE (1) | DE112018002228B4 (ja) |
GB (2) | GB2592835B (ja) |
WO (1) | WO2018200075A1 (ja) |
Families Citing this family (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9977994B2 (en) * | 2016-06-30 | 2018-05-22 | Apple Inc. | Configurable histogram-of-oriented gradients (HOG) processor |
US9858636B1 (en) | 2016-06-30 | 2018-01-02 | Apple Inc. | Configurable convolution engine |
JP2018067154A (ja) * | 2016-10-19 | 2018-04-26 | ソニーセミコンダクタソリューションズ株式会社 | 演算処理回路および認識システム |
KR102061408B1 (ko) * | 2017-03-24 | 2019-12-31 | (주)제이엘케이인스펙션 | 가상 3차원 심층 신경망을 이용하는 영상 분석 장치 및 방법 |
US10176551B2 (en) * | 2017-04-27 | 2019-01-08 | Apple Inc. | Configurable convolution engine for interleaved channel data |
US10776694B2 (en) * | 2017-05-16 | 2020-09-15 | Samsung Electronics Co., Ltd. | Optimized neural network input stride method and apparatus |
JP7242185B2 (ja) * | 2018-01-10 | 2023-03-20 | キヤノン株式会社 | 画像処理方法、画像処理装置、画像処理プログラム、および、記憶媒体 |
US10977854B2 (en) | 2018-02-27 | 2021-04-13 | Stmicroelectronics International N.V. | Data volume sculptor for deep learning acceleration |
US11586907B2 (en) | 2018-02-27 | 2023-02-21 | Stmicroelectronics S.R.L. | Arithmetic unit for deep learning acceleration |
US11687762B2 (en) | 2018-02-27 | 2023-06-27 | Stmicroelectronics S.R.L. | Acceleration unit for a deep learning engine |
CN110322388B (zh) * | 2018-03-29 | 2023-09-12 | 上海熠知电子科技有限公司 | 池化方法及装置、池化系统、计算机可读存储介质 |
US10997736B2 (en) * | 2018-08-10 | 2021-05-04 | Apple Inc. | Circuit for performing normalized cross correlation |
EP3648013A1 (en) * | 2018-11-02 | 2020-05-06 | Tata Consultancy Services Limited | Method and system for partitioning of deep convolution network for executing on computationally constraint devices |
KR20200081044A (ko) | 2018-12-27 | 2020-07-07 | 삼성전자주식회사 | 뉴럴 네트워크의 컨볼루션 연산을 처리하는 방법 및 장치 |
KR20210020387A (ko) * | 2019-08-14 | 2021-02-24 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
DE102019129760A1 (de) * | 2019-11-05 | 2021-05-06 | Eyyes Gmbh | Verfahren zur Verarbeitung von Eingangsdaten |
JP2023503355A (ja) * | 2019-11-27 | 2023-01-27 | シンハ,パーヴェル | 画像センサデータの画像解析への直接変換を実行するためのシステム及び方法 |
US20220076059A1 (en) * | 2019-12-02 | 2022-03-10 | Qualcomm Incorporated | Multi-Stage Neural Network Process for Keypoint Detection In An Image |
US11403727B2 (en) * | 2020-01-28 | 2022-08-02 | Nxp Usa, Inc. | System and method for convolving an image |
KR20210097448A (ko) * | 2020-01-30 | 2021-08-09 | 삼성전자주식회사 | 영상 데이터 처리 방법 및 영상 데이터 처리 방법을 수행하는 센서 장치 |
KR20210101903A (ko) | 2020-02-11 | 2021-08-19 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
US11507831B2 (en) * | 2020-02-24 | 2022-11-22 | Stmicroelectronics International N.V. | Pooling unit for deep learning acceleration |
US20210287338A1 (en) * | 2020-03-11 | 2021-09-16 | Mediatek Inc. | Image-guided adjustment to super-resolution operations |
US11580192B2 (en) * | 2020-04-08 | 2023-02-14 | Meta Platforms, Inc. | Grouped convolution using point-to-point connected channel convolution engines |
KR20210139061A (ko) * | 2020-05-13 | 2021-11-22 | 엘지이노텍 주식회사 | 이미징 장치 및 이미징 방법 |
GB2595696B (en) | 2020-06-04 | 2022-12-28 | Envisics Ltd | Forming a hologram of a target image for projection using data streaming |
US20220067509A1 (en) * | 2020-09-02 | 2022-03-03 | Alibaba Group Holding Limited | System and method for learning from partial compressed representation |
US11144822B1 (en) * | 2021-01-04 | 2021-10-12 | Edgecortix Pte. Ltd. | Neural network accelerator run-time reconfigurability |
JP7418019B2 (ja) * | 2021-12-10 | 2024-01-19 | 株式会社アクセル | 情報処理装置、情報処理装置における情報処理方法、及びプログラム |
Family Cites Families (55)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4399536A (en) * | 1981-10-02 | 1983-08-16 | Bell Telephone Laboratories, Incorporated | Convolution filter arrangement for digital multifrequency receiver |
US4694407A (en) | 1985-06-11 | 1987-09-15 | Rca Corporation | Fractal generation, as for video graphic displays |
JPH0823883B2 (ja) | 1987-07-02 | 1996-03-06 | 富士通株式会社 | ビデオレート画像プロセッサ |
CN1010437B (zh) * | 1988-06-02 | 1990-11-14 | 清华大学 | 一种实时图象邻域处理器 |
JPH07168809A (ja) | 1993-03-30 | 1995-07-04 | Klics Ltd | ウェーブレット変換方法及びウェーブレット変換回路 |
DE69422871T2 (de) | 1993-09-17 | 2000-08-17 | Eastman Kodak Co | Digitaler integrierter Abtastratenumwandlungsschaltkreis und Anwendung bei einer schnellen Grössenänderung eines Bildes |
US5572532A (en) * | 1993-12-29 | 1996-11-05 | Zenith Electronics Corp. | Convolutional interleaver and deinterleaver |
US6539120B1 (en) | 1997-03-12 | 2003-03-25 | Matsushita Electric Industrial Co., Ltd. | MPEG decoder providing multiple standard output signals |
WO1999012265A1 (fr) * | 1997-09-02 | 1999-03-11 | Sony Corporation | Codeur/decodeur turbo et procede de codage/decodage turbo |
US6088387A (en) * | 1997-12-31 | 2000-07-11 | At&T Corp. | Multi-channel parallel/serial concatenated convolutional codes and trellis coded modulation encoder/decoder |
US6070263A (en) * | 1998-04-20 | 2000-05-30 | Motorola, Inc. | Circuit for use in a Viterbi decoder |
US6573905B1 (en) | 1999-11-09 | 2003-06-03 | Broadcom Corporation | Video and graphics system with parallel processing of graphics windows |
US7058086B2 (en) | 1999-05-26 | 2006-06-06 | Xm Satellite Radio Inc. | Method and apparatus for concatenated convolutional encoding and interleaving |
JP3688959B2 (ja) * | 1999-11-29 | 2005-08-31 | 株式会社東芝 | パケット伝送システム |
US7020827B2 (en) * | 2001-06-08 | 2006-03-28 | Texas Instruments Incorporated | Cascade map decoder and method |
JP3927776B2 (ja) | 2001-06-25 | 2007-06-13 | キヤノン株式会社 | 画像処理装置及びその処理方法 |
US7379105B1 (en) | 2002-06-18 | 2008-05-27 | Pixim, Inc. | Multi-standard video image capture device using a single CMOS image sensor |
US7397938B2 (en) | 2003-08-13 | 2008-07-08 | Siemens Medical Solutions Usa, Inc. | Method and system for fast normalized cross-correlation between an image and a Gaussian for detecting spherical structures |
US7266255B1 (en) | 2003-09-26 | 2007-09-04 | Sun Microsystems, Inc. | Distributed multi-sample convolution |
US7737994B1 (en) | 2003-09-26 | 2010-06-15 | Oracle America, Inc. | Large-kernel convolution using multiple industry-standard graphics accelerators |
KR100664178B1 (ko) * | 2004-11-13 | 2007-01-04 | 엘지전자 주식회사 | 디지털 멀티미디어 방송 수신기의 채널 정보 갱신 방법 |
US20060215929A1 (en) | 2005-03-23 | 2006-09-28 | David Fresneau | Methods and apparatus for image convolution |
KR20060121312A (ko) * | 2005-05-24 | 2006-11-29 | 엘지전자 주식회사 | 컨볼루션 터보 부호 인터리버 |
US8115840B2 (en) * | 2005-11-10 | 2012-02-14 | DigitalOptics Corporation International | Image enhancement in the mosaic domain |
US8154636B2 (en) | 2005-12-21 | 2012-04-10 | DigitalOptics Corporation International | Image enhancement using hardware-based deconvolution |
US7701496B2 (en) | 2006-12-22 | 2010-04-20 | Xerox Corporation | Color filter pattern for color filter arrays including a demosaicking algorithm |
US8379738B2 (en) * | 2007-03-16 | 2013-02-19 | Samsung Electronics Co., Ltd. | Methods and apparatus to improve performance and enable fast decoding of transmissions with multiple code blocks |
JP4442644B2 (ja) * | 2007-06-15 | 2010-03-31 | 株式会社デンソー | パイプライン演算装置 |
US20090077359A1 (en) | 2007-09-18 | 2009-03-19 | Hari Chakravarthula | Architecture re-utilizing computational blocks for processing of heterogeneous data streams |
US8824833B2 (en) | 2008-02-01 | 2014-09-02 | Omnivision Technologies, Inc. | Image data fusion systems and methods |
US8345984B2 (en) | 2010-01-28 | 2013-01-01 | Nec Laboratories America, Inc. | 3D convolutional neural networks for automatic human action recognition |
JP5813751B2 (ja) * | 2010-04-18 | 2015-11-17 | アイマックス ヨーロッパ ソシエテ アノニム | プロジェクタによって投影される画像を生成する方法及び画像投影システム |
WO2012108411A1 (ja) * | 2011-02-10 | 2012-08-16 | 日本電気株式会社 | 符号化/復号化処理プロセッサ、および無線通信装置 |
JP2013207382A (ja) * | 2012-03-27 | 2013-10-07 | Nec Corp | インタリーブ制御装置、インタリーブ処理装置及びインタリーブ処理方法 |
US8917952B2 (en) | 2012-10-22 | 2014-12-23 | Siemens Medical Solutions Usa, Inc. | Parallel image convolution processing with SVD kernel data |
CN104781827B (zh) | 2012-12-18 | 2018-10-19 | 英特尔公司 | 用于加速对象检测的硬件卷积预过滤 |
US8983188B1 (en) | 2013-05-14 | 2015-03-17 | Google Inc. | Edge-aware smoothing in images |
GB2516221A (en) | 2013-07-01 | 2015-01-21 | Barco Nv | Method and processor for streaming video processing |
US9202144B2 (en) * | 2013-10-30 | 2015-12-01 | Nec Laboratories America, Inc. | Regionlets with shift invariant neural patterns for object detection |
US9392173B2 (en) | 2013-12-13 | 2016-07-12 | Adobe Systems Incorporated | Image deblurring based on light streaks |
RU2014104571A (ru) | 2014-02-10 | 2015-08-20 | ЭлЭсАй Корпорейшн | Системы и способы для эффективного с точки зрения площади кодирования данных |
US9832388B2 (en) | 2014-08-04 | 2017-11-28 | Nvidia Corporation | Deinterleaving interleaved high dynamic range image by using YUV interpolation |
US10255547B2 (en) * | 2014-12-04 | 2019-04-09 | Nvidia Corporation | Indirectly accessing sample data to perform multi-convolution operations in a parallel processing system |
CN104484658A (zh) * | 2014-12-30 | 2015-04-01 | 中科创达软件股份有限公司 | 一种基于多通道卷积神经网络的人脸性别识别方法及装置 |
CN106033528A (zh) | 2015-03-09 | 2016-10-19 | 富士通株式会社 | 从彩色文档图像中提取特定区域的方法和设备 |
US10268886B2 (en) | 2015-03-11 | 2019-04-23 | Microsoft Technology Licensing, Llc | Context-awareness through biased on-device image classifiers |
US20160328644A1 (en) | 2015-05-08 | 2016-11-10 | Qualcomm Incorporated | Adaptive selection of artificial neural networks |
US9582726B2 (en) | 2015-06-24 | 2017-02-28 | Qualcomm Incorporated | Systems and methods for image processing in a deep convolution network |
US9525427B1 (en) * | 2015-09-11 | 2016-12-20 | Tektronix, Inc. | Test and measurement instrument including asynchronous time-interleaved digitizer using harmonic mixing and a linear time-periodic filter |
US9858636B1 (en) * | 2016-06-30 | 2018-01-02 | Apple Inc. | Configurable convolution engine |
CN106530210B (zh) * | 2016-10-31 | 2019-09-06 | 北京大学 | 基于阻变存储器件阵列实现并行卷积计算的设备和方法 |
CN108073549B (zh) * | 2016-11-14 | 2021-04-27 | 耐能股份有限公司 | 卷积运算装置及方法 |
US10325342B2 (en) * | 2017-04-27 | 2019-06-18 | Apple Inc. | Convolution engine for merging interleaved channel data |
US10319066B2 (en) * | 2017-04-27 | 2019-06-11 | Apple Inc. | Convolution engine with per-channel processing of interleaved channel data |
US10176551B2 (en) * | 2017-04-27 | 2019-01-08 | Apple Inc. | Configurable convolution engine for interleaved channel data |
-
2017
- 2017-04-27 US US15/499,543 patent/US10176551B2/en active Active
-
2018
- 2018-03-06 GB GB2108888.5A patent/GB2592835B/en active Active
- 2018-03-06 JP JP2019558415A patent/JP6705065B1/ja active Active
- 2018-03-06 CN CN202110176449.3A patent/CN112926726A/zh active Pending
- 2018-03-06 GB GB1915153.9A patent/GB2584504B/en active Active
- 2018-03-06 CN CN201880027358.XA patent/CN110574026B/zh active Active
- 2018-03-06 DE DE112018002228.5T patent/DE112018002228B4/de active Active
- 2018-03-06 KR KR1020197031687A patent/KR102163424B1/ko active Application Filing
- 2018-03-06 WO PCT/US2018/021210 patent/WO2018200075A1/en active Application Filing
- 2018-03-06 KR KR1020207025505A patent/KR102352102B1/ko active IP Right Grant
- 2018-11-28 US US16/203,550 patent/US10489880B2/en active Active
-
2019
- 2019-10-25 US US16/664,120 patent/US10685421B1/en active Active
-
2020
- 2020-05-13 JP JP2020084320A patent/JP6961749B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
US10176551B2 (en) | 2019-01-08 |
CN112926726A (zh) | 2021-06-08 |
KR20200105984A (ko) | 2020-09-09 |
GB201915153D0 (en) | 2019-12-04 |
GB2584504B (en) | 2021-08-04 |
JP2020522775A (ja) | 2020-07-30 |
US20190096026A1 (en) | 2019-03-28 |
WO2018200075A1 (en) | 2018-11-01 |
KR20190126440A (ko) | 2019-11-11 |
DE112018002228B4 (de) | 2023-08-03 |
DE112018002228T5 (de) | 2020-01-09 |
GB202108888D0 (en) | 2021-08-04 |
US10685421B1 (en) | 2020-06-16 |
KR102352102B1 (ko) | 2022-01-17 |
JP2020144907A (ja) | 2020-09-10 |
KR102163424B1 (ko) | 2020-10-08 |
US10489880B2 (en) | 2019-11-26 |
US20200167889A1 (en) | 2020-05-28 |
JP6705065B1 (ja) | 2020-06-03 |
GB2592835B (en) | 2022-03-02 |
CN110574026B (zh) | 2021-02-26 |
US20180315155A1 (en) | 2018-11-01 |
GB2584504A (en) | 2020-12-09 |
GB2592835A (en) | 2021-09-08 |
CN110574026A (zh) | 2019-12-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6961749B2 (ja) | インターリーブチャネルデータ用の構成可能な畳み込みエンジン | |
US10325342B2 (en) | Convolution engine for merging interleaved channel data | |
US10747843B2 (en) | Configurable convolution engine | |
CN110637297B (zh) | 卷积引擎、数据处理方法和电子设备 | |
JP6574534B2 (ja) | 並列コンピュータビジョン及び画像スケーリング・アーキテクチャ | |
US20240169481A1 (en) | Demosaicing circuit for demosaicing quad bayer raw image data | |
US11936992B2 (en) | Multi-mode demosaicing for raw image data | |
US10997736B2 (en) | Circuit for performing normalized cross correlation | |
US20230289923A1 (en) | Machine learning based noise reduction circuit |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200525 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200525 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210621 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210802 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210825 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210913 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211013 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6961749 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |