JP7219727B2 - 動きボケ除去装置及びプログラム - Google Patents
動きボケ除去装置及びプログラム Download PDFInfo
- Publication number
- JP7219727B2 JP7219727B2 JP2020003972A JP2020003972A JP7219727B2 JP 7219727 B2 JP7219727 B2 JP 7219727B2 JP 2020003972 A JP2020003972 A JP 2020003972A JP 2020003972 A JP2020003972 A JP 2020003972A JP 7219727 B2 JP7219727 B2 JP 7219727B2
- Authority
- JP
- Japan
- Prior art keywords
- tensor
- motion blur
- spatial
- processing
- size
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 claims description 82
- 238000013527 convolutional neural network Methods 0.000 claims description 9
- 230000003247 decreasing effect Effects 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 4
- 238000000034 method Methods 0.000 description 94
- 230000008569 process Effects 0.000 description 70
- 238000004364 calculation method Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 12
- 238000005070 sampling Methods 0.000 description 9
- 238000013135 deep learning Methods 0.000 description 6
- 238000007667 floating Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 241001125929 Trisopterus luscus Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000010420 art technique Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Description
入力画像Pinは高解像度(例えばサイズ(横×縦)1280×720)で構成されるものであり、第2ダウンサンプル部D2においてこの入力画像Pinをダウンサンプリングして低解像度化した画像P2in(例えば1/4にダウンサンプリングしたサイズ320×180)を得る。第2NW部N2では低解像度の画像P2inに対して動きボケ除去処理を適用し、同低解像度(例えばサイズ320×180)で構成された動きボケ除去された出力画像P2outを得る。
高解像度(例えばサイズ1280×720)の入力画像Pinを、第1ダウンサンプル部D1においてダウンサンプリングして中解像度化した画像P1in(例えば1/2にダウンサンプリングしたサイズ640×360)を得る。また、第1手順で動きボケ除去された低解像度の出力画像P2out(サイズ320×180)を接続C2に示すようにアップサンプル部U2で画像P1inと同サイズ(640×360)へとアップサンプリングした画像P2Uinを得る。第1NW部N1ではこれら中解像度の画像P1in及びP2Uinを入力として、画像P1inについて同中解像度(640×360)において動きボケ除去された出力画像P1outを得る。
第2手順で動きボケ除去された中解像度の出力画像P1out(サイズ640×360)を接続C1に示すようにアップサンプル部U1で高解像度の入力画像Pinと同サイズ(1280×720)へとアップサンプリングした画像P1Uinを得る。第0NW部N0ではこれら高解像度の画像Pin及びP1Uinを入力として、入力画像Pinについて同高解像度(1280×720)において動きボケ除去された出力画像Poutを得る。
層L0…処理P01,P02,P03,P04,SC0,P05,P06,SK,P07,CS
層L1…処理P11,P12,SC1,P13,E14,D15,P16
層L2…処理P21,P22,P23,SC2,P24,E25,D26,P27
層L3…処理P31,P32,P33,E34,D35,P36
(2) 第1中間出力のテンソルT341に対して「ReLU」処理を行い、第2中間出力としてテンソルT342(同サイズ40×22×512)を得る。
(3) 第2中間出力のテンソルT342(サイズ40×22×512)に対して「conv1x1」処理(ポイントワイズ畳込処理)として、サイズ1×1×512のカーネル(ポイントワイズのカーネル)を1024個用いてそれぞれ畳込処理を行った結果として、処理D35の最終的な出力であるテンソルT35を得る。
https://github.com/SeungjunNah/DeepDeblur_release
E34,E25,E14…ESP処理、ES…ESP構造
Claims (9)
- 畳込ニューラルネットワークを用いて、入力画像に対して、互いに異なる解像度スケールそれぞれで動きボケ除去を行った出力画像を得る、互いに共通するネットワーク構造を有する少なくとも2つのネットワーク部(N0,N1,N2)を備える動きボケ除去装置であって、
前記ネットワーク部は、入力画像より出力画像を得るまでの途中の処理を担うネットワーク構造として、互いに異なる空間スケールの特徴を少なくとも2つ抽出して統合する効率的空間ピラミッド構造(ES,E34,E25,E14)を備えることを特徴とする動きボケ除去装置。 - 前記効率的空間ピラミッド構造は、互いに異なる空間的な拡張率が定義されたカーネル(K1,K2,K3,K4)を用いた畳込を行うことで、互いに異なる空間スケールの特徴を少なくとも2つ抽出して統合することを特徴とする請求項1に記載の動きボケ除去装置。
- 前記互いに異なる空間的な拡張率が定義されたカーネルは、互いに同一サイズであり、且つ、当該定義されている拡張率に応じた空間的な広がりを有するものであることを特徴とする請求項2に記載の動きボケ除去装置。
- 前記効率的空間ピラミッド構造では、前記互いに異なる空間的な拡張率が定義されたカーネル(K1,K2,K3,K4)を用いた畳込(P102~P402)以外の畳込として、ポイントワイズの畳込(P50,P101~P401、P52)のみを行うことを特徴とする請求項2または3に記載の動きボケ除去装置。
- 前記効率的空間ピラミッド構造は、前記互いに異なる空間的な拡張率が定義されたカーネル(K1,K2,K3,K4)を用いた畳込を並列(CL1,CL2,CL3,CL4)に行うことを特徴とする請求項2ないし4のいずれかに記載の動きボケ除去装置。
- 前記効率的空間ピラミッド構造は、前記畳込を並列に行った後に、拡張率が低い側での畳込の出力を拡張率が高い側での畳込の出力へと加算(P203,P303,P403)したうえで、前記互いに異なる空間スケールの特徴を少なくとも2つ抽出して統合(P51)することを特徴とする請求項5に記載の動きボケ除去装置。
- 前記ネットワーク部は、入力画像より出力画像を得るまでの間にテンソルを逐次的に加工する処理のネットワーク構造として、テンソルの空間サイズを下げながらチャネルサイズを上げる前段側構造と、テンソルの空間サイズを上げながらチャネルサイズを下げる後段側構造と、を有し、前記効率的空間ピラミッド構造は、前記後段側構造に含まれることを特徴とする請求項1ないし6のいずれかに記載の動きボケ除去装置。
- 前記少なくとも2つのネットワーク部は、低解像度側のネットワーク部の出力画像がアップサンプリングされたうえで、高解像度側のネットワーク部の動きボケ除去対象となる入力画像と共に入力されるカスケード接続の構造(C1,C2,CS)を有することを特徴とする請求項1ないし7のいずれかに記載の動きボケ除去装置。
- コンピュータを請求項1ないし8のいずれかに記載の動きボケ除去装置として機能ささせることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020003972A JP7219727B2 (ja) | 2020-01-14 | 2020-01-14 | 動きボケ除去装置及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020003972A JP7219727B2 (ja) | 2020-01-14 | 2020-01-14 | 動きボケ除去装置及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021111236A JP2021111236A (ja) | 2021-08-02 |
JP7219727B2 true JP7219727B2 (ja) | 2023-02-08 |
Family
ID=77060036
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020003972A Active JP7219727B2 (ja) | 2020-01-14 | 2020-01-14 | 動きボケ除去装置及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7219727B2 (ja) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017187954A (ja) | 2016-04-06 | 2017-10-12 | Kddi株式会社 | 画像合成装置、プログラム及びデータ構造 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102034967B1 (ko) * | 2017-12-06 | 2019-10-21 | 한국과학기술원 | 움직임 흐림 제거 방법 및 장치 |
-
2020
- 2020-01-14 JP JP2020003972A patent/JP7219727B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017187954A (ja) | 2016-04-06 | 2017-10-12 | Kddi株式会社 | 画像合成装置、プログラム及びデータ構造 |
Non-Patent Citations (2)
Title |
---|
Sachin Mehta et al.,ESPNet: Efficient Spatial Pyramid of Dilated Convolutions for Semantic Segmentation,Computer Vision and Pattern Recognition,米国,2018年07月25日,pp.1-29,https://arxiv.org/abs/1803.06815 |
Xin Tao et al.,Scale-Recurrent Network for Deep Image Deblurring,2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition,米国,IEEE,2018年06月23日,pp.8174-8182,https://ieeexplore.ieee.org/document/8578951 |
Also Published As
Publication number | Publication date |
---|---|
JP2021111236A (ja) | 2021-08-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10699160B2 (en) | Neural network method and apparatus | |
Yan et al. | Shift-net: Image inpainting via deep feature rearrangement | |
CN112884772B (zh) | 语义分割架构 | |
Liu et al. | Polarized self-attention: Towards high-quality pixel-wise mapping | |
CN110223304B (zh) | 一种基于多路径聚合的图像分割方法、装置和计算机可读存储介质 | |
Lu et al. | A deep learning method for image super-resolution based on geometric similarity | |
CN109034198B (zh) | 基于特征图恢复的场景分割方法和系统 | |
JP6429428B2 (ja) | リアルタイムアプリケーションのための同時エッジアーチファクト除去を伴う二次元離散フーリエ変換 | |
CN108765282B (zh) | 基于fpga的实时超分辨方法及系统 | |
Ma et al. | Sparse representation and position prior based face hallucination upon classified over-complete dictionaries | |
CN111932480A (zh) | 去模糊视频恢复方法、装置、终端设备以及存储介质 | |
US20230252605A1 (en) | Method and system for a high-frequency attention network for efficient single image super-resolution | |
DE102020101525A1 (de) | Blind-spot-faltungsarchitekturen und bayessche bildwiederherstellung | |
Esmaeilzehi et al. | SRNHARB: A deep light-weight image super resolution network using hybrid activation residual blocks | |
CN117575915A (zh) | 一种图像超分辨率重建方法、终端设备及存储介质 | |
CN111986210B (zh) | 一种医学影像小病灶分割方法 | |
CN113240584A (zh) | 一种基于图片边缘信息的多任务手势图片超分辨率方法 | |
JP7219727B2 (ja) | 動きボケ除去装置及びプログラム | |
CN113361537A (zh) | 基于通道注意力的图像语义分割方法及装置 | |
Zeng et al. | Real-time video super resolution network using recurrent multi-branch dilated convolutions | |
Cheng et al. | Self-calibrated attention neural network for real-world super resolution | |
CN111028236A (zh) | 一种基于多尺度卷积U-Net的癌细胞图像分割方法 | |
Cao et al. | Adaptive residual channel attention network for single image super-resolution | |
Su et al. | Single image super-resolution based on space structure learning | |
Yau et al. | Robust deep learning-based multi-image super-resolution using inpainting |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220107 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230116 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230125 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230127 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7219727 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |