JP5784723B2 - 超解像度画像を生成する方法及びこれを実施するための非線形デジタルフィルター - Google Patents
超解像度画像を生成する方法及びこれを実施するための非線形デジタルフィルター Download PDFInfo
- Publication number
- JP5784723B2 JP5784723B2 JP2013523122A JP2013523122A JP5784723B2 JP 5784723 B2 JP5784723 B2 JP 5784723B2 JP 2013523122 A JP2013523122 A JP 2013523122A JP 2013523122 A JP2013523122 A JP 2013523122A JP 5784723 B2 JP5784723 B2 JP 5784723B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- resolution
- neural network
- frames
- low
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 57
- 238000013528 artificial neural network Methods 0.000 claims description 47
- 238000001914 filtration Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 5
- 238000012986 modification Methods 0.000 claims description 4
- 230000004048 modification Effects 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000003491 array Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 claims description 2
- 230000002194 synthesizing effect Effects 0.000 claims 1
- 238000012549 training Methods 0.000 description 13
- 230000004927 fusion Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 230000006641 stabilisation Effects 0.000 description 5
- 238000011105 stabilization Methods 0.000 description 5
- 238000012546 transfer Methods 0.000 description 5
- 238000010606 normalization Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000001303 quality assessment method Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000010561 standard procedure Methods 0.000 description 2
- 101000633607 Bos taurus Thrombospondin-2 Proteins 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
- H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/48—Increasing resolution by shifting the sensor relative to the scene
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
露光の際の運動によって生じる線形の画像ぶれの拡大が補間の際に発生する。従来の安定化システム(David Sachs、Steven Nasiri、Daniel Goehlによる“Image Stabilization Technology Overview”)の使用は、移動性要件に起因して困難である。
補間された信号が高周波数成分を含んでおらず、これが、不明瞭なエッジと細部の欠如をもたらす。
フィルターリングの実行対象であるピクセルのデータを含む画像エリアから、このピクセルの値及び近傍のピクセルの値を読み取り、
選択されたピクセルの値を事前にトレーニングされたニューラルネットワークの入力に転送し、
−鋭さ向上フィルターの場合には、ニューラルネットワークは、鋭い画像を形成するためのピクセルの値を付与し、
−テキストを図と識別するために使用されるフィルターの場合には、ニューラルネットワークは、この画像エリア内に存在するテキストの確率に比例したレベルを有する信号を付与する。
1つのフレームのみを入力として使用しており、入力と比較した場合、最終画像内のノイズのレベルの低減が実現されず;
ピクセル値の大きなダイナミックレンジがニューラルネットワークの効果的な動作を妨げ;
処理の結果として、画像の鮮明さは向上するが、画像の解像度が向上しない。
1つのフレームのみを入力として使用しており、入力と比較した場合、最終画像内におけるノイズレベルの低減が実現されず;
ニューラルネットワークをトレーニングして既定の限られたパターン(エッジの向きの変形)のセットを識別(distinct)しており、これが、画像の不正確な補間をもたらし、これらの画像は、トレーニングセットのものに似ておらず;
ピクセル値の大きなダイナミックレンジがニューラルネットワークの効果的な動作を妨げ;
処理の際に画像を2つのグループに分割することが必要であり;追加の演算リソースが必要である。
いくつかのフレームの露光と、
センサーからの入力画像の読取りと、
アライメントと、
拡大された画像の形成と、
そのフィルターリングと、
を含む既知の画像向上法において、
入力画像が高速撮影フレームの連続したシーケンスの形態においてデジタルセンサーから読み取られ、その際に、フレームレートが、スキャニングされるセンサーの面積と反比例しているという事実にある。同時に、低解像度の入力フレームを融合し、且つ、最も明瞭な(又は、最も鮮明な)フレームを識別することにより、拡大画像を形成し、非線形フィルターを入力フレームの融合の拡大された結果に対して適用することにより、画像の向上を非線形フィルターによって実行している。超解像度を得るべく、フィルターリングのために、その入力データが処理中の画像のピクセルであると共に基準画像を使用して事前トレーニングされたニューラルネットワークを含む非線形デジタルフィルターを使用している。変更されたデジタル化データをニューラルネットワークに転送しており、この変更は、低周波数成分の選択と、要素ごとのピクセルのグループ分けと、グループ分けされたピクセルからの低周波数成分の減算と、それらの更なる正規化と、を含む。次いで、出力されたニューラルネットワークのデータを逆正規化によって処理し、且つ、低周波数成分をニューラルネットワークの出力値に加算している。フィルターリングしなければならないピクセルの、且つ、拡大された画像から水平及び垂直に数ポイント以下に位置しているピクセルの、データのみを使用し、フィルターの値を取得している。
デジタル化された画像データの変更と、
事前トレーニングされたニューラルネットワークの入力へのそれらの転送と、
逆正規化と、
デジタル化されたデータの事前変更のステップにおいて受け取った低周波数データとのニューラルネットワークの出力の更なる加算と、
を含む。
様々な方向の輝度における滑らかな変化と輝度勾配値、
様々な向きの輝度(エッジ)における突然の変化、
色成分を処理するネットを事前トレーニングする際の様々な向きに伴う色成分の滑らかな及び突然の変化と勾配値、
様々な厚さ及び向きのダーク及びライトストローク、
ライン及び正弦波ターゲット(チャート)、
撮影画像の更なるアライメントを容易にするための制御点。
1.デジタル化された画像データの事前変更。
2.事前トレーニングされたニューラルネットワークによるデータ処理。
3.ステップ5におけるデジタル化された画像データの事前変更に対する逆処理。
4.ニューラルネットワークを使用して演算された結果に対するデジタル化画像データの事前変更のステージ2におけるフィルターリングされた低周波数データの加算。
多数のフレームの露光が可能である。但し、それぞれのフレームの露光は、デジタルズーム法において使用されるものよりも、相当に小さい。この結果、画像のぼけが低減される。
同一のシーンを示す多数のフレームの存在により、事実上、様々なノイズのフィルターが許容される。
この超解像度法は、画像内の鮮明なエッジや小さな細部の再現に有用である。
この超解像度法は、その高速処理に起因し、モバイル装置において使用することが可能であり、その主な需要の1つは、撮影した際の即座の結果の取得である。
その他の方法とは異なり、いくつかのフレームを組み合わせて1つの高品質画像を得ることにより、動いている被写体の撮像と関連した問題が存在しない。
1. Michal Irani, Shmuel Peleg “Super Resolution From Image Sequences”, ICPR, 2:115−−120, June 1990.
2. A.V.Nasonov, A.S.Krylov “Fast image super−resolution using mixed median filtering”, труды 12th international conference and exhibition“Digital signal processing and its application” (DSPA’ 2010), vol.2, p.101−104.
3. A.V.Nasonov, A.S.Krylov, A.Lukin “Image resolution increase using Tikhonov regularization” // Proceedings of international conference “Tikhonov amd modern mathematics”, Moscow, 2006.
4. Reza Safaee−Rad, Milivoje Aleksic “Handshake Characterization and Image Stabilization for Cell−Phone Cameras”, Proceedings of SPIE The International Society of Optical Engineering (2009), Volume: 7241, Issue: 14, Publisher: Spie, Pages: 72410V−72410V−15, DOI: 10.1117/12.806118
5. David Sachs, Steven Nasiri, Daniel Goehl “Image Stabilization Technology Overview”, http://invensense.com/mems/gyro/documents/whitepapers/ImageStabilizationWhitepaper_051606.pdf
6. Mohammad S. Alam, John G. Bognar, Russell C. Hardie, and Brian J. Yasuda “Infrared Image Registration and High−Resolution Reconstruction Using Multiple Translationally Shifted Aliased Video Frames ”, IEEE Transactions on instrumentation and measurement, Volume: 49, Issue: 5, October 2000
7. Medvedev V.S., Potemkin V.G., “Neural networks. MATLAB 6”, Moscow, Dialog−MIFI, 2002
8. Xin Wang, Baofeng Tian, Chao Liang, Dongcheng Shi “Blind Image Quality Assessment for Measuring Image Blur”, Congress on Image and Signal Processing, 2008. CISP ’08. Volume: 1, ISBN: 978−0−7695−3119−9
9. A. Schaum and M. McHugh, “Analytic methods of image registration: Displacement estimation and resampling,” Naval Res. Rep. 9298, Feb. 28 1992.
10. E. A. Kaltenbacher and R. C. Hardie, “High resolution infrared image reconstruction using multiple low resolution aliased frames,” in 1996 Nat. Aerosp. Electron. Conf. (NAECON), Dayton, OH, May 1996, pp. 702–709.
11. en.wikipedia.org/wiki/Digital_zoom
12. Jung−Hyun Hwang, Hweihn Chung, Sung−Ii Su, Yong−Chul Park, Chul−Ho Lee “High resolution digital zoom using temporal IIR filter”, IEEE Transactions on Consumer Electronics, Vol. 42, No.3, August 1996 (プロットタイプ1).
13.Masaaki Hayashi, “Neurofilter, and method of training same to operate on image data such as to discriminate between text and picture regions jf an image which is expressed by image data” United States Patent 6,301,381
14. Lin, et al. “Method for image resolution enhancement” United States Patent 7,187,811
(プロットタイプ2)
Claims (8)
- 画像の超解像度法において、
複数の低解像度フレームを生成するためにデジタル画像センサーを、所定のフレームレートで、露光するステップと、
前記複数の低解像度フレームをアライメントするステップと、
前記複数の低解像度フレームを合成することによって拡大された画像を形成するステップと、
解像度を向上するために非線形フィルターで前記拡大された画像をフィルターリングするステップとを具え、
前記非線形フィルターによるデータ処理が、
前記拡大された画像を事前変更するステップと、
事前トレーニングされたニューラルネットワークによって前記事前変更した画像を処理するステップと、
前記ニューラルネットワークの出力に対して前記事前変更の逆処理を行うステップとを含むことを特徴とする方法。 - 請求項1に記載の方法において、前記所定のフレームレートは、スキャニングされる前記デジタル画像センサーの光感知部分の大きさに反比例していることを特徴とする方法。
- 請求項1に記載の方法において、前記拡大された画像は、前記複数の低解像度フレームのうちの最も鋭いフレームのみの合成によって形成されることを特徴とする方法。
- 請求項1に記載の方法において、前記複数の低解像度フレームを合成するステップは選択的に、前記複数の低解像度フレームを平均するステップを含むことを特徴とする方法。
- 請求項4に記載の方法において、前記複数の低解像度フレームは、前記複数の低解像度フレームのノイズレベルに反比例して重み付けされることを特徴とする方法。
- 請求項1に記載の方法において、前記拡大された画像を事前変更するステップは、
前記拡大された画像から輝度成分のみ又は単一の色チャネルといったフィルターリング成分を隔離するステップと、
前記拡大された画像から低周波数成分を分離するステップと、
前記非線形フィルターの実行対象であるピクセルを取り囲むピクセルを、アレイにグループ分けするステップと、
前記アレイのすべての要素から前記低周波数成分の値を減算するステップと、
ピクセル値が特定の範囲に納まるようにすべてのピクセルアレイを正規化するステップとを含むことを特徴とする方法。 - 請求項1に記載の方法において、前記ニューラルネットワークが基準画像を使用して事前トレーニングされることを特徴とする方法。
- 請求項6に記載の方法において、前記事前変更の逆処理を行うステップは、
前記ニューラルネットワークの出力に対して逆正規化を行うステップと、
前記低周波数成分の値を加算するステップとを含むことを特徴とする方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2010133219/09A RU2431889C1 (ru) | 2010-08-06 | 2010-08-06 | Способ суперразрешения изображений и нелинейный цифровой фильтр для его осуществления |
RU2010133219 | 2010-08-06 | ||
PCT/RU2011/000329 WO2012018282A1 (ru) | 2010-08-06 | 2011-05-16 | Способ суперразрешения изображений и нелинейный цифровой фильтр для его осуществления |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013532878A JP2013532878A (ja) | 2013-08-19 |
JP5784723B2 true JP5784723B2 (ja) | 2015-09-24 |
Family
ID=44999290
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013523122A Active JP5784723B2 (ja) | 2010-08-06 | 2011-05-16 | 超解像度画像を生成する方法及びこれを実施するための非線形デジタルフィルター |
Country Status (7)
Country | Link |
---|---|
US (1) | US9020302B2 (ja) |
JP (1) | JP5784723B2 (ja) |
KR (1) | KR101612165B1 (ja) |
CN (1) | CN103098089B (ja) |
DE (1) | DE112011102647T5 (ja) |
RU (1) | RU2431889C1 (ja) |
WO (1) | WO2012018282A1 (ja) |
Families Citing this family (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2538941C1 (ru) * | 2013-06-14 | 2015-01-10 | Общество с ограниченной ответственностью "Аби Девелопмент" | Улучшения качества распознавания за счет повышения разрешения изображений |
RU2549353C1 (ru) * | 2014-02-03 | 2015-04-27 | Федеральное государственное унитарное предприятие "Государственный научно-исследовательский институт авиационных систем" | Способ повышения разрешающей способности видеосистем |
KR101485512B1 (ko) * | 2014-03-28 | 2015-01-23 | 주식회사 성우음향정보통신 | 객체 행동패턴의 해마 신경망 학습을 이용한 미래범죄 발생확률 우선순위 이벤트 cctv 영상처리 방법 |
RU2583725C1 (ru) * | 2014-10-17 | 2016-05-10 | Самсунг Электроникс Ко., Лтд. | Способ и система для обработки изображения |
US10007970B2 (en) | 2015-05-15 | 2018-06-26 | Samsung Electronics Co., Ltd. | Image up-sampling with relative edge growth rate priors |
US9741107B2 (en) * | 2015-06-05 | 2017-08-22 | Sony Corporation | Full reference image quality assessment based on convolutional neural network |
US9582762B1 (en) | 2016-02-05 | 2017-02-28 | Jasmin Cosic | Devices, systems, and methods for learning and using artificially intelligent interactive memories |
RU2664540C2 (ru) * | 2016-05-04 | 2018-08-20 | Федеральное государственное казенное военное образовательное учреждение высшего образования "Военный учебно-научный центр Военно-воздушных сил "Военно-воздушная академия имени профессора Н.Е. Жуковского и Ю.А. Гагарина" (г. Воронеж) Министерства обороны Российской Федерации | Способ повышения разрешения изображения |
RU2635883C1 (ru) * | 2016-06-02 | 2017-11-16 | Самсунг Электроникс Ко., Лтд. | Способ и система обработки изображений для формирования изображений сверхвысокого разрешения |
US10366480B2 (en) | 2016-07-01 | 2019-07-30 | Analytical Mechanics Associates, Inc. | Super-resolution systems and methods |
US10554877B2 (en) | 2016-07-29 | 2020-02-04 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Image synthesis method and apparatus for mobile terminal, and mobile terminal |
CN106101556B (zh) | 2016-07-29 | 2017-10-20 | 广东欧珀移动通信有限公司 | 移动终端的图像合成方法、装置及移动终端 |
US10380767B2 (en) * | 2016-08-01 | 2019-08-13 | Cognex Corporation | System and method for automatic selection of 3D alignment algorithms in a vision system |
US9864933B1 (en) | 2016-08-23 | 2018-01-09 | Jasmin Cosic | Artificially intelligent systems, devices, and methods for learning and/or using visual surrounding for autonomous object operation |
RU2661537C2 (ru) * | 2016-08-30 | 2018-07-17 | Самсунг Электроникс Ко., Лтд. | Способ и система сверхразрешения с помощью комбинированной разреженной аппроксимации |
US10452974B1 (en) | 2016-11-02 | 2019-10-22 | Jasmin Cosic | Artificially intelligent systems, devices, and methods for learning and/or using a device's circumstances for autonomous device operation |
JP6929047B2 (ja) * | 2016-11-24 | 2021-09-01 | キヤノン株式会社 | 画像処理装置、情報処理方法及びプログラム |
US11430199B2 (en) | 2016-12-09 | 2022-08-30 | Google Llc | Feature recognition assisted super-resolution method |
US10607134B1 (en) | 2016-12-19 | 2020-03-31 | Jasmin Cosic | Artificially intelligent systems, devices, and methods for learning and/or using an avatar's circumstances for autonomous avatar operation |
JP6236731B1 (ja) * | 2017-03-10 | 2017-11-29 | 株式会社ツバサファクトリー | 超解像度処理装置、超解像度処理方法およびコンピュータプログラム |
WO2018212599A1 (en) | 2017-05-17 | 2018-11-22 | Samsung Electronics Co., Ltd. | Super-resolution processing method for moving image and image processing apparatus therefor |
TWI754764B (zh) * | 2017-06-30 | 2022-02-11 | 美商克萊譚克公司 | 由低解析度影像產生高解析度影像以用於半導體應用 |
US10102449B1 (en) | 2017-11-21 | 2018-10-16 | Jasmin Cosic | Devices, systems, and methods for use in automation |
US10474934B1 (en) | 2017-11-26 | 2019-11-12 | Jasmin Cosic | Machine learning for computing enabled systems and/or devices |
US10402731B1 (en) | 2017-12-15 | 2019-09-03 | Jasmin Cosic | Machine learning for computer generated objects and/or applications |
JP7426118B2 (ja) | 2018-04-28 | 2024-02-01 | アルマレンス,インコーポレイティド | デジタル収差補正を有する複合現実光学システム |
KR20200003444A (ko) | 2018-07-02 | 2020-01-10 | 삼성전자주식회사 | 영상 모델 구축 장치 및 방법 |
KR102614908B1 (ko) * | 2018-09-13 | 2023-12-18 | 삼성전자주식회사 | 이미지 복원 방법 및 장치 |
US11030724B2 (en) | 2018-09-13 | 2021-06-08 | Samsung Electronics Co., Ltd. | Method and apparatus for restoring image |
KR102604016B1 (ko) | 2018-10-24 | 2023-11-22 | 삼성전자주식회사 | 전자 장치 및 이의 제어방법 |
KR102545667B1 (ko) * | 2018-10-30 | 2023-06-21 | 삼성전자주식회사 | 인공 신경망을 이용한 이미지 처리 방법 및 이를 지원하는 전자 장치 |
KR20200142883A (ko) | 2019-06-13 | 2020-12-23 | 엘지이노텍 주식회사 | 카메라 장치 및 카메라 장치의 이미지 생성 방법 |
CN112345251B (zh) * | 2020-11-04 | 2022-03-04 | 山东科技大学 | 基于信号分辨率增强的机械智能故障诊断方法 |
CN114708144B (zh) * | 2022-03-16 | 2023-05-26 | 荣耀终端有限公司 | 图像数据处理方法及装置 |
CN115908142B (zh) * | 2023-01-06 | 2023-05-09 | 诺比侃人工智能科技(成都)股份有限公司 | 一种基于视觉识别的接触网微小部件验损方法 |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5262871A (en) | 1989-11-13 | 1993-11-16 | Rutgers, The State University | Multiple resolution image sensor |
JPH06348840A (ja) * | 1993-06-03 | 1994-12-22 | Konica Corp | 画像復元方法 |
JPH08263649A (ja) * | 1995-02-21 | 1996-10-11 | Xerox Corp | ニューラルベースの空間画像強化システム |
JPH08305846A (ja) | 1995-03-07 | 1996-11-22 | Matsushita Electric Ind Co Ltd | ニューロフィルターと像域分割方法とフィルター装置 |
US6747697B1 (en) * | 2000-07-12 | 2004-06-08 | Koninklijke Philips Electronics, N.V. | Method and apparatus for digital image defect correction and noise filtering |
US7085436B2 (en) * | 2001-08-28 | 2006-08-01 | Visioprime | Image enhancement and data loss recovery using wavelet transforms |
US7187811B2 (en) | 2003-03-18 | 2007-03-06 | Advanced & Wise Technology Corp. | Method for image resolution enhancement |
FR2864631B1 (fr) * | 2003-12-31 | 2006-04-14 | Mauna Kea Technologies | Procede et systeme de super-resolution d'images confocales acquises a travers un guide d'image, et dispositif utilise pour la mise en oeuvre d'un tel procede |
KR100555866B1 (ko) * | 2004-06-08 | 2006-03-03 | 삼성전자주식회사 | 패턴 적응형 필터링에 의한 영상신호의 평활화 장치 및 그평활화 방법 |
JP4184319B2 (ja) * | 2004-06-10 | 2008-11-19 | オリンパス株式会社 | 撮像装置 |
US20060291750A1 (en) * | 2004-12-16 | 2006-12-28 | Peyman Milanfar | Dynamic reconstruction of high resolution video from low-resolution color-filtered video (video-to-video super-resolution) |
US7412107B2 (en) * | 2004-12-17 | 2008-08-12 | The Regents Of The University Of California, Santa Cruz | System and method for robust multi-frame demosaicing and color super-resolution |
US8374464B2 (en) * | 2006-05-31 | 2013-02-12 | Nec Corporation | Method, apparatus and program for enhancement of image resolution |
WO2008133951A2 (en) * | 2007-04-24 | 2008-11-06 | Massachusetts Institute Of Technology | Method and apparatus for image processing |
JP4886583B2 (ja) * | 2007-04-26 | 2012-02-29 | 株式会社東芝 | 画像拡大装置および方法 |
JP5040449B2 (ja) * | 2007-05-31 | 2012-10-03 | 富士通セミコンダクター株式会社 | 固体撮像素子および固体撮像素子を用いた信号処理方法 |
US8743963B2 (en) * | 2007-08-13 | 2014-06-03 | Ntt Docomo, Inc. | Image/video quality enhancement and super-resolution using sparse transformations |
JP2009194896A (ja) | 2008-01-18 | 2009-08-27 | Sanyo Electric Co Ltd | 画像処理装置及び方法並びに撮像装置 |
JP2009273072A (ja) * | 2008-05-12 | 2009-11-19 | Hitachi Ltd | 高精細画像処理装置、高精細画像処理方法、およびプログラム |
JP5156982B2 (ja) * | 2008-06-05 | 2013-03-06 | 富士フイルム株式会社 | 画像処理システム、画像処理方法、およびプログラム |
US8374444B2 (en) * | 2008-08-06 | 2013-02-12 | Sony Corporation | Method and apparatus for providing higher resolution images in an embedded device |
US8233747B2 (en) * | 2009-04-03 | 2012-07-31 | Sony Corporation | Method and apparatus for forming super resolution images from raw data representative of color filter array images |
-
2010
- 2010-08-06 RU RU2010133219/09A patent/RU2431889C1/ru active
-
2011
- 2011-05-16 CN CN201180037162.7A patent/CN103098089B/zh active Active
- 2011-05-16 US US13/814,664 patent/US9020302B2/en active Active
- 2011-05-16 DE DE112011102647T patent/DE112011102647T5/de active Pending
- 2011-05-16 KR KR1020137004968A patent/KR101612165B1/ko active IP Right Grant
- 2011-05-16 JP JP2013523122A patent/JP5784723B2/ja active Active
- 2011-05-16 WO PCT/RU2011/000329 patent/WO2012018282A1/ru active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2012018282A1 (ru) | 2012-02-09 |
US9020302B2 (en) | 2015-04-28 |
KR101612165B1 (ko) | 2016-04-12 |
DE112011102647T5 (de) | 2013-07-11 |
CN103098089B (zh) | 2017-03-29 |
KR20130102550A (ko) | 2013-09-17 |
CN103098089A (zh) | 2013-05-08 |
RU2431889C1 (ru) | 2011-10-20 |
US20130156345A1 (en) | 2013-06-20 |
JP2013532878A (ja) | 2013-08-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5784723B2 (ja) | 超解像度画像を生成する方法及びこれを実施するための非線形デジタルフィルター | |
Heide et al. | High-quality computational imaging through simple lenses | |
Georgiev et al. | Superresolution with the focused plenoptic camera | |
KR100911890B1 (ko) | 이미지 모델의 컬러 성분의 복원을 위한 방법, 시스템,프로그램 모듈, 및 컴퓨터 프로그램 생성물 | |
JP4593449B2 (ja) | 検知装置及びエネルギー場の検知方法 | |
JP5220777B2 (ja) | 画像処理装置、撮像装置、プログラム及び画像処理方法 | |
Delbracio et al. | Removing camera shake via weighted fourier burst accumulation | |
CN109493283A (zh) | 一种高动态范围图像鬼影消除的方法 | |
JP2013061850A (ja) | ノイズ低減のための画像処理装置及び画像処理方法 | |
Georgiev et al. | Rich image capture with plenoptic cameras | |
WO2007071882A2 (fr) | Procede pour fournir des donnees a un moyen de traitement numerique | |
Wang et al. | High-quality image deblurring with panchromatic pixels. | |
US20080002909A1 (en) | Reconstructing Blurred High Resolution Images | |
Vien et al. | Exposure-aware dynamic weighted learning for single-shot HDR imaging | |
Asiq et al. | Efficient colour filter array demosaicking with prior error reduction | |
JPWO2019171691A1 (ja) | 画像処理装置、および撮像装置、並びに画像処理方法 | |
Heinze et al. | Joint multi-frame demosaicing and super-resolution with artificial neural networks | |
Singh et al. | Detail Enhanced Multi-Exposer Image Fusion Based on Edge Perserving Filters | |
Soulez et al. | Joint deconvolution and demosaicing | |
JP6611509B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP6818461B2 (ja) | 撮像装置、画像処理装置、画像処理方法および画像処理プログラム | |
EP4332834A1 (en) | Method and camera device for generating a moiré-corrected image file | |
Park et al. | Multi-camera imaging system using super-resolution | |
Kwon et al. | Restoration for out-of-focus color image based on gradient profile sharpness | |
Kobayashi et al. | Two-layer light field imaging using an organic photoelectric conversion film |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130402 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140207 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141009 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141028 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141222 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150623 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150722 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5784723 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D04 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |