JP7101646B2 - イメージ復元方法及び装置 - Google Patents
イメージ復元方法及び装置 Download PDFInfo
- Publication number
- JP7101646B2 JP7101646B2 JP2019154767A JP2019154767A JP7101646B2 JP 7101646 B2 JP7101646 B2 JP 7101646B2 JP 2019154767 A JP2019154767 A JP 2019154767A JP 2019154767 A JP2019154767 A JP 2019154767A JP 7101646 B2 JP7101646 B2 JP 7101646B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image restoration
- kernel
- acquisition unit
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 45
- 238000001514 detection method Methods 0.000 claims description 178
- 230000000007 visual effect Effects 0.000 claims description 35
- 150000001875 compounds Chemical class 0.000 claims description 24
- 239000000284 extract Substances 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 2
- 230000000875 corresponding effect Effects 0.000 description 84
- 239000011159 matrix material Substances 0.000 description 44
- 238000012549 training Methods 0.000 description 31
- 238000013528 artificial neural network Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 16
- 230000008707 rearrangement Effects 0.000 description 15
- 238000012545 processing Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 229940050561 matrix product Drugs 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 241000238631 Hexapoda Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000023077 detection of light stimulus Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B3/00—Simple or compound lenses
- G02B3/0006—Arrays
- G02B3/0037—Arrays characterized by the distribution or form of lenses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10052—Images from lightfield camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optics & Photonics (AREA)
- Medical Informatics (AREA)
- Image Processing (AREA)
Description
上述した数式(1)において、Sは個別検出エレメントによって検出される検出情報(例えば、検出された強度値)を指示する行列を示す。Xは、個別地点から検出エレメントS1~S10に入射される光線に対応する信号値(例えば、入射した光線の色値)を指示する行列を示す。Tは、変換行列として検出エレメントS1~S10によって検出された検出情報、及び入射される光に対応する信号情報間の関係を示す。図2に示された構造において、個別地点X1~X10に対応する光線、レンズ、及び検出エレメントS1~S10は、下記の数式(2)のようにモデリングされる。下記の数式(2)において、個別地点X1~X10は、イメージセンサから無限の焦点位置(infinite focal point)に配置されたものにモデリングされる。例えば、個別地点X1~X10及びイメージセンサ間の距離は閾値距離よりも大きい。
1510:プロセッサ
1520:メモリ
1530:イメージ取得部
Claims (18)
- イメージ取得部及びプロセッサを有するイメージ復元装置が実行するイメージ復元方法において、
前記イメージ取得部が、オブジェクトの入力イメージを再配列することによって対象イメージを取得するステップと、
前記プロセッサが、前記取得された対象イメージから、拡張間隔を有するカーネルに対応する畳み込みレイヤを含むイメージ復元モデルに基づいて出力イメージを復元するステップであって、前記拡張間隔は、イメージセンサから離隔した前記オブジェクトの地点と前記イメージセンサとの間の距離、及び前記イメージセンサに含まれる検出エレメントの構成に基づいて決定される、ステップと、
を含むイメージ復元方法。 - イメージ取得部及びプロセッサを有するイメージ復元装置が実行するイメージ復元方法において、
前記イメージ取得部が、オブジェクトの入力イメージを再配列することによって対象イメージを取得するステップと、
前記プロセッサが、前記取得された対象イメージから、拡張間隔を有するカーネルに対応する畳み込みレイヤを含むイメージ復元モデルに基づいて出力イメージを復元するステップであって、前記カーネルは、イメージセンサから閾値距離よりも遠く離隔した前記オブジェクトの地点から放射された光線を受信するように構成される前記イメージセンサに含まれる複数の検出エレメントの位置関係に基づいて決定される、
と、
を含むイメージ復元方法。 - イメージ取得部及びプロセッサを有するイメージ復元装置が実行するイメージ復元方法において、
前記イメージ取得部が、オブジェクトの入力イメージを再配列することによって対象イメージを取得するステップと、
前記プロセッサが、前記取得された対象イメージから、拡張間隔を有するカーネルに対応する畳み込みレイヤを含むイメージ復元モデルに基づいて出力イメージを復元するステップえあって、前記イメージ復元モデルは、イメージセンサから最小撮影距離に位置する地点から放射された光線を受信するように構成される前記イメージセンサに含まれる複数の検出エレメントの位置関係に基づいて決定されたカーネルに対応する畳み込みレイヤを含むステップと、
を含むイメージ復元方法。 - 前記最小撮影距離に対応するカーネルは、最大ディスパリティに対応する拡張間隔を有し、
前記最大ディスパリティは、イメージセンサの最小撮影距離、前記イメージセンサの中心レンズから最外郭レンズまでの距離、及びレンズの焦点距離に基づいて決定される、請求項3に記載のイメージ復元方法。 - 前記イメージ復元モデルは、複数のレベルに個別的に対応する複数の畳み込みレイヤをさらに含む、請求項1ないし4いずれか1項に記載のイメージ復元方法。
- 前記イメージ復元モデルは、互いに異なる拡張間隔を個別的に有する複数のカーネルに対応する複数の畳み込みレイヤを含む、請求項1ないし5いずれか1項に記載のイメージ復元方法。
- 前記出力イメージを復元するステップは、
前記プロセッサが、前記畳み込みレイヤに基づいて前記対象イメージから特徴データを抽出するステップと、
前記プロセッサが、前記特徴データから、前記イメージ復元モデルに含まれた畳み込みレイヤ以外のレイヤに基づいて前記出力イメージを生成するステップと、
を含む、請求項1ないし6いずれか1項に記載のイメージ復元方法。 - 前記イメージ復元モデルは、同一の拡張間隔を有する複数のカーネルに対応する複数の畳み込みレイヤをさらに含む、請求項1ないし7いずれか1項に記載のイメージ復元方法。
- 前記出力イメージを復元するステップは、前記プロセッサが、基準複眼イメージが再配列された基準入力イメージから基準出力イメージを出力するようにトレーニングされたイメージ復元モデルに基づいて、前記対象イメージから前記出力イメージを復元するステップを含む、請求項1ないし8いずれか1項に記載のイメージ復元方法。
- 前記対象イメージを取得するステップは、
前記イメージ取得部が、複眼視野(CEV:compound eye vision)イメージを取得するステップと、
前記イメージ取得部が、前記複眼視野イメージを再配列することによって前記対象イメージを生成するステップと、
を含む、請求項1ないし9いずれか1項に記載のイメージ復元方法。 - 前記複眼視野イメージを取得するステップは、前記イメージ取得部が、アレイ形態で提供される複数のレンズを介して複数の検出エレメントで受信された光線の強度に基づいて前記複眼視野イメージを取得するステップを含む、請求項10に記載のイメージ復元方法。
- 前記複数のレンズは、前記複数の検出エレメントに対してずれて配置される、請求項11に記載のイメージ復元方法。
- 前記対象イメージを生成するステップは、前記イメージ取得部が、前記複数の検出エレメントから検出されるライトフィールド情報に基づいて前記複眼視野イメージを再配列するステップを含む、請求項11に記載のイメージ復元方法。
- 前記複眼視野イメージを再配列するステップは、前記イメージ取得部が、前記複数の検出エレメントで互いに類似のライトフィールド情報を検出した検出エレメントのピクセルが互いに隣接するように、前記複眼視野イメージのピクセルを再配列するステップを含む、請求項13に記載のイメージ復元方法。
- 前記複眼視野イメージのピクセルを再配列するステップは、
前記イメージ取得部が、イメージセンサから閾値距離よりも遠い地点から放射される光線及び前記複数の検出エレメントの間の位置関係に基づいて、前記複数の検出エレメントのそれぞれに対して当該検出エレメントから検出されるライトフィールドを放出した前記オブジェクトの地点を決定するステップと、
前記イメージ取得部が、互いに隣接する再配置された地点から放出されたライトフィールド情報に対応するピクセルが隣接するように前記ピクセルを再配列するステップと、
を含む、請求項13に記載のイメージ復元方法。 - 請求項1ないし請求項15に記載のいずれか一項に記載の方法を実行するための命令語を含む1つ以上のコンピュータプログラムを格納したコンピュータ読み取り可能な記録媒体。
- 前記イメージ復元装置において、
対象イメージを取得する前記イメージ取得部と、
前記取得された対象イメージから、拡張間隔を有するカーネルに対応する畳み込みレイヤを含むイメージ復元モデルに基づいて出力イメージを復元する前記プロセッサと、
を含み、
請求項1ないし請求項15に記載のいずれか一項に記載の方法を実行するように構成された、イメージ復元装置。 - イメージ取得部及びプロセッサを有するイメージ復元装置が実行するイメージ復元方法において、
前記イメージ取得部が、イメージセンサと対象オブジェクトとの間の各距離に対応する対象オブジェクトの入力イメージを再配列することによって、複数の対象イメージを取得するステップと、
前記プロセッサが、前記取得された複数の対象イメージのそれぞれから、畳み込みレイヤを含むイメージ復元モデルに基づいて出力イメージを復元するステップと、
を含み、
前記イメージ復元モデルは、イメージセンサから最小撮影距離に位置する地点から放射された光線を受信するように構成される前記イメージセンサに含まれる複数の検出エレメントの位置関係に基づいて決定されたカーネルに対応する畳み込みレイヤを含む、
イメージ復元方法。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862730641P | 2018-09-13 | 2018-09-13 | |
US62/730,641 | 2018-09-13 | ||
KR10-2018-0153829 | 2018-12-03 | ||
KR1020180153829A KR102614908B1 (ko) | 2018-09-13 | 2018-12-03 | 이미지 복원 방법 및 장치 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020042801A JP2020042801A (ja) | 2020-03-19 |
JP7101646B2 true JP7101646B2 (ja) | 2022-07-15 |
Family
ID=67766069
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019154767A Active JP7101646B2 (ja) | 2018-09-13 | 2019-08-27 | イメージ復元方法及び装置 |
Country Status (4)
Country | Link |
---|---|
US (2) | US11030724B2 (ja) |
EP (1) | EP3624049B1 (ja) |
JP (1) | JP7101646B2 (ja) |
CN (1) | CN110896467B (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11030724B2 (en) * | 2018-09-13 | 2021-06-08 | Samsung Electronics Co., Ltd. | Method and apparatus for restoring image |
US20200137380A1 (en) * | 2018-10-31 | 2020-04-30 | Intel Corporation | Multi-plane display image synthesis mechanism |
CN111401512A (zh) * | 2019-01-03 | 2020-07-10 | 三星电子株式会社 | 以可变的扩张率在神经网络中进行卷积的方法和系统 |
JP7123884B2 (ja) * | 2019-09-12 | 2022-08-23 | 株式会社東芝 | 撮像装置、方法及びプログラム |
KR20210066366A (ko) | 2019-11-28 | 2021-06-07 | 삼성전자주식회사 | 영상 복원 방법 및 장치 |
KR20220013183A (ko) * | 2020-07-24 | 2022-02-04 | 삼성전자주식회사 | 영상 복원 장치 및 방법 |
US11490067B2 (en) * | 2020-08-07 | 2022-11-01 | Owl Autonomous Imaging, Inc. | Multi-aperture ranging devices and methods |
WO2022173848A1 (en) * | 2021-02-11 | 2022-08-18 | The Regents Of The University Of California | Methods of holographic image reconstruction with phase recovery and autofocusing using recurrent neural networks |
GB2618466A (en) * | 2021-02-20 | 2023-11-08 | Boe Technology Group Co Ltd | Image acquisition device, image acquisition apparatus, image acquisition method and manufacturing method |
US11870968B2 (en) * | 2021-04-13 | 2024-01-09 | Toyota Motor Engineering & Manufacturing North America, Inc. | Systems and methods for an improved camera system using filters and machine learning to estimate depth |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008241355A (ja) | 2007-03-26 | 2008-10-09 | Funai Electric Co Ltd | 物体の距離導出装置 |
JP2010263501A (ja) | 2009-05-08 | 2010-11-18 | Sony Corp | 撮像装置 |
JP2013532878A (ja) | 2010-08-06 | 2013-08-19 | ヴァレリーヴィチ シムニコ,ドミトリー | 超解像度画像を生成する方法及びこれを実施するための非線形デジタルフィルター |
US20170070673A1 (en) | 2013-03-15 | 2017-03-09 | Pelican Imaging Corporation | Systems and Methods for Synthesizing High Resolution Images Using Image Deconvolution Based on Motion and Depth Information |
Family Cites Families (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3821614B2 (ja) | 1999-08-20 | 2006-09-13 | 独立行政法人科学技術振興機構 | 画像入力装置 |
US7412107B2 (en) | 2004-12-17 | 2008-08-12 | The Regents Of The University Of California, Santa Cruz | System and method for robust multi-frame demosaicing and color super-resolution |
US7724439B2 (en) | 2007-10-24 | 2010-05-25 | Aptina Imaging Corporation | Lens, a lens array and imaging device and system having a lens, and method of forming the same |
JP2009206922A (ja) | 2008-02-28 | 2009-09-10 | Funai Electric Co Ltd | 複眼撮像装置 |
US9485397B2 (en) | 2010-06-14 | 2016-11-01 | Heptagon Micro Optics Pte. Ltd. | Camera, and method of manufacturing a plurality of cameras |
JP5660711B2 (ja) * | 2010-09-16 | 2015-01-28 | 富士フイルム株式会社 | 復元ゲインデータ生成方法 |
JP5963448B2 (ja) | 2012-01-13 | 2016-08-03 | キヤノン株式会社 | 撮像装置 |
US9396523B2 (en) * | 2013-07-24 | 2016-07-19 | Microsoft Technology Licensing, Llc | Image restoration cascade |
US9426361B2 (en) | 2013-11-26 | 2016-08-23 | Pelican Imaging Corporation | Array camera configurations incorporating multiple constituent array cameras |
WO2015179446A1 (en) | 2014-05-20 | 2015-11-26 | BROWND, Samuel, R. | Systems and methods for mediated-reality surgical visualization |
DE102014212104A1 (de) | 2014-06-24 | 2015-12-24 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und verfahren zur relativen positionierung einer multiaperturoptik mit mehreren optischen kanälen relativ zu einem bildsensor |
CN105472233B (zh) | 2014-09-09 | 2019-01-18 | 北京智谷技术服务有限公司 | 光场采集控制方法和装置、光场采集设备 |
CN104363369B (zh) * | 2014-11-17 | 2017-11-03 | 清华大学深圳研究生院 | 一种光场相机的图像恢复方法及装置 |
KR101715470B1 (ko) | 2015-04-10 | 2017-03-14 | 충북대학교 산학협력단 | 집적영상 현미경 장치 및 심도범위 개선 방법 |
WO2017106734A1 (en) * | 2015-12-16 | 2017-06-22 | Martineau Pierre R | Method and apparatus for remanent imaging control |
JP2017139576A (ja) | 2016-02-02 | 2017-08-10 | キヤノン株式会社 | 撮像装置およびその制御方法ならびにプログラム |
JP6728365B2 (ja) | 2016-08-25 | 2020-07-22 | キヤノン株式会社 | 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、記憶媒体 |
JP6929047B2 (ja) | 2016-11-24 | 2021-09-01 | キヤノン株式会社 | 画像処理装置、情報処理方法及びプログラム |
KR102646437B1 (ko) | 2016-11-25 | 2024-03-11 | 삼성전자주식회사 | 멀티 렌즈 기반의 촬영 장치 및 방법 |
CN106960415A (zh) * | 2017-03-17 | 2017-07-18 | 深圳市唯特视科技有限公司 | 一种基于像素递归超分辨率模型恢复图像的方法 |
WO2019075335A1 (en) * | 2017-10-13 | 2019-04-18 | Trustees Of Boston University | LENS-FREE COMPOSITE EYE CAMERAS BASED ON ANGLE-SENSITIVE METASURFACES |
KR102565277B1 (ko) | 2017-11-24 | 2023-08-09 | 삼성전자주식회사 | 영상 복원 장치 및 방법 |
KR102614907B1 (ko) | 2018-04-04 | 2023-12-19 | 삼성전자주식회사 | 이미지 센서 및 이미지 센서 제조 방법 |
CN109241895B (zh) * | 2018-08-28 | 2021-06-04 | 北京航空航天大学 | 密集人群计数方法及装置 |
US11030724B2 (en) * | 2018-09-13 | 2021-06-08 | Samsung Electronics Co., Ltd. | Method and apparatus for restoring image |
KR102644944B1 (ko) | 2018-10-04 | 2024-03-08 | 삼성전자주식회사 | 이미지 센서 및 이미지 센싱 방법 |
KR20200067020A (ko) | 2018-12-03 | 2020-06-11 | 삼성전자주식회사 | 캘리브레이션 방법 및 장치 |
-
2019
- 2019-07-09 US US16/506,423 patent/US11030724B2/en active Active
- 2019-07-23 CN CN201910664070.XA patent/CN110896467B/zh active Active
- 2019-08-26 EP EP19193566.7A patent/EP3624049B1/en active Active
- 2019-08-27 JP JP2019154767A patent/JP7101646B2/ja active Active
-
2021
- 2021-04-30 US US17/246,162 patent/US11663699B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008241355A (ja) | 2007-03-26 | 2008-10-09 | Funai Electric Co Ltd | 物体の距離導出装置 |
JP2010263501A (ja) | 2009-05-08 | 2010-11-18 | Sony Corp | 撮像装置 |
JP2013532878A (ja) | 2010-08-06 | 2013-08-19 | ヴァレリーヴィチ シムニコ,ドミトリー | 超解像度画像を生成する方法及びこれを実施するための非線形デジタルフィルター |
US20170070673A1 (en) | 2013-03-15 | 2017-03-09 | Pelican Imaging Corporation | Systems and Methods for Synthesizing High Resolution Images Using Image Deconvolution Based on Motion and Depth Information |
Non-Patent Citations (4)
Title |
---|
Youngjin Yoon et al.,"Light-Field Image Super-Resolution Using Convolutional Neural Network",IEEE Signal Processing Letters,米国,IEEE,2017年02月15日,Vol.24, No.6,pp.848-852 |
内田 雄基、外2名,"画素補間を最小限に抑えた光線の逆追跡に基づくLight Field Camera画像の高解像度化",情報処理学会研究報告,日本,情報処理学会,2016年02月19日,Vol.2016-AVM-92, No.1,pp.1-6 |
村田 賢太,"第5章 waifu2xによる画像の超解像 深層学習が画像をきれいに拡大できるしくみ",WEB+DB PRESS,日本,(株)技術評論社,2015年11月25日,Vol.89,pp.73-77 |
河畑 則文,"CNNの構造に基づいた多視点超解像画像の最適設計と符号化画質評価",電子情報通信学会技術研究報告,日本,一般社団法人電子情報通信学会,2018年05月18日,Vol.118, No.65,pp.15-20 |
Also Published As
Publication number | Publication date |
---|---|
JP2020042801A (ja) | 2020-03-19 |
US20210256659A1 (en) | 2021-08-19 |
EP3624049A1 (en) | 2020-03-18 |
US20200090306A1 (en) | 2020-03-19 |
US11030724B2 (en) | 2021-06-08 |
CN110896467A (zh) | 2020-03-20 |
CN110896467B (zh) | 2023-08-18 |
US11663699B2 (en) | 2023-05-30 |
EP3624049B1 (en) | 2023-08-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7101646B2 (ja) | イメージ復元方法及び装置 | |
EP3816929B1 (en) | Method and apparatus for restoring image | |
KR102565277B1 (ko) | 영상 복원 장치 및 방법 | |
US11375092B2 (en) | Image sensor and image sensing method | |
EP3633969B1 (en) | Image sensor and image sensing method | |
US11941781B2 (en) | Method and apparatus for restoring image | |
KR102614908B1 (ko) | 이미지 복원 방법 및 장치 | |
US20210352209A1 (en) | Image sensor | |
JP2020197774A (ja) | 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体 | |
KR102644944B1 (ko) | 이미지 센서 및 이미지 센싱 방법 | |
JP7146461B2 (ja) | 画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体 | |
US11651475B2 (en) | Image restoration method and device | |
KR20210137886A (ko) | 이미지 센서 | |
US20220179171A1 (en) | Lens assembly and electronic device including the same | |
KR20220080249A (ko) | 영상 처리 방법 및 장치 | |
KR20200043778A (ko) | 영상 처리 장치 및 방법 | |
KR20230111379A (ko) | 이미지 센서 및 이미징 장치 | |
JP2024061326A (ja) | 情報処理装置、情報処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200924 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210921 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211005 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220104 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220118 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220518 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20220518 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20220526 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20220531 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220614 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220705 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7101646 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |