JP6418770B2 - 画像処理装置、撮像装置、画像処理方法、プログラム、および記憶媒体 - Google Patents
画像処理装置、撮像装置、画像処理方法、プログラム、および記憶媒体 Download PDFInfo
- Publication number
- JP6418770B2 JP6418770B2 JP2014078693A JP2014078693A JP6418770B2 JP 6418770 B2 JP6418770 B2 JP 6418770B2 JP 2014078693 A JP2014078693 A JP 2014078693A JP 2014078693 A JP2014078693 A JP 2014078693A JP 6418770 B2 JP6418770 B2 JP 6418770B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image processing
- imaging
- signal value
- depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 132
- 238000012545 processing Methods 0.000 title claims description 65
- 238000003672 processing method Methods 0.000 title claims description 16
- 230000003287 optical effect Effects 0.000 claims description 91
- 210000001747 pupil Anatomy 0.000 claims description 37
- 238000000034 method Methods 0.000 claims description 27
- 238000000605 extraction Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 5
- 230000009467 reduction Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 15
- 230000008859 change Effects 0.000 description 11
- 230000000694 effects Effects 0.000 description 8
- 238000012935 Averaging Methods 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 230000002194 synthesizing effect Effects 0.000 description 5
- 238000011946 reduction process Methods 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 230000004075 alteration Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 201000009310 astigmatism Diseases 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- CNQCVBJFEGMYDW-UHFFFAOYSA-N lawrencium atom Chemical compound [Lr] CNQCVBJFEGMYDW-UHFFFAOYSA-N 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Analysis (AREA)
Description
Claims (16)
- 被写体空間を異なる視点から撮像した視差画像を含む入力画像に対して再構成処理を行うことにより再構成画像を生成する画像処理装置であって、
前記被写体空間の同一領域の情報を取得した前記入力画像の画素群を抽出する抽出手段と、
前記抽出された画素群の各信号値に基づいて平均信号値を算出する算出手段と、
前記画素群の少なくとも一つの画素の信号値を前記平均信号値で置換する置換手段と、
前記平均信号値で置換された画素を含む前記入力画像から前記再構成画像を生成する生成手段と、
前記入力画像に含まれる全ての視差画像を均一な重みで合成した合成画像の第1被写界深度よりも、前記再構成画像を生成するために設定された第2被写界深度のほうが深いか否かを判定する判定手段を有し、
前記抽出手段は、前記第1被写界深度よりも前記第2被写界深度が深い場合に、前記画素群を抽出することを特徴とする画像処理装置。 - 前記画素群のうち、前記再構成画像の生成に用いられる画素の信号値の全てを前記平均信号値で置換することを特徴とする請求項1に記載の画像処理装置。
- 前記平均信号値は、前記各信号値と重みから算出され、
前記重みは、前記画素群の各画素における光量に応じて決定されることを特徴とする請求項1又は2に記載の画像処理装置。 - 前記重みは、前記画素群のうち光量が少ない画素ほど小さくなることを特徴とする請求項3に記載の画像処理装置。
- 前記入力画像を撮像した際の撮影条件情報を取得する撮影条件情報取得手段と、
前記被写体空間の距離情報を取得する距離情報取得手段を有し、
前記抽出手段は、前記撮影条件情報と前記距離情報を用いて前記画素群を抽出することを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。 - 前記距離情報は、前記入力画像の視差情報から算出されることを特徴とする請求項5に記載の画像処理装置。
- 前記再構成画像は、前記入力画像に含まれる視差画像を部分的に用いて生成されることを特徴とする請求項1乃至6のいずれか1項に記載の画像処理装置。
- 前記第2被写界深度を設定する設定手段を有することを特徴とする請求項1に記載の画像処理装置。
- 前記第2被写界深度は、F値を選択することで設定されることを特徴とする請求項8に記載の画像処理装置。
- 被写体空間を異なる視点から撮像した視差画像を含む入力画像を生成する撮像手段と、
前記入力画像に対して再構成処理を行うことにより再構成画像を生成する請求項1乃至9のいずれか1項に記載の画像処理装置を有することを特徴とする撮像装置。 - 前記撮像手段は、被写体側から順に、
被写体面からの光線を像側共役面へ結像する結像光学系と、
前記像側共役面に位置するレンズアレイと、
複数の画素を有する撮像素子を有し、
前記レンズアレイは、前記結像光学系の瞳の異なる領域を通過した光線が、前記撮像素子の異なる画素へ入射するように構成されていることを特徴とする請求項10に記載の撮像装置。 - 前記撮像手段は、被写体側から順に、
被写体面からの光線を像側共役面へ結像する結像光学系と、
レンズアレイと、
複数の画素を有する撮像素子を有し、
前記レンズアレイは、前記像側共役面と前記撮像素子が共役関係になるように配置され、前記結像光学系の瞳の異なる領域を通過した光線が、前記撮像素子の異なる画素へ入射するように構成されていることを特徴とする請求項10に記載の撮像装置。 - 前記撮像手段は、被写体側から順に、
被写体面からの光線を像側共役面に結像する複数の結像光学系と、
複数の画素を有する撮像素子と、を有し、
前記複数の結像光学系は、2次元的に配列されていることを特徴とする請求項10に記載の撮像装置。 - 被写体空間を異なる視点から撮像した視差画像を含む入力画像に対して再構成処理を行うことにより再構成画像を生成する画像処理方法であって、
前記被写体空間の同一領域の情報を取得した前記入力画像の画素群を抽出する抽出工程と、
前記抽出された画素群の各信号値に基づいて平均信号値を算出する算出工程と、
前記画素群の少なくとも1つの画素の信号値を前記平均信号値で置換する置換工程と、
前記平均信号値で置換された画素を含む前記入力画像から前記再構成画像を生成する生成工程と、
前記入力画像に含まれる全ての視差画像を均一な重みで合成した合成画像の第1被写界深度よりも、前記再構成画像を生成するために設定された第2被写界深度のほうが深いか否かを判定する判定工程を含み、
前記抽出工程は、前記第1被写界深度よりも前記第2被写界深度が深い場合に、前記画素群を抽出することを特徴とする画像処理方法。 - 請求項14に記載の画像処理方法の手順が記述されたコンピュータで実行可能なプログラム。
- コンピュータに、請求項14に記載の画像処理方法の各工程を実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014078693A JP6418770B2 (ja) | 2014-04-07 | 2014-04-07 | 画像処理装置、撮像装置、画像処理方法、プログラム、および記憶媒体 |
US14/678,113 US20150287208A1 (en) | 2014-04-07 | 2015-04-03 | Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014078693A JP6418770B2 (ja) | 2014-04-07 | 2014-04-07 | 画像処理装置、撮像装置、画像処理方法、プログラム、および記憶媒体 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2015201722A JP2015201722A (ja) | 2015-11-12 |
JP2015201722A5 JP2015201722A5 (ja) | 2017-06-01 |
JP6418770B2 true JP6418770B2 (ja) | 2018-11-07 |
Family
ID=54210210
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014078693A Active JP6418770B2 (ja) | 2014-04-07 | 2014-04-07 | 画像処理装置、撮像装置、画像処理方法、プログラム、および記憶媒体 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20150287208A1 (ja) |
JP (1) | JP6418770B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3182697A1 (en) * | 2015-12-15 | 2017-06-21 | Thomson Licensing | A method and apparatus for correcting vignetting effect caused on an image captured by lightfield cameras |
US10690495B2 (en) * | 2016-03-14 | 2020-06-23 | Canon Kabushiki Kaisha | Ranging apparatus and moving object capable of high-accuracy ranging |
WO2018088212A1 (ja) * | 2016-11-08 | 2018-05-17 | ソニー株式会社 | 画像処理装置、画像処理方法、及び、プログラム |
DE112017005616T5 (de) * | 2016-11-08 | 2019-09-12 | Sony Corporation | Bildverarbeitungsvorrichtung, bildverarbeitungsverfahren und programm |
JP6817855B2 (ja) * | 2017-03-07 | 2021-01-20 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、及びプログラム |
CN108460807B (zh) * | 2018-03-03 | 2019-04-02 | 六安同辉智能科技有限公司 | 用户散光度即时测量平台 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013025649A (ja) * | 2011-07-23 | 2013-02-04 | Canon Inc | 画像処理装置及び画像処理方法、プログラム |
JP6202910B2 (ja) * | 2012-08-13 | 2017-09-27 | キヤノン株式会社 | 映像処理装置およびその制御方法、プログラム |
JP5988790B2 (ja) * | 2012-09-12 | 2016-09-07 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、および、画像処理プログラム |
-
2014
- 2014-04-07 JP JP2014078693A patent/JP6418770B2/ja active Active
-
2015
- 2015-04-03 US US14/678,113 patent/US20150287208A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
JP2015201722A (ja) | 2015-11-12 |
US20150287208A1 (en) | 2015-10-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5988790B2 (ja) | 画像処理装置、撮像装置、画像処理方法、および、画像処理プログラム | |
JP6230239B2 (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
JP6305053B2 (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
JP6418770B2 (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム、および記憶媒体 | |
JP5820257B2 (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
US9681042B2 (en) | Image pickup apparatus, image pickup system, image processing device, and method of controlling image pickup apparatus | |
JP5618943B2 (ja) | 画像処理方法、撮像装置、画像処理装置、および、画像処理プログラム | |
US10855903B2 (en) | Image processing apparatus, image capturing apparatus, control method and recording medium | |
JP2015204587A (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム、記憶媒体 | |
US9208569B2 (en) | Image processing apparatus and control method thereof capable of performing refocus calculation processing for light field data | |
JP5459337B2 (ja) | 撮像装置、画像処理方法及びプログラム | |
JP2013145979A (ja) | 画像生成方法、撮像装置および表示装置、プログラム、記憶媒体 | |
JP2013026844A (ja) | 画像生成方法及び装置、プログラム、記録媒体、並びに電子カメラ | |
JP2014010783A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP6881909B2 (ja) | 撮像装置及びその制御方法、及び画像処理装置及び方法 | |
JP5553862B2 (ja) | 撮像装置および撮像装置の制御方法 | |
JP2020171050A (ja) | 画像処理装置、撮像装置、画像処理方法、および、記憶媒体 | |
JP2015084517A (ja) | 画像処理装置、画像処理方法、プログラム及び記録媒体 | |
JP2020085967A (ja) | 画像処理装置およびその制御方法ならびにプログラム | |
JP6387149B2 (ja) | 画像処理装置、撮像装置、制御方法、及びプログラム | |
JP6336284B2 (ja) | 画像処理装置、その制御方法およびプログラム | |
JP5527491B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP5721891B2 (ja) | 撮像装置 | |
JP6817855B2 (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
JP6628617B2 (ja) | 画像処理装置及び画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170407 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170407 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171207 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180206 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180911 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181009 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6418770 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |