JP6214457B2 - 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体 - Google Patents
画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体 Download PDFInfo
- Publication number
- JP6214457B2 JP6214457B2 JP2014086379A JP2014086379A JP6214457B2 JP 6214457 B2 JP6214457 B2 JP 6214457B2 JP 2014086379 A JP2014086379 A JP 2014086379A JP 2014086379 A JP2014086379 A JP 2014086379A JP 6214457 B2 JP6214457 B2 JP 6214457B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- parallax images
- kazunari
- unnecessary
- parallax
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 161
- 238000012545 processing Methods 0.000 title claims description 98
- 238000003672 processing method Methods 0.000 title claims description 44
- 238000000034 method Methods 0.000 claims description 64
- 210000001747 pupil Anatomy 0.000 claims description 64
- 230000003287 optical effect Effects 0.000 claims description 50
- 230000009467 reduction Effects 0.000 claims description 40
- 239000002131 composite material Substances 0.000 claims description 26
- 230000002194 synthesizing effect Effects 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 5
- 239000004615 ingredient Substances 0.000 claims description 4
- 239000000203 mixture Substances 0.000 claims description 4
- 230000004907 flux Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 description 33
- 238000001514 detection method Methods 0.000 description 30
- 238000010586 diagram Methods 0.000 description 29
- 230000015572 biosynthetic process Effects 0.000 description 27
- 238000003786 synthesis reaction Methods 0.000 description 27
- 238000004364 calculation method Methods 0.000 description 17
- 238000006243 chemical reaction Methods 0.000 description 8
- 238000012937 correction Methods 0.000 description 8
- 238000011946 reduction process Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 235000019557 luminance Nutrition 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G06T5/70—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/225—Image signal generators using stereoscopic image cameras using a single 2D image sensor using parallax barriers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10052—Images from lightfield camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0088—Synthesising a monoscopic image signal from stereoscopic images, e.g. synthesising a panoramic or high resolution monoscopic image
Description
204a 不要成分検出部(不要成分決定手段)
204b 不要成分合成部(不要成分合成手段)
204d 不要成分低減部(不要成分低減手段)
Claims (20)
- 複数の視差画像のそれぞれに対して、不要光が撮像面に到達することにより生じた第一成分を、前記複数の視差画像の複数の相対差分情報に基づいて決定するステップと、
前記複数の視差画像のそれぞれの前記第一成分の合成値を算出するステップと、
前記第一成分の前記合成値に基づいて定められる第二成分を前記複数の視差画像の合成画像から低減するステップと、を有することを特徴とする画像処理方法。 - 前記複数の視差画像のそれぞれを基準画像として設定し、該基準画像と該基準画像を除く他の視差画像との差分を算出して前記複数の相対差分情報を求めるステップを更に有することを特徴とする請求項1に記載の画像処理方法。
- 前記相対差分情報を求めるステップにおいて、
基準画像と該基準画像を除く他の視差画像との差分を算出する前に、前記基準画像と前記他の視差画像の位置合わせを行うことを特徴とする請求項2に記載の画像処理方法。 - 前記第一成分を決定するステップにおいて、
前記複数の視差画像のうち、前記第一成分を決定する対象となる視差画像を基準画像として得られた複数の相対差分情報を負の値を切り捨てた2次元データとして取得し、
前記2次元データの各位置において各相対差分情報の最大値を抽出し、前記基準画像における前記第一成分の位置および量を決定する、ことを特徴とする請求項1乃至3のいずれか1項に記載の画像処理方法。 - 前記第一成分を決定するステップにおいて、
前記複数の視差画像のうち、前記第一成分を決定する対象となる視差画像を基準画像として得られた複数の相対差分情報を負の値を切り捨てた2次元データとして取得し、
前記2次元データの各位置において各相対差分情報の最小値を抽出し、前記基準画像における前記第一成分の位置および量を決定する、ことを特徴とする請求項1乃至3のいずれか1項に記載の画像処理方法。 - 前記第一成分の合成値を算出するステップにおいて、前記複数の視差画像のそれぞれの該第一成分の加算値を該合成値として算出することを特徴とする請求項1乃至5のいずれか1項に記載の画像処理方法。
- 前記第一成分の合成値を算出するステップにおいて、前記複数の視差画像のそれぞれの該第一成分の平均値を該合成値として算出することを特徴とする請求項1乃至5のいずれか1項に記載の画像処理方法。
- 前記第二成分を低減するステップにおいて、前記第二成分は前記第一成分の前記合成値に重み係数を掛けて得られた値を用いて定められることを特徴とする請求項1乃至7のいずれか1項に記載の画像処理方法。
- 前記第二成分の低減処理を行うための画像領域を設定するステップを更に有し、
前記第二成分を低減するステップにおいて、設定された前記画像領域の内部の該第二成分を低減させることを特徴とする請求項1乃至8のいずれか1項に記載の画像処理方法。 - 前記複数の視差画像は、撮像光学系の瞳のうち互いに異なる領域を通過した複数の光束に基づいて生成された複数の画像であることを特徴とする請求項1乃至9のいずれか1項に記載の画像処理方法。
- 前記第一成分に関する情報を用いて、前記合成画像にゴースト成分を付加するステップを更に有することを特徴とする請求項1乃至10のいずれか1項に記載の画像処理方法。
- 前記複数の視差画像は3枚以上の視差画像であることを特徴とする請求項1乃至11のいずれか1項に記載の画像処理方法。
- 複数の視差画像のそれぞれに対して、不要光が撮像面に到達することにより生じた第一成分を、前記複数の視差画像の複数の相対差分情報に基づいて決定する決定手段と、
前記複数の視差画像のそれぞれの前記第一成分の合成値を算出する成分合成手段と、
前記第一成分の前記合成値に基づいて定められる第二成分を前記複数の視差画像の合成画像から低減する低減手段と、を有することを特徴とする画像処理装置。 - 前記複数の視差画像の前記合成画像を生成する画像合成手段を更に有することを特徴とする請求項13に記載の画像処理装置。
- 光学像を光電変換して複数の視差画像を出力する撮像素子と、
前記複数の視差画像のそれぞれに対して、不要光が撮像面に到達することにより生じた第一成分を、前記複数の視差画像の複数の相対差分情報に基づいて決定する決定手段と、
前記複数の視差画像のそれぞれの前記第一成分の合成値を算出する成分合成手段と、
前記第一成分の前記合成値に基づいて定められる第二成分を前記複数の視差画像の合成画像から低減する低減手段と、を有することを特徴とする撮像装置。 - 前記複数の視差画像は、撮像光学系の瞳のうち互いに異なる領域を通過した光束に基づいて生成された複数の画像であり、
前記撮像素子は、一つのマイクロレンズを共有する複数の画素を有し、
前記複数の画素は、前記撮像光学系の瞳のうち互いに異なる領域を通過した光束を受光するように構成されていることを特徴とする請求項15に記載の撮像装置。 - 前記複数の画素は3つ以上の画素であることを特徴とする請求項16に記載の撮像装置。
- 前記第二成分の低減処理を行う画像領域を指定する入力手段を更に有し、
前記低減手段は、前記入力手段を介して指定された前記画像領域の内部において、前記複数の視差画像の合成画像から前記第二成分を低減することを特徴とする請求項16または17に記載の撮像装置。 - 複数の視差画像のそれぞれに対して、不要光が撮像面に到達することにより生じた第一成分を、前記複数の視差画像の複数の相対差分情報に基づいて決定するステップと、
前記複数の視差画像のそれぞれの前記第一成分の合成値を算出するステップと、
前記第一成分の前記合成値に基づいて定められる第二成分を前記複数の視差画像の合成画像から低減するステップと、をコンピュータに実行させるように構成されていることを特徴とする画像処理プログラム。 - 請求項19に記載の画像処理プログラムを記憶していることを特徴とする記憶媒体。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014086379A JP6214457B2 (ja) | 2014-04-18 | 2014-04-18 | 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体 |
US14/686,031 US9894343B2 (en) | 2014-04-18 | 2015-04-14 | Image processing method, image processing apparatus, image pickup apparatus, and non-transitory computer-readable storage medium |
EP15001092.4A EP2934005B1 (en) | 2014-04-18 | 2015-04-15 | Image processing method, image processing apparatus, image pickup apparatus, image processing program, and storage medium |
CN201510183988.4A CN105007405B (zh) | 2014-04-18 | 2015-04-17 | 图像处理方法、图像处理设备和摄像设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014086379A JP6214457B2 (ja) | 2014-04-18 | 2014-04-18 | 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2015207851A JP2015207851A (ja) | 2015-11-19 |
JP2015207851A5 JP2015207851A5 (ja) | 2017-06-01 |
JP6214457B2 true JP6214457B2 (ja) | 2017-10-18 |
Family
ID=53016432
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014086379A Active JP6214457B2 (ja) | 2014-04-18 | 2014-04-18 | 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9894343B2 (ja) |
EP (1) | EP2934005B1 (ja) |
JP (1) | JP6214457B2 (ja) |
CN (1) | CN105007405B (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6365153B2 (ja) * | 2014-09-10 | 2018-08-01 | 株式会社ソシオネクスト | 画像符号化方法および画像符号化装置 |
JP2016208438A (ja) * | 2015-04-28 | 2016-12-08 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
CN111292233B (zh) * | 2018-12-06 | 2023-08-15 | 成都微晶景泰科技有限公司 | 透镜阵列图像拼接方法、装置及存储介质 |
CN111292232B (zh) * | 2018-12-06 | 2023-08-15 | 成都微晶景泰科技有限公司 | 透镜阵列图像拼接方法、装置及存储介质 |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3716844B2 (ja) * | 1998-06-05 | 2005-11-16 | セイコーエプソン株式会社 | 液晶装置及び電子機器 |
US7015954B1 (en) * | 1999-08-09 | 2006-03-21 | Fuji Xerox Co., Ltd. | Automatic video system using multiple cameras |
WO2006128066A2 (en) | 2005-05-26 | 2006-11-30 | Real D | Ghost-compensation for improved stereoscopic projection |
KR20070006116A (ko) * | 2005-07-07 | 2007-01-11 | 삼성전자주식회사 | 2차원/3차원 영상 호환용 완전시차 입체 영상 디스플레이장치 |
JP2008054206A (ja) | 2006-08-28 | 2008-03-06 | Matsushita Electric Ind Co Ltd | ゴースト検出装置およびその関連技術 |
TR200904838T1 (tr) * | 2006-12-28 | 2009-10-21 | Nuctech Company Limited | Binoküler steryoskobik taramalı radyografik görüntülemeye ilişkin metot ve sistem |
US8625881B2 (en) | 2008-08-15 | 2014-01-07 | Reald Inc. | Enhanced ghost compensation for stereoscopic imagery |
TWI428630B (zh) * | 2009-08-28 | 2014-03-01 | Parallax raster - type three - dimensional image display device | |
WO2011108207A1 (ja) | 2010-03-01 | 2011-09-09 | コニカミノルタオプト株式会社 | ゴースト検出装置およびそれを用いる撮像装置、ゴースト検出方法、および、ゴースト除去方法 |
JP5284306B2 (ja) * | 2010-03-26 | 2013-09-11 | 富士フイルム株式会社 | 立体撮像装置、ゴースト像処理装置およびゴースト像処理方法 |
CN201766676U (zh) | 2010-07-19 | 2011-03-16 | 张德忠 | 立体图像摄取与重现系统 |
CN101902658A (zh) * | 2010-07-19 | 2010-12-01 | 张德忠 | 无重影多目立体图像摄取与重现系统 |
WO2012039346A1 (ja) | 2010-09-22 | 2012-03-29 | 富士フイルム株式会社 | 立体撮像装置およびシェーディング補正方法 |
JP5594067B2 (ja) | 2010-11-02 | 2014-09-24 | ソニー株式会社 | 画像処理装置および画像処理方法 |
KR20120072146A (ko) | 2010-12-23 | 2012-07-03 | 한국전자통신연구원 | 파노라마 영상을 이용한 입체 영상 생성 장치 및 방법 |
JP5979500B2 (ja) * | 2011-04-07 | 2016-08-24 | パナソニックIpマネジメント株式会社 | 立体撮像装置 |
JP2013059016A (ja) | 2011-08-12 | 2013-03-28 | Sony Corp | 画像処理装置および方法、並びにプログラム |
EP2753062A4 (en) * | 2011-08-30 | 2015-02-11 | Fujifilm Corp | IMAGING DEVICE AND IMAGING METHOD |
JP2013179564A (ja) | 2012-02-01 | 2013-09-09 | Canon Inc | 画像処理方法、画像処理装置および撮像装置 |
CN103269435A (zh) * | 2013-04-19 | 2013-08-28 | 四川长虹电器股份有限公司 | 双目转多目虚拟视点合成方法 |
-
2014
- 2014-04-18 JP JP2014086379A patent/JP6214457B2/ja active Active
-
2015
- 2015-04-14 US US14/686,031 patent/US9894343B2/en active Active
- 2015-04-15 EP EP15001092.4A patent/EP2934005B1/en active Active
- 2015-04-17 CN CN201510183988.4A patent/CN105007405B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN105007405A (zh) | 2015-10-28 |
EP2934005B1 (en) | 2019-10-09 |
EP2934005A1 (en) | 2015-10-21 |
CN105007405B (zh) | 2018-07-06 |
US9894343B2 (en) | 2018-02-13 |
JP2015207851A (ja) | 2015-11-19 |
US20150304633A1 (en) | 2015-10-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20130194387A1 (en) | Image processing method, image processing apparatus and image-pickup apparatus | |
JP6253380B2 (ja) | 画像処理方法、画像処理装置および撮像装置 | |
JP6757184B2 (ja) | 画像処理装置、撮像装置およびこれらの制御方法ならびにプログラム | |
JP6516510B2 (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
JP6214457B2 (ja) | 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体 | |
US8743209B2 (en) | Image pickup apparatus and method for controlling the same | |
US10063829B2 (en) | Image processing method, image processing apparatus, image pickup apparatus, and non-transitory computer-readable storage medium | |
JP5569617B2 (ja) | 画像処理装置、及び、プログラム | |
JP6198664B2 (ja) | 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体 | |
JP6497977B2 (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
JP6478711B2 (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
JP6727973B2 (ja) | 画像処理装置及びその制御方法 | |
JP5510094B2 (ja) | 画像処理装置および画像処理プログラム | |
JP6494328B2 (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
JP6652294B2 (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体 | |
JP6198663B2 (ja) | 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体 | |
JP7043209B2 (ja) | 制御装置、撮像装置、制御方法、および、プログラム | |
JP6817855B2 (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
JP2019068377A (ja) | 画像処理装置、撮像装置、画像処理方法、および、プログラム | |
JP2019071596A (ja) | 撮像装置およびその制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170417 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170417 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20170417 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170710 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20170725 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170822 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170919 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6214457 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |