JP6608194B2 - 画像処理装置およびその制御方法ならびにプログラム - Google Patents
画像処理装置およびその制御方法ならびにプログラム Download PDFInfo
- Publication number
- JP6608194B2 JP6608194B2 JP2015128957A JP2015128957A JP6608194B2 JP 6608194 B2 JP6608194 B2 JP 6608194B2 JP 2015128957 A JP2015128957 A JP 2015128957A JP 2015128957 A JP2015128957 A JP 2015128957A JP 6608194 B2 JP6608194 B2 JP 6608194B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- aperture value
- processing apparatus
- depth
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 81
- 238000000034 method Methods 0.000 title claims description 31
- 238000003384 imaging method Methods 0.000 claims description 68
- 238000006243 chemical reaction Methods 0.000 claims description 14
- 230000003287 optical effect Effects 0.000 claims description 13
- 239000002131 composite material Substances 0.000 claims description 7
- 230000035945 sensitivity Effects 0.000 claims description 7
- 230000002194 synthesizing effect Effects 0.000 claims description 5
- 230000008878 coupling Effects 0.000 claims 1
- 238000010168 coupling process Methods 0.000 claims 1
- 238000005859 coupling reaction Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012913 prioritisation Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
- H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/20—Circuitry for controlling amplitude response
- H04N5/205—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
- H04N5/208—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10148—Varying focus
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0088—Synthesising a monoscopic image signal from stereoscopic images, e.g. synthesising a panoramic or high resolution monoscopic image
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Optics & Photonics (AREA)
- Studio Devices (AREA)
Description
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下では撮像装置の一例として、多視点画像を取得可能な撮像素子を備えるデジタルカメラに本発明を適用した例を説明する。しかし、本発明でいう撮像装置は、デジタルカメラに限らず、このような撮像素子を備える任意の電子機器にも適用可能である。これらの電子機器には、例えば携帯電話機、ゲーム機、タブレット端末、パーソナルコンピュータ、時計型や眼鏡型の情報端末などが含まれてよい。
図1は、本実施形態の撮像装置の一例としてデジタルカメラ100の機能構成例を示すブロック図である。なお、図1に示す機能ブロックの1つ以上は、ASICやプログラマブルロジックアレイ(PLA)などのハードウェアによって実現されてもよいし、CPUやMPU等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。
次に、図3を参照して、撮像処理に係る一連の動作を説明する。なお、デジタルカメラ100においてライブビュー表示が行われている状態で、例えば操作部210のシャッターボタンの全押しの状態が検出された場合に本処理が開始される。
次に、図4を参照して、本実施形態に係るデジタルカメラ100における画像処理の一連の動作を説明する。なお、S309における撮像処理が行われて、撮像された各画像がRAM190に格納された場合に本処理が開始される。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
Claims (15)
- 視点の異なる複数の視差画像と、前記視差画像を合成して得た合成画像とを取得可能な画像処理装置であって、
ユーザ操作に従って第1の絞り値を設定する設定手段と、
前記設定手段により設定された前記第1の絞り値と撮像手段の光学特性に基づいて、前記撮像手段が前記複数の視差画像を撮像する撮像条件として前記第1の絞り値よりも小さな第2の絞り値を決定する決定手段と、
前記撮像手段により前記第2の絞り値で撮像された前記複数の視差画像を合成して前記第1の絞り値で撮像して得られる画像と同等の被写界深度を有する合成画像を生成する生成手段と、
を有することを特徴とする画像処理装置。 - 前記決定手段は、前記第2の絞り値で撮像された前記複数の視差画像から前記設定手段により設定された前記第1の絞り値で撮像して得られる画像と同等の被写界深度を有する画像を生成可能なように、前記第2の絞り値を決定することを特徴とする請求項1に記載の画像処理装置。
- 前記決定手段は、対象となる絞り値で撮像されたときの前記複数の視差画像におけるリフォーカス可能範囲に基づいて、前記第2の絞り値で撮像された前記複数の視差画像から前記設定手段により設定された前記第1の絞り値で撮像して得られる画像と同等の被写界深度を有する画像を生成可能かどうかを判定し、前記第2の絞り値を決定することを特徴とする請求項2に記載の画像処理装置。
- 前記生成手段は、
前記視差画像を加算合成した画像を生成する第1の生成手段と、
前記加算合成した画像と、前記複数の視差画像を用いたリフォーカス処理により生成された画像とを用いて前記合成画像を生成する第2の生成手段と、を有することを特徴とする請求項1に記載の画像処理装置。 - 前記第2の生成手段は、前記第2の絞り値に対応する被写界深度と前記第1の絞り値を用いたときと同等の被写界深度の差を補う被写界深度を有する画像を生成するためのリフォーカス処理を行う、
ことを特徴とする請求項4に記載の画像処理装置。 - 前記撮像手段は、各画素が独立した複数の光電変換領域を有する撮像素子を用いて、前記複数の視差画像を撮像する、
ことを特徴とする請求項1から5のいずれか1項に記載の画像処理装置。 - 前記決定手段は、前記第1の絞り値を用いたときと同等の被写界深度を実現できる絞り値が複数ある場合、予め定められた順序に従って前記第2の絞り値を決定する、
ことを特徴とする請求項1から6のいずれか1項に記載の画像処理装置。 - 前記予め定められた順序は、前記撮像手段の有する光学特性、または前記撮像手段に設定可能な感度域に応じて定まる、
ことを特徴とする請求項7に記載の画像処理装置。 - 前記第1の絞り値を用いたときと同等の被写界深度を実現できる複数の絞り値のうち、回折が生じる絞り値を除外して前記第2の絞り値を決定する、
ことを特徴とする請求項7または8に記載の画像処理装置。 - 前記生成手段は、前記第2の絞り値に対応する被写界深度と前記第1の絞り値を用いたときと同等の被写界深度の差を補う被写界深度を有する複数の画像を生成し、前記複数の視差画像と、前記生成手段が生成した前記複数の画像とを合成する、
ことを特徴とする請求項1から9のいずれか1項に記載の画像処理装置。 - 前記撮像手段は、各画素が独立した複数の光電変換領域を有する撮像素子を用いて、前記複数の視差画像を取得する、
ことを特徴とする請求項1から9のいずれか1項に記載の画像処理装置。 - 前記生成手段は、前記複数の光電変換領域の出力を画素ごとに加算することにより前記合成画像を取得する、
ことを特徴とする請求項11に記載の画像処理装置。 - 視点の異なる複数の視差画像と、前記視差画像を合成して得た合成画像とを取得可能な画像処理装置の制御方法であって、
設定手段が、ユーザ操作に従って第1の絞り値を設定する設定工程と、
決定手段が、前記設定工程において設定された前記第1の絞り値と撮像手段の光学特性に基づいて、前記撮像手段が前記複数の視差画像を撮像する撮像条件として前記第1の絞り値よりも小さな第2の絞り値を決定する決定工程と、
生成手段が、前記撮像手段により前記第2の絞り値で撮像された前記複数の視差画像を合成して前記第1の絞り値で撮像して得られる画像と同等の被写界深度を有する合成画像を生成する生成工程と、
を有することを特徴とする画像処理装置の制御方法。 - コンピュータに、請求項13に記載の画像処理装置の制御方法の各工程を実行させるためのプログラム。
- コンピュータに請求項13に記載の画像処理装置の制御方法の各工程を実行させるためのプログラムを格納した、コンピュータが読み取り可能な記憶媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015128957A JP6608194B2 (ja) | 2014-07-09 | 2015-06-26 | 画像処理装置およびその制御方法ならびにプログラム |
US14/793,154 US20160014397A1 (en) | 2014-07-09 | 2015-07-07 | Image capturing apparatus and control method for the same |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014141776 | 2014-07-09 | ||
JP2014141776 | 2014-07-09 | ||
JP2015128957A JP6608194B2 (ja) | 2014-07-09 | 2015-06-26 | 画像処理装置およびその制御方法ならびにプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2016028468A JP2016028468A (ja) | 2016-02-25 |
JP2016028468A5 JP2016028468A5 (ja) | 2018-08-09 |
JP6608194B2 true JP6608194B2 (ja) | 2019-11-20 |
Family
ID=55068532
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015128957A Active JP6608194B2 (ja) | 2014-07-09 | 2015-06-26 | 画像処理装置およびその制御方法ならびにプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US20160014397A1 (ja) |
JP (1) | JP6608194B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6253380B2 (ja) | 2013-12-11 | 2017-12-27 | キヤノン株式会社 | 画像処理方法、画像処理装置および撮像装置 |
US9894285B1 (en) * | 2015-10-01 | 2018-02-13 | Hrl Laboratories, Llc | Real-time auto exposure adjustment of camera using contrast entropy |
JP6976754B2 (ja) * | 2017-07-10 | 2021-12-08 | キヤノン株式会社 | 画像処理装置および画像処理方法、撮像装置、プログラム |
WO2021152933A1 (ja) * | 2020-01-31 | 2021-08-05 | 富士フイルム株式会社 | 撮像装置、撮像装置の作動方法、及びプログラム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1185112B1 (en) * | 2000-08-25 | 2005-12-14 | Fuji Photo Film Co., Ltd. | Apparatus for parallax image capturing and parallax image processing |
US7733412B2 (en) * | 2004-06-03 | 2010-06-08 | Canon Kabushiki Kaisha | Image pickup apparatus and image pickup method |
JP5204349B2 (ja) * | 2010-08-31 | 2013-06-05 | パナソニック株式会社 | 撮影装置、再生装置、および画像処理方法 |
JP6029380B2 (ja) * | 2012-08-14 | 2016-11-24 | キヤノン株式会社 | 画像処理装置、画像処理装置を具備する撮像装置、画像処理方法、及びプログラム |
JP6071374B2 (ja) * | 2012-09-21 | 2017-02-01 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラムならびに画像処理装置を備えた撮像装置 |
JP6082223B2 (ja) * | 2012-10-15 | 2017-02-15 | キヤノン株式会社 | 撮像装置、その制御方法およびプログラム |
US9519972B2 (en) * | 2013-03-13 | 2016-12-13 | Kip Peli P1 Lp | Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies |
-
2015
- 2015-06-26 JP JP2015128957A patent/JP6608194B2/ja active Active
- 2015-07-07 US US14/793,154 patent/US20160014397A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
JP2016028468A (ja) | 2016-02-25 |
US20160014397A1 (en) | 2016-01-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9635280B2 (en) | Image pickup apparatus, method of controlling image pickup apparatus, and non-transitory computer-readable storage medium | |
US9208569B2 (en) | Image processing apparatus and control method thereof capable of performing refocus calculation processing for light field data | |
JP2007043637A (ja) | 撮像装置、撮像プログラムおよび画像処理プログラム | |
JP6220148B2 (ja) | 撮像装置およびその制御方法 | |
JPWO2012108099A1 (ja) | 撮像装置および撮像方法 | |
JP6608194B2 (ja) | 画像処理装置およびその制御方法ならびにプログラム | |
EP3002940A1 (en) | Imaging apparatus and imaging method | |
JP6752685B2 (ja) | 撮像装置、撮像方法およびプログラム | |
JP2015231118A (ja) | 画像合成装置、画像合成システム及び画像合成方法 | |
US10412321B2 (en) | Imaging apparatus and image synthesis method | |
JP6095266B2 (ja) | 画像処理装置及びその制御方法 | |
JP6425571B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2017005689A (ja) | 画像処理装置および画像処理方法 | |
JP2015204470A (ja) | 撮像装置およびその制御方法ならびにプログラム | |
US20160275657A1 (en) | Imaging apparatus, image processing apparatus and method of processing image | |
JP2019047365A (ja) | 画像処理装置、画像処理装置の制御方法、撮像装置、プログラム | |
JP6501536B2 (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
JP2008283456A (ja) | 撮像装置及び撮像方法 | |
JP6226536B2 (ja) | 撮像装置及びその制御方法 | |
JP6491442B2 (ja) | 画像処理装置、画像処理方法、プログラム及び記録媒体 | |
JP2012124650A (ja) | 撮像装置および撮像方法 | |
JP2017163412A (ja) | 画像処理装置およびその制御方法、撮像装置、プログラム | |
US10447937B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and storage medium that perform image processing based on an image processing parameter set for a first object area, and information on a positional relationship between an object in a second object area and an object in the first object area | |
JP2016032180A (ja) | 撮像装置、制御方法およびプログラム | |
JP7043209B2 (ja) | 制御装置、撮像装置、制御方法、および、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180626 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180626 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190422 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190510 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190709 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190924 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191023 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6608194 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |