JP6682184B2 - 画像処理方法、画像処理プログラム、画像処理装置および撮像装置 - Google Patents
画像処理方法、画像処理プログラム、画像処理装置および撮像装置 Download PDFInfo
- Publication number
- JP6682184B2 JP6682184B2 JP2014257239A JP2014257239A JP6682184B2 JP 6682184 B2 JP6682184 B2 JP 6682184B2 JP 2014257239 A JP2014257239 A JP 2014257239A JP 2014257239 A JP2014257239 A JP 2014257239A JP 6682184 B2 JP6682184 B2 JP 6682184B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- image
- noise reduction
- optical system
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 108
- 238000012545 processing Methods 0.000 title claims description 90
- 238000003672 processing method Methods 0.000 title claims description 8
- 230000003287 optical effect Effects 0.000 claims description 155
- 230000009467 reduction Effects 0.000 claims description 94
- 230000004075 alteration Effects 0.000 claims description 28
- 238000000034 method Methods 0.000 claims description 24
- 238000011946 reduction process Methods 0.000 claims description 16
- 230000008859 change Effects 0.000 claims description 11
- 230000006866 deterioration Effects 0.000 claims description 11
- 238000009826 distribution Methods 0.000 claims description 6
- 238000012546 transfer Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 8
- 238000003860 storage Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 239000002131 composite material Substances 0.000 description 4
- 230000007423 decrease Effects 0.000 description 3
- ORQBXQOJMQIAOY-UHFFFAOYSA-N nobelium Chemical compound [No] ORQBXQOJMQIAOY-UHFFFAOYSA-N 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000003313 weakening effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000002366 time-of-flight method Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B3/00—Simple or compound lenses
- G02B3/0006—Arrays
- G02B3/0037—Arrays characterized by the distribution or form of lenses
- G02B3/0056—Arrays characterized by the distribution or form of lenses arranged along two different directions in a plane, e.g. honeycomb arrangement of lenses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
- H04N25/615—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/616—Noise processing, e.g. detecting, correcting, reducing or removing noise involving a correlated sampling function, e.g. correlated double sampling [CDS] or triple sampling
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
- H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
- H04N25/673—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction by using reference sources
- H04N25/674—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction by using reference sources based on the scene itself, e.g. defocusing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
- H04N5/2226—Determination of depth image, e.g. for foreground/background separation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optics & Photonics (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Picture Signal Circuits (AREA)
- Facsimile Image Signal Circuits (AREA)
Description
(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
102 撮像素子
104 画像処理部
202 画像処理装置
403 サーバー
Claims (8)
- 光学系と撮像素子を含む撮像系を用いて被写体空間を撮像することにより生成された入力画像のうち少なくとも一部に対してノイズリダクションの処理を行う処理手段と、
前記光学系の光学特性に関する第1の情報と、前記撮像素子の画素ピッチまたはナイキスト周波数に関する第2の情報を取得する取得手段を有し、
前記第1の情報は、前記光学系の収差および前記光学系における回折の少なくとも一方による、前記入力画像における前記被写体空間の情報の劣化に関する情報であって前記入力画像における位置に応じて変化する情報であり、
前記処理手段は、前記第1の情報と前記第2の情報に応じて、前記ノイズリダクションの処理を変更し、
前記処理手段は、前記入力画像における部分領域に対して、該部分領域の位置に対応する前記第1の情報を用いて前記ノイズリダクションの処理を行うことを特徴とする画像処理装置。 - 前記第1の情報は、前記入力画像におけるデプスに応じて変化する情報であり、
前記取得手段は、前記入力画像における前記デプスの分布に関する情報を取得し、
前記処理手段は、前記入力画像における部分領域に対して、該部分領域の位置での前記デプスに対応する前記第1の情報を用いて前記ノイズリダクションの処理を行うことを特徴とする請求項1に記載の画像処理装置。 - 前記第1の情報は、前記撮像系のデフォーカス量に応じて変化する情報であることを特徴とする請求項2に記載の画像処理装置。
- 前記第1の情報は、前記光学系の光学伝達関数に基づく情報であることを特徴とする請求項1から3のいずれか1項に記載の画像処理装置。
- 前記ノイズリダクションの処理の変更は、該ノイズリダクションの強度を変化させるパラメタの変更または該ノイズリダクションの方法の変更であることを特徴とする請求項1から4のいずれか1項に記載の画像処理装置。
- 請求項1から5のいずれか1項に記載の画像処理装置と、
前記撮像素子を有することを特徴とする撮像装置。 - 光学系と撮像素子を含む撮像系を用いて被写体空間を撮像することにより生成された入力画像のうち少なくとも一部に対してノイズリダクションの処理を行う画像処理方法であって、
前記光学系の収差および前記光学系における回折の少なくとも一方による、前記入力画像における前記被写体空間の情報の劣化に関する情報であって前記入力画像における位置に応じて変化する情報である第1の情報と、前記撮像素子の画素ピッチまたはナイキスト周波数に関する第2の情報を用意し、
前記第1の情報と前記第2の情報に応じて、前記ノイズリダクションの処理を変更し、
前記入力画像における部分領域に対して、該部分領域の位置に対応する前記第1の情報を用いた前記ノイズリダクションの処理を行うことを特徴とする画像処理方法。 - コンピュータに、光学系と撮像素子を含む撮像系を用いて被写体空間を撮像することにより生成された入力画像のうち少なくとも一部に対してノイズリダクションの処理を行わせるコンピュータプログラムとしての画像処理プログラムであって、
前記コンピュータに、
前記光学系の収差および前記光学系における回折の少なくとも一方による、前記入力画像における前記被写体空間の情報の劣化に関する情報であって前記入力画像における位置に応じて変化する情報である第1の情報と、前記撮像素子の画素ピッチまたはナイキスト周波数に関する第2の情報を取得させ、
前記第1の情報と前記第2の情報に応じて、前記ノイズリダクションの処理を変更させ、
前記入力画像における部分領域に対して、該部分領域の位置に対応する前記第1の情報を用いた前記ノイズリダクションの処理を行わせることを特徴とする画像処理プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014257239A JP6682184B2 (ja) | 2014-12-19 | 2014-12-19 | 画像処理方法、画像処理プログラム、画像処理装置および撮像装置 |
US15/514,019 US10326951B2 (en) | 2014-12-19 | 2015-12-15 | Image processing apparatus, image processing method, image capturing apparatus and image processing program |
PCT/JP2015/006259 WO2016098348A1 (en) | 2014-12-19 | 2015-12-15 | Image processing apparatus, image processing method, image capturing apparatus and image processing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014257239A JP6682184B2 (ja) | 2014-12-19 | 2014-12-19 | 画像処理方法、画像処理プログラム、画像処理装置および撮像装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2016119542A JP2016119542A (ja) | 2016-06-30 |
JP2016119542A5 JP2016119542A5 (ja) | 2017-11-30 |
JP6682184B2 true JP6682184B2 (ja) | 2020-04-15 |
Family
ID=56126256
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014257239A Active JP6682184B2 (ja) | 2014-12-19 | 2014-12-19 | 画像処理方法、画像処理プログラム、画像処理装置および撮像装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10326951B2 (ja) |
JP (1) | JP6682184B2 (ja) |
WO (1) | WO2016098348A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10580121B2 (en) * | 2017-11-16 | 2020-03-03 | Axis Ab | Image noise reduction based on a modulation transfer function of a camera dome |
US10572989B2 (en) * | 2018-06-06 | 2020-02-25 | The Boeing Company | Chopped fiber additive manufacturing void detection |
DE102018118187A1 (de) * | 2018-07-27 | 2020-01-30 | Carl Zeiss Ag | Verfahren und Datenverarbeitungssystem zur Synthese von Bildern |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003234950A (ja) * | 2002-02-12 | 2003-08-22 | Nikon Corp | 画像処理装置、画像処理プログラム、および画像処理方法 |
US20040085459A1 (en) | 2002-02-12 | 2004-05-06 | Nikon Corporation | Image processing device, image processing program, and image processing method |
JP4925198B2 (ja) * | 2007-05-01 | 2012-04-25 | 富士フイルム株式会社 | 信号処理装置および方法、ノイズ低減装置および方法並びにプログラム |
JP2009038439A (ja) * | 2007-07-31 | 2009-02-19 | Tokyo Institute Of Technology | 空間フィルタ処理を行う撮像方法及びその撮像装置 |
JP5153350B2 (ja) | 2008-01-17 | 2013-02-27 | オリンパスイメージング株式会社 | 撮像装置 |
JP5352191B2 (ja) | 2008-10-31 | 2013-11-27 | 三星電子株式会社 | ノイズ低減装置、ノイズ低減方法及びプログラム |
JP5460173B2 (ja) * | 2009-08-13 | 2014-04-02 | 富士フイルム株式会社 | 画像処理方法、画像処理装置、画像処理プログラム、撮像装置 |
JP6060764B2 (ja) | 2013-03-26 | 2017-01-18 | 富士ゼロックス株式会社 | 画像処理装置及び画像形成装置 |
US9967535B2 (en) * | 2015-04-17 | 2018-05-08 | Light Labs Inc. | Methods and apparatus for reducing noise in images |
-
2014
- 2014-12-19 JP JP2014257239A patent/JP6682184B2/ja active Active
-
2015
- 2015-12-15 US US15/514,019 patent/US10326951B2/en active Active
- 2015-12-15 WO PCT/JP2015/006259 patent/WO2016098348A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
US20170302868A1 (en) | 2017-10-19 |
WO2016098348A1 (en) | 2016-06-23 |
US10326951B2 (en) | 2019-06-18 |
JP2016119542A (ja) | 2016-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5709911B2 (ja) | 画像処理方法、画像処理装置、画像処理プログラムおよび撮像装置 | |
US8941762B2 (en) | Image processing apparatus and image pickup apparatus using the same | |
US10154216B2 (en) | Image capturing apparatus, image capturing method, and storage medium using compressive sensing | |
EP3048787B1 (en) | Image processing apparatus, image pickup apparatus, image processing method, program, and storage medium | |
JP5968073B2 (ja) | 画像処理装置、撮像装置、画像処理方法、および画像処理プログラム | |
JP6544978B2 (ja) | 画像出力装置およびその制御方法、撮像装置、プログラム | |
JP5619124B2 (ja) | 画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法 | |
JP6682184B2 (ja) | 画像処理方法、画像処理プログラム、画像処理装置および撮像装置 | |
US10204400B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and recording medium | |
JP5653464B2 (ja) | 撮像装置、画像処理装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
JP6624785B2 (ja) | 画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体 | |
JP2015115733A (ja) | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム | |
JP2012156716A (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム。 | |
JP2015149618A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP6415108B2 (ja) | 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体 | |
JP2017050662A (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP6436840B2 (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
JP2015163915A (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体 | |
JP2015109681A (ja) | 画像処理方法、画像処理装置、画像処理プログラムおよび撮像装置 | |
JP6486076B2 (ja) | 画像処理装置および画像処理方法 | |
JP6238673B2 (ja) | 画像処理装置、撮像装置、撮像システム、画像処理方法、画像処理プログラム、および、記憶媒体 | |
JP2016010080A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2015119428A (ja) | 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体 | |
JP2017118293A (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
JP6452389B2 (ja) | 画像処理装置および画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171017 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171017 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181225 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190219 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190723 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190919 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200225 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200325 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6682184 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |