JP6817779B2 - 画像処理装置、その制御方法、プログラムならびに記録媒体 - Google Patents
画像処理装置、その制御方法、プログラムならびに記録媒体 Download PDFInfo
- Publication number
- JP6817779B2 JP6817779B2 JP2016206092A JP2016206092A JP6817779B2 JP 6817779 B2 JP6817779 B2 JP 6817779B2 JP 2016206092 A JP2016206092 A JP 2016206092A JP 2016206092 A JP2016206092 A JP 2016206092A JP 6817779 B2 JP6817779 B2 JP 6817779B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- gain
- gradation characteristic
- gradation
- gain map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 85
- 238000000034 method Methods 0.000 title claims description 27
- 238000006243 chemical reaction Methods 0.000 claims description 23
- 230000002194 synthesizing effect Effects 0.000 claims description 12
- 239000002131 composite material Substances 0.000 claims description 3
- 238000009448 modified atmosphere packaging Methods 0.000 description 58
- 230000015572 biosynthetic process Effects 0.000 description 15
- 238000003786 synthesis reaction Methods 0.000 description 15
- 238000012937 correction Methods 0.000 description 7
- 230000007423 decrease Effects 0.000 description 5
- 235000019837 monoammonium phosphate Nutrition 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000002146 bilateral effect Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000009931 harmful effect Effects 0.000 description 2
- 238000001454 recorded image Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012850 discrimination method Methods 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/6027—Correction or control of colour gradation or colour contrast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/407—Control or modification of tonal gradation or of extreme levels, e.g. background level
- H04N1/4072—Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/20—Circuitry for controlling amplitude response
- H04N5/205—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
- H04N5/208—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/20—Circuitry for controlling amplitude response
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Studio Devices (AREA)
Description
所望の被写体領域でない領域の明るさが変化する課題に対し、被写体領域ごとに異なる階調特性を適用する方法が考えられる。特許文献1は、画素のレベルによって領域を設定し、設定した領域に略同一のゲインをかける技術を開示している。
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下では画像処理装置の一例として、入力した画像にゲイン処理を施すことが可能な任意のデジタルカメラを用いる例を説明する。しかし、本実施形態は、デジタルカメラに限らず、入力した画像にゲイン処理を施すことが可能な任意の電子機器にも適用可能である。これらの機器には、例えばパーソナルコンピュータ、スマートフォンを含む携帯電話機、ゲーム機、タブレット端末、時計型や眼鏡型の情報端末、医療機器、監視システムや車載用システムの機器などが含まれてよい。
図11は、画像処理装置の一例としてのデジタルカメラ100の機能構成例を示している。なお、図11に示す機能ブロックの1つ以上は、ASICやプログラマブルロジックアレイ(PLA)などのハードウェアによって実現されてもよいし、CPUやMPU等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。
図1は、本実施形態に係る画像処理部1104の機能構成例を示すブロック図である。画像処理部1104は、入力された画像に対してゲイン処理を行って画像を出力する。なお、A/D変換部1103から出力された画像データは、不図示の輝度値算出部によってRGBデータから輝度信号に変換され、画像処理部1104には輝度信号によって構成される画像が入力される。画像処理部1104は、入力画像から被写体領域を判別する被写体領域判別部103を含む。また、入力画像を段階的に縮小して階層化した画像を生成するための第1の縮小画像生成部101と第2の縮小画像生成部102とを含む。更に、階層化された画像の信号をゲイン信号に変換する第1のゲイン変換部104、第2のゲイン変換部105を含む。また、被写体領域ごとにゲインマップ生成を行うため、生成された縮小画像に対する複数のゲインマップ(ゲインMAP)を合成するゲインMAP領域別合成部106を含む。更に、階層化されたゲインMAPから最終的に入力画像に適用するゲインMAPを生成する階層ゲインMAP合成部107と、算出されたゲインを入力画像に適用して階調変換処理のなされた(ゲインの変化した)出力画像を出力するゲイン処理部108を含む。これらの各ブロックの動作については、図2に示す一連の動作とともに後述する。
次に、図2を参照して、ゲイン処理に係る一連の動作について説明する。なお、ゲイン処理は、A/D変換部1103から撮影された画像データが出力され、当該画像データに基づく輝度信号が画像処理部1104に入力される際に開始される。
次に実施形態2について説明する。実施形態2では、2種類以上の被写体判別処理を行った結果を用いて、領域別に適用する階調特性を変更する点が実施形態1と異なるがデジタルカメラ100の構成は共通である。このため、同一の構成については同一の符号を付して重複する説明は省略し、相違点について重点的に説明する。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
Claims (12)
- 入力画像に基づいて段階的に縮小した1つ以上の縮小画像を生成する画像生成手段であって、前記入力画像と前記縮小画像とは階層化された画像を構成する、画像生成手段と、
前記階層化された画像のそれぞれに第1の階調特性を適用すると共に、前記1つ以上の縮小画像の少なくとも1つに更に第2の階調特性を適用して、画像の各画素位置におけるゲインを表すゲインマップを階層ごとに生成するゲインマップ生成手段と、
前記階層ごとに生成されたゲインマップを合成して、前記入力画像の各画素位置に適用されるゲインを表す合成されたゲインマップを生成する合成手段と、を有し、
前記ゲインマップ生成手段は、前記1つ以上の縮小画像の前記少なくとも1つに前記第1の階調特性と前記第2の階調特性とを被写体領域ごとに適用し、
前記第1の階調特性と前記第2の階調特性とは、前記入力画像に含まれる被写体領域ごとに対応付けられた互いに異なる階調特性である、ことを特徴とする画像処理装置。 - 前記入力画像から所定の被写体領域を判別する判別手段を更に有し、
前記ゲインマップ生成手段は、前記判別手段による判別結果に基づいて、前記1つ以上の縮小画像の前記少なくとも1つに前記第1の階調特性と前記第2の階調特性とを被写体領域ごとに適用する、ことを特徴とする請求項1に記載の画像処理装置。 - 前記第2の階調特性は、前記入力画像に含まれる前記所定の被写体領域に対応付けられた階調特性であり、前記第1の階調特性は、前記所定の被写体領域と異なる領域に対応付けられた階調特性である、ことを特徴とする請求項2に記載の画像処理装置。
- 前記ゲインマップ生成手段は、前記判別手段による領域判別の精度に応じて、前記第1の階調特性と前記第2の階調特性とを適用する前記1つ以上の縮小画像の数を異ならせる、ことを特徴とする請求項2又は3に記載の画像処理装置。
- 前記ゲインマップ生成手段は、前記判別手段による領域判別の精度が高いほど、縮小度合が低い前記1つ以上の縮小画像に前記第1の階調特性と前記第2の階調特性とを適用する、ことを特徴とする請求項2から4のいずれか1項に記載の画像処理装置。
- 前記第1の階調特性と前記第2の階調特性とは、前記所定の被写体領域と前記所定の被写体領域でない領域とで共通しない輝度信号の範囲に適用するゲインの差が、それぞれの領域で共通する輝度信号の範囲に適用するゲインの差より小さい、ことを特徴とする請求項2から5のいずれか1項に記載の画像処理装置。
- 前記ゲインマップ生成手段は、前記1つ以上の縮小画像の前記少なくとも1つに、最も縮小された前記縮小画像を含む、ことを特徴とする請求項2から6のいずれか1項に記載の画像処理装置。
- 前記判別手段は、前記所定の被写体領域と異なる第2の所定の被写体領域を前記入力画像から判別し、
前記ゲインマップ生成手段は、前記判別手段による判別結果に基づいて、前記第2の所定の被写体領域に対応付けられた、前記第1の階調特性と前記第2の階調特性とは異なる第3の階調特性を、更に前記1つ以上の縮小画像の少なくとも1つに適用する、ことを特徴とする請求項2から7のいずれか1項に記載の画像処理装置。 - 入力画像に基づいて段階的に縮小した1つ以上の縮小画像を生成し、前記入力画像と前記縮小画像から構成される画像群を生成する画像生成手段と、
前記画像群のそれぞれの画像に対して所定の階調特性を適用し、画像の各画素位置におけるゲインを表すゲインマップを生成するゲインマップ生成手段と、
前記それぞれの画像に対して生成されたゲインマップを合成して合成ゲインマップを生成する合成手段と、
前記入力画像に前記合成ゲインマップを用いて階調変換処理を行う処理手段と、を備え、
前記ゲインマップ生成手段は、前記画像群のうちで相対的に解像度が低い画像に対しては、画像に含まれる被写体領域ごとに特性が異なる階調特性を適用してゲインマップを生成する、ことを特徴とする画像処理装置。 - 画像生成手段が、入力画像に基づいて段階的に縮小した1つ以上の縮小画像を生成する画像生成工程であって、前記入力画像と前記縮小画像とは階層化された画像を構成する、画像生成工程と、
ゲインマップ生成手段が、前記階層化された画像のそれぞれに第1の階調特性を適用すると共に、前記1つ以上の縮小画像の少なくとも1つに更に第2の階調特性を適用して、画像の各画素位置におけるゲインを表すゲインマップを階層ごとに生成するゲインマップ生成工程と、
合成手段が、前記階層ごとに生成されたゲインマップを合成して、前記入力画像の各画素位置に適用されるゲインを表す合成されたゲインマップを生成する合成工程と、を有し、
前記ゲインマップ生成工程では、前記1つ以上の縮小画像の前記少なくとも1つに前記第1の階調特性と前記第2の階調特性とを被写体領域ごとに適用し、
前記第1の階調特性と前記第2の階調特性とは、前記入力画像に含まれる被写体領域ごとに対応付けられた互いに異なる階調特性である、ことを特徴とする画像処理装置の制御方法。 - コンピュータを、請求項1から9のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
- 請求項1から9のいずれか1項に記載の画像処理装置の各手段としてコンピュータを機能させるためのプログラムを格納した記録媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016206092A JP6817779B2 (ja) | 2016-10-20 | 2016-10-20 | 画像処理装置、その制御方法、プログラムならびに記録媒体 |
US15/719,747 US10313649B2 (en) | 2016-10-20 | 2017-09-29 | Image processing apparatus, control method thereof, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016206092A JP6817779B2 (ja) | 2016-10-20 | 2016-10-20 | 画像処理装置、その制御方法、プログラムならびに記録媒体 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2018067190A JP2018067190A (ja) | 2018-04-26 |
JP2018067190A5 JP2018067190A5 (ja) | 2019-11-28 |
JP6817779B2 true JP6817779B2 (ja) | 2021-01-20 |
Family
ID=61970065
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016206092A Active JP6817779B2 (ja) | 2016-10-20 | 2016-10-20 | 画像処理装置、その制御方法、プログラムならびに記録媒体 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10313649B2 (ja) |
JP (1) | JP6817779B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10530995B2 (en) * | 2015-06-12 | 2020-01-07 | Gopro, Inc. | Global tone mapping |
JP2019028537A (ja) * | 2017-07-26 | 2019-02-21 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
JP7471832B2 (ja) | 2020-01-23 | 2024-04-22 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006039666A (ja) | 2004-07-22 | 2006-02-09 | Konica Minolta Photo Imaging Inc | 画像処理方法、画像処理装置及び画像処理プログラム |
US7599578B2 (en) * | 2004-09-17 | 2009-10-06 | Nikon Corporation | Apparatus, program, and method for image tone transformation, and electronic camera |
US7755670B2 (en) * | 2005-10-24 | 2010-07-13 | Nikon Corporation | Tone-conversion device for image, program, electronic camera, and tone-conversion method |
JP4998287B2 (ja) * | 2008-01-25 | 2012-08-15 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
JP4944061B2 (ja) | 2008-05-09 | 2012-05-30 | 富士フイルム株式会社 | 画像処理装置および方法並びにプログラム |
JP6097588B2 (ja) * | 2013-02-13 | 2017-03-15 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
JP6485068B2 (ja) * | 2014-02-05 | 2019-03-20 | パナソニックIpマネジメント株式会社 | 画像処理方法および画像処理装置 |
JP6514504B2 (ja) * | 2014-12-26 | 2019-05-15 | キヤノン株式会社 | 画像処理装置およびその制御方法、ならびにプログラム |
JP6755811B2 (ja) * | 2017-02-07 | 2020-09-16 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP2019028537A (ja) * | 2017-07-26 | 2019-02-21 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
-
2016
- 2016-10-20 JP JP2016206092A patent/JP6817779B2/ja active Active
-
2017
- 2017-09-29 US US15/719,747 patent/US10313649B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US10313649B2 (en) | 2019-06-04 |
US20180115758A1 (en) | 2018-04-26 |
JP2018067190A (ja) | 2018-04-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5791336B2 (ja) | 画像処理装置及びその制御方法 | |
JP5398156B2 (ja) | ホワイトバランス制御装置およびその制御方法並びに撮像装置 | |
US8687126B2 (en) | Digital image signal processing method, medium for recording the method, and digital image signal processing apparatus | |
JP5434361B2 (ja) | 画像処理装置及び画像処理方法 | |
US20100157085A1 (en) | Image pickup device, flash image generating method, and computer-readable memory medium | |
JP5672796B2 (ja) | 画像処理装置、画像処理方法 | |
JP2008123086A (ja) | 画像処理装置及び画像処理方法 | |
JP6817779B2 (ja) | 画像処理装置、その制御方法、プログラムならびに記録媒体 | |
JP2022179514A (ja) | 制御装置、撮像装置、制御方法およびプログラム | |
US20230196530A1 (en) | Image processing apparatus, image processing method, and image capture apparatus | |
US8334919B2 (en) | Apparatus and method for digital photographing to correct subject area distortion caused by a lens | |
JP6320053B2 (ja) | 画像処理装置、画像処理方法、及びコンピュータプログラム | |
JP2019028912A (ja) | 画像処理装置、画像処理方法 | |
JP6541501B2 (ja) | 画像処理装置、撮像装置、及び画像処理方法 | |
JP7458819B2 (ja) | 撮像装置、制御方法、プログラム及び記憶媒体 | |
JP7025237B2 (ja) | 画像処理装置およびその制御方法ならびにプログラム | |
JP2017103756A (ja) | 画像データ処理装置及び方法 | |
JP2023033355A (ja) | 画像処理装置およびその制御方法 | |
JP2007020087A (ja) | 撮像装置及び撮像方法 | |
CN115908120A (zh) | 图像处理方法和电子设备 | |
JP5146223B2 (ja) | プログラム、カメラ、画像処理装置および画像の輪郭抽出方法 | |
JP6514577B2 (ja) | 画像処理装置および画像処理方法ならびに撮像装置 | |
JP2019144803A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP6025555B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2014155000A (ja) | 画像処理装置、その制御方法、および制御プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191017 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191017 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201118 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201127 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201225 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6817779 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |