JP5408053B2 - 画像処理装置、画像処理方法 - Google Patents
画像処理装置、画像処理方法 Download PDFInfo
- Publication number
- JP5408053B2 JP5408053B2 JP2010145052A JP2010145052A JP5408053B2 JP 5408053 B2 JP5408053 B2 JP 5408053B2 JP 2010145052 A JP2010145052 A JP 2010145052A JP 2010145052 A JP2010145052 A JP 2010145052A JP 5408053 B2 JP5408053 B2 JP 5408053B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- luminance
- gain
- remaining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 70
- 238000003672 processing method Methods 0.000 title claims description 13
- 238000000034 method Methods 0.000 claims description 24
- 230000015572 biosynthetic process Effects 0.000 claims description 11
- 238000003786 synthesis reaction Methods 0.000 claims description 11
- 239000002131 composite material Substances 0.000 claims description 5
- 238000010187 selection method Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 description 19
- 238000007906 compression Methods 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 7
- 230000006835 compression Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 230000002950 deficient Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000003705 background correction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10144—Varying exposure
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Editing Of Facsimile Originals (AREA)
- Facsimile Image Signal Circuits (AREA)
Description
第2の発明は、第1の発明において、前記重み算出手段は、前記残りの画像の座標(x,y)における画素に対して適用する重みWを、以下の式により算出する。
第7の発明は、第6の発明において、前記重み算出手順は、前記残りの画像の座標(x,y)における画素に対して適用する重みWを、以下の式により算出する。
また、基準画像に対して露出オーバーとなる露出条件で撮影された「他の入力画像」については、「gain>1.0のとき」の演算により、画像の低輝度部分の重みが大きくなるように重みの算出が行われる(但し、fY<minのときには式(2)に拘わらずWは(2log2(gain))に設定され、fY>maxのときには式(2)に拘わらずWは0に設定されるものとする。)。これは、低輝度部分については、基準画像よりも露光量が多くなるように撮影された「他の入力画像」の情報が良好なためである。
を上記の算出された重みで重み付け合成することによって高コントラスト画像を作成する。なお、(式3)のgc(x,y)は作成される高コントラスト画像であり、fc(x,y)は「基準画像」、h1c(x,y)〜hn-1c(x,y)は他の入力画像(1〜N−1、つまり、基準画像を除いた残りの1枚以上の入力画像)を示している。そして、W1〜Wn-1は他の入力画像(1〜N−1)のそれぞれに対して上記ステップ105で算出された重み、「1.0」は基準画像に対する重み、「n」は入力画像の枚数(N)、「c」はR(r),G(g),B(b)の各色成分を示している。
て高コントラスト画像を生成する、具体的には上記の輝度成分で処理している箇所を、全て、色成分毎の処理に置き換えるようにすれば、より有効に階調幅を表現できるようになる。
なお、上述した高コントラスト画像の作成に使用する入力画像は、ガンマ補正(ガンマ変換)等が施されていないもの、つまり、画像信号成分が撮像素子から出力された状態のリニア特性の状態のものである必要がある。そのため、ガンマ補正(ガンマ変換)等の画像処理が施された入力画像を用いる場合には、画像信号成分をリニア特性の状態に戻すため、入力画像に対し、一旦、逆ガンマ補正(逆ガンマ変換)を施した後で、上記ステップ101からの処理を行うようにする。
本実施形態の画像処理装置では、入力画像(1〜N)のそれぞれについて縮小画像が作成される。縮小画像は、例えば、各入力画像の空間方向でn×n(n≧2)画素の画素値の平均をとることによって作成される。
本発明は、露出ブラケット撮影が可能な他の機器、例えば、デジタルカメラ(デジタルスチルカメラ)やデジタルビデオカメラ、携帯電話機などにも適用することができる。さらに、本発明は、撮像素子を用いて取得した画像により被写体の観察を行うことが可能な顕微鏡などにも適用することができる。
Claims (9)
- 同一シーンを撮影した露光量の異なる複数枚の画像を合成して、ダイナミックレンジを拡大させた階調幅の広い合成画像(高コントラスト画像)を生成する画像処理装置であって、
前記複数枚の画像の輝度成分の情報に基づき基準画像を選定する選定手段と、
前記複数枚の画像の輝度成分の情報に基づき、前記複数枚のうちの前記基準画像を除いた残りの画像について、前記基準画像を基準にした前記残りの画像との輝度比率をゲインとして算出するゲイン算出手段と、
前記算出されたゲインと、前記基準画像の輝度成分の情報とに基づき、前記残りの画像に対して適用する重みを算出する重み算出手段と、
前記算出された重みを使用して前記基準画像と前記残りの画像との重み付け合成処理を行うことにより前記高コントラスト画像を生成する生成手段とを備え、
前記重み算出手段は、
前記残りの画像のゲインの値が1である場合には、前記残りの画像の全画素の重みを均一に設定し、
前記残りの画像のゲインの値が1よりも小さい場合には、前記残りの画像の高輝度な画素ほど重みを大きく設定し、
前記残りの画像のゲインの値が1よりも大きい場合には、前記残りの画像の低輝度な画素ほど重みを大きく設定する
ことを特徴とする画像処理装置。 - 請求項1または請求項2に記載の画像処理装置において、
前記選定手段は、前記複数枚の画像をそれぞれ縮小した縮小画像の輝度成分の情報に基づき、輝度分布の有効幅が最も広い1枚の画像を、前記複数枚の中から前記基準画像として選定する
ことを特徴とする画像処理装置。 - 請求項1ないし請求項3の何れか一項に記載の画像処理装置において、
前記ゲイン算出手段は、前記複数枚の画像をそれぞれ縮小した縮小画像の輝度成分の情報に基づき、前記残りの画像について、前記基準画像を基準にした前記残りの画像との輝度比率をゲインとして算出する
ことを特徴とする画像処理装置。 - 請求項1ないし請求項4の何れか一項に記載の画像処理装置において、
前記複数枚の画像は、画像信号成分がリニア特性の状態にある画像であり、
前記複数枚のうちの1枚の画像は自動露出(AE)によって決定された又はユーザーによって指定された露出条件で撮影され、それを除いた残りの画像は、前記露出条件を基準とした異なる露出条件で撮影されたものである
ことを特徴とする画像処理装置。 - 同一シーンを撮影した露光量の異なる複数枚の画像を合成して、ダイナミックレンジを拡大させた階調幅が広い合成画像(高コントラスト画像)を生成する画像処理方法であって、
前記複数枚の画像の輝度成分の情報に基づき基準画像を選定する選定手順と、
前記複数枚の画像の輝度成分の情報に基づき、前記複数枚のうちの前記基準画像を除いた残りの画像について、前記基準画像を基準にした前記残りの画像との輝度比率をゲインとして算出するゲイン算出手順と、
前記算出されたゲインと、前記基準画像の輝度成分の情報とに基づき、前記残りの画像に対して適用する重みを算出する重み算出手順と、
前記算出された重みを使用して前記基準画像と前記残りの画像との重み付け合成処理を行うことにより前記高コントラスト画像を生成する生成手順とを備え、
前記重み算出手順は、
前記残りの画像のゲインの値が1である場合には、前記残りの画像の全画素の重みを均一に設定し、
前記残りの画像のゲインの値が1よりも小さい場合には、前記残りの画像の高輝度な画素ほど重みを大きく設定し、
前記残りの画像のゲインの値が1よりも大きい場合には、前記残りの画像の低輝度な画素ほど重みを大きく設定する
ことを特徴とする画像処理方法。 - 請求項6または請求項7に記載の画像処理方法において、
前記選定手順は、前記複数枚の画像をそれぞれ縮小した縮小画像の輝度成分の情報に基づき、輝度分布の有効幅が最も広い1枚の画像を、前記複数枚の中から前記基準画像として選定する
ことを特徴とする画像処理方法。 - 請求項6ないし請求項8の何れか一項に記載の画像処理方法において、
前記ゲイン算出手順は、前記複数枚の画像をそれぞれ縮小した縮小画像の輝度成分の情報に基づき、前記残りの画像について、前記基準画像を基準にした前記残りの画像との輝度比率をゲインとして算出する
ことを特徴とする画像処理方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010145052A JP5408053B2 (ja) | 2009-10-20 | 2010-06-25 | 画像処理装置、画像処理方法 |
US12/901,062 US8379102B2 (en) | 2009-10-20 | 2010-10-08 | Image processing apparatus and image processing method for generating high dynamic range images |
CN201010516385.9A CN102045506B (zh) | 2009-10-20 | 2010-10-20 | 图像处理装置及图像处理方法 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009241558 | 2009-10-20 | ||
JP2009241558 | 2009-10-20 | ||
JP2010145052A JP5408053B2 (ja) | 2009-10-20 | 2010-06-25 | 画像処理装置、画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011109638A JP2011109638A (ja) | 2011-06-02 |
JP5408053B2 true JP5408053B2 (ja) | 2014-02-05 |
Family
ID=43879011
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010145052A Active JP5408053B2 (ja) | 2009-10-20 | 2010-06-25 | 画像処理装置、画像処理方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US8379102B2 (ja) |
JP (1) | JP5408053B2 (ja) |
CN (1) | CN102045506B (ja) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI437878B (zh) * | 2007-11-20 | 2014-05-11 | Quanta Comp Inc | 用以校正影像訊號中壞點之方法及電路 |
JP5672796B2 (ja) * | 2010-01-13 | 2015-02-18 | 株式会社ニコン | 画像処理装置、画像処理方法 |
TWI444753B (zh) * | 2010-11-16 | 2014-07-11 | Altek Corp | 影像擷取裝置及其曝光時間調整方法 |
JP5762756B2 (ja) * | 2011-01-20 | 2015-08-12 | オリンパス株式会社 | 画像処理装置、画像処理方法、画像処理プログラム、および撮影装置 |
CN102843506A (zh) * | 2011-06-24 | 2012-12-26 | 瑞轩科技股份有限公司 | 摄影系统及其影像拍摄与合成方法 |
JP6082274B2 (ja) * | 2012-06-08 | 2017-02-15 | キヤノン株式会社 | 撮像装置、及びその制御方法 |
TW201439982A (zh) * | 2013-04-03 | 2014-10-16 | Ind Tech Res Inst | 全周影像感測系統與感測方法 |
JP6214206B2 (ja) * | 2013-05-13 | 2017-10-18 | キヤノン株式会社 | 撮像装置、制御方法及びプログラム |
JP6593675B2 (ja) * | 2014-02-28 | 2019-10-23 | パナソニックIpマネジメント株式会社 | 画像処理装置及び画像処理方法 |
KR102247564B1 (ko) * | 2014-11-13 | 2021-05-03 | 삼성전자 주식회사 | 화소 처리 장치, 이를 포함하는 이미지 신호 처리 장치, 및 이를 포함하는 이미지 처리 시스템 |
CN104902168B (zh) * | 2015-05-08 | 2018-04-03 | 梅瑜杰 | 一种图像合成方法、装置及拍摄设备 |
CN106339994B (zh) * | 2016-08-29 | 2019-05-21 | 合肥康胜达智能科技有限公司 | 一种图像增强方法 |
CN107241555A (zh) * | 2017-07-11 | 2017-10-10 | 深圳Tcl数字技术有限公司 | 合成图像的亮度调整方法、装置、电视及存储介质 |
CN110349163B (zh) * | 2019-07-19 | 2021-06-25 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
CN111369533B (zh) * | 2020-03-05 | 2023-06-06 | 中国铁道科学研究院集团有限公司基础设施检测研究所 | 基于偏振图像融合的钢轨廓形检测方法及装置 |
CN112243091B (zh) * | 2020-10-16 | 2022-12-16 | 上海微创医疗机器人(集团)股份有限公司 | 三维内窥镜系统、控制方法和存储介质 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
IL87306A0 (en) * | 1988-08-02 | 1989-01-31 | Technion Res & Dev Foundation | Wide dynamic range camera |
US5828793A (en) * | 1996-05-06 | 1998-10-27 | Massachusetts Institute Of Technology | Method and apparatus for producing digital images having extended dynamic ranges |
JPH11155108A (ja) * | 1997-11-21 | 1999-06-08 | Matsushita Electric Ind Co Ltd | 映像信号処理装置と処理方法、それを用いたビデオカメラ |
TW469733B (en) * | 2000-01-07 | 2001-12-21 | Dynacolor Inc | Method of dynamically modulating image brightness and image catching device using the method |
JP2002305684A (ja) | 2001-01-31 | 2002-10-18 | Olympus Optical Co Ltd | 撮像システム及びプログラム |
US7142723B2 (en) * | 2003-07-18 | 2006-11-28 | Microsoft Corporation | System and process for generating high dynamic range images from multiple exposures of a moving scene |
JP4218723B2 (ja) * | 2006-10-19 | 2009-02-04 | ソニー株式会社 | 画像処理装置、撮像装置、画像処理方法およびプログラム |
JP4127411B1 (ja) * | 2007-04-13 | 2008-07-30 | キヤノン株式会社 | 画像処理装置及び方法 |
-
2010
- 2010-06-25 JP JP2010145052A patent/JP5408053B2/ja active Active
- 2010-10-08 US US12/901,062 patent/US8379102B2/en active Active
- 2010-10-20 CN CN201010516385.9A patent/CN102045506B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN102045506A (zh) | 2011-05-04 |
US8379102B2 (en) | 2013-02-19 |
JP2011109638A (ja) | 2011-06-02 |
CN102045506B (zh) | 2014-11-26 |
US20110090372A1 (en) | 2011-04-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5408053B2 (ja) | 画像処理装置、画像処理方法 | |
JP5672796B2 (ja) | 画像処理装置、画像処理方法 | |
JP5713752B2 (ja) | 画像処理装置、及びその制御方法 | |
JP4524717B2 (ja) | 画像処理装置、撮像装置、画像処理方法及びプログラム | |
JP6720012B2 (ja) | 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム | |
JP2014143613A (ja) | 画像処理装置、方法、及びプログラム、並びに撮像装置 | |
JP2014179756A (ja) | 画像処理装置、その制御方法、および制御プログラム | |
WO2019124289A1 (ja) | 装置、制御方法および記憶媒体 | |
JP6887853B2 (ja) | 撮像装置、その制御方法、プログラム | |
JP2007329619A (ja) | 映像信号処理装置と映像信号処理方法、および映像信号処理プログラム。 | |
JP2013225724A (ja) | 撮像装置及びその制御方法、プログラム、並びに記憶媒体 | |
JP2019176305A (ja) | 撮像装置およびその制御方法、並びにプログラム | |
JP2019047336A (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
JP2008294524A (ja) | 画像処理装置および画像処理方法 | |
JP2019003443A (ja) | 画像処理装置、画像処理方法、画像処理プログラム | |
JP2007020087A (ja) | 撮像装置及び撮像方法 | |
JP5423201B2 (ja) | 画像処理装置、画像処理プログラム | |
JP7446827B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2008219230A (ja) | 撮像装置及び画像処理方法 | |
JP2007306083A (ja) | 撮像装置および信号処理装置 | |
JP2018181070A (ja) | 画像処理装置および画像処理方法 | |
JP6223173B2 (ja) | 画像処理装置、その制御方法およびプログラム | |
JP6157274B2 (ja) | 撮像装置、情報処理方法及びプログラム | |
JP2012044377A (ja) | 画像合成装置、画像合成方法、及びプログラム | |
JP6075829B2 (ja) | 撮像装置、カメラシステム、撮像装置の制御方法、プログラム、記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120525 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130611 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130709 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130909 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131008 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131021 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5408053 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |