JP5085243B2 - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
JP5085243B2
JP5085243B2 JP2007235209A JP2007235209A JP5085243B2 JP 5085243 B2 JP5085243 B2 JP 5085243B2 JP 2007235209 A JP2007235209 A JP 2007235209A JP 2007235209 A JP2007235209 A JP 2007235209A JP 5085243 B2 JP5085243 B2 JP 5085243B2
Authority
JP
Japan
Prior art keywords
image
exposure
luminance
exposure value
component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007235209A
Other languages
English (en)
Other versions
JP2009071408A (ja
Inventor
青木　　透
成浩 的場
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2007235209A priority Critical patent/JP5085243B2/ja
Publication of JP2009071408A publication Critical patent/JP2009071408A/ja
Application granted granted Critical
Publication of JP5085243B2 publication Critical patent/JP5085243B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)

Description

本発明は、ダイナミックレンジの広い被写体を白飛びや黒つぶれなく撮像するための、デジタル画像のダイナミックレンジを広げる画像処理方法および画像処理装置に関する。
デジタル画像のダイナミックレンジを広げる手法の一つに、露光時間が異なる２枚の画像を合成する手法がある。図３は例えば特許第３０７４９６７号公報に記載されている従来の画像処理装置の構成図である。図３中のＣＣＤ(Charge Coupled Devices)１０１は撮像素子であり露光時間を切り替えて露光時間が長い低露出値画像と露光時間が短い高露出値画像の２枚の画像を時分割で取得することができる。メモリ１０２は高露出値画像を格納するためのバッファメモリであり、時分割に取得した２枚の画像を合成する際のタイミング調整のために使用する。
高露出値画像は乗算器１０３で定数倍された後にレベル重みＨ乗算器１０５にて階調に応じた重み係数が乗算される。また、低露出値画像はレベル重みＬ乗算器１０６にて階調に応じた重み係数が乗算される。重み係数が乗算された２枚の画像は加算器１０７で加算される。加算後は速度変換手段１０８で出力タイミングを調整した後に、レベル圧縮手段１０９にて出力階調内にレベルを圧縮し、その圧縮した画像データが出力される。
なお、タイミング制御手段１０４は、ＣＣＤ１０１、乗算器１０３、速度変換手段１０８の処理タイミングを制御する。
特許第３０７４９６７号公報
以上のように構成された従来の画像処理装置では、レベル重みを高露出値画像と低露出値画像のそれぞれに対して独立に算出しているため、高露出値画像中で黒つぶれしている箇所に対応する低露出値画像のレベル重みＬを直接指定できないという問題点があった。また、同様に低露出値画像で白飛びしている箇所に対応する高露出値画像のレベル重みＨも直接指定できないという問題点もあった。
本発明は上記従来の問題点を解決するもので、高露出値画像及び低露出値画像の２枚の画像を合成する際の合成比率を２枚の画像に連動させて算出することで、黒つぶれ箇所及び白飛び箇所に適切な合成比率を適用することを目的とする。
本発明に係る画像処理装置は、
被写体が同一で露出条件が異なる高露出値画像と低露出値画像との２種類のデジタル画像を合成する画像処理装置において、
前記２画像のそれぞれに対して輝度を算出する手段と、
前記２画像の露出値の比率に応じて前記高露出値画像の輝度及び画素データの要素となる色成分毎の画素値を前記低露出値画像と階調レベル合わせするための補正をルックアップテーブルを用いて行う手段と、
前記低露出値画像の輝度と前記補正後の高露出値画像の輝度とを単純に加算して第１の加算結果を生成する第１の加算する手段と、
前記第１の加算結果から前記２画像のそれぞれに対する合成比率を算出する手段と、
前記２画像のそれぞれの前記合成比率を前記低露出値画像の画素データの要素となる色成分毎の画素値、及び前記補正後の高露出値画像の画素データの要素となる色成分毎の画素値に乗算する手段と、
それぞれの前記合成比率を乗算した後の画素データの要素となる色成分毎の画素値を加算して第２の加算結果を生成する第２の加算する手段と、
前記第２の加算する手段により加算された後の画素データの要素となる色成分毎の画素値に対して階調変換する手段とを備える。
本発明の画像処理装置によれば、高露出値画像と低露出値画像の露出値比率に応じて高露出値画像の輝度及び画素データを変換する手段により、低露出値画像との階調のレベル合わせを行う変換処理をした後、変換処理した高露出値画像の輝度と低露出値画像の輝度とを加算した結果から高露出値画像と低露出値画像の夫々に対する合成比率を算出しているので、高露出値画像及び低露出値画像の両方を同時に参照して合成比率を算出することができるため、黒つぶれ箇所及び白飛び箇所に適切な合成比率を適用することができる。
実施の形態１．
図１に本実施の形態の画像処理装置の構成を示す。本実施の形態による画像処理装置は高露出値画像及び低露出値画像の画素データを１画素ずつ処理して処理画像の画素データを出力する構成としている。高露出値画像と低露出値画像及び処理画像の画像形式としてはイメージセンサから出力されるＲＡＷデータを想定しているが、ＲＡＷデータ以外のＲＧＢ４：４：４形式、ＹＣｂＣｒ４：４：４形式、ＹＣｂＣｒ４：２：２形式等でもかまわない。
本実施の形態の画像処理装置が従来の画像処理装置と異なる点は、高露出値画像と低露出値画像の輝度成分を加算し、輝度の加算結果から合成比率を算出する部分を備えたことである。
図１中の輝度算出手段１１では高露出値画像の輝度を算出する。同様に輝度算出手段１２では低露出値画像の輝度を算出する。高露出値画像及び低露出値画像がＹＣｂＣｒ４：４：４等のあらかじめ輝度データが算出されているデータ形式である場合には、輝度算出手段１１及び輝度算出手段１２は不要である。
高露出値画像に対して露出値比率変換手段１３を適用して低露出値画像との階調のレベル合わせを行う。露出値比率変換手段１３は入力された画素データに対して変換後の出力データを出力するルックアップテーブル（ＬＵＴ）形式で変換を行う。高露出値画像中で階調特性が非線形となる部分を補正するためにＬＵＴ形式としている。露出値比率変換手段１３は輝度及び輝度成分を含む画像データのそれぞれに対して独立に適用する。例えばＲＡＷデータの場合には、輝度に対するＬＵＴ、Ｒ成分に対するＬＵＴ、Ｇｒ成分に対するＬＵＴ、Ｇｂ成分に対するＬＵＴ、Ｂ成分に対するＬＵＴの５種類のＬＵＴを露出値比率変換手段１３に備える。またＹＣｂＣｒ形式のＣｂ成分及びＣｒ成分のように輝度成分を含まない画像データに対しては露出値比率変換手段１３を適用しない。
加算手段１５では、露出値比率変換手段１３による露出値比率変換後の高露出値画像の輝度と、輝度算出手段１２で算出された低露出値画像の輝度を加算する。その後、合成比率係数算出手段１６では加算手段１５による輝度加算結果から合成比率係数を算出する。合成比率係数算出手段１６は輝度加算結果を入力とし、合成比率係数を出力とするＬＵＴで構成する。合成比率係数は高露出値画像用合成比率係数と低露出値画像用合成比率係数の２種類があり、それぞれ０．００〜１．００の範囲のいずれかの値である。両方の合成比率係数の和は１．００とする。
算出した合成比率係数を、合成比率乗算手段１７にて露出値比率変換後の高露出値画像画素データに乗算する。同様に合成比率乗算手段１８では低露出値画像画素データに合成比率係数を乗算する。２種類の乗算結果を加算手段１９で加算して画像の合成を行う。
高露出値画像に対して露出値比率変換手段１３で露出値比率を変換し階調を広げているため元の階調に収めるために階調変換処理が必要である。合成後階調変換処理手段２０では階調を圧縮することで、広がった階調を所定の階調内に圧縮する。合成後階調変換処理手段２０は加算手段１９から出力される合成後画像の画素データを入力とし、階調圧縮後の処理画像画素データを出力とするＬＵＴで構成する。
画像処理装置をこのように構成することで、高露出値画像及び低露出値画像の両方を同時に参照して合成比率を算出することができるため、黒つぶれ箇所及び白飛び箇所に適切な合成比率を適用することができる。
なお本実施の形態の説明では高露出値画像と低露出値画像に対する手法として説明しているが、露出を調整する方法には露光時間及びイメージセンサのアナログゲイン等の方法があり、いずれの方法で露出を調整しても本実施の形態を適用することが可能である。
実施の形態２．
図２に本実施の形態の画像処理装置の構成を示す。本実施の形態の画像処理装置が実施の形態１の画像処理装置と異なる点は、低露出値画像に対する露出値比率変換手段１４を備えた点である。
高露出値画像と同様に低露出値画像に対しても露出値比率変換手段１４を適用して高露出値画像との階調のレベル合わせを行う。露出値比率変換手段１４は入力された画素データに対して変換後の出力データを出力するルックアップテーブル（ＬＵＴ）形式で変換を行う。低露出値画像中で階調特性が非線形となる部分を補正するためにＬＵＴ形式としている。露出値比率変換手段１４も輝度及び輝度成分を含む画像データのそれぞれに対して独立に適用する。また輝度成分を含まない画像データに対しては露出値比率変換手段１４を適用しない。
画像処理装置をこのように構成することで、低露出値画像に対しても階調特性が非線形となる部分を補正することができるため、非線形な特性がない状態で合成を行うことが可能になる。
この発明の画像処理技術は、例えば、デジタルスチルカメラ用信号処理ＤＳＰ(Digital Signal Processor)等に利用可能である。
本発明の実施の形態１による画像処理装置のブロック構成図である。 本発明の実施の形態２による画像処理装置のブロック構成図である。 従来の画像処理装置のブロック構成図である。
符号の説明
１１；輝度算出手段、１２；輝度算出手段、１３；露出値比率変換手段、１４；露出値比率変換手段、１５；加算手段、１６；合成比率係数算出手段、１７；合成比率係数乗算手段、１８；合成比率係数乗算手段、１９；加算手段、２０；合成後階調変換処理手段、１０１；ＣＣＤ、１０２；メモリ、１０３；乗算器、１０４；タイミング制御手段、１０５；レベル重みＨ乗算器、１０６；レベル重みＬ乗算器、１０７；加算器、１０８；速度変換手段、１０９；レベル圧縮手段。

Claims (4)

  1. 被写体が同一で露出条件が異なる高露出値画像と低露出値画像との２種類のデジタル画像を合成する画像処理装置において、
    前記２画像のそれぞれに対して輝度を算出する手段と、
    前記２画像の露出値の比率に応じて前記高露出値画像の輝度及び画素データの要素となる色成分毎の画素値を前記低露出値画像と階調レベル合わせするための補正をルックアップテーブルを用いて行う手段と、
    前記低露出値画像の輝度と前記補正後の高露出値画像の輝度とを単純に加算して第１の加算結果を生成する第１の加算する手段と、
    前記第１の加算結果から前記２画像のそれぞれに対する合成比率を算出する手段と、
    前記２画像のそれぞれの前記合成比率を前記低露出値画像の画素データの要素となる色成分毎の画素値、及び前記補正後の高露出値画像の画素データの要素となる色成分毎の画素値に乗算する手段と、
    それぞれの前記合成比率を乗算した後の画素データの要素となる色成分毎の画素値を加算して第２の加算結果を生成する第２の加算する手段と、
    前記第２の加算する手段により加算された後の画素データの要素となる色成分毎の画素値に対して階調変換する手段と
    を備えたことを特徴とする画像処理装置。
  2. 前記２画像の露出値の比率に応じて補正された高露出値画像の輝度と加算する低露出値画像の輝度及び前記合成比率が乗算される低露出値画像の画素データの要素となる色成分毎の画素値を、低露出値画像中で階調特性が非線形となる部分を補正するためにルックアップテーブルを用いて行う手段をさらに備えたことを特徴とする請求項１に記載の画像処理装置。
  3. 被写体が同一で露出条件が異なる高露出値画像と低露出値画像との２種類のデジタル画像を合成する画像処理方法において、
    前記２画像のそれぞれに対して輝度を算出するステップと、
    前記２画像の露出値の比率に応じて前記高露出値画像の輝度及び画素データの要素となる色成分毎の画素値を前記低露出値画像と階調レベル合わせするための補正をルックアップテーブルを用いて行うステップと、
    前記低露出値画像の輝度と前記補正後の高露出値画像の輝度とを単純に加算して第１の加算結果を生成する第１の加算ステップと、
    前記第１の加算結果から前記２画像のそれぞれに対する合成比率を算出するステップと、
    前記２画像のそれぞれの前記合成比率を前記低露出値画像の画素データの要素となる色成分毎の画素値、及び前記補正後の高露出値画像の画素データの要素となる色成分毎の画素値に乗算するステップと、
    それぞれの前記合成比率を乗算した後の画素データの要素となる色成分毎の画素値を加算して第２の加算結果を生成する第２の加算ステップと、
    前記第２の加算ステップにより加算された後の画素データの要素となる色成分毎の画素値に対して階調変換するステップと
    を備えたことを特徴とする画像処理方法。
  4. 前記２画像の露出値の比率に応じて補正された高露出値画像の輝度と加算される低露出値画像の輝度及び前記合成比率が乗算される低露出値画像の画素データの要素となる色成分毎の画素値を、低露出値画像中で階調特性が非線形となる部分を補正するためにルックアップテーブルを用いて行うステップをさらに備えたことを特徴とする請求項３に記載の画像処理方法。
JP2007235209A 2007-09-11 2007-09-11 画像処理装置及び画像処理方法 Active JP5085243B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007235209A JP5085243B2 (ja) 2007-09-11 2007-09-11 画像処理装置及び画像処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007235209A JP5085243B2 (ja) 2007-09-11 2007-09-11 画像処理装置及び画像処理方法

Publications (2)

Publication Number Publication Date
JP2009071408A JP2009071408A (ja) 2009-04-02
JP5085243B2 true JP5085243B2 (ja) 2012-11-28

Family

ID=40607247

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007235209A Active JP5085243B2 (ja) 2007-09-11 2007-09-11 画像処理装置及び画像処理方法

Country Status (1)

Country Link
JP (1) JP5085243B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101068886B1 (ko) 2009-10-06 2011-09-29 클레어픽셀 주식회사 영상신호 처리장치 및 영상신호 합성 방법
JP2018201158A (ja) * 2017-05-29 2018-12-20 ソニーセミコンダクタソリューションズ株式会社 信号処理装置、信号処理方法及びコンピュータプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3511073B2 (ja) * 1997-04-18 2004-03-29 松下電器産業株式会社 固体撮像装置
JPH11146266A (ja) * 1997-11-11 1999-05-28 Olympus Optical Co Ltd 内視鏡撮像装置
JP3967510B2 (ja) * 1999-12-28 2007-08-29 富士フイルム株式会社 ディジタルカメラ
JP4742453B2 (ja) * 2001-06-20 2011-08-10 ソニー株式会社 撮像方法および装置
JP2006014117A (ja) * 2004-06-29 2006-01-12 Sony Corp 物理情報取得方法および物理情報取得装置並びに物理量分布検知の半導体装置
JP4812282B2 (ja) * 2004-11-05 2011-11-09 富士フイルム株式会社 画像処理方法及び装置並びに撮像装置
JP4736792B2 (ja) * 2004-12-27 2011-07-27 コニカミノルタホールディングス株式会社 撮像装置及びそれに用いる画像処理方法
JP2007060492A (ja) * 2005-08-26 2007-03-08 Konica Minolta Holdings Inc 撮像装置

Also Published As

Publication number Publication date
JP2009071408A (ja) 2009-04-02

Similar Documents

Publication Publication Date Title
JP3948229B2 (ja) 画像撮像装置及び方法
KR101099401B1 (ko) 화상 처리 장치 및 컴퓨터가 판독 가능한 기록 매체
JP2008205691A5 (ja)
KR20050090060A (ko) 화상 처리 장치 및 방법
JP2001054013A (ja) 撮像信号処理装置およびその処理方法
JP4479527B2 (ja) 画像処理方法、画像処理装置、画像処理プログラム、および電子カメラ
JP3134784B2 (ja) 画像合成回路
JP4217041B2 (ja) フィルタ処理
JP2007266955A (ja) 撮像装置、映像信号処理回路、映像信号処理方法、並びにコンピュータプログラム
JP2008103979A (ja) 画像処理装置および画像処理方法、並びにカメラシステム
WO2015190320A1 (ja) 撮像装置、及び、撮像方法
JP2008172610A (ja) 撮像装置、撮像処理方法、及びコンピュータプログラム
JP5085243B2 (ja) 画像処理装置及び画像処理方法
JP2002288650A (ja) 画像処理装置及びデジタルカメラ、画像処理方法、記録媒体
JP2008131529A (ja) 撮像装置、画像処理装置、方法およびプログラム
JP2006333113A (ja) 撮像装置
JP5365881B2 (ja) 画像処理装置、画像処理方法
JP5282306B2 (ja) 画像処理装置、画像処理方法、及び撮像装置
JP2009081526A (ja) 撮像装置
JP2003333422A (ja) シェーディング補正方法およびディジタルカメラ
US20100238300A1 (en) Color control apparatus, method for creating color control system, and method for creating color reproduction apparatus
JP3992403B2 (ja) 画像信号処理装置および画像信号処理方法
JP2004222160A (ja) デジタルカメラ
JP5582966B2 (ja) 画像処理装置、画像処理方法及び撮像装置
JP5360490B2 (ja) 信号処理装置及び信号処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100618

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111007

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111228

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120327

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120621

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20120629

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120904

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120905

R150 Certificate of patent or registration of utility model

Ref document number: 5085243

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150914

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250