JP3495768B2 - 画像合成装置 - Google Patents

画像合成装置

Info

Publication number
JP3495768B2
JP3495768B2 JP27194393A JP27194393A JP3495768B2 JP 3495768 B2 JP3495768 B2 JP 3495768B2 JP 27194393 A JP27194393 A JP 27194393A JP 27194393 A JP27194393 A JP 27194393A JP 3495768 B2 JP3495768 B2 JP 3495768B2
Authority
JP
Japan
Prior art keywords
image
color
standard
signal
luminance signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP27194393A
Other languages
English (en)
Other versions
JPH07131796A (ja
Inventor
栄一郎 池田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP27194393A priority Critical patent/JP3495768B2/ja
Priority to US08/329,538 priority patent/US5801773A/en
Publication of JPH07131796A publication Critical patent/JPH07131796A/ja
Application granted granted Critical
Publication of JP3495768B2 publication Critical patent/JP3495768B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は画像合成装置に関するも
のである。
【0002】
【従来の技術】近年、テレビジョンカメラ、電子スチル
カメラ等の画像の取り込みとしてCCD撮像素子を初め
とする固体撮像素子が多く使われている。ところが、固
体撮像素子のダイナミックレンジは銀塩等に比べて狭
く、撮影条件によっては画質が著しく劣化する。
【0003】そこで、固体撮像素子のダイナミックレン
ジ拡大の方法として、同一シーンにおける露光量の異な
る複数枚の画像を撮影し、この複数の画像データを何ら
かの演算で合成し、ダイナミックレンジの拡大された画
像を得る手法がある。
【0004】従来、同一シーンにおける露光量の異なる
複数の画像データを合成する手段としては、特開昭60
−52171号公報等に記載されているように画像信号
の加算による方法がある。
【0005】図5はこの加算による合成手法の概念図で
ある。図5(a)において、横軸は被写体の照度、縦軸
は撮像素子からの出力、実線(イ)は撮像素子の露光量
を多くした場合の入出力特性、点線(ロ)は露光量を少
なくした場合の入出力特性である。ここで、それぞれの
出力値を加算すれば図5(b)のようにダイナミックレ
ンジの拡大された出力が得られるというものである。
【0006】また合成のもう一つの手段として、特開昭
63−306777号公報等に記載されているように、
図6に示した画像の切り出し合成による方法がある。
【0007】例えば図6(c)のようなダイナミックレ
ンジの広い被写体を撮影するとき、適正露光で撮ると図
6(a)のように人が黒くつぶれてしまう。そこで露光
量を多くして撮影した図6(b)のなかから人の部分を
切り出し合成すればダイナミックレンジの拡大された画
像(c)が得られるという方法である。
【0008】
【発明が解決しようとする課題】しかしながら、上記従
来例においては、カラー画像データの合成に関して特に
注意して述べているものではなく、カラー画像データを
従来の加算手法もしくは切り出し合成手法で合成した場
合、例えば、適正露光で撮影した標準画像と露光を多く
して撮影した非標準画像、即ち、暗いところが黒つぶれ
した画像と明るいところが白つぶれした画像との合成に
おいて、RGB光それぞれの分光特性が異なるという理
由から上記非標準画像ではR信号がGB信号に比べて飽
和しにくく全体的にシアンがかかっているため、合成画
像も非標準画像の色信号の影響を受けてしまい、結果と
して全体的に色のバランスが崩れシアン味を帯びた画像
となってしまうという欠点があった。
【0009】本発明は上記従来技術の問題点を解消する
ためになされたもので、色バランスを崩すことなくダイ
ナミックレンジを拡大したカラー合成画像が得られる画
像合成装置を提供することを目的とするものである。
【0010】
【課題を解決するための手段】本発明に係る画像合成装
置は、単一もしくは複数の撮像素子から得られた同一シ
ーンにおける露光量の異なる画像信号を合成してダイナ
ミックレンジを拡大する画像合成装置であって、同一シ
ーンを所定の露光とそれとは異なる露光で複数枚撮り、
撮像素子からの出力をA/D変換し、その信号から輝度
信号と色信号を作り、そのうち輝度信号を用いてダイナ
ミックレンジ拡大のための合成を行ない、合成画像の輝
度信号、および標準画像の輝度信号と色信号とから演算
によって、合成画像の色信号を作る事を特徴とする構成
によって、前記の目的を達成しようとするものである。
【0011】
【作用】上記の構成により、従来の標準画像と過度露光
の非標準画像を合成したときRGB信号の分光特性が異
なるという理由で合成画像の色バランスが崩れてしまう
という欠点を防ぐことが可能となり、その結果ダイナミ
ックレンジの拡大された良好なカラー合成画像を得るこ
とができる。
【0012】
【実施例】以下、本発明に係る画像合成装置を実施例に
より説明する。
【0013】(第1実施例)図3は撮像部を含んだ本発
明の第1実施例である画像合成装置の全体を示すブロッ
ク図であり、撮像ブロックと画像合成ブロックに分けら
れる。
【0014】図3において、1はレンズ、2は光学ロー
パスフィルタ、3は撮像素子(色フィルタ付き)、4は
A/D変換器、5はデジタル画像信号から輝度信号Yと
色信号R,G,Bを作る色処理部(色分離)、6は合成
処理部、7および8はメモリ、9は輝度信号と色信号か
ら新たな画像色信号を作る色処理部(色付加)、15は
撮像素子制御部である。
【0015】図3を参照して動作を説明する。
【0016】被写体像(不図示)はレンズ1により、光
学ローパスフィルタ2を通って撮像素子3に投影され
る。ここで、撮像素子制御部15は1回の撮影動作で同
一シーンにおける露光量の異なる画像信号を複数枚得る
ように構成されている。撮像素子3からの画像信号はA
/D変換器4でデジタル化され色処理部5で輝度信号Y
と色信号RGBになる。輝度信号Yは標準画像(適正露
光量で撮った画像Yn)、非標準画像(非適正露光で撮
った画像Yc)ともメモリ7に記憶され、合成処理部6
でダイナミックレンジを拡大するための合成処理が行な
われる。
【0017】合成処理部6での合成処理法は、既知の加
算手法、切り出し合成手法、また本出願人が出願した輝
度レベルを合わせて合成する手法など、どんな手法でも
構わない。例えば、ここでは標準画像データと非標準画
像の輝度レベルを一致させた後、標準画像の黒つぶれあ
るいは白つぶれの領域に対応する非標準画像の黒つぶれ
あるいは白つぶれのない領域と置換する方法をとる。
【0018】一方、色信号RGBは標準画像のみメモリ
8に記憶される。そして、色処理部9において、合成処
理部6からの合成輝度信号Ygと、メモリ7からの標準
輝度信号Ynと、メモリ8からの標準色信号Rn,G
n,Bnとから、合成色信号(Rg,Gg,Bg)を作
り出力する。
【0019】次に図3に示す本実施例の特徴である画像
合成ブロックの処理動作を、図1に示す説明図を参照し
て説明する。
【0020】図1において、16は適正露光量で撮像素
子3から得られた画像信号をA/D変換した標準画像、
17は過度露光量で得られた非標準画像を示す。
【0021】以下図1および図3を参照して合成アルゴ
リズムを説明する。なお、各画像データは図3のA/D
変換器で8ビットデータに変換されている例であり、よ
って画素の値として0〜255の値をもっている。
【0022】まず第1段階として、色処理部5で標準画
像の輝度信号Ynと色信号Rn,Gn,Bnを作る。本
実施例では単板カラーなので、それに見合わせた色処理
を行なう。次に、非標準画像の輝度信号Ycを作る。こ
うして作った各信号をメモリ7および8に記憶させる。
【0023】第2段階は、合成処理部6におけるダイナ
ミックレンジ拡大のための、標準画像の輝度信号Ynと
非標準画像の輝度信号Ycとの合成である。合成方法は
どんな手法でも構わないが、ここでは、画像信号の輝度
レベルを合わせてから、標準画像の黒つぶれあるいは白
つぶれの領域を、非標準画像の黒つぶれあるいは白つぶ
れのない領域と取り替え合成を行なう方法を用いる。
【0024】第3段階は、色処理部9において、合成処
理部6からの合成輝度信号Ygとメモリ7からの標準輝
度信号Ynとを比較して、メモリ8からの標準色信号R
n,Gn,Bnを用いて新たな合成色信号Rg,Gg,
Bgを作る。
【0025】この合成色信号を作る計算方法を図2に示
す。まず式1に示す様に合成輝度信号Ygと標準輝度信
号Ynを比較して、係数Kを求める。次に式2〜4に示
す様に標準色信号Rn,Gn,Bnにそれぞれ係数Kを
乗ずる事で合成色信号Rg,Gg,Bgを求める。図2
におけるEx.は、ある画素(Rn=150,Gn=1
00,Bn=30,Yn=107,Yg=110)にお
ける計算例である。この計算を合成輝度信号の全画素で
行なう事で合成色信号R,G,Bを求める事ができる。
【0026】以上、標準色信号をK倍することで合成色
信号を作成した。これは標準輝度信号をダイナミックレ
ンジ拡大した結果、合成輝度信号が標準輝度信号のK倍
となっており、標準色信号をそのまま合成色信号として
用いると、色の彩度が失われ、色全体が薄くなりバラン
スが失われてしまうからである。そこで、標準色信号を
K倍し、ダイナミックレンジを広げることで、彩度を調
整する構成によって、色バランスを崩すことなくダイナ
ミックレンジを拡大したカラー合成画像を得ることがで
きた。
【0027】以上、本発明の第1実施例について説明し
たが、合成する画像データの数は2枚以上なら何枚でも
差し支えない。また、本実施例ではRGB純色フィルタ
を用いたが、YMC補色フィルタを用いてもRGBに色
変換することにより、本合成手法を適用することができ
る。
【0028】(第2実施例)図4は本発明に係る第2実
施例を示すブロック図であり、撮像ブロックと画像合成
ブロックに分けられる。
【0029】図4において、第1実施例図3と同一また
は相当部分は同一符号で示してあり重複説明は省略す
る。新規部分である10はレンズからの像を複数の撮像
素子に分けるプリズム、11は第1の撮像素子(色フィ
ルタ付き)、12は第2の撮像素子、13は第3の撮像
素子、14は色処理部(色生成)である。
【0030】図4を参照して、第2実施例の動作を説明
する。被写体像(不図示)はレンズ1、およびプリズム
10により、撮像素子、11,12,13に投影され
る。ここで、撮像素子制御部15により1回の撮影動作
で、第1の撮像素子11からは適正露光量で標準色信
号、第2の撮像素子12からは露光を多くもしくは少な
くして撮った輝度信号(非標準輝度信号)、第3の撮像
素子13からは適正露光で撮った輝度信号(標準輝度信
号)を得る。こうして得られた各画像信号はA/D変換
器4でデジタル信号に変換される。
【0031】撮像素子11からの信号は、色処理部14
でRGB信号(Rn,Gn,Bn)となりメモリ7に記
憶される。撮像素子13からの標準輝度信号Ynはメモ
リ8に記憶される。撮像素子12からの非標準輝度信号
Ycと撮像素子13からの標準輝度信号Ynは合成処理
回路6でダイナミックレンジを拡大するための合成処理
が行なわれる。ここで合成処理のアルゴリズムは前記第
1実施例と同じである。
【0032】そして、メモリ8からの標準輝度信号Yn
と、合成処理回路6からの合成輝度信号Ygと、メモリ
7からの標準色信号Rn,Gn,Bnで、色処理部9に
おいて合成色信号Rg,Gg,Bgを作り出力する。こ
こで、色処理部9の動作は第1実施例と同じである。
【0033】上記の構成により画像データを撮れば、第
1実施例のような単板式を用いるよりも簡単に異なる露
光量の画像信号を得ることが出来、色信号用の撮像素子
を別に設けているので輝度信号の解像度が第1実施例よ
りよい。
【0034】本第2実施例および前記第1実施例はいず
れも撮像ブロックと合成ブロックとが合体化された画像
合成装置として説明したが、両ブロックが分離されてい
ても本発明の主旨に沿うものであることは明白である。
【0035】
【発明の効果】以上説明したように本発明によれば、露
光量の異なる複数枚の画像データを合成して1枚の画像
データを得る時に、画像データのうち輝度信号のみを用
いて合成を行ない、合成した合成画像輝度信号と標準画
像輝度信号と、標準画像色信号から、合成画像色信号を
作るので、従来の合成手法における、標準画像と非標準
画像(特に過度露光画像)を合成する時に、RGBそれ
ぞれの分光特性の違いにより過度露光画像の色バランス
が崩れ、合成画像データに悪影響を及ぼした問題を解消
することが出来る。
【0036】また、複雑な計算を必要としないため、簡
単な構成でダイナミックレンジの拡大された良好なカラ
ー画像を得ることが出来る。
【図面の簡単な説明】
【図1】 実施例の画像合成ブロックの処理動作説明図
である。
【図2】 実施例の色処理部での計算方法の一例を示す
説明図である。
【図3】 第1実施例の画像合成装置ブロック図であ
る。
【図4】 第2実施例の画像合成装置ブロック図であ
る。
【図5】 加算によるレンジ拡大手法の説明図である。
【図6】 画像の切り出し合成手法の説明図である。
【符号の説明】
1 レンズ 2 光学ローパスフィルタ 3,11,12,13 撮像素子 4 A/D変換器 5 色処理部 6 合成処理部 7,8 メモリ 9 色処理部 10 プリズム 15 撮像素子制御部

Claims (5)

    (57)【特許請求の範囲】
  1. 【請求項1】 同一シーンにおいて異なる露光量で撮像
    された複数枚の画像データの輝度信号を合成して1枚の
    合成画像の輝度信号を生成出力する合成処理部と、該合
    成処理部から出力された合成画像の輝度信号、および前
    記画像データのうち所定の露光量で撮した画像の輝度
    信号と色信号とを入力演算して合成画像の色信号を出力
    する色処理部とを備えたことを特徴とする画像合成装
    置。
  2. 【請求項2】 合成処理部は、同一シーンにおける異な
    る露光量の複数枚の画像データのうち所定の露光量で撮
    した標準画像データおよび前記所定の露光量とは異な
    露光量で撮した非標準画像データの輝度レベルを一
    致させ、前記標準画像の黒つぶれ或は白つぶれした領域
    データを、該領域に対応する前記非標準画像の黒つぶ
    れ或は白つぶれしていない領域データに置換して合成
    画像の輝度信号を生成出力することを特徴とする請求項
    1に記載の画像合成装置。
  3. 【請求項3】 撮像手段を備えて同一シーンにおける異
    なる露光量の複数枚の画像データを入力し1枚の広ダイ
    ナミックレンジ画像を合成出力することを特徴とする請
    求項1または2に記載の画像合成装置。
  4. 【請求項4】 撮像手段は、複数の撮像素子と、レンズ
    から入力した画像光線を前記複数の撮像素子に投影する
    分光手段と、撮像素子の露光量を変化させる制御手段と
    を備えたことを特徴とする請求項3に記載の画像合成装
    置。
  5. 【請求項5】 撮像手段は、単一の撮像素子と、撮像素
    子の露光量を変化させる制御手段とを備えたことを特徴
    とする請求項3に記載の画像合成装置。
JP27194393A 1993-10-29 1993-10-29 画像合成装置 Expired - Fee Related JP3495768B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP27194393A JP3495768B2 (ja) 1993-10-29 1993-10-29 画像合成装置
US08/329,538 US5801773A (en) 1993-10-29 1994-10-26 Image data processing apparatus for processing combined image signals in order to extend dynamic range

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP27194393A JP3495768B2 (ja) 1993-10-29 1993-10-29 画像合成装置

Publications (2)

Publication Number Publication Date
JPH07131796A JPH07131796A (ja) 1995-05-19
JP3495768B2 true JP3495768B2 (ja) 2004-02-09

Family

ID=17506998

Family Applications (1)

Application Number Title Priority Date Filing Date
JP27194393A Expired - Fee Related JP3495768B2 (ja) 1993-10-29 1993-10-29 画像合成装置

Country Status (1)

Country Link
JP (1) JP3495768B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9692983B2 (en) 2014-03-19 2017-06-27 Canon Kabushiki Kaisha Apparatus, method, and medium for correcting pixel switching pattern

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6160579A (en) 1995-08-01 2000-12-12 Canon Kabushiki Kaisha Image processing apparatus and method
JP3134784B2 (ja) * 1996-08-05 2001-02-13 松下電器産業株式会社 画像合成回路
JP3565723B2 (ja) * 1998-09-30 2004-09-15 富士写真光機株式会社 カラー画像処理装置
JP4490540B2 (ja) * 2000-02-15 2010-06-30 岳 橋本 画像取込み装置
JP2003101886A (ja) * 2001-09-25 2003-04-04 Olympus Optical Co Ltd 撮像装置
JP4004943B2 (ja) 2002-12-25 2007-11-07 富士フイルム株式会社 画像合成方法および撮像装置
JP5411786B2 (ja) * 2010-04-08 2014-02-12 日本放送協会 撮影装置および画像統合プログラム
JP6311868B2 (ja) 2013-11-07 2018-04-18 株式会社Joled 画像処理回路、画像処理方法、及び、表示装置
JP2015115789A (ja) 2013-12-12 2015-06-22 ソニー株式会社 撮像装置、撮像信号処理回路、及び、撮像信号処理方法、並びに、表示装置、画像信号処理回路、及び、画像信号処理方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9692983B2 (en) 2014-03-19 2017-06-27 Canon Kabushiki Kaisha Apparatus, method, and medium for correcting pixel switching pattern

Also Published As

Publication number Publication date
JPH07131796A (ja) 1995-05-19

Similar Documents

Publication Publication Date Title
JP3948229B2 (ja) 画像撮像装置及び方法
US5801773A (en) Image data processing apparatus for processing combined image signals in order to extend dynamic range
US6204881B1 (en) Image data processing apparatus which can combine a plurality of images at different exposures into an image with a wider dynamic range
US6240217B1 (en) Digital image processing
US6995793B1 (en) Video tap for a digital motion camera that simulates the look of post processing
KR100580911B1 (ko) 화상합성방법 및 촬상장치
JP3382359B2 (ja) 撮像装置
KR101352440B1 (ko) 화상처리장치, 화상처리방법, 및 기록매체
JP3495768B2 (ja) 画像合成装置
EP2214136B1 (en) Method and program for controlling image capture apparatus
JP3420303B2 (ja) 画像合成装置
JPH07131718A (ja) 画像合成装置
JPH10262182A (ja) 画像合成装置
JP2003179819A (ja) 撮像装置
JP3553999B2 (ja) 撮像装置とその画像処理方法
JP4335728B2 (ja) 画像処理装置および方法
JP4530149B2 (ja) ハイダイナミックレンジカメラシステム
JP3535585B2 (ja) 画像処理方法、画像処理装置及び撮像装置
JP3092577B2 (ja) デジタルカメラの多重撮影装置
JPH11155108A (ja) 映像信号処理装置と処理方法、それを用いたビデオカメラ
JP4752434B2 (ja) 色補正処理プログラムおよび電子カメラ
JP2000102022A (ja) デジタルカメラ
JP6886026B2 (ja) 撮像装置
JP3368012B2 (ja) 画像データ処理装置
JP2005142953A (ja) デジタル画像撮像装置

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20031111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081121

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081121

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091121

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101121

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101121

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111121

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121121

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees