JP3495768B2 - 画像合成装置 - Google Patents
画像合成装置Info
- Publication number
- JP3495768B2 JP3495768B2 JP27194393A JP27194393A JP3495768B2 JP 3495768 B2 JP3495768 B2 JP 3495768B2 JP 27194393 A JP27194393 A JP 27194393A JP 27194393 A JP27194393 A JP 27194393A JP 3495768 B2 JP3495768 B2 JP 3495768B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- color
- standard
- signal
- luminance signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000015572 biosynthetic process Effects 0.000 title claims description 7
- 238000003786 synthesis reaction Methods 0.000 title claims description 7
- 230000002194 synthesizing effect Effects 0.000 claims description 27
- 239000002131 composite material Substances 0.000 claims description 14
- 238000003384 imaging method Methods 0.000 claims description 2
- 238000000034 method Methods 0.000 description 18
- 230000015654 memory Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 238000001308 synthesis method Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 208000003443 Unconsciousness Diseases 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- GGCZERPQGJTIQP-UHFFFAOYSA-N sodium;9,10-dioxoanthracene-2-sulfonic acid Chemical compound [Na+].C1=CC=C2C(=O)C3=CC(S(=O)(=O)O)=CC=C3C(=O)C2=C1 GGCZERPQGJTIQP-UHFFFAOYSA-N 0.000 description 1
Landscapes
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
Description
のである。
カメラ等の画像の取り込みとしてCCD撮像素子を初め
とする固体撮像素子が多く使われている。ところが、固
体撮像素子のダイナミックレンジは銀塩等に比べて狭
く、撮影条件によっては画質が著しく劣化する。
ジ拡大の方法として、同一シーンにおける露光量の異な
る複数枚の画像を撮影し、この複数の画像データを何ら
かの演算で合成し、ダイナミックレンジの拡大された画
像を得る手法がある。
複数の画像データを合成する手段としては、特開昭60
−52171号公報等に記載されているように画像信号
の加算による方法がある。
ある。図5(a)において、横軸は被写体の照度、縦軸
は撮像素子からの出力、実線(イ)は撮像素子の露光量
を多くした場合の入出力特性、点線(ロ)は露光量を少
なくした場合の入出力特性である。ここで、それぞれの
出力値を加算すれば図5(b)のようにダイナミックレ
ンジの拡大された出力が得られるというものである。
63−306777号公報等に記載されているように、
図6に示した画像の切り出し合成による方法がある。
ンジの広い被写体を撮影するとき、適正露光で撮ると図
6(a)のように人が黒くつぶれてしまう。そこで露光
量を多くして撮影した図6(b)のなかから人の部分を
切り出し合成すればダイナミックレンジの拡大された画
像(c)が得られるという方法である。
来例においては、カラー画像データの合成に関して特に
注意して述べているものではなく、カラー画像データを
従来の加算手法もしくは切り出し合成手法で合成した場
合、例えば、適正露光で撮影した標準画像と露光を多く
して撮影した非標準画像、即ち、暗いところが黒つぶれ
した画像と明るいところが白つぶれした画像との合成に
おいて、RGB光それぞれの分光特性が異なるという理
由から上記非標準画像ではR信号がGB信号に比べて飽
和しにくく全体的にシアンがかかっているため、合成画
像も非標準画像の色信号の影響を受けてしまい、結果と
して全体的に色のバランスが崩れシアン味を帯びた画像
となってしまうという欠点があった。
ためになされたもので、色バランスを崩すことなくダイ
ナミックレンジを拡大したカラー合成画像が得られる画
像合成装置を提供することを目的とするものである。
置は、単一もしくは複数の撮像素子から得られた同一シ
ーンにおける露光量の異なる画像信号を合成してダイナ
ミックレンジを拡大する画像合成装置であって、同一シ
ーンを所定の露光とそれとは異なる露光で複数枚撮り、
撮像素子からの出力をA/D変換し、その信号から輝度
信号と色信号を作り、そのうち輝度信号を用いてダイナ
ミックレンジ拡大のための合成を行ない、合成画像の輝
度信号、および標準画像の輝度信号と色信号とから演算
によって、合成画像の色信号を作る事を特徴とする構成
によって、前記の目的を達成しようとするものである。
の非標準画像を合成したときRGB信号の分光特性が異
なるという理由で合成画像の色バランスが崩れてしまう
という欠点を防ぐことが可能となり、その結果ダイナミ
ックレンジの拡大された良好なカラー合成画像を得るこ
とができる。
より説明する。
明の第1実施例である画像合成装置の全体を示すブロッ
ク図であり、撮像ブロックと画像合成ブロックに分けら
れる。
パスフィルタ、3は撮像素子(色フィルタ付き)、4は
A/D変換器、5はデジタル画像信号から輝度信号Yと
色信号R,G,Bを作る色処理部(色分離)、6は合成
処理部、7および8はメモリ、9は輝度信号と色信号か
ら新たな画像色信号を作る色処理部(色付加)、15は
撮像素子制御部である。
学ローパスフィルタ2を通って撮像素子3に投影され
る。ここで、撮像素子制御部15は1回の撮影動作で同
一シーンにおける露光量の異なる画像信号を複数枚得る
ように構成されている。撮像素子3からの画像信号はA
/D変換器4でデジタル化され色処理部5で輝度信号Y
と色信号RGBになる。輝度信号Yは標準画像(適正露
光量で撮った画像Yn)、非標準画像(非適正露光で撮
った画像Yc)ともメモリ7に記憶され、合成処理部6
でダイナミックレンジを拡大するための合成処理が行な
われる。
算手法、切り出し合成手法、また本出願人が出願した輝
度レベルを合わせて合成する手法など、どんな手法でも
構わない。例えば、ここでは標準画像データと非標準画
像の輝度レベルを一致させた後、標準画像の黒つぶれあ
るいは白つぶれの領域に対応する非標準画像の黒つぶれ
あるいは白つぶれのない領域と置換する方法をとる。
8に記憶される。そして、色処理部9において、合成処
理部6からの合成輝度信号Ygと、メモリ7からの標準
輝度信号Ynと、メモリ8からの標準色信号Rn,G
n,Bnとから、合成色信号(Rg,Gg,Bg)を作
り出力する。
合成ブロックの処理動作を、図1に示す説明図を参照し
て説明する。
子3から得られた画像信号をA/D変換した標準画像、
17は過度露光量で得られた非標準画像を示す。
リズムを説明する。なお、各画像データは図3のA/D
変換器で8ビットデータに変換されている例であり、よ
って画素の値として0〜255の値をもっている。
像の輝度信号Ynと色信号Rn,Gn,Bnを作る。本
実施例では単板カラーなので、それに見合わせた色処理
を行なう。次に、非標準画像の輝度信号Ycを作る。こ
うして作った各信号をメモリ7および8に記憶させる。
ミックレンジ拡大のための、標準画像の輝度信号Ynと
非標準画像の輝度信号Ycとの合成である。合成方法は
どんな手法でも構わないが、ここでは、画像信号の輝度
レベルを合わせてから、標準画像の黒つぶれあるいは白
つぶれの領域を、非標準画像の黒つぶれあるいは白つぶ
れのない領域と取り替え合成を行なう方法を用いる。
理部6からの合成輝度信号Ygとメモリ7からの標準輝
度信号Ynとを比較して、メモリ8からの標準色信号R
n,Gn,Bnを用いて新たな合成色信号Rg,Gg,
Bgを作る。
す。まず式1に示す様に合成輝度信号Ygと標準輝度信
号Ynを比較して、係数Kを求める。次に式2〜4に示
す様に標準色信号Rn,Gn,Bnにそれぞれ係数Kを
乗ずる事で合成色信号Rg,Gg,Bgを求める。図2
におけるEx.は、ある画素(Rn=150,Gn=1
00,Bn=30,Yn=107,Yg=110)にお
ける計算例である。この計算を合成輝度信号の全画素で
行なう事で合成色信号R,G,Bを求める事ができる。
信号を作成した。これは標準輝度信号をダイナミックレ
ンジ拡大した結果、合成輝度信号が標準輝度信号のK倍
となっており、標準色信号をそのまま合成色信号として
用いると、色の彩度が失われ、色全体が薄くなりバラン
スが失われてしまうからである。そこで、標準色信号を
K倍し、ダイナミックレンジを広げることで、彩度を調
整する構成によって、色バランスを崩すことなくダイナ
ミックレンジを拡大したカラー合成画像を得ることがで
きた。
たが、合成する画像データの数は2枚以上なら何枚でも
差し支えない。また、本実施例ではRGB純色フィルタ
を用いたが、YMC補色フィルタを用いてもRGBに色
変換することにより、本合成手法を適用することができ
る。
施例を示すブロック図であり、撮像ブロックと画像合成
ブロックに分けられる。
は相当部分は同一符号で示してあり重複説明は省略す
る。新規部分である10はレンズからの像を複数の撮像
素子に分けるプリズム、11は第1の撮像素子(色フィ
ルタ付き)、12は第2の撮像素子、13は第3の撮像
素子、14は色処理部(色生成)である。
する。被写体像(不図示)はレンズ1、およびプリズム
10により、撮像素子、11,12,13に投影され
る。ここで、撮像素子制御部15により1回の撮影動作
で、第1の撮像素子11からは適正露光量で標準色信
号、第2の撮像素子12からは露光を多くもしくは少な
くして撮った輝度信号(非標準輝度信号)、第3の撮像
素子13からは適正露光で撮った輝度信号(標準輝度信
号)を得る。こうして得られた各画像信号はA/D変換
器4でデジタル信号に変換される。
でRGB信号(Rn,Gn,Bn)となりメモリ7に記
憶される。撮像素子13からの標準輝度信号Ynはメモ
リ8に記憶される。撮像素子12からの非標準輝度信号
Ycと撮像素子13からの標準輝度信号Ynは合成処理
回路6でダイナミックレンジを拡大するための合成処理
が行なわれる。ここで合成処理のアルゴリズムは前記第
1実施例と同じである。
と、合成処理回路6からの合成輝度信号Ygと、メモリ
7からの標準色信号Rn,Gn,Bnで、色処理部9に
おいて合成色信号Rg,Gg,Bgを作り出力する。こ
こで、色処理部9の動作は第1実施例と同じである。
1実施例のような単板式を用いるよりも簡単に異なる露
光量の画像信号を得ることが出来、色信号用の撮像素子
を別に設けているので輝度信号の解像度が第1実施例よ
りよい。
れも撮像ブロックと合成ブロックとが合体化された画像
合成装置として説明したが、両ブロックが分離されてい
ても本発明の主旨に沿うものであることは明白である。
光量の異なる複数枚の画像データを合成して1枚の画像
データを得る時に、画像データのうち輝度信号のみを用
いて合成を行ない、合成した合成画像輝度信号と標準画
像輝度信号と、標準画像色信号から、合成画像色信号を
作るので、従来の合成手法における、標準画像と非標準
画像(特に過度露光画像)を合成する時に、RGBそれ
ぞれの分光特性の違いにより過度露光画像の色バランス
が崩れ、合成画像データに悪影響を及ぼした問題を解消
することが出来る。
単な構成でダイナミックレンジの拡大された良好なカラ
ー画像を得ることが出来る。
である。
説明図である。
る。
る。
Claims (5)
- 【請求項1】 同一シーンにおいて異なる露光量で撮像
された複数枚の画像データの輝度信号を合成して1枚の
合成画像の輝度信号を生成出力する合成処理部と、該合
成処理部から出力された合成画像の輝度信号、および前
記画像データのうち所定の露光量で撮像した画像の輝度
信号と色信号とを入力演算して合成画像の色信号を出力
する色処理部とを備えたことを特徴とする画像合成装
置。 - 【請求項2】 合成処理部は、同一シーンにおける異な
る露光量の複数枚の画像データのうち所定の露光量で撮
像した標準画像データおよび前記所定の露光量とは異な
る露光量で撮像した非標準画像データの輝度レベルを一
致させ、前記標準画像の黒つぶれ或は白つぶれした領域
のデータを、該領域に対応する前記非標準画像の黒つぶ
れ或は白つぶれしていない領域のデータに置換して合成
画像の輝度信号を生成出力することを特徴とする請求項
1に記載の画像合成装置。 - 【請求項3】 撮像手段を備えて同一シーンにおける異
なる露光量の複数枚の画像データを入力し1枚の広ダイ
ナミックレンジ画像を合成出力することを特徴とする請
求項1または2に記載の画像合成装置。 - 【請求項4】 撮像手段は、複数の撮像素子と、レンズ
から入力した画像光線を前記複数の撮像素子に投影する
分光手段と、撮像素子の露光量を変化させる制御手段と
を備えたことを特徴とする請求項3に記載の画像合成装
置。 - 【請求項5】 撮像手段は、単一の撮像素子と、撮像素
子の露光量を変化させる制御手段とを備えたことを特徴
とする請求項3に記載の画像合成装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP27194393A JP3495768B2 (ja) | 1993-10-29 | 1993-10-29 | 画像合成装置 |
US08/329,538 US5801773A (en) | 1993-10-29 | 1994-10-26 | Image data processing apparatus for processing combined image signals in order to extend dynamic range |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP27194393A JP3495768B2 (ja) | 1993-10-29 | 1993-10-29 | 画像合成装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH07131796A JPH07131796A (ja) | 1995-05-19 |
JP3495768B2 true JP3495768B2 (ja) | 2004-02-09 |
Family
ID=17506998
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP27194393A Expired - Fee Related JP3495768B2 (ja) | 1993-10-29 | 1993-10-29 | 画像合成装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3495768B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9692983B2 (en) | 2014-03-19 | 2017-06-27 | Canon Kabushiki Kaisha | Apparatus, method, and medium for correcting pixel switching pattern |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6160579A (en) | 1995-08-01 | 2000-12-12 | Canon Kabushiki Kaisha | Image processing apparatus and method |
JP3134784B2 (ja) * | 1996-08-05 | 2001-02-13 | 松下電器産業株式会社 | 画像合成回路 |
JP3565723B2 (ja) * | 1998-09-30 | 2004-09-15 | 富士写真光機株式会社 | カラー画像処理装置 |
JP4490540B2 (ja) * | 2000-02-15 | 2010-06-30 | 岳 橋本 | 画像取込み装置 |
JP2003101886A (ja) * | 2001-09-25 | 2003-04-04 | Olympus Optical Co Ltd | 撮像装置 |
JP4004943B2 (ja) | 2002-12-25 | 2007-11-07 | 富士フイルム株式会社 | 画像合成方法および撮像装置 |
JP5411786B2 (ja) * | 2010-04-08 | 2014-02-12 | 日本放送協会 | 撮影装置および画像統合プログラム |
JP6311868B2 (ja) | 2013-11-07 | 2018-04-18 | 株式会社Joled | 画像処理回路、画像処理方法、及び、表示装置 |
JP2015115789A (ja) | 2013-12-12 | 2015-06-22 | ソニー株式会社 | 撮像装置、撮像信号処理回路、及び、撮像信号処理方法、並びに、表示装置、画像信号処理回路、及び、画像信号処理方法 |
-
1993
- 1993-10-29 JP JP27194393A patent/JP3495768B2/ja not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9692983B2 (en) | 2014-03-19 | 2017-06-27 | Canon Kabushiki Kaisha | Apparatus, method, and medium for correcting pixel switching pattern |
Also Published As
Publication number | Publication date |
---|---|
JPH07131796A (ja) | 1995-05-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3948229B2 (ja) | 画像撮像装置及び方法 | |
US5801773A (en) | Image data processing apparatus for processing combined image signals in order to extend dynamic range | |
US6204881B1 (en) | Image data processing apparatus which can combine a plurality of images at different exposures into an image with a wider dynamic range | |
US6240217B1 (en) | Digital image processing | |
US6995793B1 (en) | Video tap for a digital motion camera that simulates the look of post processing | |
KR100580911B1 (ko) | 화상합성방법 및 촬상장치 | |
JP3382359B2 (ja) | 撮像装置 | |
KR101352440B1 (ko) | 화상처리장치, 화상처리방법, 및 기록매체 | |
JP3495768B2 (ja) | 画像合成装置 | |
EP2214136B1 (en) | Method and program for controlling image capture apparatus | |
JP3420303B2 (ja) | 画像合成装置 | |
JPH07131718A (ja) | 画像合成装置 | |
JPH10262182A (ja) | 画像合成装置 | |
JP2003179819A (ja) | 撮像装置 | |
JP3553999B2 (ja) | 撮像装置とその画像処理方法 | |
JP4335728B2 (ja) | 画像処理装置および方法 | |
JP4530149B2 (ja) | ハイダイナミックレンジカメラシステム | |
JP3535585B2 (ja) | 画像処理方法、画像処理装置及び撮像装置 | |
JP3092577B2 (ja) | デジタルカメラの多重撮影装置 | |
JPH11155108A (ja) | 映像信号処理装置と処理方法、それを用いたビデオカメラ | |
JP4752434B2 (ja) | 色補正処理プログラムおよび電子カメラ | |
JP2000102022A (ja) | デジタルカメラ | |
JP6886026B2 (ja) | 撮像装置 | |
JP3368012B2 (ja) | 画像データ処理装置 | |
JP2005142953A (ja) | デジタル画像撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20031111 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081121 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081121 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091121 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101121 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101121 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111121 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121121 Year of fee payment: 9 |
|
LAPS | Cancellation because of no payment of annual fees |