JPH07131708A

JPH07131708A - 画像合成装置

Info

Publication number: JPH07131708A
Application number: JP5272117A
Authority: JP
Inventors: Eiichiro Ikeda; 栄一郎池田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1993-10-29
Filing date: 1993-10-29
Publication date: 1995-05-19
Anticipated expiration: 2018-06-23
Also published as: JP3420303B2

Abstract

(57)【要約】【目的】撮像素子のダイナミックレンジを拡大する為
に複数画像の合成を行なうと共に、その際に生じる擬似
輪郭を減少させる。【構成】撮像素子から得られた露光量の異なる複数の
画像信号を合成する際に複数の画像信号から演算によっ
て求めた少なくとも１つ以上のしきい値において前記複
数の画像信号の切換えを行なう。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像合成装置に関す
る。

【０００２】

【従来の技術】近年、テレビジョンカメラ、ビデオカメ
ラ、電子カメラなどの画像取込素子として、ＣＣＤ撮像
素子をはじめとする固体撮像素子が多く使われている。
ところが、固体撮像素子のダイナミックレンジは銀塩な
どに比べ著しく狭く、撮像条件によっては画質が著しく
劣化する。

【０００３】そこで、固体撮像素子のダイナミックレン
ジ拡大の方法として、同一シーンにおける露光量の異な
る複数枚の画像を撮影し、この複数枚の画像データを何
らかの演算で合成し、ダイナミックレンジの拡大された
画像を得る手法がある。

【０００４】図９、図１０に代表的な例をあげる。図９
は適正露光で撮影した標準画像と過度露光で撮影した
非標準画像の合成を示したものである。図９(a)は、
同一シーンの被写体を露光を変えて撮影した２枚の画像
データをグラフに示してもので、ｘ軸は被写体の照度、
ｙ軸は撮像素子の出力を意味する。合成の概念を述べる
と、被写体照度軸上”ｘ１”の位置を見ると、適正露光
（画像信号）では撮像素子の出力がノイズレベルにあ
るが、露光を多くした場合（画像信号）では適正値が
出てくる。ここで標準画像の０からノイズレベルまで
の信号値を非標準画像の値で置き換えればダイナミッ
クレンジの拡大された画像信号が得られる。そこで、図
のように、合成のために、標準画像の傾きを輝度レベ
ル調整値Ｋをかけることのよって非標準画像信号の傾
きに合わせ（以下、輝度レベル調整と呼ぶ）標準画像
’とし（このとき標準画像’におけるノイズレベル
はｎ×Ｋとなる）、ノイズレベルｎ×Ｋ値より上に、適
当なしきい値Ｔをとり、図９(ｂ)のように、そのしきい
値Ｔより下のデータを非標準画像信号と置換する。こ
うすることによって、標準画像’において、（ｎ’−
ｎ）区間のノイズがなくなるわけである。このように作
られた合成画像の傾きは、標準画像をＫ倍したので図
９(ｃ)のように合成画像の傾きを１／Ｋ倍することでも
とに戻して輝度レベルを標準画像に合わせる。以上の
ような処理を行なえば、ダイナミックレンジの拡大され
たノイズレベルの小さい合成画像データが得られる。

【０００５】図１０は、適正露光で撮影した標準画像
と露光を少なくして撮影した非標準画像の合成を示し
たものである。図９と同様に、図１０(a)において被写
体照度軸上”ｘ２”では、標準画像では白つぶれに、
非標準画像では適正値が存在する。よって図のように
非標準画像の傾きを輝度レベル調整値Ｋをかけ、標準
画像の輝度レベルに合わせ、非標準画像’とする。
そして、図１０(ｂ)のように、適当なしきい値Ｔを設
け、標準画像のＴより上の領域を非標準画像’で置
換する。こうすることによって合成画像が作られたが、
このデータは、図１０(a)の標準画像と比較すると、
輝度レベル（傾き）の面では同じであるが、１０ビット
以上の値を持っている。よって、図９(ｃ)のように傾き
を変えて１０ビット幅にすることは出来ないので、図１
０(ｃ)のように適当なニーポイントを設け、標準画像
との傾きを同じにしたまま、明るい領域を圧縮する。以
上のような処理を行なうことで、明るい部分の白とびが
無い、ダイナミックレンジの拡大された画像データを合
成できる。

【０００６】

【発明が解決しようとする課題】しかしながら上記従来
例においては、標準画像と非標準画像の輝度レベル合わ
せの方法において、例えば、標準画像信号と非標準画像
信号の露光量の差が２段であったら、どちらかの信号を
２の２乗、つまり４倍もしくは１／４倍するというよう
に、あらかじめ設定した値を用いて演算を行いレベルを
合わせるものであった。図１１に、このような従来の方
法において、合成後の画像に擬似輪郭が発生する原因を
示した。図１１(a)において、標準画像に輝度レベル
調整値Ｋをかけて非標準露光の傾きに合わせるわけだ
が、理論上ではＫ＝４をかければ非標準画像の傾きと
同じになるはずであるが、実際には、撮像素子個々にお
ける被写体の光量対撮像素子の出力特性は個々に異な
り、また被写体の明るさによっても出力特性に微妙に影
響があるという理由から、Ｋ＝４では傾きは同じになら
ない。当然傾きが微妙に異なるものをあるしきい値を用
いて合成すると、図１１(b)のようにしきい値Ｔの位置
で擬似輪郭が生じてしまう。

【０００７】また、上記従来例においては、標準画像の
暗い領域もしくは明るい領域を、あらかじめ設定したし
きい値を用いて分割しており、上記輝度レベル合わせ同
様、撮像素子の特性や、被写体によっては合成後の画像
に擬似輪郭が生じる。

【０００８】

【課題を解決するための手段及び作用】本発明による画
像合成装置は、同一シーンにおける異なる露光量の複数
枚の画像データから１枚の広ダイナミックレンジ画像を
合成する画像合成装置において、撮像素子から得られた
露光量の異なる複数枚の画像信号を、新たな画像データ
を合成するたびに輝度レベル調整のための演算を行い、
その後、標準画像の暗い領域あるいは明るい領域を、輝
度レベル調整値と同様に画像を合成するたびに、前記複
数の画像信号から演算によって求めた少なくとも１つ以
上のしきい値によって分割し、それに対応する非標準画
像の領域と置換する事を特徴としている。

【０００９】以上のような構成により、合成を行なう
際、撮像素子の特性の違いや照度による出力のばらつき
などで、輝度レベルを完全に合わせることが出来ないた
めに生じる合成画像の擬似輪郭を大幅に減らすことが出
来る。

【００１０】また、標準画像の暗い領域、あるいは明る
い領域を、それぞれ露光を多くして撮影した画像デー
タ、あるいは露光を少なくして撮影した画像データと置
換するわけだが、前記領域を標準画像から分割するとき
に用いるしきい値を、前記標準画像信号及び非標準画像
信号を用い、合成する画像毎に演算を行って求め、か
つ、少なくとも１つ以上のしきい値を算出し領域を分割
しているため、被写体の種類や照度を問わず良好な合成
画像が得られる。

【００１１】

【実施例】［実施例１］図５は撮像部を含んだ本発明の
第１の実施例を表す画像合成装置の全体図であり、撮像
部と合成処理部に分けられる。図５において、８はレン
ズ、９は光学ローパスフィルタ、１０は固体撮像素子、
１１はＡ／Ｄ変換器、１２は撮像素子制御部、１３は合
成プレ処理部、１４はメモリ、１５は信号処理部、１６
は合成処理部、１７は圧縮部、１８は切替部、１９は本
合成装置の処理を制御するコンピュータである。

【００１２】図５に従って動作を説明すると、被写体像
（不図示）レンズ８により、光学ローパスフィルタ９を
通って撮像素子１０に投影される。ここで、撮像素子制
御部１２はダイナミックレンジ拡大モード時に、１回の
撮像動作で、同一シーンにおける露光量の異なる画像信
号を複数枚撮るように構成されている。図６に撮像素子
１０の動作例を示す。図のように１回のシャッター動作
で絞りを固定し４フィールド間で２枚の画像信号を撮
る。２枚の画像信号というのは、以後の説明を簡単にす
るためで、適正露光で撮影された標準画像信号と、過
度露光で撮影された非標準画像信号の２枚の画像信号
を撮る。また、ここで絞りを固定させ、電子シャッター
で露光を変えるわけだが、もし絞りで露光を変化させる
と、撮影した結果として、標準画像と非標準画像で深度
の違いによるずれが生じてしまい、合成が困難になって
しまう。また、電子シャッターを制御するのに比べ、絞
りを制御するほうが複雑である。よって本実施例では、
電子シャッターで露光を変化させている。

【００１３】図５にもどると、撮像素子１０から得られ
た画像信号及びはそれぞれＡ／Ｄ変換器１１でデジ
タル信号に変換されメモリ１４に記憶される。ここで、
もし合成処理を行わない場合、コンピュータ１９が切り
替えＳＷ１８を切り替え、メモリからの画像信号は信号
処理部１５で輝度信号ＹあるいはＲＧＢ信号に信号処理
され、圧縮部１７で出力装置のビット幅に合わせて圧縮
され出力される。また、ダイナミックレンジ拡大モード
時には、まず、合成プレ処理部１３で、メモリ１４に記
憶されている画像信号、を参照しながら、輝度レベ
ル調整値Ｋおよびしきい値Ｔが算出される。次に、これ
らの値を用い、画像信号及びは合成部１６で合成さ
れ、信号処理部１５で輝度信号ＹあるいはＲＧＢ信号に
なり、圧縮部１７で圧縮され出力される。ここで、図中
合成処理部は、電気回路で構成しても、ソフトウェアで
コンピュータ上で処理を行っても良い。

【００１４】次に、図５の中で、本発明の主眼とする部
分である「合成処理部」における、合成法ならびに合成
プレ処理部１３の輝度レベル調整値およびしきい値算出
法を、図１から４を用いて説明する。

【００１５】図１は、図５における画像合成ブロックの
処理の概要を示した図である。以下図に従って、合成処
理の手順を説明する。説明を簡単にするため、２枚の画
像合成の場合について説明する。本例では、標準画像
（適正露光）と非標準画像（過度露光）の合成を考え、
標準画像では被写体の暗い領域が、黒つぶれあるいはＳ
／Ｎ比が悪くなっており（ノイズレベルｎ）、この領域
を黒つぶれのない、Ｓ／Ｎ比の良い非標準画像で置換す
る事を考える。図１(a)において、は標準画像信号、
は非標準画像信号であり、まず合成をするにあたっ
て、画像信号と画像信号の被写体の照度に対する撮
像素子の出力レベル（輝度レベル）を合わせる必要があ
る。ここでは、標準画像信号を輝度レベル調整値Ｋを用
いてＫ倍して、非標準画像の輝度レベルに合わせて、標
準画像信号としている。この値Ｋは、後に述べる演算
方法によって求めたものであり、必ず、新たな画像を合
成するたびに画像信号とからの演算によって求め
る。

【００１６】次に、標準画像信号のうち、しきい値Ｔ
で分けられる暗い領域を、非標準画像信号と置換す
る。ここで、しきい値Ｔは、前記輝度レベル調整値Ｋと
同じく、必ず、画像合成毎に画像信号と、もしくは
画像信号とからの演算によって求める。

【００１７】図１(b)は、(a)の合成概念図の流れを簡単
に示したものである。撮像素子の出力をＡ／Ｄ変換した
後、メモリに記憶された標準画像信号と非標準画像信号
を用いて、輝度レベル調整値、しきい値を算出し、それ
を用いて合成する。合成方法は、輝度信号のみを用いて
合成、その後色を付加しても良いし、色信号(RGB,YMGC)
を用いて合成しても良い。

【００１８】次に、図２及び図３を用いて、前記輝度レ
ベル調整値Ｋ及びしきい値を求める方法を例をあげて説
明する。ここでは、標準画像信号（適正露光）に対し
て非標準画像信号（過度露光）は、２段露光を多くし
て撮影したデータであるとする。

【００１９】まず、合成する画像信号のすべての画素値
について、非標準画像信号が標準画像信号の何倍に
なっているかの統計をとる。この値が輝度レベル調整値
Ｋである。図２は、画像信号の各画素値を横軸（ｘ
軸）にとり、画像信号が画像信号の何倍になってい
るかを調べ、その平均値を縦軸（ｙ軸）にとったもので
ある。画像信号は画像信号に対して露光量を２段多
くして撮影したものであるから、理論的には、画像信号
に比べて４倍の値を持っている（Ｋ＝４）はずである
が、実際には撮像素子の特性の違いや、またＡ／Ｄ変換
器の特性、被写体の照度の違いなどで、Ｋは４ではな
い。グラフを解析すると、図中区間ａは、画像信号に
は値が存在するが、画像信号の値が図１(a)における
ノイズレベルの領域に位置する。よってこの区間のｙ軸
値は、理論上の値であるＫ＝４にはならない。区間ｃ
は、画像信号が飽和して白つぶれとなっているところ
であり、ここもＫ＝４ではない。区間ｂが両画像信号と
も、ノイズレベルや白とび領域でない理論上ではＫ＝４
となる区間である。しかし、実際の撮像素子では、先に
述べたような理由でＫ＝４とはならない。そこでこの区
間ｂのｙ軸値の平均値をもとめ、この値を輝度レベル調
整値Ｋとすれば、実際の撮像素子に適した値が求まる。
本実施例においては、この値が「Ｋ＝３．８５」であっ
たとする。

【００２０】また、本合成においては、画像信号の区
間ａを画像信号のそれと置換するわけであるから、そ
の境界値となるしきい値は図中区間ｂの「しきい値設定
範囲」が適当である。この区間からしきい値を決めれ
ば、合成による擬似輪郭の少ない画像信号が得られる。

【００２１】次に、図２における「しきい値設定範囲」
において、しきい値を設定する例を図３を用いて説明す
る。図３は、図２における「しきい値設定範囲」の拡大
図である。しきい値の決めかたであるが、例えば、しき
い値ＴＡは、しきい値設定範囲区間のｘ軸のｍｉｎ、ｍ
ａｘ値の５０％のところに位置する値、しきい値ＴＢは
２５％、しきい値ＴＣは７５％とする。本実施例では、
「ＴＡ＝２２０、ＴＢ＝１９５、ＴＣ＝２４５」であ
る。合成時に、これらのしきい値を１つ用いてもよい
し、しきい値Ｂからしきい値Ｃまでの範囲の値を場合場
合に使い分けて使う、変動しきい値をつかって合成領域
を分割してもよい。

【００２２】次に図４を用いて図２、３で求めた輝度レ
ベル調整値Ｋ、およびしきい値Ｔを用いて、画像信号
とを合成する流れを述べる。標準画像信号、非標準
画像信号とも値として０−１０２３、つまり１０ビッ
トデータであるとする。

【００２３】まず画像信号に図２で求めた、輝度レベ
ル調整値Ｋ(=3.85)をかけ、輝度レベルを画像信号に
合わせ画像信号とする。このときノイズレベルｎもＫ
倍される。次に、画像信号のうち、図３で求めたしき
い値ＴＡ＝２２０×３．８５＝８４７（画像信号に輝
度レベル調整値Ｋをかけたので、しきい値Ｔにもかけ
る）より暗い部分、つまり０よりの領域を、画像信号
と置換し合成画像信号とする。また、しきい値とし
て、ＴＢ＝１９５×３．８５＝７５１、ＴＣ＝２４５×
３．８５＝９４３の２つのしきい値を用いたり、ＴＡ、
ＴＢ間の値を場合場合に使い分けて領域をわけてもよ
い。こうすることによって、画像信号のノイズレベル
の一部分（n×K-n）が画像信号で置換されるので、ダ
イナミックレンジが広がる。最後に、画像信号を出力
幅（ここでは１０bits幅）に圧縮して出力する（画像信
号）。ここで、本合成では、画像信号のうちセンサー
からのダイレクト信号を用いて輝度レベル調整値Ｋある
いは、しきい値Ｔを求め、合成を行ってきたが、信号処
理を行った後の輝度信号あるいは色信号を用いて同様の
処理を行っても差し支えない。

【００２４】以上、撮像素子から得られた露光量の異な
る複数枚の画像信号を、画像合成毎にレベル調整のため
の輝度レベル調整値を前記複数枚の画像信号から求め、
また、画像合成毎に合成のためのしきい値を演算によっ
て求め、これらの値を用いて合成を行う手法を説明し
た。このように、扱う画像毎に輝度レベル調整値、しき
い値を演算によって求めると、擬似輪郭の極めて少な
い、良好な合成画像が得られる。また、本実施例では、
標準画像信号に適正露光、非標準画像信号に過度露光で
撮影した画像データを用いた訳だが、標準画像信号に適
正露光、非標準画像信号に露光不足のデータを用いて合
成を行っても、また２枚の合成と限らず、２枚以上の合
成を行ってもいっこうに差し支えない。

【００２５】[実施例２]図７（ａ）は本発明の第２の実
施例を表す図であり、図５における合成処理部に対応す
る範囲を説明する。図７（ａ）において、２０は合成輝
度信号と標準色信号から新たに合成色信号を作る色付加
部である。

【００２６】本実施例も、実施例１と同じく説明を簡単
にするため、標準画像として適正露光、非標準画像とし
て過度露光で撮られた２枚の画像信号を合成する場合に
ついて述べる。図に従って動作を説明すると、Ａ／Ｄ変
換器１１でデジタル化された画像信号は、信号処理部１
５で標準輝度信号Ｙｎ、標準色信号Ｒｎ、Ｇｎ、Ｂｎ、
それに加えて非標準輝度信号Ｙｃ、非標準色信号Ｒｃ、
Ｇｃ、Ｂｃが作られ、順次メモリ１４に記憶される。こ
こで、合成しない場合はただちに圧縮部１７で出力装置
の特性に合わせて圧縮され出力される。また、ダイナミ
ックレンジ拡大モード時には、まず、合成プレ処理部１
３が、メモリ１４に記録されている輝度信号ＹｎとＹｃ
を参照しながら第１実施例のように輝度レベル調整値
Ｋ、しきい値Ｔを算出する。そして、これらの値を用い
て、合成部１６において、輝度信号ＹｎとＹｃが合成さ
れ輝度信号Ｙｇとなり、このＹｇとメモリからの色信号
Ｒｎ、Ｇｎ、ＢｎとＲｃ、Ｇｃ、Ｂｃを用いて、色処理
部２０において、合成色信号Ｒｇ、Ｇｇ、Ｂｇを作り、
圧縮部１７で出力装置の特性に合わせて圧縮し出力す
る。

【００２７】この色付加部２０においては、合成処理部
１６からの合成輝度信号Ｙｇとメモリ１４からの標準輝
度信号Ｙｎとを比較すると共に、メモリ１４からの標準
色信号Ｒｎ，Ｇｎ，Ｂｎを用いて新たな合成色信号Ｒ
ｇ，Ｇｇ，Ｂｇを作る。

【００２８】この合成色信号を作る計算方法を図７
（ｂ）に示す。まず式１に示す様に合成輝度信号Ｙｇと
標準輝度信号Ｙｎを比較して、係数Ｋを求める。次に式
２〜４に示す様に標準色信号Ｒｎ，Ｇｎ，Ｂｎにそれぞ
れ係数Ｋを生ずる事で合成色信号Ｒｇ，Ｇｇ，Ｂｇを求
める。図７（ｂ）におけるＥｘ．は、ある画素（Ｒｎ＝
１５０，Ｇｎ＝１００，Ｂｎ＝３０，Ｙｎ＝１０７，Ｙ
ｇ＝１１０）における計算例である。この計算を合成輝
度信号の全画素で行なう事で合成色信号Ｒ，Ｇ，Ｂを求
める事ができる。

【００２９】以上、標準色信号をＫ倍することで合成色
信号を作成した。これは標準輝度信号をダイナミックレ
ンジ拡大した結果、合成輝度信号が標準輝度信号のＫ倍
となっており、標準色信号をそのまま合成色信号として
用いると、色の彩度が失われ、色全体が薄くなりバラン
スが失われてしまうからである。そこで、標準色信号を
Ｋ倍し、ダイナミックレンジを広げることで、彩度を調
整する構成によって、色バランスを崩すことなくダイナ
ミックレンジを拡大したカラー合成画像を得ることがで
きた。

【００３０】以上のような構成で画像合成を行えば、色
のバランスの取れた、擬似輪郭の極めて少ないダイナミ
ックレンジの拡大された画像信号を得ることができる。

【００３１】[実施例３]図８は本発明の第３の実施例を
表す図であり、図５における合成処理部に対応する範囲
を説明する。

【００３２】本実施例も、実施例１と同じく説明を簡単
にするため、標準画像として適正露光、非標準画像とし
て過度露光で撮られた２枚の画像信号を合成する場合に
ついて述べる。図に従って動作を説明すると、Ａ／Ｄ変
換器１１でデジタル化された画像信号は、信号処理部１
５で、標準色信号Ｒｎ、Ｇｎ、Ｂｎ、及び、非標準色信
号Ｒｃ、Ｇｃ、Ｂｃが作られ、これら色信号は順次メモ
リ１４に記憶される。合成を行わない場合はこれらの信
号は直ちに圧縮部１７において出力装置に合わせて圧縮
され出力される。ダイナミックレンジ拡大モード時は、
合成プレ処理部１３において、各色ごと輝度レベル調整
値Ｋ、しきい値Ｔが求められ、合成処理部１６にて各色
ごと合成される。その後、圧縮部１７で出力装置に合わ
せて圧縮され出力される。

【００３３】以上のような構成で画像合成を行えば、色
のダイナミックレンジが拡大された、擬似輪郭の極めて
少ない画像信号を得ることができる。以上説明してきた
実施例では、標準画像信号として適正露光、非標準画像
信号として過度露光で撮られた画像信号の合成を述べて
きたが、非標準画像信号として露光不足の画像や、ま
た、２枚の合成と限らず２枚以上の画像の合成なら何枚
でもよい。また、カラー信号としてＲＧＢ３原色を用い
たが、ＹＭＣ等の補色を用いて合成を行っても良い。

【００３４】

【発明の効果】以上述べたように本発明によれば、同一
シーンにおける異なる露光量の複数枚の画像データを合
成して１枚の広ダイナミックレンジ画像を得るものにお
いて、合成時には複数の画像データの輝度レベルを合わ
せて合成し、そのときに用いる輝度レベル調整値を、画
像を合成するたびに、前記複数の画像信号を用いて算出
し、また、標準画像の暗い領域あるいは明るい領域を画
像を合成するたびに算出した複数のしきい値を用いて分
割し、非標準画像のそれに対応する領域と置換するた
め、従来の合成手法における、あらかじめ設定した輝度
レベル調整値もしくはしきい値を用いて合成することに
よって生じた擬似輪郭を、大幅に減少することが出来
る。

【図面の簡単な説明】

【図１】本発明に係る画像合成ブロックの処理を簡単に
示した概要図

【図２】標準輝度信号に対する非標準輝度信号の割合を
表すグラフ

【図３】図２におけるしきい値設定範囲の拡大図

【図４】図２、３で設定した輝度レベル調整値、しきい
値を用いて合成を行なう例を示した図

【図５】本発明に係る実施例１の画像データ処理装置の
ブロック図

【図６】撮像素子の動作の例を表す図

【図７】（ａ）は本発明に係る実施例２の画像データ処
理装置のブロック図、（ｂ）はその要部の動作説明図

【図８】本発明に係る実施例３の画像データ処理装置の
ブロック図

【図９】従来の画像合成の例を示した図

【図１０】従来の画像合成の例を示した図

【図１１】従来の合成手法によって擬似輪郭が生じるこ
とを説明した図

【符号の説明】

１、３適正露光で撮影された標準画像信号２非適正露光で撮影された非標準画像信号４輝度レベル調整値５しきい値６、７合成画像信号８レンズ９光学ローパスフィルタ１０撮像素子１１Ａ／Ｄ変換器１２撮像素子制御部１３プレ処理部１４メモリ１５信号処理部１６合成処理部１７圧縮部１８切替器１９コンピュータ２０色付加部

Claims

【特許請求の範囲】

【請求項１】同一シーンにおける異なる露光量の複数
枚の画像データから１枚の広ダイナミックレンジ画像を
合成するものにおいて、適正露光で撮影した標準画像の
暗い領域を、露光量を多くして撮影した非標準画像デー
タのそれに対応する領域と置換することによって、ま
た、適正露光で撮影した標準画像の明るい領域を、露光
量を少なくして撮影した非標準画像データのそれに対応
する領域と置換することによって、１枚の広ダイナミッ
クレンジ画像を合成する合成手段、前記標準画像の輝度レベルと、非標準画像信号の輝度レ
ベルを合わせる輝度レベル調整手段を備えていることを
特徴とする画像合成装置。
【請求項２】前記第（１）項において前記輝度レベル
調整手段は、新たな画像データを合成するたびに、その
シーンの標準画像信号と非標準画像信号の両画像信号と
も黒つぶれあるいは白つぶれのない領域を用いて輝度レ
ベル調整値の演算を行うことで、標準画像と非標準画像
の輝度レベルを調整する事を特徴とする画像合成装置。
【請求項３】前記第（１）項において、標準画像の暗
い領域あるいは明るい領域を分ける領域分割手段を備え
ていることを特徴とする画像合成装置。
【請求項４】前記第（３）項において前記領域分割手
段は、新たな画像データを合成するたびに、標準画像輝
度信号と非標準画像輝度信号の両画像信号とも黒つぶれ
あるいは白つぶれの無い領域を用いてしきい値を算出
し、そのしきい値で領域を分割するしきい値算出手段を
有することを特徴とする画像合成装置。
【請求項５】前記第（４）項において、前記しきい値
算出手段は、少なくとも１つ以上のしきい値を設定する
ことを特徴とする画像合成装置。
【請求項６】前記第（１）項において、前記画像合成
装置は、前記各画像信号を得るための撮像手段を有する
画像合成装置。
【請求項７】前記第（６）項において、前記撮像手段
は、１つの撮像素子と、前記撮像素子の露光量を変化さ
せる露光制御手段とを備えていることを特徴とする画像
合成装置。