JP4284570B2

JP4284570B2 - 撮像装置及びその方法

Info

Publication number: JP4284570B2
Application number: JP15280899A
Authority: JP
Inventors: 昌美緒形; 隆史土屋; 和彦上田
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1999-05-31
Filing date: 1999-05-31
Publication date: 2009-06-24
Anticipated expiration: 2019-05-31
Also published as: JP2000341582A; US7092019B1

Description

【０００１】
【発明の属する技術分野】
本発明は撮像装置及びその方法に関し、例えばビデオカメラに適用して好適なものである。
【０００２】
【従来の技術】
従来、異なる露光量で撮像された複数の画像を合成してダイナミックレンジの広い画像（明るい領域から暗い領域まで表現された画像）を生成するビデオカメラがある。
【０００３】
このような露光量の異なる複数の画像を撮像する方法としては、例えば撮像素子として固体撮像素子（ＣＣＤ：Charge Coupled Device ）を用い、当該ＣＣＤが有する機能である電子シャッタによって露光時間を変化させることにより、時分割的に複数の画像を撮像する方法がある。この方法では、任意の１フィールド期間において、通常の撮像と同様に電荷の蓄積及び読み出しを行った後、垂直ブランキング期間を利用して再度電荷の蓄積及び読み出しを行うことにより、１フィールド期間内に露光時間の異なる２枚の画像を得るようになされている。
【０００４】
また図２８に示すように、撮像素子１上の各画素の上に透過率の異なるＮＤ（Neutral Density ）フィルタ３を配置し、空間分割的に露光量の異なる画像を撮像する方法もある。さらに図２９に示すように、例えば撮像素子５Ａ及び５Ｂのうち撮像素子５Ｂの前面にＮＤフィルタ７を配置するように、複数の撮像素子を用意して当該各撮像素子の前面に透過率の異なるＮＤフィルタを配置することにより、空間解像度を落とすことなく複数の画像を撮像する方法もある。
【０００５】
【発明が解決しようとする課題】
ところで時分割的に露光量の異なる複数の画像を撮像する方法は、空間分割的に露光量の異なる複数の画像を撮像する方法に比して高解像度の画像を生成することかが可能であると共に、複数の撮像素子を用いて露光量の異なる複数の画像を撮像する方法に比して構成が簡易でかつ低コストで済むことから、これら２つの方法に比べて優れた撮像方法であると言える。
【０００６】
しかしながら時分割的に露光量の異なる複数の画像を撮像する方法では、露光量の異なる各画像の撮像時刻に差があるため、手ぶれなどによって各画像間に位置ずれが生じた場合には、当該撮像された露光量の異なる各画像を合成する際、その合成画像上に位置ずれによる画質の劣化が生じてしまう問題があった。
【０００７】
このような各画像間の位置ずれが合成画像の画質を劣化させる様子について図３０を用いて説明する。図３０（Ａ）は長時間露光によって撮像した画像を１次元的に示すと共に、図３０（Ｂ）は短時間露光によって撮像した画像を１次元的に示しており、これら２つの画像間には長さＤだけの位置ずれが発生している。これら２つの画像を合成すると、図３０（Ｃ）に示す合成画像のように、エッジ付近において画像の乱れが生じてしまうことになる。
【０００８】
本発明は以上の点を考慮してなされたもので、撮像対象に対応する自然な合成画像を生成し得る撮像装置及びその方法を提案しようとするものである。
【０００９】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、露光量の異なる複数の画像を撮像して合成する撮像装置において、複数の画像のうちのいずれかを基準画像とし、基準画像及び基準画像以外の各画像から特徴点をそれぞれ抽出する特徴点抽出手段と、基準画像の特徴点及び基準画像以外の各画像の特徴点の位置関係に基づいて、予め用意されている複数の位置ずれ量候補それぞれにおける信頼度を基準画像以外の各画像に対して算出する信頼度算出手段と、各位置ずれ量候補のうち信頼度が最大となる位置ずれ量候補を基準画像以外の各画像における位置ずれ量として検出する最大値検出手段と、位置ずれ量に基づいて基準画像以外の各画像の基準画像に対する位置ずれをそれぞれ補正する位置ずれ補正手段と、基準画像と位置ずれが補正された基準画像以外の各画像とを全て合成する画像合成手段とを具え、信頼度算出手段は、位置ずれ量候補を用いて基準画像の特徴点と基準画像以外の画像の特徴点との間の位置ずれを補正し、互いに対応する特徴点の位置が一致する数をカウントして信頼度を算出することにより、複数の位置ずれ量候補それぞれにおける信頼度を算出するようにした。
また本発明においては、露光量の異なる複数の画像を撮像して合成する撮像方法において、複数の画像のうちのいずれかを基準画像とし、基準画像及び基準画像以外の各画像から特徴点をそれぞれ抽出する特徴点抽出ステップと、基準画像の特徴点及び基準画像以外の各画像の特徴点の位置関係に基づいて、予め用意されている複数の位置ずれ量候補それぞれにおける信頼度を基準画像以外の各画像に対して算出する信頼度算出ステップと、各位置ずれ量候補のうち信頼度が最大となる位置ずれ量候補を基準画像以外の各画像における位置ずれ量として検出する最大値検出ステップと、位置ずれ量に基づいて基準画像以外の各画像の基準画像に対する位置ずれをそれぞれ補正する位置ずれ補正ステップと、基準画像と位置ずれが補正された基準画像以外の各画像とを全て合成する画像合成ステップとを具え、信頼度算出ステップは、位置ずれ量候補を用いて基準画像の特徴点と基準画像以外の画像の特徴点との間の位置ずれを補正し、互いに対応する特徴点の位置が一致する数をカウントして信頼度を算出することにより、複数の位置ずれ量候補それぞれにおける信頼度を算出するようにした。
【００１０】
これにより、複数の位置ずれ量候補を用いて基準画像の特徴点と当該基準画像以外の画像の特徴点との間の位置ずれを補正して、互いに対応する特徴点の位置が一致する数をカウントして得られる信頼度が最大となる位置ずれ量候補を位置ずれ量として検出し、当該位置ずれ量に基づいて基準画像以外の各画像の基準画像に対する位置ずれをそれぞれ補正した後、基準画像と位置ずれが補正された基準画像以外の各画像とを全て合成することにより、位置ずれ検出にかかる演算量や演算時間を減少することができると共に、複数の画像を合成する際に生じる画質の劣化を回避することができる。
【００１１】
【発明の実施の形態】
以下図面について、本発明の一実施の形態を詳述する。
【００１２】
（１）第１の実施の形態
図１において、１０は全体としてビデオカメラの構成を示し、固体撮像素子（ＣＣＤ：Charge Coupled Device ）１２によって時分割的に露光量の異なる２枚の画像を撮像するようになされている。図２に示すように、ＣＣＤ１２は、任意の１フィールド期間において、通常の撮像と同様に電荷の蓄積及び読み出しを行った後、垂直ブランキング期間を利用して再度電荷の蓄積及び読み出しを行うことにより、１フィールド期間内に露光時間の異なる２枚の画像を生成するようになされている。このようにＣＣＤ１２は、露光時間の異なる２枚の画像すなわち長時間露光画像ｘＬ１及び短時間露光画像ｘＳ１を生成し、長時間露光画像ｘＬ１をメモリ１４に送出すると共に短時間露光画像ｘＳ１をメモリ１６に送出する。
【００１３】
メモリ１４は、長時間露光画像ｘＬ１を一時的に蓄積し、所定のタイミングで長時間露光画像ｘＬ１を読み出してリミッタ１８及び画像合成器２０にそれぞれ送出する。メモリ１６は、短時間露光画像ｘＳ１を一時的に蓄積し、所定のタイミングで短時間露光画像ｘＳ１を読み出してゲイン補正器２１及び位置ずれ補正器２３にそれぞれ送出する。
【００１４】
ゲイン補正器２１は、短時間露光画像ｘＳ１に対して、撮像時における長時間露光画像ｘＬ１との露光量の違いを次式
【００１５】
【数１】

【００１６】
によって補正し、その結果得られる短時間露光画像ｘＳ２をリミッタ２５に送出するようになされている。ここで、ｇは長時間露光画像ｘＬ１と短時間露光画像ｘＳ１を撮像するときの露光時間比であり、次式
【００１７】
【数２】

【００１８】
によって与えられる。ここでＴ_longは長時間露光の露光時間であり、Ｔ_shortは短時間露光の露光時間である。因みに、ｘＳ１（ｉ、ｊ）は短時間露光画像ｘＳ１上の位置（ｉ、ｊ）における画素値を表している。
【００１９】
リミッタ２５は、ゲイン補正が施された短時間露光画像ｘＳ２の各画素値の上限を制限するためのものであり、次式
【００２０】
【数３】

【００２１】
に示すように、短時間露光画像ｘＳ２を形成する各画素のうち、画素値が所定のしきい値以下の場合にはその画素値をそのまま出力し、画素値が所定のしきい値を超える場合にはその画素値をしきい値Ｔ_UPに置き換えて出力することにより、短時間露光画像ｘＳ３を得、これを位置ずれ量検出器２７に送出する。
【００２２】
一方リミッタ１８は、長時間露光画像ｘＬ１の各画素値の上限を制限するためのものであり、リミッタ２５の場合と同様に、長時間露光画像ｘＬ１を形成する各画素のうち、画素値が所定のしきい値以下の場合にはその画素値をそのまま出力し、画素値が所定のしきい値を超える場合にはその画素値をしきい値Ｔ_UPに置き換えて出力することにより、長時間露光画像ｘＬ２を得、これを位置ずれ量検出器２７に送出する。
【００２３】
図３に示すように、位置ずれ量検出器２７は、長時間露光画像ｘＬ２と短時間露光画像ｘＳ３の間の位置ずれ量を２次元ベクトルｄ＝（ｄｘ、ｄｙ）として検出し、これを位置ずれ補正器２３に送出する。ここでｄｘは位置ずれ量の水平成分を示し、ｄｙは垂直成分を示す。
【００２４】
図４に示すように、位置ずれ量検出器２７は、リミッタ１８から供給される長時間露光画像ｘＬ２を特徴点抽出器３０Ａに入力すると共に、リミッタ２５から供給される短時間露光画像ｘＳ３を特徴点抽出器３０Ｂに入力する。特徴点抽出器３０Ａは、長時間露光画像ｘＬ２から特徴点を抽出することにより特徴点画像ｐＬ１を生成し、これをメモリ３２Ａに送出する。特徴点画像ｐＬ１は、各画素値が０又は１でなる２値画像であり、画素値が１の場合には長時間露光画像ｘＬ２上の対応する画素が特徴点であることを示し、画素値が０である場合には対応する画素が特徴点でないことを示す。ここで特徴点としては、例えば長時間露光画像ｘＬ２のうち空間的に急激に変化するエッジ点が用いられている。
【００２５】
同様に特徴点抽出器３０Ｂは、短時間露光画像ｘＳ３から特徴点を抽出することにより特徴点画像ｐＳ１を生成し、これをメモリ３２Ｂに送出する。特徴点画像ｐＳ１は、特徴点画像ｐＬ１の場合と同様に、各画素値が０又は１でなる２値画像であり、画素値が１の場合には短時間露光画像ｘＳ３上の対応する画素が特徴点であることを示し、画素値が０である場合には対応する画素が特徴点でないことを示す。
【００２６】
特徴点抽出器３０Ａ及び３０Ｂは、それぞれ同様の構成でなり、ここでは特徴点抽出器３０Ａの回路構成についてのみ図５を用いて説明する。特徴点抽出器３０Ａは、リミッタ１８（図１）から供給される長時間露光画像ｘＬ２を２次微分型フィルタ３５に入力する。２次微分型フィルタ３５は、例えばラプラシアンＧと呼ばれる次式
【００２７】
【数４】

【００２８】
に示すような関数を用いて、次式
【００２９】
【数５】

【００３０】
によって畳込演算を行うことにより２次微分画像ｘＬ３を得、これを２値化器３７に送出する。ここでσは予め設定された定数であり、当該σが大きいほど低周波成分のエッジを検出し得る。またｈ_min、ｈ_max、ｋ_min、ｋ_maxはラプラシアンＧのフィルタの範囲を定義する定数である。
【００３１】
２値化器３７は、２次微分画像ｘＬ３の各画素において、画素値が０以上である場合には値１を出力し、画素値が０未満である場合には値０を出力することにより２値画像ｘＬ４を生成し、これを境界点検出器３９に送出する。境界点抽出器３９は、２値画像ｘＬ４に対して次式
【００３２】
【数６】

【００３３】
に示すような近傍処理を行って２値パターンの境界点を抽出することにより特徴点画像ｐＬ１を生成し、これをメモリ３２Ａ（図４）に送出する。すなわち境界点抽出器３９は、近傍領域内に異なる値を持つ画素が存在する場合にのみ、その中心位置に特徴点が存在するとして値１を出力する。このように抽出された特徴点は、図６に示すように、ゼロ交差点と呼ばれるもので、画素値が急激に変化するエッジパターンの中心点のことである。
【００３４】
図４に戻って、メモリ３２Ａは、特徴点画像ｐＬ１を一時的に蓄積した後、所定のタイミングで当該特徴点画像ｐＬ１を読み出し、これを信頼度算出器４５に送出する。同様にメモリ３２Ｂは、特徴点画像ｐＳ１を一時的に蓄積した後、所定のタイミングで特徴点画像ｐＳ１を読み出し、これを信頼度算出器４５に送出する。
【００３５】
信頼度算出器４５は、特徴点画像ｐＬ１及びｐＳ１に基づいて、予め用意されている複数の位置ずれ量候補ｄｎ＝（ｄｘｎ、ｄｙｎ）のそれぞれに対して、正しい位置ずれ量である信頼度を算出する。この位置ずれ量候補ｄｎは、例えば発生し得る位置ずれ量の最大値を選定することにより、次式
【００３６】
【数７】

【００３７】
のような不等式によって与えられる。ここでｄｘ_maxは水平方向の最大位置ずれ量の絶対値を示し、ｄｙ_maxは垂直方向の最大位置ずれ量の絶対値を示す。
【００３８】
ここで各位置ずれ量候補ｄｎにおける信頼度の算出方法について具体的に説明する。信頼度算出器４５は、始めに特徴点画像ｐＬ１を図７に示すような順序によってスキャンし、画素値が１である画素位置すなわち特徴点の位置を検出する。そして信頼度算出器４５は、特徴点画像ｐＬ１のうち注目する特徴点の画素位置が（ｉ、ｊ）である場合（図８（Ａ））、複数の位置ずれ量候補ｄｎ＝（ｄｘｎ、ｄｙｎ）それぞれに対応する、特徴点画像ｐＳ１上の各位置（ｉ＋ｄｘｎ、ｊ＋ｄｙｎ）に特徴点が存在するか否かを調べる。位置ずれ量候補ｄｎが上述の（７）式のような不等式で与えられる場合には、特徴点画像ｐＳ１上における特徴点探索範囲は、図８（Ｂ）に示すような領域Ｒで表される。
【００３９】
この結果、信頼度算出器４５は、特徴点画像ｐＳ１上の位置（ｉ＋ｄｘｎ、ｊ＋ｄｙｎ）に特徴点が存在することを検出した場合には、次式
【００４０】
【数８】

【００４１】
によって位置ずれ量候補ｄｎ＝（ｄｘｎ、ｄｙｎ）の信頼度をインクリメントする。ここでｃｍａｐ（ｄｎ）は各位置ずれ量候補の信頼度を積算するための信頼度マップであり、予め次式
【００４２】
【数９】

【００４３】
のように初期化されている。このように信頼度算出器４５は、特徴点画像ｐＬ１上の全ての特徴点に対して信頼度の積算を行うことにより信頼度マップｃｍａｐ（ｄｎ）（ｎ＝０、１、２、……）を得、これを最大値検出器４７に送出する。
【００４４】
最大値検出器４７は、信頼度マップｃｍａｐ（ｄｎ）のうち、最大の信頼度を持つ位置ずれ量候補ｄ_maxを検出し、これを真の位置ずれ量ｄとして位置ずれ量補正器２３（図１）に送出する。因みに、同一の信頼度を有する複数の位置ずれ量候補ｄｎが存在する場合には、最大値検出器４７は、次式
【００４５】
【数１０】

【００４６】
によって求められるような位置ずれ量の大きさ｜ｄｎ｜が最も小さい位置ずれ量候補ｄｎを選択するようになされている。
【００４７】
また最大値検出器４７は、検出した信頼度の最大値ｄ_maxが所定のしきい値よりも小さい場合、すなわち次式
【００４８】
【数１１】

【００４９】
の条件を満たさない場合には、十分な信頼度の位置ずれ量が得られないとして位置ずれ補正を行わないようにｄ＝（０、０）とするようになされている。ここで、ａはしきい値を決定するための係数であり、予め設定された値でなる。またＴ_countは、長時間露光画像ｘＬ２から抽出された特徴点の総数を示す。
【００５０】
図１に戻って、位置ずれ量補正器２３は、位置ずれ量検出器２７によって検出された位置ずれ量ベクトルｄに基づいて、メモリ１６から供給される短時間露光画像ｘＳ１を、次式
【００５１】
【数１２】

【００５２】
によって平行移動させることにより、長時間露光画像ｘＬ１との位置ずれを補正し、その結果得られる短時間露光画像ｘＳ４を画像合成器２０に送出する。
【００５３】
画像合成器２０は、メモリ１４から供給された長時間露光画像ｘＬ１と位置ずれ補正器２３によって補正された短時間露光画像ｘＳ４とを合成することにより、ダイナミックレンジの広い１枚の合成画像ｘ１を生成し、これをダイナミックレンジ圧縮器４９に送出する。
【００５４】
これら長時間露光画像ｘＬ１と短時間露光画像ｘＳ４を合成する方法としては、撮像された露光量の比に応じた係数を各画像に積算した後、しきい値処理によって各画像を切り替えて出力することにより合成画像ｘ１を生成する方法がある。以下、この画像合成器２０による画像合成方法について図９を用いて具体的に説明する。この図９において、横軸はＣＣＤ１２への入射光量を示し、縦軸はＣＣＤ１２から出力される出力信号の信号レベルすなわち撮像された画像の画素レベルを示している。
【００５５】
図９に示すように、長時間露光画像ｘＬ１は、傾きが大きい直線で表され、入射光量が所定のレベルＴ_UP以上ではＣＣＤ１２の飽和によって出力信号の信号レベルが一定の値となる。一方、短時間露光画像ｘＳ４は、その傾きが小さく、ＣＣＤ１２から出力される出力信号は長時間露光画像ｘＬ１よりも高い入射光量で飽和する。
【００５６】
かくして画像合成器２０は、始めに、短時間露光画像ｘＳ４に対応する出力信号に対して、上述の（２）式で算出された係数ｇを積算して直線部分の傾きを合わせる。その後、画像合成器２０は、長時間露光画像ｘＬ１に対応する出力信号を参照しながら、当該出力信号の信号レベルが所定のしきい値Ｔ_UP以下の場合には長時間露光画像ｘＬ１の出力信号を選択し、当該出力信号の信号レベルが所定のしきい値Ｔ_UPより大きい場合には短時間露光画像ｘＳ４に対応する出力信号を選択して出力することにより、長時間露光画像ｘＬ１及び短時間露光画像ｘＳ４の合成画像ｘ１を生成する。
【００５７】
この画像合成器２０による画像合成方法は、次式
【００５８】
【数１３】

【００５９】
によって表され、短時間露光画像ｘＳ４に対応する出力信号に積算される係数ｇは、各露光時間の比であり、上述の（２）式によって算出されたものである。これにより露光時間の比がＮ倍の場合には、合成画像ｘ１のダイナミックレンジはＮ倍に拡大されることになる。
【００６０】
続いてダイナミックレンジ圧縮器４９は、後段に設けられている図示しない伝送系、表示装置、記録装置などのデータ処理能力に応じて合成画像ｘ１のダイナミックレンジを圧縮し、その結果得た圧縮合成画像ｙ１を外部に出力する。具体的にはダイナミックレンジ圧縮器４９は、ダイナミックレンジの広い合成画像ｘ１を圧縮する方法として、当該合成画像ｘ１の各画素に対して、その画素レベルを図１０に示すような入出力関係を持つ関数（以下、これをレベル変換関数と呼ぶ）で変換する方法（以下、これをレベル変換と呼ぶ）を採用している。
【００６１】
この図１０において、横軸は入力される合成画像ｘ１の画素レベルｌを示し、縦軸はレベル変換処理が施された圧縮合成画像ｙ１の画素レベルＴ（ｌ）を示す。Ｌinmax は入力される合成画像ｘ１の各画素が取り得る最大の画素レベルを示し、Ｌoutmaxは出力される圧縮合成画像ｙ１の各画素が取り得る最大の画素レベルを示す。このレベル変換では、高レベルでのコントラストを犠牲することにより、低レベル及び中間レベルでのコントラストを確保しながら全体のダイナミックレンジを圧縮している。
【００６２】
また、ダイナミックレンジの広い合成画像ｘ１を圧縮する方法としては、合成画像ｘ１の画素レベルの頻度分布に応じてレベル変換関数を適応的に変化させる方法があり、その代表例としてヒストグラムイコライゼーションと呼ばれる方法がある。図１１は、このヒストグラムイコライゼーションの方法の原理を示す。ここで、Ｆmax は累積頻度の最大値であり、頻度を算出するために用いる画素の総数である。
【００６３】
このヒストグラムイコライゼーションによる圧縮方法では、始めに入力される合成画像ｘ１の画素レベルｌに関する頻度分布Ｈ（ｌ）が生成され、次に次式
【００６４】
【数１４】

【００６５】
によって累積頻度分布Ｃ（ｌ）が生成される。そしてヒストグラムイコライゼーションによる圧縮方法は、この累積頻度分布の縦軸を、次式
【００６６】
【数１５】

【００６７】
によって圧縮合成画像ｙ１が取り得るレベル範囲に正規化することにより、レベル変換関数Ｔ（ｌ）を生成する。ヒストグラムイコライゼーションによる圧縮方法は、このレベル変換関数Ｔ（ｌ）を用いることにより、出現頻度の高いレベルによって構成される領域（面積が大きい領域）のコントラストを確保しながら、全体のダイナミックレンジを圧縮することを可能にしている。
【００６８】
以上の構成において、位置ずれ量検出器２７は、異なる露光時間で撮像された長時間露光画像ｘＬ２及び短時間露光画像ｘＳ３から特徴点をそれぞれ抽出し、当該抽出した長時間露光画像ｘＬ２の各特徴点及び短時間露光画像ｘＳ３の各特徴点の位置関係に基づいて、予め用意されている複数の位置ずれ量候補ｄｎのうち最も信頼度の高い位置ずれ量候補を検出し、これを真の位置ずれ量ｄｎとして位置ずれ補正器２３に送出する。
【００６９】
位置ずれ量補正器２３は、位置ずれ量検出器２７から送出された位置ずれ量ｄに基づいて、短時間露光画像ｘＳ１の長時間露光画像ｘＬ１に対する位置ずれを補正し、その結果得た短時間露光画像ｘＳ４を画像合成器２０に送出する。画像合成器２０は、長時間露光画像ｘＬ１と位置ずれが補正された短時間露光画像ｘＳ４とを合成することによりダイナミックレンジの広い１枚の合成画像ｘ１を生成する。
【００７０】
このように長時間露光画像ｘＬ１及び短時間露光画像ｘＳ１間の位置ずれを補正した後に合成することにより、位置ずれが生じた状態で合成した合成画像のようにエッジ付近の画質が劣化することはない。
【００７１】
以上の構成によれば、短時間露光画像ｘＳ１の長時間露光画像ｘＬ１に対する位置ずれを補正した後、長時間露光画像ｘＬ１と位置ずれが補正された短時間露光画像ｘＳ４とを合成して合成画像ｘ１を生成することにより、２つの画像を合成する際に生じる画質の劣化を回避し得、かくして撮像対象に応じた自然な合成画像を生成し得る。
【００７２】
（２）第２の実施の形態
図１との対応部分に同一符号を付して示す図１２において、６０は全体として第２の実施の形態によるビデオカメラを示し、位置ずれ量検出器６２の構成を除いて、第１の実施の形態によるビデオカメラ１０と同様に構成されている。
【００７３】
図４との対応部分に同一符号を付して示す図１３は、位置ずれ量検出器６２の構成を示し、この位置ずれ量検出器６２は、４種類の特徴点を抽出するようになされており、具体的には図６に示したようなゼロ交差点を当該ゼロ交差点の周囲に位置する画素の画素値の符号に基づいて図１４に示すような特徴点Ｐ１〜Ｐ４に分類する。
【００７４】
以下、この位置ずれ量検出器６２によって行われる位置ずれ量検出について説明する。位置ずれ量検出器６２は、リミッタ１８から供給される長時間露光画像ｘＬ２を特徴点抽出器６４Ａ₁〜６４Ａ₄に入力すると共に、リミッタ２５から供給される短時間露光画像ｘＳ３を特徴点抽出器６４Ｂ₁〜６４Ｂ₄に入力する。
【００７５】
特徴点抽出器６４Ａ₁は、長時間露光画像ｘＬ２から特徴点Ｐ１のみを抽出することにより特徴点画像ｐＬ１１を生成し、これをメモリ６６Ａ₁に送出する。一方、特徴点抽出器６４Ｂ₁は、短時間露光画像ｘＳ３から特徴点Ｐ１のみを抽出することにより特徴点画像ｐＳ１１を生成し、これをメモリ６６Ｂ₁に送出する。以下、同様にして、特徴点抽出器６４Ａ₂〜６４Ａ₄は、長時間露光画像ｘＬ２からそれぞれ対応する特徴点Ｐ２〜Ｐ４のみを抽出することにより特徴点画像ｐＬ１２〜ｐＬ１４を生成し、これらを対応するメモリ６６Ａ₂〜６６Ａ₄にそれぞれ送出する。一方、特徴点抽出器６４Ｂ₂〜６４Ｂ₄は、短時間露光画像ｘＳ３からそれぞれ対応する特徴点Ｐ２〜Ｐ４のみを抽出することにより特徴点画像ｐＳ１２〜ｐＳ１４を生成し、これらを対応するメモリ６６Ｂ₂〜６６Ｂ₄にそれぞれ送出する。
【００７６】
メモリ６６Ａ₁は、特徴点画像ｐＬ１１を一時的に蓄積した後、所定のタイミングで当該特徴点画像ｐＬ１１を読み出し、これを信頼度算出器６８₁に送出する。一方、メモリ６６Ｂ₁は、特徴点画像ｐＳ１１を一時的に蓄積した後、所定のタイミングで当該特徴点画像ｐＳ１１を読み出し、これを信頼度算出器６８₁に送出する。以下、同様にして、メモリ６６Ａ₂〜６６Ａ₄は、特徴点画像ｐＬ１２〜ｐＬ１４をそれぞれ一時的に蓄積した後、所定のタイミングでそれぞれ読み出して対応する信頼度算出器６８₂〜６８₄にそれぞれ送出する。メモリ６６Ｂ₂〜６６Ｂ₄は、特徴点画像ｐＳ１２〜ｐＳ１４をそれぞれ一時的に蓄積した後、所定のタイミングでそれぞれ読み出して対応する信頼度算出器６８₂〜６８₄にそれぞれ送出する。
【００７７】
信頼度算出器６８₁は、特徴点画像ｐＬ１１及びｐＳ１１に基づいて信頼度マップｃｍａｐ１（ｄｎ）を生成し、これを加算器７０に送出する。以下、同様にして信頼度算出器６８₂〜６８₄は、それぞれ信頼度マップｃｍａｐ２（ｄｎ）〜ｃｍａｐ４（ｄｎ）を生成し、これらを加算器７０に送出する。加算器７０は、信頼度マップｃｍａｐ１（ｄｎ）〜ｃｍａｐ４（ｄｎ）を、次式
【００７８】
【数１６】

【００７９】
によって要素毎に加算することにより、１つの信頼度マップｃｍａｐ（ｄｎ）を生成し、これを最大値検出器４７に送出する。最大値検出器４７は、信頼度マップｃｍａｐ（ｄｎ）のうち、最大の信頼度を持つ位置ずれ量候補ｄ_maxを検出し、これを真の位置ずれ量ｄとして位置ずれ量補正器（図１２）に送出する。
【００８０】
以上の構成において、位置ずれ量検出器６２は、異なる露光時間で撮像された長時間露光画像ｘＬ２及び短時間露光画像ｘＳ３から４種類の特徴点Ｐ１〜Ｐ４をそれぞれ抽出し、当該抽出した特徴点の種類毎に複数の位置ずれ量候補ｄｎの信頼度をそれぞれ算出する。そして位置ずれ量検出器６２は、特徴点の種類毎に算出された信頼度の合計を各位置ずれ量候補ｄｎに対して算出し、当該算出された複数の位置ずれ量候補ｄｎのうち信頼度が最も高い位置ずれ量候補ｄｎを検出してこれを真の位置ずれ量ｄとして位置ずれ補正器２３に送出する。
【００８１】
位置ずれ量補正器２３は、位置ずれ量検出器２７から送出された位置ずれ量ｄに基づいて、短時間露光画像ｘＳ１の長時間露光画像ｘＬ１に対する位置ずれを補正し、その結果得た短時間露光画像ｘＳ４を画像合成器２０に送出する。画像合成器２０は、長時間露光画像ｘＬ１と位置ずれが補正された短時間露光画像ｘＳ４とを合成することによりダイナミックレンジの広い１枚の合成画像ｘ１を生成する。
【００８２】
このように長時間露光画像ｘＬ１及び短時間露光画像ｘＳ１間の位置ずれを補正した後に合成することにより、位置ずれが生じた状態で合成した合成画像のようにエッジ付近の画質が劣化することはない。
【００８３】
以上の構成によれば、短時間露光画像ｘＳ１の長時間露光画像ｘＬ１に対する位置ずれを補正した後、長時間露光画像ｘＬ１と位置ずれが補正された短時間露光画像ｘＳ４とを合成して合成画像ｘ１を生成することにより、２つの画像を合成する際に生じる画質の劣化を回避し得、かくして撮像対象に対応する自然な合成画像を生成し得る。
【００８４】
また長時間露光画像ｘＬ２及び短時間露光画像ｘＳ３から複数種類の特徴点を抽出し、当該抽出した複数種類の特徴点を用いて位置ずれ量ｄを検出することにより、第１の実施の形態の位置ずれ量検出器２７に比して一段と正確に位置ずれ量を検出することができる。
【００８５】
（３）第３の実施の形態
図１との対応部分に同一符号を付して示す図１５において、１００は全体として第３の実施の形態によるビデオカメラの構成を示し、水平積分器１０２及び１０３、垂直積分器１０４及び１０５、位置ずれ量検出器１０８及び１０９、位置ずれ補正器１１１の構成を除いて、第１の実施の形態によるビデオカメラ１０と同様に構成されている。
【００８６】
このビデオカメラ１００は、リミッタ１８から送出される長時間露光画像ｘＬ２を水平積分器１０２及び垂直積分器１０４に供給すると共に、リミッタ２５から送出される短時間露光画像ｘＳ３を水平積分器１０３及び垂直積分器１０５に供給する。水平積分器１０２は、長時間露光画像ｘＬ２に対して、各垂直位置ｊ毎に、次式
【００８７】
【数１７】

【００８８】
によって水平方向の画素値の積分を行すことにより１次元データ列ｘＬＨ１を生成し、これを位置ずれ量検出器１０８に送出する。ここで、Ｎ_X及びＮ_Yは、画像の水平方向及び垂直方向の画素数である。
【００８９】
垂直積分器１０４は、長時間露光画像ｘＬ２に対して、各水平位置ｉ毎に、次式
【００９０】
【数１８】

【００９１】
によって垂直方向の画素値の積分を行うことにより１次元データ列ｘＬＶ１を生成し、これを位置ずれ量検出器１０９に送出する。同様にして、水平積分器１０３は、短時間露光画像ｘＳ３から１次元データ列ｘＳＨ１を生成し、これを位置ずれ量検出器１０８に送出する。これと共に垂直積分器１０５は、短時間露光画像ｘＳ３から１次元データ列ｘＳＶ１を生成し、これを位置ずれ量検出器１０９に送出する。
【００９２】
位置ずれ量検出器１０８は、長時間露光画像ｘＬ２から生成された１次元データ列ｘＬＨ１と短時間露光画像ｘＳ３から生成された１次元データ列ｘＳＨ１とに基づいて位置ずれ量の垂直成分ｄｙを検出し、これを位置ずれ補正器１１１に送出する。これと共に位置ずれ量検出器１０９は、長時間露光画像ｘＬ２から生成された１次元データ列ｘＬＶ１と短時間露光画像ｘＳ３から生成された１次元データ列ｘＳＶ１とに基づいて位置ずれ量の水平成分ｄｘを検出し、これを位置ずれ補正器１１１に送出する。
【００９３】
ところで位置ずれ量検出器１０８及び１０９は、同様の構成でなることから、ここでは位置ずれ量検出器１０９の構成についてのみ図１６を用いて説明する。位置ずれ量検出器１０９は、長時間露光画像ｘＬ２から生成された１次元データ列ｘＬＶ１を特徴点抽出器１１５Ａに入力すると共に、短時間露光画像ｘＳ３から生成された１次元データ列ｘＳＶ１を特徴点抽出器１１５Ｂに入力する。
【００９４】
特徴点抽出器１１５Ａは、１次元データ列ｘＬＶ１の特徴点を抽出することにより１次元の特徴点列ｐＬＶ１を生成し、これをメモリ１１７Ａに送出する。この特徴点は、図６に示すゼロ交差点でなり、１次元データ列ｘＬＶ１は位置ｉに特徴点が存在するか否かを示す２値データ列である。同様にして、特徴点抽出器１１５Ｂは、１次元データ列ｘＳＶ１の特徴点を抽出することにより１次元の特徴点列ｐＳＶ１を生成し、これをメモリ１１７Ｂに送出する。
【００９５】
メモリ１１７Ａは、特徴点列ｐＬＶ１を一時的に蓄積した後、所定のタイミングで当該特徴点列ｐＬＶ１を読み出して信頼度算出器１１９に送出する。同様にメモリ１１７Ｂは、特徴点列ｐＳＶ１を一時的に蓄積した後、所定のタイミングで当該特徴点列ｐＳＶ１を読み出して信頼度算出器１１９に送出する。
【００９６】
信頼度算出器１１９は、特徴点列ｐＬＶ１及びｐＳＶ１に基づいて、予め用意されている複数の位置ずれ量候補の水平成分ｄｘそれぞれに対して、正しい位置ずれ量としての信頼度を算出する。この位置ずれ量候補の水平成分ｄｘは、例えば発生し得る位置ずれ量の水平成分の最大値を選定することにより、次式
【００９７】
【数１９】

【００９８】
のような不等式によって与えられる。
【００９９】
ここで各位置ずれ量候補の水平成分ｄｘにおける信頼度の算出方法について具体的に説明する。信頼度算出器１１９は、始めに特徴点列ｐＬＶ１をスキャンし、値が１である点の位置すなわち特徴点の位置を検出する。そして信頼度算出器１１９は、特徴点列ｐＬＶ１上の注目する特徴点の位置がｉである場合（図１７（Ａ））、複数の位置ずれ量候補の水平成分ｄｘそれぞれに対応する、特徴点列ｐＳＶ１上の位置ｉ＋ｄｘに特徴点が存在するか否か調べる。位置ずれ量候補の水平成分ｄｘが上述の（１９）式のような不等式で与えられる場合には、特徴点列ｐＳＶ１での特徴点探索範囲は、図１７（Ｂ）に示すような領域Ｒで表される。
【０１００】
この結果、信頼度算出器１１９は、特徴点列ｐＳＶ１上の位置ｉ＋ｄｘに特徴点が存在することを検出した場合には位置ずれ量候補の水平成分ｄｘの信頼度をインクリメントする。このように信頼度算出器１１９は、特徴点列ｐＬＶ１上の全ての特徴点に対して信頼度の積算を行うことにより信頼度マップｃｍａｐ（ｄｘｎ）（ｎ＝０、１、２、……）を得、これを最大値検出器１２１に送出する。最大値検出器１２１は、信頼度マップｃｍａｐ（ｄｘｎ）のうち、最大の信頼度を持つ位置ずれ量候補の水平成分ｄｘ_maxを検出し、これを真の位置ずれ量の水平成分ｄｘとして位置ずれ量補正器１１１（図１５）に送出する。
【０１０１】
図１５に戻って、位置ずれ補正器１１１は、位置ずれ量検出器１０９から供給される位置ずれ量の水平成分ｄｘと位置ずれ量検出器１０８から供給される位置ずれ量の垂直成分ｄｙとに基づいて、短時間露光画像ｘＳ１を平行移動させることにより、長時間露光画像ｘＬ１との位置ずれを補正し、その結果得られる短時間露光画像ｘＳ４を画像合成器２０に送出する。
【０１０２】
以上の構成において、水平積分器１０２及び１０３は、長時間露光画像ｘＬ２及び短時間露光画像ｘＳ３おける水平方向の画素列毎に画素値をそれぞれ積分することにより、垂直方向の１次元データ列ｘＬＨ１及びｘＳＨ１を生成し、これらを位置ずれ量検出器１０８に送出する。これと共に、垂直積分器１０４及び１０５は、長時間露光画像ｘＬ２及び短時間露光画像ｘＳ３おける垂直方向の画素列毎に画素値をそれぞれ積分することにより、水平方向の１次元データ列ｘＬＶ１及びｘＳＶ１を生成し、これらを位置ずれ量検出器１０９に送出する。
【０１０３】
位置ずれ量検出器１０８は、垂直方向の１次元データ列ｘＬＨ１及びｘＳＨ１から特徴点をそれぞれ抽出し、当該抽出した１次元データ列ｘＬＨ１の各特徴点及び１次元データ列ｘＳＨ１の各特徴点の位置関係に基づいて、予め用意されている複数の位置ずれ量候補の垂直成分ｄｙｎのうち最も信頼度の高い位置ずれ量候補の垂直成分を検出し、これを真の位置ずれ量ｄｙとして位置ずれ補正器１１１に送出する。同様にして位置ずれ量検出器１０９は、水平方向の１次元データ列ｘＬＶ１及びｘＳＶ１から特徴点をそれぞれ抽出し、当該抽出した１次元データ列ｘＬＶ１の各特徴点及び１次元データ列ｘＳＨ１の各特徴点の位置関係に基づいて位置ずれ量ｄｘを検出し、これを位置ずれ補正器１１１に送出する。
【０１０４】
位置ずれ量補正器１１１は、位置ずれ量検出器１０９及び１０８から送出された位置ずれ量ｄｘ及びｄｙに基づいて、短時間露光画像ｘＳ１の長時間露光画像ｘＬ１に対する位置ずれを補正し、その結果得た短時間露光画像ｘＳ４を画像合成器２０に送出する。画像合成器２０は、長時間露光画像ｘＬ１と位置ずれが補正された短時間露光画像ｘＳ４とを合成することによりダイナミックレンジの広い１枚の合成画像ｘ１を生成する。
【０１０５】
このように長時間露光画像ｘＬ１及び短時間露光画像ｘＳ１間の位置ずれを補正した後に合成することにより、位置ずれが生じた状態で合成した合成画像のようにエッジ付近の画質が劣化することはない。
【０１０６】
以上の構成によれば、短時間露光画像ｘＳ１の長時間露光画像ｘＬ１に対する位置ずれを補正した後、長時間露光画像ｘＬ１と位置ずれが補正された短時間露光画像ｘＳ４とを合成して合成画像ｘ１を生成することにより、２つの画像を合成する際に生じる画質の劣化を回避し得、かくして撮像対象に対応する自然な合成画像を生成し得る。
【０１０７】
また、短時間露光画像ｘＳ１の長時間露光画像ｘＬ１に対する位置ずれ量を水平成分及び垂直成分毎に検出することにより、位置ずれ検出にかかわる演算量や回路規模を一段と削減することができる。
【０１０８】
（４）第４の実施の形態
図１との対応部分に同一符号を付して示す図１８において、１２０は全体として第４の実施の形態によるビデオカメラを示し、ＣＣＤ１２２の前面に図１９に示すような配列の色フィルタ（補色市松フィルタ）を配置してカラー画像を撮像することにより、図２０に示すような輝度信号に周波数変調された色信号が重畳された出力信号でなる長時間露光画像ｘＬ１０及び短時間露光画像ｘＳ１０を生成する。
【０１０９】
ところでこのビデオカメラ１２０のゲイン補正器２１及びリミッタ１８の前段には輝度分離器１２４及び１２５が設けられ、画像中の輝度情報を抽出するようになされている。すなわち輝度分離器１２４は、長時間露光画像ｘＬ１０から輝度情報ｘＬｙ１を、次式
【０１１０】
【数２０】

【０１１１】
よって抽出し、これをリミッタ１８において輝度情報ｘＬｙ２を得、これを位置ずれ量検出器２７に送出する。ここで、ＬＰＦｙ（）は輝度分離用のローパスフィルタである。同様に輝度分離器１２５は、短時間露光画像ｘＳ１０から輝度情報ｘＳｙ１を抽出し、これをゲイン補正器２１及びリミッタ２５を順次介して輝度情報ｘＳｙ２を得、これを位置ずれ量検出器２７に送出する。
【０１１２】
位置ずれ量検出器２７は、長時間露光画像ｘＬ１０から生成された輝度情報ｘＬｙ２と短時間露光画像ｘＳ１０から生成された輝度情報ｘＳｙ２との間の位置ずれ量ｄを検出し、これを位置ずれ補正器１２７に送出する。位置ずれ補正器１２７は、この位置ずれ量ｄに基づいて短時間露光画像ｘＳ１０の位置ずれを補正する。
【０１１３】
ところでこの場合、長時間露光画像ｘＬ１０及び短時間露光画像ｘＳ１０を形成する各画素の値は色フィルタ（図１９）によって変調されていることから、検出された位置ずれ量ｄによって対応付けられる長時間露光画像ｘＬ１０の画素ｘＬ１０（ｉ、ｊ）と短時間露光画像ｘＳ１０のｘＳ１０（ｉ−ｄｘ、ｊ−ｄｙ）とが常に同一の色フィルタに対応しているとは限らない。すなわち位置ずれ補正によって色の非対応が生じるおそれがある。そこで位置ずれ補正器１２７は、次式
【０１１４】
【数２１】

【０１１５】
によって位置ずれの補正を行い、その結果得た短時間露光画像ｘＳ１１を画像合成器２０に送出する。ここでｘＳｉｐ（ｉ−ｄｘ、ｊ−ｄｙ）は、短時間露光画像ｘＳ１０の位置（ｉ−ｄｘ、ｊ−ｄｙ）において、近傍の画素値から算出した長時間露光画像ｘＬ１０（ｉ、ｊ）と同じ色フィルタに対応する画素値である。
【０１１６】
例えば図２１に示すように、長時間露光画像ｘＬ１０（ｉ、ｊ）がＹｅフィルタに対応する画素であって、かつ位置ずれ量がｄ＝（１、１）である場合、ｘＳｉｐ（ｉ−ｄｘ、ｊ−ｄｙ）は、次式
【０１１７】
【数２２】

【０１１８】
によって補間される。すなわち位置ずれ補正器１２７は、長時間露光画像ｘＬ１０（ｉ、ｊ）と同一の色フィルタに対応し、かつ位置（ｉ−ｄｘ、ｊ−ｄｙ）から最も近い画素値を用いて線形補間を行う。
【０１１９】
以上の構成において、位置ずれ量検出器２７は、異なる露光時間で撮像された長時間露光画像ｘＬ１０から生成された輝度情報ｘＬｙ２及び短時間露光画像ｘＳ１０から生成された輝度情報ｘＳｙ２から特徴点をそれぞれ抽出し、当該抽出した輝度情報ｘＬｙ２の各特徴点及び輝度情報ｘＳｙ２の各特徴点の位置関係に基づいて、予め用意されている複数の位置ずれ量候補ｄｎのうち最も信頼度の高い位置ずれ量候補を検出し、これを真の位置ずれ量ｄとして位置ずれ量検出器１２７に送出する。
【０１２０】
位置ずれ量補正器１２７は、位置ずれ量検出器２７から送出された位置ずれ量ｄに基づいて、短時間露光画像ｘＳ１０の長時間露光画像ｘＬ１０に対する位置ずれ補正し、その結果得た短時間露光画像ｘＳ１１を画像合成器２０に送出する。画像合成器２０は、長時間露光画像ｘＬ１０と位置ずれが補正された短時間露光画像ｘＳ１１とを合成することによりダナミックレンジの広い１枚の合成画像ｘ１を生成する。
【０１２１】
このように長時間露光画像ｘＬ１０及び短時間露光画像ｘＳ１０間の位置ずれを補正した後に合成することにより、位置ずれが生じた状態で合成した合成画像のようにエッジ付近の画質が劣化することはない。
【０１２２】
以上の構成によれば、短時間露光画像ｘＳ１０の長時間露光画像ｘＬ１０に対する位置ずれを補正した後、長時間露光画像ｘＬ１０と位置ずれが補正された短時間露光画像ｘＳ１１とを合成して合成画像ｘ１を生成することにより、２つの画像を合成する際に生じる画質の劣化を回避し得、かくして撮像対象に対応する自然な合成画像を生成し得る。
【０１２３】
また、長時間露光画像ｘＬ１０及び短時間露光画像ｘＳ１０から輝度情報ｘＬｙ２及び輝度情報ｘＳｙ２をそれぞれ抽出し、当該輝度情報ｘＬｙ２及び輝度情報ｘＳｙ２に基づいて位置ずれ量ｄを検出することにより、カラー画像に対しても正確に位置ずれ補正を行うことができる。
【０１２４】
（５）他の実施の形態
なお上述の第１乃至第４の実施の形態においては、画像合成器２０の内部でゲイン補正を施した場合について述べたが、本発明はこれに限らず、短時間露光画像ｘＳ１を蓄積するためのメモリ１６の前段にゲイン補正器を設けて、画像合成器２０の内部で行われるゲイン補正を省略するようにしても良い。
【０１２５】
また上述の第１乃至第４の実施の形態においては、短時間露光画像ｘＳ１及びｘＳ１０の位置ずれを補正した場合について述べたが、本発明はこれに限らず、長時間露光画像ｘＬ１及びｘＬ１０の位置ずれを補正するようにしても良い。
【０１２６】
また上述の第１乃至第４の実施の形態においては、短時間露光画像ｘＳ４及びｘＳ１１に対してゲイン補正を施した場合について述べたが、本発明はこれに限らず、長時間露光画像ｘＬ１及びｘＬ１０に対してゲイン補正を施すようにしても良い。この場合、長時間露光画像ｘＬ１及びｘＬ１０の各画素値を上述の（２）式によって算出された露光時間比ｇで割り算すれば良い。
【０１２７】
また上述の第１乃至第４の実施の形態においては、短時間露光画像ｘＳ１及びｘＳ１０のゲイン補正を行った後、位置ずれ量を検出した場合について述べたが、本発明はこれに限らず、図６に示したゼロ交差点のように、その画素位置が露光量に依存しないものを特徴点として用いる場合には、ゲイン補正を行わずに位置ずれ量を検出することも可能である。
【０１２８】
また上述の第１乃至第４の実施の形態においては、信頼度算出器４５、６８、１１９において長時間露光画像ｘＬ２に対応する特徴点画像ｐＬ１、ｐＬ１１〜ｐＬ１４全体をスキャンして特徴点を検出して信頼度を積算した場合について述べたが、本発明はこれに限らず、画枠の近傍に位置する特徴点は、位置ずれの影響によって短時間露光画像ｘＳ３に対応する特徴点画像ｐＳ１、ｐＳ１１〜ｐＳ１４には現れない可能性が高いことから、図２２に示すように特徴点画像ｐＬ１、ｐＬ１１〜ｐＬ１４上における特徴点のスキャン領域を制限するようにしても良い。
【０１２９】
また上述の第１乃至第４の実施の形態においては、長時間露光画像ｘＬ２から生成された特徴点画像ｐＬ１、ｐＬ１１〜ｐＬ１４の各特徴点それぞれに対して、短時間露光画像ｘＳ３から生成された特徴点画像ｐＳ１、ｐＳ１１〜ｐＳ１４上に対応点が存在するか否か探索した場合について述べたが、本発明はこれに限らず、特徴点画像ｐＳ１、ｐＳ１１〜ｐＳ１４の各特徴点に対して特徴点画像ｐＬ１、ｐＬ１１〜ｐＬ１４上の対応点を探索するようにしても良い。
【０１３０】
また上述の第１乃至第４の実施の形態においては、信頼度算出器４５において、特徴点画像ｐＬ１、ｐＬ１１〜ｐＬ１４をスキャンして特徴点を検出し、当該検出した特徴点を位置ずれ量候補ｄｎを用いて補正した位置に特徴点画像ｐＳ１、ｐＳ１１〜ｐＳ１４の対応する特徴点が存在するか否かを調べることにより信頼度を算出した場合について述べたが、本発明はこれに限らず、次式
【０１３１】
【数２３】

【０１３２】
に示すように、現在注目している位置ずれ量候補ｄｎだけ特徴点画像ｐＳ１、ｐＳ１１〜ｐＳ１４全体を平行移動させ、対応する特徴点画像ｐＬ１、ｐＬ１１〜ｐＬ１４の特徴点と位置が一致する特徴点の総数を当該位置ずれ量候補ｄｎの信頼度ｃｍａｐ（ｄｎ）とするようにしても良い。ここで、Ｎ_x及びＮ_yはそれぞれ特徴点画像ｐＳ１、ｐＳ１１〜ｐＳ１４の水平方向及び垂直方向の画素数である。因みに、特徴点画像ｐＳ１、ｐＳ１１〜ｐＳ１４上に存在しない位置（ｉ−ｄｎｘ、ｊ−ｄｎｙ）に対しては上述の（２３）式に示す加算を行わない。
【０１３３】
また上述の第１乃至第４の実施の形態においては、最大値検出器４７において、信頼度算出器４５から送出された信頼度マップｃｍａｐ（ｄｎ）のうち最大の信頼度を持つ位置ずれ量候補ｄ_maxを検出し、これを真の位置ずれ量ｄとした場合について述べたが、本発明はこれに限らず、図２３に示す位置ずれ量検出器２００に示すように、信頼度算出器４５及び最大値検出器４７間に平滑化器２０２を設け、当該平滑化器２０２において、信頼度マップｃｍａｐ（ｄｎ）を図２４に示すような信頼度の値を画素値とする２次元の画像データｃｍａｐ（ｄｘ、ｄｙ）とみなすことができることを利用して、当該画像データｃｍａｐ（ｄｘ、ｄｙ）に対して、次式
【０１３４】
【数２４】

【０１３５】
に示すような平均値フィルタを施すことにより信頼度マップｃｍａｐ′（ｄｎ）を生成するようにしても良く、この場合、一段と安定して正確な位置ずれ量を検出することができる。
【０１３６】
また上述の第１乃至第４の実施の形態においては、信頼度算出器４５において、特徴点画像ｐＬ１の各特徴点それぞれに対して特徴点画像ｐＳ１上の対応点を探索することにより信頼度マップｃｍａｐ（ｄｎ）を生成した場合について述べたが、本発明はこれに限らず、図２５に示す位置ずれ量検出器２０４の信頼度算出器２０６のように、入力される特徴点画像ｐＬ１及び特徴点画像ｐＳの対応する画素値が近いほど大きな信頼度を加算するようにしても良く、その際、一段と安定して位置すれ量を検出することができる。この場合、信頼度算出器２０６は、信頼度マップｃｍａｐ（ｄｎ）を、次式
【０１３７】
【数２５】

【０１３８】
によって求める。ここで、ｓ（ｄｎ）は特徴点画像ｐＬ１及び特徴点画像ｐＳにおける画素値の近さを表す量であり、例えば次式
【０１３９】
【数２６】

【０１４０】
によって算出される。
【０１４１】
また上述の第１乃至第４の実施の形態においては、長時間露光画像ｘＬ１及び短時間露光画像ｘＳ４を合成した場合について述べたが、本発明はこれに限らず、露光量の異なる３つ以上の画像を合成するようにしても良い。この場合、複数の画像のうちいずれかの画像を基準画像として、当該基準画像以外の画像に対応するように位置ずれ量検出器及び位置ずれ補正器を設けて基準画像に対する位置ずれを補正すれば良い。
【０１４２】
また上述の第１乃至第４の実施の形態においては、長時間露光画像ｘＬ１と短時間露光画像ｘＳ４とを合成した場合について述べたが、本発明はこれに限らず、露光時間が３種類以上ある場合には露光時間の長いものから順に上述の（１３）式の合成処理を繰り返し行うようにすれば良い。
【０１４３】
また上述の第２の実施の形態においては、位置ずれ量検出器６２において、長時間露光画像ｘＬ２及び短時間露光画像ｘＳ３それぞれから４種類の特徴点Ｐ１〜Ｐ４を抽出した場合について述べたが、本発明はこれに限らず、要は、複数種類の特徴点を抽出するようにすれば良い。
【０１４４】
また上述の第２の実施の形態においては、特徴点画像ｐＬ１１〜ｐＬ１４及びｐＳ１１〜ｐＳ１４をそれぞれ対応するメモリ６６Ａ₁〜６６Ａ₄及び６６Ｂ₁〜６６Ｂ₄に書き込んだ場合について述べたが、本発明はこれに限らず、図２６に示す位置ずれ量検出器２１０のように、特徴点抽出器７４Ａ₁〜７４Ａ₄から送出される特徴点画像ｐＬ１１〜ｐＬ１４をメモリ２１２Ａ書き込むと共に、特徴点抽出器７４Ｂ₁〜７４Ｂ₄から送出される特徴点画像ｐＳ１１〜ｐＳ１４をメモリ２１２Ｂに書き込むことにより、画素値が０から３までの値をとる多値の特徴点抽出画像ｐＬ２０及びｐＳ２０を生成し、当該特徴点抽出画像ｐＬ２０及びｐＳ２０を信頼度算出器２１４に供給して位置ずれ量を検出するようにしても良い。
【０１４５】
また上述の第４の実施の形態においては、リミッタ１８及びゲイン補正器２１の前段に輝度分離器１２４及び１２５を設けた場合について述べたが、本発明はこれに限らず、図５に示す特徴点抽出器３０Ａによって抽出されるゼロ交差点を特徴点とする場合、２次微分型フィルタ３５の代わりに、色フィルタによる変調を除去又は軽減するような特性を併せ持つフィルタを用いて、輝度分離器１２４及び１２５を省略するようにしても良い。
【０１４６】
また上述の第４の実施の形態においては、ＣＣＤ１２２の前面に補色市松フィルタを配置した場合について述べたが、本発明はこれに限らず、例えば原色ストライプフィルタのように、他の種々の色フィルタをＣＣＤ１２２の前面に配置するようにしても良く、この場合、当該配置された色フィルタの配列に応じた補間処理を施せば良い。
【０１４７】
また上述の第４の実施の形態においては、位置ずれ補正器２３において補間処理を施すことにより色の非対応を解消した場合について述べたが、本発明はこれに限らず、位置ずれ量候補に対して制限を設けることにより、位置ずれ補正によて生じる色の非対応を解消するようにしても良い。すなわち色フィルタの配列における水平方向及び垂直方向への繰り返し周期がＴｈ、Ｔｖである場合、位置ずれ量候補ｄｎ＝（ｄｎｘ、ｄｎｙ）のとり得る値を、次式
【０１４８】
【数２７】

【０１４９】
によって制限する。ここでｍは任意の整数値である。この制限によって検出される位置ずれ量ｄは、色フィルタの繰り返し周期の整数の倍になるため、色の非対応を解消することかできる。例えば図２７に示すような色フィルタを用いる場合には、水平方向及び垂直方向ともに２画素単位の位置ずれ量を検出することができる。
【０１５０】
さらに上述の第１乃至第４の実施の形態においては、本発明をビデオカメラに適用した場合について述べたが、本発明はこれに限らず、例えばスチルカメラ、監視カメラ、車載カメラなどのように、他の種々の撮像装置に本発明を広く適用し得る。
【０１５１】
【発明の効果】
上述のように本発明によれば、複数の位置ずれ量候補を用いて基準画像の特徴点と当該基準画像以外の画像の特徴点との間の位置ずれを補正して、互いに対応する特徴点の位置が一致する数をカウントして得られる信頼度が最大となる位置ずれ量候補を位置ずれ量として検出し、当該位置ずれ量に基づいて基準画像以外の各画像の基準画像に対する位置ずれをそれぞれ補正した後、基準画像と位置ずれが補正された基準画像以外の各画像とを全て合成することにより、位置ずれ検出にかかる演算量や演算時間を減少することができると共に、複数の画像を合成する際に生じる画質の劣化を回避することができるので、かくして撮像対象に対応した自然な合成画像を生成し得る。
【図面の簡単な説明】
【図１】本発明による第１の実施の形態によるビデオカメラの構成を示すブロック図でる。
【図２】時間分割による露光量制御の説明に供する略線図である。
【図３】画像間の位置ずれの説明に供する略線図である。
【図４】位置ずれ量検出器の構成を示すブロック図である。
【図５】特徴点抽出器の構成を示すブロック図である。
【図６】ゼロ交差点の説明に供する略線図である。
【図７】画像の走査方向の説明に供する略線図である。
【図８】特徴点の探索範囲の説明に供する略線図である。
【図９】画像合成方法の説明に供する略線図である。
【図１０】レベル変換関数の説明に供する略線図である。
【図１１】ヒストグラムイコライゼーションの説明に供する略線図である。
【図１２】第２の実施の形態によるビデオカメラの構成を示すブロック図である。
【図１３】位置ずれ量検出器の構成を示すブロック図である。
【図１４】ゼロ交差点の分類の説明に供する略線図である。
【図１５】第３の実施の形態によるビデオカメラの構成を示すブロック図である。
【図１６】位置ずれ量検出器の構成を示すブロック図である。
【図１７】特徴点の探索範囲を示すブロック図である。
【図１８】第４の実施の形態によるビデオカメラの構成を示すブロック図である。
【図１９】単板カラーカメラの色フィルタ配列の例の説明に供する略線図である。
【図２０】単板カラーカメラの出力信号の説明に供する略線図である。
【図２１】補間処理の説明に供する略線図である。
【図２２】特徴点のスキャン領域の説明に供する略線図である。
【図２３】他の実施の形態による位置ずれ量検出器の構成を示すブロック図である。
【図２４】信頼度マップの説明に供する略線図である。
【図２５】他の実施の形態による位置ずれ量検出器の構成を示すブロック図である。
【図２６】他の実施の形態による位置ずれ量検出器の構成を示すブロック図である。
【図２７】単板カラーカメラの色配列フィルタの例の説明に供する略線図である。
【図２８】空間分割による露光量制御の説明に供する略線図である。
【図２９】多板撮像素子による露光量制御の説明に供する略線図である。
【図３０】位置ずれの発生の説明に供する略線図である。
【符号の説明】
１０、６０、１００、１２０……ビデオカメラ、１２、１２２……ＣＣＤ、２０……画像合成器、２３、１１１、１２７……位置ずれ補正器、２７、６２、１０８、１０９……位置ずれ量検出器、３０、６４、１１５……特徴点抽出器、４５、６８、１１９……信頼度算出器、４７、１２１……最大値検出器、１０２、１０３……水平積分器、１０４、１０５……垂直積分器、１２４、１２５……輝度分離器。

Claims

露光量の異なる複数の画像を撮像して合成する撮像装置において、
上記複数の画像のうちのいずれかを基準画像とし、上記基準画像及び上記基準画像以外の各画像から特徴点をそれぞれ抽出する特徴点抽出手段と、
上記基準画像の特徴点及び上記基準画像以外の各画像の特徴点の位置関係に基づいて、予め用意されている複数の位置ずれ量候補それぞれにおける信頼度を上記基準画像以外の各画像に対して算出する信頼度算出手段と、
上記各位置ずれ量候補のうち上記信頼度が最大となる上記位置ずれ量候補を上記基準画像以外の各画像における位置ずれ量として検出する最大値検出手段と、
上記位置ずれ量に基づいて上記基準画像以外の各画像の上記基準画像に対する位置ずれをそれぞれ補正する位置ずれ補正手段と、
上記基準画像と位置ずれが補正された上記基準画像以外の各画像とを全て合成する画像合成手段と
を具え、
上記信頼度算出手段は、
上記位置ずれ量候補を用いて上記基準画像の特徴点と上記基準画像以外の画像の特徴点との間の位置ずれを補正し、互いに対応する上記特徴点の位置が一致する数をカウントして上記信頼度を算出することにより、上記複数の位置ずれ量候補それぞれにおける上記信頼度を算出する
撮像装置。
上記特徴点抽出手段は、
上記基準画像及び上記基準画像以外の各画像から複数種類の特徴点を抽出し、
上記信頼度算出手段は、
上記基準画像から抽出された上記複数種類の特徴点及び上記基準画像以外の各画像から抽出された上記複数種類の特徴点の位置関係に基づいて、予め用意されている複数の位置ずれ量候補それぞれの上記信頼度を上記基準画像以外の各画像に対して算出する
請求項１に記載の撮像装置。
上記特徴点は、
画素値が急激に変化するエッジを形成する画素でなる
請求項１に記載の撮像装置。
上記複数の画像それぞれに対して、水平方向の画素列毎に画素値を積分して垂直方向のデータ列を生成すると共に垂直方向の画素列毎に画素値を積分して水平方向のデータ列を生成する積分手段を具え、
上記特徴点抽出手段は、
上記垂直及び水平方向の各データ列を基に上記基準画像の特徴点及び上記基準画像以外の各画像の特徴点をそれぞれ抽出する
請求項１に記載の撮像装置。
上記特徴点抽出手段は、
上記複数の画像に含まれる輝度情報を基に上記基準画像の特徴点及び上記基準画像以外の各画像の特徴点をそれぞれ抽出する
請求項１に記載の撮像装置。
露光量の異なる複数の画像を撮像して合成する撮像方法において、
上記複数の画像のうちのいずれかを基準画像とし、上記基準画像及び上記基準画像以外の各画像から特徴点をそれぞれ抽出する特徴点抽出ステップと、
上記基準画像の特徴点及び上記基準画像以外の各画像の特徴点の位置関係に基づいて、予め用意されている複数の位置ずれ量候補それぞれにおける信頼度を上記基準画像以外の各画像に対して算出する信頼度算出ステップと、
上記各位置ずれ量候補のうち上記信頼度が最大となる上記位置ずれ量候補を上記基準画像以外の各画像における位置ずれ量として検出する最大値検出ステップと
上記位置ずれ量に基づいて上記基準画像以外の各画像の上記基準画像に対する位置ずれをそれぞれ補正する位置ずれ補正ステップと、
上記基準画像と位置ずれが補正された上記基準画像以外の各画像とを全て合成する画像合成ステップと
を具え、
上記信頼度算出ステップは、
上記位置ずれ量候補を用いて上記基準画像の特徴点と上記基準画像以外の画像の特徴点との間の位置ずれを補正し、互いに対応する上記特徴点の位置が一致する数をカウントして上記信頼度を算出することにより、上記複数の位置ずれ量候補それぞれにおける上記信頼度を算出する
撮像方法。