JP4742453B2 - 撮像方法および装置 - Google Patents
撮像方法および装置 Download PDFInfo
- Publication number
- JP4742453B2 JP4742453B2 JP2001187148A JP2001187148A JP4742453B2 JP 4742453 B2 JP4742453 B2 JP 4742453B2 JP 2001187148 A JP2001187148 A JP 2001187148A JP 2001187148 A JP2001187148 A JP 2001187148A JP 4742453 B2 JP4742453 B2 JP 4742453B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- exposure
- imaging
- short
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/58—Control of the dynamic range involving two or more exposures
- H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
- H04N25/585—Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Exposure Control For Cameras (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、ビデオカメラ、スチルカメラ、監視カメラおよび車載カメラなどの画像入力装置などに好適に利用可能なものであり、特に、異なる露光条件で撮像した複数の画像を合成することにより、１つの露光条件で撮像された画像よりもダイナミックレンジの広い単一の画像を生成するための撮像方法および装置に関する。
【０００２】
【従来の技術】
従来、露光量の異なる複数の画像を撮像するための方法としては、例えば撮像素子としてＣＣＤ（Charge Coupled Device）を用い、電子シャッターによって露光時間を変化させ、時分割的に複数の画像を撮像するものが知られている。
【０００３】
図１２は、この時分割的な撮像方法の原理を示している。図１２において、横軸は時間方向を示し、縦軸は撮像素子における蓄積電荷量を示す。図１２の例では、あるフィールド期間において、通常の撮像と同様に電荷の蓄積、読み出しが行われた後、垂直ブランキング期間Ｔblkを利用して、再度蓄積、および読み出しの動作が行われ、これにより、１フィールド期間Ｔfに対応して露光時間の異なる２枚画像が得られる。図１２において、符号１０１，１０２を付した部分が、それぞれ、異なる露光時間の画像として読み出される電荷を示している。
【０００４】
また、別の方法としては、図１３に示すように１つの撮像素子上の各画素１１１の上に、例えば１ラインごとにＮＤ（Neutral Density）フィルタ１１２を配列し、空間分割的に露光量の異なる画像を撮像する方法もある。ＮＤフィルタ１１２が設置された画素とそれ以外の部分とでは、光の透過率が異なるので、これにより、露光量の異なる画像を撮像することができる。さらに、複数の撮像素子を用意し、各撮像素子の全面にそれぞれ透過率の異なるＮＤフィルタを設置し、空間解像度を落とすことなく、複数の画像を撮像する方法もある。図１４は、この方法による撮像装置の例であり、２つの撮像素子１２１，１２２の一方に対してＮＤフィルタ１２４を設置している。この例では、入射光が、ハーフミラー１２３によって２分割され、各撮像素子１２１，１２２に入射する。一方の撮像素子１２２にはＮＤフィルタ１２４が設置されているので、他方の撮像素子１２１とは露光量の異なる画像を撮像することができる。
【０００５】
また、以上のようにして得られた露光量の異なる複数の画像を合成する方法としては、撮像されたときの露光量の比に応じた係数を各画像に積算したのち、しきい値処理により各画像を切り替える方法が知られている。図１５は、この方法の原理を示したものであり、横軸が撮像素子への入射光量を、縦軸は撮像素子からの出力信号のレベル、すなわち撮像された画像の画素レベルを表わしている。図１５では、例えば相対的に長い露光時間で撮像された画像ｙＬについては、入射光量と出力信号のレベルとの関係が、入射光量があるレベルＴＨ未満では傾きが大きい直線で表わされ、あるレベルＴＨ以上では、撮像素子の飽和により出力信号は一定の値となる。また相対的に短い露光時間によって撮像された画像ｙＳについては、画像ｙＬに比べて、直線の傾きは小さく、出力信号はより高い入射光量で飽和する。画像の合成は、図中、符号ｙＳ'で示した直線のように、はじめに短時間露光に対応する出力信号に対し係数ｇが積算されて直線部分の傾きが長時間露光のものと合わせられた後、長時間露光に対応する出力信号を参照し、入射光量のレベルがあるしきい値ＴＨ以下である場合には長時間露光による出力信号を、しきい値ＴＨより大きい場合には短時露光による出力信号を選択することで行われる。これを式で表すと、以下の（１）式のようになる。
【０００６】
【数１】
【０００７】
ここで、短時間露光に対応する信号ｙＳに積算される係数ｇは、各露光時間の比であり、以下の（２）式によって与えられる。
【０００８】
【数２】
【０００９】
（２）式におけるＴlong，Ｔshortは、それぞれ長時間露光、短時間露光の露光時間である。従って、露光時間の比がＮ倍である場合、合成画像のダイナミックレンジはＮ倍に拡大されたことになる。露光時間が３種類以上ある場合には、露光時間の長いものから順に（１）式の合成処理を繰り返し適用すれば良い。
【００１０】
なお、ここでは露光時間によって露光量を制御する撮像方式、すなわち時分割的な撮像法を前提として説明したが、実際には上述したどの撮像方式を用いても、同じ合成方法を用いることができる。
【００１１】
このように生成されたダイナミックレンジの広い画像を、出力すべき伝送系、表示装置などの能力に合わせて圧縮する方法としては、入力画像の各画素に対し、そのレベルを図１６の実線で示すような入出力関係を持つ関数（以下、「レベル変換関数」と記す。）で変換する方法（以下、「レベル変換」と記す。）がある。図１６において、横軸は入力画像の画素レベル（入力レベル）ｌを、縦軸はレベル変換処理による出力画像の画素レベル（出力レベル）Ｔ（ｌ）を表す。Ｌin・maxは、入力画像の各画素が取り得る最大レベルを、Ｌout・maxは、出力画像の各画素が取り得る最大レベルを表す。レベル変換後の画像のコントラストは、レベル変換関数の傾きが大きいほど高いことになる。図１６の例では、入力レベルｌｋを境にして、高レベル側におけるレベル変換関数を示す直線の傾きが、低レベル、中間レベルでの傾きに比べて小さくなっている。従って、図１６に示したレベル変換では、高レベルでのコントラストを犠牲にすることで、低レベル、中間レベルでのコントラストを確保したまま全体のダイナミックレンジを圧縮している。
【００１２】
また別の圧縮方法としては、入力画像の画素レベルの頻度分布に応じて、レベル変換関数を適応的に変化させるものがあり、その代表例としてはヒストグラムイコライゼーションと呼ばれる方法が挙げられる。図１７（Ａ），（Ｂ）に、このヒストグラムイコライゼーションの原理を示す。図１７（Ａ）において、横軸は入力画像の画素レベル（入力レベル）ｌを、縦軸は度数（頻度または累積頻度）を表す。Ｆmaxは、累積頻度の最大値であり、頻度を算出するために用いる画素の総数である。この方法では、図１７（Ａ）に示したように、はじめに入力画像の画素レベルｌに関する頻度分布Ｈ（ｌ）が生成され、次に以下の（３）式を用いて累積頻度分布Ｃ（ｌ）が生成される。
【００１３】
【数３】
【００１４】
この累積頻度分布Ｃ（ｌ）の縦軸を、以下の（４）式を用いて出力画像が取り得るレベル範囲に正規化することにより、レベル変換関数Ｔ（ｌ）が生成される（図１７（Ｂ））。この関数Ｔ（ｌ）を用いることにより、出現頻度の高いレベルによって構成される領域（面積が大きい領域）のコントラストを確保して、全体のダイナミックレンジを圧縮することが可能となる。
【００１５】
【数４】
【００１６】
ところで、撮像素子の前面に、各画素に対応して所定のパターンの色フィルタを配置することにより、単一の撮像素子のみでカラー画像を撮像するようになされた、いわゆる単板式のカラー撮像装置がある。図１８は、その色フィルタの一例であり、Ｙｅ（イエロー）、Ｃｙ（シアン）、Ｍｇ（マゼンタ）およびＧ（グリーン）の補色系のフィルタが所定順序で配列されている。単板式のカラー撮像装置における出力信号は、図１９に示したように、輝度情報を表す輝度信号ｙに色情報を表す周波数変調された色信号ｃが重畳された形のものとなる。次に、このような単板式のカラー撮像装置によって得られた複数のカラー画像信号を合成し、さらに圧縮するための従来法について説明する。
【００１７】
はじめに、各露光量で撮像された画像信号は、次の（５）式（（５Ａ），（５Ｂ），（５Ｃ））により輝度信号および色信号に分離される。
【００１８】
【数５】
【００１９】
ここで、式中、ｘは輝度信号と色信号とが混合された画像信号を、ｙは分離された輝度信号を、またｃは分離された色信号を表す。ＬＰＦｙ（），ＬＰＦｃ（）は、それぞれ、輝度分離用、色分離用のローパスフィルタである。
【００２０】
（５）式によって分離された輝度信号ｙは、上述した方法（図１５〜図１７参照）によって合成、圧縮が施される。これに対し色信号ｃは、多くの露光量（長時間露光）で得られた輝度信号の大きさを参照して、次の（６）式のような処理によって合成される。
【００２１】
【数６】
【００２２】
（６）式において、ｙＬ，ｃＬは多くの露光量で得られた輝度信号、および色信号であり、ｃＳは少ない露光量（短時間露光）で得られた色信号である。また、ｇは（２）式で示したような露光量の比である。
【００２３】
この合成された色信号ｃ'は、輝度信号に対する比率が変化しないように、次の（７）式によって圧縮される。（７）式において、ｙ'は、（１）式のようなダイナミックレンジの拡大された輝度信号を表し、ｙ''は、ダイナミックレンジの圧縮された輝度信号を表している。
【００２４】
【数７】
【００２５】
【発明が解決しようとする課題】
ところで、時分割的に露光量を変えて複数の画像を撮像、合成する方式においては、不可避的に撮像時刻に差が存在するため、撮像された画像間にカメラや撮像対象の動きによる“動きずれ”が生じる可能性がある。
【００２６】
図２０（Ａ）〜（Ｃ）を参照して、まず、撮像対象が移動する場合を例にこの動きずれによって生じる問題点を説明する。ここでは、輝度のレベルの低い静止背景の前方を、輝度のレベルの高い物体が移動している情景を撮像するものとする。図２０（Ａ），（Ｂ）は、それぞれ、この情景を長時間露光、および短時間露光で撮像して得られた画像を表すものであり、簡単のために１次元信号として表してある。横軸ｘは画像上の位置座標を表す。
【００２７】
各画像上において、Ｆは対象物体に対応する領域であるが、露光時刻の時間間隔における運動により、その画像上の位置には距離Ｄ＝ｘ３−ｘ２＝ｘ１−ｘ０だけのずれが生じている。Ｆ０〜Ｆ２は物体領域内における相対位置を表しており、Ｆ０は物体の左端、Ｆ１は物体の右端、Ｆ２は物体上でＦ１から左にＤの距離にある位置を表している。また、Ｂ０〜Ｂ３は背景上の相対位置であり、Ｂ０は長時間露光撮像時刻において物体の左端Ｆ０と接する背景位置を、Ｂ１は同時刻において物体の右端Ｆ１と接する背景位置を、Ｂ２は短時間露光撮像時において物体の左端Ｆ０に接する背景位置を、Ｂ３は同時刻において物体の右端Ｆ１に接する背景の位置をそれぞれ表している。ただし、ここでは物体の運動による動きずれのみを考えるため、背景は静止しているものとする。従って、背景領域上の相対位置Ｂ０，Ｂ１，Ｂ２，Ｂ３は、それぞれ画像上の座標ｘ０，ｘ２，ｘ１，ｘ３に１対１で対応している。短時間露光画像（図２０（Ｂ））の物体領域Ｆにおける信号レベルの勾配が長時間露光画像（図２０（Ａ））の物体領域には存在していないが、これは長時間露光により物体領域における信号レベルが飽和したことを示している。
【００２８】
図２０（Ｃ）は、これら図２０（Ａ），（Ｂ）の２つの画像を上述の（１）式により合成した画像を表している。この合成画像では、長時露光画像（図２０（Ａ））が飽和している画像位置ｘ０〜ｘ２の部分では短時間露光画像（図２０（Ｂ））に露光比ｇを積算したものが、それ以外の部分（長時露光画像が飽和していない部分）では長時間露光画像（図２０（Ａ））そのものが現れている。ここで、この合成画像において、画像位置ｘ２は見かけ上、背景領域と物体領域の境界点になっているが，画像位置ｘ２の左側近傍は、物体領域の右端Ｆ１ではなく、物体領域内の点Ｆ２に対応している。すなわち、図中、破線で示したように物体領域上のＦ２〜Ｆ１の部分が欠落していることになる。
【００２９】
一方、図２０（Ｃ）の合成画像上の位置ｘ０から左側の部分、および位置ｘ０〜ｘ１の部分はいずれも背景領域を表しており、画像の内容も連続している。しかしながら、前者（位置ｘ０から左側）が長時間露光画像であるのに対して、後者（位置ｘ０〜ｘ１）は短時間露光画像に露光比ｇを積算したものであり、それらの間ではＳＮ比（signal-to-noise ratio，以下、単にＳＮと記す。）が異なることになる。通常ダイナミックレンジを圧縮する場合には、信号レベルが大きいほど圧縮率も大きくなるため、信号レベルの高い部分で短時間画像が用いられる場合にはノイズも圧縮されて大きな問題とはならない。実際、画像を合成するときには、短時間露光画像は長時間露光画像が飽和している部分で用いられるため、動きずれがなく正確に短時間露光画像と長時間露光画像が対応している場合には、合成画像に表れる短時間露光画像のレベルも非常に高い。しかしながら、動きずれが生じている場合には、図２０（Ａ）〜（Ｃ）で示したとおり、長時間露光画像が飽和していても、それに対応する短時間露光画像上の領域ではレベルが低い可能性があり、このような領域（位置ｘ０〜ｘ１の部分）では他の領域に比べて十分な圧縮がなされずにＳＮが大きく劣化することになる。
【００３０】
次に、図２１（Ａ）〜（Ｃ）を参照して、撮像対象は静止しているが、撮像カメラ自体が手ぶれなどによって移動した場合の動きずれによって生じる問題点を説明する。図２１（Ａ）〜（Ｃ）は、それぞれ、カメラ自体が移動した場合の、長時間露光画像、短時間露光画像および合成画像の関係を示している。この場合、物体自体は静止しており、物体領域と背景領域の相対的な位置関係に変化はないため、物体の左端Ｆ０、または右端Ｆ１に接する背景上の相対位置は常にＢ０，Ｂ１であり、撮像時刻によって変化することはない。またこの場合のＢ２は、背景上のＢ０よりずれ量Ｄだけ左に存在する背景上の位置とする。ただし、背景自体の画像上における位置が変化するため、これら背景上の相対位置Ｂ０，Ｂ１，Ｂ２と画像上の位置座標の間には１対１の関係は成立しない。
【００３１】
この場合にも、物体が運動している場合と同様、図２１（Ｃ）に示したように、物体領域Ｆ２〜Ｆ１の欠落、および画像位置ｘ０〜ｘ１におけるＳＮの劣化が生じるが、さらに合成画像上の位置ｘ０において画像内容の不連続が生じる。すなわち、合成画像における位置ｘ０〜ｘ１の画像内容は、短時間露光画像（図２１（Ｂ））に由来しており、短時間露光画像における背景の位置Ｂ２〜Ｂ０の部分に対応する。その一方、長時間露光画像（図２１（Ａ））に由来する位置ｘ０より左側の部分においては、位置ｘ０は長時間露光画像における背景上のＢ０に対応しており、位置ｘ０より左側においても長時間露光画像における背景Ｂ２〜Ｂ０が重複して表現されていることになる。すなわち、合成画像では、長時間露光画像で得られた背景Ｂ２〜Ｂ０の次に、さらに短時間露光画像で得られた背景Ｂ２〜Ｂ０が重複して現れることになる。
【００３２】
以上の動きずれに起因する種々の問題のうち、物体領域の欠落、および背景領域の重複は、異なる手段によりさらに多くの画像情報を入力しない限りは本質的には解決できないが、それらは視覚的に感度が低くなる動領域の近傍に発生するため、主観的にはそれほど大きな画質劣化にはならない。これに対し、レベルの低い領域において短時間露光画像を用いることによるＳＮの劣化は、経験的にも大きな画質劣化の要因となるので、特に、この問題を解決することが望まれる。
【００３３】
本発明はかかる問題点に鑑みてなされたもので、その目的は、時分割方式によって得られた露光量の異なる複数の画像間に動きずれがあったとしても、それによって生ずるＳＮの劣化を回避し、主観的に好ましい合成画像を生成することができる撮像方法および装置を提供することにある。
【００３４】
【課題を解決するための手段】
本発明による撮像方法は、露光条件の異なる複数の画像を異なる時刻において撮像する撮像過程と、複数の画像の少なくとも１つに対して撮像時の露光量を補正して少なくとも１つの補正画像を生成する露光量補正過程と、補正画像を含む複数の画像から、複数の画像間で動きずれの生じている位置を検出する動きずれ検出過程と、動きずれ検出過程での検出結果に基づいて、複数の画像を合成し、ダイナミックレンジの広い単一の画像を生成する合成過程とを含むものである。
そして、動きずれ検出過程では、複数の画像のうち２つの画像に関して、露光量が大きい画像の画素レベルに飽和が発生し、なおかつ小さい露光量に対応する補正画像上の画素レベルが、露光量が大きい画像の画素レベルよりも小さい場合に、２つの画像の間に動きずれが存在すると判定するようにしたものである。
【００３５】
本発明による撮像装置は、露光条件の異なる複数の画像を異なる時刻において撮像する撮像手段と、複数の画像の少なくとも１つに対して撮像時の露光量を補正して少なくとも１つの補正画像を生成する露光量補正手段と、補正画像を含む複数の画像から、複数の画像間で動きずれの生じている位置を検出する動きずれ検出手段と、動きずれ検出手段の検出結果に基づいて、複数の画像を合成し、ダイナミックレンジの広い単一の画像を生成する合成手段とを備えたものである。
そして、動きずれ検出手段が、複数の画像のうち２つの画像に関して、露光量が大きい画像の画素レベルに飽和が発生し、なおかつ小さい露光量に対応する補正画像上の画素レベルが、露光量が大きい画像の画素レベルよりも小さい場合に、２つの画像の間に動きずれが存在すると判定するようにしたものである。
【００３６】
本発明による撮像方法および装置では、露光条件の異なる複数の画像が、異なる時刻において撮像されると共に、複数の画像の少なくとも１つに対して、撮像時の露光量を補正して少なくとも１つの補正画像が生成される。そして、補正画像を含む複数の画像から、複数の画像間で動きずれの生じている位置が検出され、その検出結果に基づいて、複数の画像が合成され、ダイナミックレンジの広い単一の画像が生成される。動きずれに応じて複数の画像を合成するので、動きずれがあったとしても、主観的に好ましい合成画像が得られる。
【００３７】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００３８】
［第１の実施の形態］
図１に示したように、本実施の形態に係る撮像装置は、撮像器１０と、ゲイン補正器１１と、合成係数算出器１２と、差分係数算出器１３と、乗算器１４と、平滑化器１５と、合成器１６とを備えている。
【００３９】
なお、本撮像装置において処理される画像信号は、２次元ディジタル画像を図２に示すように水平方向、垂直方向の順に走査して得られた時系列な画素値の信号である。以下では、２次元画像上の任意の位置（ｘ，ｙ）に対応する画素値を、例えばＩ（ｘ，ｙ）と表す。
【００４０】
撮像器１０は、露光条件の異なる複数の画像を異なる時刻において撮像する機能を有しており、例えばＣＣＤを含んで構成されている。本実施の形態では、撮像器１０が、露光時間の異なる２つの画像を時分割的に撮像するものとし、そのうち、相対的に露光時間が長い画像（露光量が大きい画像）を長時間露光画像ｘＬ（ｘ，ｙ）、相対的に露光時間が短い画像（露光量が小さい画像）を短時間露光画像ｘＳ（ｘ，ｙ）と表現する。撮像器１０によって撮像された長時間露光画像ｘＬ（ｘ，ｙ）は、合成係数算出器１２、差分係数算出器１３および合成器１６に送られる。また短時間露光画像ｘＳ（ｘ，ｙ）は、ゲイン補正器１１に送られる。
【００４１】
ゲイン補正器１１は、撮像器１０によって撮像された露光時間の異なる２つの画像のうち、短時間露光画像ｘＳ（ｘ，ｙ）に対して撮像時の露光量を補正する機能を有している。ゲイン補正器１１によって行われる露光量の補正は、例えば、短時間露光画像ｘＳ（ｘ，ｙ）の各画素値に対して、上述の（２）式に示す露光時間の比を表す係数ｇを積算することにより行われる。ゲイン補正器１１によって露光量を補正することにより得られた補正短時間露光画像ｘＳ'（ｘ，ｙ）は、差分係数算出器１３、平滑化器１５、および合成器１６に送られる。
【００４２】
合成係数算出器１２は、図３に示したように、例えば、減算器２０、除算器２１およびリミッタ２２を有して構成されている。この合成係数算出器１２は、長時間露光画像ｘＬ（ｘ，ｙ）に基づいて、合成器１６において露光時間の異なる画像を合成するための合成係数Ｃ（ｘ，ｙ）を算出する機能を有している。合成係数算出器１２によって算出された合成係数Ｃ（ｘ，ｙ）は、乗算器１４と合成器１６とに送られる。
【００４３】
差分係数検出器１３は、図４に示したように、例えば、第１の減算器３０、第２の減算器３１、除算器３２およびリミッタ３３を有して構成されている。この差分係数検出器１３は、長時間露光画像ｘＬ（ｘ，ｙ）と補正短時間露光画像ｘＳ'（ｘ，ｙ）との差分の大きさを表す差分係数Ｄ（ｘ，ｙ）を算出する機能を有している。差分係数検出器１３によって算出された差分係数Ｄ（ｘ，ｙ）は、乗算器１４に送られる。
【００４４】
乗算器１４は、以下の（８）式で表されるように、合成係数Ｃ（ｘ，ｙ）と差分係数Ｄ（ｘ，ｙ）との積から、動きずれ係数Ｍ（ｘ，ｙ）を算出するようになっている。乗算器１４によって算出された動きずれ係数Ｍ（ｘ，ｙ）は、合成器１６に送られる。動きずれ係数Ｍ（ｘ，ｙ）は、動きずれの度合いを示すものであり、後述するように、長時間露光画像ｘＬ（ｘ，ｙ）の信号レベル（画素レベル）が高く（飽和レベルに近く）、なおかつ長時間露光画像ｘＬ（ｘ，ｙ）と補正短時間露光画像ｘＳ'（ｘ，ｙ）との差が大きいほど大きな値となるように設定されている。すなわち、この動きずれ係数Ｍ（ｘ，ｙ）の値が大きい画素位置が、長時間露光画像ｘＬ（ｘ，ｙ）と短時間露光画像ｘＳ（ｘ，ｙ）との間で動きずれが生じている可能性が高いとみなされる。
【００４５】
【数８】
【００４６】
平滑化器１５は、補正短時間露光画像ｘＳ'（ｘ，ｙ）に対して平滑化処理を行う機能を有している。平滑化器１５における平滑化処理には、ノイズ低減を目的として一般的に使われる線形ローパスフィルタ、またはメディアンフィルタを始めとする非線形フィルタを用いることができる。平滑化器１５によって平滑化された後の短時間露光画像ｘＳ''（ｘ，ｙ）は、合成器１６に送られる。
【００４７】
合成器１６は、図５に示したように、例えば、短時間露光画像合成器４０と長短露光画像合成器４１とを有して構成されている。この合成器１６は、撮像器１０によって撮像された長時間露光画像ｘＬ（ｘ，ｙ）、ゲイン補正器１１によって補正された補正短時間露光画像ｘＳ'（ｘ，ｙ）、および平滑化器１５によって平滑化された短時間露光画像ｘＳ''（ｘ，ｙ）を、乗算器１４によって算出された動きずれ係数Ｍ（ｘ，ｙ）をもとに合成し、ダイナミックレンジの広い画像Ｘ（ｘ，ｙ）を生成する機能を有している。合成器１６によって生成されたダイナミックレンジの広い画像Ｘ（ｘ，ｙ）は、図示しない画像表示装置、画像蓄積装置または画像伝送装置などに出力される。
【００４８】
なお、本実施の形態において、ゲイン補正器１１が、本発明における「露光量補正手段」の一具体例に対応する。また、主として合成係数算出器１２、差分係数算出器１３および乗算器１４が、本発明における「動きずれ検出手段」の一具体例に対応する。
【００４９】
次に、以上のように構成された本実施の形態に係る撮像装置の作用、動作を説明する。なお、以下の説明は、本実施の形態に係る撮像方法の説明を兼ねている。
【００５０】
まず、撮像器１０によって、露光時間の異なる２つの画像が時分割的に撮像される。撮像器１０は、撮像した２つの画像のうち、相対的に露光量が大きい長時間露光画像ｘＬ（ｘ，ｙ）を、合成係数算出器１２、差分係数算出器１３および合成器１６に出力する。一方、露光量の小さい短時間露光画像ｘＳ（ｘ，ｙ）は、ゲイン補正器１１に出力される。
【００５１】
ゲイン補正器１１は、例えば上述した（２）式に示す露光時間の比を表す係数ｇを、短時間露光画像ｘＳ（ｘ，ｙ）の各画素値に対して積算することにより、短時間露光画像ｘＳ（ｘ，ｙ）の撮像時の露光量を補正する。ゲイン補正器１１は、補正することによって得られた補正短時間露光画像ｘＳ'（ｘ，ｙ）を、差分係数算出器１３、平滑化器１５、および合成器１６に出力する。
【００５２】
合成係数算出器１２は、撮像器１０から出力された長時間露光画像ｘＬ（ｘ，ｙ）に基づいて、合成係数Ｃ（ｘ，ｙ）を算出し、それを乗算器１４と合成器１６とに出力する。
【００５３】
合成係数算出器１２における合成係数Ｃ（ｘ，ｙ）の算出は、より詳しくは、例えば図３に示したように行われる。合成係数算出器１２において、長時間露光画像ｘＬ（ｘ，ｙ）は、まず減算器２０に入力される。減算器２０は、入力された長時間露光画像ｘＬ（ｘ，ｙ）の各画素値から、あらかじめ設定された定数ＭＩＮＬを減算する。減算後の長時間露光画像ｘＬ（ｘ，ｙ）は、次に除算器２１に出力され、そこで、あらかじめ設定された定数ＲＮＧＬによって除算され、係数Ｃ（ｘ，ｙ）が算出される。減算器２０および除算器２１によるこれらの処理は、長時間露光画像ｘＬ（ｘ，ｙ）に対する正規化処理であり、数学的には以下の（９）式のように表される。
【００５４】
【数９】
【００５５】
このように算出された係数Ｃ（ｘ，ｙ）は、リミッタ２２に送られ、そこで、以下の（１０）式で表される値の制限がなされる。このリミッタ２２による値の制限のなされたものが、改めて合成係数Ｃ（ｘ，ｙ）として出力される。
【００５６】
【数１０】
【００５７】
一方、差分係数検出器１３は、長時間露光画像ｘＬ（ｘ，ｙ）と補正短時間露光画像ｘＳ'（ｘ，ｙ）との差分の大きさを表す差分係数Ｄ（ｘ，ｙ）の算出を行い、それを乗算器１４に出力する。
【００５８】
差分係数検出器１３における差分係数Ｄ（ｘ，ｙ）の算出は、より詳しくは、例えば図４に示したように行われる。差分係数検出器１３において、長時間露光画像ｘＬ（ｘ，ｙ）および補正短時間露光画像ｘＳ'（ｘ，ｙ）は、第１の減算器３０に入力される。第１の減算器３０は、入力された長時間露光画像ｘＬ（ｘ，ｙ）の各画素値から、補正短時間露光画像ｘＳ'（ｘ，ｙ）の対応する画素値を減算し、値ＬＳdifを算出する。算出された値ＬＳdifを示す信号は、第２の減算器３１に出力される。
【００５９】
第２の減算器３１は、第１の減算器３０によって算出された値ＬＳdifから、あらかじめ設定された定数ＭＩＮdifを減算し、その結果を除算器３２に出力する。除算器３２は、除算器３２からの出力に対して、あらかじめ設定された定数ＲＮＧdifによる除算を施し、係数Ｄ（ｘ，ｙ）を算出する。第２の減算器３１および除算器３２による処理は、長時間露光画像ｘＬ（ｘ，ｙ）と補正短時間露光画像ｘＳ'（ｘ，ｙ）との差分である値ＬＳdifに対する正規化処理であり、数学的には上述の（９）式と同様の処理となる。
【００６０】
除算器３２によって算出された係数Ｄ（ｘ，ｙ）は、リミッタ３３に送られ、そこで、上述の（１０）式と実質的に同様にして、値の制限がなされる。このリミッタ３３による値の制限のなされたものが、改めて差分係数Ｄ（ｘ，ｙ）として乗算器１４に出力される。
【００６１】
以上のようにして合成係数算出器１２と差分係数算出器１３とで算出された合成係数Ｃ（ｘ，ｙ）と差分係数Ｄ（ｘ，ｙ）は、乗算器１４によって乗算され、動きずれ係数Ｍ（ｘ，ｙ）として合成器１６に出力される。
【００６２】
ところで、動きずれ係数Ｍ（ｘ，ｙ）は、上述の（８）式にも示したように合成係数Ｃ（ｘ，ｙ）と差分係数Ｄ（ｘ，ｙ）との積である。一方、合成係数Ｃ（ｘ，ｙ）と差分係数Ｄ（ｘ，ｙ）の値は、合成係数算出器１２と差分係数算出器１３とにおいて、上述した正規化処理および値の制限が行われることにより、それぞれ０．０以上１．０以下となっている。従って、それらの積である動きずれ係数Ｍ（ｘ，ｙ）も、０．０以上１．０以下の値を取る。また、（９）式から分かるように、長時間露光画像ｘＬ（ｘ，ｙ）の信号レベルが高いとき（飽和レベルに近いとき）には、合成係数Ｃ（ｘ，ｙ）の値が大きくなる。また、長時間露光画像ｘＬ（ｘ，ｙ）と補正短時間露光画像ｘＳ'（ｘ，ｙ）との差が大きいほど、それらの差分である差分係数Ｄ（ｘ，ｙ）の値は大きくなる。従って、合成係数Ｃ（ｘ，ｙ）と差分係数Ｄ（ｘ，ｙ）との積である動きずれ係数Ｍ（ｘ，ｙ）は、長時間露光画像ｘＬ（ｘ，ｙ）の信号レベルが高く、なおかつ長時間露光画像ｘＬ（ｘ，ｙ）と補正短時間露光画像ｘＳ'（ｘ，ｙ）との差が大きいほど大きな値となる。
【００６３】
このように、本実施の形態では、合成係数算出器１２および差分係数算出器１３において、長時間露光画像ｘＬ（ｘ，ｙ）および補正短時間露光画像ｘＳ'（ｘ，ｙ）に基づいて、合成係数Ｃ（ｘ，ｙ）および差分係数Ｄ（ｘ，ｙ）が算出される。さらに、これら２つの係数に基づいて、乗算器１４において動きずれ係数Ｍ（ｘ，ｙ）を算出することにより、露光量の異なる複数の画像間において動きずれの生じている位置が検出される。
【００６４】
なお、動きずれ係数Ｍ（ｘ，ｙ）が大きく、２つの画像間に動きずれが存在すると判定される場合、すなわち、長時間露光画像ｘＬ（ｘ，ｙ）の信号レベルが高く、なおかつ長時間露光画像ｘＬ（ｘ，ｙ）と補正短時間露光画像ｘＳ'（ｘ，ｙ）との差が大きい場合には、補正短時間露光画像ｘＳ'（ｘ，ｙ）の信号レベルが、長時間露光画像ｘＬ（ｘ，ｙ）の信号レベルに比べてかなり小さくなっていることを意味する。
【００６５】
ところで、平滑化器１５では、ゲイン補正器１１による補正のなされた補正短時間露光画像ｘＳ'（ｘ，ｙ）に対してノイズ低減のための平滑化処理が行われ、その平滑化された後の短時間露光画像ｘＳ''（ｘ，ｙ）が、合成器１６に出力される。
【００６６】
合成器１６には、長時間露光画像ｘＬ（ｘ，ｙ）、補正短時間露光画像ｘＳ'（ｘ，ｙ）、および短時間露光画像ｘＳ''（ｘ，ｙ）と共に、動きずれ係数Ｍ（ｘ，ｙ）および合成係数Ｃ（ｘ，ｙ）が入力される。合成器１６は、これらの入力信号に基づいて、ダイナミックレンジの広い合成画像Ｘ（ｘ，ｙ）を生成し、それを、図示しない画像表示装置、画像蓄積装置または画像伝送装置などに出力する。
【００６７】
合成器１６における画像の合成処理は、例えば図５に示したように行われる。合成器１６において、補正短時間露光画像ｘＳ'（ｘ，ｙ）および平滑化された短時間露光画像ｘＳ''（ｘ，ｙ）は、短時間露光画像合成器４０に入力される。短時間露光画像合成器４０は、入力された補正短時間露光画像ｘＳ'（ｘ，ｙ）と短時間露光画像ｘＳ''（ｘ，ｙ）とを、動きずれ係数Ｍ（ｘ，ｙ）に応じて以下の（１１）式のように合成する。
【００６８】
【数１１】
【００６９】
すなわち、（１１）式から分かるように、短時間露光画像合成器４０は、短時間露光画像ｘＳ（ｘ，ｙ）に関して、動きずれ係数Ｍ（ｘ，ｙ）が大きく、動きずれの生じている可能性の高い位置では、より平滑化された信号（ｘＳ''（ｘ，ｙ））が出力されるようにする。平滑化がなされることにより、動きずれ係数Ｍ（ｘ，ｙ）が生じることによるＳＮの劣化が防止される。短時間露光画像合成器４０は、このように合成することによって得られた合成短時間露光画像ｘＳ'''（ｘ，ｙ）を、長短露光画像合成器４１に出力する。
【００７０】
長短露光画像合成器４１は、合成係数Ｃ（ｘ，ｙ）に応じて、長時間露光画像ｘＬ（ｘ，ｙ）と合成短時間露光画像ｘＳ'''（ｘ，ｙ）とを以下の（１２）式により合成する。
【００７１】
【数１２】
【００７２】
すなわち、（１２）式から分かるように、長短露光画像合成器４１は、合成係数Ｃ（ｘ，ｙ）が大きく、長時間露光画像ｘＬ（ｘ，ｙ）が飽和レベルに近づくほど、合成短時間露光画像ｘＳ'''（ｘ，ｙ）の割合が大きくなるように合成する。このとき、動きずれが生じていたとしても、その画素領域では、（１１）式で示したように、合成短時間露光画像ｘＳ'''（ｘ，ｙ）には平滑化された短時間露光画像ｘＳ''（ｘ，ｙ）の割合が多く含まれているので、動きずれによるＳＮの劣化が防止される。一方、合成係数Ｃ（ｘ，ｙ）が小さく、長時間露光画像ｘＬ（ｘ，ｙ）が飽和レベルに達していない場合には、長時間露光画像ｘＬ（ｘ，ｙ）の割合が大きくなるように合成される。このようにして合成された画像Ｘ（ｘ，ｙ）が、広ダイナミックレンジ画像として出力される。なお、動きずれが存在しない領域においては、長時間露光画像ｘＬ（ｘ，ｙ）と補正短時間露光画像ｘＳ'（ｘ，ｙ）とのうち、画素レベルの飽和が発生しておらず、かつ撮像時の露光量が大きな方の画像の割合が多くなるよう合成される。
【００７３】
以上説明したように、本実施の形態によれば、動きずれ係数Ｍ（ｘ，ｙ）を算出して、露光量の異なる画像間で動きずれの生じている位置を検出し、その検出結果に基づいて、動きずれが生じていると思われる画素領域では、平滑化された短時間露光画像ｘＳ''（ｘ，ｙ）をより多く用いて、ダイナミックレンジの広い単一の画像を生成するようにしたので、動きずれがあったとしても、主観的に好ましい合成画像Ｘ（ｘ，ｙ）を得ることができる。すなわち、長時間露光画像ｘＬ（ｘ，ｙ）が飽和して短時間露光画像ｘＳ（ｘ，ｙ）が選択されるべき部分において、動きずれが生じ、短時間露光画像ｘＳ（ｘ，ｙ）のレベルが低くなっている場合（図２０参照）に、その領域のみにおいて短時間露光画像ｘＳ（ｘ，ｙ）が平滑化されることになり、合成画像上の高レベル領域における解像度の低下を伴うことなく、動きずれ部分のＳＮ劣化を回避することができる。
【００７４】
なお、本実施の形態では、合成器１６からダイナミックレンジの拡大された画像Ｘ（ｘ，ｙ）を出力するようにしているが、通常の画像表示装置、画像伝送装置および画像蓄積装置などでは、このように広いダイナミックレンジを持つ画像を扱うことは困難である。このような場合には、合成器１６の後段に、例えば図１６および図１７に示されるようなレベル変換関数を用いたレベル変換処理を行う手段を設け、ダイナミックレンジを圧縮するようにすれば良い。
【００７５】
また、本実施の形態では、平滑化器１５において、ゲイン補正の施された補正短時間露光画像ｘＳ'（ｘ，ｙ）に対して平滑化処理を行っているが、この場合、平滑処理を施す画像のダイナミックレンジが既に広がっているために、演算量が多くなる。これを回避するために、例えば、撮像器１０によって得られた短時間露光画像ｘＳ（ｘ，ｙ）を直接平滑化すると共に、その後段にゲイン補正器１１とは別に第２のゲイン補正手段を設置するようにしても良い。
【００７６】
さらに、本実施の形態では、露光時間の異なる画像を合成するための合成係数Ｃ（ｘ，ｙ）を、動きずれ係数Ｍ（ｘ，ｙ）の算出にも用いているが、（８）式において差分係数Ｄ（ｘ，ｙ）に積算する係数を別の演算によって求めることも可能である。例えば、（１０）式の正規化処理においてＭＩＮＬ，ＲＮＧＬとは異なる定数を用いて算出した別の係数Ｃ'（ｘ，ｙ）を、動きずれ係数Ｍ（ｘ，ｙ）の算出に用いるようにしても良い。
【００７７】
［第２の実施の形態］
次に、本発明の第２の実施の形態について説明する。なお、以下の説明では、上記第１の実施の形態における構成要素と実質的に同一の機能を有する部分には同一の符号を付し、適宜説明を省略する。
【００７８】
図６は，本発明の第２の実施の形態に係る撮像装置の構成を示している。本実施の形態と第１の実施の形態との違いは、合成器１６における各露光画像の合成方法にある。ダイナミックレンジを拡大するよう、長時間露光画像ｘＬ（ｘ，ｙ）と短時間露光画像ｘＳ（ｘ，ｙ）とを合成するためには、短時間露光画像ｘＳ（ｘ，ｙ）について、あらかじめ撮像時の露光量の差を補正してやる必要がある。第１の実施の形態では、これを撮像器１０の後段に設けられたゲイン補正器１１で行い、その結果（補正短時間露光画像ｘＳ'（ｘ，ｙ））を、動きずれ係数Ｍ（ｘ，ｙ）の算出と、合成器１６における画像合成処理の両方で用いていた。
【００７９】
本実施の形態では、動きずれ係数Ｍ（ｘ，ｙ）の算出は、第１の実施の形態と同様に行うが、合成器１６における画像合成処理には異なる方法を用いている。これに伴い、本実施の形態における合成器１６Ａには、ゲイン補正器１１によって補正された補正短時間露光画像ｘＳ'（ｘ，ｙ）ではなく、撮像器１０から出力された短時間露光画像ｘＳ（ｘ，ｙ）が直接入力されている。また、平滑化器１５においても、短時間露光画像ｘＳ（ｘ，ｙ）が撮像器１０から直接入力され、短時間露光画像ｘＳ（ｘ，ｙ）が直接平滑化される構成になっている。合成器１６Ａ以外の各部における処理は、上記第１の実施の形態と同じである。
【００８０】
図７は、本実施の形態における合成器１６Ａの構成を示している。合成器１６Ａの構成は、第１の実施の形態における合成器１６（図５）の構成とほぼ同じであるが、短時間露光画像合成器４０の後段に、ゲインオフセット補正器４２が設置されている点が異なる。また、上記第１の実施の形態では、短時間露光画像合成器４０に、補正短時間露光画像ｘＳ'（ｘ，ｙ）と平滑化された短時間露光画像ｘＳ''（ｘ，ｙ）とが入力されたが、本実施の形態では、補正短時間露光画像ｘＳ'（ｘ，ｙ）に代えて、撮像器１０からの短時間露光画像ｘＳ（ｘ，ｙ）が直接入力される。短時間露光画像合成器４０は、撮像器１０から直接入力された短時間露光画像ｘＳ（ｘ，ｙ）と平滑化された短時間露光画像ｘＳ''（ｘ，ｙ）とを、動きずれ係数Ｍ（ｘ，ｙ）に応じて上述の（１１）式と同様にして合成し、その結果である合成短時間露光画像ｘＳ'''（ｘ，ｙ）を、ゲインオフセット補正器４２に出力する。
【００８１】
ゲインオフセット補正器４２では、短時間露光画像合成器４０から出力された合成短時間露光画像ｘＳ'''（ｘ，ｙ）に対して、以下の（１３）式に示すように、ゲインの積算と所定量のオフセットとを施して露光量を補正する。（１３）式において、ｇ'はゲインを表し、Offsetは、オフセット量を表す。
【００８２】
【数１３】
【００８３】
ゲインオフセット補正器４２は、このように露光量を補正することによって得られた短時間露光画像ｘＳ''''（ｘ，ｙ）を、長短露光画像合成器４１に出力する。長短露光画像合成器４１は、露光量の補正された短時間露光画像ｘＳ''''（ｘ，ｙ）と長時間露光画像ｘＬ（ｘ，ｙ）とを、上記第１の実施の形態と同様に、合成係数Ｃ（ｘ，ｙ）に応じて合成する。
【００８４】
ここで、上記第１の実施の形態における各露光画像の合成は、図１５に示した合成法に基づいて行われるものであるが、本実施の形態では、図８に示すような合成がなされることになる。
【００８５】
図８に示した合成法では、出力信号レベルがＭＩＮＬまでは、長時間露光画像ｘＬ（ｘ，ｙ）が用いられ、長時間露光画像ｘＬ（ｘ，ｙ）が飽和レベルに達した後は、露光量の補正された短時間露光画像ｘＳ''''（ｘ，ｙ）が、合成画像として用いられる。ここで、上述の（９）式で算出される合成係数Ｃ（ｘ，ｙ）を用いる場合、長時間露光画像ｘＬ（ｘ，ｙ）から短時間露光画像ｘＳ''''（ｘ，ｙ）への切り換えは、長時間露光画像ｘＬ（ｘ，ｙ）のレベルがＭＩＮＬからＭＩＮＬ＋ＲＮＧＬである間において行われる。ＭＩＮＬからＭＩＮＬ＋ＲＮＧＬの間では、長時間露光画像ｘＬ（ｘ，ｙ）と短時間露光画像ｘＳ''''（ｘ，ｙ）とに適当な重み付けをすることにより得られた画像が合成画像として出力される。
【００８６】
ところで、ＭＩＮＬからＭＩＮＬ＋ＲＮＧＬの間において切り替えを行うためには、この範囲の中で、図８に示したように、長時間露光画像ｘＬ（ｘ，ｙ）を示す直線と補正された短時間露光画像ｘＳ''''（ｘ，ｙ）を示す直線とが交差している必要がある。すなわち（１３）式のゲインｇ'とオフセット量offsetは、以下の（１４）式の関係を満足する必要がある。ｇは上述の（２）式で表される露光時間の比である。
【００８７】
【数１４】
【００８８】
本実施の形態においても、動きずれ係数Ｍ（ｘ，ｙ）に基づいて、平滑化された短時間露光画像ｘＳ''（ｘ，ｙ）を適宜用いて合成画像を生成していることに変わりはないので、上記第１の実施の形態と同様に、各露光画像間に動きずれがあったとしても、それによって生ずるＳＮの劣化を回避し、主観的に好ましい合成画像を生成することができる。
【００８９】
［第３の実施の形態］
次に、本発明の第３の実施の形態について説明する。なお、以下の説明では、上記第１の実施の形態または上記第２の実施の形態における構成要素と実質的に同一の機能を有する部分には同一の符号を付し、適宜説明を省略する。
【００９０】
図９は、本発明の第３の実施の形態に係る撮像装置の構成を示している。本実施の形態に係る撮像装置の構成は、上記第２の実施の形態における構成（図６）と類似しているが、平滑化器１５が除去されている点が異なる。これに伴い、本実施の形態における合成器１６Ｂでは、平滑化された短時間露光画像ｘＳ''（ｘ，ｙ）は用いられずに、長時間露光画像ｘＬ（ｘ，ｙ）と短時間露光画像ｘＳ（ｘ，ｙ）とから合成画像Ｘ（ｘ，ｙ）が生成される。
【００９１】
図１０は、本実施の形態における合成器１６Ｂの構成を示している。合成器１６Ｂは、上記第２の実施の形態における合成器１６Ａ（図７）と比べると、短時間露光画像合成器４０が除去されており、撮像器１０からの短時間露光画像ｘＳ（ｘ，ｙ）が直接ゲインオフセット補正器４２に入力されている。ゲインオフセット補正器４２は、上記第２の実施の形態における合成短時間露光画像ｘＳ'''（ｘ，ｙ）に代えて、撮像器１０からの短時間露光画像ｘＳ（ｘ，ｙ）に対して、上述の（１３）式と実質的に同様にして露光量を補正する。ゲインオフセット補正器４２は、このように露光量を補正することによって得られた短時間露光画像ｘＳ''''（ｘ，ｙ）を、長短露光画像合成器４１Ｂに出力する。
【００９２】
長短露光画像合成器４１Ｂには、上記第２の実施の形態における長短露光画像合成器４１（図７）と比べると、長時間露光画像ｘＬ（ｘ，ｙ）、短時間露光画像ｘＳ''''（ｘ，ｙ）および合成係数Ｃ（ｘ，ｙ）に加えて、さらに動きずれ係数Ｍ（ｘ，ｙ）が入力される。長短露光画像合成器４１Ｂでは、合成係数Ｃ（ｘ，ｙ）および動きずれ係数Ｍ（ｘ，ｙ）を用いて、長時間露光画像ｘＬ（ｘ，ｙ）と露光量の補正された短時間露光画像ｘＳ''''（ｘ，ｙ）とを、以下の（１５）式によって合成する。
【００９３】
【数１５】
【００９４】
すなわち、（１５）式から分かるように、長短露光画像合成器４１Ｂは、長時間露光画像ｘＬ（ｘ，ｙ）のレベルに対応する合成係数Ｃ（ｘ，ｙ）が小さいか、または合成係数Ｃ（ｘ，ｙ）が大きい場合であっても動きずれ係数Ｍ（ｘ，ｙ）が大きい場合には、長時間露光画像ｘＬ（ｘ，ｙ）が最終的な合成画像Ｘ（ｘ，ｙ）として出現するよう、合成処理を行うことになる。つまり、本実施の形態では、動きずれが存在する領域においては、露光量の大きい画像が合成画像として選択される。
【００９５】
上記第１および第２の実施の形態では、動きずれが存在する領域においては、平滑化された短時間露光画像ｘＳ''（ｘ，ｙ）を用いることによりＳＮ劣化を回避していたが、本実施の形態においては、露光量の大きい画像を選択することにより、ＳＮ劣化を回避している。これは、合成画像Ｘ（ｘ，ｙ）を、出力画像表示装置、画像伝送装置および画像蓄積装置などに出力する場合に行われるダイナミックレンジの圧縮特性を考慮したものである。通常、ダイナミックレンジをレベル変換処理して圧縮する場合には、信号レベルが大きいほど圧縮率が大きくなり、ノイズ成分も同様に大きく圧縮される。このため、動きずれが存在し、短時間露光画像のレベルが低くなっている場合には、その領域において短時間露光画像に代えて長時間露光画像を用いることで、結果的にノイズ成分が圧縮されることになり、ＳＮ劣化を回避することができる。
【００９６】
以上説明したように、本実施の形態によれば、長時間露光画像ｘＬ（ｘ，ｙ）が飽和して短時間露光画像ｘＳ（ｘ，ｙ）が選択されるべき部分において、動きずれが生じ、短時間露光画像ｘＳ（ｘ，ｙ）のレベルが低くなっている場合（図２０参照）に、その領域において長時間露光画像ｘＬ（ｘ，ｙ）を用いることで、結果的に、動きずれ部分のＳＮ劣化を回避し、主観的に好ましい合成画像を生成することができる。
【００９７】
［第４の実施の形態］
次に、本発明の第４の実施の形態について説明する。なお、以下の説明では、上記第１〜第３の実施の形態における構成要素と実質的に同一の機能を有する部分には同一の符号を付し、適宜説明を省略する。
【００９８】
本実施の形態では、上記第３の実施の形態による信号処理を、単板式のカラー撮像装置で撮像することによって得られたカラー画像に対して適用した例を説明する。なお、上記第１および第２の実施の形態による信号処理についても同様に、単板式のカラー撮像装置に適用することが可能である。
【００９９】
図１１は、本実施の形態に係る単板式のカラー撮像装置の構成を示している。単板式のカラー撮像装置は、既に［従来の技術］の項において説明したように、撮像素子の前面に、例えば図１８に示したパターンの色フィルタを配置して構成されている。単板式のカラー撮像装置から出力される撮像信号は、図１９に示したように、輝度信号ｙに周波数変調された色信号ｃが重畳された形となっている。すなわち、本実施の形態において、撮像器１０から出力される長時間露光画像ｘＬ（ｘ，ｙ）および短時間露光画像ｘＳ（ｘ，ｙ）は、周波数変調された色信号が輝度信号に重畳された複合画像信号である。このため、図１１に示した構成では、各露光画像の複合画像信号から輝度信号（Ｙ）と色信号（Ｃ）とをＹＣ分離するためのＹＣ分離器１７Ｓ，１７Ｌを備えている。
【０１００】
ＹＣ分離器１７Ｌは、撮像器１０からの長時間露光画像ｘＬ（ｘ，ｙ）に対して、上述の（５Ａ）〜（５Ｃ）式に示すようなＹＣ分離処理を施し、輝度成分ｙＬ（ｘ，ｙ）と色成分ｃＬ（ｘ，ｙ）とに分離する。ＹＣ分離器１７Ｓも同様に、撮像器１０からの短時間露光画像ｘＳ（ｘ，ｙ）に対して、上述の（５Ａ）〜（５Ｃ）式に示したＹＣ分離処理を施し、輝度成分ｙＳ（ｘ，ｙ）と色成分ｃＳ（ｘ，ｙ）とに分離する。
【０１０１】
ゲイン補正器１１、合成係数算出器１２、差分係数算出器１３および乗算器１４によって算出される合成係数Ｃ（ｘ，ｙ）および動きずれ係数Ｍ（ｘ，ｙ）は、各露光画像の輝度成分ｙＬ（ｘ，ｙ），ｙＳ（ｘ，ｙ）から、上記第３の実施の形態と同様に算出される。算出された合成係数Ｃ（ｘ，ｙ）および動きずれ係数Ｍ（ｘ，ｙ）は、長時間露光画像ｘＬ（ｘ，ｙ）の輝度成分ｙＬ（ｘ，ｙ）および色成分ｃＬ（ｘ，ｙ）と、短時間露光画像ｘＳ（ｘ，ｙ）の輝度成分ｙＳ（ｘ，ｙ）および色成分ｃＳ（ｘ，ｙ）と共に、合成器１６Ｂに入力される。
【０１０２】
合成器１６Ｂにおいて、ゲインオフセット補正器４２（図１０）には、短時間露光画像ｘＳ（ｘ，ｙ）の輝度成分ｙＳ（ｘ，ｙ）および色成分ｃＳ（ｘ，ｙ）が入力される。ゲインオフセット補正器４２は、入力された輝度成分ｙＳ（ｘ，ｙ）および色成分ｃＳ（ｘ，ｙ）に対して、露光量の補正を行う。このとき、ゲインオフセット補正器４２は、輝度成分ｙＳ（ｘ，ｙ）に対しては、上述の（１３）式によって、上記第２の実施の形態および上記第３の実施の形態とまったく同様の処理を行い、露光量の補正された輝度成分ｙＳ''''（ｘ，ｙ）を生成する。一方、色成分ｃＳ（ｘ，ｙ）に対しては、次の（１６）式によって補正を施す。
【０１０３】
【数１６】
【０１０４】
ここで、ｃＳ''''（ｘ，ｙ）が、露光量の補正された色成分である。また、ｇ'は色成分の露光量を補正するためのゲインであるが、この値は、輝度成分に対するゲインと異なる値を用いることも可能である。
【０１０５】
ゲインオフセット補正器４２は、以上のように露光量を補正して得られた短時間露光画像ｘＳ（ｘ，ｙ）の輝度成分ｙＳ''''（ｘ，ｙ）および色成分ｃＳ''''（ｘ，ｙ）を、長短露光画像合成器４１（図１０）に出力する。
【０１０６】
長短露光画像合成器４１には、合成係数Ｃ（ｘ，ｙ）および動きずれ係数Ｍ（ｘ，ｙ）、ならびに長時間露光画像ｘＬ（ｘ，ｙ）の輝度成分ｙＬ（ｘ，ｙ）および色成分ｃＬ（ｘ，ｙ）と、露光量補正後の短時間露光画像ｘＳ（ｘ，ｙ）の輝度成分ｙＳ''''（ｘ，ｙ）および色成分ｃＳ''''（ｘ，ｙ）とが入力される。長短露光画像合成器４１は、入力された信号のうち、輝度成分ｙＬ（ｘ，ｙ），ｙＳ''''（ｘ，ｙ）を、合成係数Ｃ（ｘ，ｙ）および動きずれ係数Ｍ（ｘ，ｙ）を用いて、上述の（１５）式と実質的に同様にして合成する。また、色成分ｃＬ（ｘ，ｙ），ｃＳ''''（ｘ，ｙ）についても同様にして合成される。このように合成された輝度成分と色成分とが、さらにＹＣ合成され、これにより広いダイナミックレンジを有する合成カラー画像Ｘ（ｘ，ｙ）が生成される。
【０１０７】
以上説明したように、本実施の形態によれば、単板式のカラー撮像装置によって得られたカラー画像に対しても、上記各実施の形態と同様に、動きずれに起因するＳＮの劣化を回避し、主観的に好ましい合成画像を生成することができる。
【０１０８】
なお、本発明は、上記各実施の形態に限定されず種々の変形実施が可能である。例えば、上記各実施の形態では、短時間露光画像の露光量を長時間露光画像を基準にして補正する場合について説明したが、長時間露光画像の露光量を短時間露光画像を基準にして補正するようにしても良い。また、各露光画像の双方の露光量を補正するようにしても良い。
【０１０９】
【発明の効果】
以上説明したように、本発明の撮像方法または撮像装置によれば、複数の画像間で動きずれの生じている位置を検出し、その検出結果に基づいて、複数の画像を合成し、ダイナミックレンジの広い単一の画像を生成するようにしたので、動きずれがあったとしても、主観的に好ましい合成画像が得られる。すなわち、時分割方式によって得られた露光量の異なる複数の画像間に動きずれがあったとしても、それによって生ずるＳＮの劣化を回避し、主観的に好ましい合成画像を生成することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る撮像装置の構成を示すブロック図である。
【図２】画像の走査方向を示す説明図である。
【図３】図１に示した撮像装置における合成係数算出器の構成を示すブロック図である。
【図４】図１に示した撮像装置における差分係数算出器の構成を示すブロック図である。
【図５】図１に示した撮像装置における合成器の構成を示すブロック図である。
【図６】本発明の第２の実施の形態に係る撮像装置の構成を示すブロック図である。
【図７】図６に示した撮像装置における合成器の構成を示すブロック図である。
【図８】図６に示した撮像装置における画像の合成法について示す説明図である。
【図９】本発明の第３の実施の形態に係る撮像装置の構成を示すブロック図である。
【図１０】図９に示した撮像装置における合成器の構成を示すブロック図である。
【図１１】本発明の第４の実施の形態に係る撮像装置の構成を示すブロック図である。
【図１２】時間分割による露光制御の例を示す説明図である。
【図１３】空間分割による露光制御の例を示す構成図である。
【図１４】複数の撮像素子を用いた露光制御の例を示す構成図である。
【図１５】従来の画像合成法の一例を示す説明図である。
【図１６】レベル変換関数の例について示す説明図である。
【図１７】ヒストグラムイコライゼーションの原理について示す説明図である。
【図１８】単板式カラー撮像装置の色フィルタの配列を示す構成図である。
【図１９】単板式カラー撮像装置の出力信号の例を示す信号波形図である。
【図２０】対象物体の移動による動きずれの影響について示す説明図である。
【図２１】カメラの移動による動きずれの影響について示す説明図である。
【符号の説明】
１０…撮像器、１１…ゲイン補正器、１２…合成係数算出器、１３…差分係数算出器、１４…乗算器、１５…平滑化器、１６，１６Ａ，１６Ｂ…合成器、１７Ｓ，１７Ｌ…ＹＣ分離器、２０，３０，３１…減算器、２１，３２…除算器、２２，３３…リミッタ、４０…短時間露光画像合成器、４１…長時間露光画像合成器、４２…ゲインオフセット補正器。
【発明の属する技術分野】
本発明は、ビデオカメラ、スチルカメラ、監視カメラおよび車載カメラなどの画像入力装置などに好適に利用可能なものであり、特に、異なる露光条件で撮像した複数の画像を合成することにより、１つの露光条件で撮像された画像よりもダイナミックレンジの広い単一の画像を生成するための撮像方法および装置に関する。
【０００２】
【従来の技術】
従来、露光量の異なる複数の画像を撮像するための方法としては、例えば撮像素子としてＣＣＤ（Charge Coupled Device）を用い、電子シャッターによって露光時間を変化させ、時分割的に複数の画像を撮像するものが知られている。
【０００３】
図１２は、この時分割的な撮像方法の原理を示している。図１２において、横軸は時間方向を示し、縦軸は撮像素子における蓄積電荷量を示す。図１２の例では、あるフィールド期間において、通常の撮像と同様に電荷の蓄積、読み出しが行われた後、垂直ブランキング期間Ｔblkを利用して、再度蓄積、および読み出しの動作が行われ、これにより、１フィールド期間Ｔfに対応して露光時間の異なる２枚画像が得られる。図１２において、符号１０１，１０２を付した部分が、それぞれ、異なる露光時間の画像として読み出される電荷を示している。
【０００４】
また、別の方法としては、図１３に示すように１つの撮像素子上の各画素１１１の上に、例えば１ラインごとにＮＤ（Neutral Density）フィルタ１１２を配列し、空間分割的に露光量の異なる画像を撮像する方法もある。ＮＤフィルタ１１２が設置された画素とそれ以外の部分とでは、光の透過率が異なるので、これにより、露光量の異なる画像を撮像することができる。さらに、複数の撮像素子を用意し、各撮像素子の全面にそれぞれ透過率の異なるＮＤフィルタを設置し、空間解像度を落とすことなく、複数の画像を撮像する方法もある。図１４は、この方法による撮像装置の例であり、２つの撮像素子１２１，１２２の一方に対してＮＤフィルタ１２４を設置している。この例では、入射光が、ハーフミラー１２３によって２分割され、各撮像素子１２１，１２２に入射する。一方の撮像素子１２２にはＮＤフィルタ１２４が設置されているので、他方の撮像素子１２１とは露光量の異なる画像を撮像することができる。
【０００５】
また、以上のようにして得られた露光量の異なる複数の画像を合成する方法としては、撮像されたときの露光量の比に応じた係数を各画像に積算したのち、しきい値処理により各画像を切り替える方法が知られている。図１５は、この方法の原理を示したものであり、横軸が撮像素子への入射光量を、縦軸は撮像素子からの出力信号のレベル、すなわち撮像された画像の画素レベルを表わしている。図１５では、例えば相対的に長い露光時間で撮像された画像ｙＬについては、入射光量と出力信号のレベルとの関係が、入射光量があるレベルＴＨ未満では傾きが大きい直線で表わされ、あるレベルＴＨ以上では、撮像素子の飽和により出力信号は一定の値となる。また相対的に短い露光時間によって撮像された画像ｙＳについては、画像ｙＬに比べて、直線の傾きは小さく、出力信号はより高い入射光量で飽和する。画像の合成は、図中、符号ｙＳ'で示した直線のように、はじめに短時間露光に対応する出力信号に対し係数ｇが積算されて直線部分の傾きが長時間露光のものと合わせられた後、長時間露光に対応する出力信号を参照し、入射光量のレベルがあるしきい値ＴＨ以下である場合には長時間露光による出力信号を、しきい値ＴＨより大きい場合には短時露光による出力信号を選択することで行われる。これを式で表すと、以下の（１）式のようになる。
【０００６】
【数１】
ここで、短時間露光に対応する信号ｙＳに積算される係数ｇは、各露光時間の比であり、以下の（２）式によって与えられる。
【０００８】
【数２】
（２）式におけるＴlong，Ｔshortは、それぞれ長時間露光、短時間露光の露光時間である。従って、露光時間の比がＮ倍である場合、合成画像のダイナミックレンジはＮ倍に拡大されたことになる。露光時間が３種類以上ある場合には、露光時間の長いものから順に（１）式の合成処理を繰り返し適用すれば良い。
【００１０】
なお、ここでは露光時間によって露光量を制御する撮像方式、すなわち時分割的な撮像法を前提として説明したが、実際には上述したどの撮像方式を用いても、同じ合成方法を用いることができる。
【００１１】
このように生成されたダイナミックレンジの広い画像を、出力すべき伝送系、表示装置などの能力に合わせて圧縮する方法としては、入力画像の各画素に対し、そのレベルを図１６の実線で示すような入出力関係を持つ関数（以下、「レベル変換関数」と記す。）で変換する方法（以下、「レベル変換」と記す。）がある。図１６において、横軸は入力画像の画素レベル（入力レベル）ｌを、縦軸はレベル変換処理による出力画像の画素レベル（出力レベル）Ｔ（ｌ）を表す。Ｌin・maxは、入力画像の各画素が取り得る最大レベルを、Ｌout・maxは、出力画像の各画素が取り得る最大レベルを表す。レベル変換後の画像のコントラストは、レベル変換関数の傾きが大きいほど高いことになる。図１６の例では、入力レベルｌｋを境にして、高レベル側におけるレベル変換関数を示す直線の傾きが、低レベル、中間レベルでの傾きに比べて小さくなっている。従って、図１６に示したレベル変換では、高レベルでのコントラストを犠牲にすることで、低レベル、中間レベルでのコントラストを確保したまま全体のダイナミックレンジを圧縮している。
【００１２】
また別の圧縮方法としては、入力画像の画素レベルの頻度分布に応じて、レベル変換関数を適応的に変化させるものがあり、その代表例としてはヒストグラムイコライゼーションと呼ばれる方法が挙げられる。図１７（Ａ），（Ｂ）に、このヒストグラムイコライゼーションの原理を示す。図１７（Ａ）において、横軸は入力画像の画素レベル（入力レベル）ｌを、縦軸は度数（頻度または累積頻度）を表す。Ｆmaxは、累積頻度の最大値であり、頻度を算出するために用いる画素の総数である。この方法では、図１７（Ａ）に示したように、はじめに入力画像の画素レベルｌに関する頻度分布Ｈ（ｌ）が生成され、次に以下の（３）式を用いて累積頻度分布Ｃ（ｌ）が生成される。
【００１３】
【数３】
この累積頻度分布Ｃ（ｌ）の縦軸を、以下の（４）式を用いて出力画像が取り得るレベル範囲に正規化することにより、レベル変換関数Ｔ（ｌ）が生成される（図１７（Ｂ））。この関数Ｔ（ｌ）を用いることにより、出現頻度の高いレベルによって構成される領域（面積が大きい領域）のコントラストを確保して、全体のダイナミックレンジを圧縮することが可能となる。
【００１５】
【数４】
ところで、撮像素子の前面に、各画素に対応して所定のパターンの色フィルタを配置することにより、単一の撮像素子のみでカラー画像を撮像するようになされた、いわゆる単板式のカラー撮像装置がある。図１８は、その色フィルタの一例であり、Ｙｅ（イエロー）、Ｃｙ（シアン）、Ｍｇ（マゼンタ）およびＧ（グリーン）の補色系のフィルタが所定順序で配列されている。単板式のカラー撮像装置における出力信号は、図１９に示したように、輝度情報を表す輝度信号ｙに色情報を表す周波数変調された色信号ｃが重畳された形のものとなる。次に、このような単板式のカラー撮像装置によって得られた複数のカラー画像信号を合成し、さらに圧縮するための従来法について説明する。
【００１７】
はじめに、各露光量で撮像された画像信号は、次の（５）式（（５Ａ），（５Ｂ），（５Ｃ））により輝度信号および色信号に分離される。
【００１８】
【数５】
ここで、式中、ｘは輝度信号と色信号とが混合された画像信号を、ｙは分離された輝度信号を、またｃは分離された色信号を表す。ＬＰＦｙ（），ＬＰＦｃ（）は、それぞれ、輝度分離用、色分離用のローパスフィルタである。
【００２０】
（５）式によって分離された輝度信号ｙは、上述した方法（図１５〜図１７参照）によって合成、圧縮が施される。これに対し色信号ｃは、多くの露光量（長時間露光）で得られた輝度信号の大きさを参照して、次の（６）式のような処理によって合成される。
【００２１】
【数６】
（６）式において、ｙＬ，ｃＬは多くの露光量で得られた輝度信号、および色信号であり、ｃＳは少ない露光量（短時間露光）で得られた色信号である。また、ｇは（２）式で示したような露光量の比である。
【００２３】
この合成された色信号ｃ'は、輝度信号に対する比率が変化しないように、次の（７）式によって圧縮される。（７）式において、ｙ'は、（１）式のようなダイナミックレンジの拡大された輝度信号を表し、ｙ''は、ダイナミックレンジの圧縮された輝度信号を表している。
【００２４】
【数７】
【発明が解決しようとする課題】
ところで、時分割的に露光量を変えて複数の画像を撮像、合成する方式においては、不可避的に撮像時刻に差が存在するため、撮像された画像間にカメラや撮像対象の動きによる“動きずれ”が生じる可能性がある。
【００２６】
図２０（Ａ）〜（Ｃ）を参照して、まず、撮像対象が移動する場合を例にこの動きずれによって生じる問題点を説明する。ここでは、輝度のレベルの低い静止背景の前方を、輝度のレベルの高い物体が移動している情景を撮像するものとする。図２０（Ａ），（Ｂ）は、それぞれ、この情景を長時間露光、および短時間露光で撮像して得られた画像を表すものであり、簡単のために１次元信号として表してある。横軸ｘは画像上の位置座標を表す。
【００２７】
各画像上において、Ｆは対象物体に対応する領域であるが、露光時刻の時間間隔における運動により、その画像上の位置には距離Ｄ＝ｘ３−ｘ２＝ｘ１−ｘ０だけのずれが生じている。Ｆ０〜Ｆ２は物体領域内における相対位置を表しており、Ｆ０は物体の左端、Ｆ１は物体の右端、Ｆ２は物体上でＦ１から左にＤの距離にある位置を表している。また、Ｂ０〜Ｂ３は背景上の相対位置であり、Ｂ０は長時間露光撮像時刻において物体の左端Ｆ０と接する背景位置を、Ｂ１は同時刻において物体の右端Ｆ１と接する背景位置を、Ｂ２は短時間露光撮像時において物体の左端Ｆ０に接する背景位置を、Ｂ３は同時刻において物体の右端Ｆ１に接する背景の位置をそれぞれ表している。ただし、ここでは物体の運動による動きずれのみを考えるため、背景は静止しているものとする。従って、背景領域上の相対位置Ｂ０，Ｂ１，Ｂ２，Ｂ３は、それぞれ画像上の座標ｘ０，ｘ２，ｘ１，ｘ３に１対１で対応している。短時間露光画像（図２０（Ｂ））の物体領域Ｆにおける信号レベルの勾配が長時間露光画像（図２０（Ａ））の物体領域には存在していないが、これは長時間露光により物体領域における信号レベルが飽和したことを示している。
【００２８】
図２０（Ｃ）は、これら図２０（Ａ），（Ｂ）の２つの画像を上述の（１）式により合成した画像を表している。この合成画像では、長時露光画像（図２０（Ａ））が飽和している画像位置ｘ０〜ｘ２の部分では短時間露光画像（図２０（Ｂ））に露光比ｇを積算したものが、それ以外の部分（長時露光画像が飽和していない部分）では長時間露光画像（図２０（Ａ））そのものが現れている。ここで、この合成画像において、画像位置ｘ２は見かけ上、背景領域と物体領域の境界点になっているが，画像位置ｘ２の左側近傍は、物体領域の右端Ｆ１ではなく、物体領域内の点Ｆ２に対応している。すなわち、図中、破線で示したように物体領域上のＦ２〜Ｆ１の部分が欠落していることになる。
【００２９】
一方、図２０（Ｃ）の合成画像上の位置ｘ０から左側の部分、および位置ｘ０〜ｘ１の部分はいずれも背景領域を表しており、画像の内容も連続している。しかしながら、前者（位置ｘ０から左側）が長時間露光画像であるのに対して、後者（位置ｘ０〜ｘ１）は短時間露光画像に露光比ｇを積算したものであり、それらの間ではＳＮ比（signal-to-noise ratio，以下、単にＳＮと記す。）が異なることになる。通常ダイナミックレンジを圧縮する場合には、信号レベルが大きいほど圧縮率も大きくなるため、信号レベルの高い部分で短時間画像が用いられる場合にはノイズも圧縮されて大きな問題とはならない。実際、画像を合成するときには、短時間露光画像は長時間露光画像が飽和している部分で用いられるため、動きずれがなく正確に短時間露光画像と長時間露光画像が対応している場合には、合成画像に表れる短時間露光画像のレベルも非常に高い。しかしながら、動きずれが生じている場合には、図２０（Ａ）〜（Ｃ）で示したとおり、長時間露光画像が飽和していても、それに対応する短時間露光画像上の領域ではレベルが低い可能性があり、このような領域（位置ｘ０〜ｘ１の部分）では他の領域に比べて十分な圧縮がなされずにＳＮが大きく劣化することになる。
【００３０】
次に、図２１（Ａ）〜（Ｃ）を参照して、撮像対象は静止しているが、撮像カメラ自体が手ぶれなどによって移動した場合の動きずれによって生じる問題点を説明する。図２１（Ａ）〜（Ｃ）は、それぞれ、カメラ自体が移動した場合の、長時間露光画像、短時間露光画像および合成画像の関係を示している。この場合、物体自体は静止しており、物体領域と背景領域の相対的な位置関係に変化はないため、物体の左端Ｆ０、または右端Ｆ１に接する背景上の相対位置は常にＢ０，Ｂ１であり、撮像時刻によって変化することはない。またこの場合のＢ２は、背景上のＢ０よりずれ量Ｄだけ左に存在する背景上の位置とする。ただし、背景自体の画像上における位置が変化するため、これら背景上の相対位置Ｂ０，Ｂ１，Ｂ２と画像上の位置座標の間には１対１の関係は成立しない。
【００３１】
この場合にも、物体が運動している場合と同様、図２１（Ｃ）に示したように、物体領域Ｆ２〜Ｆ１の欠落、および画像位置ｘ０〜ｘ１におけるＳＮの劣化が生じるが、さらに合成画像上の位置ｘ０において画像内容の不連続が生じる。すなわち、合成画像における位置ｘ０〜ｘ１の画像内容は、短時間露光画像（図２１（Ｂ））に由来しており、短時間露光画像における背景の位置Ｂ２〜Ｂ０の部分に対応する。その一方、長時間露光画像（図２１（Ａ））に由来する位置ｘ０より左側の部分においては、位置ｘ０は長時間露光画像における背景上のＢ０に対応しており、位置ｘ０より左側においても長時間露光画像における背景Ｂ２〜Ｂ０が重複して表現されていることになる。すなわち、合成画像では、長時間露光画像で得られた背景Ｂ２〜Ｂ０の次に、さらに短時間露光画像で得られた背景Ｂ２〜Ｂ０が重複して現れることになる。
【００３２】
以上の動きずれに起因する種々の問題のうち、物体領域の欠落、および背景領域の重複は、異なる手段によりさらに多くの画像情報を入力しない限りは本質的には解決できないが、それらは視覚的に感度が低くなる動領域の近傍に発生するため、主観的にはそれほど大きな画質劣化にはならない。これに対し、レベルの低い領域において短時間露光画像を用いることによるＳＮの劣化は、経験的にも大きな画質劣化の要因となるので、特に、この問題を解決することが望まれる。
【００３３】
本発明はかかる問題点に鑑みてなされたもので、その目的は、時分割方式によって得られた露光量の異なる複数の画像間に動きずれがあったとしても、それによって生ずるＳＮの劣化を回避し、主観的に好ましい合成画像を生成することができる撮像方法および装置を提供することにある。
【００３４】
【課題を解決するための手段】
本発明による撮像方法は、露光条件の異なる複数の画像を異なる時刻において撮像する撮像過程と、複数の画像の少なくとも１つに対して撮像時の露光量を補正して少なくとも１つの補正画像を生成する露光量補正過程と、補正画像を含む複数の画像から、複数の画像間で動きずれの生じている位置を検出する動きずれ検出過程と、動きずれ検出過程での検出結果に基づいて、複数の画像を合成し、ダイナミックレンジの広い単一の画像を生成する合成過程とを含むものである。
そして、動きずれ検出過程では、複数の画像のうち２つの画像に関して、露光量が大きい画像の画素レベルに飽和が発生し、なおかつ小さい露光量に対応する補正画像上の画素レベルが、露光量が大きい画像の画素レベルよりも小さい場合に、２つの画像の間に動きずれが存在すると判定するようにしたものである。
【００３５】
本発明による撮像装置は、露光条件の異なる複数の画像を異なる時刻において撮像する撮像手段と、複数の画像の少なくとも１つに対して撮像時の露光量を補正して少なくとも１つの補正画像を生成する露光量補正手段と、補正画像を含む複数の画像から、複数の画像間で動きずれの生じている位置を検出する動きずれ検出手段と、動きずれ検出手段の検出結果に基づいて、複数の画像を合成し、ダイナミックレンジの広い単一の画像を生成する合成手段とを備えたものである。
そして、動きずれ検出手段が、複数の画像のうち２つの画像に関して、露光量が大きい画像の画素レベルに飽和が発生し、なおかつ小さい露光量に対応する補正画像上の画素レベルが、露光量が大きい画像の画素レベルよりも小さい場合に、２つの画像の間に動きずれが存在すると判定するようにしたものである。
【００３６】
本発明による撮像方法および装置では、露光条件の異なる複数の画像が、異なる時刻において撮像されると共に、複数の画像の少なくとも１つに対して、撮像時の露光量を補正して少なくとも１つの補正画像が生成される。そして、補正画像を含む複数の画像から、複数の画像間で動きずれの生じている位置が検出され、その検出結果に基づいて、複数の画像が合成され、ダイナミックレンジの広い単一の画像が生成される。動きずれに応じて複数の画像を合成するので、動きずれがあったとしても、主観的に好ましい合成画像が得られる。
【００３７】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００３８】
［第１の実施の形態］
図１に示したように、本実施の形態に係る撮像装置は、撮像器１０と、ゲイン補正器１１と、合成係数算出器１２と、差分係数算出器１３と、乗算器１４と、平滑化器１５と、合成器１６とを備えている。
【００３９】
なお、本撮像装置において処理される画像信号は、２次元ディジタル画像を図２に示すように水平方向、垂直方向の順に走査して得られた時系列な画素値の信号である。以下では、２次元画像上の任意の位置（ｘ，ｙ）に対応する画素値を、例えばＩ（ｘ，ｙ）と表す。
【００４０】
撮像器１０は、露光条件の異なる複数の画像を異なる時刻において撮像する機能を有しており、例えばＣＣＤを含んで構成されている。本実施の形態では、撮像器１０が、露光時間の異なる２つの画像を時分割的に撮像するものとし、そのうち、相対的に露光時間が長い画像（露光量が大きい画像）を長時間露光画像ｘＬ（ｘ，ｙ）、相対的に露光時間が短い画像（露光量が小さい画像）を短時間露光画像ｘＳ（ｘ，ｙ）と表現する。撮像器１０によって撮像された長時間露光画像ｘＬ（ｘ，ｙ）は、合成係数算出器１２、差分係数算出器１３および合成器１６に送られる。また短時間露光画像ｘＳ（ｘ，ｙ）は、ゲイン補正器１１に送られる。
【００４１】
ゲイン補正器１１は、撮像器１０によって撮像された露光時間の異なる２つの画像のうち、短時間露光画像ｘＳ（ｘ，ｙ）に対して撮像時の露光量を補正する機能を有している。ゲイン補正器１１によって行われる露光量の補正は、例えば、短時間露光画像ｘＳ（ｘ，ｙ）の各画素値に対して、上述の（２）式に示す露光時間の比を表す係数ｇを積算することにより行われる。ゲイン補正器１１によって露光量を補正することにより得られた補正短時間露光画像ｘＳ'（ｘ，ｙ）は、差分係数算出器１３、平滑化器１５、および合成器１６に送られる。
【００４２】
合成係数算出器１２は、図３に示したように、例えば、減算器２０、除算器２１およびリミッタ２２を有して構成されている。この合成係数算出器１２は、長時間露光画像ｘＬ（ｘ，ｙ）に基づいて、合成器１６において露光時間の異なる画像を合成するための合成係数Ｃ（ｘ，ｙ）を算出する機能を有している。合成係数算出器１２によって算出された合成係数Ｃ（ｘ，ｙ）は、乗算器１４と合成器１６とに送られる。
【００４３】
差分係数検出器１３は、図４に示したように、例えば、第１の減算器３０、第２の減算器３１、除算器３２およびリミッタ３３を有して構成されている。この差分係数検出器１３は、長時間露光画像ｘＬ（ｘ，ｙ）と補正短時間露光画像ｘＳ'（ｘ，ｙ）との差分の大きさを表す差分係数Ｄ（ｘ，ｙ）を算出する機能を有している。差分係数検出器１３によって算出された差分係数Ｄ（ｘ，ｙ）は、乗算器１４に送られる。
【００４４】
乗算器１４は、以下の（８）式で表されるように、合成係数Ｃ（ｘ，ｙ）と差分係数Ｄ（ｘ，ｙ）との積から、動きずれ係数Ｍ（ｘ，ｙ）を算出するようになっている。乗算器１４によって算出された動きずれ係数Ｍ（ｘ，ｙ）は、合成器１６に送られる。動きずれ係数Ｍ（ｘ，ｙ）は、動きずれの度合いを示すものであり、後述するように、長時間露光画像ｘＬ（ｘ，ｙ）の信号レベル（画素レベル）が高く（飽和レベルに近く）、なおかつ長時間露光画像ｘＬ（ｘ，ｙ）と補正短時間露光画像ｘＳ'（ｘ，ｙ）との差が大きいほど大きな値となるように設定されている。すなわち、この動きずれ係数Ｍ（ｘ，ｙ）の値が大きい画素位置が、長時間露光画像ｘＬ（ｘ，ｙ）と短時間露光画像ｘＳ（ｘ，ｙ）との間で動きずれが生じている可能性が高いとみなされる。
【００４５】
【数８】
平滑化器１５は、補正短時間露光画像ｘＳ'（ｘ，ｙ）に対して平滑化処理を行う機能を有している。平滑化器１５における平滑化処理には、ノイズ低減を目的として一般的に使われる線形ローパスフィルタ、またはメディアンフィルタを始めとする非線形フィルタを用いることができる。平滑化器１５によって平滑化された後の短時間露光画像ｘＳ''（ｘ，ｙ）は、合成器１６に送られる。
【００４７】
合成器１６は、図５に示したように、例えば、短時間露光画像合成器４０と長短露光画像合成器４１とを有して構成されている。この合成器１６は、撮像器１０によって撮像された長時間露光画像ｘＬ（ｘ，ｙ）、ゲイン補正器１１によって補正された補正短時間露光画像ｘＳ'（ｘ，ｙ）、および平滑化器１５によって平滑化された短時間露光画像ｘＳ''（ｘ，ｙ）を、乗算器１４によって算出された動きずれ係数Ｍ（ｘ，ｙ）をもとに合成し、ダイナミックレンジの広い画像Ｘ（ｘ，ｙ）を生成する機能を有している。合成器１６によって生成されたダイナミックレンジの広い画像Ｘ（ｘ，ｙ）は、図示しない画像表示装置、画像蓄積装置または画像伝送装置などに出力される。
【００４８】
なお、本実施の形態において、ゲイン補正器１１が、本発明における「露光量補正手段」の一具体例に対応する。また、主として合成係数算出器１２、差分係数算出器１３および乗算器１４が、本発明における「動きずれ検出手段」の一具体例に対応する。
【００４９】
次に、以上のように構成された本実施の形態に係る撮像装置の作用、動作を説明する。なお、以下の説明は、本実施の形態に係る撮像方法の説明を兼ねている。
【００５０】
まず、撮像器１０によって、露光時間の異なる２つの画像が時分割的に撮像される。撮像器１０は、撮像した２つの画像のうち、相対的に露光量が大きい長時間露光画像ｘＬ（ｘ，ｙ）を、合成係数算出器１２、差分係数算出器１３および合成器１６に出力する。一方、露光量の小さい短時間露光画像ｘＳ（ｘ，ｙ）は、ゲイン補正器１１に出力される。
【００５１】
ゲイン補正器１１は、例えば上述した（２）式に示す露光時間の比を表す係数ｇを、短時間露光画像ｘＳ（ｘ，ｙ）の各画素値に対して積算することにより、短時間露光画像ｘＳ（ｘ，ｙ）の撮像時の露光量を補正する。ゲイン補正器１１は、補正することによって得られた補正短時間露光画像ｘＳ'（ｘ，ｙ）を、差分係数算出器１３、平滑化器１５、および合成器１６に出力する。
【００５２】
合成係数算出器１２は、撮像器１０から出力された長時間露光画像ｘＬ（ｘ，ｙ）に基づいて、合成係数Ｃ（ｘ，ｙ）を算出し、それを乗算器１４と合成器１６とに出力する。
【００５３】
合成係数算出器１２における合成係数Ｃ（ｘ，ｙ）の算出は、より詳しくは、例えば図３に示したように行われる。合成係数算出器１２において、長時間露光画像ｘＬ（ｘ，ｙ）は、まず減算器２０に入力される。減算器２０は、入力された長時間露光画像ｘＬ（ｘ，ｙ）の各画素値から、あらかじめ設定された定数ＭＩＮＬを減算する。減算後の長時間露光画像ｘＬ（ｘ，ｙ）は、次に除算器２１に出力され、そこで、あらかじめ設定された定数ＲＮＧＬによって除算され、係数Ｃ（ｘ，ｙ）が算出される。減算器２０および除算器２１によるこれらの処理は、長時間露光画像ｘＬ（ｘ，ｙ）に対する正規化処理であり、数学的には以下の（９）式のように表される。
【００５４】
【数９】
このように算出された係数Ｃ（ｘ，ｙ）は、リミッタ２２に送られ、そこで、以下の（１０）式で表される値の制限がなされる。このリミッタ２２による値の制限のなされたものが、改めて合成係数Ｃ（ｘ，ｙ）として出力される。
【００５６】
【数１０】
一方、差分係数検出器１３は、長時間露光画像ｘＬ（ｘ，ｙ）と補正短時間露光画像ｘＳ'（ｘ，ｙ）との差分の大きさを表す差分係数Ｄ（ｘ，ｙ）の算出を行い、それを乗算器１４に出力する。
【００５８】
差分係数検出器１３における差分係数Ｄ（ｘ，ｙ）の算出は、より詳しくは、例えば図４に示したように行われる。差分係数検出器１３において、長時間露光画像ｘＬ（ｘ，ｙ）および補正短時間露光画像ｘＳ'（ｘ，ｙ）は、第１の減算器３０に入力される。第１の減算器３０は、入力された長時間露光画像ｘＬ（ｘ，ｙ）の各画素値から、補正短時間露光画像ｘＳ'（ｘ，ｙ）の対応する画素値を減算し、値ＬＳdifを算出する。算出された値ＬＳdifを示す信号は、第２の減算器３１に出力される。
【００５９】
第２の減算器３１は、第１の減算器３０によって算出された値ＬＳdifから、あらかじめ設定された定数ＭＩＮdifを減算し、その結果を除算器３２に出力する。除算器３２は、除算器３２からの出力に対して、あらかじめ設定された定数ＲＮＧdifによる除算を施し、係数Ｄ（ｘ，ｙ）を算出する。第２の減算器３１および除算器３２による処理は、長時間露光画像ｘＬ（ｘ，ｙ）と補正短時間露光画像ｘＳ'（ｘ，ｙ）との差分である値ＬＳdifに対する正規化処理であり、数学的には上述の（９）式と同様の処理となる。
【００６０】
除算器３２によって算出された係数Ｄ（ｘ，ｙ）は、リミッタ３３に送られ、そこで、上述の（１０）式と実質的に同様にして、値の制限がなされる。このリミッタ３３による値の制限のなされたものが、改めて差分係数Ｄ（ｘ，ｙ）として乗算器１４に出力される。
【００６１】
以上のようにして合成係数算出器１２と差分係数算出器１３とで算出された合成係数Ｃ（ｘ，ｙ）と差分係数Ｄ（ｘ，ｙ）は、乗算器１４によって乗算され、動きずれ係数Ｍ（ｘ，ｙ）として合成器１６に出力される。
【００６２】
ところで、動きずれ係数Ｍ（ｘ，ｙ）は、上述の（８）式にも示したように合成係数Ｃ（ｘ，ｙ）と差分係数Ｄ（ｘ，ｙ）との積である。一方、合成係数Ｃ（ｘ，ｙ）と差分係数Ｄ（ｘ，ｙ）の値は、合成係数算出器１２と差分係数算出器１３とにおいて、上述した正規化処理および値の制限が行われることにより、それぞれ０．０以上１．０以下となっている。従って、それらの積である動きずれ係数Ｍ（ｘ，ｙ）も、０．０以上１．０以下の値を取る。また、（９）式から分かるように、長時間露光画像ｘＬ（ｘ，ｙ）の信号レベルが高いとき（飽和レベルに近いとき）には、合成係数Ｃ（ｘ，ｙ）の値が大きくなる。また、長時間露光画像ｘＬ（ｘ，ｙ）と補正短時間露光画像ｘＳ'（ｘ，ｙ）との差が大きいほど、それらの差分である差分係数Ｄ（ｘ，ｙ）の値は大きくなる。従って、合成係数Ｃ（ｘ，ｙ）と差分係数Ｄ（ｘ，ｙ）との積である動きずれ係数Ｍ（ｘ，ｙ）は、長時間露光画像ｘＬ（ｘ，ｙ）の信号レベルが高く、なおかつ長時間露光画像ｘＬ（ｘ，ｙ）と補正短時間露光画像ｘＳ'（ｘ，ｙ）との差が大きいほど大きな値となる。
【００６３】
このように、本実施の形態では、合成係数算出器１２および差分係数算出器１３において、長時間露光画像ｘＬ（ｘ，ｙ）および補正短時間露光画像ｘＳ'（ｘ，ｙ）に基づいて、合成係数Ｃ（ｘ，ｙ）および差分係数Ｄ（ｘ，ｙ）が算出される。さらに、これら２つの係数に基づいて、乗算器１４において動きずれ係数Ｍ（ｘ，ｙ）を算出することにより、露光量の異なる複数の画像間において動きずれの生じている位置が検出される。
【００６４】
なお、動きずれ係数Ｍ（ｘ，ｙ）が大きく、２つの画像間に動きずれが存在すると判定される場合、すなわち、長時間露光画像ｘＬ（ｘ，ｙ）の信号レベルが高く、なおかつ長時間露光画像ｘＬ（ｘ，ｙ）と補正短時間露光画像ｘＳ'（ｘ，ｙ）との差が大きい場合には、補正短時間露光画像ｘＳ'（ｘ，ｙ）の信号レベルが、長時間露光画像ｘＬ（ｘ，ｙ）の信号レベルに比べてかなり小さくなっていることを意味する。
【００６５】
ところで、平滑化器１５では、ゲイン補正器１１による補正のなされた補正短時間露光画像ｘＳ'（ｘ，ｙ）に対してノイズ低減のための平滑化処理が行われ、その平滑化された後の短時間露光画像ｘＳ''（ｘ，ｙ）が、合成器１６に出力される。
【００６６】
合成器１６には、長時間露光画像ｘＬ（ｘ，ｙ）、補正短時間露光画像ｘＳ'（ｘ，ｙ）、および短時間露光画像ｘＳ''（ｘ，ｙ）と共に、動きずれ係数Ｍ（ｘ，ｙ）および合成係数Ｃ（ｘ，ｙ）が入力される。合成器１６は、これらの入力信号に基づいて、ダイナミックレンジの広い合成画像Ｘ（ｘ，ｙ）を生成し、それを、図示しない画像表示装置、画像蓄積装置または画像伝送装置などに出力する。
【００６７】
合成器１６における画像の合成処理は、例えば図５に示したように行われる。合成器１６において、補正短時間露光画像ｘＳ'（ｘ，ｙ）および平滑化された短時間露光画像ｘＳ''（ｘ，ｙ）は、短時間露光画像合成器４０に入力される。短時間露光画像合成器４０は、入力された補正短時間露光画像ｘＳ'（ｘ，ｙ）と短時間露光画像ｘＳ''（ｘ，ｙ）とを、動きずれ係数Ｍ（ｘ，ｙ）に応じて以下の（１１）式のように合成する。
【００６８】
【数１１】
すなわち、（１１）式から分かるように、短時間露光画像合成器４０は、短時間露光画像ｘＳ（ｘ，ｙ）に関して、動きずれ係数Ｍ（ｘ，ｙ）が大きく、動きずれの生じている可能性の高い位置では、より平滑化された信号（ｘＳ''（ｘ，ｙ））が出力されるようにする。平滑化がなされることにより、動きずれ係数Ｍ（ｘ，ｙ）が生じることによるＳＮの劣化が防止される。短時間露光画像合成器４０は、このように合成することによって得られた合成短時間露光画像ｘＳ'''（ｘ，ｙ）を、長短露光画像合成器４１に出力する。
【００７０】
長短露光画像合成器４１は、合成係数Ｃ（ｘ，ｙ）に応じて、長時間露光画像ｘＬ（ｘ，ｙ）と合成短時間露光画像ｘＳ'''（ｘ，ｙ）とを以下の（１２）式により合成する。
【００７１】
【数１２】
すなわち、（１２）式から分かるように、長短露光画像合成器４１は、合成係数Ｃ（ｘ，ｙ）が大きく、長時間露光画像ｘＬ（ｘ，ｙ）が飽和レベルに近づくほど、合成短時間露光画像ｘＳ'''（ｘ，ｙ）の割合が大きくなるように合成する。このとき、動きずれが生じていたとしても、その画素領域では、（１１）式で示したように、合成短時間露光画像ｘＳ'''（ｘ，ｙ）には平滑化された短時間露光画像ｘＳ''（ｘ，ｙ）の割合が多く含まれているので、動きずれによるＳＮの劣化が防止される。一方、合成係数Ｃ（ｘ，ｙ）が小さく、長時間露光画像ｘＬ（ｘ，ｙ）が飽和レベルに達していない場合には、長時間露光画像ｘＬ（ｘ，ｙ）の割合が大きくなるように合成される。このようにして合成された画像Ｘ（ｘ，ｙ）が、広ダイナミックレンジ画像として出力される。なお、動きずれが存在しない領域においては、長時間露光画像ｘＬ（ｘ，ｙ）と補正短時間露光画像ｘＳ'（ｘ，ｙ）とのうち、画素レベルの飽和が発生しておらず、かつ撮像時の露光量が大きな方の画像の割合が多くなるよう合成される。
【００７３】
以上説明したように、本実施の形態によれば、動きずれ係数Ｍ（ｘ，ｙ）を算出して、露光量の異なる画像間で動きずれの生じている位置を検出し、その検出結果に基づいて、動きずれが生じていると思われる画素領域では、平滑化された短時間露光画像ｘＳ''（ｘ，ｙ）をより多く用いて、ダイナミックレンジの広い単一の画像を生成するようにしたので、動きずれがあったとしても、主観的に好ましい合成画像Ｘ（ｘ，ｙ）を得ることができる。すなわち、長時間露光画像ｘＬ（ｘ，ｙ）が飽和して短時間露光画像ｘＳ（ｘ，ｙ）が選択されるべき部分において、動きずれが生じ、短時間露光画像ｘＳ（ｘ，ｙ）のレベルが低くなっている場合（図２０参照）に、その領域のみにおいて短時間露光画像ｘＳ（ｘ，ｙ）が平滑化されることになり、合成画像上の高レベル領域における解像度の低下を伴うことなく、動きずれ部分のＳＮ劣化を回避することができる。
【００７４】
なお、本実施の形態では、合成器１６からダイナミックレンジの拡大された画像Ｘ（ｘ，ｙ）を出力するようにしているが、通常の画像表示装置、画像伝送装置および画像蓄積装置などでは、このように広いダイナミックレンジを持つ画像を扱うことは困難である。このような場合には、合成器１６の後段に、例えば図１６および図１７に示されるようなレベル変換関数を用いたレベル変換処理を行う手段を設け、ダイナミックレンジを圧縮するようにすれば良い。
【００７５】
また、本実施の形態では、平滑化器１５において、ゲイン補正の施された補正短時間露光画像ｘＳ'（ｘ，ｙ）に対して平滑化処理を行っているが、この場合、平滑処理を施す画像のダイナミックレンジが既に広がっているために、演算量が多くなる。これを回避するために、例えば、撮像器１０によって得られた短時間露光画像ｘＳ（ｘ，ｙ）を直接平滑化すると共に、その後段にゲイン補正器１１とは別に第２のゲイン補正手段を設置するようにしても良い。
【００７６】
さらに、本実施の形態では、露光時間の異なる画像を合成するための合成係数Ｃ（ｘ，ｙ）を、動きずれ係数Ｍ（ｘ，ｙ）の算出にも用いているが、（８）式において差分係数Ｄ（ｘ，ｙ）に積算する係数を別の演算によって求めることも可能である。例えば、（１０）式の正規化処理においてＭＩＮＬ，ＲＮＧＬとは異なる定数を用いて算出した別の係数Ｃ'（ｘ，ｙ）を、動きずれ係数Ｍ（ｘ，ｙ）の算出に用いるようにしても良い。
【００７７】
［第２の実施の形態］
次に、本発明の第２の実施の形態について説明する。なお、以下の説明では、上記第１の実施の形態における構成要素と実質的に同一の機能を有する部分には同一の符号を付し、適宜説明を省略する。
【００７８】
図６は，本発明の第２の実施の形態に係る撮像装置の構成を示している。本実施の形態と第１の実施の形態との違いは、合成器１６における各露光画像の合成方法にある。ダイナミックレンジを拡大するよう、長時間露光画像ｘＬ（ｘ，ｙ）と短時間露光画像ｘＳ（ｘ，ｙ）とを合成するためには、短時間露光画像ｘＳ（ｘ，ｙ）について、あらかじめ撮像時の露光量の差を補正してやる必要がある。第１の実施の形態では、これを撮像器１０の後段に設けられたゲイン補正器１１で行い、その結果（補正短時間露光画像ｘＳ'（ｘ，ｙ））を、動きずれ係数Ｍ（ｘ，ｙ）の算出と、合成器１６における画像合成処理の両方で用いていた。
【００７９】
本実施の形態では、動きずれ係数Ｍ（ｘ，ｙ）の算出は、第１の実施の形態と同様に行うが、合成器１６における画像合成処理には異なる方法を用いている。これに伴い、本実施の形態における合成器１６Ａには、ゲイン補正器１１によって補正された補正短時間露光画像ｘＳ'（ｘ，ｙ）ではなく、撮像器１０から出力された短時間露光画像ｘＳ（ｘ，ｙ）が直接入力されている。また、平滑化器１５においても、短時間露光画像ｘＳ（ｘ，ｙ）が撮像器１０から直接入力され、短時間露光画像ｘＳ（ｘ，ｙ）が直接平滑化される構成になっている。合成器１６Ａ以外の各部における処理は、上記第１の実施の形態と同じである。
【００８０】
図７は、本実施の形態における合成器１６Ａの構成を示している。合成器１６Ａの構成は、第１の実施の形態における合成器１６（図５）の構成とほぼ同じであるが、短時間露光画像合成器４０の後段に、ゲインオフセット補正器４２が設置されている点が異なる。また、上記第１の実施の形態では、短時間露光画像合成器４０に、補正短時間露光画像ｘＳ'（ｘ，ｙ）と平滑化された短時間露光画像ｘＳ''（ｘ，ｙ）とが入力されたが、本実施の形態では、補正短時間露光画像ｘＳ'（ｘ，ｙ）に代えて、撮像器１０からの短時間露光画像ｘＳ（ｘ，ｙ）が直接入力される。短時間露光画像合成器４０は、撮像器１０から直接入力された短時間露光画像ｘＳ（ｘ，ｙ）と平滑化された短時間露光画像ｘＳ''（ｘ，ｙ）とを、動きずれ係数Ｍ（ｘ，ｙ）に応じて上述の（１１）式と同様にして合成し、その結果である合成短時間露光画像ｘＳ'''（ｘ，ｙ）を、ゲインオフセット補正器４２に出力する。
【００８１】
ゲインオフセット補正器４２では、短時間露光画像合成器４０から出力された合成短時間露光画像ｘＳ'''（ｘ，ｙ）に対して、以下の（１３）式に示すように、ゲインの積算と所定量のオフセットとを施して露光量を補正する。（１３）式において、ｇ'はゲインを表し、Offsetは、オフセット量を表す。
【００８２】
【数１３】
ゲインオフセット補正器４２は、このように露光量を補正することによって得られた短時間露光画像ｘＳ''''（ｘ，ｙ）を、長短露光画像合成器４１に出力する。長短露光画像合成器４１は、露光量の補正された短時間露光画像ｘＳ''''（ｘ，ｙ）と長時間露光画像ｘＬ（ｘ，ｙ）とを、上記第１の実施の形態と同様に、合成係数Ｃ（ｘ，ｙ）に応じて合成する。
【００８４】
ここで、上記第１の実施の形態における各露光画像の合成は、図１５に示した合成法に基づいて行われるものであるが、本実施の形態では、図８に示すような合成がなされることになる。
【００８５】
図８に示した合成法では、出力信号レベルがＭＩＮＬまでは、長時間露光画像ｘＬ（ｘ，ｙ）が用いられ、長時間露光画像ｘＬ（ｘ，ｙ）が飽和レベルに達した後は、露光量の補正された短時間露光画像ｘＳ''''（ｘ，ｙ）が、合成画像として用いられる。ここで、上述の（９）式で算出される合成係数Ｃ（ｘ，ｙ）を用いる場合、長時間露光画像ｘＬ（ｘ，ｙ）から短時間露光画像ｘＳ''''（ｘ，ｙ）への切り換えは、長時間露光画像ｘＬ（ｘ，ｙ）のレベルがＭＩＮＬからＭＩＮＬ＋ＲＮＧＬである間において行われる。ＭＩＮＬからＭＩＮＬ＋ＲＮＧＬの間では、長時間露光画像ｘＬ（ｘ，ｙ）と短時間露光画像ｘＳ''''（ｘ，ｙ）とに適当な重み付けをすることにより得られた画像が合成画像として出力される。
【００８６】
ところで、ＭＩＮＬからＭＩＮＬ＋ＲＮＧＬの間において切り替えを行うためには、この範囲の中で、図８に示したように、長時間露光画像ｘＬ（ｘ，ｙ）を示す直線と補正された短時間露光画像ｘＳ''''（ｘ，ｙ）を示す直線とが交差している必要がある。すなわち（１３）式のゲインｇ'とオフセット量offsetは、以下の（１４）式の関係を満足する必要がある。ｇは上述の（２）式で表される露光時間の比である。
【００８７】
【数１４】
本実施の形態においても、動きずれ係数Ｍ（ｘ，ｙ）に基づいて、平滑化された短時間露光画像ｘＳ''（ｘ，ｙ）を適宜用いて合成画像を生成していることに変わりはないので、上記第１の実施の形態と同様に、各露光画像間に動きずれがあったとしても、それによって生ずるＳＮの劣化を回避し、主観的に好ましい合成画像を生成することができる。
【００８９】
［第３の実施の形態］
次に、本発明の第３の実施の形態について説明する。なお、以下の説明では、上記第１の実施の形態または上記第２の実施の形態における構成要素と実質的に同一の機能を有する部分には同一の符号を付し、適宜説明を省略する。
【００９０】
図９は、本発明の第３の実施の形態に係る撮像装置の構成を示している。本実施の形態に係る撮像装置の構成は、上記第２の実施の形態における構成（図６）と類似しているが、平滑化器１５が除去されている点が異なる。これに伴い、本実施の形態における合成器１６Ｂでは、平滑化された短時間露光画像ｘＳ''（ｘ，ｙ）は用いられずに、長時間露光画像ｘＬ（ｘ，ｙ）と短時間露光画像ｘＳ（ｘ，ｙ）とから合成画像Ｘ（ｘ，ｙ）が生成される。
【００９１】
図１０は、本実施の形態における合成器１６Ｂの構成を示している。合成器１６Ｂは、上記第２の実施の形態における合成器１６Ａ（図７）と比べると、短時間露光画像合成器４０が除去されており、撮像器１０からの短時間露光画像ｘＳ（ｘ，ｙ）が直接ゲインオフセット補正器４２に入力されている。ゲインオフセット補正器４２は、上記第２の実施の形態における合成短時間露光画像ｘＳ'''（ｘ，ｙ）に代えて、撮像器１０からの短時間露光画像ｘＳ（ｘ，ｙ）に対して、上述の（１３）式と実質的に同様にして露光量を補正する。ゲインオフセット補正器４２は、このように露光量を補正することによって得られた短時間露光画像ｘＳ''''（ｘ，ｙ）を、長短露光画像合成器４１Ｂに出力する。
【００９２】
長短露光画像合成器４１Ｂには、上記第２の実施の形態における長短露光画像合成器４１（図７）と比べると、長時間露光画像ｘＬ（ｘ，ｙ）、短時間露光画像ｘＳ''''（ｘ，ｙ）および合成係数Ｃ（ｘ，ｙ）に加えて、さらに動きずれ係数Ｍ（ｘ，ｙ）が入力される。長短露光画像合成器４１Ｂでは、合成係数Ｃ（ｘ，ｙ）および動きずれ係数Ｍ（ｘ，ｙ）を用いて、長時間露光画像ｘＬ（ｘ，ｙ）と露光量の補正された短時間露光画像ｘＳ''''（ｘ，ｙ）とを、以下の（１５）式によって合成する。
【００９３】
【数１５】
すなわち、（１５）式から分かるように、長短露光画像合成器４１Ｂは、長時間露光画像ｘＬ（ｘ，ｙ）のレベルに対応する合成係数Ｃ（ｘ，ｙ）が小さいか、または合成係数Ｃ（ｘ，ｙ）が大きい場合であっても動きずれ係数Ｍ（ｘ，ｙ）が大きい場合には、長時間露光画像ｘＬ（ｘ，ｙ）が最終的な合成画像Ｘ（ｘ，ｙ）として出現するよう、合成処理を行うことになる。つまり、本実施の形態では、動きずれが存在する領域においては、露光量の大きい画像が合成画像として選択される。
【００９５】
上記第１および第２の実施の形態では、動きずれが存在する領域においては、平滑化された短時間露光画像ｘＳ''（ｘ，ｙ）を用いることによりＳＮ劣化を回避していたが、本実施の形態においては、露光量の大きい画像を選択することにより、ＳＮ劣化を回避している。これは、合成画像Ｘ（ｘ，ｙ）を、出力画像表示装置、画像伝送装置および画像蓄積装置などに出力する場合に行われるダイナミックレンジの圧縮特性を考慮したものである。通常、ダイナミックレンジをレベル変換処理して圧縮する場合には、信号レベルが大きいほど圧縮率が大きくなり、ノイズ成分も同様に大きく圧縮される。このため、動きずれが存在し、短時間露光画像のレベルが低くなっている場合には、その領域において短時間露光画像に代えて長時間露光画像を用いることで、結果的にノイズ成分が圧縮されることになり、ＳＮ劣化を回避することができる。
【００９６】
以上説明したように、本実施の形態によれば、長時間露光画像ｘＬ（ｘ，ｙ）が飽和して短時間露光画像ｘＳ（ｘ，ｙ）が選択されるべき部分において、動きずれが生じ、短時間露光画像ｘＳ（ｘ，ｙ）のレベルが低くなっている場合（図２０参照）に、その領域において長時間露光画像ｘＬ（ｘ，ｙ）を用いることで、結果的に、動きずれ部分のＳＮ劣化を回避し、主観的に好ましい合成画像を生成することができる。
【００９７】
［第４の実施の形態］
次に、本発明の第４の実施の形態について説明する。なお、以下の説明では、上記第１〜第３の実施の形態における構成要素と実質的に同一の機能を有する部分には同一の符号を付し、適宜説明を省略する。
【００９８】
本実施の形態では、上記第３の実施の形態による信号処理を、単板式のカラー撮像装置で撮像することによって得られたカラー画像に対して適用した例を説明する。なお、上記第１および第２の実施の形態による信号処理についても同様に、単板式のカラー撮像装置に適用することが可能である。
【００９９】
図１１は、本実施の形態に係る単板式のカラー撮像装置の構成を示している。単板式のカラー撮像装置は、既に［従来の技術］の項において説明したように、撮像素子の前面に、例えば図１８に示したパターンの色フィルタを配置して構成されている。単板式のカラー撮像装置から出力される撮像信号は、図１９に示したように、輝度信号ｙに周波数変調された色信号ｃが重畳された形となっている。すなわち、本実施の形態において、撮像器１０から出力される長時間露光画像ｘＬ（ｘ，ｙ）および短時間露光画像ｘＳ（ｘ，ｙ）は、周波数変調された色信号が輝度信号に重畳された複合画像信号である。このため、図１１に示した構成では、各露光画像の複合画像信号から輝度信号（Ｙ）と色信号（Ｃ）とをＹＣ分離するためのＹＣ分離器１７Ｓ，１７Ｌを備えている。
【０１００】
ＹＣ分離器１７Ｌは、撮像器１０からの長時間露光画像ｘＬ（ｘ，ｙ）に対して、上述の（５Ａ）〜（５Ｃ）式に示すようなＹＣ分離処理を施し、輝度成分ｙＬ（ｘ，ｙ）と色成分ｃＬ（ｘ，ｙ）とに分離する。ＹＣ分離器１７Ｓも同様に、撮像器１０からの短時間露光画像ｘＳ（ｘ，ｙ）に対して、上述の（５Ａ）〜（５Ｃ）式に示したＹＣ分離処理を施し、輝度成分ｙＳ（ｘ，ｙ）と色成分ｃＳ（ｘ，ｙ）とに分離する。
【０１０１】
ゲイン補正器１１、合成係数算出器１２、差分係数算出器１３および乗算器１４によって算出される合成係数Ｃ（ｘ，ｙ）および動きずれ係数Ｍ（ｘ，ｙ）は、各露光画像の輝度成分ｙＬ（ｘ，ｙ），ｙＳ（ｘ，ｙ）から、上記第３の実施の形態と同様に算出される。算出された合成係数Ｃ（ｘ，ｙ）および動きずれ係数Ｍ（ｘ，ｙ）は、長時間露光画像ｘＬ（ｘ，ｙ）の輝度成分ｙＬ（ｘ，ｙ）および色成分ｃＬ（ｘ，ｙ）と、短時間露光画像ｘＳ（ｘ，ｙ）の輝度成分ｙＳ（ｘ，ｙ）および色成分ｃＳ（ｘ，ｙ）と共に、合成器１６Ｂに入力される。
【０１０２】
合成器１６Ｂにおいて、ゲインオフセット補正器４２（図１０）には、短時間露光画像ｘＳ（ｘ，ｙ）の輝度成分ｙＳ（ｘ，ｙ）および色成分ｃＳ（ｘ，ｙ）が入力される。ゲインオフセット補正器４２は、入力された輝度成分ｙＳ（ｘ，ｙ）および色成分ｃＳ（ｘ，ｙ）に対して、露光量の補正を行う。このとき、ゲインオフセット補正器４２は、輝度成分ｙＳ（ｘ，ｙ）に対しては、上述の（１３）式によって、上記第２の実施の形態および上記第３の実施の形態とまったく同様の処理を行い、露光量の補正された輝度成分ｙＳ''''（ｘ，ｙ）を生成する。一方、色成分ｃＳ（ｘ，ｙ）に対しては、次の（１６）式によって補正を施す。
【０１０３】
【数１６】
ここで、ｃＳ''''（ｘ，ｙ）が、露光量の補正された色成分である。また、ｇ'は色成分の露光量を補正するためのゲインであるが、この値は、輝度成分に対するゲインと異なる値を用いることも可能である。
【０１０５】
ゲインオフセット補正器４２は、以上のように露光量を補正して得られた短時間露光画像ｘＳ（ｘ，ｙ）の輝度成分ｙＳ''''（ｘ，ｙ）および色成分ｃＳ''''（ｘ，ｙ）を、長短露光画像合成器４１（図１０）に出力する。
【０１０６】
長短露光画像合成器４１には、合成係数Ｃ（ｘ，ｙ）および動きずれ係数Ｍ（ｘ，ｙ）、ならびに長時間露光画像ｘＬ（ｘ，ｙ）の輝度成分ｙＬ（ｘ，ｙ）および色成分ｃＬ（ｘ，ｙ）と、露光量補正後の短時間露光画像ｘＳ（ｘ，ｙ）の輝度成分ｙＳ''''（ｘ，ｙ）および色成分ｃＳ''''（ｘ，ｙ）とが入力される。長短露光画像合成器４１は、入力された信号のうち、輝度成分ｙＬ（ｘ，ｙ），ｙＳ''''（ｘ，ｙ）を、合成係数Ｃ（ｘ，ｙ）および動きずれ係数Ｍ（ｘ，ｙ）を用いて、上述の（１５）式と実質的に同様にして合成する。また、色成分ｃＬ（ｘ，ｙ），ｃＳ''''（ｘ，ｙ）についても同様にして合成される。このように合成された輝度成分と色成分とが、さらにＹＣ合成され、これにより広いダイナミックレンジを有する合成カラー画像Ｘ（ｘ，ｙ）が生成される。
【０１０７】
以上説明したように、本実施の形態によれば、単板式のカラー撮像装置によって得られたカラー画像に対しても、上記各実施の形態と同様に、動きずれに起因するＳＮの劣化を回避し、主観的に好ましい合成画像を生成することができる。
【０１０８】
なお、本発明は、上記各実施の形態に限定されず種々の変形実施が可能である。例えば、上記各実施の形態では、短時間露光画像の露光量を長時間露光画像を基準にして補正する場合について説明したが、長時間露光画像の露光量を短時間露光画像を基準にして補正するようにしても良い。また、各露光画像の双方の露光量を補正するようにしても良い。
【０１０９】
【発明の効果】
以上説明したように、本発明の撮像方法または撮像装置によれば、複数の画像間で動きずれの生じている位置を検出し、その検出結果に基づいて、複数の画像を合成し、ダイナミックレンジの広い単一の画像を生成するようにしたので、動きずれがあったとしても、主観的に好ましい合成画像が得られる。すなわち、時分割方式によって得られた露光量の異なる複数の画像間に動きずれがあったとしても、それによって生ずるＳＮの劣化を回避し、主観的に好ましい合成画像を生成することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る撮像装置の構成を示すブロック図である。
【図２】画像の走査方向を示す説明図である。
【図３】図１に示した撮像装置における合成係数算出器の構成を示すブロック図である。
【図４】図１に示した撮像装置における差分係数算出器の構成を示すブロック図である。
【図５】図１に示した撮像装置における合成器の構成を示すブロック図である。
【図６】本発明の第２の実施の形態に係る撮像装置の構成を示すブロック図である。
【図７】図６に示した撮像装置における合成器の構成を示すブロック図である。
【図８】図６に示した撮像装置における画像の合成法について示す説明図である。
【図９】本発明の第３の実施の形態に係る撮像装置の構成を示すブロック図である。
【図１０】図９に示した撮像装置における合成器の構成を示すブロック図である。
【図１１】本発明の第４の実施の形態に係る撮像装置の構成を示すブロック図である。
【図１２】時間分割による露光制御の例を示す説明図である。
【図１３】空間分割による露光制御の例を示す構成図である。
【図１４】複数の撮像素子を用いた露光制御の例を示す構成図である。
【図１５】従来の画像合成法の一例を示す説明図である。
【図１６】レベル変換関数の例について示す説明図である。
【図１７】ヒストグラムイコライゼーションの原理について示す説明図である。
【図１８】単板式カラー撮像装置の色フィルタの配列を示す構成図である。
【図１９】単板式カラー撮像装置の出力信号の例を示す信号波形図である。
【図２０】対象物体の移動による動きずれの影響について示す説明図である。
【図２１】カメラの移動による動きずれの影響について示す説明図である。
【符号の説明】
１０…撮像器、１１…ゲイン補正器、１２…合成係数算出器、１３…差分係数算出器、１４…乗算器、１５…平滑化器、１６，１６Ａ，１６Ｂ…合成器、１７Ｓ，１７Ｌ…ＹＣ分離器、２０，３０，３１…減算器、２１，３２…除算器、２２，３３…リミッタ、４０…短時間露光画像合成器、４１…長時間露光画像合成器、４２…ゲインオフセット補正器。
Claims (8)
- 異なる露光条件により撮像した複数の画像から、１つの露光条件で撮像された画像よりもダイナミックレンジの広い単一の画像を生成する撮像方法であって、
露光条件の異なる複数の画像を異なる時刻において撮像する撮像過程と、
前記複数の画像の少なくとも１つに対して撮像時の露光量を補正して少なくとも１つの補正画像を生成する露光量補正過程と、
前記補正画像を含む複数の画像から、前記複数の画像間で動きずれの生じている位置を検出する動きずれ検出過程と、
前記動きずれ検出過程での検出結果に基づいて、前記複数の画像を合成し、ダイナミックレンジの広い単一の画像を生成する合成過程と
を含み、
前記動きずれ検出過程では、前記複数の画像のうち２つの画像に関して、露光量が大きい画像の画素レベルに飽和が発生し、なおかつ小さい露光量に対応する前記補正画像上の画素レベルが、露光量が大きい画像の画素レベルよりも小さい場合に、前記２つの画像の間に前記動きずれが存在すると判定する
撮像方法。 - 前記合成過程では、前記複数の画像のうち２つの画像に関して、前記動きずれが存在しない領域においては、画素レベルの飽和が発生しておらず、かつ撮像時の露光量が最も大きなものを選択して合成する
請求項１記載の撮像方法。 - 前記合成過程では、前記複数の画像のうち２つの画像に関して、前記動きずれが存在する領域においては、露光量の小さい画像に対して平滑化処理を施した後に合成する
請求項１記載の撮像方法。 - 前記合成過程では、前記複数の画像のうち２つの画像に関して、前記動きずれが存在する領域においては、露光量の大きい画像を選択して合成する
請求項１記載の撮像方法。 - 異なる露光条件により撮像した複数の画像から、１つの露光条件で撮像された画像よりもダイナミックレンジの広い単一の画像を生成する撮像装置であって、
露光条件の異なる複数の画像を異なる時刻において撮像する撮像手段と、
前記複数の画像の少なくとも１つに対して撮像時の露光量を補正して少なくとも１つの補正画像を生成する露光量補正手段と、
前記補正画像を含む複数の画像から、前記複数の画像間で動きずれの生じている位置を検出する動きずれ検出手段と、
前記動きずれ検出手段の検出結果に基づいて、前記複数の画像を合成し、ダイナミックレンジの広い単一の画像を生成する合成手段と
を備え、
前記動きずれ検出手段は、前記複数の画像のうち２つの画像に関して、露光量が大きい画像の画素レベルに飽和が発生し、なおかつ小さい露光量に対応する前記補正画像上の画素レベルが、露光量が大きい画像の画素レベルよりも小さい場合に、前記２つの画像の間に前記動きずれが存在すると判定する
撮像装置。 - 前記合成手段は、前記複数の画像のうち２つの画像に関して、前記動きずれが存在しない領域においては、画素レベルの飽和が発生しておらず、かつ撮像時の露光量が最も大きなものを選択して合成する
請求項５記載の撮像装置。 - 前記合成手段は、前記複数の画像のうち２つの画像に関して、前記動きずれが存在する領域においては、露光量の小さい画像に対して平滑化処理を施した後に合成する
請求項５記載の撮像装置。 - 前記合成手段は、前記複数の画像のうち２つの画像に関して、前記動きずれが存在する領域においては、露光量の大きい画像を選択して合成する
請求項５記載の撮像装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001187148A JP4742453B2 (ja) | 2001-06-20 | 2001-06-20 | 撮像方法および装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001187148A JP4742453B2 (ja) | 2001-06-20 | 2001-06-20 | 撮像方法および装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003009006A JP2003009006A (ja) | 2003-01-10 |
| JP4742453B2 true JP4742453B2 (ja) | 2011-08-10 |
Family
ID=19026484
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001187148A Expired - Fee Related JP4742453B2 (ja) | 2001-06-20 | 2001-06-20 | 撮像方法および装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4742453B2 (ja) |
Families Citing this family (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3740394B2 (ja) * | 2001-07-27 | 2006-02-01 | 日本電信電話株式会社 | 高ダイナミックレンジ映像の生成方法とその装置、及びこの方法の実行プログラムとこの実行プログラムの記録媒体 |
| JP2006033381A (ja) * | 2004-07-15 | 2006-02-02 | Canon Inc | 撮像装置及び制御方法 |
| JP4731953B2 (ja) * | 2005-03-02 | 2011-07-27 | 富士フイルム株式会社 | 撮像装置、撮像方法、及び撮像プログラム |
| JP4987355B2 (ja) * | 2005-10-14 | 2012-07-25 | 京セラ株式会社 | 撮像装置および撮像方法 |
| WO2007077719A1 (ja) * | 2005-12-27 | 2007-07-12 | Kyocera Corporation | 撮像装置およびその画像処理方法 |
| JP4888081B2 (ja) * | 2006-01-23 | 2012-02-29 | セイコーエプソン株式会社 | 撮像装置、撮像方法、撮像システム及び画像処理装置 |
| JP5011814B2 (ja) * | 2006-05-15 | 2012-08-29 | ソニー株式会社 | 撮像装置、および画像処理方法、並びにコンピュータ・プログラム |
| US7859588B2 (en) * | 2007-03-09 | 2010-12-28 | Eastman Kodak Company | Method and apparatus for operating a dual lens camera to augment an image |
| JP4872830B2 (ja) * | 2007-06-28 | 2012-02-08 | セイコーエプソン株式会社 | 撮像装置、撮像方法、画像処理装置、画像処理プログラム及び画像処理方法 |
| JP5085243B2 (ja) * | 2007-09-11 | 2012-11-28 | 三菱電機株式会社 | 画像処理装置及び画像処理方法 |
| JP5183297B2 (ja) * | 2008-05-19 | 2013-04-17 | 三洋電機株式会社 | 画像処理装置、撮像装置及び画像処理方法 |
| JP2010045510A (ja) * | 2008-08-11 | 2010-02-25 | Panasonic Corp | 画像処理装置及び画像処理方法 |
| JP2010141653A (ja) | 2008-12-12 | 2010-06-24 | Sanyo Electric Co Ltd | 画像処理装置及び撮像装置 |
| JP2010166558A (ja) * | 2008-12-19 | 2010-07-29 | Sanyo Electric Co Ltd | 撮像装置 |
| JP2011044846A (ja) * | 2009-08-20 | 2011-03-03 | Sanyo Electric Co Ltd | 画像処理装置及び撮像装置 |
| JP2013509820A (ja) * | 2009-10-28 | 2013-03-14 | ザ トラスティーズ オブ コロンビア ユニヴァーシティ イン ザ シティ オブ ニューヨーク | 符号化ローリングシャッタの方法およびシステム |
| JP5302912B2 (ja) * | 2010-02-16 | 2013-10-02 | シャープ株式会社 | 固体撮像装置および電子情報機器 |
| JP5574792B2 (ja) * | 2010-04-13 | 2014-08-20 | キヤノン株式会社 | 撮影装置 |
| JP5649927B2 (ja) * | 2010-11-22 | 2015-01-07 | オリンパス株式会社 | 画像処理装置、画像処理方法、および、画像処理プログラム |
| JP5609788B2 (ja) * | 2011-06-23 | 2014-10-22 | 株式会社Ｊｖｃケンウッド | 画像処理装置及び画像処理方法 |
| JP5787648B2 (ja) * | 2011-07-11 | 2015-09-30 | キヤノン株式会社 | 画像処理装置及び画像処理装置の制御方法 |
| JP6046966B2 (ja) * | 2012-04-19 | 2016-12-21 | キヤノン株式会社 | 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体 |
| JP7000861B2 (ja) * | 2016-02-16 | 2022-02-04 | ソニーグループ株式会社 | 画像処理装置、医療機器の作動方法及びプログラム |
| WO2018012317A1 (ja) * | 2016-07-15 | 2018-01-18 | ソニーセミコンダクタソリューションズ株式会社 | 信号処理装置、撮影装置、及び、信号処理方法 |
| JP2018019387A (ja) | 2016-07-15 | 2018-02-01 | ソニーセミコンダクタソリューションズ株式会社 | 信号処理装置、撮影装置、及び、信号処理方法 |
| JP6697684B2 (ja) * | 2016-10-13 | 2020-05-27 | パナソニックＩｐマネジメント株式会社 | 画像処理装置、画像処理方法、及び画像処理回路 |
| JP7254547B2 (ja) * | 2019-02-08 | 2023-04-10 | 日本放送協会 | 信号処理回路及び固体撮像素子 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4282113B2 (ja) * | 1998-07-24 | 2009-06-17 | オリンパス株式会社 | 撮像装置および撮像方法、並びに、撮像プログラムを記録した記録媒体 |
| JP2000050151A (ja) * | 1998-07-28 | 2000-02-18 | Olympus Optical Co Ltd | 撮像装置 |
| JP4245699B2 (ja) * | 1998-09-16 | 2009-03-25 | オリンパス株式会社 | 撮像装置 |
-
2001
- 2001-06-20 JP JP2001187148A patent/JP4742453B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003009006A (ja) | 2003-01-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4742453B2 (ja) | 撮像方法および装置 | |
| KR101460688B1 (ko) | 화상처리장치 및 그 제어 방법 | |
| JP4284570B2 (ja) | 撮像装置及びその方法 | |
| JP3458741B2 (ja) | 撮像方法及び撮像装置、画像処理方法及び画像処理装置 | |
| KR101247647B1 (ko) | 화상 합성 장치, 화상 합성 방법, 및 기록 매체 | |
| JP3762725B2 (ja) | 撮像システムおよび画像処理プログラム | |
| JP4783252B2 (ja) | 手ぶれ補正機能付き撮像装置、手ぶれ補正方法、手ぶれ補正処理の前処理プログラム、および、保存画像決定プログラム | |
| US8072511B2 (en) | Noise reduction processing apparatus, noise reduction processing method, and image sensing apparatus | |
| JP5123756B2 (ja) | 撮像システム、画像処理方法および画像処理プログラム | |
| US20130071045A1 (en) | Image transmitting apparatus, image receiving apparatus, image transmitting and receiving system, recording medium recording image transmitting program, and recording medium recording image receiving program | |
| US20100265353A1 (en) | Image Processing Device, Image Sensing Device And Image Reproduction Device | |
| JP2003101886A (ja) | 撮像装置 | |
| WO2011099138A1 (ja) | 画像処理装置および画像処理方法 | |
| WO2017064807A1 (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記憶媒体 | |
| JP2004128985A (ja) | 撮像システム、再生システム、撮像プログラム、再生プログラム | |
| JP4810473B2 (ja) | 画像処理装置および画像処理プログラム | |
| US8189066B2 (en) | Image processing apparatus, image processing method, and computer-readable medium | |
| US7750945B2 (en) | Video signal processing device and image processing device | |
| EP2214136B1 (en) | Method and program for controlling image capture apparatus | |
| EP1881694A2 (en) | Image processing apparatus, image processing method, and computer program | |
| JP2004266347A (ja) | 画像処理装置およびそのプログラムおよびその記録媒体 | |
| JP5291788B2 (ja) | 撮像装置 | |
| JP3553999B2 (ja) | 撮像装置とその画像処理方法 | |
| JP5159461B2 (ja) | 画像処理装置、画像処理方法及び撮像装置 | |
| US7433534B2 (en) | Edge emphasizing circuit |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080306 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100709 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100720 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100921 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110412 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110425 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140520 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140520 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |