JP4164928B2

JP4164928B2 - Image signal processing device

Info

Publication number: JP4164928B2
Application number: JP01965099A
Authority: JP
Inventors: 紀之山下
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1999-01-28
Filing date: 1999-01-28
Publication date: 2008-10-15
Anticipated expiration: 2019-01-28
Also published as: JP2000224460A

Description

【０００１】
【発明の属する技術分野】
この発明は、複数の画像信号から１枚の静止画を生成することができる画像信号処理装置に関する。
【０００２】
【従来の技術】
現在、静止画モードを有するカメラ一体型ディジタルＶＴＲおよびディジタルスチルカメラ（以下、これらを総称してディジタルカメラと略する）を用いて手持ちで夜景などの撮影を行う場合、手振れのため鮮明な画像が得られない。
【０００３】
【発明が解決しようとする課題】
鮮明な画像を得るためには、高価で重い光軸可変素子を使用する必要があった。また、最近はＣＣＤ撮像素子の画素数が数倍に増える傾向にあり、画素振れの問題も顕著になっている。
【０００４】
例えば、１／１００sec のシャッタ速度が必要な明るさの被写体を水平画角５度（ＴＥＬＥ端）の望遠で撮影することを考える。このときの露光時間は、１０ｍsec である。画像の水平画素数を６４０画素（ＶＧＡ（Video Graphics Array）相当）とすれば、１度当たりの画素数は、６４０／５＝１２８画素である。従って、１０ｍsec の間に、０．１度動いただけで０．１×１２８＝１２．８画素の振れを生じてしまう問題があった。
【０００５】
そこで、この発明の目的は、手持ちで暗い被写体を撮影しても複数の画像信号から高解像度の静止画を得ることができる画像信号処理装置を提供することにある。
【０００６】
【課題を解決するための手段】
請求項１に記載の発明は、予め設定されたｎ枚の画像を手振れの影響を受けない程度の短い露光時間で順次撮像する撮像素子と、ｎ枚の画像の明度補正と、ｎ枚の画像中、時間的に隣り合う２枚の画像の位置ずれを１／ｍ画素の精度で検出する処理とを行う手段と、検出した位置ずれを補正する手段と、位置ずれを補正したｎ枚の画像を加算し、平均化する手段とからなることを特徴とする画像信号処理装置である。
【０００７】
請求項３に記載の発明は、予め設定されたｎ枚の画像を手振れの影響を受けない程度の短い露光時間で順次撮像する撮像素子と、ｎ枚の画像をそれぞれ記録する記録媒体と、記録媒体から読み出したｎ枚の画像の明度補正と、ｎ枚の画像中、時間的に隣り合う２枚の画像の位置ずれを１／ｍ画素の精度で検出する処理とを行う手段と、検出した位置ずれを補正する手段と、位置ずれを補正したｎ枚の画像を加算し、平均化する手段とからなることを特徴とする画像信号処理装置である。
【０００８】
手持ちのディジタルカメラで静止した被写体を手振れの影響を受けない程度、例えば１／１０００sec 程度のシャッタ速度（露光時間）で数秒間撮影し、複数枚の画像信号が撮影される。撮影された画像信号毎に明度補正を行い、１画素の精度または１／２画素〜１／８画素の精度で位置合わせが行われる。位置合わせが行われた画像信号に対して平均化および高域強調が施される。よって、被写体が暗くても、手振れの影響の少ない高解像度となる画像信号を得ることができる。
【０００９】
【発明の実施の形態】
以下、この発明の実施形態について図面を参照して説明する。図１は、この発明が適用された第１の実施形態の全体的構成を示す。１で示すレンズ群を介して入射された被写体の像がＣＣＤ撮像素子２へ供給される。レンズ群１は、シスコン（システムコントローラ）９によって、ズーム制御およびフォーカス制御が行われる。
【００１０】
ＣＣＤ撮像素子２では、被写体からの入射光が電荷として蓄積される。ＣＣＤ撮像素子２は、シャッタボタン２９が押されるとシスコン９を介して、電子シャッタのオン／オフが制御される。これによって、ＣＣＤ撮像素子２の電子シャッタが駆動され、供給された被写体の像が取り込まれる。取り込まれた被写体の像は、Ａ／Ｄ変換器（図示せず）によりディジタル化され、ディジタル撮像信号（以下、画像信号と称する）として、画像処理回路３へ供給される。画像処理回路３へ供給された画像信号は、一旦画像メモリ４に記憶される。
【００１１】
画像処理回路３では、後述するように、画像メモリ４に記憶された少なくとも２枚の画像信号の合成処理がリアルタイムで順次行われる。この画像処理回路３は、シスコン９によって制御される。画像処理回路３で合成された合成画像信号は、圧縮回路５へ供給される。圧縮回路５へ供給された合成画像信号は、一旦画像メモリ４へ供給される。
【００１２】
画像メモリ４に記憶された合成画像信号は、圧縮回路５によって圧縮処理が施される。一例として、静止画として記憶された合成画像信号に対してＪＰＥＧ（Joint Photographic Experts Group）が施される。生成された圧縮画像信号に対して、シスコン９から供給されるサブデータが付加される。このサブデータは、例えば日付、時刻、フォーカス状態、シャッタ速度、絞りの状態、総枚数、何枚目、・・・等の画像信号が撮影されたときの情報である。
【００１３】
サブデータが付加された圧縮画像信号は、記録媒体６に供給される。記録媒体６に供給された圧縮画像信号とサブデータは、シスコン９の制御に従って記録される。この記録媒体６の一例として、磁気テープ、磁気ディスク、光磁気ディスクまたは半導体メモリなどの中から適宜選択された記録媒体が用いられる。
【００１４】
操作キー系からの指定に応じたシスコン９の制御によって、記録媒体６から圧縮画像信号が読み出される。読み出された圧縮画像信号は、伸張回路７を介して一旦画像メモリ４へ記憶され、伸張回路７によって、伸張処理が施される。すなわち、この伸張回路７では、ＪＰＥＧの復号がなされる。さらに、圧縮画像信号から分離されたサブデータがシスコン９へ供給される。供給されたサブデータから日付、時刻、フォーカス状態、シャッタ速度、絞りの状態、総枚数、何枚目、・・・等の情報が読み取られる。伸張された画像信号は、伸張回路７から表示回路８へ供給される。
【００１５】
上述した画像メモリ４は、複数の画像信号に対して画像処理を施す場合、合成画像信号に対して圧縮を施す場合、および圧縮画像信号を伸張する場合に用いられる。このとき、画像処理が施される領域と、圧縮が施される領域と、伸張が施される領域とをアドレスによって分けるようにしても良いし、記憶された信号に画像処理用のフラグ、圧縮用のフラグまたは伸張用のフラグを付けるようにしても良い。また、画像処理用のメモリ、圧縮用のメモリおよび伸張用のメモリを別々に設けるようにしても良い。
【００１６】
上述したレンズ群１には、光軸の方向を変えることができる光軸可変素子が含まれていない。さらに、この実施形態では、手振れ検出用の角速度センサも使用しない。
【００１７】
静止画における手振れの影響は、被写体が暗いときに顕著に現れ、明るいときはシャッタ速度が速いので、さほど問題にならない。例えば、１／１００sec のシャッタ速度が必要な明るさの被写体を撮影するときに、手振れを１／１０に軽減したい場合、この実施形態では、まずシャッタ速度を１０倍の１／１０００sec に設定してシャッタボタン２９を２秒間押し続けてから離す。するとこの２秒間に、６０枚の画像信号が撮影され、それぞれの画像信号は、シャッタ速度が速いため、手振れは１／１０に抑えられている。しかしながら、撮影された画像信号の明るさはいくらか暗くなり、Ｓ／Ｎも悪い。そこで、６０枚の各画像信号に対して明度補正を施し、１画素の精度または１／２画素〜１／８画素の精度で位置合わせを行いながら平均化処理と高域増強を施すことによって、Ｓ／Ｎの良いシャープな画像信号が得られる。
【００１８】
画像信号を撮影する第１の方法として、撮影する画像信号の枚数を設定せず、上述のようにシャッタボタン２９が押されている間、１／１０００sec のシャッタ速度で画像信号を撮影し続ける方法がある。第２の方法として、シャッタボタン２９が押されている間、１／１０００sec のシャッタ速度で画像信号を撮影し続け、撮影された画像信号に対して明度補正、位置合わせ、平均化処理および高域強調を施し、Ｓ／Ｎが得られる枚数に達したら自動的に撮影を終了する方法がある。第３の方法として、シャッタボタン２９が押されている間、１／１０００sec のシャッタ速度で画像信号を撮影し続け、順次撮影された画像信号の途中で極端な画像の変化を検出したときは、その直前までの画像信号だけを使用するようにし、撮影を終了する方法がある。このとき、Ｓ／Ｎが十分でない場合、その旨を警告するようにする。この一例では、Ｓ／Ｎが得られる枚数を決めるために、各画像信号の輝度レベルを使用する。
【００２０】
ここで、１画素の精度で位置合わせを行う画像処理回路３の第１の例を図２を用いて説明する。ＣＣＤ撮像素子２から供給される画像信号は、入力端子１１から入力される。入力された画像信号は、入力画像メモリ１２へ供給される。入力画像メモリ１２には、撮影されたばかりの現画像信号が記憶される。さらに、入力画像メモリ１２では、記憶された現画像信号に対して明度補正が行われる。そして、バッファメモリ１３には、１フレーム前の画像信号が記憶される。一例として、入力画像メモリ１２およびバッファメモリ１３は、８ビットのＶＧＡ規格の容量である。
【００２１】
ブロック毎の位置検出回路１６では、１フレーム前の画像信号に対して現画像信号はどのような位置にあるかが１画素の精度でブロック毎に検出される。このとき、あるブロック内の画像が平坦な場合、位置検出が不可能である。よって、ブロックのバリアンスＶａを算出し、バリアンスが小さいときには、そのブロックを位置検出に使用しないようにする。バリアンスＶａの計算式を式（１）に示す。
【００２２】
Ｖａ＝Σ（ｙi ²）／Ｋ−（Σ（ｙi ／Ｋ））² （１）
但し、ｙi ：輝度値、Ｋ：ブロック内の画素数とする。
【００２３】
この位置検出回路１６では、ブロック番号をｉとし、ブロック毎に縦横の平行移動成分が求められる。求められた縦方向の平行移動成分をｙ〔ｉ〕とし、横方向の平行移動成分をｘ〔ｉ〕とする。多くのブロックについて、ｘ〔ｉ〕の値と、ｙ〔ｉ〕の値とが同じ値の場合、画面全体が平行移動したものと見做される。この位置検出回路１６で検出された位置データは、１画素を超える整数成分と、１画素未満の小数成分とを持っている。検出された小数成分は、四捨五入し、整数成分として出力画像メモリ２３へ供給される。また、検出された画像変形係数も、画像変形回路２３へ供給される。
【００２４】
加算回路２２では、出力画像メモリ２３からの画像信号と、バッファメモリ１３からの画像信号との加算が行われる。加算された画像信号は、出力画像メモリ２３に供給される。
【００２５】
ブロック毎の位置検出回路１６から供給される整数成分のずれを補正するように、出力画像メモリ２３へ画像信号が書き込まれる。例えば、位置検出回路１６で３．７画素分水平方向にずれていると判断された場合、上述したように小数成分を四捨五入するので、この出力画像メモリ２３には、位置検出回路１６から整数成分として４が供給される。その整数成分の４のずれを補正するように、出力画像メモリ２３では、水平方向に４画素ずれた位置となるように、画像信号が書き込まれる。これによって、水平方向に４画素ずれている次のフレームの画像信号と、記憶している画像信号との位置合わせが行われる。読み出される画像信号と、次のフレームの画像信号とは、上述したように加算回路２２で加算され、同じアドレスに書き込まれる。
【００２６】
この一例では、２秒で６０枚の画像信号の加算が可能であり、加算される枚数が６４枚以下の場合、出力画像メモリ２３は、１４ビットのＶＧＡ規格に合った容量である。加算された画像信号は、出力画像メモリ２３から加算回路２２および除算回路２４へ供給される。
【００２７】
除算回路２４では、ｎ枚加算された画像信号をｎで割り、画像信号が平均化される。平均化された画像信号は、除算回路２４から高域強調フィルタ２５へ供給される。高域強調フィルタ２５では、供給された画像信号がより鮮明な画像信号に仕上げられ、Ｓ／Ｎの良い静止画が得られる。鮮明に仕上げられた画像信号は、出力端子２６を介して圧縮回路５へ供給される。
【００２８】
このように第１の例では、位置合わせを行う画像信号は、静止画であり互いに相関を有する。また、複数の画像信号のノイズは、ランダムであって相関がない。従って、複数の画像信号を加算し、平均化することによって、ノイズがキャンセルされるので、Ｓ／Ｎが向上する。
【００２９】
上述した入力画像メモリ１２およびバッファメモリ１３の画像サイズは、どちらも入力画像の１枚分＋αとしても良い。例えば、α＝０．２の場合、水平画素が７６４となり、垂直画素が５７６となる。入力画像メモリ１２およびバッファメモリ１３の画像信号のビット数は、どちらも入力画像と同じで良い。例えば、８ビット×３色で良い。
【００３０】
また、出力画像メモリ２３の画像サイズは、入力画像の１枚分としても良い。出力画像メモリ２３の画像信号のビット数は、加算する画像信号の枚数に依存し、枚数が２倍になる毎に１ビット増加する。例えば、加算する画像信号の枚数が１６枚なら１２ビット×３色となり、６４枚なら１４ビット×３色となるので、１６ビット×３色のビット数があれば、２５６枚の画像信号を加算することができる。加算する画像信号の枚数は、除算の都合から２のべき乗が良い。
【００３１】
ここで、１／２画素〜１／８画素の精度で位置合わせを行う画像処理回路３の第２の例を図３を用いて説明する。上述した図２と同じブロックには、同じ参照符号を付し、その説明を省略する。
【００３２】
入力画像メモリ１２に記憶されている現画像信号およびバッファメモリ１３に記憶されている１フレーム前の画像信号は位置検出回路１４に供給される。位置検出回路１４では、１フレーム前の画像信号に対して現画像信号はどのような位置にあるか、さらにどのような幾何学的な変形を受けているかが調べられる。この位置検出回路１４は、拡大補間回路１５、１７、ブロック毎の位置検出回路１６および処理演算回路１８から構成される。現画像信号は、拡大補間回路１５へ供給され、２倍〜８倍に拡大される。１フレーム前の画像信号は、拡大補間回路１７へ供給され、２倍〜８倍に拡大される。拡大された現画像信号および１フレーム前の画像信号は、ブロック毎の位置検出回路１６へ供給される。ブロック毎の位置検出回路１６では、１画素の１／２〜１／８の精度でブロック毎の位置が検出される。
【００３３】
このとき、あるブロック内の画像が平坦な場合、位置検出が不可能である。よって、上述した式（１）に示すバリアンスＶａの計算式により、ブロックのバリアンスＶａを算出し、バリアンスが小さいときには、そのブロックを位置検出に使用しないようにする。
【００３４】
処理演算回路１８では、ブロック番号をｉとし、ブロック毎に縦横の平行移動成分が求められる。求められた縦方向の平行移動成分をｙ〔ｉ〕とし、横方向の平行移動成分をｘ〔ｉ〕とする。多くのブロックについて、ｘ〔ｉ〕の値と、ｙ〔ｉ〕の値とが同じ値の場合、画面全体が平行移動したものと見做される。この処理演算回路１８で検出された位置データは、１画素を超える整数成分と、１画素未満の小数成分とを持っている。検出された位置データの整数成分は、出力画像メモリ２３へ供給され、小数成分は、画素ずらし補間回路２０へ供給される。また、処理演算回路１８で検出された画像変形係数は、画像変形回路２１へ供給される。
【００３５】
画素ずらし補間回路２０では、供給された小数成分に応じてバッファメモリ１３から供給された画像信号に対して画素ずらし補間が施される。例えば、位置検出回路１４で３．７画素分水平方向にずれていると判断された場合、この画素ずらし補間回路２０には、位置検出回路１４から小数成分の０．７が供給される。そこで、画素ずらし補間回路２０では、加重平均によって、画素Ａから画素Ｂの方向へ０．７画素ずれた位置に画素Ｃが生成される。この一例では、
Ａ×（１−０．７）＋Ｂ×０．７＝Ｃ
から画素Ｃが生成される。このようにして、供給された画像信号に対して０．７画素ずらしが施され、０．７画素ずらされた画像信号が新たに生成される。新たに生成された画像信号は、画素ずらし補間回路２０から画像変形回路２１へ供給される。
【００３６】
画像変形回路２１では、供給された画像変形係数に応じて、画素ずらし補間が施された画像信号に対して画像変形、例えば回転、伸縮および台形歪みなどが施される。画像変形が施された画像信号は、画像変形回路２１から加算回路２２へ供給される。
【００３７】
出力画像メモリ２３では、位置検出回路１４から供給される整数成分のずれを補正するように、画像信号が書き込まれる。例えば、位置検出回路１４で３．７画素分水平方向にずれていると判断された場合、この出力画像メモリ２３には、位置検出回路１４から整数成分の３が供給される。その整数成分の３のずれを補正するように、出力画像メモリ２３では、水平方向に３画素ずれた位置となるように、画像信号が書き込まれる。すなわち、画素ずらし補間回路２０で０．７画素ずらされ、この出力画像メモリ２３で３画素ずらされる。これによって、水平方向に３．７画素ずれている次のフレームの画像信号と、記憶している画像信号との位置合わせが行われる。読み出される画像信号と、次のフレームの画像信号とは、加算回路２２で加算され、同じアドレスに書き込まれる。
【００３８】
このように第２の例では、位置合わせを行う画像信号は、静止画であり互いに相関を有する。また、複数の画像信号のノイズは、ランダムであって相関がない。従って、複数の画像信号を加算し、平均化することによって、ノイズがキャンセルされるので、Ｓ／Ｎが向上する。さらに、複数の画像信号を合成するときに、元の画像信号の画素と異なる位置の画素の情報を持つので、解像度が向上する。
【００３９】
ここで、タイミングチャートを図４に示す。図４Ａに示すように、シャッタボタン２９が押されると、図４Ｂに示すように、ＣＣＤ撮像素子２から静止画となる画像信号が毎フレーム連続的に出力される。図４Ｃに示すように、出力された画像信号Ｐ１は、入力画像メモリ１２に記憶される。そして、図４Ｄに示すように、次のフレームで画像信号Ｐ１は、バッファメモリ１３に記憶される。
【００４０】
そして、入力画像メモリ１２に画像信号Ｐ２が記憶され、バッファメモリ１３に画像信号Ｐ１が記憶されているときに、位置検出回路１４では、画像信号Ｐ１に対して画像信号Ｐ２の位置が検出される。図４Ｅに示すように、位置検出の検出結果は、整数成分、小数成分および画像変形係数からなり、上述したように整数成分は出力画像メモリ２３へ供給され、小数成分は画素ずらし補間回路２０へ供給され、画像変形係数は画像変形回路２１へ供給される。
【００４１】
図４Ｆに示すように、その検出結果に基づいて、画素ずらし補間回路２０および画像変形回路２１において、画像信号に処理が施される。そして、図４Ｇに示すように、出力画像メモリ２３に、処理が施された画像が記憶される。このとき、上述したように位置検出の検出結果の整数成分に基づいて出力画像メモリ２３への画像信号の書き込みを制御することによって、位置合わせが行われ、複数の画像信号が合成される。
【００４２】
このように、予め指定した枚数、この一例では、４枚の画像信号の合成が終了した後、図４Ｈに示すように、合成画像信号が除算回路２４および高域強調フィルタ２５へ供給され、処理が施される。
【００４３】
ここで、この発明が適用された第２の実施形態の全体的構成を図５に示す。この第２の実施形態は、画像処理をソフトウェアで行う一例である。上述した第１の実施形態と同様のブロックには、同じ参照符号を付し、その説明を省略する。スイッチ回路３１では、シスコン９に含まれる画像処理回路３４から出力される合成画像信号と、ＣＣＤ撮像素子２からの画像信号とから何れか１つが選択される。スイッチ回路３１で選択された合成画像信号または画像信号は、圧縮回路５およびスイッチ回路３２へ供給される。
【００４４】
スイッチ回路３２では、伸張回路７で再生される合成画像信号または画像信号と、スイッチ回路３１を介して供給される合成画像信号または画像信号とから何れか１つが選択される。選択された合成画像信号または画像信号は、出力端子３３を介して外部のモニタに出力されると共に、表示回路８に供給される。
【００４５】
また、伸張回路７から出力される複数の画像信号は、画像処理部３４およびデータ変換回路３５へ供給される。画像処理部３４では、上述した画像処理回路３と同じような画像処理がソフトウェアにて施される。データ変換回路３５では、出力端子３６を介して外部のパソコン（パーソナルコンピュータ）へ出力して、パソコンで受け取れるように画像信号が変換される。
【００４６】
このように、ｎ枚の画像信号が撮影と同時に全て記録媒体６に記録される。シスコン９で画像処理を行う場合、上述した図２の画像処理回路のブロック図に示すハードウェアの場合と同様の処理を行い、処理が終了した画像信号が再び記録媒体６の別の領域に記録される。外部のパソコンで画像処理を行う場合、全ての画像信号をパソコンに転送し、ハードウェアの場合と同様の処理を行い、その結果がパソコンのハードディスクなどに記録される。
【００４７】
この実施形態では、画像信号を出力画像メモリ２３に書き込むときに、次のフレームの画像信号とのずれを補正する位置合わせを行うようにしているが、出力画像メモリ２３から画像信号を読み出すときに、次のフレームの画像信号とのずれを補正する位置合わせを行うようにしても良い。
【００４８】
【発明の効果】
この発明に依れば、ディジタルカメラを手持ちで静止した暗い被写体に向けて０．５sec 〜５sec 程度撮影するだけで手振れの影響の少ないシャープな静止画を得ることができる。
【図面の簡単な説明】
【図１】この発明が適用されるカメラ一体型ディジタルＶＴＲの第１の実施形態を示すブロック図である。
【図２】この発明が適用される画像処理回路の第１の例のブロック図である。
【図３】この発明が適用される画像処理回路の第２の例のブロック図である。
【図４】この発明を説明するためのタイミングチャートである。
【図５】この発明が適用されるカメラ一体型ディジタルＶＴＲの第２の実施形態を示すブロック図である。
【符号の説明】
１・・・レンズ群、２・・・ＣＣＤ撮像素子、３・・・画像処理回路、４・・・画像メモリ、５・・・圧縮回路、６・・・記録媒体、７・・・伸張回路、８・・・表示回路、９・・・シスコン、１０・・・枚数設定キー[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image signal processing apparatus capable of generating one still image from a plurality of image signals.
[0002]
[Prior art]
Currently, when shooting a night scene or the like with a camera-integrated digital VTR and a digital still camera (hereinafter collectively referred to as a digital camera) having a still image mode, a clear image is generated due to camera shake. I can't get it.
[0003]
[Problems to be solved by the invention]
In order to obtain a clear image, it was necessary to use an expensive and heavy optical axis variable element. In recent years, the number of pixels of a CCD image pickup device tends to increase several times, and the problem of pixel shake is also remarkable.
[0004]
For example, suppose that a subject with brightness that requires a shutter speed of 1/100 sec is photographed with a telephoto of a horizontal angle of view of 5 degrees (TELE end). The exposure time at this time is 10 msec. If the number of horizontal pixels of the image is 640 pixels (corresponding to VGA (Video Graphics Array)), the number of pixels per degree is 640/5 = 128 pixels. Therefore, there is a problem that a vibration of 0.1 × 128 = 12.8 pixels occurs only by a movement of 0.1 degree within 10 msec.
[0005]
SUMMARY OF THE INVENTION An object of the present invention is to provide an image signal processing apparatus that can obtain a high-resolution still image from a plurality of image signals even when a dark subject is photographed by hand.
[0006]
[Means for Solving the Problems]
According to the first aspect of the present invention, an image sensor that sequentially captures n images set in advance with a short exposure time that is not affected by camera shake, brightness correction of n images, and n images Among them, a means for performing processing for detecting a positional deviation between two temporally adjacent images with an accuracy of 1 / m pixels, a means for correcting the detected positional deviation, and n images with corrected positional deviation. The image signal processing apparatus is characterized by comprising means for adding and averaging.
[0007]
According to a third aspect of the present invention, there is provided an imaging device that sequentially images n preset images with a short exposure time that is not affected by camera shake, a recording medium that records each of the n images, and a recording It means for performing a brightness correction of the n images read from the medium, in n images, and processing for detecting the positional deviation of the two images temporally adjacent at 1 / m pixel precision, the detected An image signal processing apparatus comprising: means for correcting misregistration; and means for adding and averaging n images corrected for misregistration.
[0008]
A stationary subject is photographed for several seconds at a shutter speed (exposure time) of, for example, about 1/1000 sec., And a plurality of image signals are photographed. Lightness correction is performed for each captured image signal, and alignment is performed with an accuracy of 1 pixel or an accuracy of 1/2 pixel to 1/8 pixel. Averaging and high-frequency emphasis are performed on the image signals that have been aligned. Therefore, even when the subject is dark, it is possible to obtain an image signal with high resolution that is less affected by camera shake.
[0009]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 shows an overall configuration of a first embodiment to which the present invention is applied. An image of a subject incident through a lens group indicated by 1 is supplied to the CCD image pickup device 2. The lens group 1 is subjected to zoom control and focus control by a system controller (system controller) 9.
[0010]
In the CCD image pickup device 2, incident light from a subject is accumulated as a charge. When the shutter button 29 is pressed, the CCD image pickup device 2 is controlled to turn on / off the electronic shutter via the system controller 9. As a result, the electronic shutter of the CCD image pickup device 2 is driven, and the supplied image of the subject is captured. The captured image of the subject is digitized by an A / D converter (not shown) and supplied to the image processing circuit 3 as a digital imaging signal (hereinafter referred to as an image signal). The image signal supplied to the image processing circuit 3 is temporarily stored in the image memory 4.
[0011]
In the image processing circuit 3, as will be described later, the composition processing of at least two image signals stored in the image memory 4 is sequentially performed in real time. The image processing circuit 3 is controlled by the syscon 9. The synthesized image signal synthesized by the image processing circuit 3 is supplied to the compression circuit 5. The composite image signal supplied to the compression circuit 5 is once supplied to the image memory 4.
[0012]
The composite image signal stored in the image memory 4 is subjected to compression processing by the compression circuit 5. As an example, JPEG (Joint Photographic Experts Group) is applied to a composite image signal stored as a still image. Sub-data supplied from the syscon 9 is added to the generated compressed image signal. This sub-data is information when an image signal such as date, time, focus state, shutter speed, aperture state, total number of images, number of images,.
[0013]
The compressed image signal to which the sub data is added is supplied to the recording medium 6. The compressed image signal and sub data supplied to the recording medium 6 are recorded according to the control of the system controller 9. As an example of the recording medium 6, a recording medium appropriately selected from a magnetic tape, a magnetic disk, a magneto-optical disk, a semiconductor memory, and the like is used.
[0014]
The compressed image signal is read from the recording medium 6 by the control of the system controller 9 according to the designation from the operation key system. The read compressed image signal is temporarily stored in the image memory 4 via the decompression circuit 7, and decompressed by the decompression circuit 7. That is, the decompression circuit 7 performs JPEG decoding. Further, the sub data separated from the compressed image signal is supplied to the syscon 9. Information such as date, time, focus state, shutter speed, aperture state, total number of sheets, number of sheets,... Is read from the supplied sub data. The expanded image signal is supplied from the expansion circuit 7 to the display circuit 8.
[0015]
The image memory 4 described above is used when performing image processing on a plurality of image signals, compressing a composite image signal, and decompressing a compressed image signal. At this time, an area on which image processing is performed, an area on which compression is performed, and an area on which expansion is performed may be separated by address, or a flag for image processing, compression may be included in a stored signal. A flag for extension or a flag for extension may be attached. Further, a memory for image processing, a memory for compression, and a memory for expansion may be provided separately.
[0016]
The lens group 1 described above does not include an optical axis variable element that can change the direction of the optical axis. Further, in this embodiment, an angular velocity sensor for detecting camera shake is not used.
[0017]
The effect of camera shake in a still image is noticeable when the subject is dark, and when the subject is bright, the shutter speed is fast. For example, when shooting a subject with a brightness that requires a shutter speed of 1/100 sec., In order to reduce camera shake to 1/10, in this embodiment, the shutter speed is first set to 1/1000 sec. Press and release the shutter button 29 for 2 seconds. Then, 60 image signals are photographed in these 2 seconds, and each image signal has a high shutter speed, so that camera shake is suppressed to 1/10. However, the brightness of the captured image signal is somewhat dark and the S / N is also poor. Therefore, brightness correction is performed on each of the 60 image signals, and averaging processing and high-frequency enhancement are performed while performing alignment with accuracy of one pixel or accuracy of 1/2 pixel to 1/8 pixel. A sharp image signal with good S / N can be obtained.
[0018]
As a first method for capturing an image signal, the number of image signals to be captured is not set, and the image signal is continuously captured at a shutter speed of 1/1000 sec while the shutter button 29 is pressed as described above. There is. As a second method, while the shutter button 29 is pressed, the image signal is continuously captured at a shutter speed of 1/1000 sec. Lightness correction, alignment, averaging processing, and high frequency are performed on the captured image signal. There is a method in which emphasis is applied and the photographing is automatically terminated when the number of sheets that can obtain S / N is reached. As a third method, when the shutter button 29 is being pressed, the image signal is continuously captured at a shutter speed of 1/1000 sec, and when an extreme image change is detected in the middle of the sequentially captured image signal, There is a method in which only the image signal up to that time is used and the photographing is terminated. At this time, if the S / N is not sufficient, a warning to that effect is given. In this example, the luminance level of each image signal is used to determine the number of sheets from which S / N can be obtained.
[0020]
Here, a first example of the image processing circuit 3 that performs alignment with the accuracy of one pixel will be described with reference to FIG. An image signal supplied from the CCD image sensor 2 is input from the input terminal 11. The input image signal is supplied to the input image memory 12. The input image memory 12 stores a current image signal just taken. Further, in the input image memory 12, brightness correction is performed on the stored current image signal. The buffer memory 13 stores the image signal of the previous frame. As an example, the input image memory 12 and the buffer memory 13 have an 8-bit VGA standard capacity.
[0021]
The position detection circuit 16 for each block detects the position of the current image signal relative to the image signal of one frame before for each block with an accuracy of one pixel. At this time, if the image in a certain block is flat, position detection is impossible. Therefore, the variance of the block Va is calculated, and when the variance is small, the block is not used for position detection. A formula for calculating the variance Va is shown in Formula (1).
[0022]
Va = Σ (yi ² ) / K− (Σ (yi / K)) ² (1)
However, yi is a luminance value, and K is the number of pixels in the block.
[0023]
In this position detection circuit 16, the block number is i, and vertical and horizontal translation components are obtained for each block. The obtained vertical translation component is y [i], and the horizontal translation component is x [i]. For many blocks, when the value of x [i] and the value of y [i] are the same value, it is considered that the entire screen has been translated. The position data detected by the position detection circuit 16 has an integer component exceeding one pixel and a decimal component less than one pixel. The detected decimal component is rounded off and supplied to the output image memory 23 as an integer component. The detected image deformation coefficient is also supplied to the image deformation circuit 23.
[0024]
In the adder circuit 22, the image signal from the output image memory 23 and the image signal from the buffer memory 13 are added. The added image signal is supplied to the output image memory 23.
[0025]
An image signal is written to the output image memory 23 so as to correct the shift of the integer component supplied from the position detection circuit 16 for each block. For example, when the position detection circuit 16 determines that the position is shifted by 3.7 pixels in the horizontal direction, the decimal component is rounded off as described above, so that the output image memory 23 includes the integer component from the position detection circuit 16. 4 is supplied. In the output image memory 23, an image signal is written so as to be shifted by 4 pixels in the horizontal direction so as to correct the shift of 4 of the integer component. As a result, the image signal of the next frame shifted by 4 pixels in the horizontal direction and the stored image signal are aligned. The image signal to be read out and the image signal of the next frame are added by the adder circuit 22 as described above and written to the same address.
[0026]
In this example, 60 image signals can be added in 2 seconds. When the number of added image signals is 64 or less, the output image memory 23 has a capacity conforming to the 14-bit VGA standard. The added image signal is supplied from the output image memory 23 to the addition circuit 22 and the division circuit 24.
[0027]
The division circuit 24 divides the image signal added n times by n and averages the image signal. The averaged image signal is supplied from the division circuit 24 to the high frequency enhancement filter 25. In the high frequency emphasis filter 25, the supplied image signal is finished into a clearer image signal, and a still image with a good S / N is obtained. The sharply finished image signal is supplied to the compression circuit 5 via the output terminal 26.
[0028]
Thus, in the first example, the image signals to be aligned are still images and have a correlation with each other. Further, the noise of the plurality of image signals is random and has no correlation. Therefore, noise is canceled by adding and averaging a plurality of image signals, so that the S / N is improved.
[0029]
Both the image sizes of the input image memory 12 and the buffer memory 13 described above may be + α for one input image. For example, when α = 0.2, the horizontal pixel is 764 and the vertical pixel is 576. The number of bits of the image signal in the input image memory 12 and the buffer memory 13 may be the same as that of the input image. For example, 8 bits × 3 colors may be used.
[0030]
The image size of the output image memory 23 may be one input image. The number of bits of the image signal in the output image memory 23 depends on the number of image signals to be added, and increases by one bit every time the number of images is doubled. For example, if the number of image signals to be added is 16, 12 bits × 3 colors and if 64 images are 14 bits × 3 colors, if there are 16 bits × 3 colors, 256 image signals are added. can do. The number of image signals to be added is preferably a power of 2 for convenience of division.
[0031]
Here, a second example of the image processing circuit 3 that performs alignment with an accuracy of 1/2 pixel to 1/8 pixel will be described with reference to FIG. The same blocks as those in FIG. 2 described above are denoted by the same reference numerals, and description thereof is omitted.
[0032]
The current image signal stored in the input image memory 12 and the image signal of the previous frame stored in the buffer memory 13 are supplied to the position detection circuit 14. The position detection circuit 14 checks the position of the current image signal with respect to the image signal of the previous frame and what geometrical deformation it receives. The position detection circuit 14 includes enlargement interpolation circuits 15 and 17, a position detection circuit 16 for each block, and a processing operation circuit 18. The current image signal is supplied to the enlargement interpolation circuit 15 and enlarged by 2 to 8 times. The image signal of one frame before is supplied to the enlargement interpolation circuit 17 and enlarged by 2 to 8 times. The enlarged current image signal and the image signal of the previous frame are supplied to the position detection circuit 16 for each block. The position detection circuit 16 for each block detects the position for each block with an accuracy of 1/2 to 1/8 of one pixel.
[0033]
At this time, if the image in a certain block is flat, position detection is impossible. Therefore, the variance Va of the block is calculated by the equation for calculating the variance Va shown in the above formula (1), and when the variance is small, the block is not used for position detection.
[0034]
In the processing arithmetic circuit 18, the block number is i, and vertical and horizontal translation components are obtained for each block. The obtained vertical translation component is y [i], and the horizontal translation component is x [i]. For many blocks, when the value of x [i] and the value of y [i] are the same value, it is considered that the entire screen has been translated. The position data detected by the processing arithmetic circuit 18 has an integer component exceeding one pixel and a decimal component less than one pixel. The detected integer component of the position data is supplied to the output image memory 23, and the decimal component is supplied to the pixel shift interpolation circuit 20. Further, the image deformation coefficient detected by the processing arithmetic circuit 18 is supplied to the image deformation circuit 21.
[0035]
The pixel shift interpolation circuit 20 performs pixel shift interpolation on the image signal supplied from the buffer memory 13 in accordance with the supplied decimal component. For example, when the position detection circuit 14 determines that the position is shifted by 3.7 pixels in the horizontal direction, the pixel shift interpolation circuit 20 is supplied with 0.7 as a decimal component from the position detection circuit 14. Therefore, the pixel shift interpolation circuit 20 generates a pixel C at a position shifted by 0.7 pixels in the direction from the pixel A to the pixel B by weighted averaging. In this example,
A × (1-0.7) + B × 0.7 = C
A pixel C is generated. In this way, the supplied image signal is shifted by 0.7 pixels, and an image signal shifted by 0.7 pixels is newly generated. The newly generated image signal is supplied from the pixel shift interpolation circuit 20 to the image deformation circuit 21.
[0036]
The image deformation circuit 21 performs image deformation, such as rotation, expansion / contraction, and trapezoidal distortion, on the image signal subjected to the pixel shift interpolation according to the supplied image deformation coefficient. The image signal subjected to the image deformation is supplied from the image deformation circuit 21 to the addition circuit 22.
[0037]
In the output image memory 23, an image signal is written so as to correct the deviation of the integer component supplied from the position detection circuit 14. For example, when it is determined by the position detection circuit 14 that the position is shifted by 3.7 pixels in the horizontal direction, the output image memory 23 is supplied with an integer component of 3 from the position detection circuit 14. In the output image memory 23, an image signal is written so as to be shifted by 3 pixels in the horizontal direction so as to correct the deviation of 3 of the integer component. That is, the pixel shift interpolation circuit 20 shifts 0.7 pixels, and the output image memory 23 shifts 3 pixels. As a result, the image signal of the next frame shifted by 3.7 pixels in the horizontal direction and the stored image signal are aligned. The read image signal and the image signal of the next frame are added by the adder circuit 22 and written to the same address.
[0038]
As described above, in the second example, the image signals to be aligned are still images and have a correlation with each other. Further, the noise of the plurality of image signals is random and has no correlation. Therefore, noise is canceled by adding and averaging a plurality of image signals, so that the S / N is improved. In addition, when combining a plurality of image signals, information on pixels at positions different from the pixels of the original image signal is held, so that the resolution is improved.
[0039]
Here, a timing chart is shown in FIG. As shown in FIG. 4A, when the shutter button 29 is pressed, as shown in FIG. 4B, an image signal that becomes a still image is continuously output from the CCD image sensor 2 every frame. As shown in FIG. 4C, the output image signal P1 is stored in the input image memory 12. Then, as shown in FIG. 4D, the image signal P1 is stored in the buffer memory 13 in the next frame.
[0040]
When the image signal P2 is stored in the input image memory 12 and the image signal P1 is stored in the buffer memory 13, the position detection circuit 14 detects the position of the image signal P2 with respect to the image signal P1. . As shown in FIG. 4E, the detection result of the position detection includes an integer component, a decimal component, and an image deformation coefficient. As described above, the integer component is supplied to the output image memory 23, and the decimal component is supplied to the pixel shift interpolation circuit 20. The image deformation coefficient is supplied to the image deformation circuit 21.
[0041]
As shown in FIG. 4F, the image signal is processed in the pixel shift interpolation circuit 20 and the image transformation circuit 21 based on the detection result. Then, the processed image is stored in the output image memory 23 as shown in FIG. 4G. At this time, as described above, the alignment is performed by controlling the writing of the image signal to the output image memory 23 based on the integer component of the detection result of the position detection, and a plurality of image signals are synthesized.
[0042]
As described above, after the synthesis of the image number designated in advance, in this example, four image signals, the synthesized image signal is supplied to the division circuit 24 and the high frequency enhancement filter 25 as shown in FIG. Is given.
[0043]
Here, an overall configuration of the second embodiment to which the present invention is applied is shown in FIG. The second embodiment is an example in which image processing is performed by software. Blocks similar to those in the first embodiment described above are given the same reference numerals, and descriptions thereof are omitted. In the switch circuit 31, one of the composite image signal output from the image processing circuit 34 included in the syscon 9 and the image signal from the CCD image sensor 2 is selected. The combined image signal or image signal selected by the switch circuit 31 is supplied to the compression circuit 5 and the switch circuit 32.
[0044]
In the switch circuit 32, any one of the composite image signal or image signal reproduced by the expansion circuit 7 and the composite image signal or image signal supplied via the switch circuit 31 is selected. The selected composite image signal or image signal is output to an external monitor via the output terminal 33 and supplied to the display circuit 8.
[0045]
The plurality of image signals output from the decompression circuit 7 are supplied to the image processing unit 34 and the data conversion circuit 35. In the image processing unit 34, image processing similar to that of the image processing circuit 3 described above is performed by software. The data conversion circuit 35 outputs the image signal to an external personal computer (personal computer) via the output terminal 36 and converts the image signal so that it can be received by the personal computer.
[0046]
In this way, all n image signals are recorded on the recording medium 6 at the same time as shooting. When image processing is performed by the syscon 9, the same processing as in the hardware shown in the block diagram of the image processing circuit in FIG. 2 described above is performed, and the processed image signal is recorded in another area of the recording medium 6 again. Is done. When image processing is performed by an external personal computer, all image signals are transferred to the personal computer, processing similar to that performed by hardware is performed, and the result is recorded on the hard disk of the personal computer.
[0047]
In this embodiment, when an image signal is written to the output image memory 23, alignment is performed to correct a deviation from the image signal of the next frame. However, when an image signal is read from the output image memory 23, Alignment for correcting a deviation from the image signal of the next frame may be performed.
[0048]
【The invention's effect】
According to the present invention, a sharp still image with little influence of camera shake can be obtained simply by photographing a digital camera for about 0.5 sec to 5 sec toward a dark subject that is held by hand.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a first embodiment of a camera-integrated digital VTR to which the present invention is applied;
FIG. 2 is a block diagram of a first example of an image processing circuit to which the present invention is applied.
FIG. 3 is a block diagram of a second example of an image processing circuit to which the present invention is applied;
FIG. 4 is a timing chart for explaining the present invention.
FIG. 5 is a block diagram showing a second embodiment of a camera-integrated digital VTR to which the present invention is applied.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Lens group, 2 ... CCD image sensor, 3 ... Image processing circuit, 4 ... Image memory, 5 ... Compression circuit, 6 ... Recording medium, 7 ... Expansion circuit , 8 ... Display circuit, 9 ... Syscon, 10 ... Number setting key

Claims

An image sensor that sequentially captures n preset images with a short exposure time that is not affected by camera shake; and
Means for performing brightness correction of the n images and processing for detecting a positional shift between two temporally adjacent images in the n images with an accuracy of 1 / m pixels;
Means for correcting the detected positional deviation;
An image signal processing apparatus comprising: means for adding and averaging n images corrected for the positional deviation.

In claim 1,
And compression means for compressing the averaged image;
A recording medium for recording the compressed image;
An image signal processing apparatus comprising: expansion means for expanding the image read from the recording medium.

An image sensor that sequentially captures n preset images with a short exposure time that is not affected by camera shake; and
A recording medium for recording each of the n images,
Means for performing brightness correction of the n images read from the recording medium and processing for detecting a positional shift between two temporally adjacent images in the n images with an accuracy of 1 / m pixel. When,
Means for correcting the detected positional deviation;
An image signal processing apparatus comprising: means for adding and averaging n images corrected for the positional deviation.

In claim 3,
And compression means for compressing each of the n images sequentially captured;
An image signal processing apparatus comprising: expansion means for expanding each of the n images read from the recording medium.

In claim 1 or 3,
An image signal processing apparatus characterized in that images are continuously captured while the shutter button is pressed regardless of the n images set in advance.

In claim 5,
An image signal processing apparatus characterized in that photographing is automatically ended when the S / N of a plurality of the picked-up images reaches a predetermined value.

In claim 5 or 6,
The feature is that when an extreme image change is detected in the middle of the sequentially captured images, the image up to immediately before the detected extreme image change is used, and the shooting is terminated. An image signal processing apparatus.

In claim 7,
Furthermore, an image signal processing apparatus is characterized in that an image up to immediately before the extreme image change is used and a warning is output when S / N does not become a predetermined value.

In claim 6,
An image signal processing apparatus characterized in that the luminance level of the image is used to determine the number of sheets for which the S / N becomes a predetermined value.

In claim 1 or 3,
An image signal processing apparatus comprising transfer means for transferring the n images to an external image processing apparatus.

In claim 2 or 3,
An image signal processing apparatus, wherein the n images and the added image are recorded on the recording medium.

In claim 2 or 3,
An image signal processing apparatus, wherein the image added in real time is generated, and only the generated image is recorded on the recording medium.