JP4123623B2 - 画像信号処理装置および方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は、複数の画像信号から１枚の静止画を生成することができる画像信号処理装置および方法に関する。
【０００２】
【従来の技術】
現在、静止画モードを有するカメラ一体型ディジタルＶＴＲおよびディジタルスチルカメラ（以下、これらを総称してディジタルカメラと略する）を用いて静止画の撮影を行う場合、動いている被写体の一瞬をフリーズして撮影し、記録するようにできている。
【０００３】
【発明が解決しようとする課題】
しかしながら、動画の被写体を撮影するときと同様に、静止した被写体を撮影するときにもほんの一瞬の光しか利用していない。そのため、ディジタルカメラで撮影された静止画は、Ｓ／Ｎも解像度も不十分であった。
【０００４】
したがって、この発明の目的は、静止した被写体の撮影時間を長くすることによって、Ｓ／Ｎも解像度もより良くなり、さらにＣＣＤ撮像素子の画素数を大幅に上回る静止画を生成することができる画像信号処理装置および方法を提供することにある。
【０００５】
【課題を解決するための手段】
請求項１に記載の発明は、シャッタを押している間、画像を順次撮像する撮像素子と、撮像された画像を平面から円筒へ変換する円筒変換手段と、円筒変換された画像中、基準画像と、基準画像に対して所定の範囲内の位置ずれを有する画像との間で、１／ｍ画素の精度で位置ずれを検出する位置ずれ検出手段と、検出された位置ずれに応じて画像を補正する位置ずれ補正手段と、位置ずれが補正された画像を加算する加算手段と、シャッタを離すと、加算された画像を加算した枚数で除算し、平均化する平均化手段と、平均化された画像を円筒から平面へ変換する逆変換手段とからなることを特徴とする画像信号処理装置である。
【０００６】
請求項５に記載の発明は、シャッタを押している間、画像を順次撮像する撮像素子と、複数の画像を撮影する時の画角が比較的小さい範囲の場合に、複数の画像の光軸方向の変換を行う光軸変換手段と、光軸変換された画像中、基準画像と、基準画像に対して所定の範囲内の位置ずれを有する画像との間で、１／ｍ画素の精度で位置ずれを検出する位置ずれ検出手段と、検出された位置ずれに応じて画像を補正する位置ずれ補正手段と、光軸方向へ変換された画像を加算する加算手段と、シャッタを離すと、加算された画像を加算した枚数で除算し、平均化する平均化手段とからなることを特徴とする画像信号処理装置である。
【０００７】
請求項１６に記載の発明は、シャッタを押している間、撮像素子で画像を順次撮像するステップと、撮像された画像を平面から円筒へ変換するステップと、円筒変換された画像中、基準画像と、基準画像に対して所定の範囲内の位置ずれを有する画像との間で、１／ｍ画素の精度で位置ずれを検出するステップと、検出した位置ずれを補正するステップと、円筒へ変換された画像を加算するステップと、シャッタを離すと、加算された画像を加算した枚数で除算し、平均化するステップと、平均化された画像を円筒から平面へ変換するステップとからなることを特徴とする画像信号処理方法である。
【０００８】
請求項１７に記載の発明は、シャッタを押している間、撮像素子で画像を順次撮像するステップと、複数の画像を撮影する時の画角が比較的小さい範囲の場合に、複数の画像の光軸方向の変換を行うステップと、光軸変換された画像中、基準画像と、基準画像に対して所定の範囲内の位置ずれを有する画像との間で、１／ｍ画素の精度で位置ずれを検出するステップと、検出した位置ずれを補正するステップと、光軸方向へ変換された画像を加算するステップと、シャッタを離すと、加算された画像を加算した枚数で除算し、平均化するステップとからなることを特徴とする画像信号処理方法である。
【０００９】
積極的に手持ちのディジタルカメラの向きを上下左右に動かしながら静止した被写体を撮影するときに、そのディジタルカメラの動く速さと同じ速さで逆方向に光軸の方向を補正するように光軸可変素子を駆動させ、複数枚の画像信号を撮影する。撮影された画像信号Ｐ１と、その次のフレームで撮影され、画像信号Ｐ１とは異なる画像信号Ｐ２とを１／ｍ画素の精度で位置合わせするために、平面から円筒へ変換する円筒変換を施し、ｍ倍に拡大し、位置検出回路によって、画像信号Ｐ１に対して画像信号Ｐ２の位置が検出される。その検出結果から画素ずらし補間、画像変形、円筒変換、さらにｎ枚の画像信号の画素単位の位置合わせが行われる。合成されたｎ枚の画像信号は、平均化のためｎで割られた後、円筒から平面へ変換され、さらに高域強調フィルタが施される。これらの画像処理がリアルタイムで施される。
【００１０】
【発明の実施の形態】
以下、この発明の実施形態について図面を参照して説明する。図１は、この発明が適用された第１の実施形態の全体的構成を示す。１で示すレンズ群を介して入射された被写体の像がシャッタ１０が押されている間、ＣＣＤ撮像素子２へ供給される。レンズ群１は、シスコン（システムコントローラ）９によって、ズーム制御およびフォーカス制御が行われる。角速度センサ１１では、縦と横の角速度センサで光軸の方向の変化が検出される。検出された変化分は、シスコン９に含まれる光軸制御部１２へ供給される。光軸制御部１２では、レンズ群１に含まれる光軸可変素子、例えばアクティブプリズムまたはシフトレンズなどを用いて光軸の方向を制御するための信号が生成され、出力される。
【００１１】
ＣＣＤ撮像素子２では、被写体からの入射光が電荷として蓄積される。ＣＣＤ撮像素子２は、シスコン９によって、電子シャッタのオン／オフが制御される。これによって、ＣＣＤ撮像素子２の電子シャッタが駆動され、供給された被写体の像が取り込まれる。取り込まれた被写体の像は、Ａ／Ｄ変換器（図示せず）によりディジタル化され、ディジタル撮像信号（以下、画像信号と称する）として、画像処理回路３へ供給される。画像処理回路３へ供給された画像信号は、一旦画像メモリ４に記憶される。
【００１２】
画像処理回路３では、後述するように、画像メモリ４に記憶された複数の画像信号が位置合わせをしながらリアルタイムで順次加算される。この画像処理回路３は、シスコン９によって制御される。画像処理回路３で合成された合成画像信号は、圧縮回路５へ供給される。圧縮回路５へ供給された合成画像信号は、一旦画像メモリ４へ供給される。
【００１３】
画像メモリ４に記憶された合成画像信号は、圧縮回路５によって圧縮処理が施される。一例として、静止画として記憶された合成画像信号に対してＪＰＥＧ（Joint Photographic Experts Group）が施される。生成された圧縮画像信号に対して、シスコン９から供給されるサブデータが付加される。このサブデータは、例えば日付、時刻、フォーカス状態、シャッタ速度、絞りの状態、総枚数、何枚目、光軸の方向、・・・等の画像信号が撮影されたときの情報である。
【００１４】
サブデータが付加された圧縮画像信号は、記録媒体６に供給される。記録媒体６に供給された圧縮画像信号とサブデータは、シスコン９の制御に従って記録される。この記録媒体６の一例として、磁気テープ、磁気ディスク、光磁気ディスクまたは半導体メモリなどの中から適宜選択された記録媒体が用いられる。
【００１５】
操作キー系からの指定に応じたシスコン９の制御によって、記録媒体６から圧縮画像信号が読み出される。読み出された圧縮画像信号は、伸張回路７を介して一旦画像メモリ４へ記憶され、伸張回路７によって、伸張処理が施される。すなわち、この伸張回路７では、ＪＰＥＧの復号がなされる。さらに、圧縮画像信号から分離されたサブデータがシスコン９へ供給される。供給されたサブデータから日付、時刻、フォーカス状態、シャッタ速度、絞りの状態、総枚数、何枚目、光軸の方向、・・・等の情報が読み取られる。伸張された画像信号は、伸張回路７から表示回路８へ供給される。
【００１６】
上述した画像メモリ４は、複数の画像信号に対して画像処理を施す場合、合成画像信号に対して圧縮を施す場合、および圧縮画像信号を伸張する場合に用いられる。このとき、画像処理が施される領域と、圧縮が施される領域と、伸張が施される領域とをアドレスによって分けるようにしても良いし、記憶された信号に画像処理用のフラグ、圧縮用のフラグまたは伸張用のフラグを付けるようにしても良い。また、画像処理用のメモリ、圧縮用のメモリおよび伸張用のメモリを別々に設けるようにしても良い。
【００１７】
ここで、上述した画像処理回路３を図２を用いて説明する。ＣＣＤ撮像素子２から供給される画像信号は、入力端子２１から入力される。入力された画像信号は、入力画像メモリ２２へ供給される。入力画像メモリ２２には、撮影された現画像信号が記憶される。そして、バッファメモリ２３には、後述するように１フレームの基準となる画像信号（以下、基準画像信号と称する）が記憶される。一例として、入力画像メモリ２２およびバッファメモリ２３は、８ビットのＶＧＡ（Video Graphics Array）規格の容量である。
【００１８】
位置検出回路２４では、１フレームの基準画像信号に対して現画像信号はどのような位置にあるか、さらにどのような幾何学的な変形を受けているかが調べられる。この位置検出回路２４は、拡大補間回路２５、２７、ブロック毎の位置検出回路２６および処理演算回路２８から構成される。
【００１９】
この一例では、バッファメモリ２３には、基準画像信号が記憶される。この基準画像信号として、まず１枚目の画像信号が選ばれる。そして、その基準画像信号と現画像信号とが比較される。基準画像信号と現画像信号との位置が３０％ほど離れると、その３０％ほど離れた現画像信号が基準画像信号として記憶される。すなわち、現画像信号が基準画像信号から３０％ほど離れるまで、その基準画像信号は、位置検出のための基準画像信号として用いられ、現画像信号が基準画像信号から３０％ほど離れると、その現画像信号が基準画像信号として位置検出に用いられる。このように、基準画像信号と３０％離れた現画像信号が撮影される度にその現画像信号が基準画像信号として記憶される。そして、その基準画像信号に対する現画像信号の位置が検出される。
【００２０】
現画像信号は、拡大補間回路２５へ供給され、基準画像信号は、拡大補間回路２７へ供給される。拡大補間回路２５および２７では、供給された画像信号に対して平面から円筒へ変換する円筒変換が施され、円筒変換が施された画像信号が１倍〜８倍へ拡大される。また、小さいブロック毎に処理を行うので、拡大補間回路２７は、ブロックサイズだけあれば良く、拡大補間回路２５は、サーチ範囲を必要とするため拡大補間回路２７より広いサイズが必要である。この拡大補間回路２５および２７では、供給された画像信号を円筒変換した後、拡大を行うようにしているが、画像信号を拡大した後、円筒変換を行うようにしても良い。拡大された現画像信号および基準画像信号は、ブロック毎の位置検出回路２６へ供給される。
【００２１】
ブロック毎の位置検出回路２６では、１画素の１／１〜１／８の精度でブロック毎の位置が検出される。このとき、角速度センサ１１で検出される縦と横の光軸の方向の変化が位置検出回路２６へ供給されると、さらに精度の良い位置検出が行われる。また、あるブロック内の画像が平坦な場合、位置検出が不可能である。よって、ブロックのバリアンスＶａを計算し、バリアンスが小さいときには、そのブロックを位置検出に使用しないようにする。バリアンスＶａの計算は、
Ｖａ＝Σ（ｙi ² ）／Ｋ−（Σ（ｙi ／Ｋ））²
但し、ｙi ：輝度値、Ｋ：ブロック内の画素数とする。
【００２２】
処理演算回路２８では、ブロック番号をｉとし、ブロック毎に縦横の平行移動成分が求められる。求められた縦方向の平行移動成分をｙ〔ｉ〕とし、横方向の平行移動成分をｘ〔ｉ〕とする。多くのブロックについて、ｘ〔ｉ〕およびｙ〔ｉ〕からそれぞれ同じ値を得た場合、画面全体が平行移動したものと見做される。この処理演算回路２８で検出された位置データは、１画素を超える整数成分と、１画素未満の小数成分とを持っている。検出された位置データの整数成分は、出力画像メモリ３３へ供給され、小数成分は、画素ずらし補間回路３０へ供給される。また、処理演算回路２８で検出された画像変形係数は、画像変形回路３１へ供給される。
【００２３】
画素ずらし補間回路３０では、供給された小数成分に応じてバッファメモリ２３から順次撮影された画像信号が供給され、その画像信号に対して画素ずらし補間が施される。例えば、位置検出回路２４で３．７画素分水平方向にずれていると判断された場合、この画素ずらし補間回路３０には、位置検出回路２４から小数成分の０．７が供給される。そこで、画素ずらし補間回路３０では、加重平均によって、画素Ａから画素Ｂの方向へ０．７画素ずれた位置に画素Ｃが生成される。この一例では、
Ａ×（１−０．７）＋Ｂ×０．７＝Ｃ
から画素Ｃが生成される。このようにして、供給された画像信号に対して０．７画素ずらしが施され、０．７画素ずらされた画像信号が新たに生成される。新たに生成された画像信号は、画素ずらし補間回路３０から画像変形回路３１へ供給される。
【００２４】
画像変形回路３１では、供給された画像変形係数に応じて、画素ずらし補間が施された画像信号に対して画像変形、例えば回転、伸縮および台形歪みなどが施される。また、この画像変形回路３１では、供給された画像信号に対して平面から円筒へ変換する円筒変換が行われる。このように画像変形が施された画像信号は、画像変形回路３１から加算回路３２へ供給される。
【００２５】
加算回路３２では、出力画像メモリ３３からの画像信号と、画像変形回路３１からの画像信号との加算が行われる。加算された画像信号は、出力画像メモリ３３に供給される。
【００２６】
出力画像メモリ３３では、位置検出回路２４から供給される整数成分のずれを補正するように、画像信号が書き込まれる。例えば、位置検出回路２４で３．７画素分水平方向にずれていると判断された場合、この出力画像メモリ３３には、位置検出回路２４から整数成分の３が供給される。その整数成分の３のずれを補正するように、出力画像メモリ３３では、水平方向へ３画素ずれた位置となるように、画像信号が書き込まれる。すなわち、画素ずらし補間回路３０で０．７画素ずらされ、この出力画像メモリ３３で３画素ずらされる。これによって、水平方向に３．７画素ずれている次のフレームの画像信号と、記憶している画像信号との位置合わせが行われる。位置合わせが行われた記憶している画像信号と、次のフレームの画像信号とは、上述したように加算回路３２で加算される。また、この出力画像メモリ３３の縦横サイズは、ＣＣＤ撮像素子２の画素数の数倍から数十倍となる。一例として、その上限は、水平方向に±１８０度、垂直方向に±９０度とする。
【００２７】
この一例では、２秒で６０枚の画像信号の加算が可能であり、加算される枚数が６４枚以下の場合、出力画像メモリ３３は、１４ビットのＶＧＡ規格に合った容量である。全ての画像信号が加算された合成画像信号は、出力画像メモリ３３から加算回路３２および除算回路３４へ供給される。
【００２８】
除算回路３４では、ｎ枚加算された合成画像信号をｎで割り、合成画像信号が平均化される。このとき、上下左右にディジタルカメラを動かしながら撮影しているので、出力画像メモリ３３に加算される合成画像信号は、ＣＣＤ撮像素子２の画像サイズを超える。手持ちで適当に動かしながら撮影するため、出力画像メモリ３３の中で加算される枚数がそれぞれ異なる。このため、最後に全体を枚数で除算するとき、画素単位で異なる枚数で割ることになる。よって、ｎの値は、アドレスによってそれぞれ異なるので、画素毎にｎの値を記憶するメモリが必要である。平均化された合成画像信号は、除算回路３４から逆変換回路３５およびスイッチ回路３６の一方の入力端子へ供給される。
【００２９】
逆変換回路３５では、供給された合成画像信号に対して円筒から平面へ変換する逆変換が施される。逆変換され、平面に変換された合成画像信号が逆変換回路３５からスイッチ回路３６の他方の入力端子へ供給される。スイッチ回路３６では、円筒から平面へ変換する逆変換を施した合成画像信号か、逆変換を施していない合成画像信号かが選択される。
【００３０】
この一実施形態では、仕上がった合成画像信号の画角が１０度以下となり非常に小さいことが予め分かっているとき、上述の拡大補間回路２５、２７および画像変形回路３１で施される円筒変換を施す必要がないので、逆変換回路３５で逆変換も行う必要がない。よって、このような場合、スイッチ回路３６では、除算回路３４から供給される逆変換を施していない合成画像信号が選択される。
【００３１】
また、仕上がり合成画像信号の画角が約６０度以下となり小さいことが予め分かっているとき、拡大補間回路２５、２７および画像変形回路３１において、施される円筒変換と、逆変換回路３５において、円筒から平面に変換する逆変換とを行う代わりに、拡大補間回路２５、２７および画像変形回路３１において、供給される画像信号に対して直接後述する光軸方向の変換（以下、光軸変換と称する）を行うようにしても良い。よって、このような場合、スイッチ回路３６では、除算回路３４から供給される逆変換を施していない合成画像信号が選択される。
【００３２】
さらに、仕上がり合成画像信号の画角が約１２０度以上で、円筒から平面への逆変換ができないとき、拡大補間回路２５、２７および画像変形回路３１において、円筒変換された状態のまま、高域強調フィルタ３７へ供給される。ただし、縦軸、すなわち緯度（−９０度〜＋９０度）から高さへの変換だけは行う。これによってより見やすい画像に仕上げることができる。よって、このような場合、スイッチ回路３６では、除算回路３４から供給される逆変換を施していない合成画像信号が選択される。
【００３３】
このようにして、スイッチ回路３６で選択された合成画像信号は、高域強調フィルタ３７へ供給される。高域強調フィルタ３７では、供給された合成画像信号がより鮮明な合成画像信号に仕上げられ、Ｓ／Ｎの良い静止画が得られる。一例として、高域強調フィルタ３７は、ＨＢＦ（ハイブーストフィルタ）から構成される。鮮明に仕上げられた合成画像信号は、出力端子３８を介して圧縮回路５へ供給される。
【００３４】
このように、位置合わせを行う画像信号は、静止画であり互いに相関を有する。また、複数の画像信号のノイズは、ランダムであって相関がない。従って、複数の画像信号を加算し、平均化することによって、ノイズがキャンセルされるので、Ｓ／Ｎが向上する。画素ずらし補間を行うときに、さらに複数の画像信号を合成するときに、元の画像信号の画素と異なる位置の画素の情報を持つので、解像度が向上する。
【００３５】
この実施形態では、入力画像メモリ２２に現画像信号を記憶し、バッファメモリ２３に基準画像信号を記憶するようにしているが、入力画像メモリ２２およびバッファメモリ２３に、時間的に隣り合う２枚の画像信号を記憶するようにしても良い。その場合、時間的に隣り合う２枚の画像信号を用いて位置検出が行われ、加算される。ただし、このとき誤差が累積する。また、撮影された全ての画像信号が１枚目に撮影された画像信号の範囲（１００％）を超えないことが予め分かっている場合、その１枚目の画像信号を基準画像信号として、全ての画像信号の位置検出を行うようにしても良い。
【００３６】
上述した入力画像メモリ２２およびバッファメモリ２３の画像サイズは、どちらも入力画像の１枚分＋αとしても良い。例えば、α＝０．２の場合、水平画素が７６４となり、垂直画素が５７６となる。入力画像メモリ２２およびバッファメモリ２３の画像信号のビット数は、どちらも入力画像と同じで良い。例えば、８ビット×３色で良い。
【００３７】
また、出力画像メモリ３３の画像サイズは、入力画像の１枚分としても良い。出力画像メモリ３３の画像信号のビット数は、加算する画像信号の枚数に依存し、枚数が２倍になる毎に１ビット増加する。例えば、加算する画像信号の枚数が１６枚なら１２ビット×３色となり、６４枚なら１４ビット×３色となるので、１６ビット×３色のビット数があれば、２５６枚の画像信号を加算することができる。加算する画像信号の枚数は、除算の都合から２のべき乗が良い。
【００３８】
このとき、静止した被写体に向けて手持ちでディジタルカメラの向きを上下左右に動かしながら撮影する。一例として、１２枚の画像信号が撮影されていた場合、図３に示すように、出力画像メモリ３３に、１枚目の画像信号、２枚目の画像信号、３枚目の画像信号、・・・、および１２枚目の画像信号が加算され、記憶される。図３Ａは、出力画像メモリ３３のサイズであり、図３Ｂは、ＣＣＤ撮像素子２から出力されるサイズである。また、１、２、３、・・・、および１２の数字は、順次撮影された画像信号の順番を示す。この図３から、上下左右にディジタルカメラを手持ちで動かしながら撮影したので、画像の位置が少しずつ異なっていることが分かる。
【００３９】
光軸制御部１２からの信号に応じて光軸可変素子は制御され、ディジタルカメラと被写体の相対位置を一定に保持する。すなわち、ディジタルカメラが移動している方向と逆の方向に光軸可変素子が駆動される。このアクティブプリズムまたはシフトレンズを制御する期間は、１フィールドまたは１フレームとし、毎フィールドまたは毎フレーム所定の方向にリセットする。以下、説明を容易とするために、１フレームで説明する。
【００４０】
リセットするタイミングは、ＣＣＤ撮像素子２の露光が無効となる期間に行う。このように、光軸可変素子を動作させることにより、シャッタ速度が速くなくても画素振れを抑えることができる。
【００４１】
ここで、タイミングチャートを図４に示す。図４Ａに示すように、シャッタ１０が押されている間、図４Ｂに示すように、ＣＣＤ撮像素子２から静止画となる画像信号が毎フレーム連続的に出力される。図４Ｃに示すように、出力された画像信号Ｐ１は、入力画像メモリ２２に記憶される。そして、図４Ｄに示すように、次のフレームで画像信号Ｐ１は、バッファメモリ２３に記憶される。
【００４２】
そして、入力画像メモリ２２に画像信号Ｐ２が記憶され、バッファメモリ２３に画像信号Ｐ１が記憶されているときに、位置検出回路２４では、画像信号Ｐ２に対して画像信号Ｐ１の位置が検出される。図４Ｅに示すように、位置検出の検出結果は、整数成分、小数成分および画像変形係数からなり、上述したように整数成分は出力画像メモリ３３へ供給され、小数成分は画素ずらし補間回路３０へ供給され、画像変形係数は画像変形回路３１へ供給される。
【００４３】
図４Ｆに示すように、その検出結果に基づいて、画素ずらし補間回路３０および画像変形回路３１において、画像信号に処理が施される。そして、図４Ｇに示すように、出力画像メモリ３３に、処理が施された画像が記憶される。このとき、上述したように位置検出の検出結果の整数成分に基づいて出力画像メモリ３３への画像信号の書き込みを制御することによって、位置合わせが行われ、複数の画像信号が合成される。
【００４４】
シャッタ１０を離すと、新しい画像を取り込むことを止め、出力画像メモリ３３の値を加算された枚数で割り、円筒から平面へ変換する逆変換が施される。逆変換が施された画像信号は、図４Ｈに示すように、高域強調フィルタ３７を通過し、Ｓ／Ｎの良く、画素数の多い合成画像信号が生成される。
【００４５】
ここで、この発明が適用された第２の実施形態の全体的構成を図５に示す。この第２の実施形態は、画像処理をソフトウェアで行う一例である。上述した第１の実施形態と同様のブロックには、同じ符号を付し、その説明を省略する。スイッチ回路４１では、シスコン９に含まれる画像処理回路４４から出力される合成画像信号と、ＣＣＤ撮像素子２からの画像信号とから何れか１つが選択される。スイッチ回路４１で選択された合成画像信号または画像信号は、圧縮回路５およびスイッチ回路４２へ供給される。
【００４６】
スイッチ回路４２では、伸張回路７で再生される合成画像信号または画像信号と、スイッチ回路４１を介して供給される合成画像信号または画像信号とから何れか１つが選択される。選択された合成画像信号または画像信号は、出力端子４３を介して外部のモニタに出力されると共に、表示回路８に供給される。
【００４７】
また、伸張回路７から出力される複数の画像信号は、画像処理部４４およびデータ変換回路４５へ供給される。画像処理部４４では、上述した画像処理回路３と同じような画像処理がソフトウェアにて施される。データ変換回路４５では、出力端子４６を介して外部のパソコン（パーソナルコンピュータ）へ出力して、パソコンで受け取れるように画像信号が変換される。
【００４８】
このように、ｎ枚の画像信号が撮影と同時に全て記録媒体６に記録される。シスコン９で画像処理を行う場合、上述した図２の画像処理回路のブロック図に示すハードウェアの場合と同様の処理を行い、処理が終了した画像信号が再び記録媒体６の別の領域に記録される。外部のパソコンで画像処理を行う場合、全ての画像信号をパソコンに転送し、ハードウェアの場合と同様の処理を行い、その結果がパソコンのハードディスクなどに記録される。
【００４９】
ここで、画像信号を平面から円筒へ変換する円筒変換について説明する。例えば、三脚などで固定されたディジタルカメラを回転させて大きな壁一面に描かれている壁画を複数に分けて撮影する場合、ディジタルカメラの正面の被写体を円筒変換の基準とすると、正面以外の被写体は、ディジタルカメラとの光路差が異なる。光路差が異なる被写体をディジタルカメラで撮影した場合、撮影された画像に、その異なる光路差に応じた回転、伸縮および／または台形歪などの変形が生じる。
【００５０】
そこで、上述した拡大補間回路２５および２７において、円筒変換の基準となる画像と同一面となるように、供給された画像信号に対して円筒変換が施される。円筒変換を施すことによって、光路差により生じる画像の回転、伸縮および／または台形歪などの変形が補正される。すなわち、光路差が等しくされた画像信号が生成される。また、ディジタルカメラの正面の被写体を撮影した円筒変換の基準となる画像でも、画像の中心とその画像の四隅とを比較すると、光路差が生じるため、円筒変換が施される。
【００５１】
よって、基準画像信号と現画像信号との位置検出を行う場合、画像信号に対して円筒変換を施す。このディジタルカメラでは、図６Ｂに示すようにＬ（ｍｍ）の距離のｈ−ｖ平面がＬ_H ×Ｌ_V のサイズで撮れるようになっている。この光線を半径Ｌ（ｍｍ）の円筒面に投影し、この円筒面を単に平面状に拡げたものをｘ−ｙ平面とする（図６Ａ）。これを整数tmax×vmaxの網目状の画素（ｔ，ｖ）に投影する（図６Ｃ）。
【００５２】
ｔ、ｖを決めるとそれに対応するｘ、ｙは、
ｘ＝（ｔ−（tmax−１）／２）・（２・θ_H ／tmax） （１）
ｙ＝（ｖ−（vmax−１）／２）・（２・Ｌ_V ／vmax） （２）
となる。
【００５３】
経度Ｐ１を図６Ｂのように決めると、
Ｐ１＝π／２−ｘ （３）
となる。
【００５４】
緯度Ｑ１は、
Ｑ１＝ｔａｎ^-1（ｙ／Ｌ） （４）
となる。
【００５５】
式（１）、式（２）、式（３）、式（４）は、任意の画素（ｔ，ｖ）に対応する方向（Ｐ１，Ｑ１）を求める方法を示している。一方、（Ｐ１，Ｑ１）の方向がｈ−ｖ平面と交わる座標（ｈ４，ｖ４）は、
ｈ４＝Ｌ／ｔａｎ（Ｐ１）
ｖ４＝Ｌ・ｔａｎ（Ｑ１）／ｓｉｎ（Ｐ１）
である。
【００５６】
この座標（ｈ４，ｖ４）とＣＣＤ撮像素子の画素（ｉ，ｊ）との関係は、
ｉ＝（ｈ４・tmax／Ｌ_H ＋tmax−１）／２
ｊ＝（ｖ４・vmax／Ｌ_V ＋vmax−１）／２
となる。
【００５７】
これらの式は、方向（Ｐ１，Ｑ１）に対応するＣＣＤ撮像素子上の座標を実数に拡張した点（ｉ，ｊ）を求める式である。整数（ｔ，ｖ）を与えて方向（Ｐ１，Ｑ１）を求め、さらに実数（ｉ，ｊ）が求まったら、次はその点を囲む整数の何点かから補間演算を行い、この値を円筒座標の点（ｔ，ｖ）のデータとする。また、上述したように、仕上がった合成画像信号が広くて平面への逆変換ができないときも、円筒変換は必要である。しかしながら、それほど広くなく、必ず平面に戻すことが分かっている場合、平面から円筒へ変換する円筒変換と、その逆に円筒から平面へ変換する逆変換というように変換を２回行う必要は無く、１回の変換で行うことができる。その一例として、光軸変換を説明する。
【００５８】
図７に示すように、ディジタルカメラの視点を原点Ｏにとり、ｘ、ｙ、ｚの座標系を図のように決める。焦点距離ｆ〔ｍ〕の位置に画像平面Ｇがある。画像上の点Ｐは、被写体平面Ｈ上の点Ｑが投影される。被写体平面Ｈ上の点Ｃは、被写体の中心であり、どこでも良いがｚ軸上に配置する。
【００５９】
撮影された画像について、
ｄｘ：ｘ方向の画素サイズ〔ｍ／pixel 〕
ｄｙ：ｙ方向の画素サイズ〔ｍ／pixel 〕
ξ’：ｘ方向の位置〔pixel 〕
η’：ｙ方向の位置〔pixel 〕
となる。
【００６０】
また、変換された画像について、
ｅｘ：ｘ方向の画素サイズ〔ｍ／pixel 〕
ｅｙ：ｙ方向の画素サイズ〔ｍ／pixel 〕
ξ’：ｘ方向の位置〔pixel 〕
η’：ｙ方向の位置〔pixel 〕
となる。
【００６１】
画像上の点Ｐは、次のように表すことができる。
【００６２】
【数１】

【００６３】
点Ｐに対応する被写体上の点Ｑを
【００６４】
【数２】

【００６５】
とすると、点Ｐおよび点Ｑは一直線上にあるので、
【００６６】
【数３】

【００６７】
ｚ座標から
ｋ＝−ｆ／ｚｑ
ξ、ηについて解くと、
【００６８】
【数４】

【００６９】
変換後の画像上の位置ξ’およびη’から点Ｑを求めるには、
【００７０】
【数５】

【００７１】
Ｒは、ディジタルカメラの姿勢を表すの行列であり、
【００７２】
【数６】

【００７３】
ここで、θ、φ、ρはパン角、チルト角、ロール角である。そこで、逆行列を求めると、
【００７４】
【数７】

【００７５】
となる。
【００７６】
以上の理論に基づいて作ったＣ言語による光軸変換のプログラムの一例を図８および図９に示す。この光軸変換のプログラムは、右へｐａ〔deg 〕パンし、上へｑａ〔deg 〕チルトし、反時計回りにｒａ〔deg 〕ロールして撮影した画像を、正面を向いて撮影した画像信号と同一平面上に変換するものである。図１０は、正面で撮影したＧ１平面の画像信号と、右へｐａ〔deg 〕パンして撮影したＧ２平面の画像信号とを同一平面上に変換する一例を説明するための略線図である。
【００７７】
格子模様の壁面を持つ直方体の部屋の内部を、一箇所からいろいろな方向にディジタルカメラを向けて撮影した一例を図１１に示す。またこのときの水平画角は、５２〔degpp 〕である。図１１Ａは、ディジタルカメラで正面を撮影した画像信号である。図１１Ｂは、図１１Ａに示す正面からディジタルカメラを左へ２０度パンして撮影した画像信号である。図１１Ｃは、図１１Ａに示す正面からディジタルカメラを上へ２０度チルトして撮影した画像信号である。図１１Ｄは、図１１Ａに示す正面からディジタルカメラを時計回りに２０度ロールして撮影した画像信号である。図１１Ｅは、図１１Ａに示す正面からディジタルカメラを左へ２０度パンし、上へ２０度チルトして撮影した画像信号である。図１１Ｆは、図１１Ａに示す正面からディジタルカメラを左へ２０度パンし、上へ２０度チルトし、時計回りに２０度ロールして撮影した画像信号である。
【００７８】
上述した図８および図９に示す光軸変換のプログラムで図１１Ａに示す正面の画像信号と同一平面に変換した一例を図１２に示す。図１２Ａは、図１１Ｂに示す画像信号を光軸変換した画像信号である。図１２Ｂは、図１１Ｃに示す画像信号を光軸変換した画像信号である。図１２Ｃは、図１１Ｄに示す画像信号を光軸変換した画像信号である。図１２Ｄは、図１１Ｅに示す画像信号を光軸変換した画像信号である。図１２Ｅは、図１１Ｆに示す画像信号を光軸変換した画像信号である。また、この図１２に示す画像信号は、出力画像のサイズを１２０％に制限しているため、四角形になっていない。
【００７９】
このように、上述した拡大補間回路２５および２７において、円筒変換または光軸変換を行うことによって、光路差による歪みを補正できるので、位置検出を正しく行うことができる。
【００８０】
ここで、上述した実施形態で用いられる光軸可変素子の一例としてアクティブプリズムを図１３に示し、簡単に説明する。このアクティブプリズムは、前面ガラス５１と後面ガラス５２の間を蛇腹５３でつないだものである。この２枚のガラスの間に高屈折率ｎの液体５４が封入されている。２枚のガラスには、それぞれ縦と横に、回転軸を設け、自由に動作するようにしたものである。このアクティブプリズムを光軸可変素子として使用することによって、光軸が縦と横に曲げられる。
【００８１】
このときの液体５４は、
(1) 前面ガラス５１および後面ガラス５２と屈折率ｎが近い物質
(2) カメラの動作温度範囲で凍結などの異常が生じない物質
(3) 万一破損し、液体５４が流出しても人体には無害な物質
この３つの条件を満たす必要がある。
【００８２】
このアクティブプリズムの動作を簡単に説明する。前面ガラス５１は、例えば水平の軸で保持され、後面ガラス５２は、例えば垂直の軸で保持され、それぞれ軸のまわりを独立に回転できる。その回転軸には、可動コイルが取り付けられる。コイルに流れる電流によって回転角（頂角）が決められる。例えば、手振れによって、カメラが上を向いたとき、図１３Ａに示すアクティブプリズムの状態から図１３Ｂに示すアクティブプリズムの状態へ変化する。
【００８３】
具体的には、図１３Ａに示すように、２枚のガラス板が平行なときには、アクティブプリズムに入射した光線は直進する。ここで、手振れが発生し、２枚のガラス板が平行位置からある角度だけ回転したとすると、アクティブプリズム内部の屈折率ｎにより、入射した光線が出射するときには、図１３Ｂに示すように、屈折する。
【００８４】
さらに、光軸可変素子の一例としてシフトレンズを図１４に示し、簡単に説明する。この図１４は、複数のレンズからなるレンズ群１の中に光軸可変素子となるシフトレンズを設けた一例である。通常、シフトレンズは、図１４中に点線で示す位置Ｐ１に配置される。位置Ａ１の被写体は、位置Ｐ１のシフトレンズを介してＣＣＤ撮像素子２上の位置Ａ１’に投射される。被写体がＣＣＤ撮像素子２上の位置Ａ１’に投射されているときに、例えばディジタルカメラが下を向いたとき、被写体はＣＣＤ撮像素子２上の位置Ａ２’に投射される。すなわち、ディジタルカメラから見た場合、被写体が位置Ａ１から位置Ａ２に移動したようになる。このようなとき、ディジタルカメラの移動を角速度センサ１１によって検出し、検出された移動量に応じてシフトレンズを実線で示す位置Ｐ２へ移動させる。シフトレンズを位置Ｐ２へ移動させることによって、ディジタルカメラが下を向く前と同じ位置Ａ１’に位置Ａ２の被写体が投射される。このシフトレンズを用いて手振れ補正を行うことができる。
【００８５】
【発明の効果】
この発明に依れば、静止した被写体に向けて手持ちでディジタルカメラの向きを上下左右に動かしながら撮影するだけで広い画角、例えば天井や床も含む静止画が高解像度でしかも手振れの影響もなく得ることができる。このとき、円筒変換して基準画像信号と現画像信号との位置を検出するので、より正確に位置ずれを検出することができる。
【図面の簡単な説明】
【図１】この発明が適用されるカメラ一体型ディジタルＶＴＲの第１の実施形態を示すブロック図である。
【図２】この発明が適用される画像処理回路の一例のブロック図である。
【図３】この発明のディジタルカメラが撮影する画像信号を説明するための略線図である。
【図４】この発明を説明するためのタイミングチャートである。
【図５】この発明が適用されるカメラ一体型ディジタルＶＴＲの第２の実施形態を示すブロック図である。
【図６】この発明に適用される円筒変換の説明に用いられる略線図である。
【図７】この発明に適用される光軸変換の説明に用いられる略線図である。
【図８】この発明に適用される光軸変換のアルゴリズムの一例である。
【図９】この発明に適用される光軸変換のアルゴリズムの一例である。
【図１０】この発明に適用される光軸変換の説明に用いられる略線図である。
【図１１】この発明に適用される光軸変換の説明に用いられる略線図である。
【図１２】この発明に適用される光軸変換の説明に用いられる略線図である。
【図１３】この発明に適用される光軸可変素子の第１の例を説明するための略線図である。
【図１４】この発明に適用される光軸可変素子の第１の例を説明するための略線図である。
【符号の説明】
１・・・レンズ群、２・・・ＣＣＤ撮像素子、３・・・画像処理回路、４・・・画像メモリ、５・・・圧縮回路、６・・・記録媒体、７・・・伸張回路、８・・・表示回路、９・・・シスコン、１０・・・シャッタ、１１・・・角速度センサ、１２・・・光軸制御部

Claims (17)

1. シャッタを押している間、画像を順次撮像する撮像素子と、
   撮像された上記画像を平面から円筒へ変換する円筒変換手段と、
   円筒変換された上記画像中、基準画像と、上記基準画像に対して所定の範囲内の位置ずれを有する画像との間で、１／ｍ画素の精度で位置ずれを検出する位置ずれ検出手段と、
   検出された上記位置ずれに応じて上記画像を補正する位置ずれ補正手段と、
   位置ずれが補正された上記画像を加算する加算手段と、
   上記シャッタを離すと、上記加算された画像を加算した枚数で除算し、平均化する平均化手段と、
   平均化された上記画像を円筒から平面へ変換する逆変換手段と
   からなることを特徴とする画像信号処理装置。
2. 請求項１において、
   加算された上記画像の画角が第１の所定値より非常に小さい場合、上記円筒変換手段の処理および上記逆変換手段の処理を行わないようにしたことを特徴とする画像信号処理装置。
3. 請求項１において、
   加算された上記画像の画角が第２の所定値より大きい場合、上記逆変換手段の処理を行わないようにしたことを特徴とする画像信号処理装置。
4. 請求項３において、
   上記円筒変換手段では、縦軸を緯度から高さへの変換を行うようにしたことを特徴とする画像信号処理装置。
5. シャッタを押している間、画像を順次撮像する撮像素子と、
   複数の画像を撮影する時の画角が比較的小さい範囲の場合に、上記複数の画像の光軸方向の変換を行う光軸変換手段と、
   光軸変換された上記画像中、基準画像と、上記基準画像に対して所定の範囲内の位置ずれを有する画像との間で、１／ｍ画素の精度で位置ずれを検出する位置ずれ検出手段と、
   検出された上記位置ずれに応じて上記画像を補正する位置ずれ補正手段と、
   上記光軸方向へ変換された上記画像を加算する加算手段と、
   上記シャッタを離すと、上記加算された画像を加算した枚数で除算し、平均化する平均化手段と
   からなることを特徴とする画像信号処理装置。
6. 請求項１または５において、
   さらに、上記画像に高域強調を施す高域強調手段を有することを特徴とする画像信号処理装置。
7. 請求項１または５において、
   さらに、上記画像を圧縮する圧縮手段と、
   圧縮された上記画像を記録する記録媒体と、
   上記記録媒体から読み出した上記画像を伸張する伸張手段とを有することを特徴とする画像信号処理装置。
8. 請求項７において、
   上記撮像素子で撮像された上記画像および上記加算手段で加算された上記画像を上記記録媒体に記録するようにしたことを特徴とする画像信号処理装置。
9. 請求項７において、
   上記加算手段でリアルタイムに加算された上記画像のみを上記記録媒体に記録するようにしたことを特徴とする画像信号処理装置。
10. 請求項１または５において、
    さらに、光軸の方向を変化させる光軸可変手段と、
    角速度センサの出力を積分する積分手段とを有し、
    上記積分手段の積分結果に応じて上記光軸可変素子を逆方向に制御するようにしたことを特徴とする画像信号処理装置。
11. 請求項１０において、
    上記積分手段は、毎フィールド一定値または毎フレーム一定値にリセットされるようにしたことを特徴とする画像信号処理装置。
12. 請求項１１において、
    上記リセットは、上記撮像素子の露光が無効とされる期間に行うようにしたことを特徴とする画像信号処理装置。
13. 請求項１または５において、
    上記ｍは、１以上の整数としたことを特徴とする画像信号処理装置。
14. 請求項１または５において、
    さらに、上記撮像素子で撮像された上記画像を外部の画像処理装置へ転送する転送手段を有することを特徴とする画像信号処理装置。
15. 請求項１または５において、
    上記所定の範囲となる画像が撮像された場合、撮像された上記画像を基準画像として記憶するようにしたこと特徴とする画像信号処理装置。
16. シャッタを押している間、撮像素子で画像を順次撮像するステップと、
    撮像された上記画像を平面から円筒へ変換するステップと、
    円筒変換された上記画像中、基準画像と、上記基準画像に対して所定の範囲内の位置ずれを有する画像との間で、１／ｍ画素の精度で位置ずれを検出するステップと、
    検出した上記位置ずれを補正するステップと、
    上記円筒へ変換された上記画像を加算するステップと、
    上記シャッタを離すと、上記加算された画像を加算した枚数で除算し、平均化するステップと、
    平均化された上記画像を円筒から平面へ変換するステップと
    からなることを特徴とする画像信号処理方法。
17. シャッタを押している間、撮像素子で画像を順次撮像するステップと、
    複数の画像を撮影する時の画角が比較的小さい範囲の場合に、上記複数の画像の光軸方向の変換を行うステップと、
    光軸変換された上記画像中、基準画像と、上記基準画像に対して所定の範囲内の位置ずれを有する画像との間で、１／ｍ画素の精度で位置ずれを検出するステップと、
    検出した上記位置ずれを補正するステップと、
    上記光軸方向へ変換された上記画像を加算するステップと、
    上記シャッタを離すと、上記加算された画像を加算した枚数で除算し、平均化するステップと
    からなることを特徴とする画像信号処理方法。

Images