JP4401949B2

JP4401949B2 - 動画撮像装置及び動画撮像方法

Info

Publication number: JP4401949B2
Application number: JP2004363393A
Authority: JP
Inventors: 英夫河原
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2004-11-26
Filing date: 2004-12-15
Publication date: 2010-01-20
Anticipated expiration: 2024-12-15
Also published as: US20060132612A1; JP2006179966A

Description

本発明は、フィールド期間等のくり返し起こる所定の周期で連続的に撮像画を出力するビデオカメラなどの動画撮像装置において、各周期毎に複数の画像を撮像し、揺れ補正を行ったうえでこれら複数の画像を重ね合わせ合成して、動画を構成する１つの画像を得る動画撮像装置及び動画撮像方法に関する。

従来のビデオカメラ等の動画撮影可能なカメラシステムでは、オートエクスポージャ（ＡＥ）やオートフォーカス（ＡＦ）等の機能に見られるように、あらゆる点で自動化及び多機能化が図られ、良好な撮影が容易に行えるようになっている。また、近年においては、撮像装置の小型化や光学系の高倍率化が図られ、これに伴い、装置の揺れ等に起因する撮影画像の品位低下の問題が顕在化する傾向にある。その対策として、このような装置の揺れ（手揺れ）等により生じた撮影画の揺れを補正する揺れ補正機能が種々提案され、このような揺れ補正機能を撮像装置に搭載することで、さらに良好な撮影が容易に行えるようになっている。

例えばビデオカメラに搭載されている揺れ補正機能については、光学的に揺れを補正するいわゆる光学式揺れ補正方式（例えば、特許文献１参照。）及び、電気的な処理にて揺れの補正を行う電子式揺れ補正方式（例えば、特許文献２参照。）が提案されている。

ここで電子式揺れ補正の概略について、図８を用いて述べておく。図８(Ａ)〜(Ｃ)において、１００で示す領域は撮像素子（例えば、ＣＣＤセンサ、ＣＭＯＳセンサ）により取得される全撮像領域を示す。１０１で示した破線内の領域は全撮像領域１００のうち実際に映像信号（撮像画）として標準ビデオ信号へ変換して出力する切り出し枠である。１０２は撮影者が撮影している主被写体である。このときの標準ビデオ信号に基づく映像がモニタ上に表示された状態を、図８(Ｃ)に示す。図８(Ｃ)において、１０３はビデオ信号を再現するモニタの映像領域を示し、１０２’はモニタ１０３上に再現された主被写体である。つまり、撮像素子により取得した全撮像領域１００内からその周辺を除いた一部分を標準ビデオ信号として出力することにより、モニタ上に映像領域１０３が再現される。

次に図８(Ｂ)について説明すると、同図は被写体１０２を撮影する撮影者が矢印１０４、１０４’、１０４”で示す図中左下方向にビデオカメラを振ってしまったときの両像の変化を示したもので、撮像素子の全撮像領域１００上で主被写体１０２は矢印１０５で示す図中右上方向に移動してしまう。この状態で前記図８(Ａ)における切り出し枠１０１と同位置（全撮像領域１００面内における同座標位置）の１０１’で示す切り出し枠を用いて切り出した場合、矢印１０５で示すベクトル量だけ被写体１０２が移動したビデオ信号を発生させてしまう。そこで、前記撮像素子により画像を撮像した際にビデオカメラの揺れ量を検出しておき、この揺れ量により求めた画像の変位量１０６、すなわち揺れ補正目標値を用いて切り出し枠の位置を１０１’から１０１”で示す破線枠位置に移動させることにより、揺れによる被写体１０２像の移動が相殺され、これにより同図８(Ｃ)で示される映像を得ることが可能である。電子式揺れ補正はこの原理を用いて画像の揺れ補正を実現する。即ち、撮像手段の揺れを電気的に補正することにより、動画像の揺れ補正が行われ、ぶれの少ない撮像画を撮影することができるのである。

上記電子式揺れ補正方式による揺れ補正手段を備えたビデオカメラについて、図９を用いて簡単に説明すると、光学系の一部を構成するレンズ１５０を介して入射された撮影光（光束）は、ＣＣＤなどの撮像素子１５１上に結像され、電荷（電気信号）に変換される。そしてタイミングジェネレータ（ＴＧ）１５２により所定のタイミングで出力される読出し信号に基づいて撮像素子１５１から電気信号が読み出され、電気信号は信号処理回路１５３により例えばＮＴＳＣなどの標準ビデオ信号に変換され、ビデオ出力端子１５４を介して出力される。

その一方で、撮像のタイミングに合わせて例えば振動ジャイロなどの角速度センサ１５５によりビデオカメラの振れを角速度として検出し、図示しない直流カットフィルタ、増幅器、積分回路を備えた揺れ補正量演算回路１５６により揺れ補正量を算出する。より詳しくは、入力された各速度信号の中から直流カットフィルタにより交流成分すなわち振動成分のみを取り出し、増幅器（アンプ）により増幅させ、さらに積分回路にて積分処理して角速度を角変位に変換し、得られた角変位に基づいて揺れ補正量を算出する。そして算出された揺れ補正量は、読出し位置制御回路１５７により撮像素子１５１の画素の移動量に変換され、この移動量に基づいて読み出し（切り出し）位置が変更されると共に、当該揺れ補正量に基づいて撮像素子１５１の読み出しタイミングが変更される。

また、従来より採用されている光学式揺れ方式による補正手法について説明すると、光学式揺れ方式においても揺れ検出手段にあたる、角速度センサ、直流カットフィルタ、増幅器（アンプ）、積分回路という構成は同一の構成であり、上述の電子式揺れ補正方式と同様に揺れ補正量演算回路１５６により角変位を求め、この角変位に基づいて、光学的に光軸を変移させて振れを相殺する光学的な揺れ補正機構を備えることを特徴とし、例えば揺れ補正レンズを光軸直交面内で変位させることにより撮像素子への入射光の光軸を変移させる方式などが提案されている。以上によってビデオカメラの揺れを光学的に打ち消すことにより、撮影中（露光中）においては常に光学的な揺れ補正が行われ、ぶれのない撮像画を撮影することができる。

特開平９−１８１９５９号公報特開平１０−１７８５８２号公報

しかしながら上記電子式揺れ補正方式による揺れ補正手段を備えたビデオカメラには以下のような問題があった。即ち、撮像素子１５１の露出期間中（＝蓄積時間中）の揺れ補正は行なわれないため、撮像素子１５１が電荷（画像）を蓄積している露光期間中の揺れは取り除くことができず、揺れ補正の精度には限界があった。ビデオカメラの小型化や光学系の高倍率化は益々進む傾向にあり、補正精度のさらなる向上のために、、露光期間中の揺れを軽減する目的で蓄積時間を短くする検討が本発明者らによりなされている。この場合、露光期間中に揺れの影響が小さくなる分において補正精度が向上する一方で、被写体の動きも同時に小さくしてしまい、そのためビデオ動画における被写体の動きの描写が不自然になってしまう場合がある。

この問題点について、具体例を挙げて述べておくと、例えば主被写体の背景に車が横切った場合を想定すれば、主被写体および背景は上記電子式揺れ補正により補正が行われているが、同時に背景を横切る車に着目すれば、そのぶれ、すなわち車の動きも露光時間を短くすることにより小さくなって（軽減されて）しまい、動画としてみれば、被写体のぶれによる滑らかな動きが損なわれ、フィールド毎に車の移動に伴った位置に静止した車が現れるおかしな画像となってしまう場合がある。これに対し、画像の取得枚数を増やして車の滑らかな動きを再現しようとするとデータ量が膨大になってしまい、容量の大きい記憶媒体を装着しなければ撮像可能な時間が短くなってしまう。

また、光学式揺れ補正方式では、補正レンズを支持するとともにレンズ自体を高精度に可動させる必要があるために小型化には限度がある。

本発明は上記問題点を鑑みてなされたものであり、フィールド期間等のくり返し起こる所定の周期で画像を出力して例えば動画を撮影可能な撮像装置において、動きのある被写体の連続的な動きの再現性を損なうことなく、撮像画の揺れ補正を行うことのできる動画撮像装置及び動画撮像方法を提供することを一つの目的とする。

本発明の動画撮像装置は、１垂直同期期間に複数の画像を出力する撮像素子と、前記１垂直同期期間に前記撮像素子から出力される前記複数の画像のそれぞれを取得するごとに角速度を検出する角速度センサと、前記１垂直同期期間に前記撮像素子から出力される前記複数の画像のそれぞれに対応した前記角速度に基づいて揺れ補正量を算出する揺れ補正量演算手段と、前記１垂直同期期間に前記撮像素子から出力される前記複数の画像のそれぞれに対応した前記揺れ補正量を記憶する記憶部と、前記記憶部に記憶された前記揺れ補正量に基づいて前記複数の画像の座標を変換して画像合成を行うことで、前記１垂直同期期間あたり１枚の合成画像を生成する合成手段を有することを特徴とする。

本発明の動画撮像方法は、１垂直同期期間に複数の画像を出力する撮像工程と、前記１垂直同期期間に撮像素子から出力される前記複数の画像のそれぞれを取得するごとに角速度を検出する角速度検出工程と、前記１垂直同期期間に前記撮像素子から出力される前記複数の画像のそれぞれに対応した前記角速度に基づいて揺れ補正量を算出する揺れ補正量演算工程と、前記１垂直同期期間に前記撮像素子から出力される前記複数の画像のそれぞれに対応した前記揺れ補正量を記憶する記憶工程と、前記記憶工程で記憶された前記揺れ補正量に基づいて前記複数の画像の座標を変換して画像合成を行うことで、前記１垂直同期期間あたり１枚の合成画像を生成する合成工程と、を含むことを特徴とする。

本発明によれば、所定の周期にて連続的に撮像画を出力する撮像装置において、所定の周期の間に複数の画像を撮像し、各画像の揺れ量に基づいて画像の揺れを補正し、少なくとも２つ以上の揺れ補正後の画像データを重ね合わせ合成することで１つの画像を生成することにより、被写体の連続的な動きの再現性を損なうことなく、撮像画の揺れ補正を行うことができる。

以下、添付図面を参照して本発明の好適な実施の形態を詳細に説明する。

＜第１の実施形態＞
まず、本発明の第１の実施形態について説明する。図１は、本実施形態におけるカメラシステム（撮像装置）の概略構成を示すブロック図である。同図において、当該カメラシステムの備えた撮像部の構成として、２００は光学系の一部を構成するレンズであり、カメラ本体に対して着脱可能に装着される。２０１は光電変換手段である撮像素子（例えば、ＣＣＤセンサ、ＣＭＯＳセンサ）、２０２は撮像素子２０１からの電気信号を画像信号に変換するカメラ信号前処理回路である。また２０３はカメラ信号前処理回路２０２より出力される画像信号（画像データ）を記憶する画像記憶手段としての画像メモリ、２０４は画像メモリ２０３より読み出された画像信号の二次元座標を変換して揺れ補正を行う揺れ補正手段をなす座標変換部としての座標変換回路である。

２０５は座標変換回路２０４にて座標が変換された互いに異なるタイミングで取得した画像信号を合成する画像合成手段としての画像合成回路、２０６は合成された画像信号を、例えばＮＴＳＣなどの標準ビデオ信号に変換する信号処理手段としてのカメラ信号処理回路であり、変換された標準ビデオ信号はビデオ出力端子２０７を介して所定の周期、例えば1／６０秒間隔で映像画として出力されるように構成されている。なお、図１において図示は省略してあるが、レンズ２００は複数のレンズを組み合せてレンズユニットとして構成され、駆動モータ（例えば、振動型モータ、ステッピングモータ）によりこれらレンズの間隔を変えることにでズーム位置やフォーカスの調整が可能であり、さらに焦点距離を変更可能なように構成されている。

更に、カメラシステムの備えた揺れ補正機構の構成として、２０８はカメラシステムの外装体に設けられた当該カメラシステムの揺れ量を検出するための揺れ検出部としての振動ジャイロなどの角速度センサである。２０９は角速度センサ２０８から出力される角速度信号（角速度の情報）に基づいて揺れ補正量を算出する揺れ補正量演算部としての揺れ補正量演算回路であり、２１０は揺れ補正量演算回路２０９により演算された揺れ補正量を記憶する揺れ補正量記憶部としての揺れ補正量メモリである。これら揺れ検出部、揺れ補正量演算部及び揺れ補正量記憶部は揺れ補正量検出手段を構成する。また、２１１は撮像装置の動作タイミングの基となる基準信号を発生するタイミングジェネレータ（以下、「ＴＧ」と略す）であり、撮像素子２００、画像メモリ２０３、座標変換回路２０４及び画像合成回路２０５、揺れ補正量メモリ２１０に動作開始のトリガとなり得る基準信号を供給している。

ここで上記揺れ補正量演算回路２０９について図２を用いて詳しく説明する。この図２は、補正量演算回路２０９の内部構成を示すブロック図である。同図において、３００は角速度センサ２０８から出力される角速度信号の中の直流成分を遮断して、交流成分すなわち振動成分のみを通過させる振動信号抽出部をなすＤＣカットフィルタである。この振動信号抽出部はＤＣカットフィルタ３００に限られず、所定の帯域で信号を遮断するハイパスフィルタ（ＨＰＦ）を用いてもよい。また３０１はＤＣカットフィルタ３００を通過した角速度信号を適当な感度に増幅させる増幅器（アンプ）である。３０２は増幅器３０１より出力された角速度信号をデジタル信号に変換するＡ／Ｄ変換器である。３０３はＡ／Ｄ変換器３０２からのデジタル出力の中の低周波成分を遮断するハイパスフイルタ（以下、「ＨＰＦ」と略す）であり、任意の帯域で特性を可変し得る機能を有する。

また、３０４はＨＰＦ３０３からの角速度信号（角変位の情報）を積分して角変位信号を出力する積分器回路であり、任意の帯域で特性を可変し得る機能を有する。３０５は角速度信号及び積分器回路３０４より出力される角変位信号に基づいてカメラシステムがパンニング・チルティングの状態にあるか否かの判定を行うパン・チルト判定回路であり、このパン・チルト判定回路３０５は、角速度及び角変位の情報（角速度信号及び角変位信号のレベル）に基づいて後述するパンニング制御を行うように構成されている。なお、ここでいうパンニング・チルティングの状態とは、カメラシステムの操作者がカメラワークとして意図的にパンニングあるいはチルティング等をさせながら撮影している状態を意味し、このような状態において、撮影画の乱れ防止や、操作者の意図する方向への速やかな応答性の確保を図るために、揺れ補正の範囲に制限をかける制御をパンニング制御という。

前記Ａ／Ｄ変換器３０２、ＨＰＦ３０３、積分器回路３０４及びパン・チルト判定回路３０５は、実際にはマイコンにより構成されて補正量演算部を構成する。そして、揺れ検出部により検出した角速度信号に基づいて補正量演算部により得られた角変位信号は、後の制御において揺れ補正目標値、例えば補正量＝焦点距離×ｔａｎ（補正角）により算出される値となる。

上記パンニング制御についてさらに詳しく述べておくと、Ａ／Ｄ変換器３０２から出力された角速度信号及び、積分器回路３０４から出力された角変位信号が夫々パン・チルト判定回路３０５に入力されると、角速度が所定のしきい値以上、あるいは角速度が所定のしきい値未満であっても、角速度信号を積分した角変位が所定のしきい値以上の場合に、パンニング・チルテイングの状態であると判定し、このようなときにはＨＰＦ３０３の低域カットオフ周波数を高域側へと変移させ、低域の周波数に対して振れ補正系が応答しないように特性を変更する。更にパンニング・チルテイングの状態にあると判定されたときには、画像補正手段の補正位置を徐々に移動範囲中心へとセンタリングし、積分器回路３０４の積分特性の時定数を短くなる方向に変移させ、積分器回路３０４に蓄積された値が基準値（揺れを検出していない状態においてとりうる値）となるようにパンニング制御を行う。なお、この間も角速度信号及び角変位信号の検出は行われており、パンニング・チルテイングの状態から解除された場合には、再び低域のカットオフ周波数を低下させて振れ補正範囲を拡張する動作が行われパンニング制御から抜ける。

この動作を図３のフローチャートを用いて説明する。なお、以下のフローチャートは、振れ補正量演算回路２０９内に組み込まれたプログラムによって実行される。

ステップＳ３０１：このフローの始まりであり、所定のタイミングで繰り返し開始される。ステップＳ３０２：増幅された角速度信号をアナログからデジタル値に変換する。ステップＳ３０３：カットオフ周波数の初期設定値又は前回用いた値によりＨＰＦ３０３の演算を行なう。ステップＳ３０４：積分時定数の初期設定値又は前回用いた値により積分演算を行なう。ステップＳ３０５：積分結果、すなわち角変位信号を出力する。ステップＳ３０６：角速度信号が所定のしきい値以上であるかを判断する。ステップＳ３０７：積分値が所定のしきい値以上であるかを判断する。ここで、角速度信号が所定のしきい値以上、あるいは角速度信号が所定のしきい値に満たなくとも、積分値が所定のしきい値以上ならばパンニング・チルティング状態と判断してステップＳ３０８へ進む。一方、角速度信号と積分値が共に所定のしきい値に満たない場合は通常制御状態、あるいはパンニング・チルティングの終了状態と判断しステップＳ３１０へ進む。

ステップＳ３０８：ＨＰＦ３０３の演算に用いるカットオフ周波数の値（ｆ）を現在の値より所定の値だけ高くし、低周波信号の減衰率を現在のそれより大きくする。ステップＳ３０９：積分演算に用いる時定数の値を現在の値より所定の値だけ短くし、角変位出力が基準値に近づくようにする。ステップＳ３１０：ＨＰＦ３０３の演算に用いるカットオフ周波数の値（ｆ）を現在の値より所定の値だけ低くし、低周波信号の減衰率を現在のそれより小さくする。ステップＳ３１１：積分演算に用いる時定数の値を現在の値より所定の値だけ長くし、積分効果を上げる。ステップＳ３１２：処理の終了。以上の制御により、積分値＝補正目標値の飽和を防ぐことにより補正目標値を定常状態とし、安定した揺れ補正信号を得ることができる。

続いて、上述のカメラシステムの各部の動作を順に説明していく。例えばビデオ撮影時においてレンズ２００を介して入射した光束（撮影光）は、撮像素子２０１上に結像し、電荷（電気信号）に変換されて蓄積される。この撮像素子２０１に蓄積された電荷は、１フィールド（所定の周期＝以下、第一の周期とする）内においてＴＧ２１１より複数回発生する所定のタイミング（以下、第二の周期とする）で読み出され、例えば不図示のＡ／Ｄ変換器によりデジタル信号に変換されてカメラ信号前処理回路２０２に入力される。そして、当該カメラ信号前処理回路２０２にて、入力されたデジタル信号に対し輝度信号や色信号を形成するなどの所定の信号処理を行うことにより画像信号が形成される。カメラ信号前処理回路２０２から出力される画像信号は、ＴＧ２１１より発生される前記所定のタイミング（第二の周期）にて画像メモリ２０３に順次記憶される。これにより、１フィールド期間（第一の周期）内において撮像素子２０１より読み出され、さらにカメラ信号前処理回路２０２にて信号処理されて得た画像信号は、ＴＧ２１１より発生される第二の周期のタイミングに基づき画像メモリ２０３に複数記憶される。

一方、上記撮像素子２０１から電荷を読み出すタイミングに合わせて角速度センサ２０８によりカメラシステムの振れを角速度として検出し、既述したように、揺れ補正量演算回路２０９により揺れ補正量を算出する。揺れ補正量演算回路２０９より出力された揺れ補正信号は、ＴＧ２１１より発生される前記所定のタイミング（第二の周期）に基づいて、例えば同期タイミングで撮像素子２０１から読み出された画像信号と対応付けて揺れ補正量メモリ２１０に順次記憶される。この繰り返しにより、１フィールド期間に画像メモリ２０３への画像信号の記憶と、揺れ補正量メモリ２１０への揺れ補正量の記憶が所定回数行われると、例えば当該フィールドの終了時点で、画像メモリ２０３及び揺れ補正量メモリ２１０からそれぞれのデータが読み出されて座標変換回路２０４に入力される。座標変換回路２０４においては、揺れ補正量メモリ２１０より読み出された揺れ補正量に基づいて、画像メモリ２０３より読み出された画像信号の座標を変換、つまり切り出し領域の位置変更を行なう。座標が変換された画像信号は画像合成回路２０５に入力され、この画像合成回路２０５において所定枚数分例えば１フィールド期間内に取得されたすべての画像信号を加算平均して画像合成することにより、１つの撮像画データが生成され、ビデオ出力端子２０７を介して第一の周期にて出力される。

続いて、上述の各動作が行なわれるタイミングについて、その一例を図４を用いて説明する。先ず、同図に示す各タイミングチャートについて説明しておくと、図中４１１は同期基準信号で例えばＮＴＳＣの垂直同期信号に相当する。４１５はＴＧ２１１の駆動信号のうちの代表的なタイミングを示している。また４１０は撮像素子２０１の蓄積期間を示したものであり、４２９に示すＨｉｇｈの部分が蓄積期間であり、さらにＬｏｗの期間で蓄積情報の読み出しが行われる。４３０は撮像素子２０１より読み出され、カメラ信号前処理回路２０２にて信号処理を施して形成された画像信号を画像メモリ２０３に記憶する記憶タイミングを示し、本例では４３１、４３２、４３３等にあたるタイミングで記憶動作が実行される。４４０は角速度信号から揺れ補正量を演算し、揺れ補正量メモリ２１０へその値を記憶するタイミングを示し、本例では４４１、４４２、４４３等にあたるタイミングで記憶動作が実行される。４５０は記憶した画像信号を読み出すとともに、同時期例えば同期タイミングに記憶された揺れ補正量を読み出し、この揺れ補正量に基づいて画像信号の座標変換を行った後、１フィールド期間内で取得したすべての画像を合成して１つの撮像画データを生成するタイミングを示している。本例では４５１、４５２、４５３等にあたるタイミングで読み出し、座標変換及び合成処理が実行される。

次に時間軸に沿ってその動作を説明する。先ず、同期信号４１１に示す垂直同期期間４１２が完了すると、ＴＧ２１１より発生されるＴＧ駆動信号４１５のタイミングに基づき撮像素子２０１の蓄積開始、読み出しが行われ、さらにカメラ信号前処理回路２０２にて画像信号にして画像メモリ２０３に記憶する。本例のように例えば４２１に示すタイミングで撮像素子２０１の蓄積が行われた場合、ＴＧ駆動信号４１５に基づきその蓄積完了とともに読み出し動作が行われ、カメラ信号前処理回路２０２にて信号処理を行った後に、４３１に示すタイミングで処理された画像信号を記憶する。さらに、同時期の４４１に示すタイミングにて、角速度センサ２０８より得られた角速度信号を揺れ補正量演算回路２０９で揺れ補正量に変換した後、揺れ補正メモリ２１０に記憶する。所定回数（本例では４回）の処理が行われた後、同期信号４１１の同期期間内に４５１のタイミングにて、記憶した前記画像信号を画像メモリ２０３から読み出すとともに、同時期に記憶された前記揺れ補正量を揺れ補正量メモリ２１０から読み出し、この揺れ補正量に基づいて画像信号の座標変換（後述する揺れ補正量に応じた出力画像読み出し）を施し、座標変換終了後１フィールド内の所定枚数の画像例えばすべての画像信号（本例では４つの画像信号）を合成し１枚の撮像画データを生成するタイミングを示している。

上述のようにフィールド期間中に複数の撮影により得られた画像メモリ２０３に取り込まれている各画像信号は、１フィールド期間を分割して各々の画像信号を取得した分、つまり撮像枚数に基づいてその蓄積時間が短くなった分において画像信号を蓄積している最中における手ぶれの影響を軽減することができる。具体的には、本例のように１フィールド期間内に４枚の画像を取得することで蓄積時間を１／４づつに区切った場合には、その画像のぶれ量も１／４に軽減されている。しかし、これらの画像をこのまま合成すると、合成された画像は画像間の構図が手ぶれなどによる移動分だけぶれた画像になってしまう。したがって、合成時にこの画像間のずれを補正する必要があり、本例においては以下の詳しく説明するように、画像の座標変換を行うことにより画像間のずれの補正を行なう。なお、本実施形態では１フィールド（１同期期間中：第一の周期）に４回の蓄積（第二の周期）、および読み出し動作が行われるものとして説明しているが、上記回数は少なくとも２回以上であればよく、特に４回に限定されるものではない。さらにまた、各フィールド期間内のすべての画像信号を必ずしも合成しなくともよく、取得した画像データのうち一部を合成するようにしてもよい。

続いて、画像信号の座標変換について図５を用いて説明する。５００は画像メモリ２０３に記憶される画像の全領域を示している。それは画素単位を構成する１個の光電変換素子（撮像素子）を面内に格子状に配列して形成された撮像素子２０１の全撮像領域（撮像面全体）に対応する画素配列をもち、ＴＧ２１１より発生される電気的な駆動パルスに基づき、読み出した画像を順次記憶する。また、図中５０２、５０３で示す領域はビデオ信号として出力する際の切出し枠である。つまり、全撮像領域５００がそのままビデオ出力されるというものではなく、この全撮像領域５００の領域内から切出し枠５０２（５０３）により切り出した領域が撮像画としてビデオ出力される。

ここで、例えば同図の５０２に示す切り出し枠でビデオ信号を切り出す場合を一例に挙げて説明すると、ＴＧ２１１からの信号に基づいて画像メモリ２０３に記憶された画像を読み出す際、まず初めに、「Ｓ」で示す画素より矢印５０５で示す方向に順番にメモリ画の読み出しが行われていく。この読み出しを出力ビデオ信号の同期期間内に合わせてスタートし、当該同期期間終了前に「Ａ」で示される画素の１画素手前まで例えば通常の読み出し速度よりも速い速度で読み出しを行う。そして同期期間終了後の実映像期間において、切出し枠５０２内にある「Ａ」で示す画素から「Ｆ」の画素までの電荷を、例えば通常の読み出し速度でビデオ信号の１ライン分の画像情報として、読み出しが開始される。さらに次の１ラインまでの水平同期期間中に「Ｆ」より「Ｇ」の手前までの画素を通常の読み出し速度よりも速い速度で読み出し、前記「Ａ」から「Ｆ」までの読み出しと同様に「Ｇ」からの１ライン分の読み出しを通常の読み出し速度で行う。以上のように読み出しタイミングを制御することにより、画像メモリ２０３に記憶されている全撮像領域５００内から切出し枠８０２にあたる領域を選択的に抜き出して、撮像画としてビデオ出力することができる。

そしてカメラシステムの揺れが生じた場合、例えば矢印５０４で示す分だけ全撮像領域５００内での被写体の移動（＝カメラシステムの揺れ）が生じた場合、切出し枠５０３に示す位置に切出し枠を変更すれば、被写体の移動が伴わない撮像画が得られる。より具体的には、切り出し枠の位置を変更するために、画素の読み出し開始位置を「Ａ」から「Ｂ」に移動し、前記切出し枠５０２の場合と同様に、全撮像領域５００から切出し枠５０３内にある画像を選択的に抜き出してビデオ出力する。このように撮像素子２０１より読み出された全画素を画像メモリ２０３に記憶し周辺の一部の撮像領域を実映像期間に現れない同期信号期間中に揺れ補正情報に応じた量だけあらかじめ読み出し、撮像素子２０１の一部をカメラシステムの揺れ補正量を基に選択的に読み出すことにより、カメラシステムの揺れに伴う画像の揺れを取り除いたビデオ信号を得ることができる。

これまで述べてきた画像の揺れ補正及び画像合成をより理解し易くするために、図６に模式的に示す画像を用いて更に詳しく説明する。同図において、６０２ａ、６０２ｂ，６０２ｃ、６０２ｄは、第一の周期である１フィールド期間内に均等な間隔で撮影された複数の画像信号（つまり撮像面全体５００）を模式的に示したものであり、例えば図４に示す蓄積時間４２１、４２２、４２３、４２４に６０２ａ→６０２ｂ→６０２ｃ→６０２ｄの順に撮像され、画像メモリ２０３に記憶されている。なお、同図において、６１１ａは主被写体例えば人物、６１２ａ（６１２ｂ、６１２ｃ、６１２ｄ）は動きのある被写体例えば車、６１３ａ（６１３ｂ）は建物、６２１ａ（６２１ｂ）は窓を夫々示し、また矢印６３０は撮像装置の回転ぶれにより生じている画像の動き方向を示している。つまり、矢印６０３の方向への手揺れが起きている際に映像信号６０２ａ〜６０２ｄが取得されたことになる。

ここで、先に説明した揺れ補正信号を考えると、求められる揺れ補正信号は、カメラシステムの揺れ方向、すなわち矢印６３０に示される方向で得られる。従って、各画像信号６０２ａ（６０２ｂ，６０２ｃ，６０２ｄ）の各々に対応する揺れ補正量に基づいて撮像された画像信号６０２ａ（６０２ｂ，６０２ｃ、６０２ｄ）の座標を移動することにより、各画像信号毎にカメラシステムの揺れにより生じた移動量（ぶれ量）が補正されることとなり、これにより各画像信号の揺れ量を補正することができる。即ち、各画像信号６０３ａ、６０３ｂ，６０３ｃ、６０３ｄの破線で示されている各領域を座標の変換を行い同一座標に変換することにより、カメラシステムの揺れによる移動分を相殺する。

そしてさらに、補正後の画像信号６０３ａ、６０３ｂ，６０３ｃ、６０３ｄを重ね合わせて合成することにより、合成画像信号６０４に示されるフレーム画像（撮像画）を形成する。画像の重ね合わせの具体的な方法としては、画像上の同一座標点の輝度及び色データをそれぞれ加算し加算数で除算する方法や、あらかじめ撮像時の光量を前記１フレーム中の蓄積回数分の１に抑制しておき、単純加算を行えばよい。

このようにして合成された合成画像信号６０４は、主被写体６１１および、背景も含め静止しているが、動きのある被写体６１２は、画像合成回路２０５による重ね合わせ処理の結果、ぶれた画像（被写体自体の動きに応じた揺らぎのある画像）となる。したがって、手ぶれ等の撮像装置の揺れによる撮像画のぶれを軽減しつつも動きのある被写体の滑らかな描写を再現することが可能となる。即ち、上述の実施形態によれば、カメラシステムにおいて、撮像画を出力する第一の周期よりも短い第二の周期にて複数の画像信号を取得し、各画像信号毎に揺れ補正を行った後に、これら補正後の画像信号の重ね合わせ合成により１枚の撮像画を作成する構成としたことにより、動きのある被写体の滑らかな動きの再現性を損なうことなく、撮像画の揺れ補正を行うことができる。また更に、揺れ補正を行なった後に合成することにより、動きのない被写体例えば建物などの静止物がぶれた画像となることが極めて少ない。

＜第２の実施形態＞
本発明の第２の実施形態について説明する。

本実施形態は、上記第１の実施形態において画像の揺れ補正量を検出するための角速度センサ２０８、揺れ補正量演算回路２０９を用いたのに対し、撮像された各画像の特異点を抽出することにより画像間の動き量を検出することに特徴がある。

図７は、本実施形態における撮像装置の概略構成を示すブロック図である。同図において、７００は特異点変位量演算部としての特異点変位量算出回路であり、詳しくは後述するように、例えば２つの画像間の動き量を画像に含まれる特異点の座標変化により算出するものである。なお、上述の第１の実施形態と同じ構成を採用するところについては、同じ符号を付すことで詳しい説明は省略する。

次に各部の動作を順に説明していくと、レンズ２００を介して入射した光束（撮影光）は、撮像素子２０１上に結像し、電荷（電気信号）に変換されて蓄積される。この撮像素子２０１に蓄積された電荷はＴＧ２１１より発生される１フィールド期間（第一の周期）内において複数回発生する所定のタイミング（第二の周期）で読み出され、例えば不図示のＡ／Ｄ変換器によりデジタル信号に変換されてカメラ信号前処理回路２０２に入力される。そして当該カメラ信号前処理回路２０２にて、入力されたデジタル画像信号に対して輝度信号や色信号を形成するなどの所定の信号処理を行なうことにより画像信号が形成され、ＴＧ２１１より発生される前記所定のタイミング（第二の周期）にて画像メモリ２０３に順次記憶される。これにより、１フィールド期間内に撮像素子２０１より読み出され、さらにカメラ信号前処理回路２０２にて信号処理されて得た画像信号は、ＴＧ２１１より発生される前記所定のタイミング（第二の周期）に基づき画像メモリ２０３に複数記憶される。

次に、特異点変位量算出回路７００による画像のぶれ量の検出について上記図６を参照しながら説明すると、画像メモリ２０３から読み出された画像信号は特異点変位量算出回路７００に入力され、この特異点変位量算出回路７００において特異点が抽出される。具体的には、例えば画像信号６０１ａ内にある建物６１３ａのうち輝度の高い点である窓６２１ａのエッジをエッジ検出により特異点として取り出し、この特異点と、連続した次の画像信号６０１ｂにおける特異点６４１ｂとを比較し、この二次元的な位置の差分を補正（座標変換）する。ここでは説明の便宜上、特異点を１点として説明をしているが、実際には特異点は１画像信号内に複数存在させることができ、それらの情報を基に特異点のずれ量の平均演算などにて座標移動量を算出し、座標変換を行なうようにしてもよい。一般的に特異点は多い方が望ましい。何故なら動きのない背景が多く含まれるほど手ぶれによる画像の動きのみを精度良く抽出できるからである。

また、上記説明においては、２つの画像フレームの座標変換について説明をしているが、実際には連続した撮影が繰り返されるものであるから、２枚を超える画像信号についても、上記同様の座標変換を繰り返すことにより得られる差分を積み上げることにより、すべての画像信号の座標変換が可能となる。以上のように特徴点抽出を行うことによりぶれによる画像信号の位置補正量、すなわち揺れ補正信号を得ることができる。

しかる後、１フィールド期間内に画像メモリ２０３への撮像画像の記憶が所定回数分完了した時点で、当該画像メモリ２０３より画像信号が読み出されて特異点変位量算出回路７００に入力される。先に説明したように、特異点変位量算出回路７００は連続する画像信号より特異点を抽出し、その座標の差分により揺れ補正量を求める。一方、画像メモリ２０３より読み出された画像信号は座標変換回路２０４にも入力され、特異点変位量算出回路７００にて算出された揺れ補正量に応じて座標を変換する。これら座標変換された画像は、画像合成回路２０５に入力され、例えば所定枚数分加算平均され画像合成される。合成されて得た撮像画は、ビデオ出力端子２０７を介して出力される。以上のように、本実施形態によれば、手ぶれ等のカメラシステムの揺れによる撮像画のぶれを軽減しつつも動きのある被写体の滑らかな描写を再現することが可能となる。

本発明の第１の実施形態におけるカメラシステムの概略構成を示すブロック図である。上記カメラシステムの揺れ補正演算回路を説明するための図である。上記揺れ補正演算回路の動作を示すフローチャートである。上記カメラシステムの動作タイミングを示すタイミングチャートである。上記カメラシステムの揺れ補正時の画像及び合成された画像を模式的に示す図である。揺れ補正時の画像切り出しを説明する図である。本発明の第２の実施形態におけるカメラシステムの概略構成を示すブロック図である。電子式揺れ補正の概略を説明するための図である。従来のカメラシステムの構成を示す図である。

符号の説明

２００レンズ
２０１撮像素子
２０３画像メモリ
２０４座標変換回路
２０５画像合成回路
２０８角速度センサ
２０９揺れ補正量演算回路
２１０揺れ補正量メモリ
２１１タイミングジェネレータ
７００特異点変位量算出回路

Claims

１垂直同期期間に複数の画像を出力する撮像素子と、
前記１垂直同期期間に前記撮像素子から出力される前記複数の画像のそれぞれを取得するごとに角速度を検出する角速度センサと、
前記１垂直同期期間に前記撮像素子から出力される前記複数の画像のそれぞれに対応した前記角速度に基づいて揺れ補正量を算出する揺れ補正量演算手段と、
前記１垂直同期期間に前記撮像素子から出力される前記複数の画像のそれぞれに対応した前記揺れ補正量を記憶する記憶部と、
前記記憶部に記憶された前記揺れ補正量に基づいて前記複数の画像の座標を変換して画像合成を行うことで、前記１垂直同期期間あたり１枚の合成画像を生成する合成手段を有することを特徴とする動画撮像装置。
前記１垂直同期期間に撮像する画像の数に基づいて、前記撮像素子の画像蓄積時間を決定することを特徴とする請求項１記載の動画撮像装置。
１垂直同期期間に複数の画像を出力する撮像工程と、
前記１垂直同期期間に撮像素子から出力される前記複数の画像のそれぞれを取得するごとに角速度を検出する角速度検出工程と、
前記１垂直同期期間に前記撮像素子から出力される前記複数の画像のそれぞれに対応した前記角速度に基づいて揺れ補正量を算出する揺れ補正量演算工程と、
前記１垂直同期期間に前記撮像素子から出力される前記複数の画像のそれぞれに対応した前記揺れ補正量を記憶する記憶工程と、
前記記憶工程で記憶された前記揺れ補正量に基づいて前記複数の画像の座標を変換して画像合成を行うことで、前記１垂直同期期間あたり１枚の合成画像を生成する合成工程と、を含むことを特徴とする動画撮像方法。