JP4876066B2 - 映像処理装置及び映像処理システム及び映像処理方法及びプログラム - Google Patents

Description

本発明は、映像信号を記録若しくは再生する装置における、手ブレによる画像の揺れを補正する技術に関するものである。

被写体を撮像して得られた映像信号を記録するカメラ一体型ビデオレコーダ（以下、ビデオカメラと呼ぶ）のような映像記録装置では、手や腕の微小な振動によって撮像された映像が上下左右に揺れる「手ブレ現象」が発生する。手ブレが生じている映像を見続けると、視聴者は船酔いをしたように気分を悪くしてしまう。このため近年のビデオカメラでは、手ブレを検出して手ブレによる映像の揺れを抑制する機能が搭載されている。

従来、手ブレを検出する方法としては、画像処理により過去の画面からの動き量や動き方向を求める方法や、ジャイロを用いてビデオカメラの振動を検出する方法等が知られている。また、「手ブレ現象」を抑える方式としては、メモリ上に展開した画像データの読み出す領域を制御する方式や、振動に応じてレンズの向きを制御する方式などが知られている。また、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等の撮像素子により得られる映像信号の有効領域を制御する方式等も知られている。

しかしながら従来の手ブレ抑制方式では、ビデオカメラを水平方向に移動させながら撮影するパンニングや垂直方向に移動させながら撮影するチルティングを行った場合にも手ブレ抑制が働いてしまい、撮影者の意図した映像が得られないという欠点があった。また、メモリ上に展開した画像データの読み出す領域や撮像素子により得られる映像信号の有効領域を制御する方式では、手ブレによる画像の揺れを抑えるために有効領域が狭くなる。そして、無効となった画素の分を解像度変換等の画像処理によって補うため、画質が劣化するという欠点があった。

そのため、映像記録装置にて検出された振動状態を映像信号と共に記録し、再生時に手ブレ補正処理を行うことで、撮影状況に応じて手ブレ補正処理の有効／無効を選択できるようにする技術が、特許文献１や特許文献２で提案されている。また、従来の手ブレ補正処理は全てのビデオカメラに搭載されているものではないため、再生装置側で手ブレ補正処理を行い、更に解像度変換等の画像処理による画質劣化を走査線補間により補正して、高密度画像信号を得る方式が特許文献３で提案されている。
特開平６−１８９１７６号公報 特開平１０−４２２３３号公報 特開平４−２６８８８５号公報

しかしながら、上述した再生装置側での手ブレ補正処理は、実時間で求められた動き量に応じてメモリ上に展開された画像データの有効領域を制御して手ブレを抑えようとするものである。そのため、フレーム毎、或いはフィールド毎に表示サイズ及び解像度変換処理での拡大率が変わってしまい、安定したサイズ及び画質での再生ができない。安定したサイズ及び画質を得ようとした場合、従来の撮像素子による手ブレ抑制方式と同様に、メモリ上の有効領域を対応する動き量に応じて予め小さく設定しておく必要がある。そのようにすれば、動き量が予め定められた範囲内であれば、同じサイズ及び画質での再生が可能となる。しかしながらこの場合、動き量に関係なく常に最大補正量での拡大処理が行われ、更に、想定範囲を超えた動き量に対する手ブレ補正処理ができない。

従って、本発明は上述した課題に鑑みてなされたものであり、その目的は、手ブレ補正を行なう場合に、パンニングやチルティングといった撮影効果を損なうことを防止し、且つ表示サイズや画質の変化も抑制できるようにすることである。

上述した課題を解決し、目的を達成するために、本発明に係わる映像処理装置は、被写体像を撮像する撮像素子により生成された映像信号の手ブレによる揺れ量を検出し、該揺れ量から手ブレの起きている期間である手ブレ期間と該手ブレ期間における最大揺れ量を検出する揺れ検出手段と、前記手ブレ期間と前記最大揺れ量とに基づいて、前記手ブレ期間にわたって共通する被写体領域を有効領域として検出する有効領域検出手段と、前記有効領域のみを読み出すことにより前記手ブレ期間の手ブレを補正する補正手段と、を備えることを特徴とする。

また、本発明に係わる映像処理システムは、被写体像を撮像して映像信号を生成する撮像装置と、該撮像装置で生成された映像信号を表示する表示装置とを備える映像処理システムであって、前記撮像装置は、被写体像を撮像する撮像素子と、前記撮像素子により生成された映像信号の手ブレによる揺れ量を検出し、該揺れ量から手ブレの起きている期間である手ブレ期間と該手ブレ期間における最大揺れ量を検出する揺れ検出手段と、前記手ブレ期間と前記最大揺れ量とに基づいて、前記手ブレ期間にわたって共通する被写体領域を有効領域として検出する有効領域検出手段と、前記有効領域のみを読み出すことにより前記手ブレ期間の手ブレを補正する補正手段とを備え、前記表示装置は、前記撮像装置で生成された映像信号を入力する入力手段と、前記補正手段により読み出された前記有効領域の大きさを、出力する画像の大きさになるように拡大処理する解像度変換手段とを備えることを特徴とする。

また、本発明に係わる映像処理方法は、被写体像を撮像する撮像素子により生成された映像信号の手ブレによる揺れ量を検出し、該揺れ量から手ブレの起きている期間である手ブレ期間と該手ブレ期間における最大揺れ量を検出する揺れ検出工程と、前記手ブレ期間と前記最大揺れ量とに基づいて、前記手ブレ期間にわたって共通する被写体領域を有効領域として検出する有効領域検出工程と、前記有効領域のみを読み出すことにより前記手ブレ期間の手ブレを補正する補正工程と、を備えることを特徴とする。

本発明によれば、手ブレ補正を行なう場合に、パンニングやチルティングといった撮影効果を損なうことを防止し、且つ表示サイズや画質の変化も抑制することが可能となる。

以下、本発明の好適な実施形態について、添付図面を参照して詳細に説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係わる映像記録装置（映像処理装置）の構成を示すブロック図である。

図１において、１００は、入射される被写体からの反射光を結像するレンズであり、１０１は、レンズ１００により結像された被写体像を電気信号に変換する、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等から成る撮像素子である。１０２は、撮像素子１０１から得られる電気信号を、サンプリング及びゲイン調整して映像データに変換し、更に映像データに同期信号を付加して映像信号として出力する撮像信号処理部である。１０４は、撮像信号処理部１０２から出力される映像データを長時間に渡り記録することができる、磁気記録テープやＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｄｉｓｋ）、或いは大容量メモリ素子等から成る記憶媒体である。記憶媒体１０４は、記憶媒体制御部１０３により制御される。１０８は、記憶媒体制御部１０３により記憶媒体１０４から読み出された映像データを一時的に記憶しておくためのメモリ部であり、メモリ制御部１０７により制御される。１０９は、メモリ制御部１０７から出力される映像データを、出力するサイズに画素数変換する解像度変換部であり、解像度変換部１０９で処理された映像データは、映像信号出力処理部１１０によって生成される同期信号と共に映像信号として出力される。１０５は、撮像信号処理部１０２から出力される映像データの手ブレによる揺れを検出する揺れ検出部である。１０６は、揺れ検出部１０５で検出された情報を一時的に記憶しておくための揺れ情報記憶部である。

次に、上記のように構成される映像記録装置の動作について説明する。

レンズ１００、撮像素子１０１により撮像され、撮像信号処理部１０２により処理されて出力される映像データは揺れ検出部１０５へ入力される。また、同時に記憶媒体制御部１０３からは、撮像信号処理部１０２から出力されるフレームよりも１フレーム期間前に記憶された映像データが記憶媒体１０４から読み出され、揺れ検出部１０５へ入力される。揺れ検出部１０５では、撮像信号処理部１０２から出力される映像データと、記憶媒体制御部１０３から出力される、入力されているフレームよりも１フレーム期間前に入力された映像データとからフレーム全体の移動量及び移動方向の検出を行う。ここで、本実施形態では、入力されているフレームよりも１フレーム期間前に入力された映像データを記憶媒体１０４から読み出すとしている。しかし、複数フレーム分の映像データを記憶可能な記憶部を別途設け、入力された映像データをこの記憶部に記憶しておき、記憶部から１フレーム期間前に入力された映像データを得る構成とすることもできる。また、２フレーム分の映像データを記憶媒体１０４から読み出す構成とすることもできる。

図２は、揺れ検出部１０５において移動量及び移動方向が検出される様子を示す模式図である。

本実施形態では、前フレームからの移動量及び移動方向の検出は、ブロックマッチング法等の従来の動きベクトルを求める手法を用いて行われるものとする。ブロックマッチング法による動きベクトル検出では、対象フレームを複数のブロックに分割し、分割したブロック毎に、参照フレームに同じ画素値を有するブロックが存在するかどうかを画素値比較を行うことで判断する。そして、その結果から動きベクトルの検出を行う。図２では、対象フレームを入力されているフレーム、参照フレームを１フレーム期間前に入力されたフレームとし、対象フレームを縦横それぞれ５分割してブロックマッチングを行う様子を示す。

図２では、参照フレームに対し対象フレームの画面全体が水平方向にΔｈ、垂直方向にΔｖの画素数分移動した様子を示している。即ち、手ブレによる周期的な画面全体の揺れが起きている場合、２５に分割したブロックそれぞれについて動きベクトルを求めると、全てのブロックで同じ移動量及び同じ移動方向が検出されることとなる。図２の例で、内側に位置する「ａ」から「ｉ」までのブロックに注目して見ると、これらの全てのブロックで同じ移動量及び同じ移動方向を示す動きベクトルが検出されることとなり、この結果からフレーム全体が同じ方向へ移動したことを検出することができる。この移動量が、参照フレームに対する対象フレームの揺れ量となる。

図３は、垂直方向でのフレーム全体の揺れに対し、揺れ検出部１０５で検出される揺れ量の変化の様子を示している。ここでは垂直方向での揺れ量の変化について説明するが、水平方向での揺れ量の変化についても同様に説明することができる。

図３において、（ａ）は揺れ検出部１０５で検出される揺れ量の変化の様子、（ｂ）は映像記録装置の移動の様子を示している。具体的に（ａ）は、図２を用いて説明した参照フレームに対する対象フレームの揺れ量の変化の様子であり、換言すれば、単位時間あたりの相対的な揺れ量に相当する。そして（ｂ）は、（ａ）の相対的な揺れ量を積算した、時刻０における基準座標（例えばフレーム中心など）からの移動量に相当する。これは、時刻０からの映像記録装置の移動量を求めていることになる。

図３（ａ）において、Ｔｕは上方向へのチルティング撮影をしている期間、Ｔｓは手ブレの発生している期間、Ｔｄは下方向へのチルティング撮影をしている期間を示す。即ち、経過時間に対する揺れ量および移動量を観察することにより、手ブレの発生している期間とチルティング撮影をしている期間を区別することができることがわかる。

図３（ａ）のＴｕで示した上方向へのチルティング撮影期間では、一定期間連続した上方向への揺れ量が検出され、Ｔｄで示した下方向へのチルティング撮影期間では、一定期間連続した下方向への揺れ量が検出される。また、Ｔｓで示した手ブレ発生期間では、揺れ量が小さく、また期間の短い上方向と下方向の変化が交互に連続して検出される。揺れ検出部１０５では、揺れ量が小さく期間の短い上方向と下方向の変化が一定期間繰り返して検出されたことにより手ブレの発生を判断し、上下方向の揺れが開始されたところから終了したところまでの期間を手ブレ期間と判断する。揺れ検出部１０５では、手ブレ期間と判断される直前の移動量を基準として、手ブレ期間での上方向の手ブレ最大量（Ｕｍａｘ）と下方向の手ブレ最大量（Ｄｍａｘ）を求め、これを手ブレ期間情報と共に揺れ情報記憶部１０６に記憶する。

図４は、揺れ検出部１０５の構成例を示すブロック図である。

１０５１は、撮像信号処理部１０２から出力される映像データ（対象フレーム）と、記憶媒体制御部１０３から出力される前フレームでの映像データ（参照フレーム）とから、図２に示した動きベクトルを求める動きベクトル検出部である。

１０５２は、動きベクトル検出部１０５１から出力される動きベクトル情報から手ブレの起きている期間を判断する手ブレ期間判定部である。即ち、手ブレ期間判定部１０５２では、図３（ａ）で示したように、揺れ量が小さく期間の短い上方向或いは下方向の揺れを検出したことにより手ブレ開始情報を出力する。そして、更に揺れ量が小さく期間の短い揺れが上方向と下方向で一定期間繰り返して検出されたことにより手ブレと判断する。その後、揺れ量が小さく期間の短い揺れが検出されなくなったことにより手ブレ終了情報を出力する。ここで、揺れ量が小さく期間の短い上方向と下方向の揺れの変化が、所定の期間に達する前に検出されなくなった場合、手ブレ終了情報を出力することなく手ブレ期間の判断は終了され、再度手ブレ期間開始の検出から再開される。手ブレ期間判定部１０５２において手ブレの開始を検出するには一定時間を要し、手ブレ開始情報の出力は実際の手ブレ開始時点からずれることとなる。しかし、手ブレ開始の検出は、リアルタイム性が求められる処理ではないため、遅延回路により、手ブレ開始情報の出力時点を手ブレ開始時点での動きベクトル情報の出力に合わせることは可能である。

１０５５は、録画開始からの時間の経過を計測する録画時間計測部である。録画時間計測部１０５５では、ユーザによる録画指示がなされたことにより録画時間の計測を開始し、手ブレ期間判定部１０５２から手ブレ開始情報が出力されたことによりその時点での計測値を記憶する。また、手ブレ終了情報が出力されることにより、手ブレ開始情報が出力された時点での計測値と手ブレ終了情報が出力された時点での計測値とを手ブレ期間情報として揺れ情報記憶制御部１０５７へ出力する。録画時間計測部１０５５での時間計測手段は、一定周期を計測するタイマー、あるいは入力される映像データの同期信号をカウントするカウンタ等で構成される。

１０５３は、動きベクトル検出部１０５１から出力される、図３（ａ）で示したような動きベクトル情報を、図３（ｂ）で示したような移動量情報に変換して手ブレ量を求めると共に、手ブレ期間での上方向および下方向の手ブレ最大量を求める手ブレ量変換部である。即ち、手ブレ量変換部１０５３では、手ブレ期間判定部１０５２から手ブレ開始情報が出力されることにより、その時点での移動量情報を基準として、手ブレ量情報として揺れ情報記憶制御部１０５７へ出力する。同時に手ブレ量変換部１０５３では、手ブレ期間判定部１０５２から手ブレ終了情報が出力されるまでの間、揺れ情報記憶制御部１０５７へ出力する手ブレ量情報の最大値を上方向と下方向でそれぞれ求める（ＵｍａｘおよびＤｍａｘ）。そして、手ブレ最大量情報として拡大率算出部１０５４へ出力する。１０５４は、手ブレ量変換部１０５３から出力される手ブレ最大量情報から、メモリ制御部１０７で利用する再生範囲情報と解像度変換部１０９で利用する拡大率情報を求めて出力する拡大率算出部である。

図５は、拡大率算出部１０５４で再生範囲情報と拡大率情報が求められる様子、及びそれらの情報がメモリ制御部１０７と解像度変換部１０９とで利用されて手ブレが補正される様子を示した図である。

図５（ａ）は、手ブレ量変換部１０５３から出力される手ブレ最大量情報とレンズ１００、撮像素子１０１により撮像され、撮像信号処理部１０２により処理されて出力される映像データとの関係を示した模式図である。また、図５（ｂ）は、メモリ制御部１０７から出力される、手ブレ補正処理を施した後の映像データを示した模式図である。更に、図５（ｃ）は、解像度変換部１０９にて解像度変換処理を施した後の映像データを示した模式図である。図５においても、説明を簡単にするために垂直方向の揺れについてのみ述べるが、水平方向についても同様に説明することができる。

図５（ａ）では、左側の図が手ブレの生じる前の画像、中央が手ブレ期間中に映像記録装置が下方向に最大に揺れた時の画像、右側が手ブレ期間中に映像記録装置が上方向に最大に揺れた時の画像を示す。また、太い矢印は映像記録装置の揺れ方向を示し、細い矢印は手ブレ量変換部１０５３で求められる手ブレ最大量情報を示している。図５（ａ）に示すように、手ブレ量変換部１０５３で求められる上方向と下方向の手ブレ最大量情報は、映像記録装置の揺れ方向とは逆方向のものである。即ち、中央に示した、映像記録装置が下方向に最大に揺れた時の画像では、上方向の手ブレ最大量情報（Ｕｍａｘ）が求められ、右側に示した、映像記録装置が上方向に最大に揺れた時の画像では、下方向の手ブレ最大量情報（Ｄｍａｘ）が求められる。この手ブレ量情報に従い、メモリ制御部１０７で手ブレ補正処理を行ってメモリ部１０８から映像データを読み出すと、図５（ｂ）に示すようにメモリ部１０８に映像データの存在しない領域（図では「ゴミ」と表示）が含まれてしまう。そして、この領域を再生した場合、見苦しい表示となってしまう。そのためメモリ制御部１０７では、図５（ｂ）に示すように、「ゴミ」領域を含まない範囲の映像データ（有効領域：手ブレ期間にわたって共通する被写体領域）をメモリ部１０８から読み出して（有効領域検出）解像度変換部１０９へ出力しなければならない。また、フレーム毎に手ブレ補正処理を行い、拡大処理を行って解像度変換部１０９から出力するとした場合、フレーム毎に手ブレ量が異なるためフレーム毎に表示サイズが変わってしまい、見苦しい表示となってしまう。そこで本実施形態では、手ブレ量変換部１０５３で求められた手ブレ期間中での上方向と下方向の手ブレ最大量情報から、その期間での再生範囲情報と拡大率情報を拡大率算出部１０５４で求める。そして、再生時には拡大率算出部１０７４で求められた再生範囲情報と拡大率情報とに基づいて、メモリ部１０８からの読み出しと解像度変換部１０９での拡大処理を制御する。これにより、手ブレ期間中で安定した手ブレ補正処理後の映像データが得られるようにしている。

図４に戻ると、拡大率算出部１０５４は、手ブレ量変換部１０５３から出力される、手ブレ期間中での上方向の手ブレ最大量情報（Ｕｍａｘ）と下方向の手ブレ最大量情報（Ｄｍａｘ）とから、再生範囲情報（ＡＣＴ２）とその時の拡大率情報を求めて出力する。記憶媒体１０４に記録されて再生時に出力される映像データの垂直方向のサイズを”ＡＣＴ１”とすると、その時の再生範囲情報（ＡＣＴ２）と拡大率情報は以下のように求められる。

再生範囲情報（ＡＣＴ２）＝ＡＣＴ１−（Ｕｍａｘ＋Ｄｍａｘ）
拡大率情報＝ＡＣＴ１／ＡＣＴ２
拡大率算出部１０５４にて求められる再生範囲情報と拡大率情報とは、揺れ情報記憶制御部１０５７を介して揺れ情報記憶部１０６へ記憶される。１０５７は、手ブレ量変換部１０５３から出力されるフレーム毎の手ブレ量情報や、拡大率算出部１０５４から出力される再生範囲情報と拡大率情報、及び録画時間計測部１０５５から出力される手ブレ期間情報を揺れ情報記憶部１０６へ書き込んだり読み出す制御を行う揺れ情報記憶制御部である。即ち、揺れ情報記憶制御部１０５７では、手ブレ量変換部１０５３から出力される手ブレ量情報を、フレーム毎に揺れ情報記憶部１０６へ記憶する。それと共に、手ブレ期間判定部１０５２から手ブレ終了情報が出力されることにより、拡大率算出部１０５４から出力される再生範囲情報及び拡大率情報と、録画時間計測部１０５５から出力される手ブレ期間情報とを揺れ情報記憶部１０６へ記憶する。その後ユーザにより記憶媒体１０４へ記憶された映像データの再生が指示されると、揺れ情報記憶制御部１０５７ではフレーム毎に揺れ情報記憶部１０６から手ブレ量情報を読み出してメモリ制御部１０７へ出力する。同時に揺れ情報記憶制御部１０５７からは、揺れ情報記憶部１０６から読み出された再生範囲情報と拡大率情報とをメモリ制御部１０７と解像度変換部１０９とへそれぞれ出力すると共に、手ブレ期間情報を再生時間計測部１０５６へ出力する。１０５６は、再生開始からの時間の経過を計測する再生時間計測部である。再生時間計測部１０５６では、ユーザにより再生指示がなされることにより再生時間の計測を開始し、揺れ情報記憶制御部１０５７から出力される手ブレ期間情報と再生時間との比較を行う。そして、再生時間が手ブレ期間情報と一致すると判断した場合、手ブレ期間検出信号をメモリ制御部１０７と解像度変換部１０９、及び揺れ情報記憶制御部１０５７へ出力する。再生時間計測部１０５６での時間計測手段の構成としては、録画時間計測部１０５５と同様に一定周期を計測するタイマ−を備える構成や、再生される映像データの同期信号をカウントするカウンタを備える構成が考えられる。揺れ情報記憶制御部１０５７では、手ブレ期間検出信号の出力が終了したことにより、次の手ブレ期間情報、再生範囲情報、拡大率情報を揺れ情報記憶部１０６から読み出して出力する。

図１に戻ると、レンズ１００、撮像素子１０１により撮像され、撮像信号処理部１０２により処理されて出力される映像データは、同時に記憶媒体制御部１０３へ入力され、記憶媒体１０４へ記録される。その後ユーザにより、記憶媒体１０４へ記録された映像データの再生が指示されると、記憶媒体制御部１０３は記憶媒体１０４から記憶済みの映像データを読み出して、メモリ制御部１０７へ出力する。メモリ制御部１０７では、記憶媒体制御部１０３から出力される映像データを一旦メモリ部１０８へ記憶する。そして、揺れ検出部１０５から手ブレ期間検出信号が出力されている場合、揺れ検出部１０５から出力される手ブレ量情報に従って手ブレ補正されたアドレス情報を算出する。更に、揺れ検出部１０５から出力される再生範囲情報に従ってメモリ部１０８から映像データを読み出して解像度変換部１０９へ出力する。解像度変換部１０９では、揺れ検出部１０５から手ブレ期間検出信号が出力されている場合には、図５（ｃ）に示すように、揺れ検出部１０５から出力される拡大率情報に従ってメモリ制御部１０７から出力された映像データを本来の出力サイズに画素数変換して出力する。解像度変換部１０９から出力された映像データは、映像信号出力処理部１１０にて生成される同期信号と共に、映像信号として出力される。

以上説明した構成によれば、従来のようにフレーム単位で手ブレを補正して出力するのではなく、手ブレの発生している期間で最適な再生サイズを算出して再生処理が行われる。そのため、手ブレの発生している期間での再生において、映像データではない不要なデータの再生を回避し、且つ安定した再生サイズでの映像データの出力が実現できる。また、パンニングやチルティングといった同一方向への被写体の移動に対しては手ブレ期間と判断されないため、撮影効果を損なうことなく再生映像データを得ることができる。

ここで本実施形態においては、フレーム間でのブロックマッチングにより求めた動きベクトルから映像記録装置の揺れを検出する構成としているが、ジャイロのような加速度センサを映像記録装置に組み入れて映像記録装置の揺れを検出してもよい。

図６は、加速度センサを用いた場合の、映像記録装置の構成を示すブロック図である。

図６において、１１１は映像記録装置の揺れを検出する加速度センサであり、加速度センサ１１１から得られる揺れ情報は揺れ検出部１０５に入力される。そして、図４に示した動きベクトル検出部１０５１から出力される動きベクトル情報の代わりに加速度センサからの検出情報が用いられることとなる。

また本実施形態における揺れ情報記憶部１０６へ記憶される情報は、記憶媒体１０４へ記憶してもよい。そのような構成とした場合、揺れ検出部１０５にて検出された情報は記憶媒体制御部１０３を介して記憶媒体１０４へ記憶され、再生時に記憶媒体１０４から読み出されてメモリ制御部１０７と解像度変換部１０９へ出力されることとなる。

（第２の実施形態）
図７は、本発明の第２の実施形態に係わる映像表示装置の構成を示すブロック図である。

図７において、２００は、入力される映像信号から同期信号を分離したり、アナログ信号として入力される映像データをデジタル化するといった信号処理を行う映像信号入力処理部である。２０２は、映像信号入力処理部２００から出力される映像データを長時間に渡り記録することができる、磁気記録テープやＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｄｉｓｋ）、或いは大容量メモリ素子等から成る記憶媒体であり、記憶媒体制御部２０１により制御される。２０６は、記憶媒体制御部２０１により記憶媒体２０２から読み出された映像データを一時的に記憶しておくためのメモリ部であり、メモリ制御部２０５により制御される。２０７は、メモリ制御部２０５から出力される映像データを、表示するサイズに合わせて画素数変換する解像度変換部であり、解像度変換部２０７にて処理された映像データは表示部２０８に表示される。２０３は、映像信号入力処理部２００から出力される映像データの手ブレによる揺れを検出する揺れ検出部である。２０４は、揺れ検出部にて検出された情報を一時的に記憶しておくための揺れ情報記憶部である。

次に、上記のように構成される映像表示装置の動作について説明する。

映像信号入力処理部２００により処理されて出力される映像データは揺れ検出部２０３へ入力される。これと同時に記憶媒体制御部２０１からは、映像信号入力処理部２００から出力されるフレームよりも１フレーム期間前に記憶された映像データが記憶媒体２０２から読み出され、揺れ検出部２０３へ入力される。揺れ検出部２０３では、映像信号入力処理部２００から出力される映像データと、記憶媒体制御部２０１から出力される、入力されているフレームよりも１フレーム期間前に入力された映像データとからフレーム全体の移動量及び移動方向の検出を行う。ここで本実施形態でも第１の実施形態と同様に、複数フレーム分の映像データを記憶可能な記憶部を別途設け、入力された映像データをこの記憶部に記憶しておき、記憶部から１フレーム期間前に入力された映像データを得る構成とすることもできる。また、２フレーム分の映像データを記憶媒体２０４から読み出す構成とすることもできる。

揺れ検出部２０３では、第１の実施形態で説明した映像記録装置での揺れ検出部１０５と同様にブロックマッチング法によりブロック毎の動きベクトルを求めることで、フレーム全体の移動量及び移動方向の検出が行われる。揺れ検出部２０３の構成も、図４で示した、第１の実施形態で説明した映像記録装置での揺れ検出部１０５と同様の構成で実現される。即ち、揺れ検出部２０３では、映像信号入力処理部２００から出力される映像データ（対象フレーム）と、記憶媒体制御部２０１から出力される前フレームでの映像データ（参照フレーム）とから、図２に示した動きベクトルを求める。そして、この動きベクトル情報から手ブレの起きている期間を判断して手ブレ期間情報を生成する。また、動きベクトル情報を図３（ｂ）で示したような移動量情報に変換することで手ブレ量情報を求め、更に手ブレの起きている期間での手ブレ量情報の最大値から表示範囲情報と拡大率情報を生成する。このように揺れ検出部２０３で求められた手ブレ量情報や、表示範囲情報、拡大率情報、及び手ブレ期間情報は、一旦揺れ情報記憶部２０４へ記憶される。

その後ユーザにより記憶媒体２０２へ記憶された映像データの表示が指示されると、揺れ検出部２０３はフレーム毎に揺れ情報記憶部２０４から手ブレ量情報を読み出してメモリ制御部２０５へ出力する。同時に揺れ検出部２０３は、揺れ情報記憶部２０４から読み出された表示範囲情報と拡大率情報とをメモリ制御部２０５と解像度変換部２０７とへそれぞれ出力する。それと共に、揺れ情報記憶部２０４から読み出された手ブレ期間情報から手ブレの起きている期間での表示が行われているかどうかを判断する。そして、手ブレの起きている期間での表示が行われていると判断した場合、手ブレ期間検出信号をメモリ制御部２０５と解像度変換部２０７へ出力する。揺れ検出部２０３では、手ブレの起きている期間での表示が終了したことを検出することにより、次の手ブレ期間情報、表示範囲情報、拡大率情報を揺れ情報記憶部２０４から読み出して同様の処理を行う。

映像信号入力処理部２００から出力される映像データは、同時に記憶媒体制御部２０１へ入力され、記憶媒体２０２へ記録される。その後ユーザにより、記憶媒体２０２へ記録された映像データの表示が指示されると、記憶媒体制御部２０１は記憶媒体２０２から記録済みの映像データを読み出して、メモリ制御部２０５へ出力する。メモリ制御部２０５では、記憶媒体制御部２０１から出力される映像データを一旦メモリ部２０６へ記憶する。そして、揺れ検出部２０３から手ブレ期間検出信号が出力されている場合、揺れ検出部２０３から出力される手ブレ量情報に従って手ブレ補正されたアドレス情報を算出する。更に、揺れ検出部２０３から出力される表示範囲情報に従ってメモリ部２０６から映像データを読み出して解像度変換部２０７へ出力する。解像度変換部２０７では、揺れ検出部２０３から手ブレ期間検出信号が出力されている場合には、図５（ｃ）に示すように、揺れ検出部２０３から出力される拡大率情報に従ってメモリ制御部２０５から出力された映像データを本来の表示サイズに画素数変換して出力する。解像度変換部２０７から出力された映像データは、表示部２０８へ出力されて表示されることとなる。

以上説明した構成によれば、テレビジョンのような映像表示装置においても手ブレの発生している期間で最適な表示サイズを算出して表示処理が行われる。そのため、手ブレの発生している期間での表示において、映像データではない不要なデータの表示を回避し、且つ安定した表示サイズで、手ブレによる画面全体の揺れを抑えた表示を行うことが可能となる。

本実施形態においては、まず入力される映像データが記憶媒体２０２に記憶されるように構成されている。また、揺れ検出部２０３で求められた手ブレ量情報や、表示範囲情報、拡大率情報、及び手ブレ期間情報は、事前に処理されて揺れ情報記憶部２０４へ記憶されるように構成されている。そして、その後ユーザにより映像データの表示が指示されると、上記の処理が行われて、ブレの無い画像が拡大処理されて表示部に表示されるようになっている。この変形例として、例えば記憶媒体２０２を、予想される最大の手ブレ期間に応じて決められる一定の容量を持つメモリで構成しても良い。このように構成することで、映像信号入力処理部２００に入力される映像信号に対し、その予想される最大の手ブレ期間の遅延程度で、表示部２０８にブレの無い画像を表示させることが可能となる。つまり、図３における手ブレ期間分に相当するフレームを先読みすることができれば、その期間のフレームに対しては図５の処理を行って出力することができることになる。この場合、すべての映像データを記憶媒体に記憶させる必要がなくなるので、テレビジョンのような映像表示装置に適用するには好ましい。

（第３の実施形態）
第１の実施形態では、再生に先立って画像の揺れを検出し、検出された揺れ情報から手ブレの起きている期間、及びその期間での最大揺れ量を求めた。そして、最大揺れ量から、対応する期間での最適な再生サイズを求めてメモリからの読み出し処理、及び拡大処理を行うことにより、パンニングやチルティングといった撮影効果を損なうことなく、検出された手ブレ期間で最適な再生画質が得られるようにした。また、第２の実施形態では、表示に先立って画像の揺れを検出し、検出された揺れ情報から手ブレの起きている期間、及びその期間での最大揺れ量を求めた。そして、その最大揺れ量から、対応する期間での最適な表示サイズを求めてメモリからの読み出し処理、及び拡大処理を行うことにより、検出された手ブレ期間で最適な表示画質を得られるようにした。

しかしながら、第１及び第２の実施形態で説明した映像記録装置、或いは映像表示装置の構成例では、再生、或いは表示を行う際に手ブレ補正処理を行うようにしている。そのため、例えば記憶媒体が本体から取り外し可能なものであった場合、手ブレ補正処理を行うための情報（手ブレ量情報、手ブレ期間検出情報、再生（表示）範囲情報、拡大率情報）を記憶媒体に記憶しておく必要がある。またそのような記憶媒体の再生、或いは表示を行う場合、第１あるいは第２の実施形態で説明した映像記録装置、或いは映像表示装置の構成を有する装置でなければ手ブレ補正処理を行うことができない。

本実施形態では、再生、或いは表示に先立って記憶媒体に記憶されている映像データの手ブレ補正処理を行い、処理後の映像データを再び記憶媒体に書き戻す。これにより、記憶媒体に手ブレ補正処理を行うための情報を記憶しておく必要が無くなる。また、記憶媒体に記憶されている映像データは手ブレ補正処理後の映像データであるため、どのような映像記録装置、或いは映像表示装置で再生、或いは表示を行っても、手ブレの発生を抑えた良好な映像表示を行うことができる。

図８は、本実施形態における揺れ検出部１０５の構成例を示すブロック図である。図４で示した第１の実施形態での揺れ検出部１０５の構成に対し、再生時間計測部１０５６が削除され、手ブレ期間検出信号がメモリ制御部１０７と解像度変換部１０９へ出力される代わりに、手ブレ期間情報が記憶媒体制御部１０３へ出力される。それ以外の構成については、図４で示した構成と同じである。

図９は、本実施形態に係わる映像記録装置の構成を示すブロック図である。図１で示した第１の実施形態での映像記録装置に対し、解像度変換部１０９から出力される映像データは記憶媒体制御部１０３へ入力される。また、揺れ検出部１０５で検出された手ブレ期間情報も記憶媒体制御部１０３へ入力される。メモリ制御部１０７へは、揺れ検出部１０５で検出された手ブレ量情報と再生範囲情報が入力され、解像度変換部１０９へは、揺れ検出部１０５で検出された拡大率情報が入力される。また、映像信号出力処理部１１０へは、記憶媒体制御部１０３から出力される映像データが入力される。それ以外の構成については、図１で示した構成と同じである。

次に、上記のように構成される映像記録装置の動作について説明する。

レンズ１００、撮像素子１０１により撮像され、撮像信号処理部１０２により処理されて出力される映像データが、記憶媒体制御部１０３を介して記憶媒体１０４へ記憶されるまでの動作は、図１で説明した動作と同様であるため、説明を省略する。また、揺れ検出部１０５にて、撮像信号処理部１０２から出力される映像データ（対象フレーム）と、記憶媒体制御部１０３から出力される前フレームでの映像データ（参照フレーム）とから図２に示した動きベクトルを求める動作、この動きベクトル情報から手ブレ量情報、手ブレ期間情報、再生範囲情報、拡大率情報を検出して、これらの情報を揺れ情報記憶部１０６へ記憶するまでの動作も、図１で説明した動作と同様であるため、説明を省略する。

本実施形態の映像記録装置では、ユーザによる録画指示によりレンズ１００、撮像素子１０１により撮像され、撮像信号処理部１０２により処理されて出力される映像データが記憶媒体１０４へ記憶される。そして、手ブレ補正処理を行うための情報が揺れ情報記憶部１０６に記憶されると、記憶媒体制御部１０３はユーザからの再生指示に先立ち、揺れ検出部１０５から出力される手ブレ期間情報に従って記憶媒体１０４から映像データを読み出してメモリ制御部１０７へ出力する。メモリ制御部１０７では、記憶媒体制御部１０３から出力された映像データを一旦メモリ部１０８へ記憶し、揺れ検出部１０５から出力される手ブレ量情報に従って手ブレ補正されたアドレス情報を算出する。更に、揺れ検出部１０５から出力される再生範囲情報に従ってメモリ部１０８から映像データを読み出して解像度変換部１０９へ出力する。解像度変換部１０９では、図５（ｃ）に示すように、揺れ検出部１０５から出力される拡大率情報に従ってメモリ制御部１０７から出力された映像データを本来の出力サイズに画素数変換して出力する。解像度変換部１０９から出力された映像データは再び記憶媒体制御部１０３へ戻され、読み出された映像データに代えて記憶媒体１０４へ記憶される。

ユーザにより、記憶媒体１０４へ記録された映像データの再生が指示されると、記憶媒体制御部１０３は記憶媒体１０４から手ブレ補正済みの映像データを読み出して映像信号出力処理部１１０へ出力する。そして、手ブレ補正済みの映像データは、映像信号出力処理部１１０にて生成された同期信号と共に出力される。

以上に説明した構成は、図７で説明した第２の実施形態の映像表示装置にも適用することが可能である。この映像表示装置における揺れ検出部２０３の構成も、図８で示した揺れ検出部１０５と同様の構成で実現される。

図１０は、本実施形態に係わる映像表示装置の構成を示すブロック図である。図７で示した第２の実施形態の映像表示装置と異なり、解像度変換部２０７から出力される映像データは記憶媒体制御部２０１へ入力される。また、揺れ検出部２０３で検出された手ブレ期間情報も記憶媒体制御部２０１へ入力される。メモリ制御部２０５へは、揺れ検出部２０３にて検出された手ブレ量情報と表示範囲情報が入力され、解像度変換部２０７へは、揺れ検出部２０３にて検出された拡大率情報が入力される。また、表示部２０８へは、記憶媒体制御部２０１から出力される映像データが入力される。それ以外の構成については、図７で示した構成と同じである。

次に、上記のように構成される映像表示装置の動作について説明する。

映像信号入力処理部２００から出力される映像データが、記憶媒体制御部２０１を介して記憶媒体２０２へ記憶されるまでの動作、及び揺れ検出部２０３にて、映像信号入力処理部２００から出力される映像データ（対象フレーム）と、記憶媒体制御部２０１から出力される前フレームでの映像データ（参照フレーム）とから図２に示した動きベクトルを求め、この動きベクトル情報から手ブレ量情報、手ブレ期間情報、表示範囲情報、拡大率情報を検出して、これらの情報を揺れ情報記憶部２０４へ記憶するまでの動作は、図７で説明した動作と同様であるため、説明を省略する。

本実施形態の映像表示装置では、映像信号入力処理部２００から出力される映像データが記憶媒体２０２へ記憶される。そして、手ブレ補正処理を行うための情報が揺れ情報記憶部２０４に記憶されると、記憶媒体制御部２０１はユーザからの表示指示に先立ち、揺れ検出部２０３から出力される手ブレ期間情報に従って記憶媒体２０２から映像データを読み出してメモリ制御部２０５へ出力する。メモリ制御部２０５では、記憶媒体制御部２０１から出力された映像データを一旦メモリ部２１０へ記憶し、揺れ検出部２０３から出力される手ブレ量情報に従って手ブレ補正されたアドレス情報を算出する。更に、揺れ検出部２０３から出力される表示範囲情報に従ってメモリ部２１０から映像データを読み出して解像度変換部２０７へ出力する。解像度変換部２０７では、図５（ｃ）に示すように、揺れ検出部２０３から出力される拡大率情報に従ってメモリ制御部２０５から出力された映像データを本来の出力サイズに画素数変換して出力する。解像度変換部２０７から出力された映像データは再び記憶媒体制御部２０１へ戻され、読み出された映像データに代えて記憶媒体２０２へ記憶される。

ユーザにより、記憶媒体２０２へ記録された映像データの表示が指示されると、記憶媒体制御部２０１は記憶媒体２０２から手ブレ補正済みの映像データを読み出して表示部２０８へ出力して表示することとなる。

以上説明した構成によれば、手ブレ補正処理を施した映像データが記憶媒体に書き戻されることとなるため、記憶媒体或いは揺れ情報記憶部へ手ブレ補正処理を行うための情報を残しておく必要が無い。また、記憶媒体に記憶されている映像データは手ブレ補正処理後の映像データであるため、どのような映像記録装置、或いは映像表示装置で再生、或いは表示を行っても、手ブレの発生を抑えた良好な映像データを得ることができる。

（第４の実施形態）
第１の実施形態では、再生に先立って画像の揺れを検出し、検出された揺れ情報から手ブレの起きている期間、及びその期間での最大揺れ量を求めた。そして、その最大揺れ量から、対応する期間での最適な再生サイズを求めてメモリからの読み出し処理、及び拡大処理を行うことにより、パンニングやチルティングといった撮影効果を損なうことなく、検出された手ブレ期間で最適な再生画質を得ることができた。また、第２の実施形態では、表示に先立って画像の揺れを検出し、検出された揺れ情報から手ブレの起きている期間、及びその期間での最大揺れ量を求めた。そして、その最大揺れ量から、対応する期間での最適な表示サイズを求めてメモリからの読み出し処理、及び拡大処理を行うことにより、検出された手ブレ期間で最適な表示画質を得ることができた。また、第３の実施形態では、手ブレ補正後の映像データを記憶媒体に書き戻す映像記録装置、及び映像表示装置の構成について説明を行った。

しかしながら、第２及び第３の実施形態で説明した映像表示装置の構成例では、表示に先立って画像の揺れを検出し、検出された揺れ情報から手ブレの起きている期間、及びその期間での最大揺れ量を求める。そして、その最大揺れ量から、対応する期間での最適な表示サイズを求める必要がある。そのため、入力された映像データに対してリアルタイムで手ブレ補正処理を行って表示を行うことはできない。また、第１及び第３の実施形態では、映像記録装置側にメモリ部や解像度変換処理部が必要となり、装置の処理回路の規模が大きくなっていた。

本実施形態では、映像記録装置の有する記憶媒体を利用することで、再生に先立っての画像の揺れや、手ブレの起きている期間、及びその期間での最適な再生サイズを求め、これらの情報を映像データと共に映像表示装置へ送る。そして、映像表示装置側でこれらの情報を基に手ブレ補正処理を行うことで、映像記録装置側での回路規模の増大を防ぐ。また、映像表示装置側では、リアルタイムに手ブレ補正処理を行って表示を行う。本実施形態は、このような映像記録表示システム（映像処理システム）の構成について説明する。

図１１は、本実施形態に係わる映像記録装置の構成を示すブロック図である。図１で示した、第１の実施形態の映像記録装置に対し、メモリ制御部１０７、メモリ部１０８、及び解像度変換部１０９が削除されている。また、揺れ検出部１０５で検出された手ブレ量情報、手ブレ期間検出情報、再生範囲情報、拡大率情報は、映像信号出力処理部１１０へ出力され、映像信号出力処理部１１０からは、これらの情報が映像信号と共に出力される。それ以外の構成については、図１で示した構成と同じである。

次に、上記のように構成される映像記録装置の動作について説明する。

レンズ１００、撮像素子１０１により撮像され、撮像信号処理部１０２により処理されて出力される映像データが、記憶媒体制御部１０３を介して記憶媒体１０４へ記憶されるまでの動作、及び揺れ検出部１０５にて、撮像信号処理部１０２から出力される映像データ（対象フレーム）と、記憶媒体制御部１０３から出力される前フレームでの映像データ（参照フレーム）とから図２に示した動きベクトルを求め、この動きベクトル情報から手ブレ量情報、手ブレ期間検出情報、再生範囲情報、拡大率情報を検出して、これらの情報を揺れ情報記憶部１０６へ記憶するまでの動作は、図１で説明した動作と同様であるため、説明を省略する。

ユーザにより、記憶媒体１０４へ記録された映像データの再生が指示されると、記憶媒体制御部１０３は記憶媒体１０４から記録済みの映像データを読み出して、映像信号出力処理部１１０へ出力する。同時に揺れ検出部１０５では、揺れ情報記憶部１０６から手ブレ量情報、手ブレ期間検出情報、再生範囲情報、拡大率情報を読み出して映像信号出力処理部１１０へ出力する。映像信号出力処理部１１０では、記憶媒体制御部１０３から出力された映像データと、揺れ検出部１０５から出力された手ブレ量情報、手ブレ期間検出情報、再生範囲情報、拡大率情報を、生成した同期信号と共に出力する。

図１２は、本実施形態に係わる映像表示装置の構成を示すブロック図である。図７で示した、第２の実施形態の映像表示装置に対し、記憶媒体制御部２０１、記憶媒体２０２、揺れ検出部２０３、揺れ情報記憶部２０４が削除されている。また、映像信号入力処理部２００からは、映像データと手ブレ量情報、手ブレ期間検出情報、再生範囲情報、拡大率情報が分離され、映像データと手ブレ量情報、及び再生範囲情報はメモリ制御部２０５へ出力され、拡大率情報は解像度変換部２０７へ出力される。また、手ブレ期間検出情報はメモリ制御部２０５と解像度変換部２０７へ出力される。それ以外の構成については、図７で示した構成と同じである。

次に、上記のように構成される映像表示装置の動作について説明する。

映像信号入力処理部２００では、図１１に示した映像記録装置から出力された映像信号から同期信号を分離すると共に映像データを生成する。同時に手ブレ量情報、手ブレ期間検出情報、再生範囲情報、拡大率情報を分離し、映像データと手ブレ量情報、手ブレ期間検出情報、及び再生範囲情報をメモリ制御部２０５へ出力し、拡大率情報と手ブレ期間検出情報を解像度変換部２０７へ出力する。メモリ制御部２０５では、映像信号入力処理部２００から出力される映像データを一旦メモリ部２０６へ記憶する。そして、手ブレ期間検出情報が有効状態である場合、手ブレ量情報と再生範囲情報に従ってメモリ部２０６から映像データを読み出して解像度変換部２０７へ出力する。手ブレ期間検出情報が無効状態である場合には、メモリ部２０６へ記憶された映像データをそのまま読み出して出力する。解像度変換部２０７では、手ブレ期間検出情報が有効状態である場合、図５（ｃ）に示すように、映像信号入力処理部２００から出力される拡大率情報に従ってメモリ制御部２０５から出力された映像データを本来の表示サイズに画素数変換して出力する。解像度変換部２０７から出力された映像データは、表示部２０８へ出力されて表示されることとなる。

以上説明した構成によれば、映像記録装置と映像表示装置とで本来備えている機能を有効に活用し、役割分担することで、それぞれの構成を簡単なものとすることができる。

（他の実施形態）
また、各実施形態の目的は、次のような方法によっても達成される。すなわち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、本発明には次のような場合も含まれる。すなわち、プログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。

さらに、次のような場合も本発明に含まれる。すなわち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した手順に対応するプログラムコードが格納されることになる。

本発明の第１の実施形態に係わる映像記録装置の構成を示すブロック図である。 動きベクトルを求める様子を示す模式図である。 映像記録装置で検出される動きベクトルの様子を示す模式図である。 揺れ検出部の構成例を示すブロック図である。 手ブレの補正される様子を示す模式図である。 本発明の第１の実施形態の映像記録装置の別の構成例を示すブロック図である。 本発明の第２の実施形態に係わる映像表示装置の構成を示すブロック図である。 本発明の第３の実施形態における揺れ検出部の構成例を示すブロック図である。 本発明の第３の実施形態に係わる映像記録装置の構成を示すブロック図である。 本発明の第３の実施形態に係わる映像表示装置の構成を示すブロック図である。 本発明の第４の実施形態に係わる映像記録装置の構成を示すブロック図である。 本発明の第４の実施形態に係わる映像表示装置の構成を示すブロック図である。

符号の説明

１００ レンズ
１０１ 撮像素子
１０２ 撮像信号処理部
１０３，２０１ 記憶媒体制御部
１０４，２０２ 記憶媒体
１０５，２０３ 揺れ検出部
１０６，２０４ 揺れ情報記憶部
１０７，２０５ メモリ制御部
１０８，２０６ メモリ部
１０９，２０７ 解像度変換部
１１０ 映像信号出力処理部
１１１ 加速度センサ
１０５１ 動きベクトル検出部
１０５２ 手ブレ期間判定部
１０５３ 手ブレ量変換部
１０５４ 拡大率算出部
１０５５ 録画時間計測部
１０５６ 再生時間計測部
１０５７ 揺れ情報記憶制御部

Claims (7)

1. 被写体像を撮像する撮像素子により生成された映像信号の手ブレによる揺れ量を検出し、該揺れ量から手ブレの起きている期間である手ブレ期間と該手ブレ期間における最大揺れ量を検出する揺れ検出手段と、
   前記手ブレ期間と前記最大揺れ量とに基づいて、前記手ブレ期間にわたって共通する被写体領域を有効領域として検出する有効領域検出手段と、
   前記有効領域のみを読み出すことにより前記手ブレ期間の手ブレを補正する補正手段と、
   を備えることを特徴とする映像処理装置。
2. 前記補正手段により読み出された前記有効領域の大きさを、出力する画像の大きさになるように拡大処理する解像度変換手段を更に備えることを特徴とする請求項１に記載の映像処理装置。
3. 前記解像度変換手段により拡大処理された前記有効領域を表示する表示手段を更に備えることを特徴とする請求項２に記載の映像処理装置。
4. 被写体像を撮像して映像信号を生成する撮像装置と、該撮像装置で生成された映像信号を表示する表示装置とを備える映像処理システムであって、
   前記撮像装置は、
   被写体像を撮像する撮像素子と、
   前記撮像素子により生成された映像信号の手ブレによる揺れ量を検出し、該揺れ量から手ブレの起きている期間である手ブレ期間と該手ブレ期間における最大揺れ量を検出する揺れ検出手段と、
   前記手ブレ期間と前記最大揺れ量とに基づいて、前記手ブレ期間にわたって共通する被写体領域を有効領域として検出する有効領域検出手段と、
   前記有効領域のみを読み出すことにより前記手ブレ期間の手ブレを補正する補正手段とを備え、
   前記表示装置は、
   前記撮像装置で生成された映像信号を入力する入力手段と、
   前記補正手段により読み出された前記有効領域の大きさを、出力する画像の大きさになるように拡大処理する解像度変換手段とを備える
   ことを特徴とする映像処理システム。
5. 被写体像を撮像する撮像素子により生成された映像信号の手ブレによる揺れ量を検出し、該揺れ量から手ブレの起きている期間である手ブレ期間と該手ブレ期間における最大揺れ量を検出する揺れ検出工程と、
   前記手ブレ期間と前記最大揺れ量とに基づいて、前記手ブレ期間にわたって共通する被写体領域を有効領域として検出する有効領域検出工程と、
   前記有効領域のみを読み出すことにより前記手ブレ期間の手ブレを補正する補正工程と、
   を備えることを特徴とする映像処理方法。
6. 前記補正工程において読み出された前記有効領域の大きさを、出力する画像の大きさになるように拡大処理する解像度変換工程を更に備えることを特徴とする請求項５に記載の映像処理方法。
7. 請求項５又は６に記載の映像処理方法をコンピュータに実行させるためのプログラム。

Images