JP4886172B2

JP4886172B2 - 画像記録装置、画像記録方法、及びプログラム

Info

Publication number: JP4886172B2
Application number: JP2004066050A
Authority: JP
Inventors: 秀哉田中
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2004-03-09
Filing date: 2004-03-09
Publication date: 2012-02-29
Anticipated expiration: 2024-03-09
Also published as: JP2005260357A

Description

本発明は、画像記録装置、画像記録方法、及びプログラムに関し、特に、インタレース走査ビデオ信号を非インタレースに変換して記録する画像記録装置、該画像記録装置に適用される画像記録方法、及び該画像記録方法をコンピュータに実行させるためのプログラムに関する。

主要な放送基準に従ってフォーマットされたテレビ信号は、インタレース走査ビデオ信号となっている。インタレース走査ビデオ信号では、画像フレームが２つのインタリーブされたフィールドとして表示される。第１のフィールドは画像フレームの奇数ラインを含み、第２のフィールドは画像フレームの偶数ラインを含む。ＮＴＳＣ基準に従ってフォーマットされたビデオ信号は、連続的なフィールドの間で１／６０秒のフィールド間隔を有する。

これに対して、非インタレース走査ビデオ信号であるプログレッシブ走査ビデオ信号は、水平走査を１本おきに行なうことなく、画像全体を左から右への水平走査と、上から下への垂直走査を順次に行なうことによって得られる信号であり、画像全体を１回の走査で信号化できるために、静止画撮影用のデジタルスチルカメラにおける撮像素子ＣＣＤの読み取り信号として用いられる。

ところで、インタレース走査ビデオ信号をプログレッシブ走査ビデオ信号に変換するシステムが存在するが、こうした変換システムでは、２つのフィールドが表示されたとき、現在のフィールドからの現在のラインを、現在のラインの真上にある前のフィールドのラインと現在のラインの真下にある前のフィールドのラインとに連続的に平均化することによって、プログレッシブフレームに対する画像ラインを補間することが行われている（例えば、特許文献１参照）。

また、時間的に前後のインタレース画像を再生装置に要求して取り込み、これらのインタレース画像を用いて、動き補償プログレッシブ変換を行なうようにした動き補償予測符号化装置が存在する（例えば、特許文献２参照）。
また、撮影時の画像のぶれを補正する技術として、特許文献３、特許文献４及び特許文献５が知られている。
特開２０００−０３６９４４号公報（第１１頁、図１Ａ、図１Ｂ、第１２頁、図１Ｃ）特開２０００−２７８６４２号公報（第５頁、図１）特開平２−１７３６２５号公報特開平６−８２８８９号公報特開平１１−２６６３９０号公報

しかしながら、特許文献１に示されるような従来システムでは、時間的に１フィールド前で、空間的に上下隣接のラインを遅延したラインと現在のラインとを合計回路で合計してライン補間しているので、１ライン以上ずれる動きのある映像では補間ができないという問題があった。

また、特許文献２に示されるような従来の動き補償予測符号化装置では、動き補償プログレッシブ変換が動きベクトルを検出してフィードバックするため、遅れが残ってしまい、動きのある被写体映像をプログレッシブ再生すると、被写体部分でフィールド間にギザギザが発生してしまうという問題点があった。

本発明はこのような問題点に鑑みてなされたものであって、動きのある被写体映像を非インタレース再生しても、被写体部分でフィールド間にギザギザが発生しないようにした画像記録装置、画像記録方法、及びプログラムを提供することを目的とする。

上記目的を達成するために、請求項１記載の発明によれば、インタレース走査によって生成された画像信号を記録し、該画像信号を非インタレース再生することが可能な画像記録装置であって、インタレース走査によって画像を撮像し、第１及び第２のフィールドの画像信号を生成する撮像手段と、自装置の振れを検出して検出信号を出力する振れ検出手段と、前記撮像手段によって生成された画像信号と前記振れ検出手段によって出力された検出信号とに基づき、所定の撮影手法による撮影中であるか否かを判断する判断手段と、前記判断手段によって前記所定の撮影手法による撮影中であると判断されたとき、前記振れ検出手段によって出力された検出信号と、前記撮像手段における被写体焦点情報とから、第１フィールド撮影時点と第２フィールド撮影時点との間に発生した自装置の被写体に対する振れを相殺するためのフィールド振れ補正量を算出するフィールド揺量算出手段と、前記振れ検出手段によって出力された検出信号に従って、前記撮像手段によって撮像された画像に生じた手振れを補正するための画像抽出範囲をフィールド毎に算出する画像抽出範囲算出手段と、前記撮像手段によって生成された第１及び第２のフィールドの画像信号と、前記フィールド揺量算出手段によって算出されたフィールド振れ補正量を示すメタデータと、前記画像抽出範囲算出手段によってフィールド毎に算出された手振れを補正するための画像抽出範囲を示すメタデータとを記録する記録手段と、前記記録手段によって記録された第１及び第２のフィールドの画像信号をそれぞれ再生し、非インタレースにして再生出力する際に、前記記録手段によって記録された前記フィールド振れ補正量を示すメタデータ、及び前記手振れを補正するための画像抽出範囲を示すメタデータを再生する再生手段と、前記再生手段によって第１のフィールドの画像信号を再生したときは、前記再生手段によって再生された手振れを補正するための画像抽出範囲を示すメタデータに従って前記第１のフィールドの画像抽出位置を動かすことにより手振れ補正を行ない、前記再生手段によって第２のフィールドの画像信号を再生したときは、前記再生手段によって再生された手振れを補正するための画像抽出範囲を示すメタデータに従って前記第２のフィールドの画像抽出位置を動かすことにより手振れ補正を行なうとともに、前記再生手段によって再生されたフィールド振れ補正量を示すメタデータに従って前記第２のフィールドの画像抽出位置をさらに位置補正することによりフィールド振れ補正を行なう補正手段とを有することを特徴とする画像記録装置が提供される。

さらに、上記画像記録装置に適用される画像記録方法、及び該画像記録方法をコンピュータに実行させるためのプログラムが提供される。

本発明の請求項１記載の画像記録装置によれば、インタレース走査によって得たパンニング撮影中の被写体映像を非インタレース再生しても被写体部分でフィールド間のギザギザが発生しないという効果がある。

以下、本発明を実施するための最良の形態について、図面を参照して説明する。

〔第１の実施の形態〕
図１は、本発明の第１の実施の形態に係る画像記録再生装置の構成を示すブロック図である。この画像記録再生装置は、インタレース走査によってビデオ信号を作成し、該ビデオ信号を非インタレース再生（プログレッシブ再生）することが可能な装置である。

図１において１００は撮像部であり、図示しないズームレンズ装置、フォーカスレンズ装置および光学式手ぶれ補正装置と撮像素子とからなる。１０１は、撮像部１００のズーム状態やフォーカス状態を検出する焦点検出部、１０２は、振動ジャイロからなり、撮像部１００の揺れを検出する振れ検出部、１０３は、撮像部１００の揺れがパンニングやチルティングによるものであるか否かを判断するパンニング判断部、１０４は、画像取得範囲を制御する振れ補正制御部、１０５はフィールド揺量算出部であり、フィールド揺量算出部１０５は、振れ検出部１０２の出力と焦点検出部１０１の出力とから振れ補正制御量を算出する。

１０６は、ズーム状態や画像取得範囲によって画角を制御する画角制御部、１０７は、画角制御部１０６による画角制御がズームインやズームアウトであるか否かを判断するズーミング判断部、１０８は、焦点検出部１０１の出力からフィールド変倍量を算出するフィールド変倍量算出部である。

１０９は補正メタデータ付加取得部であり、記録時には、フィールド揺れ量算出部１０５の出力やフィールド変倍量算出部１０８の出力を画像情報とともに補正メタデータとして付加し、再生時には、再び画像情報とともに取得する。１１０は記録再生部、１１１は非インタレース補正部であり、非インタレース補正部１１１は、記録再生部１１０から出力されたインタレース信号を、補正メタデータ付加取得部１０９から得られた補正データに基づき画像切出しを行い、非インタレース信号に補正する。１１２は非インタレース表示器、１１３はインタレース表示器である。

なお、図１に示す画像記録再生装置は、例えば中央演算装置（ＣＰＵ）、ＣＰＵが実行するプログラムを記憶するＲＯＭ（Read Only Memory）、ＣＰＵが演算に使用するＲＡＭ（Random Access Memory）、入出力装置等から構成され、図１に示す撮像部１００、焦点検出部１０１、振れ検出部１０２、非インタレース表示器１１２、インタレース表示器１１３、及び記録再生部１１０の一部を除く各部は、ＣＰＵがプログラムを実行することによって実現される各機能を示すものである。

図２は、画像記録再生装置で実行される、撮像部１００に含まれる光学式手ぶれ補正装置に対する振れ補正制御処理の手順を示すフローチャートである。

なお、光学式手ぶれ補正装置は、例えば特開平２−１７３６２５号公報（特許第２８０１０１３号）や特開平６−８２８８９号公報で開示される構成が知られており、本実施の形態では、光学式手ぶれ補正装置自体の構成や制御についての説明は省略し、本実施の形態の主眼たる光軸制御目標生成について説明する。

図２におけるステップＳ２００にて、パンニング判断部１０３に振れ検出部１０２から、撮像部１００の揺れを示すジャイロ信号が入力されているか否か、つまり撮像部１００が揺れているか否かを、パンニング判断部１０３が判断する。ジャイロ信号の入力が無ければステップＳ２０２へ処理を移す。例えば画像記録再生装置を三脚に固定している場合などはステップＳ２０２へ処理が移される。ジャイロ信号の入力がある場合はステップＳ２０１へ処理を移す。

ステップＳ２０２では、撮像部１００は揺れていないと判断されたので、現在のフィールド揺れ量を変えず、画像取得範囲を制御する振れ補正制御部１０４は現状の光軸を維持し、光学式手ぶれ補正装置の制御目標を変えないようにする。

ステップＳ２０１では、パンニング判断部１０３が、振れ検出部１０２から入力されたジャイロ信号の信号変動を所定範囲と比較し、信号変動が所定範囲内に収まっているか否か、つまり撮像部１００が一定速度で振られている状態（パンニングやチルティングの場合）か、または撮像部１００が不規則に揺れている状態（手ぶれ状態）かを判断する。信号変動が所定範囲内に収まっていなければステップＳ２１４へ処理を移す。信号変動が所定範囲内に収まっていればステップＳ２０３へ処理を移す。

ステップＳ２０３では、パンニング判断部１０３が、撮像部１００から入力された画像の動きベクトルを所定レベルと比較し、動きベクトルが所定レベルより大きいか否かを判断する。動きベクトルが所定レベル以下であれば、すなわち、被写体を追尾撮影していて画面に対して被写体位置があまり変わらず、動きベクトルが小さい場合には、ステップＳ２１４へ処理を移す。動きベクトルが所定レベルより大きいならばステップＳ２０４へ処理を移す。

ステップＳ２０４では、フィールド揺れ量算出部１０５が、現在得られているフィールドがＢフィールドであるか否かを判断する。なお、本画像記録再生装置は、インタレース走査を行なって１画面に対して２つのフィールドを得るようにし、その２つのフィールドのうちの前半のフィールドをＡフィールド、後半のフィールドをＢフィールドとする。上記判断の結果、ＢフィールドでなければステップＳ２１４へ処理を移し、Ｂフィールドであった場合ステップＳ２０５へ処理を移す。

ステップＳ２０５では、フィールド揺れ量算出部１０５が、現在のタイミングがＢフィールドの先頭であるか否かを判断する。Ｂフィールド先頭でない場合ステップＳ２１１へ処理を移し、Ｂフィールド先頭であった場合ステップＳ２０６へ処理を移す。

ステップＳ２０６では、フィールド揺れ量算出部１０５が焦点検出部１０１からズームレンズ位置情報を取得して、ステップＳ２０７へ処理を移す。

ステップＳ２０７では、フィールド揺れ量算出部１０５が焦点検出部１０１からフォーカスレンズ位置情報を取得して、ステップＳ２０８へ処理を移す。

ステップＳ２０８では、フィールド揺れ量算出部１０５が、ズームレンズ位置情報とフォーカスレンズ位置情報とから被写体焦点情報を算出して、ステップＳ２０９へ処理を移す。

ステップＳ２０９では、フィールド揺れ量算出部１０５が、振れ検出部１０２から得たジャイロ信号を基にパンニング速度を算出して、ステップＳ２１０へ処理を移す。

ステップＳ２１０では、フィールド揺れ量算出部１０５が、被写体焦点情報とパンニング速度とからフィールドぶれ光軸補正値を算出して、ステップＳ２１１へ処理を移す。このフィールドぶれ光軸補正値は、フィールド間の画像ぶれを補正するために行われる光軸偏向の偏向量を示す。なお、レンズの画角仕様によって、パンニング速度を１フィールド当たりの光軸偏向量に換算することができる。これを、図３を参照して説明する。

図３は、被写体とレンズと撮像素子との相互位置関係を示す図であり、レンズの画角とパンニング速度と光軸との関係を説明するための図である。

光学式手ぶれ補正装置では、手ぶれ補正を、光軸を偏向することによって行なうので、図３に示すように、レンズ位置Ｐ_Lに対して被写体位置がＰ_Oであり、広角側撮影では焦点距離がＤ_W、撮像素子の位置がＰ_Wであり、一方、望遠側撮影では焦点距離がＤ_T、撮像素子の位置がＰ_Tであるものとする。広角側撮影では画角がＷ_A、光学画角がθ_Wになる。広角側撮影において、パンニング速度を１フィールドの光軸偏向量に換算して、補正角度がΔθ₁であった場合、画角はＷ_AからＷ_Bに補正される。但しＷ_A＝Ｗ_Bである。なお、ズーム率が大きくなるほど焦点距離が長くなる。

一方、望遠側撮影では画角がＴ_A、光学画角がθ_Tになる。撮像素子のサイズＳは同一なので、焦点距離が望遠側になるほど光学画角θが狭くなる。そこで望遠側撮影において、パンニング速度を１フィールドの光軸偏向量に換算して、補正角度がΔθ₂であった場合、補正角度Δθ₂は下記式（１）に基づき算出できる。

Δθ₂＝Δθ₁×（Ｄ_W／Ｄ_T）・・・（１）
望遠側撮影では画角がＴ_AからＴ_Bに補正される。但しＴ_A＝Ｔ_Bである。

図２に戻ってステップＳ２１１では、振れ補正制御部１０４が、振れ検出部１０２から出力されたジャイロ信号を基に、フィールドぶれ光軸補正を行なわないインタレース表示向けの手ぶれ光軸補正値を算出して、ステップＳ２１２へ処理を移す。

ステップＳ２１２では、振れ補正制御部１０４が、インタレース表示向けの手ぶれ光軸補正値に、ステップＳ２１０で算出されたフィールドぶれ光軸補正値を加算して、ステップＳ２１３へ処理を移す。

ステップＳ２１４では、振れ補正制御部１０４が、振れ検出部１０２から出力されたジャイロ信号を基に、フィールドぶれ光軸補正を行なわない手ぶれ光軸補正値を算出して、ステップＳ２１３へ処理を移す。

ステップＳ２１３では、振れ補正制御部１０４が、ステップＳ２１２で算出された加算値またはステップＳ２１４で算出された手ぶれ光軸補正値を用いて、撮像部１００に含まれる光学式手ぶれ補正装置の光軸目標値を更新する。撮像部１００の光学式手ぶれ補正装置は、更新された光軸目標値にサーボ制御をかける。

以上のように、撮像部１００に含まれる光学式手ぶれ補正装置に対して振れ補正制御を行なうことにより、次のような効果を得られる。

図４（Ａ）は、１つの画面に対する２つのフィールド（Ａ，Ｂ）における従来のヨー方向の光軸目標値を示す図、図４（Ｂ）は、２つのフィールドによる従来のフィールドぶれを示す図である。また、図５（Ａ）は、２つのフィールド（Ａ，Ｂ）における本実施の形態でのヨー方向の光軸目標値を示す図、図５（Ｂ）は、２つのフィールドによる本実施の形態でのフィールドぶれを示す図である。

すなわち、従来のインタレース表示向け手ぶれ補正では、図４（Ａ）に示すように、パンニング撮影した時に、ヨー方向の光軸目標値が一定であって、したがって、図４（Ｂ）に示すように、ＡフィールドとＢフィールドとの間にフィールドぶれが発生する。これに対して本実施の形態では、図５（Ａ）に示すように、Ｂフィールドのずれ量を焦点情報、パンニング速度から算出して、インタレース表示向けの手ぶれ補正値に加算して光軸補正する。これにより、図５（Ｂ）に示すように、ＡフィールドとＢフィールドとの間でフィールドぶれを打ち消すことができ、このように動きのある被写体映像をプログレッシブ再生しても、被写体部分でフィールド間のギザギザが発生しないという効果がある。

なお、本実施の形態では、ヨー方向の光軸補正を説明したが、ピッチ方向の光軸補正機構を備えるようにすれば、ピッチ方向に対しても同様に光軸補正を行うことができる。ヨー方向とピッチ方向とを同時に光軸補正すれば、３６０度のどの方向のフィールドぶれにも対応できる。

〔第２の実施の形態〕
次に、本発明の第２の実施の形態を説明する。

第２の実施の形態の構成は、基本的に第１の実施の形態の構成と同じであるので、第２の実施の形態の説明においては、第１の実施の形態の構成と同一部分には同一の参照符号を付して、第１の実施の形態の説明を流用し、異なる部分だけを説明する。

第２の実施の形態では、撮像部１００が電子補正式手ぶれ補正装置を内蔵しているものとする。電子補正式手ぶれ補正装置については、例えば特開平１１−２６６３９０号公報にその構成が開示されており、本実施の形態では、電子補正式手ぶれ補正装置自体の構成や制御についての説明は省略し、本実施の形態の主眼たる電子補正式手ぶれ補正装置の制御目標生成について説明する。

図６は、第２の実施の形態における画像記録再生装置で実行される、撮像部１００に含まれる電子補正式手ぶれ補正装置に対する振れ補正制御処理の手順を示すフローチャートである。

ステップＳ４００にて、パンニング判断部１０３に振れ検出部１０２から、撮像部１００の揺れを示すジャイロ信号が入力されているか否か、つまり撮像部１００が揺れているか否かを、パンニング判断部１０３が判断する。ジャイロ信号の入力が無ければステップＳ４０２へ処理を移す。例えば画像記録再生装置を三脚に固定している場合などはステップＳ４０２へ処理が移される。ジャイロ信号の入力がある場合はステップＳ４０１へ処理を移す。

ステップＳ４０２では、撮像部１００は揺れていないと判断されたので、現在のフィールド揺れ量を変えず、画像取得範囲を制御する振れ補正制御部１０４は現状の画像抽出位置を維持し、画像抽出方式である電子補正式手ぶれ補正装置の制御目標を変えないようにする。

ステップＳ４０１では、パンニング判断部１０３が、振れ検出部１０２から入力されたジャイロ信号の信号変動を所定範囲と比較し、信号変動が所定範囲内に収まっているか否か、つまり撮像部１００が一定速度で振られている状態（パンニングやチルティングの場合）か、または撮像部１００が不規則に揺れている状態（手ぶれ状態）かを判断する。信号変動が所定範囲内に収まっていなければステップＳ４１４へ処理を移す。信号変動が所定範囲内に収まっていればステップＳ４０３へ処理を移す。

ステップＳ４０３では、パンニング判断部１０３が、撮像部１００から入力された画像の動きベクトルを所定レベルと比較し、動きベクトルが所定レベルより大きいか否かを判断する。動きベクトルが所定レベル以下であれば、すなわち、被写体を追尾撮影していて画面に対して被写体位置があまり変わらず、動きベクトルが小さい場合には、ステップＳ４１４へ処理を移す。動きベクトルが所定レベルより大きいならばステップＳ４０４へ処理を移す。

ステップＳ４０４では、フィールド揺れ量算出部１０５が、現在のタイミングがＢフィールド（後半フィールド）の先頭であるか否かを判断する。Ｂフィールド先頭でない場合ステップＳ４０５へ処理を移し、Ｂフィールド先頭であった場合ステップＳ４０６へ処理を移す。

ステップＳ４０６では、フィールド揺れ量算出部１０５が焦点検出部１０１からズームレンズ位置情報を取得して、ステップＳ４０７へ処理を移す。

ステップＳ４０７では、フィールド揺れ量算出部１０５が焦点検出部１０１からフォーカスレンズ位置情報を取得して、ステップＳ４０８へ処理を移す。

ステップＳ４０８では、フィールド揺れ量算出部１０５が、ズームレンズ位置情報とフォーカスレンズ位置情報とから被写体焦点情報を算出して、ステップＳ４０９へ処理を移す。

ステップＳ４０９では、フィールド揺れ量算出部１０５が、振れ検出部１０２から得たジャイロ信号を基にパンニング速度を算出して、ステップＳ４１０へ処理を移す。

ステップＳ４１０では、フィールド揺れ量算出部１０５が、被写体焦点情報とパンニング速度とからフィールドぶれ画像抽出補正値を算出して、ステップＳ４１１へ処理を移す。このフィールドぶれ画像抽出補正値は、フィールド間の画像ぶれを補正するために行われる画像抽出位置移動の移動量を示す。なお、レンズの画角仕様と撮像素子のサイズによって、パンニング速度を１フィールド当たりの画像抽出位置変化量に換算することができる。これを、図７を参照して説明する。

図７は、被写体とレンズと撮像素子との相互位置関係を示す図であり、レンズの画角とパンニング速度と画像抽出範囲との関係を説明するための図である。

すなわち、電子補正式手ぶれ補正装置では、手ぶれ補正を、撮影素子上の画像抽出位置を移動することによって行なうので、図７に示すように、レンズ位置Ｐ_Lに対して被写体位置がＰ_O、撮像素子の位置がＰ₁であり、被写体距離がＤであるとする。広範囲抽出撮影では、画角がＷ_Aであり、撮像素子サイズＳに対して撮像素子抽出範囲がＡ_Wになる。広範囲抽出撮影において、パンニング速度を１フィールドの画像抽出位置変化量に換算して、位置補正量がΔＬ１であった場合、画角はＷ_AからＷ_Bに補正される。但しＷ_A＝Ｗ_Bである。なお電子ズーム率が大きくなるほど画角が狭くなる。

一方、狭範囲抽出撮影では、画角がＴ_Aであり、撮像素子抽出範囲がＡ_Tになる。撮像素子サイズＳは広範囲抽出撮影でも狭範囲抽出撮影でも同一なので、電子ズーム率が大きく望遠側になるほど抽出範囲Ａが狭くなる。そこで狭範囲抽出撮影において、パンニング速度を１フィールドの画像抽出位置変化量に換算して、位置補正量がΔＬ₂であった場合、位置補正量ΔＬ₂は下記式（２）に基づき算出できる。

ΔＬ₂＝ΔＬ₁×（Ａ_T／Ａ_w）・・・（２）
狭範囲抽出撮影では、画角はＴ_AからＴ_Bに補正される。但しＴ_A＝Ｔ_Bである。

図６に戻ってステップＳ４１１では、フィールド揺れ量算出部１０５が、振れ検出部１０２から出力されたジャイロ信号を基に、フィールドぶれ画像抽出補正を行なわないインタレース表示向けの手ぶれ画像抽出範囲を算出して、ステップＳ４１２へ処理を移す。

ステップＳ４１２では、フィールド揺れ量算出部１０５が、インタレース表示向けの手ぶれ画像抽出範囲に、ステップＳ４１０で算出されたフィールドぶれ画像抽出補正値を加算して、ステップＳ４１３へ処理を移す。

ステップＳ４０５では、フィールド揺れ量算出部１０５が、現在のタイミングがＡフィールド（前半フィールド）の先頭であるか否かを判断する。Ａフィールド先頭でない場合、振れ補正制御処理を終了し、Ａフィールド先頭であった場合ステップＳ４１４へ処理を移す。

ステップＳ４１４では、フィールド揺れ量算出部１０５が、振れ検出部１０２から出力されたジャイロ信号を基に、フィールドぶれ画像抽出補正を行なわない手ぶれ画像抽出範囲を算出して、ステップＳ４１３へ処理を移す。

ステップＳ４１３では、振れ補正制御部１０４が、ステップＳ４１２で算出された加算値またはステップＳ４１４で算出された手ぶれ画像抽出範囲を用いて、撮像部１００に含まれる画像抽出方式である電子補正式手ぶれ補正装置の画像抽出目標値を更新する。撮像部１００の電子補正式手ぶれ補正装置は、更新された画像抽出目標値における画像を抽出する。

以上のように、撮像部１００に含まれる電子補正式手ぶれ補正装置に対して振れ補正制御を行なうことにより、次のような効果を得られる。

図８（Ａ）は、１つの画面に対する２つのフィールド（Ａ，Ｂ）における従来のヨー（Ｙ）方向及びピッチ（Ｐ）方向の画像抽出位置を示す図、図８（Ｂ）は、２つのフィールドにおける従来の画像抽出範囲を示す図、図８（Ｃ）は、２つのフィールドによる従来のフィールドぶれを示す図である。また、図９（Ａ）は、２つのフィールド（Ａ，Ｂ）における本実施の形態でのヨー（Ｙ）方向及びピッチ（Ｐ）方向の画像抽出位置を示す図、図９（Ｂ）は、２つのフィールドにおける本実施の形態での画像抽出範囲を示す図、図９（Ｃ）は、２つのフィールドによる本実施の形態でのフィールドぶれを示す図である。

従来のインタレース表示向け手ぶれ補正では、図８（Ａ），（Ｂ）に示すように、パンニング撮影した時に、ヨー（Ｙ）方向及びピッチ（Ｐ）方向の画像抽出位置が一定であって、したがって、図８（Ｃ）に示すように、ＡフィールドとＢフィールドとの間にフィールドぶれが発生する。これに対して本実施の形態では、図９（Ａ）に示すように、Ｂフィールドのずれ量を焦点情報、パンニング速度から算出して、図９（Ｂ）に示すように、インタレース表示向けの手ぶれ補正値に加算して画像抽出位置を補正する。これにより、図９（Ｃ）に示すように、ＡフィールドとＢフィールドとの間でフィールドぶれを打ち消すことができ、このように動きのある被写体映像をプログレッシブ再生しても、被写体部分でフィールド間のギザギザが発生しないという効果がある。

〔第３の実施の形態〕
次に、本発明の第３の実施の形態を説明する。

第３の実施の形態の構成は、基本的に第１の実施の形態の構成と同じであるので、第３の実施の形態の説明においては、第１の実施の形態の構成と同一部分には同一の参照符号を付して、第１の実施の形態の説明を流用し、異なる部分だけを説明する。

図１０は、第３の実施の形態における画像記録再生装置で実行される、撮像部１００に含まれるズームレンズに対する画角制御処理の手順を示すフローチャートである。

ステップＳ６００において、ズーミング判断部１０７が、ズームレンズを駆動するためのズームキー（不図示）からキー入力があったか否かを判断する。キー入力が無ければステップＳ６０２へ処理を移す。キー入力があった場合はステップＳ６０１へ処理を移す。

ステップＳ６０２では、キー入力が無いので、ズームレンズ位置を固定のまま、画角制御部１０６が、現在のズームレンズ駆動目標を維持して、現在の画角を維持する。

ステップＳ６０１では、ズーミング判断部１０７が、撮像部１００から入力された画像の動きベクトルを所定レベルと比較し、該動きベクトルが所定レベルより大きいか否かを判断する。動きベクトルが所定レベル以下であるならば、すなわち、遠のく被写体をズームイン撮影している場合や、近づく被写体をズームアウト撮影している場合であって、画面に対して被写体倍率があまり変化しない場合には、ステップＳ６０４へ処理を移す。一方、動きベクトルが所定レベルより大きいならば、ステップＳ６０３へ処理を移す。

ステップＳ６０３では、フィールド変倍量算出部１０８が、現在のタイミングがＡフィールド（前半フィールド）の先頭であるか否かを判断する。Ａフィールド先頭でない場合はステップＳ６０６へ処理を移す。Ａフィールド先頭である場合はステップＳ６０５へ処理を移す。

ステップＳ６０４では、従来のズーム撮影時と同様に、画角制御部１０６が、図１１（Ａ）に示すように、毎フィールド先頭において、ズーム速度に応じてズーム倍率目標値を切り替えて、画角制御処理を終える。

ステップＳ６０５では、フィールド変倍量算出部１０８が、画角制御部１０６からズーム速度を取得して、前回Ａフィールドからの１フレーム経過分に相当するＡフィールドの目標倍率に、ズームレンズ駆動目標を切替えて、画角制御処理を終える。

ステップＳ６０６では、フィールド変倍量算出部１０８が、現在のタイミングがＢフィールド（後半フィールド）の先頭であるか否かを判断する。Ｂフィールド先頭でない場合は画角制御処理を終える。Ｂフィールド先頭である場合はステップＳ６０７へ処理を移す。

ステップＳ６０７では、フィールド変倍量算出部１０８がズームレンズ位置を固定して、画角制御部１０６が、現在のズームレンズ駆動目標を維持して、現在の画角を維持し、画角制御処理を終える。

以上のように、撮像部１００に含まれるズームレンズに対して画角制御を行なうことにより、次のような効果を得られる。

図１１（Ａ）は、１つの画面に対する２つのフィールド（Ａ，Ｂ）における従来のズーム倍率目標値を示す図、図１１（Ｂ）は、２つのフィールドにおける従来の画像ずれを示す図である。また、図１２（Ａ）は、２つのフィールド（Ａ，Ｂ）における本実施の形態でのズーム倍率目標値を示す図、図１２（Ｂ）は、２つのフィールドにおける本実施の形態での画像ずれを示す図である。

従来のインタレース表示向けズーム駆動では、図１１（Ａ）に示すように、ズーミング撮影した時に、ズーム倍率目標値が設定され、したがって、図１１（Ｂ）に示すように、ＡフィールドとＢフィールドとの間に画像ずれが発生する。これに対して本実施の形態では、図１２（Ａ）に示すように、Ｂフィールドのズーム倍率目標値をＡフィールドに合わせるように補正する。これにより、図１２（Ｂ）に示すように、ＡフィールドとＢフィールドとの間での画像ずれが解消でき、このようにズーミング中の被写体映像をプログレッシブ再生しても、被写体部分でフィールド間の画像ずれが発生しないという効果がある。

なお、本実施の形態には、図１１及び図１２において、広角側から望遠側方向のズームインを例に挙げているが、望遠側から広角側方向のズームアウトに対しても、同様に画角制御処理を実行することができる。

〔第４の実施の形態〕
次に、本発明の第４の実施の形態を説明する。

第４の実施の形態の構成は、基本的に第１の実施の形態の構成と同じであるので、第４の実施の形態の説明においては、第１の実施の形態の構成と同一部分には同一の参照符号を付して、第１の実施の形態の説明を流用し、異なる部分だけを説明する。

図１３は、第４の実施の形態における画像記録再生装置で実行される、撮像部１００に含まれる撮像素子に対する画像切出面積の制御処理の手順を示すフローチャートである。なお、第４の実施の形態では、撮像部１００に光学式のズームレンズが備えられる他に、電子ズーム機能も備えられるものとする。

ステップＳ８００において、ズーミング判断部１０７が、ズームレンズを駆動するためのズームキー（不図示）からキー入力があったか否かを判断する。キー入力が無ければステップＳ８０２へ処理を移す。キー入力があった場合はステップＳ８０１へ処理を移す。

ステップＳ８０２では、キー入力が無いので、ズーム倍率を固定のまま、画角制御部１０６が、現在の画像切出面積の制御目標を維持して、現在の画角を維持する。

ステップＳ８０１では、ズーミング判断部１０７が、撮像部１００から入力された画像の動きベクトルを所定レベルと比較し、該動きベクトルが所定レベルより大きいか否かを判断する。動きベクトルが所定レベル以下であるならば、すなわち、遠のく被写体をズームイン撮影している場合や、近づく被写体をズームアウト撮影している場合であって、画面に対して被写体倍率があまり変化しない場合には、ステップＳ８０４へ処理を移す。一方、動きベクトルが所定レベルより大きいならば、ステップＳ８０３へ処理を移す。

ステップＳ８０３では、フィールド変倍量算出部１０８が、現在のタイミングがＡフィールド（前半フィールド）の先頭であるか否かを判断する。Ａフィールド先頭でない場合はステップＳ８０６へ処理を移す。Ａフィールド先頭である場合はステップＳ８０５へ処理を移す。

ステップＳ８０４では、従来のズーム撮影時と同様に、画角制御部１０６が、図１４（Ａ）に示すように、毎フィールド先頭において、ズーム速度に応じて画像切出し面積目標値を切り替えて、画像切出面積の制御処理を終える。

ステップＳ８０５では、フィールド変倍量算出部１０８が、画角制御部１０６からズーム速度を取得して、前回Ａフィールドからの１フレーム経過分に相当するＡフィールドの画像切出面積に、目標値を切替えて、画像切出面積の制御処理を終える。

ステップＳ８０６では、フィールド変倍量算出部１０８が、現在のタイミングがＢフィールド（後半フィールド）の先頭であるか否かを判断する。Ｂフィールド先頭でない場合は画像切出面積の制御処理を終える。Ｂフィールド先頭である場合はステップＳ８０７へ処理を移す。

ステップＳ８０７では、フィールド変倍量算出部１０８がズーム倍率を固定して、画角制御部１０６が、現在の画像切出面積を維持するようにするズームレンズ制御目標に切り替えて、画像切出面積の制御処理を終える。

以上のように、撮像部１００に含まれる撮像素子に対する画像切出面積制御を行なうことにより、次のような効果を得られる。

図１４（Ａ）は、１つの画面に対する２つのフィールド（Ａ，Ｂ）におけるズームイン方向での従来のズーム倍率目標値を示す図、図１４（Ｂ）は、２つのフィールドにおける従来の画像切出面積を示す図、図１４（Ｃ）は、２つのフィールドにおける従来の画像ずれを示す図、図１４（Ｄ）は、２つのフィールドにおけるズームアウト方向での従来のズーム倍率目標値を示す図である。また、図１５（Ａ）は、２つのフィールド（Ａ，Ｂ）におけるズームイン方向での本実施の形態でのズーム倍率目標値を示す図、図１５（Ｂ）は、２つのフィールドにおける本実施の形態での画像画像切出面積を示す図、図１５（Ｃ）は、２つのフィールドにおける本実施の形態での画像ずれを示す図、図１５（Ｄ）は、２つのフィールドにおけるズームアウト方向での本実施の形態でのズーム倍率目標値を示す図である。

従来のインタレース表示向けズーム駆動では、図１４（Ａ）に示すように、ズームイン方向にズーミング撮影した時に、ズーム倍率目標値が設定され、したがって、図１４（Ｂ）に示すように、フィールドごとに順次、画像切出面積が変化してズーム率が変化するので、図１４（Ｃ）に示すように、ＡフィールドとＢフィールドとの間に画像ずれが発生する。なお、図１４（Ｄ）に示すように、ズームアウト方向にズーミング撮影した時でも、同じ現象が発生する。

これに対して本実施の形態では、図１５（Ａ）に示すように、Ｂフィールドのズーム倍率目標値をＡフィールドに合わせるように補正する。すなわち、図１５（Ｂ）に示すように、Ａフィールドでの画像切出面積とＢフィールドでの画像切出面積とを同じなるようにする。これにより、図１５（Ｃ）に示すように、ＡフィールドとＢフィールドとの間での画像ずれが解消でき、このようにズーミング中の被写体映像をプログレッシブ再生しても、被写体部分でフィールド間の画像ずれが発生しないという効果がある。

なお、図１５（Ｄ）に示すように、ズームアウト方向にズーミング撮影した時でも、Ｂフィールドのズーム倍率目標値をＡフィールドに合わせるように補正することによって、同じように、ＡフィールドとＢフィールドとの間での画像ずれを解消できる。

〔第５の実施の形態〕
次に、本発明の第５の実施の形態を説明する。

第５の実施の形態の構成は、基本的に第１の実施の形態の構成と同じであるので、第５の実施の形態の説明においては、第１の実施の形態の構成と同一部分には同一の参照符号を付して、第１の実施の形態の説明を流用し、異なる部分だけを説明する。

第５の実施の形態では、パンニング撮影した画像を記録するときに、Ａフィールド（前半フィールド）に対するＢフィールド（後半フィールド）のずれをメタデータとして記録し、再生時にインタレース表示向けの画像抽出範囲を位置補正するようにして、ＡフィールドとＢフィールドとのフィールドぶれを打ち消すようにしている。

図１６は、第５の実施の形態における画像記録再生装置で実行される、画像情報とともにフィールド揺れ量を記録する記録処理の手順を示すフローチャートである。

ステップＳ９００にて、パンニング判断部１０３に振れ検出部１０２から、撮像部１００の揺れを示すジャイロ信号が入力されているか否か、つまり撮像部１００が揺れているか否かを、パンニング判断部１０３が判断する。ジャイロ信号の入力が無ければ記録処理を終える。ジャイロ信号の入力がある場合はステップＳ９０１へ処理を移す。

ステップＳ９０１では、パンニング判断部１０３が、振れ検出部１０２から入力されたジャイロ信号の信号変動を所定範囲と比較し、信号変動が所定範囲内に収まっているか否か、つまり撮像部１００が一定速度で振られている状態（パンニングやチルティングの場合）か、または撮像部１００が不規則に揺れている状態かを判断する。信号変動が所定範囲内に収まっていなければ記録処理を終える。信号変動が所定範囲内に収まっていればステップＳ９０２へ処理を移す。

ステップＳ９０２では、パンニング判断部１０３が、撮像部１００から入力された画像の動きベクトルを所定レベルと比較し、動きベクトルが所定レベルより大きいか否かを判断する。動きベクトルが所定レベル以下であれば、すなわち、被写体を追尾撮影していて画面に対して被写体位置があまり変わらず、動きベクトルが小さい場合には、記録処理を終える。動きベクトルが所定レベルより大きいならばステップＳ９０３へ処理を移す。

ステップＳ９０３では、フィールド揺れ量算出部１０５が、現在のタイミングがＢフィールド（後半フィールド）の先頭であるか否かを判断する。Ｂフィールド先頭でない場合ステップＳ９０５へ処理を移し、Ｂフィールド先頭であった場合ステップＳ９０４へ処理を移す。

ステップＳ９０４では、フィールド揺れ量算出部１０５が焦点検出部１０１からズームレンズ位置情報を取得して、ステップＳ９０６へ処理を移す。

ステップＳ９０６では、フィールド揺れ量算出部１０５が焦点検出部１０１からフォーカスレンズ位置情報を取得して、ステップＳ９０７へ処理を移す。

ステップＳ９０７では、フィールド揺れ量算出部１０５が、ズームレンズ位置情報とフォーカスレンズ位置情報とから被写体焦点情報を算出して、ステップＳ９０８へ処理を移す。

ステップＳ９０８では、フィールド揺れ量算出部１０５が、振れ検出部１０２から得たジャイロ信号を基にパンニング速度を算出して、ステップＳ９０９へ処理を移す。

ステップＳ９０９では、フィールド揺れ量算出部１０５が、被写体焦点情報とパンニング速度とからフィールドぶれ画像抽出補正値を算出し、補正メタデータ付加取得部１０９がフィールドぶれ画像抽出補正メタデータを作成して、ステップＳ９１０へ処理を移す。このフィールドぶれ画像抽出補正値は、再生時に画像抽出位置を動かすことによってフィールド間の画像ぶれを補正するための画像抽出位置移動量を示す。

ステップＳ９１０では、フィールド揺れ量算出部１０５が、振れ検出部１０２から得たジャイロ信号を基に、フィールドぶれ画像抽出補正を行なわないインタレース表示向けの手ぶれ画像抽出範囲を算出し、補正メタデータ付加取得部１０９が、手ぶれ画像抽出範囲メタデータを作成して、ステップＳ９１１へ処理を移す。

ステップＳ９１１では、補正メタデータ付加取得部１０９が、フィールドぶれ画像抽出補正メタデータを更新して、ステップＳ９１２へ処理を移す。

ステップＳ９０５では、フィールド揺れ量算出部１０５が、現在のタイミングがＡフィールド（前半フィールド）の先頭であるか否かを判断する。Ａフィールド先頭でない場合、ステップＳ９１４へ処理を移し、Ａフィールド先頭であった場合ステップＳ９１３へ処理を移す。

ステップＳ９１３では、フィールド揺れ量算出部１０５が、振れ検出部１０２から出力されたジャイロ信号を基に、フィールドぶれ画像抽出補正を行なわないインタレース表示向けの手ぶれ画像抽出範囲を算出し、補正メタデータ付加取得部１０９が、手ぶれ画像抽出範囲メタデータを更新してステップＳ９１２へ処理を移す。

ステップＳ９１２では、補正メタデータ付加取得部１０９が、フィールドぶれ画像抽出補正を行なわないインタレース表示向けの手ぶれ画像抽出範囲メタデータを更新して、ステップＳ９１４へ処理を移す。

ステップＳ９１４では、記録再生部１１０が、画像情報とともに、手ぶれ画像抽出範囲メタデータ及びフィールドぶれ画像抽出補正メタデータを記録する。

図１７は、第５の実施の形態における画像記録再生装置で実行される、画像情報とともにフィールド揺れ量を再生してフィールドぶれを補正する再生補正処理の手順を示すフローチャートである。

ステップＳ１０００では、非インタレース補正部１１１が、記録再生部１１０の出力として非インタレース出力が選択されているか否かを判断する。インタレース出力が選択されていれば再生補正処理を終える。非インタレース出力が選択されている場合、ステップＳ１００１へ処理を移す。

ステップＳ１００１では、非インタレース補正部１１１が、再生画像の現在のタイミングが、Ｂフィールドの先頭であるか否かを判断する。Ｂフィールド先頭で無い場合ステップＳ１００３へ処理を移す。Ｂフィールド先頭である場合ステップＳ１００２へ処理を移す。

ステップＳ１００２では、補正メタデータ付加取得部１０９が、記録再生部１１０から手ぶれ画像抽出範囲メタデータを取得して、ステップＳ１００４へ処理を移す。

ステップＳ１００４では、補正メタデータ付加取得部１０９が、手ぶれ画像抽出範囲メタデータにデータが書かれているか否かを判断する。書かれていない場合、再生補正処理を終える。書かれている場合ステップＳ１００５へ処理を移す。

ステップＳ１００５では、補正メタデータ付加取得部１０９が、記録再生部１１０からフィールドぶれ画像抽出補正メタデータを取得して、ステップＳ１００６へ処理を移す。

ステップＳ１００６では、補正メタデータ付加取得部１０９が、フィールドぶれ画像抽出補正メタデータにデータが書かれているか否かを判断する。書かれていない場合、ステップＳ１００８へ処理を移す。書かれている場合ステップＳ１００７へ処理を移す。

ステップＳ１００７では、非インタレース補正部１１１が、インタレース表示向けの手ぶれ画像抽出範囲にフィールドぶれ画像抽出補正値を加算して得られた範囲を画像抽出範囲に設定して、ステップＳ１００９へ処理を移す。

ステップＳ１００８では、非インタレース補正部１１１が、インタレース表示向けの手ぶれ画像抽出範囲を画像抽出範囲に設定して、ステップＳ１００９へ処理を移す。

ステップＳ１００３では、非インタレース補正部１１１が、再生画像の現在のタイミングがＡフィールドの先頭であるか否かを判断する。Ａフィールド先頭で無い場合、再生補正処理を終える。Ａフィールド先頭であった場合ステップＳ１０１０へ処理を移す。

ステップＳ１０１０では、補正メタデータ付加取得部１０９が、記録再生部１１０から手ぶれ画像抽出範囲メタデータを取得して、ステップＳ１０１１へ処理を移す。

ステップＳ１０１１では、補正メタデータ付加取得部１０９が、手ぶれ画像抽出範囲メタデータにデータが書かれているか否かを判断する。書かれていない場合、再生補正処理を終える。書かれている場合ステップＳ１０１２へ処理を移す。

ステップＳ１０１２では、非インタレース補正部１１１が、インタレース表示向けの手ぶれ画像抽出範囲を画像抽出範囲に設定して、ステップＳ１００９へ処理を移す。

ステップＳ１００９では、非インタレース補正部１１１が、再生すべき画像抽出範囲を、ステップＳ１００７，Ｓ１００８，Ｓ１０１２のいずれかで設定された画像抽出範囲に更新する。

以上説明した第５の実施の形態における記録処理及び再生補正処理の実行によって、下記の効果が得られる。なお、以下の説明では、第２の実施の形態で参照した図８及び図９を流用する。

従来のインタレース表示向け画像抽出補正では、図８（Ａ），（Ｂ）に示すように、パンニング撮影した画像を再生する時に、画像抽出位置が一定であって、したがって、図８（Ｃ）に示すように、ＡフィールドとＢフィールドとの間にフィールドぶれが発生する。これに対して本実施の形態では、図９（Ａ）に示すようなＢフィールドのずれ量を、記録時にメタデータとして記録し、再生時に、図９（Ｂ）に示すように、インタレース表示向けの画像抽出範囲を更に位置補正する。これにより、図９（Ｃ）に示すように、非インタレース表示器１１２において、ＡフィールドとＢフィールドとの間でフィールドぶれを打ち消すことができ、このように動きのある被写体映像をインタレース記録して、再生時にインタレース再生する画像記録再生装置で、プログレッシブ再生を選択しても、被写体部分でフィールド間のギザギザが発生しないという効果がある。

〔第６の実施の形態〕
次に、本発明の第６の実施の形態を説明する。

第６の実施の形態の構成は、基本的に第１の実施の形態の構成と同じであるので、第６の実施の形態の説明においては、第１の実施の形態の構成と同一部分には同一の参照符号を付して、第１の実施の形態の説明を流用し、異なる部分だけを説明する。

第６の実施の形態では、ズーミング撮影した画像を記録するときに、フィールド変倍量をメタデータとして記録し、再生時にフィールド変倍量を用いてフィールドぶれを補正するようにしている。

図１８は、第６の実施の形態における画像記録再生装置で実行される、画像情報とともにフィールド変倍量を記録する記録処理の手順を示すフローチャートである。

ステップＳ１１００では、ズーミング判断部１０７が、ズームキー（不図示）からキー入力があったか否かを判断する。キー入力が無ければ記録処理を終える。キー入力があった場合はステップＳ１１０１へ処理を移す。

ステップＳ１１０１では、フィールド変倍量算出部１０８が、現在のタイミングがＡフィールド（前半フィールド）の先頭であるか否かを判断する。Ａフィールド先頭で無い場合ステップＳ１１０５へ処理を移す。Ａフィールド先頭であった場合ステップＳ１１０２へ処理を移す。

ステップＳ１１０２では、フィールド変倍量算出部１０８が画角制御部１０６からズーム倍率を取得して、補正メタデータ付加取得部１０９がＡフィールドのズーム倍率メタデータを作成して、ステップＳ１１０３に処理を移す。

ステップＳ１１０３では、フィールド変倍量算出部１０８が画角制御部１０６からズーム倍率を取得して、補正メタデータ付加取得部１０９はＢフィールドのズーム倍率メタデータを作成して、ステップＳ１１０４に処理を移す。

ステップＳ１１０４では、補正メタデータ付加取得部１０９がズーム倍率メタデータを更新して、ステップＳ１１０５へ処理を移す。

ステップＳ１１０５では、記録再生部１１０が、画像情報とともにＡフィールドズーム倍率メタデータ及びＢフィールドズーム倍率メタデータを記録する。

図１９は、第６の実施の形態における画像記録再生装置で実行される、画像情報とともにフィールド変倍量を再生してフィールドぶれを補正する再生補正処理の手順を示すフローチャートである。

ステップＳ１２００では、非インタレース補正部１１１が、記録再生部１１０の出力として非インタレース出力が選択されているか否かを判断する。インタレース出力が選択されていれば再生補正処理を終える。非インタレース出力が選択されている場合ステップＳ１２０１へ処理を移す。

ステップＳ１２０１では、非インタレース補正部１１１が、再生画像の現在のタイミングがＡフィールドの先頭であるか否かを判断する。Ａフィールド先頭で無い場合ステップＳ１２０５へ処理を移す。Ａフィールド先頭であった場合ステップＳ１２０２へ処理を移す。

ステップＳ１２０２では、補正メタデータ付加取得部１０９が、記録再生部１１０からＡフィールドズーム倍率メタデータを取得して、ステップＳ１２０３へ処理を移す。

ステップＳ１２０３では、補正メタデータ付加取得部１０９が、記録再生部１１０からＢフィールドズーム倍率メタデータを取得して、ステップＳ１２０４へ処理を移す。

ステップＳ１２０４では、補正メタデータ付加取得部１０９が、ＡフィールドとＢフィールドとでズーム率が異なっているか否かを判断する。ズーム率が同じ場合、再生補正処理を終える。ズーム率が異なる場合ステップＳ１２０５へ処理を移す。

ステップＳ１２０５では、非インタレース補正部１１１が、ズームが広角側から望遠側へのズームインであるか、逆のズームアウトであるかを判断する。広角側から望遠側へのズームインである場合、ステップＳ１２０６へ処理を移し、そうでない場合はステップＳ１２０７へ処理を移す。

ステップＳ１２０６では、非インタレース補正部１１１が、再生画像の現在のタイミングがＡフィールドの先頭であるか否かを判断する。Ａフィールド先頭で無い場合、ステップＳ１０２９へ処理を移す。フィールド先頭であった場合ステップＳ１２０８へ処理を移す。

ステップＳ１２０８では、非インタレース補正部１１１が、Ａフィールド画像のズーム倍率が後のＢフィールド画像のズーム倍率と同じになるように画像抽出範囲を変更する。

ステップＳ１２０９では、非インタレース補正部１１１が、再生画像の現在のタイミングがＢフィールドの先頭であるか否かを判断する。Ｂフィールド先頭で無い場合、再生補正処理を終える。Ｂフィールド先頭であった場合ステップＳ１２１０へ処理を移す。

ステップＳ１２１０では、非インタレース補正部１１１が、Ｂフィールド画像のズーム倍率で画像抽出範囲を固定する。

ステップＳ１２０７では、非インタレース補正部１１１が、再生画像の現在のタイミングがＡフィールドの先頭であるか否かを判断する。Ａフィールド先頭で無い場合、ステップＳ１２１２へ処理を移す。Ａフィールド先頭であった場合ステップＳ１２１１へ処理を移す。

ステップＳ１２１１では、非インタレース補正部１１１が、Ａフィールド画像のズーム倍率で画像抽出範囲を固定する。

ステップＳ１２１２では、非インタレース補正部１１１が、再生画像の現在のタイミングがＢフィールドの先頭であるか否かを判断する。Ｂフィールド先頭で無い場合、再生補正処理を終える。Ｂフィールド先頭であった場合ステップＳ１２１３へ処理を移す。

ステップＳ１２１３では、非インタレース補正部１１１が、Ｂフィールド画像のズーム倍率が前のＡフィールド画像のズーム倍率と同じになるように画像抽出範囲を変更する。

以上説明した第６の実施の形態における記録処理及び再生補正処理の実行によって、下記の効果が得られる。

図２０（Ａ）は、１つの画面に対する２つのフィールド（Ａ，Ｂ）におけるズームイン方向での従来のインタレース記録時のズーム倍率目標値を示す図、図２０（Ｂ）は、２つのフィールドにおけるズームイン方向での従来のインタレース記録時の画像抽出面積を示す図、図２０（Ｃ）は、２つのフィールドにおける従来のインタレース記録時の画像ずれを示す図である。図２１（Ａ）は、２つのフィールドにおけるズームアウト方向での従来のインタレース記録時のズーム倍率目標値を示す図、図２１（Ｂ）は、２つのフィールドにおけるズームアウト方向での従来のインタレース記録時の画像抽出面積を示す図である。

一方、図２２（Ａ）は、２つのフィールド（Ａ，Ｂ）におけるズームイン方向での本実施の形態における非インタレース再生時のズーム倍率目標値を示す図、図２２（Ｂ）は、２つのフィールドにおけるズームイン方向での本実施の形態における非インタレース再生時の画像抽出面積を示す図、図２２（Ｃ）は、２つのフィールドにおける本実施の形態での非インタレース再生時の画像ずれを示す図である。図２３（Ａ）は、２つのフィールドにおけるズームアウト方向での本実施の形態における非インタレース再生時のズーム倍率目標値を示す図、図２３（Ｂ）は、２つのフィールドにおけるズームアウト方向での本実施の形態における非インタレース再生時の画像抽出面積を示す図である。

従来のインタレース表示向けズーム駆動で、ズームイン方向にズーミング撮影した時に、図２０（Ａ）に示すようにズーム倍率を変えて、図２０（Ｂ）に示すように画像を記録すると、図２０（Ｃ）に示すように、ＡフィールドとＢフィールドとの間に画像ずれが発生した画像がインタレース表示器１１３に再生されることになる。なお、図２１（Ａ），（Ｂ）に示すように、ズームアウト方向にズーミング撮影した時でも、同じ現象が発生する。

これに対して本実施の形態では、図２２（Ａ）に示すように、ＡフィールドとＢフィールドのズーム倍率を揃えるように補正する。すなわち、図２２（Ｂ）に示すように、Ａフィールド側で画像抽出拡大を行なうようにし、これにより、図２２（Ｃ）に示すように、ＡフィールドとＢフィールドとの間での画像ずれが解消した画像が非インタレース表示器１１２に再生される。このように画角変化のある被写体映像をインタレース記録して、再生時にインタレース再生する画像記録再生装置において、プログレッシブ再生を選択しても、被写体部分でフィールド間の画像ずれが発生しないという効果がある。

なお、図２３（Ａ），（Ｂ）に示すように、ズームアウト方向にズーミング撮影した時でも、ＡフィールドとＢフィールドのズーム倍率を揃えるように補正して、Ｂフィールド側で画像抽出拡大を行なうことによって、同じように、ＡフィールドとＢフィールドとの間での画像ずれを解消できる。

〔他の実施の形態〕
なお、本発明の目的は、前述した各実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給し、そのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行することによっても達成される。

この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した各実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施の形態の機能が実現される場合も含まれる。

更に、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した各実施の形態の機能が実現される場合も含まれる。

本発明の第１の実施の形態に係る画像記録再生装置の構成を示すブロック図である。画像記録再生装置で実行される、撮像部に含まれる光学式手ぶれ補正装置に対する振れ補正制御処理の手順を示すフローチャートである。被写体とレンズと撮像素子との相互位置関係を示す図である。（Ａ）は、１つの画面に対する２つのフィールドにおける従来のヨー方向の光軸目標値を示す図、（Ｂ）は、２つのフィールドによる従来のフィールドぶれを示す図である。５（Ａ）は、２つのフィールドにおける本実施の形態でのヨー方向の光軸目標値を示す図、（Ｂ）は、２つのフィールドによる本実施の形態でのフィールドぶれを示す図である。第２の実施の形態における画像記録再生装置で実行される、撮像部に含まれる電子補正式手ぶれ補正装置に対する振れ補正制御処理の手順を示すフローチャートである。被写体とレンズと撮像素子との相互位置関係を示す図である。（Ａ）は、１つの画面に対する２つのフィールドにおける従来のヨー（Ｙ）方向及びピッチ（Ｐ）方向の画像抽出位置を示す図、（Ｂ）は、２つのフィールドにおける従来の画像抽出範囲を示す図、（Ｃ）は、２つのフィールドによる従来のフィールドぶれを示す図である。（Ａ）は、２つのフィールドにおける本実施の形態でのヨー（Ｙ）方向及びピッチ（Ｐ）方向の画像抽出位置を示す図、（Ｂ）は、２つのフィールドにおける本実施の形態での画像抽出範囲を示す図、（Ｃ）は、２つのフィールドによる本実施の形態でのフィールドぶれを示す図である。第３の実施の形態における画像記録再生装置で実行される、撮像部に含まれるズームレンズに対する画角制御処理の手順を示すフローチャートである。（Ａ）は、１つの画面に対する２つのフィールドにおける従来のズーム倍率目標値を示す図、（Ｂ）は、２つのフィールドにおける従来の画像ずれを示す図である。（Ａ）は、２つのフィールドにおける本実施の形態でのズーム倍率目標値を示す図、（Ｂ）は、２つのフィールドにおける本実施の形態での画像ずれを示す図である。第４の実施の形態における画像記録再生装置で実行される、撮像部に含まれる撮像素子に対する画像切出面積の制御処理の手順を示すフローチャートである。（Ａ）は、１つの画面に対する２つのフィールドにおけるズームイン方向での従来のズーム倍率目標値を示す図、（Ｂ）は、２つのフィールドにおける従来の画像切出面積を示す図、（Ｃ）は、２つのフィールドにおける従来の画像ずれを示す図、（Ｄ）は、２つのフィールドにおけるズームアウト方向での従来のズーム倍率目標値を示す図である。（Ａ）は、２つのフィールドにおけるズームイン方向での本実施の形態でのズーム倍率目標値を示す図、（Ｂ）は、２つのフィールドにおける本実施の形態での画像画像切出面積を示す図、（Ｃ）は、２つのフィールドにおける本実施の形態での画像ずれを示す図、（Ｄ）は、２つのフィールドにおけるズームアウト方向での本実施の形態でのズーム倍率目標値を示す図である。第５の実施の形態における画像記録再生装置で実行される、画像情報とともにフィールド揺れ量を記録する記録処理の手順を示すフローチャートである。第５の実施の形態における画像記録再生装置で実行される、画像情報とともにフィールド揺れ量を再生してフィールドぶれを補正する再生補正処理の手順を示すフローチャートである。第６の実施の形態における画像記録再生装置で実行される、画像情報とともにフィールド変倍量を記録する記録処理の手順を示すフローチャートである。第６の実施の形態における画像記録再生装置で実行される、画像情報とともにフィールド変倍量を再生してフィールドぶれを補正する再生補正処理の手順を示すフローチャートである。（Ａ）は、１つの画面に対する２つのフィールドにおけるズームイン方向での従来のインタレース記録時のズーム倍率目標値を示す図、（Ｂ）は、２つのフィールドにおけるズームイン方向での従来のインタレース記録時の画像抽出面積を示す図、（Ｃ）は、２つのフィールドにおける従来のインタレース記録時の画像ずれを示す図である。（Ａ）は、２つのフィールドにおけるズームアウト方向での従来のインタレース記録時のズーム倍率目標値を示す図、（Ｂ）は、２つのフィールドにおけるズームアウト方向での従来のインタレース記録時の画像抽出面積を示す図である。（Ａ）は、２つのフィールドにおけるズームイン方向での本実施の形態における非インタレース再生時のズーム倍率目標値を示す図、（Ｂ）は、２つのフィールドにおけるズームイン方向での本実施の形態における非インタレース再生時の画像抽出面積を示す図、（Ｃ）は、２つのフィールドにおける本実施の形態での非インタレース再生時の画像ずれを示す図である。（Ａ）は、２つのフィールドにおけるズームアウト方向での本実施の形態における非インタレース再生時のズーム倍率目標値を示す図、（Ｂ）は、２つのフィールドにおけるズームアウト方向での本実施の形態における非インタレース再生時の画像抽出面積を示す図である。

符号の説明

１００撮像部（撮像手段、変倍撮影手段）
１０１焦点検出部
１０２振れ検出部（振れ検出手段）
１０３パンニング判断部（判断手段）
１０４振れ補正制御部
１０５フィールド揺量算出部（フィールド揺量算出手段）
１０６画角制御部
１０７ズーミング判断部（判断手段）
１０８フィールド変倍量算出部（フィールド変倍量算出手段）
１０９補正メタデータ付加取得部
１１０記録再生部
１１１非インタレース補正部
１１２非インタレース表示器
１１３インタレース表示器

Claims

インタレース走査によって生成された画像信号を記録し、該画像信号を非インタレース再生することが可能な画像記録装置であって、
インタレース走査によって画像を撮像し、第１及び第２のフィールドの画像信号を生成する撮像手段と、
自装置の振れを検出して検出信号を出力する振れ検出手段と、
前記撮像手段によって生成された画像信号と前記振れ検出手段によって出力された検出信号とに基づき、所定の撮影手法による撮影中であるか否かを判断する判断手段と、
前記判断手段によって前記所定の撮影手法による撮影中であると判断されたとき、前記振れ検出手段によって出力された検出信号と、前記撮像手段における被写体焦点情報とから、第１フィールド撮影時点と第２フィールド撮影時点との間に発生した自装置の被写体に対する振れを相殺するためのフィールド振れ補正量を算出するフィールド揺量算出手段と、
前記振れ検出手段によって出力された検出信号に従って、前記撮像手段によって撮像された画像に生じた手振れを補正するための画像抽出範囲をフィールド毎に算出する画像抽出範囲算出手段と、
前記撮像手段によって生成された第１及び第２のフィールドの画像信号と、前記フィールド揺量算出手段によって算出されたフィールド振れ補正量を示すメタデータと、前記画像抽出範囲算出手段によってフィールド毎に算出された手振れを補正するための画像抽出範囲を示すメタデータとを記録する記録手段と、
前記記録手段によって記録された第１及び第２のフィールドの画像信号をそれぞれ再生し、非インタレースにして再生出力する際に、前記記録手段によって記録された前記フィールド振れ補正量を示すメタデータ、及び前記手振れを補正するための画像抽出範囲を示すメタデータを再生する再生手段と、
前記再生手段によって第１のフィールドの画像信号を再生したときは、前記再生手段によって再生された手振れを補正するための画像抽出範囲を示すメタデータに従って前記第１のフィールドの画像抽出位置を動かすことにより手振れ補正を行ない、前記再生手段によって第２のフィールドの画像信号を再生したときは、前記再生手段によって再生された手振れを補正するための画像抽出範囲を示すメタデータに従って前記第２のフィールドの画像抽出位置を動かすことにより手振れ補正を行なうとともに、前記再生手段によって再生されたフィールド振れ補正量を示すメタデータに従って前記第２のフィールドの画像抽出位置をさらに位置補正することによりフィールド振れ補正を行なう補正手段と
を有することを特徴とする画像記録装置。
前記所定の撮影手法はパンニング撮影であることを特徴とする請求項１記載の画像記録
装置。
インタレース走査によって生成された画像信号を記録し、該画像信号を非インタレース再生することが可能な装置に適用する画像記録方法であって、
インタレース走査によって画像を撮像し、第１及び第２のフィールドの画像信号を生成する撮像ステップと、
自装置の振れを検出して検出信号を出力する振れ検出ステップと、
前記撮像ステップによって生成された画像信号と前記振れ検出ステップによって出力された検出信号とに基づき、所定の撮影手法による撮影中であるか否かを判断する判断ステップと、
前記判断ステップによって前記所定の撮影手法による撮影中であると判断されたとき、前記振れ検出ステップによって出力された検出信号と、前記撮像ステップにおける被写体焦点情報とから、第１フィールド撮影時点と第２フィールド撮影時点との間に発生した自装置の被写体に対する振れを相殺するためのフィールド振れ補正量を算出するフィールド揺量算出ステップと、
前記振れ検出ステップによって出力された検出信号に従って、前記撮像ステップによって撮像された画像に生じた手振れを補正するための画像抽出範囲をフィールド毎に算出する画像抽出範囲算出ステップと、
前記撮像ステップによって生成された第１及び第２のフィールドの画像信号と、前記フィールド揺量算出ステップによって算出されたフィールド振れ補正量を示すメタデータと、前記画像抽出範囲算出ステップによってフィールド毎に算出された手振れを補正するための画像抽出範囲を示すメタデータとを記録する記録ステップと、
前記記録ステップによって記録された第１及び第２のフィールドの画像信号をそれぞれ再生し、非インタレースにして再生出力する際に、前記記録ステップによって記録された前記フィールド振れ補正量を示すメタデータ、及び前記手振れを補正するための画像抽出範囲を示すメタデータを再生する再生ステップと、
前記再生ステップによって第１のフィールドの画像信号を再生したときは、前記再生ステップによって再生された手振れを補正するための画像抽出範囲を示すメタデータに従って前記第１のフィールドの画像抽出位置を動かすことにより手振れ補正を行ない、前記再生ステップによって第２のフィールドの画像信号を再生したときは、前記再生ステップによって再生された手振れを補正するための画像抽出範囲を示すメタデータに従って前記第２のフィールドの画像抽出位置を動かすことにより手振れ補正を行なうとともに、前記再生ステップによって再生されたフィールド振れ補正量を示すメタデータに従って前記第２のフィールドの画像抽出位置をさらに位置補正することによりフィールド振れ補正を行なう補正ステップと
を有することを特徴とする画像記録方法。
インタレース走査によって生成された画像信号を記録し、該画像信号を非インタレース再生することが可能な装置に適用する画像記録方法をコンピュータに実行させるプログラムであって、
前記画像記録方法は、
インタレース走査によって画像を撮像し、第１及び第２のフィールドの画像信号を生成する撮像ステップと、
自装置の振れを検出して検出信号を出力する振れ検出ステップと、
前記撮像ステップによって生成された画像信号と前記振れ検出ステップによって出力された検出信号とに基づき、所定の撮影手法による撮影中であるか否かを判断する判断ステップと、
前記判断ステップによって前記所定の撮影手法による撮影中であると判断されたとき、前記振れ検出ステップによって出力された検出信号と、前記撮像ステップにおける被写体焦点情報とから、第１フィールド撮影時点と第２フィールド撮影時点との間に発生した自装置の被写体に対する振れを相殺するためのフィールド振れ補正量を算出するフィールド揺量算出ステップと、
前記振れ検出ステップによって出力された検出信号に従って、前記撮像ステップによって撮像された画像に生じた手振れを補正するための画像抽出範囲をフィールド毎に算出する画像抽出範囲算出ステップと、
前記撮像ステップによって生成された第１及び第２のフィールドの画像信号と、前記フィールド揺量算出ステップによって算出されたフィールド振れ補正量を示すメタデータと、前記画像抽出範囲算出ステップによってフィールド毎に算出された手振れを補正するための画像抽出範囲を示すメタデータとを記録する記録ステップと、
前記記録ステップによって記録された第１及び第２のフィールドの画像信号をそれぞれ再生し、非インタレースにして再生出力する際に、前記記録ステップによって記録された前記フィールド振れ補正量を示すメタデータ、及び前記手振れを補正するための画像抽出範囲を示すメタデータを再生する再生ステップと、
前記再生ステップによって第１のフィールドの画像信号を再生したときは、前記再生ステップによって再生された手振れを補正するための画像抽出範囲を示すメタデータに従って前記第１のフィールドの画像抽出位置を動かすことにより手振れ補正を行ない、前記再生ステップによって第２のフィールドの画像信号を再生したときは、前記再生ステップによって再生された手振れを補正するための画像抽出範囲を示すメタデータに従って前記第２のフィールドの画像抽出位置を動かすことにより手振れ補正を行なうとともに、前記再生ステップによって再生されたフィールド振れ補正量を示すメタデータに従って前記第２のフィールドの画像抽出位置をさらに位置補正することによりフィールド振れ補正を行なう補正ステップと
を有することを特徴とするプログラム。