JP4366277B2 - 撮像装置及びその制御方法 - Google Patents

Description

本発明は、記録時のフレームレートと再生時のフレームレートが異なる場合においてレート変換処理手段を有する撮像装置及びその制御方法に関する。

画像データの記録時、再生時においてＮＴＳＣとＰＡＬとの切り替えが可能である撮像装置では、記録した画像データのフレームレートと表示装置の表示方式とが相違する場合がある。

この問題を解決するために、フレームレートを変換する技術が開示されている（特許文献１及び２）。

例えば、特許文献１には、画像データの記録時と再生時とでフレームレートが相違する場合に、表示レートに合わせて画像データを出力するために間引きによるフレームレート変換処理を行う方法が開示されている。この方法では、例えば、ＮＴＳＣ（６０ｆｐｓ）で記録した画像データをＰＡＬ（５０ｆｐｓ）で表示する場合に、図３に示すように、６枚の画像につき１枚の画像を単純に間引くことでフレームレート変換を行っている。

しかしながら、このような従来の方法では、突然のコマ落ちが生じるため、動画再生の際に、違和感が生じてしまうという問題点がある。

また、特許文献２には、コマ落ちに伴う違和感を抑制するために、隣接する２つのフレーム間で画像を基準とした重み付けを行い、すべてのフレームに評価値を割り当て、その評価値を基に間引きフレームを決定する方法が開示されている。

しかしながら、このような従来の方法を実施するためには、間引きフレームを決定するために複数のフレームを蓄積する必要があるため、大容量のメモリが必要となる。また、間引きフレームを決定する演算処理が必要であるため、画像データの読み出しから画像表示までの遅延時間が長くなるという問題点もある。このような遅延時間が長くなると、撮影時のファインダ動作には適さない。

特開２００４−８０３２７号公報 特開２００４−４８５３０号公報

本発明は、複雑な演算処理を行わずに画像表示時の違和感を軽減することができる撮像装置及びその制御方法を提供することを目的とする。

本願発明者は、前記課題を解決すべく鋭意検討を重ねた結果、以下に示す発明の諸態様に想到した。

本発明に係る撮像装置は、被写体画像を撮像する撮像手段と、前記撮像手段によって得られた画像データを記録媒体に記録する記録手段と、前記撮像手段によって得られた画像データに係る画像及び前記記録媒体に記録された画像データに係る画像を選択的に表示装置に表示する表示手段と、前記表示手段により表示される画像の撮影時のレート及び前記表示装置における表示レートを比較して、前記撮影時のレートが前記表示レートよりも速い場合に、前記表示手段により表示される画像を所定の間隔で間引いてレートを低下させ、前記表示レートよりも遅いレートとなる表示用画像を生成する画像間引き手段と、前記画像間引き手段によって生成された前記表示用画像に繰り返し出力される画像を挿入することによって、前記表示用画像のレートを上げて前記表示レートに合わせるレート変換手段と、を有することを特徴とする。

本発明に係る撮像装置の制御方法は、被写体画像を撮像する撮像手段、前記撮像手段によって得られた画像データを記録媒体に記録する記録手段、及び前記撮像手段からの撮像画像及び前記記録媒体に記録された記録画像を選択的に表示装置に表示する表示手段を備えた撮像装置を制御する方法であって、前記表示手段により表示される画像の撮影時のレート及び前記表示装置における表示レートを比較して、前記撮影時のレートが前記表示レートよりも速い場合に、前記表示手段により表示される画像を所定の間隔で間引いてレートを低下させ、前記表示レートよりも遅いレートとなる表示用画像を生成する画像間引きステップと、前記画像間引きステップにおいて生成された前記表示用画像に繰り返し出力される画像を挿入することによって、前記表示用画像のレートを上げて前記表示レートに合わせるレート変換ステップと、前記レート変換ステップにおいてレート変換された画像を前記表示装置に表示する表示ステップと、を有することを特徴とする。

本発明に係るプログラムは、被写体画像を撮像する撮像手段、前記撮像手段によって得られた画像データを記録媒体に記録する記録手段、及び前記撮像手段からの撮像画像及び前記記録媒体に記録された記録画像を選択的に表示装置に表示する表示手段を備えた撮像装置を制御するためのプログラムであって、コンピュータに、前記表示手段により表示される画像の撮影時のレート及び前記表示装置における表示レートを比較して、前記撮影時のレートが前記表示レートよりも速い場合に、前記表示手段により表示される画像を所定の間隔で間引いてレートを低下させ、前記表示レートよりも遅いレートとなる表示用画像を生成する画像間引き手順と、前記画像間引き手順において生成された前記表示用画像に繰り返し出力される画像を挿入することによって、前記表示用画像のレートを上げて前記表示レートに合わせるレート変換手順と、前記レート変換手順においてレート変換された画像を前記表示装置に表示する表示手順と、を実行させることを特徴とする。

本発明によれば、間引き処理後の画像データの連続するフィールド間での映像の時間的な更新距離が一定になるようにフレームを間引くため、フレームレートの高い動画を扱う場合でも、突然のコマ落ちによって生じる違和感を軽減することができる。また、このような間引き処理を行うためには、重み付け等の複雑な演算処理は必要とならないため、例えば撮影時のファインダ動作に使用しても、長い遅延時間をかけることなく、画像データの読み出しから画像表示までの処理を行うことができる。更に、容易に再生速度を考慮した制御を行うことも可能であるため、このような制御を行うことにより、例えばスロー再生時に、高いフレームレートで記録された映像に応じて滑らかな変化で画像表示を行うことも可能である。

以下、本発明の実施形態について添付の図面を参照して具体的に説明する。

（第１の実施形態）
先ず、本発明の第１の実施形態について説明する。図１は、本発明の第１の実施形態に係る撮像装置の構成を示すブロック図である。

本実施形態に係る撮像装置には、光学系１、センサ２、Ａ／Ｄ変換部３、信号処理部４、エンコード部５、センサ駆動タイミング生成部６、操作部７、メモリＩ／Ｆ部８、記録媒体９、デコード部１０、レート変換部１１、画像再生Ｉ／Ｆ部１２、第１の表示装置１３、及び第２の表示装置１４が設けられている。

光学系１は、例えば被写体光を結像させる光学レンズで構成されている。センサ２は、光学系１によって結像された被写体光をアナログ画像信号に変換し出力する。Ａ／Ｄ変換部３は、センサ２から出力されたアナログ画像信号をデジタル信号に変換し出力する。信号処理部４は、Ａ／Ｄ変換部３から出力された画像データ（デジタル信号）に対して色差マトリクス変換処理を行うことにより、色差信号及び輝度信号を生成し、更にアパーチャー補正、ガンマ補正等の信号処理を施し出力する。エンコード部５は、信号処理部４から出力された色差信号及び輝度信号をＪＰＥＧやＭＰＥＧ形式等の圧縮データに圧縮する。この際、エンコード部５は、圧縮データにヘッダー情報として記録フレームレートを含ませる。メモリＩ／Ｆ部８は、画像記録時にはエンコード部５から出力された圧縮画像データを記録媒体９に書き込む。一方、画像再生時にはメモリＩ／Ｆ部８は記録媒体９に記録された圧縮画像データを読み出しデコード部１０に出力する。デコード部１０は、画像再生時にメモリＩ／Ｆ部８が読み出された圧縮画像データを伸長し、伸長後の画像データを出力する。レート変換部１１は、デコード部１０から出力された画像データのフレームレート等に基づいて、フレームの間引き処理やフレームレート変換処理を行うことにより、第１又は第２の表示装置１３、１４の表示レートに変換する。レート変換部１１の詳細については、図２を参照しながら後述する。画像再生Ｉ／Ｆ部１２は、レート変換部１１から出力された画像データを第１の表示装置１３又は第２の表示装置１４の入力形式に合わせて、同期信号の付加、Ｄ／Ａ変換処理、ゲイン調整等を行って第１又は第２の表示装置１３、１４に画像信号を出力する。第１の表示装置１３は、例えばＰＡＬ方式のモニタ（表示レート：５０ｆｐｓ）であり、第２の表示装置１４は、例えば表示レートを５０ｆｐｓと６０ｆｐｓとに切り替えることが可能で、且つ着脱可能な液晶表示装置（ＬＣＤ）である。

また、操作部７は、センサ駆動タイミング生成部６の動作を制御し、センサ２を駆動するタイミング信号の駆動周期をセンサ駆動タイミング生成部６に切り替えさせる。このような制御により、操作部７で設定された記録レートで画像を記録することができる。また、操作部７は、画像再生時に画像再生Ｉ／Ｆ部１２及びレート変換部１１へ制御信号を出力し、これらに画像信号出力表示レートを切り替えさせる。このような制御により、操作部７で設定された表示レートで画像を出力表示することができる。

ここで、レート変換部１１について説明する。図２は、レート変換部１１の構成を示すブロック図である。レート変換部１１には、間引き処理部２１、フレームレート変換処理部３１及びフレームレート変換制御部３６が設けられている。間引き処理部２１には、第１のフレームメモリ２３、第２のフレームメモリ２４、間引き用フレームメモリ書き込み部２２及び間引き用フレームメモリ読み出し部２５が設けられている。また、フレームレート変換処理部３１には、第３のフレームメモリ３３、第４のフレームメモリ３４、レート変換用フレームメモリ書き込み部３２及びレート変換用フレームメモリ読み出し部３５が設けられている。間引き用フレームメモリ書き込み部２２、間引き用フレームメモリ読み出し部２５、レート変換用フレームメモリ書き込み部３２及びレート変換用フレームメモリ読み出し部３５は、各々独立的にフレームレート変換制御部３６からの制御信号によって制御される。フレームレート変換制御部３６は、図９に示すアルゴリズムに従いフレーム間引き数ｎを決定し制御信号を出力する。

ここで、フレームレート変換制御部３６の動作について、図９を参照しながら説明する。

フレームレート変換制御部３６は、操作部７で設定された記録レートと表示レートとを比較し（ステップＳ１０）、記録レートが表示レートよりも速い場合には、分周値ｋを２に初期化する（ステップＳ１１）。その後、表示レートが、分周値ｋでｋ分周された記録レートよりも速くなるまで、分周値ｋを１ずつ増加する（ステップＳ１３及びＳ１４）。

そして、ステップＳ１３において、表示レートが、ｋ分周された記録レート以上となると、つまり、表示レートが記録レート以上となる記録レートの分周値ｋが得られると、フレーム間引き数ｎを「ｋ−１」と定める（ステップＳ１５）。即ち、操作部７で設定された記録レートが設定された表示レートよりも速い場合には、ｋ分周された記録レートが表示レート以下となり、且つ最も近い値になるように分周値ｋが設定され、それに基づいてフレーム間引き数ｎを決定する。

一方、ステップＳ１０の判断の結果、記録レートが表示レート以下であれば、分周値ｋを１に初期化する（ステップＳ１２）。その後、ステップＳ１５の処理を行う。但し、この場合、分周値ｋが１であるため、フレーム間引き数ｎは０となる。従って、記録レートが表示レート以下の場合には、レート変換部１１は、間引き処理を行わずに画像データを出力することとなる。

このようにして、フレームレート変換制御部３６により、操作部７で設定される記録レート及び表示レートに基づいてフレーム間引き数ｎが決定され、このフレーム間引き数ｎに基づいて、レート変換部１１が間引き処理を行う。この間引き処理については、後述する。

次に、本実施形態に係る撮像装置の記録時及び再生時の動作について、図１及び図２を参照しながら説明する。但し、上述のように、記録レートが表示レート以下の場合は、間引き処理を行わないので、ここでは、記録レートよりも表示レートの方が遅い場合の動作について説明する。

＜記録時の動作について＞
ここでは、記録レートよりも表示レートの方が遅い場合の例として、記録レートが６０ｆｐｓで表示レートが５０ｆｐｓの場合の記録時の動作について説明する。

先ず、画像信号を記録する動作について説明する。

先ず、使用者が操作部７において記録レートを６０ｆｐｓと設定する。この結果、センサ駆動タイミング生成部６は、６０ｆｐｓのレートで画像信号を取り込むように駆動信号をセンサ２へ出力するようになる。そして、このような設定がなされた状態で、画像撮像の開始の指示があると、被写体像が光学系１によって結像され、６０ｆｐｓのレートで、センサ２内の撮像素子によりアナログ画像信号に変換されて取り込まれる。得られたアナログ画像信号はＡ／Ｄ変換部３によりアナログ信号からデジタル信号に変換される。その後、デジタル信号は、信号処理部４による色差マトリクス変換処理の結果、色差信号及び輝度信号に変換され、更に、アパーチャー補正、ガンマ補正等の信号処理が施される。更に、エンコード部５により、これらの色差信号及び輝度信号はＪＰＥＧ又はＭＰＥＧ形式等の圧縮データに圧縮されると共に、記録時のフレームレートである６０ｆｐｓがヘッダー情報として圧縮データに付加される。そして、この圧縮データはメモリＩ／Ｆ部８を介して記録媒体９に記録される。

次に、記録時における第１の表示装置１３のファインダ動作について説明する。

先ず、使用者が操作部７において、記録レートを６０ｆｐｓと設定し、第１の表示装置１３（例えばＰＡＬ方式のモニタ）や第２の表示装置１４（例えばＬＣＤ）の表示レートに合わせ、表示レートを５０ｆｐｓと設定する。この結果、センサ駆動タイミング生成部６は、６０ｆｐｓのレートで画像信号を取り込むように駆動信号をセンサ２へ出力するようになる。また、画像再生Ｉ／Ｆ部１２及びレート変換部１１には、ファインダ動作時に５０ｆｐｓの表示レートで画像データを出力するように制御信号が操作部７から出力される。そして、このような設定がなされた状態で、画像撮像の開始の指示があると、上述のようにして、圧縮データの記録媒体９への記録が行われると共に、この処理と並行して次のような表示処理が行われる。

信号処理部４による処理が終了すると、レート変換部１１は、操作部７で設定された表示レート及び記録レートに基づいて、次のようなフレームレート変換処理を行う。即ち、先ず、フレームレート変換制御部３６が、図９に示すアルゴリズムに従い、連続するフィールド間での映像の時間的な更新距離が一定になるようフレーム間引き数ｎを決定し、制御信号を出力する。この例では、記録レートが６０ｆｐｓ、表示レートが５０ｆｐｓと設定されており、記録レート（６０ｆｐｓ）が表示レート（５０ｆｐｓ）よりも速いため、フレームレート変換制御部３６は、分周値ｋを２に初期化する（ステップＳ１０及びＳ１１）。その後、表示レートが、ｋ分周された記録レートよりも速くなるまで、分周値ｋを１ずつ増やす（ステップＳ１３及びＳ１４）。この例では、分周値ｋが２のときに、「表示レート（５０ｆｐｓ）≧記録レート（６０ｆｐｓ）／２」となるため、分周値ｋは２となる。次いで、フレームレート変換制御部３６は、フレーム間引き数ｎとして「ｋ−１＝１」を設定する（ステップＳ１５）。この結果、フレームレート変換制御部３６は、１枚ずつフレームを間引くように制御信号を出力することとなる。

ここで、６０ｆｐｓの記録レートで記録された画像データの更新周期は１／６０＝約１６．７ｍｓｅｃであり、５０ｆｐｓの表示レートで再生される画像データの更新周期は１／５０＝約２０ｍｓｅｃとなる。このため、図３に示す従来の間引き処理のように、６枚に１枚の割合で間引き処理を行うと、連続するフィールド間での映像の時間的な更新距離には、約１６．７ｍｓｅｃの場合と約３３．３ｍｓｅｃの場合とが混在する。従来の方法では、この時間的な更新距離が一定でないため、画像再生の際に違和感が生じるのである。これに対し、本実施形態では、フレームレート変換制御部３６が、１／２レートの間引き（３０ｆｐｓに相当する）を行うため、時間的な更新距離を一定にすることができるのである。この結果、間引き後の連続するフィールド間での映像の時間的な更新距離は約３３．３ｍｓｅｃの一定したものとなる。

図４は、記録レートが６０ｆｐｓ、表示レートが５０ｆｐｓのときのレート変換処理を示す図である。ここで、図２及び図４を参照しながら、レート変換部１１の動作説明について説明する。

先ず、間引き処理部２１において、間引き用フレームメモリ書き込み部２２がフレームレート変換制御部３６からの制御信号に基づいて、信号処理部４から出力された画像データを第１のフレームメモリ２３及び第２のフレームメモリ２４に交互に書き込む。例えば、図４において、奇数番目のフレーム１、３、５、７・・・を第１のフレームメモリ２３に書き込み、偶数番目のフレーム２、４、６、８・・・を第２のフレームメモリ２４に書き込む。

次に、間引き用フレームメモリ読み出し部２５がフレームレート変換制御部３６からの制御信号に基づいて、第１のフレームメモリ２３からのみフレームデータを読み出す。この結果、間引き後の画像データのフレームレートが３０ｆｐｓとなって表示レートよりも遅くなる。

次いで、フレームレート変換処理部３１において、間引き後の３０ｆｐｓの画像データを表示装置の表示レートである５０ｆｐｓに変換するために、フレーム毎に繰り返し表示する回数が決められる。即ち、先ず、レート変換用フレームメモリ書き込み部３２が、間引き処理部２１（間引き用フレームメモリ読み出し部２５）から出力されたフレームデータを第３のフレームメモリ３３及び第４のフレームメモリ３４に交互に書き込む。つまり、図４に示す例では、フレーム１、５、９・・・を第３のフレームメモリ３３に書き込み、フレーム３、７、１１・・・を第４のフレームメモリ３４に書き込む。

その後、レート変換用フレーム読み込み部３４が、フレームレート変換制御部３６からの制御信号に基づいて、第３のフレームメモリから２回、第４のフレームメモリ３４から２回、第３のフレームメモリから１回、第４のフレームメモリから２回、第３のフレームメモリ３４から２回、第４のフレームメモリから１回という読み出しを繰り返し行う。この結果、図４に示すように、フレーム１を２回、フレーム３を２回、フレーム５を１回というように、３枚のフレームを２回、２回、１回と合計５回繰り返し読み出すことになり、３０ｆｐｓの画像データが５０ｆｐｓにレート変換される。そして、５０ｆｐｓにレート変換された画像データが画像再生Ｉ／Ｆ部１２に出力され、第１の表示装置１３に表示される。

このようにして、本実施形態では、第１の表示装置１３のファインダ動作時に、画像再生Ｉ／Ｆ部１２及びレート変換部１１が５０ｆｐｓの表示レートで画像信号を出力するように制御される。

また、記録時には、第２の表示装置１４に撮像画像を表示することも可能である。上述のように、第２の表示装置１４は、例えば表示レートを６０ｆｐｓと５０ｆｐｓとに切り替えることが可能なＬＣＤである。従って、上述のように操作部７において記録レートが６０ｆｐｓに設定されている場合には、画像再生Ｉ／Ｆ部１２からは画像データと共に、６０ｆｐｓの表示レート制御信号が第２の表示装置１４に送られ、第２の表示装置１４は６０ｆｐｓの表示レートで画像表示を行う。

＜再生時の動作について＞
ここでは、記録レートよりも表示レートの方が遅い場合の例として、記録レートが６０ｆｐｓで表示レートが５０ｆｐｓの場合の再生時の動作について説明する。

先ず、使用者が操作部７において、第１の表示装置１３（例えばＰＡＬ方式のモニタ）や第２の表示装置１４（例えばＬＣＤ）の表示レートに合わせ、表示レートを５０ｆｐｓと設定する。この結果、画像再生Ｉ／Ｆ部１２及びレート変換部１１には、画像再生時に５０ｆｐｓの表示レートで画像データを出力するように制御信号が操作部７から出力される。そして、このような設定がなされた状態で、画像再生の開始の指示があると、記録媒体９からメモリＩ／Ｆ部８を介して、圧縮データが読み出されると共に、圧縮データにヘッダー情報として付加されている記録レート（６０ｆｐｓ）も読み出される。デコード部１０は、読み出された圧縮画像データを伸長した後、レート変換部１１へ画像データ及び記録レートをレート変換部１１へ出力する。

レート変換部１１は、記録レート及び操作部７からの制御信号に基づいて、次のようなフレームレート変換処理を行う。即ち、先ず、フレームレート変換制御部３６が、図９に示すアルゴリズムに従い、連続するフィールド間での映像の時間的な更新距離が一定になるようフレーム間引き数ｎを決定し、制御信号を出力する。この例では、ヘッダー情報から読み出された記録レートが６０ｆｐｓ、操作部７で設定された表示レートが５０ｆｐｓであり、記録レート（６０ｆｐｓ）が表示レート（５０ｆｐｓ）よりも速いため、フレームレート変換制御部３６は、分周値ｋを２に初期化する（ステップＳ１０及びＳ１１）。その後、表示レートが、ｋ分周された記録レートよりも速くなるまで、分周値ｋを１ずつ増やす（ステップＳ１３及びＳ１４）。この例では、分周値ｋが２のときに、「表示レート（５０ｆｐｓ）≧記録レート（６０ｆｐｓ）／２」となるため、分周値ｋは２となる。次いで、フレームレート変換制御部３６は、フレーム間引き数ｎとして「ｋ−１＝１」を設定する（ステップＳ１５）。この結果、フレームレート変換制御部３６は、１枚ずつフレームを間引くように制御信号を出力することとなる。

そして、上述のファインダ動作のフレームレート変換処理と同様にして、間引き処理部２１が１枚ずつフレームを間引き、フレームレート変換処理部３１が、３０ｆｐｓの画像データをフレームの繰り返し表示によって、５０ｆｐｓにレート変換する。

このような画像再生動作により、間引き後の連続するフィールド間での映像の時間的な更新距離は一定したものとなる。そして、５０ｆｐｓにレート変換された画像データが画像再生Ｉ／Ｆ部１２に出力され、第１の表示装置１３又は第２の表示装置１４に表示される。

このようにして、本実施形態では、画像再生時に、画像再生Ｉ／Ｆ部１２及びレート変換部１１が５０ｆｐｓの表示レートで画像信号を出力するように制御される。

次に、フレーム間引き数ｎが１とならない場合の画像表示について説明する。ここでは、例として、記録レートが１２０ｆｐｓで表示レートが５０ｆｐｓである場合、及び記録レートが１２０ｆｐｓで表示レートが５９．９４ｆｐｓの場合の２つの場合について説明する。

記録レートが１２０ｆｐｓで表示レートが５０ｆｐｓである場合、使用者が操作部７において、記録レートを１２０ｆｐｓと設定する。この結果、センサ駆動タイミング生成部６は、１２０ｆｐｓのレートで画像信号を取り込むように駆動信号をセンサ２へ出力するようになる。そして、上述のような記録時の動作と同様にして、記録媒体９にフレームレートが１２０ｆｐｓの圧縮データが記録される。

ここで、このような１２０ｆｐｓで記録された圧縮データの画像再生を、５０ｆｐｓの表示レートで行う方法について、図２及び図５を参照しながら説明する。第１の表示装置１３がＰＡＬ方式のモニタである場合、使用者は操作部７において表示レートを５０ｆｐｓと設定する。この結果、画像再生Ｉ／Ｆ部１２及びレート変換部１１には、画像再生時に５０ｆｐｓの表示レートで画像データを出力するように制御信号が操作部７から出力される。

そして、レート変換部１１においては、フレームレート変換制御部３６が、図９に示すアルゴリズムに従い、連続するフィールド間での映像の時間的な更新距離が一定になるようフレーム間引き数ｎを決定し、制御信号を出力する。この例では、ヘッダー情報から読み出された記録レートが１２０ｆｐｓであり、操作部７で設定された表示レートが５０ｆｐｓであり、記録レート（１２０ｆｐｓ）が表示レート（５０ｆｐｓ）よりも速いため、フレームレート変換制御部３６は、分周値ｋを２に初期化する（ステップＳ１０及びＳ１１）。その後、表示レートが、ｋ分周された記録レートよりも速くなるまで、分周値ｋを１ずつ増やす（ステップＳ１３及びＳ１４）。この例では、分周値ｋが３のときに、「表示レート（５０ｆｐｓ）≧記録レート（１２０ｆｐｓ）／３」となるため、分周値ｋは３となる。次いで、フレームレート変換制御部３６は、フレーム間引き数ｎとして「ｋ−１＝２」を設定する（ステップＳ１５）。この結果、フレームレート変換制御部３６は、２枚ずつフレームを間引くように制御信号を出力することとなる。

その後、間引き用フレームメモリ書き込み部２２がフレームレート変換制御部３６からの制御信号に基づいて、デコード部１０から出力された画像データに対し、連続する３枚のフレームのフレームデータの間で、最初の１枚のみを第１のフレームメモリ２３に書き込んだ後、残りの２枚を第２のフレームメモリ２４に書き込むという動作を繰り返す。例えば、図５において、フレーム１を第１のフレームメモリ２３に書き込んだ後、フレーム２及び３を第２のフレームメモリ２４に書き込み、フレーム４を第１のフレームメモリ２３に書き込んだ後、フレーム５及び６を第２のフレームメモリ２４に書き込むという動作を繰り返す。

次に、間引きフレーム読み出し部２５がフレームレート変換制御部３６からの制御信号に基づいて、第１のフレームメモリ２３からのみフレームデータを読み出す。この結果、間引き後の画像データのフレームレートが４０ｆｐｓとなって表示レートよりも遅くなると共に、連続するフィールド間での映像の時間的な更新距離である時間差Ｔが等しくなる。

次いで、フレームレート変換処理部３１において、間引き後の４０ｆｐｓの画像データを表示装置の表示レートである５０ｆｐｓに変換するために、フレーム毎に繰り返し表示する回数が決められる。即ち、先ず、レート変換用フレームメモリ書き込み部３２が、入力されるフレームデータを第３のフレームメモリ３３及び第４のフレームメモリ３４に交互に書き込む。

その後、レート変換用フレームメモリ読み出し部３４が、フレームレート変換制御部３６からの制御信号に基づいて、間引き後に連続する４枚のフレームに対し、第３のフレームメモリ３３から２回、第４のフレームメモリ３４から１回、第３のフレームメモリ３３から１回、第４のフレームメモリ３４から１回という読み出しを繰り返す。この結果、図５に示すように、フレーム１を２回、フレーム４を１回、フレーム７を１回、フレーム１０を１回というように、４枚のフレームを２回、１回、１回、１回と合計５回繰り返し読み出すことになり、４０ｆｐｓの画像データが５０ｆｐｓにレート変換される。

このような動作によれば、間引き後のフレームデータ間において時間差Ｔが等しいため、違和感のない画像表示が可能である。

一方、記録レートが１２０ｆｐｓで表示レートが５９．９４ｆｐｓである場合、使用者が操作部７において、記録レートを１２０ｆｐｓと設定する。この結果、センサ駆動タイミング生成部６は、１２０ｆｐｓのレートで画像信号を取り込むように駆動信号をセンサ２へ出力するようになる。そして、上述のような記録時の動作と同様にして、記録媒体９にフレームレートが１２０ｆｐｓの圧縮データが記録される。

ここで、このような１２０ｆｐｓで記録された圧縮データの画像再生を、５９．９４ｆｐｓの表示レートで行う方法について、図２及び図６を参照しながら説明する。この場合、使用者は操作部７において表示レートを５９．９４ｆｐｓと設定する。この結果、画像再生Ｉ／Ｆ部１２及びレート変換部１１には、画像再生時に５９．９４ｆｐｓの表示レートで画像データを出力するように制御信号が操作部７から出力される。

そして、レート変換部１１においては、フレームレート変換制御部３６が、図９に示すアルゴリズムに従い、連続するフィールド間での映像の時間的な更新距離が一定になるようフレーム間引き数ｎを決定し、制御信号を出力する。この例では、ヘッダー情報から読み出された記録レートが１２０ｆｐｓであり、操作部７で設定された表示レートが５９．９４ｆｐｓであり、記録レート（１２０ｆｐｓ）が表示レート（５９．９４ｆｐｓ）よりも速いため、フレームレート変換制御部３６は、分周値ｋを２に初期化する（ステップＳ１０及びＳ１１）。その後、表示レートが、ｋ分周された記録レートよりも速くなるまで、分周値ｋを１ずつ増やす（ステップＳ１３及びＳ１４）。この例では、分周値ｋが３のときに、「表示レート（５９．９４ｆｐｓ）≧記録レート（１２０ｆｐｓ）／３」となるため、分周値ｋは３となる。次いで、フレームレート変換制御部３６は、フレーム間引き数ｎとして「ｋ−１＝２」を設定する（ステップＳ１５）。この結果、フレームレート変換制御部３６は、２枚ずつフレームを間引くように制御信号を出力することとなる。

その後、間引き用フレームメモリ書き込み部２２がフレームレート変換制御部３６からの制御信号に基づいて、デコード部１０から出力された画像データに対し、上記の例と同様に、連続する３枚のフレームのフレームデータの間で、最初の１枚のみを第１のフレームメモリ２３に書き込んだ後、残りの２枚を第２のフレームメモリ２４に書き込むという動作を繰り返す。例えば、図６において、フレーム１を第１のフレームメモリ２３に書き込んだ後、フレーム２及び３を第２のフレームメモリ２４に書き込み、フレーム４を第１のフレームメモリ２３に書き込んだ後、フレーム５及び６を第２のフレームメモリ２４に書き込むという動作を繰り返す。

次に、間引きフレーム読み出し部２５がフレームレート変換制御部３６からの制御信号に基づいて、第１のフレームメモリ２３からのみフレームデータを読み出す。この結果、間引き後の画像データのフレームレートが４０ｆｐｓとなって表示レートよりも遅くなると共に、連続するフィールド間での映像の時間的な更新距離である時間差Ｔが等しくなる。

次いで、フレームレート変換処理部３１において、間引き後の４０ｆｐｓの画像データを表示装置の表示レートである５０ｆｐｓに変換するために、フレーム毎に繰り返し表示する回数が決められる。即ち、先ず、レート変換用フレームメモリ書き込み部３２が、入力されるフレームデータを第３のフレームメモリ３３及び第４のフレームメモリ３４に交互に書き込む。

その後、レート変換用フレームメモリ読み出し部３４が、フレームレート変換制御部３６からの制御信号に基づいて、間引き後に連続する２枚のフレームに対し、第３のフレームメモリ３３から２回、第４のフレームメモリ３４から１回という読み出しを繰り返す。この結果、図６に示すように、フレーム１を２回、フレーム４を１回というように、２枚のフレームを２回、１回と合計５回繰り返し読み出すことになり、４０ｆｐｓの画像データが６０ｆｐｓにレート変換される。

しかし、設定された表示レートは６０ｆｐｓではなく、５９．９４ｆｐｓであるため、ずれが生じてしまう。

そこで、本実施形態では、例えば
（１）１〜５０１枚目のフレームに対しては、上記のような２回の読み出しと１回の読み出しを繰り返し、
（２）５０２枚目のフレームに対しては、１回の読み出しを行い、
（３）５０３〜１０００枚目のフレームに対しては、上記のような２回の読み出しと１回の読み出しを繰り返し、
（４）１００１枚目のフレームに対しては、１回の読み出しを行い、
（５）１００２〜１４９９枚目のフレームに対しては、上記のような２回の読み出しと１回の読み出しを繰り返し、
（６）１５００枚目のフレームに対しては、１回の読み出しを行い、
（７）１５０１〜１９９８枚目のフレームに対しては、上記のような２回の読み出しと１回の読み出しを繰り返し、
（８）１９９９枚目のフレームに対しては、１回の読み出しを行い、
（９）２０００〜２５００枚目のフレームに対しては、上記のような２回の読み出しと１回の読み出しを繰り返し、
（１０）２５０１枚目のフレームに対しては、１回の読み出しを行い、
（１１）２５０２〜２９９９枚目のフレームに対しては、上記のような２回の読み出しと１回の読み出しを繰り返し、
（１２）３０００枚目のフレームに対しては、１回の読み出しを行う。

このような読み出しを行うと、６０ｆｐｓではなく５９．９４ｆｐｓの表示レートで画像データを出力することができる。

このような動作によれば、表示レートが５９．９４ｆｐｓの場合でも、間引き後のフレームデータ間において時間差Ｔが等しいため、違和感のない画像表示が可能である。

なお、上述の動作では、すべての画像をデコードした後に、第１及び第２のフレームメモリ２３、２４からの読み出しを行う際に間引き操作を行っているが、デコード部１０にフレームレート変換制御部３６を設けることで、フレームレート変換制御部３６からの制御信号に基づき間引かれるフレームについてはデコードを行わずに画像データを出力することによって同様な間引き操作を行うことができる。例えば、操作部７から、設定された表示レート（例えば、５０ｆｐｓ）に基づく制御信号をデコード部１０に出力し、デコード部１０が記録媒体９から読み出された圧縮画像データのヘッダー情報から記録レートを読み出し、これと操作部７から出力された制御信号とを比較する。ここで、例えば記録レートが６０ｆｐｓ、表示レートが５０ｆｐｓであれば、デコード部１０では、記録媒体９から読み出される圧縮画像データについて、１フレーム毎にデコードせずに、デコードした画像データのみ後段のレート変換部１１に画像データを出力することにより、画像の更新レートを半分にする。この結果、連続するフィールド間での映像の時間的な更新距離が一定になり、前述したレート変換部１１で行われていた間引き処理と同様の間引きがデコード部１０によって行われたこととなる。これにより、レート変換部１１における間引き処理部２１が必要なくなるためフレームメモリを減らすことができる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。本実施形態では、変速再生時、つまり等倍速度の再生ではなく、例えばスロー再生が操作部７で選択された場合のレート変換部１１の動作について説明する。

第２の実施形態では、再生速度が操作部７で設定されるため、フレームレート変換制御部３６は、記録レート及び表示レートだけでなく、再生速度をも考慮して制御信号を生成する。以下、フレームレート変換制御部３６の動作について説明する。図１０は、変速再生時のフレームレート変換制御部３６の動作を示すフローチャートである。

変速動作時には、フレームレート変換制御部３６は、操作部７で設定された記録レートに再生速度倍率Ｓを乗じて得た値（乗算結果）と表示レートとを比較し（ステップＳ２０）、記録レートと再生速度倍率Ｓとの乗算結果が表示レートよりも速い場合には、分周値ｋを２に初期化する（ステップＳ２１）。その後、表示レートが、分周値ｋでｋ分周された乗算結果よりも速くなるまで、分周値ｋを１ずつ増加する（ステップＳ２３及びＳ２４）。ここで、再生速度倍率Ｓは、通常の再生速度を１としたときの倍率を示す。

そして、ステップＳ２３において、表示レートが、ｋ分周された乗算結果以上となると、つまり、表示レートが乗算結果以上となる乗算結果の分周値ｋが得られると、フレーム間引き数ｎを「ｋ−１」と定める（ステップＳ２５）。即ち、操作部７で設定された記録レートと再生速度倍率Ｓとの乗算結果（積）が設定された表示レートよりも速い場合には、ｋ分周された乗算結果が表示レート以下となり、且つ最も近い値になるように分周値ｋが設定され、それに基づいてフレーム間引き数ｎを決定する。

一方、ステップＳ２０の判断の結果、乗算結果が表示レート以下であれば、分周値ｋを１に初期化する（ステップＳ２２）。その後、ステップＳ２５の処理を行う。但し、この場合、分周値ｋが１であるため、フレーム間引き数ｎは０となる。従って、乗算結果が表示レート以下の場合には、レート変換部１１は、間引き処理を行わずに画像データを出力することとなる。

このようにして、フレームレート変換制御部３６により、操作部７で設定される記録レート、表示レート及び再生速度倍率Ｓに基づいてフレーム間引き数ｎが決定され、このフレーム間引き数ｎに基づいて、レート変換部１１が間引き処理を行う。

ここで、記録レートが６０ｆｐｓ、表示レートが５０ｆｐｓの場合に、１／２倍速のスロー再生が行われるときの動作について説明する。図７は、６０ｆｐｓの記録レートで記録されたフレームとフレームレート変換処理後に５０ｆｐｓの表示レートで表示装置に出力されるフレームとの関係を示す図である。

使用者が操作部７において等倍速度の再生速度からスロー再生（１／２倍速）に変更すると、操作部７は、デコード部１０及びレート変換部１１にその旨を示す制御信号が出力する。この制御信号を受けると、デコード部１０は記録媒体９から読み出すフレームデータを記録されているフレームレート（６０ｆｐｓ）の１／２倍速でレート変換部１１へ出力する。

その後、フレームレート変換制御部３６は、図１０に示すアルゴリズムに従い、連続するフィールド間での映像の時間的な更新距離が一定になるようフレーム間引き数ｎを決定し、制御信号を出力する。この例では、記録レートが６０ｆｐｓ、表示レートが５０ｆｐｓと設定され、且つ再生速度倍率Ｓが１／２であり、記録レート（６０ｆｐｓ）と再生速度倍率Ｓ（１／２）との乗算結果（３０ｆｐｓ）が表示レート（５０ｆｐｓ）よりも遅いため、フレームレート変換制御部３６は、分周値ｋを１に初期化する（ステップＳ２０及びＳ２２）。この結果、フレーム間引き数ｎは０となる（ステップＳ２５）。つまり、通常の再生速度（１倍速）のときには、第１の実施形態のように、１／２に間引く処理を行った後にフレームレート変換処理を行うのに対し、スロー再生（１／２倍速）のときには、間引きを行わずにフレームレート変換処理を行う。従って、記録された画像データがもつフレームデータをできるだけ多く出力することで、より滑らかな変化で画像を表示することができる。

次に、記録レートが１２０ｆｐｓ、表示レートが５０ｆｐｓの場合に、１／２倍速のスロー再生が行われるときの動作について説明する。図８は、１２０ｆｐｓの記録レートで記録されたフレームとフレームレート変換処理後に５０ｆｐｓの表示レートで表示装置に出力されるフレームとの関係を示す図である。

使用者が操作部７において等倍速度の再生速度からスロー再生（１／２倍速）に変更すると、操作部７は、デコード部１０及びレート変換部１１にその旨を示す制御信号が出力する。この制御信号を受けると、デコード部１０は記録媒体９から読み出すフレームデータを記録されているフレームレート（１２０ｆｐｓ）の１／２倍速でレート変換部１１へ出力する。

その後、フレームレート変換制御部３６は、図１０に示すアルゴリズムに従い、連続するフィールド間での映像の時間的な更新距離が一定になるようフレーム間引き数ｎを決定し、制御信号を出力する。この例では、記録レートが１２０ｆｐｓ、表示レートが５０ｆｐｓと設定され、且つ再生速度倍率Ｓが１／２であり、記録レート（１２０ｆｐｓ）と再生速度倍率Ｓ（１／２）との乗算結果（６０ｆｐｓ）が表示レート（５０ｆｐｓ）よりも速いため、フレームレート変換制御部３６は、分周値ｋを２に初期化する（ステップＳ２０及びＳ２１）。その後、表示レートが、ｋ分周された乗算結果よりも速くなるまで、分周値ｋを１ずつ増やす（ステップＳ２３及びＳ２４）。この例では、分周値ｋが２のときに、「表示レート（５０ｆｐｓ）≧記録レート（１２０ｆｐｓ）×再生速度倍率Ｓ（１／２）／２」となるため、分周値ｋは２となる。次いで、フレームレート変換制御部３６は、フレーム間引き数ｎとして「ｋ−１＝１」を設定する（ステップＳ２５）。この結果、フレームレート変換制御部３６は、１枚ずつフレームを間引くように制御信号を出力することとなる。つまり、通常の再生速度（１倍速）のときには、第１の実施形態のように、１／３に間引く処理を行った後にフレームレート変換処理を行うのに対し、スロー再生（１／２倍速）のときには、１／２に間引く処理を行った後にフレームレート変換処理を行う。従って、スロー再生時には通常の再生速度時よりも、できるだけ多く記録された画像データがもつフレームデータを出力することで、より滑らかな変化で画像を表示することができる。

なお、スロー再生だけでなく、早送り再生の場合にも同様の動作が可能である。

次に、操作部７で設定される表示レート及び記録レート等の入力インターフェイスについて説明する。図１４は、操作部７の構成を示すブロック図である。図１４に示すように、操作部７には、表示部４０、設定決定部４１、操作入力部４２及び制御信号発生部４３が設けられている。

操作入力部４２は、例えば記録レート、表示レート、表示言語等の設定を選択するスイッチにより構成されている。設定決定部４１は、操作入力部４２を構成するスイッチの操作内容に応じて、記録レート、表示レート、表示言語等の設定を決定する。表示部４０は、設定決定部４１から出力される設定情報に基づいて、例えば図１５に示す選択画面を生成し、これを第２の表示装置１４に表示する。制御信号発生部４３は、設定決定部４１から出力された設定情報から、記録時には、設定された記録レートに基づいて、センサ駆動タイミング生成部６へ制御信号を出力し、画像再生時には、設定された表示レートに基づいてデコード部１０、レート変換部１１及び画像再生部Ｉ／Ｆ部１２に制御信号を出力する。

第２の表示装置１４は、例えばタッチパネル方式のＬＣＤであり、その画面５１に、操作入力部４２として、例えば、ビデオ出力方式（表示レート）としてＮＴＳＣ（６０ｆｐｓ）又はＰＡＬ（５０ｆｐｓ）のいずれかを選択するためのスイッチ６０及び６１、記録レートとして１２０ｆｐｓ、１００ｆｐｓ、６０ｆｐｓ又は５０ｆｐｓのいずれかを選択するためのスイッチ５６〜５９が表示される。更に、画面５１には、操作入力部４２として、ＬＣＤに表示する表示言語を設定する言語設定についても数種類の言語に対応したスイッチ５２〜５５が表示される。画面５１において、選択された設定項目には、太枠６２が付されて表示される。

次に、操作部７の動作について、図１１のフローチャートを参照しながら説明する。

先ず、使用者が、スイッチ６０又は６１のいずれかを押すことでビデオ出力方式（表示レート）を入力し（ステップＳ１００）、スイッチ５６、５７、５８又は５９のいずれかを押すことで記録レートを入力する（ステップＳ１０１）。なお、記録レートの入力の後にビデオ出力方式を入力してもよい。但し、既に記録された画像データを再生する場合には、ステップＳ１０１では、デコード部１０において読み出された記録レート情報に基づいて記録レートを設定する。

次に、入力されたビデオ出力方式と記録レートのフレームレートとが互いに等しいか比較し（ステップＳ１０２）、等しくない場合には、図１７又は図１９に示すように、ビデオ出力方式と記録レートとが相違していることをメッセージ表示し、使用者に知らせる（ステップＳ１０３）。

次いで、設定された記録レートが１２０ｆｐｓ又は６０ｆｐｓであるかどうかを調べ（ステップＳ１０４）、１２０ｆｐｓ又は６０ｆｐｓであれば、画像データを表示するＬＣＤ（第２の表示装置１４）の駆動モードを６０ｆｐｓに切り替える制御信号を制御信号発生部４３が出力する（ステップＳ１０５）。一方、記録レートが１２０ｆｐｓ及び６０ｆｐｓのいずれでもない場合には、ＬＣＤ（第２の表示装置１４）の駆動モードを５０ｆｐｓに切り替える制御信号を制御信号発生部４３が出力する（ステップＳ１０６）。

このように、操作部７では、操作入力部４２を介して入力された設定に基づいて、設定決定部４１がビデオ出力方式及び記録レートを決定し、ビデオ出力方式及び記録レートの設定情報を制御信号発生部４３に出力する。また、設定された記録レート及びビデオ出力方式が相違する場合は、表示部４０を介して第２の表示装置１４にメッセージを表示する。

また、制御信号発生部４３は、設定された記録レートに基づいて、センサ駆動タイミング生成部６へ制御信号を出力し、画像再生時には設定された表示レート（ビデオ出力方式）に基づいて、デコード部１０、レート変換部１１及び画像再生部Ｉ／Ｆ部１２に制御信号を出力する。更に、制御信号発生部４３は画像データを表示するための表示レートが切り替え可能なＬＣＤに対しても、記録レートに適した駆動モードを切り替える制御信号を出力する。

また、操作部７を入力されたビデオ出力方式に基づいて記録レートを自動的に設定するような構成にすることもできる。図１２は、操作部７が自動的に記録レートを設定する場合の動作を示すフローチャートである。

先ず、使用者が、スイッチ６０又は６１のいずれかを押すことでビデオ出力方式を入力する（ステップＳ２００）。

次に、入力されたビデオ出力方式がＮＴＳＣであるかどうかを判定し（ステップＳ２０１）、ＮＴＳＣであれば、例えば図１６に示すように、選択画面５１に、選択可能な記録レートとして、１２０ｆｐｓ及び６０ｆｐｓのみを表示し、１００ｆｐｓ及び５０ｆｐｓを選択できなくする（ステップＳ２０２）。一方、入力されたビデオ出力方式がＮＴＳＣでなければ、例えばビデオ出力方式がＰＡＬであれば、例えば図１８に示すように、選択画面５１に、選択可能な記録レートとして、１００ｆｐｓ及び５０ｆｐｓのみを表示し、１２０ｆｐｓ及び６０ｆｐｓを選択できなくする（ステップＳ２０３）。

次いで、使用者が、スイッチ５６、５７、５８又は５９のいずれかを押すことで記録レートを入力する（ステップＳ２０４）。但し、ステップＳ２０１におけるビデオ出力方式の判定によって選択画面に表示されていない記録レートのスイッチを操作しても、その設定を入力することはできない。

その後、設定された記録レートが１２０ｆｐｓ又は６０ｆｐｓであるかどうかを調べ（ステップＳ２０５）、１２０ｆｐｓ又は６０ｆｐｓであれば、画像データを表示するＬＣＤ（第２の表示装置１４）の駆動モードを６０ｆｐｓに切り替える制御信号を制御信号発生部４３が出力する（ステップＳ２０６）。一方、記録レートが１２０ｆｐｓ及び６０ｆｐｓのいずれでもない場合には、ＬＣＤ（第２の表示装置１４）の駆動モードを５０ｆｐｓに切り替える制御信号を制御信号発生部４３が出力する（ステップＳ２０７）。

このように、操作部７では、操作入力部４２を介して入力されたビデオ出力方式の設定に基づいて、設定決定部４１が選択可能な記録レートを制限し、表示部４０に表示する記録レートのフレームレートが制限される。そして、操作入力部４２を介して入力された記録レートに基づいて、設定決定部４１が記録レートを決定し、ビデオ出力方式及び記録レートの設定情報を制御信号発生部４３に出力する。

また、選択可能な言語に応じてその言語が主に使用されている地域において使われているビデオ出力方式を予め決めておき、操作部７を、入力された言語設定に基づいて記録レートを自動的に設定する構成にすることもできる。図１３は、操作部７が言語に応じて自動的に記録レートを設定する場合の動作を示すフローチャートである。

先ず、使用者が、スイッチ５２、５３、５４又は５５を押すことで、選択画面５１において表示される言語の設定を入力する（ステップＳ３００）。

次に、入力された言語が日本語又は英語であるかどうかを判定し（ステップＳ３０１）、日本語又は英語であれば、ビデオ出力方式をＮＴＳＣに設定する（ステップＳ３０２）。一方、入力された言語が日本語及び英語のいずれでもない場合、例えばイタリア語又はドイツ語である場合には、ビデオ出力方式をＰＡＬに設定する（ステップＳ３０３）。

次に、入力されたビデオ出力方式がＮＴＳＣであるかどうかを判定し（ステップＳ３０４）、ＮＴＳＣであれば、例えば図１６に示すように、選択画面５１に、選択可能な記録レートとして、１２０ｆｐｓ及び６０ｆｐｓのみを表示し、１００ｆｐｓ及び５０ｆｐｓを選択できなくする（ステップＳ３０５）。一方、入力されたビデオ出力方式がＮＴＳＣでなければ、例えばビデオ出力方式がＰＡＬであれば、例えば図２０に示すように、選択画面５１に、選択可能な記録レートとして、１００ｆｐｓ及び５０ｆｐｓのみを表示し、１２０ｆｐｓ及び６０ｆｐｓを選択できなくする（ステップＳ３０６）。

次いで、使用者が、スイッチ５６、５７、５８又は５９のいずれかを押すことで記録レートを入力する（ステップＳ３０７）。但し、ステップＳ３０４におけるビデオ出力方式の判定によって選択画面に表示されていない記録レートのスイッチを操作しても、その設定を入力することはできない。

その後、設定された記録レートが１２０ｆｐｓ又は６０ｆｐｓであるかどうかを調べ（ステップＳ３０８）、１２０ｆｐｓ又は６０ｆｐｓであれば、画像データを表示するＬＣＤ（第２の表示装置１４）の駆動モードを６０ｆｐｓに切り替える制御信号を制御信号発生部４３が出力する（ステップＳ３０９）。一方、記録レートが１２０ｆｐｓ及び６０ｆｐｓのいずれでもない場合には、ＬＣＤ（第２の表示装置１４）の駆動モードを５０ｆｐｓに切り替える制御信号を制御信号発生部４３が出力する（ステップＳ３１０）。

このように、操作部７では、操作入力部４２で入力された言語設定に基づいて、設定決定部４１がその言語が使われている地域におけるテレビの表示方式から設定可能なビデオ出力方式を決定する。また、設定決定部４１は、自らが決定したビデオ出力方式に基づいて選択可能な記録レートを制限し、表示部４０に表示する記録レートのフレームレートが制限される。そして、操作入力部４２を介して入力された記録レートに基づいて、設定決定部４１が記録レートを決定し、ビデオ出力方式及び記録レートの設定情報を制御信号発生部４３に出力する。

なお、本発明の実施形態は、例えばコンピュータがプログラムを実行することによって実現することができる。また、プログラムをコンピュータに供給するための手段、例えばかかるプログラムを記録したＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体又はかかるプログラムを伝送するインターネット等の伝送媒体も本発明の実施形態として適用することができる。また、上記のプログラムも本発明の実施形態として適用することができる。上記のプログラム、記録媒体、伝送媒体及びプログラムプロダクトは、本発明の範疇に含まれる。

本発明の第１の実施形態に係る撮像装置の構成を示すブロック図である。 レート変換部１１の構成を示すブロック図である。 従来のレート変換処理を示す図である。 本発明の第１の実施形態におけるレート変換処理を示す図である。 本発明の第１の実施形態における他のレート変換処理を示す図である。 本発明の第１の実施形態における更に他のレート変換処理を示す図である。 本発明の第２の実施形態におけるレート変換処理を示す図である。 本発明の第２の実施形態における他のレート変換処理を示す図である。 第１の実施形態におけるフレームレート変換制御部３６の動作（アルゴリズム）を示すフローチャートである。 第２の実施形態におけるフレームレート変換制御部３６の動作を示すフローチャートである。 操作部７の動作を示すフローチャートである。 操作部７が自動的に記録レートを設定する場合の動作を示すフローチャートである。 操作部７が言語に応じて自動的に記録レートを設定する場合の動作を示すフローチャートである。 操作部７の構成を示すブロック図である。 第２の表示装置１４に表示される選択画面の例を示す図である。 日本語及びＮＴＳＣが選択された場合の選択画面の例を示す図である。 日本語及びＮＴＳＣが選択されている場合のメッセージ表示の例を示す図である。 日本語及びＰＡＬが選択された場合の選択画面の例を示す図である。 日本語及びＰＡＬが選択されている場合のメッセージ表示の例を示す図である。 イタリア語及びＰＡＬが選択された場合の選択画面の例を示す図である。

符号の説明

１：光学系
２：センサ
３：Ａ／Ｄ変換部
４：信号処理部
５：エンコード部
６：センサ駆動タイミング生成部
７：操作部
８：メモリＩ／Ｆ部
９：記録媒体
１０：デコード部
１１：レート変換部
１２：画像再生Ｉ／Ｆ部
１３：第１の表示装置
１４：第２の表示装置

Claims (12)

1. 被写体画像を撮像する撮像手段と、
   前記撮像手段によって得られた画像データを記録媒体に記録する記録手段と、
   前記撮像手段によって得られた画像データに係る画像及び前記記録媒体に記録された画像データに係る画像を選択的に表示装置に表示する表示手段と、
   前記表示手段により表示される画像の撮影時のレート及び前記表示装置における表示レートを比較して、前記撮影時のレートが前記表示レートよりも速い場合に、前記表示手段により表示される画像を所定の間隔で間引いてレートを低下させ、前記表示レートよりも遅いレートとなる表示用画像を生成する画像間引き手段と、
   前記画像間引き手段によって生成された前記表示用画像に繰り返し出力される画像を挿入することによって、前記表示用画像のレートを上げて前記表示レートに合わせるレート変換手段と、
   を有することを特徴とする撮像装置。
2. 前記画像間引き手段は、
   前記撮影時のレートと前記表示レートとを比較する比較手段と、
   前記比較手段による比較の結果に基づいて、画像を１枚表示した後にｋ−１枚を間引くことに相当する分周値ｋを算出する分周値算出手段と、
   前記分周値ｋに従って画像の間引き処理を行う間引き処理手段と、
   を有することを特徴とする請求項１に記載の撮像装置。
3. 前記分周値算出手段は、
   前記比較手段による比較の結果、前記撮影時のレートが前記表示レート以下である場合に、前記分周値ｋを１に初期化して前記画像間引き手段に提供する第１の初期化手段と、
   前記比較手段による比較の結果、前記撮影時のレートが前記表示レートより速い場合に、前記分周値ｋを２に初期化する第２の初期化手段と、
   前記第２の初期化手段により初期化された前記分周値ｋに対し、前記撮影時のレートをｋ分周したときのフレームレートが前記表示レート以下となるまで前記分周値ｋを１ずつ増加させ、当該フレームレートが前記表示レート以下となる分周値ｋを前記画像間引き手段に提供する分周値インクリメント手段と、
   を有することを特徴とする請求項２に記載の撮像装置。
4. 前記記録手段は、
   前記撮像手段によって得られた画像データを圧縮符号化し、圧縮画像データを生成する圧縮手段と、
   前記圧縮画像データに前記撮影時のレートに係る情報を付加するレート情報付加手段と、
   前記圧縮画像データを前記記録媒体に記録する圧縮画像データ記録手段と、
   を有することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記記録媒体に記録された前記圧縮画像データを読み出して伸長する伸長手段と、
   前記圧縮画像データに付加されている前記撮影時のレートに係る情報を読み出すレート情報読み出し手段と、
   をさらに有することを特徴とする請求項４に記載の撮像装置。
6. 前記表示手段により前記記録媒体の再生画像を前記表示装置に表示する場合、前記画像間引き手段は、前記圧縮画像データに付加されている前記撮影時のレートに係る情報及び前記表示装置における表示レートを比較することによって、画像の間引き率を決定することを特徴とする請求項５に記載の撮像装置。
7. 撮影動作時における記録レートを設定可能な操作手段をさらに有し、
   前記撮像手段による被写体画像の撮像と並行して、前記表示手段により前記撮像手段により撮像された被写体画像を前記表示装置に表示する場合、前記画像間引き手段は、前記操作手段により設定された記録レート及び前記表示装置における表示レートを比較することによって、画像の間引き率を決定することを特徴とする請求項１に記載の撮像装置。
8. 前記画像間引き手段は、前記撮影時のレートに前記記録媒体から画像データを再生するときの再生速度倍率を乗算して得られる値と前記表示レートとを比較することによって、画像の間引き率を決定することを特徴とする請求項１に記載の撮像装置。
9. 前記画像間引き手段は、
   再生速度の撮像速度に対する倍率を前記撮影時のレートに乗算して乗算フレームレートを求める乗算手段と、
   前記乗算フレームレートと前記表示レートとを比較する比較手段と、
   前記比較手段による比較の結果に基づいて、フレーム画像を１枚表示した後にｋ−１枚を間引くことに相当する分周値ｋを算出する分周値算出手段と、
   前記分周値ｋに従ってフレーム画像の間引き処理を行う間引き処理手段と、
   を有することを特徴とする請求項１に記載の撮像装置。
10. 前記分周値算出手段は、
    前記比較手段による比較の結果、前記乗算フレームレートが前記表示レート以下である場合に、前記分周値ｋを１に初期化して前記画像間引き手段に提供する第１の初期化手段と、
    前記比較手段による比較の結果、前記乗算フレームレートが前記表示レートより速い場合に、前記分周値ｋを２に初期化する第２の初期化手段と、
    前記第２の初期化手段により初期化された前記分周値ｋに対し、前記乗算フレームレートをｋ分周したときのフレームレートが前記表示レート以下となるまで前記分周値ｋを１ずつ増加させ、当該フレームレートが前記表示レート以下となる分周値ｋを前記画像間引き手段に提供する分周値インクリメント手段と、
    を有することを特徴とする請求項９に記載の撮像装置。
11. 被写体画像を撮像する撮像手段、前記撮像手段によって得られた画像データを記録媒体に記録する記録手段、及び前記撮像手段からの撮像画像及び前記記録媒体に記録された記録画像を選択的に表示装置に表示する表示手段を備えた撮像装置を制御する方法であって、
    前記表示手段により表示される画像の撮影時のレート及び前記表示装置における表示レートを比較して、前記撮影時のレートが前記表示レートよりも速い場合に、前記表示手段により表示される画像を所定の間隔で間引いてレートを低下させ、前記表示レートよりも遅いレートとなる表示用画像を生成する画像間引きステップと、
    前記画像間引きステップにおいて生成された前記表示用画像に繰り返し出力される画像を挿入することによって、前記表示用画像のレートを上げて前記表示レートに合わせるレート変換ステップと、
    前記レート変換ステップにおいてレート変換された画像を前記表示装置に表示する表示ステップと、
    を有することを特徴とする撮像装置の制御方法。
12. 被写体画像を撮像する撮像手段、前記撮像手段によって得られた画像データを記録媒体に記録する記録手段、及び前記撮像手段からの撮像画像及び前記記録媒体に記録された記録画像を選択的に表示装置に表示する表示手段を備えた撮像装置を制御するためのプログラムであって、
    コンピュータに、
    前記表示手段により表示される画像の撮影時のレート及び前記表示装置における表示レートを比較して、前記撮影時のレートが前記表示レートよりも速い場合に、前記表示手段により表示される画像を所定の間隔で間引いてレートを低下させ、前記表示レートよりも遅いレートとなる表示用画像を生成する画像間引き手順と、
    前記画像間引き手順において生成された前記表示用画像に繰り返し出力される画像を挿入することによって、前記表示用画像のレートを上げて前記表示レートに合わせるレート変換手順と、
    前記レート変換手順においてレート変換された画像を前記表示装置に表示する表示手順と、
    を実行させることを特徴とするプログラム。

Images