WO2008050806A1

WO2008050806A1 - Imaging device and reproduction control device

Info

Publication number: WO2008050806A1
Application number: PCT/JP2007/070745
Authority: WO
Inventors: Haruto Tokuyama
Original assignee: Sony Corporation
Priority date: 2006-10-24
Filing date: 2007-10-24
Publication date: 2008-05-02
Also published as: US20100060752A1; JPWO2008050806A1; US9013583B2; US8154606B2; JP2012050141A; CN101529890B; EP2079231A4; EP2079231B1; TW200828991A; CN101529890A; JP5252063B2; KR101411627B1; EP2079231A1; US20120133791A1; KR20090068333A; TWI359612B

Description

明細書

撮像装置と再生制御装置

技術分野

[0001] 本発明は、フレームレートを切り換えて撮像が可能な撮像装置と、外部モニタ装置が対応しているフレームレートで動画像情報の再生が可能な再生制御装置に関する背景技術

[0002] 近年の CCD(Charge Coupled Device)から CMOS(Complementary Metal Oxide Se miconductor)への撮像素子のトレンドの変化や、放送のハイビジョン対応による撮像素子、撮像システムの高解像度化といった技術により民生用の撮像装置においても解像度を限定することで高速なフレームレートでの撮像環境が実現されている。

[0003] 例えば日本特開昭 63— 59074号公報では、シャツタ速度やコマ速度を可変することで、高速撮像を可能にした高速ビデオカメラが開示されている。また、日本特開 20 01— 292409号公報では、高速なフレームレートでの撮像環境において得られた映像を再生する記録再生装置として、高画質なスローモーション記録と通常記録とを切り換え可能とすることが開示されてレ、る。

発明の開示

発明が解決しょうとする課題

[0004] ところで、従来の撮像装置にお!/、ては、ユーザが手動でシャツタ速度やコマ速度を指定することで高速撮像を行うものであり操作が煩雑になり、また、再生時のフレームレートを切り換える手段が必要になるという課題があった。

[0005] また、従来の記録再生装置におレ、ては、再生出力先のディスプレイが高速フレームレートに対応しているか否かなどの対応状況に応じた出力画像のフレームレートの調整、および出力画像を再生出力先のディスプレイで表示する際のフレームレートの調整ができな!/、とレ、う課題があった。

課題を解決するための手段

[0006] そこで、ハイライトシーン撮像時のフレームレートの切り換えに要する手間を省き、消費電力および記憶媒体の容量を節約できるものとするため、この発明の撮像装置では、第 1のフレームレートと第 1のフレームレートよりも高い第 2のフレームレートで撮像可能な撮像手段と、ハイライトシーンを検出する検出手段と、検出手段によりハイライトシーンを検出したことに応じて、撮像手段のフレームレートを切り換える制御手段とを備えるものである。

[0007] また、再生出力先が高速フレームレートに対応しているか否力、応じて、出力画像のフレームレートの調整および再生出力先で画像を表示する際のフレームレートの調整が可能となるように、この発明の再生制御装置は、記録媒体から動画像情報と該動画像情報の付属情報を再生する再生制御装置におレ、て、外部モニタ装置が対応して!/、るフレームレートと付属情報に基づ!/、て、動画像情報を再生するときの再生モードを、間引き再生モードまたは非間引き再生モードのいずれとするか判定する判定手段と、判定手段の判定結果に応じて動画像情報の再生動作を制御する制御手段とを備えるものである。

発明の効果

[0008] 本発明の撮像装置によれば、ハイライトシーンの検出に応じてフレームレートの切り換えが行われて例えば第 1のフレームレートから第 1のフレームレートよりも高い第 2 のフレームレートに自動的に切り換えられる。このため、ハイライトシーン撮像時のフレームレートの切り換え操作を行う手間を省くことができる。また、ハイライトシーンが検出されたときに第 2のフレームレートに切り換えられるので、第 2のフレームレートに固定する場合に比べて、消費電力および記憶媒体の容量を節約できる。

[0009] また、本発明の再生制御装置によれば、外部モニタ装置が対応しているフレームレートと再生する動画像情報とともに再生する付属情報に基づいて、動画像情報を再生するときの再生モードを、間引き再生モードまたは非間引き再生モードのいずれとするか判定して、判定結果に応じて動画像情報の再生動作の制御が行われる。例えば、外部モニタ装置が対応して!/、るフレームレートよりも動画像情報のフレームレートが高いと判定されたとき、間引き再生モードと判定されて、動画像情報が外部モニタ装置の対応しているフレームレートで再生される。このため、再生出力先のディスプレィが高速フレームレートに対応しているか否かなどの対応状況に応じた出力画像のフレームレートで動画像情報を出力できる。

図面の簡単な説明

[0010] [図 1]本発明の撮像装置の構成を示すブロック図である。

[図 2]撮像装置におけるフレームレート切り換え動作を示すフローチャートである。

[図 3]ハイライトシーンの検出処理を示すフローチャートである。

[図 4]撮像装置の記録時と再生時の動作 (外部モニタ装置が高速フレームレートに対応していない場合）を説明するための図である。

[図 5]撮像装置の記録時と再生時の動作 (外部モニタ装置が高速フレームレートに対応している場合）を説明するための図である。

[図 6]高速フレームレート再生モードと通常フレームレート再生モードの切り換え動作を示すフローチャートである。

[図 7]動画ファイル構造を示す説明図である。

[図 8]外部モニタ装置が高速フレームレートに対応していないとき、動画ファイル構造の画像信号を再生したときの動作を説明するための図である。

[図 9]外部モニタ装置が高速フレームレートに対応しているとき、動画ファイル構造の画像信号を再生したときの動作を説明するための図である。

[図 10]外部記録媒体 (あるいは内部記録媒体）に記録されるデータの構成を示す図である。

[図 11]高速フレームレートに対応して!/、な!/、外部モニタ装置が接続されたときの再生動作を説明するための図である。

[図 12]再生時のマニュアル操作によるフレームレートの選択動作を示すフローチヤ一トでめる。

[図 13]通常フレームレート間引き再生モードと通常フレームレート非間引き再生モードの自動切り換え動作を示すフローチャートである。

[図 14]フレームレート切換情報の自動生成動作を示すフローチャートである。

発明を実施するための最良の形態

[0011] 次に、本発明の実施の形態について図面を参照して説明する。図 1は、本発明の撮像装置の構成を示すブロック図である。本発明の撮像装置は、撮像装置に接続して用いられる外部モニタ装置が、第 1のフレームレートだけでなぐ第 1のフレームレートよりも高レ、フレームレートである第 2のフレームレートに対応して!/、る外部モニタ装置へ移行するまでの過渡期において、第 2のフレームレートに対応した外部モニタ装置と非対応な外部モニタ装置が混在すること、ならびに撮像動作時の電力および記録媒体の容量への影響を考慮したものである。なお、以下の説明では、第 1のフレームレートを標準テレビジョン方式のフレームレート例えば 60fps (フレーム/秒)または 50fpsとする（なお、ここでは、 NTSC、 PAL、 SECAM等における「奇数フィールド」や「偶数フィールド」の 1フィールドを「1フレーム」として記載している。）。また、第 2のフレームレートを第 1のフレームレートの例えば 4倍である 240fps (フレーム/秒)とする。なお、第 1のフレームレートを通常フレームレート、第 2のフレームレートを高速フレームレートという。

[0012] 本発明の撮像装置は、イメージヤー駆動ドライバ 1、電子撮像素子 (イメージヤー） 2 、アナログフロントエンド（AFE) 3、画像'音声処理 ASIC(Application Specific Integr ated Circuit)4、マイク 5、アナログアンプ 6、スピーカ 7、メモリ 8、パネル駆動ドライバ 9 、 LCD(Liquid Crystal Display)パネル 10、操作部 11、ノッテリ 12、電源管理 IC13、外部記録媒体 14、画像出力端子 15、内部記録媒体 21、プログラマブル RAM(Rand om Access Memory)22、角速度センサ 23、レンズ駆動ドライバ 24、レンズ 25およびシステム MPU(Micro Processing Unit)26を備えている。

[0013] イメージヤー駆動ドライバ 1は、電子撮像素子 2を駆動するための回路である。電子撮像素子 2は、通常フレームレートの画像信号だけでなぐ高速フレームレートの画像信号の生成を行うことができる撮像素子である。電子撮像素子 2としては、例えば C MOS(Complementary Metal Oxide Semiconductor)イメージヤー等が用いられる。

[0014] AFE3は、アナログ信号処理回路や A/Dコンバータ等を備えて!/、る。 AFE3は、電子撮像素子 2で生成されたアナログの画像信号の信号処理例えばノイズ除去処理や信号レベル調整処理等を行う。さらに信号処理後の画像信号をディジタルの画像信号に変換する。

[0015] 画像 ·音声処理 ASIC4は、画像信号および音声信号を処理する特定用途向け集積回路である。画像.音声処理 ASIC4は、例えば AFE3で得られたディジタルの画像信号に対して色処理やレンズ補正処理といった処理を行う。また、画像信号の圧縮処理や伸長処理等も行う。

[0016] マイク 5は、音声を検出し電気信号へ変換し出力する。アナログアンプ 6は、マイク 5 力、ら出力された電気信号を増幅する回路である。スピーカ 7は、アナログアンプ 6において増幅した電気信号を音声に変換して出力する。メモリ 8は、各種データを記憶する回路である。パネル駆動ドライバ 9は、画像 ·音声処理 ASIC4により処理した画像信号をもとに LCDパネル 10の各画素を駆動する回路である。操作部 11は各種操作スィッチを備えている。バッテリ 12は、この撮像装置の各部へ供給される電力を発生させる。電源管理 IC13は、バッテリ 12の状態と負荷状態を検出し、この撮像装置の電源を管理する回路である。

[0017] 外部記録媒体 14は、この撮像装置で生成された動画像情報や音声情報等を保存するための外部記録媒体である。画像出力端子 15は、この撮像装置で生成された動画像情報や外部記録媒体 14に記録されている動画像情報を外部モニタ装置 30 に供給して画像をモニタできるにょうにするための出力端子である。内部記録媒体 2 1は、この撮像装置に内蔵された記憶装置であり、この撮像装置で生成された動画像情報や音声情報等を保存する。

[0018] プログラマブル RAM22は、この撮像装置で必要な各種ロジックを構成している。

[0019] 角速度センサ 23は、この撮像装置における手ブレ防止機能を実現するためのセンサであり、撮像装置が動いたときの角速度を検出する。

[0020] レンズ駆動ドライバ 24は、レンズ駆動信号をもとにレンズ 25を駆動してズーム動作等を fiうための回路である。

[0021] システム MPU26は、この撮像装置の各部を制御するマイクロプロセッシングュニットでめる。

[0022] 次に動作について説明する。システム MPU26は、撮像装置の動作モードが高速フレームレートの画像信号を生成する動作モード（以下「高速モード」という）とされたとき、イメージヤー駆動ドライバ 1に対して高速フレームレートに対応した駆動ノルスを送り、電子撮像素子 2を高速モードで駆動する。

[0023] また、システム MPU26は、 AFE3や画像'音声処理 ASIC4も高速モードで信号処理を行わせて、高速フレームレートの画像信号を生成させる。さらに、システム MPU 26は、高速フレームレートの画像信号の圧縮処理を画像'音声処理 ASIC4で行わせる。システム MPU26は、このように各部の動作を制御して得られた高速フレームレートの画像信号を画像出力端子 15から出力させる処理や、高速フレームレートの画像信号を圧縮処理して得られた画像記録データを外部記録媒体 14 (あるいは内部記録媒体 21)に記録する処理を行う。画像記録データを記録する際、マイク 5から入力される音声は、ディジタルサンプリングが施された後に圧縮されて、高速フレームレ一トの撮像画像に同期して記録される。なお、外部記録媒体 14 (あるいは内部記録媒体 21)には、高速フレームレートの画像信号を記録するものとしてもよい。このように、動作モードとして高速モードを選択すれば、時間解像度の高い撮像画像を出力るいは記録すること力 Sできる。

[0024] システム MPU26は、撮像装置の動作モードを通常フレームレートの画像信号を生成する動作モード（以下「通常モード」と!、う）とするとき、高速モードよりも撮像装置の消費電力を低下させるため、駆動パルスの周波数そのものを下げて、電子撮像素子 2や AFE3および画像'音声処理 ASIC4等を通常モードで駆動する。

[0025] 通常モードでは時間方向の解像度が高速モードに比べて低下するが、画像信号のフレームレートが下がるため消費電力、記録媒体の容量への負担が少ないなどのメリットが生じる。なお、高速モードと通常モードでは露光時間が異なることから、画像 •音声処理 ASIC4等にて画像信号のゲイン調整を行うことで、露光時間が異なる場合でも信号レベルが同等となるようにすればよい。

[0026] 外部モニタ装置 30が高速フレームレートに対応可能である場合、撮像装置の画像出力端子 15から出力される画像信号を用いて、撮像画像を表示することが可能である。しかし、外部モニタ装置 30が高速フレームレートに対応していない場合、例えば従来のテレビジョン装置や機器に備わった LCDパネル等である場合、撮像装置の画像出力端子 15から出力される画像信号のフレームレートが高速フレームレートであるときには、撮像画像を表示することはできない。

[0027] したがって、高速フレームレートに対応して!/、な!/、外部モニタ装置に対しては、撮像装置が備えてレ、る高速フレームレートの撮像機能の用途として、高速モードで撮像を行うことにより得られた高フレームレートの画像信号を通常フレームレートで出力するスロー再生モードを設ける。例えば 1秒当たり 240枚のフレーム画像（240fps)を 1秒当たり 60枚のフレーム画像（60fps)の速度で再生することで、 4倍の時間をかけて画像信号の出力を行うスロー再生モードを設ける。このようにすれば、高速フレームレートの画像信号を用いて、時間解像度の高いスロー再生画像表示を行うことが可能となる。

[0028] このように、高速フレームレートに対応していない外部モニタ装置を用いる場合であつても、スロー再生モードを設けることで撮像画像を表示することができるので、全て高フレームレートで撮像を行うことも可能となる。しかし、全て高フレームレートで撮像を行うものとすると、前述の通り撮像装置の消費電力が大きくなることから撮像装置の動作可能時間が短くなつてしまう。また、高速モードでの解像度を、通常モードでの解像度と同じとした場合には、単位時間あたりのフレーム数が多いことから記録可能時間も短くなつてしまう。

[0029] そこで、本発明の撮像装置は、撮像時に撮像装置で得られる情報をもとにハイライトシーンを検出して、ハイライトシーンが検出されることに応じて、撮像画像のフレームレートを自動的に切り換える。このようにフレームレートの切り換えを行うことで、フレームレートの切り換え操作に要する手間を省き、消費電力と媒体容量を節約しつつ、ハイライトシーンのスローモーション映像効果を自動的に作成できるようにする。

[0030] なお、ハイライトシーンの検出およびフレームレート切り換えはシステム MPU26により実現されている。

[0031] 図 2は、撮像装置におけるフレームレート切り換え動作を示すフローチャートである。図 2のフローチャートに示すように、システム MPU26は、ハイライトシーンの検出処理を行う（ステップ Sl)。次に、システム MPU26は、ハイライトシーンが検出されたか否かを判定し（ステップ S2)、ハイライトシーンが検出されたとき、システム MPU26は、動作モードを高速モードとして 240fpsのフレームレートで撮像動作を行わせて画像信号を生成させる（ステップ S3)。その後、システム MPU26は、高速モードでの画像信号の生成が所定時間経過したか否力、を判別して (ステップ S4)、所定時間が経過していないときには高速モードでの画像信号の生成を継続し、所定時間が経過したときはハイライトシーンの検出処理を行う。また、ハイライトシーンが検出されていないとき、システム MPU26は、動作モードを通常モードとして 60fpsのフレームレートで撮像動作を行わせて画像信号を生成させる（ステップ S 5)。

[0032] 次に、ハイライトシーンの検出処理につ!/、て説明する。ハイライトシーンの検出とは、被写体の動きの量が所定値を超えたときを示している。システム MPU26は、撮像画像の画像信号を用いてハイライトシーンの検出を行う。例えば画像'音声処理 ASI C4にてフレーム間差分演算を行い、得られた演算結果をシステム MPU26に供給する。システム MPU26は、演算結果と予め定められた閾値を比較して、演算結果が閾値を超えたとき、被写体の動きの量が所定値を超えたものとしてハイライトシーンの検出とする。また、演算結果が閾値を超えていないとき、被写体の動きの量が所定量を超えてレ、な!/、ものとしてハイライトシーンは検出されて!/、な!/、とする。

[0033] ところで、撮像装置が固定されており撮像範囲に変化がないとき、フレーム間差分演算の演算結果は、被写体の動きの量を示す値となる。しかし、撮像範囲を変化させるズーム動作が行われた場合（例えばズームインやズームアウト動作が行われた場合)や、撮像方向が変化した場合 (例えばパン'チルト動作が行われた場合や手ブレが大きい場合など）、被写体が動いていなくともフレーム間差分演算の演算結果は大きくなつてしまうおそれがある。

[0034] そこで、システム MPU26は、ズーム作動状況および/または手ブレ補正用のセンサ（ここでは角速度センサ 23)出力も用いてハイライトシーンの検出を行えば、ハイライトシーンの検出精度を向上させることができる。

[0035] 図 3は、ハイライトシーンの検出処理を示すフローチャートである。この図 3に示すハイライトシーンの検出処理は、フレーム間の差分演算結果だけでなぐ撮像装置のズーム動作状況と角速度センサ 23の出力を用いて、ハイライトシーンの検出を精度よく行う場合を示している。

[0036] 図 3に示すフローチャートによれば、先ずシステム MPU26は、レンズ駆動ドライバ 2 4がズーム（ZOOM)作動中であるか否か判定する（ステップ Sl l)。そして、ズーム作動中であれば、システム MPU26はハイライトシーン未検出とする（ステップ S15)。

[0037] ステップ SI 1においてズーム作動中でなければ、次にシステム MPU26は、角速度センサ 23の出力をもとに、この撮像装置に加えられて!/、る角速度が大き!/、か否かを例えば予め設定されている閾値と比較して判定する（ステップ S12)。この結果、角速度センサ 23により検出された角速度の大きさが閾値よりも大きい場合、システム MP U26はハイライトシーン未検出とする（ステップ S15)。

[0038] ステップ S12において角速度が閾値よりも大きくないと判定した場合、 7火にシステム MPU26は、フレーム間差分演算の演算結果が小さいか否かを例えば予め設定されている閾値と比較して判定する (ステップ S13)。その結果、演算結果が閾値よりも小さい場合、システム MPU26はハイライトシーン未検出とする（ステップ S15)。

[0039] また、ステップ S 13において演算結果が閾値よりも小さくない場合、システム MPU2 6はハイライトシーンを検出したものとする（ステップ S 14)。

[0040] さらに、システム MPU26は、撮像画像の画像信号だけでなぐマイク等からの音声信号を用いてハイライトシーンの検出を行うものとしてもよい。例えばマイクからの音声信号の信号レベルが閾値よりも大きくなつたときハイライトシーンを検出したものとして、高速モードで画像信号の生成を所定時間行うことにより、例えば運動会等のレースシーンにおいてスタートシーンをハイライトシーンとして高フレームレートで記録することが可能である。

[0041] また、通常の操作釦に合わせて高速フレームレートフラグの設定を行うことにより、例えば記録開始のレリーズ釦の長押しをトリガとしてフラグをオンすることにより、撮像動作を継続したまま動作モードを通常モードから高速モードに切り換えることが可能である。

[0042] 図 4は、撮像装置の記録時と再生時の動作を示しており、外部モニタ装置 30が高速フレームレートに対応してレヽなレ、場合である。

[0043] 図 4の（a)は、画像出力端子 15に接続された外部モニタ装置 30が高速フレームレートに対応して!/、な!/、場合であって、ハイライトシーンが検出されて!/、な!/、ときの記録時と再生時の動作を示している。つまり、ノ、イライトシーンが検出されていないことから、記録時には 1/60秒間隔で撮像装置が生成したフレーム番号〔0, 4, 8, 12……〕のフレームが記録される。また、外部モニタ装置 30が高速フレームレートに対応しておらず、記録されたフレームが 1/60秒間隔であることから、再生時には、フレーム番号〔0, 4, 8, 12……〕のフレーム力秒間隔で再生される。

[0044] 図 4の（b)は、画像出力端子 15に接続された外部モニタ装置 30が高速フレームレートに対応していない場合であって、ハイライトシーンが検出されたときの記録時と再生時の動作を示している。つまり、ハイライトシーンが検出されると動作モードが所定時間だけ高速モードとされる。したがって、記録時には、 1/240秒間隔で撮像装置が生成したフレーム番号〔0, 1 , 2, 3, 4, 5, 6, 7, 8……〕のフレームが記録される。そして、再生時のフレームは、外部モニタ装置 30が高速フレームレートに対応していないため、記録したフレーム番号〔0, 1 , 2, 3, 4, 5, 6, 7, 8……〕のフレームが 1/ 60秒間隔で再生される。

[0045] また、本発明の撮像装置では、高速フレームレートに対応した外部モニタ装置向けの用途として、高速フレームレートの画像信号を出力する高フレームレート再生モードを設ける。この高フレームレート再生モードにおいて、出力する画像信号が高速モードで生成された画像信号であるとき、フレームレートを変更することなくそのまま出力する。また出力する画像信号が通常モードで生成された画像信号であるとき、フレーム画像の繰り返し出力を行うことで、高速フレームレートの画像信号に変換して出力する。

[0046] なお、図 4に示すように画像信号を出力するモードを通常フレームレート再生モードと呼ぶものとする。すなわち、通常フレームレート再生モードでは、出力する画像信号が通常モードで生成された画像信号であるとき、フレームレートを変更することなくそのまま出力する。また出力する画像信号が高速モードで生成された画像信号であるとき、この画像信号を通常モードのフレームレートで出力する。

[0047] 図 5は、撮像装置の記録時と再生時の動作を示しており、外部モニタ装置 30が高速フレームレートに対応してレ、る場合である。

[0048] 図 5の（a)は、画像出力端子 15に接続された外部モニタ装置 30が高速フレームレートに対応して!/、る場合であって、ハイライトシーンが検出されて!/、な!/、ときの記録時と再生時の動作を示している。つまり、ノ、イライトシーンが検出されていないことから、記録時には 1/60秒間隔で撮像装置が生成したフレーム番号〔0, 4, 8, 12……〕のフレームが記録される。また、外部モニタ装置 30が高速フレームレートに対応しており、再生時のフレームは 1/240秒間隔であることから、再生時に各フレーム画像を 4 回繰り返し出力（ダミーフレームを出力）することでフレーム数を 4倍として、フレーム番号〔0, 0, 0, 0, 4, 4, 4, 4, 8……〕のフレームが 1/240秒間隔で再生される。

[0049] 図 5の（b)は、外部モニタ装置 30が高速フレームレートに対応している場合であつて、ハイライトシーンが検出されたときの記録時と再生時の動作を示している。つまり、ノ、イライトシーンが検出されると動作モードが所定時間だけ高速モードとされる。したがって、記録時には、 1/240秒間隔で撮像装置が生成したフレーム番号〔0, 1 , 2, 3, 4, 5, 6, 7, 8……〕のフレームが記録される。そして、再生時のフレームは、外部モニタ装置 30が高速フレームレートに対応していることから、記録したフレーム番号〔0, 1 , 2, 3, 4, 5, 6, 7, 8……〕のフレームが 1/240秒間隔で再生される。

[0050] なお、図 5に示すように画像信号を出力するモードを高速フレームレート再生モードと呼ぶものとする。すなわち、高速フレームレート再生モードでは、出力する画像信号が高速モードで生成された画像信号であるとき、フレームレートを変更することなくそのまま出力する。また出力する画像信号が通常モードで生成された画像信号であるとき、フレームの補間を行い高速フレームレートの画像信号に変換して出力する。

[0051] このように、高速フレームレート再生モードでは、高速モードで生成された画像信号力 Sフレームレートを変更されることなく出力される。したがって、ハイライトシーンが検出されてから所定時間、時間解像度の高い画像表示を行うことができる。また、通常フレームレート再生モードでは、高速モードで生成された画像信号が通常モードのフレームレートで出力される。したがって、ノ、イライトシーンが検出されてから所定時間分の画像をスローモーションで再生することができる。

[0052] 次に、外部モニタ装置 30が高速フレームレートに対応しているか否かに応じて、高速フレームレート再生モードと通常フレームレート再生モードの切り換えを行う場合について説明する。

[0053] 図 6は、高速フレームレート再生モードと通常フレームレート再生モードの切り換え動作を示すフローチャートである。システム MPU26は、先ず画像信号の出力先である外部モニタ装置 30が高速フレームレートに対応して!/、るか否かを判定する（ステツプ S21)。この判定は、例えば操作部 11からの信号に基づいて行う。すなわち、ユーザは、出力先の外部モニタ装置 30が高速フレームレートに対応しているか否かを判断して、判断結果に基づいて操作部 11を操作する。システム MPU26は、操作部 11 力、らの信号に基づき、高速フレームレートに対応しているか否かの判断結果に基づいたユーザ操作が行われたか否かを判別して、このユーザ操作に基づき、出力先の外部モニタ装置 30が高速フレームレートに対応しているか否かを判定する。この判定の結果、ステップ S21において出力先の外部モニタ装置 30が高速フレームレートに対応していると判定したときには高速フレームレート再生モードへ移行する（ステツプ S23)。一方、ステップ S21において高速フレームレートに対応していないと判定したときには通常フレームレート再生モードとする（ステップ S22)。

[0054] このように、ハイライトシーンを検出したことに応じてフレームレートを切り換えて画像信号の生成を行うものとすれば、消費電力および記憶媒体へ記憶されるデータ量の抑制を実現することができるようになる。さらに、外部モニタ装置 30が高速フレームレートに対応するか否かに応じて、出力する画像信号のフレームレートを切り換えることで、ノ、イライトシーンが検出されてから所定時間、時間解像度の高い画像表示ゃスロ一モーション表示を行うことができる。

[0055] なお、外部モニタ装置 30が高速対応可能かどうかは前述したようにユーザ設定もしくはケーブル接続時に電気的もしくは制御信号で判断可能である。例えば外部モニタ装置が HDMI (High Definition Multimedia Interface)に対応している場合には、 H DMIを介して取得した外部モニタ装置の表示仕様に基づいて判断することが考えられる）。

[0056] 図 7は、通常モードで撮像動作 (通常撮影）を行って得られた画像信号と、高速モ一ドで撮像動作 (高速撮影）を行って得られた画像信号が混在して記録された動画ファイル構造を示している。

[0057] 図 8は、画像出力端子 15に接続された外部モニタ装置 30が高速フレームレートに対応していないとき、図 7に示す動画ファイル構造の画像信号を再生したときの動作を示している。

[0058] 通常モードで撮像動作が行われているときに、図 3に示すような処理によってハイライトシーンが検出されると、動作モードが通常モードから高速モードに自動的に所定時間切り換えられることから、通常モードで撮像動作を行って得られた画像信号と、高速モードで撮像動作を行って得られた画像信号が混在して記録される。また、外部モニタ装置 30が高速フレームレートに対応していないため、自動的に通常フレームレート再生モードに設定されると、通常モードと高速モードで撮像動作を行って得られた画像信号が通常フレームレートで順次出力される。したがって、外部モニタ装置 30の画面上には、高速モードで撮像された画像が時間的に 4倍に引き延ばされたスローモーション再生の画像となる。

[0059] 図 9は、画像出力端子 15に接続された外部モニタ装置 30が高速フレームレートに対応しているとき、図 7に示す動画ファイル構造の画像信号を再生したときの動作を示している。

[0060] 通常モードで撮像動作が行われているときに、図 3に示すような処理によってハイライトシーンが検出されると、動作モードが通常モードから高速モードに自動的に所定時間切り換えられることから、通常モードで撮像動作を行って得られた画像信号と、高速モードで撮像動作を行って得られた画像信号が混在して記録される。また、外部モニタ装置 30が高速フレームレートに対応しており、自動的に高速フレームレート再生モードに設定されると、通常モードと高速モードで撮像動作を行って得られた画像信号が高速フレームレートで順次出力される。したがって、外部モニタ装置 30の画面上には、高速モードで撮像された画像が通常モードで撮像された画像よりも時間解像度の高い画像として表示される。また、通常モードで撮像された画像を出力するときは、フレーム補間処理を行い、前のフレームをダミーフレームとして繰り返し揷入することで高速フレームレートの画像信号に変換して出力する。

[0061] 以上説明したように、本発明の撮像装置によれば、例えばズーム作動中でなければ、次に角速度センサ 23の出力をもとにこの撮像装置に加えられている角速度の大きさが大きいか否かを、予め設定されている閾値をもとに判定する。この結果、角速度センサ 23により検出された角速度が閾値より大きい場合には、通常モードで撮像動作を行う。また、角速度の大きさが前記閾値より小さいと判定した場合には、次に画像 ·音声処理 ASIC4にてフレーム間差分演算を行い演算結果と閾値を比較して、被写体の移動量が所定値を超えるか否力、を判定する。その結果、被写体の移動量が所定値を超えていないときは通常モードの撮像動作を行う。また、被写体の移動量が所定値を超えたときハイライトシーンが検出されたものとして、高速モードの撮像動作を所定時間行う。

[0062] この結果、より確実にハイライトシーンを検出することが可能となり、ハイライトシーンが検出されたときのみ高速フレームレートによる撮像動作が行われるため、消費電力と記憶媒体の容量が節約され、さらに撮像フレームレートの切り換え操作に要する手間が不要となる。

[0063] 言い換えると、本発明の撮像装置によれば、第 1のフレームレートと第 1のフレームレートよりも高い第 2のフレームレートで撮像や撮像画像の記録が可能な撮像機器において、時間解像度の高い画像が必要なハイライトシーンで自動的に撮像フレームレートを切り換えることが可能になる。この結果、消費電力と媒体の容量に負担をかけることなく少な!/、負荷で適所に時間解像度の高!/、動画撮像を実現できる撮像装置が得られる効果がある。

[0064] また、外部モニタ装置 30に合わせて再生時のフレームレートを変換することで、外部モニタ装置 30が第 2のフレームレートに対応していない場合でも、再生時に第 2のフレームレートで撮像されたシーンをスローモーション再生して表示することが可能となり、第 2のフレームレートで撮像された画像を有効活用できる。また、第 2のフレームレートに対応している高速表示可能な外部モニタ装置に対しては、第 1のフレームレ一トと第 2のフレームレートの混在する画像を時間方向に精細さを保ちつつリアルタイムに出力することが可能になる。

[0065] 次に、本願発明の再生制御装置につ!/、て説明する。なお、再生制御装置を例えば撮像装置に設けるものとすると、図 1のブロック図はこの再生制御装置においても適用される。

[0066] 本願発明の再生制御装置は、今後過渡的に混在する高速フレームレート表示可能な外部モニタ装置と高速フレームレートに対応して!/、な!/、外部モニタ装置を考慮し、記録時のフレームレートは通常フレームレート（60fps)よりも高!/、高速フレームレート (240fps)に固定して、再生時には出力先の外部モニタ装置が対応するフレームレートに応じて出力画像のフレームレートを調整可能にする。 [0067] このため、再生制御装置は、画像の出力先の外部モニタ装置 30が対応しているフレームレートと、高速フレームレートで記録された画像に対応して記録された当該画像の付属情報に基づいて、記録された画像を再生するときの再生モードを、間引き再生モードまたは非間引き再生モードのいずれとするか判定して、判定結果に応じて画像の再生動作を制御する。この再生モードの判定や再生動作の制御は、システム MPU26により実現されている。

[0068] この再生制御装置を備えた撮像装置は、図 1に示すように、イメージヤー駆動ドライバ 1、電子撮像素子 2、アナログフロントエンド (AFE) 3、画像'音声処理 ASIC(Appli cation Specific Integrated Circuit)4、マイク 5、アナログアンプ 6、スピーカ 7、メモリ 8、パネル駆動ドライバ 9、 LCD(Liquid Crystal Display)パネル 10、操作部 11、バッテリ 12、電源管理 IC13、外部記録媒体 14、画像出力端子 15、内部記録媒体 21、プログラマブル RAM(Random Access Memory)22、角速度センサ 23、レンズ駆動ドライノ 24、レンズ 25およびシステム MPU(Micro Processing Unit)26を fgえてレヽる。

[0069] イメージヤー駆動ドライバ 1は、電子撮像素子 2を駆動するための回路である。電子撮像素子 2は、標準フレームレートの画像信号だけでなぐ高速フレームレートの画像信号の生成を行うことができる撮像素子である。電子撮像素子 2としては、例えば C MOS(Complementary Metal Oxide Semiconductor)イメージヤー等が用いられる。

[0070] AFE3は、アナログ信号処理回路や A/Dコンバータ等を備えて!/、る。 AFE3は、電子撮像素子 2で生成されたアナログの画像信号の信号処理例えばノイズ除去処理や信号レベル調整処理等を行う。さらに信号処理後の画像信号をディジタルの画像信号に変換する。

[0071] 画像 ·音声処理 ASIC4は、画像信号および音声信号を処理する特定用途向け集積回路である。画像.音声処理 ASIC4は、例えば AFE3で得られたディジタルの画像信号に対して色処理やレンズ補正処理といった処理を行う。また、画像信号の圧縮処理や伸長処理等も行う。

[0072] マイク 5は、音声を検出し電気信号へ変換し出力する。アナログアンプ 6は、マイク 5 力、ら出力された電気信号を増幅する回路である。スピーカ 7は、アナログアンプ 6において増幅した電気信号を音声に変換して出力する。メモリ 8は、各種データを記憶する回路である。パネル駆動ドライバ 9は、画像 ·音声処理 ASIC4により処理した画像信号をもとに LCDパネル 10の各画素を駆動する回路である。操作部 11は各種操作スィッチを備えている。バッテリ 12は、この撮像装置の各部へ供給される電力を発生させる。電源管理 IC13は、バッテリ 12の状態と負荷状態を検出し、この撮像装置の電源を管理する回路である。

[0073] 外部記録媒体 14は、この撮像装置で生成された動画像情報や音声情報等を保存するための外部記録媒体である。画像出力端子 15は、この撮像装置で生成された動画像情報や外部記録媒体 14に記録されている動画像情報を外部モニタ装置 30 に供給して画像をモニタできるにょうにするための出力端子である。内部記録媒体 2 1は、この撮像装置に内蔵された記憶装置であり、この撮像装置で生成された動画像情報や音声情報等を保存する。

[0074] プログラマブル RAM22は、この撮像装置で必要な各種ロジックを構成している。

[0075] 角速度センサ 23は、この撮像装置における手ブレ防止機能を実現するためのセンサであり、撮像装置が動いたときの角速度を検出する。

[0076] レンズ駆動ドライバ 24は、レンズ駆動信号をもとにレンズ 25を駆動してズーム動作等を fiうための回路である。

[0077] システム MPU26は、この撮像装置の各部を制御するマイクロプロセッシングュニットでめる。

[0078] 次に動作について説明する。撮像画像の記録時に、システム MPU26は、イメージヤー駆動ドライバ 1に対して高速フレームレートに対応した駆動ノルスを送り、電子撮像素子 2を高速モードで駆動する。

[0079] また、システム MPU26は、 AFE3や画像'音声処理 ASIC4も高速モードで信号処理を行わせて、高速フレームレートの画像信号を生成させる。さらに、システム MPU 26は、高速フレームレートの画像信号の圧縮処理を画像'音声処理 ASIC4で行わせる。システム MPU26は、このように各部の動作を制御して得られた高速フレームレートの画像信号を画像出力端子 15から出力させる処理や、高速フレームレートの画像信号を圧縮処理して得られた画像記録データを外部記録媒体 14 (あるいは内部記録媒体 21)に記録する処理を行う。画像記録データを記録する際、マイク 5から入力される音声は、ディジタルサンプリングが施された後に圧縮されて、高速フレームレ一トの撮像画像に同期して記録される。さらに、システム MPU26は、付属情報を生成して画像記録データと時間軸を関連させて外部記録媒体 14 (あるいは内部記録媒体 21)に記録する。なお、外部記録媒体 14 (あるいは内部記録媒体 21)には、圧縮処理されてレ、な!/、高速フレームレートの画像信号を記録するものとしてもょレ、。なお、外部記録媒体 14 (あるいは内部記録媒体 21)に記録された画像記録データや高速フレームレートの画像信号は、動画像情報と!/、う。

[0080] 図 10は、外部記録媒体 14 (あるいは内部記録媒体 21)に記録されるデータの構成を示している。図 10に示すように、ここでは画像記録データ 31や音声記録データ 32 とは別個に付属情報 33を記録する。なお、図 10に示す例ではファイル単位で付属情報を持つように構成したが、前述のように、付属情報の記録形式は、これに限定されるものではない。

[0081] 付属情報 33には、日付やフレームレート切換情報（フラグ）、フレームレート切換情報を生成するために用いられる高速フレームレートの画像信号を生成したときの撮像状況、例えばズーム作動状況や角速度センサ 23で検出された角速度等を含めるものとする。なお、ユーザは、記録時もしくは再生時に任意に付属情報 33のフレームレート切換情報 (フラグ)を変更することが可能である。

[0082] ここで、画像出力端子 15に接続された外部モニタ装置 30が高速フレームレートに対応可能である場合、画像出力端子 15から出力される動画像情報に基づいて画像表示を行うことが可能となる。しかし、外部モニタ装置 30が高速フレームレートに対応して!/、な!/、場合、例えば従来のテレビジョン装置や機器に備わった LCDパネル等である場合、画像出力端子 15から出力される動画像情報のフレームレートが高速フレームレートであると、画像出力端子 15から出力される動画像情報に基づいて画像表示を行うことができない。

[0083] したがって、高速フレームレートに対応していない外部モニタ装置向けの機能として、外部記録媒体 14 (あるいは内部記録媒体 21)に記録されている動画像情報を再生する場合、再生する動画像情報のフレームレートが高フレームレートであるときはフレーム間引きを行い、外部モニタ装置 30の対応する通常フレームレートに変換して出力する通常フレームレート間引き再生モードを設ける。例えば 1秒当たり 240枚のフレーム画像（240fps)を 1秒当たり 60枚のフレーム画像（60fps)に間引きして再生する通常フレームレート間引き再生モードを設ける。このようにすれば、高速フレームレートに対応して!/、な!/、外部モニタ装置を用いる場合であっても、高速フレームレートの動画像情報に基づいて再生画像表示を行うことができる。また、高速フレームレートである動画像情報のフレーム間引きを行うことなく外部モニタ装置 30の対応する通常フレームレートで出力する通常フレームレート非間引き再生モードを設ける。

[0084] 図 11は、このような高速フレームレートに対応していない外部モニタ装置が接続されたときの再生動作を示している。図 11の（a)は、通常フレームレート間引き再生モードの再生動作を示しており、再生する動画像情報が高フレームレートであり、フレーム番号〔0, 1 , 2, 3, 4, 5, 6, 7, 8……〕の間鬲は 1/240禾少とされている。この動画像情報を通常フレームレート間引き再生モードで再生するときは、フレーム間引きを行い 1/60秒間隔であるフレーム番号〔0, 4, 8, 12……〕のフレーム画像を出力する。

[0085] 図 11の（b)は、通常フレームレート非間引き再生モードの再生動作を示しており、高フレームレートの動画像情報を通常フレームレート非間引き再生モードで再生するときは、フレーム間引きを行うことなく動画像情報を外部モニタ装置 30の対応する通常フレームレートで出力する。すなわち、 1/60秒間隔で、フレーム番号〔0, 1 , 2, 3 , 4, 5, 6, 7, 8……〕のフレーム画像を出力する。

[0086] 図 12は、出力先が高速フレームレートに対応した外部モニタ装置であるか否かに応じて、再生時のマニュアル操作によるフレームレートの選択動作を示すフローチヤートである。

[0087] 図 12のフローチャートに示すように、システム MPU26は、出力先の外部モニタ装置 30が高速フレームレートに対応しているか否かを判別する（ステップ S51)。システム MPU26は、ユーザのマニュアル操作によって、出力先が高速フレームレートに対応した外部モニタ装置であることが示されたとき、システム MPU26は、画像'音声処理 ASIC4を制御して高速フレームレート非間引き再生モードで画像出力を行う（ステップ S53)。高速フレームレート非間引き再生モードでは、外部記録媒体 14 (あるいは内部記録媒体 21)に記録されている高速フレームレート（240fps)の動画像情報を、フレームレートを変えることなく出力する。

[0088] また、高速フレームレートに非対応の外部モニタ装置である場合、システム MPU2 6は、さらにマニュアル操作により設定されたフレームレート切換情報（フラグ）のオン、オフに応じて（ステップ S52)、フレームレート切換情報がオフのとき、通常フレームレート間引き再生モードを選択する（ステップ S54)。通常フレームレート間引き再生モードは、外部記録媒体 14 (あるいは内部記録媒体 21)に記録されている動画像情報を再生する際に、画像'音声処理 ASIC4上でフレーム間引きを行い、高速フレームレート（240fps)の動画像情報を外部モニタ装置が対応して!/、る通常フレームレート（60fps)の動画像情報として出力する再生モードである。また、システム MPU26は、フレームレート切換情報がオンとなったとき、通常フレームレート非間引き再生モードを選択する (ステップ S 55)。通常フレームレート非間引き再生モードとは、外部記録媒体 14 (あるいは内部記録媒体 21)に記録されている動画像情報を再生する際に、高速フレームレート（240fps)の動画像情報を通常フレームレート（60fps)で出力するモードである。例えば 1秒間の画像（240枚）を撮像時間の 4倍である 4秒間かけてスローモーション画像として出力することにより、時間解像度の高いスロー再生を行う再生モードである。

[0089] さらに、再生制御装置では、マニュアルによるフレームレート切換の他に、付属情報に含まれているフレームレート切換情報をもとに、自動で通常フレームレート間引き再生モードと通常フレームレート非間引き再生モードの切り換えを行う。これにより、自動的に例えば再生画像の所望の期間を時間解像度の高いスローモーション画像として表示できる。この場合、外部記録媒体 14 (あるいは内部記録媒体 21)に記録されてレ、る付属情報を再生して再生モードの判定を行い、この判定に用いた付属情報に関連する動画像情報を、判定された再生モードで再生する。

[0090] 図 13は、付属情報 33に含まれているフレーム切換情報をもとに通常フレームレート間引き再生モードと通常フレームレート非間引き再生モードの切り換えを自動的に行う動作を示すフローチャートである。

[0091] システム MPU26は、画像記録データの再生とともに、この再生される画像記録データに関連した付属情報のフレームレート切換情報がオンとされたか否かを判別して (ステップ S61)、フレームレート切換情報がオンとなったときは通常フレームレート非間引き再生モード（ステップ S62)とする。その後、システム MPU26は、通常フレームレート非間引き再生モードでの再生が所定時間経過したか否かを判別して (ステップ S63)、所定時間が経過していないときには通常フレームレート非間引き再生モードでの再生を継続し、所定時間が経過したときはステップ S61に戻る。システム MPU2 6は、フレームレート切換情報がオンとなっていないとき通常フレームレート間引き再生モードとする（ステップ S64)。

[0092] また、再生制御装置では、付属情報 33に含まれた高速フレームレートの動画像情報を撮像装置で生成したときのズーム動作および/または撮像装置の動きの量を示す角速度を示す情報を用いてフレームレート切換情報の生成を行い、生成したフレームレート切換情報に基づいて再生モードの切換を自動的に行うことも可能である。

[0093] 図 14は、フレームレート切換情報の自動生成動作を示すフローチャートである。

[0094] 図 14のフローチャートに示すように、システム MPU26は、ズーム（ZOOM)作動中であるか否かを判定する（ステップ S71)。そして、ズーム作動中であれば、システム MPU26はフレームレート切換を指示しないものとして、フレームレート切換情報をォ

[0095] ステップ S71においてズーム作動中でなければ、次にシステム MPU26は、角速度が大きいか否かを、例えば予め設定されている閾値と比較して判定する（ステップ S7 2)。この結果、角速度が閾値よりも大きい場合、システム MPU26はフレームレート切換を指示しな!/、ものとする（ステップ S75)。

[0096] ステップ S72において角速度が閾値よりも大きくないと判定した場合、 7火にシステム MPU26は、再生された高フレームレートの動画像情報を用いてフレーム間差分演算を行い、演算結果が閾値よりも小さいか否かの判定を行う（ステップ S 73)。その結果、閾値よりも演算結果が小さい場合、システム MPU26はフレームレート切換を指示しないものとする（ステップ S75)。

[0097] また、ステップ S73において閾値よりも演算結果が小さくない場合、システム MPU2 6はフレームレート切換を行うものとしてフレームレート切換情報をオンとする（ステツプ S74)。なお、フレームレート切換情報では、フレームレート切換のタイミングを示すものとして、フレームレート切換情報をパルス状にオンさせて、通常フレームレート非間引き再生モードへの切り換えを行い、その後通常フレームレート非間引き再生モードの再生を所定時間行うようにする。

[0098] さらに、システム MPU26は、付属情報だけでなぐ再生された音声信号を用いてフレームレート切換情報の生成を行うものとしてもよい。例えばマイクからの音声信号の信号レベルが閾値よりも大きくなつたときフレームレート切換指示を行うものとする。

[0099] このように、フレームレート切換情報を生成するものとすれば、被写体の動きの量が所定値を超えたときには、通常フレームレート非間引き再生モードが選択されて、被写体の動きの量が大きくなるハイライトシーンを時間解像度の高いスローモーション画像として表示すること力 Sできる。また、ズーム動作が行われたことや撮像方向が変化したことにおより被写体の動きの量が大きくなつても、このような場合にはフレームレートの切換が行われないことから、被写体の動きの量が大きくないときに通常フレームレート非間引き再生モードに切り換えられてしまうことを防止できる。

[0100] また、音声信号に基づいてフレームレートの切換を行うようにすることで、例えば運動会等のレースシーンにお!/、てスタートシーンを時間解像度の高!/、スローモーション画像として表示することも可能となる。

[0101] 以上説明したように、この再生制御装置は、再生時に高速フレームレートに対応する外部モニタ装置が用いられる場合、高速フレームレートの動画像情報を、フレームレートを変えることなく出力する高速フレームレート非間引き再生モードを有している。また、再生時に高速フレームレート非対応の外部モニタ装置が用いられる場合、画像-音声処理 ASIC4上で高速フレームレートの動画像情報に対して間引きを行い、外部モニタ装置が対応するフレームレートの動画像情報として再生する通常フレームレート間引き再生モードを有している。また、高速フレームレートの動画像情報を外部モニタ装置が対応するフレームレートで順次出力することで、撮像時よりも長レ、時間をかけて再生する通常フレームレート非間引き再生モードを有している。この結果、高速フレームレートに対応している外部モニタ装置を用いるとき、時間解像度の低下等を招くことなく高速フレームレートの動画像情報の再生を行うことができる。また、高速フレームレートに対応して!/、な!/、外部モニタ装置を用いるとき、高速フレームレートの動画像情報が、外部モニタ装置の対応するフレームレートで出力されて自動的にハイライトシーンをスローモーション化して表示できるなど、高速フレームレートの画像ソースを有効活用できる。さらに、高速フレームレートの動画像情報のフレーム間引きを行って、被写体の動きの速度を変化させてしまうことなく外部モニタ装置で画像表示を行うことができる。

[0102] また、マニュアルでフレームレート切換の指示を行う場合にはスローモーション再生を選ぶ手間が発生する力 S、付属情報を利用することで、フレームレート切換を自動的に行うことが可能となり、例えばノヽイライトシーンを簡単に時間解像度の高いスローモーシヨン画像として表示させることが可能である。

産業上の利用可能性

[0103] 動画像の記録や再生を行う場合、画像表示側として高速フレームレートに対応して V、なレ、外部モニタ装置を用いるときに好適である。

Claims

請求の範囲

[1] 第 1のフレームレートと第 1のフレームレートよりも高い第 2のフレームレートで撮像可能な撮像手段と、

ノ、イライトシーンを検出する検出手段と、

前記検出手段によりハイライトシーンを検出したことに応じて、前記撮像手段のフレームレートを切り換える制御手段とを備える

ことを特徴とする撮像装置。

[2] 前記制御手段は、前記検出手段によりハイライトシーンを検出したことに応じて、前記撮像手段のフレームレートを前記第 1のフレームレートから前記第 2のフレームレートに切り換える

ことを特徴とする請求の範囲第 1項に記載の撮像装置。

[3] 前記制御手段は、前記撮像手段のフレームレートを前記第 1のフレームレートから前記第 2のフレームレートに切り換えた後、所定時間経過後に前記フレームレートを前記第 2のフレームレートから前記第 1のフレームレートに切り換える

ことを特徴とする請求の範囲第 2項に記載の撮像装置。

[4] 前記検出手段は、被写体の動きが所定値を超えたときハイライトシーンが検出されたものとする

ことを特徴とする請求の範囲第 3項に記載の撮像装置。

[5] レンズ駆動手段および/または撮像装置が動いたときの角速度を検出するセンサ手段を備え、

前記レンズ駆動手段がズーム作動中でな!/、とき、および/または前記センサ手段で検出された角速度が所定値を超えていないとき、前記検出手段は、フレーム間差分演算を行い前記被写体の動きを算出する

ことを特徴とする請求の範囲第 4項に記載の撮像装置。

[6] 前記第 1のフレームレートは、標準テレビジョン方式のフレームレートである

ことを特徴とする請求の範囲第 1項に記載の撮像装置。

[7] 記録媒体から動画像情報と該動画像情報の付属情報を再生する再生制御装置において、外部モニタ装置が対応して!/、るフレームレートと前記付属情報に基づ!/、て、前記動画像情報を再生するときの再生モードを、間引き再生モードまたは非間引き再生モードの!/、ずれとするか判定する判定手段と、

前記判定手段の判定結果に応じて前記動画像情報の再生動作制御を行う制御手段とを備える

ことを特徴とする再生制御装置。

[8] 前記判定手段は、前記外部モニタ装置が対応しているフレームレートと前記動画像情報のフレームレートが等しいとき前記非間引き再生モードと判定し、

前記制御手段は、フレーム間引きを行うことなく前記動画像情報を再生させることを特徴とする請求の範囲第 7項に再生制御装置。

[9] 前記判定手段は、前記外部モニタ装置が対応しているフレームレートよりも前記動画像情報のフレームレートが高いとき前記判定を行う

ことを特徴とする請求の範囲第 8項に再生制御装置。

[10] 前記判定手段は、前記外部モニタ装置が対応しているフレームレートよりも前記動画像情報のフレームレートが高く前記付属情報で切換指示が示されたときに、前記非間引き再生モードと判定し、

前記制御手段は、フレーム間引きを行うことなく前記外部モニタ装置が対応しているフレームレートで前記動画像情報を再生させる

ことを特徴とする請求の範囲第 9項に記載の再生制御装置。

[11] 前記制御手段は、前記再生モードが前記非間引き再生モードと判定されてから所定時間経過後、前記間弓 Iき再生モードとしてフレーム間弓 Iきを行!、前記動画像情報を前記外部モニタ装置が対応しているフレームレートに変換して再生させることを特徴とする請求の範囲第 10項に記載の再生制御装置。

[12] 前記付属情報には、前記動画像情報を撮像装置で生成したときのズーム動作および/または前記撮像装置の動きを示す角速度を示す情報が含まれており、前記判定手段は、前記付属情報に基づきズーム動作が行われていない、および/ または角速度が所定値を超えていないと判別したとき、前記動画像情報を用いてフレーム間差分演算を行い被写体の動きを算出して、該動きが所定値を超えたとき前記通常モードと判定する

ことを特徴とする請求の範囲第 11項に記載の再生制御装置。