JP4938615B2 - 動画像記録再生装置 - Google Patents

Description

本発明は、高速度カメラを用いた高速撮影に関し、特に記録性能の向上及び再生時の利便性の向上を図る技術に関する。

近年、動画像は、高画質の要求を満たす為にそのデータ量は増大しており、特に、高速撮影を行う場合には、フレームレートが高いため記録すべきデータ量が多くなる。
そこで、記録媒体に記録すること等を考慮して、これら動画像のデータ量を小さくする技術が開発されている。
その技術の1つとして、ＭＰＥＧ（Motion Picture Experts Group）等の圧縮符号化技術がある。これは、動画を構成する１画面のデータをより小さく記録するための技術である。

さらに、記録する画面のサイズを小さくすることによりデータ量を小さくする技術が開発されている。
例えば、異常を検知したときの画像の蓄積量を削減することのできる監視カメラシステムに関するものがある（特許文献１参照）。
この技術は、監視領域を撮影している画面（図１６：画面２０参照）内に、画面より小さな領域（図１６：エリアＡ〜エリアＤ参照）を予め設定しておき、その領域で動きを検出したらその領域のみを記録するものである。詳細については、図１７を用いて後述する。

この技術によれば、動きのあった部分の画像データを記録し、監視カメラとしての役割を果たしつつデータ量を削減することができる。
特開２００５−２６６３７３号公報

しかし、この技術の場合、記録する動画像データは小さくなるものの、再生画面は、記録した領域のみ、例えば、エリアＡの表示領域が更新されるだけであり、この領域を外れてしまった物体等は再生画面には現れないという不都合がある。
また、監視カメラという性質上、監視領域、すなわち撮影画面が固定であることから、撮影画面を固定せずに動画像を撮影する通常のビデオカメラ等のデータ削減には適用し難いという問題がある。

そこで、本発明は、データ量を削減しつつ、動画像の記録及び再生を行うことができる動画像記録装置および再生装置の提供を目的とする。

上記課題を解決する為に、本発明の動画像記録装置は、被写体の動画を記録する動画像記録装置であって、所定のフレームレートで、動画を構成する画像フレームを順次出力する撮像手段と、前記撮像手段で出力された画像フレームのうち、所定数おきの画像フレームは画像フレームの全体を、他の画像フレームは当該画像フレームの一部分を、１又は複数の記録媒体に記録する録画手段とを備えることを特徴とする。

ここで、被写体とは、ビデオカメラ等で写されるものをいい、撮影の対象となる人、物や景色をいうものとする。

本発明に係る動画像記録装置は、上述の構成を備えることにより、動画像を撮影した画像フレームを記録する場合に、一部のフレームは、その画像としての部分領域である一部分を記録するので、動画像の記録データ量を削減することができるようになる。
画像フレームの一部分を記録することにより、圧縮符号化して記録する場合には、符号化処理に要する時間を短くすることができ、かつ、符号化処理前の入力画像を蓄積するフレームメモリの容量を削減することができる。

従って、符号化処理より入力画像のフレームレートが早い高速撮影においても、高速フレームの撮影を長時間実現することが可能となる。
このように、符号化処理や蓄積処理よりも速いフレームレートで撮影画像が入力されてくる場合であっても、高解像度化とメモリ容量削減とを両立することが、安価な装置で実現出来るようになる。

また、前記録画手段が記録する画像フレームの一部分とは、前記被写体の特定部分を含む部分であることとしてもよい。
これにより、被写体の特定部分は、記録される一部分にも含まれるので、全てのフレームに含まれるようになる。すなわち、特定部分は、必ず記録されていることになる。
また、前記動画像記録装置は、更に、画像フレームを符号化する符号化手段を備え、前記録画手段は、画像フレームの一部分を記録する場合、前記撮像手段で出力された画像フレームの当該一部分以外の部分を所定の色とした画像フレームを、前記符号化手段で符号化して記録することとしてもよい。

これにより、一部分を記録する画像フレームは、当該一部分以外は一色の画像フレームとすることができるので、撮影された画像フレーム全体を符号化する場合に比べて、特定部分を記録しつつ、符号化後のデータ量を小さくすることが可能となる。
また、すべてのフレームが同じサイズとなるので、従来の再生装置で再生することができるという利点がある。

また、前記動画像記録装置は、更に、前記記録媒体に記録されている画像フレームから表示用の表示フレームを生成する生成手段を備え、前記生成手段は、順次、画像フレームを読み出して表示フレームを生成し、読み出した画像フレームが一部分のみであるときは、全体が記録されている画像フレームと当該画像フレームの一部分とから表示フレームを生成することとしてもよい。

これにより、一部分を記録する画像フレームにおける、当該一部分以外の領域を、他の画像フレームによって補充できるので、表示画面内の欠落がなく再生することができるようになる。
例えば、撮影した動画像を再生した場合には、特定部分のみは撮影時のフレームレートで再生されているように見えるが、特定部分以外の他の部分はより低いレートで再生されているように見える。具体的には、１８０ｆｐｓ（frame per second）で撮影された動画像を１８０ｆｐｓで再生する場合には、１倍速で再生されることとなるが、この場合、特定部分はそれ以外の部分よりも滑らかに再生されて見えることになる。

また、例えば、１８０ｆｐｓ（frame per second）で撮影された動画像を３０ｆｐｓで再生する場合には、１／６倍速スローで再生されることとなるが、この場合も、特定部分はそれ以外の部分よりも滑らかに再生されて見えることになる。
すなわち、高速に撮影した高フレームレートの画像を再生する際に、高解像度を保ったまま切り出された部分画像と、前後の定期的に挿入された全体を記録した高解像度画像とから、高解像度の動画像を生成できるので、高速撮影画像を再生する際も、被写体の情報の欠落もなく、かつ、特定部分周辺の情報を含んだ高解像度のままで全フレームを再生することが可能となる。

また、前記録画手段は、画像フレームの一部分を、当該画像フレームにおける当該一部分の位置を示す情報と対応付けて、前記記録媒体に記録し、前記生成手段は、読み出した画像フレームが一部分であるときは、当該一部分を前記情報が示す位置に反映した表示フレームを生成することとしてもよい。
これにより、画像フレームにおける一部分の位置を容易に取得することができるので、当該一部分と全体が記録されている画像フレームとの合成が容易にできるようになる。

また、前記生成手段は、更に、全体が記録されている画像フレームのみを順次読み出して表示フレームを生成することとしてもよい。
これにより、全体が記録されている画像フレームのみの再生ができるので、所定のフレームレートより低いフレームレートでの再生ができるようになる。
また、本発明の動画像再生装置は、１又は複数の記録媒体に記録されている撮影画像を、再生する動画像再生装置であって、前記記録媒体に記録されている撮影画像は、所定のフレームレートで撮影された複数の画像フレームで構成され、第1群の画像フレームのサイズは、第２群の画像フレームより小さいサイズであり、前記動画再生装置は、前記記録媒体から、撮影画像を構成する画像フレームを読み出す読出手段と、前記読出手段で読み出した画像フレームから表示フレームを生成する生成手段とを備え、前記読出手段は、順次、画像フレームを読み出し、前記生成手段に表示フレームを生成させ、前記生成手段は、画像フレームが第1群の画像フレームである場合は、第２群の画像フレームと当該第１群の画像フレームとから表示フレームを生成することを特徴とする。

これにより、記録されている画像フレームにサイズが小さい画像フレームが混在していたとしても、サイズの小さい画像フレームは、他のサイズの大きな画像フレームを参照して表示用画像を生成することができるので、小さいサイズの画像フレームの周辺領域を補充することでき、再生画面内の欠落を起こさずに、再生することができるようになる。
また、前記読出手段は、前記第２群の画像フレームのみを順次読み出し、前記生成手段に表示フレームを生成させることとしてもよい。

これにより、サイズの大きな画像フレームのみの再生ができるので、撮影時のフレームレートである所定のフレームレートより低いフレームレートでの間引き再生ができるようになる。
また、前記記録媒体に記録されている画像フレームは、それぞれ表示するタイミングを示すタイムスタンプ情報を有し、前記第１群の画像フレームと前記第２群の画像フレームとは、それぞれが別の連続領域に記録されており、前記読出手段は、表示フレームを前記生成手段で生成する場合は、前記タイムスタンプ情報に基づいて、順次、画像フレームを読み出し、前記生成手段に表示フレームを生成させることとしてもよい。

また、前記記録媒体に記録されている画像フレームは、それぞれ表示するタイミングを示すタイムスタンプ情報を有し、前記第１群の画像フレームと前記第２群の画像フレームとは、それぞれが別の記録媒体に記録されており、前記読出手段は、前記タイムスタンプ情報に基づいて、順次、画像フレームを読み出し、前記生成手段に表示フレームを生成させることとしてもよい。

これにより、サイズの大きな画像フレームと、サイズの小さな画像フレームが、別々に記録されていたとしても、各画像フレームの表示タイミングを知ることができるので、正しい順序で再生できるようになる。
また、サイズの大きな画像フレームのみが連続領域に記録されているので、所定のフレームレートより低いフレームレートでの間引き再生を容易にすることができる。

＜実施形態１＞
＜概要＞
本発明は、動画像を撮影するときは、画面全体を記録したい場合と、被写体の特定の部分に着目して記録したい場合とがあることに着目したものである。
すなわち、本発明は、これらの場合のうち、被写体の特定の部分を記録したい場合のデータ削減を目的としたものである。

被写体の特定の部分を記録したい場合は、その特定部分が含まれる部分画像のみが所望のフレームレートで再生できればよい。
例えば、投げられたボールを高速撮影した場合であって、回転するボールの部分のみが高フレームレートで再生されればよく、背景は高フレームレートで再生されなくてもよい場合である。この場合の被写体は、撮影の対象となる景色であり、特定部分はボールとなる。

本発明に係る動画像記録再生装置では、指定されたフレームレートで撮影する画像フレームのうち、所定枚数おきに全体の画像フレームを記録し、それ以外の画像フレームは特定部分が含まれる部分画像を記録するものである。
このように記録することにより、特定部分は指定フレームレートの画像データを記録することになり、再生時には、特定部分は指定されたフレームレートで画面が更新できるようになる。また、画面全体も所定枚数おきに記録されているので、画面全体も更新されることになる。

まず、本発明に係る動画像記録再生装置の構成を説明する前に、本装置が記録する画像フレームについて、図２〜図４を用いて説明する。
尚、図２等に描画しているフレーム、部分画像、ボール等の大きさは、図のわかり易さと説明の便宜上、実際の大きさを正確に表していない。また、フレームレートとボール位置との関係も、図のわかり易さと説明の便宜上、投げられたボールの実際の動きを表したものではない。

＜本発明に係る動画像記録再生装置が記録する画像フレーム＞
図２は、通常のビデオレコーダ等が記録する画像フレームの例を示す図である。
フレームレート１８０ｆｐｓで、投げられたボールを撮影したものであり、フレーム１〜フレーム８までを示している。この画像フレームが、記録される。
図３は、図２と同様の動画像を、本発明に係る動画像記録再生装置が記録する画像フレームの例を示す図である。本図において、撮影された画像フレームは点線矩形で示し、記録する部分画像は実線矩形で示している。

本発明に係る動画像記録再生装置では、フレームレート６０ｆｐｓに該当する画像フレームは、その全体を記録し、他のフレームはボールを含む一部分の画像を記録する。
具体的には、フレーム１、フレーム４及びフレーム７のみが通常のフレームサイズの画像フレームとして記録され、他の画像フレームは、ボールを含む部分が画像フレームとして記録される。

次に、このボールを含む一部分の画像フレームを再生する場合について、図４を用いて説明する。
図４は、フレーム２を再生する場合の手順を示す図である。
フレーム１とフレーム４を合成して背景画像を生成し、さらにフレーム２の記録部分を合成して、背景画像にフレーム２を反映させることで全体フレーム２を生成する。

背景画像は、フレームタイミング位置により重み付けして合成する。例えば、フレームの各画素の輝度値等について加重平均をとる。具体的には、フレーム２の場合は、フレーム１の重み付けが「２」、フレーム４を「１」として画像を合成する等である。
部分画像を部分画像の位置情報に従ってはめ込むことでフレーム２を生成する。フレーム３の生成の場合も同様にして合成する。その際、重み付け比率は変更してフレーム３用の背景画像を生成することとしても、フレーム２の背景画像を使用することとしてもよい。

このように、高速撮影したフレームの動画像も、注目領域の動画像の画質は落ちることなく、かつ、注目領域の周辺の画像は、前後から補間するため、情報の欠落を最小限に抑えることができ、高速撮影動画像の再生においても、連続したフレーム画像を再生することが可能となる。
また、フレーム２やフレーム３の部分画像のサイズは、フレーム１とフレーム４のボールが隠れるサイズとする。本図では、矩形３０２がフレーム２を、矩形３０３がフレーム３を示している（フレーム３０１参照）。

この部分画像のサイズは、フレームレートや高速撮影したい対象、例えば、ボールの速度、ボールの画面上での移動距離等を勘案して決定する。
本図では、この矩形３０２と矩形３０３の共通部分である矩形３０４の画素データを除いたものを背景画像としている。フレーム２とフレーム３を生成する場合に、同一の背景画像を使用できるようにするためである。

以下、本発明にかかる動画像記録再生装置を説明する。本動画像再生装置は、フレームレート１８０ｆｐｓで撮影した動画像を、フレームレート１８０ｆｐｓ又はフレームを間引いて６０ｆｐｓで再生でき、撮影した動画像は、Ｈ．２６４規格で符号化して記録するものとする。また、フレームサイズは１９２０×１０８０（ピクセル）であり、部分画像のサイズは約１／２サイズの１２８０×７２０（ピクセル）とする。

＜構成＞
ここでは、本発明に係る動画像記録再生装置の機能を、図1を用いて説明する。
図１は、動画像記録再生装置の構成を示す機能ブロック図である。
まず、動画像記録再生装置１０００は、通常のビデオレコーダと同様に動画像を撮影する機能を有し、撮影された映像信号のデータは、メモリカード等の記録媒体３０００に記録されるものとする。

本実施形態では、記録媒体３０００は、動画像記録再生装置から取り外し可能な記録媒体を想定しているが、動画像記録再生装置内部の記憶領域であってもよい。
動画像記録再生装置１０００は、カメラ部１１１０、画像入力部１１００、被写体ロック部１２００、特定部分位置検出部１３００、記録フレーム生成部１４００、映像圧縮部１５００、フレームメモリ１６００、記録制御部１７００、ディスプレイ２１１０、画像表示部２１００、表示フレーム生成部２２００、再生フレームレート記憶部２３００、映像伸張部２４００、フレームメモリ２５００及び再生制御部２６００から構成される。

動画像記録再生装置１０００は、動画像を記録する機能と、動画像を再生する機能との２つの機能を有する。
＜動画像を記録する機能＞
まず、動画像を記録する機能を実現する機能部から説明する。
カメラ部１１１０は、レンズやＣＣＤ（Charge Couple Device）等を含み、ＣＣＤは、レンズによって集光された撮影対象からの反射光を電気信号に変換し、画像入力部１１００に出力する機能を有する。その際、ＣＣＤは、任意に設定された撮像フレームレートに沿って反射光を電気信号に変換する。

画像入力部１１００は、カメラ部１１１０から受け取った信号を、デジタル信号に変換し、このデジタル信号に、各種信号処理を施して画像フレーム（以下、「入力フレーム」と言う。）を生成し出力する。
次に、被写体ロック部１２００は、ユーザが録画したい被写体の特定部分を検出するための情報を記憶する機能を有する。例えば、ボールを特定部分としたい場合は、その画像の情報を記憶する。具体的には、高速撮影開始前に、主として撮影したい被写体の特定部分のテンプレートを作成するために、あらかじめ特定部分を認識し、そのエッジ（輪郭）情報を抽出し、特定部分テンプレート情報とする。

この特定部分テンプレート情報は、被写体ロック部１２００が有するテンプレート情報記憶部１２１０に記憶される。
特定部分位置検出部１３００は、撮影開始後、画面入力部１１００から出力される入力フレーム内の特定部分の位置を検出する機能を有する。
具体的には、テンプレート情報記憶部１２１０に記憶されている特定部分テンプレート情報を用いて、入力フレームから特定部分の検出を行い、特定部分の入力フレーム内での位置を求める。求めた位置の情報（以下、「特定部分位置情報」と言う。）は、記録フレーム生成部１４００に渡す。

更に、特定部分位置検出部１３００は、検出した特定部分から、最新のエッジ情報を抽出し、最新の特定部分テンプレート情報としてテンプレート情報記憶部１２１０に記憶する。次の入力フレームにおける特定部分の認識に使用する為である。
記録フレーム生成部１４００は、記録する為の画像を生成する機能を有する。生成する画像は、画像入力部１１００から出力された入力フレームそのもの（以下、「全体フレーム」と言う。）、又は、入力フレームの一部分の領域（以下、「部分フレーム」と言う。）の２種類である。このどちらの記録フレームを生成するかは、記録制御部１７００の指示による。

この記録フレーム生成部１４００は、特定部分切出部１４１０を含み、この特定部分切出部１４１０は、入力フレームから、特定部分を切り出して部分フレームを生成する機能を有する。
ここで切り出される部分フレームは、検出された特定部分位置情報に従って切り出された画像であり、特定部分を含んだ入力フレームより小さいフレームである。本実施形態では、入力フレーム及び全体フレームのサイズは１９２０×１０８０（ピクセル）であり、部分フレームのサイズは約１／２サイズの１２８０×７２０（ピクセル）である。

本記録フレーム生成部１４００は、生成した全体フレーム又は部分フレームを映像圧縮部１５００に出力するが、その際、全体フレームか部分フレームかを示す情報と、部分フレームである場合には、その部分フレームの入力フレームでの位置を示す情報とを出力する。
例えば、全体フレームか部分フレームかを示すフラグと、部分フレームの位置情報を含んだヘッダ情報とともに出力する。

映像圧縮部１５００は、記録フレーム生成部１４００から受け取った記録フレームを圧縮符号化し、記録媒体３０００に出力する機能を有する。この圧縮符号化を行う際に、全体フレームと部分フレームの区別等のヘッダ情報も記録媒体３０００に出力する。圧縮符号化の詳細は、図５〜図９を用いて後述する。
フレームメモリ１６００は、映像圧縮部１５００が符号化処理を行う際に使用するメモリであり、参照画像として用いるために、フレーム単位の画素データを蓄積するなどの機能を有する。

記録制御部１７００は、記録フレーム生成部１４００に対して、入力フレームから全体フレームを生成するか、部分フレームを生成するかの指示を出す機能を有する。
例えば、撮像フレームレートが１８０ｆｐｓである場合、連続して２つの入力フレームに部分フレームを生成する指示を出し、次の１つの入力フレームに全体フレームを生成する指示を出す。すなわち、２つの入力フレーム置きに、全体フレームを生成する旨の指示を出す。フレームレート６０ｆｐｓに該当する入力フレームからは全体フレームを生成し、他の入力フレームからは部分フレームを生成することになる（図３参照）。

＜動画像を再生する機能＞
次に、動画像を再生する機能を実現する機能部を説明する。
再生フレームレート記憶部２３００は、再生するフレームレートを記憶しておく機能を有する。本実施形態では、１８０ｆｐｓで撮影した動画を、１８０ｆｐｓ又は６０ｆｐｓで再生することが可能とする。したがって、このフレームレート記憶部２３００には、１８０ｆｐｓか６０ｆｐｓかを示す情報が記憶される。

再生制御部２６００は、再生フレームレート記憶部２３００を参照し、復号化する記録フレームを映像伸張部２４００に通知する。１８０ｆｐｓの場合は、全体フレームと部分フレームの両方を復号化する旨を、６０ｆｐｓの場合は、全体フレームのみを復号化する旨を通知する。
次に、映像伸張部２４００は、記録媒体３０００から圧縮符号化されている動画像データを読出し復号化する機能を有する。復号化は、再生制御部２６００からの通知に基づいて行い、全体フレームのみ、または、全体フレームと部分フレームとを復号化する。

さらに、映像伸張部２４００は、符号化後の全体フレーム及び部分フレームをフレームメモリ２５００に格納し、部分フレームの場合は、符号化後の部分フレームを表示フレーム生成部２２００に渡す機能を有する。
また、復号化した部分フレームを表示フレーム生成部２２００に渡す際には、部分フレームのヘッダ情報も渡すものとする。

フレームメモリ２５００は、映像伸張部２４００が復号化処理を行う際に使用するメモリであり、部分フレームの画素データや参照画像等として用いるための画素データなどを蓄積する機能を有する。また、映像伸張部２４００によって蓄積された全体フレームは、表示用のフレームとして使用される。
表示フレーム生成部２２００は、映像伸張部２４００から受信した部分フレームから表示用の画像フレーム（以下、「表示フレーム」と言う。）を生成し、フレームメモリ２５００に格納する機能を有する。表示フレームのサイズは、入力フレームと同じである。

すなわち、部分フレームを受信したら、部分フレームに背景を付加した表示フレームを生成してフレームメモリ２５００に格納する。尚、全体フレームの表示フレームは、映像伸張部２４００によってフレームメモリ２５００に蓄積されている。
本表示フレーム生成部２２００は、合成部２２１０と背景画像生成部２２２０とを含み、これらの機能部を用いて部分フレームから表示フレームを生成する。

背景画像生成部２２２０は、部分フレーム前後の高解像度の全体フレームから背景画像を生成する。
合成部２２１０は、部分フレームと、表示フレームサイズの背景画像とを合成する。具体的には、部分フレーム以外の領域は、背景画像生成部２２２０が生成した背景画像であり、部分フレーム領域は、部分フレームの画像をそのままはめ込む形で表示フレームを生成する（図４参照）。

画像表示部２１００は、フレームメモリ２５００から表示フレームを読み出し、再生フレームレートの映像信号を生成し、ディスプレイ２１１０に表示する。
尚、本機能ブロック図では、直接本発明に関係する機能部のみを図示し、通常のカメラレコーダが有している機能、例えば、撮像フレームレート等を設定する等のいわゆるユーザインターフェース等は図示しないものとする。

＜圧縮符号化について＞
本発明の動画像記録再生装置１０００で記録する画像データの圧縮符号化の詳細を、図５〜図９を用いて説明する。
図５は、１８０ｆｐｓと６０ｆｐｓで再生する画像フレームを示す図である。
動画像記録再生装置１０００は、フレームレート１８０ｆｐｓで撮影した動画像を、フレームレート１８０ｆｐｓ又は６０ｆｐｓで再生できるものである。

従って、このような再生処理を容易に行えるように、符号化処理を行う必要がある。
上段の記録データは、フレームレート１８０ｆｐｓで録画された動画像の記録データを示したものである。全体フレームと部分フレームが混在している。
この記録データからフレームレート６０ｆｐｓで再生する場合には、中段に示すように、全体フレームのみを表示する。

また、１８０ｆｐｓで再生する場合には、下段に示すように、部分フレームから全体フレームと同じサイズの表示フレームを生成して表示する。
図６は、記録フレームの参照関係を示す図である。
本図で、矢印はフレームの参照方向を指すものとする。例えば、フレーム４はフレーム１を参照する（矢印２００参照）。

本装置で、６０ｆｐｓで再生する場合は、図５に示すように全体フレームのみが必要であるため、参照されるフレームは全体フレームに限定しておく必要がある。すなわち、全体フレームは部分フレームを参照することはできないこととしておく必要がある。
但し、その逆、すなわち部分フレームは全体フレームを参照することはできることとする。部分フレームを復号するときは、必ず全体フレームは復号されるからである。

例えば、フレーム４は、フレーム６を参照することはできない（矢印２０２参照）が、フレーム６はフレーム４を参照することは可能である（矢印２０１参照）。
従って、符号化処理を行う場合、１／６０秒のタイミングの全体フレームと、1／１８０秒のタイミングの部分フレームとは、動き検出対象が異なるため、別シーケンスとして符号化するのが良い。すなわち、全体フレームは全体フレームで動き補償を行い、部分フレームは部分フレームも含めて動き補償を行う。

また、部分フレームは他の部分フレームを参照することは可能ではあるが、本実施形態では、部分フレームは参照されないピクチャとして記録するものとする。
図７は、アクセス・ユニットの構造例を示す図である。
圧縮された画像のビット・ストリームは、複数のＮＡＬ（Network Abstraction Layer）ユニットで構成され、ピクチャ単位にアクセスするために、いくつかのＮＡＬユニットをまとめた一区切りをアクセス・ユニットとしている。

本発明の画像フレームを圧縮したビット・ストリームであるアクセス・ユニット１００の例を説明する。
アクセス・ユニット１００は、その先頭を示すＡＵデリミタ１１０に続き、補足的な付加情報であるＳＥＩ（Supplemental Enhancement Information）１２０とピクチャデータ等で構成される。

ＡＵデリミタ１１０は、参照ピクチャであるか否かを示す参照情報１１１と、ＡＵデリミタのＮＡＬユニットであることを示す「９」で構成される。
部分フレームの場合は、参照情報１１１には非参照ピクチャである旨が設定され、全体フレームの場合は、その全体フレームに応じて設定される。
また、ＳＥＩ１２０は、サイズ情報１２１、画面サイズ１２２及び位置１２３を含む。

サイズ情報１２１は、アクセス・ユニット１００が、全体フレームのデータか部分フレームのデータかを示す情報であり、全体フレームの場合は「０」が、部分フレームの場合は「１」が設定されるものとする。
画像サイズ１２２は、フレームのサイズである。本実施形態では、部分フレームのサイズは固定とする。全体フレームの場合は、（Ｓｘ、Ｓｙ）には（１９２０、１０８０）であり、部分フレームの場合は、（Ｓｘ、Ｓｙ）には（１２８０、７２０）が設定される。

位置１２３は、部分フレームの入力フレーム内の位置を表す情報である。全体フレームの場合は、（Ｐｘ、Ｐｙ）には（０，０）が設定され、部分フレーム場合は、（Ｐｘ、Ｐｙ）は、以下のように設定される。
座標系１３０において、入力フレーム（点線矩形）の左上を（０、０）とし、部分フレーム（実線矩形）の左上を座標（Ｐｘ、Ｐｙ）で表す。

尚、これら画像サイズ１２２と位置１２３とは、部分フレームの場合のみ意味あるものとしてもよい。全体フレームは、（Ｓｘ、Ｓｙ）には（１９２０、１０８０）、（Ｐｘ、Ｐｙ）には（０，０）が必ず設定されるからである。
図８は、本発明における符号化処理で画像フレームを格納したフレームメモリを示す図である。

フレームメモリ１６９９は、通常のビデオカメラで撮影した画像フレーム（図２参照）を符号化する場合に、画像フレームの画素データを順に格納した例を示し、フレームメモリ１６００は、本願の動画像記録再生装置で撮影した画像フレーム（図３参照）を符号化する場合に、画像フレームの画素データを格納した例を示す。
本実施形態の場合、全体フレームは１９２０×１０８０（ピクセル）であり、部分フレームは約１／２サイズの１２８０×７２０（ピクセル）であることから、本願のフレームメモリの使用効率は、約１．５倍となる。

例えば、フレームメモリ１６９９でフレーム１〜フレーム７が格納されている領域には、本発明では、フレーム１〜フレーム１０が格納できることとなる。
また、図９は、本発明における符号化処理に要する時間を示す図である。
上段は、６０ｆｐｓの符号化能力をもつ符号化処理装置で、全体フレームを１８０ｆｐｓで処理させたときの符号化処理レートを示す図であり、下段は、全体フレームと部分フレームとを混在させて、１８０ｆｐｓで処理させたときの符号化処理レートを示す図である。

本実施形態の場合、約１．５倍の符号化処理性能を実現したのと同等の処理性能を発揮することができることになる。
従って、例えば、撮影フレームレートが符号化処理レートを超えて設定された場合に、特定部分を指定することで、撮影フレームレートで撮影が可能となる。
＜動作＞
次に、動画像記録再生装置１００の動作を説明する。

動画像を記録する処理と、動画像を再生する処理との２つの処理を説明する。
＜動画像を記録する処理＞
まず、動画像を記録する処理について、図１０を用いて説明する。
図１０は、動画像記録再生装置１００が行う動画像記録処理を表すフローチャートである。

ユーザは、１８０ｆｐｓで撮影する旨を指定し（ステップＳ１００）、主として撮影したい特定部分をロックする（ステップＳ１１０）。
具体的には、例えば、メニュー等から撮影フレームレートを選択し、液晶画面のビューファインダー内の所定の矩形内に特定部分を写し、ロック確定のボタンを押下する。
被写体ロック部１２００は、矩形内の特定部分を認識し、そのエッジ情報を抽出して、特定部分テンプレート情報としてテンプレート情報記憶部１２１０に記憶させる。

被写体ロック部１２００は、特定部分テンプレート情報をテンプレート情報記憶部１２１０に記憶させると、ロックが完了した旨をメッセージ等を表示することでユーザに特定部分の登録を通知する。
ユーザは、開始ボタン等を押下して撮影を開始する（ステップＳ１２０）。
撮影の開始は、ユーザインターフェース部（図示していない。）等を介して、記録制御部１７００に通知され、撮影開始通知を受けた記録制御部１７００は、各機能部に撮影開始の指示を出し、１８０ｆｐｓでタイミングを計り始める。

記録制御部１７００は、タイミングが６０ｆｐｓのタイミングとなったときは、その旨を記録フレーム生成部１４００に通知し、それ以外の１８０ｆｐｓのタイミングでは、６０ｆｐｓのタイミングではない旨を通知する。
撮影開始開始の指示を受け、カメラ部１１１０は、設定された撮像フレームレート１８０ｆｐｓで、被写体の反射光を電気信号に変換し、画像入力部１１００に送信する。

電気信号を受信した画像入力部１１００は、各種信号処理を施して入力フレームを生成し、特定部分位置検出部１３００と記録フレーム生成部１４００に送信する（ステップＳ１２５）。
入力フレームを受信した特定部分位置検出部１３００は、テンプレート情報記憶部１２１０に記憶されている特定部分テンプレート情報で入力フレームを検索し、特定部分の位置を検出し、特定部分位置情報として記録フレーム生成部１４００に送信する（ステップＳ１３０）。

同時に、特定部分位置検出部１３００は、検索した入力フレーム内の特定部分を被写体ロック部１２００に送信する。被写体ロック部１２００は、受信した特定部分を基に、テンプレート情報記憶部１２１０の特定部分テンプレート情報を更新する。
特定部分位置情報を受信した記録フレーム生成部１４００は、記録制御部１７００から６０ｆｐｓのタイミングである旨の通知があったときは（ステップＳ１４０：ＹＥＳ）、画像入力部１１００から受信した入力フレームを全体フレームとして映像圧縮部１５００に送信する。

全体フレームを受信した映像圧縮部１５００は、フレームメモリ１６００に格納する（ステップＳ１７０）。
一方、記録制御部１７００から６０ｆｐｓのタイミングでない旨の通知を受け取った記録フレーム生成部１４００は（ステップＳ１４０：ＮＯ）、特定部分切出部１４１０に、特定部分位置検出部１３００から受信した特定部分位置情報と入力フレームとを渡して、部分フレームを生成させる（ステップＳ１５０）。

記録フレーム生成部１４００は、特定部分切出部１４１０によって生成された部分フレームを映像圧縮部１５００に送信する。
部分フレームを受信した映像圧縮部１５００は、フレームメモリ１６００に格納する（ステップＳ１６０）。
フレームメモリ１６００に、記録フレーム、すなわち、全体フレーム又は部分フレームを格納した映像圧縮部１５００は、記録フレームを符号化し（ステップＳ１８０）、記録媒体３０００に記録する（ステップＳ１９０）。

撮影を終了する旨の指示があるまで、動画の記録処理ステップＳ１２５〜ステップＳ１９０の動画の記録処理を行い（ステップＳ１９５：ＮＯ）、撮影を終了する旨の指示があった場合は（ステップＳ１９５：ＹＥＳ）、処理を終了する。
＜動画像を再生する処理＞
次に、動画像を再生する処理について、図１１と図１２とを用いて説明する。

動画像記録再生装置１０００は、フレームレート１８０ｆｐｓ撮影した動画像を、１８０ｆｐｓ又はフレームを間引いて６０ｆｐｓで再生できる。１８０ｆｐｓで再生する処理と６０ｆｐｓで再生する処理とを、それぞれ図１１と図１２とを用いて説明する。
図１１は、フレームレート１８０ｆｐｓの動画像再生処理を表すフローチャートである。

ユーザは、１８０ｆｐｓで再生する旨を指定し（ステップＳ２００）、再生ボタン等を押下して再生を開始する（ステップＳ２０５）。
再生の開始は、ユーザインターフェース部（図示していない。）等を介して、再生制御部２６００に通知され、再生開始通知を受けた再生制御部２６００は、各機能部に再生開始の指示を出す。再生フレーム記憶部２３００には、ユーザが指定した再生フレームレートが、ユーザインターフェースによって記憶されているものとする。

再生開始の指示を受け、映像伸張部２４００は、記録媒体３０００から符号化された記録フレームのデータを、順次読み出す（ステップＳ２１０）。
映像伸張部２４００は、読み出したデータが全体フレームのものか部分フレームのものかを判断する（ステップＳ２２０）。具体的には、アクセス・ユニット１００（図７参照）のサイズ情報１２１を参照し、「０」ならば全体フレームのデータであり、「１」ならば部分フレームのデータであると判断する。

画像サイズが全体フレームであった場合には（ステップＳ２２０：全体）、全体フレームのサイズに応じた復号処理を行い（ステップＳ２３０）、フレームメモリ２５００に格納する（ステップＳ２７０）。
一方、画像サイズが部分フレームであった場合には（ステップＳ２２０：部分）、映像伸張部２４００は、部分フレームのサイズに応じた復号処理を行い（ステップＳ２４０）、復号した部分フレームはフレームメモリ２５００に一時的に格納し、表示フレーム生成部２２００に渡す。この際、アクセス・ユニット１００の画像サイズ１２２と位置１２３（図７参照）も渡す。

復号された部分フレームを受け取った表示フレーム生成部２２００は、背景画像生成部２２２０に、当該部分フレームの背景画像を生成するよう指示する。
指示を受けた背景画像生成部２２２０は、当該部分フレームの前後の全体フレームをフレームメモリ２５００から読み出して、背景画像を生成する（ステップＳ２５０）。
次に、表示フレーム生成部２２００は、背景画像生成部２２００が生成した背景画像と部分フレームの画像を合成して表示フレームを生成するよう、合成部２２１０に指示する。

指示を受けた合成部２２１０は、映像伸張部２４００から受信した画像サイズ１２２と位置１２３とを参照して、背景画像に部分フレームとを合成して表示フレームを生成する（ステップＳ２６０）。
表示フレーム生成部２２００は、合成部２２１０が生成した表示フレームをフレームメモリ２５００に格納する（ステップＳ２７０）。

画像表示部２１００は、フレームメモリ２５００に格納されている表示フレームを、再生フレームレートで表示する（ステップＳ２８０）。
再生を終了する旨の指示があるか、符号化された動画データがなくなるまで、動画の再生処理ステップＳ２１０〜ステップＳ２８０の動画の再生処理を行い（ステップＳ２９０：ＮＯ）、再生を終了する旨の指示があった場合又はデータが終了した場合は（ステップＳ２９０：ＹＥＳ）、処理を終了する。

次に、６０ｆｐｓで再生する処理を説明する。
図１２は、フレームレート６０ｆｐｓの動画像再生処理を表すフローチャートである。
フレームレート１８０ｆｐｓで再生する場合と異なる点のみ説明する。
異なる点は、ユーザが、６０ｆｐｓで再生する旨を指定すること（ステップＳ３００）と、６０ｆｐｓのフレームレートで表示する（ステップＳ３２０）ことの他に、部分フレームであった場合は（ステップＳ３１０：部分）、部分フレームの復号処理を行わず、当然に表示フレームの生成も行わないことである。すなわち、部分フレームを間引くことになる。他の処理は、図１１と同様である。

詳細には、映像伸張部２４００は、読み出した画像データが全体フレームか部分フレームかを判断し（ステップＳ３１０）、画像サイズが全体フレームであった場合には（ステップＳ３１０：全体）、全体フレームのサイズに応じた復号処理を行い（ステップＳ２３０）、フレームメモリ２５００に格納する（ステップＳ２７０）。
一方、画像サイズが部分フレームであった場合には（ステップＳ３１０：部分）、映像伸張部２４００は、何も処理を行わず、次の符号化されたフレームデータを読み出す（ステップＳ２１０）。

＜変形例１＞
実施形態１が、全体フレームと部分フレームを混在して記録していたのに対し、本変形例では、全体フレームと部分フレームを、それぞれ分けて記録する点が異なる。
図１３は、全体フレームと部分フレームを分けて記録する変形例１の概念図である。
このように記録することにより、フレームレート６０ｆｐｓの画像フレームである全体フレームのみを記録したファイルを、本発明以外の通常の再生装置でも、再生できるという利点がある。

本発明に係る動画像記録再生装置１００において、全体フレームと部分フレームを分けて記録したデータから、１８０ｆｐｓで再生する方法を以下に説明する。
まず、６０ｆｐｓの全体フレームのデータは、各アクセス・ユニット１００のＳＥＩ１２０（図７参照）に、補助データが存在することを示す情報を持つものとする。
本変形例では、各アクセス・ユニット１００のＳＥＩ１２０に含まれるピクチャ・タイミングＳＥＩを利用する。

全てのアクセス・ユニットは、ピクチャ・タイミングＳＥＩを含んでおり、このピクチャ・タイミングＳＥＩには、ＩＤＲ（Instantaneous Decoder Refresh）ピクチャの復号時刻からの差分値や、復号時刻と表示時刻の差分値が含まれ、ＩＤＲピクチャからの表示のタイミングを求めることができる。
尚、ＩＤＲピクチャとは、データストリームの区切りとなる画像データであり、その画像データより後の画像データは、それ以前のデータを用いなくても正しく復号できることを示すピクチャである。

従って、本変形例では、全体フレームの補助データが存在することを示す情報と、この表示タイミングとを用いて、正しい順序で表示することが可能となる。
具体的には、１８０ｆｐｓで再生する場合は、ＩＤＲピクチャの表示タイミングから、１／１８０秒ごとの表示タイミングを持つフレームを、６０ｆｐｓの全体フレームのデータと補助データとから検索して表示する。

また、補助データがデータストリームの一部分にのみ存在する場合であっても、その部分のみを、補助データを用いて高速再生やスロー再生等を行うことができるという利点がある。
＜変形例２＞
実施形態１では、部分フレームは、１２８０×７２０（ピクセル）の画像として記録しているが（図３参照）、本変形例では、全体フレームと同じ１９２０×１０８０（ピクセル）の画像として記録するものである。

図１４は、変形例２で記録する画像フレームを表した図である。
本図における画像フレームの斜線部分は、所定の一色で塗りつぶしていることを表す。
実施形態１で部分フレームとして記録していたフレーム２、フレーム３等を、当該部分フレームの部分以外は一色とした全体フレームで記録する。
このように記録することで、従来に比べ次の点で利点がある。

まず、画像フレーム内に変化が少ないことから、圧縮符号化した場合のデータ量が小さくなり、また、符号化処理の負荷も小さくなる。
また、通常の再生装置であっても、再生が可能である。
本変形例の場合、例えば、記録フレーム生成部１４００において、特定部分を切り出して、それ以外は一色の全体フレームを生成する。
＜実施形態２＞
＜概要＞
実施形態１では、1台のカメラで動画像を撮影したが、本実施形態では、２台のカメラで動画像を撮影し、実施形態１と同様の画像データを記録するものである。

＜構成＞
図１５は、実施形態２の動画像記録装置の構成を示す機能ブロック図である。
本実施形態における動画記録装置２０００は、カメラ（４１１０、５１１０）、画像入力部（４１００、５１００）、特定位置検出部４２００、記録フレーム生成部４４００、被写体ロック部１２００、録画制御部１７００、映像圧縮部１５００及びフレームメモリ１６００で構成される。

被写体ロック部１２００、録画制御部１７００、映像圧縮部１５００及びフレームメモリ１６００は、実施形態１と同様の機能を有する。
また、カメラ（４１１０、５１１０）、画像入力部（４１００、５１００）、特定位置検出部４２００、記録フレーム生成部４４００は、基本的には、実施形態１のカメラ１１１０、画像入力部１１００、特定位置検出部１３００、記録フレーム生成部１４００と同様の機能を有するが、異なる点を以下に説明する。

本動画記録装置２０００は、２系統のカメラを備えており、第１系統は高速低解像度で撮影するカメラ４１１０、第２系統は低速高解像度で撮影するカメラ５１１０を備えておりを備えている。
具体的には、第１系統のカメラは、部分フレームと同じ１２８０×７２０（ピクセル）の画像をフレームレート１８０ｆｐｓで撮影し、第２系統のカメラは、全体フレームと同じ１９２０×１０８０（ピクセル）の画像をフレームレート６０ｆｐｓで撮影するものとする。

特定部分をズームして記録するのが、第１系統であり、被写体の全体の動きを記録しているのが、第２系統である。
つまり、第１系統の高速低解像度のカメラ４１１０が、第２系統の低速高解像度カメラ５１１０が撮影している映像の一部を詳細に撮影している。
すなわち、実施形態１で説明した、全体フレームを第２系統で撮影し、部分フレームを第１系統で撮影する。

画像入力部（４１００、５１００）は、それぞれのカメラ部（４１１０、５１１０）から受け取った信号を、デジタル信号に変換し、このデジタル信号に、各種信号処理を施して、それぞれの画素数の画像フレームを生成し、特定部分位置検出部４２００に出力する。
以下、第１系統の画像入力部４１００が出力する画像フレームを「部分フレーム」と、第２系統の画像入力部５１００が出力する画像フレームを「全体フレーム」と言うものとする。

特定部分位置検出部４２００は、部分フレームの画像が全体フレームの画像の内の何処の位置に存在するかの位置検出を行う。
検出された結果である位置情報は、記録フレーム生成部４４００に送られ、また、カメラ部４１１０のカメラ制御アクチュエータ（図示していない。）へとフィードバックし、カメラの撮影画像の位置を変更するように制御する。

検出された位置情報とともに、部分フレームを、記録フレーム生成部４４００に出力する。
記録フレーム生成部４４００は、録画制御部１７００からの指示に従い、全体フレームと部分フレームのどちらかを映像圧縮部１５００に出力する。
すなわち、実施形態１で説明したような特定部分の切り出し等の処理が不要となる。

従って、高解像度かつ高速なセンサーが搭載されていない装置であっても、実施形態１の動画像記録再生装置と同様の効果を容易に得ることができるようになる。
さらに、本実施形態のように２系統のカメラをつなぐことで、部分フレームの切り出しのための処理が不要となるほか、センサーの感度が得られない場合や、より高速撮影等の実現可能性が広がるという利点がある。

＜補足＞
以上、本発明に係る動画像記録再生装置について実施形態に基づいて説明したが、部分的に変形することもでき、本発明は上述の実施形態に限られないことは勿論である。即ち、
（１）実施形態では、全体フレームのサイズを１９２０×１０８０（ピクセル）、また部分フレームのサイズを１２８０×７２０（ピクセル）としたがこの限りではない。

また、実施形態では、部分フレームのサイズは固定としていたが、可変であってもよい。例えば、特定部分の変化に従い変化するなどである。
（２）実施形態では、被写体の特定部分の認識手段として、エッジ検出によるテンプレート作成例をあげたが、被写体を認識できる機能があればよく、この方法に依存するものではない。
（３）実施形態では、フレームレートが１８０ｆｐｓと６０ｆｐｓとの場合で説明したが、他のフレームレートでももちろん良い。

また、実施形態では、再生フレームレートを指定することにより、復号するフレームを指定するとともに表示するフレームレートを指定していたが、復号するフレームと表示するフレームレートを別々に指定することとしてもよい。
具体的には、本実施形態では、撮影時のフレームレートを１８０ｆｐｓとして撮影し、全てのフレームを復号して１８０ｆｐｓで表示する場合（図１１参照）と、１８０ｆｐｓで撮影した動画像のフレームを間引いて復号して６０ｆｐｓで表示する場合（図１２参照）を説明した。しかし、１８０ｆｐｓで撮影された全てのフレームを復号して６０ｆｐｓで表示、すなわち、スロー再生したり、２４０ｆｐｓで高速表示したりすることとしてもよい。

この場合、再生フレームレート記憶部２３００に、復号するフレームを指定する復号フレームレートと表示するフレームレートを指定する表示フレームレートとを記憶しておくこととし、再生制御部２６００は、復号フレームレートを映像伸張部２４００に通知し、画像表示部２１００は、表示フレームレートで表示フレームを表示することになる。
また、実施形態では、全体フレームと部分フレームが定期的に記録されているが、ランダムに記録されても良い。この場合は、例えば、背景が所定以上に変化した場合にのみ全体フレームを記録するなどすることで、背景の変化に対応しつつ、データ量を削減することができるようになる。
（４）実施形態では、部分フレームの背景画像を生成する場合に、部分フレームの前後の全体フレームから生成したが、過去の全体フレームからのみ生成することとしてもよい。この場合、読み出すフレームデータが1枚となる。
（５）動画像記録再生装置は、図１の各構成要素の全部又は一部を、１チップ又は複数チップの集積回路で実現してもよい。例えば、本図の集積回路９０００、集積回路９１００である。
（６）動画像記録再生装置は、図１の各構成要素の全部又は一部を、コンピュータのプログラムで実現してもよいし、その他どのような形態で実施してもよい。

コンピュータプログラムの場合、メモリカード、ＣＤ−ＲＯＭなどいかなる記録媒体に書き込まれたものをコンピュータに読み込ませて実行させる形にしてもよいし、ネットワークを経由してプログラムをダウンロードして実行させる形にしてもよい。
＜従来技術の詳細について＞
以下、従来技術について、図１７を用いて説明する。

動き検出部２は、画像入力部１が撮像した画像を元に、予め設定された領域のいずれかで動きを検出すると、当該領域に対応するアラームをエリア情報管理部３とアラーム入力処理部８とに出力する。
エリア情報管理部３は、入力されたアラームに対応する領域の座標位置情報を領域の識別情報とともにエリア検出部４に出力する。

エリア検出部４は、入力された座標位置情報に基づいて画像入力部１から入力される画像から座標位置情報の領域を切り出して、入力された領域の識別情報とともに画像蓄積選択部５に出力する。
画像蓄積選択部５は、入力された画像情報を領域に対応した画像保存部（６ａ〜６ｎ）に蓄積する。

一方、アラームを受信したアラーム入力処理部８は、時刻管理部９やアラーム対応エリア設定部１０から、時刻やアラームに対応するエリアの情報を収集し、アラーム保存管理部１１に保存する。
ネットワーク等に接続されたモニタ端末に、通信部１２を介して、アラーム保存管理部１１に保存されているアラーム情報と、画像出力選択部７によって選択された画像保存部（６ａ〜６ｎ）の画像を送信する。

この従来技術の構成および方法では、フレームレート（1秒間あたりの撮影枚数）が多い高速撮影や高速連写となった場合に、フレームメモリ容量を削減するために、縮小画像や切り出し画像のみを蓄積してしまうと、切り出した映像しか再生できず、情報量が欠落してしまうことになるという不都合があった。
また、ムービーやデジカメで、高速撮影を行ったとしても、通常通りの動画（３０ｆｐｓ、６０ｆｐｓ）を見たい場合、もしくは、写真を間引いてみたい場合に、切り出した映像しか見ることが出来ないという不都合があった。

本発明にかかる高速フレーム画像生成装置は、ビデオカメラやデジタルカメラおよび高速度撮影カメラにおいて、安価でかつ高解像度な映像を高速に撮影することを可能とするものとして有用である。また、カメラシステムであればいずれにとっても有用である。

動画像記録再生装置の構成を示す機能ブロック図である。 通常のビデオレコーダ等が記録する画像フレームの例を示す図である。 図２と同様の動画を、本発明に係る動画像記録再生装置が記録する画像フレームの例を示す図である。 フレーム２を再生する場合の手順を示す図である。 １８０ｆｐｓと６０ｆｐｓで再生する画像フレームを示す図である。 記録フレームの参照関係を示す図である。 アクセス・ユニットの構造例を示す図である。 本発明における符号化処理で画像フレームを格納したフレームメモリを示す図である。 本発明における符号化処理時間を示す図である。 動画像記録再生装置１００が行う動画像記録処理を表すフローチャートである。 フレームレート１８０ｆｐｓの動画像再生処理を表すフローチャートである。 フレームレート６０ｆｐｓの動画像再生処理を表すフローチャートである。 全体フレームと部分フレームを分けて記録する変形例１の概念図である。 変形例２で記録する画像フレームを表した図である。 実施形態２の動画像記録装置の構成を示す機能ブロック図である。 従来技術の撮影画面例を示す図である。 従来の監視カメラの構成図である。

符号の説明

１０００ 動画像記録再生装置
１１００ ４１００ ５１００ 画像入力部
１１１０ ４１１０ ５１１０ カメラ部
１２００ 被写体ロック部
１３００ ４２００ 特定部分位置検出部
１４００ ４４００ 記録フレーム生成部
１５００ 映像圧縮部
１６００ ２５００ フレームメモリ
１７００ 記録制御部
２０００ 動画像記録装置
２１００ 画像表示部
２１１０ ディスプレイ
２２００ 表示フレーム生成部
２３００ 再生フレームレート記憶部
２４００ 映像伸張部
２６００ 再生制御部
３０００ 記録媒体

Claims (9)

1. １又は複数の記録媒体に記録されている撮影画像を、再生する動画像再生装置であって、
   前記記録媒体に記録されている撮影画像は、所定のフレームレートで撮影された複数の画像フレームで構成され、第１群の画像フレームのサイズは、第２群の画像フレームより小さいサイズであり、
   前記記録媒体に記録されている画像フレームは、それぞれ表示するタイミングを示すタイムスタンプ情報を有し、前記第１群の画像フレームと前記第２群の画像フレームとは、それぞれが別の連続領域に記録されており、
   前記動画像再生装置は、
   前記記録媒体から、撮影画像を構成する画像フレームを読み出す読出手段と、
   前記読出手段で読み出した画像フレームから表示フレームを生成する生成手段とを備え、
   前記生成手段は、画像フレームが第1群の画像フレームである場合は、第２群の画像フレームと当該第１群の画像フレームとから表示フレームを生成し、
   前記読出手段は、前記タイムスタンプ情報に基づいて、順次、画像フレームを読み出し、前記生成手段に表示フレームを生成させる
   ことを特徴とする動画像再生装置。
2. １又は複数の記録媒体に記録されている撮影画像を、再生する動画像再生装置であって、
   前記記録媒体に記録されている撮影画像は、所定のフレームレートで撮影された複数の画像フレームで構成され、第１群の画像フレームのサイズは、第２群の画像フレームより小さいサイズであり、
   前記記録媒体に記録されている画像フレームは、それぞれ表示するタイミングを示すタイムスタンプ情報を有し、前記第１群の画像フレームと前記第２群の画像フレームとは、それぞれが別の記録媒体に記録されており、
   前記動画像再生装置は、
   前記記録媒体から、撮影画像を構成する画像フレームを読み出す読出手段と、
   前記読出手段で読み出した画像フレームから表示フレームを生成する生成手段とを備え、
   前記生成手段は、画像フレームが第1群の画像フレームである場合は、第２群の画像フレームと当該第１群の画像フレームとから表示フレームを生成し、
   前記読出手段は、前記タイムスタンプ情報に基づいて、順次、画像フレームを読み出し、前記生成手段に表示フレームを生成させる
   ことを特徴とする動画像再生装置。
3. 第１群の画像フレームのサイズが、第２群の画像フレームより小さいサイズであるとは、第１群の画像フレームは、一部分のサイズが第２群の画像フレームより小さいサイズであり、当該一部分以外の部分を所定の色とした画像フレームである
   ことを特徴とする請求項１または２記載の動画像再生装置。
4. １又は複数の記録媒体に記録されている撮影画像を、再生する動画像再生方法であって、
   前記記録媒体に記録されている撮影画像は、所定のフレームレートで撮影された複数の画像フレームで構成され、第１群の画像フレームのサイズは、第２群の画像フレームより小さいサイズであり、
   前記記録媒体に記録されている画像フレームは、それぞれ表示するタイミングを示すタイムスタンプ情報を有し、前記第１群の画像フレームと前記第２群の画像フレームとは、それぞれが別の連続領域に記録されており、
   前記動画像再生方法は、
   前記記録媒体から、撮影画像を構成する画像フレームを読み出す読出ステップと、
   前記読出ステップで読み出した画像フレームから表示フレームを生成する生成ステップとを含み、
   前記生成ステップは、画像フレームが第１群の画像フレームである場合は、第２群の画像フレームと当該第１群の画像フレームとから表示フレームを生成し、
   前記読出ステップは、前記タイムスタンプ情報に基づいて、順次、画像フレームを読み出す
   ことを特徴とする動画像再生方法。
5. １又は複数の記録媒体に記録されている撮影画像を、再生する動画像再生装置の集積回路であって、
   前記記録媒体に記録されている撮影画像は、所定のフレームレートで撮影された複数の画像フレームで構成され、第１群の画像フレームのサイズは、第２群の画像フレームより小さいサイズであり、
   前記記録媒体に記録されている画像フレームは、それぞれ表示するタイミングを示すタイムスタンプ情報を有し、前記第１群の画像フレームと前記第２群の画像フレームとは、それぞれが別の連続領域に記録されており、
   前記動画像再生装置の集積回路は、
   前記記録媒体から、撮影画像を構成する画像フレームを読み出す読出手段と、
   前記読出手段で読み出した画像フレームから表示フレームを生成する生成手段とを備え、
   前記生成手段は、画像フレームが第1群の画像フレームである場合は、第２群の画像フレームと当該第１群の画像フレームとから表示フレームを生成し、
   前記読出手段は、前記タイムスタンプ情報に基づいて、順次、画像フレームを読み出し、前記生成手段に表示フレームを生成させる
   ことを特徴とする集積回路。
6. 被写体の動画を記録する動画像記録装置であって、
   所定のフレームレートで、動画を構成する画像フレームを順次出力する撮像手段と、
   前記撮像手段で出力された画像フレームのうち、所定数おきの画像フレームは画像フレームの全体を、他の画像フレームは当該画像フレームの一部分を、１又は複数の記録媒体に記録する録画手段とを備え、
   前記記録媒体に記録されている画像フレームは、それぞれ表示するタイミングを示すタイムスタンプ情報を有し、全体が記録される画像フレームと一部分が記録される画像フレームとは、それぞれが別の連続領域に記録されている
   ことを特徴とする動画像記録装置。
7. 一部分が記録される画像フレームは、当該一部分以外の部分を所定の色とした画像フレームである、請求項６記載の動画像記録装置。
8. 被写体の動画を記録する動画像記録方法であって、
   所定のフレームレートで、動画を構成する画像フレームを順次出力する撮像ステップと、
   前記撮像ステップで出力された画像フレームのうち、所定数おきの画像フレームは画像フレームの全体を、他の画像フレームは当該画像フレームの一部分を、１又は複数の記録媒体に記録する録画ステップとを含み、
   前記記録媒体に記録されている画像フレームは、それぞれ表示するタイミングを示すタイムスタンプ情報を有し、全体が記録される画像フレームと一部分が記録される画像フレームとは、それぞれが別の連続領域に記録されている
   ことを特徴とする動画像記録方法。
9. 被写体の動画を記録する動画像記録装置の集積回路であって、
   所定のフレームレートで、動画を構成する画像フレームを順次出力する撮像手段と、
   前記撮像手段で出力された画像フレームのうち、所定数おきの画像フレームは画像フレームの全体を、他の画像フレームは当該画像フレームの一部分を、１又は複数の記録媒体に記録する録画手段とを備え、
   前記記録媒体に記録されている画像フレームは、それぞれ表示するタイミングを示すタイムスタンプ情報を有し、全体が記録される画像フレームと一部分が記録される画像フレームとは、それぞれが別の連続領域に記録されている
   ことを特徴とする集積回路。

Images