JP4669902B2 - 映像記録装置、多重方法、プログラム、及び記録媒体 - Google Patents

Description

本発明は、ビデオカメラ等の映像記録装置に関し、特に映画におけるスローモーション効果やクイックモーション効果をフィルムではなく電子的なフレームレート変換処理により得るために好適な映像記録装置、及びこの映像記録装置を構成する際に用いる映像記録装置、多重方法、プログラム、及び記録媒体に関するものである。

従来、映像記録装置においては、映画におけるスローモーション効果やクイックモーション効果を、撮影フィルムの早回しや遅回しにより記録フレームレートを変更することで実現していた。

しかし、近年、半導体技術、コンピュータ技術、及び高密度記録技術の進展により、放送機器システムの画質及び性能が飛躍的に向上した。その結果、従来はフィルムによって撮影や編集が行われていた映画を、ＶＴＲやコンピュータベースのノンリニア編集機を用いた電子シネマシステムで制作する動きが活発化してきた。その中で、撮像部のＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）駆動方法を制御することで、撮像時のフレームレートを任意の値に設定できるマルチフレームレート対応撮像装置を用い、スローモーション効果やクイックモーション効果を電子的に実現することが可能なものがあった。

例えば、非特許文献１には、マルチフレームレート対応撮像装置を用いてスローモーション効果やクイックモーション効果を電子的に実現可能なＶＴＲが記載されている。この装置では、４フレーム／秒から６０フレーム／秒まで１フレーム／秒単位で可変してＣＣＤをプログレッシブ駆動させることが可能である。以下の説明では簡単のため、このときの撮影フレームレートをＸフレーム／秒とし、ＣＣＤ出力の映像信号をＸｐ映像信号と呼ぶ。なお、非特許文献１の例では１フレーム／秒単位で可変しているが、Ｘは必ずしも整数にする必要は無く、実数の範囲で任意に設定可能である。

ＣＣＤ出力はＸｐ映像信号であるが、マルチフレームレート対応撮像装置が有するＶＴＲ部には、各フレームを１回もしくは複数回繰り返す、いわゆるプルダウン処理により６０フレーム／秒に変換した６０ｐ映像信号として記録する。この際にＶＴＲとしてはフレームごとに圧縮処理が完結する、いわゆるフレーム内圧縮を用いたＶＴＲが用いられている。

すなわち、マルチフレームレート対応撮像装置には、ＥＶＦ（電子ビューファインダ）と呼ばれる液晶パネルなどから構成されるビューファインダが備えられている。このＥＶＦは、通常６０ｐ映像信号のみを表示することが出来、例えば１２フレーム／秒で撮像された映像信号をそのままのフレームレートで表示することが出来ない。従って、ＣＣＤ出力であるＸｐ映像信号をＥＶＦで表示出来るようにするために、Ｘｐ映像信号をＥＶＦが表示出来る６０ｐ映像信号にプルダウン処理を施す必要がある。このようにプルダウン処理された６０ｐ映像信号が、ＶＴＲに記録される。

再生時には、テープからはプルダウン処理された６０ｐ映像信号が再生される。この映像信号に対してフレームレートコンバーターと呼ばれる特殊な装置を用い、プルダウン処理前のＸｐ映像信号を抜き取るとともに、時間軸を変化させて２４フレーム／秒に変換し、２４ｐ映像信号として編集用ＶＴＲに記録することでスローモーション効果やクイックモーション効果を得ている。

田口勝行、並川実著 「バリアブルフレームレート機能という技術」写真工業出版社 「ビデオα」２００３年４月号 ＶＯＬ．１９／ＮＯ．４／通巻１８０

しかしながら、従来の映像記録装置においては、本来はＸｐ映像信号を記録すれば良いところを、フレーム内圧縮を用いたＶＴＲにプルダウン後の６０ｐ映像信号を記録しているため、記録媒体の消費量が多くなっていた。

また、ＶＴＲからの再生後にＸｐ映像信号の抜き取りと、２４ｐ映像信号への時間軸変換を行うために、フレームレートコンバーターという特殊な装置が必要となっていた。

本発明は前記課題に鑑み、記録媒体の消費量が少なく、再生時に特殊な装置を必要としない映像記録装置、多重方法、プログラム、及び記録媒体を提供することを目的とするものである。

上述した課題を解決するために、第１の本発明は、
外部から再生フレームレートと、前記再生フレームレートに対して少なくとも低い値を持つ記録フレームレートと、を予め設定可能である映像記録装置であって、
映像信号を圧縮符号化して生成された圧縮映像データに対し、復号処理に関する時刻を規定する時刻管理情報を多重して、複数のパケットから構成されたシステムストリームを出力する多重手段と、
前記システムストリームを構成する前記パケットに、再生処理に関する時刻を規定するパケット再生時刻情報を多重して、多重後の前記システムストリームを記録媒体に記録可能な記録手段とを備え、
入力されてくる前記映像信号の記録フレームレートが、Ｘフレーム／秒（Ｘは実数）であり、前記システムストリームを記録再生および復号した後に得られる再生映像信号において予め設定されている再生フレームレートがＹフレーム／秒（Ｙは実数）である場合に、ＸとＹとが異なっている場合、前記多重手段は、前記再生フレームレートＹに対応した前記時刻管理情報と前記圧縮映像データとを多重し、
ＸとＹとが異なっている場合、前記記録手段は、ＸとＹとが同一である場合のパケット再生時刻情報を基準パケット再生時刻情報としたとき、連続する前記パケット再生時刻情報の値の差が対応する前記基準パケット再生時刻情報の値の差に対して実質上Ｘ／Ｙ倍になるような前記パケット再生時刻情報を演算により求め、前記パケット再生時刻情報を前記基準パケット再生時刻情報から変更して多重し、
前記記録手段は、前記パケット再生時刻情報を前記演算により求める際、対応する前記パケット再生時刻情報の差を複数の値から選択することにより決定し、その選択結果の平均値が前記基準パケット再生時刻情報の差のＸ／Ｙ倍になるように前記パケット再生時刻情報を演算により求める、映像記録装置である。
また、第２の本発明は、
前記多重手段は、前記時刻管理情報を生成するための、周波数が前記記録フレームレートと前記再生フレームレートとが同一である場合に用いる基準値から変更可能であるクロックを有し、
前記記録フレームレートと、前記再生フレームレートとが異なっている場合、前記多重手段は、前記クロックの周波数を前記基準値から変更し、その変更した周波数を前記時刻管理情報の生成に用いる、第１の本発明の映像記録装置である。
また、第３の本発明は、
前記多重手段は、前記クロックの周波数をＸとＹとが等しい場合の前記基準値に対してＸ／Ｙ倍に変更して、その変更した周波数を前記時刻管理情報の生成に用いる、第２の本発明の映像記録装置である。
また、第４の本発明は、
前記多重手段は、ＸとＹとが等しい場合に生成される時刻管理情報を基準時刻管理情報としたとき、前記時刻管理情報間の値の差が対応する前記基準時刻管理情報間の値の差に対してＸ／Ｙ倍になるような前記時刻管理情報を演算により求める、第１の本発明の映像記録装置である。
また、第５の本発明は、
前記圧縮映像データに加え、音声データが入力される場合であって、（１）前記記録フレームレートと、前記再生フレームレートとが等しい場合、入力されてくる前記音声データのサンプリング周波数を変えずに前記音声データを記録音声データとして出力し、（２）前記記録フレームレートと、前記再生フレームレートとが異なっている場合、入力されてくる前記音声データのサンプリング周波数を異なる周波数に変換して記録音声データとして出力する音声変換手段を備え、
前記多重手段は、出力された前記記録音声データを前記システムストリームに多重する、第１の本発明の映像記録装置である。
また、第６の本発明は、
ＸとＹとが異なっている場合、前記音声変換手段は、入力されてくる前記音声データのサンプリング周波数をＸ／Ｙ倍の周波数に変換する、第５の本発明の映像記録装置である。
また、第７の本発明は、
入力される前記映像信号を圧縮符号化し、前記圧縮映像データを出力する映像符号化手段を備えた、第１の本発明の映像記録装置である。
また、第８の本発明は、
前記圧縮映像データは、入力されてくる前記映像信号の一部のフレームをフレーム間圧縮することで生成される、第１の本発明の映像記録装置である。
また、第９の本発明は、
前記多重手段はＭＰＥＧ規格に対応した多重化を行う多重化手段であり、前記時刻管理情報は復号及び出力（表示）のタイミング基準となるＰＣＲまたはＳＣＲ、復号後の各フレームの出力タイミングを示すＰＴＳ、復号のタイミングを示すＤＴＳを含む、第１の本発明の映像記録装置である。
また、第１０の本発明は、
前記圧縮映像データは、撮像時のフレームレートを可変できる撮像装置により撮像され入力されてくる前記映像信号から生成される、第１の本発明の映像記録装置である。
また、第１１の本発明は、
前記多重手段には、前記圧縮映像データに加え、音声データが入力され、（１）前記記録フレームレートと、前記再生フレームレートとが等しい場合、前記多重手段は、入力された前記音声データを前記システムストリームに多重し、（２）前記記録フレームレートと、前記再生フレームレートとが異なっている場合、前記多重手段は、入力された前記音声データを前記システムストリームに多重しない、第１の本発明の映像記録装置である。
また、第１２の本発明は、
外部から再生フレームレートと、前記再生フレームレートに対して少なくとも低い値を持つ記録フレームレートと、を予め設定する設定ステップと、
映像信号を圧縮符号化して生成された圧縮映像データに対し、復号処理に関する時刻を規定する時刻管理情報を多重して、複数のパケットから構成されたシステムストリームを出力する多重ステップと、
前記システムストリームを構成する前記パケットに、再生処理に関する時刻を規定するパケット再生時刻情報を多重して、多重後の前記システムストリームを記録媒体に記録する記録ステップとを備え、
入力されてくる前記映像信号の記録フレームレートが、Ｘフレーム／秒（Ｘは実数）であり、前記システムストリームを記録再生および復号した後に得られる再生映像信号において予め設定されている再生フレームレートがＹフレーム／秒（Ｙは実数）である場合に、ＸとＹとが異なっている場合、前記多重ステップは、前記再生フレームレートＹに対応した前記時刻管理情報と前記圧縮映像データとを多重し、
ＸとＹとが異なっている場合、前記記録ステップは、ＸとＹとが同一である場合のパケット再生時刻情報を基準パケット再生時刻情報としたとき、連続する前記パケット再生時刻情報の値の差が対応する前記基準パケット再生時刻情報の値の差に対して実質上Ｘ／Ｙ倍になるような前記パケット再生時刻情報を演算により求め、前記パケット再生時刻情報を前記基準パケット再生時刻情報から変更して多重し、
前記記録ステップでは、前記パケット再生時刻情報を前記演算により求める際、対応する前記パケット再生時刻情報の差を複数の値から選択することにより決定し、その選択結果の平均値が前記基準パケット再生時刻情報の差のＸ／Ｙ倍になるように前記パケット再生時刻情報を演算により求める、多重方法である。
また、第１３の本発明は、
第１の本発明の映像記録装置の、ＸとＹとが異なっている場合、前記再生フレームレートＹに対応した前記時刻管理情報と前記圧縮映像データとを多重する前記多重手段、および、前記パケット再生時刻情報を前記演算により求める際、対応する前記パケット再生時刻情報の差を複数の値から選択することにより決定し、その選択結果の平均値が前記基準パケット再生時刻情報の差のＸ／Ｙ倍になるように前記パケット再生時刻情報を演算により求める前記記録手段としてコンピュータを機能させるプログラムである。
また、第１４の本発明は、
第１３の本発明のプログラムを記録した記録媒体であって、コンピュータにより処理可能な記録媒体である。

本発明の映像記録装置、多重方法、プログラム、及び記録媒体は、上記構成を有し、有効フレーム（Ｘ映像信号）のみを記録することで、記録媒体の消費量が少ない映像記録装置を提供することができる。さらに、予め設定された再生フレームレートに合わせて圧縮符号化処理、多重処理を行うため、再生時に特殊な装置を必要としない映像記録装置を提供することができる。

本発明の実施の形態１における映像記録装置を用いた撮像記録装置のブロック図 図１の各部の信号波形図 本発明の実施の形態１における映像記録装置２の詳細ブロック図 図１及び図３各部の信号波形図 ビットバッファ３６のデータ容量と、再生時の復号処理を想定したＶＢＶバッファ容量とを示す図 レート制御手段３２における処理手順を示す図 ＳＴＣクロック生成手段５３に追加すべき構成を示すブロック図 スローモーションの場合の、図１及び図３各部の信号波形図 スローモーションの場合の、ビットバッファ３６のデータ容量と、再生時の復号処理を想定したＶＢＶバッファ容量とを示す図 本発明の実施の形態２における映像記録装置２のブロック図 ＭＰＥＧ２−ＴＳを記録部２３に記録する際のパケットタイミング保存の概念図 ＡＴＳが付加されたＴＳパケットの例 ＡＴＳを付加されたＴＳパケットの再生タイミングを再現する回路例 撮影フレームレートの値Ｘ＝（８／１．００１）ｆｐｓである場合の各部動作を示すタイミング図 撮影フレームレートの値Ｘ＝１４．９８５ｆｐｓである場合の各部動作を示すタイミング図 撮影フレームレートの値Ｘ＝１４．９８５ｆｐｓでＴＳパケット間隔の端数対策を行った場合の各部動作を示す図 ＡＴＳ値生成手段９０の構成例を示すブロック図

以下、本発明の映像記録装置および多重方法について、図面を参照しながら説明する。

（実施の形態１）
図１に本発明の実施の形態１における映像記録装置を用いた撮像記録装置のブロック図を示す。

図１において、１は撮像装置である。２は映像記録装置である。３は電子ビューファインダー（以下、ＥＶＦと略する）である。４はマイクである。５は制御部である。６は６０ｐ映像信号である。７は６０ｐ映像信号からＣＣＤ１０の出力であるＸｐ映像信号に相当する有効フレームを抜き取るための有効フレームフラグである。

また、１０はプログレッシブ走査可能なＣＣＤである。１１はフレームメモリである。１２はカメラのプロセス処理を行うカメラ処理部である。１３はＣＣＤ駆動回路である。１４はマルチフレームレートに対応する駆動パルスを切り替え出力する駆動パルス切換回路である。

さらに、２０は６０ｐ映像信号から有効フレームを抜き取り、Ｘｐ映像信号として出力する有効フレーム抽出部である。２１はＸｐ映像信号をＭＰＥＧビデオ圧縮符号化し圧縮映像データを出力する映像符号化部である。２２は入力された圧縮映像データや、圧縮音声データに、復号処理に関する時刻を規定する時刻管理情報や、その他必要な情報を多重してＭＰＥＧ−ＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）形式のシステムストリームを出力するＴＳ多重部である。２３はシステムストリームを記録媒体に記録する記録部である。２４は音声符号化部である。

なお、本実施の形態の映像符号化部２１は本発明の映像符号化手段の例であり、本実施の形態のＴＳ多重部２２は本発明の多重手段の例であり、本実施の形態の記録部２３は本発明の記録手段の例である。

次に、このような本実施の形態の動作を説明する。

撮像装置１は、背景技術で説明した従来の撮像装置と同様に撮像装置のフレームレートを可変出来るものとする。制御部５は図示しないユーザー操作部からユーザーにより設定された撮影フレームレートの値Ｘ及び再生フレームレートの値Ｙを受け取り、これらの値に応じた制御信号を各部へ出力する。以下の説明においては再生フレームレートの値Ｙは２４フレーム／秒であるものとする。なお、本実施の形態においても背景技術で説明したのと同様に、ＣＣＤにおける撮影フレームレートをＸフレーム／秒とするとともに、ＣＣＤ出力の映像信号をＸｐ映像信号と呼ぶことにする。

駆動パルス切換回路１４は制御部５からの制御信号を受け、Ｘｐ映像信号を撮影するために必要な駆動パルスを発生し、ＣＣＤ駆動回路１３に出力する。ＣＣＤ駆動回路１３は、駆動パルス切換回路１４からの駆動パルスを所定電圧に変換してＣＣＤ１０を駆動する。ＣＣＤ１０からは撮影したＸｐ映像信号がフレームメモリ１１に出力される。

図２は図１の各部の信号波形図である。５０２ａはＣＣＤ１０の出力信号を示す。なお、ここではＣＣＤ１０の出力信号をＸｐ映像信号そのものとして図示しているが、Ｘｐ映像信号に相当する映像情報を含んでいれば良く、同期信号のフォーマットは必ずしもＸｐ映像信号と同一である必要は無い。

フレームメモリ１１はＣＣＤ１０からのＸｐ映像信号の映像情報を書き込み、同じフレームの映像情報を複数回読み出すことにより、プルダウン処理された６０ｐ映像信号を出力する。この６０ｐ映像信号はカメラ処理部１２により６０ｐ映像信号としてカメラプロセスの所定の処理が施され、５０２ｂに示した６０ｐ映像信号としてＥＶＦ３及び有効フレーム抽出部２０に出力される。ＥＶＦ３では６０フレーム／秒で画像を表示することでＸｐ映像信号の映像情報を容易に表示することが可能である。

また、プルダウン処理された６０ｐ映像信号においては映像情報がＸｐ映像信号の単位で変化するが、５０２ｃに示すように、映像情報の変わり目において６０ｐ映像信号のなかでＸｐ映像信号に相当する有効フレームを抜き取るための有効フレームフラグ７が有効フレーム抽出部２０に出力される。なお、ここでは有効フレームフラグ７を６０ｐ映像信号６とは別に出力する構成としているが、例えば６０ｐ映像信号６の垂直ブランキング期間に多重して出力しても良い。

有効フレーム抽出部２０は、有効フレームフラグ７を用いて６０ｐ映像信号からＸｐ映像信号を抜き出し、映像符号化部２１に出力する。映像符号化部２１は、入力されたＸｐ映像信号をＭＰＥＧビデオ圧縮符号化し圧縮映像データを出力する。この際に、圧縮符号化の処理はＸｐ映像信号に対して行うが、圧縮符号化のレート制御、及びヘッダ付加は再生時の２４フレーム／秒に対応して行う。このとき、再生時の基準データレート、すなわち撮影フレームレートと再生フレームレートが同一になる（Ｘ＝２４）ときのデータレートをＲビット／秒とすると、映像符号化部２１は、Ｘｐ映像信号をＲ・（Ｘ／２４）ビット／秒に圧縮符号化するようなレート制御を行う。この処理に関する詳細は後述する。

一方、マイク４が収録した音声信号は音声符号化部２４に入力され、オーディオ圧縮符号化し圧縮音声データを出力する。この際に、音声信号に対して映像信号のフレームレート変換に合わせた処理を行うことは可能である。すなわち音声信号のサンプリング周波数をＦａ、圧縮符号化後の基準データレートをＲａとしたときに、入力映像信号のフレームレートに合わせてサンプリング周波数を（Ｘ／２４）に変換し、さらにオーディオ圧縮符号化する際に圧縮音声データのデータレートがＲａ・（Ｘ／２４）になるようなレート制御を行って圧縮する。なおこのとき、入力音声信号に対し、入力映像信号のフレームレートに合わせてサンプリング周波数を（Ｘ／２４）に変換した音声データを、圧縮符号化を行わずに多重化しても良い。

すなわち、音声符号化部２４は、入力されてくる映像信号のフレームレートと、システムストリームの再生時のフレームレートとが等しい場合、入力されてくる前記音声データのサンプリング周波数を変えずに前記音声データを記録音声データとして出力し、入力されてくる前記映像信号のフレームレートと、前記システムストリームの再生時のフレームレートとが異なっている場合、入力されてくる前記音声データのサンプリング周波数を異なる周波数に変換して記録音声データとして出力しても構わない。

なお、本実施の形態においては、より実装を簡略化した形態としてＸ＝２４の場合のみ圧縮音声データを生成および多重し、それ以外の場合は圧縮音声データを生成及び多重しない場合について説明する。

すなわち、ＴＳ多重部２２は、圧縮映像データに加え、音声データをも入力し、入力されてくる映像信号のフレームレートと、システムストリームの再生時のフレームレートとが等しい場合、ＴＳ多重部２２は、入力された音声データをシステムストリームに多重し、入力されてくる映像信号のフレームレートと、システムストリームの再生時のフレームレートとが異なっている場合、ＴＳ多重部２２は、入力された音声データをシステムストリームに多重しない。

ＴＳ多重部２２は映像符号化部２１から入力された圧縮映像データ、音声符号化部２４から入力された圧縮音声データに、復号処理に関する時刻を規定する時刻管理情報や、その他必要な情報を多重して５０２ｄに示したＭＰＥＧ−ＴＳ形式のシステムストリームを出力する。

５０２ｄ等において、Ｉ２等の「Ｉ」は、Ｉピクチャすなわちフレーム内符号化画像（Ｉｎｔｒａ符号化画像）を表し、Ｂ０等の「Ｂ」は、Ｂピクチャすなわち双方向予測符号化画像（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ ｐｒｅｄｉｃｔｉｖｅ符号化画像）を表し、Ｐ５等の「Ｐ」は、Ｐピクチャすなわちフレーム間順方向予測符号化画像（Ｐｒｅｄｉｃｔｉｖｅ符号化画像）を表している。従って、背景技術で説明した従来映像記録装置とは異なり、本実施の形態の映像記録装置では、フレーム内圧縮のみならず、ＢピクチャやＰピクチャ等のフレーム間圧縮も用いられている。

ＴＳ多重部２２から出力されたシステムストリームは記録部２３に記録される。ここで、時刻管理情報としては、復号及び出力（表示）のタイミング基準となるＰＣＲ（Ｐｒｏｇｒａｍ Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ）、復号後の各フレームの出力タイミングを示すＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）、復号のタイミングを示すＤＴＳ（Ｄｅｃｏｄｉｎｇ Ｔｉｍｅ Ｓｔａｍｐ）が含まれる。

本実施の形態の映像記録装置の記録部２３に記録されたシステムストリームが、外部の復号装置に出力され、この復号装置において出力されたシステムストリームを復号する時には、ＰＣＲを用いて復号装置の動作基準となるＳＴＣ（Ｓｙｓｔｅｍ Ｔｉｍｅ Ｃｌｏｃｋ）が生成される。そして、このＳＴＣに合わせて復号・表示がＰＴＳ／ＤＴＳで指定された時刻に行われるように復号装置が制御される。したがって、Ｘｐ映像信号を圧縮符号化及び多重する際には、再生時に２４ｐ映像信号を圧縮符号化及び多重したシステムストリームを再生する場合と同様の制御が行われるようにＰＣＲ、ＰＴＳ、ＤＴＳの値を変更する必要がある。従って、Ｘｐ映像信号のフレームレートと、前記記録部２３に記録されるシステムストリームの再生時の予め設定されているフレームレートとが異なっている場合、ＴＳ多重部２２は、システムストリームの再生時の予め設定されているフレームレートに対応した時刻管理情報を圧縮映像データに多重する。なお、本実施の形態のＸｐ映像信号のフレームレートは、本発明の記録フレームレートの例であり、本実施の形態のシステムストリームの再生時の予め設定されているフレームレートは、本発明の再生フレームレートの例である。また、この詳細については後述する。

再生時には５０２ｅに示したように、システムストリームは２４ｐ映像信号を基準データレートで再生する場合と同一形式で再生される。圧縮映像データの復号も５０２ｆに示したように通常の２４ｐ映像信号に対するものと同様に行われる。最後に、復号後の２４ｐ映像信号は映像モニタとの間で一般的に使用されるインターフェースにあわせるため、６０フレーム／秒のプログレッシブもしくはインタレースの画像に、いわゆる２−３プルダウンされて出力される。従って、映像符号化部２１においては、圧縮符号化を施す際にはこの２−３プルダウンに対応してｒｅｐｅａｔ＿ｆｉｒｓｔ＿ｆｉｅｌｄ、ｔｏｐ＿ｆｉｅｌｄ＿ｆｉｒｓｔを設定する必要がある。

図３に本発明の実施の形態１における映像記録装置２のより詳細なブロック図を示す。図１と共通の構成要素については同一番号を付与し、詳細な説明を省略する。３０、３１は入力フレームの処理順を変更するためにＭＰＥＧ２のＢピクチャに対応するフレームを保存するフレームメモリである。３２は圧縮映像データのデータレートが目標値近傍になるように制御を行うレート制御手段である。３３は減算器である。３４はＤＣＴ手段である。３５は量子化手段である。３６は圧縮映像データを一定レートで出力するために一旦保存するビットバッファである。３７は逆量子化手段である。３８はＩＤＣＴ手段である。３９は加算器である。４０、４１は参照画像を保存するためのフレームメモリである。これらを含む映像符号化部２１はＭＰＥＧ２ビデオ圧縮符号化処理を行うが、ＭＰＥＧ２−Ｖｉｄｅｏは当業者に周知の規格であるため、例えばＤＣＴ、量子化など、本規格にもとづく各種の用語、及び関連するブロックの動作については、詳細な説明は省略する。また、ＭＰＥＧ２規格では一般に符号化する１枚の画像をピクチャと呼称しているため、以降の説明では必要に応じてフレームをピクチャと言い換えるが、ここではフレームとピクチャは同じものを指す。

また、５０、５５はそれぞれ映像と音声に対応したＰＥＳパケット生成のためのＰＥＳ化手段である。５１、５６は入力されたＰＥＳパケットを分割し、必要な情報を多重してＴＳパケットを生成するＴＳ化手段である。５２は映像と音声のそれぞれのＴＳパケットとその他の必要なパケットを多重する多重手段である。また、５３は時刻管理情報を生成するための時間軸の基準となるＳＴＣクロックを生成するＳＴＣクロック生成手段である。なお、ＳＴＣクロック生成手段５３は本発明のクロックの例である。５４はＳＴＣクロックから時刻管理情報を生成するとともに多重タイミングの管理を行うＳＴＣ制御回路である。これらを含むＴＳ多重部２２はＭＰＥＧ２―ＴＳ多重処理を行うが、ＭＰＥＧ２−ＴＳは当業者に周知の規格であるため、例えばＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）、ＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）など、本規格にもとづく各種の用語、及び関連するブロックの動作については、詳細な説明は省略する。

図４は、図１及び図３各部の信号波形図である。５０４ｄはフレームメモリ３０の内容を示す図である。５０４ｅはフレームメモリ３１の内容を示す図である。５０４ｆはフレームメモリ４０の内容を示す図である。５０４ｇはフレームメモリ４１の内容を示す図である。Ｂピクチャに対応するフレームを保存するフレームメモリを３０、３１の２つだけにするためには、５０４ｈに示したようにエンコード処理はＸｐ映像信号の各フレームに対しても、６０ｐ映像信号の処理と同等の処理速度で行う必要がある。

以下、本発明に係る映像の圧縮符号化におけるレート制御について詳細に説明する。先に述べたように、本発明において映像符号化部２１は、Ｘｐ映像信号をＲ・（Ｘ／２４）ビット／秒に圧縮符号化するようなレート制御を行う必要がある。

図５は、映像符号化部のビットバッファ３６のデータ容量と、再生時の復号処理を想定したＶＢＶバッファ容量とを示す図である。レート制御手段３２は、５０５ｅに示すように再生時のＶＢＶバッファがオーバーフローもアンダーフローも発生しないように圧縮映像データのデータレートを制御する必要がある。ここで、５０５ｃは、記録時に、時間の経過とともに各フレームがどのように記録されていくかを示す図である。また、５０５ｄは、再生時に、時間の経過とともに各フレームがどのように再生されていくかを示す図である。５０５ｃと５０５ｄとを比較すると、時間軸は撮影フレームレートＸと再生フレームレート２４との比で変化しているが、データの内容は全く同じものである。従って、５０５ｃにおいてはデータレートが５０５ｄのデータレートに対してＸ／２４を乗算した値になる。

従って、５０５ｂにおいてビットバッファのデータ容量が減る（出力される）レートは、圧縮映像データの標準レートＲにＸ／２４を乗算したものになる。一方、ピクチャの間隔は撮影フレームレートＸの逆数となる。このため、各フレームを圧縮符号化することにより生成されるデータ量、すなわち５０５ｂと５０５ｅが縦軸の目盛が同じであった場合の、それぞれの縦線（例えば縦線１００と縦線２００、縦線１０１と縦線２０１）の長さは同一になる。つまり、レート制御手段３２において、圧縮後の各フレームに対する目標データ量は（入力映像信号がＸｐ映像信号であるにも関わらず）２４ｐ映像信号を圧縮する場合と同一になる。

図６は、レート制御手段３２における処理手順を示す図である。まず、ステップＳ１において、再生フレームレートＹ（本実施の形態では２４に固定されている）及び再生ビットレート（圧縮映像データの標準レート）Ｒが設定される。ここで、ＹとＲの値は、例えばスイッチやＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）画面からの入力により決定しても良いし、映像記録装置の実装時に予め決定した値を不揮発性メモリーに記憶しておいて読み出すようにしても良い。次に、ステップＳ２において、撮影フレームレートＸの値をスイッチやＧＵＩ画面からの入力により設定する。

続いてステップＳ３において、実際のレート制御に用いるパラメータを算出する。ひとつは映像符号化部２１への入力映像フレームレートｐｉｃｔｕｒｅ＿ｒａｔｅであり、これについては撮影フレームレートＸの値をそのまま使用できる。もうひとつは、圧縮映像データの目標レートｂｉｔ＿ｒａｔｅであり、これは再生ビットレートＲに撮影フレームレートと再生フレームレートの比（Ｘ／Ｙ）を掛けることで求めることができる。

最後にステップＳ４において、ステップＳ３により求めたｐｉｃｔｕｒｅ＿ｒａｔｅ、ｂｉｔ＿ｒａｔｅの値を用いて圧縮符号化処理のレート制御を行う。ここで、レート制御の方法は任意の方法を用いることが可能である。例えば、ＭＰＥＧ２規格化の際に用いられ、公知となっているＭＰＥＧ２ ＴＭ５（Ｔｅｓｔ Ｍｏｄｅｌ ５）におけるレート制御方法が使用可能である。ＭＰＥＧ２ ＴＭ５のレート制御方法を用いた場合について以下に説明する。

レート制御手段３２において、あるＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅ）の次のピクチャに割り当てられる目標データ量は、例えば数１に示した式で設定される。ここで、Ｔｉは次のＩピクチャに割り当てられる目標データ量である。Ｔｐは次のＰピクチャに割り当てられる目標データ量である。Ｔｂは次のＢピクチャに割り当てられる目標データ量である。また、ＫｐおよびＫｂは量子化手段３５の処理内容に依存して決まる定数である。Ｒｇｏｐは現在処理中のＧＯＰに割り当てられたビット数の残量である。Ｎｐ、Ｎｂは現在処理中のＧＯＰに含まれるＰピクチャ、Ｂピクチャの残数である。Ｘｉ、Ｘｐ、Ｘｂはそれぞれ先に符号化されたＩピクチャ、Ｐピクチャ、Ｂピクチャの複雑さを示す指標である。これらのパラメータの詳細はＭＰＥＧ２ ＴＭ５の中で公開されており、ここでは説明を省略する。

数１において、Ｒｇｏｐは符号化するシーケンスの先頭で初期値として数２が与えられ、その後１ピクチャを符号化する毎に更新される。ここでＮはシーケンスの最初のＧＯＰに含まれるピクチャの数である。

従って、数１により求められるＴｉ、Ｔｐ、Ｔｂは、圧縮映像データの目標レートｂｉｔ＿ｒａｔｅとフレームレートｐｉｃｔｕｒｅ＿ｒａｔｅにより変化する。レート制御手段３２をＭＰＥＧ２ ＴＭ５に準じて（数１および数２を用いて）実装した場合に、５０５ｂに示したバッファ制御はｂｉｔ＿ｒａｔｅをＲ・（Ｘ／２４）、ｐｉｃｔｕｒｅ＿ｒａｔｅをＸとすることで容易に実現可能である。

このように、入力されてくる映像信号のフレームレートがＸフレーム／秒であり、システムストリームの再生時の予め設定されているフレームレートがＹフレーム／秒であり、システムストリームに含まれる圧縮映像データの再生時の基準データレートがＲビット／秒である場合、映像符号化部２１は、入力されてくる映像信号をＲ×（Ｘ／Ｙ）ビット／秒のデータレートで圧縮符号化するようにレート制御を行う。

なお、先に図５において、圧縮後の各フレームに対する目標データ量は（入力映像信号がＸｐ映像信号であるにも関わらず）２４ｐ映像信号を圧縮する場合と同一になることを示したが、これに対応してステップＳ３における処理をｐｉｃｔｕｒｅ＿ｒａｔｅ＝Ｙ、ｂｉｔ＿ｒａｔｅ＝Ｒと設定する処理に変更することも可能である。先に示したＭＰＥＧ２ ＴＭ５のレート制御の場合、レート制御に関連する式がいずれもｂｉｔ＿ｒａｔｅ／ｐｉｃｔｕｒｅ＿ｒａｔｅの割合により変化する式となっており、いずれか一方だけを用いないため、数３に示したようにｂｉｔ＿ｒａｔｅをＲ、ｐｉｃｔｕｒｅ＿ｒａｔｅをＹとしても同じ結果が得られるということになる。

すなわち、入力されてくる映像信号のフレームレートがＸフレーム／秒であり、システムストリームの再生時の予め設定されているフレームレートがＹフレーム／秒であり、システムストリームに含まれる圧縮映像データの再生時の基準データレートがＲビット／秒である場合、映像符号化部２１は、入力されてくる映像信号フレームレートがＸであるにも関わらず、フレームレートがＹの映像信号をＲビット／秒のデータレートで圧縮符号化するようにレート制御を行っても上記と同様の結果を得ることが出来る。

要するに、入力されてくる映像信号のフレームレートが再生時のフレームレートと異なる場合であっても、映像符号化部２１は、再生時のフレームレートに対応する、圧縮映像データの再生時の基準データレートに実質上一致するように入力されてくる映像信号を圧縮符号化する。従って、再生時のＶＢＶバッファがオーバーフローもアンダーフローも発生しないように圧縮映像データのデータレートを制御することが出来る。

次に、本発明の実施の形態における時刻管理情報の生成について詳細に説明する。先に述べたように、本実施の形態においては、再生時に２４ｐ映像信号を圧縮符号化及び多重したシステムストリームを再生する場合と同様の制御が行われるようにＰＣＲ、ＰＴＳ、ＤＴＳの値を変更するとともに、ＰＣＲ、ＰＴＳ、ＤＴＳを多重する間隔も変更する必要がある。

５０５ｃのように符号化・多重し、記録したＭＰＥＧ２−ＴＳを５０５ｄのように再生して復号する場合、５０５ｃにおいて多重するＰＣＲ、ＰＴＳ、ＤＴＳの時間間隔は５０５ｄにおけるこれらの時間間隔に対して２４／Ｘ倍になる。すなわち、入力されてくる映像信号のフレームレートがＸフレーム／秒であり、システムストリームの再生時の予め設定されているフレームレートがＹフレーム／秒である場合、ＰＣＲ、ＰＴＳ、ＤＴＳが多重される時間間隔は、ＸとＹとが等しい場合の間隔を基準時間間隔としたとき、Ｘフレーム／秒で記録される場合には、基準時間間隔のＹ／Ｘ倍になる。一方、これらの値はＴＳ多重部２２においては時間軸の基準となるＳＴＣクロックをカウントし、多重するために必要となるタイミングでのカウント値を用いて生成される。従って、多重する間隔が２４／Ｘ倍になると、そのままでは値の間隔も２４／Ｘ倍になり不都合が生じる。

このため本発明においては、ＰＣＲ、ＰＴＳ、ＤＴＳの値を調整する。ひとつの方法としては、ＳＴＣクロックは通常の周波数のままで（値の間隔が２４／Ｘ倍となった）ＰＣＲ、ＰＴＳ、ＤＴＳを生成した後、演算器もしくはソフトウエアを用いてこれらの値をＸ／２４倍してから多重することで実現可能である。すなわち、入力されてくる映像信号のフレームレートがＸフレーム／秒であり、システムストリームの再生時の予め設定されているフレームレートがＹフレーム／秒である場合、ＴＳ多重部２２は、ＸとＹとが等しい場合に生成される時刻管理情報を基準時刻管理情報としたとき、時刻管理情報間の値の差が対応する基準時刻管理情報間の値の差に対してＸ／Ｙ倍になるように時刻管理情報を演算により求め多重する。このような処理を行うＳＴＣ制御回路５４は、ＰＣＲ、ＰＴＳ、ＤＴＳの出力段に演算器もしくはＣＰＵを追加することで容易に実現可能である。

ここで、ＰＣＲの多重間隔がＭＰＥＧ２規格では最大１００ｍｓと決められているため、再生ビットレートＲにおいてこの制限に合うように多重間隔を制御する必要がある。このことは、例えばＰＣＲの多重間隔を実時間上で一律２４／Ｘ倍した時間としてＳＴＣ制御回路５４を制御することで実現可能である。すなわち、入力されてくる映像信号のフレームレートがＸフレーム／秒であり、システムストリームの再生時の予め設定されているフレームレートがＹフレーム／秒である場合、ＴＳ多重部２２は、ＰＣＲについては、ＸとＹとが等しい場合の多重間隔を基準多重間隔としたとき、基準多重間隔のＹ／Ｘ倍になるようにＰＣＲを付加する。

上記の制限に適合させるための、もうひとつの方法としては、ＰＣＲ、ＰＴＳ、ＤＴＳの値を生成するために用いるＳＴＣクロックをＸ／２４倍することで実現可能である。このようなＳＴＣクロックを生成するためにはＳＴＣクロック生成手段５３に回路追加が必要となる。

図７はＳＴＣクロック生成手段５３に追加すべき構成を示すブロック図である。６０は分周器６１、６５、６６の分周比Ｐ、Ｑ、Ｒを制御する制御手段である。６１は入力される標準ＳＴＣクロックを１／Ｑ分周する分周器である。また、６２は位相誤差検出器である。６３はループフィルタである。６４はＶＣＯである。６５はＶＣＯ６４の出力を１／Ｐ分周する分周器である。制御手段６０、分周器６１、移相誤差検出器６２、ループフィルタ６３、ＶＣＯ６４、及び分周器６５はＰＬＬを構成する。６６はＶＣＯ６４の出力を１／Ｒ分周する分周器である。

図７に示した構成により、ＳＴＣクロックの周波数（２７ＭＨｚ）を、｛２７ＭＨｚ・（Ｐ／Ｑ）｝／Ｒに変更することができる。従って、この構成を用いてＳＴＣクロック周波数をＸ／２４倍することで５０５ｃのＭＰＥＧ２−ＴＳを多重するために必要なＰＣＲ、ＰＴＳ、ＤＴＳの値を生成することが可能である。

すなわち、入力されてくる映像信号のフレームレートがＸフレーム／秒であり、システムストリームの再生時の予め設定されているフレームレートがＹフレーム／秒である場合、ＴＳ多重部２２は、ＳＴＣクロックの周波数をＸとＹとが等しい場合の基準値（２７ＭＨｚ）に対してＸ／Ｙ倍に変更して、その変更したＳＴＣクロックを用いてＰＣＲ、ＰＴＳ、ＤＴＳのそれぞれの値を生成する。このように、入力されてくる映像信号のフレームレートと、システムストリームを再生する際の予め設定されているフレームレートとが異なっている場合、ＴＳ多重部２２は、ＳＴＣクロックの周波数を基準値（２７ＭＨｚ）から変更し、その変更したＳＴＣクロックを用いて、ＰＣＲ、ＰＴＳ、ＤＴＳのそれぞれの値を生成すればよい。

なお、図４、図５には撮影フレームレートＸ＝８で、再生時に３倍クイックモーションとなる場合を図示したが、図８、図９に示したように撮影フレームレートＸを再生フレームレート２４フレーム／秒よりも高いフレームレートとし、再生時にスローモーションを実現することも可能である。この場合、図４と図８、図５と図９とを比較してもわかるように、撮影フレームレートＸと再生フレームレート２４の大小関係が異なるだけで、上記した構成及び動作を適用することで実現可能である。

以上、実施の形態１においては、有効フレーム（Ｘｐ映像信号）のみを記録することで、記録媒体の消費量が少ない映像記録装置を提供することができる。また、画像圧縮符号化としてフレーム内符号化ではなく、フレーム間符号化であるＭＰＥＧ２を用いることで高圧縮率を得ることができるため、記録媒体の消費量はより少なくすむ。さらに、予め設定された再生フレームレート（２４フレーム／秒）に合わせて圧縮符号化処理、多重処理を行うため、再生時に通常記録した場合と同一フレームレート（２４フレーム／秒）、同一データレートＲで再生することが可能で、特殊な装置を必要としない映像記録装置を提供することができる。

なお言うまでもないが、実施の形態１においては撮影したＸｐ映像信号を６０ｐ映像信号にプルダウンして映像記録装置に入力し、再生フレームレートを２４フレーム／秒として説明したが、任意のＮフレーム／秒にプルダウン変換した映像信号を映像記録装置に入力して、再生フレームレートをＭフレーム／秒として処理することが出来る。

（実施の形態２）
図１０に本発明の実施の形態２における映像記録装置２のブロック図を示す。図１及び図３と共通の構成要素については同一番号を付与し、詳細な説明を省略する。９０はＡＴＳ値生成手段である。９１はＡＴＳ多重手段である。９２は記録媒体制御部である。

ＭＰＥＧ２−ＴＳをＴＳ多重部２２から記録部２３に転送する際に、実際の転送可能レートが高い場合にはＴＳパケットは間欠的に転送されることになる。また、ＭＰＥＧ２−ＴＳを記録媒体に記録する際に効率よく記録することを目的として、実際のトランスポートストリーム中にあるＮｕｌｌパケットなどの不要な情報を削除する場合がある。これらの場合には、記録部２３へＴＳパケットが入出力されるタイミングを何らかの形で記録媒体に記録する必要がある。この目的でブルーレイ（Ｂｒｕ−ｒａｙ）ディスクなどではＡｒｒｉｖａｌ Ｔｉｍｅ Ｓｔａｍｐ（ＡＴＳ）が用いられている。

以下、通常の記録再生におけるＡＴＳの効果について説明する。図１１にＭＰＥＧ２−ＴＳを記録部２３に記録する際のパケットタイミング保存の概念を示す。５１１ａはＴＳ多重部２２から記録部２３への入力ＴＳである。５１１ｂは記録媒体に実際に記録されるＴＳである。５１１ｃは記録媒体から再生され、出力されるＴＳである。３００〜３０２はＮｕｌｌパケットである。３０３〜３０５はＴＳパケットの無いタイミングを示す。

５１１ａの入力ＴＳにおいて、３００から３０２に示したようにＮｕｌｌパケットが含まれているとすると、これらのＮｕｌｌパケット自体は映像・音声の記録再生に必要な情報を何ら含まないため、５１１ｂの記録ＴＳにおいては削除して記録したい。ただし、ＭＰＥＧ２−ＴＳにおいてＰＣＲは到着タイミングが時刻情報を持つため、再生時に５１１ｂのままの状態で再生すると正しいＳＴＣが再生されず、５１１ｃに示したようにＮｕｌｌパケットの部分はパケットの無いままタイミングを空けるか、あるいはＮｕｌｌパケットを再度挿入して出力する必要がある。これを実現するために、５１１ｂでは記録する各パケットの先頭にそのパケットの入力タイミングを示すＡＴＳを付加して記録している。

図１２にＡＴＳが付加されたＴＳパケットの例を示す。ＭＰＥＧ２−ＴＳのＴＳパケット１８８バイトの前にＡＴＳ４バイトが付加される。このようなＡＴＳ付加は例えばＡＴＳ値生成手段９０としてフリーランの２７ＭＨｚで動作する３２ビットのカウンタを用いてそのカウンタ値をＡＴＳ多重手段９１に入力し、各ＴＳパケットがＡＴＳ記録手段２３に入力された時点でのカウンタ値をそのままそのＴＳパケットの前に付加すれば実現できる。

このようにしてＡＴＳを付加されたＴＳパケットの再生タイミングを再現する回路例を図１３に示す。７０はスムージングバッファである。７１はスムージングバッファに記憶されているＡＴＳである。７２は比較器である。７３は読み出し制御部である。７４はカウンタである。

５１１ｂに示した記録ＴＳがスムージングバッファ７０に入力される。スムージングバッファ７０に記憶されたＴＳパケットのうち、最初に記憶されたＴＳパケットに付加されたＡＴＳ７１が読み出されて比較器７２に入力される。一方、カウンタ７４は記録の際にＡＴＳを生成するために用いられたのと同一周波数の２７ＭＨｚクロックで動作し、カウンタ値を比較器７２へ出力する。

５１１ｂの記録ＴＳを再生する際に、最初に再生されるＴＳパケットに付加されたＡＴＳがカウンタ７４にロードされるとともに、最初のＴＳパケットが出力される。これ以降は、比較器７２が続くＴＳパケットに付加されたＡＴＳ７１の値とカウンタ７４の値を比較し、一致したときに読み出し制御部７３に一致情報を伝える。読み出し制御部７３は一致情報が比較器７２から入力されると、その時刻にＡＴＳ７１が付加されていたＴＳパケットがスムージングバッファ７０から読み出されるように制御する。以上の動作により、スムージングバッファ７０から読み出されるＴＳパケットは５１１ｃのように入力ＴＳ（５１１ａ）と同じタイミングで出力される。５１１ｃの３０３〜３０５の部分は対応するＡＴＳを付加されたＴＳパケットが無いため、データが無いまま時間が経過して空き領域となる。

以上が通常記録再生、すなわち撮影フレームレートの値Ｘと再生フレームレートの値Ｙが同一である場合のＡＴＳの効果である。例えば記録媒体がメモリーであった場合、アクセスにアドレス指定が必要であることなどから、入力トランスポートストリームそのままではパケット間のタイミングを保持して記録再生することができず、ＡＴＳのような仕組みで入力時のパケット間タイミングを再現することは必須の動作となる。

次に本発明に係る、撮影フレームレートの値Ｘと再生フレームレートの値Ｙを異なる値に設定した場合の構成及び動作について説明する。なお、ここでは再生フレームレートＹ＝（２４／１．００１）ｆｐｓの場合を前提として説明する。またここでは、再生時のＭＰＥＧ２−ＴＳの基準データレートＲｔｓ＝２４Ｍｂｐｓとして説明する。

図１４は撮影フレームレートの値Ｘ＝（８／１．００１）ｆｐｓである場合の各部動作を示すタイミング図である。５１４ａはＰＥＳ化手段５０から出力される記録側のビデオＰＥＳである。記録側のビデオＰＥＳには撮影フレームレート（有効フレームレート）８ｆｐｓの映像信号の１フレーム分を圧縮したデータ毎にＰＴＳ／ＤＴＳが付加される。従って、ＰＴＳ／ＤＴＳが付加される間隔は撮影フレームレートを反映する。

５１４ｂはＡＴＳ多重手段９１から出力されるＡＴＳを付加されたＭＰＥＧ２−ＴＳである。ここでＡＴＳ多重手段９１から記録媒体制御部９２へ出力されるＡＴＳ付加ＭＰＥＧ２−ＴＳのデータは２７ＭＨｚクロックの８ビットパラレル信号線で伝送されるものとする。５１４ａのビデオＰＥＳは細かく分割されてそれぞれＴＳパケット（ＴＳＰ）のペイロードに格納される。

ここで、５１４ｂのＭＰＥＧ２−ＴＳのデータレートは、再生時の基準データレートＲｔｓに対して撮影フレームレートＸと再生フレームレートＹの比を掛けたもの、すなわちＲｔｓ・（Ｘ／Ｙ）＝２４Ｍｂｐｓ・（８ｆｐｓ／２４ｆｐｓ）＝８Ｍｂｐｓとなる。

従って、ＭＰＥＧ２−ＴＳのデータ量は２７ＭＨｚクロックの８ビットパラレル信号線の伝送容量に対して小さいため、各ＴＳパケットの間にはそれぞれデータのない領域が空くことになる。記録時のＴＳパケット間隔はＲｔｓ・（Ｘ／Ｙ）＝８Ｍｂｐｓのとき、１８８・２７ＭＨｚ／（８Ｍｂｐｓ／８）＝５０７６となる。

すなわち、入力されてくる映像信号のフレームレートがＸフレーム／秒であり、システムストリームの再生時の予め設定されているフレームレートがＹフレーム／秒であり、圧縮映像データが圧縮映像データの再生時の基準データレートがＲビット／秒で復号可能なように圧縮符号化されており、システムストリームの再生時のデータレートがＲｔｓビット／秒（ＲｔｓはＲｔｓ＞Ｒである実数）である場合、ＴＳ多重部２２は、システムストリームを記録部２３に記録する際、システムストリームの出力データレートがＲｔｓ×（Ｘ／Ｙ）ビット／秒になるように多重処理を行う。このように、入力されてくる映像信号のフレームレートが再生時のフレームレートと異なる場合であっても、ＴＳ多重部２２は、再生時のフレームレートに対応する、システムストリームの再生時の基準データレートに実質上一致するように圧縮映像データに対して多重処理を行う。

さらに、各ＴＳパケットの前にはＡＴＳが付加される。先に述べた通常記録再生の場合であればＡＴＳは記録時のＴＳパケット到着時刻を２７ＭＨｚクロックでカウントした値を用いるので、連続するＡＴＳ間の差分値は記録時のＴＳパケット間隔と同じ５０７６となる。しかし、撮影フレームレートの値Ｘと再生フレームレートの値Ｙを異なる値に設定した場合は、ＡＴＳとして付加する値は再生時のタイミングに合わせて設定する必要がある。詳細は後述する。

５１４ｃは記録媒体から再生され、元のＴＳパケットのタイミングが再現された後のＭＰＥＧ２−ＴＳである。ただし、完全に記録時と同じタイミングではなく、撮影フレームレートと再生フレームレートの比だけデータレートが変化している。なお、本来この段階ではＡＴＳは通常削除されるが、説明の簡単のためにここではＡＴＳを残した図を用いて説明する。

また、５１４ｄは５１４ｃのＭＰＥＧ２−ＴＳから分離したビデオＰＥＳである。この図についても、記録側のビデオＰＥＳ（５１４ａ）に対して、撮影フレームレートと再生フレームレートの比だけデータレートが変化している。

図１４においては、ストリームに多重される時間基準、すなわちＡＴＳ、ＰＣＲ、ＰＴＳ、ＤＴＳの値は全て再生側、すなわち５１４ｃ及び５１４ｄに従って付与される。隣り合うＡＴＳの差分値は、先にも述べたように再生時のＴＳパケット間隔で決まり、Ｒｔｓ＝２４Ｍｂｐｓのとき、１８８・２７ＭＨｚ／（２４Ｍｂｐｓ／８）＝１６９２となる。

すなわち、入力されてくる映像信号のフレームレートがＸフレーム／秒であり、システムストリームの再生時の予め設定されているフレームレートがＹフレーム／秒である場合、ＡＴＳ値生成手段９０は、ＸとＹとが等しい場合に生成されるＡＴＳの値を基準ＡＴＳの値としたとき、連続する基準ＡＴＳの値の差に対して実質上Ｘ／Ｙ倍になるようにＡＴＳを演算により求める。

このようなＡＴＳ値生成手段９０としては、撮影フレームレートの値Ｘ、再生フレームレートの値Ｙ、再生時の基準データレートＲｔｓの値からマイコン上のソフトウエアなどを用いて差分値１６９２を算出し、この値をレジスタに保存しておいて入力されたＴＳパケットごとに加算した値を順次付与する構成とすれば良い。この詳細については後ほど図１７を用いて説明する。

ＡＴＳ値生成手段９０の別の構成としては、通常記録時と同様にＡＴＳ基準クロック（通常記録時には２７ＭＨｚ）で動作するカウンタを用いてそのカウンタ値をＡＴＳ多重手段９１に入力するようにする。ここでＡＴＳ基準クロックの周波数を２７ＭＨｚ・（Ｘ／Ｙ）倍で可変できるような構成にすることで対応可能である。たとえばＹ＝（２４／１．００１）ｆｐｓ、Ｘ＝（８／１．００１）ｆｐｓであれば、ＡＴＳ基準クロックの周波数は２７ＭＨｚ・（８／２４）＝９ＭＨｚとなる。このようにＡＴＳ基準クロックを可変にするための構成としては、例えば先に実施の形態１で説明した図７の構成を流用することが可能である。なお、本実施の形態のＡＴＳ基準クロックは本発明のクロックの例である。

すなわち、入力されてくる映像信号のフレームレートがＸフレーム／秒であり、システムストリームの再生時のフレームレートがＹフレーム／秒である場合、ＡＴＳ値生成手段９０は、ＡＴＳ基準クロックの周波数をＸとＹとが等しいとした場合の基準値に対してＸ／Ｙ倍に変更して、その変更したＡＴＳ基準クロックをＡＴＳ値を生成するために用いる。このように、入力されてくる映像信号のフレームレートと、システムストリームの再生時の予め設定されているフレームレートとが異なっている場合、ＡＴＳ値生成手段９０は、ＡＴＳ基準クロックの周波数を基準値から変更することにより、ＡＴＳの値を生成する。

また、隣り合うＰＣＲの差分値は再生時のＰＣＲパケット間隔で決まり、例えばＬパケット毎にＰＣＲパケットが挿入されるとすると１６９２・Ｌとなる。さらに、隣り合うＰＴＳ及びＤＴＳの差分値は再生時のフレーム間隔で決まり、Ｙ＝２４ｆｐｓのときは（１／２４ｆｐｓ）・９０ｋＨｚ＝３７５０となる。またＰＣＲ値とＰＴＳ／ＤＴＳ値との間のオフセット値は５１４ｃ及び５１４ｄのタイミングにおいてＭＰＥＧ２規格のバッファリングを満足するように設定される。

以上、図１４を用いて説明したように、撮影フレームレートの値Ｘ＝８ｆｐｓ、再生フレームレートの値Ｙ＝２４ｆｐｓ、再生時の基準データレートＲｔｓ＝２４Ｍｂｐｓとすると、記録時及び再生時のＴＳパケット間隔が２７ＭＨｚクロックでカウントしたときに整数値になるため、ＡＴＳの値を問題なく付与することが可能である。しかし、撮影フレームレートの値Ｘによっては、記録時のＴＳパケット間隔が２７ＭＨｚクロックでカウントしたときに整数値にならない場合がある。この様な例について、以下、図１５を用いて説明する。

図１５は撮影フレームレートの値Ｘ＝１４．９８５ｆｐｓである場合の各部動作を示すタイミング図である。５１５ｅは記録媒体から再生され、元のＴＳパケットのタイミングが再現された後のＭＰＥＧ２−ＴＳであり、５１４ｃと全く同一になる。５１５ｅから撮影フレームレートと再生フレームレートの比で記録側のタイミングを算出すると、ＡＴＳ多重手段９１から出力されるＡＴＳを付加されたＭＰＥＧ２−ＴＳは５１５ｄのように、またＰＥＳ化手段５０から出力される記録側のビデオＰＥＳは５１５ｃのようになる。ここで、５１５ｄにおいてＴＳパケットの間隔を計算すると
１８８・２７ＭＨｚ／（２４Ｍｂｐｓ・（１４．９８５ｆｐｓ／（２４／１．００１）ｆｐｓ）／８）＝２７０７．２
となり、端数が発生する。

ＴＳパケット間隔は実際には整数にする必要があるが、例えば２７０８クロックに切り上げると５１５ｂのように５１５ｄに対してＰＣＲの多重間隔が広がる。一方で、ＰＥＳ化手段５０から出力される記録側のビデオＰＥＳは、５１５ａのように撮影フレームレートにより決まったタイミング、すなわち５１５ｃと全く同一のタイミングで出力される。従って、ＰＣＲとＰＴＳ／ＤＴＳの同期関係がくずれることになり、再生時に通常の２４ｆｐｓ映像信号として正常に再生することができなくなる。

図１６は撮影フレームレートの値Ｘ＝１４．９８５ｆｐｓでＴＳパケット間隔の端数対策を行った場合の各部動作を示す図である。５１６ａはＰＥＳ化手段５０から出力される記録側のビデオＰＥＳであり、５１５ａと全く同一である。５１６ｂは５１６ａのビデオＰＥＳを多重化し、ＡＴＳを付加したＭＰＥＧ２−ＴＳである。ここで、ＴＳパケット間隔は２７０７クロックとした。このとき、再生時のＴＳパケット間隔を撮影フレームレートと再生フレームレートの比で算出すると５１６ｄに示したように１６９１．８７５クロックとなる。しかし、このような端数を持った値はＡＴＳの差分値として使用できない。

そこで、５１６ｃに示したように、連続するＡＴＳの差分値を１６９２としてＡＴＳを付与すると、１６９１．８７５との差を蓄積したものが８パケットでちょうど１クロック分となる。そこで、ＡＴＳを付与する際に８パケットに１回は差分値を１６９１とすることでＴＳパケット間隔の端数に対応することが可能である。

このようなＡＴＳを付与するためのＡＴＳ値生成手段９０の構成を図１７に示す。８０は差分値レジスタである。８１は加算器である。８２はセレクタである。８３はＡＴＳ値カウンタである。８４はＡＴＳ値レジスタである。８５は加算器である。８６は比較器である。８７は数値Ｊまでカウントして０に戻るＪカウンタである。差分値レジスタ８０に設定するＡＴＳ差分値、Ｊカウンタ８７に設定する数値Ｊ、比較器８６でＪカウンタ８７の出力と比較する数値Ｋはそれぞれ図示しないマイコンから設定可能な構成とする。図１６に対応した動作を行う場合、ＡＴＳ差分値には１６９１、数値Ｊ、Ｋにはそれぞれ７が設定される。

ＡＴＳ値カウンタ８３及びＪカウンタ８７はＡＴＳ多重手段９１に入力されるＴＳパケットの入力タイミングに同期したパルスで駆動される。Ｊカウンタ８７はＴＳパケットが入る毎に０から順にカウントアップされ、７になると次のＴＳパケットが入ったタイミングで０に戻る。比較器８６はＪカウンタの出力をＫ＝７と比較し、Ｋより小さいとき、すなわち０〜６の間はセレクタ８２が加算器８１の出力（１６９１＋１で１６９２となっている）を選択し、Ｊカウンタ８７の出力がＫと同じ７のときはセレクタ８２が差分値レジスタ８０の出力（１６９１）を選択する。従ってＡＴＳ値カウンタ８３はＡＴＳ値レジスタ８４に記憶させた値に対して、８ＴＳパケット入力中７ＴＳパケット入力については１６９２を、１ＴＳパケットについては１６９１を差分値として加算する。このＡＴＳ値カウンタ８３の出力値をＴＳパケットに付加するＡＴＳ値として用いることにより、５１６ｃに示したタイミング及び値でＡＴＳを付与することが可能である。

なお、本実施の形態では、ＡＴＳ差分値としては１６９１及び１６９２の２つの値から選択するが、これに限らず、ＡＴＳ差分値として３種類以上の値から選択してもよい。

要するに、記録時のフレームレートがＸであり、再生時のフレームレートがＹである場合に、連続するＴＳパケットに記録時に付加されるＡＴＳの値の差に対して、フレームレートがＹで記録されるとした場合の対応するＴＳパケットに付加されるＡＴＳの値の差が、Ｘ／Ｙ倍になるように演算で算出する際、対応するパケットに付加されるＡＴＳの値の差を複数の値から選択することにより決定し、その選択結果の平均値がフレームレートがＹで記録されるとした場合に対応するＴＳパケットに付加されたＡＴＳの値の差のＸ／Ｙ倍になるようにＡＴＳを演算により求めさえすればよい。このようにすることにより、ＴＳパケット間隔の端数に対応することが可能になる。

このように、入力されてくる映像信号のフレームレートと、記録されたシステムストリームの再生時の予め設定されているフレームレートとが異なっている場合、ＡＴＳ値生成手段９０は、システムストリームの再生時の予め設定されているフレームレートに対応したＡＴＳをＴＳパケットに多重する。

以上、実施の形態２においては、ＡＴＳ（ＡｒｒｉｖａｌＴｉｍｅＳｔａｍｐ）を用いてＴＳパケットタイミングを再生する記録再生系においても可変フレームレート記録が可能で、予め設定された再生フレームレート（２４フレーム／秒）に合わせて圧縮符号化処理、多重処理を行うため、再生時に特殊な装置を必要とせずに通常記録した場合と同一フレームレート（２４フレーム／秒）、同一ＴＳデータレートＲｔｓで再生できる映像記録装置を提供することができる。

上記、実施の形態１、２の説明においては再生時のＴＳデータレートＲｔｓ、圧縮映像データの標準レート（再生ビットレート）Ｒが、撮影フレームレート（有効フレームレート）Ｘの値に関わらず一定値である場合について述べた。しかし、Ｒｔｓ及びＲの値は必ずしも一定値とする必要はなく、Ｘの値によって変更するようにすることも可能である。すなわち、入力されてくる映像信号のフレームレートが再生時のフレームレートと異なる場合、映像符号化部２１は、再生時のフレームレートに対応する、圧縮映像データの再生時のデータレートを、入力されてくる映像信号のフレームレートに応じて変更する。

例えば、図８に示した６０ｆｐｓ撮影、２．５倍スローモーションの場合において、通常記録時の標準レートＲが９Ｍｂｐｓであった場合、記録時はその２．５倍の２２．５Ｍｂｐｓでエンコード処理を行わないといけなくなる。このとき、通常記録時にはＭＰＥＧ２ ＭＰ＠ＭＬのエンコーダを用いることが可能であるが、６０ｆｐｓ撮影時のエンコード処理速度はＭＰＥＧ２ ＭＰ＠ＭＬの範囲を超えてしまい、コストの高い高性能エンコーダが必要となる。

そこで、撮影フレームレートＸ＝６０ｆｐｓ、再生フレームレートＹ＝２４ｆｐｓの場合には、通常記録時の標準レートＲを６Ｍｂｐｓに変更するようにすれば、記録時のエンコード処理は１５Ｍｂｐｓで行うことになり、ＭＰＥＧ２ ＭＰ＠ＭＬの範囲で処理可能となる。

この様な動作により、標準レートＲを下げることで画質面では不利になる代償として大幅に低コストなエンコーダを用いて可変フレームレート記録を実現することが可能である。なお、この場合は標準レートＲ＝６Ｍｂｐｓの通常のＭＰＥＧ２−ＴＳとしてデコード可能である。

同様の処理は図１６に示したＡＴＳを用いた記録再生の場合も可能である。すなわち、入力されてくる映像信号のフレームレートが再生時のフレームレートと異なる場合、ＴＳ多重部２２は、再生時のフレームレートに対応する、システムストリームの再生時のデータレートを、入力されてくる映像信号のフレームレートに応じて変更する。

例えば、通常記録の場合のＭＰＥＧ２−ＴＳ基準データレートＲｔｓが２４Ｍｂｐｓの場合、撮影フレームレートＸ＝６０ｆｐｓ、再生フレームレートＹ＝２４ｆｐｓとすると記録時のＭＰＥＧ２−ＴＳのデータレートは２４Ｍｂｐｓ・（６０ｆｐｓ／２４ｆｐｓ）＝６０Ｍｂｐｓとなる。このような高レートでの処理が映像符号化部やＴＳ多重部で困難な場合、Ｘ＝６０ｆｐｓのときはＲｔｓ＝１６Ｍｂｐｓに変更して処理するようにすることで、記録時のＭＰＥＧ２−ＴＳのデータレートは１６Ｍｂｐｓ・（６０ｆｐｓ／２４ｆｐｓ）＝４０Ｍｂｐｓとなり、具現化が容易となる。

以上説明したように、再生時のＴＳデータレートＲｔｓ、圧縮映像データの標準レートＲを、撮影フレームレートＸの値によって変更することで、より低コストな構成で可変フレームレート記録を実現可能である。

なお、本発明の実施の形態においては、多重化としてＭＰＥＧ２−ＴＳを用いることを前提として説明したが、多重化の方式はこれに限るものではなく、例えばＭＰＥＧ２−ＰＳ（Ｐｒｏｇｒａｍ Ｓｔｒｅａｍ）などを用いてもよい。同様に、映像の圧縮符号化としてＭＰＥＧ２ビデオ符号化を用いることを前提として説明したが、圧縮符号化の方式もこれに限るものではなく、例えばＭＰＥＧ４ビデオ符号化、Ｈ．２６４ビデオ符号化、ＤＶＣ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｃａｓｓｅｔｔｅ）における圧縮符号化などを用いてもよい。

さらに、本実施の形態では、映像記録装置２が有効フレーム抽出部２０及び映像符号化部２１を備えているとして説明したが、これに限らず、映像記録装置２が、有効フレーム抽出部２０、映像符号化部２１、及び音声符号化部２４を備えていなくても構わない。この場合、映像記録装置２以外の外部の装置が有効フレーム抽出部２０、映像符号化部２１、及び音声符号化部２４を備えている。そして、撮像装置１から出力された６０ｐ映像信号６と有効フレームフラグ７は、この外部の装置で処理され、その結果外部の装置から圧縮映像データが出力される。そして、映像記録装置２は、この外部の装置から出力された圧縮映像データを入力してＴＳ多重部２２にてシステムストリームを生成する。このように、映像記録装置２自体が入力映像信号の圧縮符号化を行わず、映像記録装置２が圧縮符号化された圧縮映像データを入力して多重処理のみを行うものであっても構わない。

さらに、本実施の形態においては、記録媒体に記録する際には、ＰＣＲ等の復号処理に関する時刻を規定する時刻管理情報を多重するとして説明したが、これに限らない。記録媒体に記録する際には、このような時刻管理情報を多重せず、撮影時のフレームレートＸで記録し、再生時には、記録媒体に記録された映像信号をフレームコンバータ等によりＹフレーム／秒の映像信号に変換しても構わない。

すなわち、この場合の動作は、以下のようになる。まず、撮影時のフレームレートを可変できる撮像装置１により映像信号を撮像する。そして、映像符号化部２１で撮像された、映像信号を圧縮符号化し圧縮映像データを出力する。出力された圧縮映像データは、ＴＳ多重部２２で処理せず、記録部２３が映像符号化部２１から出力された前記圧縮映像データを直接記録媒体に記録する。記録部２３が記録媒体に圧縮映像データを記録する際には、撮影時のフレームレートで圧縮映像データが記録される。そして、記録媒体に記録された前記圧縮映像データは、再生される際、フレームレートコンバータ等により予め決められた、所定のフレームレートに変換される。

例えばＸが１２であり、Ｙが２４である場合には次のようになる。すなわち、１２フレーム／秒で撮像装置１で映像信号を撮像する。そして、撮像された映像信号を圧縮符号化して圧縮映像データを生成し、記録媒体に圧縮映像データを１２フレーム／秒で記録する。ただし、圧縮映像データには、本実施の形態とは異なり、ＰＣＲ等の復号処理に関する時刻を規定する時刻管理情報を多重しなくても構わない。記録媒体に記録された圧縮映像データを再生する際には、フレームコンバータを用いて２４フレーム／秒の映像信号に変換して出力する。

従って、この場合、撮像した映像信号のフレームレートで記録媒体に圧縮映像データを記録するので、従来の映像記録装置に比べて、より記録媒体を節約することが出来るという効果を発揮する。というのも、従来の映像記録装置は、撮影時の映像信号を一旦ＥＶＦが表示出来る６０フレーム／秒のフレームレートに変換した後フレーム内圧縮して圧縮映像データを生成して６０フレーム／秒のフレームレートの映像として記録媒体に記録していたので、重複した圧縮映像データが記録媒体に記録されてしまうからである。

尚、本発明のプログラムは、上述した本発明の映像記録装置の全部又は一部の手段の機能をコンピュータにより実行させるためのプログラムであって、コンピュータと協働して動作するプログラムである。

又、本発明の記録媒体は、上述した本発明の映像記録装置の全部又は一部の手段（又は、装置、素子等）の機能をコンピュータにより実行させるためのプログラムを記録した記録媒体であり、コンピュータにより読み取り可能且つ、読み取られた前記プログラムが前記コンピュータと協動して前記機能を実行する記録媒体である。

尚、本発明の上記「一部の手段」とは、それらの複数の手段の内の、一つ又は幾つかの手段を意味する。

又、本発明の上記「手段の機能」とは、前記手段の全部又は一部の機能を意味する。

又、本発明のプログラムの一利用形態は、コンピュータにより読み取り可能な記録媒体に記録され、コンピュータと協働して動作する態様であっても良い。

又、本発明のプログラムの一利用形態は、伝送媒体中を伝送し、コンピュータにより読みとられ、コンピュータと協働して動作する態様であっても良い。

又、本発明のデータ構造としては、データベース、データフォーマット、データテーブル、データリスト、データの種類などを含む。

又、記録媒体としては、ＲＯＭ等が含まれ、伝送媒体としては、インターネット等の伝送媒体、光・電波・音波等が含まれる。

又、上述した本発明のコンピュータは、ＣＰＵ等の純然たるハードウェアに限らず、ファームウェアや、ＯＳ、更に周辺機器を含むものであっても良い。
尚、以上説明した様に、本発明の構成は、ソフトウェア的に実現しても良いし、ハード
ウェア的に実現しても良い。

本発明にかかる映像記録装置は、ビデオカメラとして有用であり、特に映画におけるスローモーション効果やクイックモーション効果をフィルムではなく電子的なフレームレート変換処理により得るビデオカメラに適している。

１ 撮像装置
２ 映像記録装置
３ 電子ビューファインダー
４ マイク
５ 制御部
６ ６０ｐ映像信号
７ 有効フレームフラグ
１０ ＣＣＤ
１１ フレームメモリ
１２ カメラ処理部
１３ ＣＣＤ駆動回路
１４ 駆動パルス切換回路
２０ 有効フレーム抽出部
２１ 映像符号化部
２２ ＴＳ多重部
２３ 記録部
２４ 音声符号化部

Claims (14)

1. 外部から再生フレームレートと、前記再生フレームレートに対して少なくとも低い値を持つ記録フレームレートと、を予め設定可能である映像記録装置であって、
   映像信号を圧縮符号化して生成された圧縮映像データに対し、復号処理に関する時刻を規定する時刻管理情報を多重して、複数のパケットから構成されたシステムストリームを出力する多重手段と、
   前記システムストリームを構成する前記パケットに、再生処理に関する時刻を規定するパケット再生時刻情報を多重して、多重後の前記システムストリームを記録媒体に記録可能な記録手段とを備え、
   入力されてくる前記映像信号の記録フレームレートが、Ｘフレーム／秒（Ｘは実数）であり、前記システムストリームを記録再生および復号した後に得られる再生映像信号において予め設定されている再生フレームレートがＹフレーム／秒（Ｙは実数）である場合に、ＸとＹとが異なっている場合、前記多重手段は、前記再生フレームレートＹに対応した前記時刻管理情報と前記圧縮映像データとを多重し、
   ＸとＹとが異なっている場合、前記記録手段は、ＸとＹとが同一である場合のパケット再生時刻情報を基準パケット再生時刻情報としたとき、連続する前記パケット再生時刻情報の値の差が対応する前記基準パケット再生時刻情報の値の差に対して実質上Ｘ／Ｙ倍になるような前記パケット再生時刻情報を演算により求め、前記パケット再生時刻情報を前記基準パケット再生時刻情報から変更して多重し、
   前記記録手段は、前記パケット再生時刻情報を前記演算により求める際、対応する前記パケット再生時刻情報の差を複数の値から選択することにより決定し、その選択結果の平均値が前記基準パケット再生時刻情報の差のＸ／Ｙ倍になるように前記パケット再生時刻情報を演算により求める、映像記録装置。
2. 前記多重手段は、前記時刻管理情報を生成するための、周波数が前記記録フレームレートと前記再生フレームレートとが同一である場合に用いる基準値から変更可能であるクロックを有し、
   前記記録フレームレートと、前記再生フレームレートとが異なっている場合、前記多重手段は、前記クロックの周波数を前記基準値から変更し、その変更した周波数を前記時刻管理情報の生成に用いる、請求項１に記載の映像記録装置。
3. 前記多重手段は、前記クロックの周波数をＸとＹとが等しい場合の前記基準値に対してＸ／Ｙ倍に変更して、その変更した周波数を前記時刻管理情報の生成に用いる、請求項２に記載の映像記録装置。
4. 前記多重手段は、ＸとＹとが等しい場合に生成される時刻管理情報を基準時刻管理情報としたとき、前記時刻管理情報間の値の差が対応する前記基準時刻管理情報間の値の差に対してＸ／Ｙ倍になるような前記時刻管理情報を演算により求める、請求項１に記載の映像記録装置。
5. 前記圧縮映像データに加え、音声データが入力される場合であって、（１）前記記録フレームレートと、前記再生フレームレートとが等しい場合、入力されてくる前記音声データのサンプリング周波数を変えずに前記音声データを記録音声データとして出力し、（２）前記記録フレームレートと、前記再生フレームレートとが異なっている場合、入力されてくる前記音声データのサンプリング周波数を異なる周波数に変換して記録音声データとして出力する音声変換手段を備え、
   前記多重手段は、出力された前記記録音声データを前記システムストリームに多重する、請求項１に記載の映像記録装置。
6. ＸとＹとが異なっている場合、前記音声変換手段は、入力されてくる前記音声データのサンプリング周波数をＸ／Ｙ倍の周波数に変換する、請求項５に記載の映像記録装置。
7. 入力される前記映像信号を圧縮符号化し、前記圧縮映像データを出力する映像符号化手段を備えた、請求項１に記載の映像記録装置。
8. 前記圧縮映像データは、入力されてくる前記映像信号の一部のフレームをフレーム間圧縮することで生成される、請求項１に記載の映像記録装置。
9. 前記多重手段はＭＰＥＧ規格に対応した多重化を行う多重化手段であり、前記時刻管理情報は復号及び出力（表示）のタイミング基準となるＰＣＲまたはＳＣＲ、復号後の各フレームの出力タイミングを示すＰＴＳ、復号のタイミングを示すＤＴＳを含む、請求項１に記載の映像記録装置。
10. 前記圧縮映像データは、撮像時のフレームレートを可変できる撮像装置により撮像され入力されてくる前記映像信号から生成される、請求項１に記載の映像記録装置。
11. 前記多重手段には、前記圧縮映像データに加え、音声データが入力され、（１）前記記録フレームレートと、前記再生フレームレートとが等しい場合、前記多重手段は、入力された前記音声データを前記システムストリームに多重し、（２）前記記録フレームレートと、前記再生フレームレートとが異なっている場合、前記多重手段は、入力された前記音声データを前記システムストリームに多重しない、請求項１に記載の映像記録装置。
12. 外部から再生フレームレートと、前記再生フレームレートに対して少なくとも低い値を持つ記録フレームレートと、を予め設定する設定ステップと、
    映像信号を圧縮符号化して生成された圧縮映像データに対し、復号処理に関する時刻を規定する時刻管理情報を多重して、複数のパケットから構成されたシステムストリームを出力する多重ステップと、
    前記システムストリームを構成する前記パケットに、再生処理に関する時刻を規定するパケット再生時刻情報を多重して、多重後の前記システムストリームを記録媒体に記録する記録ステップとを備え、
    入力されてくる前記映像信号の記録フレームレートが、Ｘフレーム／秒（Ｘは実数）であり、前記システムストリームを記録再生および復号した後に得られる再生映像信号において予め設定されている再生フレームレートがＹフレーム／秒（Ｙは実数）である場合に、ＸとＹとが異なっている場合、前記多重ステップは、前記再生フレームレートＹに対応した前記時刻管理情報と前記圧縮映像データとを多重し、
    ＸとＹとが異なっている場合、前記記録ステップは、ＸとＹとが同一である場合のパケット再生時刻情報を基準パケット再生時刻情報としたとき、連続する前記パケット再生時刻情報の値の差が対応する前記基準パケット再生時刻情報の値の差に対して実質上Ｘ／Ｙ倍になるような前記パケット再生時刻情報を演算により求め、前記パケット再生時刻情報を前記基準パケット再生時刻情報から変更して多重し、
    前記記録ステップでは、前記パケット再生時刻情報を前記演算により求める際、対応する前記パケット再生時刻情報の差を複数の値から選択することにより決定し、その選択結果の平均値が前記基準パケット再生時刻情報の差のＸ／Ｙ倍になるように前記パケット再生時刻情報を演算により求める、多重方法。
13. 請求項１に記載の映像記録装置の、ＸとＹとが異なっている場合、前記再生フレームレートＹに対応した前記時刻管理情報と前記圧縮映像データとを多重する前記多重手段、および、前記パケット再生時刻情報を前記演算により求める際、対応する前記パケット再生時刻情報の差を複数の値から選択することにより決定し、その選択結果の平均値が前記基準パケット再生時刻情報の差のＸ／Ｙ倍になるように前記パケット再生時刻情報を演算により求める前記記録手段としてコンピュータを機能させるプログラム。
14. 請求項１３に記載のプログラムを記録した記録媒体であって、コンピュータにより処理可能な記録媒体。

Images