以下に、本発明の第一実施形態について、図面を参照して説明する。
図1は本発明の第一実施形態である映像データの記録再生装置の概略ブロック図である。
ここで、符号1〜符号4は映像入力端子、符号5は同期化切替回路、符号6〜符号9および符号16〜19はメモリ、符号11はMPEG符号化回路、符号12はカメラコード判別回路、符号13は記録時メモリ制御回路、符号14は記録再生部、符号15はMPEG復号化回路、符号21は再生時メモリ制御回路、符号23はカメラコード付加回路、符号24は表示制御回路、符号25は映像出力端子、符号26はビデオデコーダ回路、そして符号27はビデオエンコーダ回路である。また、符号10は同期化切替回路5と表示制御回路24とでなるフレームスイッチャである。
映像入力端子1〜4は、図示していないカメラから出力されたアナログの映像信号を入力する。
同期化切替回路5は、映像入力端子1〜4に入力された4つのアナログ映像信号をデジタル変換するとともに、当該4つの映像信号を同期させながら順次切り替え、一つの混合映像信号として出力する。また、当該4つの映像信号を識別するためのカメラコードを、当該混合映像信号の対応する部分に付加する。
ビデオデコーダ回路26は、同期化切替回路5から出力された混合映像信号を、MPEG符号化に合わせた画素数の輝度信号および色差信号からなる映像データVSMIrに変換する。
カメラコード判別回路12は、同期化切替回路5から出力された混合映像信号からカメラコードを検出する。
メモリ(1R)6〜メモリ(4R)9は、映像データVSMIrの対応する部分を各々格納する。
記録時メモリ制御回路13は、カメラコード判別回路12で判別されたカメラコードにしたがって、ビデオデコーダ回路26から出力された映像データVSMIrを格納するメモリを制御する。
本実施形態では、カメラコードにしたがい、映像データVSMIrのうち、映像入力端子1に入力された映像信号に相当する部分をメモリ(1R)6に、映像入力端子2に入力された映像信号に相当する部分をメモリ(2R)7に、映像入力端子3に入力された映像信号に相当する部分をメモリ(3R)8に、そして、映像入力端子4に入力された映像信号に相当する部分をメモリ(4R)9に、各々格納するようにメモリ(1R)6〜メモリ(4R)9を制御している。
また、記録時メモリ制御回路13は、メモリ(1R)6〜メモリ(4R)9に順次アクセスして、各々に格納された任意フレーム数分の映像データVSMIrをまとめて読み出す。
このようにすることで、ビデオデコーダ回路26から出力された映像データVSMIrは、フレームの順番が入れ替わった映像データ、すなわち、映像入力端子1〜4に入力された映像信号に相当する映像データ各々が、順次、任意フレーム数分ずつ連続して構成された映像データVSMOrに変換される。
MPEG符号化回路11は、映像データVSMOrをMPEG符号化し、MPEGビットストリームBSrとして出力する。
この際、MPEG符号化回路11は、記録時メモリ制御回路13の指示にしたがって、ビットストリームBSrに、当該ビットストリームBsrに変換されたVSMOrの元となる映像信号のカメラコード情報を付加する。
記録再生部14は、MPEG符号化回路11から出力されたビットストリームBSrを、ディスクやテープなど記録媒体に記録する。また、記録媒体に記録したビットストリームを再生し、当該再生したビットストリームBSpを出力する。
MPEG復号化回路15は、記録再生部14で再生されたビットストリームBSpを復号して、輝度信号および色差信号でなる映像データVSMIpに変換する。また、当該ビットストリームBSpに付加されたカメラコードを検出する。
メモリ(1P)16〜メモリ(4P)19は、MPEG復号化回路15から出力された映像データVSMIpの対応する部分を各々記憶する。
再生時メモリ制御回路21は、MPEG復号化回路15で検出されたカメラコードにしたがって、MPEG復号化回路15から出力された映像データVSMIpを格納するメモリを制御する。
本実施形態では、カメラコードにしたがい、MPEG復号化回路15で復号化されたVSMIpのうち、映像入力端子1に入力された映像信号に相当する部分をメモリ(1P)16に、映像入力端子2に入力された映像信号に対応する部分をメモリ(2P)17に、映像入力端子3に入力された映像信号に対応する部分をメモリ(3P)18に、そして、映像入力端子4に入力された映像信号に対応する部分をメモリ(4P)19に、各々格納するようにメモリ(1P)16〜メモリ(4P)19を制御している。
また、再生時メモリ制御回路21は、メモリ(1P)16〜メモリ(4P)19に順次アクセスして、映像データVSMIpをフレーム単位で順番に読み出す。このようにすることで、映像入力端子1〜4の映像信号に相当する映像データがフレーム毎に順次切り替わって構成された映像データVSMOpを生成する。
ビデオエンコーダ27は、映像データVSMOpを複合映像信号に変換する。
カメラコード付加回路23は、再生時メモリ制御回路21の指示にしたがい、ビデオエンコーダ27で変換された複合映像信号の垂直ブランキング期間に、対応するカメラコードを付加する。
表示制御回路24は、従来のフレームスイッチャにおける再生処理と同様に、カメラコードを判別して希望するカメラの映像のみを選択的に表示するように、映像出力端子25から映像信号を出力する。
映像出力端子25は、図示していない映像を表示するモニタに接続される。
次に、図1に示す映像データの記録再生装置の各構成について更に詳細に説明する。
まず、同期化切替回路5について説明する。
図2は図1に示す同期化切替回路5の概略構成図である。
ここで、符号31は映像選択回路A、符号32は映像選択回路B、符号33は入力タイミング発生回路、符号34、35はA/Dコンバータ、符号36、37は切替スイッチ、符号38はFIFO(First In First Out)メモリA、符号39はFIFOメモリB、符号40は書き込み制御回路A、符号41は書き込み制御回路B、符号42は読み出し制御回路A、符号43は読み出し制御回路B、符号44は出力選択回路、符号45は基準タイミング発生回路、そして、符号47はカメラコード付加回路である。
映像選択回路A31は、基準タイミング発生回路45の制御信号SAにしたがって、入力端子1〜4に各々入力されたアナログの映像信号VS1〜VS4のうちのいずれか一つを選択する。
映像選択回路B32は、基準タイミング発生回路45の制御信号SBにしたがって、入力端子1〜4に各々入力されたアナログの映像信号VS1〜VS4のうちのいずれか一つを選択する。
A/Dコンバータ34は、映像選択回路A31で選択されたアナログの映像信号をデジタル変換する。
A/Dコンバータ35は、映像選択回路B32で選択されたアナログの映像信号をデジタル変換する。
FIFOメモリA38は、書き込み制御回路A40の制御信号MWAにしたがってA/Dコンバータ34から出力された映像信号を書き込むとともに、読み出し制御回路A42の制御信号MRAにしたがって、書き込んだ映像信号VQAを読み出す。
FIFOメモリB39は、書き込み制御回路B41の制御信号MWBにしたがってA/Dコンバータ35から出力された映像信号を書き込むとともに、読み出し制御回路B43の制御信号MRBにしたがって、書き込んだ映像信号VQBを読み出す。
出力選択回路44は、基準タイミング発生回路45の制御信号SQにしたがって、FIFOメモリA38から読み出された映像信号VQAおよびFIFOメモリB39から読み出された映像信号VQBのうちのいずれか一方を選択して出力する。
基準タイミング発生回路45は、たとえば内蔵の水晶発振子などを用いて、サブキャリア(色副搬送波)の4倍の周波数クロックである4fscクロックを生成する。そして、生成した4fscクロックを基に、各部へ供給する制御信号を生成する。
カメラコード付加回路47は、映像選択回路A31、映像選択回路B32、および出力選択回路44での映像選択情報に基づいてカメラコードを発生させ、出力選択回路44の出力映像信号VOの垂直ブランキング期間にカメラコードを付加する。
入力タイミング発生回路33は、入力端子1〜4各々に入力された映像信号VS1〜VS4から、水平同期信号および垂直同期信号を分離する。そして、分離した水平同期信号および垂直同期信号を基に映像信号の1フレームの開始タイミングおよび終了タイミングを生成する。また、映像信号VS1〜VS4各々に対し、当該信号のサブキャリアに位相ロックした4fscクロックを発生させる。
なお、アナログ映像信号VS1〜VS4各々について生成された、当該信号の1フレームの開始および終了タイミングと、4fscクロックとを、当該信号の入力タイミングと呼ぶこととする。
切替スイッチ36は、基準タイミング発生回路45の制御信号SAにしたがって、入力タイミング発生回路33で生成された映像信号VS1〜VS4各々の入力タイミングの中から、いずれか1つの入力タイミングを選択して出力する。
切替スイッチ37は、基準タイミング発生回路45の制御信号SBにしたがって、入力タイミング発生回路33で生成された映像信号VS1〜VS4各々の入力タイミングの中から、いずれか1つの入力タイミングを選択して出力する。
書き込み制御回路A40は、基準タイミング発生回路45の制御信号と、切替スイッチ36から出力された入力タイミングとにしたがい、FIFOメモリA38が1フレーム分の映像信号を書き込むように制御信号MWAを発生する。また、A/Dコンバータ34に前記入力タイミングに含まれる4fscクロックを供給する。
書き込み制御回路B41は、基準タイミング発生回路45の制御信号と、切替スイッチ37から出力された入力タイミングとにしたがい、FIFOメモリB39が1フレーム分の映像信号を書き込むように制御信号MWBを発生する。また、A/Dコンバータ35に前記入力タイミングに含まれる4fscクロックを供給する。
読み出し制御回路A42は、基準タイミング発生回路45の制御信号にしたがい、FIFOメモリA38から映像信号を読み出すタイミングを特定する制御信号MRAを発生する。
読み出し制御回路B43は、基準タイミング発生回路45の制御信号にしたがい、FIFOメモリB39から映像信号を読み出すタイミングを特定する制御信号MRBを発生する。
次に、図2に示す同期化切替回路5の動作について説明する。
ここでは、入力端子1〜4に各々入力される映像信号VS1〜VS4が互いに非同期(垂直同期の位相がずれている)の場合の例について説明する。
図3は図2に示す同期化切替回路5の動作を説明するためのタイミング図である。
図3において、1−1〜1−7は映像信号VS1の1フレーム分の期間、2−1〜2−7は映像信号VS2の1フレーム分の期間、3−0〜3−7は映像信号VS3の1フレーム分の期間、そして、4−1〜4−7は映像信号VS4の1フレーム分の期間を、それぞれ示している。
基準タイミング発生回路45は、2フレーム分の期間毎に、映像信号VS1とVS3とを交互に選択する制御信号SAを生成する。
したがって、映像選択回路A31で選択された映像信号VSAは、図3に示すように、2フレーム分の期間毎に、映像信号VS1と映像信号VS3とが交互に切り替わる混合映像信号となる。
書き込み制御回路A40は、映像選択回路A31で選択された映像信号VSAが切り替わった後、最初のフレーム開始タイミングから当該フレームの終了タイミングの間の映像信号(1フレーム分の映像信号)に対応するデジタル映像データをFIFOメモリA38に書き込むように、制御信号MWAを生成する。
これにより、FIFOメモリA38には、1フレーム分の映像信号VS1と、1フレーム分の映像信号VS3とが交互に書き込まれる。
また、FIFOメモリA38は、読み出し制御回路A42の制御信号にしたがい、格納した1フレーム分の映像信号を読み出すことで、図3に示すように、1フレーム分の映像信号VS1と、1フレーム分の映像信号のVS3とが、各々2フレーム毎に交互に同期化された映像信号VQAを出力する。
以上の動作がB側の回路(映像選択回路32、A/Dコンバータ35、FIFOメモリB39、切替スイッチ37、書き込み制御回路B41、読み出し制御回路43)でも同様に行われる。
これにより、FIFOメモリB39から出力される映像信号VQBは、図3に示すように、1フレーム分の映像信号VS2と、1フレーム分の映像信号VS4とが、各々2フレーム毎に交互に同期化された信号となる。
基準タイミング発生回路45は、1フレーム分の期間毎に、選択するデジタル映像データVQA、VQBを切り替えるように制御信号SQを生成する。
これにより、出力選択回路44から出力される映像信号VOは、デジタル変換された映像信号VS1〜VS4が同期化されて、1フレーム毎に順次切り替えられた混合映像信号となる。
その後、カメラコード付加回路47は、垂直ブランキング期間内の適当な部分に、当該ブランキング期間に続く混合映像信号が、映像信号VS1〜VS4のいずれに相当するものであるかを示すカメラコードを付加する。
図4にカメラコードを付加した映像信号の例を示す。
図4は垂直ブランキング内の任意の1H(水平同期)期間の混合映像信号を示しており、符号51は水平同期信号、符号52はカラーバースト信号、A〜Dの部分は情報信号である。
図のA〜Dの部分をハイレベル(例えば80IRE)、あるいはロウレベル(例えば0IRE)に設定することで、カメラの番号を示す4ビットの情報とすることができる。
本実施形態では、映像信号VS1のときは4ビットの情報が「1」、映像信号VS2のときは「2」、映像信号VS3のときは「3」、そして映像信号VS4のときは「4」となるように、カメラコードを付加している。
以上に説明した同期化切替回路5の動作により、非同期の4つの映像信号を、同期化して、且つカメラコードを付加して、時分割で出力することができる。
次に、カメラコード判別回路12について説明する。
図5はカメラコード判別回路12の概略構成図である。
ここで、符号53はコンパレータ、符号54はラッチ回路、符号55は同期分離回路、そして、符号56はタイミング発生回路である。
同期分離回路55は、同期化切替回路5から出力された混合映像信号から、水平同期信号と垂直同期信号とを分離して、出力する。
タイミング発生回路56は、同期分離回路55から出力された水平同期信号および垂直同期信号を基に、カメラコードの情報信号(図4のA〜Dの部分)の検出タイミングを生成する。
コンパレータ53は、同期化切替回路5から出力された混合映像信号を、スレショールドレベル(例えば50IRE)と比較することにより、当該信号がハイレベルであるか、あるいはロウレベルであるか判別する。判別された信号は、タイミング発生回路56で生成された検出タイミングでラッチされ、次のカメラコードをラッチするまでの約1フレーム期間、保持される。
次に、メモリ(1R)6〜メモリ(4R)9について説明する。
メモリ(1R)6〜メモリ(4R)9は、書き込みと読み出しとを同時に行うことができるFIFOメモリである。ライトリセット入力にしたがって書き込みアドレスをリセットし、ライトイネーブル入力がハイの期間のみ、書き込みアドレスをインクリメントしながらデータを書き込む。
同様に、リードリセット入力にしたがって読み出しアドレスをリセットし、リードイネーブル入力がハイの期間のみ、読み出しアドレスをインクリメントしながらデータを読み出す。
次に、記録時メモリ制御回路13について説明する。
図6は記録時メモリ制御回路13の概略構成図である。
ここで、符号61は60進カウンタ回路、符号62はデコーダ回路、符号63〜符号66は一致検出回路、符号67はエッジ検出回路(DEG)群、そして、符号68はOR回路である。
60進カウンタ回路61は、CK端子に入力されたクロックの立ち上がりに同期してインクリメントする。
デコーダ回路62は、D端子に入力されたカウント値が所定値になったときに所定の出力端子をハイレベルにする。
本実施形態では、図6において、出力「Qk(kは自然数)」は、D端子に入
力されたカウント値が「k」のときにハイレベルを出力するようにしてある。たとえば、出力「Q0」は、D端子に入力されたカウント値が「0」のときにハイレベルを出力する。
また、出力「Qk−l( k、lは自然数)」は、D端子に入力されたカウン
ト値がkになってから当該カウント値がlになる間、ハイレベルを出力するようにしてある。たとえば、出力「Q51−5」は、D端子に入力されたカウント値が「51」になってから当該カウント値が「5」になる間、ハイレベルを出力する。
一致検出回路63〜66は、2つの入力値が一致したときにハイレベルを出力する。
エッジ検出回路群67を構成するエッジ検出回路(DEG)各々は、入力パルスの立ち下がりの1クロック期間のみハイレベルを出力する。
次に、図6に示す記録時メモリ制御回路13の動作について説明する。
まず、カウンタ回路61は、ビデオデコーダ回路26から出力された映像データVSMIrのフレーム基準タイミング(FT)に同期してインクリメントする。そして、カウント値が59に達すると、次のインクリメントでリセットされる。これにより、60フレーム周期でメモリ制御のための基準カウント値を発生させる。
次に、デコーダ回路62は、カウンタ回路61で生成された基準カウント値が「0」、「15」、「30」、あるいは「45」になったときに、対応する出力端子「Q0」、「Q15」、「Q30」、「Q45」からハイレベルを出力する。
これらのデコード出力を受けたエッジ検出回路群67のエッジ検出回路は、当該デコード出力の立ち下がりの1クロック期間のみハイレベルのパルスを出力する。このパルスは、ライトリセット信号(図6に示すMWR1R〜MWR4R)としてメモリ(1R)6〜メモリ(4R)9に供給される。
同様に、デコーダ回路62は、カウンタ回路61で生成された基準カウント値が「50」、「5」、「20」、あるいは「35」になったときに、対応する出力端子「Q50」、「Q5」、「Q20」、「Q35」からハイレベルを出力する。
これらのデコード出力を受けたエッジ検出回路群67のエッジ検出回路は、当該デコード出力の立ち下がりの1クロック期間のみハイレベルのパルスを出力する。このパルスは、リードリセット信号(図6に示すMRR1R〜MRR4R)としてメモリ(1R)6〜メモリ(4R)9に供給される。
また、デコーダ回路62は、カウンタ回路61で生成された基準カウント値が「51」になってから、当該カウント値が「5」になるまで、出力端子「Q51−5」からハイレベルのパルスを出力する。このパルスは、リードイネーブル信号(図6に示すMR1R)としてメモリ(1R)6に供給される。
同様に、デコーダ回路62は、カウンタ回路61で生成された基準カウント値が「6」になってから当該カウント値が「20」になるまで、「21」になってから当該カウント値が「35」になるまで、そして、「36」になってから当該カウント値が「50」になるまで、それぞれ対応する出力端子「Q6−20」、「Q21−35」、「Q36−50」からハイレベルのパルスを出力する。このパルスは、リードイネーブル信号(図6に示すMR2R〜MR4R)として、メモリ(2R)7〜メモリ(4R)9に供給される。
一方、一致検出回路63は、カメラコード判別回路12で判別されたカメラコードCCODEが「1」の場合のみ、出力をハイレベルにする。この一致検出回路63の出力は、ライトイネーブル信号(図6に示すMW1R)としてメモリ(1R)6に供給される。
一致検出回路64は、カメラコード判別回路12で判別されたCCODEが「2」の場合のみ、出力をハイレベルにする。この一致検出回路64の出力は、ライトイネーブル信号(図6に示すMW2R)としてメモリ(2R)7に供給される。
一致検出回路65は、カメラコード判別回路12で判別されたCCODEが「3」の場合のみ、出力をハイレベルにする。この一致検出回路65の出力は、ライトイネーブル信号(図6に示すMW3R)としてメモリ(3R)8に供給される。
一致回路66は、カメラコード判別回路12で判別されたCCODEが「4」の場合のみ、出力をハイレベルにする。この一致回路66の出力は、ライトイネーブル信号(図6に示すMW4R)としてメモリ(4R)9に供給される。
上記説明した記録時メモリ制御回路13の動作をタイミング図で示すと、図7および図8のようになる。
図7は、60進カウンタ61のカウント値が0〜20になるまでの期間、すなわち約21フレーム分の期間における各部の波形を示している。
ここで、「書込み領域1」はメモリ(1R)6の複数の書込みアドレスを代表値で表したものであり、各領域には1フレーム分の映像データが記憶できるものとする。
したがって、「書込み領域1」の値は、1フレーム分の映像データを書き込む毎に1つずつインクリメントされ、書込みリセット信号MWR1Rにより0にリセットされる。
同様に、「書込み領域2」、「書込み領域3」、「書込み領域4」は、それぞれメモリ(2R)7、メモリ(3R)8、メモリ(4R)9の複数の書込みアドレスを代表値で表したものである。
図7に示すように、カメラコードCCODEは、4フレーム周期で変化するので、ライトイネーブル信号MW1R〜MW4Rは、4フレームに1回の割合でハイになる。
60進カウンタ61の値CT60が、0から1に変わるタイミングにおいて、メモリ(1R)6のライトリセット信号MWR1Rがハイになり、書込みアドレスがリセットされる。
そして、次のフレーム期間(CT60が1の期間)に、映像データVSMIrの「1−1」部分(映像信号VS1の1フレーム分に相当)が、メモリ(1R)6の領域0に書き込まれる。
以後、メモリ(1R)6には、4フレーム毎に、映像データVSMIrから映像信号VS1の1フレームに相当する信号が書込まれる。
一方、メモリ(2R)7のライトリセット信号MWR2Rは、CT60が15から16に変わるタイミングでハイになり、メモリ(2R)7の書込みアドレスがリセットされる。
そして、次のフレーム期間(CT60が18の期間)に映像データVSMIrの「2−18」部分(映像信号VS2の1フレーム分に相当)が、メモリ(2R)7の領域0に書き込まれる。
以後、メモリ(2R)7には、4フレーム毎に、映像データVSMIrから映像信号VS2の1フレームに相当する信号が書込まれる。
メモリ(3R)8、メモリ(4R)9のライトリセット信号MWR3R、MWR4Rは、さらに15フレームずつずれたタイミングでハイになる。
そして、上記と同様の要領で、メモリ(3R)8では映像信号VS3の1フレームに相当する映像データが、そしてメモリ(4R)9では映像信号VS4の1フレームに相当する映像データが、それぞれ4フレーム毎に、領域0から順番に書き込まれる。
図8は、60進カウンタ61が3周弱回る期間、すなわち約170フレーム分の期間における各部の波形を示している。
なお、ここでは、図が煩雑になるのを防ぐため、VSMIrおよびCCODEを省略してある。また、60進カウンタ61のカウント値CT60は、アナログ値で図示した。
CT60が「50」から「51」に変わるタイミングにおいて、メモリ(1R)6のリードリセット信号MRR1Rがハイになり(図示は省略)、読み出しアドレスがリセットされる。
そして、次の15フレーム期間(CT60が「51」になってから「5」になるまでの期間)、リードイネーブル信号MR1Rがハイになり、これにより、メモリ1R(6)に書き込まれたデータが領域0から15まで順次読み出される。
データ読み出し期間中も、4フレーム周期で断続的に書込みが行われるが、ライトリセット信号MWR1Rとリードリセット信号MRR1Rの時間差を適切に(ここでは、50フレーム分)とってあるので、読み出しアドレスが書込みアドレスを追い越すことはない。すなわち、一回の読み出し期間(15フレーム)内に新しいデータと古いデータとが混在することはない。
メモリ(2R)7〜メモリ(4R)9の動作に関しては、図8に示すように、ライトリセット信号、リードリセット信号およびリードイネーブル信号のタイミングがほぼ15フレームずつずれている点を除いて、メモリ(1R)6の動作とほぼ同様である。
各々のメモリ(1R)6〜メモリ(4R)9の出力イネーブル信号は、リードイネーブル信号と接続されており、リードイネーブル信号がロウの場合、出力がハイインピーダンスになるように制御されている。
したがって、映像データVSMOrは、図8に示すように、15フレーム分毎
に、メモリ(1R)6〜メモリ(4R)9から順次まとめて出力される。
以上に説明した記録時メモリ制御回路13の動作により、ビデオデコーダ回路26から出力された、フレーム単位で順次時分割された映像信号VS1〜VS4の映像データVSMIrを、15フレーム単位で順次時分割された映像信号VS1〜VS4の映像データVSMOrに変換することができる。
次に、MPEG符号化回路11について説明する。
図9は、図1に示すMPEG符号化回路11の概略構成図である。
ここで、符号71は画像順並び変え回路、符号72は減算回路、符号73および符号83は切替回路、符号74はDCT(Discrete Cosine Transfer)変換回
路、符号75は量子化回路、符号76は可変長符号化回路、符号77はバッファメモリ、符号78は逆量子化回路、符号79は逆DCT変換回路、符号80は加算回路、符号81は画像メモリ、符号82は動き補償回路、符号84は画像タイプ決定回路、符号85は情報量制御回路、符号86はカメラコード発生回路、そして、符号87はビデオ多重符号化回路である。
MPEG符号化では、フレーム間予測符号化を行わないI(Intra-coded)ピ
クチャ、前方向フレーム間予測符号化を行うP(Predictive-coded)ピクチャ、および前後両方向フレーム間予測符号化を行うB(Bidirectonally predictive-coded)ピクチャの三種類の符号化を、周期的に繰り返す。
画像タイプ決定回路84は、これらの画像タイプに応じた処理が周期的に行われるように管理するカウンタ回路である。記録時メモリ制御回路13からのRES信号(図6において、OR回路68から出力される信号)によりリセットされ、GOP(Group of Pictures)を周期として、上記各ピクチャに対応した制御
信号を各部に送出する。
画像順並び変え回路71は、画像タイプ決定回路84から出力された制御信号にしたがって、映像データVSMOrの画面順序を並べ替える。
切替回路73は、フレーム内符号化とフレーム間符号化とに対応して入力映像データと差分データとを選択するものであり、画像タイプ決定回路84からの制御信号SWCTLに応じて切り替えられる。
切り替えられた映像データはDCT変換回路74において8画素×8ラインのブロック単位で空間周波数領域に変換され、量子化回路75で量子化マトリクスとの演算により量子化される。
量子化回路75で量子化されたデータは、可変長符号化回路76において、動き補償回路82からの動きベクトルや符号化モード情報とともに可変長符号化され、バッファ77で蓄積された後、ビデオ多重符号化回路87に出力される。
情報量制御回路85は、バッファメモリ77内のデータ量に応じた量子化スケールを設定して、量子化回路75および逆量子化回路78に送出する。
また、量子化回路75で量子化されたデータは、逆量子化回路78、逆DCT変換回路79で局部復号化され、画像メモリ81に記憶される。ただし、Bピクチャは参照画像として用いないので画像メモリ81に書き込まない。
このような書込み制御は、画像タイプ決定回路84からの制御信号にしたがって行われる。
切替回路83は、フレーム内復号化とフレーム間復号化を選択するための切替回路で、画像タイプ決定回路84からの制御信号に応じて切り替えられる。
動き補償回路82は、画像順並び変え回路71からの映像データを基に入力映像の動きベクトルを検出し、画像メモリ81の画像データに対して動き補償を行う。このとき、動き補償回路82は前方向、後方向及び両方向の動き補償のうち最適な補償を選択して行い、またフレーム間の相関が非常に小さいと判断した場合には「0」を出力する。
なお、Pピクチャでは、前方向の動き補償のみにするなど、画像タイプにより処理を切り替えるが、この切り替えは画像タイプ決定回路84からの制御信号にしたがって行われる。
カメラコード発生回路86は、記録時メモリ制御回路13から出力されるリードイネーブル信号(図6に示すMR1R〜MR4R)に応じて、対応するカメラコードを発生する。
たとえば、リードイネーブル信号MR1Rがハイのときは、図8のタイミング図から明らかなように、入力端子1に入力された映像信号VS1に対応する映像データが、映像データVSMOrとして出力されているので、「1」に相当するカメラコードを発生する。
このカメラコードは、ビデオ多重符号化回路87においてMPEG規格で規定されているGOP層のユーザデータとして付加され、バッファ77からの映像符号化データとともにMPEGビットストリームBSrとして出力される。
図10は、図9に示すMPEG符号化回路の動作を示すタイミング図である。
ここで、図7に示に示す記録時メモリ制御回路13の動作とのタイミング関係を明確にするために、60進カウンタ61のカウンタ値CT60、メモリ(1R)6のリードイネーブル信号MR1R、映像データVSMOr、およびRES信号を示している。
図10において、GCTは画像タイプ決定回路84内部のカウンタのカウント値、PTYPE1は映像データVSMOrの画像タイプ、PTYPE2は図2に示す画像順並び替え回路71の出力映像信号VSMOAの画像タイプを示している。
GCTはRES信号でリセットされるまで、1フレーム毎にインクリメントする。
RES信号は、図10から分かるように、15フレーム周期でハイになるので、GCTは15フレーム周期でカウント値が変化する。
図10のPTYPE1で示すように、画像タイプ決定回路84は、GCT=0のときの映像データVSMOr(1フレーム分の映像データ)がIピクチャとして符号化されるように各部に制御信号を送る。
同様に、GCT=1、2ときはBピクチャ、GCT=3ではPピクチャとなるようにする。
画像順並び変え回路71は、Bピクチャの双方向予測符号化を可能にするために、図10に示すように、Bピクチャが、予測に使われるI、Pピクチャよりも後になるように画像の順序を入れ替える。
この結果、画像順並び替え回路71の出力映像信号VSMOAのフレーム処理順序は、図10に示すVSAのようになる。フレーム「1−1」や「2−2」はIピクチャとして符号化されるので、画像タイプ決定回路84の制御信号SWCTLをハイにして、切替回路73、83がB側を選択するようにする。これにより、これらの画像を処理するときはフレーム間予測が行われない。
上記説明したMPEG符号化回路11では、一つのカメラで得られた映像信号に対応する映像データ(例えば図10に示すVSMOr「1−1」〜「1−57」)のみでGOPを構成する。
他のGOPの映像データは別のカメラで得られた映像信号に対応するものであり、フレーム間予測を行っても効果はないので、他のGOPとのフレーム間予測は行わないように、すなわちクローズドGOPとする。
なお、本実施形態では、15フレームでGOPを構成し、Pピクチャの間隔は3フレーム間隔としたが、これらの設定は一例にすぎず、他の設定でもよい。ただし、図6に示すカウンタ61の最大カウント値は、GOP周期の4(カメラの数に相当)倍になるように構成する必要がある。
次に、記録再生部14について説明する。
記録再生部14は、たとえば、VHS(Video Home System)規格の機構系を
基本としてデジタル信号を記録再生できるようにしたD−VHS(Digital-Video Home System)規格のVTRなどを用いることができる。あるいは、光ディス
クやハードディスクなどのディスク媒体に記録する装置であってもよい。これらは、記録時間、コスト、信頼性等の条件から最適なものを選べばよい。
理想的には、記録されるビットストリームBSrと再生されるビットストリー
ムBSpとが等しいことが望まれる。
次に、MPEG復号化回路15について説明する。
図11は図1に示すMPEG復号化回路15の概略構成図である。
ここで、符号91は加算回路、符号92は逆DCT変換回路、符号93は逆量子化回路、符号94は可変長復号化回路、符号95はバッファメモリ、符号96はビデオ多重復号化回路、符号97は画像メモリ、符号98は動き補償回路、符号99は遅延保持回路、そして符号100は画像順並び変え回路である。
記録再生部14で再生されたMPEGビットストリームBSpはバッファメモリ95に一時蓄積され、その後、ビデオ多重復号化回路96に出力される。
ビデオ多重復号化回路96は、ビットストリームBSpから映像符号化データと各種コードを分離する。そして、映像符号化データを可変長復号化回路94へ出力するとともに、各種コードを基に必要な制御信号を発生して各部へ送出する。
また、ビデオ多重復号化回路96は、GOP層のユーザデータとして挿入されたカメラコードを検出し、遅延・保持回路99に出力する。
遅延・保持回路99は、カメラコードを映像信号の復号に要する時間分だけ遅延させ、画像順並び変え回路100からの出力に同期させる。また、1GOP期間、その値(本実施形態では、15フレーム期間)保持して、再生時メモリ制御回路21へ出力する。
ビデオ多重復号化回路96で分離された映像符号化データには、基本的に、MPEG符号化回路11での符号化処理と逆の処理が施される。この処理は通常のMPEG復号の動作と変わらないので、動作の概要のみ簡単に説明する。
すなわち、可変長復号化回路94で、マクロブロック符号化情報が復号されて、符号化モード、動きベクトル、量子化情報および量子化DCT係数が分離される。
復号された8×8の量子化DCT係数は、逆量子化回路93でDCT係数に復元され、その後、逆DCT回路92により映像データに変換される。
なお、イントラ符号化モードの場合はそのまま出力される。
また、動き補償予測モードの場合は、動き補償予測されたブロックデータが加算回路91にて加算される。
I、Pピクチャについては、その後の復号処理で参照画面として用いる必要があるため、画像メモリ97に書き込まれる。
最後に、画像順並び変え回路100において、MPEG符化号回路11での符号化処理で、最初に行われたフレーム順の並び変えと逆の並び変えが行われ、元のフレーム順序、すなわちMPEG符号化回路11に入力された映像データVSMOrと同じフレーム順番の映像データVSMIpを生成する。
次に、メモリ(1P)16〜メモリ(4P)19について説明する。
メモリ(1P)16〜メモリ(4P)19は、メモリ(1R)6〜メモリ(4R)9と同様に、FIFOメモリで構成されており、再生時メモリ制御回路21が発生するライトリセット信号、ライトイネーブル信号、リードリセット信号及びリードイネーブル信号によって制御される。
これにより、MPEG復号化された映像データは、フレーム単位で順序が入れ替えられて、メモリ(1P)16〜メモリ(4P)19に書き込まれる。
この順序入れ替えは、映像データVSMIrのメモリ(1R)6〜メモリ(4R)9への書き込み及び読み出し順序と逆の処理を行うものである。
次に、再生時メモリ制御回路21について説明する。
図12は図1に示す再生時メモリ制御回路21の概略構成図である。
ここで、符号101〜符号104は一致検出回路、符号105〜符号108は立ち上がり検出回路、符号109〜符号112は遅延回路、符号113は4進カウンタ、そして、符号114はデコーダ回路である。
一致回路101は、図11に示す遅延・保持回路99から出力されたカメラコードCCODEpが「1」のときにハイレベルを出力する。その出力は、ライトイネーブル信号(MW1P)としてメモリ(1P)16に入力される。
一致回路102は、遅延・保持回路99から出力されたカメラコードCCODEpが「2」のときにハイレベルを出力する。その出力は、ライトイネーブル信号MW2Pとしてメモリ(2P)17に入力される。
一致回路103は、遅延・保持回路99から出力されたカメラコードCCODEpが「3」のときにハイレベルを出力する。その出力は、ライトイネーブル信号MW3Pとしてメモリ(3P)18に入力される。
一致回路104は、遅延・保持回路99から出力されたカメラコードCCODEpが「4」のときにハイレベルを出力する。その出力は、ライトイネーブル信号MW4Pとしてメモリ(4P)19に入力される。
立ち上がり検出回路105はライトイネーブル信号MW1Pの立ち上がりの1クロック期間のみハイレベルにする。その出力は、ライトリセット信号MWR1Pとしてメモリ(1P)16に入力される。
立ち上がり検出回路106はライトイネーブル信号MW2Pの立ち上がりの1クロック期間のみハイレベルにする。その出力は、ライトリセット信号MWR2Pとしてメモリ(2P)17に入力される。
立ち上がり検出回路107はライトイネーブル信号MW3Pの立ち上がりの1クロック期間のみハイレベルにする。その出力は、ライトリセット信号MWR3Pとしてメモリ(3P)18に入力される。
立ち上がり検出回路108はライトイネーブル信号MW4Pの立ち上がりの1クロック期間のみハイレベルにする。その出力は、ライトリセット信号MWR4Pとしてメモリ(4P)19に入力される。
遅延回路109は、ライトリセット信号MWR1Pを1フレーム分遅延させる。その出力はリードリセット信号MRR1Pとしてメモリ(1P)16に入力される。
遅延回路110は、ライトリセット信号MWR2Pを1フレーム分遅延させる。その出力はリードリセット信号MRR2Pとしてメモリ(2P)17に入力される。
遅延回路111は、ライトリセット信号MWR3Pを1フレーム分遅延させる。その出力はリードリセット信号MRR3Pとしてメモリ(3P)18に入力される。
遅延回路112は、ライトリセット信号MWR4Pを1フレーム分遅延させる。その出力はリードリセット信号MRR4Pとしてメモリ(4P)19に入力される。
4進カウンタ113は、映像データVSMIpのフレーム基準タイミングFTpにしたがってカウント値を1ずつインクリメントする。
デコーダ回路114は、4進カウンタ113のカウント値が「0」、「1」、「2」、「3」になったときに、それぞれ出力端子「Q0」、「Q1」、「Q2」、「Q3」をハイレベルにする。出力端子「Q0」〜「Q3」から出力されるハイレベルの信号は、それぞれメモリ(1P)16〜メモリ(4P)19のリードイネーブル信号MR1P〜MR4Pとなる。
次に、上記構成の再生時メモリ制御回路21による、映像データVSMIpのメモリ(1P)16〜メモリ(4P)19への書き込み動作および読み出し動作について説明する。
図13は再生時メモリ制御回路21による映像データVSMIpのメモリ(1P)16〜メモリ(4P)19への書き込み動作を説明するためのタイミング図である。
メモリ(1P)16〜メモリ(4P)19に入力される映像データVSMIpは、図13に示すように、入力端子1〜4に入力された映像信号VS1〜VS4に対応する映像データが、15フレーム毎に順次切り替わった構成となっている。また、カメラコードCCODEpは、映像信号VS1〜VS4に対応した番号となっている。
まず、メモリ(1P)16への書き込みの動作および読み出し動作について説明する。
ライトイネーブル信号MW1Pは、カメラコードCCODEpが値「1」を保持している期間、15フレーム分の期間中、ハイレベルとなる。
ライトリセット信号MWR1Pは、ライトイネーブル信号MW1Pの立上がりエッジ部分でハイとなるので、映像信号VS1のフレーム「1−1」からフレーム「1−57」までの15フレーム分に相当する映像データVSMIpが連続してメモリ(1P)16に書き込まれることになる。
なお、図13中の、ライトイネーブル信号MW1Pにおける括弧内の数字は、書き込みが行われるメモリ領域を示している。
リードリセット信号MRR1Pは、ライトリセット信号MWR1Pの1フレーム後にハイレベルとなる。
リードイネーブル信号MR1Pは、4フレーム周期で1フレーム期間だけハイレベルになるので、上記書き込み動作によりメモリ(1P)16に書き込まれた映像データVSMIpが、4フレーム周期で間欠的に読み出される。
なお、図13中の、リードイネーブル信号MR1Pにおける括弧内の数字は、読み出しが行われたメモリ領域を示している。
この結果、メモリ(1P)16〜メモリ(4P)19から出力される映像データVSMOpは、図13に示すように、最初の十数フレーム期間は、4フレーム周期で入力端子1に入力された映像信号VS1に対応する映像データのみが出力される。
次に、メモリ(2P)17への書き込み動作および読み出し動作について説明する。
ライトリセット信号MWR2Pおよびライトイネーブル信号MW2Pは、メモリ(1P)16に対するライトリセット信号MWR1P、ライトイネーブル信号MW1Pより15フレーム遅れて発生する。
このため、メモリ(1P)16に対する書き込みから、15フレーム遅れて、映像信号VS2のフレーム「2−2」からフレーム「2−58」までの15フレーム分に相当する映像データVSMIpが、連続してメモリ(2P)17に書き込まれることになる。
また、リードリセット信号MRR2Pが、ライトリセット信号MWR2Pから1フレーム期間遅れてハイレベルになり、その後のリードイネーブル信号MR2Pがハイレベルの期間中に、上記書き込み動作で書き込まれた、入力端子2に入力された映像信号VS2に対応する映像データが、4フレーム周期で読み出される。
なお、図13において、メモリ(3P)18およびメモリ(4P)19の書き込みおよび読み出し動作については、リードイネーブル信号MR3P、MR4Pを示しているのみであるが、約15フレームずつ遅れて、上記説明したメモリ(1P)16およびメモリ(2P)17の場合と同様の動作を行う。
以上に説明した再生時メモリ制御回路21の動作により、MPEG復号化回路15から出力された、15フレーム単位で順次時分割された映像信号VS1〜VS4の映像データVSMIpを、ビデオデコーダ回路26から出力された映像データVSMIrと略同じフレーム順番のVSMOpに変換することができる。
なお、図13に示す映像データVSMOpにおいて、映像データ番号がない部分は、メモリへの最初の書き込みが行われる前に、当該メモリのリードイネーブル信号(MR2Pなど)がハイになって読み出された無効データである。この無効データ部分は、カメラコード付加回路23でカメラコードが付加されず、表示制御回路24でモニタ出力に表われないように処理される。
ところで、上記の再生時メモリ制御回路21では、復元された映像データVSMOpのフレーム順番が、ビデオデコーダ回路26から出力された映像データVSMIrのフレーム順番と多少ずれることになるが、使用上問題となる程度のものではない。ビデオデコーダ回路26から出力された映像データVSMIrのフレーム順番と全く同じフレーム順番に復元するためには、たとえば映像データVSMOpをメモリなどに格納して、各映像入力端子VS1〜VS4に入力した映像信号に相当する映像データの出力タイミングを調節してやればよい。
次に、表示制御回路24について説明する。
図14は図1に示す表示制御回路24の概略構成図である。
ここで、符号121は映像信号入力端子、符号122はA/Dコンバータ、符号123はビデオデコーダ、符号124はメモリ、符号125はビデオエンコーダ、符号126はD/Aコンバータ、符号127はカメラコード分離回路、符号128はメモリ制御回路、そして符号129は映像信号出力端子である。
メモリ(1P)16〜メモリ(4P)19から読み出された映像データVSMOpは、ビデオエンコーダ回路27で複合映像信号に変換された後、映像信号入力端子121に入力される。
A/Dコンバータ122は、映像信号入力端子121に入力された複合映像信号を、デジタル変換する。
ビデオデコーダ123は、A/Dコンバータ122でデジタル変換された複合映像信号を、輝度信号データと色差信号データとに分離する。
カメラコード分離回路127は、複合映像信号の垂直同期部分に挿入されているカメラコードを分離して、メモリ制御回路128に送出する。
メモリ制御回路128は、送られてくるカメラコードを基に、指定されたカメラ番号で特定される映像信号の輝度信号データおよび色差信号データのみをメモリ124に書き込むように制御信号を発生する。
また、読み出しは連続で行うように制御信号を発生する。
ビデオエンコーダ125は、メモリ124から読み出された輝度信号データおよび色差信号データをデジタルの複合映像信号に変換する。
D/Aコンバータ129は、ビデオエンコーダ125で変換したデジタル複合映像信号をアナログの複合映像信号に変換する。
そして、映像信号出力端子129から出力されて、図示していないモニタに入力される。
以上の動作により、操作者が望むカメラ番号の映像のみをモニタすることができる。あるいは、メモリ124への書き込み時に映像を水平・垂直に間引きをし、4つに分割したメモリ領域に各カメラの映像データを順次書き込むことにより、4台のカメラ映像を4分割で一度にモニタすることもできる。これらの表示制御回路24の動作は従来のフレームスイッチャの再生処理と同じなので、詳細の説明は省略する。
上記の第一実施形態では、同期化切替回路5により、4台のビデオカメラで得た映像信号VS1〜VS4がフレーム毎に順次切り替えられて生成された混合映像信号VOを、記録時メモリ制御回路13により、映像信号VS1〜VS4毎に、対応するメモリ(1R)6〜メモリ(4R)9に、複数フレーム(ここで、15フレーム)分まとめて記憶させている。
そして、メモリ(1R)6〜メモリ(4R)9に記憶した複数フレーム分の映像信号を、順次まとめて読み出して、MPEG符号化回路11でMPEG符号化を行っている。
すなわち、映像信号VS1〜VS4は4フレーム間隔毎に間引きされながらメモリ(1R)16〜メモリ(4R)19に書き込まれ、書き込まれた映像データは15フレーム分連続して読み出され、1画像グループ(GOP)が構成される。
そして、この画像グループ内の画像データはフレーム間予測を用いてMPEG圧縮処理される。
したがって、MPEG符号化回路11に入力される映像信号のフレーム間の相関が高くなるので、一つの映像を圧縮符号化する場合と同様に、小さな画質劣化で大きなデータ圧縮効率が得られる。
すなわち、第一実施形態によれば、4台のビデオカメラで得た映像信号VS1〜VS4がフレーム毎に順次切り替えられて生成された混合映像信号のデータを1つのMPEG符号化回路11を用いて効率よく符号化することができるので、これにより、低価格の映像データ圧縮符号化装置または圧縮符号化回路を内蔵した低価格の映像データ記録再生装置を提供することができる。
また、第一実施形態では、同期化切替回路5や表示制御回路24として、従来のタイムラプスVTR用のフレームスイッチャをそのまま使うことができる。同期化切替回路5の機能により、4台のカメラの同期をとる必要はない。
なお、第一実施形態では、1GOPを15フレーム(n=15)としたが、本発明はこの値に限定されるものではない。また、カメラの数も4台(m=4)に限定するものではない。上記のm、nが他の値の場合には、図6に示す60進カウンタ61を(m×n)進カウンタにし、デコーダ回路62のデコード値を適当な値に設定することで対応できる。
また、第一実施形態では、同期化切替回路5で生成された混合映像データを圧縮するものについて説明したが、同期化切替回路5は別段設けなくてもよい。
たとえば、映像入力端子1〜4に入力された映像信号各々をビデオデコーダでデコードした後、所定フレーム数分の映像を、前記映像信号各々から順次取得して、対応するメモリ6〜9に格納するようにしてもよい。各々の映像に対して、1フレーム分の映像データをメモリ6〜9に格納する(すなわち、書き込み動作を行う)周期を4フレーム周期とすれば、メモリ6〜9に格納される映像データは第一実施形態と同一になるので、メモリ6〜9読み出し制御以降の動作を第一実施形態と同一にすることにより、第一実施形態と同じ効果が得られる。
次に、本発明の第二実施形態について説明する。
図15は本発明の第二実施形態である映像データの記録再生装置の概略ブロック図である。
図15に示す映像データの記録再生装置が図1に示す本発明の第一実施形態の装置と異なる点は、メモリ(1R)6〜メモリ(4R)9、メモリ(1P)16〜メモリ(4P)19を設けていないこと、および、MPEG符号化回路11、MPEG復号化回路15に代えてMPEG符号化回路131、MPEG復号化回路132を各々設けたことである。
その他の構成は、図1に示す映像データの記録再生装置と同じである。そこで、その他の構成についは、図1に示すものと同じ番号を付すことで、その詳細な説明を省略する。
まず、MPEG符号化回路131について説明する。
図16はMPEG符号化回路131の概略構成図である。
ここで、符号143は4フレーム周期で画像タイプを切り替える画像タイプ決定回路、符号141は画像タイプ決定回路143で決定された画像タイプにしたがい、4フレーム単位でフレーム順を並べ変える画像順並び替え回路、符号142は画像タイプ決定回路143で決定された画像タイプにしたがい、4フレーム単位で映像データを記憶する画像メモリ回路、符号144は遅延回路である。
その他の構成は図9に示すMPEG符号化回路11と同じである。そこで、その他の構成については、図9に示すものと同じ符号を付すことで、その詳細な説明を省略する。
最初に、図16に示す画像順並び替え回路141について説明する。
図17は図16に示す画像順並び替え回路141の概略構成図である。
ここで、符号151〜符号154はメモリ、符号155〜符号157は選択回路、符号158はメモリ制御回路である。また、VSEIはビデオデコーダ回路26から出力された映像データである。
図18は、図17に示す画像順並び替え回路141の動作を説明するためのタイミング図である。
ここで、映像データVSEI内の数字は、カメラコードCCODEの値、すなわち、映像入力端子1〜4の番号を示している。
CT60は、画像タイプ決定回路143に内蔵された60進カウンタであり、1フレーム毎にインクリメントする。そして、画像タイプ決定回路143に入力されるカメラコードCCODEが1になる時に同期してリセットされる。
PTYPEは、画像タイプ決定回路143によって決定された画像タイプである。画像タイプ決定回路143は、CT60の値に応じて、4フレーム毎に画像タイプPTYPEを決定し、その結果を各部に送る。
たとえば、CT60が「0」から「3」の期間はIピクチャであり、1番目のIピクチャということで、図では「I1」と示してある。以後、Bピクチャ「B2」、Bピクチャ「B3」、Pピクチャ「P4」、というように、4フレーム毎にピクチャタイプを決定する。
図17に示すメモリ制御回路158は、CT60の値に基づいてメモリ151〜154の制御信号を生成する。
具体的には、図18に示すように、Iメモリ151のライトイネーブル信号であるwrite Iを生成する。これを受けて、Iメモリ151には、writ
e Iがハイレベルの間、映像データが書き込まれる。
ここで、図18に示すwrite Iでの矢印は、メモリ制御回路158が生
成したIメモリ151のライトリセット信号を示しており、矢印のタイミングでライトアドレスがリセットされる。
これにより、Iメモリ151は、図18に示すように、CT60の値が「0」の始めのタイミングでリセットされ、CT60の値が「0」から「3」の間で書き込みを行う。したがって、「Iピクチャ」と指定された映像データのみを60フレーム周期で4フレーム分書き込むことになる。
また、メモリ制御回路158は、Iメモリ151のリードイネーブル信号であるread Iを生成する。これを受けて、Iメモリ151から、read Iがハイレベルの間、映像データが読み出される。
ここで、図18に示すread Iでの矢印は、Iメモリ151のリードリセット信号を示しており、矢印のタイミングでリードアドレスがリセットされる。
したがって、Iメモリ151は、図18に示すように、4フレーム周期でリードアドレスをリセットしながら常に読み出しをしていることになる。
また、メモリ制御回路158は、Bメモリ154の制御信号であるwrite Bおよびread B、PAメモリ152の制御信号であるwrite PAお
よびread PA、そして、PBメモリ153の制御信号であるwrite PB、read PBを、図18に示すようなタイミングで生成する。
この結果、Bメモリ154には、「Bピクチャ」と指定された映像データのみが書き込まれ、PAメモリ152およびPBメモリ153には、「Pピクチャ」と指定された映像データのみが書き込まれることになる。
なお、メモリ151〜154は、ライトリセットとリードリセットのタイミングが一致した場合には、旧データを読み出すものとする。読み出される映像データの内容を図18に示すread Iでの文字で示している。
したがって、たとえばIメモリ151は、CT60の値が「4」の始めで映像データが更新され、その後、60フレーム期間、4フレーム周期で同じ映像データを繰り返し読み出すことになる。
さらに、メモリ制御回路158は、上記のメモリ制御信号のほかに、選択回路155〜157の選択信号を生成する。
具体的には、図18に示すように、選択回路155が、その入力端子に入力された映像データを選択するための選択信号SEL Nを生成する。
ここで、「I」、「V」、「B」等は、図17において、これ等の文字で示されている入力端子に入力される映像データを選択したことを示している。
また、「Nout」は、選択回路155のQ端子から出力される映像データを示しており、図18に示すように、通常のMPEG符号化における画像タイプの処理順序(I、P、B、B、P、B・・・)の映像データが出力される。
ただし、これ等の画像タイプの切り替わりの周期は、4フレームであり、通常の1フレームではない。
なお、このNoutは、符号化される映像データVSAとして、図16に示す減算回路72および切替回路73に供給され、同時に、動きベクトル検出用の現信号として動き補償回路82にも供給される。
また、メモリ制御回路158は、選択回路156がその入力端子に入力された映像データを選択するための選択信号SEL F、そして選択回路157がその
入力端子に入力された映像データを選択するための選択信号SEL Bを、図1
8に示すようなタイミングで生成する。
ここで、「Fout」は選択回路156のQ端子から出力される映像データを示している。「Fout」は、順方向動きベクトル検出用信号として動き補償回路82に供給される。なお、図中の「−」は動き検出として使用されない映像データを示しており、例えば「0」を出力する。
また、「Bout」は、選択回路157のQ端子から出力される映像データを示している。「Bout」は逆方向動きベクトル検出用信号として動き補償回路82に供給される。
以上に説明した画像順並び替え回路141の動作により、映像データは映像入力端子1〜4に順次入力された4フレーム分の映像データが一つのまとまりとして扱われる。したがって、図18に示す「Nout」、「Fout」および「Bout」のデータにおけるカメラ番号は常に同期している。
このため、動き補償回路82での動きベクトルの検出等のフレーム間処理で、同じ映像入力端子に入力された映像データ同士で演算が行われて、動きベクトルが順次検出される。言い換えれば、一つの動き補償回路82を4台のカメラ映像データに対して時分割で使うということになる。
次に、図16に示す画像メモリ回路142について説明する。
図19は図16に示す画像メモリ回路142の概略構成例である。
ここで、符号161はIピクチャを記憶するIメモリ、符号162はPAメモリ、符号163はPピクチャを記憶するPBメモリ、符号164、165は選択回路、符号166はメモリ制御回路である。
メモリ161〜163は、図1に示すメモリ(1R)6等と同様のFIFOメモリである。これらは、メモリ制御回路166が発生するライトリセット信号、ライトイネーブル信号、リードリセット信号、およびリードイネーブル信号によって制御される。
選択回路164は、SEL端子入力に入力される選択信号SEL FDに応じ
てI、PA、PBの入力端子に入力された映像データのうちのいずれか1つを選択し、Q端子から出力する。
選択回路165は、SEL端子入力に入力される選択信号SEL BDに応じ
てPA、PBの入力端子に入力された映像データのうちのいずれか1つを選択し、Q端子から出力する。
図20は、図19に示す画像メモリ回路142の動作を説明するためのタイミング図である。
なお、図20に示す画像メモリ回路142の動作タイミングは、図18に示す画像順並び替え回路141の動作タイミングと略同じなので、その詳細な説明は省略する。
画像メモリ回路142では、メモリ制御回路166によって制御されるメモリ161〜163への書き込み、読み出し動作、および選択回路164、165での選択動作により、選択回路164で選択された映像データFDoutと、選択回路165で選択された映像データBDoutとを得る。
これらの映像データは、図16に示す動き補償回路82において、映像データFDoutは順方向の動き補償用として、映像データBDoutは逆方向の動き補償用として利用される。
これらの映像データFDout、BDoutは、図17に示す画像順並び替え回路141の場合と同様に、映像入力端子1〜4までの4フレーム分の映像データが一つのまとまりとして扱われており、入力映像データVSEDと同期して出力される。
このため、動き補償回路82、加算回路80および減算回路72において、同じ映像入力端子同士の映像データが演算処理される。
なお、厳密には、DCT変換や量子化等の処理には一定の時間が必要であり、VSEIとVSEDとは若干の時間ずれがあるが、図が繁雑になるのを防ぐため、図20ではこれらの時間ずれは無視している。
カメラコードCCODEは、遅延回路144において、映像データ符号化に要する時間分だけ遅延されてバッファ77から出力される映像符号化データに同期化され、ビデオ多重符号化回路87において、各フレーム毎にピクチャ層のユーザデータとして付加される。
次に、MPEG復号化回路132について説明する。
図21は図15に示すMPEG復号化回路132の概略構成図である。
ここで、符号171は画像メモリ回路を、符号172は画像順並び替え回路を示している。その他の構成は図11に示すMPEG複合化回路15と同じである。そこで、その他の構成については、図11に示すMPEG複合化回路15と同じ符号を付すことで、その詳細な説明を省略する。
画像メモリ回路171は、図19に示すMPEG符号化回路131の画像メモリ回路142と同じ回路構成である。
画像メモリ回路171において、図19に示すメモリ制御回路166に相当する回路は、フレーム毎に付加されているカメラコードと、画像タイプコードとに基づいて、図20に示すライトイネーブル信号write I、リードイネーブ
ル信号read I等と同じメモリ制御信号を発生する。
画像メモリ回路171において、図19に示すメモリ161〜163に相当するメモリ各々に入力される映像データの順序や、上記のメモリ制御信号は、図20に示すものと同じである。
したがって、画像メモリ回路171から出力される映像データも、図20に示すタイミングで出力され、順方向の参照画像データFDoutおよび逆方向の参照画像データBDoutとして動き補償回路98に供給される。
画像順並び替え回路172は、図17に示すMPEG符号化回路131の画像順並び替え回路141と同じ回路構成であるが、この画像メモリ回路141と逆の画像並び変えを行う。
すなわち、図18のNoutに示す順序で入力される画像データを、図17に示すメモリ151〜154に相当するメモリに書き込み、順序を変えて読み出す。これにより、図18のVSEIに示す元の画像順序で出力する。
この動作は、4フレームを一つのまとまりとして処理するところ以外は通常のMPEG復号化における画像順並び替えと同じであるので、詳細な回路構成やタイミング図は省略する。
上記の第二実施形態では、同期化切替回路5により、映像入力端子1〜4に順次入力された映像信号がフレーム毎に順次切り替えられて生成された混合映像信号を、画像順並び替え回路141で、入力端子1〜4に順次入力された4フレームの映像データを単位として並び替えを行って、当該4フレームのk(kは自然数)倍の時間間隔の映像データを動き補償回路82に送る。
また、画像メモリ回路142においても、同様に、入力端子1〜4に順次入力された4フレームの映像データを単位として、映像データの書き込み・読み出し処理を行うことで、4フレームのk(kは自然数)倍の時間間隔の映像データを参照画像として動き補償回路82に送る。
この結果、動き補償回路82では、同じカメラの上記時間間隔離れた映像データ同士で動き補償処理が行われることになるので、フレーム間予測符号化の効果としては一つのカメラで得た映像データを符号化する場合と同じとなり、高いデータ圧縮率が得られる。
また、第二実施形態では、複数のカメラ映像を処理するためのメモリ回路をMPEG符号化回路131およびMPEG復号化回路132の内部に(画像並び変え回路141と172、画像メモリ142と171)設けたので、図1のメモリ(1R)6〜メモリ(4R)9、およびメモリ(1P)16〜メモリ(4P)19が不要になり、装置を簡略化することができる。
なお、本発明は上記の各実施形態に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。
たとえば、上記の各実施形態では、フレーム間の予測符号化を行っているが、フィールド間の予測符号化を行うようにしてもよい。具体的には、例えば、前述の第一実施形態、第二実施形態の説明における「フレーム」をすべて「フィールド」に置き換えることにより、実現できる。
また、上記の各実施形態において、複数設けられているメモリを1つにまとめて管理するようにしてもよい。
また、本発明の記録再生装置は、監視システムに限られず、複数の映像信号が混合した混合映像信号を記録・再生するすべての記録再生装置に適用することが可能である。