JP5047607B2 - ストリーム記録装置、ストリーム記録方法、記録システム、および記録再生システム - Google Patents

Description

本発明は、映像ストリームまたは音声ストリームの記録システム、および記録再生システムに関し、より詳しくは、複数の情報配信装置からのストリームを、記録サーバによって１本のストリームとしてリアルタイムに記録する記録システムおよび記録再生システムに関する。

近年、放送技術の発展により、複数の映像コンテンツが一本のストリームデータとして伝送され、受信機器側で利用者が映像コンテンツを選択して視聴できるようになっている。例えば、放送局等の映像記録サーバ等は、複数のカメラによる撮影で得られた複数のＡＶストリームをネットワークを介して収集し、一旦蓄積する。そして、オーサリングツール等を用いたユーザによる編集によって、蓄積された複数のＡＶストリームが１本のストリームに変換され、１つのメディアコンテンツとして配信される。

なお、ネットワークを介しての記録コンテンツの収集および配信においては、同時刻の複数のＡＶストリームが、伝送遅延等により、異なるタイミングで受信側のユーザ端末に到着するため、それらの同期を取るために、ユーザ端末に多くのバッファを設ける必要があった。特許文献１には、バッファの数を減らすために、映像配信装置が、伝送遅延をあらかじめ予測し、予測した伝送遅延に応じたタイミングでデータを送信する技術が記載されている。
特開２００５−１６７６６８号公報

しかしながら、ユーザによる編集では、編集作業に時間がかかるという問題があった。

本発明は、上記の点に鑑み、複数の情報配信装置から送信された映像または音声のデータを、リアルタイムに１本のストリームとして記録することを目的とする。

上記の課題を解決するため、請求項１の発明に係るストリーム記録装置は、複数の情報配信装置からそれぞれストリームデータを受信する受信モジュールと、前記受信モジュールによって受信された異なるストリームデータについて、各々に含まれるフレーム集合の時刻情報を比較するフレーム集合同期部と、前記フレーム集合同期部による比較結果と、フレーム集合がいずれの情報配信装置から送信されたかを示す識別子とに基づいて、時刻情報が比較されたフレーム集合間のデータ構成を示す混合情報を、前記フレーム集合同期部による比較結果が同時刻であるフレーム集合の組毎に作成し、当該混合情報および当該混合情報が表すフレーム集合を多重化して同一時刻のフレーム集合が連続するように多重化データとして出力する混合情報作成部と、前記混合情報作成部によって出力された多重化データを、前記混合情報作成部によって出力される順に記録媒体の物理的な連続領域に記録する書き込み部とを備えていることを特徴とする。

また、請求項２の発明は、請求項１に記載のストリーム記録装置において、前記受信モジュールによって受信されたストリームデータをフレーム集合毎に読み出すフレーム抽出部を備え、前記フレーム集合同期部は、前記フレーム抽出部によって読み出されたフレーム集合の時刻情報を比較することを特徴とする。

また、請求項３の発明は、請求項１又は２に記載のストリーム記録装置において、前記複数の情報配信装置のうち、情報配信装置を識別するための識別情報を送信した第１の情報配信装置を識別し、前記識別情報に基づいて前記第１の情報配信装置に識別子を割り当てる識別子割り当て部を有することを特徴とする。

また、請求項４の発明に係るストリーム記録方法は、複数の情報配信装置からそれぞれストリームデータを受信し、受信したストリームデータをフレーム集合毎に読み出し、読み出したフレーム集合の時刻情報同士を比較し、当該時刻情報の比較結果と、フレーム集合がいずれの情報配信装置から送信されたかを示す識別子とに基づいて、時刻情報を比較したフレーム集合間のデータ構成を示す混合情報を、前記時刻情報の比較結果が同時刻であるフレーム集合の組毎に作成し、当該混合情報および当該混合情報が表すフレーム集合を多重化して同一時刻のフレーム集合が連続するように多重化データとして出力し、前記多重化データを、出力される順に記録媒体の物理的な連続領域に記録することを特徴とする。

また、請求項５の発明は、
複数の情報配信装置とストリーム記録装置とを有する記録システムであって、
上記複数の情報配信装置は、それぞれ、
映像または音声のディジタルデータを符号化し、パケット化するエンコーダと、
時刻情報を含むフレーム集合識別パケットを、上記エンコーダによってパケット化されたデータに、フレーム集合毎に挿入するフレーム集合識別パケット挿入部と、
上記フレーム集合識別パケット挿入部によって上記フレーム集合識別パケットが挿入されたストリームデータをネットワークに出力する送信側通信モジュールとを備えたものであり、
上記ストリーム記録装置は、
上記ネットワークから、上記ストリームデータを受信して出力する受信側通信モジュールと、
上記受信側通信モジュールによって出力されたストリームデータを一時記憶する複数のバッファと、
上記複数の情報配信装置と上記複数のバッファとの対応関係を示す割り当て情報を格納するバッファ割り当て部と、
上記バッファ割り当て部に格納された割り当て情報に基づいて、上記受信側通信モジュールによって出力されたストリームデータをいずれのバッファに保持させるかを決定するストリーム振り分け部と、
上記ストリーム振り分け部による決定結果に従って、上記受信側通信モジュールによって出力されたストリームデータを上記バッファに保持させるストリームセレクタと、
上記バッファから、上記ストリームデータをフレーム集合毎に読み出すフレーム集合抽出部と、
上記フレーム集合抽出部によって読み出されたストリームデータにおける各フレーム集合間の同期を、当該ストリームデータに挿入されたフレーム集合識別パケットに含まれる時刻情報に基づいて取り、同時刻のフレーム集合を関連付けるための同期情報を出力するフレーム集合同期部と、
上記フレーム集合抽出部によって読み出された各フレーム集合がいずれの情報配信装置から出力されたかに対応する情報と上記フレーム集合同期部によって出力された同期情報とに基づいて、ストリームデータのデータ構成を示す混合情報を、同時刻のフレーム集合の組毎に作成し、混合情報とストリームデータとを多重化し、多重化したストリームデータを、複数の情報配信装置からの同一時刻のフレーム集合が連続するように出力する混合情報作成部と、
上記混合情報作成部によって出力されたストリームデータを、出力された順に、記録媒体の物理的な連続領域に記録する書き込み部とを備えたものであることを特徴とする。

請求項５の発明により、複数の情報配信装置から送信された映像または音声のデータが、上記混合情報作成部によって、同一時刻のフレーム集合が連続する１本のストリームデータとして出力され、書き込み部によって、１本のストリームデータとして記録される。

また、請求項６の発明は、
請求項５の記録システムにおいて、
上記情報配信装置は、マイクロフォンを備えた撮像装置であって、さらに、
撮影によって得られたアナログ映像データおよび上記マイクロフォンによって得られたアナログ音声データをディジタル変換し、ディジタル映像データおよびディジタル音声データを出力するＡＶ入力を備え、
上記エンコーダによって符号化される上記ディジタルデータは、上記ディジタル映像データおよび上記ディジタル音声データであることを特徴とする。

請求項６の発明により、撮像装置による撮影によって得られた映像または音声のデータが、上記フレーム集合抽出部によって、同一時刻のフレーム集合が連続する１本のストリームデータとして出力され、書き込み部によって、１本のストリームデータとして記録される。

また、請求項７の発明は、
請求項５の記録システムにおいて、
上記フレーム集合識別パケットは、各情報配信装置を識別するための各情報配信装置に固有の識別子を含み、
上記バッファ割り当て部は、上記割り当て情報として、上記各識別子と上記各バッファとの対応関係を示す情報を格納し、
上記ストリーム振り分け部は、ストリームデータをいずれのバッファに保持させるかを、当該ストリームデータのフレーム集合識別パケットに含まれる上記識別子に応じて決定することを特徴とする。

請求項７の発明により、ストリーム振り分け部は、バッファ割り当て部に格納された情報、すなわち、識別子とバッファとの対応関係を示す情報を用いることにより、ストリームデータをいずれのバッファに保持させるかを容易に決定できる。

また、請求項８の発明は、
請求項７の記録システムにおいて、
上記ストリーム記録装置は、さらに、
各情報配信装置に、上記識別子を割り当てる識別子割り当て部を備え、
各情報配信装置のフレーム集合識別パケット挿入部は、上記識別子割り当て部によって当該情報配信装置に割り当てられた識別子を含むフレーム集合識別パケットを挿入するように構成されていることを特徴とする。

請求項８の発明により、識別子割り当て部は、識別子が割り当てられていない情報配信装置に対し、識別子を割り当てることができる。

また、請求項９の発明は、
請求項５の記録システムにおいて、
上記ストリーム記録装置は、
上記記録媒体に記録されたフレーム集合について、そのフレーム集合がいずれの情報配信装置から出力されたかに対応する情報、時刻情報、上記記録媒体における書き込み位置を示す書き込み位置情報、および混合情報作成結果を保持し、上記フレーム集合抽出部によって新たなフレーム集合が読み出されたとき、これと同時刻のフレーム集合が上記記録媒体に記録されているか否かを判断するフレーム識別情報保持部を備え、
上記新たなフレーム集合と同時刻のフレーム集合が上記記録媒体に記録されている場合、
上記混合情報作成部は、上記新たなフレーム集合がいずれの情報配信装置から出力されたかに対応する情報、上記同時刻のフレーム集合がいずれの情報配信装置から出力されたかに対応する情報、および上記同時刻のフレーム集合の混合情報作成結果から、混合情報を作成し、
上記書き込み部は、上記記録媒体において、上記混合情報作成部によって作成された混合情報を、上記同時刻のフレーム情報の混合情報に上書きするとともに、上記新たなフレーム集合を、上記同時刻のフレーム情報の書き込み位置と隣接する領域に書き込むように構成されていることを特徴とする。

請求項９の発明により、以前に記録媒体に記録されたフレーム集合と同時刻のフレーム集合がフレーム集合抽出部によって読み出された場合に、この同時刻のフレーム集合が破棄されることなく、隣接する領域に書き込まれる。

また、請求項１０の発明は、
請求項５の記録システムにおいて、
上記ストリーム記録装置は、
上記フレーム集合抽出部によって読み出されたストリームデータと、上記混合情報作成部によって作成された混合情報とを一時記憶する第２のバッファを備え、
上記混合情報作成部は、同一時刻の複数のフレーム集合、およびそれらの混合情報から構成されるデータ集合について、当該データ集合が記憶される上記第２のバッファ上のアドレスと、当該データ集合のデータ容量とを出力し、
上記書き込み部は、上記混合情報作成部から出力されるアドレスおよびデータ容量に基づいて、当該データ集合を書き込む上記記録媒体における連続領域を決定し、決定した連続領域に当該データ集合を書き込むように構成されていることを特徴とする。

請求項１０の発明によると、同時刻の複数のフレーム集合が記録媒体の連続領域に書き込まれるので、ヘッドのシークが必要な記録媒体が用いられた場合、シーク時間が短くなる。

また、請求項１１の発明は、
請求項５の記録システムとストリーム再生装置とを含む記録再生システムであって、
上記ストリーム記録装置は、
各フレーム集合がいずれの情報配信装置によって出力されたかを示す情報、各フレーム集合の時刻情報、および各フレーム集合の上記記録媒体における記録位置を示す記録位置情報を関連付けた管理情報を作成し、上記記録媒体に記録する管理情報更新部を備え、
上記ストリーム再生装置は、
視聴者によってどのストリームデータが選択されたかを示す選択情報を出力する切り換え制御部と、
バッファと、
上記記録媒体に記録された管理情報に基づいて、現在再生可能なストリームデータの一覧を示す情報を作成するとともに、上記切り換え制御部によって出力された選択情報に応じて、上記再生可能なストリームデータのうち視聴者によって選択されたストリームデータを、上記記録媒体から上記バッファに読み込む読み込み制御部と、
ストリームデータから、ＡＶ情報を抽出するフィルタと、
上記バッファに読み込まれたストリームデータを上記フィルタに転送する再生データ転送部と、
上記フィルタによって抽出されたＡＶ情報に基づく映像データを出力することによって、モニタに映像を表示させるＡＶ出力とを備えたものであることを特徴とする。

請求項１１の発明によると、各フレーム集合がいずれの情報配信装置によって出力されたかを示す情報、各フレーム集合の時刻情報、および各フレーム情報の記録媒体における記録位置を示す記録位置情報を関連付けた管理情報が記録媒体に記録される。読み込み制御部は、この管理情報に基づいて、視聴者によって選択されたストリームデータだけをバッファに読み出すことができる。したがって、同時刻のストリームデータをすべて読み出す場合よりも、バッファの使用容量が小さくなる。

また、請求項１２の発明は、
複数の情報配信装置とストリーム記録装置とを有する記録システムであって、
上記複数の情報配信装置は、それぞれ、
映像または音声のディジタルデータを符号化し、パケット化するエンコーダと、
上記エンコーダによってパケット化されたパケット化データをネットワークに出力する送信側通信モジュールとを備えたものであり、
上記ストリーム記録装置は、
上記ネットワークから、上記パケット化データを受信して出力する受信側通信モジュールと、
上記パケット化データの各パケットを解析することによって、フレーム集合を抽出し、時刻情報を含むフレーム集合識別パケットを、上記パケット化データに、フレーム集合毎に挿入するフレーム集合識別パケット生成部と、
上記フレーム集合識別パケット生成部によって上記フレーム集合識別パケットが挿入されたストリームデータを一時記憶する複数のバッファと、
上記複数の情報配信装置と上記複数のバッファとの対応関係を示す割り当て情報を格納するバッファ割り当て部と、
上記バッファ割り当て部に格納された割り当て情報に基づいて、上記フレーム集合識別パケット生成部によって上記フレーム集合識別パケットが挿入されたストリームデータをいずれのバッファに保持させるかを決定するストリーム振り分け部と、
上記ストリーム振り分け部による決定結果に従って、上記フレーム集合識別パケット生成部によって上記フレーム集合識別パケットが挿入されたストリームデータを上記バッファに保持させるストリームセレクタと、
上記バッファから、上記ストリームデータをフレーム集合毎に読み出すフレーム集合抽出部と、
上記フレーム集合抽出部によって読み出されたストリームデータにおける各フレーム集合間の同期を、当該ストリームデータに挿入されたフレーム集合識別パケットに含まれる時刻情報に基づいて取り、同時刻のフレーム集合を関連付けるための同期情報を出力するフレーム集合同期部と、
上記フレーム集合抽出部によって読み出された各フレーム集合がいずれの情報配信装置から出力されたかに対応する情報と上記フレーム集合同期部によって出力された同期情報とに基づいて、ストリームデータのデータ構成を示す混合情報を作成し、混合情報とストリームデータとを多重化し、多重化したストリームデータを、複数の情報配信装置からの同一時刻のフレーム集合が連続するように出力する混合情報作成部と、
上記混合情報作成部によって出力されたストリームデータを、出力された順に、記録媒体の物理的な連続領域に記録する書き込み部とを備えたものであることを特徴とする。

請求項１２の発明によると、ストリーム記録装置のフレーム集合識別パケット生成部によって、フレーム集合識別パケットがパケット化データに挿入される。したがって、情報配信装置においてフレーム集合識別パケットがデータに挿入され、フレーム集合識別パケットを含むデータがネットワークに出力される場合よりも、ネットワークへの負荷が軽減する。

本発明によれば、複数の情報配信装置から送信された映像または音声のデータが、リアルタイムに１本のストリームとして記録される。

以下、本発明の実施形態について、図面を参照して説明する。なお、以下の各実施形態において、他の実施形態と同様の機能を有する構成要素については同一の符号を付して説明を省略する。

《実施形態１》
本発明の実施形態１に係る記録システムは、図１に示すように、複数台のカメラ１１０、１２０、…と記録サーバ１３０とを備えている。カメラ１１０、１２０、…は、ネットワークを介して記録サーバ１３０に接続されている。

カメラ１１０、１２０、…（撮像装置）は、それぞれ、アナログ映像データを取り込むだけでなく、アナログ音声データをも取り込み、取り込んだそれらのアナログデータをディジタルデータに変換し、エンコードし、さらに記録サーバ１３０に対して送信する機能を有する。具体的には、それぞれ、ＡＶ入力１１１、エンコーダ１１２、送信側通信モジュール１１３、およびフレーム集合識別パケット挿入部１１４を備えている。

記録サーバ１３０（ストリーム記録装置）は、受信側通信モジュール１３１、パケットＩＤ割り当て部１３２（識別子割り当て部）、バッファ割り当て部１３３、ストリーム振分け部１３４、ストリームセレクタ１３５、バッファ領域１３６、フレーム集合抽出部１３９、フレーム集合同期部１４０、混合情報作成部１４１、書き込み部１４２、および記録媒体１４３を備えている。バッファ領域１３６には、バッファ１３７、１３８、…が設けられている。

まず、カメラ１１０、１２０、…がネットワークを介して記録サーバ１３０に接続された時の各部の動作を説明する。

各カメラ１１０、１２０、…の内部にある送信側通信モジュール１１３は、ネットワークに接続されると、そのカメラと他のカメラとを識別するための固有の情報、すなわち、各カメラを識別するための情報を記録サーバ１３０に対して送信する。この固有の情報は、例えば、送信側通信モジュール１１３の持つＭＡＣアドレス(media access control address) であるが、それに限定されるものではない。

受信側通信モジュール１３１は、各カメラ１１０、１２０、…から送信された、各カメラを識別するための情報を受信する。

パケットＩＤ割り当て部１３２は、受信側通信モジュール１３１によって各カメラを識別するための情報が受信されたことを検知し、その情報を送信してきたカメラに対し、固有のパケットＩＤを割り当てる。そして、パケットＩＤ割り当て部１３２は、割り当てたパケットＩＤを受信側通信モジュール１３１が対応するカメラに送信するように、受信側通信モジュール１３１を制御する。つまり、受信側通信モジュール１３１に、割り当てたパケットＩＤを、対応するカメラに送信させる。さらに、割り当てたパケットＩＤをバッファ割り当て部１３３に対して通知する。パケットＩＤ割り当て部１３２は、各カメラに割り当てたパケットＩＤを管理するためのパケットＩＤ割り当て管理テーブルを保持する。図２は、パケットＩＤ割り当て管理テーブルを示す説明図である。図２は、カメラ１１０に、Ｎｏ．００１、Ｎｏ．００２、Ｎｏ．００３のパケットＩＤが割り当てられ、カメラ１２０に、Ｎｏ．００４、Ｎｏ．００５、Ｎｏ．００６のパケットＩＤが割り当てられたことを示している。パケットＩＤ割り当て部１３２は、各カメラにパケットＩＤを割り当てる際、図２に示すようなテーブルを参照し、未割り当てとなっているカメラ識別子として、カメラから送信されたカメラを識別する情報を記憶（登録）し、カメラ識別子に対応するパケットＩＤを取得する。

バッファ割り当て部１３３は、割り当てた各パケットＩＤを含むストリームデータをどのバッファ（バッファ領域）に保持させるかを決定する。そして、割り当てたパケットＩＤ（情報配信装置を識別する情報）とバッファを識別する情報とを関連付けて格納する。つまり、バッファ割り当て部１３３に格納された情報は、複数のカメラ１１０、１２０、…と、各カメラから送られてくるストリームデータを保持させるバッファとの対応関係を示している（割り当て情報）。ここでは、カメラ１１０に割り当てられたパケットＩＤを含むストリームデータをバッファ１３７に保持させ、カメラ１２０に割り当てられたパケットＩＤを含むストリームデータをバッファ１３８に保持させることが決定されたとする。

受信側通信モジュール１３１は、パケットＩＤ割り当て部１３２によって割り当てられたパケットＩＤを、対応するカメラに送信する。

カメラ１１０の送信側通信モジュール１１３は、受信側通信モジュール１３１によって送信されたパケットＩＤを受信すると、エンコーダ１１２に格納させる。

エンコーダ１１２は、データに割り当て可能なパケットＩＤを送信側通信モジュール１１３から受信し、格納する。そして、それらのパケットＩＤを、音声データ（オーディオデータ）および映像データに割り当てる。例えば、記録サーバ１３０から図２のようにパケットＩＤが割り当てられた場合、カメラ１１０は、Ｎｏ．００１、Ｎｏ．００２、Ｎｏ．００３のパケットＩＤをデータに割り当て可能なパケットＩＤとして受信する。そして、エンコーダ１１２は、例えば、カメラ識別データにＮｏ．００１、映像データにＮｏ．００２、音声データにＮｏ．００３を割り当てる。同様に、カメラ１２０は、カメラ識別データにＮｏ．００４、映像データにＮｏ．００５、音声データにＮｏ．００６を割り当てる。

続いて、カメラ１１０が、アナログ映像データおよびアナログ音声データの取り込み（記録）を開始してから、それらのデータに基づくデータが記録媒体１４３に記録されるまでの各部の動作を説明する。

カメラ１１０は、映像を電気信号に変換することによってアナログ映像データを取り込む。また、音波を電気信号に変換することによってアナログ音声データを取り込むマイクロフォンを備えている。

ＡＶ入力１１１は、アナログ映像データおよびアナログ音声データ等を、ディジタル映像データおよびディジタル音声データ等に変換して出力する。

エンコーダ１１２は、ＡＶ入力１１１によって出力されたディジタル映像データおよびディジタル音声データ等を受信すると、フレーム集合の先頭を受信したことを示す情報をフレーム集合識別パケット挿入部１１４に出力する。そして、その次に、ディジタル映像データおよびディジタル音声データ等のエンコードを開始する。その後、１つのフレーム集合のエンコードを終えると、再度、フレーム集合の先頭を受信したことを示す情報をフレーム集合識別パケット挿入部１１４に出力する。

ここで、フレーム集合とは、何枚かのフレームをひとまとまりにしたものであり、例えば、ＭＰＥＧの規格で規定されたＧＯＰ（Group Of Picture）である。しかし、ＧＯＰに限定されるものではない。

エンコーダ１１２は、ディジタル映像データおよびディジタル音声データ等を符号化（エンコード）し、さらにパケット化する。そして、パケット化したデータをストリームデータとして出力する。パケット化する際には、カメラ１１０がネットワークを介して記録サーバ１３０に接続された時にカメラ１１０に割り当てられたパケットＩＤを、各パケットに付与する。

フレーム集合識別パケット挿入部１１４は、エンコーダ１１２によって出力されたフレーム集合の先頭を受信したことを示す情報を受信する毎に、図３に示すようなフレーム集合識別パケットを、フレーム集合の先頭に挿入する。つまり、フレーム集合の先頭毎に、フレーム集合識別パケットを挿入する。

送信側通信モジュール１１３は、フレーム集合識別パケット挿入部１１４によってフレーム集合識別パケットが挿入されたストリームデータを、ネットワークに出力する。

ここで、図３に示すフレーム集合識別パケットは２つ以上のデータから構成されており、そのデータのうちの１つは、パケットＩＤであり、もう１つは時刻情報である。パケットＩＤは前述の通り、接続された個々のカメラ毎に割り当てられる。ストリームがどのカメラから送信されたものかを、パケットＩＤを参照することによって特定することが可能である。つまり、パケットＩＤは、各カメラを識別するための、各カメラに固有の識別子である。また、時刻情報を参照することにより、記録サーバ側で各カメラのストリームデータとそのカメラとは異なるカメラのストリームデータとを関連付けて記録することが可能である。各カメラからのストリームデータのフレーム集合識別パケットに含まれるパケットＩＤは、エンコーダ１１２による前述の割り当てに応じたものとなる。

また、受信側通信モジュール１３１は、カメラ１１０から送信されたストリームデータをネットワークから受信して出力する。

ストリーム振り分け部１３４は、ストリームセレクタ１３５を流れるストリームデータを監視し、単位識別用のパケットを検出すると、パケットを解析し、パケットＩＤを割り出す。また、ストリーム振り分け部１３４は、バッファ割り当て部１３３に関連づけて格納されたパケットＩＤとバッファを識別する情報と（割り当て情報）に基づいて、受信側通信モジュール１３１によって出力されたストリームをバッファ領域１３６内のいずれのバッファ１３７、１３８、…に保持させるかを、そのストリームのフレーム集合識別パケットに含まれるパケットＩＤに応じて決定（制御）する。

ストリームセレクタ１３５は、ストリーム振り分け部１３４による決定結果（制御）に従って、受信側通信モジュール１３１によって出力されたストリームデータの振り分けを行う。ここでは、カメラ１１０からのデータを受信しているため、ストリームデータはバッファ１３７に保持される。

バッファ１３７は、カメラ１１０から送信されたストリームデータ（受信側通信モジュール１３１によって出力されたストリームデータ）を保持（一時記憶）する。

フレーム集合抽出部１３９は、各バッファ１３７、１３８、…の状態を監視している。フレーム集合抽出部１３９は、フレーム集合識別パケットからフレーム集合の終端までを１つのバッファから読み出し、フレーム集合識別パケットに含まれる時刻情報をフレーム集合同期部１４０に渡す。また、次のフレーム集合識別パケットを検知すると、異なるカメラに割り当てられたバッファから読み出しを開始する。しかし、本説明上は、カメラ１１０のストリームデータだけであるため、特にバッファ１３８からのストリームデータの読み出しは行わない。フレーム集合抽出部１３９は、混合情報作成部１４１に、フレーム集合識別パケットを含む読み出したストリームデータを渡す（出力する）。

混合情報作成部１４１は、フレーム集合抽出部１３９から入力された、ストリームデータを元に、ストリームデータのデータ構成を示す混合情報を作成しストリームデータと多重化を行う。混合情報とは、例えばMPEG2-TS規格に照らすとＰＡＴ（Program Association Table）やＰＭＴ（Program Map Table）がそれに当たる。さらに、ＭＰＥＧ２−ＴＳ規格に照らし説明を加えると、混合情報作成部１４１は、まずＰＭＴを作成し、そのＰＭＴにカメラ１１０と同じパケットを割り当て、番組番号を付与する。そしてＰＭＴの要素として、カメラ１１０の映像データＮｏ．００２とカメラ１１０の音声データＮｏ．００３を記述する。その後、ＰＡＴを作成する。次にＮｏ．００１のパケットＩＤを割り当て、その要素にカメラ１１０のＰＭＴのＮｏ．００１のパケットＩＤを記述する。その後、混合情報作成部１４１は、混合情報を含んだストリームデータを書き込み部１４２へ渡す。

書き込み部１４２は、混合情報を含んだストリームデータを記録媒体１４３に記録する（書き込む）。

次に、カメラ１１０に加えてカメラ１２０が、アナログ映像データおよびアナログ音声データの取り込み（記録）を開始してから、カメラ１１０とカメラ１２０から送られたストリームデータが記録媒体１４３に記録されるまでの各部の動作を説明する。

カメラ１２０がアナログ映像データおよびアナログ音声データの取り込み（記録）を開始し、ストリームデータが、記録サーバ１３０に送信され、ストリームセレクタ１３５に到達するまでの各部の動作は、カメラ１１０のみがデータを取り込む上述の場合と同様である。

ストリームセレクタ１３５に入力されたストリームデータは、ストリーム振り分け部１３４の制御によって、カメラ１１０のストリームデータはバッファ１３７へ、カメラ１２０のストリームデータはバッファ１３８へと振り分けられる。

ストリーム振り分け部１３４は、バッファ割り当て部１３３に関連付けて格納された，割り当てたパケットＩＤとバッファを識別する情報とに基づいて、ストリームセレクタ１３５に対し、各カメラ１１０、１２０、…からのストリームデータを対応するバッファに振り分けさせる制御を行う。

フレーム集合抽出部１３９は前述と同様の動作を行うが、バッファ１３７のストリームデータを読み出した後の動作が異なってくる。バッファ１３７のストリームデータを読み出した後、バッファ１３８のフレーム集合識別パケットを読み出し、そのパケットに記された時刻情報をフレーム集合同期部１４０に渡す（出力する）。

フレーム集合同期部１４０は、複数のバッファ１３７、１３８、…からのフレーム集合間の同期を取るようになっている。例えば、バッファが１３７、１３８の２つだけ設けられていた場合について説明する。この場合、フレーム集合同期部１４０は、フレーム集合抽出部１３９によってバッファ１３７から以前に読み出されたフレーム集合の時刻情報と、今回バッファ１３８から読み出されたフレーム集合の時刻情報とを比較し、複数のフレーム集合間の同期を取る。また、比較結果を示す同期情報を出力する。比較の結果、バッファ１３７から以前に読み出されたフレーム集合の時刻の方が進んでいた場合、バッファ１３７から以前に読み出したフレーム集合のみをフレーム集合抽出部１３９に混合情報作成部１４１へ出力させ、そのフレーム集合のみの混合情報を作成する番組番号割り当て情報を混合情報作成部１４１に渡す。そして、バッファ１３８から読み出されたフレーム集合は保持する。次にバッファ１３８から今回読み出されたフレーム集合の時刻の方が進んでいた場合は、バッファ１３７から以前読み出されたフレーム集合のみをフレーム集合抽出部１３９に混合情報作成部１４１へ出力させ、そのフレーム集合のみで混合情報を作成するための番組番号割り当て情報を混合情報作成部１４１に渡す。そして、バッファ１３８から読み出されたフレーム集合は破棄する。バッファ１３７から以前に読み出されたフレーム集合の時刻とバッファ１３８から今回読み出されたフレーム集合の時刻とが等しい場合、両方のフレーム集合をフレーム集合抽出部１３９に混合情報作成部１４１へ出力させ、さらに各バッファから読み出されたフレーム集合のそれぞれの番組番号割り当て情報を混合情報作成部１４１に渡す。番組番号割り当て情報は、フレーム集合がどのバッファから取り出されたかに対応する情報、すなわち、フレーム集合がどのカメラから送信されたかに対応する情報である。

フレーム集合同期部１４０は、３つ以上バッファが確保されている場合もバッファが２つの場合と同様の処理を行う。

例えば、バッファ１３７、１３８に加え、第３のバッファが備えられている場合、バッファ１３８から読み出した後、第３のバッファから読み出す際に、バッファ１３７から以前に読み出されたフレーム集合の時刻情報と、第３のバッファから読み出した時刻情報とを比較する。また、比較結果を示す同期情報を出力する。

前記比較の結果、第３のバッファから読み出されたフレーム集合の時刻情報とバッファ１３７から読み出されたフレーム集合の時刻情報とが等しい場合には、フレーム集合抽出部１３９により、第３のバッファ、バッファ１３７、およびバッファ１３８から以前に読み出されたフレーム集合が混合情報作成部１４１へ出力され、さらにフレーム集合同期部１４０により、前記フレーム集合のみの混合情報を作成する番組番号割り当て情報が混合情報作成部１４１に出力される。

一方、前記比較の結果、第３のバッファから読み出されたフレーム集合の時刻情報よりもバッファ１３７から読み出されたフレーム集合の時刻情報の方が進んでいた場合、フレーム集合抽出部１３９により、バッファ１３７とバッファ１３８とから以前に読み出されたフレーム集合が混合情報作成部１４１に出力され、さらにフレーム集合同期部１４０により、前記フレーム集合のみの混合情報を作成する番組番号割り当て情報が混合情報作成部１４１に出力される。そして、第３のバッファから読み出されたフレーム集合は保持される。

また、第３のバッファから読み出したフレーム集合の時刻情報の方が進んでいた場合は、フレーム集合抽出部１３９により、バッファ１３７とバッファ１３８とから以前に読み出されたフレーム集合のみが混合情報作成部１４１へ出力され、前記フレーム集合のみの混合情報を作成するための番組番号割り当て情報が混合情報作成部１４１に出力される。そして、第３のバッファからから読み出されたフレーム集合は破棄される。

混合情報作成部１４１は、フレーム集合抽出部１３９によって読み出されたストリームデータとフレーム集合同期部１４０から入力された番組番号割り当て情報および同期情報とに基づいて、互いに同時刻のフレーム集合から構成されるフレーム集合の組毎に、混合情報を作成し、ストリームデータと多重化し、書き込み部１４２に対して多重化したストリームデータを渡す。この時、ストリームデータが二つ以上のカメラからの同一時刻のデータである場合、同一時刻のデータが連続するようにフレーム集合単位で交互に書き込み部１４２に対して渡す（出力する）。

ここで、混合情報の作成方法について説明する。

まず、それぞれのバッファから取り出したストリーム中には、図２に示すように、カメラ識別パケットＩＤ（識別子）、映像データのパケットＩＤ、および音声データのパケットＩＤが含まれる。これらのパケットＩＤを取り出し、カメラ識別パケットＩＤを元に番組割り当てを行なう。番組の割り当て方法としては、例えば、カメラ識別パケットＩＤによって示されるＩＤナンバーの小さいものから順に番組を割り当てる。その後、割り当てた番組情報とパケットＩＤとを関連付けたデータを作成する。

書き込み部１４２は、記録媒体１４３に、混合情報作成部１４１から出力される順に、混合情報を含むストリームデータをフレーム集合単位で書き込む（記録する）。この時、フレーム集合抽出部１３９から書き込み部１４２までフレーム集合単位で順次記録データが渡ってくるため、記録媒体１４３に記録されるとき、ストリームデータは、フレーム集合毎にインタリーブした形式で書き込まれる。

次に記録媒体１４３に記録された記録データの構成を示す図４を用いて、記録データの構成と混合情報作成部１４１で作成される混合情報について説明する。

例えば、カメラ１１０とカメラ１２０のストリームデータが記録媒体１４３に記録されている場合、カメラ１１０の一つ目のフレーム集合をストリームＩＤ＃１０１００１、カメラ１２０の一つ目のフレーム集合をストリームＩＤ＃１０６００１とすると、記録媒体１４３に記録されたデータ構成は、図４(ａ)に示すように、混合情報、ストリームＩＤ＃１０１００１、ストリームＩＤ＃１０６００１という並びで記録される。そのときの混合情報は、図４(ｂ)のようになる。図４(ｂ)では、パケットＩＤの０のＰＡＴに各カメラ１１０、１２０、…のストリームデータのＰＭＴのパケットＩＤを特定する情報が付与されている。ここでは例えば、番組＃００１に対して、カメラ１１０のストリームデータが割り当てられており、番組＃００２に対して、カメラ１２０のストリームデータが割り当てられている。そのＰＡＴにはカメラ１１０のＰＭＴのパケットＩＤとカメラ１２０のＰＭＴのパケットＩＤとが記されている。さらに、各カメラのＰＭＴ情報内にそのカメラのストリームの映像データのパケットＩＤと音声データのパケットＩＤが記述されている。

上記のように、本発明の実施形態１の記録サーバ１３０は、複数の異なるカメラから送信されてきたストリームデータに対して、前に送信されてきたストリームデータと同時刻のストリームデータであるかどうかの判別を、時刻情報に基づいて行う。そして、同時刻の複数のストリームデータがある場合、それぞれに番組番号を付与し、ＭＰＥＧ２−ＴＳ規格で用いられる、ＳＩ情報或いは、ＰＳＩ情報を作成し、記録媒体１４３にフレーム集合毎にインタリーブした形式で記録できる。そして、ＭＰＥＧ２−ＴＳに準拠したストリームデータをデコードできる一般に存在する再生機を用いて、記録媒体１４３に記録されたデータを再生させる場合、複数台のカメラの同時刻のストリームデータの出力を、まるでチャンネルを切り替えるようにシームレスに切り替えて再生させ、視聴できる。

《実施形態２》
本発明の実施形態２に係る記録再生システムは、カメラ１１０と、カメラ１１０と同等の構成を持つ複数台のカメラ１２０、…と、記録サーバ２３０とを備えている。カメラ１１０、１２０、…は、ネットワークを介して記録サーバ２３０に接続されている。各カメラ１１０、１２０、…の構成、およびカメラ１１０、１２０、…とネットワークと記録サーバ２３０との接続関係は、実施形態１の記録システムと同様であるので図示を省略する。

また、記録サーバ２３０は、図５に示すように、ストリーム記録装置２４０、ストリーム再生装置２５０、およびモニタ２６０を備えている。

ストリーム記録装置２４０は、受信側通信モジュール１３１、パケットＩＤ割り当て部１３２、バッファ割り当て部１３３、ストリーム振分け部１３４、ストリームセレクタ１３５、バッファ領域１３６、フレーム集合抽出部２４１、書き込み部２４２、管理情報更新部２４３、記録媒体２４４を備えている。バッファ領域１３６には、バッファ１３７、１３８、…が設けられている。記録媒体２４４は、ストリーム領域２４５、および管理情報ファイル領域２４６を有する。

ストリーム再生装置２５０は、バッファ２５１、読み込み制御部２５２、再生データ転送部２５３、ＡＶデコーダ２５４、ＡＶ出力２５５、および切り替え制御部２５６を備えている。

本実施形態において、パケットＩＤ割り当て部１３２は、図６に示すように、各カメラ１１０、１２０、…に対し、１つずつパケットＩＤを割り当て、受信側通信モジュール１３１に、割り当てたパケットＩＤを対応するカメラへ送信させるようになっている。

カメラ１１０あるいはカメラ１２０がネットワークを介して記録サーバ２３０に接続された時の各部の動作、および、カメラ１１０あるいはカメラ１２０が、アナログ映像データおよびアナログ音声データの取り込み（記録）を開始してから、それらのデータに基づくデータがバッファ領域１３６内部の各バッファ１３７、１３８、…に振り分けられるまでの各部の動作は、実施形態１の各部の動作と同様である。

ここで、フレーム集合抽出部２４１がバッファ１３７、１３８、…のいずれかからフレーム集合を取り出し、取り出されたデータが記録媒体２４４に記録されるまでの各部の動作について説明する。

フレーム集合抽出部２４１は、各バッファ１３７、１３８、…の状態を監視し、フレーム集合の先頭にあるフレーム集合識別パケットからフレーム集合の終端までを１つのバッファから読み出し、再度フレーム集合識別パケットを検知すると、異なるカメラに割り当てられたバッファから読み出しを開始する。さらに、読み出したフレーム集合の先頭のフレーム集合識別パケットから、ストリームの記録された時刻を示す時刻情報と、カメラを識別するための情報であるパケットＩＤを抽出し、管理情報更新部２４３に渡す。その後、ストリームデータを書き込み部２４２に渡す。

書き込み部２４２は、フレーム集合抽出部２４１から受け取ったストリームデータを、記録媒体２４４のストリーム領域２４５に記録する（書き込む）。また、ストリームデータの記録を行った際に、記録した領域の開始アドレスを示す記録領域情報と記録サイズを示す記録容量情報とを管理情報更新部２４３に渡す。

管理情報更新部２４３は、ストリーム領域２４５に書き込まれたフレーム集合毎に、そのフレーム集合の時刻情報、そのフレーム集合がいずれのカメラから出力されたかを示すパケットＩＤ（カメラ識別情報）、およびそのフレーム集合の記録媒体２４４における記録位置を示す記録領域情報（記録位置情報）を関連付けたデータを作成し、図７に示すような管理情報テーブルを更新する。この管理情報テーブルは、記録媒体２４４の管理情報ファイル領域２４６に記録される。管理情報テーブルが記録媒体２４４の管理情報ファイル領域２４６に無い場合、新規に作成し、作成した管理情報テーブルを管理情報ファイル領域２４６に書き込む。管理情報テーブルの詳細については、後に説明する。

次に、記録媒体２４４に記録されたデータが再生される時の各部の動作を説明する。

ストリーム再生装置２５０の読み込み制御部２５２は、再生が可能な状態にある場合(例えば、電源が入っており、管理情報テーブルが存在した場合)、記録媒体２４４の管理情報ファイル領域２４６から管理情報テーブルを読み込み、現在再生可能なストリームデータの一覧を示す情報を切り替え制御部２５６に渡す。現在再生可能なストリームデータの一覧は、例えば、図８のような構成となる。

切り替え制御部２５６は、ＡＶ出力２５５に、現在再生可能なストリームデータの一覧を示す情報を渡す。

ＡＶ出力２５５は、現在再生可能なストリームデータの一覧を、モニタ２６０に表示させる。モニタ２６０は、例えば、ＯＳＤ（on-screen display）等で構成される。

視聴者は、モニタ２６０に表示された現在再生可能なストリームデータの一覧を視認し、自分の見たい映像を選択できる。どのストリームデータが選択されたかを示す選択情報は、切り替え制御部２５６によって取得される。

切り替え制御部２５６は、上記選択情報を読み込み制御部２５２に渡す（出力する）。

読み込み制御部２５２は、選択されたストリームデータと管理情報テーブルの情報に基づいて、選択されたストリームデータと異なるカメラで記録された同時刻のストリームデータが、記録媒体２４４のストリーム領域２４５からバッファ２５１に読み出されるように制御する。前述の処理で記録を行った際には、記録媒体２４４のストリーム領域２４５には、例えば図９に示すように、ストリームデータがフレーム集合毎に不規則に並んでいる。そこで、ストリームデータをフレーム集合毎にインタリーブした形式で読み出し、バッファ２５１（再生バッファ）に図１０のように配置しておく。つまり、読み込み制御部２５２は、切り替え制御部２５６によって出力された選択情報に基づいて、記録媒体２４４から、同時刻の複数のフレーム集合をバッファ２５１に交互に読み込む。バッファ２５１に図１０のような形式で配置しておくのは、視聴者からの再生ストリームデータの切り替え指示に応じて、切り替えがシームレスに行われるようにするためである。読み込み制御部２５２は、さらに、現在再生可能なストリームデータの情報とそれらの各ストリームデータがバッファ２５１上のどの位置に配置されたかを示す配置位置情報と各ストリームデータの時刻情報とを示す図１１に示すようなストリーム一覧情報を作成し、切り替え制御部２５６に渡す。このストリーム一覧情報は、バッファに読み込んだ異なるカメラで記録された同時刻のストリームデータの一覧を示す情報である。

切り替え制御部２５６は、視聴者に現在選択されているストリームデータを転送するように再生データ転送部２５３を制御する。さらに、読み込み制御部２５２からのストリーム一覧情報をＡＶ出力２５５に渡す。

再生データ転送部２５３は、バッファ２５１から、上記選択情報によって示されるストリームデータを読み出し、ＡＶデコーダ２５４に転送する。

ＡＶデコーダ２５４は、再生データ転送部２５３から転送されたストリームデータをデコードし、ＡＶ出力２５５に渡す。

ＡＶ出力２５５は、デコードされたデータをモニタ２６０に出力する。つまりデコードされたデータに基づいて、モニタ２６０に映像を表示させる（出画する）。この時、さらにモニタ２６０に、切り替え制御部２５６からのストリームデータの一覧を示す情報に基づいて、当該一覧も表示させておく。

視聴者は、モニタ２６０に表示された異なるカメラで記録された同時刻のストリームデータの一覧に基づいて、自分の見たい映像を選択し、再生される映像を選択した映像に切り替えることが可能である。

ここで、図７に示す管理情報テーブルの構成について説明する。

管理情報テーブルは、図７に示すようなテーブル構造を持つ。管理情報テーブルでは、ストリーム情報と、時刻情報と、ストリームの記録された記録媒体（記録メディア）のアドレスとが関連付けられている。具体的には、ストリーム情報は、フレーム集合単位に割り振られたＩＤである。また、時刻情報は、同じカメラのフレーム集合が区別できる精度（単位）で記述される。また、例えばＨＤＤ（Hard Disk Drive）の場合、物理アドレス等がアドレスとして記述される。ここで説明した管理情報テーブルの形式は、一例であり、上記３つの情報が関連付けられ、ストリームから同時刻の別のカメラで撮影されたストリームを参照できれば、形式は限定されない。

このように、本発明のストリーム記録装置２４０によれば、複数の異なるカメラから送信されてきた映像データがフレーム集合毎に時刻データと関連付けて記録される。したがって、ストリーム再生装置２５０は、記録されたデータを再生する際に、その関連付けに基づいて、出画する映像データと、その映像データと同時刻の別のカメラで撮影された映像データを読み出しておき、異なるカメラの映像を時間的に同期させるので、視聴者は、表示される映像をシームレスに切り替えることができる。

《実施形態３》
実施形態１の記録サーバ１３０によって記録されたストリームデータが一般のＭＰＥＧ２−ＴＳをデコードできる再生機によって再生される場合、再生したいストリームデータと同時刻のストリームデータが、記録媒体１４３から読み出され、ＭＰＥＧ２−ＴＳをデコードするデバイスに入力される必要があった。そのため、バスの帯域や記録媒体からの読み出しのために一時ストリームデータを保持しておくバッファ（再生用バッファ）が、同時刻のストリームデータの容量分、用意される必要があった。実施形態３の記録再生システムにおいては、記録時に記録データの管理情報が作成され、再生時には、その管理情報に従って必要なストリームデータだけが読み出されるので、バスの負荷や再生バッファの使用容量が軽減する。

本発明の実施形態３に係る記録再生システムは、カメラ１１０と、カメラ１１０と同等の構成を持つ複数台のカメラ１２０、…と、記録サーバ３３０とを備えている。カメラ１１０、１２０、…は、ネットワークを介して記録サーバ３３０に接続されている。

各カメラ１１０、１２０、…の構成、およびカメラ１１０、１２０、…とネットワークと記録サーバ３３０との接続関係は、実施形態１の記録システムと同様であるので図示を省略する。

また、記録サーバ３３０は、図１２に示すように、ストリーム記録装置３４０、ストリーム再生装置３５０、およびモニタ２６０を備えている。

ストリーム記録装置３４０は、受信側通信モジュール１３１、パケットＩＤ割り当て部１３２、バッファ割り当て部１３３、ストリーム振分け部１３４、ストリームセレクタ１３５、バッファ領域１３６、フレーム集合抽出部１３９、フレーム集合同期部１４０、混合情報作成部１４１、書き込み部２４２、管理情報更新部３４１、記録媒体２４４を備えている。バッファ領域１３６には、バッファ１３７、１３８、…が設けられている。記録媒体２４４は、ストリーム領域２４５、および管理情報ファイル領域２４６を有する。

ストリーム再生装置３５０は、バッファ２５１、読み込み制御部３５１、再生データ転送部２５３、ＴＳデコーダ３５２、ＡＶデコーダ２５４、ＡＶ出力２５５、および切り替え制御部２５６を備えている。

記録装置部分における、記録サーバ３３０の受信側通信モジュール１３１、パケットＩＤ割り当て部１３２、ストリームセレクタ１３５、ストリーム振分け部１３４、バッファ領域１３６、カメラ１１０用に個別に割り当てられたバッファ１３７、カメラ１２０用に割り当てられたバッファ１３８、バッファ割り当て部１３３、フレーム集合抽出部１３９、フレーム集合同期部１４０、および混合情報作成部１４１の構成は、実施形態１の記録サーバ１３０の構成と同様となっている。

記録装置部分が実施形態１の記録サーバ１３０の構成と異なるのは、フレーム集合同期部１４０からフレーム集合の時刻情報とカメラ情報（パケットＩＤ）とを受け取り、書き込み部２４２から記録媒体２４４におけるフレーム集合の書き込み位置を示すアドレス情報を受け取り、それらの情報を関連付け、管理情報を更新する管理情報更新部３４１が設けられている点である。

以下、図を参照しつつ全体の動作について説明する。

カメラ１１０あるいはカメラ１２０がネットワークを介して記録サーバ３３０に接続された時の各部の動作、および、カメラ１１０あるいはカメラ１２０が、アナログ映像データおよびアナログ音声データの取り込み（記録）を開始してから、それらのデータに基づくストリームデータが受信側通信モジュール１３１によって受信され、バッファ領域１３６内部の各バッファ１３７、１３８、…に振り分けられ、フレーム集合同期部１４０が各バッファに保持されたストリームデータの記録時刻を示す時刻情報に基づいて同期を取りながら、フレーム集合抽出部１３９を制御し、混合情報作成部１４１にフレーム集合が渡されるまでの各部の動作は、実施形態１で説明した動作と同様である。

ここで、フレーム集合が、混合情報作成部１４１および書き込み部２４２を介して記録媒体２４４に記録されるまでの動作について説明する。

フレーム集合同期部１４０は、各バッファ１３７、１３８、…から取り出したフレーム集合識別パケットを保持しており、そのパケットデータを、管理情報更新部３４１に渡す。

フレーム集合抽出部１３９は、バッファ１３７、１３８、…から抽出した同時刻のフレーム集合を混合情報作成部１４１に渡す。

混合情報作成部１４１は、フレーム集合抽出部１３９から受け取ったフレーム集合とフレーム集合同期部１４０から受け取った番組割り当て情報を元に混合情報を作成し、フレーム集合と多重化した後、書き込み部２４２へ渡す。

書き込み部２４２は、受け取った混合情報を持つフレーム集合を記録媒体２４４のストリーム領域２４５へ書き込み、書き込むアドレスを示すアドレス情報を管理情報更新部３４１へ渡す。

管理情報更新部３４１は、フレーム集合同期部１４０から受け取ったカメラ情報、時刻情報を持つパケットデータ、および書き込み部２４２から受け取ったアドレス情報を元にフレーム集合と書き込み位置の関連付けを行い、管理情報テーブルを作成し、管理情報ファイル領域２４６に記録する。つまり、管理情報テーブルは、各フレーム集合がいずれのカメラによって出力されたかを示すカメラ情報、各フレーム集合の時刻情報、および各フレーム情報の記録媒体２４４における書き込み位置（記録位置）を示すアドレス情報（記録位置情報）を関連付けた管理情報である。

上記処理により記録媒体２４４に、フレーム集合とフレーム集合の書き込み位置とを関連付けたデータテーブルが記録される。

次に、上記のように記録媒体２４４に記録されたストリームデータが再生される際の動作について説明する。

読み込み制御部３５１は、再生が可能な状態にある場合(例えば電源が入っており、管理情報テーブルが存在した場合)、記録媒体２４４の管理情報ファイル領域２４６から管理情報テーブルを読み込み、現在再生可能なストリームデータの一覧を示す情報を切り替え制御部２５６に渡す。

切り替え制御部２５６は、ＡＶ出力２５５に対して現在再生可能なストリームデータの一覧を示す情報を渡す。

ＡＶ出力２５５は、現在再生可能なストリームデータの一覧をモニタ２６０に表示させる。モニタ２６０は、例えば、ＯＳＤ（on-screen display）等で構成される。

視聴者は、モニタ２６０に表示された現在再生可能なストリームデータの一覧を視認し、自分の見たい映像を選択できる。どのストリームデータが選択されたかを示す選択情報は、切り替え制御部２５６によって取得される。

切り替え制御部２５６は、選択情報を、読み込み制御部３５１に渡す（出力する）。

読み込み制御部３５１は、管理情報ファイルに基づいて、選択されたストリームデータと対応する混合情報をストリーム領域２４５からバッファ２５１に読み込む。バッファ２５１には、図７に示すように、再生時に必要なデータ、すなわち、選択情報によって示されたストリームデータだけを読み込む。読み込み制御部３５１は、さらに、管理情報ファイルに基づいて、再生可能な同時刻のストリーム一覧を作成し、切り替え制御部２５６に設定する。本実施形態の記録サーバ３３０は、同時刻のフレーム集合を記録媒体２４４内の近接した位置に記録するので、同時刻のフレーム集合間における再生表示するフレーム集合の切り替えをシームレスに行える。

切り替え制御部２５６は、再生データ転送部２５３を制御し、バッファ２５１からＴＳデコーダ３５２へ、選択されたストリームデータを転送させる。

再生データ転送部２５３は、バッファ２５１に読み込まれたストリームデータをＴＳデコーダ３５２に転送する。

ＴＳデコーダ３５２（フィルタ）は、混合情報に基づいて、ストリームデータからＰＥＳ（Packetized Elementary Stream）（ＡＶ（Ａｕｄｉｏ Ｖｉｄｅｏ）情報）を抽出し、ＡＶデコーダ２５４へ渡す。

ＡＶデコーダ２５４は、ＰＥＳをデコードし、ＡＶ出力２５５に渡す。

ＡＶ出力２５５は、モニタ２６０に、ＡＶデコーダ２５４によってデコードされたストリームデータ（ＡＶ情報に基づく映像データ）を出力し、映像を表示させる。さらに、モニタ２６０に、切り替え制御部２５６から受け取った現在再生可能なストリームデータの一覧を示す情報に基づいて、当該一覧も表示させる。

次に再生中、再生切り替え要求が入ったときの各部の処理について説明する。

まず、視聴者が、モニタ２６０に表示された現在再生可能なストリームデータの一覧に基づいて、再生したいストリームデータを選択する。具体的には、再生したいストリームデータを選択するための視聴者による入力操作は、切り替え制御部２５６に対して行われる。

切り替え制御部２５６は、視聴者の操作を検出し、どのストリームデータが選択されたかを示す選択情報を取得し、読み込み制御部３５１に渡す。

読み込み制御部３５１は、バッファ２５１にあるストリームデータを一旦破棄し、管理情報ファイルを元に、選択されたストリームデータと対応する混合情報をストリーム領域２４５からバッファ２５１に読み込む。

これ以降、選択されたストリームデータが再生される。再生時の各部の動作は、前述した動作と同様である。

このように、実施形態３の記録サーバ３３０は、複数の異なるカメラから送信されてきた映像データをフレーム集合毎に交互に記録し、さらに、時刻データと記録位置とをフレーム集合毎に関連付けたテーブルを作成する。したがって、再生する際に、作成したテーブルに基づいて、再生に必要なストリームデータのみを読み出し、各種デコーダへ渡すので、実施形態１の記録サーバ１３０によって記録されたデータを再生する場合よりもバス帯域を削減することが容易となる。

《実施形態４》
実施形態１の記録サーバ１３０は、各カメラのストリームデータ間の時間的な同期を取るために、既に記録されてしまったフレーム集合と同時刻の他のカメラのフレーム集合が到着した場合、そのフレーム集合は破棄するようになっている。実施形態４においては、各カメラのストリームデータ間での時間同期を取る際のデータの破棄を防止する。

本発明の実施形態４に係る記録システムは、図１３に示すように、カメラ１１０と、カメラ１１０と同等の構成を持つ複数台のカメラ１２０、…と、記録サーバ４３０とを備えている。カメラ１１０、１２０、…は、ネットワークを介して記録サーバ４３０に接続されている。

記録サーバ４３０の構成は、フレーム集合の情報と書き込み位置とを関連付けて管理するためのフレーム識別情報保持部４３１を備え、フレーム識別情報保持部４３１に保持された情報がフレーム集合同期部４３２によって参照されるようになっている点で、実施形態１の記録サーバ１３０と異なっている。その他の構成については、実施形態１の記録サーバ１３０と同様である。

フレーム識別情報保持部４３１は、記録媒体１４３に記録した各フレーム集合について、そのフレーム集合がいずれのカメラから出力されたかを示すカメラ識別情報（情報配信装置識別情報）、時刻情報、および記録媒体１４３における書き込み位置を示す書き込み位置情報を保持し、フレーム集合抽出部によって取り込まれたフレーム集合と同時刻のフレーム集合が記録媒体１４３に記録されているかを判断する。

以下、図を参照しつつ全体の動作について説明する。

カメラ１１０あるいはカメラ１２０がネットワークを介して記録サーバ４３０に接続された時の各部の動作、および、カメラ１１０あるいはカメラ１２０が、アナログ映像データおよびアナログ音声データの取り込み（記録）を開始してから、それらのデータに基づくストリームデータが受信側通信モジュール１３１によって受信され、バッファ領域１３６内部の各バッファ１３７、１３８、…に振り分けられ、フレーム集合同期部４３２が各バッファに保持されたストリームデータの記録された時刻を示す時刻情報に基づいて同期を取りながら、フレーム集合抽出部１３９を制御し、混合情報作成部１４１にフレーム集合が渡されるまでの各部の動作は、実施形態１で説明した動作と同様である。

続いて、フレーム集合が、混合情報作成部１４１および書き込み部１４２を介して記録媒体１４３に記録されるまでの動作について説明する。なお、まず、カメラ１１０がアナログ映像データおよびアナログ音声データの取り込み（記録）をしている場合について説明し、その後、カメラ１１０に加えて、カメラ１２０がデータの取り込み（記録）を開始する場合について説明する。

フレーム集合抽出部１３９は、フレーム集合識別パケットからフレーム集合の終端までを一つのバッファから読み出す。この場合、フレーム集合はカメラ１１０から送信されているので、バッファ１３７から読み出す。次に、フレーム集合識別パケットをフレーム集合同期部４３２に渡す。

フレーム集合同期部４３２は、さらに次に、フレーム集合識別パケットをフレーム識別情報保持部４３１へ渡す。

フレーム識別情報保持部４３１は、フレーム集合同期部４３２によって渡されたフレーム集合識別パケットに基づいて、同時刻の別カメラのフレーム集合が既に記録媒体１４３に記録されていないかを調べる（判断する）。本説明では、既に記録された同時刻、別カメラのフレーム集合は存在しないため、フレーム集合識別パケットの情報を、例えば、図１４に示すような形式で保持し、別カメラのフレーム集合が存在しないという情報をフレーム集合同期部４３２に渡す。

フレーム集合同期部４３２は、フレーム集合抽出部１３９に対して、混合情報作成部１４１にデータを渡すように制御し、混合情報作成部１４１に、チャンネル(アングル)を割り当てるために必要な番組番号割り当て情報を渡す。

フレーム集合抽出部１３９は、バッファ１３７から読み出したフレーム集合を混合情報作成部１４１へ渡す。

混合情報作成部１４１は、実施形態１と同様に混合情報を作成する。次に混合情報作成結果をフレーム識別情報保持部４３１に渡す。そして、混合情報を含んだフレーム集合を書き込み部１４２に渡す。

フレーム識別情報保持部４３１は、受け取った混合情報作成結果を、保持された図１４のような情報に追加し、例えば、図１５に示すような形式で保持する。

書き込み部１４２は、混合情報を含んだフレーム集合を記録媒体１４３に書き込む。その際、書き込み位置情報をフレーム識別情報保持部４３１に帰還させる。

フレーム識別情報保持部４３１は、図１６に示すような形式で書き込み位置情報（アドレス情報）を対応する時刻の対応するフレーム集合のテーブルに登録する。

次に、カメラ１２０が記録を開始した場合の動作について説明する。また、前提条件として、カメラ１２０によって取り込まれ始めたデータと時刻情報が等しいカメラ１１０からのフレーム集合はカメラ１２０のフレーム集合が記録サーバに到達する以前に記録媒体１４３に記録されているものとする。

カメラ１２０から送信されたストリームデータがバッファ１３８に到達するまでの動作は実施形態１と同様となる。

フレーム集合抽出部１３９は、フレーム集合識別パケットからフレーム集合の終端までを１つのバッファから読み出す。この場合、フレーム集合はカメラ１２０から送信されているので、バッファ１３８から読み出す。次に、フレーム集合識別パケットをフレーム集合同期部４３２に渡す。

フレーム集合同期部４３２は、さらに次に、フレーム集合識別パケットをフレーム識別情報保持部４３１へ渡す。

フレーム識別情報保持部４３１は、フレーム集合同期部４３２によって渡されたフレーム集合識別パケットに基づいて、フレーム集合抽出部１３９によって読み出されたフレーム集合と同時刻の別カメラのフレーム集合が既に記録されていないかを調べる（判断する）。前提条件により、以前バッファ１３７から取得したフレーム集合がすでに記録媒体１４３に書き込まれているため、フレーム識別情報保持部４３１で管理しているテーブルから、その情報を検出することができる。次に、テーブルから、その以前記録したバッファ１３７からのデータの書き込み位置情報、カメラ識別情報（パケットＩＤ）、および混合情報作成結果を取り出し、フレーム集合同期部４３２に渡す。つまり、既に記録されている上記同時刻の別カメラのフレーム集合について、書き込み位置情報、カメラ識別情報（パケットＩＤ）、および混合情報作成結果を取り出す。

フレーム集合同期部４３２は、書き込み位置情報、カメラ識別情報（パケットＩＤ）、混合情報作成結果、および番組番号割り当て情報をフレーム識別情報保持部４３１から受け取り、混合情報作成部１４１へ渡す。

フレーム集合抽出部１３９は、バッファ１３８から読み出したフレーム集合を混合情報作成部１４１へ渡す。

混合情報作成部１４１は、フレーム集合同期部４３２から受け取った混合情報作成結果および番組割り当て情報（同時刻のフレーム集合がいずれのカメラから出力されたかに対応する情報）と、フレーム集合抽出部１３９から受け取ったフレーム集合に含まれるパケットＩＤ（新たなフレーム集合がいずれのカメラから出力されたかに対応する情報）とから混合情報を再作成し、書き込み部１４２に以前記録したバッファ１３７のデータの書き込み位置情報とともに渡す。

書き込み部１４２は、以前記録したバッファ１３７のデータ書き込み位置と隣接した領域に、今回記録されたフレーム集合を書き込む。さらに、前回記録する際に作成した混合情報に、今回再作成した混合情報を上書きする。書き込み部１４２が書き込みを行った結果、記録されたストリームデータは、実施形態１の図４で示したように、カメラ１１０からのフレーム集合とカメラ１２０からのフレーム集合とが、ファイルシステム上、インタリーブされた形式で交互に記録される。

次に、カメラ１２０がデータの取り込みを開始した場合の動作について、もうひとつ異なる前提条件を定義し、説明する。以降の説明では、カメラ１２０によって取り込まれ始めたデータと時刻情報が等しいカメラ１１０からのフレーム集合は、カメラ１２０からのストリームデータが映像記録サーバに到達する以前に記録媒体１４３に記録されており、さらに次のカメラ１１０のフレーム集合がバッファ１３７に振り分けられているものとする。

フレーム集合抽出部１３９は、フレーム集合識別パケットからフレーム集合の終端までを１つのバッファから読み出す。その後、カメラ１２０のフレーム集合識別パケットをフレーム集合同期部４３２に渡す。前提条件によれば、さらにバッファ１３７（カメラ１１０から）のフレーム集合（カメラ１２０からのフレーム集合より時間的に後のデータ）を読み出した後、バッファ１３８のフレーム集合識別パケットを読み出し、フレーム集合同期部４３２に渡す。

フレーム集合同期部４３２は、バッファ１３８から以前に取り出したフレーム集合の時刻情報と、今回バッファ１３７から取り出したフレーム集合の時刻情報とを比較する。前提条件により、バッファ１３７から今回取り出したフレーム集合の時刻は、バッファ１３８から取り出したフレーム集合の時刻より進んでいるため、まず、バッファ１３８からフレーム集合が取り出され、取り出されたフレーム集合が、前記説明と同様の各部の動作により、記録媒体１４３へ書き込まれる。その後、バッファ１３８にデータがなければ、バッファ１３７から取り出されたデータがそのまま、カメラ１１０のみが記録していた前述の場合と同様の各部の動作によって、記録媒体１４３に書き込まれる。

このように本実施形態の記録サーバ４３０は、各カメラのフレーム集合間で時間的な同期を取る際、フレーム識別情報保持部４３１がフレーム集合の情報を管理し、既に記録された時刻のフレーム集合と同時刻のデータが遅延してフレーム集合抽出部１３９に入力される場合においても、フレーム集合の情報に基づいて記録媒体１４３に追記し、混合情報を再構成する。したがって、遅延して入力されたデータが破棄されることなく記録される。

《実施形態５》
実施形態１〜４においては、記録サーバ側でストリーム内のフレーム集合が抽出されるように、各カメラ１１０、１２０、…が、フレーム集合を識別するためのフレーム集合識別パケットを生成して送信していた。そのため、ネットワーク上に、複数のカメラから、フレーム集合の区切りごとにフレーム集合識別パケットが流れることになり、ネットワーク負荷が増加するという課題があった。

本実施形態では、フレーム集合識別パケットをネットワークに流すことなく、記録サーバ側でストリーム内のフレーム集合が識別される記録システムについて説明する。

本発明の実施形態５に係る記録システムは、図１７に示すように、複数台のカメラ５１０、５２０、…と記録サーバ５３０とを備えている。カメラ５１０、５２０、…は、ネットワークを介して記録サーバ５３０に接続されている。

カメラ５１０、５２０、…は、それぞれ、フレーム集合識別パケット挿入部１１４を有していない点で、実施形態１〜４のカメラ１１０、１２０、…と異なっている。また、記録サーバ５３０は、ストリームセレクタ１３５の前段に、フレーム集合識別パケット生成部５３１を有している点で、実施形態２のストリーム記録装置２４０と異なっているが、その他の構成は、実施形態２のストリーム記録装置２４０と同様である。

以下、図を参照しつつ各部の動作について説明する。なお、カメラの挿抜時の各部の動作については実施形態１で既に説明した動作と同様であるので、ここでは前記説明を省略し、本実施形態では、記録中の動作についてのみを説明する。また、記録中の動作においても従来と変わらない動作については省略する。

カメラ５１０は、前述したとおりフレーム集合識別パケット挿入部１１４を持たない。したがって、データの取り込みが開始された後に送信側通信モジュール１１３がネットワークに送出するパケットには、フレーム集合識別パケットは含まれず、ＡＶストリームのみが含まれることになる。つまり、送信側通信モジュール１１３は、エンコーダ１１２によってパケット化されたパケット化データを出力する。

そこで、バッファ１３７およびバッファ１３８から、それぞれのカメラで記録されたフレーム集合が抽出されるように、記録サーバ５３０は、フレーム集合識別パケット生成部５３１を備えている。

フレーム集合識別パケット生成部５３１は、受信側通信モジュール１３１から前述のパケット（パケット化データ）を受け取ると、そのパケットの中身を解析し、フレーム集合の始まりを検出し、そのフレーム集合の先頭フレームが記録された時刻を示す時刻情報を抽出する。

以下、前述のパケットが、ＭＰＥＧ２−ＴＳ規格におけるＴＳパケットの場合について説明する。

フレーム集合識別パケット生成部５３１はＴＳパケットを受け取ると、ＴＳパケットヘッダ内のＰＩＤフィールドに格納されている値を取得し、パケットＩＤ割り当て部１３２が保持するパケットＩＤ割り当て管理テーブルのパケットＩＤの映像フィールドの値と比較する。受け取ったＴＳパケットがビデオであることを検出すると、ペイロードフィールドからＰＥＳパケットを取得する。続けて、ＰＥＳパケットのパケット・データフィールド内にてシーケンスヘッダの開始コードを検索する。シーケンスヘッダの開始コードを検出すると、そのパケットがフレーム集合であるＧＯＰの先頭であると判断し、前述のフレーム集合識別パケットを生成する。フレーム集合識別パケットにおいて、パケットＩＤフィールドには前述のパケットＩＤ割り当て管理テーブルのパケットＩＤのカメラ識別フィールドの値を格納し、時刻情報フィールドには、前記ＰＥＳパケットのＰＴＳフィールドの値を格納する。以上により生成されたフレーム集合識別パケットを、ＴＳパケットよりも先にストリームセレクタ１３５に転送する。つまり、フレーム集合識別パケット生成部５３１は、受信側通信モジュール１３１によって出力されたパケット化データに、生成したフレーム集合識別パケットをフレーム集合毎に挿入する。

以上のように、本実施形態の記録システムにおいては、記録サーバ５３０が、記録サーバ側で、カメラから送られてきたパケットを解析してフレーム集合の始まりを検出して前記フレーム集合識別パケットを生成するフレーム集合識別パケット生成部５３１を備えているので、ネットワークの負荷が削減される。

なお、本実施形態の記録システムの記録サーバ５３０は、実施形態２のストリーム記録装置２４０にフレーム集合識別パケット生成部５３１を加えた構成になっていた。しかし、実施形態１の記録システムにおいても、記録サーバ１３０の受信側通信モジュール１３１とストリームセレクタ１３５との間にフレーム集合識別パケット生成部５３１を設け、カメラ１１０、１２０、…側ではなく、記録サーバ１３０側でフレーム集合識別パケットがデータに挿入されるようにしてもよい。

《実施形態６》
実施形態１では、同一時刻のフレーム集合をインタリーブして記録媒体に記録する方法について説明した。しかし、この方法では、記録媒体への書込みがフレーム集合毎に行われるため、それぞれのフレーム集合が物理的に連続した領域に書き込まれることが保障されていなかった。そのため、ＨＤＤや光ディスク等のようにヘッドのシークが必要な記録媒体を用いた場合、再生中にシーク遅延により再生の切り替えがスムーズに行われない場合があった。

本実施形態では、再生切り替え時のシーク時間を削減するために、フレーム集合を物理的に連続した領域に記録する記録サーバ（記録装置）について説明する。

本発明の実施形態６に係る記録システムは、図１８に示すように、カメラ１１０と、カメラ１１０と同等の構成を持つ複数台のカメラ１２０、…と、記録サーバ６３０とを備えている。カメラ１１０、１２０、…は、ネットワークを介して記録サーバ６３０に接続されている。

本実施形態の記録システムと実施形態１の記録システムとの構成の違いは、記録サーバ６３０が、書き込み部１４２の代わりにバッファ６３１および書き込み部６３２を備えている点である。カメラ１１０、１２０、…の構成等、本実施形態の記録システムのその他の構成は、実施形態１の記録システムと同様である。

以下、図を参照しつつ各部の動作について説明する。

混合情報作成部１４１は、前述した通り、番組番号割り当て情報に基づいて混合情報を作成するとともに、フレーム集合抽出部１３９から、各カメラのフレーム集合（フレーム集合識別パケットを含むストリームデータ）を交互に受け取る。また、混合情報作成部１４１は、作成した混合情報、および受け取ったフレーム集合をバッファ６３１へと転送する。このとき、同一時刻のデータとなる混合情報、および各カメラのフレーム集合を、１つのまとまり（データ集合）となるようにバッファ６３１でバッファリングし、前記まとまりがバッファ６３１に蓄積（一時記憶）されると、混合情報作成部１４１は、書き込み部６３２に対して、前記まとまりが蓄積されているバッファ６３１上のアドレスと、前記まとまりのデータ容量（サイズ）を通知する。つまり、混合情報作成部１４１は、同一時刻の複数のフレーム集合、およびそれらの混合情報から構成されるデータのまとまり（データ集合）について、当該まとまりが記憶されるバッファ６３１上のアドレスと、当該まとまりのデータ容量とを出力する。

書き込み部６３２は、混合情報作成部１４１より受け取ったバッファ６３１のアドレスとデータ容量とに基づいて、上記まとまりを書き込む記録媒体１４３における連続領域（書き込み位置）を決定する。つまり、記録媒体１４３に物理的な連続領域を確保する。そして、この領域に一括して書き込みを行う。

以上のように、実施形態１では、フレーム集合が、カメラ毎に個別に抽出されて記録媒体１４３に書き込まれていたのに対し、本実施形態の記録サーバ６３０は、バッファ６３１により、同一時刻の各カメラからのフレーム集合をバッファリングするようになっている。したがって、同一時刻の複数のカメラからのフレーム集合を、記録媒体１４３上に確保された連続した領域に記録できる。その結果として、再生されるストリームデータを異なるカメラからのストリームデータに切り替えるためのヘッドのシーク時間を短縮し、ＨＤＤや光ディスク等のようにヘッドのシークが必要な記録媒体を用いた場合でも、再生の切り替えをスムーズに行える。

《実施形態７》
実施形態２では、管理情報テーブルと共に記録されたＡＶストリームを再生するストリーム再生装置２５０について説明した。しかし、ストリーム再生装置２５０では、ユーザ操作によって記録したカメラの切り替えが指示された場合、ＡＶデコーダ２５４に送られるストリームが切り替えられるため、すでにＡＶデコーダ２５４に転送されているストリームは再生出力されてしまい、ユーザによる切り替え指示に対して、即座に表示が切り替わるわけではなかった。

本実施形態では、ユーザの切り替え指示に対して、即座に再生表示を切り替えることを可能とするストリーム再生装置について説明する。

本発明の実施形態７に係る記録再生システムは、実施形態２の記録再生システムのストリーム再生装置２５０に代えて、図１９に示すストリーム再生装置７５０を備える。その他の構成は、実施形態２の記録再生システムと同様である。

ストリーム再生装置７５０の構成が実施形態２のストリーム再生装置２５０と異なる点は、再生データ転送部２５３に代えて、再生データ転送部７５１を備え、ＡＶデコーダ２５４に代えて、２つのＡＶデコーダ７５４、７５５を備え、切り替え制御部２５６に代えて、切り替え制御部７５３を備え、さらに、ＡＶセレクタ７５２と図示しない同期クロック発生部とを備えている点である。本実施形態の記録システムのその他の構成は、実施形態２の記録システムと同様である。

同期クロック発生部は、同期クロックを発生し、２つのＡＶデコーダ７５４、７５５の同期を取る。

以下、図を参照しつつ各部の動作について説明する。

切り替え制御部７５３は、読み込み制御部２５２から再生可能なストリームの一覧を示す情報を受け取ると、各ストリームと対応するＡＶデコーダ７５４、７５５との対応付けを行う。

ここで、ＡＶデコーダは、ストリームの一覧に含まれるストリームの本数以上、つまり、ストリームを送信するカメラの数以上搭載されているとし、各ＡＶデコーダは図示しない同期クロック発生部によって発生される同一の同期クロックを基準にデコード処理を行うものとする。以下では、再生可能なストリームが２つである場合について説明する。

各ストリームとＡＶデコーダとの対応付けは、図２０に示すようなＡＶデコーダ管理テーブルに基づいて行われる。切り替え制御部７５３は、ストリームの一覧を示す情報を受け取ると、ＡＶデコーダ管理テーブルを順に検索（走査）し、ストリームの対応付けが行われていないＡＶデコーダ番号を取得する。次に、取得したＡＶデコーダ番号に対応するストリーム欄にストリームの識別情報を記録する。

続いて、切り替え制御部７５３は、読み込み制御部２５２より再生ストリームのバッファ内の位置情報を受け取ると、受け取ったストリーム識別情報を、ＡＶデコーダ管理テーブルと比較し、対応するＡＶデコーダ番号を取得する。

切り替え制御部７５３は、取得したＡＶデコーダ番号とバッファ２５１のアドレスおよびサイズを再生データ転送部７５１に送信する。

再生データ転送部７５１は、切り替え制御部７５３より受け取ったＡＶデコーダ番号に基づいて転送先ＡＶデコーダを決定し、切り替え制御部７５３から送信されたバッファ２５１のアドレスから、切り替え制御部７５３から送信されたサイズ分のデータを読み出し、その決定したＡＶデコーダへ転送する。つまり、再生データ転送部７５１は、バッファ２５１から読み出したストリームデータを、いずれのカメラから出力されたデータに基づくデータであるかに応じて、いずれかのＡＶデコーダに転送する。

また、切り替え制御部７５３は、ユーザ操作により、再生するストリームの切り替えを指示されると、ＡＶセレクタ７５２に対し、ＡＶ出力２５５に転送するストリームを切り替えさせる。

例えば、ユーザからカメラ１２０からの映像の再生が指示されると、切り替え制御部７５３はＡＶデコーダ管理テーブルを検索し、指定されたストリームをデコードしているＡＶデコーダのＡＶデコーダ番号＃２（選択情報）を取得し、出力する。

次に、切り替え制御部によって取得され、出力されたＡＶデコーダ番号＃２が、ＡＶセレクタ７５２に対して設定される。

ＡＶセレクタ７５２は、ＡＶデコーダ番号＃２を受け取ると、ＡＶ出力２５５に対して、ＡＶデコーダ７５５によって出力されたデータを転送する。つまり、ＡＶセレクタ７５２は、複数のＡＶデコーダ７５４、７５５、…のうちのいずれかのＡＶデコーダによってデコードされたストリームデータを、ＡＶデコーダ番号に基づいて選択して出力する。

以上のように、本実施形態のストリーム再生装置７５０においては、再生可能なストリーム数以上の各ＡＶデコーダが、ＡＶデコーダ間で共通の時刻を基準にして、そのＡＶデコーダに対応付けられたストリームをデコードするようになっている。したがって、ユーザによって再生ストリームの切り替えが指示されると、即座に、表示されるストリームが、指示されたストリームに切り替えられるようにできる。

ＡＶデコーダ７５４、７５５、…は、時刻情報を参照して（クロックに同期して）出画処理を行う。したがって、複数のＡＶデコーダ７５４、７５５、…が共通の時刻を基準とした時刻情報を参照するので、互いに同じ時刻の画像のデータであれば、複数のＡＶデコーダ７５４、７５５、…から同じタイミングで出力される。

本発明に係る記録システム、および記録再生システムは、複数の情報配信装置から送信された映像または音声のデータが、リアルタイムに１本のストリームとして記録されるという効果を有し、例えば、ネットワークに対応し、ホームサーバとして提供されているＨＤＤレコーダやＤＶＤレコーダを有するシステム等として有用である。

本発明の実施形態１に係る記録システムの構成を示すブロック図である。 同、パケットＩＤ割り当て管理テーブルを示す説明図である。 同、フレーム集合識別パケットのデータ構成を示す説明図である。 同、記録媒体１４３に記録された記録データの構成を示す説明図である。 本発明の実施形態２に係る記録サーバ２３０の構成を示すブロック図である。 同、パケットＩＤ割り当て管理テーブルを示す説明図である。 同、管理情報テーブルを示す説明図である。 同、モニタ２６０に表示される再生可能なストリームデータの一覧を示す説明図である。 同、記録媒体２４４のストリーム領域２４５におけるストリームデータのデータ構成を示す説明図である。 同、バッファ２５１におけるストリームデータのデータ構成を示す説明図である。 同、再生可能なストリームデータの一覧を示す情報の説明図である。 本発明の実施形態３に係る記録サーバ３３０の構成を示すブロック図である。 本発明の実施形態４に係る記録システムの構成を示すブロック図である。 同、フレーム識別情報保持部４３１によって管理されるデータの例を示す説明図である。 同、フレーム識別情報保持部４３１によって管理されるデータの例を示す説明図である。 同、フレーム識別情報保持部４３１によって管理されるデータの例を示す説明図である。 本発明の実施形態５に係る記録システムの構成を示すブロック図である。 本発明の実施形態６に係る記録システムの構成を示すブロック図である。 本発明の実施形態７に係る記録システムの構成を示すブロック図である。 同、ＡＶデコーダ管理テーブルの例を示す説明図である。

１１０、１２０ カメラ
１１１ ＡＶ入力
１１２ エンコーダ
１１３ 送信側通信モジュール
１１４ フレーム集合識別パケット挿入部
１３０ 記録サーバ
１３１ 受信側通信モジュール（受信モジュール、送信モジュール）
１３２ パケットＩＤ割り当て部（識別子割り当て部）
１３３ バッファ割り当て部
１３３ パケットＩＤ割り当て部
１３４ ストリーム振り分け部
１３５ ストリームセレクタ
１３６ バッファ領域
１３７、１３８ バッファ
１３９ フレーム集合抽出部
１４０ フレーム集合同期部
１４１ 混合情報作成部
１４２ 書き込み部
１４３ 記録媒体
２３０ 記録サーバ
２４０ ストリーム記録装置
２４１ フレーム集合抽出部
２４２ 書き込み部
２４３ 管理情報更新部
２４４ 記録媒体
２４５ ストリーム領域
２４６ 管理情報ファイル領域
２５０ ストリーム再生装置
２５１ バッファ
２５２ 読み込み制御部
２５３ 再生データ転送部
２５４ ＡＶデコーダ
２５５ ＡＶ出力
２５６ 切り替え制御部
２６０ モニタ
３３０ 記録サーバ
３４０ ストリーム記録装置
３４１ 管理情報更新部
３５０ ストリーム再生装置
３５１ 読み込み制御部
３５２ ＴＳデコーダ
４３０ 記録サーバ
４３１ フレーム識別情報保持部
４３２ フレーム集合同期部
５１０、５２０ カメラ
５３０ 記録サーバ
５３１ フレーム集合識別パケット生成部
６３０ 記録サーバ
６３１ バッファ
６３２ 書き込み部
７５０ ストリーム再生装置
７５１ 再生データ転送部
７５２ ＡＶセレクタ
７５３ 切り替え制御部
７５４、７５５ ＡＶデコーダ

Claims (12)

1. 複数の情報配信装置からそれぞれストリームデータを受信する受信モジュールと、
   前記受信モジュールによって受信された異なるストリームデータについて、各々に含まれるフレーム集合の時刻情報を比較するフレーム集合同期部と、
   前記フレーム集合同期部による比較結果と、フレーム集合がいずれの情報配信装置から送信されたかを示す識別子とに基づいて、時刻情報が比較されたフレーム集合間のデータ構成を示す混合情報を、前記フレーム集合同期部による比較結果が同時刻であるフレーム集合の組毎に作成し、当該混合情報および当該混合情報が表すフレーム集合を多重化して同一時刻のフレーム集合が連続するように多重化データとして出力する混合情報作成部と、
   前記混合情報作成部によって出力された多重化データを、前記混合情報作成部によって出力される順に記録媒体の物理的な連続領域に記録する書き込み部とを備えていることを特徴とするストリーム記録装置。
2. 請求項１に記載のストリーム記録装置において、
   前記受信モジュールによって受信されたストリームデータをフレーム集合毎に読み出すフレーム抽出部を備え、
   前記フレーム集合同期部は、前記フレーム抽出部によって読み出されたフレーム集合の時刻情報を比較することを特徴とするストリーム記録装置。
3. 請求項１又は２に記載のストリーム記録装置において、
   前記複数の情報配信装置のうち、情報配信装置を識別するための識別情報を送信した第１の情報配信装置を識別し、前記識別情報に基づいて前記第１の情報配信装置に識別子を割り当てる識別子割り当て部を有することを特徴とするストリーム記録装置。
4. 複数の情報配信装置からそれぞれストリームデータを受信し、
   受信したストリームデータをフレーム集合毎に読み出し、
   読み出したフレーム集合の時刻情報同士を比較し、
   当該時刻情報の比較結果と、フレーム集合がいずれの情報配信装置から送信されたかを示す識別子とに基づいて、時刻情報を比較したフレーム集合間のデータ構成を示す混合情報を、前記時刻情報の比較結果が同時刻であるフレーム集合の組毎に作成し、当該混合情報および当該混合情報が表すフレーム集合を多重化して同一時刻のフレーム集合が連続するように多重化データとして出力し、
   前記多重化データを、出力される順に記録媒体の物理的な連続領域に記録することを特徴とするストリーム記録方法。
5. 複数の情報配信装置とストリーム記録装置とを有する記録システムであって、
   上記複数の情報配信装置は、それぞれ、
   映像または音声のディジタルデータを符号化し、パケット化するエンコーダと、
   時刻情報を含むフレーム集合識別パケットを、上記エンコーダによってパケット化されたデータに、フレーム集合毎に挿入するフレーム集合識別パケット挿入部と、
   上記フレーム集合識別パケット挿入部によって上記フレーム集合識別パケットが挿入されたストリームデータをネットワークに出力する送信側通信モジュールとを備えたものであり、
   上記ストリーム記録装置は、
   上記ネットワークから、上記ストリームデータを受信して出力する受信側通信モジュールと、
   上記受信側通信モジュールによって出力されたストリームデータを一時記憶する複数のバッファと、
   上記複数の情報配信装置と上記複数のバッファとの対応関係を示す割り当て情報を格納するバッファ割り当て部と、
   上記バッファ割り当て部に格納された割り当て情報に基づいて、上記受信側通信モジュールによって出力されたストリームデータをいずれのバッファに保持させるかを決定するストリーム振り分け部と、
   上記ストリーム振り分け部による決定結果に従って、上記受信側通信モジュールによって出力されたストリームデータを上記バッファに保持させるストリームセレクタと、
   上記バッファから、上記ストリームデータをフレーム集合毎に読み出すフレーム集合抽出部と、
   上記フレーム集合抽出部によって読み出されたストリームデータにおける各フレーム集合間の同期を、当該ストリームデータに挿入されたフレーム集合識別パケットに含まれる時刻情報に基づいて取り、同時刻のフレーム集合を関連付けるための同期情報を出力するフレーム集合同期部と、
   上記フレーム集合抽出部によって読み出された各フレーム集合がいずれの情報配信装置から出力されたかに対応する情報と上記フレーム集合同期部によって出力された同期情報とに基づいて、ストリームデータのデータ構成を示す混合情報を、同時刻のフレーム集合の組毎に作成し、混合情報とストリームデータとを多重化し、多重化したストリームデータを、複数の情報配信装置からの同一時刻のフレーム集合が連続するように出力する混合情報作成部と、
   上記混合情報作成部によって出力されたストリームデータを、出力された順に、記録媒体の物理的な連続領域に記録する書き込み部とを備えたものであることを特徴とする記録システム。
6. 請求項５の記録システムにおいて、
   上記情報配信装置は、マイクロフォンを備えた撮像装置であって、さらに、
   撮影によって得られたアナログ映像データおよび上記マイクロフォンによって得られたアナログ音声データをディジタル変換し、ディジタル映像データおよびディジタル音声データを出力するＡＶ入力を備え、
   上記エンコーダによって符号化される上記ディジタルデータは、上記ディジタル映像データおよび上記ディジタル音声データであることを特徴とする記録システム。
7. 請求項５の記録システムにおいて、
   上記フレーム集合識別パケットは、各情報配信装置を識別するための各情報配信装置に固有の識別子を含み、
   上記バッファ割り当て部は、上記割り当て情報として、上記各識別子と上記各バッファとの対応関係を示す情報を格納し、
   上記ストリーム振り分け部は、ストリームデータをいずれのバッファに保持させるかを、当該ストリームデータのフレーム集合識別パケットに含まれる上記識別子に応じて決定することを特徴とする記録システム。
8. 請求項７の記録システムにおいて、
   上記ストリーム記録装置は、さらに、
   各情報配信装置に、上記識別子を割り当てる識別子割り当て部を備え、
   各情報配信装置のフレーム集合識別パケット挿入部は、上記識別子割り当て部によって当該情報配信装置に割り当てられた識別子を含むフレーム集合識別パケットを挿入するように構成されていることを特徴とする記録システム。
9. 請求項５の記録システムにおいて、
   上記ストリーム記録装置は、
   上記記録媒体に記録されたフレーム集合について、そのフレーム集合がいずれの情報配信装置から出力されたかに対応する情報、時刻情報、上記記録媒体における書き込み位置を示す書き込み位置情報、および混合情報作成結果を保持し、上記フレーム集合抽出部によって新たなフレーム集合が読み出されたとき、これと同時刻のフレーム集合が上記記録媒体に記録されているか否かを判断するフレーム識別情報保持部を備え、
   上記新たなフレーム集合と同時刻のフレーム集合が上記記録媒体に記録されている場合、
   上記混合情報作成部は、上記新たなフレーム集合がいずれの情報配信装置から出力されたかに対応する情報、上記同時刻のフレーム集合がいずれの情報配信装置から出力されたかに対応する情報、および上記同時刻のフレーム集合の混合情報作成結果から、混合情報を作成し、
   上記書き込み部は、上記記録媒体において、上記混合情報作成部によって作成された混合情報を、上記同時刻のフレーム情報の混合情報に上書きするとともに、上記新たなフレーム集合を、上記同時刻のフレーム情報の書き込み位置と隣接する領域に書き込むように構成されていることを特徴とする記録システム。
10. 請求項５の記録システムにおいて、
    上記ストリーム記録装置は、
    上記フレーム集合抽出部によって読み出されたストリームデータと、上記混合情報作成部によって作成された混合情報とを一時記憶する第２のバッファを備え、
    上記混合情報作成部は、同一時刻の複数のフレーム集合、およびそれらの混合情報から構成されるデータ集合について、当該データ集合が記憶される上記第２のバッファ上のアドレスと、当該データ集合のデータ容量とを出力し、
    上記書き込み部は、上記混合情報作成部から出力されるアドレスおよびデータ容量に基づいて、当該データ集合を書き込む上記記録媒体における連続領域を決定し、決定した連続領域に当該データ集合を書き込むように構成されていることを特徴とする記録システム。
11. 請求項５の記録システムとストリーム再生装置とを含む記録再生システムであって、
    上記ストリーム記録装置は、
    各フレーム集合がいずれの情報配信装置によって出力されたかを示す情報、各フレーム集合の時刻情報、および各フレーム集合の上記記録媒体における記録位置を示す記録位置情報を関連付けた管理情報を作成し、上記記録媒体に記録する管理情報更新部を備え、
    上記ストリーム再生装置は、
    視聴者によってどのストリームデータが選択されたかを示す選択情報を出力する切り換え制御部と、
    バッファと、
    上記記録媒体に記録された管理情報に基づいて、現在再生可能なストリームデータの一覧を示す情報を作成するとともに、上記切り換え制御部によって出力された選択情報に応じて、上記再生可能なストリームデータのうち視聴者によって選択されたストリームデータを、上記記録媒体から上記バッファに読み込む読み込み制御部と、
    ストリームデータから、ＡＶ情報を抽出するフィルタと、
    上記バッファに読み込まれたストリームデータを上記フィルタに転送する再生データ転送部と、
    上記フィルタによって抽出されたＡＶ情報に基づく映像データを出力することによって、モニタに映像を表示させるＡＶ出力とを備えたものであることを特徴とする記録再生システム。
12. 複数の情報配信装置とストリーム記録装置とを有する記録システムであって、
    上記複数の情報配信装置は、それぞれ、
    映像または音声のディジタルデータを符号化し、パケット化するエンコーダと、
    上記エンコーダによってパケット化されたパケット化データをネットワークに出力する送信側通信モジュールとを備えたものであり、
    上記ストリーム記録装置は、
    上記ネットワークから、上記パケット化データを受信して出力する受信側通信モジュールと、
    上記パケット化データの各パケットを解析することによって、フレーム集合を抽出し、時刻情報を含むフレーム集合識別パケットを、上記パケット化データに、フレーム集合毎に挿入するフレーム集合識別パケット生成部と、
    上記フレーム集合識別パケット生成部によって上記フレーム集合識別パケットが挿入されたストリームデータを一時記憶する複数のバッファと、
    上記複数の情報配信装置と上記複数のバッファとの対応関係を示す割り当て情報を格納するバッファ割り当て部と、
    上記バッファ割り当て部に格納された割り当て情報に基づいて、上記フレーム集合識別パケット生成部によって上記フレーム集合識別パケットが挿入されたストリームデータをいずれのバッファに保持させるかを決定するストリーム振り分け部と、
    上記ストリーム振り分け部による決定結果に従って、上記フレーム集合識別パケット生成部によって上記フレーム集合識別パケットが挿入されたストリームデータを上記バッファに保持させるストリームセレクタと、
    上記バッファから、上記ストリームデータをフレーム集合毎に読み出すフレーム集合抽出部と、
    上記フレーム集合抽出部によって読み出されたストリームデータにおける各フレーム集合間の同期を、当該ストリームデータに挿入されたフレーム集合識別パケットに含まれる時刻情報に基づいて取り、同時刻のフレーム集合を関連付けるための同期情報を出力するフレーム集合同期部と、
    上記フレーム集合抽出部によって読み出された各フレーム集合がいずれの情報配信装置から出力されたかに対応する情報と上記フレーム集合同期部によって出力された同期情報とに基づいて、ストリームデータのデータ構成を示す混合情報を、同時刻のフレーム集合の組毎に作成し、混合情報とストリームデータとを多重化し、多重化したストリームデータを、複数の情報配信装置からの同一時刻のフレーム集合が連続するように出力する混合情報作成部と、
    上記混合情報作成部によって出力されたストリームデータを、出力された順に、記録媒体の物理的な連続領域に記録する書き込み部とを備えたものであることを特徴とする記録システム。

Images