JP4544346B2 - データ処理装置およびデータ処理方法 - Google Patents

データ処理装置およびデータ処理方法 Download PDF

Info

Publication number
JP4544346B2
JP4544346B2 JP2008165852A JP2008165852A JP4544346B2 JP 4544346 B2 JP4544346 B2 JP 4544346B2 JP 2008165852 A JP2008165852 A JP 2008165852A JP 2008165852 A JP2008165852 A JP 2008165852A JP 4544346 B2 JP4544346 B2 JP 4544346B2
Authority
JP
Japan
Prior art keywords
data
file
time slot
format
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008165852A
Other languages
English (en)
Other versions
JP2010010895A (ja
Inventor
千春 坂井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2008165852A priority Critical patent/JP4544346B2/ja
Priority to US12/489,694 priority patent/US20090324201A1/en
Publication of JP2010010895A publication Critical patent/JP2010010895A/ja
Application granted granted Critical
Publication of JP4544346B2 publication Critical patent/JP4544346B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、オーディオ/ビデオ/メタ独立フォーマットと、標準AV(Audio Visual)多重フォーマットとの間でAVファイルのフォーマット変換を行うデータ処理装置およびデータ処理方法に関する。
近年、通信プロトコル等の標準化や、通信機器の低価格化等が進み、通信I/F(Interface)を標準で装備しているパーソナルコンピュータが一般的になってきている。また、パーソナルコンピュータの他、例えば、AVサーバーやVTR(Video Tape Recorder)などの業務用放送機器についても、通信I/Fが標準装備されているもの、あるいは装備可能なものが一般的になっている。そしてそのような放送機器同士間では、ビデオデータやオーディオデータ(以下、適宜、両方まとめて、AVデータという)のファイル交換が行われている。
ところで、従来、放送機器同士間で交換されるファイルのフォーマットとしては、一般に、例えば、機種ごとやメーカごとに、独自のフォーマットが採用されていたため、異なる機種やメーカの放送機器同士の間では、ファイル交換を行うことが困難であった。そこで、ファイル交換のためのフォーマットとして、例えば、MXF(Material eXchange Format)が提案され、現在標準化されつつある。このMXFは、ファイル交換に加えてストリーミングをも考慮したフォーマットであり、ビデオデータとオーディオデータとがフレームごと等の細かい単位で多重化されるようになっている。
MXFは、上述したように、ストリーミングを考慮して、ビデオデータとオーディオデータとがフレームごとに多重化されている。したがって、放送機器において、MXFのファイルをストレージに取り込んだ後、ビデオデータとオーディオデータとを別々に編集(AV独立編集)するのが困難であった。
そこで、放送機器において、MXFのファイルを取り込んだ後、それを独自のフォーマットのファイルに変換する方法が提案されている。しかしながら、放送機器において、MXFのファイルを、MXFとは全く関係のない独自フォーマットのファイルに変換してストレージに記録してしまうと、そのファイルを、他の放送機器において扱うことが困難となってしまう。すなわち、例えば、ある放送機器のストレージに記録された独自フォーマットのファイルに対して、他の放送機器から、例えば、IEEE(Institute of Electrical and Electronics Engineers)1394やUSB(Universal Serial Bus)等の通信I/Fを介してアクセスしても、他の放送機器においてその独自フォーマットを理解することができない場合には、その独自フォーマットのファイルを扱うこと(ここでは、例えば、読み出すこと)ができない。
また、ある放送機器において、独自フォーマットのファイルが記録されるストレージが、例えば光ディスク等のリムーバブルな記録媒体である場合、そのリムーバブルな記録媒体を他の放送機器に装着しても、やはり他の放送機器において独自フォーマットを理解することができない場合には、その独自フォーマットのファイルを扱うことができない。
そこで、例えば特許文献1では、ビデオデータとオーディオデータ等とが多重化されたファイルについて、互換性を保持しつつ容易に編集等をすることができるようにしたファイルフォーマットの変換装置が提案されている。
特開2004−112425号公報
上記特許文献1では、AVサーバー側、変換モジュールおよびネットワーク側において、帯域保証に十分な帯域をバスに確保させ、本処理に対し占有的にCPU(Central Processing Unit)のリソースを割り当てることで、性能向上が図られるようになっている。
ところがこの手法では、ファイルフォーマットの変換処理時間の増大がボトルネックとなり、複数のAVファイルにおける帯域保証送受信とベストエフォート送受信との両立が困難となっており、改善の余地があった。例えば、MXFファイルの変換では、送受信時の変換処理の際に、パラメータ(KLFiller)やメタデータの設定を行う必要があると共に、受信時のパース処理の際に、アイテム(Item)の構造確認を行う必要がある。以上により、フォーマットの変換処理の際に、バッファへのCPUアクセスが頻発してしまうという問題があった。
本発明はかかる問題点に鑑みてなされたもので、その目的は、異なるフォーマット間のファイル変換を行う際に、帯域保証を維持しつつ、従来よりも迅速な変換処理を実現することが可能なデータ処理装置およびデータ処理方法を提供することにある。
本発明のデータ処理装置は、AVサーバーとネットワークモジュールとの間のデータ送受信の際に、オーディオデータ、ビデオデータおよびメタデータがそれぞれ独立してなるAV独立フォーマットと、上記オーディオデータ、ビデオデータおよびメタデータが多重化されてなるAV多重フォーマットとの間で、AVファイルのフォーマット変換処理を相互に行う変換部と、この変換部におけるフォーマット変換処理の際に、このフォーマット変換処理の対象となるAVファイルのデータを個別に割り当てて変換処理を実行するための所定の指定時間間隔である変換処理タイムスロットと、上記AVサーバーとの間のデータ送受信処理の際に、このデータ送受信処理の対象となるAVファイルのデータを個別に割り当てて送受信処理を実行するための上記指定時間間隔であるサーバー側タイムスロットと、上記ネットワークモジュールとの間のデータ送受信処理の際に、このデータ送受信処理の対象となるAVファイルのデータを個別に割り当てて送受信処理を実行するための上記指定時間間隔であるネットワーク側タイムスロットと、をそれぞれ設定するタイムスロット設定部と、上記変換処理タイムスロットおよびサーバー側タイムスロットにおいて、フォーマット変換処理またはデータ送受信処理の対象となる複数のAVファイルのデータを、複数のAVファイル同士でのフォーマット変換処理の並列処理期間が設けられることとなるように、上記指定時間間隔内に個別に順次割り当てるスケジューリング制御を行うタイムスロット制御部とを備えたものである。このタイムスロット制御部は、サーバー側タイムスロットに、AVサーバーとの間の帯域保証用のデータ送受信処理の対象となるAVファイルのデータを順次割り当てた後、このサーバー側タイムスロットにおける空きスロットに、AVサーバーとの間のベストエフォート用のデータ送受信処理の対象となるAVファイルのデータを順次割り当てると共に、変換処理タイムスロットにおける空きスロットに、各データ送受信処理に対応するフォーマット変換処理の対象となるAVファイルのデータを順次割り当てた後、変換処理タイムスロットおよびサーバー側タイムスロットにおいて、上記指定時間間隔内における各AVファイルのデータの割り当て位置を制御して上記並列処理期間を設けることにより、上記スケジューリング制御を行う。
本発明のデータ処理方法は、AVサーバーとネットワークモジュールとの間のデータ送受信の際に、オーディオデータ、ビデオデータおよびメタデータがそれぞれ独立してなるAV独立フォーマットと、上記オーディオデータ、ビデオデータおよびメタデータが多重化されてなるAV多重フォーマットとの間で、AVファイルのフォーマット変換処理を相互に行う変換ステップと、この変換ステップにおけるフォーマット変換処理の際に、このフォーマット変換処理の対象となるAVファイルのデータを個別に割り当てて変換処理を実行するための所定の指定時間間隔である変換処理タイムスロットと、上記AVサーバーとの間のデータ送受信処理の際に、このデータ送受信処理の対象となるAVファイルのデータを個別に割り当てて送受信処理を実行するための上記指定時間間隔であるサーバー側タイムスロットと、上記ネットワークモジュールとの間のデータ送受信処理の際に、このデータ送受信処理の対象となるAVファイルのデータを個別に割り当てて送受信処理を実行するための上記指定時間間隔であるネットワーク側タイムスロットと、をそれぞれ設定するタイムスロット設定ステップと、上記変換処理タイムスロットおよびサーバー側タイムスロットにおいて、フォーマット変換処理またはデータ送受信処理の対象となる複数のAVファイルのデータを、複数のAVファイル同士でのフォーマット変換処理の並列処理期間が設けられることとなるように、上記指定時間間隔内に個別に順次割り当てるスケジューリング制御を行うタイムスロット制御ステップとを含むようにしたものである。このタイムスロット制御ステップでは、サーバー側タイムスロットに、AVサーバーとの間の帯域保証用のデータ送受信処理の対象となるAVファイルのデータを順次割り当てた後、このサーバー側タイムスロットにおける空きスロットに、AVサーバーとの間のベストエフォート用のデータ送受信処理の対象となるAVファイルのデータを順次割り当てると共に、変換処理タイムスロットにおける空きスロットに、各データ送受信処理に対応するフォーマット変換処理の対象となるAVファイルのデータを順次割り当てた後、変換処理タイムスロットおよびサーバー側タイムスロットにおいて、上記指定時間間隔内における各AVファイルのデータの割り当て位置を制御して上記並列処理期間を設けることにより、上記スケジューリング制御を行う。
本発明のデータ処理装置およびデータ処理方法では、AVサーバーとネットワークモジュールとの間のデータ送受信の際に、上記AV独立フォーマットと上記AV多重フォーマットとの間で、AVファイルのフォーマット変換処理が相互に行われる。この際、上記変換処理タイムスロット、上記サーバー側タイムスロットおよび上記ネットワーク側タイムスロットが、それぞれ設定される。そして、これら変換処理タイムスロットおよびサーバー側タイムスロットにおいて、フォーマット変換処理またはデータ送受信処理の対象となる複数のAVファイルのデータが、上記フォーマット変換処理の並列処理期間が設けられることとなるように上記指定時間間隔内に個別に順次割り当てられるスケジューリング制御が行われる。具体的には、サーバー側タイムスロットに、AVサーバーとの間の帯域保証用のデータ送受信処理の対象となるAVファイルのデータが順次割り当てられた後、このサーバー側タイムスロットにおける空きスロットに、AVサーバーとの間のベストエフォート用のデータ送受信処理の対象となるAVファイルのデータが順次割り当てられる。また、変換処理タイムスロットにおける空きスロットに、各データ送受信処理に対応するフォーマット変換処理の対象となるAVファイルのデータが順次割り当てられる。そしてその後、変換処理タイムスロットおよびサーバー側タイムスロットにおいて、上記指定時間間隔内における各AVファイルのデータの割り当て位置が制御されて上記並列処理期間が設けられることにより、上記スケジューリング制御がなされる。これにより、AVサーバーとネットワークモジュールとの間のデータ送受信の際に、帯域保証が実現されると共に、複数のAVファイルに関する処理の並列動作が可能となる。
本発明のデータ処理装置またはデータ処理方法によれば、変換処理タイムスロットおよびサーバー側タイムスロットにおいて、フォーマット変換処理またはデータ送受信処理の対象となる複数のAVファイルのデータを、複数のAVファイル同士でのフォーマット変換処理の並列処理期間が設けられることとなるように上記指定時間間隔内に個別に順次割り当てる所定のスケジューリング制御を行うようにしたので、帯域保証が実現されると共に、複数のAVファイルに関する処理の並列動作が可能となる。よって、異なるフォーマット間のファイル変換を行う際に、帯域保証を維持しつつ、従来よりも迅速な変換処理を実現することが可能となる。
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
図1は、本発明の一実施の形態に係るデータ処理装置(後述するファイル変換モジュール3)を備えたAVネットワークシステム(AVネットワークシステム1)の概略構成を表すものである。このAVネットワークシステム1は、AVサーバー2と、ファイル変換モジュール3と、ネットワークモジュール4とから構成されている。AVサーバー2とファイル変換モジュール3との間、およびファイル変換モジュール3とネットワークモジュール4との間はそれぞれ、汎用的なバスによって互いに接続されている。また、AVサーバー2では、AVファイルのデータが、後述するオーディオ/ビデオ/メタ独立フォーマット(以下、AV独立フォーマットと称す。)により保存され、ネットワークモジュール4では、後述する標準AV多重フォーマットによりAVファイルのデータの送受信を行うようになっている。
なお、本発明の一実施の形態に係るデータ処理方法は、本実施の形態のファイル変換モジュール3によって具現化されるので、以下併せて説明する。また、ここでいうシステムとは、複数の装置が論理的に集合した物をいい、各構成の装置が同一筐体中にあるか否かは問わないものである。
(AVサーバー2の構成)
AVサーバー2は、コントローラ20と、ストレージ21と、ストレージIF回路22と、(HD−)SDIIF(High Definition Serial Digital Interface)回路23と、AV記録再生部24と、独立ファイルデータバッファ25と、バッファ制御回路26とを備えている。このAVサーバー2は、後述するAV記録再生部24およびファイル変換モジュール3の処理に対し、バッファオーバーフロー・バッファアンダーフロー制御を行うものである。
なお、後述するリアルタイム保証のセッションについては、指定時間までに帯域から計算されるデータ量について、ファイル変換モジュール3との送受信が達成されればリアルタイムが破綻しないように、AVサーバーは制御する。また、後述するベストエフォートのセッションについては、AVサーバーのバッファ情報がファイル変換モジュール3と共有されることにより、ファイル変換モジュール3の主導でデータ転送が行われるようになっている。
ストレージ21は、AV独立フォーマットからなるAVファイルのデータを一時的に記録しておくものである。このストレージ21は、HDD(Hard Disk Drive)や光ディスクなどのディスク状の記録媒体、磁気テープなどのテープ状の記録媒体、または半導体メモリ等により構成される。
ストレージIF回路22は、ストレージ21と、後述するバッファ制御回路26との間のIF回路である。
(HD−)SDIIF回路23は、AVサーバー2の外部と、後述するAV記録再生部24との間のIF回路である。
AV記録再生部24は、(HD−)SDIIF回路23または後述するバッファ制御回路26により供給される、AV独立フォーマットからなるAVファイルのデータの記録および再生、並びにTimecode等のメタデータ処理、を行うものである。
独立ファイルデータバッファ25は、AV独立フォーマットからなるAVファイルのデータを一時的に記憶するバッファである。
バッファ制御回路26は、ストレージIF回路22、AV記録再生部24、独立ファイルデータバッファ25およびファイル変換モジュール3(具体的には、後述するIF回路31)と接続されている。このバッファ制御回路26は、ストレージIF回路22、AV記録再生部24およびファイル変換モジュール3との間で、AV独立フォーマットからなるAVファイルのデータのやり取りを行うと共に、独立ファイルデータバッファ25の制御を行うものである。
コントローラ20は、AVサーバー2全体の処理の制御を行うものである。
(ファイル変換モジュール3の構成)
ファイル変換モジュール3は、CPU30と、IF回路31と、独立/多重変換部321と、多重/独立変換部322と、AV多重ファイルデータバッファ33と、バッファ制御回路34と、IF回路35と、パーサー回路36とを備えている。
このファイル変換モジュール3には、AVファイルのフォーマット変換処理ごとに、ハードウェアの変換部(ここでは、独立/多重変換部321および多重/独立変換部322)が設けられている。具体的には、標準AV多重フォーマットとしてMXF(Material eXchange Format)のAVファイルを対象とした場合、このMXFファイルを構成するItem単位を変換の粒度として動作する変換モジュール(ただし、後述するヘッダおよびフッタは除く)を、各Itemごとに1つ設けられ、それぞれが並列に動作するようになっている。また、ネットワークモジュール4における標準AV多重フォーマットのAVファイル用のリングバッファ(ここでは、後述するAV多重ファイルデータバッファ33)がセッションごと(AVファイルの処理ごと)に設けられ、各リングバッファのバッファオーバーフロー・バッファアンダーフロー制御が行われるようになっている。
IF回路31は、AVサーバー2内のバッファ制御回路26と、後述する独立/多重変換部321または多重/独立変換部322との間で、AV独立フォーマットからなるAVファイルのデータのやり取りを行うIF回路である。なお、ファイル変換モジュール3の内部で使用するバスは、十分に速いものとする。
独立/多重変換部321および多重/独立変換部322は、AVサーバー2とネットワークモジュール4との間のデータ送受信の際に、後述するAV独立フォーマットと、後述するAV多重フォーマットとの間で、AVファイルのフォーマット変換処理を行うものである。具体的には、独立/多重変換部321は、AVサーバー側のIF回路31から供給されるAV独立フォーマットのAVファイルを、標準AV多重フォーマットのAVファイルにフォーマット変換し、ネットワークモジュール4側のバッファ制御回路34へ供給するものである。一方、多重/独立変換部322は、ネットワークモジュール4側のバッファ制御回路34から供給される標準AV多重フォーマットのAVファイルを、AV独立フォーマットのAVファイルにフォーマット変換し、AVサーバー側のIF回路31へ供給するものである。なお、これら独立/多重変換部321および多重/独立変換部322の詳細構成については、後述する(図4および図5)。また、これら独立/多重変換部321および多重/独立変換部322が、本発明における「変換部」の一具体例に対応する。
AV多重ファイルデータバッファ33は、上述したように、例えばリングバッファにより構成されており、ネットワークモジュール4から供給される、標準AV多重フォーマットのAVファイルのデータを一時的に記憶しておくバッファである。
バッファ制御回路34は、独立/多重変換部321、多重/独立変換部322、AV多重ファイルデータバッファ33、後述するIF回路35、後述するパーサー回路36および後述するCPU30に接続されている。このバッファ制御回路34は、CPU30からの制御に応じて、独立/多重変換部321、多重/独立変換部322、IF回路35およびパーサー回路36との間で、標準AV多重フォーマットからなるAVファイルのデータのやり取りを行うと共に、AV多重ファイルデータバッファ33の制御を行うものである。
IF回路35は、ネットワークモジュール4(具体的には、後述するネットワークモジュール部42)と、後述するパーサー回路36またはバッファ制御回路34との間で、標準AV多重フォーマットからなるAVファイルのデータのやり取りを行うIF回路である。
パーサー回路36は、CPU30からの制御に応じて、ネットワークモジュール4からの受信データから、フォーマット変換の際に必要な情報(受信データの中身を示す、ビデオデータ、オーディオデータまたはメタデータの情報)を取得してCPU30へ供給すると共に、元のデータをバッファ制御回路34へと供給するものである。
CPU30は、ファイル変換モジュール3全体の処理の制御を行うものであり、AVサーバー2内のコントローラ20および後述するネットワークモジュール4内のコントローラ40と協働するようになっている。このCPU30は、特に、後述する3つのタイムスロット(変換部タイムスロットTS(M)、AVサーバー側タイムスロットTS(AV)およびネットワークモジュール側タイムスロットTS(NW))をそれぞれ設定する処理(タイムスロット設定処理)を行うようになっている。CPU30はまた、これらのタイムスロットにおいて、フォーマット変換処理またはデータ送受信処理の対象となる複数のAVファイルのデータを、複数のAVファイル同士でのフォーマット変換処理の並列処理期間が設けられることとなるように、指定時間間隔内に個別に順次割り当てる所定のスケジューリング制御処理(タイムスロット制御処理)を行うようになっている。なお、このようなタイムスロット設定処理およびタイムスロット制御処理の詳細は、後述する(図6〜図8)。
ここで、CPU30およびパーサー回路36が、本発明における「タイムスロット設定部」および「タイムスロット制御部」の一具体例に対応する。また、CPU30、パーサー回路36、AV多重ファイルデータバッファ33およびバッファ制御回路3が、本発明における「編集部」の一具体例に対応する。
ファイル変換モジュール3はまた、図1中に示した、変換部タイムスロットTS(M)(変換処理タイムスロット)と、AVサーバー側タイムスロットTS(AV)(サーバー側タイムスロット)と、ネットワークモジュール側タイムスロットTS(NW)(ネットワーク側タイムスロット)とを用いて、後述するフォーマット変換処理およびデータ送受信処理を行うようになっている。
変換部タイムスロットTS(M)は、独立/多重変換部321および多重/独立変換部322におけるフォーマット変換処理の際に、これらのフォーマット変換処理の対象となるAVファイルのデータを個別に割り当てて変換処理を実行するためのタイムスロット(所定の指定時間間隔)である。また、AVサーバー側タイムスロットTS(AV)は、AVサーバー2との間のデータ送受信処理の際に、このデータ送受信処理の対象となるAVファイルのデータを個別に割り当てて送受信処理を実行するためのタイムスロット(上記指定時間間隔)である。また、ネットワークモジュール側タイムスロットTS(NW)は、ネットワークモジュール4との間のデータ送受信処理の際に、このデータ送受信処理の対象となるAVファイルのデータを個別に割り当てて送受信処理を実行するためのタイムスロット(上記指定時間間隔)である。なお、これらのタイムスロットの詳細については、後述する(図7および図8)。
(ネットワークモジュール4の構成)
ネットワークモジュール4は、コントローラ40と、ネットワーク41と、ネットワークモジュール部42と、ネットワークデータバッファ43とを備えている。このネットワークモジュール4は、一般的なEthernet(登録商標)モジュールであり、複数のセッション(AVファイルの処理)に対応したQoS(帯域保証)制御を実現し、ネットワークモジュール4内に設けられたバッファ(ネットワークデータバッファ43)を介して、標準AV多重フォーマットからなるAVファイルのデータのバッファオーバーフロー・バッファアンダーフロー制御を行うようになっている。
なお、後述する帯域保証のセッションについては、指定時間までに帯域から計算されるデータ量について、ファイル変換モジュール3との送受信が達成されれば破綻しないように、ネットワークモジュール4は制御する。また、後述するベストエフォートのセッションについては、ネットワークモジュール4のバッファ情報がファイル変換モジュール3と共有されることにより、ファイル変換モジュール3の主導でデータ転送が行われるようになっている。
コントローラ40は、ネットワークモジュール4全体の処理の制御を行うものである。具体的には、特にネットワークモジュール部42の制御を行うようになっている。
ネットワークモジュール部42は、コントローラ40による制御に応じて、ネットワーク41、ネットワークデータバッファ43およびファイル変換モジュール3内のIF回路35との間で、標準AV多重フォーマットのAVファイルのデータのやり取りを行うものである。
ネットワークデータバッファ43は、標準AV多重フォーマットのAVファイルのデータを一時的に記憶しておくバッファである。
(標準AV多重フォーマットの構成例)
次に、図2を参照して、標準AV多重フォーマットの構成例について説明する。
図2では、ボディに配置されるビデオデータとオーディオデータとして、D10と呼ばれるMPEG(Moving Picture Experts Group) IMX方式で符号化されたビデオデータと、AES(Audio Engineering Society)3形式の非圧縮のオーディオデータとを、それぞれ採用した場合の標準AV多重フォーマットを示している。
なお、ボディには、その他、DV(Digital Video)等の各種のフォーマットのビデオデータとオーディオデータとを配置することが可能である。
標準AV多重フォーマットのファイルは、その先頭から、ヘッダ(File Header)、ボディ(File Body)およびフッタ(File Footer)が、順次配置されて構成される。
ヘッダには、その先頭から、ヘッダパーティションパック(Header Partition Pack)、ヘッダメタデータ(Header Metadata)およびインデックステーブル(Index Table)が、順次配置される。ヘッダパーティションパックには、ヘッダを特定するためのデータや、ボディに配置されるデータの形式、ファイルフォーマットを表す情報などが配置される。ヘッダメタデータには、例えば、ファイルの作成日や、ボディに配置されたデータに関する情報などのファイル単位のメタデータが配置される。インデックステーブルには、ボディに配置される、後述するエディットユニットの位置を表すテーブルが配置される。
なお、インデックステーブルはオプションであり、ヘッダに含めても含めなくてもよい。また、ヘッダには、インデックステーブルの他、種々のオプションのデータを配置することができる。
また、ヘッダパーティションパックに配置されるファイルフォーマットを表す情報としては、標準AV多重フォーマットのファイルでは、標準AV多重フォーマットを表す情報が採用される。一方、後述するAV独立フォーマットのファイルでは、AV独立フォーマットを表す情報が採用される。ただし、ヘッダパーティションパックの形式自体は、標準AV多重フォーマットとAV独立フォーマットとにおいて、同一である。
フッタは、フッタパーティションパック(Footer Partition Pack)で構成される。このフッタパーティションパックには、フッタを特定するためのデータなどが配置される。
ボディは、1以上のエディットユニット(Edit Unit)で構成される。このエディットユニットは1フレームの単位であり、そこには、1フレーム分のAVデータその他が配置される。
すなわち、エディットユニットは、その先頭から、システムアイテム(Sytem Item)、ピクチャアイテム(Picture Item)、サウンドアイテム(Sound Item)およびオグジュアリアイテム(Auxiliary Item)が配置されて構成される。
システムアイテムには、その後段のピクチャアイテムに配置されるビデオデータのフレームについてのメタデータ(フレーム単位のメタデータ)が配置される。ここで、このフレーム単位のメタデータとしては、例えば、タイムコードなどがある。
ピクチャアイテムには、1フレーム分のビデオデータが配置される。図2では、上述したD10形式のビデオデータが配置される。
ここで、ピクチャアイテムには、1フレームのビデオデータが、KLV(Key,Length,Value)構造にKLVコーディングされて配置される。
このKLV構造とは、その先頭から、キー(Key)、レングス(Length)およびバリュー(Value)が順次配置された構造である。キーには、バリューに配置されるデータがどのようなデータであるかを表す、SMPTE 298Mの規格に準拠した16バイトのラベルが配置される。レングスには、バリューに配置されるデータのデータ長が配置される。バリューには、実データ、すなわち、ここでは、1フレームのビデオデータが配置される。
また、ピクチャアイテムは、そのデータ長が、KAG(KLV Alignment Grid)を基準とする固定長となっている。そして、ピクチャアイテムを固定長とするのに、スタッフィング(stuffing)のためのデータとしてのフィラー(Filler)が、やはりKLV構造とされて、ピクチャアイテムのビデオデータの後に配置される。
なお、ピクチャアイテムのデータ長であるKAGを基準とする固定長は、例えば、光ディスクのセクタ長の整数倍(例えば、512バイトや2Kバイトなど)とされている。この場合、光ディスクとピクチャアイテムとのいわば親和性が高くなり、光ディスクに対するピクチャアイテムの読み書き処理の高速化を図ることができる。
また、上述のシステムアイテム、ならびに後述するサウンドアイテムおよびオグジュアリアイテムにおいても、ピクチャアイテムと同様にKLV構造が採用されていると共に、そのデータ長がKAGを基準とする固定長になっている。
サウンドアイテムには、ピクチャアイテムに配置されたビデオデータのフレームにおける1フレーム分のオーディオデータが、上述のピクチャアイテムにおける場合と同様に、KLV構造で配置される。
また、サウンドアイテムには、複数としての、例えば8チャネルのオーディオデータが多重化されて配置される。
すなわち、サウンドアイテムにおいて、KLV構造のバリューには、その先頭から、エレメントヘッダEH(Element Header)、オーディオサンプルカウントASC(Audio Sample Count)、ストリームバリッドフラグSVF(Stream Valid Flags)および多重化された8チャネルのオーディオデータが、順次配置される。
ここで、サウンドアイテムにおいて、8チャネルのオーディオデータは、1フレームにおける8チャネルそれぞれのオーディオデータの第1サンプル、第2サンプル、…といった順番に、オーディオデータのサンプルが配置されることにより多重化されている。図2の最下部に示したオーディオデータにおいて、括弧付きで示してある数字は、オーディオデータのサンプルが何サンプル目かを表している。
また、エレメントヘッダEHには、そのエレメントヘッダを特定するためのデータなどが配置される。オーディオサンプルカウントASCには、サウンドアイテムに配置されているオーディオデータのサンプル数が配置される。ストリームバリッドフラグSVFは、8ビット(1バイト)のフラグであり、各ビットは、そのビットに対応するチャネルのオーディオデータが有効か無効かを表すようになっている。すなわち、ストリームバリッドフラグSVFの各ビットは、そのビットに対応するチャネルのオーディオデータが有効である場合に例えば1とされ、無効である場合に例えば0とされる。
オグジュアリアイテムには、必要なユーザデータが配置される。したがって、オグジュアリアイテムは、ユーザが任意のデータを配置することができるエリアである。
以上のように、標準AV多重フォーマットでは、フレーム単位のメタデータが配置されるシステムアイテム、ビデオデータが配置されるピクチャアイテム、オーディオデータが配置されるサウンドアイテムおよびユーザデータが配置されるオグジュアリアイテムが、1フレーム単位で多重化されている。また、サウンドアイテムでは、8チャネルのオーディオデータが、1サンプル単位で多重化されている。
このため、ビデオデータとオーディオデータとが別々にまとめて配置されているファイルでは、そのまとまったビデオデータのファイルとオーディオデータのファイルとを全て受信してからでないと、そのビデオデータおよびオーディオデータの再生を開始することができない。一方、標準AV多重フォーマットでは、ビデオデータとオーディオデータとがフレーム単位で多重化されているため、1フレーム分のビデオデータとオーディオデータとを受信すれば、そのフレームのビデオデータおよびオーディオデータを、即座に再生することができる。したがって、標準AV多重フォーマットは、ストリーミングに適しているということができる。
このように、標準AV多重フォーマットは、ビデオデータとオーディオデータとがフレーム単位で多重化されているため、ストリーミングには適している。しかしながら、その反面、ビデオデータおよびオーディオデータをそれぞれ別々に編集するAV独立編集がしにくい。
さらに、ファイル単位のメタデータも、エディットユニットのシステムアイテムに散在しており、編集時等において扱いにくい。
また、標準AV多重フォーマットで採用可能なAES3形式では、オーディオデータの1サンプルに少なくとも4バイトを割り当てる仕様になっており、ファイルの全体の大きさが大になる。
(AV独立フォーマットの構成例)
次に、図3を参照して、AV独立フォーマットの構成例について説明する。
このAV独立フォーマットでは、上述した標準AV多重フォーマットにおいて多重化されているビデオデータ、オーディオデータ、ファイル単位のメタデータおよびユーザデータが、それぞれまとめて配置されたファイルとなっている。
すなわち、AV独立フォーマットでは、標準AV多重フォーマットにおいてビデオデータが配置されるピクチャアイテムがまとめてボディに配置され、さらに、そのボディに、標準AV多重フォーマットと同一形式のヘッダおよびフッタが付加されることにより、ビデオファイルが構成される。
なお、AV独立フォーマットのビデオファイルのボディには、光ディスクのセクタ長の整数倍のピクチャアイテムがまとめて配置されているため、そのボディ全体の大きさも、光ディスクのセクタ長の整数倍になっている。すなわち、AV独立フォーマットのビデオファイルのボディは、セクタアラインメント(sector alignment)がとれた大きさとなっている。
また、図2では、標準AV多重フォーマットのファイルのヘッダに、インデックステーブルを図示してあるが、MXFでは、上述したように、インデックステーブルはオプションである。したがって、図3に示したビデオファイルでは(後述するオーディオファイルでも同様)、インデックステーブルを採用していない。
AV独立フィーマットでは、標準AV多重フォーマットにおいてサウンドアイテムに配置される、多重化された8チャンネルのオーディオデータを、各チャンネルごとのオーディオデータに分離したものであって、AES3形式からWAVE形式に変換したものが、各チャネルごとのファイルのボディに、KLV構造で配置される。また、そのボディに、標準AV多重フォーマットと同一形式のヘッダおよびフッタが付加されることにより、オーディオファイルが構成される。
すなわち、AV独立フォーマットでは、8チャンネルのオーディオデータについて、各チャネルのオーディオファイルが、独立に構成される。各チャネルのオーディオファイルは、そのチャネルのオーディオデータをWAVE式にし、かつまとめてKLV構造化したものが、ボディに配置される。また、そのボディに、標準AV多重フォーマットと同一形式のヘッダおよびフッタが付加されて構成される。
なお、AV独立フォーマットのオーディオファイルのボディには、上述したように、あるチャネルのWAVE形式のオーディオデータをまとめてKLV構造化したものが配置されるが、このオーディオデータ全体の大きさが、光ディスクのセクタ長の整数倍になるとは限らない。そこで、セクタアラインメントをとるために、AV独立フォーマットのオーディオファイルのボディには、KLV構造のオーディオデータの後に、セクタアライメントをとるのに必要な分のKLV構造のフィラーが配置される。
AV独立フォーマットでは、以上のようなビデオファイル、8チャネルそれぞれごとのオーディオファイルの他、標準AV多重フォーマットにおいてヘッダメタデータに配置されるファイル単位のメタデータがまとめて配置されたファイル単位のメタデータファイルと、標準AV多重フォーマットにおいてフレーム単位のメタデータが配置されたシステムアイテムがまとめて配置されたフレーム単位のメタデータファイルとが、構成される。さらに、AV独立フォーマットでは、標準AV多重フォーマットにおいてユーザデータが配置されたオグジュアリアイテムがまとめて配置されたオグジュアリファイルが構成される。
そして、AV独立フォーマットでは、ビデオファイル、8チャネルそれぞれごとのオーディオファイル、ファイル単位のメタデータファイル、フレーム単位のメタデータファイル、オグジュアリファイルそれぞれへのポインタが記述されたマスタファイル(master File)が構成される。
すなわち、マスタファイルは、例えば、XML(Extensible Markup Language)で記述され、そこには、ビデオファイル、8チャネルそれぞれごとのオーディオファイル、ファイル単位のメタデータファイル、フレーム単位のメタデータファイル、オグジュアリファイルそれぞれへのポインタとして、例えば、各ファイルのファイル名が記述される。
したがって、マスタファイルから、ビデオファイル、8チャネルそれぞれごとのオーディオファイル、ファイル単位のメタデータファイル、フレーム単位のメタデータファイルおよびオグジュアリファイルを参照することができる。
なお、例えば、オグジュアリファイルは、オプショナルなファイルとすることができる。
また、図3では、ファイル単位のメタデータファイル、フレーム単位のメタデータファイルおよびオグジュアリファイルは、標準AV多重フォーマットと同一形式のヘッダおよびフッタを有していない。ただし、これらのファイル単位のメタデータファイル、フレーム単位のメタデータファイルおよびオグジュアリファイルも、標準AV多重フォーマットと同一形式のヘッダおよびフッタを付加して構成することができる。
さらに、AV独立フォーマットのビデオファイルおよびオーディオファイルのヘッダを構成するヘッダメタデータには、最小セットのファイル単位のメタデータが配置される。
すなわち、AV独立フォーマットでは、標準AV多重フォーマットにおいてヘッダメタデータに配置されるファイル単位のメタデータがまとめて配置されたファイル単位のメタデータファイルが存在するので、そのメタデータファイルに配置されるファイル単位のメタデータを、ビデオファイルおよびオーディオファイルのヘッダを構成するヘッダメタデータに重複して配置するのは、冗長であり、また、AV独立フォーマットのファイル全体の大きさを大にすることになる。
しかしながら、MXFにおいて、ヘッダメタデータはヘッダに必須の項目であり、ヘッダメタデータを全く配置せずにヘッダを構成したのでは、そのヘッダは、標準AV多重フォーマットと同一形式のヘッダではなくなることとなる。
一方、MXFにおいて、ヘッダメタデータに配置すべきファイル単位のメタデータには種々の項目があるが、その項目の中には、必須のものとオプショナルなものとがある。
そこで、ファイルの大きさが大になるのを抑制すると共に、標準AV多重フォーマットとの互換性を維持するため、AV独立フォーマットのビデオファイルおよびオーディオファイルのヘッダを構成するヘッダメタデータには、最小セットのファイル単位のメタデータ、すなわち、MXFにおいて、ヘッダメタデータに配置することが必須とされている項目のメタデータのみが配置される。
以上のように、AV独立フォーマットでは、ビデオデータがまとめてビデオファイルに配置されると共に、各チャネルのオーディオデータがまとめて、そのチャネルのオーディオファイルに配置されるので、ビデオデータおよびオーディオデータをそれぞれ別々に編集するAV独立編集などの編集を、容易に行うことができる。
また、AV独立フォーマットでは、オーディオデータがWAVE形式とされるので、標準AV独立フォーマットのように、AES3形式のオーディオデータを採用する場合と比較して、データ量を小さくすることができる。その結果、AV独立フォーマットのファイルを、光ディスク等のストレージに記録する場合には、標準AV多重フォーマットのファイルを記録する場合に比較して、その記録に必要なストレージの容量を抑制することができる。
さらに、AV独立フォーマットでは、ファイル単位のメタデータと、フレーム単位のメタデータとは、それぞれ別々にまとめられ、いずれも1つのファイルとされるので、メタデータを使用した検索処理が容易となる。
(独立/多重変換部321の詳細構成)
次に、図4を参照して、図1に示した独立/多重変換部321の詳細構成について説明する。この独立/多重変換部321は、FIFO(first-in first-out)メモリ321−1,321−2と、META2SYS Converter321aと、DV&VAUX2DIF Converter321bと、Long+IMX Converter321cと、WAVE2AES3 Converter321dと、WAVE Converter321eと、Data Item Generator321fとを有している。
FIFOメモリ321−1は、AVサーバー2側のIF回路31から供給されるAV独立フォーマットのAVファイルを一時的に記憶するメモリである。一方、FIFOメモリ321−2は、以下説明する、META2SYS Converter321a、DV&VAUX2DIF Converter321b、Long+IMX Converter321c、WAVE2AES3 Converter321d、WAVE Converter321eおよびData Item Generator321fによってフォーマット変換処理がなされた後のAVファイル(標準AV多重フォーマットのAVファイル)を一時的に記憶するメモリである。
META2SYS Converter321aは、メタ独立フォーマットから、Universal Label、LTC、Body UMID、KLV Packet(EMK)の変換処理を行い、標準AV多重フォーマットのシステムアイテムを作成するものである。
DV&VAUX2DIF Converter321bは、Video.mxf内のDV-Pictureと、VAUX Data Itemとを変換して、DIF Dataを作成するものである。
Long+IMX Converter321cは、ビデオ独立フォーマット(MPEG2 LONGとIMX)について、Alignement修正を必要に応じて行い、標準AV多重フォーマットのピクチャアイテムを作成するものである。
WAVE2AES3 Converter321dは、WAVE形式からAES3形式へのフォーマット変換を行うものである。
WAVE Converter321eは、フレームごとのバリューに対して、K+L追加処理と、K+L+Fillerを付けるAlignment処理とを行うものである。
Data Item Generator321fは、オグジュアリデータファイルおよびメタデータファイルから、Data Itemを作成するものである。
(多重/独立変換部322の詳細構成)
次に、図5を参照して、図1に示した多重/独立変換部322の詳細構成について説明する。この多重/独立変換部322は、FIFOメモリ322−1,322−2と、SYS2META Converter322aと、DIF2DV&VAUX Converter322bと、Long+IMX Converter322cと、AES32WAVE Converter322dと、WAVE Converter322eと、Data2META&VBI Generator322fとを有している。
FIFOメモリ322−1は、ネットワークモジュール4側のバッファ制御回路34から供給される標準AV多重フォーマットのAVファイルを一時的に記憶するメモリである。一方、FIFOメモリ322−2は、以下説明する、SYS2META Converter322a、DIF2DV&VAUX Converter322b、Long+IMX Converter322c、AES32WAVE Converter322d、WAVE Converter322eおよびData2META&VBI Generator322fによってフォーマット変換処理がなされた後のAVファイル(AV独立フォーマットのAVファイル)を一時的に記憶するメモリである。
SYS2META Converter322aは、標準AV多重フォーマットのシステムアイテムから、LTC/UB、Body UMID、KLV Packet(EMK)およびARIBの付加処理によりメタ独立フォーマットを作成するものである。
DIF2DV&VAUX Converter322bは、DV-Pictureを作成すると共に、Alignment追加処理を行い、VAUX Data Itemを作成するものである。
Long+IMX Converter322cは、標準AV多重フォーマットのピクチャアイテム(MPEG2 LONGとIMX)について、Alignement修正を必要に応じて行い、ビデオ独立フォーマットを作成するものである。
AES32WAVE Converter322dは、AES3形式からWAVE形式へのフォーマット変換処理を行うものである。
WAVE Converter322eは、オーディオサンプルデータのみを抽出し、オーディオ独立フォーマットを作成するものである。
Data2META&VBI Generator322fは、標準AV多重フォーマットのデータアイテムから、メタ独立フォーマットを作成するものである。
次に、本実施の形態のAVネットワークシステム1の動作について詳細に説明する。
(AVネットワークシステム1の基本動作)
まず、図1を参照して、AVネットワークシステム1の基本動作について説明する。このAVネットワークシステム1では、AVサーバー2とファイル変換モジュール3との間、およびネットワークモジュール4とファイル変換モジュール3との間でそれぞれ、AVファイルのデータ送受信処理が行われる。また、そのデータ送受信処理の際に、ファイル変換モジュール3において、AV独立フォーマットと標準AV多重フォーマットとの間で、AVファイルのフォーマット変換が行われる。
具体的には、AVサーバー2において、ストレージ21、または外部から(HD−)SDIIF回路23を介して読み出されたAV独立フォーマットのAVファイルのデータが、ファイル変換モジュール3へデータ送信されると、このファイル変換モジュール3内の独立/多重変換部321においてフォーマット変換されることにより、標準AV多重フォーマットのAVファイルのデータが生成される。そしてこの標準AV多重フォーマットのAVファイルのデータは、ネットワークモジュール4へデータ送信される。
また、ネットワークモジュール4において、ネットワーク41から供給された標準AV多重フォーマットのAVファイルのデータが、ファイル変換モジュール3へデータ送信されると、このファイル変換モジュール3内の多重/独立変換部322においてフォーマット変換されることにより、AV独立フォーマットのAVファイルのデータが生成される。そしてこのAV独立フォーマットのAVファイルのデータは、AVサーバー2へデータ送信され、ストレージ21に書き込まれるか、あるいはAV記録再生部24によってAV再生がなされる。
(ファイル変換モジュール3の動作)
次に、図6〜図8を参照して、本発明の特徴的部分の1つである、ファイル変換モジュール3によるフォーマット変換処理の際の動作(前述のタイムスロット設定処理およびタイムスロット制御処理)について詳細に説明する。
ここで、図6は、独立/多重変換部321および多重/独立変換部322によるフォーマット変換処理の際のタイムスロット設定処理およびタイムスロット制御処理の一例を、時間軸と共に流れ図で表したものであり、任意の時刻n〜(n+k)での処理と、時刻(n+k)〜(n+2k)での処理とを表している。なお、時間kは、後述するステップS10〜S19またはステップS20〜S29の一連の処理に要する時間を表している。また、図7(A)〜図7(C)は、それぞれ、図6に示した一連の処理の際のネットワークモジュール側タイムスロットTS(NW1)〜TS(NW3)を表している。また、図8(A)〜図8(F)は、それぞれ、図6に示した一連の処理の際の変換部タイムスロットTS(M−F1),TS(M−T1),TS(M−F2),TS(M−T2)と、AVサーバー側タイムスロットTS(AV1),TS(AV2)とを表している。なお、変換部タイムスロットTS(M−F1),TS(M−F2)は、AVサーバー2からデータ受信したAV独立フォーマットのAVファイルのフォーマット変換を行う際のタイムスロットを表しており、変換部タイムスロットTS(M−T1),TS(M−T2)は、ネットワークモジュール4からデータ受信した標準AV多重フォーマットのAVファイルのフォーマット変換を行う際のタイムスロットを表している。また、これらのタイムスロットでは、ビデオデータ、オーディオデータおよびメタデータのタイムスロットを、それぞれ別々に表しており、図4および図5の変換モジュールのことである。
本実施の形態のファイル変換モジュール3では、例えば図6に示したようなタイムスロット設定処理およびタイムスロット制御処理が、CPU30およびパーサー回路36によってなされる。なお、図中に示した任意の時刻n〜(n+k)での処理(ステップS10〜S19)の内容と、時刻(n+k)〜(n+2k)での処理(ステップS20〜S29)の内容とは同一であるため、ステップS20〜S29について代表して説明する。
(リングバッファサイズ情報取得)
まず、1つ前の処理の際のステップS11(ネットワーク側送受信転送実行設定)およびステップS12(AVサーバー側送受信転送実行設定)におけるデータ転送結果と、パーサー回路36によるアイテム(Item)の構造確認結果とに基づき、フォーマット変換の際に必要な情報(ここでは、リングバッファサイズ情報)が取得される(ステップS20)。
(ネットワーク側送受信転送実行設定)
次に、1つ前の処理の際のステップS15(ネットワーク側送受信転送順スケジューリング)においてスケジューリングされた結果に基づき、CPU30によって、ファイル変換モジュール3とネットワークモジュール4との間で、複数セッションのAVファイルのデータ送受信転送が実行される(ステップS21)。
(AVサーバー側送受信転送実行設定)
次に、1つ前の処理の際のステップS18(AVサーバー側送受信転送順スケジューリング)においてスケジューリングされた結果に基づき、CPU30によって、ファイル変換モジュール3とAVサーバー2との間で、複数セッションのAVファイルのデータ送受信転送が実行される(ステップS22)。また、この際、独立/多重変換部321および多重/独立変換部322によって、このスケジューリングされた結果に基づいて、AVサーバー2との間のデータ送受信の際に、複数セッションのAVファイルに関するフォーマット変換処理が実行される。
(ネットワーク側帯域保証用送受信データ要求・転送予約)
次に、ネットワークモジュール4から、帯域保証用の複数セッションの送受信データ要求を受け、CPU30によって、例えば図7(A)に示したように、ネットワークモジュール側タイムスロットTS(NW1)に、転送タイミングが予約される(ステップS23)。これにより、ネットワークモジュール4側の帯域制御の破綻が防止される。
(ネットワーク側ベストエフォート用送受信転送予約)
次に、このネットワークモジュール側タイムスロットTS(NW1)に空きスロットが存在する場合、CPU30によって、例えば図7(B)に示したネットワークモジュール側タイムスロットTS(NW2)のように、その空きスロットに対し、ベストエフォート用のデータ転送が、セッションごとのリングバッファにて、バッファオーバーフロー・バッファアンダーフローに最も近いセッションから順に割り当てられる(ステップS24)。
(ネットワーク側送受信転送順スケジューリング)
次に、CPU30によって、例えば図7(C)に示したネットワークモジュール側タイムスロットTS(NW3)のように、ステップS23,S24において決定した予約タイミングがセッションごとにまとめられ、順番が整列させられる(ステップS25)。
(AVサーバー側帯域保証用送受信データ要求・転送予約)
次に、AVサーバー2から、帯域保証用の複数セッションの送受信データ要求を受け、CPU30によって、AVサーバー側タイムスロットTS(AV)および変換部タイムスロットTS(M)に、転送タイミングが予約される(ステップS26)。これにより、AVサーバー2側のリアルタイム処理(記録および再生系)の破綻が防止される。
(AVサーバー側ベストエフォート用送受信転送予約)
次に、このAVサーバー側タイムスロットTS(AV)に空きスロットが存在する場合、CPU30によって、例えば図8(A)に示したAVサーバー側タイムスロットTS(AV1)のように、その空きスロットに対し、ベストエフォート用のデータ転送が、セッションごとのリングバッファにて、バッファオーバーフロー・バッファアンダーフローに最も近いセッションから順に割り当てられる(ステップS27)。またこの際、例えば図8(B)および図8(C)に示した変換部タイムスロットTS(M−F1),TS(M−T1)のように、変換モジュールごとのタイムスロットにも同様に割り当てが行われるが、フォーマット変換に要する時間を加味する必要がある。これにより、AVサーバー2側とのデータ転送で余った帯域が、有効活用される。
(AVサーバー側送受信転送順スケジューリング)
次に、CPU30によって、例えば図8(D)〜図8(F)に示したAVサーバー側タイムスロットTS(AV2)および変換部タイムスロットTS(M−F2),TS(M−T2)のように、ステップS23,S24において決定した予約タイミングにおいて、複数のAVファイル同士でのフォーマット変換処理が互いに並列動作するように、各処理の割り当てのスケジューリング制御が行われる(図中の並列処理期間ΔT1〜ΔT3が設けられる)(ステップS28)。これにより、ハードウェアの並列処理を最大限使用できるようにスケジュールされ、ベストエフォート転送に役立つこととなる。なお、図中のAVサーバー側タイムスロットTS(AV2)のように、AVサーバー側タイムスロットTS(AV)に空きスロットが存在する限り(ステップS29)、ステップS27,S28の処理が繰り返され、ステップS20〜S29の処理が終了となる。
このようにして本実施の形態では、AVサーバー2とネットワークモジュール4との間のデータ送受信の際に、AV独立フォーマットとAV多重フォーマットとの間で、AVファイルのフォーマット変換処理が相互に行われる。この際、変換部タイムスロットTS(M)、AVサーバー側タイムスロットTS(AV)およびネットワークモジュール側タイムスロットTS(NW)が、それぞれ設定される。そして、これら変換部タイムスロットTS(M)およびAVサーバー側タイムスロットTS(AV)において、フォーマット変換処理またはデータ送受信処理の対象となる複数のAVファイルのデータが、フォーマット変換処理の並列処理期間ΔT1〜ΔT3が設けられることとなるように指定時間間隔内に個別に順次割り当てられるスケジューリング制御が行われる。具体的には、AVサーバー側タイムスロットTS(AV)に、AVサーバー2との間の帯域保証用のデータ送受信処理の対象となるAVファイルのデータが順次割り当てられた後、このAVサーバー側タイムスロットTS(AV)における空きスロットに、AVサーバー2との間のベストエフォート用のデータ送受信処理の対象となるAVファイルのデータが順次割り当てられる。また、変換部タイムスロットTS(M)における空きスロットに、各データ送受信処理に対応するフォーマット変換処理の対象となるAVファイルのデータが順次割り当てられる。そしてその後、変換部タイムスロットTS(M)およびAVサーバー側タイムスロットTS(AV)において、指定時間間隔内における各AVファイルのデータの割り当て位置が制御されて並列処理期間ΔT1〜ΔT3が設けられることにより、スケジューリング制御がなされる。これにより、AVサーバー2とネットワークモジュール4との間のデータ送受信の際に、帯域保証が実現されると共に、複数のAVファイルに関する処理の並列動作が可能となる。
以上のように本実施の形態では、変換部タイムスロットTS(M)およびAVサーバー側タイムスロットTS(AV)において、フォーマット変換処理またはデータ送受信処理の対象となる複数のAVファイルのデータを、複数のAVファイル同士でのフォーマット変換処理の並列処理期間が設けられることとなるように指定時間間隔内に個別に順次割り当てる所定のスケジューリング制御を行うようにしたので、帯域保証が実現されると共に、複数のAVファイルに関する処理の並列動作が可能となる。よって、異なるフォーマット間のファイル変換を行う際に、帯域保証を維持しつつ、従来よりも迅速な変換処理を実現することが可能となる。
また、AVサーバー2において、ストレージ21、または外部から(HD−)SDIIF回路23を介して読み出されたAV独立フォーマットのAVファイルのデータを、ファイル変換モジュール3へデータ送信し、このファイル変換モジュール3内の独立/多重変換部321においてフォーマット変換し、標準AV多重フォーマットのAVファイルのデータを生成すると共に、この標準AV多重フォーマットのAVファイルのデータを、ネットワークモジュール4に対して帯域保証およびベストエフォートのネットワーク送信をすることが可能となる。
また、ネットワークモジュール4において、ネットワーク41から供給された標準AV多重フォーマットのAVファイルのデータを、ファイル変換モジュール3において帯域保証およびベストエフォートのネットワーク受信をすることが可能となると共に、このファイル変換モジュール3内の多重/独立変換部322においてフォーマット変換し、AV独立フォーマットのAVファイルのデータを生成し、このAV独立フォーマットのAVファイルのデータをAVサーバー2へデータ送信し、ストレージ21に書き込むか、あるいはAV記録再生部24によってAV再生を行うことが可能となる。
(編集処理の際の適用例)
上記実施の形態で説明したAVネットワークシステム1は、例えば図9〜図12に示したような編集処理の際に適用することが可能である。具体的には、EDL(Edit Decision List)を用いることによって、AVファイルのフォーマット変換を行いつつ、AVファイルの編集処理を行うことが可能である。
具体的には、例えば図9(A)〜図9(C)および図10に示したように、AV記録再生部24に記録している素材A(AV独立フォーマットにて、オーディオ/ビデオ/メタ独立フォーマットが混在したもの、または単体)と、ストレージ21内の素材B(AV独立フォーマットにて、オーディオ/ビデオ/メタ独立フォーマットが混在したもの、または単体)に対し、EDLを基にした1素材(素材C)への編集処理と、フォーマット変換処理とを実行しつつ、帯域保証ネットワーク送信を実現することが可能である。
また、例えば図11(A)〜図11(C)および図12に示したように、帯域保証ネットワーク受信をした2つの素材A,Bに対し、EDLを基にした1素材(素材C)への編集処理と、フォーマット変換処理とを実行しつつ、リアルタイムのAV再生を実現することが可能である。
このようにして、EDLを作用させることにより、ローカルサーバ上でEDLを実行しなくても、他者に実行後ファイルを送ることが可能となる。
以上、実施の形態および適用例を挙げて本発明を説明したが、本発明はこれらの実施の形態等に限定されるものではなく、種々の変形が可能である。
例えば、使用するアプリケーションに応じて、ステップS21〜S28の処理の組み合わせを変更しつつ、設定および利用するようにしてもよい。具体的には、例えば、(ステップS22,S27,S28の処理のみを行う場合)、(ステップS22,S26の処理のみを行う場合)、(ステップS22,S26〜S28の処理のみを行う場合)、(ステップS21,S24,S25の処理のみを行う場合)、(ステップS21,S23の処理のみを行う場合)、および(ステップS21,S23〜S25の処理のみを行う場合)のいずれを設定・利用するのかを、使用するアプリケーションに応じて変更するようにしてもよい。
また、上記実施の形態等において説明した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされるようになっている。図13は、これら一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。このようなプログラムは、コンピュータ200に内蔵されている記録媒体としてのハードディスク205やROM203に予め記録しておくことができる。あるいはまた、プログラムは、フレキシブルディスク、CD−ROM(Compact Disc Read Only Memory),MO(Magneto Optical)ディスク,DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体211に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体211は、いわゆるパッケージソフトウエアとして提供することができる。なお、プログラムは、上述したようなリムーバブル記録媒体211からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部208で受信し、内蔵するハードディスク205にインストールすることができる。
また、このコンピュータ200は、CPU202を内蔵している。このCPU202には、バス201を介して、入出力インタフェース210が接続されている。CPU202は、入出力インタフェース210を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部207が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)203に格納されているプログラムを実行する。あるいは、また、CPU202は、ハードディスク205に格納されているプログラム、衛星もしくはネットワークから転送され、通信部208で受信されてハードディスク205にインストールされたプログラム、またはドライブ209に装着されたリムーバブル記録媒体211から読み出されてハードディスク205にインストールされたプログラムを、RAM(Random Access Memory)204にロードして実行する。これにより、CPU202は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU202は、その処理結果を、必要に応じて、例えば、入出力インタフェース210を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部206から出力、あるいは、通信部208から送信、さらには、ハードディスク205に記録等させるようになっている。
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理(例えば、並列処理あるいはオブジェクトによる処理)も含むものである。また、プログラムは、1のコンピュータにより処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであってもよい。
また、上記実施の形態等では、標準AV多重フォーマットのファイルとして、MXFに準拠したファイルを採用することとしたが、標準AV多重フォーマットのファイルとして、他のものを用いてもよい。すなわち、MXFに準拠したファイルの他、ヘッダ、ボディおよびフッタからなり、ボディに、任意の2つのデータ(以上)が多重化されて配置されるファイルを採用することが可能である。
さらに、上記実施の形態等では、標準AV多重フォーマットのファイルのボディに、ビデオデータとオーディオデータとを多重化したものが配置されることとしたが、標準AV多重フォーマットのファイルのボディには、その他、例えば、2以上のビデオデータ(のストリーム)を多重化したものや、2以上のオーディオデータ(のストリーム)を多重化したものを配置するようにすることが可能である。
本発明の一実施の形態に係るデータ処理装置を備えたAVネットワークシステムの概略構成例を表すブロック図である。 標準AV多重フォーマットの一例を表す図である。 オーディオ/ビデオ/メタ独立フォーマットの一例を表す図である。 図1に示した独立/多重変換部の詳細構成例を表すブロック図である。 図1に示した多重/独立変換部の詳細構成例を表すブロック図である。 タイムスロット設定処理およびタイムスロット制御処理の一例を時間軸と共に表した流れ図である。 図6に示した処理の際に用いられるネットワークモジュール側タイムスロットの一例を表す図である。 図6に示した処理の際に用いられるAVサーバー側タイムスロットおよび変換部タイムスロットの一例を表す図である。 図1に示したAVネットワークシステムにおいて実行される編集処理の一例について説明するための図である。 図9に示した編集処理の一例について説明するためのブロック図である。 図1に示したAVネットワークシステムにおいて実行される編集処理の他の例について説明するための図である。 図11に示した編集処理の他の例について説明するためのブロック図である。 本発明を適用したコンピュータの構成例を表すブロック図である。
符号の説明
1…AVネットワークシステム、2…AVサーバー、20…コントローラ、21…ストレージ、22…ストレージIF回路、23…(HD−)SDIIF回路、24…AV記録再生部、25…独立ファイルデータバッファ、26…バッファ制御回路、3…ファイル変換モジュール、30…CPU、31…IF回路、321…独立/多重変換部、322…多重/独立変換部、33…AV多重ファイルデータバッファ、34…バッファ制御回路、35…IF回路、36…パーサー回路、4…ネットワークモジュール、40…コントローラ、41…ネットワーク、42…ネットワークモジュール部、43…ネットワークデータバッファ、TS(NW),TS(NW1),TS(NW2)…ネットワークモジュール側タイムスロット、TS(AV),TS(AV1),TS(AV2)…AVサーバー側タイムスロット、TS(M),TS(M−F1),TS(M−F2),TS(M−T1),TS(M−T2)…変換部タイムスロット、ΔT1〜ΔT3…並列処理期間、ΔT4…再割り当て可能期間。

Claims (6)

  1. AVサーバーとネットワークモジュールとの間のデータ送受信の際に、オーディオデータ、ビデオデータおよびメタデータがそれぞれ独立してなるAV独立フォーマットと、前記オーディオデータ、前記ビデオデータおよび前記メタデータが多重化されてなるAV多重フォーマットとの間で、AVファイルのフォーマット変換処理を相互に行う変換部と、
    前記変換部におけるフォーマット変換処理の際に、このフォーマット変換処理の対象となるAVファイルのデータを個別に割り当てて変換処理を実行するための所定の指定時間間隔である変換処理タイムスロットと、前記AVサーバーとの間のデータ送受信処理の際に、このデータ送受信処理の対象となるAVファイルのデータを個別に割り当てて送受信処理を実行するための前記指定時間間隔であるサーバー側タイムスロットと、前記ネットワークモジュールとの間のデータ送受信処理の際に、このデータ送受信処理の対象となるAVファイルのデータを個別に割り当てて送受信処理を実行するための前記指定時間間隔であるネットワーク側タイムスロットと、をそれぞれ設定するタイムスロット設定部と、
    前記変換処理タイムスロットおよび前記サーバー側タイムスロットにおいて、前記フォーマット変換処理または前記データ送受信処理の対象となる複数のAVファイルのデータを、複数のAVファイル同士でのフォーマット変換処理の並列処理期間が設けられることとなるように、前記指定時間間隔内に個別に順次割り当てるスケジューリング制御を行うタイムスロット制御部と
    を備え
    前記タイムスロット制御部は、
    前記サーバー側タイムスロットに、前記AVサーバーとの間の帯域保証用のデータ送受信処理の対象となるAVファイルのデータを順次割り当てた後、このサーバー側タイムスロットにおける空きスロットに、前記AVサーバーとの間のベストエフォート用のデータ送受信処理の対象となるAVファイルのデータを順次割り当てると共に、
    前記変換処理タイムスロットにおける空きスロットに、各データ送受信処理に対応するフォーマット変換処理の対象となるAVファイルのデータを順次割り当てた後、
    前記変換処理タイムスロットおよび前記サーバー側タイムスロットにおいて、前記指定時間間隔内における各AVファイルのデータの割り当て位置を制御して前記並列処理期間を設けることにより、前記スケジューリング制御を行う
    データ処理装置。
  2. 前記タイムスロット制御部は、
    前記サーバー側タイムスロットに空きスロットが存在する限り、その空きスロットに、前記ベストエフォート用のデータ送受信処理の対象となるAVファイルのデータを順次割り当てる
    請求項に記載のデータ処理装置。
  3. 前記変換部は、前記タイムスロット制御部によって直前になされたスケジューリング制御結果に基づいて、前記AVサーバーとの間のデータ送受信の際に、複数のAVファイルに関するフォーマット変換処理を実行する
    請求項1または請求項2に記載のデータ処理装置。
  4. EDL(Edit Decision List)を用いることによって、AVファイルの編集処理を行う編集部を備え、
    前記変換部によるAVファイルのフォーマット変換を行いつつ、前記編集部によるAVファイルの編集処理を行う
    請求項1ないし請求項3のいずれか1項に記載のデータ処理装置。
  5. 前記AV多重フォーマットが、MXF(Material eXchange Format)である
    請求項1に記載のデータ処理装置。
  6. AVサーバーとネットワークモジュールとの間のデータ送受信の際に、オーディオデータ、ビデオデータおよびメタデータがそれぞれ独立してなるAV独立フォーマットと、前記オーディオデータ、前記ビデオデータおよび前記メタデータが多重化されてなるAV多重フォーマットとの間で、AVファイルのフォーマット変換処理を相互に行う変換ステップと、
    前記変換ステップにおけるフォーマット変換処理の際に、このフォーマット変換処理の対象となるAVファイルのデータを個別に割り当てて変換処理を実行するための所定の指定時間間隔である変換処理タイムスロットと、前記AVサーバーとの間のデータ送受信処理の際に、このデータ送受信処理の対象となるAVファイルのデータを個別に割り当てて送受信処理を実行するための前記指定時間間隔であるサーバー側タイムスロットと、前記ネットワークモジュールとの間のデータ送受信処理の際に、このデータ送受信処理の対象となるAVファイルのデータを個別に割り当てて送受信処理を実行するための前記指定時間間隔であるネットワーク側タイムスロットと、をそれぞれ設定するタイムスロット設定ステップと、
    前記変換処理タイムスロットおよび前記サーバー側タイムスロットにおいて、前記フォーマット変換処理または前記データ送受信処理の対象となる複数のAVファイルのデータを、複数のAVファイル同士でのフォーマット変換処理の並列処理期間が設けられることとなるように、前記指定時間間隔内に個別に順次割り当てるスケジューリング制御を行うタイムスロット制御ステップと
    を含み、
    前記タイムスロット制御ステップでは、
    前記サーバー側タイムスロットに、前記AVサーバーとの間の帯域保証用のデータ送受信処理の対象となるAVファイルのデータを順次割り当てた後、このサーバー側タイムスロットにおける空きスロットに、前記AVサーバーとの間のベストエフォート用のデータ送受信処理の対象となるAVファイルのデータを順次割り当てると共に、
    前記変換処理タイムスロットにおける空きスロットに、各データ送受信処理に対応するフォーマット変換処理の対象となるAVファイルのデータを順次割り当てた後、
    前記変換処理タイムスロットおよび前記サーバー側タイムスロットにおいて、前記指定時間間隔内における各AVファイルのデータの割り当て位置を制御して前記並列処理期間を設けることにより、前記スケジューリング制御を行う
    データ処理方法。
JP2008165852A 2008-06-25 2008-06-25 データ処理装置およびデータ処理方法 Expired - Fee Related JP4544346B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008165852A JP4544346B2 (ja) 2008-06-25 2008-06-25 データ処理装置およびデータ処理方法
US12/489,694 US20090324201A1 (en) 2008-06-25 2009-06-23 Data-processing device and data processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008165852A JP4544346B2 (ja) 2008-06-25 2008-06-25 データ処理装置およびデータ処理方法

Publications (2)

Publication Number Publication Date
JP2010010895A JP2010010895A (ja) 2010-01-14
JP4544346B2 true JP4544346B2 (ja) 2010-09-15

Family

ID=41447585

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008165852A Expired - Fee Related JP4544346B2 (ja) 2008-06-25 2008-06-25 データ処理装置およびデータ処理方法

Country Status (2)

Country Link
US (1) US20090324201A1 (ja)
JP (1) JP4544346B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8879895B1 (en) 2009-03-28 2014-11-04 Matrox Electronic Systems Ltd. System and method for processing ancillary data associated with a video stream
US9083934B2 (en) * 2009-12-15 2015-07-14 At&T Intellectual Property I, L.P. Systems and methods for controlling media recording devices via a media recorder proxy device
US9412330B2 (en) * 2011-03-15 2016-08-09 Lattice Semiconductor Corporation Conversion of multimedia data streams for use by connected devices
JP2014027549A (ja) * 2012-07-27 2014-02-06 Funai Electric Co Ltd 録画装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004112425A (ja) * 2002-09-19 2004-04-08 Sony Corp 変換装置および変換方法、プログラム、並びにデータ構造
JP2005085364A (ja) * 2003-09-09 2005-03-31 Sony Corp ファイル記録装置、ファイル再生装置、ファイル記録方法、ファイル記録方法のプログラム、ファイル記録方法のプログラムを記録した記録媒体、ファイル再生方法、ファイル再生方法のプログラム及びファイル再生方法のプログラムを記録した記録媒体
JP2005243072A (ja) * 2004-02-24 2005-09-08 Sony Corp 変換装置、変換補助方法、およびプログラム
JP2008141696A (ja) * 2006-12-05 2008-06-19 Toshiba Corp 情報記憶媒体、情報記録方法、情報記憶装置、情報再生方法、及び情報再生装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2577699B2 (ja) * 1993-08-26 1997-02-05 日本電信電話株式会社 多重読書き方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004112425A (ja) * 2002-09-19 2004-04-08 Sony Corp 変換装置および変換方法、プログラム、並びにデータ構造
JP2005085364A (ja) * 2003-09-09 2005-03-31 Sony Corp ファイル記録装置、ファイル再生装置、ファイル記録方法、ファイル記録方法のプログラム、ファイル記録方法のプログラムを記録した記録媒体、ファイル再生方法、ファイル再生方法のプログラム及びファイル再生方法のプログラムを記録した記録媒体
JP2005243072A (ja) * 2004-02-24 2005-09-08 Sony Corp 変換装置、変換補助方法、およびプログラム
JP2008141696A (ja) * 2006-12-05 2008-06-19 Toshiba Corp 情報記憶媒体、情報記録方法、情報記憶装置、情報再生方法、及び情報再生装置

Also Published As

Publication number Publication date
US20090324201A1 (en) 2009-12-31
JP2010010895A (ja) 2010-01-14

Similar Documents

Publication Publication Date Title
US8611729B2 (en) Convertion apparatus and convertion method
JP2004007648A (ja) 映像音声データ記録装置、映像音声データ記録方法、映像音声データ再生装置、並びに、映像音声データ再生方法
JPWO2006033279A1 (ja) データ処理装置
KR20080063200A (ko) 재생 장치 및 재생 제어 방법
US20060095463A1 (en) Information processing apparatus
WO2002001869A1 (fr) Dispositif de stockage de reception, dispositif de transmission, systeme de diffusion, procede de stockage de reception, procede de transmission, procede de diffusion, programme et support
JP2008262686A (ja) 同報通信データを記録するための方法、および、装置
JPWO2012067219A1 (ja) コンテンツデータ生成装置、コンテンツデータ生成方法、コンピュータプログラムおよび記録媒体
US20080033978A1 (en) Program, data processing method, and system of same
JP4544346B2 (ja) データ処理装置およびデータ処理方法
JP2007521695A (ja) Dvメタデータの抽出
US6937599B1 (en) Data source, data conversion device, inverse data conversion device, auxiliary data file generation device, reception method, medium and information aggregate
JP2011029936A (ja) ファイル転送システムおよびファイル転送方法
JPWO2004086395A1 (ja) データ処理装置
JP4251149B2 (ja) 情報管理システム、情報管理装置及び情報管理方法
JP4679609B2 (ja) 映像収録再生装置、映像収録方法及び映像再生方法
US20020001450A1 (en) Data recording/reproduction apparatus and data recording/ reproduction method
JP4265438B2 (ja) 変換装置、変換補助方法、およびプログラム
US7370146B2 (en) Recording/reproducing control apparatus
JP2006301748A (ja) 情報記録再生システム、情報記録再生装置及び情報記録再生方法
US10075796B2 (en) File generation device, file generation method, file reproduction device, and file reproduction method
JP2005223442A (ja) ファイル記録装置及びその制御方法、プログラム
JP4483339B2 (ja) 情報処理装置および方法、並びにプログラム
JP2006014256A (ja) 映像音声データ記録再生装置
JP2005339730A (ja) データ再生装置及びデータ再生方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100309

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100506

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100608

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100621

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130709

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130709

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees