JPH08289297A - 音声付き動画データ作成装置 - Google Patents

Abstract

(57)【要約】 【目的】音声付き動画データから、該音声付き動画デー
タよりデータ量が少なく、かつ、対応する動画と音声と
を同時に出力するのに適した、所望の再生時間分の音声
付き動画データを作成する。 【構成】分離処理３０１は、オリジナルの音声付き動画
データを動画データと音声データとに分離し、削減処理
３０２は、例えば、分離処理３０１が分離した動画デー
タが、フレーム単位に直交変換方式で符号化された動画
データである場合には、該動画データを構成する各フレ
ーム内の動画データのうちの高周波数成分を表す部分を
削除する。多重処理３０３は、削減処理３０２が削減し
た動画データのうちの、指定された再生時間に応じた個
数のフレームを符号化した動画データの部分（再生対象
動画データ）と、分離処理３０１が分離した音声データ
のうちの、再生対象動画データと同時に再生されるべき
部分とを多重する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、音声データと動画デー
タとが多重された音声付き動画データから、該音声付き
動画データよりデータ量が少なく、かつ、対応する音声
と動画とを同時に出力するのに適した、所望の再生時間
分の音声付き動画データを作成することが可能な音声付
き動画データ作成装置に関する。

【０００２】

【従来の技術】近年、オフィスにおけるＬＡＮ（Local
Area Network）等のネットワークインフラの普及および
高性能化や、インターネットへのアクセス環境の整備に
伴い、複数の情報処理装置間で音声付き動画データをネ
ットワークを介して伝送するマルチメディア伝送システ
ムが普及する兆しがある。

【０００３】マルチメディア伝送システムにおいては、
音声付き動画データの供給源である情報処理装置（以
下、ビデオサーバと称す。）が、動画データと音声デー
タとを多重して作成した音声付き動画データを蓄積し、
蓄積した音声付き動画データをネットワークを介して他
の情報処理装置（以下、クライアントと称す。）に伝送
するようになっている。なお、クライアントは、ビデオ
サーバからネットワークを介して伝送された音声付き動
画データを再生するが、この際に、対応する動画と音声
とが同時に出力されることが好ましい。

【０００４】また、パーソナルコンピュータやワークス
テーションの性能の向上に伴い、パーソナルコンピュー
タやワークステーションをクライアントとして用い、パ
ーソナルコンピュータやワークステーションで、手軽に
音声付き動画データを再生することができるようになっ
ている。

【０００５】ところで、動画データや音声データは、デ
ータ量が非常に大きいことから、その蓄積や伝送を行う
際には、圧縮処理を施すことにより、蓄積に必要な記憶
装置の記憶容量を削減したり、伝送に必要な時間を短縮
することが、一般に行われている。

【０００６】動画データや音声データを圧縮する圧縮方
式は多数あるが、そのうちの代表的なものとしては、例
えば、ＩＳＯによって勧告された、動画データを圧縮す
るＭＰＥＧ１（Moving Picture experts Group Phase
1）ビデオ符号化規格や音声データを圧縮するＭＰＥＧ
１オーディオ符号化規格がある。また、ＭＰＥＧ１規格
に準拠した動画データと音声データとの多重方法を定め
た規格として、ＭＰＥＧ１システム多重化規格がある。

【０００７】これらの規格の仕様や圧縮方式およびデー
タ構造等の概要については、「ポイント図解式最新ＭＰ
ＥＧ教科書」，１９９４年８月１日，アスキー社刊のＰ
８９〜Ｐ１２８およびＰ２３１〜Ｐ２５３に記載されて
いる。

【０００８】しかしながら、処理能力が低い情報処理装
置をクライアントとして用いていたり低速なネットワー
クを用いているマルチメディア伝送システムにおいて
は、圧縮された音声付き動画データであっても、依然と
して、伝送や復号等の処理に時間がかかり、音声付き動
画データをリアルタイムで再生することができないとい
う問題点がある。

【０００９】例えば、ビデオサーバが、毎秒１.５Ｍビ
ットのデータ量を持つＭＰＥＧ１準拠の音声付き動画デ
ータを、毎秒６４Ｋビットの伝送速度のＮ−ＩＳＤＮ
（Narrow-Integrated Service Didital Network）回線
で、クライアントに伝送する場合は、再生時間の約２４
倍の伝送時間が必要となるので、クライアントにおい
て、音声付き動画データをリアルタイムで再生すること
は不可能である。

【００１０】そこで、クライアントにおいて、ビデオサ
ーバからネットワークを介して伝送された音声付き動画
データを、一旦記憶装置に記憶してから、後で再生する
ようにしようとすると、クライアントに大容量の記憶装
置を設ける必要がある。

【００１１】例えば、クライアントにおいて、毎秒１.
５Ｍビットのデータ量を持つＭＰＥＧ１準拠の音声付き
動画データを１時間分だけ蓄積するためには、６７５Ｍ
バイトの記憶容量が必要となる。

【００１２】一方、音声付き動画データを再生する際
に、内容の把握を短時間で行うために、音声付き動画デ
ータを早送り再生したいというニーズがある。

【００１３】音声付き動画データの早送り再生を実現す
るためには、復号等の処理の高速化を図ればよいが、処
理負荷の点で困難であるので、音声付き動画データのう
ちの動画データについて、その一部を再生して残りをス
キップするという処理の繰り返すことによって、動画デ
ータの早送り再生を実現することが一般的である。

【００１４】ところが、動画データは、その途中から再
生する場合に、動画データのフレーム（画面）の切れ目
といった、意味のある切れ目から再生を開始しないと、
ノイズが発生して正常に再生されない。従って、スキッ
プ終了後に動画データを正常に再生するためには、動画
データの意味のある切れ目を検出し、検出した切れ目か
ら再生を開始する必要があるので、早送り再生は、通常
再生よりも処理負荷が高いという問題点がある。

【００１５】上述した問題点を解決するための従来技術
として、動画データのデータ量を削減する技術、およ
び、早送り再生専用の動画データを作成する技術が開示
されている。

【００１６】例えば、特開平６−７０１７４号公報にお
いては、動画データ中の高周波成分を削除することによ
り、動画データのデータ量を削減する技術が開示されて
いる。

【００１７】また、例えば、特開平６−１３３２６３号
公報においては、事前にオリジナルの動画データを解析
して早送り再生専用の動画データを作成しておき、早送
り再生時には、早送り再生専用の動画データを再生する
ことにより、処理負荷を軽減する技術が開示されてい
る。

【００１８】

【発明が解決しようとする課題】再生時の音声の有無
は、内容の把握のしやすさに大きな影響があるので、早
送り再生であっても、対応する音声と動画が同時に出力
されることが望ましい。

【００１９】ところが、上述した従来技術のうち、特開
平６−７０１７４号公報に記載されている技術において
は、動画データ中の高周波成分を削除することにより、
動画データのデータ量を削減する技術が開示されている
が、音声データに関する考慮はなされていない。

【００２０】また、特開平６−１３３２６２号公報に記
載されている技術においては、事前にオリジナルの動画
データを解析して早送り再生専用の動画データを作成し
ておき、早送り再生時には、早送り再生専用データを再
生することにより、処理負荷を軽減する技術が開示され
ているが、音声データに関する考慮はなされていない。

【００２１】音声データも、動画データと同様に、その
途中から再生する場合に、音声データの復号処理単位と
いった、意味のある切れ目から再生を開始しないと、ノ
イズが発生して正常に再生されない。従って、スキップ
終了後に音声データを正常に再生するためには、音声デ
ータの意味のある切れ目を検出し、検出した切れ目から
再生を開始する必要がある。

【００２２】そこで、本発明の目的は、音声データと動
画データとが多重された音声付き動画データから、該音
声付き動画データよりデータ量が少なく、かつ、対応す
る音声と動画とを同時に出力するのに適した、所望の再
生時間分の音声付き動画データを作成することが可能な
音声付き動画データ作成装置を提供することにある。

【００２３】

【課題を解決するための手段】上記目的を達成するため
に、本発明は、（１）複数のフレームからなる動画デー
タをフレーム単位に直交変換方式で符号化した動画デー
タと、音声データとが多重された音声付き動画データ
を、動画データと音声データとに分離する分離手段、
（２）上記分離手段が分離した動画データについて、各
フレーム内のデータのうちの高周波数成分を表すデータ
を削除することにより、各フレーム内のデータ量を削減
する削減手段、（３）上記削減手段が削減した動画デー
タのうちの、指定された再生時間に応じた個数のフレー
ムを符号化した動画データの部分である再生対象動画デ
ータと、上記分離手段が分離した音声データのうちの、
上記再生対象動画データと同時に再生されるべき部分で
ある再生対象音声データとを多重する多重手段、を有す
る音声付き動画データ作成装置を提供している。

【００２４】上記多重手段は、詳しくは、（１）上記削
減手段が削減した動画データについて、フレームごと
に、該フレーム内の先頭の動画データの再生開始時刻情
報を含む第１の補助データを作成する第１の作成手段、
（２）上記分離手段が分離した音声データについて、同
時に再生されるべきフレームごとに、該フレーム内の先
頭の音声データの再生開始時刻情報を含む第２の補助デ
ータを作成する第２の作成手段、（３）上記第１の作成
手段が作成した第１の補助データに基づいて、上記削減
手段が削減した動画データのうちから、指定された再生
時間に応じた個数のフレームを抽出することにより、上
記再生対象動画データを決定する第１の抽出手段、
（４）上記第１の作成手段が作成した第１の補助データ
および上記第２の作成手段が作成した第２の補助データ
に基づいて、上記分離手段が分離した音声データのうち
から、上記第１の抽出手段が決定した再生対象動画デー
タと再生開始時刻が対応するフレームを抽出することに
より、上記再生対象音声データを決定する第２の抽出手
段、を有し、上記第１の抽出手段が抽出した再生対象動
画データと上記第２の抽出手段が抽出した再生対象音声
データとを多重するようにしている。

【００２５】また、本発明は、（１）複数のフレームか
らなる動画データをフレーム単位にフレーム間予測符号
化方式で符号化し、フレーム内の動画データを他のフレ
ーム内の動画データとは独立に符号化したフレームであ
る１個のＩピクチャ，前方向にある１個のＩピクチャか
ら順方向予測符号化したフレームである１個以上のＰピ
クチャ，前方向にある１個のＩピクチャまたはＰピクチ
ャと後方向にある１個のＩピクチャまたはＰピクチャと
から双方向予測符号化したフレームである１個以上のＢ
ピクチャからなる再生処理単位であるＧＯＰ（Group Of
Picture）を複数含む動画データと、音声データとが多
重された音声付き動画データを、動画データと音声デー
タとに分離する分離手段、（２）上記分離手段が分離し
た動画データについて、上記Ｂピクチャ内のデータを、
所定の値のデータに置換することにより、上記Ｂピクチ
ャ内のデータ量を削減する削減手段、（３）上記削減手
段が削減した動画データについて、指定された再生時間
に応じた個数のＧＯＰを抽出することにより、再生すべ
き動画データである再生対象動画データを決定すると共
に、上記再生対象動画データと、上記分離手段が分離し
た音声データのうちの、上記再生対象動画データと同時
に再生されるべき部分である再生対象音声データとを多
重する多重手段、を有する音声付き動画データ作成装置
を提供している。

【００２６】上記多重手段は、詳しくは、（１）上記削
減手段が削減した動画データについて、上記ＧＯＰごと
に、該ＧＯＰ内の先頭の動画データの再生開始時刻情報
を含む第１の補助データを作成する第１の作成手段、
（２）上記削減手段が削減した動画データについて、上
記ピクチャごとに、該ピクチャ内の先頭の動画データの
再生開始時刻情報を含む第２の補助データを作成する第
２の作成手段、（３）上記分離手段が分離した音声デー
タについて、同時に再生されるべきフレームごとに、該
フレーム内の先頭の音声データの再生開始時刻情報を含
む第３の補助データを作成する第３の作成手段、（４）
上記第１の作成手段が作成した第１の補助データに基づ
いて、上記削減手段が削減した動画データのうちから、
指定された再生時間に応じた個数のＧＯＰを抽出するこ
とにより、上記再生対象動画データを決定する第１の抽
出手段、（５）上記第２の作成手段が作成した第２補助
データおよび上記第３の作成手段が作成した第３の補助
データに基づいて、上記分離手段が分離した音声データ
のうちから、上記第１の抽出手段が決定した再生対象動
画データと再生開始時刻が対応するフレームを抽出する
ことにより、上記再生対象音声データを決定する第２の
抽出手段、を有し、上記第１の抽出手段が抽出した再生
対象動画データと上記第２の抽出手段が抽出した再生対
象音声データとを多重するようにしている。

【００２７】なお、上記多重手段は、上記ＧＯＰの切れ
目が、音声付き動画データを伝送する際の伝送処理単位
の切れ目に一致するようにして多重することが好まし
い。

【００２８】また、上記第１の作成手段は、上記削減手
段が削減した動画データのフレームレートと、当該ＧＯ
Ｐより前にある全てのＧＯＰに含まれているピクチャの
数とに基づいて、上記ＧＯＰごとの再生開始時刻情報を
算出することができ、上記第２の作成手段は、上記削減
手段が削減した動画データのフレームレートと、上記Ｇ
ＯＰごとの再生開始時刻情報と、当該ピクチャを含むＧ
ＯＰにおける該ピクチャの再生順序とに基づいて、上記
ピクチャごとの再生開始時刻情報を算出することがで
き、上記第３の作成手段は、上記分離手段が分離した音
声データのサンプリング周波数と、当該フレームより前
にあるフレームの数とに基づいて、フレームごとの再生
開始時刻情報を算出することができる。

【００２９】

【作用】本発明の音声付き動画データ作成装置において
は、上記削減手段は、上記分離手段が分離した動画デー
タについて、各フレーム内のデータのうちの高周波数成
分を表すデータを削除することにより、各フレーム内の
データ量を削減する。

【００３０】そして、上記多重手段は、上記削減手段が
削減した動画データのうちの、指定された再生時間に応
じた個数のフレームを符号化した動画データの部分であ
る再生対象動画データと、上記分離手段が分離した音声
データのうちの、上記再生対象動画データと同時に再生
されるべき部分である再生対象音声データとを多重す
る。

【００３１】また、上記削減手段は、上記分離手段が分
離した動画データについて、上記Ｂピクチャ内のデータ
を、所定の値のデータに置換することにより、上記Ｂピ
クチャ内のデータ量を削減する。

【００３２】そして、上記削減手段が削減した動画デー
タについて、指定された再生時間に応じた個数のＧＯＰ
を抽出することにより、再生すべき動画データである再
生対象動画データを決定すると共に、上記再生対象動画
データと、上記分離手段が分離した音声データのうち
の、上記再生対象動画データと同時に再生されるべき部
分である再生対象音声データとを多重する。

【００３３】従って、本発明の音声付き動画データ作成
装置によれば、音声付き動画データから、該音声付き動
画データよりデータ量が少なく、かつ、対応する動画と
音声を同時に出力するのに適した、所望の再生時間分の
音声付き動画データを作成することができる。

【００３４】

【実施例】以下、本発明の実施例について図面を参照し
て説明する。

【００３５】まず、本発明の第１の実施例について説明
する。

【００３６】なお、以下の説明では、音声付き動画デー
タがＭＰＥＧ１形式の音声付き動画データである場合を
例にとって説明する。

【００３７】図１は第１の実施例を適用したビデオサー
バの構成を示すブロック図である。

【００３８】図１に示すように、ビデオサーバは、ＣＰ
Ｕ１０１と、メインメモリ１０２と、記憶装置１０３
と、伝送装置１０４と、バス１０５とを備えて構成され
ている。

【００３９】本実施例において、ビデオサーバは、記憶
装置１０３に格納されているＭＰＥＧ１形式のオリジナ
ルの音声付き動画データから、該オリジナルの音声付き
動画データよりデータ量が少なく、かつ、対応する動画
と音声とを同時に出力するのに適した、所望の再生時間
分のＭＰＥＧ１形式の音声付き動画データを作成し、作
成したＭＰＥＧ１形式の音声付き動画データを記憶装置
１０３に格納する音声付き動画データ作成処理を行う。

【００４０】なお、本実施例は、ビデオサーバが行う音
声付き動画データ作成処理をソフトウェアで実現した例
である。すなわち、音声付き動画データ作成処理は、Ｃ
ＰＵ１０１が、記憶装置１０３に格納されているソフト
ウェアをメインメモリ１０２にロードし、メインメモリ
１０２上でロードしたソフトウェアを実行することによ
って実現される。

【００４１】なお、メインメモリ１０２は、半導体メモ
リ等の記憶媒体を用いて構成された揮発性の記憶装置で
あり、記憶装置１０３は、磁気記憶装置等の記憶媒体を
用いて構成された不揮発性の記憶装置である。

【００４２】また、伝送装置１０４は、音声付き動画デ
ータ作成処理によって作成されて記憶装置１０３に格納
されたＭＰＥＧ１形式の音声付き動画データを、ネット
ワークを介してクライアントに伝送する。

【００４３】また、各ブロック間でバス１０５を介して
行われるデータの転送は、全てＣＰＵ１０１が制御して
いるものである。

【００４４】さらに、キーボードやマウス等の入力装
置、および、ＣＲＴ等の表示装置を備えるようにしても
よい。

【００４５】図３は音声付き動画データ作成処理の処理
手順を示すフローチャートである。

【００４６】図３に示すように、音声付き動画データ作
成処理においては、分離処理３０１，削減処理３０２，
多重処理３０３という順序で処理が行われる。

【００４７】図２は音声付き動画データ作成処理におけ
るデータの流れを示す図である。

【００４８】図２において、ファイル２０１は、ＭＰＥ
Ｇ１形式のオリジナルの音声付き動画データが格納され
たファイルを示している。

【００４９】また、ファイル２０２は、分離処理３０１
によって、ファイル２０１に格納されているオリジナル
の音声付き動画データから分離された動画データが格納
されたファイルを示しており、ファイル２０３は、分離
処理３０１によって、ファイル２０１に格納されている
オリジナルの音声付き動画データから分離された音声デ
ータが格納されたファイルを示している。

【００５０】また、ファイル２０４は、削減処理３０２
によって、ファイル２０２に格納されている動画データ
のデータ量が削減された動画データが格納されたファイ
ルを示している。

【００５１】また、ファイル２０５は、多重処理３０３
によって、ファイル２０４に格納されている動画データ
とファイル２０３に格納されている音声データとが多重
された、ＭＰＥＧ１形式の音声付き動画データが格納さ
れたファイルを示している。ファイル２０５に格納され
ているＭＰＥＧ１形式の音声付き動画データが、ネット
ワークを介してクライアントに伝送されることとなる。

【００５２】なお、これらのファイル２０１〜２０５
は、記憶装置１０３に格納されるものである。

【００５３】以下、音声付き動画データ作成処理の詳細
について説明する。

【００５４】まず、分離処理３０１について、図４およ
び図５を用いて説明する。

【００５５】図４はＭＰＥＧ１形式の音声付き動画デー
タの構造図である。

【００５６】図４に示すように、ＭＰＥＧ１形式の音声
付き動画データは、パック４００およびパケット４１０
の２層からなる階層構造となっている。

【００５７】パック４００は、パックヘッダ４０１と、
システムヘッダ４０２と、１個以上のパケット４１０と
からなる。

【００５８】ここで、パックヘッダ４０１は、パック４
００の先頭を示すパック開始コード（同期コードの一種
である。），後述するタイムスタンプに時間基準を与え
るためのシステム時刻基準参照値，多重化レート等から
なる。また、システムヘッダ４０２は、システムヘッダ
４０２の先頭を示すシステムヘッダ開始コード（同期コ
ードの一種である。），ビットレート，動画データのチ
ャネル数，音声データのチャネル数等からなる。

【００５９】また、パケット４１０は、パケットヘッダ
４１１と、データ（動画データまたは音声データ）４１
２とからなる。

【００６０】ここで、パケットヘッダ４１１は、パケッ
ト３１０の先頭を示すパケット開始コード（同期コード
の一種である。），対応する音声と動画とを同時に出力
するために必要な時刻情報であるタイムスタンプ等から
なる。なお、タイムスタンプには、いつ再生すべきかを
示す再生の時刻管理情報、および、いつ復号すべきかを
示す復号の時刻管理情報の２種類がある。また、パケッ
ト開始コードには、データ４１２のデータ種別が含まれ
ている。

【００６１】また、パック４００の最後には、音声付き
動画データの終了を示す終了コード（同期コードの一種
である。）４２０が付加されている。

【００６２】図５は分離処理３０１の処理手順を示すフ
ローチャートである。

【００６３】分離処理３０１においては、図５に示すよ
うに、まず、ファイル２０１に格納されているオリジナ
ルのＭＰＥＧ１形式の音声付き動画データから、ＭＰＥ
Ｇ１システム多重化規格で定められた同期コードを検出
する（ステップ５０１）。

【００６４】続いて、ステップ５０１で検出した同期コ
ードが終了コード４２０であるか否かを判定し（ステッ
プ５０２）、終了コード４２０である場合は、処理を終
了する。

【００６５】また、終了コード４２０でない場合は、ス
テップ５０１で検出した同期コードがパケット開始コー
ド（パケットヘッダ４１１に含まれる。）であるか否か
を判定し（ステップ５０３）、パケット開始コードでな
い場合は、ステップ５０１に戻る。

【００６６】また、パケット開始コードである場合は、
パケット開始コードに含まれているデータ種別に基づい
て、パケット４１０内のデータ４１２のデータ種別を判
定し（ステップ５０４）、データ４１２のデータ種別が
動画データである場合は、動画データ４１２をファイル
２０２に格納する（ステップ５０５）。

【００６７】また、データ４１２のデータ種別が動画デ
ータでない場合は、パケット開始コードに含まれている
データ種別に基づいて、パケット４１０内のデータ４１
２のデータ種別を判定し（ステップ５０６）、データ４
１２のデータ種別が音声データでない場合は、ステップ
５０１に戻る。

【００６８】また、データ４１２のデータ種別が音声デ
ータである場合は、音声データ４１２をファイル２０３
に格納する（ステップ５０７）。

【００６９】このように、ファイル２０１に格納されて
いるオリジナルのＭＰＥＧ１形式の音声付き動画データ
が、動画データと音声データとに分離され、各々、ファ
イル２０２およびファイル２０３に格納されることとな
る。

【００７０】次に、削減処理３０２について、図６およ
び図７を用いて説明する。

【００７１】図６はＭＰＥＧ１形式の動画データの構造
図である。

【００７２】図６に示すように、ＭＰＥＧ１形式の動画
データは、シーケンス６０１，ＧＯＰ（Group Of Pictu
re）６０２，ピクチャ６０３，スライス６０４，ＭＢ
（Macro Block）６０５，ブロック６０６の６層からな
る階層構造となっている。

【００７３】シーケンス６０１は、画素数やフレームレ
ート等の一連の同じ属性を持つ画面グループであり、１
個以上のＧＯＰ６０２からなる。

【００７４】ＧＯＰ６０２は、復号処理単位となる画面
グループの最小単位であり、１個以上のピクチャ（フレ
ーム）６０３からなる。

【００７５】ピクチャ６０３には、１枚の画面に共通な
属性であり、Ｉピクチャ（Intra-Picture：フレーム内
符号化画像）、Ｐピクチャ（Predictive-Picture：フレ
ーム間順方向予測符号化画像）、Ｂピクチャ（Bidirect
ionally predictive-Picture：双方向予測符号化画像）
の３個のピクチャタイプが存在する。なお、ピクチャ６
０３は、１個以上のスライス６０４からなる。

【００７６】ここで、各ピクチャタイプを構成するデー
タについて簡単に説明する。

【００７７】Ｉピクチャを構成するデータは、フレーム
間予測を使わずに、その情報だけから符号化されるデー
タであり、Ｐピクチャを構成するデータは、前方で１番
近い位置にあるＩピクチャまたはＰピクチャを構成する
データからの予測を行うことによってできるデータであ
る。

【００７８】また、Ｂピクチャを構成するデータは、前
後の両方向で１番近い位置にあるＩピクチャまたはＰピ
クチャを構成するデータからの予測を行うことによって
できるデータである。そこで、Ｂピクチャを構成するデ
ータは、ＩピクチャおよびＰピクチャを構成するデータ
が符号化された後に符号化されると共に、他のピクチャ
を符号化する際の予測に用いられない。なお、Ｉピクチ
ャまたはＰピクチャを構成するデータは、周期的に出現
するようになっている。

【００７９】このように、ＭＰＥＧ１形式の動画データ
においては、Ｂピクチャを構成するデータが符号化され
る順序が異なることから、復号する順序と再生する順序
とが異なることとなる。このため、正しい順序で復号お
よび再生を行い、対応する音声と同時に出力することを
可能とするために、上述したタイムスタンプが設けられ
ている。

【００８０】図６に戻って、スライス６０４は、１枚の
画面を任意の長さに分割した小画面に共通の情報であ
り、画面の走査順に連続する１個以上のＭＢ６０５から
なり、ＭＢ６０５は、最大６個のブロック６０６からな
る。

【００８１】ブロック６０６は、２個以上の可変長符号
６０７からなる。なお、可変長符号６０７は、空間周波
数を示す係数であり、最終の可変長符号６０７は、ＥＯ
Ｂ（End Of Block）符号である。

【００８２】図７は削減処理３０２の処理手順を示すフ
ローチャートである。

【００８３】削減処理３０２においては、図７に示すよ
うに、まず、所定の要求符号量に基づいて、ファイル２
０４に格納すべき動画データの、ブロック６０６当りの
可変長符号５０７の最大個数（以下、最大符号数と称
す。）を決定する（ステップ７０１）。

【００８４】ここで、要求符号量は、ＣＰＵ１０１が、
音声付き動画データ作成処理を行うに当たって、ＭＰＥ
Ｇ１形式の音声付き動画データを伝送すべきクライアン
トの処理能力やネットワークの伝送速度に基づいて決定
しているものである。すなわち、ＣＰＵ１０１は、クラ
イアントの処理能力やネットワークの伝送速度に基づい
て、対応する動画と音声とをクライアントで同時に出力
することが可能な動画データの最大符号量を算出し、算
出した最大符号量を要求符号量として決定する。なお、
ビデオサーバがキーボードやマウス等の入力装置を備え
ている場合は、入力装置から入力されたものであっても
よい。

【００８５】続いて、ファイル２０２に格納されている
動画データを、ブロック６０６を検出するまで走査し、
ブロック６０６以外の部分を抽出してファイル２０４に
格納する（ステップ７０２）。

【００８６】続いて、ステップ７０２で検出したブロッ
ク６０６に含まれている可変長符号６０７の個数をカウ
ントし、符号数を取得する（ステップ７０３）。

【００８７】続いて、ステップ７０１で決定した最大符
号数とステップ７０３で取得した符号数とを比較し（ス
テップ７０４）、符号数が最大符号数よりも大きい場合
は、ステップ７０２で検出したブロック６０６の先頭か
ら最大符号数番目までの可変長符号６０７とＥＯＢ符号
とをファイル２０４に格納する（ステップ７０５）。

【００８８】また、符号数が最大符号数以下である場合
は、ステップ７０２で検出したブロック６０６に含まれ
ている全ての可変長符号６０７（ＥＯＢ符号を含む。）
をファイル２０４に格納する（ステップ７０６）。

【００８９】最後に、ステップ７０２で検出したブロッ
ク６０６の次に、ＭＰＥＧ１ビデオ符号化規格で定めら
れた動画データの終了を示す終了コードがあるか否かを
判定し（ステップ７０７）、終了コードがある場合は、
処理を終了し、終了コードがない場合は、ステップ７０
２に戻る。

【００９０】このように、ファイル２０２に格納されて
いる動画データの一部（ブロック６０６内の可変長符号
６０７）が削除されることによってデータ量が削減され
た動画データが、ファイル２０４に格納されることとな
る。

【００９１】なお、削減処理３０２によれば、ＥＯＢ符
号に近い可変長符号６０７が削除されるようになってい
るので、結果的には、直交変換方式で符号化された動画
データ中の高周波数成分が削除されることとなる。

【００９２】次に、多重処理３０３について、図８〜図
１２を用いて説明する。

【００９３】図１０はＭＰＥＧ１形式の音声データの構
造図である。

【００９４】図１０に示すように、ＭＰＥＧ１形式の音
声データは、複数のＡＡＵ（AudioAccess Unit）１００
１からなる。

【００９５】ＡＡＵ１００１は、復号処理の最小単位で
ある所定のサンプル数の音声データを含み、ＡＡＵヘッ
ダ１００２とオーディオデータ１００３とからなる。

【００９６】ここで、ＡＡＵヘッダ１００２は、符号化
モード，ビットレート，サンプリング周波数等からな
り、オーディオデータ１００３は、符号化された音声デ
ータからなる。

【００９７】図１２は多重処理３０３の処理手順を示す
フローチャートである。

【００９８】多重処理３０３においては、図１２に示す
ように、まず、ファイル２０４に格納されている動画デ
ータを解析し、ＧＯＰ６０２ごとに、図８に示すＧＯＰ
補助データ８００を作成し、ピクチャ６０３ごとに、図
９に示すピクチャ補助データ９００を作成する（ステッ
プ１２０１）。

【００９９】図８に示すように、ＧＯＰ補助データ８０
０は、ＧＯＰ６０２の再生開始時刻８０３と、ＧＯＰ６
０２の開始アドレス８０１と、ＧＯＰ６０２の終了アド
レス８０２とからなる。

【０１００】ＧＯＰ補助データ８００において、再生開
始時刻８０３は、動画データのフレームレートおよび前
にある全てのＧＯＰ６０２に含まれているピクチャ６０
３の数に基づいて算出することができる。また、開始ア
ドレス８０１は、ＧＯＰ６０２の先頭の、動画データの
先頭からの位置に基づいて算出することができる。ま
た、終了アドレス８０２は、次のＧＯＰ６０２の先頭
の、動画データの先頭からの位置に基づいて算出するこ
とができる。なお、ＧＯＰ６０２の次にＧＯＰ６０２が
ない場合は、終了アドレス８０２は、動画データの終端
の、動画データの先頭からの位置に基づいて算出するこ
とができる。

【０１０１】また、図９に示すように、ピクチャ補助デ
ータ９００は、ピクチャ６０３の再生開始時刻９０３
と、ピクチャ６０３の復号開始時刻９０４と、ピクチャ
６０３のピクチャタイプ９０２と、ピクチャ６０３の開
始アドレス９０１とからなる。

【０１０２】ピクチャ補助データ９００において、開始
アドレス９０１は、ピクチャ６０３の先頭の、動画デー
タの先頭からの位置に基づいて算出することができる。
また、ピクチャタイプ９０２には、ピクチャ６０３のピ
クチャタイプをそのまま設定する。また、再生開始時刻
９０３は、動画データのフレームレート，ＧＯＰ補助デ
ータ８００の再生開始時刻８０３，ＧＯＰ６０２内での
ピクチャ６０３の表示順序に基づいて算出することがで
きる。また、復号開始時刻９０４は、動画データのフレ
ームレート，ＧＯＰ補助データ８００の再生開始時刻８
０３，ＧＯＰ６０２内でのピクチャ６０３の表示順序，
ピクチャタイプ９０２に基づいて算出することができ
る。

【０１０３】続いて、ファイル２０３に格納されている
音声データを解析し、図１１に示すＡＡＵ補助データ１
１００を作成する（ステップ１２０２）。

【０１０４】図１１に示すように、ＡＡＵ補助データ１
１００は、ＡＡＵ１００１の再生開始時刻１１０１と、
ＡＡＵ１００１の開始アドレス１１０２とからなる。

【０１０５】ＡＡＵ補助データ１１００において、再生
開始時刻１１０１は、音声データのサンプリング周波数
およびＡＡＵ１００１当りのサンプル数に基づいて算出
することができる。また、開始アドレス１１０２は、Ａ
ＡＵ１００１の先頭の、音声データの先頭からの位置に
基づいて算出することができる。

【０１０６】続いて、対応する動画と音声とを同時に出
力することを可能とするために、ＧＯＰ６０２ごとに、
該ＧＯＰ６０２にＡＡＵ１１０１を対応付ける（ステッ
プ１２０３）。

【０１０７】これは、各ＧＯＰ６０２に対応するＧＯＰ
補助データ８００の再生開始時刻８０３に等しいかまた
は１番近い再生開始時刻１１０１が設定されているＡＡ
Ｕ補助データ１１００を検索していき、検索したＡＵＵ
補助データ１１００に対応するＡＡＵ１１０１から次に
検索したＡＵＵ補助データ１１００に対応するＡＡＵ１
１０１までを、１個のＧＯＰ６０２に対応付ければよ
い。通常、１個のＧＯＰ６０２には、数十個のＡＡＵ１
１０１が対応付けられることとなる。

【０１０８】続いて、多重対象として抽出すべきＧＯＰ
６０２、および、ステップ１２０３で該ＧＯＰ６０２に
対応付けられたＡＡＵ１００１を決定する（ステップ１
２０４）。

【０１０９】ここで、多重対象として抽出すべきＧＯＰ
６０２とは、ＭＰＥＧ１形式の音声付き動画データを伝
送すべきクライアントから指定された再生速度に基づい
て決定されるものである。すなわち、例えば、クライア
ントから指定された再生速度が１倍速（通常の再生速
度）である場合は、全てのＧＯＰ６０２を多重対象とし
て抽出すればよい。また、例えば、クライアントから指
定された再生速度が２倍速（早送り再生の再生速度）で
ある場合は、１／２の再生時間で再生することができる
ようにするために、全てのＧＯＰ６０２から、ＧＯＰ６
０２を１個ずつスキップするようにして、半分のＧＯＰ
６０２を多重対象として抽出すればよい。

【０１１０】一般的には、Ｓ個のＧＯＰ６０２からＴ個
のＧＯＰ６０２を多重対象として抽出し、抽出したＧＯ
Ｐ６０２の各々について、対応付けられたＡＡＵ１００
１を決定することにより、オリジナルの再生時間のＴ／
Ｓ倍の再生時間分の音声付き動画データを作成すること
が可能である。ここで、ＳおよびＴは、共に自然数であ
り、Ｓ≦Ｔである。

【０１１１】最後に、ステップ１２０４で決定したＧＯ
Ｐ６０２およびＡＡＵ１００１を、各々、パケットに分
割してから多重することにより、ＭＰＥＧ１形式の音声
付き動画データを作成し、作成したＭＰＥＧ１形式の音
声付き動画データをファイル２０５に格納する（ステッ
プ１２０５）。

【０１１２】なお、このとき、パックヘッダ４０１に含
まれるシステム時刻基準参照値、および、パケットヘッ
ダ４１１に含まれるタイムスタンプを、ピクチャ補助デ
ータ９００の再生開始時刻９０３およびＡＡＵ補助デー
タ１１００の再生開始時刻１１０１から算出して設定す
る。

【０１１３】また、パケットに分割する際に、１個のパ
ケット４１０に格納するデータ４１２の種別を、ピクチ
ャ補助データ９００の再生開始時刻９０３および開始ア
ドレス９０１、並びに、ＡＡＵ補助データ１１００の再
生開始時刻１１０１および開始アドレス１１０２に基づ
いて決定するようにする。

【０１１４】このように、ファイル２０４に格納されて
いる動画データとファイル２０３に格納されている音声
データとが多重された、所望の再生時間分のＭＰＥＧ１
形式の音声付き動画データがファイル２０５に格納され
ることとなる。

【０１１５】以上説明したように、本実施例によれば、
ＭＰＥＧ１形式のオリジナルの音声付き動画データか
ら、該オリジナルの音声付き動画データよりデータ量が
少なく、かつ、対応する動画と音声とを同時に出力する
のに適した、所望の再生時間分のＭＰＥＧ１形式の音声
付き動画データを作成することができる。

【０１１６】なお、本実施例では、作成したＭＰＥＧ１
形式の音声付き動画データを、一旦記憶装置１０３に格
納してからクライアントに伝送するようにしているが、
作成したＭＰＥＧ１形式の音声付き動画データを、その
ままクライアントに伝送するようにしてもよい。

【０１１７】次に、本発明の第２の実施例について説明
する。

【０１１８】第２の実施例は、上記第１の実施例におけ
る削減処理３０２の代わりに、以下に説明する削減処理
３０４を行うようにしたものである。

【０１１９】以下、削減処理３０４について、図１３お
よび図１４を用いて説明する。

【０１２０】図１４は削減処理３０４の処理手順を示す
フローチャートである。

【０１２１】削減処理３０４においては、図１４に示す
ように、まず、ファイル２０２に格納されている動画デ
ータを、ピクチャ６０３を検出するまで走査し、ピクチ
ャ６０３以外の部分を抽出してファイル２０４に格納す
る（ステップ１４０１）。

【０１２２】続いて、ステップ１４０１で検出したピク
チャ６０３のピクチャタイプに基づいて、該ピクチャ６
０３がＢピクチャであるか否かを判定し（ステップ１４
０２）、Ｂピクチャである場合は、Ｂピクチャを構成す
るデータの代わりに、図１３に示すダミーデータをファ
イル２０４に格納する（ステップ１４０３）。

【０１２３】図１３はダミーデータの構造を示す図であ
る。

【０１２４】図１３において、ピクチャ開始コード１３
０１は、ピクチャ６０３の開始を示すピクチャ開始コー
ド（同期コードの一種ある。）である。また、表示順序
１３０２には、ピクチャ６０３のＧＯＰ６０２における
表示順序が設定される。また、ピクチャタイプ１３０３
は、ピクチャ６０３のピクチャタイプを示すデータであ
り、ここでは、ピクチャタイプ１３０３には、Ｂピクチ
ャであることを示すデータが設定される。

【０１２５】また、ＩピクチャまたはＰピクチャである
場合は、ＩピクチャまたはＰピクチャを構成するデータ
をそのままファイル２０４に格納する（ステップ１４０
４）。

【０１２６】最後に、ステップ１４０１で検出したピク
チャ６０３の次に動画データの終了を示す終了コードが
あるか否かを判定し（ステップ１４０５）、終了コード
がある場合は、処理を終了し、終了コードがない場合
は、ステップ１４０１に戻る。

【０１２７】このように、ファイル２０２に格納されて
いる動画データの一部（Ｂピクチャを構成するデータ）
をデータ量が少ない所定のデータ（ダミーデータ）に置
き換えることによってデータ量が削減された動画データ
が、ファイル２０４に格納されることとなる。

【０１２８】なお、削減処理３０４において、Ｂピクチ
ャを構成するデータのみをダミーデータに置き換えてい
るのは、上述したように、Ｂピクチャを構成するデータ
は、他のピクチャを符号化する際の予測に用いられない
ので、Ｂピクチャを構成するデータを削除しても、他の
ピクチャの画質に影響を与えないからである。

【０１２９】以上説明したように、本実施例によれば、
ＭＰＥＧ１形式のオリジナルの音声付き動画データか
ら、該オリジナルの音声付き動画データよりデータ量が
少なく、かつ、対応する動画と音声とを同時に出力する
のに適した、所望の再生時間分のＭＰＥＧ１形式の音声
付き動画データを作成することができる。

【０１３０】

【発明の効果】以上説明したように、本発明によれば、
音声付き動画データから、該音声付き動画データよりデ
ータ量が少なく、かつ、対応する動画と音声とを同時に
出力するのに適した、所望の再生時間分の音声付き動画
データを作成することができるという効果がある。

【図面の簡単な説明】

【図１】第１の実施例を適用したビデオサーバの構成を
示すブロック図。

【図２】第１の実施例の音声付き動画データ作成処理に
おけるデータの流れを示す説明図。

【図３】第１の実施例の音声付き動画データ作成処理の
処理手順を示すフローチャート。

【図４】ＭＰＥＧ１形式の音声付き動画データの構造
図。

【図５】第１の実施例における分離処理の処理手順を示
すフローチャート。

【図６】ＭＰＥＧ１形式の動画データの構造図。

【図７】第１の実施例における削減処理の処理手順を示
すフローチャート。

【図８】第１の実施例における削減処理で用いるＧＯＰ
補助データの構造図。

【図９】第１の実施例における削減処理で用いるピクチ
ャ補助データの構造図。

【図１０】ＭＰＥＧ１形式の音声データの構造図。

【図１１】第１の実施例おける削減処理で用いるＡＡＵ
補助データの構造図。

【図１２】第１の実施例における多重処理の処理手順を
示すフローチャート。

【図１３】第２の実施例における削減処理で用いるダミ
ーデータの構造図。

【図１４】第２の実施例における削減処理の処理手順を
示すフローチャート。

【符号の説明】

１０１…ＣＰＵ、１０２…メインメモリ、１０３…記憶
装置、１０４…伝送装置、１０５…バス、３０１…分離
処理、３０２，３０４…削減処理、３０３…多重処理。

フロントページの続き (72)発明者 山田 剛裕 神奈川県川崎市麻生区王禅寺1099番地 株 式会社日立製作所システム開発研究所内 (72)発明者 田中 和明 神奈川県横浜市戸塚区戸塚町5030番地 株 式会社日立製作所ソフトウェア開発本部内 (72)発明者 今井 康裕 神奈川県海老名市下今泉810番地 株式会 社日立製作所オフィスシステム事業部内

Claims (8)

【特許請求の範囲】
1. 【請求項１】複数のフレームからなる動画データをフレ
   ーム単位に直交変換方式で符号化した動画データと、音
   声データとが多重された音声付き動画データを、動画デ
   ータと音声データとに分離する分離手段と、 上記分離手段が分離した動画データについて、各フレー
   ム内のデータのうちの高周波数成分を表すデータを削除
   することにより、各フレーム内のデータ量を削減する削
   減手段と、 上記削減手段が削減した動画データのうちの、指定され
   た再生時間に応じた個数のフレームを符号化した動画デ
   ータの部分である再生対象動画データと、上記分離手段
   が分離した音声データのうちの、上記再生対象動画デー
   タと同時に再生されるべき部分である再生対象音声デー
   タとを多重する多重手段とを有することを特徴とする音
   声付き動画データ作成装置。
2. 【請求項２】請求項１記載の音声付き動画データ作成装
   置において、 上記多重手段は、 上記削減手段が削減した動画データについて、フレーム
   ごとに、該フレーム内の先頭の動画データの再生開始時
   刻情報を含む第１の補助データを作成する第１の作成手
   段と、 上記分離手段が分離した音声データについて、同時に再
   生されるべきフレームごとに、該フレーム内の先頭の音
   声データの再生開始時刻情報を含む第２の補助データを
   作成する第２の作成手段と、 上記第１の作成手段が作成した第１の補助データに基づ
   いて、上記削減手段が削減した動画データのうちから、
   指定された再生時間に応じた個数のフレームを抽出する
   ことにより、上記再生対象動画データを決定する第１の
   抽出手段と、 上記第１の作成手段が作成した第１の補助データおよび
   上記第２の作成手段が作成した第２の補助データに基づ
   いて、上記分離手段が分離した音声データのうちから、
   上記第１の抽出手段が決定した再生対象動画データと再
   生開始時刻が対応するフレームを抽出することにより、
   上記再生対象音声データを決定する第２の抽出手段とを
   有し、 上記第１の抽出手段が抽出した再生対象動画データと上
   記第２の抽出手段が抽出した再生対象音声データとを多
   重することを特徴とする音声付き動画データ作成装置。
3. 【請求項３】複数のフレームからなる動画データをフレ
   ーム単位にフレーム間予測符号化方式で符号化し、フレ
   ーム内の動画データを他のフレーム内の動画データとは
   独立に符号化したフレームである１個のＩピクチャ，前
   方向にある１個のＩピクチャから順方向予測符号化した
   フレームである１個以上のＰピクチャ，前方向にある１
   個のＩピクチャまたはＰピクチャと後方向にある１個の
   ＩピクチャまたはＰピクチャとから双方向予測符号化し
   たフレームである１個以上のＢピクチャからなる再生処
   理単位であるＧＯＰ（Group Of Picture）を複数含む動
   画データと、音声データとが多重された音声付き動画デ
   ータを、動画データと音声データとに分離する分離手段
   と、 上記分離手段が分離した動画データについて、上記Ｂピ
   クチャ内のデータを、所定の値のデータに置換すること
   により、上記Ｂピクチャ内のデータ量を削減する削減手
   段と、 上記削減手段が削減した動画データについて、指定され
   た再生時間に応じた個数のＧＯＰを抽出することによ
   り、再生すべき動画データである再生対象動画データを
   決定すると共に、上記再生対象動画データと、上記分離
   手段が分離した音声データのうちの、上記再生対象動画
   データと同時に再生されるべき部分である再生対象音声
   データとを多重する多重手段とを有することを特徴とす
   る音声付き動画データ作成装置。
4. 【請求項４】請求項３記載の音声付き動画データ作成装
   置において、 上記多重手段は、 上記削減手段が削減した動画データについて、上記ＧＯ
   Ｐごとに、該ＧＯＰ内の先頭の動画データの再生開始時
   刻情報を含む第１の補助データを作成する第１の作成手
   段と、 上記削減手段が削減した動画データについて、上記ピク
   チャごとに、該ピクチャ内の先頭の動画データの再生開
   始時刻情報を含む第２の補助データを作成する第２の作
   成手段と、 上記分離手段が分離した音声データについて、同時に再
   生されるべきフレームごとに、該フレーム内の先頭の音
   声データの再生開始時刻情報を含む第３の補助データを
   作成する第３の作成手段と、 上記第１の作成手段が作成した第１の補助データに基づ
   いて、上記削減手段が削減した動画データのうちから、
   指定された再生時間に応じた個数のＧＯＰを抽出するこ
   とにより、上記再生対象動画データを決定する第１の抽
   出手段と、 上記第２の作成手段が作成した第２補助データおよび上
   記第３の作成手段が作成した第３の補助データに基づい
   て、上記分離手段が分離した音声データのうちから、上
   記第１の抽出手段が決定した再生対象動画データと再生
   開始時刻が対応するフレームを抽出することにより、上
   記再生対象音声データを決定する第２の抽出手段とを有
   し、 上記第１の抽出手段が抽出した再生対象動画データと上
   記第２の抽出手段が抽出した再生対象音声データとを多
   重することを特徴とする音声付き動画データ作成装置。
5. 【請求項５】請求項３記載の音声付き動画データ作成装
   置において、 上記多重手段は、上記ＧＯＰの切れ目が、音声付き動画
   データを伝送する際の伝送処理単位の切れ目に一致する
   ようにして多重することを特徴とする音声付き動画デー
   タ作成装置。
6. 【請求項６】請求項４または５記載の音声付き動画デー
   タ作成装置において、 上記第１の作成手段は、上記削減手段が削減した動画デ
   ータのフレームレートと、当該ＧＯＰより前にある全て
   のＧＯＰに含まれているピクチャの数とに基づいて、上
   記ＧＯＰごとの再生開始時刻情報を算出し、 上記第２の作成手段は、上記削減手段が削減した動画デ
   ータのフレームレートと、上記ＧＯＰごとの再生開始時
   刻情報と、当該ピクチャを含むＧＯＰにおける該ピクチ
   ャの再生順序とに基づいて、上記ピクチャごとの再生開
   始時刻情報を算出し、 上記第３の作成手段は、上記分離手段が分離した音声デ
   ータのサンプリング周波数と、当該フレームより前にあ
   るフレームに含まれているサンプル数とに基づいて、フ
   レームごとの再生開始時刻情報を算出することを特徴と
   する音声付き動画データ作成装置。
7. 【請求項７】複数のフレームからなる動画データをフレ
   ーム単位に直交変換方式で符号化した動画データと、音
   声データとが多重された音声付き動画データを、動画デ
   ータと音声データとに分離する分離手段と、 上記分離手段が分離した動画データについて、各フレー
   ム内のデータのうちの高周波数成分を表すデータを削除
   することにより、各フレーム内のデータ量を削減する削
   減手段と、 上記削減手段が削減した動画データのうちの、指定され
   た再生時間に応じた個数のフレームを符号化した動画デ
   ータの部分である再生対象動画データと、上記分離手段
   が分離した音声データのうちの、上記再生対象動画デー
   タと同時に再生されるべき部分である再生対象音声デー
   タとを多重する多重手段とを有する音声付き動画データ
   作成装置と、 上記音声付き動画データ作成装置が作成した音声付き動
   画データをネットワークを介してクライアントに伝送す
   る伝送装置とを備えたことを特徴とするビデオサーバ。
8. 【請求項８】複数のフレームからなる動画データをフレ
   ーム単位にフレーム間予測符号化方式で符号化し、フレ
   ーム内の動画データを他のフレーム内の動画データとは
   独立に符号化したフレームである１個のＩピクチャ，前
   方向にある１個のＩピクチャから順方向予測符号化した
   フレームである１個以上のＰピクチャ，前方向にある１
   個のＩピクチャまたはＰピクチャと後方向にある１個の
   ＩピクチャまたはＰピクチャとから双方向予測符号化し
   たフレームである１個以上のＢピクチャからなる再生処
   理単位であるＧＯＰ（Group Of Picture）を複数含む動
   画データと、音声データとが多重された音声付き動画デ
   ータを、動画データと音声データとに分離する分離手段
   と、 上記分離手段が分離した動画データについて、上記Ｂピ
   クチャ内のデータを、所定の値のデータに置換すること
   により、上記Ｂピクチャ内のデータ量を削減する削減手
   段と、 上記削減手段が削減した動画データについて、指定され
   た再生時間に応じた個数のＧＯＰを抽出することによ
   り、再生すべき動画データである再生対象動画データを
   決定すると共に、上記再生対象動画データと、上記分離
   手段が分離した音声データのうちの、上記再生対象動画
   データと同時に再生されるべき部分である再生対象音声
   データとを多重する多重手段とを有する音声付き動画デ
   ータ作成装置と、 上記音声付き動画データ作成装置が作成した音声付き動
   画データをネットワークを介してクライアントに伝送す
   る伝送装置とを備えたことを特徴とするビデオサーバ。