JP5109496B2 - データ配信装置、データ配信方法およびプログラム - Google Patents

Description

本発明は、受信したデータを加工して、同期処理を行って送信する技術に関する。

一般的なテレビ放送における音楽番組において、ライブ演奏などを放送する場合には、そのライブ演奏を事前に収録して放送したり、ライブ演奏をそのまま放送する生放送で行ったりしている。しかし、ライブ演奏は、複数の演奏者によって演奏されている場合が多く、演奏者全員が同一箇所に集まって演奏するためには、全員の予定をあわせる必要がありライブ演奏を行える時間が限られていた。そのため、異なる複数地点で各演奏者が演奏し、これを合成することによって、あたかも同一地点で演奏されたかのようにする技術（例えば、特許文献１）も開発されている。
特開２００３−１６７５７５号公報

しかし、特許文献１に開示された技術を用いる場合には、事前に準備されたリズム・テンポ情報に従って各演奏者が演奏を行うため、他の演奏者の演奏を聞かずに各演奏者が演奏することになってしまう。すなわち、ライブ演奏のような臨場感のある演奏を行うことができなかった。

本発明は、上述の事情に鑑みてなされたものであり、各演奏者が複数地点で演奏を行ったとしても、ライブ演奏のような臨場感のある演奏を実現できるデータ配信装置、データ配信方法およびプログラムを提供することを目的とする。

上述の課題を解決するため、本発明は、データ各部の再生タイミングを示す第１の時刻情報を有する複数系統の受信データを受信するとともに、当該受信データの再生タイミングを規定する読み出し時刻を示す第１の同期情報を受信する受信手段と、前記受信手段が受信した複数系統の受信データを記憶する記憶手段と、前記第１の時刻情報と前記第１の同期情報との対応関係に基づいて、前記複数系統の受信データを前記記憶手段から読み出して複数系統の再生データを生成する再生データ生成手段と、前記再生データ生成手段によって生成された複数系統の再生データのうち１系統以上の再生データを再生する再生手段と、前記再生手段が再生している間に、１系統以上の加工データを入力する入力手段と、前記加工データに基づいて、前記再生データ生成手段によって生成された複数系統の再生データのうち１系統以上の再生データを加工する加工手段と、前記加工手段によって加工された再生データに対して、データ各部の再生タイミングを示す第２の時刻情報を付加し、前記再生データ生成手段によって生成された複数系統の再生データのうち当該加工された再生データ以外の再生データが存在する場合には、当該再生データに対しても前記第２の時刻情報を付加することにより、複数系統の送信データを生成するとともに、前記第１の同期情報が示すデータの読み出し時刻を変更することにより、当該送信データの再生タイミングを規定する読み出し時刻を示す第２の同期情報を生成する同期制御手段と、前記複数系統の送信データと前記第２の同期情報とを送信する送信手段とを具備することを特徴とするデータ配信装置を提供する。

また、別の好ましい態様において、前記複数系統の受信データのうち、少なくとも１系統の受信データは映像を示すデータであり、前記入力手段によって入力される加工データのうち、少なくとも１系統の加工データは、映像を示すデータであって、前記加工手段は、前記再生データ生成手段が前記映像を示す受信データを読み出して生成した再生データに係る映像と前記映像を示す加工データに係る映像とを合成することにより、当該再生データを加工してもよい。

また、別の好ましい態様において、前記複数系統の受信データのうち、少なくとも１系統の受信データは音声を示すデータであり、前記入力手段によって入力される加工データのうち、少なくとも１系統の加工データは、音声を示すデータであって、前記加工手段は、前記再生データ生成手段が前記音声を示す受信データを読み出して生成した再生データに係る音声と前記音声を示す加工データに係る音声とを合成することにより、当該再生データを加工してもよい。

また、別の好ましい態様において、前記加工手段は、前記再生データ生成手段によって生成された複数系統の再生データのうち１系統以上の再生データを前記加工データと置換してもよい。

また、別の好ましい態様において、前記再生手段が再生している間に、１系統以上の追加データを入力する追加データ入力手段と、前記同期制御手段は、前記加工手段によって加工された再生データと、前記再生データ生成手段によって生成された複数系統の再生データのうち当該加工された再生データ以外の再生データと、前記追加データとに対して、データの読み出し時刻を示す第２の時刻情報を付加することにより、複数系統の送信データを生成してもよい。

また、別の好ましい態様において、前記複数系統の受信データのうち、２系統以上の受信データは音声を示すデータであって、前記再生データ生成手段は、２系統以上の前記音声を示す受信データを読み出し、当該読み出した受信データを合成して再生データを生成してもよい。

また、本発明は、データ各部の再生タイミングを示す第１の時刻情報を有する複数系統の受信データを受信するとともに、当該受信データの再生タイミングを規定する読み出し時刻を示す第１の同期情報を受信する受信過程と、前記受信過程において受信した複数系統の受信データを記憶する記憶過程と、前記第１の時刻情報と前記第１の同期情報との対応関係に基づいて、前記記憶過程において記憶した前記複数系統の受信データを読み出して複数系統の再生データを生成する再生データ生成過程と、前記再生データ生成過程において生成された複数系統の再生データのうち１系統以上の再生データを再生する再生過程と、前記再生過程において再生している間に、１系統以上の加工データを入力する入力過程と、前記加工データに基づいて、前記再生データ生成過程において生成された複数系統の再生データのうち１系統以上の再生データを加工する加工過程と、前記加工過程において加工された再生データに対して、データ各部の再生タイミングを示す第２の時刻情報を付加し、前記再生データ生成過程において生成された複数系統の再生データのうち当該加工された再生データ以外の再生データが存在する場合には、当該再生データに対しても前記第２の時刻情報を付加することにより、複数系統の送信データを生成するとともに、前記第１の同期情報が示すデータの読み出し時刻を変更することにより、当該送信データの再生タイミングを規定する読み出し時刻を示す第２の同期情報を生成する同期制御過程と、前記複数系統の送信データと前記第２の同期情報とを送信する送信過程とを備えることを特徴とするデータ配信方法を提供する。

また、本発明は、コンピュータに、データ各部の再生タイミングを示す第１の時刻情報を有する複数系統の受信データを受信するとともに、当該受信データの再生タイミングを規定する読み出し時刻を示す第１の同期情報を受信する受信機能と、前記受信機能において受信した複数系統の受信データを記憶する記憶機能と、前記第１の時刻情報と前記第１の同期情報との対応関係に基づいて、前記記憶機能において記憶した前記複数系統の受信データを読み出して複数系統の再生データを生成する再生データ生成機能と、前記再生データ生成機能において生成された複数系統の再生データのうち１系統以上の再生データを再生する再生機能と、前記再生機能において再生している間に、１系統以上の加工データを入力する入力機能と、前記加工データに基づいて、前記再生データ生成機能において生成された複数系統の再生データのうち１系統以上の再生データを加工する加工機能と、前記加工機能において加工された再生データに対して、データ各部の再生タイミングを示す第２の時刻情報を付加し、前記再生データ生成機能において生成された複数系統の再生データのうち当該加工された再生データ以外の再生データが存在する場合には、当該再生データに対しても前記第２の時刻情報を付加することにより、複数系統の送信データを生成するとともに、前記第１の同期情報が示すデータの読み出し時刻を変更することにより、当該送信データの再生タイミングを規定する読み出し時刻を示す第２の同期情報を生成する同期制御機能と、前記複数系統の送信データと前記第２の同期情報とを送信する送信機能とを実現させるためのプログラムを提供する。

本発明によれば、各演奏者が複数地点で演奏を行ったとしても、ライブ演奏のような臨場感のある演奏を実現できるデータ配信装置、データ配信方法およびプログラムを提供することができる。

以下、本発明の一実施形態について説明する。

＜第１実施形態＞
本発明の第１実施形態に係るデータ配信装置１は、図１に示すように送信装置２から送信された後述する各データを加工して、中継装置３に送信する。中継装置３は、データ配信装置１から送信された各データについて、通信網１００を介して再生端末４に送信する。そして、再生端末４は、中継装置３から送信された各データを再生する。

まず、本発明の第１実施形態に係るデータ配信装置１のハードウエアの構成について、図２を用いて説明する。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２、記憶部１４に記憶されているプログラムを読み出して、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３にロードして実行することにより、データ配信装置１の各部について、バス１０を介して制御する。また、ＲＡＭ１３は、ＣＰＵ１１が各データの加工などを行う際のワークエリア、各データの一時的なバッファとして機能する。記憶部１４は、例えば、ハードディスクなどの大容量記憶手段である。

操作部１５は、例えばキーボードやマウスなどであり、データ配信装置１の利用者が操作部１５を操作すると、その操作内容を表すデータがＣＰＵ１１へ出力される。

表示部１６は、映像を画面に表示する液晶ディスプレイなどの表示デバイスであって、入力された映像データに基づいて表示を行う。また、データ配信装置１を操作するためのメニュー画面などの各種画面を表示する。音声出力部１７は、スピーカなどの放音手段を有し、入力された音声データに基づいて放音する。

映像入力部１８は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などのイメージセンサを有し、イメージセンサの撮影に基づいた映像データを生成する。音声入力部１９は、収音を行うマイクロフォンを有し、マイクロフォンの収音に基づいたオーディオデータである音声データを生成する。

通信部２０は、有線、無線などによって、送信装置２から送信される複数系統の各データをストリーミング形式で受信するとともに、中継装置３へ各データをストリーミング形式で送信する。第１実施形態においては、各データは、映像データ、音声データおよび同期情報である。以下、映像データ、音声データおよび同期情報について説明する。

送信装置２から送信される映像データ（受信データ）は、楽曲の生演奏を撮影した映像（以下、ライブ映像Ａという）を示すデータであって、データ各部にその再生タイミングを示すタイムコード（第１の時刻情報）が付されている。送信装置２から送信される音声データ（受信データ）は、楽曲の生演奏を録音した音声（以下、ライブ音声Ａという）を示すデータであって、映像データと同様に、データ各部にその再生タイミングを示すタイムコード（第１の時刻情報）が付されている。また、送信装置２から送信される同期情報（第１の同期情報）は、映像データ、音声データの読み出し時刻を示す情報であり、映像データ、音声データの再生タイミングを規定する。ここで、同期情報が示す読み出し時刻と映像データ、音声データのタイムコードを対応させて、映像データと音声データとを再生することにより、双方のデータは同期して再生される。以下、送信装置２から送信される映像データを受信映像データ、音声データを受信音声データ、同期情報を受信同期情報という。

また、中継装置３へ送信する映像データ（送信データ）は、受信映像データが示すライブ映像Ａを後述するようにして加工した映像を示すデータであって、データ各部にその再生タイミングを示すタイムコード（第２の時刻情報）が付されている。中継装置３へ送信する音声データ（送信データ）は、受信音声データが示すライブ音声Ａを後述するようにして加工した音声を示すデータであって、データ各部にその再生タイミングを示すタイムコード（第２の時刻情報）が付されている。また、中継装置３へ送信する同期情報は、受信同期情報が示す読み出し時刻を後述するようにして変更した読み出し時刻を示す情報である。以下、中継装置３へ送信する映像データを送信映像データ、音声データを送信音声データ、同期情報を送信同期情報という。

次に、ＣＰＵ１１が、記憶部１４に記憶されたプログラムを実行することによって実現するデータ配信の機能について説明する。図３は、ＣＰＵ１１が実現する機能を示したソフトウエアの構成を示すブロック図である。

映像再生部１０１は、通信部２０から出力された受信映像データをＲＡＭ１３に一時的にバッファし、当該受信映像データが示すタイムコードと受信同期情報が示す読み出し時刻を対応させるようにして、受信映像データを読み出すことにより、再生映像データ（再生データ）を生成する。そして、再生映像データを映像加工部１０３に出力するとともに、表示部１６へ出力する。表示部１６は、再生映像データに基づいてライブ映像Ａを表示する。

音声再生部１０２は、通信部２０から出力された受信音声データをＲＡＭ１３に一時的にバッファし、当該受信音声データが示すタイムコードと受信同期情報が示す読み出し時刻を対応させるようにして、受信音声データを読み出すことにより、再生音声データ（再生データ）を生成する。そして、再生音声データを音声加工部１０４に出力するとともに、音声出力部１７へ出力する。音声出力部１７は、再生音声データに基づいて、ライブ音声Ａを放音する。

映像加工部１０３は、映像入力部１８において生成された映像データ（以下、加工映像データ（加工データ）という）と映像再生部１０１から出力された再生映像データとに基づいて、合成映像データを生成し、同期制御部１０５に出力する。ここで、合成映像データは、再生映像データに係る映像であるライブ映像Ａの一部分に加工映像データに係る映像（以下、加工映像という）をスーパーインポーズした映像（以下、ライブ映像Ｂという）を示すデータである。

音声加工部１０４は、音声入力部１９において生成された音声データ（以下、加工音声データ（加工データ）という）と音声再生部１０２から出力された再生音声データとに基づいて、合成音声データを生成し、同期制御部１０５に出力する。ここで、合成音声データは、再生音声データに係る音声であるライブ音声Ａと加工音声データに係る音声（以下、加工音声という）とをミキシングした音声（以下、ライブ音声Ｂという）を示すデータである。

同期制御部１０５は、映像加工部１０３から出力された合成映像データと、音声加工部１０４から出力された合成音声データとのデータ各部にその再生タイミングを示すタイムコードを付加することにより、送信映像データと送信音声データとを生成する。また、受信同期情報が示す読み出し時刻を変更することにより、送信同期情報（第２の同期情報）を生成する。そして、生成した送信映像データと送信音声データと送信同期情報とを通信部２０へ出力する。具体的には以下のように行う。

合成映像データのあるデータ部分に付加するタイムコードは、当該データ部分が映像加工部１０３から入力された時点において、通信部２０から入力された受信同期情報が示す読み出し時刻から、映像加工部１０３における処理に要する時間を引いた時刻を示すタイムコードとなるように設定されている。同様に、合成音声データのあるデータ部分に付加するタイムコードは、当該データ部分が音声加工部１０４から入力された時点において、通信部２０から入力された受信同期情報が示す読み出し時刻から、音声加工部１０４における処理に要する時間を引いた時刻を示すタイムコードとなるように設定されている。

また、送信同期情報が示すある時点における読み出し時刻は、当該時点において通信部２０から入力された受信同期情報が示す読み出し時刻から、映像加工部１０３における処理に要する時間または音声加工部１０４における処理に要する時間のうち長い方の時間（第１実施形態においては、映像加工部１０３における処理に要する時間とする）を引いた時刻以前の時刻となるように設定されている。このようにすると、中継装置３において送信映像データおよび送信音声データの再生を行う場合に、中継装置３が受信した送信同期情報が示す読み出し時刻に対応した読み出されるべき送信映像データおよび送信音声データのデータ各部を中継装置３は事前に受信しておくことができるから、安定した再生を行うことができる。

同期制御部１０５は、このようにして生成した送信映像データと送信音声データと送信同期情報とを通信部２０へ出力する。なお、送信映像データは、通信部２０へ出力する前にＲＡＭ１３に所定のデータ量をバッファしてもよい。そして、通信部２０は、送信映像データと送信音声データと送信同期情報とを中継装置３に送信する。

次に、データ配信装置１についての動作を説明する。第１実施形態においては、送信装置２の利用者Ａが楽曲の伴奏部分についての生演奏を行い、その状況を撮影した映像であるライブ映像Ａを示す受信映像データ、その状況を録音した音声であるライブ音声Ａを示す受信音声データ、受信映像データと受信音声データとを同期再生するための受信同期情報が送信装置２からデータ配信装置１に送信されている。

データ配信装置１は、送信装置２から受信した受信映像データと受信音声データとを受信同期情報に基づいて再生し、表示部１６にライブ映像Ａを表示させ、音声出力部１７からライブ音声Ａを放音する。データ配信装置１の利用者Ｂは、ライブ映像Ａを見て、ライブ音声Ａを聞きながら、ライブ音声Ａの伴奏にあわせて楽曲の歌唱を行う。映像入力部１８は、利用者Ａの歌唱を撮影した映像である加工映像を示す加工映像データを生成して、映像加工部１０３に出力する。また、音声入力部１９は、利用者Ａの歌唱を録音した音声である加工音声を示す加工音声データを生成して、音声加工部１０４に出力する。

映像加工部１０３は、ライブ映像Ａの一部に加工映像をスーパーインポーズしたライブ映像Ｂを示す合成映像データを同期制御部１０５に出力する。また、音声加工部１０４は、ライブ音声Ａと加工音声とをミキシングしたライブ音声Ｂを示す合成音声データを同期制御部１０５に出力する。

同期制御部１０５は、合成映像データおよび合成音声データにタイムコードを付加した送信映像データおよび送信音声データを生成して、通信部２０に出力する。また、同期制御部１０５は、受信同期情報が示す読み出し時刻を変更した送信同期情報を生成して、通信部２０に出力する。このように、タイムコードを付加するとともに、送信同期情報を生成したから、送信映像データおよび送信音声データのタイムコードと、送信同期情報が示す読み出し時刻とを対応させるようにして、送信映像データおよび送信音声データを読み出して再生すれば、映像加工部１０３、音声加工部１０４における処理に要する時間が異なっていても、この時間のずれが無いように、送信映像データと送信音声データを同期して再生することができる。そして、通信部２０は、出力された送信映像データと送信音声データと送信同期情報とを中継装置３に送信する。以上が、データ配信装置１の動作の説明である。

中継装置３は、送信映像データと送信音声データと送信同期情報とをデータ配信装置１から受信する。そして、中継装置３は、受信した送信映像データと送信音声データと送信同期情報とを通信網１００を介して複数の再生端末４に送信する。これにより、複数の再生端末４の利用者は、ライブ映像Ｂの表示、ライブ音声Ｂの放音を楽しむことができる。

このように、第１実施形態に係るデータ配信装置１は、受信した映像データ、音声データに対して、自ら生成した映像データ、音声データに基づいて加工を行い、加工した映像データ、音声データにタイムコードを付加するとともに同期情報を送信することによって、楽曲の伴奏の演奏を行う利用者Ａと楽曲の歌唱を行う利用者Ｂとが異なる場所にいたとしても、同時に演奏しているように感じさせる映像および音声を合成して映像データ、音声データを生成し、送信することができる。また、歌唱を行う利用者Ｂは、利用者Ａの生演奏を聞きながら歌唱を行うことができるから、データ配信装置１は、利用者Ａの生演奏の臨場感を保ったまま、利用者Ｂの歌唱を合成した映像、音声を示す映像データ、音声データを生成することができる。

＜第２実施形態＞
上述した第１実施形態に係るデータ配信装置１は、受信映像データ、受信音声データが再生されている間に、映像入力部１８において生成された加工映像データおよび音声入力部１９において生成された加工音声データが、それぞれ映像加工部１０３、音声加工部１０４に入力される構成である。一方、以下に説明する第２実施形態に係るデータ配信装置１は、記憶部１４に事前に記憶される加工映像データ、加工音声データが、それぞれ映像加工部１０３、音声加工部１０４に入力される構成となっている。記憶部１４に記憶される加工映像データおよび加工音声データは、受信映像データおよび受信音声データなどと同様に、データ各部にその再生タイミングを示すタイムコードが付されている。なお、記憶部１４に記憶される加工映像データ、加工音声データは、映像、音声の内容を示すシーケンスデータであってもよい。

第２実施形態に係るデータ配信装置１は、主として第１実施形態に係るデータ配信装置１と映像加工部１０３、音声加工部１０４の構成が異なっている。以下、第２実施形態に係るデータ配信装置１の構成について、図４を用いて説明を行う。ただし、第１実施形態に係るデータ配信装置１と同じ構成である部分については、説明を省略する。

第２実施形態に係る映像加工部１０３は、受信同期情報を取得し、取得した受信同期情報が示す読み出し時刻と、記憶部１４に記憶される加工映像データが示すタイムコードとを対応させるようにして、加工映像データを読み出す。そして、読み出した加工映像データと映像再生部１０１から出力された再生映像データとに基づいて、合成映像データを生成し、同期制御部１０５に出力する。

第２実施形態に係る音声加工部１０４は、受信同期情報を取得し、取得した受信同期情報が示す読み出し時刻と、記憶部１４に記憶される加工音声データが示すタイムコードとを対応させるようにして、加工音声データを読み出す。そして、読み出した加工音声データと音声再生部１０２から出力された再生音声データとに基づいて、合成音声データを生成し、同期制御部１０５に出力する。

このように、第２実施形態に係るデータ配信装置１は、事前に作成した加工映像データ、加工音声データを受信同期情報に基づいて読み出し、受信した映像データ、受信した音声データに対して、読み出した加工映像データ、加工音声データで加工を行い、加工した映像データ、加工した音声データにタイムコードを付加すると共に同期情報を送信することもできる。

ここで、受信同期情報は、受信映像データおよび受信音声データの読み出し時刻を示す情報とは別に、演奏位置情報を有していてもよい。演奏位置情報は、受信同期情報が示す各読み出し時刻に対応する受信映像データおよび受信音声データが、当該受信映像データおよび受信音声データが示す楽曲のどの演奏位置に対応するデータであるかを示す情報であって、例えば、楽曲の開始から経過した時刻を示した情報である。

この場合には、映像加工部１０３および音声加工部１０４は、演奏位置情報が示す時刻と、それぞれ、加工映像データ、加工音声データが示すタイムコードとを対応させるようにして、加工映像データ、加工音声データを読み出すようにすればよい。ここで、加工映像データが、例えば楽曲の歌詞を表示するようなデータである場合には、加工映像データに付されるタイムコードが楽曲の開始から経過した時刻をしめすデータとしておいてもよい。このようにすれば、受信映像データおよび受信音声データが示す楽曲の進行の早さが変化しても、楽曲の進行に応じた演奏位置情報を取得することができるから、楽曲の進行に応じた歌詞の表示を行うこともできる。

以上、本発明の実施形態について説明したが、本発明は以下のように、さまざまな態様で実施可能である。

＜変形例１＞
上述した第１、第２実施形態においては、受信した映像データ、音声データの双方の加工を行っていたが、いずれか一方としてもよい。例えば、受信した音声データのみを加工する場合には、図５に示すように、映像加工部１０３を用いない構成とすればよい。そして、同期制御部１０５は、再生映像データのあるデータ部分に付加するタイムコードは、当該データ部分が映像再生部１０１から入力された時点において、通信部２０から入力された受信同期情報が示す読み出し時刻のタイムコードとなるように設定すればよい。また、送信同期情報が示すある時点における読み出し時刻は、当該時点において通信部２０から入力された受信同期情報が示す読み出し時刻から、音声加工部１０４における処理に要する時間を引いた時刻以前の時刻となるように設定すればよい。このように、受信したデータの未加工、加工にかかわらず、データ配信装置１は、同期して再生可能な複数のデータを出力することができる。

＜変形例２＞
受信音声データは、複数系統の音声データからなるマルチチャンネルになっていてもよい。この場合は、音声加工部１０４は、音声入力部１９から入力された加工音声データ（追加データ）をチャンネルの一部に割り当てるようにして生成した合成音声データを出力してもよい。そして、通信部２０は、マルチチャンネルの送信音声データを出力すればよい。なお、音声加工部１０４における処理を実施形態のように行う場合には、加工すべきチャンネルを利用者が操作部１５を操作することによって選択するようにしてもよい。

さらに、音声出力部１７からの放音において、一部のチャンネルをミュートして出力することもできる。どのチャンネルをミュートするかについては、利用者が操作部１５を操作することによって選択すればよい。

また、受信音声データについて説明したが、受信映像データについても同様である。例えば、利用者が操作部１５を操作することによってチャンネルを選択すると、表示部１６に、選択したチャンネルの映像を表示させることができ、また、複数のチャンネルが選択された場合には、表示部１６の表示を分割して表示することもできる。

＜変形例３＞
音声加工部１０４における処理は、再生音声データと音声入力部１９から入力された加工音声データを合成することにより加工するだけでなく、別の態様によって加工を行なってもよい。例えば、再生音声データに係る音声に音響効果を与える加工であってもよい。この場合は、図６に示すように、操作部１５に各種の音響効果を与えるための操作盤を設けて、利用者は音声出力部１７から放音されるライブ音声Ａを聞きながら操作部１５を操作して音響効果を与える操作を行うと、当該音響効果を示す加工データが音声加工部１０４に出力されるようにすればよい。このようにすれば、データ配信装置１は、受信音声データに音響効果を与えた送信音声データを送信することができる。なお、音響効果だけでなく、音量調整などでもよい。例えば、変形例２に対応させた場合には、各チャンネルの音量調整を行うこともできる。また、音声加工部１０４だけでなく映像加工部１０３についても同様であり、例えば、再生映像データに視覚効果を与えるような処理を行なってもよい。このように、映像加工部１０３、音声加工部１０４における加工は、様々な態様で処理を行うことができる。

＜変形例４＞
上述した第１、第２実施形態においては、受信して加工するデータは、映像データおよび音声データであったが、これ以外のデータを用いてもよい。例えば、再生端末４などに接続される外部の装置を制御する信号とその制御のタイミングを示すデータを有するシーケンスデータである制御信号データ、楽曲の歌詞を示すテキストデータとその表示タイミングを示すデータを有するシーケンスデータである歌詞データなどが挙げられる。この場合には、映像データ、音声データと同様に、シーケンスデータを再生するシーケンスデータ再生部、シーケンスデータ加工部を設ければよく、シーケンスデータを加工するためのデータ入力は、変形例３で示した図６に示す構成のようにして、利用者が操作部１５を操作することによって行なえばよい。

＜変形例５＞
上述した第１、第２実施形態においては、映像加工部１０３における加工は、映像再生部１０１から入力された再生映像データに係る映像の一部に、映像入力部１８から入力された加工映像データに係る映像をスーパーインポーズする加工であったが、再生映像データを加工映像データに置換することによって加工としてもよい。すなわち、合成映像データが加工映像データと同一であってもよい。また、音声加工部１０４における加工も映像加工部１０３における加工と同様である。

＜変形例６＞
上述した第１、第２実施形態においては、映像加工部１０３における加工は、映像再生部１０１から入力された再生映像データに係る映像の一部に、映像入力部１８から入力された加工映像データに係る映像をスーパーインポーズする加工であったが、それぞれの映像を表示画面に分割して表示させるような加工を行なってもよい。また、加工映像データに係る映像の一部分を抜き出して、再生映像データに係る映像に合成するようにしてもよい。例えば、加工映像データに係る映像の人物部分を抜き出して、再生映像データに係る映像に重ね合わせた表示としてもよい。なお、加工映像データに係る映像の抜き出しは、映像加工部１０３で行なえばよい。簡易に抜き出しを可能とするために、映像入力部１８で映像を撮影する際には、例えば青い背景となっている部屋で人物を撮影し、映像加工部１０３は青い背景部分を除去するようにして人物部分を抜き出すようにすればよい。このように、映像加工部１０３における加工は、各データに係る映像を合成するものであれば、どのような態様で合成してもよい。

＜変形例７＞
上述した第１実施形態においては、映像加工部１０３に入力する加工映像データは、事前に記憶部１４に記憶されていてもよい。この場合は、図７に示すように、記憶部１４に記憶されている加工映像データを映像加工部１０３に出力し、その出力のタイミングは、利用者が操作部１５を操作して決定すればよい。ここで、加工映像データは、楽曲の歌詞の一部を所定期間表示する映像のデータを複数有するデータ（例えばデータ１、データ２、・・・データｎ）とした場合、利用者が出力タイミングを決定するたびに、データ１から順に出力されていく。このようにすると、利用者はライブ音声Ａを聞きながら、このライブ音声Ａの進行に合わせて歌詞を順次表示する映像を示す合成映像データを生成させることができる。

＜変形例８＞
上述した第１、第２実施形態においては、映像加工部１０３で生成される合成映像データ、音声加工部１０４で生成される合成音声データは、同期制御部１０５に出力されている。ここで、表示部１６と同様な機能を有する補助表示部を設け、また、音声出力部１７と同様な機能を有する補助音声出力部を設けて、合成映像データを補助表示部に、合成音声データを補助音声出力部に出力するようにしてもよい。このようにすれば、合成映像データ、合成音声データについて、その映像、音声を確認することもできる。なお、同期制御部１０５から出力される送信映像データ、送信音声データを送信同期情報に基づいて再生する再生部を設け、当該再生されたデータを補助表示部、補助音声出力部に出力するようにしてもよい。

＜変形例９＞
上記各変形例の構成は、それぞれ併用することもできる。例えば、送信装置２から送信されるデータは、同期情報の他、音声データ、変形例４に示す制御信号データであってもよく、加工するデータは音声データだけでもよい。すなわち、複数系統のデータを受信し、受信したデータのうち、少なくとも１のデータを加工し、加工したデータと受信したデータとにタイムコードを付加して、当該タイムコードに対応するように、受信した同期情報の時刻を修正する構成になっていればよい。

＜変形例１０＞
上述した第１、第２実施形態においては、図１に示すように、送信装置２から送信されたデータをデータ配信装置１が受信し、データ配信装置１が送信したデータを中継装置３が受信する構成となっていたが、図８に示すように複数のデータ配信装置１Ａ、１Ｂを直列に接続してもよい。この場合、データ配信装置１Ａから送信された映像データ、音声データおよび同期情報をデータ配信装置１Ｂは受信すればよい。このようにすると、データ配信装置１Ａによって加工されたデータをデータ配信装置１Ｂが受信することによって、データ配信装置１Ｂの利用者は当該加工されたデータを確認しながら、データ配信装置１Ｂでさらに加工させて送信することができる。すなわち、直列に複数のデータ配信装置１を接続することにより、直前のデータ配信装置１から送信されたデータを確認しながら、当該データをさらに加工して送信することができる。

＜変形例１１＞
上述した第１、第２実施形態においては、図１に示すように、データ配信装置１は、送信装置２から送信されたデータを受信していたが、図９に示すように、データ配信補助端末５（図９においては５Ａ、５Ｂ）を設けて、データ配信補助端末５から送信されるデータもデータ配信装置１において受信するようにしてもよい。ここで、データ配信補助端末５のソフトウエアの構成は、図１０に示すような構成となっている。タイムコード付加部１０６は、加工音声データのデータ各部にタイムコードを付加して送信音声データを生成し、通信部２０へ出力する。ここで、加工音声データのあるデータ部分に付加するタイムコードは、当該データ部分がタイムコード付加部１０６に入力された時点において、通信部２０から入力された受信同期情報が示す読み出し時刻を示すタイムコードとなるように設定されている。タイムコード付加部１０６以外の構成、ハードウエアの構成は、実施形態と同様であるので説明を省略する。

また、本変形例におけるデータ配信装置１は、図１１に示すような構成となっている。実施形態における構成と異なる部分である音声再生部１０２について説明する。音声再生部１０２は、受信音声データの他、受信音声データＡ、受信音声データＢを通信部２０から入力される。ここで、受信音声データＡはデータ配信補助端末５Ａから送信された音声データ、受信音声データＢはデータ配信補助端末５Ｂから送信された音声データである。そして、音声再生部１０２は、通信部２０から出力された受信音声データ、受信音声データＡ、受信音声データＢをＲＡＭ１３に一時的にバッファし、当該受信音声データが示すタイムコードと受信同期情報が示す読み出し時刻を対応させるようにして、各データを読み出す。そして、読み出したデータに係る音声をミキシングして再生音声データを生成する。そして、再生音声データを音声加工部１０４に出力するとともに、音声出力部１７へ出力する。なお、受信音声データＡ、受信音声データＢは、データ配信補助端末５Ａ、５Ｂを経由して出力されることにより若干の遅延が発生するから、送信装置２から送信された同期情報を通信部２０において所定時間遅延させた後に受信同期情報として出力させるようにしてもよい。このようにしても、送信装置２において、生演奏する演奏者が全員揃わなくても、データ配信補助端末５を用いることで、データ配信装置１の利用者には通常の生演奏がなされていると感じさせることができる。

＜変形例１２＞
上述した第１、第２実施形態においては、受信同期情報は、受信映像データ、受信音声データの読み出し時刻を示す情報であり、受信映像データ、受信音声データにはタイムコードが付されていた。ここで、受信同期情報は受信映像データ、受信音声データの読み出し時刻を示す情報であれば、どのような情報であってもよい。例えば、受信映像データ、受信音声データに付される時刻情報がタイムコードではなく、相対的な時刻を示す情報であってもよく、また、楽曲の拍を示す拍情報、小節線を示す小節線情報など、読み出しタイミングを規定する情報であってもよい。この場合は、受信同期情報は、これらの情報を読み出すタイミングを示す情報とすればよい。すなわち、受信映像データ、受信音声データに付される時刻情報は、タイミングを規定する情報を含み、受信同期情報の読み出し時刻を示す情報とは、相対的な読み出しタイミングを示す情報を含んでいる。なお、送信同期情報、送信映像データ、送信音声データについても、受信同期情報、受信映像データ、受信音声データと同様である。

＜変形例１３＞
上述した第２実施形態において、記憶部１４に楽曲に対応して異なる加工映像データ、加工音声データが記憶されている場合には、映像加工部１０３、音声加工部１０４に読み出されるデータについては、事前に利用者が操作部１５を操作して指定しておいてもよい。また、受信同期情報が、楽曲を特定する楽曲情報を有するようにすれば、映像加工部１０３、音声加工部１０４は、この楽曲情報によって特定される楽曲に対応する加工映像データ、加工音声データを読み出すようにすればよい。

＜変形例１４＞
上述した第１、第２実施形態におけるデータ配信装置１は、それぞれの構成を併用することもできる。この場合には、例えば、第２実施形態におけるデータ配信装置１の映像加工部１０３と、第１実施形態におけるデータ配信装置１の音声加工部１０４とを用いることができる。この場合は、記憶部１４には加工映像データが記憶されていればよく、加工音声データは音声入力部１９から入力されることになる。

第１実施形態に係るデータ配信装置と他の装置との接続を示すブロック図である。 第１実施形態に係るデータ配信装置のハードウエアの構成を示すブロック図である。 第１実施形態に係るデータ配信装置のソフトウエアの構成を示すブロック図である。 第２実施形態に係るデータ配信装置のソフトウエアの構成を示すブロック図である。 変形例１に係るデータ配信装置のソフトウエアの構成を示すブロック図である。 変形例３に係るデータ配信装置のソフトウエアの構成を示すブロック図である。 変形例７に係るデータ配信装置のソフトウエアの構成を示すブロック図である。 変形例１０に係るデータ配信装置と他の装置との接続を示すブロック図である。 変形例１１に係るデータ配信装置と他の装置との接続を示すブロック図である。 変形例１１に係るデータ配信補助端末のソフトウエアの構成を示すブロック図である。 変形例１１に係るデータ配信装置のソフトウエアの構成を示すブロック図である。

符号の説明

１…データ配信装置、２…送信装置、３…中継装置、４…再生端末、５…データ配信補助端末、１０…バス、１１…ＣＰＵ、１２…ＲＯＭ、１３…ＲＡＭ、１４…記憶部、１５…操作部、１６…表示部、１７…音声出力部、１８…映像入力部、１９…音声入力部、２０…通信部、１００…通信網、１０１…映像再生部、１０２…音声再生部、１０３…映像加工部、１０４…音声加工部、１０５…同期制御部、１０６…タイムコード付加部

Claims (8)

1. データ各部の再生タイミングを示す第１の時刻情報を有する複数系統の受信データを受信するとともに、当該受信データの再生タイミングを規定する読み出し時刻を示す第１の同期情報を受信する受信手段と、
   前記受信手段が受信した複数系統の受信データを記憶する記憶手段と、
   前記第１の時刻情報と前記第１の同期情報との対応関係に基づいて、前記複数系統の受信データを前記記憶手段から読み出して複数系統の再生データを生成する再生データ生成手段と、
   前記再生データ生成手段によって生成された複数系統の再生データのうち１系統以上の再生データを再生する再生手段と、
   前記再生手段が再生している間に、１系統以上の加工データを入力する入力手段と、
   前記加工データに基づいて、前記再生データ生成手段によって生成された複数系統の再生データのうち１系統以上の再生データを加工する加工手段と、
   前記加工手段によって加工された再生データに対して、データ各部の再生タイミングを示す第２の時刻情報を付加し、前記再生データ生成手段によって生成された複数系統の再生データのうち当該加工された再生データ以外の再生データが存在する場合には、当該再生データに対しても前記第２の時刻情報を付加することにより、複数系統の送信データを生成するとともに、前記第１の同期情報が示すデータの読み出し時刻を変更することにより、当該送信データの再生タイミングを規定する読み出し時刻を示す第２の同期情報を生成する同期制御手段と、
   前記複数系統の送信データと前記第２の同期情報とを送信する送信手段と
   を具備することを特徴とするデータ配信装置。
2. 前記複数系統の受信データのうち、少なくとも１系統の受信データは映像を示すデータであり、
   前記入力手段によって入力される加工データのうち、少なくとも１系統の加工データは、映像を示すデータであって、
   前記加工手段は、前記再生データ生成手段が前記映像を示す受信データを読み出して生成した再生データに係る映像と前記映像を示す加工データに係る映像とを合成することにより、当該再生データを加工する
   ことを特徴とする請求項１に記載のデータ配信装置。
3. 前記複数系統の受信データのうち、少なくとも１系統の受信データは音声を示すデータであり、
   前記入力手段によって入力される加工データのうち、少なくとも１系統の加工データは、音声を示すデータであって、
   前記加工手段は、前記再生データ生成手段が前記音声を示す受信データを読み出して生成した再生データに係る音声と前記音声を示す加工データに係る音声とを合成することにより、当該再生データを加工する
   ことを特徴とする請求項１または請求項２に記載のデータ配信装置。
4. 前記加工手段は、前記再生データ生成手段によって生成された複数系統の再生データのうち１系統以上の再生データを前記加工データと置換する
   ことを特徴とする請求項１乃至請求項３のいずれかに記載のデータ配信装置。
5. 前記再生手段が再生している間に、１系統以上の追加データを入力する追加データ入力手段をさらに具備し、
   前記同期制御手段は、前記加工手段によって加工された再生データと、前記再生データ生成手段によって生成された複数系統の再生データのうち当該加工された再生データ以外の再生データと、前記追加データとに対して、データの読み出し時刻を示す第２の時刻情報を付加することにより、複数系統の送信データを生成する
   ことを特徴とする請求項１乃至請求項４のいずれかに記載のデータ配信装置。
6. 前記複数系統の受信データのうち、２系統以上の受信データは音声を示すデータであって、
   前記再生データ生成手段は、２系統以上の前記音声を示す受信データを読み出し、当該読み出した受信データを合成して再生データを生成する
   ことを特徴とする請求項１乃至請求項５のいずれかに記載のデータ配信装置。
7. データ各部の再生タイミングを示す第１の時刻情報を有する複数系統の受信データを受信するとともに、当該受信データの再生タイミングを規定する読み出し時刻を示す第１の同期情報を受信する受信過程と、
   前記受信過程において受信した複数系統の受信データを記憶する記憶過程と、
   前記第１の時刻情報と前記第１の同期情報との対応関係に基づいて、前記記憶過程において記憶した前記複数系統の受信データを読み出して複数系統の再生データを生成する再生データ生成過程と、
   前記再生データ生成過程において生成された複数系統の再生データのうち１系統以上の再生データを再生する再生過程と、
   前記再生過程において再生している間に、１系統以上の加工データを入力する入力過程と、
   前記加工データに基づいて、前記再生データ生成過程において生成された複数系統の再生データのうち１系統以上の再生データを加工する加工過程と、
   前記加工過程において加工された再生データに対して、データ各部の再生タイミングを示す第２の時刻情報を付加し、前記再生データ生成過程において生成された複数系統の再生データのうち当該加工された再生データ以外の再生データが存在する場合には、当該再生データに対しても前記第２の時刻情報を付加することにより、複数系統の送信データを生成するとともに、前記第１の同期情報が示すデータの読み出し時刻を変更することにより、当該送信データの再生タイミングを規定する読み出し時刻を示す第２の同期情報を生成する同期制御過程と、
   前記複数系統の送信データと前記第２の同期情報とを送信する送信過程と
   を備えることを特徴とするデータ配信方法。
8. コンピュータに、
   データ各部の再生タイミングを示す第１の時刻情報を有する複数系統の受信データを受信するとともに、当該受信データの再生タイミングを規定する読み出し時刻を示す第１の同期情報を受信する受信機能と、
   前記受信機能において受信した複数系統の受信データを記憶する記憶機能と、
   前記第１の時刻情報と前記第１の同期情報との対応関係に基づいて、前記記憶機能において記憶した前記複数系統の受信データを読み出して複数系統の再生データを生成する再生データ生成機能と、
   前記再生データ生成機能において生成された複数系統の再生データのうち１系統以上の再生データを再生する再生機能と、
   前記再生機能において再生している間に、１系統以上の加工データを入力する入力機能と、
   前記加工データに基づいて、前記再生データ生成機能において生成された複数系統の再生データのうち１系統以上の再生データを加工する加工機能と、
   前記加工機能において加工された再生データに対して、データ各部の再生タイミングを示す第２の時刻情報を付加し、前記再生データ生成機能において生成された複数系統の再生データのうち当該加工された再生データ以外の再生データが存在する場合には、当該再生データに対しても前記第２の時刻情報を付加することにより、複数系統の送信データを生成するとともに、前記第１の同期情報が示すデータの読み出し時刻を変更することにより、当該送信データの再生タイミングを規定する読み出し時刻を示す第２の同期情報を生成する同期制御機能と、
   前記複数系統の送信データと前記第２の同期情報とを送信する送信機能と
   を実現させるためのプログラム。

Images