WO2022195911A1 - データ処理方法およびデータ処理装置 - Google Patents

Abstract

データ処理方法は、複数チャンネルのオーディオデータを格納したマルチトラックオーディオデータを生成するデータ処理方法であって、第１のチャンネルに、デジタルオーディオ信号のデータ列を格納し、第２のチャンネルに、前記デジタルオーディオ信号と関連し、オーディオデータとは異なるデジタル信号を、デジタルオーディオ信号のデータ列として格納する。

Description

データ処理方法およびデータ処理装置

　この発明の一実施形態は、複数チャンネルのオーディオデータを格納したマルチトラックオーディオデータを処理するデータ処理方法に関する。

　特許文献１には、複数チャンネルのオーディオデータを受信し、チャンネル間の相関に基づいて残響のエフェクトの強さ、およびＬＣＤ等の表示部の照明の明るさまたは色を制御することが記載されている。

国際公開第２００８／１１１１４３号

　特許文献１の手法は、チャンネル間の相関によって残響のエフェクトの強さ、およびＬＣＤ等の表示部の照明の明るさまたは色を制御するだけである。

　ライブ演奏等のイベントでは、音響機器、映像機器、および照明機器等の様々な機器を扱う。これらの機器でそれぞれ扱う信号は、異なるプロトコルを用いる。したがって、それぞれのプロトコルのデータを扱う複数の機器が必要になる。

　そこで、本発明の一実施形態の目的は、様々なプロトコルを扱う様々な機器を集約して扱うことができるデータ処理方法を提供することを目的とする。

　本発明の一実施形態に係るデータ処理方法は、複数チャンネルのオーディオデータを格納したマルチトラックオーディオデータを生成するデータ処理方法であって、第１のチャンネルに、デジタルオーディオ信号のデータ列を格納し、第２のチャンネルに、前記デジタルオーディオ信号と関連し、オーディオデータとは異なるデジタル信号を、デジタルオーディオ信号のデータ列として格納する。

　本発明の一実施形態によれば、様々なプロトコルを扱う様々な機器を集約して扱うことができる。

データ処理システム１の構成を示すブロック図である。 データ処理装置１０の主要構成を示すブロック図である。 ＣＰＵ１０４の動作を示すフローチャートである。 オーディオデータとは異なるデジタル信号をデジタルオーディオ信号のデータ列として格納する場合のフォーマットの一例を示す図である。 オーディオデータとは異なるデジタル信号をデジタルオーディオ信号のデータ列として格納する場合のフォーマットの一例を示す図である。 ライブ演奏の再生環境下におけるデータ処理システム１Ａの構成を示すブロック図である。 データ処理装置１０の処理部１５４の再生時の動作を示すフローチャートである。 スクリーンユニット５の斜視図である。 パネル７０を外した場合のフレーム８０の斜視図である。 個別パネル７０Ａの正面図および側面図である。 別の例に係る個別パネル７０Ａの正面図および側面図である。 別の例に係る個別パネル７０Ａの正面図および側面図である。 別の例に係る個別パネル７０Ａの正面図および側面図である。 別の例に係る個別パネル７０Ａの正面図および側面図である。 個別パネル７０Ａの正面図および側面図である。

　図１は、データ処理システム１の構成を示すブロック図である。データ処理システム１は、データ処理装置１０、ミキサ１１、照明コントローラ１２、映像機器１３、ＧＰＩ制御機器１４、ＭＩＤＩ機器１５、およびレーザーコントローラ１６を備えている。

　各機器は、例えば、ＵＳＢケーブル、ＨＤＭＩ（登録商標）、イーサネット（登録商標）、またはＭＩＤＩ等の通信規格で接続されている。各機器は、例えばライブ演奏等のイベントを行う会場に設置される。

　ミキサ１１は、マイク、楽器、またはアンプ等の複数の音響機器を接続する。ミキサ１１は、複数の音響機器からデジタルまたはアナログのオーディオ信号を受信する。ミキサ１１は、アナログのオーディオ信号を受信した場合、当該アナログオーディオ信号を例えばサンプリング周波数４８ｋＨｚ、２４ビットのデジタルオーディオ信号に変換する。ミキサ１１は、複数のデジタルオーディオ信号にミキシング、ゲイン調整、イコライジング、またはコンプレッシング等の信号処理を施す。ミキサ１１は、信号処理後のデジタルオーディオ信号をデータ処理装置１０に送信する。

　照明コントローラ１２は、ライブ演奏等のイベントの演出に利用される各種の照明をコントロールする。照明コントローラ１２は、照明をコントロールするための所定の形式（例えばＤＭＸ５１２）の制御信号をデータ処理装置１０に送信する。また、レーザーコントローラ１６も、ライブ演奏等のイベントの演出に利用される各種のレーザーをコントロールするための所定の形式（例えばＤＭＸ５１２）の制御信号をデータ処理装置１０に送信する。

　映像機器１３は、カメラを含み、イベントの演者等を撮影する。映像機器１３は、カメラで撮影した映像データを所定の形式のデータ（例えばＭＰＥＧ４）としてデータ処理装置１０に送信する。ＧＰＩ制御機器１４は、センサ、プロセッサあるいはモータ等の機器の制御に用いられるＧＰＩ（General Purpose Interface）制御信号をデータ処理装置１０に送信する。ＭＩＤＩ機器１５は、例えば電子楽器を含み、ＭＩＤＩ（Musical Instrument Digital Interface）信号をデータ処理装置１０に送信する。

　図２は、データ処理装置１０の主要構成を示すブロック図である。データ処理装置１０は、一般的なパーソナルコンピュータ等からなり、表示器１０１、ユーザインタフェース（Ｉ／Ｆ）１０２、フラッシュメモリ１０３、ＣＰＵ１０４、ＲＡＭ１０５、および通信インタフェース（Ｉ／Ｆ）１０６を備えている。

　表示器１０１は、例えばＬＣＤ（Liquid Crystal Display）またはＯＬＥＤ（Organic Light-Emitting Diode）等からなり、種々の情報を表示する。ユーザＩ／Ｆ１０２は、スイッチ、キーボード、マウス、トラックボール、またはタッチパネル等からなり、ユーザの操作を受け付ける。ユーザＩ／Ｆ１０２がタッチパネルである場合、該ユーザＩ／Ｆ１０２は、表示器１０１とともに、ＧＵＩ（Graphical User Interface以下略）を構成する。

　通信Ｉ／Ｆ１０６は、ＵＳＢケーブル、ＨＤＭＩ（登録商標）、イーサネット（登録商標）、またはＭＩＤＩ等の通信線を介して、ミキサ１１、照明コントローラ１２、映像機器１３、ＧＰＩ制御機器１４、ＭＩＤＩ機器１５、およびレーザーコントローラ１６に接続される。通信Ｉ／Ｆ１０６は、ミキサ１１からデジタルオーディオ信号を受信する。また、通信Ｉ／Ｆ１０６は、照明コントローラ１２、映像機器１３、ＧＰＩ制御機器１４、ＭＩＤＩ機器１５、およびレーザーコントローラ１６の機器から各種のデジタル信号を受信する。なお、ミキサ１１は、デジタルオーディオ信号をＤａｎｔｅ（登録商標）等のプロトコルを用いて、イーサネット（登録商標）を介してデータ処理装置１０に送信してもよい。

　ＣＰＵ１０４は、本発明の処理部に対応する。ＣＰＵ１０４は、記憶媒体であるフラッシュメモリ１０３に記憶されているプログラムをＲＡＭ１０５に読み出して、所定の機能を実現する。例えば、ＣＰＵ１０４は、表示器１０１にユーザの操作を受け付けるための画像を表示し、ユーザＩ／Ｆ１０２を介して、当該画像に対する選択操作等を受け付けることで、ＧＵＩを実現する。ＣＰＵ１０４は、通信Ｉ／Ｆ１０６を介して他の機器からデジタル信号を受信する。ＣＰＵ１０４は、受信したデジタル信号に基づいてマルチトラックオーディオデータを生成する。また、ＣＰＵ１０４は、生成したマルチトラックオーディオデータをフラッシュメモリ１０３に記憶する。あるいは、ＣＰＵ１０４は、生成したマルチトラックオーディオデータを配信する。

　なお、ＣＰＵ１０４が読み出すプログラムは、自装置内のフラッシュメモリ１０３に記憶されている必要はない。例えば、プログラムは、サーバ等の外部装置の記憶媒体に記憶されていてもよい。この場合、ＣＰＵ１０４は、該サーバから都度プログラムをＲＡＭ１０５に読み出して実行すればよい。

　マルチトラックオーディオデータは、例えばＤａｎｔｅ（登録商標）のプロトコルに準拠する。例えば、Ｄａｎｔｅ（登録商標）は、１００ｂａｓｅ－ＴＸにおいて６４チャンネルの音信号を伝送できる。各チャンネルは、例えばサンプリング周波数４８ｋＨｚ、２４ビットのデジタルオーディオ信号（ＷＡＶ形式等の非圧縮のデジタルオーディオデータ）を格納する。ただし、本発明においてマルチトラックオーディオデータのチャンネル数、サンプリング周波数、およびビット数はこの例に限らない。また、マルチトラックオーディオデータは、Ｄａｎｔｅ（登録商標）のプロトコルに準拠する必要もない。

　図３は、本発明の最小構成を示す機能的ブロック図である。図３に示す処理部１５４は、ＣＰＵ１０４の実行するソフトウェアにより実現される。図４は、処理部１５４の動作を示すフローチャートである。処理部１５４は、ミキサ１１、照明コントローラ１２、映像機器１３、ＧＰＩ制御機器１４、ＭＩＤＩ機器１５、およびレーザーコントローラ１６等の各機器からデジタル信号を受け付ける（Ｓ１１）。処理部１５４は、ミキサ１１からデジタルオーディオ信号を受信し、他の機器（例えば照明コントローラ１２）から制御信号を受信する。

　そして、処理部１５４は、受け付けた各機器からのデジタル信号に基づいてマルチトラックオーディオデータを生成する（Ｓ１２）。具体的には、処理部１５４は、マルチトラックオーディオデータの第１のチャンネルにミキサ１１から受け付けたデジタルオーディオ信号のデータ列を格納する。処理部１５４は、ミキサ１１からＤａｎｔｅ（登録商標）のプロトコルに準拠したオーディオデータを受信した場合には、当該受信したオーディオデータの各チャンネルのデジタルオーディオ信号のデータ列をそのままマルチトラックオーディオデータの同じチャンネルに格納する。

　また、処理部１５４は、マルチトラックオーディオデータの第２のチャンネルに、ミキサ１１から受け付けたデジタルオーディオ信号と関連し、オーディオデータとは異なるデジタル信号を、デジタルオーディオ信号のデータ列として格納する。オーディオデータとは異なるデジタル信号は、照明コントローラ１２、映像機器１３、ＧＰＩ制御機器１４、ＭＩＤＩ機器１５、およびレーザーコントローラ１６の機器から受け付けたデジタル信号に対応する。処理部１５４は、これらの機器の少なくとも１つからオーディオデータとは異なるデジタル信号を受信し、受信したデータを第２のチャンネルのデジタルオーディオ信号のデータ列として格納する。図３は、一例として、処理部１５４が照明コントローラ１２から照明の制御信号を含むＤＭＸ５１２のデジタル信号を受信する例を示す。

　図５は、オーディオデータとは異なるデジタル信号をデジタルオーディオ信号のデータ列として格納する場合のフォーマットの一例を示す図である。上述の様に、マルチトラックオーディオデータの各チャンネルのデジタルオーディオ信号は、一例としてサンプリング周波数４８ｋＨｚ、２４ビットのデジタルオーディオ信号である。図５は、マルチトラックオーディオデータにおける、あるチャンネルのあるサンプルのデータ列を示す。マルチトラックオーディオデータは、受信したデジタルオーディオ信号をそのままデジタルオーディオ信号のデータ列として格納した第１のチャンネルと、図５に示す様なデータ列からなる第２のチャンネルとを有する。第１のチャンネルおよび第２のチャンネルの数は、それぞれいくつであってもよい。一例として、処理部１５４は、第１のチャンネルとしてチャンネル１～３２にミキサ１１から受信したオーディオデータのデジタルオーディオ信号を格納し、第２のチャンネルとしてチャンネル３３～６４にミキサ１１以外から受信したオーディオデータとは異なるデジタル信号を格納する。

　図５に示す様に、第２チャンネルの各サンプルは、８ビットのヘッダ情報と、データ本体と、からなる。データ本体は、８ビットまたは１６ビットのデータ列を含む。図３の例では、８ビットまたは１６ビットのデータ列がＤＭＸ５１２のデジタル信号に対応する。

　８ビットのヘッダ情報は、スタートビット、データサイズフラグ、およびタイプのデータを含む。スタートビットは、そのサンプルのデータが先頭データであるか否かを示す１ビットのデータである。スタートビットが１である場合、先頭データであることを示す。つまり、スタートビットが１を示すサンプルから次にスタートビットが１を示すまでのサンプルが、１つのＤＭＸ５１２の制御信号のデータに対応する。

　データサイズフラグは、データサイズを示す１ビットのデータである。例えば、データサイズフラグが１である場合、１つのサンプル内に８ビットのデータが含まれていることを示し、データサイズフラグが０である場合、１つのサンプル内に１６ビットのデータが含まれていることを示す。例えば、１つのＤＭＸ５１２のデータが２４ビットのデータを含む場合、１つ目のサンプルのスタートビットは１、データサイズフラグは０になる。２つめのサンプルのスタートビットは０、データサイズフラグは１になる。１つのＤＭＸ５１２のデータが８ビットのデータである場合、各サンプルのスタートビットは０になる。

　次に、タイプは、データの種類を示す識別情報であり、６ビットのデータである。この例ではタイプは、６ビットであるため、６４個のデータ種別を示す。無論、ビット数は６ビットに限らない。タイプのビット数は、必要とする種別の数に応じたビット数に設定できる。

　タイプは、例えば、「０１」のデータであればＤＭＸ５１２のデータを示す。タイプは、例えば、「０２」のデータであればＭＩＤＩのデータを示す。タイプは、例えば、「０３」のデータであればＧＰＩのデータを示す。また、タイプは、例えば、「００」のデータであればＩｄｌｅデータ（空データ）を示す。ただし、全てのビットデータが１になる「３Ｆ」は、使用しないことが好ましい。処理部１５４が「３Ｆ」を使用しない場合、マルチトラックオーディオデータを再生する装置は、全てのビットデータが１の場合に何らかの障害が発生したと判断することができる。処理部１５４は、全てのビットデータが１の場合、マルチトラックオーディオデータを再生せず、制御信号を出力しない。これにより、処理部１５４は、異常な信号が出力された場合に、照明等の機器にダメージ等を与えることがない。　なお、処理部１５４は、タイプを「００」にして全てのビットデータを０、つまりＩｄｌｅデータ（空データ）とする場合、スタートビットを１にして、全てのビットが０にならない様にすることが好ましい。これにより、マルチトラックオーディオデータを処理する装置は、全てのビットデータが０の場合に何らかの障害が発生したと判断することができる。処理部１５４は、全てのビットデータが０の場合、マルチトラックオーディオデータを再生せず、制御信号を出力しない。この場合も、処理部１５４は、異常な信号が出力された場合に、照明等の機器にダメージ等を与えることがない。

　また、処理部１５４は、図５に示したデータ形式に一致しないデータが含まれている場合に、マルチトラックオーディオデータを再生せず、制御信号を出力しないようにしてもよい。例えば、データサイズフラグが１である場合、下位８ビットは全て０のビットデータビットとなる（または全て１のビットデータとなる）。したがって、処理部１５４は、データサイズフラグが１であるにも関わらず、下位８ビットに０および１のビットデータが混在している場合、マルチトラックオーディオデータを再生せず、制御信号を出力しない。この場合も、処理部１５４は、異常な信号が出力された場合に、照明等の機器にダメージ等を与えることがない。

　なお、処理部１５４は、同じチャンネルに同じタイプのデータのみ含む様にしてもよいが、同じチャンネルに異なるタイプのデータを含んでもよい。つまり、処理部１５４は、第２のチャンネルのうち同じチャンネルには、１つの識別情報のみ含むようにしてもよいし、１つのチャンネルに複数の識別情報を含むようにしてもよい。

　また、処理部１５４は、同じ種別のデータを予め決められた複数のチャンネルにまたがって格納してもよい。例えば、処理部１５４は、チャンネル３３，３４，３５の３つのチャンネルにそれぞれ順番にデータを格納する。この場合、チャンネル３３，３４，３５は、全て同じタイプのビットデータを含む。処理部１５４は、仮にチャンネル３３，３４，３５のデータサイズフラグを全て０とすれば、１サンプルで３倍（４８ビット）のデータを格納することができる。あるいは、処理部１５４は、例えば４つのチャンネルに同じ種別のデータを格納すれば１サンプルで４倍（６４ビット）のデータを格納することができる。この様に、処理部１５４は、複数チャンネルにまたがってデータを格納することで、単位時間あたりのデータ量の多い種別のデータ（例えば映像データ）を１サンプル内に格納することもできる。

　さらに、処理部１５４は、複数チャンネルにまたがってデータを格納する場合、代表して１つのチャンネル（例えばチャンネル３３）にのみヘッダ情報を付加し、他のチャンネルはヘッダ情報を負荷しなくてもよい。この場合、処理部１５４は、代表のチャンネルに１６ビットのデータを格納し、他のチャンネルは最大で２４ビットのデータを格納することができる。すなわち、処理部１５４は、３つのチャンネルで、最大で６４ビットのデータを格納することができる。なお、この場合、代表のチャンネルのデータサイズフラグは、１ビットではなく、例えば３ビット（８種類のデータサイズを示すビットデータ）であってもよい。

　また、データ処理装置１０は、ミキサ１１等の音響機器から信号処理の内容を示す信号処理パラメータやミキサ１１の基本設定に係るデータを受信し、第２のチャンネルにデジタルオーディオ信号のデータ列として格納してもよい。

　なお、上述した様に、本発明においてマルチトラックオーディオデータのサンプリング周波数は４８ｋＨｚに限らないし、ビット数は２４ビットに限らない。例えば、マルチトラックオーディオデータのサンプリング周波数が９６ｋＨｚである場合、処理部１５４は、２サンプルに１回の無効データとして、４８ｋＨｚのサンプリングデータを生成してもよい。また、ビット数が３２ビットである場合、処理部１５４は、下位の８ビットを使用せず、上位の２４ビットを使用してもよい。

　例えば、ＤＭＸ５１２のビットレートは、２５０ｋｂｐｓである。一方で４８ｋＨｚ、２４ビットのデジタルオーディオデータのビットレートは、２３０４ｋｂｐｓである。また、ＭＩＤＩのビットレートは３１．２５ｋｂｐｓである。つまり、デジタルオーディオデータのビットレートは、ＤＭＸ５１２のビットレートの９．２１６倍であり、ＭＩＤＩのビットレートの７３．７２８倍である。したがって、データ処理装置１０は、これらデジタルオーディオデータのビットレートよりも低いビットレートのデジタル信号を格納する場合、複数サンプルのうち少なくとも１つのサンプルを無効データとし、無効データ以外のサンプルにデータを格納する。例えば、データ処理装置１０は、ＤＭＸ５１２のデータを格納する場合、９サンプルのうち８サンプルを無効データとし、残りの１つのサンプルにＤＭＸ５１２のデータを格納する。この場合、再生側では第２チャンネルのデジタル信号が１サンプル程度ずれる可能性がある。しかし、サンプリング周波数４８ｋＨｚの時間ずれは０．０２０８ｍｓｅｃに過ぎず、仮に数サンプルずれた場合でも時間ずれは１ｍｓｅｃ未満に収まる。照明等の機器は、数ｍｓｅｃ程度の間隔で制御を行うため、１ｍｓｅｃ未満の時間ずれが生じたとしても制御のタイミングにずれが生じるおそれはない。

　あるいは、上述したように、データ処理装置１０は、同じチャンネルに異なるタイプのデータを含んでもよい。データ処理装置１０は、１つのチャンネル内に複数種類のデータのデジタル信号を格納してもよい。また、同じ種類のデータであっても複数チャンネルを有するデータである場合、データ処理装置１０は、１つのチャンネル内に複数チャンネルのデータのデジタル信号を格納してもよい。例えば、ＤＭＸ５１２は、複数の照明機器を制御するために、複数チャンネルの制御信号を含む。したがって、データ処理装置１０は、１つのチャンネル内に複数チャンネルのＤＭＸ５１２のデジタル信号を格納してもよい。　なお、ＤＭＸ５１２が複数チャンネルの制御信号を含む場合、第２のチャンネルには、複数チャンネルのチャンネル番号を示すチャンネル情報が含まれていてもよい。１つのＤＭＸ５１２のデータが８ビットのデータであり、１サンプルのデータサイズが１６ビットである場合、８ビットのデータが空きデータとなる。データ処理装置１０は、空きデータの８ビットのデータにチャンネル情報を格納してもよい。あるいは、図５の例では、データの種類を示す識別情報は、６ビットのデータであったが、ヘッダ情報は、識別情報を４ビットのデータとして、２ビットをチャンネル情報としてもよい。

　上述の様に、照明等の機器は、数ｍｓｅｃ程度の間隔で制御を行うため、１ｍｓｅｃ未満の時間ずれが生じたとしても制御のタイミングにずれが生じるおそれはない。ただし、ＤＭＸ５１２は、最大５１２チャンネルの制御信号をシリアルに送信する。そのため、第２チャンネルのデジタル信号が１サンプルずれると、対象機器とは異なる機器に異なるチャンネルの制御信号が送信される可能性がある。しかし、上記の様に第２のチャンネルに、チャンネル情報が含まれていている場合、マルチトラックオーディオデータを再生するデータ処理装置１０は、チャンネル情報に基づいて適切な機器に適切な制御信号を送信することができる。

　以上の様にして、ライブ演奏を記録したマルチトラックデータが生成される。処理部１５４は、以上の様にして生成したマルチトラックオーディオデータを出力する（Ｓ１３）。マルチトラックオーディオデータは、自装置のフラッシュメモリ１０３に保存してもよいし、通信Ｉ／Ｆ１０６を介して他装置に配信してもよい。

　上述の様に、データ処理システム１は、例えばライブ演奏等のイベントを行う会場に設置される。データ処理装置１０は、ライブ演奏時の音響機器から受信するデジタルオーディオ信号を第１のチャンネルに格納し、照明等の他の機器の制御信号を受信して第２のチャンネルに格納する。デジタルオーディオ信号および制御信号は、同じライブ演奏等のイベントの進行に合わせて生成されている。制御信号は、デジタルオーディオ信号のサンプリング周波数（例えば４８ｋＨｚ）と同じ周波数で格納されている。したがって、データ処理装置１０は、第１のチャンネルに所定のサンプリング周波数（例えば４８ｋＨｚ）のデジタルオーディオ信号を格納し、第２のチャンネルに第１チャンネルと同じ周波数（４８ｋＨｚ）の制御信号を格納したマルチトラックオーディオデータを生成することで、タイムコードを使用することなく複数の機器で生成される複数のデジタル信号を同期して記録することができる。これにより、データ処理システム１は、複数の機器でそれぞれ用いられるプロトコル毎に専用の記録機器を用意して各データを個別に記録する必要がない。また、データ処理システム１は、複数の機器をタイムコードで同期させるためのタイムコード生成機、ケーブル、およびインタフェース等も不要である。また、データ処理システム１は、機器毎にタイムコードのフレームレートを合わせる等の設定も不要である。

　なお、データ処理装置１０は、映像データをマルチトラックオーディオデータに格納せず、別のデータとして記録してもよい。この場合、データ処理システム１は、タイムコード生成機器（不図示）を備えていてもよい。データ処理装置１０は、さらにタイムコード生成機器からタイムコードを受信してもよい。この場合も、データ処理装置１０は、受信したタイムコードを第２のチャンネルにデジタルオーディオ信号のデータ列として格納すればよい。この場合、データ処理システム１は、映像データに係るデジタル信号のフレームレートと、他のデジタル信号の少なくとも１つ（例えばミキサ１１の出力するデジタルオーディオ信号）のフレームレートを合わせるだけで、映像データに係るデジタル信号および他の全てのデジタル信号を同期することができる。

　本実施形態に示した第２のチャンネルは、オーディオデータとは異なるデジタル信号をデジタルオーディオ信号のデータ列として格納しているため、所定のマルチトラックオーディオデータのプロトコル（例えばＤａｎｔｅ（登録商標）のプロトコル）に準ずる。したがって、第２のチャンネルは、オーディオデータとして再生もできるし、ＤＡＷ（Digital Audio Workstation）等のオーディオデータの編集アプリケーションプログラムを用いてコピー、カット、ペースト、あるいはタイミング調整等の編集を行うこともできる。例えば、ユーザは、ＤＡＷを用いて、ある時間帯に含まれている第１のチャンネルおよび第２のオーディオデータを異なる時間帯にカットアンドペーストする作業を行うと、オーディオデータだけでなく、ＤＭＸ５１２データ等も同期を崩さずに異なる時間帯に移動させることもできる。

　第２のチャンネルは、照明等の機器の位置情報を格納してもよい。位置情報は、例えば、ライブ会場のある位置を原点とした３軸直交座標で表される。データ処理装置１０は、位置情報を取り出して、当該位置情報に基づいて、ライブ会場における照明等の機器の位置を表示器に表示してもよい。例えば、データ処理装置１０は、ライブ会場の形状を示す３次元ＣＡＤデータを取得し、当該３次元ＣＡＤデータに基づくライブ会場の立体画像を表示する。そして、データ処理装置１０は、当該立体画像に各機器を模した画像を表示することで、ライブ会場内の各機器の位置を表示する。これにより、再生会場の運営者は、表示器に表示された照明等の機器の位置を参考にして、ライブ会場と同じあるいは近い位置に照明等の機器をセッティングすることができる。　次に、図６は、ライブ演奏の再生環境下におけるデータ処理システム１Ａの構成を示すブロック図である。データ処理システム１Ａは、例えばライブ演奏等のイベントを遠隔地で再現するための会場に設置される。

　データ処理システム１Ａは、図１に示したデータ処理システム１と同じハードウェア構成を備える。そのため、全ての構成は同一の符号を付し、説明を省略する。ただし、映像機器１３は、データ処理システム１ではカメラを備えていたが、データ処理システム１Ａでは、カメラに代えて、映像データを再生する映像再生機器と、投影機等の映像表示機器を有する。

　図７は、データ処理装置１０の処理部１５４の再生時の動作を示すフローチャートである。まず、処理部１５４は、マルチトラックオーディオデータを受け付ける（Ｓ２１）。マルチトラックオーディオデータは、ライブ演奏を行っている会場のデータ処理装置１０から受信する、サーバから受信する。あるいは、データ処理装置１０は、フラッシュメモリ１０３に記憶されている過去のライブ演奏に係るマルチトラックオーディオデータを読み出す。あるいは、データ処理装置１０は、サーバ等の他装置に記憶されている過去のライブ演奏に係るマルチトラックオーディオデータを読み出す。

　処理部１５４は、受け付けたマルチトラックオーディオデータをデコードしてデジタルオーディオ信号および他のデジタル信号を再生し（Ｓ２２）、出力する（Ｓ２３）。例えば、処理部１５４は、第１のチャンネルであるチャンネル１～３２のデジタルオーディオ信号を取り出し、ミキサ１１に出力する。ミキサ１１は、受信したデジタルオーディオ信号をスピーカ等の音響機器に出力し、歌唱音や演奏音を再生する。

　また、処理部１５４は、第２チャンネルであるチャンネル３３～６４の各サンプルについて、８ビットのヘッダ情報を読み出して、８ビットまたは１６ビットのデータ本体を取り出す。第２チャンネルは、ミキサ１１の信号処理パラメータや基本設定に係るデータを含んでいてもよい。処理部は、これらの信号処理パラメータや基本設定に係るデータを取り出し、ミキサ１１に出力してもよい。

　ミキサ１１は、データ処理装置１０から信号処理パラメータや設定データを受信し、当該信号処理パラメータや設定データに基づいて受信したオーディオ信号に各種の信号処理を施す。これにより、ミキサ１１は、ライブ演奏と同じ状態で歌唱音や演奏音を再生する。

　処理部１５４は、取り出したＤＭＸ５１２のデジタル信号を照明コントローラ１２およびレーザーコントローラ１６に出力する。照明コントローラ１２およびレーザーコントローラ１６は、それぞれ受信したＤＭＸ５１２のデジタル信号に基づいて照明およびレーザーを制御する。これにより、ライブ演奏時の照明やレーザー等の演出が再現される。

　同様に、処理部１５４は、取り出したＭＩＤＩのデジタル信号およびＧＰＩのデジタル信号をＧＰＩ制御機器１４およびＭＩＤＩ機器１５に出力する。ＧＰＩ制御機器１４およびＭＩＤＩ機器１５は、それぞれ受信したデジタル信号に基づいてＭＩＤＩ機器およびＧＰＩ機器を制御する。

　また、処理部１５４は、第２チャンネルに映像データが含まれている場合には、当該映像データを取り出して、映像機器１３に出力する。例えば、上述した様に、チャンネル３３，３４，３５の３つのチャンネルに映像データが格納されている場合、処理部１５４は、チャンネル３３，３４，３５の３つのチャンネルに含まれているデータを順番に取り出して、映像機器１３に出力する。映像機器１３は、映像再生機器および投影機を備える。映像機器１３は、映像再生機器を用いて映像データを再生する。再生会場には、スクリーンが設置されている。映像機器１３は、データ処理装置１０から受信した映像データに基づいて、スクリーンにライブ映像を表示する。

　映像データがマルチトラックオーディオデータとは別に記録され、かつタイムコードで同期される場合、データ処理装置１０は、映像データおよびタイムコードを映像機器１３に出力する。映像機器１３は、タイムコードに基づいて映像データを再生し、スクリーンにライブ映像を表示する。また、映像機器１３を除く他の機器は、マルチトラックオーディオデータに含まれるタイムコードに基づいて各機器を制御する。

　なお、再生会場は、ライブ演奏等のイベントが行われた会場と同じハードウェア構成を備える必要はない。データ処理装置１０は、再生会場に設置されている機器に合わせて、マルチトラックオーディオデータから必要なデータを取り出し、各機器に出力すればよい。

　この様に、データ処理装置１０は、再生会場において、各サンプルの第１のチャンネルのデジタルオーディオ信号を取り出して出力し、かつ各サンプルの第２のチャンネルの制御信号等のデジタル信号を取り出して出力することで、タイムコードを使用しなくとも複数の機器で複数のデジタル信号を同期して再生することができる。

　なお、第２のチャンネルに格納された制御信号等のデジタル信号は、複数のサンプルで１つのデータを構成する場合がある。しかし、複数の機器で複数サンプルの時間ずれが生じたとしても、サンプリング周波数４８ｋＨｚの時間ずれは１ｍｓｅｃ未満に収まる。照明等の機器は、数ｍｓｅｃ程度の間隔で制御を行うため、１ｍｓｅｃ未満の時間ずれが生じたとしても制御のタイミングにずれが生じるおそれはない。したがって、データ処理システム１Ａは、音と映像の同期再生に加えて、照明等の機器も同期して演出を行うため、再生会場の視聴者は、ライブ演奏の会場とは異なる会場に居ながらもライブ演奏等のイベントに参加している様に知覚できる。

　本実施形態に示したデータ処理システムは、テーマパーク等の映像、音響、および演出等を組み合わせる必要のあるシステムに適用することができる。あるいは、商業施設は、閉館時にＢＧＭを出力し、照明を消灯する。本実施形態に示したデータ処理システムは、この様な商業施設における照明および音響を連動させるシステムに適用することもできる。

　次に、再生会場で用いられるスクリーンの一例について説明する。従来、スクリーンは、主に水平方向に長いバーにスクリーンを吊るすタイプ、あるいは、金属フレームにスクリーンを貼るタイプ等があった。これらのスクリーンは、天井に吊り下げるための構造物が必要であった。また、従来のスクリーンは、投影面積を容易に変更することができず、様々な設備の会場で使用することができない課題があった。イベントの運営者は、大きな会場では面積の大きいスクリーンを用意するが、仮に会場の入口が狭い場合、面積の大きいスクリーンを持ち込むことは容易ではない。

　そこで、本実施形態は、様々な設備の会場で設置可能であり、簡単に投影面積を変更するスクリーンを提供することを目的とする。

　本実施形態のスクリーンユニットは、平面スクリーンとして機能するパネルと、前記パネルを背面から保持するフレームと、を有し、前記パネルは、複数の個別パネルに分解可能に構成されている。

　図８は、スクリーンユニット５の斜視図である。スクリーンユニット５は、板状のパネル７０と、フレーム８０と、を有する。図８の例では、スクリーンユニット５は、１２個の個別パネル７０Ａを有する。

　図９は、パネル７０を外した場合のフレーム８０の斜視図である。フレーム８０は、ベース８１、後面ブロック８２、連結部材８３、前面ブロック８４、および連結フレーム８５を備えている。

　前面ブロック８４および後面ブロック８２は、例えば直方体形状からなる。前面ブロック８４は、板状の個別パネル７０Ａの四隅に対応して配置される。フレーム８０は、２０個の前面ブロック８４を有し、これら２０個の前面ブロック８４を１２個のパネルの各四隅に配置する。

　後面ブロック８２は、例えば直方体形状からなる。フレーム８０は、前面ブロック８４と同じ数の２０個の後面ブロック８２を有する。連結部材８３は、後面ブロック８２および前面ブロック８４を前後に連結する。

　ベース８１は、フレーム８０の最外周に配置されている１４個の後面ブロック８２を縦または横方向に並んで連結する。

　連結フレーム８５は、後面ブロック８２と前面ブロック８４を縦または横方向に並んで連結する。例えば、図中の右上の前面ブロック８４は、連結フレーム８５を介して、フレーム８０を正面視して縦方向の１つ下側の後面ブロック８２に連結される。また、例えば、図中の右上の前面ブロック８４は、連結フレーム８５を介して、フレーム８０を正面視して横方向の１つ左側の後面ブロック８２に連結される。

　これにより、フレーム８０は、２０個の後面ブロック８２および前面ブロック８４を安定して連結する。フレーム８０を正面視して縦方向の一番下に配置された５つの後面ブロック８２および前面ブロック８４は、床等に設置される。よって、フレーム８０は、２０個の前面ブロック８４のそれぞれの底面の１つを正面に向けて配置し、自立する。

　なお、ベース８１は、中央で折れ曲がる。また、２つの連結フレーム８５は、縦または横方向に並ぶ後面ブロック８２および前面ブロック８４の中央で回転可能に接続される。これにより、フレーム８０は、小さく折りたたむことができる。

　２０個の前面ブロック８４のそれぞれの底面の１つは、板状の個別パネル７０Ａの四隅に取り付けられる。図１０は、個別パネル７０Ａの正面図および側面図である。図１０の左側に示す図は、個別パネル７０Ａの正面図であり、右側に示す図は、個別パネル７０Ａの左側面図である。他の個別パネルも図１０に示す個別パネル７０Ａと同じ構成を有する。

　個別パネル７０Ａは、板材７７と、スクリーン部材７５と、マグネット７８を有する。板材７７は、金属、樹脂、または木の材料からなる平板状の部材である。板材７７の前面には、スクリーン部材７５が貼り付けられている。スクリーン部材７５は、投影機の映像を投影する、白色の反射材である。

　板材７７の後面の四隅には、マグネット７８が配置される。前面ブロック８４が磁性体の金属である場合、個別パネル７０Ａは、マグネット７８により前面ブロック８４に吸着する。前面ブロック８４は、スクリーン部材７５を取り付けるためのガイドになると同時にスクリーン部材７５を保持する保持部材として機能する。これにより、前面ブロック８４は、スクリーン部材７５が落下したりずれたりすることを防止することができる。イベントの運営者は、図９に示した状態のフレーム８０に１２個の個別パネル７０Ａを吸着させることで、１つのパネル７０を構成する。すなわち、パネル７０は、複数の個別パネル７０Ａに分解可能に構成されている。

　この様に、スクリーンユニット５は、１つの大きなパネル７０を個別パネル７０Ａに分解することができる。また、フレーム８０は、小さく折りたたむことができる。したがって、イベントの運営者は、会場の狭い入口等からもスクリーンユニット５を容易に持ち込むことができる。また、フレーム８０は自立するため、スクリーンを吊り下げたり固定したりするための構造物は不要である。また、スクリーンユニット５は、会場やイベントの内容に応じて自由にサイズや画角（縦横比）を変更することができる。イベントの運営者は、任意の数の個別パネル７０Ａを用意することで、会場やイベントの内容に合わせた最適な大きさや画角（縦横比）のスクリーンを簡単に設置することができる。

　さらに、スクリーンユニット５は、正面視するとフレーム８０等の構造物が見えない。したがって、イベントの参加者は、投影機の映像だけが見え、イベントへの没入感を高めることができる。

　なお、個別パネル７０Ａをフレーム８０に取り付ける手法は、マグネット７８による吸着に限らない。例えば、個別パネル７０Ａは、面ファスナーにより前面ブロック８４に取り付けてもよい。あるいは、個別パネル７０Ａは、前面ブロック８４の後面からネジ止めすることで取り付けてもよい。

　図１１は、別の例に係る個別パネル７０Ａの正面図および側面図である。図１１の左側に示す図は、２つの個別パネル７０Ａを縦に並べた場合の正面図であり、右側に示す図は、２つの個別パネル７０Ａを縦に並べた場合の左側面図である。

　板材７７の前面には、第１スクリーン部材７５Ａおよび第２スクリーン部材７５Ｂが貼り付けられている。第２スクリーン部材７５Ｂは、例えば接着剤で第１スクリーン部材に貼り付けられる。第１スクリーン部材７５Ａは、板材７７の正面の全体を覆うように板材７７に貼り付けられている。第２スクリーン部材７５Ｂは、正面視して第１スクリーン部材７５Ａの面積よりも小さい面積を有する。そのため、個別パネル７０Ａを正面視すると、第２スクリーン部材７５Ｂの外周部から第１スクリーン部材７５Ａが露出する。

　第３スクリーン部材７５Ｃは、複数の個別パネル７０Ａを並べた時に第１スクリーン部材７５Ａが露出する部分を覆うように、第１スクリーン部材７５Ａに貼り付けられる。第３スクリーン部材７５Ｃの高さ（厚み）は、第２スクリーン部材７５Ｂの高さ（厚み）と同じである。そのため、第２スクリーン部材７５Ｂおよび第３スクリーン部材７５Ｃの前面は同じ高さになる。よって、投影機の光を斜めに照射しても影を発生させない。

　なお、第３スクリーン部材７５Ｃは、図１３に示す様に、両面テープ７５０で第１スクリーン部材７５Ａに貼り付けてもよい。この場合、第３スクリーン部材７５Ｃの高さ（厚み）は、第２スクリーン部材７５Ｂの高さ（厚み）よりも該両面テープ等の部材の厚みの分だけ薄くする。

　また、第３スクリーン部材７５Ｃは、図１４に示す様に、薄い板状の磁性体７６０に接着剤で貼り付けてもよい。この場合、磁性体７６０は、板材７７の後面に配置されたマグネット７８に吸着される。したがって、第３スクリーン部材７５Ｃは、磁性体７６０を介して第１スクリーン部材７５Ａに吸着される。これにより、第３スクリーン部材７５Ｃは、接着剤や両面テープを用いることなく、磁力により簡単に取り付け、取り外しすることができる。なお、磁性体７６０は、平滑性と柔軟性の高い焼入リボン鋼等を使用することが好ましい。これにより、第３スクリーン部材７５Ｃの強度を高くすることができる。　これにより、複数の個別パネル７０Ａを並べた時に、隙間が生じたとしても第３スクリーン部材７５Ｃにより当該隙間が覆われる。そのため、スクリーンユニット５は、正面視すると複数の個別パネル７０Ａ間の隙間も見えなくなる。したがって、イベントの参加者は、複数の個別パネル７０Ａ間の隙間も全く気にならなくなり、投影機の映像だけが見え、イベントへの没入感をさらに高めることができる。

　複数の個別パネル７０Ａ間の隙間を埋める手法は、図１１の例に限らない。例えば、図１２に示す様に、スクリーン部材７５の面積を大きくして、当該面積の大きいスクリーン部材７５が隣接する個別パネル７０Ａの正面の一部を覆う様にしてもよい。ただし、図１１に示した様な複数の個別パネル７０Ａ間の隙間を埋める構成は、投影機の光を斜めに照射しても影を発生させないため、よりイベントへの没入感を高めさせることができる。

　図１５に示す様に、スクリーン部材７５の背面および側面は、遮光材７００を貼り付けてもよい。これにより、スクリーン部材７５の背面および側面から外光が透過することがなくなる。よって、外光がスクリーン部材７５に投影される映像に悪影響を及ぼすことがなくなる。

　本実施形態の説明は、すべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上述の実施形態ではなく、特許請求の範囲によって示される。さらに、本発明の範囲は、特許請求の範囲と均等の範囲を含む。例えば、上記実施形態では、ＣＰＵ１０４の読み出したプログラムにより本発明の処理部を構成したが、例えばＦＰＧＡ（Field-Programmable Gate Array）により本発明の処理部を実現することも可能である。

１，１Ａ…データ処理システム
１０…データ処理装置
１１…ミキサ
１２…照明コントローラ
１３…映像機器
１４…ＧＰＩ制御機器
１５…ＭＩＤＩ機器
１６…レーザーコントローラ
１０１…表示器
１０２…ユーザＩ／Ｆ
１０３…フラッシュメモリ
１０４…ＣＰＵ
１０５…ＲＡＭ
１０６…通信Ｉ／Ｆ
１５４…処理部

Claims (14)

1. 　複数チャンネルのオーディオデータを格納したマルチトラックオーディオデータを生成するデータ処理方法であって、
   　第１のチャンネルに、デジタルオーディオ信号のデータ列を格納し、
   　第２のチャンネルに、前記デジタルオーディオ信号と関連し、オーディオデータとは異なるデジタル信号を、デジタルオーディオ信号のデータ列として格納する、
   　データ処理方法。
2. 　前記マルチトラックオーディオデータを配信する、
   　請求項１に記載のデータ処理方法。
3. 　複数チャンネルのオーディオデータを格納したマルチトラックオーディオデータを再生するデータ処理方法であって、
   　第１のチャンネルに格納されたデータ列をデジタルオーディオ信号として再生し、
   　第２のチャンネルに格納されたデータ列を、前記デジタルオーディオ信号と関連し、オーディオデータとは異なるデジタル信号として再生する、
   　データ処理方法。
4. 　前記第２のチャンネルには、前記デジタル信号の種類を示す識別情報が含まれている、
   　請求項１乃至請求項３のいずれか１項に記載のデータ処理方法。
5. 　前記第２のチャンネルは、前記第１のチャンネルに格納された前記デジタルオーディオ信号のサンプリング周波数と同じ周波数で構成されている、
   　請求項１乃至請求項５のいずれか１項に記載のデータ処理方法。
6. 　前記第２のチャンネルは、複数サンプルのデータを含み、
   　前記複数のサンプルのデータのうち少なくとも１つのデータは無効データであり、
   　前記デジタル信号は、前記第２のチャンネルのうち前記無効データ以外のサンプルに格納されている、
   　請求項１乃至請求項５のいずれか１項に記載のデータ処理方法。
7. 　前記デジタル信号は、複数チャンネルまたは複数種類のデータを含み、
   　前記第２のチャンネルは、前記複数チャンネルまたは複数種類のデータのデジタル信号を格納する、
   　請求項１乃至請求項５のいずれか１項に記載のデータ処理方法。
8. 　前記第２のチャンネルは、複数のチャンネルを含み、
   　前記デジタル信号は、前記複数のチャンネルにまたがって格納される、
   　請求項１乃至請求項５のいずれか１項に記載のデータ処理方法。
9. 　前記デジタル信号は、照明機器の制御信号を含む
   　請求項１乃至請求項８のいずれか１項に記載のデータ処理方法。
10. 　前記制御信号は、複数チャンネルの制御信号を含み、
    　前記第２のチャンネルには、前記複数チャンネルのチャンネル番号を示すチャンネル情報が含まれている、
    　請求項９に記載のデータ処理方法。
11. 　前記デジタル信号は、映像信号を含む
    　請求項１乃至請求項９のいずれか１項に記載のデータ処理方法。
12. 　前記デジタル信号は、所定のマルチトラックオーディオデータのプロトコルに準ずるように構成されている、
    　請求項１乃至請求項１１のいずれか１項に記載のデータ処理方法。
13. 　複数チャンネルのオーディオデータを格納したマルチトラックオーディオデータを生成するデータ処理装置であって、
    　　第１のチャンネルに、デジタルオーディオ信号のデータ列を格納し、
    　　第２のチャンネルに、前記デジタルオーディオ信号と関連し、オーディオデータとは異なるデジタル信号を、デジタルオーディオ信号のデータ列として格納する、
    　処理部を備えた、
    　データ処理装置。
14. 　複数チャンネルのオーディオデータを格納したマルチトラックオーディオデータを再生するデータ処理装置であって、
    　　第１のチャンネルに格納されたデータ列をデジタルオーディオ信号として再生し、
    　　第２のチャンネルに格納されたデータ列を、前記デジタルオーディオ信号と関連し、オーディオデータとは異なるデジタル信号として再生する、
    　処理部を備えたデータ処理装置。

Images