JP5605458B2

JP5605458B2 - ミキシング中継装置及びミキシングシステム

Info

Publication number: JP5605458B2
Application number: JP2013096176A
Authority: JP
Inventors: 幸生多田
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 2013-05-01
Filing date: 2013-05-01
Publication date: 2014-10-15
Anticipated expiration: 2029-03-27
Also published as: JP2013192244A

Description

本発明は、遠隔でミキシングする技術に関する。

従来、オーディオミキサを携帯型端末で遠隔制御する技術が提案されている（下記特許文献１参照）。この技術は、オーディオミキサと携帯型端末が通信ネットワークを介して接続され、オーディオミキサの操作子の機能を携帯型端末に持たせるように構成したものであり、オーディオミキサは、携帯型端末において操作された操作量に基づいてミキシングのパラメータ設定を更新してミキシング処理を行う。

特開２００７−２５８８２６号公報

ところで、コンサート会場等で用いられるミキサは高性能である反面、ミキサ本体は大型であるため移動して設置するのは容易ではない。上記従来技術は、携帯端末を用いてミキサを遠隔制御することはできるが、ミキサ本体をコンサート会場へ設置しなければコンサート会場においてミキシングした音声を放音することはできない。
本発明は、ミキサ本体をコンサート会場等へ移動させることなく、ミキシング処理を行うことができるミキシング中継装置及びミキシングシステムを提供する。

本発明に係るミキシング中継装置は、映像データをネットワーク接続されたミキシング装置へ送信する送信手段と、前記送信手段が送信した前記映像データの応答データとして、当該映像データがリアルタイムにミキシング処理されたミキシング映像データを前記ミキシング装置から前記ネットワークを介して受信する受信手段と、前記受信手段により受信された前記ミキシング映像データを出力する出力手段とを備える。

上記ミキシング中継装置において、前記送信手段が、前記映像データ及びオーディオデータを前記ミキシング装置へ送信し、前記受信手段が、前記送信手段が送信した前記映像データ及び前記オーディオストリームデータの応答データとして、リアルタイムにミキシング処理された前記ミキシング映像データと、前記オーディオデータがリアルタイムにミキシング処理されたミキシングオーディオデータとを、前記ミキシング装置から前記ネットワークを介して受信し、前記出力手段が、前記受信手段により受信された前記ミキシング映像データ及び前記ミキシングオーディオデータを出力するようにしてもよい。

本発明に係るミキシングシステムは、ネットワーク接続されたミキシング中継装置とミキシング装置を含むミキシングシステムであって、前記ミキシング中継装置は、映像データを前記ミキシング装置へ送信する送信手段と、前記送信手段が送信した前記映像データの応答データとして、当該映像データがリアルタイムにミキシング処理されたミキシング映像データを前記ミキシング装置から前記ネットワークを介して受信する受信手段と、前記受信手段により受信された前記ミキシング映像データを出力する出力手段とを備え、前記ミキシング装置は、前記ミキシング中継装置から前記映像データを受信する受信手段と、前記受信手段により受信された前記映像データをリアルタイムにミキシング処理してミキシング映像データを生成するミキシングデータ生成手段と、前記ミキシングデータ生成手段により生成された前記ミキシング映像データを前記ミキシング中継装置へ送信する送信手段とを備える。

本発明によれば、ミキシング装置を移動させることなく、ネットワークを介して接続されたミキシング装置においてミキシングされた映像をリアルタイムで出力することができる。

実施形態に係るミキシングシステム１の構成例を示す図である。（ａ）は、実施形態に係る会場ゲートウェイ２の外観を示す図である。（ｂ）は、実施形態に係る会場ゲートウェイ２のブロック図である。（ａ）は、実施形態に係るスタジオゲートウェイ３ａとスタジオミキサの外観を示す図である。（ｂ）は、実施形態に係るスタジオゲートウェイ３ａとスタジオミキサ３ｂのブロック図である。実施形態に係るミキシングシステム１の動作フローを示す図である。実施形態に係るチャネル情報のデータ例を示す図である。 (ａ）は、符号化オーディオパケットのフレームデータを説明する図である。（ｂ）は、ミキシングフレームデータを説明する図である。変形例に係るスタジオゲートウェイとスタジオミキサのブロック図である。変形例に係るスタジオミキサの外観を示す図である。

以下、図面を参照して本発明に係る実施形態のミキシングシステムについて説明する。
＜実施形態＞
（概要）
図１は、本実施形態に係るミキシングシステム１の構成例を示している。本実施形態のミキシングシステム１は、ミキシング中継装置である会場ゲートウェイ２、スタジオゲートウェイ３ａ及びスタジオミキサ３ｂを含むミキシング装置３で構成され、会場ゲートウェイ２とスタジオゲートウェイ３ａの間はネットワーク４により接続されている。
ミキシングシステム１は、コンサート会場においてギター２１、ドラム２２、キーボード２３等を用いて演奏された音声を会場ゲートウェイ２によりスタジオゲートウェイ３ａを介してスタジオミキサ３ｂへ送信し、スタジオミキサ３ｂによってミキシングされた音声を再びスタジオゲートウェイ３ａを介して会場ゲートウェイ２へ送信してコンサート会場のＰＡシステム（パワーアンプ２５ａ及びスピーカ２５ｂ）により放音するものである。なお、本実施形態では、ネットワーク４のネットワーク遅延は１０ｍｓ以下を想定しているが、これは、近年普及が目覚しいブロードバンドネットワーク（例えば、光ファイバを用いた光ネットワーク等）におけるネットワーク遅延は１０ｍｓ程度以下であることに対応させたものである。以下、ミキシングシステム１の構成について説明する。

（構成）
まず、会場ゲートウェイ２について図２を用いて説明する。図２（ａ）は、会場ゲートウェイ２の外観を示している。図示のｔ１〜ｔ４は、オーディオ機器を接続するための入力端子であり、本実施形態では、各入力端子ｔ１〜ｔ４には、図１に示したキーボード２３、及びマイク２４ａ〜２４ｃが接続される。なお、本実施形態では４つの入力端子を設ける例について説明するが、２つ以上であれば入力端子の数はこれに限らない。また、図示のＥは、イーサネット（登録商標）ケーブル２７を接続するコネクタであり、会場ゲートウェイ２は、イーサネットケーブル２７を介してネットワーク４と接続する。
図の２３０は、数字やアルファベットやカナ文字等の文字入力を行うための操作ボタン群であり、２４０は、操作ボタン群２３０が操作された文字等を表示するディスプレイである。

次に、会場ゲートウェイ２の構成について図２（ｂ）を用いて説明する。会場ゲートウェイ２は、制御部２００、音声入力部２１０、符号化部２２０、操作部２３０、表示部２４０、記憶部２５０、通信Ｉ／Ｆ２６０、復号化部２７０、及びモニタ用ミキサ２８０を含んで構成されている。
制御部２００は、ＣＰＵ（Central Processing Unit）と、ＲＯＭ（Read only Memory）及びＲＡＭ（Random Access Memory）とを含んで構成されており、ＲＡＭをワーキングエリアとしてＲＯＭに記憶されている制御プログラムを実行することにより、制御部２００と接続された各部を制御する。

音声入力部２１０は、図２（ａ）に示す入力端子ｔ１〜ｔ４を有し、各入力端子ｔ１〜ｔ４に供給されたオーディオ信号に対して信号レベル調整などの所定の信号処理を行うインタフェースである。入力端子ｔ１〜ｔ４に供給されるオーディオ信号は、それぞれチャネルＣＨ１〜ＣＨ４の信号として以後処理される。上記したように、各入力端子ｔ１〜ｔ４にはマイク２４ａ〜２４ｃ及びキーボード２３が接続されるが、キーボード２３は音源回路を内蔵しており、アナログの楽音信号（オーディオ信号）を出力するようになっている。

符号化部２２０は、音声入力部２１０が出力する各チャネルＣＨ１〜ＣＨ４毎のオーディオ信号をＡ／Ｄ変換し、所定の符号化方式を用いて符号化して符号化オーディオデータを出力する。操作部２３０は、図２（ａ）に示す操作ボタン群２３０を有し、操作者によって適宜操作され、操作されたボタン操作を示す情報を制御部２００に送出する。表示部２４０は、図２（ａ）に示すディスプレイ２４０を有し、操作部２３０の操作によって入力された数字や文字列の画像を表示する。記憶部２５０は、不揮発性メモリ等で構成された記憶手段であり、後述するチャネル情報設定処理により設定されたチャネル情報などの各種データを記憶する。

通信Ｉ／Ｆ２６０は、図２（ａ）に示すイーサネットケーブル２７を接続するコネクタＥを有する通信インタフェースであり、イーサネットケーブル２７を介してネットワーク４と接続してスタジオゲートウェイ３ａとの間で通信を確立し、チャネルＣＨ１〜ＣＨ４の符号化オーディオデータを含むフレームデータを生成してスタジオゲートウェイ３ａに送信し、スタジオゲートウェイ３ａからミキシングされたオーディオストリームデータ（以下、ミキシングストリームデータと言う）のフレームデータを受信する。復号化部２７０は、通信Ｉ／Ｆ２６０が受信したミキシングストリームデータを復号してＤ／Ａ変換したオーディオ信号を出力する。

また、モニタ用ミキサ２８０は、制御部２００の制御の下、演奏開始から所定テンポのクリック音を出力すると共に、音声入力部２１０から出力されるチャネルＣＨ１〜ＣＨ４の各オーディオ信号をユーザ操作に応じたパラメータ（音量、音質等）に従ってミキシングして出力する。

次に、スタジオゲートウェイ３ａ及びスタジオミキサ３ｂについて説明する。まず、図３（ａ）を用いて、スタジオゲートウェイ３ａとスタジオミキサ３ｂの外観を説明する。図に示すように、スタジオゲートウェイ３ａとスタジオミキサ３ｂは、スタジオゲートウェイ３ａの出力端子ａ１〜ａ４とスタジオミキサ３ｂの入力端子ｂ１〜ｂ４、スタジオゲートウェイ３ａの入力端子ａ５とスタジオミキサ３ｂの出力端子ｂ５の各々がケーブル３２で接続されている。
また、スタジオゲートウェイ３ａには、イーサネットケーブル３１を接続するイーサネット用のコネクタ（図示略）が設けられ、イーサネットケーブル３１を介してネットワーク４と接続されている。

スタジオゲートウェイ３ａの出力端子ａ１〜ａ４と、会場ゲートウェイ２のチャネルＣＨ１〜ＣＨ４は各々対応するように設定されており、スタジオゲートウェイ３ａの出力端子ａ１〜ａ４からはチャネルＣＨ１〜ＣＨ４の各オーディオストリームデータが出力され、各々に接続されたケーブル３２を介してスタジオミキサ３ｂの入力端子ｂ１〜ｂ５に入力される。スタジオミキサ３ｂの出力端子ｂ５からはスタジオミキサ３ｂにおいてミキシングされたミキシングストリームデータが出力され、出力端子ｂ５に接続されたケーブル３２を介してスタジオゲートウェイ３ａに入力される。

また、スタジオミキサ３ｂには、入力端子ｂ１〜ｂ４と対応し、入力端子ｂ１〜ｂ４から出力されるオーディオストリームデータの音量を調整するための操作子ｂ１１〜ｂ１４が設けられると共に、操作子ｂ１１〜ｂ１４と対応して、オーディオストリームデータを識別するソース情報を表示するためのディスプレイｂ２１〜ｂ２４が各操作子の上部に設けられている。従って、この例では、例えば操作子ｂ１１に対応するオーディオストリームデータのソース情報はディスプレイｂ２１に表示される。

次に、スタジオゲートウェイ３ａとスタジオミキサ３ｂの構成について図３（ｂ）を用いて説明する。スタジオゲートウェイ３ａは、制御部３１０と通信Ｉ／Ｆ３１１を含んで構成されている。制御部３１０は、ＣＰＵ、ＲＯＭ及びＲＡＭを含んで構成されており、ＲＡＭをワーキングエリアとしてＲＯＭに記憶されている制御プログラムを実行することにより通信Ｉ／Ｆ３１１を制御する。

通信Ｉ／Ｆ３１１は、制御部３１０の制御の下、ネットワーク４に接続された会場ゲートウェイ２を認証して通信を確立すると共に、会場ゲートウェイ２からチャネルＣＨ１〜ＣＨ４の各符号化オーディオデータを含むフレームデータを受信し、受信したフレームデータ内の各チャネルの符号化オーディオデータを制御部３１０へ送出する。また、スタジオミキサ３ｂから入力されたミキシングストリームデータのフレームデータを生成して会場ゲートウェイ２に送信する。

スタジオミキサ３ｂは、制御部３２０、信号処理部３２１、操作部３２２、表示部３２３を含んで構成されている。制御部３２０は、ＣＰＵ、ＲＯＭ及びＲＡＭを含んで構成されており、ＲＡＭをワーキングエリアとしてＲＯＭに記憶されている制御プログラムを実行することにより、制御部３２０に接続された各部を制御する。信号処理部３２１は、ＤＳＰ（Digital Signal Processor）等のマイクロプロセッサで構成されており、入力端子ｂ１〜ｂ４の各々から出力されたチャネルＣＨ１〜ＣＨ４の符号化オーディオデータの音量パラメータを操作子ｂ１１〜ｂ１４のユーザ操作に応じて調整して合成したミキシングオーディオデータを制御部３２０へ送出する。

操作部３２２は、図３（ａ）に示す操作子ｂ１１〜ｂ１４を有し、ユーザが操作した操作子ｂ１１〜ｂ１４の各操作量を示す情報を制御部３２０に送出する。表示部３２３は、図３（ａ）に示すディスプレイｂ２１〜ｂ２４を有し、制御部３２０の制御の下、各ディスプレイｂ２１〜ｂ２４の各々に対応する符号化オーディオデータのソース情報の内容を表示する。

（動作）
次に、本実施形態のミキシングシステム１の動作について説明する。図４は、ミキシングシステム１の動作フローを示している。会場ゲートウェイ２は、まず初期設定処理として以下の処理を行う（ステップＳ１０）。ユーザは、まず演奏開始前に各チャネルＣＨ１〜ＣＨ４に対応するソース情報を設定するためのチャネル情報設定処理を行う。例えば、図１の例において、入力端子ｔ１にマイク２４ａが接続され、ギター２１の音声をマイク２４ａが収音する場合、ユーザは、操作部２３０を操作してチャネル「ＣＨ１」を入力し、チャネルＣＨ１のソース情報として「ギター」の文字を入力する。制御部２００は、ユーザによって入力されたチャネル「ＣＨ１」と「ギター」を対応づけ、他のチャネルＣＨ２〜ＣＨ４についても同様に設定して、図５に示すチャネル情報１００を記憶部２５０へ記憶する。

ユーザは、チャネル情報設定処理の後、コンサートの開始時に操作部２３０を操作して演奏開始を指示する操作を行う。制御部２００は、操作部２３０を介して演奏開始の指示を受付けると、通信Ｉ／Ｆ２６０を介して会場ゲートウェイ２を識別する識別情報を含む演奏開始情報をスタジオゲートウェイ３ａへ送信し、スタジオゲートウェイ３ａにおいて演奏開始情報を受信して認証を行い相互に通信を確立する。また、制御部２００は、演奏開始の指示をモニタ用ミキサ２８０に送出し、モニタ用ミキサ２８０によりクリック音の信号を出力し、モニタ用アンプ２６ａによりクリック音の信号を増幅してモニタ用スピーカ２６ｂから出力する。演奏者は、モニタ用ミキサ２８０により出力されるクリック音をモニタ用スピーカ２６ｂ又はイヤホンで聞きながら演奏を開始する。

演奏が開始されると、制御部２００は、音声入力部２１０によりチャネルＣＨ１〜ＣＨ４の各オーディオ信号を順次受付け、符号化部２２０によりチャネルＣＨ１〜ＣＨ４の各オーディオ信号をＡ／Ｄ変換して符号化し、チャネルＣＨ１〜ＣＨ４毎の符号化オーディオデータを生成する（ステップＳ１１）。なお、音声入力部２１０から入力されたチャネルＣＨ１〜ＣＨ４の各オーディオ信号は、モニタ用ミキサ２８０にも同時に送出され、モニタ用ミキサ２８０により通常のミキシング処理を行い、モニタ用スピーカ２６ｂ又は演奏者のイヤホンへチャネルＣＨ１〜ＣＨ４のミキシングされた音声が出力される。

次に、制御部２００は、符号化部２２０によって生成されたチャネルＣＨ１〜ＣＨ４の各符号化オーディオデータを所定のプロトコル（例えば、ＲＴＰ（Real-time Transport Protocol））に従って各々パケット化する。そして、記憶部２５０に記憶されているチャネル情報１００を読み出し、チャネルＣＨ１〜ＣＨ４の各パケットのパケットヘッダにそのチャネルに対応するチャネル情報と、パケットのシーケンス番号と、タイムスタンプ情報（例えば、パケット内の最初の符号化オーディオデータが生成された時刻）と、送信元情報（会場ゲートウェイ２のＩＰアドレス）と、送信先情報（スタジオゲートウェイ３ａのＩＰアドレス）を含め、チャネルＣＨ１〜ＣＨ４の符号化オーディオパケットを各々生成して通信Ｉ／Ｆ２６０に送出する。そして、通信Ｉ／Ｆ２６０により、チャネルＣＨ１〜ＣＨ４の各符号化オーディオパケットを１フレーム内に配列したフレームデータを生成する（ステップＳ１２）。

このようにして生成されたフレームデータの例を図６（ａ）に示す。図６（ａ）の１１０は、フレームデータの集合であり、フレーム１〜フレームｎは、各々１フレーム内のフレームデータを示している。各フレームデータは、フレーム１に示すように、会場ゲートウェイ２とスタジオゲートウェイ３ａのアドレスを含むフレームヘッダ１１１と、チャネルＣＨ１〜ＣＨ４の符号化オーディオパケット１１２ａ〜１１２ｄを含むフレームデータで構成されている。また、符号化オーディオパケット１１２ａ〜１１２ｄの各々は、チャネル情報を含むパケットヘッダ１１３と符号化オーディオデータを含むデータ部１１４とで構成されている。このように、チャネルＣＨ１〜ＣＨ４の各符号化オーディオデータとチャネル情報が１フレームに配列されてフレームデータが生成される。

図４の動作説明に戻る。制御部２００は、ステップＳ１２において生成したフレームデータを通信Ｉ／Ｆ２６０を介してスタジオゲートウェイ３ａへ順次送信する（ステップＳ１３）。
スタジオゲートウェイ３ａの通信Ｉ／Ｆ３１１は、会場ゲートウェイ２からフレームデータタを順次受信し、受信したフレームデータの各符号化オーディオパケットを制御部３１０へ送出する（ステップＳ２０）。制御部３１０は、各符号化オーディオパケット内の各チャネル情報に基づいて、チャネルＣＨ１〜ＣＨ４に対応する出力端子ａ１〜ａ４から各チャネルの符号化オーディオパケットのシーケンス番号、符号化オーディオデータ、及びチャネル情報を出力してスタジオミキサ３ｂに入力する（ステップＳ２１）。

スタジオミキサ３ｂの制御部３２０は、入力された符号化オーディオパケットのシーケンス番号をＲＡＭに記憶し、入力されたチャネル情報に基づいて、チャネルＣＨ１〜ＣＨ４に対応するディスプレイｂ２１〜ｂ２４の各々にそのチャネルのソース情報の内容を表示する（ステップＳ２２）。

また、制御部３２０は、信号処理部３２１により、符号化オーディオパケットのシーケンス番号の順に、スタジオゲートウェイ３ａから入力されたチャネルＣＨ１〜ＣＨ４の各符号化オーディオデータについて、各チャネルに対応する操作子ｂ１１〜ｂ１４の操作に応じたパラメータの設定を行い、合成したミキシングストリームデータを生成する。そして、制御部３２０は、生成したミキシングストリームデータを所定のプロトコル（例えば、ＲＴＰ）に従ってパケット化し、そのミキシングストリームデータに対応する符号化オーディオパケットのシーケンス番号をＲＡＭから読み出し、パケットヘッダにシーケンス番号を含めたミキシングオーディオパケットを生成してスタジオゲートウェイ３ａへ出力
する（ステップＳ２３）。

スタジオゲートウェイ３ａの制御部３１０は、通信Ｉ／Ｆ３１１により、スタジオミキサ３ｂから入力されたミキシングオーディオパケットを含むフレームデータ（以下、ミキシングフレームデータと言う）を生成し（ステップＳ２４）、会場ゲートウェイ２へ順次送信する（ステップＳ２５）。ここで、スタジオゲートウェイ３ａから送信するフレームデータの例を図６（ｂ）に示す。図６（ｂ）の１２０は、ミキシングフレームデータの集合を示しており、フレーム１〜フレームｎで示す各ミキシングフレームデータは、フレームヘッダ１２１と、チャネルＣＨ１〜ＣＨ４の符号化オーディオデータがミキシングされたミキシングオーディオパケットを含むデータ部１２２で構成される。

図４の動作説明に戻る。会場ゲートウェイ２の制御部２００は、スタジオゲートウェイ３ａから通信部Ｉ／Ｆ２６０を介してミキシングフレームデータを受信し、受信したミキシングフレームデータのミキシングオーディオパケットのシーケンス番号を確認する（ステップＳ１４）。制御部２００は、シーケンス番号の順に、受信したミキシングフレームデータを復号化部２７０により復号してＤ／Ａ変換したオーディオ信号をパワーアンプ２５ａに出力し（ステップＳ１５）、パワーアンプ２５ａにより増幅されたオーディオ信号がスピーカ２５ｂから放音される。

制御部２００は、演奏終了の指示をユーザから受付けるまでステップＳ１１以下の処理を繰り返し行い（ステップＳ１６：ＮＯ）、演奏終了の指示を受付けたときに（ステップＳ１６：ＹＥＳ）、演奏終了を示す演奏終了情報を通信Ｉ／Ｆ２６０を介してスタジオゲートウェイ３ａに送信して通信接続を終了する（ステップＳ１７）。
また、スタジオゲートウェイ３ａ及びミキサ装置３ｂは、会場ゲートウェイ２からの演奏終了情報を通信Ｉ／Ｆ３１１を介して受信するまではステップＳ２０以下の処理を繰り返し行い（ステップＳ２６：ＮＯ）、演奏終了情報を受信した場合に会場ゲートウェイ２との通信接続を終了する（ステップＳ２６：ＹＥＳ）。

本実施形態では、コンサート会場には会場ゲートウェイ２だけを設置するだけで、コンサート会場で演奏されている音声をスタジオでミキシング処理し、ミキシングされた音声をコンサート会場で放音することができる。そのため、スタジオのスタジオミキサ３ｂをコンサート会場へ移動させて設置することなくリアルタイムでコンサート会場にミキシングされた音声（オーディオ信号）の出力を行うことができる。また、チャネルＣＨ１〜ＣＨ４のソース情報を各チャネルに対応する操作子上に設けられたディスプレイに表示させることができるので、ユーザは、パラメータを調整するチャネルのソース情報を確認しながらパラメータを調整することができる。本実施形態では、ミキシングされたオーディオ信号は、ミキシング処理などの信号処理時間やネットワーク遅延の分だけ、実際に演奏された時点の音より遅れるが、一般にコンサート会場では、スピーカから出力される音が観客に届くまでの空中伝搬遅延があり、本実施形態におけるネットワーク遅延等は、空中伝搬遅延にくらべて小さいため、実用的にはほとんど影響はない。

＜変形例＞
以下、本発明の変形例について説明する。
（１）上述した実施形態では、スタジオミキサ３ｂは会場ゲートウェイ２から送信された音声データに対してのみミキシング処理を行う例について説明したが、会場ゲートウェイ２から送信されたオーディオストリームデータに他のオーディオ信号を合成してミキシングストリームデータを生成するようにしてもよい。この場合には、スタジオミキサ３ｂにおいて、別の会場やスタジオで演奏されているオーディオ信号を取得し、取得したオーディオ信号を符号化したオーディオデータと会場ゲートウェイ２から送信されたオーディオストリームデータとをユーザ操作に応じてミキシングするように構成する。また、予めスタジオミキサ３ｂに記憶されている又はネットワーク４を介して受信したＭＩＤＩ等の楽音データ等と、会場ゲートウェイ２から送信されたオーディオストリームデータとをミキシングするようにしてもよい。この場合には、図７に示すように、例えば会場ゲートウェイ２から送信されたＭＩＤＩデータを再生する音源装置３２４をスタジオミキサ３ｂに接続し、音源装置３２４によって再生されたオーディオ信号のオーディオデータとオーディオストリームデータとを信号処理部３２１によりミキシングするように構成する。

（２）また、上述の実施形態は、コンサート会場で演奏されたオーディオストリームデータのみをスタジオゲートウェイ３ａに送信する例であったが、コンサート会場を撮影した映像ストリームデータとオーディオストリームデータをスタジオゲートウェイ３ａに送信するようにしてもよい。この場合には、コンサート会場にカメラを設置し、演奏中に撮影した映像信号をカメラから会場ゲートウェイ２に送出し、映像信号と各チャネルＣＨ１〜ＣＨ４のオーディオ信号とをＭＰＥＧ２等の符号化方式を用いて符号化した符号化データをフレーム単位にスタジオゲートウェイ３ａに送信する。スタジオゲートウェイ３ｂは、符号化データを復号して映像データとオーディオデータに分離し、映像データをスタジオに予め設置されたモニタに表示し、オーディオデータはスタジオミキサ３ｂによりミキシング処理を行って出力するよう構成する。これにより、スタジオにいるユーザはコンサート会場の状態をモニタで確認しながらミキシング操作を行うことができる。

また、コンサート会場の客席にモニタ用のマイクを設置し、このマイクにより収音したオーディオ信号をスタジオゲートウェイ３ａに送信し、スタジオにいるエンジニアがこのオーディオ信号をモニタできるようにしてもよい。この場合には、客席に設置されているマイクを会場ゲートウェイ２に接続し、会場ゲートウェイ２において、このマイクにより収音したオーディオ信号を例えばチャネルＣＨ５のオーディオ信号とし、チャネルＣＨ５のソース情報として「客席マイク」のようにチャネル情報を設定しておく。会場ゲートウェイ２は、客席用のマイクにより収音したオーディオ信号を符号化部２２０により符号化してチャネル情報を付加したオーディオデータをパケット化してフレームデータを生成し、チャネルＣＨ１〜ＣＨ４の符号化オーディオデータのフレームデータとは別にしてスタジオゲートウェイ３ａに順次送信する。スタジオゲートウェイ３ａは、チャネルＣＨ５のオーディオデータのパケットを含むフレームデータを通信Ｉ／Ｆ３１１により受信した場合に、そのオーディオデータを復号化してオーディオ信号をスピーカ等に出力する音声処理部を設けるように構成する。このように構成することにより、スタジオにいるエンジニアは実際にコンサート会場の客席で聞こえている音を参考にしながらミキシングを行うことができる。

また、スタジオゲートウェイ３ａは、スタジオに送信された映像データに別の映像データを合成し、ミキシングストリームデータと共に会場ゲートウェイ２に送信する。そして、会場ゲートウェイ２において、スタジオゲートウェイ３ａから送信された映像データを予め会場に設置されたモニタに表示するようにしてもよい。この場合には、スタジオゲートウェイ３ａにおいて、別の会場やスタジオにおいて撮影された映像データを取得し、会場ゲートウェイ２から送信された映像データと合成し、ミキシング処理されたミキシングストリームデータと合成した映像データとをＭＰＥＧ２等の符号化方式を用いて符号化した符号化データを会場ゲートウェイ２に送信するように構成する。会場ゲートウェイ２は、スタジオゲートウェイ３ａから送信された符号化データを復号し、合成映像データを会場に設置されたモニタに表示し、ミキシングストリームデータのオーディオ信号を出力する。

（３）上述した実施形態は、スタジオにいるユーザが、会場ゲートウェイ２から送信されたオーディオストリームデータをスタジオミキサ３ｂを用いてミキシング処理する例であったが、コンサート会場にいるユーザがミキシング処理のパラメータを指示するようにしてもよい。この場合には、会場ゲートウェイ２にチャネルＣＨ１〜ＣＨ４の各パラメータを設定する操作子を設け、各操作子を用いて設定された各チャネルのパラメータ情報をそのチャネルの符号化オーディオデータと対応づけたフレームデータを生成してスタジオゲートウェイ３ａに送信するように構成する。スタジオゲートウェイ３ａは、フレームデータに含まれる各チャネルの符号化オーディオデータとパラメータ情報をスタジオミキサ３ｂへ出力し、スタジオミキサ３ｂの信号処理部３２１は、チャネル毎の符号化オーディオデータに対応するパラメータ情報に従って、その符号化オーディオデータのパラメータを設定する。

（４）上述した実施形態は、スタジオゲートウェイ３ａはミキシングストリームデータを会場ゲートウェイ２のみに送信する例であったが、会場ゲートウェイ２を別の会場やスタジオにも設置し、その会場やスタジオにミキシングストリームデータを送信するように構成してもよい。

（５）上述した実施形態は、スタジオミキサ３ｂはチャネルＣＨ１〜ＣＨ４に対応する操作子ｂ１１〜ｂ１４が設けられている例であったが、チャネル数より少ない数の操作子を設けるようにしてもよい。この場合には、例えば、図８に示すように、ミキサ装置３ｂ−１において、４つのチャネルＣＨ１〜ＣＨ４に対して２つの操作子ｂ１１及びｂ１２が設けられている場合、操作子ｂ１１及びｂ１２の各々についてチャネルを選択するセレクタスイッチｂ３０を設け、選択されたチャネルの符号化オーディオデータのパラメータをその操作子に割当てるように構成する。

（６）上述した実施形態は、会場ゲートウェイ２及びスタジオゲートウェイ３ａはネットワーク４を介して接続されている例であったが、ネットワーク４以外の他のネットワークを介しても接続できるようにネットワークを二重化して構成してもよい。
（７）上述した実施形態は、スタジオミキサ３ｂの信号処理部３２１において、チャネルＣＨ１〜ＣＨ４の各符号化オーディオデータについて１チャネルの音量パラメータを調整する例であったが、コンサート会場にＬチャネル用スピーカとＲチャネル用スピーカを設ける場合には、ＬチャネルとＲチャネルの２チャネルの音量パラメータを調整してミキシングするようにしてもよい。この場合には、スタジオミキサ３ｂに各チャネルの符号化オーディオデータについてＬチャネルとＲチャネルのパン制御を行う操作子を設け、各チャネルについてパン制御されたＬチャネルとＲチャネルの符号化オーディオデータをミキシングしてミキシングストリームデータを生成するように構成する。また、Ｌ・Ｒの２チャネルだけなく３チャネル以上のパラメータを設定できるように構成してもよい。

（８）上述した実施形態では、スタジオミキサ３ｂにおいてチャネルＣＨ１〜ＣＨ４のオーディオ信号に基づくオーディオストリームデータの音量を制御してミキシングする例であったが、スタジオにエフェクター等を設置し、ミキシングストリームデータに音響効果を付与するように構成してもよい。

１…ミキシングシステム、２…会場ゲートウェイ（ミキシング中継装置）、３…ミキシング装置、３ａ…スタジオゲートウェイ、３ｂ…スタジオミキサ、４…ネットワーク、２５ａ…パワーアンプ、２５ｂ…スピーカ、２６ａ…モニタ用アンプ、２６ｂ…モニタ用スピーカ、２００，３１０，３２０…制御部、２１０…音声入力部、２２０…符号化部、２３０，３２２…操作部、２４０，３２３…表示部、２５０…記憶部、２６０，３１１…通信Ｉ／Ｆ、２７０…復号化部、２８０…モニタ用ミキサ、３２１…信号処理部

Claims

１フレーム内に映像データを配列した第１フレームデータを順次生成して映像ストリームデータを生成するとともに、１フレーム内に複数のチャネルのオーディオデータを配列した第２フレームデータを順次生成してオーディオストリームデータを生成する生成手段と、
前記生成手段により生成された前記映像ストリームデータ及び前記オーディオストリームデータをネットワーク接続されたミキシング装置へ送信する送信手段と、
前記送信手段が送信した前記映像ストリームデータ及び前記オーディオストリームデータの応答データとして、前記映像データがリアルタイムにミキシング処理されたミキシング映像データと、前記複数のチャネルのオーディオデータがリアルタイムにミキシング処理されたミキシングオーディオデータとを、前記ミキシング装置から前記ネットワークを介して受信する受信手段と、
前記受信手段により受信された前記ミキシング映像データ及び前記ミキシングオーディオデータを出力する出力手段と
を備えることを特徴とするミキシング中継装置。
前記生成手段は、前記映像データを符号化して符号化映像データを生成するとともに、前記複数のチャネルのオーディオデータを符号化して複数のチャネルの符号化オーディオデータを生成し、
前記第１フレームデータには、１フレーム内に前記符号化映像データが配列され、
前記第２フレームデータには、１フレーム内に前記複数のチャネルの符号化オーディオデータが配列され、
前記ミキシング映像データは、前記符号化映像データがリアルタイムにミキシング処理されたものであり、
前記ミキシングオーディオデータは、前記複数のチャネルの符号化オーディオデータがリアルタイムにミキシング処理されたものであり、
前記出力手段は、前記受信手段により受信された前記ミキシング映像データ及び前記ミキシングオーディオデータを復号して出力する
ことを特徴とする請求項１に記載のミキシング中継装置。
ネットワーク接続されたミキシング中継装置とミキシング装置を含むミキシングシステムであって、
前記ミキシング中継装置は、
１フレーム内に映像データを配列した第１フレームデータを順次生成して映像ストリームデータを生成するとともに、１フレーム内に複数のチャネルのオーディオデータを配列した第２フレームデータを順次生成してオーディオストリームデータを生成する生成手段と、
前記生成手段により生成された前記映像ストリームデータ及び前記オーディオストリームデータを前記ミキシング装置へ送信する送信手段と、
前記送信手段が送信した前記映像ストリームデータ及び前記オーディオストリームデータの応答データとして、前記映像データがリアルタイムにミキシング処理されたミキシング映像データと、前記複数のチャネルのオーディオデータがリアルタイムにミキシング処理されたミキシングオーディオデータとを、前記ミキシング装置から前記ネットワークを介して受信する受信手段と、
前記受信手段により受信された前記ミキシング映像データ及び前記ミキシングオーディオデータを出力する出力手段とを備え、
前記ミキシング装置は、
前記ミキシング中継装置から前記映像ストリームデータ及び前記オーディオストリームデータを受信する受信手段と、
前記受信手段により受信された前記映像ストリームデータ及び前記オーディオストリームデータに基づいて、前記映像データをリアルタイムにミキシング処理してミキシング映像データを生成するとともに、前記複数のチャネルのオーディオデータをリアルタイムにミキシング処理してミキシングオーディオデータを生成するミキシングデータ生成手段と、
前記ミキシングデータ生成手段により生成された前記ミキシング映像データ及び前記ミキシングオーディオデータを前記ミキシング中継装置へ送信する送信手段と
を備えることを特徴とするミキシングシステム。