JP6201460B2 - ミキシング管理装置 - Google Patents

Description

本発明は、音響の波形を表す複数の音響データのミキシングに関し、特に、ミキシングに適用されるパラメータの設定に関する。

楽曲の各演奏パートの演奏音を収録した複数の音響データをミキシングする技術が従来から提案されている。例えば特許文献１には、ミキシングエンジニアによるミキシングの傾向が反映されたテンプレートを事前に用意して複数の音響データのミキシングに適用する技術が開示されている。

特許第４０７９２６０号公報

複数の音響データは実際には多様な条件（収録環境や使用機材）のもとで収録される。特許文献１の技術では、音響データの収録条件とは無関係に事前に用意されたテンプレートがミキシングに適用されるから、各音響データの収録条件によっては、テンプレートで本来的に意図された適切なミキシングが実行されない可能性がある。以上の事情を考慮して、本発明は、収録条件の相違を補償して所期のミキシングを実現することを目的とする。

以上の課題を解決するために、本発明のミキシング管理装置は、楽曲の相異なる演奏パートの音響を表す複数の収録データの音響特性を表す収録特性データを取得する第１取得部と、楽曲の目標の音響特性を表す目標特性データを取得する第２取得部と、複数の収録データを対象としたミキシングの実行後の音響特性が、目標特性データで表される音響特性に近似するように、当該ミキシングに適用される制御パラメータを収録特性データと目標特性データとに応じて設定する設定部とを具備する。以上の構成では、複数の収録データに対するミキシングの実行後の音響特性が目標特性データで表される音響特性に近似するように、当該ミキシングに適用される制御パラメータが収録特性データと目標特性データとに応じて設定される。したがって、複数の収録データの収録条件を補償して所期のミキシングを実現することが可能である。

本発明に係るミキシング管理装置は、例えば通信網を介して端末装置と通信する通信装置（例えばサーバ装置）として実現され得る。具体的には、本発明の好適例に係るミキシング管理装置は、設定部が設定した制御パラメータと複数の収録データとを、通信網を介して端末装置に送信する通信制御部を具備する。また、本発明の別の態様に係るミキシング管理装置は、設定部が設定した制御パラメータを適用した複数の収録データのミキシングで調整音響データを生成する音響処理部と、通信網を介して調整音響データを端末装置に送信する通信制御部とを具備する。以上の態様では、音響処理部を各端末装置に搭載する必要がないという利点がある。

本発明の好適な態様において、第２取得部は、記憶装置に記憶された目標特性データを取得し、設定部が取得した制御パラメータを適用して複数の収録データをミキシングした音響の受聴者からの指示に応じて記憶装置の目標特性データを更新する更新部を具備する。以上の態様では、制御パラメータを適用して複数の収録データをミキシングした音響を受聴した利用者からの指示に応じて目標特性データが更新されるから、目標特性データを、利用者の所望の音響特性を指定する内容に更新できるという利点がある。また、相異なる受聴者からの指示に応じた複数の修正データを、各受聴者が使用する複数の端末装置から通信網を介して取得する指示受付部を具備し、指示受付部が取得した複数の修正データに応じて更新部が目標特性データを更新する構成によれば、目標特性データを多数の利用者にとって好適な内容に更新できるという格別の利点がある。

本発明の好適な態様において、第２取得部は、共通の楽曲について相異なる音響特性を表す複数の目標特性データの何れかを選択する。以上の態様では、共通の楽曲について相異なる音響特性を表す複数の目標特性データが選択的に制御パラメータの設定に利用されるから、１種類の目標特性データを制御パラメータの設定に固定的に適用する構成と比較して多様なミキシングを実現することが可能である。また、複数の目標特性データのうち利用者が選択した目標特性データを第２取得部が取得する構成によれば、利用者の意図や嗜好に合致したミキシングを実現できるという利点がある。

本発明の好適な態様において、収録特性データおよび目標特性データの各々が表す音響特性は、楽曲の複数の演奏パートの各々について、楽曲内の平均音量、音量の時間変化、音像位置、周波数特性および残響特性の少なくともひとつを包含する。例えば平均音量や音量の時間変化に加えて音像位置や残響特性を制御パラメータに反映させる構成によれば、多様かつ高度なミキシングを実現することが可能である。

以上の各態様に係るミキシング管理装置は、ミキシングに適用される制御パラメータの管理に専用されるＤＳＰ（Digital Signal Processor）などのハードウェア（電子回路）によって実現されるほか、ＣＰＵ（Central Processing Unit）等の汎用の演算処理装置とプログラムとの協働によっても実現される。本発明のプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされ得る。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ-ＲＯＭ等の光学式記録媒体（光ディスク）が好例であるが、半導体記録媒体や磁気記録媒体等の公知の任意の形式の記録媒体を包含し得る。また、例えば、本発明のプログラムは、通信網を介した配信の形態で提供されてコンピュータにインストールされ得る。

また、本発明は、制御パラメータを管理する方法（ミキシング管理方法）としても特定される。本発明のミキシング管理方法は、楽曲の相異なる演奏パートの音響を表す複数の収録データの音響特性を表す収録特性データを取得し、楽曲の目標の音響特性を表す目標特性データを取得し、複数の収録データを対象としたミキシングの実行後の音響特性が、目標特性データで表される音響特性に近似するように、当該ミキシングに適用される制御パラメータを収録特性データと目標特性データとに応じて設定する。

本発明の第１実施形態に係る音響処理システムのブロック図である。 複数の収録データのミキシングの説明図である。 各種のデータの説明図である。 音響処理システムの機能的な構成のブロック図である。 音響処理システムの動作の説明図である。 第２実施形態に係る音響処理システムの機能的な構成のブロック図である。 第２実施形態に係る音響処理システムの動作の説明図である。 修正データの説明図である。 第３実施形態における目標特性データの説明図である。 第３実施形態における音響処理システムの動作の説明図である。 目標特性データのリストの説明図である。 第４実施形態に係るミキシング管理装置の機能的な構成のブロック図である。 変形例に係るミキシング管理装置の機能的な構成のブロック図である。

＜第１実施形態＞
図１は、本発明の第１実施形態に係る音響処理システム１００のブロック図である。図１に例示される通り、音響処理システム１００は、複数の端末装置１２とミキシング管理装置１４とを具備する通信システムである。各端末装置１２は、例えば携帯電話機やスマートフォン等の通信端末であり、例えば移動通信網やインターネット等の通信網１６を介してミキシング管理装置１４と相互に通信する。

１個の端末装置１２について図１に代表的に図示される通り、各端末装置１２は、制御装置１２１と記憶装置１２２と通信装置１２３と表示装置１２４と入力装置１２５と放音装置１２６とを具備するコンピュータシステムで実現される。制御装置１２１は、記憶装置１２２に記憶されたプログラムを実行することで各種の制御処理および演算処理を実行する演算処理装置である。記憶装置１２２（例えば半導体記録媒体）は、制御装置１２１が実行するプログラムや制御装置１２１が使用する各種のデータを記憶する。通信装置１２３は、通信網１６を介してミキシング管理装置１４と通信する。なお、端末装置１２と通信網１６との間の通信は典型的には無線通信であるが、例えば据置型の情報処理装置を端末装置１２として利用する場合には端末装置１２と通信網１６とが有線通信することも可能である。

表示装置１２４（例えば液晶表示パネル）は、制御装置１２１から指示された画像を表示する。入力装置１２５は、端末装置１２に対する利用者からの指示を受付ける操作機器であり、例えば利用者が操作する複数の操作子を含んで構成される。なお、表示装置１２４と一体に構成されたタッチパネルを入力装置１２５として採用することも可能である。

第１実施形態の制御装置１２１は、記憶装置１２２に記憶されたプログラムを実行することで図２の音響処理部２２として機能する。図２に図示される通り、音響処理部２２は、楽曲の相異なる演奏パートに対応する複数の収録データＤAをミキシングすることで調整音響データＤBを生成する。各収録データＤAは、楽曲の特定の演奏パートについて事前に収録された演奏音（音声や楽音）の時間波形を表す音響データである。他方、調整音響データＤBは、複数の演奏パートで構成される楽曲の演奏音の時間波形を表す音響データ（例えば左右２チャネルの音響データ）である。

具体的には、音響処理部２２は、楽曲の複数の収録データＤAの各々について個別に音響処理を実行したうえで相互に加算することで調整音響データＤBを生成する。各収録データＤAに対する音響処理は、音響特性を変化させる各種の信号処理である。例えば、音響の平均音量を増減させる増幅処理や、音響の周波数特性（例えば帯域毎の音量）を変化させる特性調整処理や、音響を時間軸上で遅延させる遅延処理等が、収録データＤAに対する音響処理として例示される。音響処理部２２による複数の収録データＤAのミキシングには制御用のパラメータ（以下「制御パラメータ」という）Ｘが適用される。放音装置１２６は、音響処理部２２が生成した調整音響データＤBに応じた音響を再生する。なお、調整音響データＤBをデジタルからアナログに変換するＤ/Ａ変換器の図示は便宜的に省略した。

図１のミキシング管理装置１４は、各端末装置１２の音響処理部２２による複数の収録データＤAのミキシングを管理する。具体的には、第１実施形態のミキシング管理装置１４は、複数の収録データＤAのミキシングに適用される好適な制御パラメータＸを設定するサーバ装置（典型的にはウェブサーバ）であり、制御装置１４２と記憶装置１４４と通信装置１４６とを具備するコンピュータシステムで実現される。なお、相互に別体に構成された複数の装置（例えば通信網１６を介して相互に通信する複数のサーバ装置）でミキシング管理装置１４を実現することも可能である。制御装置１４２は、記憶装置１４４に記憶されたプログラムを実行することで各種の制御処理および演算処理を実行する演算処理装置である。通信装置１４６は、通信網１６を介して各端末装置１２と通信する。

記憶装置１４４は、制御装置１４２が実行するプログラムや制御装置１４２が使用する各種のデータを記憶する。例えば半導体記録媒体や磁気記録媒体等の公知の記録媒体または複数の記録媒体の組合せが記憶装置１４４として採用され得る。なお、ミキシング管理装置１４とは別体の外部装置（例えばサーバ装置）に記憶装置１４４を設置し、ミキシング管理装置１４が通信網１６を介して外部装置の記憶装置１４４に対する情報の書込や読出を実行する構成も採用され得る。

図３は、記憶装置１４４による記憶内容や制御装置１４２の動作内容の説明図である。図３に例示される通り、第１実施形態の記憶装置１４４は、複数の楽曲データＭを記憶する。各楽曲データＭは、楽曲名や歌手名等の関連情報を指定する属性データＭAと、楽曲の相異なる演奏パートに対応するＮ個（Ｎは２以上の自然数）の収録データＤAとを含んで構成される。Ｎ個の収録データＤAは、前述の通り、端末装置１２（音響処理部２２）によるミキシングの対象となる音響データである。楽曲のＮ個の演奏パートの演奏音を並列または個別に収録したＮ個（Ｎトラック）の収録データＤAが記憶装置１４４に記憶される。具体的には、音楽スタジオ等の音響空間における演奏音の収録（マルチトラック録音）で生成されたＮ個の収録データＤAが端末装置１２からミキシング管理装置１４に送信されたうえで記憶装置１４４に格納される。したがって、楽曲自体は複数の楽曲データＭで共通する場合でも、各収録データＤAの収録条件（収録環境や使用機器）は楽曲データＭ毎に相違し得る。なお、以下の説明では、各楽曲がＮ個の演奏パートで構成される場合を便宜的に例示するが、実際には演奏パートの総数は楽曲毎に相違し得る。

また、第１実施形態の記憶装置１４４は、図３に例示される通り、相異なる楽曲に対応する複数の目標特性データＲを記憶する。各目標特性データＲは、楽曲の模範的な演奏音の音響特性（すなわちミキシングの目標となる音響特性）を表すデータであり、図３に例示される通り、楽曲に関連する情報を指定する属性データＲAと、楽曲の相異なる演奏パートに対応するＮ個の単位データｒ[1]〜ｒ[N]とを含んで構成される。属性データＲAは、例えば、楽曲名や楽曲構成（イントロ，Ａメロ，Ｂメロ，サビ等の構造）等の関連情報を指定する。

１個の目標特性データＲに包含される各単位データｒ[n]（ｎ＝１〜Ｎ）は、楽曲を構成するＮ個の演奏パートのうち第ｎ番目の１個の演奏パートの演奏音の音響特性（目標の音響特性）を表す。具体的には、楽曲内の平均音量、音量の時間変化、音像位置（受聴者が知覚する音像が定位する位置）、周波数特性および残響特性等の音響特性が、各単位データｒ[n]で指定される。残響特性としては、例えば残響時間や、残響区間を時間軸上で初期反射区間と後部残響区間とに区分した場合の初期反射区間または後部残響区間の時間長等が例示される。

各単位データｒ[n]で指定される音響特性の種類は、演奏パート毎に個別に設定され、各演奏パート間では相違し得る。例えば、図３に例示される通り、ボーカルパートやギターパート等の有声音（調波音）が優勢な演奏パートの単位データｒ[n]は、調波構造（基音成分と複数の倍音成分との系列）の包絡線等の周波数特性の時間変化を包含し、ドラムパート（リズムパート）等の無声音（非調波音）が優勢な演奏パートの単位データｒ[n]は、楽曲のリズムに関する情報（例えば楽曲のテンポや各拍点の周期等）を包含する。

第１実施形態の目標特性データＲは、既存の音響データ（以下「目標データ」という）を解析することで事前に生成されて記憶装置１４４に格納される。例えば、音楽ＣＤ等の記録媒体に記録された既存の音響データや、各端末装置１２に対する配信用のＭＰ３形式の音響データを目標データ（すなわち模範的な演奏音の音響データ）として解析することで目標特性データＲが生成される。また、音響技術者等の制作者が手動で目標特性データＲを生成することも可能である。

図４は、第１実施形態におけるミキシング管理装置１４の機能的な構成図である。図４に例示される通り、ミキシング管理装置１４の制御装置１４２は、記憶装置１４４に記憶されたプログラムを実行することで、特定の楽曲（以下「対象楽曲」という）のＮ個の収録データＤAのミキシングに適用される制御パラメータＸを設定および利用するための複数の機能（第１取得部３２，第２取得部３４，設定部３６，通信制御部４２）を実現する。なお、制御装置１４２の各機能を複数の集積回路に分散した構成や、制御装置１４２の機能の一部を専用の電子回路（例えばＤＳＰ）が実現する構成も採用され得る。

図４の第１取得部３２は、対象楽曲のＮ個の収録データＤAが表す演奏音（例えば各利用者の実際の演奏音）の音響特性を表す収録特性データＱを取得する。前述の通り、各収録データＤAの収録条件（演奏音の音響特性）は楽曲データＭ毎に相違し得るから、楽曲自体は共通する場合でも各収録データＤAの音響特性を表す収録特性データＱは楽曲データＭ毎に相違し得る。

図３に例示される通り、収録特性データＱは、対象楽曲の相異なる演奏パート（トラック）に対応するＮ個の単位データｑ[1]〜ｑ[N]を含んで構成される。各単位データｑ[n]は、対象楽曲のＮ個の演奏パートのうち第ｎ番目の１個の演奏パートの演奏音の音響特性を表す。具体的には、目標特性データＲの各単位データｒ[n]と同様に、楽曲内の平均音量、音量の時間変化、音像位置、周波数特性および残響特性等の音響特性が、収録特性データＱの各単位データｑ[n]で指定される。各単位データｑ[n]で指定される音響特性の種類は演奏パート毎に相違し得る。

第１実施形態の第１取得部３２は、記憶装置１４４に記憶された対象楽曲の楽曲データＭのＮ個の収録データＤAを解析することで収録特性データＱを生成する。具体的には、第１取得部３２は、対象楽曲のＮ個の収録データＤAの各々について演奏パートを判別し、各演奏パートの収録データＤAを解析することで演奏パート毎の単位データｑ[n]（収録特性データＱ）を生成する。

各収録データＤAの演奏パートの判別には、例えば楽曲の各演奏パートの音符の時系列（すなわち旋律）を規定した参照データが好適に利用される。参照データは、例えばカラオケの演奏に利用されるＭＩＤＩ（Musical Instrument Digital Interface）形式の時系列データである。具体的には、第１取得部３２は、各収録データＤAが表す音高の時間変化を解析し、参照データの複数の演奏パートのうち音符の時系列が収録データＤAの音高の時間変化に類似する演奏パートを、当該収録データＤAの演奏パートとして判別する。なお、収録データＤAが表す音響の音域（音高の分布範囲）に応じて演奏パートを判別する構成や、収録データＤAが表す音響の調波構造の有無に応じて演奏パートを判別する構成（例えば調波構造が存在しない収録データＤAの演奏パートをドラムパートと判別する構成）も採用され得る。

図４の第２取得部３４は、対象楽曲の目標特性データＲを取得する。第１実施形態の第２取得部３４は、相異なる楽曲について記憶装置１４４に記憶された複数の目標特性データＲのうち対象楽曲に対応する１個の目標特性データＲを選択して記憶装置１４４から取得する。

設定部３６は、第１取得部３２が取得した収録特性データＱと第２取得部３４が取得した目標特性データＲとに応じて対象楽曲の制御パラメータＸを設定する。具体的には、設定部３６は、対象楽曲のＮ個の収録データＤAに対するミキシングの実行後の音響特性が、目標特性データＲで表される音響特性に近似（理想的には合致）するように、収録特性データＱと目標特性データＲとに応じて制御パラメータＸを設定する。例えば、暫定的な制御パラメータＸを適用してＮ個の収録データＤAをミキシングした場合の音響特性が目標特性データＲの音響特性に近似する（音響特性の相違が最小化される）ように制御パラメータＸを逐次的に更新する最適化処理が、設定部３６による制御パラメータＸの設定に好適に利用される。前述の通り、各収録データＤAの収録条件は楽曲データＭ毎に相違し得るから、楽曲自体は共通する場合でも制御パラメータＸは楽曲データＭ毎に相違し得る。

図３に例示される通り、第１実施形態の制御パラメータＸは、Ｎ個の収録データＤAのミキシングに反映される複数種のパラメータ（タイムコードＸ1，音量パラメータＸ2，定位パラメータＸ3，周波数特性（Ｆ特）パラメータＸ4，残響パラメータＸ5）を含んで構成される。

タイムコードＸ1は、各収録データＤAの各時点を目標データの対応する時点に時間軸上で調整する（楽曲内で相対応する楽音を時間軸上で同期させる）ためのデータである。具体的には、タイムコードＸ1は、収録データＤAの各時点が目標データの各時点に対応するように収録データＤAの各時点の遅延量（時間軸上の移動量）を指定する。設定部３６は、例えば、収録特性データＱのうちリズムパートの単位データｑ[n]で指定されるリズム情報と、目標特性データＲのうちリズムパートの単位データｒ[n]で指定されるリズム情報とを相互に対比することでタイムコードＸ1を設定する。なお、タイムコードＸ1の生成（収録データＤAと目標データとの同期解析）には、例えば特開２０１１−０５３５８９号公報に記載された技術が好適に利用される。

音量パラメータＸ2は、楽曲データＭの各収録データＤAの音量を目標データの各演奏パートの音量に近似（理想的には合致）させるためのデータである。具体的には、設定部３６は、収録特性データＱの各単位データｑ[n]が指定する音量（楽曲内の平均音量や音量の時間変化）と目標特性データＲの各単位データｒ[n]が指定する音量との相違に応じて音量パラメータＸ2を設定する。また、定位パラメータＸ3は、各収録データＤAの音像位置を目標データの各演奏パートの音像位置に近似（理想的には合致）させるためのデータである。具体的には、設定部３６は、収録特性データＱの各単位データｑ[n]が指定する音像位置と目標特性データＲの各単位データｒ[n]が指定する音像位置との相違に応じて定位パラメータＸ3を設定する。

周波数特性パラメータＸ4は、楽曲データＭの各収録データＤAの周波数特性を目標データの各演奏パートの周波数特性に近似（理想的には合致）させるためのデータであり、例えば各収録データＤAの音響に適用される帯域毎の利得（イコライザパラメータ）を指定する。具体的には、設定部３６は、収録特性データＱの各単位データｑ[n]が指定する周波数特性（例えば調波構造の包絡線）と目標特性データＲの各単位データｒ[n]が指定する周波数特性との相違に応じて周波数特性パラメータＸ4を設定する。また、残響パラメータＸ5は、各収録データＤAの残響特性を目標データの各演奏パートの残響特性に近似（理想的には合致）させるためのデータである。設定部３６は、収録特性データＱの各単位データｑ[n]が指定する残響特性と目標特性データＲの各単位データｒ[n]が指定する残響特性との相違に応じて残響パラメータＸ5を設定する。以上が制御パラメータＸの具体例である。

図４の通信制御部４２は、通信装置１４６を介した各端末装置１２との通信を制御する。具体的には、通信制御部４２は、設定部３６が対象楽曲について設定した制御パラメータＸと記憶装置１４４に記憶された対象楽曲の楽曲データＭのＮ個の収録データＤAとを通信装置１４６から端末装置１２に送信する。すなわち、第１実施形態の制御装置１４２（通信制御部４２）は、制御パラメータＸと複数の収録データＤAとを端末装置１２に送信する要素として機能する。

図５は、第１実施形態の動作の説明図である。利用者は、端末装置１２の入力装置１２５を適宜に操作することで、所望の対象楽曲を選択するとともにミキシングの開始を指示する。以上の指示を受付けると、端末装置１２の制御装置１２１は、利用者が選択した対象楽曲の指定を含む処理要求を通信装置１２３から通信網１６を介してミキシング管理装置１４に送信する（Ｓ1）。

端末装置１２から送信された処理要求を通信装置１４６が受信すると、ミキシング管理装置１４の制御装置１４２（第１取得部３２）は、各楽曲の属性データＭA（楽曲名等）を参照することで、処理要求にて指定された対象楽曲の楽曲データＭを記憶装置１４４から検索し、対象楽曲の楽曲データＭ（各収録データＤA）を解析することで収録特性データＱを生成する（Ｓ2）。また、制御装置１４２（第２取得部３４）は、各目標特性データＲの属性データＲA（楽曲名等）を参照することで対象楽曲の目標特性データＲを検索し、対象楽曲の目標特性データＲを記憶装置１４４から取得する（Ｓ3）。そして、制御装置１４２（設定部３６）は、対象楽曲のＮ個の収録データＤAに対するミキシングの実行後の音響特性が目標特性データＲの音響特性に近似するように、ステップＳ2で取得した収録特性データＱとステップＳ3で取得した目標特性データＲとに応じた制御パラメータＸ（Ｘ1〜Ｘ5）を生成する（Ｓ4）。制御装置１４２（通信制御部４２）は、対象楽曲の楽曲データＭに含まれるＮ個の収録データＤAとステップＳ4で設定した制御パラメータＸとを、処理要求（Ｓ1）の送信元の端末装置１２に対して通信装置１４６から送信する（Ｓ5）。

ミキシング管理装置１４から送信された制御パラメータＸおよびＮ個の収録データＤAを通信装置１２３が受信すると、端末装置１２の制御装置１２１（音響処理部２２）は、制御パラメータＸを適用してＮ個の収録データＤAをミキシングすることで調整音響データＤBを生成し、調整音響データＤBを放音装置１２６に供給することで対象楽曲を再生する（Ｓ6）。

以上に説明した通り、第１実施形態では、Ｎ個の収録データＤAをミキシングした場合の音響特性が目標特性データＲの音響特性に近似するように制御パラメータＸが設定されるから、図５のステップＳ6で放音装置１２６から放音される再生音の音響特性は、目標特性データＲが指定する音響特性に近似または合致する。すなわち、第１実施形態によれば、各収録データＤAの収録条件が楽曲データＭ毎に相違する場合でも（すなわち楽曲データＭの収録条件に関わらず）、収録条件の相違を低減（補償）して所期のミキシングを実現できるという利点がある。また、第１実施形態では、収録特性データＱと目標特性データＲとに応じた制御パラメータＸの設定がミキシング管理装置１４で統一的に実行されて制御パラメータＸが各端末装置１２に送信される。したがって、制御パラメータＸの算定ないし設定（設定部３６）を各端末装置１２にて実行する構成と比較して、各端末装置１２での処理負荷が軽減されるという利点もある。

＜第２実施形態＞
本発明の第２実施形態を以下に説明する。なお、以下に例示する各形態において作用や機能が第１実施形態と同様である要素については、第１実施形態の説明で参照した符号を流用して各々の詳細な説明を適宜に省略する。

図６は、第２実施形態における音響処理システム１００のブロック図であり、図７は、第２実施形態の動作の説明図である。図７に例示される通り、第２実施形態では、第１実施形態と同様の動作（Ｓ1〜Ｓ6）が実行されることで、制御パラメータＸに応じてＮ個の収録データＤAをミキシングした調整音響データＤBが放音装置１２６から再生される。

放音装置１２６から放音された対象楽曲の再生音を受聴した利用者は、端末装置１２の入力装置１２５を適宜に操作することで、対象楽曲の再生音の音響特性の修正を指示することが可能である。端末装置１２の制御装置１２１は、音響特性の修正の指示に応じた修正データＺを生成し（Ｓ7）、図６および図７から理解される通り、通信装置１２３から通信網１６を介してミキシング管理装置１４に修正データＺを送信する（Ｓ8）。

図８は、音響特性の修正の説明図である。対象楽曲の調整音響データＤBの再生が完了すると、端末装置１２の制御装置１２１は、図８の編集画像５０を表示装置１２４に表示させる。編集画像５０では、ミキシングの実行前の音響特性（収録データＤAの音響特性）ＣAと制御パラメータＸを適用したミキシングの実行後の音響特性（調整音響データＤBの音響特性）ＣBとが対比的に表示される。図８では、制御パラメータＸを適用したミキシングの前後における音量の時間変化（横軸：時間，縦軸：音量）が例示されている。利用者は、調整音響データＤBの再生音を受聴した結果を考慮して、ミキシングの実行前の音響特性ＣAと比較しながら入力装置１２５を適宜に操作することで、ミキシングの実行後の音響特性ＣBを所望の音響特性ＣZに編集することが可能である。端末装置１２の制御装置１２１は、利用者から指示された修正後の音響特性ＣZを表す修正データＺを生成する（Ｓ7）とともに修正データＺを通信装置１２３からミキシング管理装置１４に送信する（Ｓ8）。

図６から理解される通り、第２実施形態のミキシング管理装置１４の通信装置１４６は、端末装置１２から送信された修正データＺを受信する。通信制御部４２は、通信装置１４６が受信した修正データＺを取得する。すなわち、第２実施形態の制御装置１４２（通信制御部４２）は、調整音響データＤBの再生音を受聴した利用者からの指示に応じた修正データＺを取得する要素（指示受付部）として機能する。端末装置１２における音響特性ＣBの編集（修正データＺの送信）は、制御パラメータＸを適用したミキシングで生成された調整音響データＤBの再生毎に反復される。したがって、通信制御部４２は、相異なる利用者からの指示に応じた複数の修正データＺを、共通の対象楽曲について複数の端末装置１２から順次に取得する。

図６に例示される通り、第２実施形態のミキシング管理装置１４は、第１実施形態のミキシング管理装置１４に更新部４４を追加した構成である。更新部４４は、通信制御部４２が端末装置１２から取得した修正データＺに応じて記憶装置１４４内の対象楽曲の目標特性データＲを更新する（Ｓ9）。具体的には、更新部４４は、修正データＺが表す音響特性に近付くように対象楽曲の目標特性データＲ（各単位データｒ[n]）を更新する。例えば、更新部４４は、通信制御部４２が各端末装置１２から取得した複数の修正データＺについて所定の統計処理（典型的には平均）を実行するとともに処理後の修正データＺを利用して対象楽曲の目標特性データＲを更新する。

第２実施形態においても第１実施形態と同様の効果が実現される。また、第２実施形態では、調整音響データＤBの再生音を受聴した利用者からの指示（修正データＺ）が目標特性データＲに反映されるから、記憶装置１４４に記憶された目標特性データＲを、利用者の所望の音響特性を指定する内容に更新できるという利点がある。第２実施形態では特に、相異なる利用者からの指示に応じた複数の修正データＺが目標特性データＲに反映されるから、目標特性データＲを多数の利用者にとって好適な内容に更新できるという格別の利点がある。

＜第３実施形態＞
図９は、第３実施形態における目標特性データＲの説明図である。第１実施形態では、相異なる楽曲に対応する複数の目標特性データＲを用意した。第３実施形態では、図９に例示される通り、相異なる音響特性を表す複数の目標特性データＲが楽曲毎に記憶装置１４４に記憶される。すなわち、任意の１個の楽曲について、音響特性が相違する複数の目標特性データＲが用意される。例えば、標準的な音響特性を表す目標特性データＲのほか、楽器の弾語りに好適な音響特性やリズムを重視した音響特性等の個性的な音響特性を表す目標特性データＲが、各楽曲について記憶装置１４４に記憶される。

図１０は、第３実施形態の動作の説明図である。第１実施形態と同様に対象楽曲を指定した処理要求を端末装置１２から受信すると（Ｓ1）、ミキシング管理装置１４の制御装置１４２（通信制御部４２）は、処理要求で指定された対象楽曲について記憶装置１４４に記憶された複数の目標特性データＲを利用者による選択候補として端末装置１２に通知する（Ｓ11）。端末装置１２の制御装置１２１は、図１１に例示される通り、対象楽曲の複数の目標特性データＲを利用者による選択候補として配列したリスト５２を表示装置１２４に表示させる（Ｓ12）。利用者は、入力装置１２５を適宜に操作することで所望の目標特性データＲを選択することが可能である。目標特性データＲの選択を受付けると（Ｓ13）、端末装置１２の制御装置１２１は、利用者が選択した目標特性データＲをミキシング管理装置１４に通知する（Ｓ14）。

利用者が選択した目標特性データＲの通知を受信すると、ミキシング管理装置１４の制御装置１４２は、対象楽曲の楽曲データＭの解析で収録特性データＱを生成するとともに（Ｓ2）、対象楽曲の複数の目標特性データＲのうちステップＳ14で端末装置１２から通知された目標特性データＲを記憶装置１４４から取得する（Ｓ3）。制御装置１４２（設定部３６）は、対象楽曲の収録特性データＱと端末装置１２の利用者が選択した目標特性データＲとに応じて制御パラメータＸを設定する（Ｓ4）。以降の動作は第１実施形態や第２実施形態と同様である。

第３実施形態においても第１実施形態と同様の効果が実現される。また、第３実施形態では、楽曲毎に用意された複数の目標特性データＲが選択的に制御パラメータＸの設定に適用されるから、１種類の目標特性データＲを制御パラメータＸの設定に固定的に適用する構成と比較して多様な音響特性の調整音響データＤBを生成することが可能である。第３実施形態では特に、複数の目標特性データＲのうち利用者が選択した目標特性データＲが制御パラメータＸの設定に適用されるから、利用者の意図や嗜好に合致した音響特性の調整音響データＤBを生成できるという利点がある。

なお、修正データＺに応じて目標特性データＲを更新する第２実施形態の構成を第３実施形態に採用することも可能である。具体的には、更新部４４は、記憶装置１４４に記憶された対象楽曲の複数の目標特性データＲのうち利用者がリスト５２から選択した目標特性データＲを、利用者による編集の指示を反映した修正データＺに応じて更新する。

＜第４実施形態＞
前述の各形態では、通信網１６を介して相互に通信する端末装置１２とミキシング管理装置１４とで構成される音響処理システム１００を例示した。第４実施形態のミキシング管理装置１４は、前述の各形態の音響処理システム１００と同様の機能を装置単体で実現する。

図１２は、第４実施形態におけるミキシング管理装置１４のブロック図である。図１２に例示される通り、第４実施形態のミキシング管理装置１４は、前述の各形態の端末装置１２と同様に、制御装置１２１と記憶装置１２２と表示装置１２４と入力装置１２５と放音装置１２６とを含むコンピュータシステムで実現される。例えば携帯電話機やスマートフォンやパーソナルコンピュータ等の情報処理装置がミキシング管理装置１４として利用される。

記憶装置１２２は、制御装置１２１が実行するプログラムを記憶するほか、楽曲データＭと目標特性データＲとを楽曲毎に記憶する。制御装置１２１は、記憶装置１２２に記憶されたプログラムを実行することで、前述の形態で例示した各機能（第１取得部３２，第２取得部３４，設定部３６，音響処理部２２，更新部４４）を実現する。具体的には、第１取得部３２は、記憶装置１２２に記憶された対象楽曲の楽曲データＭを解析することで収録特性データＱを生成し、第２取得部３４は、対象楽曲の目標特性データＲを記憶装置１２２から取得する。設定部３６は、第１取得部３２が生成した収録特性データＱと第２取得部３４が取得した目標特性データＲとから制御パラメータＸを生成する。音響処理部２２は、設定部３６が設定した制御パラメータＸを適用して対象楽曲の楽曲データＭのＮ個の収録データＤAをミキシングすることで調整音響データＤBを生成して放音装置１２６から再生させる。更新部４４は、調整音響データＤBの再生音を受聴した利用者からの指示（修正データＺ）に応じて記憶装置１２２内の対象楽曲の目標特性データＲを更新する。各要素の具体的な処理の内容は前述の各形態で例示した通りである。

第４実施形態においても第１実施形態と同様の効果が実現される。なお、対象楽曲に対応する複数の目標特性データＲを制御パラメータＸの設定に選択的に利用する第３実施形態の構成を第４実施形態に採用することも可能である。また、修正データＺに応じて目標特性データＲを更新する構成（更新部４４）は第４実施形態から省略され得る。

＜変形例＞
前述の各形態は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様は適宜に併合され得る。

（１）前述の各形態では、第１取得部３２が、楽曲データＭの各収録データＤAを解析することで収録特性データＱを生成する構成を例示したが、各楽曲の収録特性データＱを記憶装置１４４（第４実施形態では記憶装置１２２）に事前に記憶することも可能である。収録特性データＱを記憶装置１４４に記憶した構成では、第１取得部３２は、対象楽曲の収録特性データＱを記憶装置１４４から読出す要素として機能する。以上の説明から理解される通り、第１取得部３２は、複数の収録データＤAの音響特性を表す収録特性データＱを取得する要素として包括的に表現され、各収録データＤAの解析で収録特性データＱを生成する要素（前述の各形態）と記憶装置１４４に事前に記憶された収録特性データＱを読出す要素との双方を包含する。

また、前述の各形態では、第２取得部３４が、記憶装置１４４（第４実施形態では記憶装置１２２）に記憶された目標特性データＲを読出す構成を例示したが、各楽曲の目標データを記憶装置１４４に記憶することも可能である。目標データを記憶装置１４４に記憶した構成では、第２取得部３４は、対象楽曲の目標データを解析することで目標特性データＲを生成する要素として機能する。以上の説明から理解される通り、第２取得部３４は、楽曲の目標の音響特性を表す目標特性データＲを取得する要素として包括的に表現され、記憶装置１４４に事前に記憶された目標特性データＲを読出す要素（前述の各形態）と目標データの解析で目標特性データＲを生成する要素との双方を包含する。

（２）第１実施形態から第３実施形態では、制御パラメータＸとＮ個の収録データＤAとをミキシング管理装置１４から端末装置１２に送信し、端末装置１２の音響処理部２２がＮ個の収録データＤAをミキシングする構成を例示したが、図１３に例示される通り、音響処理部２２をミキシング管理装置１４に設置することも可能である。図１３の音響処理部２２は、設定部３６が設定した制御パラメータＸを適用して対象楽曲のＮ個の収録データＤAをミキシングすることで調整音響データＤBを生成する。通信制御部４２は、音響処理部２２が生成した調整音響データＤBを通信装置１４６から通信網１６を介して端末装置１２に送信する。以上の構成によれば、音響処理部２２を各端末装置１２に搭載する必要がないという利点がある。

（３）第２実施形態では、調整音響データＤBの再生と修正データＺの送信とを単体の端末装置１２が実行したが、調整音響データＤBを再生する装置と修正データＺを送信する装置とを別体で構成することも可能である。例えば、調整音響データＤBの再生をパーソナルコンピュータ等の情報処理装置に実行させ、利用者からの指示に応じた修正データＺの生成および送信を携帯電話機やスマートフォン等の可搬型の情報処理装置に実行させる構成が好適である。

（４）第２実施形態では、様々な利用者の意向や嗜好を反映した多数の修正データＺが各端末装置１２からミキシング管理装置１４に送信される。以上の構成では、各端末装置１２から取得した複数の修正データＺを利用して複数の目標特性データＲを生成することも可能である。例えば、１個の楽曲について各端末装置１２から取得した複数の修正データＺを利用者による指示内容の傾向に応じて複数の集合に分類（クラスタリング）し、複数の集合の各々について、初期的（標準的）な目標特性データＲを当該集合内の各修正データＺに応じて更新することで、集合毎（修正データＺの傾向毎）に個別の目標特性データＲが生成される。例えば、更新部４４は、集合Ｇ1に分類された各修正データＺを初期的な目標特性データＲに反映させることで目標特性データＲ1を生成し、集合Ｇ2に分類された各修正データＺを初期的な目標特性データＲに反映させることで、目標特性データＲ1とは別個の音響特性を表す目標特性データＲ2を生成する。以上の手順で楽曲毎に生成された複数の目標特性データＲは、第３実施形態と同様に、利用者からの指示に応じて選択的に制御パラメータＸの設定に適用される。以上の構成によれば、例えば標準的（平均的）な目標特性データＲと個性的な目標特性データＲとを生成できるという利点がある。

（５）音響処理部２２による処理の内容は前述の各形態での例示に限定されない。例えば、音響処理部２２が、各収録データＤAに対して特定の周波数成分（例えば倍音成分）を付加することで、目標特性データＲの音響特性に近似する調整音響データＤBを生成することも可能である。具体的には、ディストーションやエキサイター等の各種の音響効果を収録データＤAに付加することが可能である。

１００……音響処理システム、１２……端末装置、１４……ミキシング管理装置、１６……通信網、２２……音響処理部、１２１，１４２……制御装置、１２２，１４４……記憶装置、１２３，１４６……通信装置、１２４……表示装置、１２５……入力装置、１２６……放音装置、３２……第１取得部、３４……第２取得部、３６……設定部、４２……通信制御部、４４……更新部。

Claims (6)

1. 楽曲の相異なる演奏パートの音響を表す複数の収録データの音響特性を表す収録特性データを取得する第１取得部と、
   前記楽曲の目標の音響特性を表す目標特性データを取得する第２取得部と、
   前記複数の収録データを対象としたミキシングの実行後の音響特性が、前記目標特性データで表される音響特性に近似するように、当該ミキシングに適用される制御パラメータを前記収録特性データと前記目標特性データとに応じて設定する設定部と
   を具備するミキシング管理装置。
2. 前記設定部が設定した制御パラメータと前記複数の収録データとを、通信網を介して端末装置に送信する通信制御部
   を具備する請求項１のミキシング管理装置。
3. 前記第２取得部は、記憶装置に記憶された目標特性データを取得し、
   前記設定部が取得した制御パラメータを適用して前記複数の収録データをミキシングした音響の受聴者からの指示に応じて前記記憶装置の目標特性データを更新する更新部
   を具備する請求項１または請求項２のミキシング管理装置。
4. 相異なる受聴者からの指示に応じた複数の修正データを、各受聴者が使用する複数の端末装置から通信網を介して取得する指示受付部を具備し、
   前記更新部は、前記指示受付部が取得した複数の修正データに応じて前記目標特性データを更新する
   請求項３のミキシング管理装置。
5. 前記第２取得部は、共通の楽曲について相異なる音響特性を表す複数の目標特性データの何れかを選択する
   請求項１から請求項４の何れかのミキシング管理装置。
6. 前記収録特性データおよび前記目標特性データの各々が表す音響特性は、楽曲の複数の演奏パートの各々について、楽曲内の平均音量、音量の時間変化、音像位置、周波数特性および残響特性の少なくともひとつを包含する
   請求項１から請求項５の何れかのミキシング管理装置。
   

Images