JP2024049662A - 出力制御装置、出力制御方法、およびプログラム - Google Patents

Abstract

【課題】音量感に合わせて適切に出力値を調整する。【解決手段】本開示の一態様は、時間軸で振幅が変化する音信号の振幅変化の傾きを判定する傾き判定部と、前記傾き判定部により判定された前記傾きに基づいて時定数を設定する設定部と、前記設定部により設定された前記時定数に基づいて前記音信号に関する出力値を制御する制御部と、を備える、出力制御装置である。【選択図】図２

Description

本発明は、出力制御装置、出力制御方法、およびプログラムに関する。

従来、オーディオ信号のレベルを表示する技術として特許文献１が知られている。特許文献１に記載された表示制御装置は、オーディオ信号のレベル変化を表示するレベルメータを制御するための表示制御装置であって、オーディオ信号のレベルの減衰変化に対するレベルメータの表示遅れ時間を可変設定する設定部と、設定部に設定された表示遅れ時間とオーディオ信号のレベルに基づいてレベルメータに表示するレベル値を制御する制御部とを備える（請求項１を参照）。

また、特許文献１には、オーディオ信号の供給源を示す種類（楽器種類）毎に、その種類に適した表示遅れ時間を予め規定した表示遅れ時間情報を記憶する記憶部を更に備え、設定部は、記憶部に記憶された表示遅れ時間情報に基づいて、オーディオ信号の供給源を示す種類に応じた表示遅れ時間を設定することが記載されている（請求項２、段落００１８を参照）。

さらに、特許文献１には、オーディオ信号のレベルが減衰するときは、表示遅れ時間に基づいて実際のレベルの減衰変化よりも遅れて該レベルの減衰変化を示すようにレベル値を制御する一方、該オーディオ信号のレベルが増加するときは、減衰するときよりも短い時間で実際のレベルの増加変化に追従して該レベルの増加変化を示すようにレベル値を制御することが記載されている（請求項４を参照）。

特開2016-174225号公報

しかし、特許文献１の技術は、楽器種類またはオーディオ信号のレベルの変化に対するレベルメータの表示遅れ時間を可変設定しているが、多種多様に変化するオーディオ信号に対し、人間が感じる音量（音量感）に合わせて適切に出力値を調整することができない場合があった。

以上の事情を考慮して、本開示のひとつの態様は、音量感に合わせて適切に出力値を調整することを目的とする。

本開示は上述した課題を解決するためになされたもので、本開示の一態様は、時間軸で振幅が変化する音信号の振幅変化の傾きを判定する傾き判定部と、前記傾き判定部により判定された前記傾きに基づいて時定数を設定する設定部と、前記設定部により設定された前記時定数に基づいて前記音信号に関する出力値を制御する制御部と、を備える、出力制御装置である。

本開示の一態様は、時間軸で振幅が変化する音信号に基づいて楽器を識別する楽器識別部と、前記楽器識別部により識別された前記楽器に基づいて時定数を設定する設定部と、記設定部により設定された前記時定数に基づいて前記音信号に関する出力値を制御する制御部と、を備え、前記時定数は、前記楽器に対応した前記音信号の振幅変化の傾きに基づいて設定される、出力制御装置である。

本開示の一態様は、時間軸で振幅が変化する音信号の振幅変化の傾きを判定し、または前記音信号に基づいて楽器を識別する判定部と、前記音信号の所定区間ごとに、前記判定部により判定された前記音信号の振幅変化の傾き、または前記判定部により識別された前記楽器に対応した前記音信号の振幅変化の傾きに基づいて時定数を設定する設定部と、前記設定部により設定された前記所定区間ごとの前記時定数に基づいて前記音信号に関する出力値を制御する制御部と、を備える、出力制御装置である。

本開示の他の態様は、時間軸で振幅が変化する音信号を取得するステップと、前記音信号の振幅変化の傾きを判定するステップと、前記傾きに基づいて時定数を設定するステップと、前記時定数に基づいて前記音信号に関する出力値を制御するステップと、を含む、出力制御方法である。

本開示の他の態様は、コンピュータに、時間軸で振幅が変化する音信号を取得するステップと、前記音信号の振幅変化の傾きを判定するステップと、前記傾きに基づいて時定数を設定するステップと、前記時定数に基づいて前記音信号に関する出力値を制御するステップと、を実行させる、プログラムである。

本開示の他の態様は、時間軸で振幅が変化する音信号を取得するステップと、前記音信号に基づいて楽器を識別するステップと、前記楽器に基づいて時定数を設定するステップと、前記時定数に基づいて前記音信号に関する出力値を制御するステップと、を有し、前記時定数は、前記楽器に対応した前記音信号の振幅変化の傾きに基づいて設定される、出力制御方法である。

本開示の他の態様は、コンピュータに、時間軸で振幅が変化する音信号を取得するステップと、前記音信号に基づいて楽器を識別するステップと、前記楽器に基づいて時定数を設定するステップと、前記時定数に基づいて前記音信号に関する出力値を制御するステップと、を実行させ、前記時定数は、前記楽器に対応した前記音信号の振幅変化の傾きに基づいて設定される、プログラムである。

本開示の他の態様は、時間軸で振幅が変化する音信号を取得するステップと、前記音信号の振幅変化の傾きを判定し、または前記音信号に基づいて楽器を識別するステップと、前記音信号の所定区間ごとに、前記音信号の振幅変化の傾き、または前記楽器に対応した前記音信号の振幅変化の傾きに基づいて時定数を設定するステップと、前記所定区間ごとの前記時定数に基づいて前記音信号に関する出力値を制御するステップと、を含む、出力制御方法である。

本開示の他の態様は、コンピュータに、時間軸で振幅が変化する音信号を取得するステップと、前記音信号の振幅変化の傾きを判定し、または前記音信号に基づいて楽器を識別するステップと、前記音信号の所定区間ごとに、前記音信号の振幅変化の傾き、または前記楽器に対応した前記音信号の振幅変化の傾きに基づいて時定数を設定するステップと、前記所定区間ごとの前記時定数に基づいて前記音信号に関する出力値を制御するステップと、を実行させる、プログラムである。

本発明の一態様によれば、音量感に合わせて適切に出力値を調整することができる。

第１の実施の形態における音出力システムを示すブロック図である。 第１の実施の形態における音出力システムの一例を示すブロック図である。 実施の形態における音信号の振幅［ｄＢ］と時間［ｓｅｃ］との関係の一例を示す図である。 実施の形態における音信号の振幅［ｄＢ］とメータ値と時間［ｓｅｃ］との関係の一例を示す図である。 実施の形態における音信号の振幅［ｄＢ］とメータ値と時間［ｓｅｃ］との関係の他の一例を示す図である。 実施の形態における音信号の振幅［ｄＢ］とメータ値と基準値と時間［ｓｅｃ］との関係の他の一例を示す図である。 第１の実施の形態における出力制御装置の処理の一例を示すフローチャートである。 第２の実施の形態における音出力システムの一例を示すブロック図である。 実施の形態における楽器から出力された音信号の振幅［ｄＢ］とメータ値と基準値と時間［ｓｅｃ］との関係の一例を示す図である。 実施の形態における他の楽器から出力された音信号の振幅［ｄＢ］とメータ値と基準値と時間［ｓｅｃ］との関係の一例を示す図である。 実施の形態における楽器の種類と、上昇時時定数と、下降時時定数との関係の一例を示す図である。 第２の実施の形態における出力制御装置の他の一例を示すブロック図である。 実施の形態における時間的な区間に対する、音信号により識別された楽器、上昇時時定数および下降時時定数の関係の一例を示す図である。 第３の実施の形態における音出力システムの構成の一例を示すブロック図である。 実施の形態の変形例に係る音出力システムを示すブロック図である。 実施の形態の他の変形例に係る音出力システムを示すブロック図である。

以下、本発明を適用した出力制御装置、出力制御方法、およびプログラムを、図面を参照して説明する。

（第１の実施の形態）
図１は、第１の実施の形態における音出力システム１を示すブロック図である。音出力システム１は、例えば、出力制御装置１００と、音信号出力装置２００と、出力装置３００とを備える。出力制御装置１００は、コンピュータを内蔵した情報処理装置である。出力制御装置１００は、音信号出力装置２００から出力された音信号を入力し、制御信号を出力装置３００に出力する。音信号は、音を出力するための信号であって時間軸で振幅が変化する信号である。音信号出力装置２００は、例えば、記録媒体に記憶されたコンテンツを読み取って音楽等の音信号を出力する再生装置である。第１の実施の形態において記録媒体に記憶されたコンテンツは、例えば静的なデモコンテンツであって、事前に録音した音信号である。音信号出力装置２００は、出力制御装置１００に音信号を出力する。出力装置３００は、出力制御装置１００から出力された制御信号に従って音信号に関する出力値を出力する。出力装置３００は、後述するように表示装置および音量自動調整装置であるが、これに限定されない。出力装置３００は、出力制御装置１００から出力された制御信号に基づいて音信号に関する出力値を出力する装置であれば、表示装置および音量自動調整装置以外の装置であってよい。

図２は、第１の実施の形態における音出力システム１の一例を示すブロック図である。音出力システム１における出力制御装置１００は、例えば、傾き判定部１１０と、設定部１２０と、制御部１３０とを備える。傾き判定部１１０、設定部１２０、および制御部１３０といった機能部は、例えばプログラムを実行するＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）やＤＳＰ（Digital Signal Processor）、ＭＰＵ（Micro Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等により実現される。出力制御装置１００は、時間軸で振幅が変化する音信号を取得する。傾き判定部１１０は、取得した音信号の振幅変化の傾きを判定する。設定部１２０は、傾き判定部１１０により判定された傾きに基づいて時定数を設定する。制御部１３０は、設定部１２０により設定された時定数に基づいて音信号に関する出力値を制御する。

表示装置３１０は、例えば、デジタルミキサに搭載された表示装置、ＤＡＷ（Digital Audio Workstation）をインストールした情報処理装置が備える表示装置などの音量のピークメータ表示装置であるが、これに限定されず、ピーク値以外の音信号に関するメータ値を表示する装置であってよい。表示装置３１０は、例えば、メータ値を表示する表示部３１２と、表示部３１２の表示動作を制御する表示制御部３１４とを備える。表示部３１２は、例えばメータ値を表示する液晶表示装置である。表示制御部３１４は、出力制御装置１００から供給された表示制御信号に基づいて表示部３１２を駆動する電子回路である。

音量自動調整装置３２０は、音信号を入力して音を出力する音出力装置（不図示）の音量を調整する電子機器である。音量自動調整装置３２０は、例えば、音量操作部３２２と、自動調整部３２４とを備える。音量操作部３２２は、音出力装置のユーザの操作される操作スライダまたは操作ダイヤルといった操作子を有する。音量操作部３２２は、音信号の音量値を、操作子に対する操作に応じた音量値に調整する。自動調整部３２４は、出力制御装置１００から供給された音量制御信号に従って音信号の音量値を自動的に制御する。

図３は、実施の形態における音信号の振幅［ｄＢ］と時間［ｓｅｃ］との関係の一例を示す図である。ピアノの音を示す音信号の振幅が図３のように変化したとき、音信号の振幅包絡線は、音信号の振幅の時間的な変化に追従する。音信号の振幅（振幅包絡線）は、急峻な傾斜度Ａ１で上昇し、その後、緩やかな傾斜度Ａ２で下降する。傾き判定部１１０は、図３に示したような音信号の振幅変化の傾きを判定する。設定部１２０は、音信号の振幅変化の傾きに基づいて音信号についての時定数を設定する。音信号についての時定数は、音信号の振幅に対する、音信号に関する出力値の遅れ時間を示す値である。設定部１２０は、時定数を大きく設定することで音信号の振幅に対する音信号に関する出力値の遅れ時間を長くすることができる。設定部１２０は、時定数を小さく設定することで音信号の振幅に対する音信号に関する出力値の遅れ時間を短くすることができる。

制御部１３０は、設定部１２０により設定された時定数に基づいて音信号の振幅を表示する表示制御信号を生成する。制御部１３０は、生成した表示制御信号を表示装置３１０に出力する。制御部１３０は、設定部１２０により設定された時定数に基づいて音量を制御する音量制御信号を生成する。制御部１３０は、生成した音量制御信号を音量自動調整装置３２０に出力する。

図４は、実施の形態における音信号の振幅［ｄＢ］とメータ値と時間［ｓｅｃ］との関係の一例を示す図である。メータ値は、表示装置３１０により音信号のピーク値を表示するために用いる値である。メータ値は、音信号に関する出力値の一例である。上昇時時定数τｒ１を小さく設定し、下降時時定数τｆ１を大きく設定した場合、図４に示すように、音信号の振幅が急峻に上昇した時にメータ値を音信号に合わせて追従させることができる。一方、音信号の振幅が緩やかに下降した時にメータ値を音信号に合わせて追従させることができる。

図５は、実施の形態における音信号の振幅［ｄＢ］とメータ値と時間［ｓｅｃ］との関係の他の一例を示す図である。上昇時時定数τｒ２および下降時時定数τｆ２を大きく設定した場合、図５に示すように、音信号の振幅が急峻に上昇してもメータ値は音信号に遅れて上昇し、その後に音信号の振幅が緩やかに下降するとメータ値は次第に音信号に近づくように下降させることができる。

図６は、実施の形態における音信号の振幅［ｄＢ］とメータ値と基準値と時間［ｓｅｃ］との関係の他の一例を示す図である。図５に示したメータ値よりも早めに音信号に追従するように上昇時時定数τｒおよび下降時時定数τｆを同じ値に設定した場合、図６に示すように、音信号の上昇時および下降時の双方において少し遅れてメータ値が追従することが分かる。

図４、図５、および図６に示したように、設定部１２０は、上昇時時定数τｒおよび下降時時定数τｆのそれぞれを算出することができる。設定部１２０は、上昇時時定数τｒおよび下降時時定数τｆを同じ値に設定することもでき、上昇時時定数τｒおよび下降時時定数τｆのそれぞれを異なる値に設定することもできる。

制御部１３０は、基準値算出部１３２を有する。基準値算出部１３２は、設定部１２０により設定された時定数に基づいて、音信号の音量に関する基準値を算出する。基準値算出部１３２は、音信号を時定数によって変化させた後の音信号から基準値を算出する。基準値は、例えば、音信号の所定時間内における振幅最大値または振幅２乗平均値であるが、これに限定されず、音信号を用いた既知の計算方法で計算された値であればよい。制御部１３０は、音量値を設定するための音量制御信号を生成し、生成した音量制御信号を音量自動調整装置３２０に出力する。図６に示した基準値は、基準値算出部１３２により音信号に基づいて算出された値である。

図７は、第１の実施の形態における出力制御装置１００の処理の一例を示すフローチャートである。図７に示すフローチャートは、例えば、時間軸における所定区間ごとに繰り返して実行される。まず出力制御装置１００は、音信号を取得する（ステップＳ１００）。傾き判定部１１０は、ステップＳ１００において取得入力した音信号の振幅の時間軸における変化を検出することにより音信号の振幅変化の傾きを判定する（ステップＳ１０２）。設定部１２０は、音信号の振幅変化の傾き方向が上昇であるか否かを判定する（ステップＳ１０４）。設定部１２０は、音信号の振幅変化の傾き方向が上昇である場合（ステップＳ１０４：ＹＥＳ）、音信号の振幅変化の傾斜度に基づいて上昇時時定数τｒを設定する（ステップＳ１０６）。設定部１２０は、音信号の振幅変化の傾き方向が下降である場合（ステップＳ１０４：ＮＯ）、音信号の振幅変化の傾斜度に基づいて下降時時定数τｆを設定する（ステップＳ１０８）。次に制御部１３０は、上昇時時定数τｒまたは下降時時定数τｆに基づいて出力値を制御する（ステップＳ１１０）。これにより出力制御装置１００は、入力された音信号の振幅変化の傾きに基づいて上昇時時定数τｒおよび下降時時定数τｆを設定し、設定した上昇時時定数τｒおよび下降時時定数τｆに基づいて音信号の出力値を制御することができる。

以上説明したように、第１の実施の形態における出力制御装置１００によれば、音信号の振幅変化の傾きを判定し、判定された傾きに基づいて時定数を設定し、設定された時定数に基づいて音信号に関する出力値を制御する。この出力制御装置１００によれば、音信号の振幅変化の傾きに基づいて時定数を設定し、時定数に基づいて音信号に関する出力値を制御するので、音信号の振幅変化の急峻さに合わせて出力値を変化させることができる。この結果、出力制御装置１００によれば、音信号の振幅が上昇する時と振幅が下降する時とで人間の感じる音量感に合わせて適切に出力値を調整することができる。

具体的に、急峻に変化する音が出力される場合に、音信号に対してメータの表示が短時間で追従しないと音量感に合わない可能性がある。これに対し出力制御装置１００は、音信号の振幅変化の傾きが急峻である場合には出力値の時定数を小さくすることができ、音信号に対するメータの表示の遅れを少なくすることができる。この結果、出力制御装置１００によれば、メータの表示に対する音量感のずれを抑制することができる。また、出力制御装置１００によれば、急峻に変化する音が出力される場合に、音信号に対して基準値が小さいと音量感に合わない可能性がある。これに対し出力制御装置１００は、音信号の振幅変化の傾きが急峻である場合には出力値の時定数を小さくすることができ、音信号に対する基準値を大きくすることができる。

また、第１の実施の形態の出力制御装置１００によれば、音信号の振幅が上昇するときの傾き、および音信号の振幅が下降するときの傾きを判定し、上昇時時定数τｒおよび下降時時定数τｆを設定し、音信号の振幅が上昇しているときには上昇時時定数τｒに基づいて出力値を制御し、音信号の振幅が下降しているときには下降時時定数τｆに基づいて出力値を制御する。この出力制御装置１００によれば、音信号の振幅変化の急峻さが上昇時と下降時で異なる場合でも、適切に時定数を設定して出力値を変化させることができる。

（第２の実施の形態）
以下、第２の実施の形態について説明する。なお、上述した実施の形態と同じ部分については同一符号を付することで詳細な説明を省略する。第２の実施の形態における出力制御装置１００Ａは、音信号に基づいて楽器を識別し、識別された楽器に基づいて時定数を設定する点で、上述した実施の形態とは相違する。

図８は、第２の実施の形態における音出力システム１Ａの一例を示すブロック図である。第２の実施の形態における音出力システム１Ａは、例えば、出力制御装置１００Ａに接続された楽器２００Ａを備える。楽器２００Ａは、例えば、ユーザの演奏に応じて音信号を生成し、生成した音信号を出力制御装置１００Ａに出力する。楽器２００Ａは、演奏の内容が決まっていない、抽象的なコンテンツ（楽器の音色）を有する装置である。出力制御装置１００Ａは、例えば、楽器識別部１１０Ａと、設定部１２０Ａと、制御部１３０Ａとを備える。楽器識別部１１０Ａ、設定部１２０Ａ、および制御部１３０Ａといった機能部は、例えばプログラムを実行するＣＰＵ等により実現される。

楽器識別部１１０Ａは、楽器２００Ａから出力された音信号に基づいて楽器を識別する。楽器識別部１１０Ａは、例えば、音信号に対して所定の信号処理を行うことで音色を識別し、識別した音色に基づいて楽器を識別してよく、予め記憶しておいた音信号または音信号に基づく処理結果と、楽器２００Ａから入力した音信号または音信号に基づく処理結果とを比較することで楽器を識別してよい。

設定部１２０Ａは、楽器識別部１１０Ａより識別された楽器に基づいて時定数を設定する。図９は、実施の形態における楽器２００Ａから出力された音信号の振幅［ｄＢ］とメータ値と基準値と時間［ｓｅｃ］との関係の一例を示す図であり、図１０は、実施の形態における他の楽器２００Ａから出力された音信号の振幅［ｄＢ］とメータ値と基準値と時間［ｓｅｃ］との関係の一例を示す図である。図９に示した音信号は、例えば、ピアノの鍵盤を押したときに発生する音に基づく信号であり、音信号の振幅が急峻に高くなった後に音信号の振幅が次第に低くなる。図１０に示した音信号は、例えばドラムを演奏したときに発生する信号であり、音信号の振幅が急峻に高くなったり急峻に低くなったりする。設定部１２０Ａは、図９に示すように音信号の振幅変化の傾きが小さい楽器が識別された場合、時定数を大きく設定する。設定部１２０Ａは、図１０に示すように音信号の振幅変化の傾きが高い楽器が識別された場合、時定数を小さく設定する。時定数は、楽器２００Ａに対応した音信号の振幅変化の傾きに基づいて設定される。

図１１は、実施の形態における楽器の種類と、上昇時時定数τｒと、下降時時定数τｆとの関係の一例を示す図である。図１１に示した関係は、例えば、出力制御装置１００Ａにおける記憶装置（不図示）にテーブルデータとして記憶される。設定部１２０Ａは、楽器識別部１１０Ａにより識別された楽器に対応した上昇時時定数τｒおよび下降時時定数τｆを設定する。楽器識別部１１０Ａは、楽器の種類を判別してよいが、これ限定されず、楽器２００Ａの演奏方法を識別し、設定部１２０Ａは、楽器識別部１１０Ａにより識別された楽器２００Ａの演奏方法に対応した上昇時時定数τｒおよび下降時時定数τｆを設定してよい。楽器２００Ａの演奏方法は、例えばギターのピック弾きと指弾きがあるが、これに限定されず、音信号の振幅変化の傾きに一定の傾向がある演奏方法であれば、当該演奏方法に対応した時定数を設定してよい。また、楽器２００Ａの演奏方法に限定されず、楽器２００Ａを演奏する環境（室内、室外）、音信号の加工方法などの音信号の振幅変化の傾きに一定の傾向がある要素であれば、当該要素に対応した時定数を設定してよい。

図１２は、第２の実施の形態における出力制御装置１００Ａの他の一例を示すブロック図である。設定部１２０Ａは、例えば、時定数設定部１２２と、旋律判定部１２４と、時定数調整部１２６とを備える。時定数設定部１２２は、楽器識別部１１０Ａによる楽器２００Ａの識別結果に基づいて、識別された楽器２００Ａに対応した時定数を設定する。旋律判定部１２４は、楽器２００Ａから出力された音信号に基づいて旋律を判定する。旋律は、音信号の継続長、強弱、音程、同時発音数、連続発音数、発音時間間隔の少なくとも一つの要素を含む。

旋律判定部１２４は、音信号に含まれる要素を判定することによって音信号の旋律を判定する。時定数調整部１２６は、時定数設定部１２２により設定された時定数を、旋律判定部１２４により判定された旋律に基づいて調整する。時定数調整部１２６は、音信号の振幅変化の傾きが高い旋律である場合、時定数設定部１２２により設定された時定数を小さくする。時定数調整部１２６は、音信号の振幅変化の傾きが低い旋律である場合、時定数設定部１２２により設定された時定数を大きくする。時定数調整部１２６は、旋律を用いて調整した時定数を制御部１３０Ａに出力する。これにより制御部１３０Ａは、旋律を考慮したメータ値となるように表示制御信号を生成する。

また、制御部１３０Ａは、旋律を考慮した基準値となるように音量制御信号を生成する。制御部１３０Ａは、例えば、旋律に基づいて最適な条件を選択して音信号の基準値を算出する。制御部１３０Ａは、旋律に応じて音信号の最大値または平均値を音信号の基準値として算出してよく、旋律に応じて音信号の基準値を算出する区間の位置および長さを調整してよく、音信号の基準値に対する閾値および閾値の算出方法を変更してよい。

以上説明したように、第２の実施の形態の出力制御装置１００Ａによれば、音信号に基づいて楽器２００Ａを識別し、識別された楽器２００Ａに基づいて時定数を設定する。これにより出力制御装置１００Ａによれば、音信号の振幅変化の急峻さが楽器２００Ａにより異なるという傾向があり、この傾向に合わせて適切に時定数を設定することができる。この結果、出力制御装置１００Ａによれば、音量感に合わせて適切に出力値を調整することができる。

具体的に、装置内部に複数の楽器（音色）の音データを有する電子楽器が知られている。このような電子楽器によって複数の楽器のうち急峻な音がでる楽器に切り換えて演奏されている場合には、急峻に音が変化することを想定して音楽を聴くことが多い。これに対し、出力制御装置１００によれば、急峻に変化する楽器が演奏される場合に、音信号に対して音量についての基準値が小さいと出力された音が音量感に合わない可能性がある。これに対し出力制御装置１００は、音信号の振幅変化の傾きが急峻となる楽器が演奏される場合には出力値の時定数を小さくすることができ、音信号に対する基準値を大きくすることができる。また、出力制御装置１００は、楽器の種類によって時定数を変化させることによって、急峻に音信号が変化する楽器の場合にはメータの表示遅れを少なくし、ゆっくり音信号が変化する楽器の場合にはメータの表示遅れを長くする。これにより出力制御装置１００は、メータの表示を楽器の音量感に合わせることができる。

さらに、複数の楽器２００Ａが出力制御装置１００Ａに接続された場合に、出力制御装置１００Ａは、楽器２００Ａごとに時定数を設定することができる。これにより出力制御装置１００Ａは、楽器２００Ａごとにメータ値を表示した場合でも、楽器２００Ａごとの音量感に合わせてメータ値を制御することができる。また出力制御装置１００Ａによれば、楽器２００Ａごとに音量を調整した場合でも、楽器２００Ａごとの音量感に合わせて音量を自動で調整することができる。

また、出力制御装置１００Ａによれば、楽器識別部１１０Ａにより識別された楽器２００Ａおよび音信号の旋律に基づいて時定数を設定することができる。この出力制御装置１００Ａによれば、楽器２００Ａによって音信号の振幅変化の急峻さが異なるが、楽器２００Ａの演奏方法によって音信号の振幅変化の傾きが様々であるため、旋律によって時定数を調整することができる。

（第３の実施の形態）
以下、第３の実施の形態について説明する。なお、上述した実施の形態と同じ部分については同一符号を付することで詳細な説明を省略する。第３の実施の形態における出力制御装置１００Ｂは、音信号の所定区間ごとに時定数を設定し、所定区間ごとの時定数に基づいて音信号に関する出力値を制御する点で、上述した実施の形態とは相違する。

図１３は、実施の形態における時間的な区間に対する、音信号により識別された楽器、上昇時時定数τｒおよび下降時時定数τｆの関係の一例を示す図である。音信号出力装置２００Ｂは、時間的に変化する動的なコンテンツを出力する。動的なコンテンツは、例えば、楽器を演奏するライブ映像などの音信号を含む。出力制御装置１００Ｂは、複数の時間的な区分Ａ，Ｂ，Ｃごとに、音信号に基づいて楽器Ａを識別し、上昇時時定数τｒＡ、τｒＢ、τｒＣ、および下降時時定数τｆＡ、τｆＢ、τｆＣを設定する。

図１４は、第３の実施の形態における音出力システム１Ｂの構成の一例を示すブロック図である。出力制御装置１００Ｂは、例えば、判定部１１０Ｂと、設定部１２０Ｂと、制御部１３０Ｂとを備える。判定部１１０Ｂは、音信号出力装置２００Ｂから出力された音信号を取得する。判定部１１０Ｂは、音信号の振幅変化の傾きを判定し、または音信号に基づいて楽器を識別する。設定部１２０Ｂは、音信号の所定区間ごとに、判定部１１０Ｂにより識別された音信号の振幅変化の傾きに基づく時定数、または楽器に対応した時定数を設定する。

設定部１２０Ｂは、例えば、時定数設定部１２２と、旋律判定部１２４と、時定数調整部１２６と、区間判定部１２８とを備える。区間判定部１２８は、音信号における時間的な区間を判定する。区間判定部１２８は、例えば、音信号の音色が切り替わるタイミング、楽器が切り替わるタイミング、または音信号の旋律が切り替わるタイミングを判定する。区間判定部１２８は、判定したタイミングによって時間的な区間を判定する。時定数調整部１２６は、区間判定部１２８により判定したタイミングにおいて、判定部１１０Ｂの判定結果に基づく時定数を時定数設定部１２２により設定し、時定数設定部１２２により設定した時定数を旋律判定部１２４により判定した旋律によって調整する。これにより設定部１２０Ｂは、時間的な区間における音信号の上昇時時定数τｒおよび下降時時定数τｆを切り換える。

音信号における時間的な区間は、上述の音色、楽器または旋律が切り替わるタイミングにより判定された変動値であってよいが、固定値であってもよい。例えば、楽器を演奏するライブにおいて演奏される楽曲の時間および楽曲の順序が既知である場合、区間判定部１２８は、楽曲の開始タイミングおよび終了タイミングを固定値として記憶し、開始タイミングおよび終了タイミングが到来したことを判定してよい。時定数調整部１２６は、固定値によって時定数を切り換えることができる。これにより、設定部１２０Ｂは、変動値を用いるよりも簡単な処理で時定数を切り換えることができる。

制御部１３０Ｂは、時間的な区間ごとの上昇時時定数τｒおよび下降時時定数τｆに基づいて表示制御信号を生成し、生成した表示装置３１０に出力する。同様に、制御部１３０Ｂは、時間的な区間ごとの上昇時時定数τｒおよび下降時時定数τｆに基づいて音量制御信号を生成し、生成した音量制御信号を音量自動調整装置３２０に出力する。

なお、判定部１１０Ｂは、音信号の振幅変化の傾きを判定する処理、および楽器を識別する処理の少なくとも一方を行ってよい。設定部１２０Ｂは、音信号の所定区間ごとに、判定部１１０Ｂにより音信号の振幅変化の傾きを判定する処理、および楽器を識別する処理の双方を行った場合、振幅変化の傾きに基づく時定数と楽器に対応した時定数の平均値を算出してよく、振幅変化の傾きに基づく時定数と楽器に対応した時定数との一方を選択してもよい。

第３の実施の形態における出力制御装置１００Ｂによれば、例えばライブ映像などの時間的に変化する動的なコンテンツが入力された場合でも、音信号の振幅変化の傾きまたは楽器に応じて動的に最適な時定数を設定して出力値を制御することができる。

（変形例）
以下、上述した実施の形態の変形例について説明する。
図１５は、実施の形態の変形例に係る音出力システム１Ｃを示すブロック図である。音出力システム１Ｃは、複数の音信号出力装置２００－１、２００－２、および２００－３を備える。音信号出力装置２００－１、２００－２、および２００－３のそれぞれは、例えば、異なる音信号記憶装置であってよく、異なる楽器であってもよく、異なる場所のスタジオまたはライブ会場であってよい。出力制御装置１００Ｃは、複数の音信号出力装置２００－１、２００－２、および２００－３からそれぞれ音信号Ａ、音信号Ｂ、および音信号Ｃを同時に入力する。出力制御装置１００Ｃは、設定部１２０により、音信号Ａに基づいて時定数τＡを設定し、音信号Ｂに基づいて時定数τＢを設定し、および音信号Ｃに基づいて時定数τＣを設定する。制御部１３０Ｂは、計算した複数の時定数τＡ、τＢ、およびτＣのそれぞれを用いて複数の表示制御信号を音量自動調整装置３２０Ａに出力する。制御部１３０Ｂは、複数の時定数τＡ、τＢ、およびτＣのそれぞれを用いて複数の表示制御信号を表示装置３１０に出力する。

音量自動調整装置３２０Ａは、バランス調整部３２６と、微調整部３２８とを備える。バランス調整部３２６は、時定数τＡに基づく音量制御信号と、時定数τＢに基づく音量制御信号、および時定数τＣに基づく音量制御信号を取得し、３つの音信号の間の音量バランスを調整する。「音量バランスを調整する」とは、例えば、複数の基準値間の差を調整することであってよい。バランス調整部３２６は、例えば、予め設定された音量バランスの調整ルールに従って作成されたテーブルデータを参照して音量バランスを調整してよい。バランス調整部３２６は、例えば楽器の種類を示す情報に基づいて音量バランスを調整する。具体的に、バランス調整部３２６は、複数の楽器のうち特定の楽器（例えばドラム）の音量を大きくするように調整してよい。また、バランス調整部３２６は、例えば音楽のジャンルを示す情報に基づいて音量バランスを調整する。具体的に、バランス調整部３２６は、特定のジャンルにおいてはボーカルの音量を大きくするように調整する。微調整部３２８は、例えば、ユーザの操作に基づいて、バランス調整部３２６により自動的に調整された音量バランスを微調整する。これにより音量自動調整装置３２０Ａは、ユーザの音量感に合わせて音量を微調整することができる。

表示装置３１０Ａは、バランス調整部３１６と、微調整部３１８とを備える。バランス調整部３１６は、時定数τＡに基づく表示制御信号と、時定数τＢに基づく表示制御信号、および時定数τＣに基づく表示制御信号を取得し、３つのメータ値の間のバランスを調整する。「３つのメータ値の間のバランスを調整する」とは、例えば、３つのメータ値のうち瞬間的に突出したメータ値を抑制することであってよい。バランス調整部３１６は、例えば、予め設定されたメータ値の調整ルールに従って作成されたテーブルデータを参照して、複数のメータ値のバランスを調整してよい。バランス調整部３１６は、例えば楽器の種類を示す情報に基づいてメータ値のバランスを調整する。具体的に、バランス調整部３１６は、メータ値を見やすくするように、複数の楽器のうち特定の楽器のメータ値を大きくまたは小さくするように調整してよい。微調整部３２８は、例えば、ユーザの操作に基づいてメータ値を微調整する。これにより音量自動調整装置３２０Ａは、ユーザの音量感に合わせてメータ値を微調整することができる。

図１６は、実施の形態の他の変形例に係る音出力システム１Ｄを示すブロック図である。音出力システム１Ｄは、複数の音信号出力装置２００と、音信号配信サービス提供装置４００と、音信号配信アプリケーション処理部５００とを備える。音信号配信サービス提供装置４００は、音信号配信サービスを提供するクラウドサービス提供装置である。音信号配信サービス提供装置４００は、例えば、音信号収集部４１０と、音信号加工部４２０と、音信号配信部４３０と、音信号データベース部４４０とを備える。

音信号収集部４１０は、ネットワークＮＷを介して一または複数の音信号出力装置２００から音信号を収集する。音信号収集部４１０は、ＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）や無線通信モジュールなどの通信インターフェイスを備えてよい（図１では不図示）。ネットワークＮＷは、例えば、インターネット、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、セルラー網などを含む。

音信号加工部４２０は、音信号収集部４１０により収集した音信号を加工する。音信号加工部４２０は、所定の処理を行うことで音信号を自動的に加工する。例えば、音信号のノイズ除去や収音のバラツキ（音量レベル）補正などの音質の調整、ピッチの調整などの加工処理を行う。音信号加工部４２０は、音信号を解析することにより、音量レベルおよびピッチなどの音源パラメータを取得してよい。音源パラメータは、例えば、収音のバラツキを示すパラメータ、音信号の雰囲気、スタイル等の属性を示すパラメータである。さらに音信号加工部４２０は、機械学習モデルを用いて複数の音信号の収音バラツキを揃えてよい。

音信号データベース部４４０は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ＲＯＭ（Read Only Memory）、またはＲＡＭ（Random Access Memory）、或いはこれらを複数用いたハイブリッド型記憶装置により実現される。音信号データベース部４４０は、音信号収集部４１０により収集された音信号、音信号加工部４２０により音信号を加工した加工データ、および音信号加工部４２０により解析された音源パラメータ等をデータベース化して記憶する。

音信号配信部４３０は、音信号配信アプリケーション処理部５００からの要求を受け付け、要求に合致する音信号、および加工データを音信号データベース部４４０から抽出する。音信号配信部４３０は、抽出した音信号および加工データを、要求に対する応答データとして音信号配信アプリケーション処理部５００に配信する。

音信号配信アプリケーション処理部５００は、例えばスマートフォンなどのユーザ端末装置にインストールされた音信号配信アプリケーションをＣＰＵ等により実行することにより実現される機能部である。音信号配信アプリケーション処理部５００は、例えば、音信号配信サービス提供装置４００にアクセスし、ユーザの操作に基づいて音信号配信サービス提供装置４００に検索クエリを生成する。音信号配信サービス提供装置４００は、検索クエリを音信号配信サービス提供装置４００に送信する。音信号配信サービス提供装置４００は、検索クエリに基づいて音信号データベース部４４０に登録されている検索クエリに合致した音信号および加工データを抽出し、検索結果を音信号配信アプリケーション処理部５００に送信する。これにより音信号配信アプリケーション処理部５００は、検索結果をユーザに提示し、検索結果に基づいて音信号および加工データをダウンロードして出力制御装置１００に出力することができる。

音信号配信アプリケーション処理部５００は、ユーザが所望する音信号の加工方法、音信号のスタイル等を指定する情報を音信号配信サービス提供装置４００に送信し、指定した情報に合致する加工方法またはスタイルの音信号および加工データをダウンロードしてよい。また、音信号配信アプリケーション処理部５００は、音信号の加工方法、音信号のスタイル等を指定する情報、および自身が保有する音信号を音信号配信サービス提供装置４００にアップロードし、アップロードした音信号を指定する情報に基づいて音信号配信サービス提供装置４００に加工させ、加工済の音信号をダウンロードしてよい。

出力制御装置１００は、音信号配信アプリケーション処理部５００から出力された音信号および加工データを入力すると、音信号および加工データについて時定数を設定して表示制御信号および音量制御信号を表示装置３１０および音量自動調整装置３２０に出力する。これにより出力制御装置１００は、ネットワークＮＷを介してダウンロードした音信号および加工データに適した時定数を設定することができる。

音出力システム１Ｄは、音信号配信サービス提供装置４００により作成した音源パラメータを音信号配信アプリケーション処理部５００に提供し、音信号配信アプリケーション処理部５００によって音源パラメータに基づいて音信号を加工してよい。これにより音信号配信アプリケーション処理部５００は、自身で加工した音信号を出力制御装置１００に出力することができる。

上述した実施形態における音出力システム、出力制御装置、音信号出力装置、および出力装置（表示装置および音量自動調整装置）の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１、１Ａ、１Ｂ、１Ｃ、１Ｄ…音出力システム、１００、１００Ａ、１００Ｂ、１００Ｃ…出力制御装置、１１０…判定部、１１０Ａ…楽器識別部、１１０Ｂ…判定部、１２０…設定部、１２０Ａ…設定部、１２０Ｂ…設定部、１２２…時定数設定部、１２４…旋律判定部、１２６…時定数調整部、１２８…区間判定部、１３０、１３０Ａ、１３０Ｂ…制御部、１３２…基準値算出部、２００、２００Ａ、２００Ｂ、２００－１、２００－２…音信号出力装置…楽器、３００…出力装置、３１０、３１０Ａ…表示装置、３１２…表示部、３１４…表示制御部、３１６…バランス調整部、３１８…微調整部、３２０、３２０Ａ…音量自動調整装置、３２２…音量操作部、３２４…自動調整部、３２６…バランス調整部、３２８…微調整部、４００…音信号配信サービス提供装置、４１０…音信号収集部、４２０…音信号加工部、４３０…音信号配信部、４４０…音信号データベース部、５００…音信号配信アプリケーション処理部

Claims (15)

1. 時間軸で振幅が変化する音信号の振幅変化の傾きを判定する傾き判定部と、
   前記傾き判定部により判定された前記傾きに基づいて時定数を設定する設定部と、
   前記設定部により設定された前記時定数に基づいて前記音信号に関する出力値を制御する制御部と、
   を備える、出力制御装置。
2. 前記傾き判定部は、前記音信号の振幅が上昇するときの傾き、および前記音信号の振幅が下降するときの傾きを判定し、
   前記設定部は、前記時定数として、前記音信号の振幅が上昇するときの傾きに基づく上昇時時定数、および前記音信号の振幅が下降するときの傾きに基づく下降時時定数を設定し、
   前記制御部は、前記音信号の振幅が上昇しているときには前記上昇時時定数に基づいて前記出力値を制御し、前記音信号の振幅が下降しているときには前記下降時時定数に基づいて前記出力値を制御する、
   請求項１に記載の出力制御装置。
3. 時間軸で振幅が変化する音信号に基づいて楽器を識別する楽器識別部と、
   前記楽器識別部により識別された前記楽器に基づいて時定数を設定する設定部と、
   前記設定部により設定された前記時定数に基づいて前記音信号に関する出力値を制御する制御部と、を備え、
   前記時定数は、前記楽器に対応した前記音信号の振幅変化の傾きに基づいて設定される、出力制御装置。
4. 前記設定部は、前記楽器識別部により識別された前記楽器、および前記音信号の旋律に基づいて前記時定数を設定する、請求項３に記載の出力制御装置。
5. 前記音信号の旋律は、前記音信号の継続長、強弱、音程、同時発音数、連続発音数、発音時間間隔の少なくとも一つを含む、請求項４に記載の出力制御装置。
6. 前記制御部は、前記出力値として前記音信号の振幅を表示するメータ値を制御する、請求項１から５のうち何れか１項に記載の出力制御装置。
7. 前記制御部は、前記出力値として音量値を制御する、請求項１から５のうち何れか１項に記載の出力制御装置。
8. 前記制御部は、前記設定部により設定された前記時定数に基づいて、前記音信号の基準値を、前記音量値として算出する、請求項７に記載の出力制御装置。
9. 時間軸で振幅が変化する音信号の振幅変化の傾きを判定し、または前記音信号に基づいて楽器を識別する判定部と、
   前記音信号の所定区間ごとに、前記判定部により判定された前記音信号の振幅変化の傾き、または前記判定部により識別された前記楽器に対応した前記音信号の振幅変化の傾きに基づいて時定数を設定する設定部と、
   前記設定部により設定された前記所定区間ごとの前記時定数に基づいて前記音信号に関する出力値を制御する制御部と、
   を備える、出力制御装置。
10. 時間軸で振幅が変化する音信号を取得するステップと、
    前記音信号の振幅変化の傾きを判定するステップと、
    前記傾きに基づいて時定数を設定するステップと、
    前記時定数に基づいて前記音信号に関する出力値を制御するステップと、
    を含む、出力制御方法。
11. コンピュータに、
    時間軸で振幅が変化する音信号を取得するステップと、
    前記音信号の振幅変化の傾きを判定するステップと、
    前記傾きに基づいて時定数を設定するステップと、
    前記時定数に基づいて前記音信号に関する出力値を制御するステップと、
    を実行させる、プログラム。
12. 時間軸で振幅が変化する音信号を取得するステップと、
    前記音信号に基づいて楽器を識別するステップと、
    前記楽器に基づいて時定数を設定するステップと、
    前記時定数に基づいて前記音信号に関する出力値を制御するステップと、を有し、
    前記時定数は、前記楽器に対応した前記音信号の振幅変化の傾きに基づいて設定される、出力制御方法。
13. コンピュータに、
    時間軸で振幅が変化する音信号を取得するステップと、
    前記音信号に基づいて楽器を識別するステップと、
    前記楽器に基づいて時定数を設定するステップと、
    前記時定数に基づいて前記音信号に関する出力値を制御するステップと、
    を実行させ、
    前記時定数は、前記楽器に対応した前記音信号の振幅変化の傾きに基づいて設定される、プログラム。
14. 時間軸で振幅が変化する音信号を取得するステップと、
    前記音信号の振幅変化の傾きを判定し、または前記音信号に基づいて楽器を識別するステップと、
    前記音信号の所定区間ごとに、前記音信号の振幅変化の傾き、または前記楽器に対応した前記音信号の振幅変化の傾きに基づいて時定数を設定するステップと、
    前記所定区間ごとの前記時定数に基づいて前記音信号に関する出力値を制御するステップと、
    を含む、出力制御方法。
15. コンピュータに、
    時間軸で振幅が変化する音信号を取得するステップと、
    前記音信号の振幅変化の傾きを判定し、または前記音信号に基づいて楽器を識別するステップと、
    前記音信号の所定区間ごとに、前記音信号の振幅変化の傾き、または前記楽器に対応した前記音信号の振幅変化の傾きに基づいて時定数を設定するステップと、
    前記所定区間ごとの前記時定数に基づいて前記音信号に関する出力値を制御するステップと、
    を実行させる、プログラム。

Images