JP6819236B2 - Sound processing equipment, sound processing methods, and programs - Google Patents
Sound processing equipment, sound processing methods, and programs Download PDFInfo
- Publication number
- JP6819236B2 JP6819236B2 JP2016225546A JP2016225546A JP6819236B2 JP 6819236 B2 JP6819236 B2 JP 6819236B2 JP 2016225546 A JP2016225546 A JP 2016225546A JP 2016225546 A JP2016225546 A JP 2016225546A JP 6819236 B2 JP6819236 B2 JP 6819236B2
- Authority
- JP
- Japan
- Prior art keywords
- sound
- indirect
- content
- performance
- component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Stereophonic System (AREA)
- Reverberation, Karaoke And Other Acoustics (AREA)
- Circuit For Audible Band Transducer (AREA)
Description
本発明は音処理装置、音処理方法、及びプログラムに関する。 The present invention relates to a sound processing device, a sound processing method, and a program.
音楽や映画等のコンテンツを楽しむための装置には、コンテンツの音響信号に対して擬似的に間接音成分(残響成分等)を付加してスピーカから放音させることによってホールの音場を再現する機能を備えたものがある(特許文献1)。 For devices for enjoying content such as music and movies, the sound field of the hall is reproduced by adding a pseudo indirect sound component (reverberation component, etc.) to the acoustic signal of the content and emitting sound from the speaker. Some have a function (Patent Document 1).
例えば、ユーザによって演奏されている楽器の楽器音又はユーザの歌唱音に対して擬似的な間接音成分を付加して、音楽コンテンツとともにスピーカから放音させることができれば、ユーザは音楽コンテンツの演奏者の一員となって楽器を演奏したり、歌を歌ったりしている気分を楽しむことができるようになる。しかしながら、この場合、ユーザの楽器音(又は歌唱音)とコンテンツ音との特性が異なることによって、ユーザの楽器音(又は歌唱音)とコンテンツ音との一体感をユーザが十分に感じることができないおそれがある。例えば、ユーザの楽器音(又は歌唱音)の間接音成分の量と、コンテンツ音の間接音成分の量とが異なることによって、ユーザの楽器音(又は歌唱音)とコンテンツ音との一体感をユーザが十分に感じることができないおそれがある。 For example, if a pseudo indirect sound component can be added to the musical instrument sound of the musical instrument played by the user or the singing sound of the user and the sound is emitted from the speaker together with the music content, the user is a performer of the music content. You will be able to enjoy the feeling of playing an instrument or singing a song as a member. However, in this case, since the characteristics of the user's musical instrument sound (or singing sound) and the content sound are different, the user cannot sufficiently feel the sense of unity between the user's musical instrument sound (or singing sound) and the content sound. There is a risk. For example, by making the amount of the indirect sound component of the user's instrument sound (or singing sound) different from the amount of the indirect sound component of the content sound, the user's instrument sound (or singing sound) and the content sound can be united. The user may not be able to fully feel it.
本発明は上記課題に鑑みてなされたものであって、その目的は、ユーザの楽器音又は歌唱音とコンテンツ音との一体感を感じながら、ユーザがコンテンツに合わせて演奏を行うことが可能な音処理装置、音処理方法、及びプログラムを提供することにある。 The present invention has been made in view of the above problems, and an object of the present invention is to enable a user to perform according to a content while feeling a sense of unity between the user's musical instrument sound or singing sound and the content sound. The purpose of the present invention is to provide a sound processing device, a sound processing method, and a program.
上記課題を解決するために、本発明に係る音処理装置は、ユーザの演奏音の入力を受け付ける入力手段と、前記演奏音と、コンテンツデータに基づいて得られる音であるコンテンツ音との特性を合わせるために、前記演奏音と前記コンテンツ音との少なくとも一方を調整する調整手段と、前記演奏音と前記コンテンツ音とをミックスしてなる音に対応する間接音成分を生成する生成手段と、前記演奏音と、前記コンテンツ音の少なくとも直接音成分と、前記間接音成分とをミックスしてなる音を出力手段に出力する出力制御手段と、を含む。 In order to solve the above problems, the sound processing device according to the present invention has characteristics of an input means for receiving input of a user's performance sound, the performance sound, and a content sound which is a sound obtained based on the content data. An adjustment means for adjusting at least one of the performance sound and the content sound, a generation means for generating an indirect sound component corresponding to a sound obtained by mixing the performance sound and the content sound, and the above-mentioned It includes an output control means for outputting a sound formed by mixing the performance sound, at least the direct sound component of the content sound, and the indirect sound component to the output means.
また、本発明に係る音処理方法は、ユーザの演奏音と、コンテンツデータに基づいて得られるコンテンツ音との特性を合わせるために、前記演奏音と前記コンテンツ音との少なくとも一方を調整する調整ステップと、前記演奏音と前記コンテンツ音とをミックスしてなる音に対応する間接音成分を生成する生成ステップと、前記演奏音と、前記コンテンツ音の少なくとも直接音成分と、前記間接音成分とをミックスしてなる音を出力手段に出力する出力制御ステップと、を含む。 Further, the sound processing method according to the present invention is an adjustment step of adjusting at least one of the performance sound and the content sound in order to match the characteristics of the user's performance sound and the content sound obtained based on the content data. A generation step of generating an indirect sound component corresponding to a sound obtained by mixing the performance sound and the content sound, the performance sound, at least a direct sound component of the content sound, and the indirect sound component. It includes an output control step for outputting the mixed sound to the output means.
また、本発明に係るプログラムは、ユーザの演奏音と、コンテンツデータに基づいて得られるコンテンツ音との特性を合わせるために、前記演奏音と前記コンテンツ音との少なくとも一方を調整する調整手段、前記演奏音と前記コンテンツ音とをミックスしてなる音に対応する間接音成分を生成する生成手段、及び、前記演奏音と、前記コンテンツ音の少なくとも直接音成分と、前記間接音成分とをミックスしてなる音を出力手段に出力する出力制御手段、としてコンピュータを機能させるためのプログラムである。また、本発明に係る情報記憶媒体は、上記プログラムを記録したコンピュータ読み取り可能な情報記憶媒体である。 Further, the program according to the present invention is an adjusting means for adjusting at least one of the performance sound and the content sound in order to match the characteristics of the user's performance sound and the content sound obtained based on the content data. A generation means for generating an indirect sound component corresponding to a sound obtained by mixing a performance sound and the content sound, and the performance sound, at least a direct sound component of the content sound, and the indirect sound component are mixed. This is a program for operating a computer as an output control means for outputting a sound to an output means. The information storage medium according to the present invention is a computer-readable information storage medium on which the above program is recorded.
なお、本発明において、「演奏」とは音を出す行為を示し、「演奏」には、楽器を奏でる行為だけでなく、歌を歌う行為も含まれる。すなわち、「演奏音」とは楽器の演奏音だけでなく、歌唱音も含む。 In the present invention, "performance" means an act of producing a sound, and "performance" includes not only an act of playing a musical instrument but also an act of singing a song. That is, the "performance sound" includes not only the performance sound of the musical instrument but also the singing sound.
本発明によれば、ユーザの楽器音又は歌唱音とコンテンツ音との一体感を感じながら、ユーザがコンテンツに合わせて演奏を行うことが可能になる。 According to the present invention, the user can perform a performance according to the content while feeling a sense of unity between the user's musical instrument sound or singing sound and the content sound.
以下、本発明の実施形態の例を図面に基づいて説明する。 Hereinafter, examples of embodiments of the present invention will be described with reference to the drawings.
[第1実施形態]まず、第1実施形態について説明する。図1は、本発明の第1実施形態に係る音処理装置を備えたシステムの構成を示す。図1に示すように、このシステムは、音処理装置1、コンテンツ再生装置2、マイク3、電子楽器4、電気楽器5、スピーカ6(放音手段の一例)、及び表示装置7を含む。なお、コンテンツ再生装置2は、例えば、光学記憶媒体に記憶されたコンテンツ(音楽又は動画等)を再生するものであってもよいし、ネットワークを介して配信されるコンテンツを再生するものであってもよい。
[First Embodiment] First, the first embodiment will be described. FIG. 1 shows a configuration of a system including a sound processing device according to a first embodiment of the present invention. As shown in FIG. 1, this system includes a sound processing device 1, a
音処理装置1は例えばAVレシーバ等である。音処理装置1は、CPU11、メモリ12、入力部13、出力部14、音響信号処理部15、及び映像信号処理部16を含む。
The sound processing device 1 is, for example, an AV receiver or the like. The sound processing device 1 includes a CPU 11, a
CPU11は、メモリ12に記憶されたプログラムに基づいて、入力部13、出力部14、音響信号処理部15、及び映像信号処理部16を制御したり、情報処理を実行したりする。図1では省略されているが、ネットワークを介してデータ通信を行うためのネットワークインタフェースが音処理装置1に備えられており、プログラムはネットワークを介してダウンロードされてメモリ12に記憶される。または、メモリカード等の情報記憶媒体からプログラムを読み出すための構成要素が音処理装置1に備えられており、プログラムが情報記憶媒体から読み出されてメモリ12に記憶される。
The CPU 11 controls the
入力部13は、コンテンツ再生装置2からコンテンツデータに基づく音響信号及び映像信号の入力を受け付けることが可能であり、音響信号を音響信号処理部15に供給し、映像信号を映像信号処理部16に供給する。
The
また入力部13は、ユーザの演奏音の入力を受け付けることも可能である。なお、「演奏」とは音を出す行為を示し、「演奏」には、楽器を奏でる行為だけでなく、歌を歌う行為も含まれる。このため、「演奏音」には、楽器の演奏音だけでなく、歌唱音も含まれる。なお以下では、楽器の演奏音のことを便宜上「楽器音」と記載する。
The
例えば、入力部13はマイク3と接続されて、マイク3から出力される音響信号の入力を受け付けることが可能であり、当該音響信号を音響信号処理部15に供給する。マイク3は音を収音し、収音された音を音響信号として出力する。マイク3は、ユーザによって演奏されるアコースティック楽器の楽器音や、ユーザの歌唱音を音処理装置1に入力するために用いられる。
For example, the
また例えば、入力部13はユーザによって演奏される電子楽器4又は電気楽器5と接続されて、電子楽器4又は電気楽器5から出力される音響信号の入力を受け付けることも可能であり、当該音響信号を音響信号処理部15に供給する。
Further, for example, the
なお、入力部13が無線ネットワークインタフェースを含むようにし、音響信号が無線通信を介して入力部13に入力されるようにしてもよい。すなわち、コンテンツ音や演奏音が無線通信を介して音処理装置1に入力されるようにしてもよい。
The
音響信号処理部15は例えばDSP(Digital Signal Processor)であり、CPU11からの制御に従って、音響信号に関する処理を実行する。音響信号処理部15から出力される音響信号は出力部14を介してスピーカ6から放音される。
The acoustic
映像信号処理部16は例えばDSP(Digital Signal Processor)であり、CPU11からの制御に従って、映像信号に関する処理を実行する。映像信号処理部16から出力される映像信号は出力部14を介して表示装置7に表示される。
The video
第1実施形態に係る音処理装置1では、自宅等でアコースティック楽器を奏でたり、歌を歌ったりするユーザがホール等で演奏している気分を楽しむことが可能になっている。以下、このような機能を実現するための構成について説明する。なお、図1に示したように、音処理装置1は、電子楽器4又は電気楽器5の楽器音の入力を受け付ける機能や、コンテンツ再生装置2によって再生されたコンテンツをスピーカ6や表示装置7で出力させる機能を備えているが、これらの機能は第1実施形態では必須のものではない。
In the sound processing device 1 according to the first embodiment, it is possible for a user who plays an acoustic musical instrument or sings a song at home or the like to enjoy the feeling of playing in a hall or the like. Hereinafter, a configuration for realizing such a function will be described. As shown in FIG. 1, the sound processing device 1 has a function of receiving the input of the musical instrument sound of the electronic
図2はユーザの演奏環境の一例を示す。図2に示す例では、ユーザUの目の前にマイク3が設置されている。マイク3はユーザの演奏音を収音するために用いられる。例えば、ユーザがアコースティック楽器を奏でている場合には、楽器音がマイク3によって収音され、入力部13に入力される。また例えば、ユーザが歌を歌っている場合には、歌唱音がマイク3によって収音され、入力部13に入力される。
FIG. 2 shows an example of the user's playing environment. In the example shown in FIG. 2, the
また図2に示す例では、複数のスピーカ6A,6B,6C,6D,6Eが設置されている。具体的には、ユーザUの正面にスピーカ6Aが設置されている。また、ユーザUから見て左前方、右前方にそれぞれスピーカ6B,6Cが設置され、ユーザUから見て左後方、右後方にそれぞれスピーカ6D,6Eが設置されている。図2に示す例では、5台のスピーカ6A〜6Eを設置しているが、4台以下のスピーカ6を設置してもよいし、6台以上のスピーカ6を設置してもよい。例えば、スピーカ6B,6Cのみを設置してもよい。
Further, in the example shown in FIG. 2, a plurality of
図3は、第1実施形態に係る音処理装置1で実現される機能を示す機能ブロック図である。図3に示すように、第1実施形態に係る音処理装置1は、演奏音調整部101、プリプロセッシング部102(第1の処理手段の一例)、間接音成分生成部103、ポストプロセッシング部104(第2の処理手段の一例)、及び出力制御部105を含む。これらの機能ブロックはCPU11及び音響信号処理部15によって実現される。例えば、CPU11がプログラムに従って音響信号処理部15を制御することによって、上記の機能ブロックが実現される。
FIG. 3 is a functional block diagram showing a function realized by the sound processing device 1 according to the first embodiment. As shown in FIG. 3, the sound processing device 1 according to the first embodiment includes a performance
図4は、第1実施形態に係る音処理装置1で実行される処理を示すフロー図である。以下、図4を参照しながら各機能ブロックの機能について説明する。 FIG. 4 is a flow chart showing a process executed by the sound processing device 1 according to the first embodiment. Hereinafter, the functions of each functional block will be described with reference to FIG.
まず、演奏音調整部101は、マイク3から入力された演奏音に対して所定処理を施すことによって、演奏音を調整する(S10)。例えば、演奏音調整部101は、マイク3におけるハウリングを低減するためのハウリング低減処理を演奏音に対して施す。また例えば、演奏音調整部101はエフェクト処理(例えば、間接音を生成する前に不要な周波数帯域を削除したり、音圧レベルを整えたりする処理等)を演奏音に対して施すようにしてもよい。演奏音調整部101による処理が施された演奏音はプリプロセッシング部102に供給される。
First, the performance
プリプロセッシング部102は、供給された音(ここでは演奏音)に対して、プリプロセッシングを実行する(S11)。例えば、プリプロセッシング部102は、供給された音に対して、イコライザによる音声調整処理等を施す。プリプロセッシング部102による処理が施された演奏音は間接音成分生成部103に供給される。なお、図3では、演奏音調整部101とプリプロセッシング部102とが別個の機能ブロックとして示されているが、これらは一体的に構成されるようにしてもよい。
The
間接音成分生成部103は演奏音に対応する擬似的な間接音成分を生成する(S12)。すなわち、間接音成分生成部103は、ホール等の音響空間で演奏音が発せられた場合を想定し、その場合に音響空間で発生する間接音成分(残響成分等)を生成する。擬似的な間接音成分を生成する方法としては公知の各種方法を採用することができる。例えば、間接音成分生成部103は、想定する音響空間における間接音(残響音)の発生位置、直接音に対する間接音の遅延時間や、直接音の音圧レベルに対する間接音のレベルの割合等の情報に基づいて、演奏音に対応する擬似的な間接音成分を生成する。
The indirect sound
例えば、間接音成分生成部103は、供給された音に対応する間接音成分を当該供給された音に対して付加する間接音成分付加部を含んでおり、間接音成分生成部103は演奏音を間接音成分付加部に供給する。そして、間接音成分生成部103は、間接音成分付加部から出力される音(間接音成分が付加された演奏音)から元々の演奏音を除去することによって、間接音成分のみを取得する。
For example, the indirect sound
図5は間接音成分の生成方法の一例について説明するための図である。図5(A)は演奏音の一例を示す。この演奏音は直接音成分に相当する。例えば、図5(A)に示す演奏音(直接音成分)は第1バッファ及び第2バッファの各々に格納される。間接音成分付加部は、第1バッファに格納された演奏音(直接音成分)に対して、当該演奏音に対応する間接音成分を付加する。ここで、間接音成分を付加する方法として公知の各種方法を採用することができる。この場合、第1バッファには、例えば図5(B)に示すように、演奏音の直接音成分及び間接音成分が格納される。その後、間接音成分生成部103は、第1バッファに格納された演奏音の直接音成分及び間接音成分(図5(B))から、第2バッファに格納された演奏音の直接音成分(図5(A))を減算することによって、図5(C)に示すような間接音成分のみを取得する。
FIG. 5 is a diagram for explaining an example of a method of generating an indirect sound component. FIG. 5A shows an example of a performance sound. This playing sound corresponds to a direct sound component. For example, the performance sound (direct sound component) shown in FIG. 5A is stored in each of the first buffer and the second buffer. The indirect sound component addition unit adds an indirect sound component corresponding to the performance sound to the performance sound (direct sound component) stored in the first buffer. Here, various known methods can be adopted as a method for adding the indirect sound component. In this case, as shown in FIG. 5B, for example, the first buffer stores the direct sound component and the indirect sound component of the performance sound. After that, the indirect sound
なお、間接音成分を生成する方法は上記の例に限られない。例えば、図5(A)に示す演奏音(直接音成分)を第1バッファに格納し、当該演奏音(直接音成分)に対応する間接音成分を第2バッファに生成するようにしてもよい。 The method of generating the indirect sound component is not limited to the above example. For example, the performance sound (direct sound component) shown in FIG. 5A may be stored in the first buffer, and the indirect sound component corresponding to the performance sound (direct sound component) may be generated in the second buffer. ..
間接音成分生成部103によって生成された間接音成分はポストプロセッシング部104に供給される。ポストプロセッシング部104は、供給された音(ここでは間接音成分)に対して、ポストプロセッシングを実行する(S13)。例えば、ポストプロセッシング部104は、供給された音に対して、スピーカ6の特性に合わせて調整するための処理を施す。ポストプロセッシング部104よる処理が施された間接音成分は出力制御部105に供給される。
The indirect sound component generated by the indirect sound
出力制御部105は、供給された間接音成分を出力部14(出力手段の一例)に出力する(S14)。すなわち、出力制御部105は、マイク3から入力された演奏音(アコースティック楽器の楽器音又は歌唱音)を出力部14に出力することを制限しつつ、間接音成分を出力部14に出力する。出力部14に出力された間接音成分はスピーカ6によって放音される。
The
ここで、「演奏音を出力部14に出力することを制限する」とは、例えば、演奏音を出力部14に出力しないようにすることである。すなわち、出力制御部105は、マイク3から入力された演奏音(直接音成分)を出力部14に出力せずに、間接音成分のみを出力部14に出力する。言い換えれば、出力制御部105は、マイク3から入力された演奏音(直接音成分)がスピーカ6から放音されないようにし、間接音成分のみがスピーカ6から放音されるようにする。
Here, "restricting the output of the performance sound to the
「演奏音を出力部14に出力することを制限する」とは、例えば、間接音成分に比べてかなり小さい音量で演奏音を放音されるように出力部14に出力することであってもよい。すなわち、出力制御部105は、マイク3から入力された演奏音(直接音成分)を通常の音量に比べてかなり小さい音量(ユーザの耳に聞こえ難い程度に小さい音量)で放音されるように出力部14に出力しつつ、間接音成分を通常の音量で出力部14に出力するようにしてもよい。言い換えれば、出力制御部105は、マイク3から入力された演奏音(直接音成分)が通常の音量に比べてかなり小さい音量でスピーカ6から放音されるようにし、間接音成分が通常の音量でスピーカ6から放音されるようにする。
"Restricting the output of the performance sound to the
なお、スピーカ6が音処理装置1に内蔵される場合、出力制御部105は、供給された間接音成分をスピーカ6(出力手段の他の一例)に出力することになる。
When the speaker 6 is built in the sound processing device 1, the
以上に説明した第1実施形態に係る音処理装置1によれば、ユーザの演奏音(アコースティック楽器の楽器音又は歌唱音)に対応する擬似的な間接音成分(残響成分等)がスピーカ6から放音されるため、ユーザはホールや教会等でアコースティック楽器を演奏したり、歌を歌ったりしている気分を楽しむことができる。また、第1実施形態に係る音処理装置1によれば、ユーザの演奏音(アコースティック楽器の楽器音又は歌唱音)がスピーカ6から放音されることが制限されるため、本来の発音位置とは異なる位置から発せられる演奏音が聞こえることに起因する違和感をユーザに与えてしまわないように図ることができる。 According to the sound processing device 1 according to the first embodiment described above, a pseudo indirect sound component (reverberation component, etc.) corresponding to a user's playing sound (musical instrument sound or singing sound of an acoustic instrument) is transmitted from the speaker 6. Since the sound is emitted, the user can enjoy the feeling of playing an acoustic musical instrument or singing a song in a hall or a church. Further, according to the sound processing device 1 according to the first embodiment, the user's performance sound (musical instrument sound or singing sound of an acoustic instrument) is restricted from being emitted from the speaker 6, so that the original sounding position is used. Can be designed so as not to give the user a sense of discomfort due to hearing performance sounds emitted from different positions.
[第2実施形態]次に、第2実施形態について説明する。第2実施形態に係る音処理装置1のハードウェア構成は第1実施形態と同様である。また、ユーザの演奏環境も第1実施形態と基本的に同様である。ただし、第2実施形態では、音処理装置1の入力部13と接続された電子楽器4又は電気楽器5がユーザによって演奏されるため、マイク3は不要である。
[Second Embodiment] Next, the second embodiment will be described. The hardware configuration of the sound processing device 1 according to the second embodiment is the same as that of the first embodiment. Further, the playing environment of the user is basically the same as that of the first embodiment. However, in the second embodiment, since the electronic
第2実施形態に係る音処理装置1では、自宅等で電子楽器4又は電気楽器5を演奏しているユーザがホール等で演奏している気分を楽しむことが可能になっている。以下、このような機能を実現するための構成について説明する。なお、図1に示したように、音処理装置1は、コンテンツ再生装置2によって再生されたコンテンツをスピーカ6や表示装置7で出力させる機能を備えているが、これらの機能は第2実施形態では必須のものではない。
In the sound processing device 1 according to the second embodiment, a user who is playing the electronic
図6は、第2実施形態に係る音処理装置1で実現される機能を示す機能ブロック図である。図6に示すように、第2実施形態に係る音処理装置1は、演奏音調整部111、プリプロセッシング部112、間接音成分生成部113、ポストプロセッシング部114、及び出力制御部115を含む。これらの機能ブロックはCPU11及び音響信号処理部15によって実現される。例えば、CPU11がプログラムに従って音響信号処理部15を制御することによって、上記の機能ブロックが実現される。
FIG. 6 is a functional block diagram showing a function realized by the sound processing device 1 according to the second embodiment. As shown in FIG. 6, the sound processing device 1 according to the second embodiment includes a performance sound adjustment unit 111, a
図7は、第2実施形態に係る音処理装置1で実行される処理を示すフロー図である。以下、図7を参照しながら各機能ブロックの機能について説明する。 FIG. 7 is a flow chart showing a process executed by the sound processing device 1 according to the second embodiment. Hereinafter, the functions of each functional block will be described with reference to FIG. 7.
まず、演奏音調整部111は、電子楽器4又は電気楽器5から入力された演奏音に対して所定処理を施すことによって、演奏音を調整する(S20)。例えば、演奏音調整部111はエフェクト処理(例えば、ギター音に対するディストーション処理等)を演奏音に対して施す。なお、演奏音調整部111では、大きな遅延を発生させるような処理は実行されず、遅延の小さい処理のみが実行される。演奏音調整部111による処理が施された演奏音はプリプロセッシング部112に供給される。
First, the performance sound adjustment unit 111 adjusts the performance sound by performing a predetermined process on the performance sound input from the electronic
プリプロセッシング部112は、供給された音(ここでは演奏音)に対して、プリプロセッシングを実行する(S21)。また、間接音成分生成部113は、演奏音に対応する擬似的な間接音成分を生成する(S22)。そして、ポストプロセッシング部114は、供給された音(ここでは間接音成分)に対して、ポストプロセッシングを実行する(S23)。ステップS21〜S23は第1実施形態のステップS11〜S13と基本的に同様であり、プリプロセッシング部112、間接音成分生成部113、及びポストプロセッシング部114は第1実施形態のプリプロセッシング部102、間接音成分生成部103、及びポストプロセッシング部104と基本的に同様であるため、ここでは説明を省略する。
The
なお、演奏音調整部111による処理が施された演奏音は、経路119を介して、出力制御部115にも供給される。経路119は、プリプロセッシング部112、間接音成分生成部113、及びポストプロセッシング部114を介さずに出力制御部115へと至る経路である。言い換えれば、経路119は、プリプロセッシング部112、間接音成分生成部113、及びポストプロセッシング部114を介して出力制御部115へと至る経路に比べて遅延の少ない経路である。例えば、プリプロセッシング部112、間接音成分生成部113、及びポストプロセッシング部114では、バッファに格納された演奏音に基づいて処理が実行されるが、経路119では、演奏音がバッファに格納されることなく、出力制御部115まで供給される。
The performance sound processed by the performance sound adjustment unit 111 is also supplied to the
出力制御部115は、経路119を介して供給された演奏音(直接音成分)と、間接音成分生成部113によって生成された間接音成分とをミックスし、当該ミックス音を出力部14に出力する(S24)。出力部14に出力されたミックス音はスピーカ6によって放音される。
The
図8は、スピーカ6から放音される音について説明するための図である。ここでは、図8(A)に示すように、演奏音Aが入力された後で演奏音Bが入力された場合を想定する。これらの演奏音A,Bは直接音成分に相当する。この場合、間接音成分生成部113では、図8(B)に示すように、演奏音Aに対応する間接音成分Aが生成され、当該間接音成分Aが出力制御部115に供給される。なお、間接音成分生成部113では、上記の間接音成分Aが生成された後で、演奏音Bに対応する間接音成分Bも生成されるが、ここでは省略している。
FIG. 8 is a diagram for explaining the sound emitted from the speaker 6. Here, as shown in FIG. 8A, it is assumed that the performance sound B is input after the performance sound A is input. These performance sounds A and B correspond to direct sound components. In this case, as shown in FIG. 8B, the indirect sound
プリプロセッシング部112、間接音成分生成部113、及びポストプロセッシング部114での処理量は大きく、これらの機能ブロックでの処理には時間を要するため、間接音成分Aは、これらの機能ブロックでの処理に要した時間に応じた遅延時間だけ遅延してスピーカ6から放音される。これに対して、演奏音A,B(直接音成分)は、遅延の少ない経路119(実質的な遅延の生じない経路)を介してスピーカ6から放音される。このため、図8(C)に示すように、演奏音Aに対応する間接音成分Aが実際よりも遅延して、演奏音Aよりも後の演奏音Bとミックスされ、当該ミックスされた音がスピーカ6から放音される。
Since the amount of processing in the
以上に説明した第2実施形態に係る音処理装置1によれば、ユーザの演奏音(電子楽器4又は電気楽器5の楽器音)に対して擬似的な間接音成分(残響成分等)が付加されてスピーカ6から放音されるため、ユーザはホール等で楽器を演奏している気分を楽しむことができる。また、第2実施形態に係る音処理装置1によれば、ユーザの演奏音は遅延の小さい経路119を介してスピーカ6から放音されるため、ユーザによって演奏されてから当該演奏音がスピーカ6から放音されるまでの遅延を小さく抑えることができる。その結果、ユーザによって演奏されてから当該演奏音がスピーカ6から放音されるまでの遅延が大きいことに起因する違和感にユーザに与えてしまわないように図ることができる。
According to the sound processing device 1 according to the second embodiment described above, a pseudo indirect sound component (reverberation component, etc.) is added to the user's performance sound (musical instrument sound of the electronic
なお、第2実施形態に係る音処理装置1では、ユーザの演奏音に対応する間接音成分が、現実の音響空間で演奏音が発せられた場合に生じる間接音成分に比べて遅れて生じることになるが(図8参照)、間接音成分に遅延が多少生じたとしても、それによりユーザに違和感を与える可能性は低いため、特に問題は生じない。 In the sound processing device 1 according to the second embodiment, the indirect sound component corresponding to the user's performance sound is generated later than the indirect sound component generated when the performance sound is emitted in the actual acoustic space. However, even if there is a slight delay in the indirect sound component, it is unlikely that the user will feel uncomfortable, so that no particular problem will occur.
[第3実施形態]次に、第3実施形態について説明する。第3実施形態に係る音処理装置1のハードウェア構成は第1実施形態と同様である。また、ユーザの演奏環境は第2実施形態と同様である。 [Third Embodiment] Next, the third embodiment will be described. The hardware configuration of the sound processing device 1 according to the third embodiment is the same as that of the first embodiment. The playing environment of the user is the same as that of the second embodiment.
第3実施形態に係る音処理装置1では、自宅等で電子楽器4又は電気楽器5を演奏しているユーザが音楽コンテンツの演奏者の一員となってホール等で演奏している気分を楽しむことが可能になっている。以下、このような機能を実現するための構成について説明する。
In the sound processing device 1 according to the third embodiment, a user playing an electronic
図9は、第3実施形態に係る音処理装置1で実現される機能を示す機能ブロック図である。図9に示すように、第3実施形態に係る音処理装置1は、演奏音調整部121、プリプロセッシング部122、間接音成分生成部123、ポストプロセッシング部124、出力制御部125、及びコンテンツデコード部126を含む。これらの機能ブロックはCPU11及び音響信号処理部15によって実現される。例えば、CPU11がプログラムに従って音響信号処理部15を制御することによって、上記の機能ブロックが実現される。
FIG. 9 is a functional block diagram showing a function realized by the sound processing device 1 according to the third embodiment. As shown in FIG. 9, the sound processing device 1 according to the third embodiment includes a performance
図10は、第3実施形態に係る音処理装置1で実行される処理を示すフロー図である。以下、図10を参照しながら各機能ブロックの機能について説明する。 FIG. 10 is a flow chart showing a process executed by the sound processing device 1 according to the third embodiment. Hereinafter, the functions of each functional block will be described with reference to FIG.
まず、コンテンツデコード部126は、コンテンツ再生装置2から入力されるマルチチャンネルのコンテンツ音をフォーマットデコードすることによって、PCM信号に変換する(S30)。
First, the content decoding unit 126 converts the multi-channel content sound input from the
また、演奏音調整部121は、電子楽器4又は電気楽器5から入力された演奏音に対して所定処理を施すことによって、演奏音を調整する(S31)。ステップS31は第2実施形態のステップS20と同様であり、演奏音調整部121は第2実施形態の演奏音調整部111と同様であるため、ここでは説明を省略する。
Further, the performance
なお、図10では、便宜上、ステップS30,S31が順番に実行されるように示されているが、ステップS30,S31は並列的に実行される。 In FIG. 10, for convenience, steps S30 and S31 are shown to be executed in order, but steps S30 and S31 are executed in parallel.
PCM信号に変換されたコンテンツ音は、AD変換回路によってPCM信号に変換された演奏音とミックスされ(S32)、当該ミックス音がプリプロセッシング部122に供給される。なお、演奏音は経路129を介して出力制御部125にも供給される。経路129は第2実施形態の経路119と同様である。
The content sound converted into the PCM signal is mixed with the performance sound converted into the PCM signal by the AD conversion circuit (S32), and the mixed sound is supplied to the
プリプロセッシング部122は、上記ミックス音に対して、プリプロセッシングを実行する(S33)。例えば、プリプロセッシング部122は、上記ミックス音に対して、イコライザによる音声調整処理等を施す。プリプロセッシング部122による処理が施されたミックス音は間接音成分生成部123に供給される。
The
間接音成分生成部123は上記ミックス音に対応する擬似的な間接音成分を生成する(S34)。すなわち、間接音成分生成部123は、演奏音(直接音成分)とコンテンツ音とに対応する間接音成分を生成する。間接音成分生成部123は、ホール等の音響空間で上記ミックス音が発せられた場合を想定し、その場合に音響空間で発生する間接音成分(残響成分等)を生成する。擬似的な間接音成分を生成する方法としては公知の各種方法を採用することができる。
The indirect sound
例えば、間接音成分生成部123は、第1バッファに格納された上記ミックス音に対して、間接音を付加する処理を施し、その後、第1バッファに格納された音から、第2バッファに格納された元々の上記ミックス音を減算することによって、上記ミックス音に対応する間接音成分を取得する。なお、間接音成分生成部123は、第1バッファに格納された上記ミックス音に基づいて、間接音を生成する処理を実行することによって、上記ミックス音に対応する間接音を第2バッファに生成することによって、上記ミックス音に対応する間接音成分を取得するようにしてもよい。
For example, the indirect sound
間接音成分生成部123によって生成された間接音成分は、コンテンツ音とともに、ポストプロセッシング部124を経て、出力制御部125に供給される。
The indirect sound component generated by the indirect sound
ポストプロセッシング部124はポストプロセッシングを実行する(S35)。ステップS35は第1実施形態のステップS13と基本的に同様であり、ポストプロセッシング部124は第1実施形態のポストプロセッシング部104と基本的に同様であるため、ここでは説明を省略する。
The post-processing unit 124 executes post-processing (S35). Since step S35 is basically the same as step S13 of the first embodiment and the post-processing unit 124 is basically the same as the
出力制御部125は、経路129を介して供給された演奏音(直接音成分)と、ポストプロセッシング部124から供給されるコンテンツ音及び間接音成分とをミックスし、当該ミックス音を出力部14に出力する(S36)。出力部14に出力されたミックス音はスピーカ6によって放音される。
The
図11は、スピーカ6から放音される音について説明するための図である。ここでは、図11(A)に示すように、演奏音A及びコンテンツ音Aが入力された後で、演奏音B及びコンテンツ音Bが入力された場合を想定する。なお、演奏音A,Bは直接音成分に相当する。また図11では、便宜上、演奏音Aとコンテンツ音Aとを時間的に少しずらして示しているが、演奏音Aとコンテンツ音Aとの入力時点は同じであることとする。演奏音Bとコンテンツ音Bとに関しても同様である。 FIG. 11 is a diagram for explaining the sound emitted from the speaker 6. Here, as shown in FIG. 11A, it is assumed that the performance sound B and the content sound B are input after the performance sound A and the content sound A are input. The performance sounds A and B correspond to direct sound components. Further, in FIG. 11, for convenience, the performance sound A and the content sound A are shown with a slight time lag, but it is assumed that the input time points of the performance sound A and the content sound A are the same. The same applies to the performance sound B and the content sound B.
図11(A)に示す例の場合、間接音成分生成部123では、図11(B)に示すように、演奏音Aとコンテンツ音Aとのミックス音に対応する間接音成分Aが生成され、当該間接音成分Aがコンテンツ音Aとともに出力制御部125に供給される。なお、間接音成分生成部113では、上記の間接音成分Aが生成された後で、演奏音Bとコンテンツ音Bとのミックス音に対応する間接音成分Bも生成されるが、ここでは省略している。
In the case of the example shown in FIG. 11A, the indirect sound
プリプロセッシング部122、間接音成分生成部123、及びポストプロセッシング部124での処理量は大きく、これらの機能ブロックでの処理には時間を要するため、間接音成分A及びコンテンツ音Aは、これらの機能ブロックでの処理に要した時間に応じた遅延時間だけ遅延してスピーカ6から放音される。これに対して、演奏音A,B(直接音成分)は、遅延の少ない経路129(実質的な遅延の生じない経路)を介してスピーカ6から放音される。このため、図11(C)に示すように、間接音成分Aが実際よりも遅延して、演奏音Aよりも後の演奏音Bとミックスされ、当該ミックスされた音がスピーカ6から放音される。
Since the processing amount of the
以上に説明した第3実施形態に係る音処理装置1によれば、ユーザの演奏音(電子楽器4又は電気楽器5の楽器音)とマルチチャンネルのコンテンツ音とに対して擬似的な間接音成分(残響成分等)が付加されてスピーカ6から放音されるため、ユーザは音楽コンテンツの演奏者の一員となってホール等で演奏している気分を楽しむことができる。また、第3実施形態に係る音処理装置1によれば、ユーザの演奏音は遅延の小さい経路129を介してスピーカ6から放音されるため、ユーザによって演奏されてから当該演奏音がスピーカ6から放音されるまでの遅延を小さく抑えることができる。その結果、ユーザによって演奏されてから当該演奏音がスピーカ6から放音されるまでの遅延が大きいことに起因する違和感にユーザに与えてしまわないように図ることができる。
According to the sound processing device 1 according to the third embodiment described above, a pseudo indirect sound component is provided for the user's performance sound (musical instrument sound of electronic
[第4実施形態]次に、第4実施形態について説明する。第4実施形態に係る音処理装置1のハードウェア構成は第1実施形態と同様である。また、ユーザの演奏環境は第1実施形態と同様である。 [Fourth Embodiment] Next, the fourth embodiment will be described. The hardware configuration of the sound processing device 1 according to the fourth embodiment is the same as that of the first embodiment. The playing environment of the user is the same as that of the first embodiment.
第4実施形態に係る音処理装置1では、ユーザが音楽コンテンツの演奏者の一員となってホール等で歌を歌ったり、アコースティック楽器を奏でたりしている気分を楽しむことが可能になっている。以下、このような機能を実現するための構成について説明する。 In the sound processing device 1 according to the fourth embodiment, it is possible for the user to enjoy the feeling of singing a song or playing an acoustic musical instrument in a hall or the like as a member of a music content player. .. Hereinafter, a configuration for realizing such a function will be described.
図12は、第4実施形態に係る音処理装置1で実現される機能を示す機能ブロック図である。図12に示すように、第4実施形態に係る音処理装置1は、演奏音調整部131、プリプロセッシング部132、間接音成分生成部133、ポストプロセッシング部134、出力制御部135、及びコンテンツデコード部136を含む。これらの機能ブロックはCPU11及び音響信号処理部15によって実現される。例えば、CPU11がプログラムに従って音響信号処理部15を制御することによって、上記の機能ブロックが実現される。
FIG. 12 is a functional block diagram showing a function realized by the sound processing device 1 according to the fourth embodiment. As shown in FIG. 12, the sound processing device 1 according to the fourth embodiment includes a performance
図13は、第4実施形態に係る音処理装置1で実行される処理を示すフロー図である。以下、図13を参照しながら各機能ブロックの機能について説明する。 FIG. 13 is a flow chart showing a process executed by the sound processing device 1 according to the fourth embodiment. Hereinafter, the functions of each functional block will be described with reference to FIG.
まず、コンテンツデコード部136はコンテンツ再生装置2から入力されるマルチチャンネルのコンテンツ音をフォーマットデコードすることによって、PCM信号に変換する(S40)。ステップS40は第3実施形態のステップS30と基本的に同様であり、コンテンツデコード部136は第3実施形態のコンテンツデコード部126と基本的に同様である。
First, the
ただし、第4実施形態のコンテンツデコード部136は特定成分除去部136Aを含み、ステップS40において、特定成分除去部136Aはコンテンツ音に含まれる特定成分を除去する。具体的には、特定成分除去部136Aは、マイク3から入力された演奏音に対応する特定成分をコンテンツ音から除去する。例えば、ユーザの歌唱音がマイク3から入力される場合、特定成分除去部136Aはボーカル成分をコンテンツ音から除去する。マルチチャンネルのコンテンツ音ではボーカル成分がセンターチャンネルに含まれていることが多いため、特定成分除去部136Aはセンターチャンネルを除去することによって、ボーカル成分をコンテンツ音から除去する。ボーカル成分をコンテンツ音から除去する方法はこの方法に限られず、公知の各種方法を採用することができる。また例えば、アコースティック楽器の楽器音がマイク3から入力される場合、特定成分除去部136Aは、当該アコースティック楽器の楽器音成分をコンテンツ音から除去するようにしてもよい。なお、マイク3から入力される演奏音の種類(例えば歌唱音、ギター音、ピアノ音等のいずれであるのか)に関しては、演奏音を解析することによって自動的に判別するようにしてもよいし、ユーザが入力装置を介して指定するようにしてもよい。
However, the
演奏音調整部131は、マイク3から入力された演奏音に対して所定処理を施すことによって、演奏音を調整する(S41)。ステップS41は第1実施形態のステップS10と同様であり、演奏音調整部131は第1実施形態の演奏音調整部101と同様であるため、ここでは説明を省略する。
The performance
なお、図13では、便宜上、ステップS40,S41が順番に実行されるように示されているが、ステップS40,S41は並列的に実行される。 Note that, in FIG. 13, for convenience, steps S40 and S41 are shown to be executed in order, but steps S40 and S41 are executed in parallel.
PCM信号に変換されたコンテンツ音は、AD変換回路によってPCM信号に変換された演奏音とミックスされ(S42)、当該ミックス音がプリプロセッシング部132に供給される。そして、当該ミックス音に基づいて、プリプロセッシング部132、間接音成分生成部133、及びポストプロセッシング部134による処理が実行される(S43,S44,S45)。ステップS43〜S45は第3実施形態のステップS33〜S35と基本的に同様であり、プリプロセッシング部132、間接音成分生成部133、及びポストプロセッシング部134は第3実施形態のプリプロセッシング部122、間接音成分生成部123、及びポストプロセッシング部124と基本的に同様であるため、ここでは説明を省略する。
The content sound converted into the PCM signal is mixed with the performance sound converted into the PCM signal by the AD conversion circuit (S42), and the mixed sound is supplied to the
なお、演奏音は経路139を介して出力制御部135に供給される。経路139は第2実施形態の経路119と同様である。
The performance sound is supplied to the
第3実施形態の出力制御部125と同様に、出力制御部135は、経路139を介して供給された演奏音(直接音成分)と、ポストプロセッシング部134から供給されるコンテンツ音及び間接音成分とをミックスし、当該ミックス音を出力部14に出力する(S46)。出力部14に出力されたミックス音はスピーカ6によって放音される。
Similar to the
以上に説明した第4実施形態に係る音処理装置1によれば、ユーザの演奏音(歌唱音又はアコースティック楽器の楽器音)とマルチチャンネルのコンテンツ音とに対して擬似的な間接音成分(残響成分等)が付加されてスピーカ6から放音されるため、ユーザは音楽コンテンツの演奏者の一員となってホール等で歌を歌ったり、アコースティック楽器を奏でたりしている気分を楽しむことができる。また、第4実施形態に係る音処理装置1によれば、ユーザの演奏音は遅延の小さい経路139を介してスピーカ6から放音されるため、ユーザによって演奏されてから当該演奏音がスピーカ6から放音されるまでの遅延を小さく抑えることができる。その結果、ユーザによって演奏されてから当該演奏音がスピーカ6から放音されるまでの遅延が大きいことに起因する違和感にユーザに与えてしまわないように図ることができる。
According to the sound processing device 1 according to the fourth embodiment described above, a pseudo indirect sound component (reverberation) with respect to the user's performance sound (singing sound or musical instrument sound of an acoustic instrument) and the multi-channel content sound. Since the sound is emitted from the speaker 6 with the addition of components), the user can enjoy the feeling of singing a song or playing an acoustic instrument in a hall or the like as a member of a music content player. .. Further, according to the sound processing device 1 according to the fourth embodiment, since the user's performance sound is emitted from the speaker 6 via the
さらに、第4実施形態に係る音処理装置1によれば、例えば、ユーザが歌を歌っている場合にはコンテンツ音に含まれるボーカル成分が除去されるため、ユーザが音楽コンテンツのボーカルとなってホール等で歌を歌っている気分を楽しむことができる。 Further, according to the sound processing device 1 according to the fourth embodiment, for example, when the user is singing a song, the vocal component contained in the content sound is removed, so that the user becomes a vocal of the music content. You can enjoy the feeling of singing a song in a hall or the like.
なお、以上では、演奏音とコンテンツ音とをミックスする前に、コンテンツ音のボーカル成分を除去することとして説明したが、コンテンツ音のボーカル成分の除去は、演奏音とコンテンツ音とがミックスされた後で行われてもよい。 In the above, it has been described that the vocal component of the content sound is removed before mixing the performance sound and the content sound. However, in the removal of the vocal component of the content sound, the performance sound and the content sound are mixed. It may be done later.
[第5実施形態]次に、第5実施形態について説明する。第5実施形態に係る音処理装置1のハードウェア構成は第1実施形態と同様である。また、ユーザの演奏環境は第1実施形態又は第2実施形態と同様である。 [Fifth Embodiment] Next, the fifth embodiment will be described. The hardware configuration of the sound processing device 1 according to the fifth embodiment is the same as that of the first embodiment. The playing environment of the user is the same as that of the first embodiment or the second embodiment.
第5実施形態に係る音処理装置1でも、ユーザが音楽コンテンツの演奏者の一員となってホール等で演奏している気分を楽しむことが可能になっている。特に、第5実施形態に係る音処理装置1では、ユーザの演奏音とコンテンツ音との一体感を感じることが可能になっている。以下、このような機能を実現するための構成について説明する。 Also in the sound processing device 1 according to the fifth embodiment, it is possible for the user to enjoy the feeling of playing in a hall or the like as a member of the performer of the music content. In particular, in the sound processing device 1 according to the fifth embodiment, it is possible to feel a sense of unity between the user's performance sound and the content sound. Hereinafter, a configuration for realizing such a function will be described.
図14は、第5実施形態に係る音処理装置1で実現される機能を示す機能ブロック図である。図14に示すように、第5実施形態に係る音処理装置1は、演奏音調整部141、プリプロセッシング部142、間接音成分生成部143、ポストプロセッシング部144、出力制御部145、コンテンツデコード部146、及びコンテンツ音調整部147を含む。これらの機能ブロックはCPU11及び音響信号処理部15によって実現される。例えば、CPU11がプログラムに従って音響信号処理部15を制御することによって、上記の機能ブロックが実現される。
FIG. 14 is a functional block diagram showing a function realized by the sound processing device 1 according to the fifth embodiment. As shown in FIG. 14, the sound processing device 1 according to the fifth embodiment includes a performance
図15は、第5実施形態に係る音処理装置1で実行される処理を示すフロー図である。以下、図15を参照しながら各機能ブロックの機能について説明する。 FIG. 15 is a flow chart showing a process executed by the sound processing device 1 according to the fifth embodiment. Hereinafter, the functions of each functional block will be described with reference to FIG.
まず、コンテンツデコード部146は、コンテンツ再生装置2から入力されるマルチチャンネルのコンテンツ音をフォーマットデコードすることによって、PCM信号に変換する(S50)。ステップS50は第3実施形態のステップS30と基本的に同様であり、コンテンツデコード部146は第3実施形態のコンテンツデコード部126と基本的に同様であるため、ここでは説明を省略する。
First, the
コンテンツ音調整部147は、演奏音とコンテンツ音との特性を合わせるために、コンテンツ音を調整する(S51)。コンテンツ音調整部147は間接音成分除去部147Aを含む。間接音成分除去部147Aは、演奏音とコンテンツ音との間接音成分の量を合わせるために、コンテンツ音に含まれる間接音成分を除去する。コンテンツ音に含まれる間接音成分を除去する方法としては公知の各種方法を採用することができる。
The content
電子楽器4又は電気楽器5から入力される演奏音は直接音成分のみを含み、間接音成分を含んでいないのに対し、コンテンツ音には直接音成分と間接音成分とが含まれている場合がある。このため、例えば、間接音成分除去部147Aはコンテンツ音に含まれる間接音成分を除去して、コンテンツ音の直接音成分のみを出力する。例えば、間接音成分除去部147Aは、コンテンツ音に含まれる間接音成分を特定し、当該特定された間接音成分の音圧レベルを下げることによって、間接音成分を除去する。すなわち、間接音成分除去部147Aは、間接音成分の音圧レベルを零(ほぼ零)まで下げることによって、間接音成分をほぼ完全に除去する。
When the performance sound input from the electronic
なお、間接音成分除去部147Aは、間接音成分の音圧レベルをある程度まで下げることによって、間接音成分をある程度まで除去(低減)するようにしてもよい。すなわち、「間接音成分を除去する」には、間接音成分をほぼ完全に除去することだけでなく、間接音成分をある程度まで除去(低減)することも含まれる。ここで、「ある程度」とは、間接音成分が残っていたとしてもユーザに違和感を感じさせないような程度である。
The indirect sound
演奏音調整部131は演奏音を調整する(S52)。ステップS52は第1実施形態又は第2実施形態のステップS10,20と同様であり、演奏音調整部141は第1実施形態又は第2実施形態の演奏音調整部110,111と同様であるため、ここでは説明を省略する。
The performance
なお、図15では、便宜上、ステップS50,S51とステップS52とが順番に実行されるように示されているが、ステップS50,S51とステップS52とは並列的に実行される。 In FIG. 15, for convenience, steps S50 and S51 and step S52 are shown to be executed in order, but steps S50 and S51 and step S52 are executed in parallel.
間接音成分が除去されたコンテンツ音(直接音成分)は演奏音とミックスされ(S53)、当該ミックス音は、プリプロセッシング部142を経て、間接音成分生成部143に供給される。プリプロセッシング部142は、上記ミックス音に対して、プリプロセッシングを実行する(S54)。ステップS54は第1実施形態のステップS11と同様であり、プリプロセッシング部142は第1実施形態のプリプロセッシング部112と同様であるため、ここでは説明を省略する。
The content sound (direct sound component) from which the indirect sound component has been removed is mixed with the performance sound (S53), and the mixed sound is supplied to the indirect sound
間接音成分生成部143は、上記ミックス音(コンテンツ音の直接音成分と演奏音の直接音成分)に対応する擬似的な間接音成分を生成する(S55)。ステップS55は第3実施形態のステップS34と基本的に同様であり、間接音成分生成部143は第3実施形態の間接音成分生成部123と基本的に同様であるため、ここでは説明を省略する。
The indirect sound
間接音成分生成部143によって生成された間接音成分は、ポストプロセッシング部144を経て出力制御部145に供給される。ポストプロセッシング部144はポストプロセッシングを実行する(S56)。ステップS56は第1実施形態のステップS13と同様であり、ポストプロセッシング部144は第1実施形態のポストプロセッシング部114と同様であるため、ここでは説明を省略する。なお、図14に示すように、間接音成分が除去されたコンテンツ音(すなわち、コンテンツ音の直接音成分)も出力制御部145に供給される。また、演奏音(直接音成分)は経路149を介して出力制御部145に供給される。経路149は第2実施形態の経路129と同様である。
The indirect sound component generated by the indirect sound
出力制御部145は、経路149を介して供給された演奏音(直接音成分)と、コンテンツ音(直接音成分)と、間接音成分生成部143によって生成された間接音成分とをミックスし、当該ミックス音を出力部14に出力する(S57)。出力部14に出力されたミックス音はスピーカ6によって放音される。
The output control unit 145 mixes the performance sound (direct sound component) supplied via the
以上に説明した第5実施形態に係る音処理装置1によれば、ユーザは音楽コンテンツの演奏者の一員となってホール等で演奏している気分を楽しむことができる。また、第5実施形態に係る音処理装置1によれば、ユーザの演奏音とコンテンツ音との間接音成分の量を合わせることが可能になり、その結果、ユーザの演奏音とコンテンツ音との一体感をユーザが十分に感じることが可能になる。 According to the sound processing device 1 according to the fifth embodiment described above, the user can enjoy the feeling of playing in a hall or the like as a member of the performer of the music content. Further, according to the sound processing device 1 according to the fifth embodiment, it is possible to match the amounts of the indirect sound components of the user's performance sound and the content sound, and as a result, the user's performance sound and the content sound are combined. The user can fully feel the sense of unity.
なお、図14に示したように、第5実施形態においても、アコースティック楽器の楽器音又は歌唱音がマイク3から入力されるようにしてもよい。ただし、この場合、演奏音に間接音成分が含まれる場合があるため、演奏音調整部141では演奏音に含まれる間接音成分を除去するようにしてもよい。
As shown in FIG. 14, also in the fifth embodiment, the musical instrument sound or the singing sound of the acoustic musical instrument may be input from the
[第6実施形態]次に、第6実施形態について説明する。第6実施形態は第5実施形態の変形例である。第6実施形態に係る音処理装置1では、演奏音が入力されている場合にのみコンテンツ音の間接音成分を除去する。 [Sixth Embodiment] Next, the sixth embodiment will be described. The sixth embodiment is a modification of the fifth embodiment. The sound processing device 1 according to the sixth embodiment removes the indirect sound component of the content sound only when the performance sound is input.
図16は、第6実施形態に係る音処理装置1で実現される機能を示す機能ブロック図であり、図17は、第6実施形態に係る音処理装置1で実行される処理を示すフロー図である。図16に示すように、第6実施形態に係る音処理装置1は、演奏音調整部141、プリプロセッシング部142、間接音成分生成部143、ポストプロセッシング部144、出力制御部145、コンテンツデコード部146、コンテンツ音調整部147、及び入力検出部148を含む。これらの機能ブロックはCPU11及び音響信号処理部15によって実現される。例えば、CPU11がプログラムに従って音響信号処理部15を制御することによって、上記の機能ブロックが実現される。
FIG. 16 is a functional block diagram showing a function realized by the sound processing device 1 according to the sixth embodiment, and FIG. 17 is a flow diagram showing a process executed by the sound processing device 1 according to the sixth embodiment. Is. As shown in FIG. 16, the sound processing device 1 according to the sixth embodiment includes a performance
第6実施形態に係る音処理装置1は入力検出部148を含み、ステップS51の代わりにステップS51A,51Bを含む点で第5実施形態と異なる。以下、第5実施形態との相違点について主に説明する。
The sound processing device 1 according to the sixth embodiment is different from the fifth embodiment in that it includes an
第6実施形態に係る音処理装置1では、入力検出部148は、電子楽器4、電気楽器5、又はマイク3から演奏音が入力されていることを検出する。間接音成分除去部147Aは、入力検出部148の検出結果に応じて、コンテンツ音に含まれる間接音成分を除去する。具体的には、演奏音が入力されていることが検出されている場合に(S51A:Yes)、間接音成分除去部147Aはコンテンツ音から間接音成分を除去する(S51B)。一方、演奏音が入力されていることが検出されていない場合に(S51A:No)、間接音成分除去部147Aはコンテンツ音から間接音成分を除去しない。なお、図17では省略されているが、この場合、ステップS52,S53も実行されず、プリプロセッシング部142にはコンテンツ音のみが供給され、ステップS57ではコンテンツ音が出力部14に出力される。
In the sound processing device 1 according to the sixth embodiment, the
以上に説明した第6実施形態に係る音処理装置1では、演奏音が入力されている場合に限って、コンテンツ音から間接音成分が除去される。演奏音が入力されていない場合には、演奏音とコンテンツ音とで間接音成分の量を合わせる必要がなく、コンテンツ音から間接音成分を除去する必要がない。この点、第6実施形態に係る音処理装置1によれば、コンテンツ音から間接音成分を除去する必要がない場合には、コンテンツ音から間接音成分を除去する処理が実行されなくなるため、音処理装置1の処理負荷を軽減することが可能になる。 In the sound processing device 1 according to the sixth embodiment described above, the indirect sound component is removed from the content sound only when the performance sound is input. When the performance sound is not input, it is not necessary to match the amount of the indirect sound component between the performance sound and the content sound, and it is not necessary to remove the indirect sound component from the content sound. In this regard, according to the sound processing device 1 according to the sixth embodiment, when it is not necessary to remove the indirect sound component from the content sound, the process of removing the indirect sound component from the content sound is not executed, so that the sound It becomes possible to reduce the processing load of the processing device 1.
[第7実施形態]次に、第7実施形態について説明する。第7実施形態に係る音処理装置1のハードウェア構成は第1実施形態と同様である。また、ユーザの演奏環境は第1実施形態又は第2実施形態と同様である。 [7th Embodiment] Next, the 7th embodiment will be described. The hardware configuration of the sound processing device 1 according to the seventh embodiment is the same as that of the first embodiment. The playing environment of the user is the same as that of the first embodiment or the second embodiment.
第5実施形態や第6実施形態では、コンテンツ音の間接音成分の量を演奏音と合わせるために、コンテンツ音に含まれる間接音成分を除去するのに対し、第7実施形態に係る音処理装置1では、コンテンツ音の間接音成分の量に合わせて、演奏音に間接音成分を付加するようになっている。 In the fifth and sixth embodiments, the indirect sound component included in the content sound is removed in order to match the amount of the indirect sound component of the content sound with the performance sound, whereas the sound processing according to the seventh embodiment is performed. In the device 1, the indirect sound component is added to the performance sound according to the amount of the indirect sound component of the content sound.
図18は、第7実施形態に係る音処理装置1で実現される機能を示す機能ブロック図である。図18に示すように、第7実施形態に係る音処理装置1は、演奏音調整部151、プリプロセッシング部152、間接音成分生成部153、ポストプロセッシング部154、出力制御部155、コンテンツデコード部156、及び間接音成分量解析部157を含む。これらの機能ブロックはCPU11及び音響信号処理部15によって実現される。例えば、CPU11がプログラムに従って音響信号処理部15を制御することによって、上記の機能ブロックが実現される。
FIG. 18 is a functional block diagram showing a function realized by the sound processing device 1 according to the seventh embodiment. As shown in FIG. 18, the sound processing device 1 according to the seventh embodiment has a performance
図19は、第7実施形態に係る音処理装置1で実行される処理を示すフロー図である。以下、図19を参照しながら各機能ブロックの機能について説明する。 FIG. 19 is a flow chart showing a process executed by the sound processing device 1 according to the seventh embodiment. Hereinafter, the functions of the functional blocks will be described with reference to FIG.
まず、コンテンツデコード部156は、コンテンツ再生装置2から入力されるマルチチャンネルのコンテンツ音をフォーマットデコードすることによって、PCM信号に変換する(S60)。ステップS60は第3実施形態のステップS30と基本的に同様であり、コンテンツデコード部156は第3実施形態のコンテンツデコード部126と基本的に同様であるため、ここでは説明を省略する。
First, the
間接音成分量解析部157はコンテンツ音に含まれる間接音成分の量を解析する(S61)。例えば、間接音成分量解析部157はコンテンツ音に含まれる間接音成分の数や大きさ(音圧レベル)を解析する。コンテンツ音に含まれる間接音成分の量を解析する方法としては公知の各種方法を採用することができる。
The indirect sound component
演奏音調整部151は演奏音を調整する(S62)。ステップS62は第1実施形態又は第2実施形態のステップS10,S20と基本的に同様であり、演奏音調整部151は第1実施形態又は第2実施形態の演奏音調整部101,111と基本的に同様である。
The performance
ただし、第7実施形態の演奏音調整部151は、演奏音とコンテンツ音との特性を合わせるために演奏音を調整する役割も果たす。すなわち、演奏音調整部151は間接音成分付加部151Aを含み、ステップS62において、間接音成分付加部151Aは、演奏音に対応する間接音成分を当該演奏音に対して付加する。特に、間接音成分付加部151Aは、演奏音に対して付加する間接音成分の量を、間接音成分量解析部157の解析結果に基づいて設定する。すなわち、間接音成分付加部151Aは、演奏音に対して付加する間接音成分の数や大きさを、コンテンツ音に含まれる間接音成分の数や大きさに合わせて設定する。つまり、間接音成分付加部151Aは、演奏音に対して付加する間接音成分の数や大きさを、コンテンツ音に含まれる間接音成分の数や大きさと同程度に設定する。
However, the performance
第7実施形態に係る音処理装置1では、コンテンツ音と、間接音成分付加部151Aによって間接音成分が付加された演奏音とがミックスされ(S63)、当該ミックス音がプリプロセッシング部152に供給される。そして、当該ミックス音に基づいて、プリプロセッシング部152、間接音成分生成部153、及びポストプロセッシング部154による処理が実行される(S64,S65,S66)。ステップS64〜S66は第3実施形態のステップS33〜S35と基本的に同様であり、プリプロセッシング部152、間接音成分生成部153、及びポストプロセッシング部154は第3実施形態のプリプロセッシング部122、間接音成分生成部123、及びポストプロセッシング部124と基本的に同様であるため、ここでは説明を省略する。
In the sound processing device 1 according to the seventh embodiment, the content sound and the performance sound to which the indirect sound component is added by the indirect sound
なお、間接音成分付加部151Aによって間接音成分が付加された演奏音は、経路159を介して出力制御部155に供給される。経路159は第2実施形態の経路119と同様である。
The performance sound to which the indirect sound component is added by the indirect sound
出力制御部155は、コンテンツ音と、間接音成分付加部151Aによって間接音成分が付加された演奏音と、間接音成分生成部153によって生成された間接音成分とをミックスし、当該ミックス音を出力部14に出力する(S67)。出力部14に出力されたミックス音はスピーカ6によって放音される。
The
以上に説明した第7実施形態に係る音処理装置1によれば、ユーザは音楽コンテンツの演奏者の一員となってホール等で演奏している気分を楽しむことができる。また、第7実施形態に係る音処理装置1によれば、ユーザの演奏音とコンテンツ音との間接音成分の量を合わせることが可能になり、その結果、ユーザの演奏音とコンテンツ音との一体感をユーザが十分に感じることが可能になる。 According to the sound processing device 1 according to the seventh embodiment described above, the user can enjoy the feeling of playing in a hall or the like as a member of the performer of the music content. Further, according to the sound processing device 1 according to the seventh embodiment, it is possible to match the amounts of the indirect sound components of the user's performance sound and the content sound, and as a result, the user's performance sound and the content sound are combined. The user can fully feel the sense of unity.
なお、図18に示したように、第7実施形態においても、アコースティック楽器の楽器音又は歌唱音がマイク3から入力されるようにしてもよい。ただし、この場合、マイク3から含まれる演奏音に間接音成分が予め含まれる場合があるため、演奏音調整部151では、演奏音に含まれる間接音成分を一旦除去した後で、間接音成分付加部151Aによって間接音成分を演奏音に対して付加するようにしてもよい。
As shown in FIG. 18, in the seventh embodiment as well, the musical instrument sound or the singing sound of the acoustic musical instrument may be input from the
[第8実施形態]次に、第8実施形態について説明する。第8実施形態は第7実施形態の変形例である。第8実施形態に係る音処理装置1では、演奏音への間接音の付加の仕方を当該演奏音の種類に応じて変える。 [Eighth Embodiment] Next, the eighth embodiment will be described. The eighth embodiment is a modification of the seventh embodiment. In the sound processing device 1 according to the eighth embodiment, the method of adding the indirect sound to the performance sound is changed according to the type of the performance sound.
図20は、第8実施形態に係る音処理装置1で実現される機能を示す機能ブロック図であり、図21は、第8実施形態に係る音処理装置1で実行される処理を示すフロー図である。図20に示すように、第8実施形態に係る音処理装置1は、演奏音調整部151、プリプロセッシング部152、間接音成分生成部153、ポストプロセッシング部154、出力制御部155、コンテンツデコード部156、間接音成分量解析部157、及び演奏音種類特定部158を含む。これらの機能ブロックはCPU11及び音響信号処理部15によって実現される。例えば、CPU11がプログラムに従って音響信号処理部15を制御することによって、上記の機能ブロックが実現される。
FIG. 20 is a functional block diagram showing a function realized by the sound processing device 1 according to the eighth embodiment, and FIG. 21 is a flow diagram showing a process executed by the sound processing device 1 according to the eighth embodiment. Is. As shown in FIG. 20, the sound processing device 1 according to the eighth embodiment has a performance
第8実施形態に係る音処理装置1は演奏音種類特定部158を含み、ステップS62の代わりにステップS62A,S62Bを含む点で第7実施形態と異なる。以下、第7実施形態との相違点について主に説明する。
The sound processing device 1 according to the eighth embodiment is different from the seventh embodiment in that the performance sound
第8実施形態に係る音処理装置1では、演奏音種類特定部158は、入力された演奏音の種類を特定する(ステップS62A)。例えば、演奏音種類特定部158は、入力された演奏音が楽器音であるか否かを判定する。また、入力された演奏音が楽器音である場合、演奏音種類特定部158は楽器音の種類を特定する。すなわち、演奏音種類特定部158は、入力された演奏音が複数種類の楽器(例えばギター、バイオリン、又はピアノ等)のうちのいずれの音であるのかを特定する。また例えば、演奏音種類特定部158は、入力された演奏音が歌唱音であるか否かを判定する。なお、演奏音の種類を特定する方法としては公知の各種方法を採用することができる。
In the sound processing device 1 according to the eighth embodiment, the performance sound
また、第8実施形態の間接音成分付加部151Aは、間接音成分量解析部157の解析結果だけでなく、演奏音種類特定部158の特定結果にも基づいて、演奏音に対応する間接音成分を当該演奏音に対して付加する(S62B)。すなわち、間接音成分付加部151Aは、間接音成分量解析部157の解析結果だけでなく、演奏音種類特定部158の特定結果にも基づいて、演奏音に対して付加する間接音成分を設定する。
Further, the indirect sound
現実の音響空間における演奏音の放射特性は演奏音の種類ごとに異なるため、間接音成分付加部151Aは、演奏音の種類ごとに異なる放射特性を踏まえて、演奏音に対して付加する間接音成分を設定する。
Since the radiation characteristics of the performance sound in the actual acoustic space differ depending on the type of the performance sound, the indirect sound
例えば、ギターの楽器音は他の方向に比べて正面方向に放射される傾向があるため、演奏音がギターの楽器音である場合、間接音成分付加部151Aは、正面方向に対応するチャンネルに対して間接音成分(残響成分等)を付加する。または、間接音成分付加部151Aは、正面方向に対応するチャンネルに対して付加する間接音成分の量を、他のチャンネルに対して付加する間接音成分の量よりも大きくする。
For example, since the instrument sound of a guitar tends to be radiated in the front direction as compared with other directions, when the performance sound is the instrument sound of a guitar, the indirect sound
また例えば、バイオリンの楽器音は他の方向に比べて上方向に放射される傾向があるため、演奏音がバイオリンの楽器音である場合、間接音成分付加部151Aは、上方向に対応するチャンネルに対して間接音成分(残響成分等)を付加する。または、間接音成分付加部151Aは、上方向に対応するチャンネルに対して付加する間接音成分の量を、他のチャンネルに対して付加する間接音成分の量よりも大きくする。
Further, for example, since the instrument sound of the violin tends to be radiated upward as compared with other directions, when the performance sound is the instrument sound of the violin, the indirect sound
また例えば、歌唱音は他の方向に比べて正面方向に放射される傾向があるため、演奏音が歌唱音である場合、間接音成分付加部151Aは、正面方向に対応するチャンネルに対して間接音成分(残響成分等)を付加する。または、間接音成分付加部151Aは、正面方向に対応するチャンネルに対して付加する間接音成分の量を、他のチャンネルに対して付加する間接音成分の量よりも多くする。
Further, for example, since the singing sound tends to be radiated in the front direction as compared with other directions, when the playing sound is a singing sound, the indirect sound
以上に説明した第8実施形態に係る音処理装置1によれば、ユーザの演奏音の放射特性を踏まえて、間接音成分を演奏音に対して付加することが可能になり、より自然な間接音成分を演奏音に対して付加できるようになる。 According to the sound processing device 1 according to the eighth embodiment described above, it is possible to add an indirect sound component to the playing sound based on the radiation characteristics of the playing sound of the user, which is more natural indirect. Sound components can be added to the playing sound.
[第9実施形態]次に、第9実施形態について説明する。第9実施形態に係る音処理装置1のハードウェア構成は第1実施形態と同様である。また、ユーザの演奏環境は第1実施形態又は第2実施形態と同様である。 [Ninth Embodiment] Next, the ninth embodiment will be described. The hardware configuration of the sound processing device 1 according to the ninth embodiment is the same as that of the first embodiment. The playing environment of the user is the same as that of the first embodiment or the second embodiment.
第6実施形態〜第8実施形態では、演奏音とコンテンツ音とで間接音成分の量を合わせるのに対し、第9実施形態に係る音処理装置1では、演奏音とコンテンツ音とで音色を合わせるようになっている。 In the sixth to eighth embodiments, the amount of the indirect sound component is matched between the performance sound and the content sound, whereas in the sound processing device 1 according to the ninth embodiment, the performance sound and the content sound are used to produce a timbre. It is designed to match.
図22は、第9実施形態に係る音処理装置1で実現される機能を示す機能ブロック図である。図22に示すように、第9実施形態に係る音処理装置1は、演奏音調整部161、プリプロセッシング部162、間接音成分生成部163、ポストプロセッシング部164、出力制御部165、コンテンツデコード部166、第1音色解析部167、及び第2音色解析部168を含む。これらの機能ブロックはCPU11及び音響信号処理部15によって実現される。例えば、CPU11がプログラムに従って音響信号処理部15を制御することによって、上記の機能ブロックが実現される。
FIG. 22 is a functional block diagram showing a function realized by the sound processing device 1 according to the ninth embodiment. As shown in FIG. 22, the sound processing device 1 according to the ninth embodiment includes a performance
図23は、第9実施形態に係る音処理装置1で実行される処理を示すフロー図である。以下、図23を参照しながら各機能ブロックの機能について説明する。 FIG. 23 is a flow chart showing a process executed by the sound processing device 1 according to the ninth embodiment. Hereinafter, the functions of each functional block will be described with reference to FIG. 23.
まず、コンテンツデコード部166は、コンテンツ再生装置2から入力されるマルチチャンネルのコンテンツ音をフォーマットデコードすることによって、PCM信号に変換する(S70)。ステップS70は第3実施形態のステップS30と基本的に同様であり、コンテンツデコード部166は第3実施形態のコンテンツデコード部126と基本的に同様であるため、ここでは説明を省略する。
First, the
第2音色解析部168はコンテンツ音の音色を解析する(S71)。例えば、コンテンツ音に複数種類の楽器音が含まれる場合に、第2音色解析部168は、当該複数種類の楽器音のうちの、演奏音に含まれる種類の楽器音を特定し、当該楽器音の音色を解析する。また例えば、演奏音に歌唱音が含まれる場合に、第2音色解析部168はコンテンツ音に含まれる歌唱音の音色を解析する。なお、コンテンツ音に含まれる楽器音又は歌唱音を特定する方法や、楽器音又は歌唱音の音色を解析する方法としては、公知の各種方法を採用することができる。
The second
第1音色解析部167は演奏音の音色を解析する(S72)。第1音色解析部167は演奏音に含まれる楽器音又は歌唱音を特定し、当該楽器音又は歌唱音の音色を解析する。演奏音の音色を解析する方法としては公知の各種方法を採用することができる。
The first
なお、図23では、便宜上、ステップS70,71とステップS72とが順番に実行されるように示されているが、ステップS70,S71とステップS72とは並列的に実行される。 In FIG. 23, for convenience, steps S70 and 71 and step S72 are shown to be executed in order, but steps S70 and S71 and step S72 are executed in parallel.
演奏音調整部161は演奏音を調整する(S73)。ステップS62は第1実施形態又は第2実施形態のステップS10,S20と基本的に同様であり、演奏音調整部161は第1実施形態又は第2実施形態の演奏音調整部101,111と基本的に同様である。
The performance
ただし、第9実施形態の演奏音調整部161は、演奏音とコンテンツ音との特性を合わせるために演奏音を調整する役割も果たす。すなわち、演奏音調整部161は音色調整部161Aを含み、ステップS73において、音色調整部161Aは、第1音色解析部167の解析結果と、第2音色解析部168の解析結果との比較に基づいて、演奏音の音色を調整する。
However, the performance
例えば、演奏音に含まれるバイオリン音(バイオリンの楽器音)の高域成分が多いとの解析結果が第1音色解析部167によって得られ、かつ、コンテンツ音に含まれるバイオリン音の高域成分が少ないとの解析結果が第2音色解析部168によって得られた場合、音色調整部161Aは演奏音に含まれるバイオリン音の高域成分を減少させる。要するに、演奏音に含まれる楽器音の特定帯域成分の量とコンテンツ音に含まれる同種の楽器音の特定帯域成分の量とが異なる場合に、演奏音に含まれる楽器音の特定帯域成分とコンテンツ音に含まれる同種の楽器音の高域成分と同程度に設定すべく、音色調整部161Aは演奏音に含まれる楽器音の特定帯域成分を調整する。
For example, the first
第9実施形態に係る音処理装置1では、コンテンツ音と、音色調整部161Aによって音色が調整された演奏音とがミックスされ(S74)、当該ミックス音がプリプロセッシング部162に供給される。そして、当該ミックス音に基づいて、プリプロセッシング部162、間接音成分生成部163、及びポストプロセッシング部164による処理が実行される(S75,S76,S77)。ステップS75〜S77は第3実施形態のステップS33〜S35と基本的に同様であり、プリプロセッシング部162、間接音成分生成部163、及びポストプロセッシング部164は第3実施形態のプリプロセッシング部122、間接音成分生成部123、及びポストプロセッシング部124と基本的に同様であるため、ここでは説明を省略する。
In the sound processing device 1 according to the ninth embodiment, the content sound and the performance sound whose timbre is adjusted by the
なお、音色調整部161Aによって音色が調整された演奏音は、経路169を介して、出力制御部165に供給される。経路169は第2実施形態の経路119と同様である。
The performance sound whose timbre is adjusted by the
第3実施形態の出力制御部125と同様に、出力制御部165は、経路169を介して供給された演奏音(音色調整部161Aによって音色が調整された演奏音)と、ポストプロセッシング部164から供給されるコンテンツ音及び間接音成分とをミックスし、当該ミックス音を出力部14に出力する(S78)。出力部14に出力されたミックス音はスピーカ6によって放音される。
Similar to the
以上に説明した第9実施形態に係る音処理装置1によれば、ユーザは音楽コンテンツの演奏者の一員となってホール等で演奏している気分を楽しむことができる。また、第9実施形態に係る音処理装置1によれば、ユーザの演奏音とコンテンツ音との音色を合わせることが可能になり、その結果、ユーザの演奏音とコンテンツ音との一体感をユーザが十分に感じることが可能になる。 According to the sound processing device 1 according to the ninth embodiment described above, the user can enjoy the feeling of playing in a hall or the like as a member of the performer of the music content. Further, according to the sound processing device 1 according to the ninth embodiment, it is possible to match the tones of the user's performance sound and the content sound, and as a result, the user feels a sense of unity between the user's performance sound and the content sound. Can be fully felt.
なお、演奏音の音色を調整する音色調整部161Aの代わりに、コンテンツ音の音色を第1音色解析部167の解析結果と第2音色解析部168の解析結果との比較に基づいて調整する音色調整部を設けるようにしてもよい。
Instead of the tone
この音色調整部は、例えば、演奏音に含まれるバイオリン音の高域成分が多いとの解析結果が第1音色解析部167によって得られ、かつ、コンテンツ音に含まれるバイオリン音の高域成分が少ないとの解析結果が第2音色解析部168によって得られた場合に、コンテンツ音に含まれるバイオリン音の高域成分を増加させるようにしてもよい。
In this tone adjustment unit, for example, the first tone
また、この音色調整部は、例えば、演奏音ではバイオリン音(バイオリンの楽器音)の高域成分が多いとの解析結果が第1音色解析部167によって得られ、かつ、コンテンツ音では、バイオリン音とは異なる楽器音であるギター音の高域成分が多いとの解析結果が第2音色解析部168によって得られた場合に、コンテンツ音に含まれるギター音の高域成分を減少させるようにしてもよい。
Further, in this tone adjustment unit, for example, the first tone
なお、演奏音の音色を調整する音色調整部161Aと、コンテンツ音の音色を調整する音色調整部との両方を設けるようにしてもよい。例えば、第1音色解析部167によって、演奏音に含まれるバイオリン音の高域成分が多いとの解析結果が得られ、かつ、第2音色解析部168によって、コンテンツ音に含まれるバイオリン音の高域成分が少ないとの解析結果が得られた場合に、演奏音に含まれるバイオリン音の高域成分とコンテンツ音に含まれるバイオリン音の高域成分とを同程度に設定すべく、演奏音に含まれるバイオリン音の高域成分と、演奏音に含まれるバイオリン音の高域成分とをそれぞれ調整するようにしてもよい。
It should be noted that both the tone
[変形例]本発明は以上説明した第1実施形態〜第9実施形態に限定されるものではない。 [Modified Example] The present invention is not limited to the first to ninth embodiments described above.
例えば、第1実施形態〜第9実施形態のうちの複数を組み合わせるようにしてもよい。 For example, a plurality of the first to ninth embodiments may be combined.
また例えば、以上では、音処理装置1がAVレシーバであることを前提として説明しており、以上に説明したような機能はAVレシーバを用いて実現することができるが、音処理装置1はAVレシーバ以外の装置であってもよく、以上に説明したような機能はAVレシーバ以外の装置によって実現するようにしてもよい。例えば、音処理装置1はスピーカに内蔵されるようにしてもよい。また例えば、音処理装置1は、デスクトップ型コンピュータ、ラップトップ型コンピュータ、タブレット型コンピュータ、又はスマートフォン等によって実現するようにしてもよい。 Further, for example, the above description is based on the premise that the sound processing device 1 is an AV receiver, and the functions described above can be realized by using the AV receiver, but the sound processing device 1 is an AV. A device other than the receiver may be used, and the functions described above may be realized by a device other than the AV receiver. For example, the sound processing device 1 may be built in the speaker. Further, for example, the sound processing device 1 may be realized by a desktop computer, a laptop computer, a tablet computer, a smartphone, or the like.
[付記]以上に説明した実施形態についての記載から把握されるように、本明細書では以下に記載の発明を含む多様な技術的思想が開示されている。 [Additional Notes] As can be understood from the description of the embodiments described above, various technical ideas including the inventions described below are disclosed in the present specification.
本発明に係る音処理装置は、ユーザの演奏音の入力を受け付ける入力手段と、前記演奏音と、コンテンツデータに基づいて得られる音であるコンテンツ音との特性を合わせるために、前記演奏音と前記コンテンツ音との少なくとも一方を調整する調整手段と、前記演奏音と前記コンテンツ音とをミックスしてなる音に対応する間接音成分を生成する生成手段と、前記演奏音と、前記コンテンツ音の少なくとも直接音成分と、前記間接音成分とをミックスしてなる音を出力手段に出力する出力制御手段と、を含む。 In the sound processing device according to the present invention, in order to match the characteristics of the input means that receives the input of the user's performance sound, the performance sound, and the content sound that is the sound obtained based on the content data, the performance sound and the performance sound An adjustment means for adjusting at least one of the content sounds, a generation means for generating an indirect sound component corresponding to a sound obtained by mixing the performance sound and the content sound, the performance sound, and the content sound. It includes at least an output control means for outputting a sound formed by mixing the direct sound component and the indirect sound component to the output means.
また、本発明に係る音処理方法は、ユーザの演奏音と、コンテンツデータに基づいて得られるコンテンツ音との特性を合わせるために、前記演奏音と前記コンテンツ音との少なくとも一方を調整する調整ステップと、前記演奏音と前記コンテンツ音とをミックスしてなる音に対応する間接音成分を生成する生成ステップと、前記演奏音と、前記コンテンツ音の少なくとも直接音成分と、前記間接音成分とをミックスしてなる音を出力手段に出力する出力制御ステップと、を含む。 Further, the sound processing method according to the present invention is an adjustment step of adjusting at least one of the performance sound and the content sound in order to match the characteristics of the user's performance sound and the content sound obtained based on the content data. A generation step of generating an indirect sound component corresponding to a sound obtained by mixing the performance sound and the content sound, the performance sound, at least a direct sound component of the content sound, and the indirect sound component. It includes an output control step for outputting the mixed sound to the output means.
また、本発明に係るプログラムは、ユーザの演奏音と、コンテンツデータに基づいて得られるコンテンツ音との特性を合わせるために、前記演奏音と前記コンテンツ音との少なくとも一方を調整する調整手段、前記演奏音と前記コンテンツ音とをミックスしてなる音に対応する間接音成分を生成する生成手段、及び、前記演奏音と、前記コンテンツ音の少なくとも直接音成分と、前記間接音成分とをミックスしてなる音を出力手段に出力する出力制御手段、としてコンピュータを機能させるためのプログラムである。また、本発明に係る情報記憶媒体は、上記プログラムを記録したコンピュータ読み取り可能な情報記憶媒体である。 Further, the program according to the present invention is an adjusting means for adjusting at least one of the performance sound and the content sound in order to match the characteristics of the user's performance sound and the content sound obtained based on the content data. A generation means for generating an indirect sound component corresponding to a sound obtained by mixing a performance sound and the content sound, and the performance sound, at least a direct sound component of the content sound, and the indirect sound component are mixed. This is a program for operating a computer as an output control means for outputting a sound to an output means. The information storage medium according to the present invention is a computer-readable information storage medium on which the above program is recorded.
上記発明では、前記調整手段は、前記コンテンツ音に含まれる間接音成分を除去し、前記生成手段は、前記演奏音と、前記調整手段によって間接音成分が除去された前記コンテンツ音とをミックスしてなる音に対応する間接音成分を生成するようにしてもよい。 In the above invention, the adjusting means removes the indirect sound component contained in the content sound, and the generating means mixes the playing sound and the content sound from which the indirect sound component has been removed by the adjusting means. The indirect sound component corresponding to the resulting sound may be generated.
上記発明では、前記調整手段は、前記演奏音の入力に応じて、前記コンテンツ音に含まれる間接音成分を除去するようにしてもよい。 In the above invention, the adjusting means may remove the indirect sound component included in the content sound in response to the input of the playing sound.
上記発明では、前記コンテンツ音に含まれる間接音成分の量を解析する解析手段を含み、前記調整手段は、前記演奏音に対応する間接音成分を前記演奏音に対して付加するものであり、前記演奏音に対して付加する間接音成分の量を前記解析手段の解析結果に基づいて設定し、前記生成手段は、前記調整手段によって間接音成分が付加された前記演奏音と、前記コンテンツ音とをミックスしてなる音に対応する間接音成分を生成するようにしてもよい。 The present invention includes an analysis means for analyzing the amount of indirect sound components contained in the content sound, and the adjustment means adds an indirect sound component corresponding to the performance sound to the performance sound. The amount of the indirect sound component added to the performance sound is set based on the analysis result of the analysis means, and the generation means includes the performance sound to which the indirect sound component is added by the adjustment means and the content sound. The indirect sound component corresponding to the sound formed by mixing and may be generated.
上記発明では、前記演奏音に含まれる楽器音の種類を特定する手段を含み、前記調整手段は、前記演奏音に含まれる楽器音の種類に基づいて、前記演奏音に対して付加する間接音成分を設定するようにしてもよい。 The present invention includes means for specifying the type of musical instrument sound included in the playing sound, and the adjusting means is an indirect sound added to the playing sound based on the type of musical instrument sound included in the playing sound. Ingredients may be set.
上記発明では、前記演奏音に前記歌唱音が含まれるか否かを判定する手段を含み、前記調整手段は、前記演奏音に前記歌唱音が含まれるか否かの判定結果に基づいて、前記演奏音に対して付加する間接音成分を設定するようにしてもよい。 In the above invention, the means for determining whether or not the performance sound includes the singing sound is included, and the adjusting means is said based on the determination result of whether or not the performance sound includes the singing sound. The indirect sound component to be added to the performance sound may be set.
上記発明では、前記演奏音に含まれる楽器音の音色を解析する第1の音色解析手段と、前記コンテンツ音に含まれる楽器音の音色を解析する第2の音色解析手段と、を含み、前記調整手段は、前記第1の音色解析手段の解析結果と、前記第2の音色解析手段の解析結果との比較に基づいて、前記演奏音と前記コンテンツ音との少なくとも一方の音色を調整するようにしてもよい。 The present invention includes a first timbre analysis means for analyzing the timbre of the instrument sound included in the performance sound, and a second timbre analysis means for analyzing the timbre of the instrument sound included in the content sound. The adjusting means adjusts at least one of the performance sound and the content sound based on the comparison between the analysis result of the first tone color analysis means and the analysis result of the second tone color analysis means. It may be.
上記発明では、前記演奏音に含まれる楽器音の種類を特定する手段を含み、前記第2の音色解析手段は、前記コンテンツ音に複数種類の楽器音が含まれる場合に、当該複数種類の楽器音のうちの、前記演奏音に含まれる種類の楽器音の音色を解析するようにしてもよい。 In the above invention, the means for specifying the type of the instrument sound included in the performance sound is included, and the second timbre analysis means is the plurality of types of instruments when the content sound includes a plurality of types of instrument sounds. Of the sounds, the timbre of the type of instrument sound included in the performance sound may be analyzed.
上記発明では、前記演奏音に含まれる歌唱音の音色を解析する第1の音色解析手段と、前記コンテンツ音に含まれる歌唱音の音色を解析する第2の音色解析手段と、を含み、前記調整手段は、前記第1の音色解析手段の解析結果と、前記第2の音色解析手段の解析結果との比較に基づいて、前記演奏音と前記コンテンツ音との少なくとも一方の音色を調整するようにしてもよい。 The present invention includes a first timbre analysis means for analyzing the timbre of the singing sound included in the performance sound, and a second timbre analysis means for analyzing the timbre of the singing sound included in the content sound. The adjusting means adjusts at least one of the performance sound and the content sound based on the comparison between the analysis result of the first tone color analysis means and the analysis result of the second tone color analysis means. It may be.
1 音処理装置、2 コンテンツ再生装置、3 マイク、4 電子機器、5 電気機器、6,6A,6B,6C,6D,6E スピーカ、11 CPU、12 メモリ、13 入力部、14 出力部、15 音信号処理部、16 映像信号処理部、101,111,121,131,141,151,161 演奏音調整部、102,112,122,132,142,152,162 プリプロセッシング部、103,113,123,133,143,153,163 間接音成分生成部、104,114,124,134,144,154,164 ポストプロセッシング部、105,115,125,135,145,155,165 出力制御部、119,129,139,149,159,169 経路、126,136,146,156,166 コンテンツデコード部、136A 特定成分除去部、147 コンテンツ音調整部、147A 間接音成分除去部、148 入力検出部、151A 間接音成分付加部、157 間接音成分解析部、158 演奏音種類特定部、161A 音色調整部、167 第1音色解析部、168 第2音色解析部、U ユーザ。 1 sound processing device, 2 content playback device, 3 microphone, 4 electronic device, 5 electrical device, 6,6A, 6B, 6C, 6D, 6E speaker, 11 CPU, 12 memory, 13 input section, 14 output section, 15 sound Signal processing unit, 16 Video signal processing unit, 101,111,121,131,141,151,161 Performance sound adjustment unit, 102,112,122,132,142,152,162 Preprocessing unit, 103,113,123 , 133, 143, 153, 163 Indirect sound component generation unit, 104, 114, 124, 134, 144, 154, 164 Post processing unit, 105, 115, 125, 135, 145, 155, 165 Output control unit, 119, 129,139,149,159,169 paths, 126,136,146,156,166 Content decoding unit, 136A Specific component removal unit, 147 Content sound adjustment unit, 147A Indirect sound component removal unit, 148 Input detection unit, 151A Indirect Sound component addition unit, 157 indirect sound component analysis unit, 158 performance sound type identification unit, 161A sound color adjustment unit, 167 first sound color analysis unit, 168 second sound color analysis unit, U user.
Claims (12)
前記演奏音と、コンテンツデータに基づいて得られる音であるコンテンツ音との特性を合わせるために、前記演奏音と前記コンテンツ音との少なくとも一方を調整する調整手段と、
前記演奏音と前記コンテンツ音とをミックスしてなる音に対応する間接音成分を生成する生成手段と、
前記演奏音と、前記コンテンツ音の少なくとも直接音成分と、前記間接音成分とをミックスしてなる音を出力手段に出力する出力制御手段と、
を含み、
前記調整手段は、前記コンテンツ音に含まれる間接音成分を除去し、
前記生成手段は、前記演奏音と、前記調整手段によって間接音成分が除去された前記コンテンツ音とをミックスしてなる音に対応する間接音成分を生成する、
ことを特徴とする音処理装置。 An input means that accepts the input of the user's performance sound,
An adjusting means for adjusting at least one of the performance sound and the content sound in order to match the characteristics of the performance sound and the content sound which is a sound obtained based on the content data.
A generation means for generating an indirect sound component corresponding to a sound obtained by mixing the performance sound and the content sound, and
An output control means that outputs a sound obtained by mixing the performance sound, at least a direct sound component of the content sound, and the indirect sound component to the output means.
Only including,
The adjusting means removes the indirect sound component contained in the content sound, and removes the indirect sound component.
The generation means generates an indirect sound component corresponding to a sound formed by mixing the performance sound and the content sound from which the indirect sound component has been removed by the adjustment means.
A sound processing device characterized by this.
前記演奏音と、コンテンツデータに基づいて得られる音であるコンテンツ音との特性を合わせるために、前記演奏音と前記コンテンツ音との少なくとも一方を調整する調整手段と、
前記演奏音と前記コンテンツ音とをミックスしてなる音に対応する間接音成分を生成する生成手段と、
前記演奏音と、前記コンテンツ音の少なくとも直接音成分と、前記間接音成分とをミックスしてなる音を出力手段に出力する出力制御手段と、
を含む音処理装置であって、
さらに、前記コンテンツ音に含まれる間接音成分の量を解析する解析手段を含み、
前記調整手段は、前記演奏音に対応する間接音成分を前記演奏音に対して付加するものであり、前記演奏音に対して付加する間接音成分の量を前記解析手段の解析結果に基づいて設定し、
前記生成手段は、前記調整手段によって間接音成分が付加された前記演奏音と、前記コンテンツ音とをミックスしてなる音に対応する間接音成分を生成する、
ことを特徴とする音処理装置。 An input means that accepts the input of the user's performance sound,
An adjusting means for adjusting at least one of the performance sound and the content sound in order to match the characteristics of the performance sound and the content sound which is a sound obtained based on the content data.
A generation means for generating an indirect sound component corresponding to a sound obtained by mixing the performance sound and the content sound, and
An output control means that outputs a sound obtained by mixing the performance sound, at least a direct sound component of the content sound, and the indirect sound component to the output means.
The A including sound processing equipment,
Further, it includes an analysis means for analyzing the amount of indirect sound components contained in the content sound.
The adjusting means adds an indirect sound component corresponding to the playing sound to the playing sound, and the amount of the indirect sound component added to the playing sound is based on the analysis result of the analysis means. Set,
The generation means generates an indirect sound component corresponding to a sound obtained by mixing the performance sound to which the indirect sound component is added by the adjustment means and the content sound.
A sound processing device characterized by this.
前記調整手段は、前記演奏音の入力に応じて、前記コンテンツ音に含まれる間接音成分を除去する、
ことを特徴とする音処理装置。 In the sound processing apparatus according to claim 1 ,
The adjusting means removes the indirect sound component contained in the content sound in response to the input of the playing sound.
A sound processing device characterized by this.
前記演奏音に含まれる楽器音の種類を特定する手段を含み、
前記調整手段は、前記演奏音に含まれる楽器音の種類に基づいて、前記演奏音に対して付加する間接音成分を設定する、
ことを特徴とする音処理装置。 In the sound processing apparatus according to claim 2 ,
Including means for identifying the type of musical instrument sound included in the performance sound, including
The adjusting means sets an indirect sound component to be added to the playing sound based on the type of musical instrument sound included in the playing sound.
A sound processing device characterized by this.
前記演奏音に歌唱音が含まれるか否かを判定する手段を含み、
前記調整手段は、前記演奏音に前記歌唱音が含まれるか否かの判定結果に基づいて、前記演奏音に対して付加する間接音成分を設定する、
ことを特徴とする音処理装置。 In the sound processing apparatus according to claim 2 or 4 .
Includes means for determining whether or not include the song唱音the performance sound,
The adjusting means sets an indirect sound component to be added to the playing sound based on a determination result of whether or not the playing sound includes the singing sound.
A sound processing device characterized by this.
前記演奏音に含まれる楽器音の音色を解析する第1の音色解析手段と、
前記コンテンツ音に含まれる楽器音の音色を解析する第2の音色解析手段と、を含み、
前記調整手段は、前記第1の音色解析手段の解析結果と、前記第2の音色解析手段の解析結果との比較に基づいて、前記演奏音と前記コンテンツ音との少なくとも一方の音色を調整する、
ことを特徴とする音処理装置。 In the sound processing apparatus according to any one of claims 1 to 5 .
A first timbre analysis means for analyzing the timbre of the musical instrument sound included in the performance sound,
A second timbre analysis means for analyzing the timbre of the musical instrument sound included in the content sound is included.
The adjusting means adjusts at least one of the performance sound and the content sound based on the comparison between the analysis result of the first tone color analysis means and the analysis result of the second tone color analysis means. ,
A sound processing device characterized by this.
前記演奏音に含まれる楽器音の種類を特定する手段を含み、
前記第2の音色解析手段は、前記コンテンツ音に複数種類の楽器音が含まれる場合に、当該複数種類の楽器音のうちの、前記演奏音に含まれる種類の楽器音の音色を解析する、
ことを特徴とする音処理装置。 In the sound processing apparatus according to claim 6 ,
Including means for identifying the type of musical instrument sound included in the performance sound, including
When the content sound includes a plurality of types of musical instrument sounds, the second timbre analysis means analyzes the timbre of the type of musical instrument sound included in the performance sound among the plurality of types of musical instrument sounds.
A sound processing device characterized by this.
前記演奏音に含まれる歌唱音の音色を解析する第1の音色解析手段と、
前記コンテンツ音に含まれる歌唱音の音色を解析する第2の音色解析手段と、を含み、
前記調整手段は、前記第1の音色解析手段の解析結果と、前記第2の音色解析手段の解析結果との比較に基づいて、前記演奏音と前記コンテンツ音との少なくとも一方の音色を調整する、
ことを特徴とする音処理装置。 In the sound processing apparatus according to any one of claims 1 to 5 .
A first timbre analysis means for analyzing the timbre of the singing sound included in the performance sound,
A second timbre analysis means for analyzing the timbre of the singing sound included in the content sound is included.
The adjusting means adjusts at least one of the performance sound and the content sound based on the comparison between the analysis result of the first tone color analysis means and the analysis result of the second tone color analysis means. ,
A sound processing device characterized by this.
前記演奏音と前記コンテンツ音とをミックスしてなる音に対応する間接音成分を生成する生成ステップと、
前記演奏音と、前記コンテンツ音の少なくとも直接音成分と、前記間接音成分とをミックスしてなる音を出力手段に出力する出力制御ステップと、
を含み、
前記調整ステップでは、前記コンテンツ音に含まれる間接音成分を除去し、
前記生成ステップでは、前記演奏音と、前記調整ステップにおいて間接音成分が除去された前記コンテンツ音とをミックスしてなる音に対応する間接音成分を生成する、
ことを特徴とする音処理方法。 An adjustment step of adjusting at least one of the performance sound and the content sound in order to match the characteristics of the user's performance sound and the content sound obtained based on the content data.
A generation step of generating an indirect sound component corresponding to a sound obtained by mixing the performance sound and the content sound, and
An output control step that outputs a sound obtained by mixing the performance sound, at least the direct sound component of the content sound, and the indirect sound component to the output means.
Only including,
In the adjustment step, the indirect sound component contained in the content sound is removed.
In the generation step, the indirect sound component corresponding to the sound formed by mixing the performance sound and the content sound from which the indirect sound component has been removed in the adjustment step is generated.
A sound processing method characterized by that.
前記演奏音と前記コンテンツ音とをミックスしてなる音に対応する間接音成分を生成する生成手段、及び、
前記演奏音と、前記コンテンツ音の少なくとも直接音成分と、前記間接音成分とをミックスしてなる音を出力手段に出力する出力制御手段、
としてコンピュータを機能させるためのプログラムであって、
前記調整手段は、前記コンテンツ音に含まれる間接音成分を除去し、
前記生成手段は、前記演奏音と、前記調整手段によって間接音成分が除去された前記コンテンツ音とをミックスしてなる音に対応する間接音成分を生成する、
ことを特徴とするプログラム。 An adjusting means for adjusting at least one of the performance sound and the content sound in order to match the characteristics of the user's performance sound and the content sound obtained based on the content data.
A generation means for generating an indirect sound component corresponding to a sound obtained by mixing the performance sound and the content sound, and
An output control means that outputs a sound obtained by mixing the performance sound, at least a direct sound component of the content sound, and the indirect sound component to the output means.
A program for causing a computer to function as,
The adjusting means removes the indirect sound component contained in the content sound, and removes the indirect sound component.
The generation means generates an indirect sound component corresponding to a sound formed by mixing the performance sound and the content sound from which the indirect sound component has been removed by the adjustment means.
A program characterized by that.
前記演奏音と前記コンテンツ音とをミックスしてなる音に対応する間接音成分を生成する生成ステップと、
前記演奏音と、前記コンテンツ音の少なくとも直接音成分と、前記間接音成分とをミックスしてなる音を出力手段に出力する出力制御ステップと、
を含む音処理方法であって、
さらに、前記コンテンツ音に含まれる間接音成分の量を解析する解析ステップを含み、
前記調整ステップでは、前記演奏音に対応する間接音成分を前記演奏音に対して付加するものであり、前記演奏音に対して付加する間接音成分の量を前記解析ステップの解析結果に基づいて設定し、
前記生成ステップでは、前記調整ステップにおいて間接音成分が付加された前記演奏音と、前記コンテンツ音とをミックスしてなる音に対応する間接音成分を生成する、
ことを特徴とする音処理方法。 An adjustment step of adjusting at least one of the performance sound and the content sound in order to match the characteristics of the user's performance sound and the content sound obtained based on the content data.
A generation step of generating an indirect sound component corresponding to a sound obtained by mixing the performance sound and the content sound, and
An output control step that outputs a sound obtained by mixing the performance sound, at least the direct sound component of the content sound, and the indirect sound component to the output means.
The A including sound processing method,
Further, it includes an analysis step of analyzing the amount of indirect sound components contained in the content sound.
In the adjustment step, an indirect sound component corresponding to the performance sound is added to the performance sound, and the amount of the indirect sound component added to the performance sound is based on the analysis result of the analysis step. Set,
In the generation step, an indirect sound component corresponding to a sound obtained by mixing the performance sound to which the indirect sound component is added in the adjustment step and the content sound is generated.
A sound processing method characterized by that.
前記演奏音と前記コンテンツ音とをミックスしてなる音に対応する間接音成分を生成する生成手段、及び、
前記演奏音と、前記コンテンツ音の少なくとも直接音成分と、前記間接音成分とをミックスしてなる音を出力手段に出力する出力制御手段、
としてコンピュータを機能させるためのプログラムであって、
さらに、前記コンテンツ音に含まれる間接音成分の量を解析する解析手段、を含み、
前記調整手段は、前記演奏音に対応する間接音成分を前記演奏音に対して付加するものであり、前記演奏音に対して付加する間接音成分の量を前記解析手段の解析結果に基づいて設定し、
前記生成手段は、前記調整手段によって間接音成分が付加された前記演奏音と、前記コンテンツ音とをミックスしてなる音に対応する間接音成分を生成する、
ことを特徴とするプログラム。 An adjusting means for adjusting at least one of the performance sound and the content sound in order to match the characteristics of the user's performance sound and the content sound obtained based on the content data.
A generation means for generating an indirect sound component corresponding to a sound obtained by mixing the performance sound and the content sound, and
An output control means that outputs a sound obtained by mixing the performance sound, at least a direct sound component of the content sound, and the indirect sound component to the output means.
A program for causing a computer to function as,
Further, the analysis means for analyzing the amount of indirect sound components contained in the content sound is included.
The adjusting means adds an indirect sound component corresponding to the playing sound to the playing sound, and the amount of the indirect sound component added to the playing sound is based on the analysis result of the analysis means. Set,
The generation means generates an indirect sound component corresponding to a sound obtained by mixing the performance sound to which the indirect sound component is added by the adjustment means and the content sound.
A program characterized by that.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016225546A JP6819236B2 (en) | 2016-11-18 | 2016-11-18 | Sound processing equipment, sound processing methods, and programs |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016225546A JP6819236B2 (en) | 2016-11-18 | 2016-11-18 | Sound processing equipment, sound processing methods, and programs |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018082411A JP2018082411A (en) | 2018-05-24 |
JP6819236B2 true JP6819236B2 (en) | 2021-01-27 |
Family
ID=62199124
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016225546A Active JP6819236B2 (en) | 2016-11-18 | 2016-11-18 | Sound processing equipment, sound processing methods, and programs |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6819236B2 (en) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3558749B2 (en) * | 1995-08-04 | 2004-08-25 | 株式会社河合楽器製作所 | Communication karaoke equipment |
JP2014066922A (en) * | 2012-09-26 | 2014-04-17 | Xing Inc | Musical piece performing device |
JP5960635B2 (en) * | 2013-03-29 | 2016-08-02 | 株式会社エクシング | Instrument sound output device |
-
2016
- 2016-11-18 JP JP2016225546A patent/JP6819236B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018082411A (en) | 2018-05-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6484605B2 (en) | Automatic multi-channel music mix from multiple audio stems | |
KR101569032B1 (en) | A method and an apparatus of decoding an audio signal | |
CN109313907A (en) | Combined audio signal and Metadata | |
CN114067827A (en) | Audio processing method and device and storage medium | |
Merchel et al. | Tactile music instrument recognition for audio mixers | |
JP4237768B2 (en) | Voice processing apparatus and voice processing program | |
WO2022014326A1 (en) | Signal processing device, method, and program | |
JP6819236B2 (en) | Sound processing equipment, sound processing methods, and programs | |
JP6834398B2 (en) | Sound processing equipment, sound processing methods, and programs | |
JP2005037845A (en) | Music reproducing device | |
WO2018092286A1 (en) | Sound processing device, sound processing method and program | |
JP2009031357A (en) | Music piece distribution system, music piece editing device, music piece playback device, music piece storage device, and program | |
JP2014066922A (en) | Musical piece performing device | |
JP5454530B2 (en) | Karaoke equipment | |
WO2020152264A1 (en) | Electronic device, method and computer program | |
JPWO2020066681A1 (en) | Information processing equipment and methods, and programs | |
US8767969B1 (en) | Process for removing voice from stereo recordings | |
CN113348508B (en) | Electronic device, method and computer program | |
KR100703923B1 (en) | 3d sound optimizing apparatus and method for multimedia devices | |
Dine | Recording the Classical Tuba | |
JP2009008934A (en) | Music reproduction device | |
JP5510435B2 (en) | Karaoke device and program | |
JP6003861B2 (en) | Acoustic data creation device, program | |
KR20150119013A (en) | Device and program for processing separating data | |
JP5440677B2 (en) | Music distribution system, music editing apparatus and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190920 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200529 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200609 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200722 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201201 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201214 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6819236 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |