JP2024512493A - 電子機器、方法及びコンピュータプログラム - Google Patents

電子機器、方法及びコンピュータプログラム Download PDF

Info

Publication number
JP2024512493A
JP2024512493A JP2023557335A JP2023557335A JP2024512493A JP 2024512493 A JP2024512493 A JP 2024512493A JP 2023557335 A JP2023557335 A JP 2023557335A JP 2023557335 A JP2023557335 A JP 2023557335A JP 2024512493 A JP2024512493 A JP 2024512493A
Authority
JP
Japan
Prior art keywords
electronic device
signal
live
acc
accompaniment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023557335A
Other languages
English (en)
Inventor
ステファン ウーリッヒ
ジオージオ ファブロ
ミハエル エネクル
祐基 光藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JP2024512493A publication Critical patent/JP2024512493A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/02—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos
    • G10H1/06—Circuits for establishing the harmonic content of tones, or other arrangements for changing the tone colour
    • G10H1/08—Circuits for establishing the harmonic content of tones, or other arrangements for changing the tone colour by combining tones
    • G10H1/10—Circuits for establishing the harmonic content of tones, or other arrangements for changing the tone colour by combining tones for obtaining chorus, celeste or ensemble effects
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/005—Musical accompaniment, i.e. complete instrumental rhythm synthesis added to a performed melody, e.g. as output by drum machines
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/056—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction or identification of individual instrumental parts, e.g. melody, chords, bass; Identification or separation of instrumental parts by their characteristic voices or timbres
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/155—Musical effects
    • G10H2210/245—Ensemble, i.e. adding one or more voices, also instrumental voices
    • G10H2210/251—Chorus, i.e. automatic generation of two or more extra voices added to the melody, e.g. by a chorus effect processor or multiple voice harmonizer, to produce a chorus or unison effect, wherein individual sounds from multiple sources with roughly the same timbre converge and are perceived as one
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/155—Musical effects
    • G10H2210/245—Ensemble, i.e. adding one or more voices, also instrumental voices
    • G10H2210/261—Duet, i.e. automatic generation of a second voice, descant or counter melody, e.g. of a second harmonically interdependent voice by a single voice harmonizer or automatic composition algorithm, e.g. for fugue, canon or round composition, which may be substantially independent in contour and rhythm
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/155—Musical effects
    • G10H2210/265—Acoustic effect simulation, i.e. volume, spatial, resonance or reverberation effects added to a musical sound, usually by appropriate filtering or delays
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/155—Musical effects
    • G10H2210/265—Acoustic effect simulation, i.e. volume, spatial, resonance or reverberation effects added to a musical sound, usually by appropriate filtering or delays
    • G10H2210/295—Spatial effects, musical uses of multiple audio channels, e.g. stereo
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/155—Musical effects
    • G10H2210/265—Acoustic effect simulation, i.e. volume, spatial, resonance or reverberation effects added to a musical sound, usually by appropriate filtering or delays
    • G10H2210/295—Spatial effects, musical uses of multiple audio channels, e.g. stereo
    • G10H2210/305—Source positioning in a soundscape, e.g. instrument positioning on a virtual soundstage, stereo panning or related delay or reverberation changes; Changing the stereo width of a musical source
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/471—General musical sound synthesis principles, i.e. sound category-independent synthesis methods
    • G10H2250/481—Formant synthesis, i.e. simulating the human speech production mechanism by exciting formant resonators, e.g. mimicking vocal tract filtering as in LPC synthesis vocoders, wherein musical instruments may be used as excitation signal to the time-varying filter estimated from a singer's speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/471—General musical sound synthesis principles, i.e. sound category-independent synthesis methods
    • G10H2250/481—Formant synthesis, i.e. simulating the human speech production mechanism by exciting formant resonators, e.g. mimicking vocal tract filtering as in LPC synthesis vocoders, wherein musical instruments may be used as excitation signal to the time-varying filter estimated from a singer's speech
    • G10H2250/501—Formant frequency shifting, sliding formants

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

【課題】カラオケの設定におけるユーザの体験を向上させること。【解決手段】電子機器は、エンハンスされた伴奏信号（ｓａｃｃ＊（ｎ））が得られるように、ライブモード処理（１７）に応じて伴奏信号（ｓａｃｃ（ｎ））を処理するように構成される回路を具備する。【選択図】図４

Description

本開示は、概して、音声処理に関し、特に、ユーザに歌唱させるカラオケ用の機器、方法、及びコンピュータプログラムに関する。
カラオケ装置では、曲の歌唱部分を除く伴奏が再生され、歌唱者が、再生された伴奏に合わせて歌唱する。歌唱者に歌詞を知らせるために、モニタ等の表示装置に歌詞が表示される。カラオケ装置は典型的には、伴奏を再生するための音楽再生装置と、歌唱者の声を取り込む各マイクを接続するための１又は複数のマイク入力部と、伴奏のピッチ範囲を歌唱者のボーカル範囲に適合させるために再生曲のピッチを変更する手段と、伴奏と取り込まれた声とを出力する音声出力部とから成る。
米国特許出願第２０１６／００３７２８２号明細書
カラオケ装置用の様々な技術が一般に存在しているが、カラオケの設定におけるユーザの体験を向上させることが望ましい。
第１の態様によれば、本開示は、エンハンスされた伴奏信号が得られるように、ライブモード処理に応じて伴奏信号を処理するように構成される回路を具備する電子機器を提供する。
第２の態様によれば、本開示は、エンハンスされた伴奏信号が得られるように、ライブモード処理に応じて伴奏信号を処理する方法を提供する。
さらなる態様は、従属請求項、以下の説明、及び各図面に記載される。
各実施形態を添付の図面に関して例示によって説明する。
「ライブモード」処理の目標を概略的に示す。 ライブモード処理を用いるカラオケシステムの一例を概略的に示す。 ブラインド音源分離（ＢＳＳ（Blind Source Separation））による音声アップミクス／リミックスの一般的な手法を概略的に示す。 ライブモード処理（図２の参照符号１７）の一実施形態を概略的に示す。 ライブモード処理（図２の参照符号１７）の一代替的な実施形態を概略的に示す。 観客合唱エミュレーション（図４及び図５の参照符号４１）の処理の第１の実施形態を概略的に示す。 観客合唱エミュレーション（図４及び図５の参照符号４１）の処理の第２の実施形態を概略的に示す。 ライブエフェクト処理（図４及び図５の参照符号４２）の一実施形態を概略的に示す。 マイクブリードエミュレーション８２の一実施形態を概略的に示す。 ジッターエミュレーション８３の一実施形態を概略的に示す。 イコライザ８３の第１の実施形態を概略的に示す。 イコライザ８３の第２の実施形態を概略的に示す。 サンプルデータベース４６の第１の実施形態を示す。 サンプルデータベース４６の第２の実施形態を示す。 主音・周囲音抽出（ＰＡＥ：Primary Ambient Extraction）（図４の参照符号４３）の一実施形態を概略的に示す。 調波音・打楽器音分離（ＨＰＳＳ：Harmonic Percussion Source Separation）（図４の参照符号４８）の一実施形態を概略的に示す。 ルームシミュレータ４４がサラウンドリバーブによって実施される一実施形態を概略的に示す。 バイノーラルレンダリング技術を用いるレンダリング部４５の一実施形態を示す。 ２ｃｈから５ｃｈへのアップミクスに基づくレンダリング部の一実施形態を示す。 拡張ライブエフェクト処理（図４及び図５の参照符号４２）の一実施形態を概略的に示す。 図１８の立体音響レンダリング部８９によって実行される処理の一例を概略的に示す。 デジタル化されたMonopole Synthesisアルゴリズムに基づく立体音響レンダリング技術の一実施形態を提供する。 ライブモード処理を用いるカラオケシステムを実施することができる電子機器の一実施形態を概略的に説明する。
図１を参照して各実施形態を詳しく説明する前にいくつか一般的な説明を行う。
各実施形態は、エンハンスされた伴奏信号が得られるように、ライブモード処理に応じて伴奏信号を処理するように構成される回路を具備する電子機器を開示する。
上記ライブモード処理は、上記エンハンスされた伴奏信号の聴取者に対して、当該聴取者があたかもコンサートに参加しているかのような感覚を与えるように構成されてもよい。
上記電子機器は、例えば、カラオケボックス、スマートフォン、ＰＣ、ＴＶ、シンセサイザ、又はミキシングコンソール等の任意の音楽又は動画再生装置であってもよい。
上記電子機器の回路は、プロセッサを含んでもよく、例えば、ＣＰＵ、メモリ（ＲＡＭ、ＲＯＭ等）、及び／又は、記憶部、インタフェース等であってもよい。上記回路は、電子機器（コンピュータ、スマートフォン等）に関して一般的に知られているような入力手段（マウス、キーボード、カメラ等）、出力手段（ディスプレイ（例えば、液晶、（有機）発光ダイオード等））、スピーカ等、（無線）インタフェース等を含んでもよく、又はこれらと接続されてもよい。また、上記回路は、静止画又は動画データ（画像センサ、カメラセンサ、映像センサ等）を感知するセンサを具備してもよく、又はこれらと接続されてもよい。
上記伴奏は、ボーカル信号を音声入力信号から分離することによって得られる残留信号であってもよい。例えば、音声入力信号は、ボーカル、ギター、キーボード及びドラムを含む楽曲であってもよく、伴奏信号は、ボーカルを音声入力信号から分離した後の残留信号としてギター、キーボード及びドラムを含む信号であってもよい。
上記ライブモード処理は、リバーブ信号が得られるように、伴奏信号をルームシミュレータによって処理するように構成されてもよい。上記ルームシミュレータを用いて、カラオケ出力にも付加されるリアルな残響信号が生成されてもよい。
上記ライブモード処理は、レンダリングされたリバーブ信号が得られるように、上記リバーブ信号をレンダリング部（４５）によって処理するように構成されてもよい。上記レンダリング部は、立体音響レンダリング部、バイノーラルレンダリング部、又はアップミキサであってもよい。好適なレンダリング部を用いて、カラオケ出力にも付加されるリアルな残響信号が生成されてもよい。
上記ライブモード処理は、上記伴奏信号（ｓａｃｃ（ｎ））の周囲音成分（ambient part）又は調波音成分（harmonic part）が得られるように、主音・周囲音抽出（ＰＡＥ：Primary Ambient Extraction）又は調波音・打楽器音分離によって上記伴奏信号を処理するように構成されてもよい。
上記ライブモード処理は、周囲音リバーブ又は調波音リバーブが得られるように、ルームシミュレータによって上記周囲音成分又は上記調波音成分を処理するように構成されてもよい。
上記ライブモード処理は、歌唱者の位置を表すライブモードパラメータ及び／又はステージを表すライブモードパラメータによって制御されてもよい。
上記ライブモード処理は、観客ボーカル信号が得られるように、観客合唱エミュレーションによって上記ボーカル信号を処理するように構成されてもよい。上記観客合唱エミュレーションは、（大勢の）観客が歌唱者と一緒に歌っているように聞こえるような信号を生成してもよい。上記観客合唱エミュレーションは、例えば、複数のピッチ及び／又はフォルマントシフト部を含んでもよい。
上記ライブモード処理は、ライブ伴奏信号が得られるように、ライブエフェクトに基づいて上記伴奏信号を処理するように構成されてもよい。
上記ライブエフェクト処理は、音源分離を含んでもよい。
任意の音源分離技術を適用してもよい。例えば、ブラインド信号分離としても知られるブラインド音源分離（ＢＳＳ：Blind Source Separation）を音源分離に用いてもよい。ＢＳＳは、混合された信号の集合から音源信号の集合を分離することを含んでもよい。ＢＳＳの一適用例として、元のコンテンツのアップミクス又はリミックスが可能となるように楽曲が個別のインストゥルメントトラックに分離される。
ＢＳＳの代わりに、例えば、ＯＯＰＳ（Out of Phase Stereo）技術等、他の音源分離技術を用いることもできる。
十分に混合された録音物に対して音源分離技術を用いる代わりに、上記各実施形態は、例えば、「ボーカル／伴奏」として又は「伴奏」のみとして（例えば、特別なカラオケ製品の場合）分離した状態の素材を用いてもよい。
上記ライブエフェクト処理は、マイクブリードエミュレーションをさらに含んでもよい。マイクブリードエミュレーションは、各マイクが他の楽器の信号を取り込むことでライブパフォーマンス中に生じるマイク「ブリード」の影響をエミュレートするように、個別のインストゥルメントトラックに適用されてもよい。
上記ライブエフェクト処理は、ジッターエミュレーションをさらに含んでもよい。このジッターエミュレーションは、ライブパフォーマンスにおいてしばしば楽器のタイミングが完璧には揃わないことを模倣してもよい。
上記ライブエフェクト処理は、音声イコライジングをさらに含んでもよい。当該イコライジングは、「マスタリングＥＱ」を用いるイコライザを「ＬｉｖｅＥＱ」処理に変更してもよい。
上記ライブモード処理は、サンプルデータベースからサンプルを取得することを含んでもよい。サンプル挿入部は、予め記録されたサンプルデータベースから歓声、拍手、及び観客の雑音のサンプルを取得し、当該サンプルをサンプル音声ストリームにランダムに挿入してもよい。
上記レンダリング部は、屋内のユーザの現在地に関する情報、及び／又は、ユーザが視線を向けている又は傾いている方向に関する情報を用いてもよい。
上記電子機器は、上記エンハンスされた伴奏信号をユーザボーカル信号と混合するように構成されるミキサをさらに具備してもよい。
各実施形態はまた、上述のようなエンハンスされた伴奏信号が得られるように、ライブモード処理に応じて伴奏信号を処理する方法に関する。
各実施形態はまた、プロセッサによって実施されると当該プロセッサに上記各実施形態に記載の方法を実行させる指示を含むコンピュータプログラムに関する。
音源分離では、多数の音源（例えば、楽器、声等）を含む入力信号が、各分離成分に分解される。音源分離は、教師なし（「ブラインド音源分離（ＢＳＳ）」と呼ばれる）であってもよく、又は部分的に教師ありであってもよい。「ブラインド」は、上記ブラインド音源分離には、元の音源情報が必ずしも存在しないことを意味する。例えば、元の信号がどれくらいの数の音源を含んでいたか、又は、入力信号のいずれの音情報がいずれの元の音源に属するのかといったことが、必ずしも把握されない。ブラインド音源分離の目的は、以前の各分離成分が未知のまま、元の信号を各分離成分に分解することである。ブラインド音源分離部が、当業者に既知のブラインド音源分離技術のうちの任意のものを用いてもよい。（ブラインド）音源分離では、確率理論又は情報理論的に最小限に相関する又は最大限に独立した各音源信号を見つけることができる。或いは、非負値行列因子分解（Non-Negative Matrix Factorization）に基づいて、各音源信号の構造上の制約を見つけることができる。（ブラインド）音源分離を行う方法は、当業者に既知であり、例えば、主成分分析（ＰＣＡ：Principal Component Analysis）、特異値分解（ＰＣＡ：Principal Component Analysis）、（非）独立成分分析、非負値行列因子分解（ＮＭＦ：Nonnegative Matrix Factorization）、人工ニューラルネットワーク（ＡＮＮ：Artificial Neural Network）等に基づく。
いくつかの実施形態では、ブラインド音源分離によって分離音源信号が生成されるが、本開示は、音源信号の分離にさらなる情報が用いられない実施形態に限定されず、いくつかの実施形態では、さらなる情報を用いて分離音源信号が生成される。このさらなる情報は、例えば、ミックス処理に関する情報、入力音声コンテンツに含まれる音源の種類に関する情報、入力音声コンテンツに含まれる音源の空間位置に関する情報等であり得る。
いくつかの実施形態によれば、上記回路は、転調の値が半音の整数倍となるようにピッチ比に基づいて音声出力信号を転調するようにさらに構成される。
次に、図面を参照しながら実施形態を説明する。
「ライブモード」の目標を図１に示す。図１の左側には、伴奏に合わせて歌唱するカラオケ装置のユーザが示されている。同図に示す例では、歌唱者は、家で当該装置を用いている。このユーザの体験では、ユーザは誰ともカラオケ体験を共有していない。図１の右側には、各実施形態に係る向上したカラオケ装置がユーザに対して有し得る効果が概略的に示されている。図１の右側の例では、ユーザには、他の多くの人々が当該ユーザと体験を共有しながら当該ユーザがあたかもコンサートに参加しているかのような感覚が与えられる。
ライブモード処理を用いるカラオケシステム
図２は、ライブモード処理を用いるカラオケシステムの一例を概略的に示す。モノラル又はステレオ音声入力１３から受け取られた音声入力信号ｘ（ｎ）は、複数の音源（図２の１，２，…，Ｋ参照）の混合を含む。この音声入力信号ｘ（ｎ）は、例えば、カラオケで歌われる楽曲であり、これは、オリジナルのボーカルと、複数の楽器による伴奏とを含む。この音声入力信号ｘ（ｎ）は、音源分離１４の処理に入力され、各分離成分（図３の分離音源２及び残留信号３参照）、ここでは、オリジナルのボーカルｓｖｏｃａｌｓ（ｎ）と、残留信号３、すなわち、伴奏ｓａｃｃ（ｎ）とに分解される。音源分離１４の各処理の例示的な一実施形態を後述の図３で説明する。
ユーザのマイク１１は、音声入力信号ｙ（ｎ）を取得する。この音声入力信号ｙ（ｎ）は、例えば、カラオケ信号であり、ユーザボーカル及びバックグラウンドサウンドを含む。このバックグラウンドサウンドは、カラオケ歌唱者のマイクによって取り込まれた任意の雑音であってもよい。この任意の雑音は、例えば、通りの雑音、観客の雑音、ユーザがヘッドフォンを装着せずにスピーカを用いている場合はハウリングが生じる本カラオケシステムのサウンド等である。音声入力信号ｙ（ｎ）は、音源分離１２の処理に入力され、各分離成分（図３の分離音源２及び残留信号３参照）、ここでは、分離音源２、すなわち、ユーザボーカルｓｕｓｅｒ（ｎ）と、不要となる残留信号（図２には図示せず）とに分解される。音源分離１２の各処理の例示的な一実施形態を後述の図３で説明する。
伴奏ｓａｃｃ（ｎ）は、ライブモード処理１７（後述の図４でより詳細に説明する）に供給される。ライブモード処理１７は、オリジナルのボーカルｓｖｏｃａｌｓ（ｎ）及び伴奏ｓａｃｃ（ｎ）を入力として受け取る。ライブモード処理１７は、オリジナルのボーカルｓｖｏｃａｌｓ（ｎ）及び伴奏ｓａｃｃ（ｎ）を処理し、カラオケ出力信号ｓａｃｃ＊（ｎ）を信号加算部１８へ出力する。信号加算部１８は、カラオケ出力信号ｓａｃｃ＊（ｎ）及びユーザボーカルｓｕｓｅｒ（ｎ）を受け取り、これらを足し合わせて、当該加算信号をスピーカシステム１９へ出力する。ライブモード処理はさらに、ライブモードパラメータを、表示部２０へ出力し、当該表示部２０によって、ライブモードパラメータがユーザに提示される。表示部２０はさらに、歌詞２１を受け取り、ユーザに提示する。
ユーザボーカルｓｕｓｅｒ（ｎ）は、例えば、エフェクト（図２には図示せず）によって処理されてもよい。例えば、より「ウェット」な音にするために、要するに、伴奏に対してより良い音となるように、当該ボーカルにリバーブを加えることができる。
図２のシステムでは、音声入力信号ｙ（ｎ）に対してリアルタイムに音源分離が実行される。代替的に、音声入力信号ｘ（ｎ）は、音声入力信号ｘ（ｎ）が、例えば、ミュージックライブラリに保存される際に予め処理されてもよい。
図２のシステムでは、音声入力信号ｘ（ｎ）は、後述の図３でより詳細に説明するように、例えば、ＢＳＳ処理によって処理されてもよい。代替的な実施形態では、ＯＯＰＳ技術等の他のボーカル分離アルゴリズムを用いて、伴奏からボーカルを分離してもよい。
この音声入力ｘ（ｎ）は、例えば、ＷＡＶファイル、ＭＰ３ファイル、ＡＡＣファイル、ＷＭＡファイル、ＡＩＦＦファイル等の録音物であってもよい。これは、音声入力x（n）が実際の音声であること、つまり、例えば、商用の歌唱／演奏パフォーマンスから得られた準備なしの生音声であることを意味する。当該カラオケ素材は、人の手による準備が一切必要なく、オンライン上で完全に自動で処理され、高品質及び高い再現性（realism）が得られるため、本実施形態では、事前準備された音声素材は必要とされない。
他の実施形態では、音声入力ｘ（ｎ）は、ＭＩＤＩファイルである。この場合、本カラオケシステムは、例えば、伴奏ｓａｃｃ（ｎ）をＭＩＤＩ領域に変換し、ＭＩＤＩシンセサイザを用いて伴奏ｓａｃｃ（ｎ）をレンダリングしてもよい。
上記入力信号は、任意の種類の音声信号とすることができる。上記入力信号は、アナログ信号又はデジタル信号の形態とすることができ、例えばＣＤやＤＶＤとすることができ、ＷＡＶＥファイルやＭＰ３ファイル等のデータファイルとすることができ、本開示は、特定のフォーマットの入力音声コンテンツに限定されない。入力音声コンテンツは、第１のチャネル入力音声信号及び第２のチャネル入力音声信号を有する、例えば、ステレオ音声信号としてもよい。但し、本開示は、２本の音声チャネルの入力音声コンテンツに限定されない。他の実施形態では、この入力音声コンテンツは、５．１ｃｈ音声信号等のリミックス等、任意の数のチャネルを含んでもよい。
この入力信号は、１又は複数の音源信号を含んでもよい。特に、この入力信号は、いくつかの音源を含んでもよい。音源は、音波、例えば、楽器、声、ボーカル、人工音声、例えば、シンセサイザ等で生成した音を生成する任意の実体とすることができる。
ブラインド音源分離
図３は、ＢＳＳによる音声アップミクス／リミックスの一般的な手法を概略的に示す。まず、音源音声信号１、ここでは、複数のチャネルＩ及び複数の音源である音源１、音源２……音源Ｋ（例えば、楽器、声等）の音声を含む音声入力信号ｘ（ｎ）を、チャネルｉ毎に、「分離成分」、ここでは、分離音源２、例えば、ボーカルｓｖｏｃａｌｓ（ｎ）及び伴奏ｓａｃｃ（ｎ）等の残留信号３（ここで、Ｋは整数であり、音源数を示す）に分解する音源分離（「デミックス」とも呼ばれる）が実行される。ここで、残留信号は、音声入力信号からボーカルを分離した後の信号である。すなわち、残留信号は、入力音声信号用のボーカルを除去した後の「残りの」音声信号である。しかし、各実施形態は、この例に限定されない。例えば、一般的に、２つのＤＮＮ及び別の残留信号（＝これらのＤＮＮによって生じたエラー）を用いて２つの分離成分（「ボーカル」と「伴奏」）をそれぞれ得ることも可能である。
本実施形態では、音源音声信号１は、２本のチャネルｉ＝１及びｉ＝２を有するステレオ信号である。次いで、分離音源２及び残留信号３は、リミックス及びレンダリングされて新たなスピーカ信号４になる。ここで、スピーカ信号４は、５本のチャネル４ａ～４ｅ、すなわち、５．０チャネルシステムを有する信号である。この音源分離処理は、例えば、公表論文のUhlich、Stefan他著『Improving music source separation based on deep neural networks through data augmentation and network blending.』2017 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). IEEE, 2017により詳細に記載されているように実現されてもよい。
例えば、音源の混合に起因して音源信号の分離が不完全である場合、分離音源信号２ａ～２ｄに加えて残留信号３（ｒ（ｎ））が生成される。この残留信号は、例えば、入力音声コンテンツと、分離された全ての音源信号の合計との差分を表し得る。各音源から出力される音声信号は、入力音声コンテンツ１においてそれぞれ記録された音波によって表される。ステレオ又はサラウンドサウンド入力音声コンテンツ等、２以上の音声チャネルを有する入力音声コンテンツの場合、典型的には、音源に関する空間情報も、入力音声コンテンツに含まれる、又は、例えば、互いに異なる音声チャネルに含まれる音源信号の割合によって当該入力音声コンテンツによって表される。分離音源信号２ａ～２ｄ及び残留信号３への入力音声コンテンツ１の分離は、ブラインド音源分離、又は音源分離が可能な他の技術に基づいて実行される。
第２のステップにおいて、分離音源信号２ａ～２ｄ及びあり得る残留信号３は、新たなスピーカ信号４に対してリミックス及びレンダリングされる。ここで、当該信号は、５本のチャネル４ａ～４ｅ、すなわち、５．０チャネルシステムを有する。分離音源信号及び残留信号に基づいて、空間情報に基づいて分離音源信号及び残留信号を混合することで出力音声コンテンツが生成される。この出力音声コンテンツは、図３において参照符号４で示される例示的なものである。
この音声入力ｘ（ｎ）及び音声入力ｙ（ｎ）は、図３で説明した方法によって分離することができ、当該方法では、音声入力ｙ（ｎ）がユーザボーカルｓｕｓｅｒ（ｎ）と不使用のバックグラウンドサウンドとに分離され、音声入力ｘ（ｎ）がオリジナルのボーカルｓｕｓｅｒ（ｎ）と伴奏ｓａｃｃ（ｎ）とに分離される。この伴奏ｓａｃｃ（ｎ）はさらに、例えば、ドラム、ピアノ、弦楽器等、各トラックに分離することができる（図８及び図１８の参照符号８１参照）。このボーカル分離によって、伴奏及びボーカルの両方が処理されることで大幅な改善が可能となる。
音声入力ｙ（ｎ）から伴奏を除去する別法としては、例えば、クロストーク除去方法が挙げられる。この方法では、例えば、適応フィルタ処理によってマイクの信号から基準の伴奏が同相で減算される。
ライブモード処理
図４は、ライブモード処理（図２の参照符号１７）の一実施形態を概略的に示す。このライブモード処理は、音源分離（図２の参照符号１４）によって取得されるオリジナルのボーカルｓｖｏｃａｌｓ（ｎ）及び伴奏ｓａｃｃ（ｎ）を入力として受け取る。このライブモード処理は、オリジナルのボーカルｓｖｏｃａｌｓ（ｎ）及び伴奏ｓａｃｃ（ｎ）を処理し、カラオケ出力信号ｓａｃｃ＊（ｎ）を出力する。当該カラオケ出力信号ｓａｃｃ＊（ｎ）は、スピーカシステム（図２の参照符号１９）によって出力されてもよい。
音源分離（図２の参照符号１４）によって取得されたオリジナルのボーカルｓｖｏｃａｌｓ（ｎ）は、観客ボーカルｓｃｒｏｗｄ（ｎ）が得られるように、観客合唱エミュレーション４１によって処理される。観客合唱エミュレーション４１は、（大勢の）観客が一緒に歌っているかのように聞こえる信号を生成する（図６及び対応の記載参照）。エンハンスされた伴奏信号を生成するために、音源分離（図２の参照符号１４）によって取得された伴奏ｓａｃｃ（ｎ）は、ライブ伴奏ｓａｃｃ＿ｌｉｖｅ（ｎ）が得られるように、ライブエフェクト４２によって処理される。この伴奏ｓａｃｃ（ｎ）はさらに、伴奏ｓａｃｃ（ｎ）の周囲音成分ｓａｍｂ（ｎ）が得られるように、主音・周囲音抽出（ＰＡＥ：Primary Ambient Extraction）４３によって処理される。この周囲音成分ｓａｍｂ（ｎ）はさらに、周囲音リバーブｓａｍｂ＿ｒｅｖ（ｎ）が得られるように、ルームシミュレータ４４によって処理される。この周囲音リバーブｓａｍｂ＿ｒｅｖ（ｎ）はさらに、レンダリングされた周囲音リバーブｓａｍｂ＿ｒｅｖ，３Ｄ（ｎ）が得られるように、レンダリング部４５（例えば、図１６で説明するバイノーラルレンダリング部又は図１７で説明するアップミキサ）によって処理される。ルームシミュレータ４４及び好適なレンダリング部４５によって、カラオケ出力にも加算されるリアルな残響信号が生成される。
観客合唱エミュレーション４１によって取得された観客ボーカルｓｃｒｏｗｄ（ｎ）は、ＧＡＩＮ／ＤＥＬＡＹ１で調整されるゲイン及びディレイである。オリジナルのボーカルｓｖｏｃａｌｓ（ｎ）は、ＧＡＩＮ／ＤＥＬＡＹ２で調整されるゲイン及びディレイである。ライブエフェクト４２を伴奏ｓａｃｃ（ｎ）に適用することによって取得されたライブ伴奏ｓａｃｃ＿ｌｉｖｅ（ｎ）は、ＧＡＩＮ／ＤＥＬＡＹ３で調整されるゲイン及びディレイである。上記周囲音リバーブｓａｍｂ＿ｒｅｖ（ｎ）は、ＧＡＩＮ／ＤＥＬＡＹ４で調整されるゲイン及びディレイである。サンプルデータベース４６から取得されたサンプルｓｓａｍｐｌｅｓ（ｎ）は、ＧＡＩＮ／ＤＥＬＡＹ５で調整されるゲイン及びディレイである。なお、カラオケシステムではボーカルは除去すべきであるため、ボーカルｓｖｏｃａｌｓ（ｎ）の直接経路用のゲインＧＡＩＮ／ＤＥＬＡＹ２は通常、相当小さい。しかし、ユーザが当該ボーカルに合わせて歌えるように、又は、ユーザが観客と一緒にオリジナルの歌唱者と合唱することにしたときのために、出力にボーカルｓｖｏｃａｌｓ（ｎ）を少量保持することが可能である。
このゲイン／ディレイが調整された観客ボーカルｓｃｒｏｗｄ（ｎ）、ゲイン／ディレイが調整されたオリジナルのボーカルｓｖｏｃａｌｓ（ｎ）、ゲイン／ディレイが調整されたライブ伴奏ｓａｃｃ＿ｌｉｖｅ（ｎ）、ゲイン／ディレイが調整された周囲音リバーブｓａｍｂ＿ｒｅｖ（ｎ）及びゲイン／ディレイが調整されたｓｓａｍｐｌｅｓ（ｎ）は、ユーザボーカルｓｕｓｅｒ（ｎ）（図２参照）と共にスピーカシステム（図２の参照符号１９）によって出力することができるカラオケ出力信号ｓａｃｃ＊（ｎ）が得られるように、ミキサ４７によって混合される。
図５は、ライブモード処理（図２の参照符号１７）の一代替的な実施形態を概略的に示す。図４の実施形態及び図５の実施形態間のライブモード処理の相違点は、図５の実施形態には、図４の実施形態の主音・周囲音抽出（ＰＡＥ：Primary Ambient Extraction）の代わりに、調波音・打楽器音分離（ＨＰＳＳ：Harmonic Percussion Source Separation）が設けられる点である。
この伴奏ｓａｃｃ（ｎ）は、伴奏ｓａｃｃ（ｎ）の調波音成分ｓｈａｒｍ（ｎ）が得られるように、ＨＰＳＳ４８によって処理される。この調波音成分ｓｈａｒｍ（ｎ）はさらに、調波音リバーブｓｈａｒｍ＿ｒｅｖ（ｎ）が得られるように、ルームシミュレータ４４によって処理される。この調波音リバーブｓｈａｒｍ＿ｒｅｖ（ｎ）はさらに、レンダリングされた調波音リバーブｓｈａｒｍ＿ｒｅｖ，３Ｄ（ｎ）が得られるように、レンダリング部４５（例えば、図１６で説明するバイノーラルレンダリング部又は図１７で説明するアップミキサ）によって処理される。
ゲイン／ディレイが調整された観客ボーカルｓｃｒｏｗｄ（ｎ）と、ゲイン／ディレイが調整されたオリジナルのボーカルｓｖｏｃａｌｓ（ｎ）と、ゲイン／ディレイが調整されたライブ伴奏ｓａｃｃ＿ｌｉｖｅ（ｎ）と、ゲイン／ディレイが調整された調波音リバーブｓｈａｒｍ＿ｒｅｖ（ｎ）と、ゲイン／ディレイが調整されたｓｓａｍｐｌｅｓ（ｎ）とは、カラオケ出力信号ｓａｃｃ＊（ｎ）が得られるように、ミキサ４７によって混合される。当該カラオケ出力信号ｓａｃｃ＊（ｎ）は、ユーザボーカルｓｕｓｅｒ（ｎ）（図２参照）と共にスピーカシステム（図２の参照符号１９）によって出力されてもよい。
図４及び図５に関して説明したライブモード処理は、ユーザインタフェースを介して本カラオケシステムのユーザによって予め設定されたライブモードパラメータによって制御されてもよい。
例えば、第１のライブモードパラメータSINGER LOCATIONによって、歌唱者の位置、例えば、SINGER LOCATION＝「ステージ上」又は「オーディエンスの中」を選択可能としてもよい。「ステージ上」状態では、ライブモードによって、前方から歓声を受け、左右及び／又は後方から楽器の演奏を聴きながら歌うバンドの歌唱者になった感覚が与えられる。「オーディエンスの中」状態では、ライブモードによって、前方から楽器の演奏が、左右及び／又は後方から歓声が聞こえる観客と一緒に歌っている感覚が与えられる。
第２のライブモードパラメータVENUEは、ステージ位置を画定し、且つ、ステージ／コンサートホールのサイズ（信号の残響時間）と共に観客の知覚サイズ（人数）に影響してもよい。例えば、VENUE＝「ウェンブリースタジアム」、「ロイヤルアルバートホール」、「クラブ」、又は「バー」である。状態「ウェンブリースタジアム」は、大規模なスタジアム（収容人数：９００００人）の雰囲気をエミュレートしてもよい。状態「ロイヤルアルバートホール」は、広いコンサートホール（収容人数：９５００人）の雰囲気をエミュレートしてもよい。状態「クラブ」は、中規模のクラブ（収容人数：２００人）の雰囲気をエミュレートしてもよい。状態「バー」は、バー（収容人数：５０人）の雰囲気をエミュレートしてもよい。
観客合唱エミュレーション
観客合唱エミュレーションは、抽出したボーカルトラックsvocals（n）から「観客合唱」音声信号scrowd（n）を生成する。これは、強い残響を用いると共に様々なピッチシフトとディレイとの組み合わせを重ねることで多数の異なる音声信号を生成する（「ボーカルダブリング」に類似）ことによって行うことができる。
図６は、観客合唱エミュレーション（図４及び図５の参照符号４１）処理の第１の実施形態を概略的に示す。観客合唱エミュレーション４１は、観客ボーカルｓｃｒｏｗｄ（ｎ）が得られるように、オリジナルのボーカルｓｖｏｃａｌｓ（ｎ）を処理する。オリジナルのボーカルｓｖｏｃａｌｓ（ｎ）は、Ｎ＝Ｎｃｒｏｗｄ個のピッチシフター６１－１～６１－Ｎに供給される。各ピッチシフター６１－１～６１－Ｎは、各所定の割合ｐｉ（ｉ＝１－Ｎ）だけオリジナルのボーカルｓｖｏｃａｌｓ（ｎ）のピッチをシフトする。このピッチシフトされたボーカルは、Ｎ個のフォルマントシフター６２－１～６２－Ｎに供給される。各フォルマントシフター６１－１～６１－Ｎは、所定の量ｆｉ（ｉ＝１－Ｎ）ピッチシフトされたボーカルに対してフォルマントシフト処理を実行する。このピッチ及びフォルマントシフトされたボーカルは、Ｎ個のゲイン／ディレイステージ６３－１～６３－Ｎに供給される。各ゲイン／ディレイステージ６３－１～６３－Ｎは、所定のゲインｇｉ及びディレイδｔｉ（ｉ＝１－Ｎ）によってボーカルのゲイン及びディレイを調整する。この混合されたボーカルは、ミックスされたボーカルに残響を付加するようにリバーブ６５によって処理される。このように処理されたボーカルは観客ボーカルｓｃｒｏｗｄ（ｎ）が得られるように、ミキサ６４によってミックスされる。
平行ピッチ／フォルマントシフト部の数Ｎｃｒｏｗｄは、例えば、ステージ位置を画定し、且つ、ステージ／コンサートホールのサイズ（信号の残響時間）と共に観客の知覚サイズ（人数）に影響する所定のライブモードパラメータVENUEに応じて選択されてもよい。例えば、VENUE＝「ウェンブリースタジアム」の場合、Ｎｃｒｏｗｄは、Ｎｃｒｏｗｄ＝２００に設定してもよい。VENUE＝「ロイヤルアルバートホール」の場合、Ｎｃｒｏｗｄは、Ｎｃｒｏｗｄ＝１００に設定してもよい。VENUE＝「クラブ」の場合、Ｎｃｒｏｗｄは、Ｎｃｒｏｗｄ＝５０に設定してもよい。VENUE＝「バー」の場合、Ｎｃｒｏｗｄは、Ｎｃｒｏｗｄ＝２０に設定してもよい。
ピッチシフトの割合ｐｉ（ｉ＝１－Ｎ）は、例えば、１００セントの所定の標準偏差を有するｐｉ＝１（ピッチシフトなし）を中心としたガウス分布に応じてランダムに選択してもよい。同様に、フォルマントシフトのパラメータｆｉ（ｉ＝１－Ｎ）は、例えば、選択されたフォルマントシフトアルゴリズムに応じた所定の標準偏差を有するｐｉ＝１（フォルマントシフトなし）を中心としたガウス分布に応じてランダムに選択してもよい。
ピッチ／フォルマントシフト部毎のディレイδｔｉは、例えば、間隔［０，０．５ｓ］でランダムに選択してもよい。ここで、０は、ステージ上の歌唱者に非常に近い人々を表し、０．５ｓは、ステージ上の歌唱者から離れている人々、又は、かなり遅れて歌う人々を表す。ステージ上の歌唱者から距離ｒに位置する人数が、ほぼｒ２で増加する（会場内の人々の分布が均一であると仮定）ことを模倣するために、乱数生成器は、このｒ２の挙動に従って、小さなディレイよりも大きなディレイを優先させるように構成されてもよい。またさらに、δｔｉが選択される間隔は、会場に依存し得る。例えば、VENUE＝「ウェンブリースタジアム」の場合、δｔｉは、間隔［０，０．５ｓ］から選択してもよい。VENUE＝「ロイヤルアルバートホール」の場合、δｔｉは、間隔［０，０．３ｓ］から選択してもよい。VENUE＝「クラブ」の場合、δｔｉは、間隔［０，０．２ｓ］から選択してもよい。VENUE＝「バー」の場合、δｔｉは、間隔［０，０．１ｓ］から選択してもよい。
ゲインｇｉ（ｉ＝１－Ｎ）は、例えば、０．５～１．５の間の数にランダムに設定してもよい。ここで、ｇｉ＞１は、ボーカルの音量の増加を表し、ｇｉ＜１は、ボーカルの音量の減少を表す。ゲインｇｉはまた、例えば、より大きなディレイδｔｉに対してゲインｇｉを減少させることによって、より遠くにいる人々には、音量がより小さく且つより遅れて音が聴こえるという効果を模倣するようにディレイδｔｉと相関関係を有するようにしてもよい。
観客合唱エミュレーションを制御するパラメータはまた、ライブモードパラメータ「SINGER LOCATION」に影響されてもよい。例えば、SINGER LOCATION＝「ステージ上」の場合、ピッチ／フォルマントシフト部毎のディレイδｔｉは、例えば、歌唱者がステージ上にいて、観客から或る一定の距離だけずれているという影響を加味して間隔［０．１、０．５ｓ］でランダムに選択してもよい。SINGER LOCATION＝「オーディエンスの中」の場合、ピッチ／フォルマントシフト部毎のディレイδｔｉは、例えば、歌唱者が観客に囲まれていて、一部の観客が歌唱者の非常に近い位置にいる影響を加味して間隔［０，０．３ｓ］でランダムに選択してもよい。
このリバーブ６５による処理は、ステージ位置を画定し、ステージ／コンサートホールの知覚サイズ（信号の残響時間）に影響を及ぼすライブモードパラメータVENUEに依存してもよい。例えば、VENUE＝「ウェンブリースタジアム」の場合、ウェンブリースタジアムの予め記録されたインパルス応答に基づいたコンボリューションリバーブを適用してもよい。VENUE＝「ロイヤルアルバートホール」の場合、ロイヤルアルバートホールの予め記録されたインパルス応答に基づいたコンボリューションリバーブを適用してもよい。VENUE＝「クラブ」の場合、クラブの予め記録されたインパルス応答に基づいたコンボリューションリバーブを適用してもよい。VENUE＝「バー」の場合、バーの予め記録されたインパルス応答に基づいたコンボリューションリバーブを適用してもよい。コンボリューションリバーブの代わりに、適切なサイズのパラメータ設定でアルゴリズミックリバーブを用いてもよい。
図６の実施形態では、リバーブ６５が混合された信号を処理する。図７に示す代替的な一実施形態では、サラウンドリバーブ６６がピッチ／フォルマントシフト部に対して適用される。このサラウンドリバーブアルゴリズムによって、エミュレートされた会場の或る特定の位置に各個別の音源（各ピッチ／フォルマントシフト部）を配置することができる。サラウンドリバーブ６６によって、エミュレートされた観客の個々人は、実際の会場内の人々のリアルな配置に応じて会場に配置されてもよい。これによって、残響エフェクトがよりリアルになる。
ライブエフェクト
図８は、ライブエフェクト処理（図４及び図５の参照符号４２）の一実施形態を概略的に示す。このライブエフェクト４２は、ライブ伴奏ｓａｃｃ＿ｌｉｖｅ（ｎ）が得られるように、伴奏ｓａｃｃ（ｎ）を処理する。
この伴奏ｓａｃｃ（ｎ）は、伴奏ｓａｃｃ（ｎ）内の個別の音源（楽器）用の別個のトラックｓｉｎｓｔ，１（ｎ）～ｓｉｎｓｔ，Ｎ（ｎ）が得られるように、音源分離８１によって処理される。マイク「ブリード」エミュレーション８２は、各マイクが他の楽器の信号を取り込むことでライブパフォーマンス中に生じるマイク「ブリード」の影響をエミュレートするように、個別のインストゥルメントトラックに適用される。結果として得られるインストゥルメントトラックｓｉｎｓｔ＿ｂｌｅｅｄ，１（ｎ）～ｓｉｎｓｔ＿ｂｌｅｅｄ，Ｎ（ｎ）は、ライブパフォーマンスにおいてしばしば楽器のタイミングが完璧には揃わないことを模倣するジッターエミュレーション８３によってさらに処理される。結果として得られるインストゥルメントトラックｓｉｎｓｔ＿ｊｉｔｔｅｒ，１（ｎ）～ｓｉｎｓｔ＿ｊｉｔｔｅｒ，Ｎ（ｎ）は、ミキサ８４によってリミックスされる。このリミックスされた信号ｓｉｎｓｔ＿ｍｉｘ（ｎ）は、「マスタリングＥＱ」を用いるイコライザを「ＬｉｖｅＥＱ」処理に修正するイコライザ（ＥＱ）８５によってさらに処理される。
図９は、マイクブリードエミュレーション８２の一実施形態を概略的に示す。このマイクブリードエミュレーション８２は、音源分離（図８の参照符号８１）からインストゥルメント信号ｓｉｎｓｔ，１（ｎ）～ｓｉｎｓｔ，Ｎ（ｎ）を受け取る。インストゥルメント信号ｓｉｎｓｔ，１（ｎ）は、エミュレートされたマイクブリードを含むインストゥルメント信号ｓｉｎｓｔ＿ｂｌｅｅｄ，１（ｎ）が得られるように、－１２ｄＢのマイクブリードを付加して、ミキサ９１－１によってインストゥルメント信号ｓｉｎｓｔ，２（ｎ）～ｓｉｎｓｔ，Ｎ（ｎ）とミックスされる。インストゥルメント信号ｓｉｎｓｔ，２（ｎ）は、エミュレートされたマイクブリードを含むインストゥルメント信号ｓｉｎｓｔ＿ｂｌｅｅｄ，２（ｎ）が得られるように、－１２ｄＢのマイクブリードを付加して、ミキサ９１－２によってインストゥルメント信号ｓｉｎｓｔ，１（ｎ），ｓｉｎｓｔ，３（ｎ）～ｓｉｎｓｔ，Ｎ（ｎ）とミックスされる。インストゥルメント信号ｓｉｎｓｔ，Ｎ（ｎ）は、エミュレートされたマイクブリードを含むインストゥルメント信号ｓｉｎｓｔ＿ｂｌｅｅｄ，Ｎ（ｎ）が得られるように、－１２ｄＢのマイクブリードを付加して、ミキサ９１－Ｎによってインストゥルメント信号ｓｉｎｓｔ，１（ｎ）～ｓｉｎｓｔ，Ｎ－１（ｎ）とミックスされる。
図１０は、ジッターエミュレーション８３の一実施形態を概略的に示す。マイクブリードエミュレーション（図８の参照符号８２）によって取得されるインストゥルメント信号ｓｉｎｓｔ＿ｂｌｅｅｄ，１（ｎ）は、インストゥルメント信号ｓｉｎｓｔ＿ｊｉｔｔｅｒ，１（ｎ）が得られるように、遅延部１０１－１によって遅延される。マイクブリードエミュレーションによって取得されるインストゥルメント信号ｓｉｎｓｔ＿ｂｌｅｅｄ，２（ｎ）は、インストゥルメント信号ｓｉｎｓｔ＿ｊｉｔｔｅｒ，２（ｎ）が得られるように、遅延部１０１－２によって遅延される。マイクブリードエミュレーションによって取得されるインストゥルメント信号ｓｉｎｓｔ＿ｂｌｅｅｄ，Ｎ（ｎ）は、インストゥルメント信号ｓｉｎｓｔ＿ｊｉｔｔｅｒ，Ｎ（ｎ）が得られるように、遅延部１０１－Ｎによって遅延される。これらの遅延部１０１－１～１０１－Ｎは、ランダムな時間長だけ上記楽器のそれぞれをわずかに遅延させる又は早めるように構成される。この時間長は、例えば、間隔［－１００ｍｓ，＋１００ｍｓ］からランダムに選択してもよい。なお、この時間長は、歌っている間変更する可能性がある。すなわち、この時間長は、一定ではなく、ライブパフォーマンスの感覚を向上させるように変化する時間であり得る。
図１１（ａ）は、イコライザ８５の第１の実施形態を概略的に示す。リミックス（図８の参照符号８４）に取得されるインストゥルメントミックスｓｉｎｓｔ＿ｍｉｘ（ｎ）は、ライブ伴奏ｓａｃｃ＿ｌｉｖｅ（ｎ）が得られるように、スタティックイコライザ１１１によって処理される。スタティックイコライザ１１１は、「マスタリングＥＱ」から「ＬｉｖｅＥＱ」へイコライザを変更するように、パラメトリック／グラフィックＥＱを用いてイコライザを変更する。
図１１（ｂ）は、イコライザ８５の第２の実施形態を概略的に示す。リミックス（図８の参照符号８４）によって取得されるインストゥルメントミックスｓｉｎｓｔ＿ｍｉｘ（ｎ）は、ライブ伴奏ｓａｃｃ＿ｌｉｖｅ（ｎ）が得られるように、ダイナミックイコライザ１１２によって処理される。ダイナミックイコライザ１１２は、「マスタリングＥＱ」から「ＬｉｖｅＥＱ」へ変換するように学習されたＤＮＮ１１３によって制御される。
ライブ伴奏ｓａｃｃ＿ｌｉｖｅ（ｎ）が得られるように、伴奏ｓａｃｃ（ｎ）を処理する上述のライブエフェクトは、例示に過ぎない。この個別のライブエフェクト（ブリードエミュレーション８２、ジッターエミュレーション８３、ＬｉｖｅＥＱ８５）は、別々に又は組み合わせて提供することができる。各実施形態は、図８の実施形態に示すライブエフェクトの選択に限定されない。
同様に、他のライブエフェクト（図８には図示せず）が、ライブ伴奏ｓａｃｃ＿ｌｉｖｅ（ｎ）が得られるように、伴奏ｓａｃｃ（ｎ）に適用されてもよい。例えば、スピードアップモジュールは、ライブパフォーマンスが多くの場合、カラオケシステムの基準として用いられる記録よりもわずかに早く再生されるようなエフェクトをエミュレートするために伴奏ｓａｃｃ（ｎ）をスピードアップするように構成されてもよい。しかし、ライブエフェクト（図４及び図５の参照符号４２）が、伴奏ｓａｃｃ（ｎ）の速度を上げる場合、同一のスピードアップ処理が、図４及び図５のミキサ４７に供給され、ボーカルを伴奏と同期させるように観客合唱エミュレーション４１が基づくボーカルトラックｓｖｏｃａｌｓ（ｎ）にも適用される。これは、スピードアップされた伴奏ｓａｃｃ（ｎ）も受け取る図４及び図５の残響経路（４３，４４，４５）も同様である。
サンプルデータベース
図１２（ａ）は、サンプルデータベース４６の第１の実施形態を示す。サンプル挿入部１４２は、予め記録されたサンプルデータベース１４３から歓声、拍手、及び観客の雑音のサンプルを取得し、ランダムにサンプルをサンプル音声ストリームｓｓａｍｐｌｅｓ（ｎ）に挿入する。このサンプル挿入部１４２は、歌の再生中及び歌の合間に、歓声や、拍手、観客の雑音、サンプルをランダムに付加するように構成されてもよい。このサンプル音声ストリームｓｓａｍｐｌｅｓ（ｎ）は、カラオケ出力信号（図４及び図５のミキサ４７参照）に直接付加することができる。
このサンプル挿入部１４２は、ライブモードパラメータSINGER LOCATIONを評価するようにさらに構成されてもよい。例えば、SINGER LOCATION＝「オーディエンスの中」の場合、サンプル挿入部１４２は、SINGER LOCATION＝「ステージ上」の場合よりも程度の激しいサンプルを選択してもよい。付加的には、サンプル挿入部１４２は、SINGER LOCATIONパラメータ（例えば、「拍手」が前方から聞こえるか、「拍手」が周囲から聞こえる）に応じたそれぞれ異なる位置にサンプルをレンダリングしてもよい。このサンプル挿入部１４２は、ステージ位置を画定し、観客の知覚サイズ（人数）及びステージ／コンサートホール（信号の残響時間）のサイズに影響を及ぼし得るライブモードパラメータVENUEを評価するようにさらに構成されてもよい。例えば、VENUE＝「ウェンブリースタジアム」の場合、サンプル挿入部１４２は、第１のサンプル群からサンプルを選択してもよい。VENUE＝「ロイヤルアルバートホール」の場合、サンプル挿入部１４２は、第２のサンプル群からサンプルを選択してもよい。VENUE＝「クラブ」の場合、サンプル挿入部１４２は、第３のサンプル群からサンプルを選択してもよい。VENUE＝「バー」の場合、サンプル挿入部１４２は、第４のサンプル群からサンプルを選択してもよい。
図１２（ｂ）は、サンプルデータベース４６の第２の実施形態を示す。イベント検出部１４１は、伴奏ｓａｃｃ（ｎ）におけるイベントを検出する。係るイベントは、例えば、歌の始まり、歌の終わり、コーラスの始まり、歌のサビ等であってもよい。サンプル挿入部１４２は、検出イベントに基づいて、予め記録されたサンプルデータベース１４３から歓声、拍手、及び観客の雑音のサンプルを取得し、当該サンプルをサンプル音声ストリームｓｓａｍｐｌｅｓ（ｎ）に挿入する。このように、サンプル挿入部は、現状（例えば、歌う前の観客の叫び声、歌い終わった後の拍手喝采）に適したカラオケ出力信号となるようにバックグラウンドサンプルを選択することができる。
主音・周囲音抽出（ＰＡＥ：Primary Ambient Extraction）
図１３は、主音・周囲音抽出（ＰＡＥ：Primary Ambient Extraction）（図4の参照符号４３）の一実施形態を概略的に示す。主音・周囲音抽出（ＰＡＥ：Primary Ambient Extraction）４３は、それらの方向及び分散空間特性に基づいて、伴奏ｓａｃｃ（ｎ）を主音（primary）成分及び周囲音成分、ｓａｃｃ＿ｐｒｉｍａｒｙ（ｎ）及びｓａｃｃ＿ａｍｂｉｅｎｔ（ｎ）に分解するように構成される。一般的なマルチチャネルＰＡＥ手法は、主成分分析法（ＰＣＡ）である。ＰＡＥ４３は、例えば、CARLOS AVENDANO著『A Frequency-Domain Approach to Multichannel Upmix』 J. Audio Eng. Soc., Vol. 52, No. 7/8, 2004 July/August (参考［１］内)に記載されるように実現されてもよい。
調波音・打楽器音分離（ＨＰＳＳ：Harmonic Percussion Source Separation）
図１４は、調波音・打楽器音分離（ＨＰＳＳ：Harmonic Percussion Source Separation）（図４の参照符号４８）の一実施形態を概略的に示す。ＨＰＳＳ４８は、伴奏ｓａｃｃ（ｎ）を、全ての調波音から成る信号と、全ての打楽器音から成る他の信号とに分解するように構成される。ＨＰＳＳ４８は、入力信号のスペクトログラムにおいて、調波音は、（時間方向に）平行の構造を形成する傾向がある一方、打楽器音は、（周波数方向に）垂直の構造を形成するという観察を利用する。ＨＰＳＳ４８は、例えば、Fitzgerald, Derry著『Harmonic/percussive separation using median filtering.』Proceedings of the International Conference on Digital Audio Effects (DAFx). Vol. 13. 2010に記載されるように実現されてもよい。
ルームシミュレータ
このライブモードは、リアルな残響を付加することによってエンハンスされてもよい。好適なレンダリングアルゴリズムによってルームシミュレータ４４を用いることで、ユーザに、部屋／コンサートホールにいるような感覚をもたらしてもよい。
図４及び図５の上記各実施形態に示すように、伴奏の周囲音又は調波音成分だけのためのリバーブ信号を生成することが有益である場合がある。しかし、ルームシミュレータ４４は、周囲音又は調波音分離（ＰＡＥ又はＨＰＳＳ）を適用せずに、このように伴奏に対して直接動作することも可能である。
ルームシミュレータ４４は、ＰＡＥ又はＨＰＳＳが適用されるか否か（或いは、それらのいずれも適用されないか否か）に応じて、伴奏の周囲音成分ｓａｃｃ＿ａｍｂ（ｎ）に対して又は伴奏の調波音成分ｓａｃｃ＿ｈａｒｍ（ｎ）に対して伴奏ｓａｃｃ（ｎ）の残響を付加するように構成される。コンボリューションリバーブを用いてもよいし、適切なサイズのパラメータ設定のアルゴリズミックリバーブを用いてもよい。
ルームシミュレータ４４によるこの処理は、ステージ位置を画定してステージ／コンサートホールの知覚サイズ（信号の残響時間）に影響を及ぼすライブモードパラメータVENUEに依存し得る。例えば、VENUE＝「ウェンブリースタジアム」の場合、ウェンブリースタジアムの予め記録されたインパルス応答に基づくコンボリューションリバーブを適用してもよい。VENUE＝「ロイヤルアルバートホール」の場合、ロイヤルアルバートホールの予め記録されたインパルス応答に基づくコンボリューションリバーブを適用してもよい。VENUE＝「クラブ」の場合、クラブの予め記録されたインパルス応答に基づくコンボリューションリバーブを適用してもよい。VENUE＝「バー」の場合、バーの予め記録されたインパルス応答に基づくコンボリューションリバーブを適用してもよい。
図１５は、ルームシミュレータ４４がサラウンドリバーブによって実施される一実施形態を概略的に示す。サラウンドリバーブアルゴリズム１５３は、音源分離１５１及びＰＡＥ１５２によって取得された個別の音源ｓｉｎｓｔ，１（ｎ）～ｓｉｎｓｔ，Ｎ（ｎ）のそれぞれを、エミュレートされた会場の特定の位置に配置することができる。サラウンドリバーブ１５３をルームシミュレータ４４として用いる場合、伴奏ｓａｃｃ（ｎ）における各楽器の周囲音成分（又は、調波音成分又はそのようなフル信号）を、ステージ上のそれぞれの楽器のリアルな配置に応じて会場内に配置することができる。これによって、残響エフェクトがよりリアルになる。
バイノーラルレンダリング部
ヘッドフォン再生を利用する場合、バイノーラルレンダリングを用いて、或る一定の方向からの音源をモデリングしてもよい。
図１６は、バイノーラルレンダリング技術を用いるレンダリング部４５の一実施形態を示す。ルームシミュレータ４４によって取得されるリバーブ音源ｓａｍｂ＿ｒｅｖ（ｎ）（図４の実施形態参照）又はｓｈａｒｍ＿ｒｅｖ（ｎ）（図５の実施形態参照）が、周囲音リバーブｓａｍｂ＿ｒｅｖ（ｎ）又は調波音リバーブｓｈａｒｍ＿ｒｅｖ（ｎ）が得られるように、バイノーラルレンダリング部４５によって処理される。バイノーラルレンダリング部４５は、バイノーラルプロセッサ１６２を具備する。バイノーラルプロセッサ１６２は、本カラオケシステムのユーザの、測定又はモデリングされた頭部に基づいて予め算出された頭部インパルス応答（ＨＲＩＲ：Head-Related Impulse Response）１６１に基づいてバイノーラル処理を実行する。バイノーラル処理１６２は、測定又はモデリングされた頭部インパルス応答（ＨＲＩＲ：Head-Related Impulse Response）１６１を用いる音源信号の音源ｓｒｅｖ，１（ｎ）～ｓｒｅｖ，Ｎ（ｎ）の畳み込みを含む。
頭部インパルス応答（ＨＲＩＲ：Head-Related Impulse Response）の代わりに両耳室内インパルス応答（ＢＲＩＲ：Binaural Room Impulse Response）を用いることもできる。
バイノーラル処理された音声は、典型的には、ステレオヘッドフォンを介して再生される。
２ｃｈから５ｃｈへのアップミクス
図１７は、２ｃｈから５ｃｈへのアップミクスに基づくレンダリング部４５の一実施形態を示す。この伴奏ｓａｃｃ（ｎ）は、左側ステレオチャネルａｃｃ，Ｌ（ｎ）及び右側ステレオチャネルａｃｃ，Ｒ（ｎ）から成る。伴奏の左側ステレオチャネルａｃｃ，Ｌ（ｎ）及び右側ステレオチャネルａｃｃ，Ｒ（ｎ）は、前方左スピーカＳＫＰ１用の出力チャネルｓａｃｃ，ＳＰＫ１（ｎ）が得られるように、中央スピーカＳＫＰ２用の出力チャネルｓａｃｃ，ＳＰＫ２（ｎ）が得られるように、且つ右前方スピーカＳＫＰ３用の出力チャネルｓａｃｃ，ＳＰＫ３（ｎ）が得られるように、２ｃｈから３ｃｈへのアップミクス１７１によって処理される。前方チャネルを導入するのに、第４章の参考［１］の分離（unmix）及び再パンニング技術を用いてもよい。
この伴奏の左側ステレオチャネルａｃｃ，Ｌ（ｎ）及び右側ステレオチャネルａｃｃ，Ｒ（ｎ）は、主音・周囲音抽出（ＰＡＥ：Primary Ambient Extraction）４３によってさらに処理される。ＰＡＥ４３は、伴奏の左側ステレオチャネルａｃｃ，Ｌ（ｎ）及び右側ステレオチャネルａｃｃ，Ｒ（ｎ）から周囲音成分ｓａｍｂ，Ｌ（ｎ）及びｓａｍｂ，Ｒ（ｎ）を抽出するように構成される。この周囲音成分ｓａｍｂ，Ｌ（ｎ）は、オールパスフィルタＧＬ（ｚ）ｚ －Ｄによって処理され、周囲音成分ｓａｍｂ，Ｒ（ｎ）は、オールパスフィルタＧＲ（ｚ）ｚ －Ｄによって処理されることによって、第５章の参考［１］に記載されているように、前方チャネルにおける雰囲気成分からそれらを無相関関係にする。これによって、サイドの仮想画像の生成が最小化される。このフィルタ処理された周囲音成分ｓａｍｂ，Ｌ（ｎ）及びｓａｍｂ，Ｒ（ｎ）は、後方左側スピーカＳＰＫ４及び後方右側スピーカＳＰＫ５によって出力される。
位置決め及び向き情報の利用
図１８は、拡張ライブエフェクト処理（図４及び図５の参照符号４２）の一実施形態を概略的に示す。図８の実施形態に示したように、ライブエフェクト４１は、ライブ伴奏ｓａｃｃ＿ｌｉｖｅ（ｎ）が得られるように、伴奏ｓａｃｃ（ｎ）を処理する。この伴奏ｓａｃｃ（ｎ）は、伴奏ｓａｃｃ（ｎ）内の個別の音源（楽器）用の別個のトラックｓｉｎｓｔ，１（ｎ）～ｓｉｎｓｔ，Ｎ（ｎ）が得られるように、音源分離８１によって処理される。ライブパフォーマンス時にマイクが他の楽器の信号を取り込むことで起こるマイク「ブリード」の影響をエミュレートするように、マイク「ブリード」エミュレーション８２が個別のインストゥルメントトラックに適用される。結果として得られるインストゥルメントトラックｓｉｎｓｔ＿ｂｌｅｅｄ，１（ｎ）～ｓｉｎｓｔ＿ｂｌｅｅｄ，Ｎ（ｎ）は、ライブパフォーマンスにおいてしばしば楽器のタイミングが完璧には揃わないことを模倣するジッターエミュレーション８３によってさらに処理される。結果として得られるインストゥルメントトラックｓｉｎｓｔ＿ｊｉｔｔｅｒ，１（ｎ）～ｓｉｎｓｔ＿ｊｉｔｔｅｒ，Ｎ（ｎ）は、インストゥルメントトラックｓｉｎｓｔ＿ｂｌｅｅｄ，１（ｎ）～ｓｉｎｓｔ＿ｂｌｅｅｄ，Ｎ（ｎ）から立体音響伴奏ｓａｃｃ＿３Ｄ（ｎ）を生成する立体音響レンダリング部８９によって処理される。立体音響レンダリング部８９は、部屋におけるユーザの現在地に関する情報、又はいずれの方向にユーザが視線を向けている又は傾いているかに関する情報を用いてユーザを仮想ステージ上に配置する。部屋におけるユーザの現在地に関する情報、又はいずれの方向にユーザが視線を向けている又は傾いているかに関する情報を用いることによって、個別の楽器のレンダリングが影響を受ける場合がある。例えば、歌唱者（＝ユーザ）がギターを右側に抱えていると想定すると、当該ユーザが右方向を見ている又は右方向に傾いている場合、現実世界と同じようにギタートラックの振幅は増加する。これにより、当該ユーザが個別の楽器に干渉することもできるため、ユーザの体験は向上する。
立体音響レンダリング部８９によって取得される立体音響伴奏ｓａｃｃ＿３Ｄ（ｎ）は、本カラオケシステムの他の構成要素の適切な立体音響信号とミックスされてもよい。この場合、例えば、図７の観客合唱エミュレーションは、図１８のライブエフェクトで取得される立体音響伴奏ｓａｃｃ＿３Ｄ（ｎ）に匹敵する立体音響伴奏を生成するサラウンドリバーブを用いて適用されてもよい。同様に、好適な立体音響レンダリング部が、リバーブ経路（図４及び図５の参照符号４５）において適用されてもよい。この立体音響レンダリングは、例えば、バイノーラル技術（カラオケ出力がヘッドフォンによるものである場合）を用いて実現されてもよく、５．１ｃｈ又は７．１ｃｈアップミクス（カラオケ出力が５．１ｃｈ又は７．１ｃｈスピーカシステムによって行われる場合）によって実現されてもよい。
図１９は、図１８の立体音響レンダリング部８９によって実行される処理の一例を概略的に示す。本カラオケシステムのユーザ１９１は、屋内の或る位置にいて、或る特定の方向を向いている。ユーザ１９１の位置及び向き（視線又は傾き方向）は、例えば、ユーザに装着される角速度センサ及び加速度センサからの情報、室内環境用のＳＬＡＭ(Simultaneous Localization and Mapping)等の物体認識及びトラッキング技術又は他の技術によってカメラ画像から得られる情報等のセンサ情報から本カラオケシステムによって取得されてもよい。係るセンサは、例えば、ユーザが手に持つスマートフォン又はＭＰ３プレイヤーに一体化されてもよく、又は、ユーザが装着するスマートウォッチに一体化されてもよく、又は、ユーザが装着するヘッドフォン（視線方向の取得を可能にする）に一体化されてもよい。ユーザ１９１の向きは、例えば、視線検出技術又はヘッドトラッキング技術（例えば、ＳＬＡＭベース）によって取得されてもよい。上記各センサによって取得されるユーザ位置及び向きは、仮想ステージを画定する座標システム１９９におけるユーザ１９１の位置ｐｕ及び向きｄに変換される。同様に、ユーザの頭部のローカル座標システム１９８は、座標システム１９９を参照して画定される。本ユーザ座標システム１９８では、図１９に示されるように、ユーザの頭部の位置によって、座標システムの原点が画定され、頭部の向きによって、座標システムの一軸が画定される。楽器分離（図１８の参照符号８１）によって得られる各楽器は、仮想ステージ上のそれぞれの位置に属する。第１の楽器１９２、ここでは、例えば、サイドギターは、位置ｐ１に位置する。第２の楽器１９３、ここでは、例えば、リードギターは、位置ｐ２に位置する。第３の楽器１９４、ここでは、例えば、ドラムは、位置ｐ３に位置する。第４の楽器１９５、ここでは、例えば、ベースは、位置ｐ４に位置する。
なお、図面の簡素化のため、図１９は、仮想ステージ上のｘ，ｙ方向における各位置が二次元座標システム１９９によって表される二次元座標を示す（仮想ステージの俯瞰図）。実践的な実施態様では、立体音響レンダリング技術は、各サウンドオブジェクトの高さを第３の寸法（図１９には図示せず）としてカバーすることも可能である。
本例では、レンダリング部８９は、図２０に関してより詳細に以下で説明する仮想Monopole Synthesis等の立体音響レンダリング技術によって分離された楽器１９２～１９５を仮想音源（３Ｄオブジェクト）としてレンダリングするように構成される。図１９の例では、ユーザは、仮想ステージ上の楽器１９２～１９５から成るバンドの中心に位置し、観客１９６（例えば、図６の観客合唱エミュレーション４１及び／又は図１２（ａ）、図１２（ｂ）のサンプルデータベース４６によってエミュレートされる）の方を向いている。楽器１９２～１９５の配置ｐ１，ｐ２，ｐ３，ｐ４は、例えば、バンド内の楽器の所定の標準的な配置に基づくものであってもよい。例えば、標準的な配置に応じて、サイドギター１９２の位置ｐ１は仮想ステージの前方左側、リードギター１９３の位置ｐ２は仮想ステージの右前方側、ドラム１９４の位置ｐ３は仮想ステージの後方とし、ベース１９５の位置ｐ４も仮想ステージの後方とすることができる。代替的に、係る位置情報（静止又は動的）は、例えば、上記楽器毎の音声信号のパンニング、リバーブ、インターチャネルディレイ又はインターチャネルコヒーレンスを分析することによって、音声から抽出することもできる。
楽器１９２～１９５の配置ｐ１，ｐ２，ｐ３，ｐ４は、カラオケパフォーマンスの間ずっと静止しているか、バンドメンバーのリアルな動き（ドラムは静止、リードギターは動的である等）を模倣する所定の動きパターン又は動きモデリングに応じて動的であり得る。
音声レンダリングを実行する際、立体音響レンダリング部８９は、ユーザ１９１の位置ｐｕ及び向きｄを考慮する。例えば、音声レンダリングを実行する際、立体音響レンダリング部８９は、仮想ステージ上の各楽器１９２～１９５の位置ｐ１，ｐ２，ｐ３，ｐ４を、ユーザの頭部のローカル座標システム１９８に変換する。これらの仮想音源は、例えば、ユーザの頭部のローカル座標システム１９８におけるそれらの位置に応じてユーザが装着しているヘッドフォンに対するバイノーラル技術によって生成される。
立体音響レンダリング
図２０は、デジタル化されたMonopole Synthesisアルゴリズムに基づく立体音響レンダリング技術の一実施形態を提供する。このレンダリング技術は、例えば、図１８のレンダリング部８９又は図４及び図５のレンダリング部４５によって適用されてもよい。
このレンダリング技術の元となる理論は、本明細書に参照によって援用される米国特許出願第２０１６／００３７２８２号明細書においてより詳細に説明されている。
米国特許出願第２０１６／００３７２８２号明細書の各実施形態で実施される技術は、概念的に波面合成（ＷＦＳ：Wave Field Synthesis）に類似しており、画定された音場を生成するのに限られた数の防音エンクロージャーを用いる。但し、当該合成は、音場を正確にモデリングしようとするものではなく、最小二乗法に基づくものであるため、これらの実施形態の生成原理の基礎は特定のものである。
対象の音場は、画定された対象位置に配置された少なくとも１つの対象モノポールとしてモデリングされる。一実施形態では、対象の音場は、１つの対象モノポールとしてモデリングされる。他の実施形態では、対象の音場は、それぞれ画定された対象位置に配置される複数の対象モノポールとしてモデリングされる。対象モノポールの位置は、移動している可能性がある。例えば、対象モノポールは、減衰される雑音音源の動きに適合してもよい。複数の対象モノポールを対象の音場を表すのに用いる場合、以下に説明するように、画定された合成モノポールの集合に基づいて対象モノポールの音を合成する方法を対象モノポール毎に独立して適用してもよい。対象モノポール毎に取得される合成モノポールのそれぞれを足し合わせて対象の音場を再構成してもよい。
音源信号ｘ（ｎ）が、ｚ－ｎｐとして示す各遅延部と、各増幅部ａｐとに供給される。ここで、ｐ＝１，...，Ｎは、対象モノポール信号を合成するのに用いられる各合成モノポールの添え字である。本実施形態に係る各遅延部及び増幅部は、米国特許出願第２０１６／００３７２８２号明細書の式（１１７）を適用して、対象モノポール信号を合成するのに用いる信号ｙｐ（ｎ）＝ｓｐ（ｎ）を算出してもよい。当該信号ｓｐ（ｎ）は、増幅されてスピーカＳｐに供給される電力である。
このように、本実施形態では、音源信号が遅延及び増幅成分となった状態で合成が行われる。
本実施形態によれば、添え字ｐ付きの合成モノポールの遅延ｎｐは、対象モノポールｒｏ及び生成器ｒｐ。間のユークリッド距離ｒ＝Ｒｐ０＝｜ｒｐ－ｒｏ｜の音の伝播時間に対応している。フォーカスされる音源の合成のためには、これらの遅延は逆になる（ｎｐの負の値）。これによって、非因果システムとなるため、実践的には、これは、バッファされた解を用いることによって実現される。ここで、バッファサイズは、スピーカの領域内に音源を配置するのに必要とされる各遅延の想定範囲をカバーするように選択される。例えば、スピーカからフォーカス音源までの最大距離をＲｍａｘとすると、バッファサイズは、整数値Ｎｍａｘ＝Ｒｍａｘ／ｃ＊ｆｓとなる。ここで、ｃは、音の速度であり、ｆｓは、本システムのサンプリングレートである。
また、本実施形態によれば、増幅因子ａｐ＝ρｃ／Ｒｐ０は、距離ｒ＝Ｒｐ０に反比例する。
本システムの代替的な実施形態では、米国特許出願第２０１６／００３７２８２号明細書の式（１１８）に係る修正された増幅因子を用いることができる。
本システムの別の代替的な実施形態では、米国特許出願第２０１６／００３７２８２号明細書の図９に関して記載されるようなマッピング因子を用いて増幅を修正することができる。
実施態様
図２１は、上述したようにライブモード処理を用いるカラオケシステムを実施することができる電子機器の一実施形態を概略的に説明する。電子機器１２００は、プロセッサとしてＣＰＵ１２０１を具備する。電子機器１２００は、プロセッサ１２０１に接続される、マイク群１２１０、スピーカ群１２１１及び畳み込みニューラルネットワーク部（ＣＮＮ）１２２０をさらに具備する。このプロセッサ１２０１は、例えば、図４～図１７に関してより詳細に説明した上記各処理を実現するピッチシフター、フォルマントシフター、リバーブ、音源分離、ブリードエミュレーション、ジッターエミュレーション、又はイコライザを実施してもよい。ＤＮＮ１２２０は、例えば、人工ニューラルネットワークを実現するのに特化したニューラルネットワーク、又は、他の任意のハードウェア等の人工ニューラルネットワークとしてもよい。ＤＮＮ１２２０は、例えば、音源分離（図２の参照符号１２、図８の参照符号８１）又はダイナミックＥＱ（図１１（ｂ）の参照符号１１２）を実施してもよい。図２に関して説明したスピーカシステム１９等のスピーカ群１２１１は、所定の空間にわたって分散される１又は複数のスピーカから成り、３Ｄ音声等の任意の種類の音声をレンダリングするように構成される。電子機器１２００は、プロセッサ１２０１に接続されるユーザインタフェース１２１２をさらに具備する。ユーザインタフェース１２１２は、マンマシンインタフェースとして動作し、ユーザ及び電子システム間のダイアログを可能とする。例えば、ユーザは、このユーザインタフェース１２１２を用いて本システムに対して様々な構成を生成してもよい。電子機器１２００は、イーサネットインタフェース１２２１、Bluetoothインタフェース１２０４、及びＷＬＡＮインタフェース１２０５をさらに具備する。これらの各部１２０４及び１２０５は、外部装置とデータ通信するためのＩ／Ｏインタフェースとして動作する。例えば、イーサネット、ＷＬＡＮ又はBluetooth接続を用いる付加的なスピーカ、マイク、及びビデオカメラが、これらのインタフェース１２２１、１２０４、及び１２０５を介してプロセッサ１２０１に接続されてよい。電子機器１２００は、データ記憶部１２０２及びデータメモリ１２０３（ここでは、ＲＡＭ）をさらに具備する。データメモリ１２０３は、プロセッサ１２０１による処理のためのデータ又はコンピュータの指示を一時的に記憶する又はそれらのキャッシュを保存するように配置される。このデータ記憶部１２０２は、例えば、マイク群１２１０から取得され、ＤＮＮ１２２０に対して供給又は取得される記録センサデータ用の長期記憶部として配置される。このデータ記憶部１２０２は、音声サンプル（例えば、図１２（ａ）及び図１２（ｂ）のサンプルデータベース１４３）も記憶してもよい。
なお、上記説明は例示的な構成に過ぎない。付加的な又は他のセンサ、記憶装置、又はインタフェース等を用いて代替的な構成が実施されてもよい。
上記各実施形態は、例示的な順序の方法ステップで各方法を説明していることを理解されたい。なお、これらの方法ステップの特定の順序は、例示の目的でのみ示されており、拘束力と解釈されるべきではない。
なお、図２１の電子機器の各部への分割は、単に例示目的でなされたものであり、本開示は、特定の各部における任意の特定の機能分割に限定されない。例えば、当該回路の少なくともいくつかの部分は、それぞれプログラムされたプロセッサ、ＦＰＧＡ（Field Programmable Gate Array）、専用の回路等によって実現することが可能である。
本明細書に記載されると共に特許請求の範囲において請求される全ての各部及び実体は、特に明記されない限り、例えば、チップに搭載された集積回路ロジックとして実施することができ、係る各部及び実体によって得られる機能は、特に明記されない限り、ソフトウェアによって実施することができる。
本開示の上記各実施形態が少なくとも部分的にソフトウェア制御されるデータ処理装置を用いて実施される限り、係るソフトウェア制御及び伝達を行うコンピュータプログラム、係るコンピュータプログラムを提供する記憶部又は他の媒体が本開示の態様として想定されることを理解されたい。
なお、本技術は、以下のように構成することもできる。
（１） エンハンスされた伴奏信号（ｓａｃｃ＊（ｎ））が得られるように、ライブモード処理（１７）に応じて伴奏信号（ｓａｃｃ（ｎ））を処理するように構成される回路を具備する
電子機器。
（２） （１）に記載の電子機器であって、
前記ライブモード処理（１７）は、前記エンハンスされた伴奏信号（ｓａｃｃ＊（ｎ））の聴取者に対して、当該聴取者があたかもコンサートに参加しているかのような感覚を与えるように構成される
電子機器。
（３） （１）又は（２）に記載の電子機器であって、
前記ライブモード処理（１７）は、リバーブ信号（ｓａｍｂ＿ｒｅｖ（ｎ），ｓｈａｒｍ＿ｒｅｖ（ｎ））が得られるように、ルームシミュレータ（４４）によって前記伴奏信号（ｓａｃｃ（ｎ））を処理するように構成される
電子機器。
（４） （３）に記載の電子機器であって、
前記ライブモード処理（１７）は、レンダリングされたリバーブ信号（ｓａｍｂ＿ｒｅｖ，３Ｄ（ｎ），ｓｈａｒｍ＿ｒｅｖ，３Ｄ（ｎ））が得られるように、レンダリング部（４５）によって前記リバーブ信号（ｓａｍｂ＿ｒｅｖ（ｎ），ｓｈａｒｍ＿ｒｅｖ（ｎ））を処理するように構成される
電子機器。
（５） （４）に記載の電子機器であって、
前記レンダリング部（４５）は、立体音響レンダリング部（４５，４３，１７１）、バイノーラルレンダリング部（４５）、又はアップミキサ（４３，１７１）である
電子機器。
（６） （１）～（５）のいずれか一項に記載の電子機器であって、
前記ライブモード処理（１７）は、前記伴奏信号（ｓａｃｃ（ｎ））の周囲音成分（ｓａｍｂ（ｎ））又は調波音成分（ｓｈａｒｍ（ｎ））が得られるように、主音・周囲音抽出（ＰＡＥ：Primary Ambient Extraction）（４３）又は調波音・打楽器音分離（ＨＰＳＳ：Harmonic Percussion Source Separation）（４８）によって前記伴奏信号（ｓａｃｃ（ｎ））を処理するように構成される
電子機器。
（７） （６）に記載の電子機器であって、
前記ライブモード処理（１７）は、周囲音リバーブ（ｓａｍｂ＿ｒｅｖ（ｎ））又は調波音リバーブ（ｓｈａｒｍ＿ｒｅｖ（ｎ））が得られるように、ルームシミュレータ（４４）によって前記周囲音成分（ｓａｍｂ（ｎ））又は前記調波音成分（ｓｈａｒｍ（ｎ））を処理するように構成される
電子機器。
（８） （１）～（７）のいずれか一項に記載の電子機器であって、
前記ライブモード処理（１７）は、前記歌唱者の位置を表すライブモードパラメータ（SINGER LOCATION）及び／又はステージを表すライブモードパラメータ（VENUE）によって制御される
電子機器。
（９） （１）～（８）のいずれか一項に記載の電子機器であって、
前記ライブモード処理（１７）は、観客ボーカル信号（ｓｃｒｏｗｄ（ｎ））が得られるように、観客合唱エミュレーション（４１）によってボーカル信号（ｓｖｏｃａｌｓ（ｎ））を処理するように構成される
電子機器。
（１０） （１０）に記載の電子機器であって、
前記観客合唱エミュレーション（４１）は、複数のピッチ及び／又はフォルマントシフト部を含む
電子機器。
（１１） （１）に記載の電子機器であって、
前記ライブモード処理（１７）は、ライブ伴奏信号（ｓ＿（ａｃｃｌｉｖｅ）（ｎ））が得られるように、ライブエフェクト（４２）に基づいて前記伴奏信号（ｓａｃｃ（ｎ））を処理するように構成される
電子機器。
（１２） （１１）に記載の電子機器であって、
前記ライブエフェクト処理（４２）は、音源分離（８１）を含む
電子機器。
（１３） （１１）に記載の電子機器であって、
前記ライブエフェクト処理（４２）は、マイクブリードエミュレーション（８２）を含む
電子機器。
（１４） （１１）に記載の電子機器であって、
前記ライブエフェクト処理（４２）は、ジッターエミュレーション（８３）を含む
電子機器。
（１５） （１１）に記載の電子機器であって、
前記ライブエフェクト処理（４２）は、イコライジング（８５）を含む
電子機器。
（１６） （１）～（１５）のいずれか一項に記載の電子機器であって、
前記ライブモード処理（１７）は、サンプルデータベース（１４３）からサンプルを取得することを含む
電子機器。
（１７） （４）～（１６）のいずれか一項に記載の電子機器であって、
前記エンハンスされた伴奏信号（ｓａｃｃ＊（ｎ））をレンダリングする際に、屋内のユーザの現在地（ｐｕ）、及び／又は、前記ユーザが視線を向けている又は傾いている方向（ｄ）に関する情報を用いるように構成される
電子機器。
（１８） （１）～（１７）のいずれか一項に記載の電子機器であって、
前記エンハンスされた伴奏信号（ｓａｃｃ＊（ｎ））をユーザボーカル信号（ｓｕｓｅｒ（ｎ））と混合するように構成されるミキサ（１８）
をさらに具備する
電子機器。
（１９） （１２）～（１８）のいずれか一項に記載の電子機器であって、
前記ライブエフェクト処理（４２）は、音源分離（８１）によって得られる音源（ｓｉｎｓｔ＿ｊｉｔｔｅｒ，１（ｎ），...，ｓｉｎｓｔ＿ｊｉｔｔｅｒ，Ｎ（ｎ））をレンダリングするように構成されるレンダリング部（８９）を具備する
電子機器。
（２０） （１９）に記載の電子機器であって、
前記レンダリング部（８９）は、センサから情報を受け取り、当該センサ情報に基づいて、ユーザの現在地（ｐｕ）、及び／又は、前記ユーザが視線を向けている又は傾いている方向（ｄ）に関する情報を算出するように構成される
電子機器。
（２１） （２０）に記載の電子機器であって、
前記レンダリング部（８９）は、前記ユーザの前記現在地に関する前記情報、及び／又は、前記ユーザが視線を向けている又は傾いている前記方向に関する前記情報を用いるように構成される
電子機器。
（２２） エンハンスされた伴奏信号（ｓａｃｃ＊（ｎ））が得られるように、ライブモード処理（１７）に応じて伴奏信号（ｓａｃｃ（ｎ））を処理する
方法。
（２３） プロセッサによって実施されると当該プロセッサに請求項１９に記載の方法を実行させる指示を含む
コンピュータプログラム。

Claims (23)

  1. エンハンスされた伴奏信号（ｓａｃｃ＊（ｎ））が得られるように、ライブモード処理（１７）に応じて伴奏信号（ｓａｃｃ（ｎ））を処理するように構成される回路を具備する
    電子機器。
  2. 請求項１に記載の電子機器であって、
    前記ライブモード処理（１７）は、前記エンハンスされた伴奏信号（ｓａｃｃ＊（ｎ））の聴取者に対して、当該聴取者があたかもコンサートに参加しているかのような感覚を与えるように構成される
    電子機器。
  3. 請求項１に記載の電子機器であって、
    前記ライブモード処理（１７）は、リバーブ信号（ｓａｍｂ＿ｒｅｖ（ｎ），ｓｈａｒｍ＿ｒｅｖ（ｎ））が得られるように、ルームシミュレータ（４４）によって前記伴奏信号（ｓａｃｃ（ｎ））を処理するように構成される
    電子機器。
  4. 請求項３に記載の電子機器であって、
    前記ライブモード処理（１７）は、レンダリングされたリバーブ信号（ｓａｍｂ＿ｒｅｖ，３Ｄ（ｎ），ｓｈａｒｍ＿ｒｅｖ，３Ｄ（ｎ））が得られるように、レンダリング部（４５）によって前記リバーブ信号（ｓａｍｂ＿ｒｅｖ（ｎ），ｓｈａｒｍ＿ｒｅｖ（ｎ））を処理するように構成される
    電子機器。
  5. 請求項４に記載の電子機器であって、
    前記レンダリング部（４５）は、立体音響レンダリング部（４５，４３，１７１）、バイノーラルレンダリング部（４５）、又はアップミキサ（４３，１７１）である
    電子機器。
  6. 請求項１に記載の電子機器であって、
    前記ライブモード処理（１７）は、前記伴奏信号（ｓａｃｃ（ｎ））の周囲音成分（ｓａｍｂ（ｎ））又は調波音成分（ｓｈａｒｍ（ｎ））が得られるように、主音・周囲音抽出（ＰＡＥ：Primary Ambient Extraction）（４３）又は調波音・打楽器音分離（ＨＰＳＳ：Harmonic Percussion Source Separation）（４８）によって前記伴奏信号（ｓａｃｃ（ｎ））を処理するように構成される
    電子機器。
  7. 請求項６に記載の電子機器であって、
    前記ライブモード処理（１７）は、周囲音リバーブ（ｓａｍｂ＿ｒｅｖ（ｎ））又は調波音リバーブ（ｓｈａｒｍ＿ｒｅｖ（ｎ））が得られるように、ルームシミュレータ（４４）によって前記周囲音成分（ｓａｍｂ（ｎ））又は前記調波音成分（ｓｈａｒｍ（ｎ））を処理するように構成される
    電子機器。
  8. 請求項１に記載の電子機器であって、
    前記ライブモード処理（１７）は、前記歌唱者の位置を表すライブモードパラメータ（SINGER LOCATION）及び／又はステージを表すライブモードパラメータ（VENUE）によって制御される
    電子機器。
  9. 請求項１に記載の電子機器であって、
    前記ライブモード処理（１７）は、観客ボーカル信号（ｓｃｒｏｗｄ（ｎ））が得られるように、観客合唱エミュレーション（４１）によってボーカル信号（ｓｖｏｃａｌｓ（ｎ））を処理するように構成される
    電子機器。
  10. 請求項１０に記載の電子機器であって、
    前記観客合唱エミュレーション（４１）は、複数のピッチ及び／又はフォルマントシフト部を含む
    電子機器。
  11. 請求項１に記載の電子機器であって、
    前記ライブモード処理（１７）は、ライブ伴奏信号（ｓ＿（ａｃｃｌｉｖｅ）（ｎ））が得られるように、ライブエフェクト（４２）に基づいて前記伴奏信号（ｓａｃｃ（ｎ））を処理するように構成される
    電子機器。
  12. 請求項１１に記載の電子機器であって、
    前記ライブエフェクト処理（４２）は、音源分離（８１）を含む
    電子機器。
  13. 請求項１１に記載の電子機器であって、
    前記ライブエフェクト処理（４２）は、マイクブリードエミュレーション（８２）を含む
    電子機器。
  14. 請求項１１に記載の電子機器であって、
    前記ライブエフェクト処理（４２）は、ジッターエミュレーション（８３）を含む
    電子機器。
  15. 請求項１１に記載の電子機器であって、
    前記ライブエフェクト処理（４２）は、イコライジング（８５）を含む
    電子機器。
  16. 請求項１に記載の電子機器であって、
    前記ライブモード処理（１７）は、サンプルデータベース（１４３）からサンプルを取得することを含む
    電子機器。
  17. 請求項４に記載の電子機器であって、
    前記エンハンスされた伴奏信号（ｓａｃｃ＊（ｎ））をレンダリングする際に、屋内のユーザの現在地（ｐｕ）、及び／又は、前記ユーザが視線を向けている又は傾いている方向（ｄ）に関する情報を用いるように構成される
    電子機器。
  18. 請求項１に記載の電子機器であって、
    前記エンハンスされた伴奏信号（ｓａｃｃ＊（ｎ））をユーザボーカル信号（ｓｕｓｅｒ（ｎ））と混合するように構成されるミキサ（１８）
    をさらに具備する
    電子機器。
  19. 請求項１２に記載の電子機器であって、
    前記ライブエフェクト処理（４２）は、音源分離（８１）によって得られる音源（ｓｉｎｓｔ＿ｊｉｔｔｅｒ，１（ｎ），...，ｓｉｎｓｔ＿ｊｉｔｔｅｒ，Ｎ（ｎ））をレンダリングするように構成されるレンダリング部（８９）を具備する
    電子機器。
  20. 請求項１９に記載の電子機器であって、
    前記レンダリング部（８９）は、センサから情報を受け取り、当該センサ情報に基づいて、ユーザの現在地（ｐｕ）、及び／又は、前記ユーザが視線を向けている又は傾いている方向（ｄ）に関する情報を算出するように構成される
    電子機器。
  21. 請求項２０に記載の電子機器であって、
    前記レンダリング部（８９）は、前記ユーザの前記現在地に関する前記情報、及び／又は、前記ユーザが視線を向けている又は傾いている前記方向に関する前記情報を用いるように構成される
    電子機器。
  22. エンハンスされた伴奏信号（ｓａｃｃ＊（ｎ））が得られるように、ライブモード処理（１７）に応じて伴奏信号（ｓａｃｃ（ｎ））を処理する
    方法。
  23. プロセッサによって実施されると当該プロセッサに請求項１９に記載の方法を実行させる指示を含む
    コンピュータプログラム。
JP2023557335A 2021-03-26 2022-03-15 電子機器、方法及びコンピュータプログラム Pending JP2024512493A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP21165311 2021-03-26
EP21165311.8 2021-03-26
PCT/EP2022/056764 WO2022200136A1 (en) 2021-03-26 2022-03-15 Electronic device, method and computer program

Publications (1)

Publication Number Publication Date
JP2024512493A true JP2024512493A (ja) 2024-03-19

Family

ID=75252457

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023557335A Pending JP2024512493A (ja) 2021-03-26 2022-03-15 電子機器、方法及びコンピュータプログラム

Country Status (3)

Country Link
JP (1) JP2024512493A (ja)
CN (1) CN117043851A (ja)
WO (1) WO2022200136A1 (ja)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012170432A2 (en) * 2011-06-05 2012-12-13 Museami, Inc. Enhanced media recordings and playback
CA2843437A1 (en) * 2011-07-29 2013-02-28 Matt Serletic System and method for producing a more harmonious musical accompaniment and for applying a chain of effects to a musical composition
US9749769B2 (en) 2014-07-30 2017-08-29 Sony Corporation Method, device and system
KR101840015B1 (ko) * 2016-12-21 2018-04-26 서강대학교산학협력단 스테레오 음악신호를 위한 반주신호 추출방법 및 장치

Also Published As

Publication number Publication date
CN117043851A (zh) 2023-11-10
WO2022200136A1 (en) 2022-09-29

Similar Documents

Publication Publication Date Title
Emmerson et al. Electro-acoustic music
US6931134B1 (en) Multi-dimensional processor and multi-dimensional audio processor system
USRE44611E1 (en) System and method for integral transference of acoustical events
WO2019229199A1 (en) Adaptive remixing of audio content
EP1695335A1 (fr) Procede de synthese et de spatialisation sonores
Thery et al. Anechoic audio and 3D-video content database of small ensemble performances for virtual concerts
WO2022248729A1 (en) Stereophonic audio rearrangement based on decomposed tracks
Réveillac Musical sound effects: Analog and digital sound processing
WO2022014326A1 (ja) 信号処理装置および方法、並びにプログラム
Einbond et al. Instrumental Radiation Patterns as Models for Corpus-Based Spatial Sound Synthesis: Cosmologies for Piano and 3D Electronics
Brümmer Composition and perception in spatial audio
JP2024512493A (ja) 電子機器、方法及びコンピュータプログラム
CN114631142A (zh) 电子设备、方法和计算机程序
Gottfried Studies on the compositional use of space
Kim et al. A study on the implementation of immersive sound using multiple speaker systems according to the location of sound sources in live performance
Peters et al. Sound spatialization across disciplines using virtual microphone control (ViMiC)
US20230057082A1 (en) Electronic device, method and computer program
Munoz Space Time Exploration of Musical Instruments
d’Alessandro et al. The ORA project: Audio-visual live electronics and the pipe organ
Kraugerud Spaces of sound: Meanings of spatiality in recorded sound
WO2001063593A1 (en) A mode for band imitation, of a symphonic orchestra in particular, and the equipment for imitation utilising this mode
WO2007096792A1 (en) Device for and a method of processing audio data
Woszczyk et al. Creating mixtures: The application of auditory scene analysis (ASA) to audio recording
Lopes INSTRUMENT POSITION IN IMMERSIVE AUDIO: A STUDY ON GOOD PRACTICES AND COMPARISON WITH STEREO APPROACHES
Lopes Wallace: Composing Music for Variable Reverberation