JP7271695B2 - ハイブリッドスピーカ及びコンバータ - Google Patents

ハイブリッドスピーカ及びコンバータ Download PDF

Info

Publication number
JP7271695B2
JP7271695B2 JP2021549084A JP2021549084A JP7271695B2 JP 7271695 B2 JP7271695 B2 JP 7271695B2 JP 2021549084 A JP2021549084 A JP 2021549084A JP 2021549084 A JP2021549084 A JP 2021549084A JP 7271695 B2 JP7271695 B2 JP 7271695B2
Authority
JP
Japan
Prior art keywords
speaker
directional
audio
output
sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021549084A
Other languages
English (en)
Other versions
JP2022521244A (ja
Inventor
武夫 松川
ユ、ジェクォン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Publication of JP2022521244A publication Critical patent/JP2022521244A/ja
Priority to JP2023072055A priority Critical patent/JP2023093695A/ja
Application granted granted Critical
Publication of JP7271695B2 publication Critical patent/JP7271695B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/04Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03FAMPLIFIERS
    • H03F3/00Amplifiers with only discharge tubes or only semiconductor devices as amplifying elements
    • H03F3/181Low-frequency amplifiers, e.g. audio preamplifiers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/22Arrangements for obtaining desired frequency or directional characteristics for obtaining desired frequency characteristic only 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/323Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only for loudspeakers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R13/00Transducers having an acoustic diaphragm of magnetisable material directly co-acting with electromagnet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/12Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303Tracking of listener position or orientation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2217/00Details of magnetostrictive, piezoelectric, or electrostrictive transducers covered by H04R15/00 or H04R17/00 but not provided for in any of their subgroups
    • H04R2217/03Parametric transducers where sound is generated or captured by the acoustic demodulation of amplitude modulated ultrasonic waves

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Otolaryngology (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Power Engineering (AREA)
  • General Health & Medical Sciences (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Stereophonic System (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)

Description

関連出願の相互参照
本出願は、2019年2月19日に出願された「HYBRID SPEAKER AND CONVERTER」と題する米国特許出願第16/279,896号の継続出願であり、その利益を主張するものであり、その内容全体及び開示は参照により本明細書に完全に組み込まれるものとする。
本発明は、概してオーディオ処理に関し、より具体的には指向性スピーカ用のオーディオ信号の生成に関する。
ラウドスピーカ(またはスピーカ)は、電気オーディオ信号を対応する音に変換する電気音響変換器である。例えば、従来のダイナミックコーンスピーカでは、永久磁石の極の間の環状ギャップに電線コイルが懸架される。交流電気オーディオ信号が印加されると、ファラデーの電磁誘導の法則によりコイルは前後に急速に移動し、これによりコイルに取り付けられた振動版が前後に移動し、空気を押して振動版の周りに音波を分散させる。
一実施形態は、システムを提供し、システムは、ソースオーディオを受信するように構成されたオーディオ入力と、少なくとも2つの無指向性スピーカ及び指向性スピーカを備えたハイブリッドスピーカに接続するように構成されたオーディオ出力と、ソースオーディオ内の特定の音を識別することと、ソースオーディオから特定の音を分離することと、特定の音に基づいてハイブリッドスピーカの指向性スピーカ用の指向性スピーカ出力を生成することと、ハイブリッドスピーカの少なくとも2つの無指向性スピーカ用の無指向性スピーカ出力の少なくとも2つのチャネルを生成することと、により、ソースオーディオに基づいてハイブリッドスピーカの出力オーディオを生成するように構成されたプロセッサと、を備える。
別の実施形態は、方法を提供し、方法は、プロセッサにより、ソースオーディオ内の特定の音を識別することと、ソースオーディオから特定の音を分離することと、特定の音に基づいてハイブリッドスピーカの指向性スピーカ用の指向性スピーカ出力を生成することと、ハイブリッドスピーカの少なくとも2つの無指向性スピーカ用の無指向性スピーカ出力の少なくとも2つのチャネルを生成することと、を含む。
別の実施形態は、オーディオスピーカ装置を提供し、オーディオスピーカ装置は、スピーカ筐体と、スピーカ筐体内に収納された左無指向性スピーカ及び右無指向性スピーカと、左無指向性スピーカと右無指向性スピーカとの間に配置され、スピーカ筐体内に収納された指向性スピーカと、を備える。
本発明の実施形態の原理が利用された例示的実施形態を示す下記の詳細説明及び添付図面を参照することにより、本発明の様々な実施形態の特徴及び利点がよりよく理解されよう。
本発明の実施形態の上記及び他の態様、特徴、及び利点は、以下の図面と合わせて示される下記のこれらのより具体的な説明から、より明らかとなるであろう。
本発明のいくつかの実施形態による、ハイブリッドスピーカを駆動するためのシステムを示すブロック図である。 本発明のいくつかの実施形態による、ハイブリッドスピーカ用にオーディオを変換するためのシステムを示すブロック図である。 本発明のいくつかの実施形態による、ハイブリッドスピーカ用にソースオーディオを変換するための方法を示すフロー図である。 A及びBは、本発明のいくつかの実施形態による、複数のパネルを有する指向性スピーカを示す。
指向性スピーカは、通常、従来のスピーカより広がりの少ない音場を作り出すデバイスを指す。いくつかの実施形態では、指向性スピーカには、超音波から音を生成するパラメトリックアレイスピーカが含まれ得る。指向性スピーカデバイスは、可聴音を高周波数超音波に変調することにより、高い指向性を達成する。高周波数音波は、波長が短いことから急速に広がらず、よって、従来の無指向性ラウドスピーカより高い指向性が得られる。
本明細書で説明されるいくつかの実施形態では、指向性スピーカを1つ以上の従来の無指向性スピーカと組み合わせて、臨場感のある音がシミュレートされ、及び/または部屋にいる特定のユーザ(複数可)に対し選択音が選択的に投射される。いくつかの実施形態では、指向性スピーカと無指向性スピーカを同じ筐体に収納して、ハイブリッドサウンドバーが提供され得る。いくつかの実施形態では、従来のオーディオファイル及び/またはストリームを、ハイブリッドスピーカを駆動する信号に変換するコンバータが提供される。コンバータは、指向性スピーカにより再生される特定の音を識別して分離し、スピーカアセンブリ内の指向性スピーカ及び無指向性スピーカ用の出力を生成するように構成され得る。
最初に図1を参照すると、ハイブリッドスピーカを駆動するためのシステムが示される。システムは、オーディオソース110と、オーディオコンバータ120と、ユーザ130用の音を生成するハイブリッドスピーカアセンブリ100とを備える。
オーディオソース110は、通常、1つ以上のスピーカで再生する音を出力するデバイスを指す。いくつかの実施形態では、オーディオソース110には、テレビ、ケーブルボックス、メディアプレーヤ、ハードドライブ、メディアストレージデバイス、ホームエンターテインメントシステム、コンピュータ、ゲームコンソール、及びモバイルデバイスなどの再生デバイスが含まれ得る。オーディオソース110は、モノラルサウンド、ステレオサウンド、及び/またはサラウンドサウンドを出力し得る。いくつかの実施形態では、オーディオソース110は、1つ以上の無指向性オーディオチャネルを出力し得る。いくつかの実施形態では、オーディオソース110は、2つのチャネル(例えば左/右ステレオサウンド)、3つのチャネル(例えば中央、左、及び右)、6つのチャネル(例えば5.1サラウンド)、8つのチャネル(例えば7.1サラウンド)などのように、任意の数のオーディオチャネルを出力し得る。
オーディオコンバータ120は、オーディオソース110からのオーディオ信号を、ハイブリッドスピーカアセンブリ100の指向性スピーカ及び無指向性スピーカを駆動するように構成された信号に変換するように構成されたデバイスを備える。いくつかの実施形態では、オーディオコンバータ120は、1つ以上の従来のオーディオチャネルを受け取り、指向性スピーカ103用の少なくとも1つの出力チャネルを生成するように構成される。いくつかの実施形態では、オーディオコンバータ120は、ソースオーディオ内の特定の音を識別し、ソースオーディオから特定の音を分離し、特定の音に基づいてハイブリッドスピーカの指向性スピーカ用の指向性スピーカ出力を生成し、ハイブリッドスピーカの少なくとも2つの無指向性スピーカ用の無指向性スピーカ出力の少なくとも2つのチャネルを生成するように構成される、プロセッサを備える。いくつかの実施形態では、オーディオコンバータ120はさらに、ソースオーディオ内の特定の音を識別するためのサウンドデータベースを備え得る。いくつかの実施形態では、サウンドデータベースは、クラウドデータベースを備え得、クラウドデータベースは、複数のオーディオコンバータ120間で共有され、ホームネットワーク及び/またはインターネットなどのネットワークを介して通信するように構成されたオーディオコンバータ120上のネットワークアダプタを介してアクセス可能である。いくつかの実施形態では、オーディオコンバータ120は、サウンドデータベースに格納された成長及び進化するサウンド学習セットに基づいて、特定の音を識別するための機械学習アルゴリズムを実行するように構成され得る。オーディオコンバータ120のさらなる詳細は、本明細書の図2及び図3を参照して提供される。
ハイブリッドスピーカアセンブリ100は、通常、少なくとも1つの指向性スピーカと、1つ以上の無指向性スピーカとを備えたスピーカデバイスを指す。図1に示される実施形態では、ハイブリッドスピーカは、スピーカ筐体内に収納された左無指向性スピーカ及び右無指向性スピーカ、並びに左無指向性スピーカと右無指向性スピーカとの間に配置された指向性スピーカとを備える。いくつかの実施形態では、ハイブリッドスピーカアセンブリ100は、サウンドバーのフォームファクタを含み得る。いくつかの実施形態では、ハイブリッドスピーカアセンブリ100は、2つ以上の別個に移動可能な筐体を含み得る。
左スピーカ101及び右スピーカ102には、無指向性スピーカが含まれる。無指向性スピーカは、通常、広がりが大きく、指向性の低い従来のスピーカを指す。例えば、無指向性スピーカが生成する音は、通常、スピーカに対し任意の方向に位置するリスナーには、同様に聞こえ得る。いくつかの実施形態では、左スピーカ101及び右スピーカ102は、ボイスコイルを抑制する可撓性サスペンションを介してフレームに結合された振動版を有するダイナミックラウドスピーカを備え得る。いくつかの実施形態では、左スピーカ101及び右スピーカ102は、従来のサウンドバーのスピーカ要素と同様のスピーカ要素を備え得る。いくつかの実施形態では、ハイブリッドスピーカアセンブリ100は、センタースピーカ、及びサブウーファーなどの追加の無指向性スピーカを備え得る。
指向性スピーカ103は、通常、広がりが狭く、指向性の高いスピーカデバイスを指す。通常、指向性スピーカが投射する音は、スピーカに対し特定の方向においてのみ聞こえる。いくつかの実施形態では、指向性スピーカ103は、可聴音波を非可聴高周波波形(例えば超音波)で伝達するように構成され得る。いくつかの実施形態では、指向性スピーカ103には、超音波から音を生成するパラメトリックアレイスピーカが含まれ得る。
いくつかの実施形態では、指向性スピーカ103は、複数の固定パネルを備え得る。例えば、指向性スピーカ103は、相対的に角度が付けられた2つ以上の固定パラメトリックアレイパネルを備え得る。2パネル指向性スピーカ構成の例が図4Aに示され、3パネル指向性スピーカ構成の例が図4Bに示される。指向性スピーカ103のパネルは、指向性スピーカ103の全体的な投射方向に作用するように、個別に制御され得る。例えば、各パネルの出力を変調して、指向性スピーカ103の投射方向を投射領域内の複数の角度にわたりスイープさせて、異なる目的方向に選択的に音が発信され得る。いくつかの実施形態では、スイープは、人間の耳により認識可能な速度で実行され得る。いくつかの実施形態では、速度スイープは、0.01Hz~10Hz、またはこれより速くあり得る。
異なるパネルの出力を変調することで制御される投射角度を使用して、離れて座っている2人以上のリスナーに個別に音を発信すること、及び/またはリスナーの左耳及び右耳に異なる音を投射して疑似サラウンドサウンド効果を作り出すこともできる。いくつかの実施形態では、指向性スピーカ103の各パネルは、オーディオコンバータ120から出力される別個のオーディオストリームにより駆動され得る。いくつかの実施形態では、ハイブリッドスピーカアセンブリ100及び/またはオーディオコンバータ120は、オーディオ及び投射方向データを、指向性スピーカ103の各パネル用のオーディオ出力に変換するように構成され得る。例えば、左/右から右/左に信号をスイープすることで効果音を提供するために、音変調は音信号を、位相シフト及び/または振幅制御を使用して動的かつ経時的に処理し得る。
いくつかの実施形態では、指向性スピーカ103は、指向性スピーカ103を物理的に回転させてスピーカの投射方向を制御するように構成された機械式ロータを備え得る。例えば、ロータは、ユーザに向けて音を発信するために、パラメトリックアレイをユーザ130に向けて回転させ得る。いくつかの実施形態では、ロータは、投射領域にわたり指向性スピーカ103の投射方向をスイープし得、指向性スピーカ103は、回転中に目的角度でのみ音を生成し得、これにより、単一の指向性スピーカは、複数の離散的方向または連続的方向に音を投射するように知覚され得る。例えば、指向性スピーカ103は、出力オーディオのタイミングを回転に合わせることにより、部屋で離れて座っている異なるリスナーに異なる音を発信することができる。別の例では、指向性スピーカ103は、サラウンドサウンドまたは臨場感のある音をシミュレートするために、ユーザの左耳及び右耳に異なる音を発信することができる。いくつかの実施形態では、指向性スピーカ103は、オーディオの1つ以上の時間部分に関連付けられたオーディオ及び投射方向データを含む信号により駆動され、ロータは、オーディオ信号に関連付けられた投射方向データにより制御され得る。
ハイブリッドスピーカアセンブリ100には1つだけの指向性スピーカ103が示されているが、いくつかの実施形態では、ハイブリッドスピーカアセンブリ100は、異なる入力により駆動される複数の指向性スピーカ103を備え得る。例えば、ハイブリッドスピーカは、別個のロータに取り付けられた2つ以上のパラメトリックアレイ及び/または複数のパラメトリックアレイパネルセットを備え得る。オーディオコンバータ120は、ハイブリッドスピーカアセンブリ100とは別個に示されているが、いくつかの実施形態では、オーディオコンバータ120は、1つの物理デバイスとしてハイブリッドスピーカアセンブリ100の筐体内に統合され得る。いくつかの実施形態では、オーディオコンバータ120は、ハイブリッドスピーカアセンブリ100のローカルに存在し、並びに/あるいはクラウドベース及び/またはサーバベースのコンバータを備え得る。いくつかの実施形態では、オーディオコンバータ120は、ホームエンターテインメントコンソール、ゲームコンソール、及びコンピュータシステムなどのオーディオソース110と統合され得る。オーディオソース110は、オーディオフォーマット(例えば従来のオーディオまたはハイブリッドスピーカ対応のオーディオフォーマット)及び/またはオーディオソース110に接続されたスピーカデバイス(例えば従来のスピーカまたはハイブリッドスピーカ)に基づいて、オーディオコンバータ120と選択的に連動し得る。
図1に示されるシステムでは、従来のオーディオソース110は、オーディオコンバータ120を介して、指向性スピーカ103を備えたハイブリッドスピーカアセンブリ100を駆動するための信号に変換され得る。シングルユーザ130の場合、指向性スピーカ103は、ユーザの左側及び右側に異なる音を発信し、これらは従来のスピーカからの出力と混合され、サラウンドサウンド効果及び/または臨場感のある効果音がシミュレートされ得る。いくつかの実施形態では、従来のスピーカは全てのリスナーに聞こえる音を生成するが、指向性スピーカ103は、投射領域内の特定のリスナー(複数可)のみが聞こえる音を投射するように構成され得る。例えば、マルチプレーヤゲームでは、異なるプレーヤに異なる特定の音(例えば声による指示、ステータスアラート、警告など)が投射され得、一方、周囲音またはバックグラウンドミュージックは、無指向性スピーカを介して再生され得る。
いくつかの実施形態では、ハイブリッドスピーカアセンブリ100は、オーディオコンバータ120なしで使用され得る。いくつかの実施形態では、オーディオソース110は、指向性及び無指向性スピーカ信号を含む、ハイブリッドスピーカアセンブリ100用に構成されたオーディオを出力することができ、オーディオコンバータ120は省略され得る。例えば、ハイブリッドスピーカ互換ゲームコンソールは、選択サウンドファイル(例えば声による指示、ステータスアラート、警告)を指向性スピーカチャネルを介して出力し、残りのサウンドファイル(例えばバックグラウンドミュージック)を1つ以上の無指向性スピーカチャネルを介してそのオーディオ出力で出力し得る。別の例では、事前に記録されたオーディオ(例えば映画、音楽など)は、少なくとも1つの指向性オーディオチャネルで記録され得、ハイブリッドスピーカにより変換なしで直接使用することができる。
次に図2を参照すると、ハイブリッドスピーカが使用できるようにオーディオソースを変換するためのシステムが示される。オーディオコンバータ200は、通常、オーディオソース210から信号を受け取り、信号をハイブリッドスピーカアセンブリ220の無指向性スピーカ221及び指向性スピーカ222に出力するように構成される。いくつかの実施形態では、オーディオソース210、オーディオコンバータ200、及びハイブリッドスピーカアセンブリ220は、本明細書の図1を参照して説明されたオーディオソース110、オーディオコンバータ120、及びハイブリッドスピーカアセンブリ100を含み得る。
オーディオコンバータ200は、オーディオ入力201と、識別モジュール202と、サウンドデータベース203と、サウンドフィルタ204と、無指向性スピーカ出力205と、投射方向モジュール206と、指向性スピーカ出力208とを備える。
オーディオ入力201は、通常、オーディオソース210からアナログまたはデジタルのオーディオ信号を受信するように構成される。オーディオ入力201は、オーディオコネクタ、オーディオ/ビデオコネクタ、HDMI(登録商標)コネクタ、USBコネクタ、Bluetooth(登録商標)トランシーバ、及び無線HDMI(登録商標)トランシーバなどの有線及び/または無線コネクタを備え得る。いくつかの実施形態では、オーディオ入力201は、処理用回路の残りの部分に、入力信号をフィルタリング、変換、及び/またはブーストするための他の構成要素をさらに含み得る。
識別モジュール202は、通常、指向性スピーカを介して再生する入力オーディオ内で特定の音を識別するように構成される。識別モジュール202は、プロセッサ、制御回路、特定用途向け集積回路(ASIC)、及び/または1つ以上のデジタルまたはアナログオーディオフィルタ構成要素上に実装され得る。いくつかの実施形態では、特定の音は、ソースオーディオを、サウンドデータベース203内のサウンドクリップ及び/またはサウンドプロファイルと比較することにより識別される。例えば、サウンドデータベース203は、指向性スピーカを介した再生に好適な複数の種類の音に関連付けられたサウンドクリップ及び/またはサウンドプロファイル(例えば周波数スペクトル特性、周波数分布、周波数または振幅の経時的変化など)を含み得る。このような音の例には、車の音、鳥のさえずり、弾道発射体の音、人間の発話、アラート、及び警告音などが挙げられ得る。いくつかの実施形態では、識別モジュール202は、畳み込みニューラルネットワーク(CNN)、リカレントニューラルネットワーク(RNN)、及び/または敵対的生成ネットワーク(GAN)を利用するオーディオイベント検出アルゴリズムを備え得、これは、サウンドデータベース203内の音を学習セットとして使用する機械学習を介して、特定の音を識別する。いくつかの実施形態では、機械学習アルゴリズムへのフィードバックとして、リスナー応答が使用され得る。いくつかの実施形態では、機械学習に使用される他の種類のフィードバックには、カメラ入力、顔検出/追跡、及び/または物体検出/追跡が含まれ得る。いくつかの実施形態では、ユーザ及び環境フィードバックは、方向及び音量制御に使用され得る。いくつかの実施形態では、特定の音は、周波数、振幅、及び/または持続時間に基づいて識別され得る。例えば、音識別モジュール202は、指向性スピーカを介して再生する特定の音として、高周波数で短い持続時間の音を検出するように構成され得る。いくつかの実施形態では、特定の音は、音の周波数と、ソースオーディオの2つ以上のチャネル間の振幅差とのうちの少なくとも1つに基づいて、識別され得る。例えば、左または右のスピーカチャネル間でサウンドストリーム内の音がより大きい場合(例えば両耳間強度差(IID)または時間遅延がある(例えば両耳間時間差(ITD)がある)場合)、識別モジュールは、指向性スピーカで再生する重要なIIDまたはITDに関連付けられた音を識別し得る。いくつかの実施形態では、音は、最初にIID及び/またはITDに基づいて識別され、サウンドデータベース203に追加され得る。次に、識別モジュール202は、サウンドデータベース203内のサウンドサンプルを使用して、重要なIID及び/またはITDを有し得ないソースオーディオ内の類似音を識別し得る。
いくつかの実施形態では、サウンドデータベース203には、オーディオクリップ及び/またはサウンドプロファイルを格納するローカル及び/またはネットワークベースのデータベースが含まれ得る。いくつかの実施形態では、サウンドデータベース203は、異なるユーザ及び異なる空間に関連付けられた複数のオーディオコンバータ200間で共有される中央サービスにより維持され得る。いくつかの実施形態では、サウンドデータベース203は、敵対的生成ネットワーク(GAN)などの機械学習アルゴリズムにより、複数のオーディオコンバータで受信されたオーディオ及びフィードバックを使用して更新され、余分な部分が除去され得る。いくつかの実施形態では、オーディオコンバータ200は、ネットワークベースのサウンドデータベース203と通信するためのネットワークインターフェース(例えばネットワークアダプタ、無線トランシーバなど)を備え得る。いくつかの実施形態では、識別モジュール202及びサウンドフィルタ204の機能の少なくとも一部は、ネットワークインターフェースを介してリモートサーバにより実行され得る。
サウンドフィルタ204は、識別モジュール202により識別された特定の音を、オーディオソース210内の他の音から分離するように構成される。いくつかの実施形態では、サウンドフィルタ204は、時間フィルタリング、振幅フィルタリング、及び/または高、低、もしくは帯域フィルタリングなどの周波数フィルタリングを使用して、音を分離し得る。いくつかの実施形態では、サウンドフィルタ204は、オーディオソース210の異なるチャネル間の差を使用して、特定の音を分離し得る。例えば、入力オーディオストリームのチャネル間で高度なITDまたはIIDが検出された場合、1つのチャネルを使用して、減算またはマスキングにより別のチャネル内の特定の音が分離され得る。いくつかの実施形態では、フィルタリングは特定の音の分離を近似するだけであり得るが、指向性スピーカからの音は再生中に無指向性スピーカからの音と混合されるため、不完全な分離でもユーザ体験に大きな影響を与え得ない。いくつかの実施形態では、特定の音に一致するサウンドデータベース203からの音を使用して、音のフィルタリング及び/または特定の音の再現が行われ得る。次に、サウンドフィルタ204は、入力オーディオから分離された特定の音を、投射方向モジュール206及び指向性スピーカ出力208に提供する。サウンドフィルタ204は、さらに、ソースオーディオの1つ以上のチャネルから特定の音を差し引き、修正された無指向性オーディオ信号をハイブリッドスピーカの無指向性スピーカ221(複数可)に出力し得る。いくつかの実施形態では、ソースオーディオは、修正なしに無指向性スピーカ221に提供され得る。
無指向性スピーカ出力205は、通常、ハイブリッドスピーカアセンブリ220に接続し、無指向性スピーカ221(複数可)で再生するオーディオ信号を提供するように構成される。いくつかの実施形態では、無指向性スピーカ出力205は、オーディオコネクタ、オーディオ/ビデオコネクタ、HDMI(登録商標)コネクタ、USBコネクタ、Bluetooth(登録商標)トランシーバ、及び無線HDMI(登録商標)トランシーバなどの有線及び/または無線コネクタを備え得る。いくつかの実施形態では、無指向性スピーカ出力205はさらに、増幅器、及びデジタル‐アナログコンバータなどのスピーカに信号を提供する他の構成要素を備え得る。いくつかの実施形態では、無指向性スピーカ出力205は、ハイブリッドスピーカアセンブリ220の無指向性スピーカ(例えば右スピーカ、左スピーカ)にそれぞれ対応する複数のチャネルを、単一のワイヤ、複数のワイヤ、または無線接続を介して出力し得る。
投射方向モジュール206は、指向性スピーカ222への出力に関連する投射方向を決定するように構成される。いくつかの実施形態では、投射方向モジュール206は、ユーザ位置と、ソースオーディオの2つ以上のチャネル間の時間遅延差及び/または振幅差とのうちの1つ以上に基づいて、投射方向を決定する。いくつかの実施形態では、投射方向は、ハイブリッドスピーカアセンブリ220上及び/またはオーディオコンバータ200上のユーザセンサ224により検出されたユーザの位置に基づいて決定され得、これにより、指向性スピーカは、1人以上のユーザに向けて特定の音を投射する。いくつかの実施形態では、ユーザ位置及び/または投射領域は、スピーカ較正プロセスを通して決定され得る。いくつかの実施形態では、投射方向モジュール206は、ソースオーディオの2つ以上のチャネルにおける特定の音の振幅差(例えば音量差)(IID)、及び/またはソースオーディオの2つ以上のチャネル間の特定の音の時間遅延差(ITD)に基づいて決定され得る。例えば、特定の音が左チャネルで著しく大きい場合、指向性スピーカ222の投射方向は、左へと角度付けられ得る。別の例では、特定の音の振幅及びタイミングが両チャネルで実質的に同じである場合、指向性スピーカ222の投射方向は、中心へと向けられ得る。いくつかの実施形態では、投射方向モジュール206は、指向性スピーカ222により出力される2Dサウンドスケープを決定し、指向性スピーカ222が2Dサウンドスケープの投射領域を通してスイープする時に各角度で出力される音を決定し得る。いくつかの実施形態では、指向性スピーカ222は、固定パターンでサウンドスケープ空間を通してスイープするように構成され得、投射方向モジュール206は、オーディオ信号出力のタイミングを指向性スピーカ222のスイープ位置に設定して2Dサウンドスケープを出力するように構成される。いくつかの実施形態では、光学センサを使用してユーザの位置が検出され得、ユーザ検出/追跡情報を使用して投射方向が決定され得る。いくつかの実施形態では、ユーザ位置は、較正プロセスを通して決定され得、及び/またはユーザにより手動で調整され得る。
指向性スピーカ出力208は、通常、ハイブリッドスピーカに接続し、ハイブリッドスピーカアセンブリ220の指向性スピーカ222(複数可)で再生する信号を提供するように構成される。いくつかの実施形態では、指向性スピーカ出力208は、オーディオコネクタ、オーディオ/ビデオコネクタ、HDMI(登録商標)コネクタ、USBコネクタ、Bluetooth(登録商標)トランシーバ、及び無線HDMI(登録商標)トランシーバなどの有線及び/または無線コネクタを備え得る。いくつかの実施形態では、指向性スピーカ入力201はさらに、増幅器、及びデジタル‐アナログコンバータなどのスピーカに信号を提供する他の構成要素を備え得る。いくつかの実施形態では、出力信号は、指向性スピーカ222のスイープに同期されたオーディオ信号を含み得る。いくつかの実施形態では、出力信号は、オーディオストリームの時間部分にそれぞれ関連付けられた1つ以上の投射角度を含み得る。例えば、オーディオ出力は、最初の2ナノ秒のオーディオを35度で投射し、次の3ナノ秒のオーディオを50度で投射することを指定し得る。いくつかの実施形態では、出力信号は、オーディオストリームと、オーディオストリームにタイミングを合わせた指向性スピーカ動作命令とを含み得る。例えば、指向性スピーカ動作命令は、スイープの速度、スイープの範囲などを指定し得る。いくつかの実施形態では、機械式ロータを備えた指向性スピーカ222の場合、オーディオコンバータは、オーディオストリームとは別個にロータ制御信号を出力し得る。いくつかの実施形態では、複数の固定パネルを備えた指向性スピーカ222の場合、出力信号は、指向性スピーカ222のパネルのそれぞれで出力される個別のオーディオチャネルを含み得、これは、指向性スピーカ222の投射方向を制御するように変調される。いくつかの実施形態では、出力信号は、指向性スピーカ222により再生される2Dサウンドスケープを含み得、ハイブリッドスピーカアセンブリ220は、指向性スピーカ222の投射方向及びオーディオ出力を制御して、2Dサウンドスケープを再現するように構成されたプロセッサを備え得る。
いくつかの実施形態では、無指向性スピーカ出力205及び指向性スピーカ出力208からの出力は、各スピーカデバイスの音がリスナーに到達する時に、無指向性スピーカ221及び指向性スピーカ222からの出力が同期され混合されるように、タイミングが設定される。いくつかの実施形態では、サウンドデータベース203を使用して無指向性スピーカ221及び指向性スピーカ222からの出力を選択的に混合及び同期するように、GANなどの機械学習が適用され得る。
いくつかの実施形態では、本明細書で説明される投射方向モジュール206の1つ以上の機能は、代わりにハイブリッドスピーカアセンブリ220により実行され得る。例えば、指向性スピーカ222がユーザ位置にのみ基づいて特定の音を投射するように構成される実施形態では、指向性スピーカ出力208は、特定の音の出力のみ行い得、ハイブリッドスピーカアセンブリ220が、ユーザセンサ224により検出されたユーザ位置に基づいて投射方向を決定し得る。このような事例では、ユーザセンサ224はオーディオコンバータ200にユーザ位置情報を提供し得ず、オーディオコンバータ200上の投射方向モジュール206は省略され得る。
ユーザセンサ224は、通常、指向性スピーカの近くの1人以上のリスナーの位置を検出するように構成される。いくつかの実施形態では、ユーザセンサ224には、光センサ、マイクロフォン、音波センサ、超音波センサ、及び熱センサなどが含まれ得る。いくつかの実施形態では、ユーザ位置は、指向性スピーカにより生成された音の音反射を検出することにより、特定され得る。例えば、指向性スピーカ222は、指向性音で投射領域をスイープし得、マイクロフォンを備えたユーザセンサ224は、各角度での音反射のタイミングを測定して、ユーザ(複数可)の存在及び/または位置を特定し得る。
いくつかの実施形態では、オーディオコンバータ200とハイブリッドスピーカアセンブリ220との間の接続は、複数の矢印で示されるが、これには単一の有線接続または無線接続が含まれ得る。いくつかの実施形態では、オーディオコンバータ200及びハイブリッドスピーカアセンブリ220は、単一の筐体に収納された統合デバイスであり得る。いくつかの実施形態では、オーディオコンバータ200は、オーディオフォーマット及び/またはスピーカの種類に基づいてオーディオコンバータと選択的に連動するオーディオソース210と統合され得る。
次に図3を参照すると、ハイブリッドスピーカ用にオーディオを変換する方法の例が示される。いくつかの実施形態では、図3に示されるステップは、オーディオコンバータ、ハイブリッドスピーカコントローラ、コンピュータシステム、及びサーバのうちの1つ以上により実行され得る。いくつかの実施形態では、図3に示される1つ以上のステップは、本明細書において図1を参照して説明されたオーディオコンバータ120及び/またはハイブリッドスピーカアセンブリ100により、並びに/あるいは図2を参照して説明されたオーディオコンバータ200及び/またはハイブリッドスピーカアセンブリ220により、実行され得る。通常、図3のステップは、制御回路と、コンピュータ実行可能命令の集合を格納するメモリとを備えた1つ以上のプロセッサベースデバイスにより、実行され得る。
ステップ301にて、システムは、オーディオソース310から提供されるオーディオ内の特定の音を識別する。特定の音は、通常、指向性スピーカを介して再生するために選択された音を指す。いくつかの実施形態では、特定の音は、ソースオーディオを、サウンドデータベース312内の音及び/またはサウンドプロファイルと比較することにより識別される。いくつかの実施形態では、特定の音は、サウンドデータベース312を学習セットとして使用する機械学習アルゴリズム311を介して識別される。いくつかの実施形態では、機械学習アルゴリズム311は、敵対的生成ネットワーク(GAN)を含み得る。いくつかの実施形態では、特定の音は、音の周波数、トーン、及び振幅のうちの1つ以上に基づいて識別される。いくつかの実施形態では、サウンドデータベース312は、指向性スピーカを介した再生に好適な複数の種類の音に関連付けられたサウンドクリップ及び/またはサウンドプロファイル(例えば周波数スペクトル特性、周波数分布、周波数または振幅の経時的変化など)を含み得る。このような音の例には、車の音、鳥のさえずり、弾道発射体の音、人間の発話、アラート、及び警告音などが挙げられ得る。いくつかの実施形態では、音は、周波数、持続時間、振幅、並びに/あるいはソースオーディオの2つ以上のチャネル間のIID及び/またはITDに基づいて最初に識別され、サウンドデータベース312に追加され得る。音は、機械学習アルゴリズム311により使用され、他の同様の音が識別され得る。いくつかの実施形態では、サウンドデータベース312は、機械学習アルゴリズムにより優先順位が付けられ、及び/または余分なものが除去され得る。いくつかの実施形態では、ステップ301は、本明細書で図2を参照して説明された識別モジュール202により実行され得る。
ステップ302にて、システムは特定の音を分離する。通常、ステップ302にて、ステップ301で識別された特定の音は、オーディオソース210から受信されたオーディオ内の他の音から分離される。いくつかの実施形態では、ステップ302は、時間フィルタリング、振幅フィルタリング、及び/または高、低、もしくは帯域フィルタリングなどの周波数フィルタリングに基づいて実行され得る。いくつかの実施形態では、システムは、オーディオソース310の異なるチャネルを使用して、特定の音を分離し得る。例えば、入力オーディオストリームのチャネル間で大きなITDまたはIIDが存在する場合、1つのチャネルを使用して、減算またはマスキングにより別のチャネル内の特定の音が分離され得る。いくつかの実施形態では、特定の音は、サウンドデータベース312内の一致する音を使用して、減算またはマスキングにより分離され得る。いくつかの実施形態では、ステップ302にて、特定の音の略分離のみが実行される。いくつかの実施形態では、特定の音は、サウンドデータベース内の音を使用して再作成され得る。例えば、サウンドデータベース内の音の再生速度、トーン、及び/または振幅は、オーディオソース310で識別された特定の音を近似するように修正され得る。いくつかの実施形態では、ステップ302は、本明細書で図2を参照して説明されたサウンドフィルタ204により実行され得る。
ステップ303にて、システムは、指向性スピーカ321の出力を生成する。いくつかの実施形態では、出力は、ステップ302で分離された特定の音を含む。いくつかの実施形態では、指向性スピーカは、投射領域の周期的スイープを実行するように構成され得、指向性スピーカのオーディオ出力は、周期的スイープにタイミングを合わせられ得る。いくつかの実施形態では、指向性スピーカ出力はさらに、投射方向データを含み得る。いくつかの実施形態では、投射方向データは、図2を参照して説明された投射方向モジュール206により決定され得る。いくつかの実施形態では、投射方向は、ユーザ位置に関連付けられ得る。いくつかの実施形態では、投射方向データは、2人以上のユーザに関連付けられた2つ以上の別個の投射ゾーンを含み得、これにより、1つの指向性スピーカを使用して、同じ部屋にいる異なるユーザに対し異なる音が投射され得る。いくつかの実施形態では、投射方向データは、投射角度を、指向性スピーカオーディオの時間部分に関連付け得る。いくつかの実施形態では、指向性スピーカ出力は、指向性スピーカにより生成される2Dサウンドスケープを含み得る。いくつかの実施形態では、指向性スピーカ出力は、固定マルチパネルを有する指向性スピーカの各パネル用の別個のオーディオストリームを含み得る。いくつかの実施形態では、指向性スピーカ出力は、ロータ制御型指向性スピーカの回転命令を含み得る。
ステップ304にて、システムは、無指向性スピーカ322の出力を生成する。いくつかの実施形態では、指向性スピーカ出力は、特定の音が差し引かれたオーディオソース310を含み得る。いくつかの実施形態では、指向性スピーカ出力は、変更されていないソースオーディオに対応し得る。いくつかの実施形態では、無指向性スピーカ出力は、ハイブリッドスピーカアセンブリ内の無指向性スピーカデバイス(例えば左スピーカ、右スピーカ)にそれぞれ対応する2つ以上のチャネルを含み得る。
いくつかの実施形態では、変換されたオーディオが、ソースオーディオに関連付けられたビデオ再生と同期されるように、図3に示されるステップは、ほぼリアルタイムでオーディオストリームに対し連続的に繰り返され得る。いくつかの実施形態では、システムは、ソースオーディオを事前にバッファリングして、ビデオ/オーディオ再生同期化を可能にし得る。いくつかの実施形態では、図3に示されるステップは、事前に記録されたオーディオファイルに対して実行され得る。いくつかの実施形態では、生成された指向性スピーカ出力及び無指向性スピーカ出力は、スピーカに出力される代わりに、後で再生するオーディオファイルとして格納され得る。
図4A及び図4Bは、いくつかの実施形態によるマルチパネル指向性スピーカの例示である。図4A及び図4Bは、変調を通して投射領域420にわたり複数の角度で音を投射するように配置された指向性スピーカのパネルの上面図を含む。いくつかの実施形態では、パネル410a~eはそれぞれ、超音波を通して狭い広がりの音を投射するように構成されたパラメトリックアレイを備え得る。
図4Aでは、2パネル構成が示される。パネル410a及び410bは、相対的に角度を付けられた状態で、無指向性の左スピーカ430と右スピーカ431との間に配置される。2つのパネル間の角度は170~90度の間であり得る。2つのパネル410a及び410bは、2つのパネルのオーディオ出力を変調することを通して、投射領域420内の音の投射方向を変更するように構成される。
図4Bでは、3パネル構成が示される。パネル410c、410d、及び410eは、相対的に角度を付けられた状態で、無指向性の左スピーカ430と右スピーカ431との間に配置される。いくつかの実施形態では、中央パネル410dは、通常、スピーカアセンブリの無指向性の左スピーカ430と右スピーカ431との間に引かれた線に平行である。サイドパネル410c及び410eのそれぞれと、センターパネル410dとの間の角度は、170~70度であり得る。3つのパネル410c~410eは、3つのパネルのオーディオ出力を変調することを通して、投射領域420内の音の投射方向を変更するように構成される。
いくつかの実施形態では、ハイブリッドスピーカは、他の構成の指向性スピーカを備え得る。例えば、指向性スピーカは、4つ以上のパラメトリックパネルを備え得る。別の例では、指向性スピーカは、1つ以上の湾曲したパラメトリックパネルを備え得る。さらに別の例では、指向性スピーカは、2つの軸(例えば左右及び上下)で音を投射する2Dマトリックスのパネル(例えば2x2、3x3など)を備え得る。いくつかの実施形態では、ハイブリッドスピーカは、1つ以上のパラメトリックアレイを回転及び/または傾斜させるように構成された機械式ロータにより駆動される指向性スピーカを備え得る。図4A及び図4Bの要素の距離、比率、及び相対位置は、参照用にのみ提供されており、必ずしも一定の縮尺で描かれてはいない。
いくつかの実施形態では、前述の実施形態、方法、手法、及び/または技法のうちの1つ以上は、プロセッサベースの装置またはシステムにより実行可能な1つ以上のコンピュータプログラムまたはソフトウェアアプリケーションで実施され得る。例として、このようなプロセッサベースの装置またはシステムには、コンピュータ、エンターテインメントシステム、ゲームコンソール、ワークステーション、グラフィックスワークステーション、サーバ、クライアント、ポータブルデバイス、パッド状デバイスなどが挙げられ得る。このようなコンピュータプログラム(複数可)は、前述の方法及び/または技法の様々なステップ及び/または特徴を実行するために使用され得る。すなわち、コンピュータプログラム(複数可)は、プロセッサベースの装置またはシステムに前述の機能を実行させ達成させる、またはそのようにプロセッサベースの装置またはシステムを構成するように、適合され得る。例えば、このようなコンピュータプログラム(複数可)は、前述の方法、ステップ、技法、または特徴の任意の実施形態を実施するために使用され得る。別の例として、このようなコンピュータプログラム(複数可)は、前述の実施形態、方法、手法、及び/または技法のうちのいずれか1つ以上を使用する任意の種類のツールまたは同様のユーティリティを実施するために使用され得る。いくつかの実施形態では、コンピュータプログラム(複数可)の中または外のプログラムコードマクロ、モジュール、ループ、サブルーチン、呼び出しなどを使用して、前述の方法及び/または技法の様々なステップ及び/または特徴が実行され得る。いくつかの実施形態では、コンピュータプログラム(複数可)は、本明細書で説明されるコンピュータ可読記憶媒体(複数可)またはコンピュータ可読記録媒体(複数可)のうちのいずれかなど、コンピュータ可読記憶媒体(複数可)またはコンピュータ可読記録媒体(複数可)上で、格納または具現化され得る。
従って、いくつかの実施形態では、本発明は、コンピュータプログラム製品を提供し、コンピュータプログラム製品は、コンピュータに入力するためのコンピュータプログラムを具現化する媒体と、媒体に具現化されるコンピュータプログラムとを備え、コンピュータプログラムは、本明細書で説明される実施形態、方法、手法、及び/または技法のうちのいずれか1つ以上に関するステップのうちのいずれか1つ以上を含むステップを、コンピュータに行わせる、または実行させる。例えば、いくつかの実施形態では、本発明は、1つ以上のコンピュータプログラムを格納する1つ以上の非一時的コンピュータ可読記憶媒体を提供し、1つ以上のコンピュータプログラムは、プロセッサベースの装置またはシステムに、ユーザに表示するためのコンピュータシミュレーションシーンをレンダリングすることと、コンピュータシミュレーションシーンを見ているユーザの眼球運動において、サッケードマスキングを生じるサッケードの開始を検出することと、サッケード発生期間の少なくとも一部の間は、コンピュータシミュレーションシーンのフレームをレンダリングするために使用されるコンピューティングリソースを削減することと、を含むステップを実行させるように、適応または構成される。
開示される本明細書の発明は、特定の実施形態及びその適用により説明されたが、これらに対する多数の修正及び変形が、特許請求の範囲に定められる本発明の範囲から逸脱することなく、当業者により行われてもよい。

Claims (21)

  1. ソースオーディオを受信するように構成されたオーディオ入力と、
    少なくとも2つの無指向性スピーカ及び指向性スピーカを備えたハイブリッドスピーカに接続するように構成されたオーディオ出力と、
    機械学習により更新されるサウンドデータベース内の音を学習セットとして使用する機械学習を介して、前記ソースオーディオ内の特定の音を識別することと、
    前記ソースオーディオから前記特定の音を分離することと、
    前記特定の音に基づいて前記ハイブリッドスピーカの前記指向性スピーカ用の指向性スピーカ出力を生成することと、
    前記ハイブリッドスピーカの前記少なくとも2つの無指向性スピーカ用の無指向性スピーカ出力の少なくとも2つのチャネルを生成することと、
    を含むステップを実行することにより、
    前記ソースオーディオに基づいて前記ハイブリッドスピーカの出力オーディオを生成するように構成されたプロセッサと、
    を備える、オーディオコンバータシステム。
  2. 前記機械学習は、敵対的生成ネットワーク(GAN)である、請求項1に記載のシステム。
  3. 無指向性スピーカ出力の前記少なくとも2つのチャネルは、前記ソースオーディオから前記特定の音を差し引くことに基づいて生成される、請求項1に記載のシステム。
  4. 前記プロセッサはさらに、ユーザ位置、前記ソースオーディオの2つ以上のチャネル間の振幅差、及び/または前記ソースオーディオの2つ以上のチャネル間の時間遅延差に基づいて、前記ハイブリッドスピーカの前記指向性スピーカの投射方向を決定するように構成される、請求項1~3のいずれか1項に記載のシステム。
  5. 前記指向性スピーカの前記投射方向は、前記指向性スピーカを回転させるように構成された機械式ロータを制御するために、前記指向性スピーカに出力される、請求項4に記載のシステム。
  6. 前記指向性スピーカは複数のパネルを備え、前記指向性スピーカ出力は、前記複数のパネルのそれぞれに関する出力を含む、請求項1~3のいずれか1項に記載のシステム。
  7. 前記指向性スピーカの投射方向は、前記複数のパネルの出力を変調することにより制御される、請求項6に記載のシステム。
  8. 前記ハイブリッドスピーカは、左無指向性スピーカと右無指向性スピーカとの間に配置された前記指向性スピーカを有するサウンドバーを備える、請求項1~3のいずれか1項に記載のシステム。
  9. プロセッサにより、機械学習により更新されるサウンドデータベース内の音を学習セットとして使用する機械学習を介して、ソースオーディオ内の特定の音を識別することと、
    前記ソースオーディオから前記特定の音を分離することと、
    前記特定の音に基づいてハイブリッドスピーカの指向性スピーカ用の指向性スピーカ出力を生成することと、
    前記ハイブリッドスピーカの少なくとも2つの無指向性スピーカ用の無指向性スピーカ出力の少なくとも2つのチャネルを生成することと、
    を含む、オーディオ変換方法。
  10. 前記機械学習は、敵対的生成ネットワーク(GAN)である、請求項9に記載の方法。
  11. 無指向性スピーカ出力の前記少なくとも2つのチャネルは、前記ソースオーディオから前記特定の音を差し引くことに基づいて生成される、請求項9に記載の方法。
  12. ユーザ位置、前記ソースオーディオの2つ以上のチャネル間の振幅差、及び/または前記ソースオーディオの2つ以上のチャネル間の時間遅延差に基づいて、前記ハイブリッドスピーカの前記指向性スピーカの投射方向を決定すること、
    をさらに含む、請求項9~11のいずれか1項に記載の方法。
  13. 前記指向性スピーカの前記投射方向は、前記指向性スピーカを回転させるように構成された機械式ロータを制御するために、前記指向性スピーカに出力される、請求項12に記載の方法。
  14. 前記指向性スピーカは複数のパネルを備え、前記指向性スピーカ出力は、前記複数のパネルのそれぞれに関する出力を含む、請求項9~11のいずれか1項に記載の方法。
  15. 前記指向性スピーカの投射方向は、前記複数のパネルの出力を変調することにより制御される、請求項14に記載の方法。
  16. 前記ハイブリッドスピーカは、左無指向性スピーカと右無指向性スピーカとの間に配置された前記指向性スピーカを有するサウンドバーを備える、請求項9~11のいずれか1項に記載の方法。
  17. スピーカ筐体と
    前記スピーカ筐体内に収納された左無指向性スピーカ及び右無指向性スピーカと、
    前記左無指向性スピーカと前記右無指向性スピーカとの間に配置され、前記スピーカ筐体内に収納された指向性スピーカと、
    ソースオーディオを受信し、機械学習により更新されるサウンドデータベース内の音を学習セットとして使用する機械学習を介して、前記ソースオーディオ内の特定の音を識別し、前記特定の音に基づいて前記指向性スピーカ用の出力を生成するように構成されたオーディオコンバータと、
    を備える、オーディオシステム。
  18. 前記指向性スピーカは、1つ以上のパラメトリックパネルを備える、請求項17に記載のシステム。
  19. 前記指向性スピーカの投射方向を制御する機械式ロータ
    をさらに備える、請求項17に記載のシステム。
  20. 前記指向性スピーカは複数のパネルを備え、前記指向性スピーカの投射方向は、前記複数のパネルの出力を変調することにより制御される、請求項17~19のいずれか1項に記載のシステム。
  21. ユーザの位置を検出するセンサであって、前記指向性スピーカの投射方向は、前記ユーザの前記位置に基づいて制御される、前記センサ
    をさらに備える、請求項17~19のいずれか1項に記載のシステム。
JP2021549084A 2019-02-19 2020-02-10 ハイブリッドスピーカ及びコンバータ Active JP7271695B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023072055A JP2023093695A (ja) 2019-02-19 2023-04-26 ハイブリッドスピーカ及びコンバータ

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/279,896 US11026021B2 (en) 2019-02-19 2019-02-19 Hybrid speaker and converter
US16/279,896 2019-02-19
PCT/US2020/017471 WO2020171996A1 (en) 2019-02-19 2020-02-10 Hybrid speaker and converter

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023072055A Division JP2023093695A (ja) 2019-02-19 2023-04-26 ハイブリッドスピーカ及びコンバータ

Publications (2)

Publication Number Publication Date
JP2022521244A JP2022521244A (ja) 2022-04-06
JP7271695B2 true JP7271695B2 (ja) 2023-05-11

Family

ID=72042620

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021549084A Active JP7271695B2 (ja) 2019-02-19 2020-02-10 ハイブリッドスピーカ及びコンバータ
JP2023072055A Pending JP2023093695A (ja) 2019-02-19 2023-04-26 ハイブリッドスピーカ及びコンバータ

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023072055A Pending JP2023093695A (ja) 2019-02-19 2023-04-26 ハイブリッドスピーカ及びコンバータ

Country Status (5)

Country Link
US (2) US11026021B2 (ja)
EP (1) EP3928531A4 (ja)
JP (2) JP7271695B2 (ja)
CN (1) CN113678470A (ja)
WO (1) WO2020171996A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11026021B2 (en) 2019-02-19 2021-06-01 Sony Interactive Entertainment Inc. Hybrid speaker and converter
CN114174371A (zh) 2019-07-15 2022-03-11 陶氏环球技术有限责任公司 不含异氰酸酯的层压粘着剂
US20220303707A1 (en) * 2020-08-21 2022-09-22 Lg Electronics Inc. Terminal and method for outputting multi-channel audio by using plurality of audio devices
GB202019640D0 (en) * 2020-12-13 2021-01-27 Crawford John A wireless audio system
JP2022146814A (ja) * 2021-03-22 2022-10-05 株式会社ディーアンドエムホールディングス サウンドバーシステム、サウンドバー、コントローラ、プログラム、およびサウンドバーの設定方法
US11689875B2 (en) 2021-07-28 2023-06-27 Samsung Electronics Co., Ltd. Automatic spatial calibration for a loudspeaker system using artificial intelligence and nearfield response
CN116055982B (zh) * 2022-08-12 2023-11-17 荣耀终端有限公司 音频输出方法、设备及存储介质
CN116208896B (zh) * 2023-05-04 2023-07-25 苏州清听声学科技有限公司 一种基于定向扬声器的车载音效补偿方法及系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006120829A1 (ja) 2005-05-13 2006-11-16 Matsushita Electric Industrial Co., Ltd. 混合音分離装置
US20090202099A1 (en) 2008-01-22 2009-08-13 Shou-Hsiu Hsu Audio System And a Method For detecting and Adjusting a Sound Field Thereof
JP2009206754A (ja) 2008-02-27 2009-09-10 Yamaha Corp サラウンド出力装置およびプログラム
US20100119089A1 (en) 2008-11-11 2010-05-13 Tracy Dennis A Speaker Assembly
US20100208932A1 (en) 2009-02-13 2010-08-19 Industrial Technology Research Institute Multi-directional flat speaker device
JP2011049785A (ja) 2009-08-26 2011-03-10 Sharp Corp 音声信号処理装置、音声信号処理方法、および表示装置
JP2013517737A (ja) 2010-01-19 2013-05-16 ナンヤン・テクノロジカル・ユニバーシティー 3dオーディオ効果を生成するためのインプット信号を処理するシステム及び方法
US20140241552A1 (en) 2010-09-08 2014-08-28 Panasonic Corporation Sound reproduction device
JP2014171148A (ja) 2013-03-05 2014-09-18 Panasonic Corp 音響再生装置
JP2014526187A (ja) 2011-07-28 2014-10-02 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 側壁スピーカ付き輸送機械
JP2016518057A (ja) 2013-04-03 2016-06-20 華為技術有限公司Huawei Technologies Co.,Ltd. ストリーミングメディアセグメント準備方法及び装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6850623B1 (en) * 1999-10-29 2005-02-01 American Technology Corporation Parametric loudspeaker with improved phase characteristics
US9197963B1 (en) * 2013-05-28 2015-11-24 Audio Design Experts, Inc. Broad sound field loudspeaker system
US20150382129A1 (en) * 2014-06-30 2015-12-31 Microsoft Corporation Driving parametric speakers as a function of tracked user location
US11026021B2 (en) 2019-02-19 2021-06-01 Sony Interactive Entertainment Inc. Hybrid speaker and converter

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006120829A1 (ja) 2005-05-13 2006-11-16 Matsushita Electric Industrial Co., Ltd. 混合音分離装置
US20090202099A1 (en) 2008-01-22 2009-08-13 Shou-Hsiu Hsu Audio System And a Method For detecting and Adjusting a Sound Field Thereof
JP2009206754A (ja) 2008-02-27 2009-09-10 Yamaha Corp サラウンド出力装置およびプログラム
US20100119089A1 (en) 2008-11-11 2010-05-13 Tracy Dennis A Speaker Assembly
US20100208932A1 (en) 2009-02-13 2010-08-19 Industrial Technology Research Institute Multi-directional flat speaker device
JP2011049785A (ja) 2009-08-26 2011-03-10 Sharp Corp 音声信号処理装置、音声信号処理方法、および表示装置
JP2013517737A (ja) 2010-01-19 2013-05-16 ナンヤン・テクノロジカル・ユニバーシティー 3dオーディオ効果を生成するためのインプット信号を処理するシステム及び方法
US20140241552A1 (en) 2010-09-08 2014-08-28 Panasonic Corporation Sound reproduction device
JP2014526187A (ja) 2011-07-28 2014-10-02 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 側壁スピーカ付き輸送機械
JP2014171148A (ja) 2013-03-05 2014-09-18 Panasonic Corp 音響再生装置
JP2016518057A (ja) 2013-04-03 2016-06-20 華為技術有限公司Huawei Technologies Co.,Ltd. ストリーミングメディアセグメント準備方法及び装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SUBAKAN, Y. Cem et al,GENERATIVE ADVERSARIAL SOURCE SEPARATION,arXiv, [online],2017年10月30日,pp. 1-5,[2023年1月19日検索], <URL: https://arxiv.org/abs/1710.10779>

Also Published As

Publication number Publication date
EP3928531A4 (en) 2022-11-16
EP3928531A1 (en) 2021-12-29
US11026021B2 (en) 2021-06-01
JP2022521244A (ja) 2022-04-06
US20210281946A1 (en) 2021-09-09
US20200267473A1 (en) 2020-08-20
JP2023093695A (ja) 2023-07-04
CN113678470A (zh) 2021-11-19
US11832071B2 (en) 2023-11-28
WO2020171996A1 (en) 2020-08-27

Similar Documents

Publication Publication Date Title
JP7271695B2 (ja) ハイブリッドスピーカ及びコンバータ
US11277703B2 (en) Speaker for reflecting sound off viewing screen or display surface
JP5985063B2 (ja) レンダラーと個々に指定可能なドライバのアレイとの間の通信のための双方向相互接続
JP6085029B2 (ja) 種々の聴取環境におけるオブジェクトに基づくオーディオのレンダリング及び再生のためのシステム
JP6186436B2 (ja) 個々に指定可能なドライバへの上方混合されたコンテンツの反射されたおよび直接的なレンダリング
US10021507B2 (en) Arrangement and method for reproducing audio data of an acoustic scene
EP2741523B1 (en) Object based audio rendering using visual tracking of at least one listener
JP6246922B2 (ja) 音響信号処理方法
US20180295461A1 (en) Surround sound techniques for highly-directional speakers
US20190246230A1 (en) Virtual localization of sound
WO2022185725A1 (ja) 情報処理装置、情報処理方法、およびプログラム
Sousa The development of a'Virtual Studio'for monitoring Ambisonic based multichannel loudspeaker arrays through headphones

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211011

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230327

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230426

R150 Certificate of patent or registration of utility model

Ref document number: 7271695

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150