JPWO2020043539A5 - - Google Patents

Download PDF

Info

Publication number
JPWO2020043539A5
JPWO2020043539A5 JP2021510441A JP2021510441A JPWO2020043539A5 JP WO2020043539 A5 JPWO2020043539 A5 JP WO2020043539A5 JP 2021510441 A JP2021510441 A JP 2021510441A JP 2021510441 A JP2021510441 A JP 2021510441A JP WO2020043539 A5 JPWO2020043539 A5 JP WO2020043539A5
Authority
JP
Japan
Prior art keywords
audio
signals
rendering
circuit
listener
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021510441A
Other languages
English (en)
Other versions
JP2022502886A (ja
JP7479352B2 (ja
Publication date
Priority claimed from EP18191241.1A external-priority patent/EP3617871A1/en
Application filed filed Critical
Publication of JP2022502886A publication Critical patent/JP2022502886A/ja
Publication of JPWO2020043539A5 publication Critical patent/JPWO2020043539A5/ja
Priority to JP2023141933A priority Critical patent/JP2023169206A/ja
Priority to JP2023141935A priority patent/JP2023169208A/ja
Priority to JP2023141934A priority patent/JP2023169207A/ja
Application granted granted Critical
Publication of JP7479352B2 publication Critical patent/JP7479352B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Claims (20)

  1. 受信機回路と、第1のレンダラ回路と、第2のレンダラ回路と、セレクタ回路とを備えるオーディオ装置であって、
    前記受信機回路は、データを受信
    前記データは、オーディオシーンを表し、
    前記データは、オーディオデータ及びメタデータを含み、
    前記オーディオデータは、前記オーディオシーンにおけるオーディオ源に対応するオーディオ要素のセットについてのものであり、
    前記メタデータは、少なくとも第1のオーディオレンダリング特性インジケータを含み、
    前記第1のオーディオレンダリング特性インジケータは、前記オーディオ要素のセットのうちの第1のオーディオ要素についてのものであり、
    前記第1のレンダラ回路は、ラウドスピーカーのセットのためのオーディオ信号の第1のセットを生成することによってオーディオ要素をレンダリング
    前記第2のレンダラ回路は、ヘッドフォンのためのオーディオ信号の第2のセットを生成することによってオーディオ要素をレンダリング
    前記セレクタ回路は、前記第1のオーディオ要素の少なくとも第1の部分のレンダリングが、前記第1のオーディオレンダリング特性インジケータに応答するように、前記第1のレンダラ回路と前記第2のレンダラ回路との間で選択し、
    前記第1のオーディオレンダリング特性インジケータは、前記第1のオーディオ要素の前記第1の部分が、リスナー姿勢依存位置に関連するのか、リスナー姿勢非依存位置に関連するのかを示す、
    オーディオ装置。
  2. 前記オーディオ装置が、リスナー姿勢受信機回路をさらに備え、
    前記リスナー姿勢受信機回路が、リスナーの姿勢を示すリスナー姿勢を受信し、
    前記第1のレンダラ回路が、前記リスナー姿勢に依存せずにオーディオ信号の前記第1のセットを生成し
    前記第2のレンダラ回路が、前記リスナー姿勢に応答してオーディオ信号の前記第2のセットを生成する、請求項1に記載のオーディオ装置。
  3. 前記オーディオ装置が、複数のリスナーのためのオーディオ信号を生成し
    前記第1のレンダラ回路が、前記複数のリスナーのためのオーディオ信号の共通セットとしてオーディオ信号の前記第1のセットを生成し
    前記第2のレンダラ回路が、前記複数のリスナーのうちの第1のリスナーのためのヘッドフォンのためのオーディオ信号の前記第2のセットを生成し
    前記第2のレンダラ回路が、前記複数のリスナーのうちの第2のリスナーのためのヘッドフォンのためのオーディオ信号の第3のセットを生成する、請求項1に記載のオーディオ装置。
  4. 前記第1の部分が、前記第1のオーディオ要素の周波数サブレンジである、請求項1に記載のオーディオ装置。
  5. 前記セレクタ回路が、前記第1のオーディオ要素の前記第1の部分と、前記第1のオーディオ要素の第2の部分とについて、前記第1のレンダラ回路と前記第2のレンダラ回路とから異なるレンダラを選択する、請求項1に記載のオーディオ装置。
  6. 前記第1のオーディオレンダリング特性インジケータが、前記第1のオーディオ要素のオーディオフォーマットを示す、請求項1に記載のオーディオ装置。
  7. 前記第1のオーディオレンダリング特性インジケータが、前記第1のオーディオ要素のレンダリングについての案内レンダリング特性を示す、請求項1に記載のオーディオ装置。
  8. 前記第1のオーディオレンダリング特性インジケータは、第1のオーディオ項目の第1の部分が、ラウドスピーカー上でのレンダリングの対象であるのか、ヘッドフォン上でのレンダリングの対象であるのかを示す、請求項に記載のオーディオ装置。
  9. 前記受信機回路ビジュアルデータを受信し
    前記ビジュアルデータが、前記オーディオシーンに対応する仮想シーンを示し、
    前記第1のオーディオレンダリング特性インジケータは、前記第1のオーディオ要素が、ビジュアルシーンオブジェクトに対応するオーディオ源を表現するかどうかを示す、請求項1に記載のオーディオ装置。
  10. 前記オーディオ装置が、ユーザ入力部回路をさらに備え
    前記ユーザ入力部回路が、ユーザ入力を受信し、
    前記セレクタ回路が、前記ユーザ入力に応答して、前記第1のオーディオ要素の少なくとも前記第1の部分のレンダリングについて前記第1のレンダラ回路と前記第2のレンダラ回路との間で選択する、請求項1に記載のオーディオ装置。
  11. 前記セレクタ回路が、前記第1のオーディオ要素のオーディオ特性を決定し
    前記セレクタ回路が、前記オーディオ特性に応答して、前記第1のオーディオ要素の少なくとも前記第1の部分のレンダリングについて前記第1のレンダラ回路と前記第2のレンダラ回路との間で選択する、請求項1に記載のオーディオ装置。
  12. オーディオシーンを表すデータを受信するステップであって
    前記データが、オーディオ要素のセットについてのオーディオデータを含み、
    前記オーディオ要素のセットが、前記オーディオシーンにおけるオーディオ源及びメタデータに対応し、
    前記メタデータが、少なくとも第1のオーディオレンダリング特性インジケータを含み、
    前記第1のオーディオレンダリング特性インジケータが、前記オーディオ要素のセットのうちの第1のオーディオ要素についてのものである、受信するステップと、
    ラウドスピーカーのセットのためのオーディオ信号の第1のセットを生成することによってオーディオ要素をレンダリングするステップと、
    ヘッドフォンのためのオーディオ信号の第2のセットを生成することによってオーディオ要素をレンダリングするステップと、
    前記第1のオーディオレンダリング特性インジケータに応答して、前記ラウドスピーカーのセットのための、前記第1のオーディオ要素の少なくとも第1の部分のレンダリングと、前記ヘッドフォンのための、前記第1のオーディオ要素の少なくとも前記第1の部分のレンダリングとの間で選択するステップと
    を有するオーディオ処理の方法であって、
    前記第1のオーディオレンダリング特性インジケータは、前記第1のオーディオ要素の前記第1の部分が、リスナー姿勢依存位置に関連するのか、リスナー姿勢非依存位置に関連するのかを示す、
    オーディオ処理の方法。
  13. 非一時的媒体に記憶されたコンピュータプログラムであって、前記コンピュータプログラムは、プロセッサ上で実行されるときに、請求項12に記載の方法を実行する、コンピュータプログラム。
  14. リスナーの姿勢を示すリスナー姿勢を受信するステップと、
    前記リスナー姿勢に依存せずにオーディオ信号の前記第1のセットを生成するステップと、
    前記リスナー姿勢に応答してオーディオ信号の前記第2のセットを生成するステップと
    をさらに有する、請求項12に記載の方法。
  15. 複数のリスナーのためのオーディオ信号を生成するステップと、
    前記複数のリスナーのためのオーディオ信号の共通セットとしてオーディオ信号の前記第1のセットを生成するステップと、
    前記複数のリスナーのうちの第1のリスナーのためのヘッドフォンのためのオーディオ信号の前記第2のセットを生成するステップと、
    前記複数のリスナーのうちの第2のリスナーのためのヘッドフォンのためのオーディオ信号の第3のセットを生成するステップと
    をさらに有する、請求項12に記載の方法。
  16. 前記第1の部分が、前記第1のオーディオ要素の周波数サブレンジである、請求項12に記載の方法。
  17. 前記第1のオーディオ要素の前記第1の部分と、前記第1のオーディオ要素の第2の部分とについて、異なるレンダリングを選択するステップをさらに有する、請求項12に記載の方法。
  18. 前記第1のオーディオレンダリング特性インジケータが、前記第1のオーディオ要素のオーディオフォーマットを示す、請求項12に記載の方法。
  19. 前記第1のオーディオレンダリング特性インジケータは、第1のオーディオ項目の第1の部分が、ラウドスピーカー上でのレンダリングの対象であるのか、ヘッドフォン上でのレンダリングの対象であるのかを示す、請求項12に記載の方法。
  20. 出力信号のハイブリッドセットを生成することによって前記オーディオシーンをレンダリングするステップを有し、前記出力信号のハイブリッドセットが、少なくとも前記出力信号の第1のセット及び前記出力信号の第2のセットを含み、第1の前記出力信号が、前記ラウドスピーカーのセットによってレンダリングされるように生成され、前記出力信号の前記第2のセットが、前記ヘッドフォンによってレンダリングされるように生成され、前記出力信号の前記第1のセットが、前記ラウドスピーカーのセットによって再生するためのサラウンド音信号のセットであり、前記オーディオ信号の前記第2のセットが、前記ヘッドフォンによる再生のためのバイノーラルステレオ信号を形成し、前記出力信号の前記第1のセットが、前記オーディオ源の第1のセットに応答して生成され、前記出力信号の前記第2のセットが、前記オーディオ源の第2のセットに応答して生成され、前記オーディオ源の前記第1のセットが、リスナーの姿勢に依存しない特性を有し、前記オーディオ源の前記第2のセットが、リスナーの姿勢に依存する特性を有する、請求項12に記載の方法。
JP2021510441A 2018-08-28 2019-08-20 オーディオ装置及びオーディオ処理の方法 Active JP7479352B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2023141933A JP2023169206A (ja) 2018-08-28 2023-09-01 オーディオ装置及びオーディオ処理の方法
JP2023141935A JP2023169208A (ja) 2018-08-28 2023-09-01 オーディオ装置及びオーディオ処理の方法
JP2023141934A JP2023169207A (ja) 2018-08-28 2023-09-01 オーディオ装置及びオーディオ処理の方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18191241.1A EP3617871A1 (en) 2018-08-28 2018-08-28 Audio apparatus and method of audio processing
EP18191241.1 2018-08-28
PCT/EP2019/072195 WO2020043539A1 (en) 2018-08-28 2019-08-20 Audio apparatus and method of audio processing

Related Child Applications (3)

Application Number Title Priority Date Filing Date
JP2023141935A Division JP2023169208A (ja) 2018-08-28 2023-09-01 オーディオ装置及びオーディオ処理の方法
JP2023141934A Division JP2023169207A (ja) 2018-08-28 2023-09-01 オーディオ装置及びオーディオ処理の方法
JP2023141933A Division JP2023169206A (ja) 2018-08-28 2023-09-01 オーディオ装置及びオーディオ処理の方法

Publications (3)

Publication Number Publication Date
JP2022502886A JP2022502886A (ja) 2022-01-11
JPWO2020043539A5 true JPWO2020043539A5 (ja) 2022-12-26
JP7479352B2 JP7479352B2 (ja) 2024-05-08

Family

ID=63442511

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2021510441A Active JP7479352B2 (ja) 2018-08-28 2019-08-20 オーディオ装置及びオーディオ処理の方法
JP2023141934A Pending JP2023169207A (ja) 2018-08-28 2023-09-01 オーディオ装置及びオーディオ処理の方法
JP2023141935A Pending JP2023169208A (ja) 2018-08-28 2023-09-01 オーディオ装置及びオーディオ処理の方法
JP2023141933A Pending JP2023169206A (ja) 2018-08-28 2023-09-01 オーディオ装置及びオーディオ処理の方法

Family Applications After (3)

Application Number Title Priority Date Filing Date
JP2023141934A Pending JP2023169207A (ja) 2018-08-28 2023-09-01 オーディオ装置及びオーディオ処理の方法
JP2023141935A Pending JP2023169208A (ja) 2018-08-28 2023-09-01 オーディオ装置及びオーディオ処理の方法
JP2023141933A Pending JP2023169206A (ja) 2018-08-28 2023-09-01 オーディオ装置及びオーディオ処理の方法

Country Status (8)

Country Link
US (4) US11582556B2 (ja)
EP (5) EP3617871A1 (ja)
JP (4) JP7479352B2 (ja)
CN (4) CN116471520A (ja)
BR (1) BR112021003449A2 (ja)
MX (4) MX2021002104A (ja)
PL (1) PL3844606T3 (ja)
WO (1) WO2020043539A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3579584A1 (en) * 2018-06-07 2019-12-11 Nokia Technologies Oy Controlling rendering of a spatial audio scene
EP4104456A4 (en) * 2020-02-14 2023-07-19 Magic Leap, Inc. AUDIO PLAYBACK WITH MULTIPLE APPLICATIONS
CN118379428A (zh) * 2020-02-28 2024-07-23 奇跃公司 用于所显示的2d元素的3d模型
WO2021241190A1 (ja) * 2020-05-25 2021-12-02 ソニーグループ株式会社 メディア配信装置およびメディア配信方法、並びにプログラム
CN111918176A (zh) * 2020-07-31 2020-11-10 北京全景声信息科技有限公司 音频处理方法、装置、无线耳机以及存储介质
CN113793580B (zh) * 2021-08-31 2024-05-24 云境商务智能研究院南京有限公司 一种基于深度学习的音乐流派分类方法
GB2610845A (en) * 2021-09-17 2023-03-22 Nokia Technologies Oy A method and apparatus for communication audio handling in immersive audio scene rendering
WO2023215405A2 (en) * 2022-05-05 2023-11-09 Dolby Laboratories Licensing Corporation Customized binaural rendering of audio content
EP4398607A1 (en) * 2023-01-09 2024-07-10 Koninklijke Philips N.V. An audio apparatus and method of operation therefor

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006050353A2 (en) * 2004-10-28 2006-05-11 Verax Technologies Inc. A system and method for generating sound events
JP4304636B2 (ja) * 2006-11-16 2009-07-29 ソニー株式会社 音響システム、音響装置及び最適音場生成方法
JP6085029B2 (ja) * 2012-08-31 2017-02-22 ドルビー ラボラトリーズ ライセンシング コーポレイション 種々の聴取環境におけるオブジェクトに基づくオーディオのレンダリング及び再生のためのシステム
RU2602346C2 (ru) * 2012-08-31 2016-11-20 Долби Лэборетериз Лайсенсинг Корпорейшн Рендеринг отраженного звука для объектно-ориентированной аудиоинформации
TWI530941B (zh) * 2013-04-03 2016-04-21 杜比實驗室特許公司 用於基於物件音頻之互動成像的方法與系統
BR112015028337B1 (pt) * 2013-05-16 2022-03-22 Koninklijke Philips N.V. Aparelho de processamento de áudio e método
CA2988645C (en) * 2015-06-17 2021-11-16 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Loudness control for user interactivity in audio coding systems
WO2017061218A1 (ja) * 2015-10-09 2017-04-13 ソニー株式会社 音響出力装置、音響生成方法及びプログラム
GB2550877A (en) * 2016-05-26 2017-12-06 Univ Surrey Object-based audio rendering
US10356545B2 (en) * 2016-09-23 2019-07-16 Gaudio Lab, Inc. Method and device for processing audio signal by using metadata
US10531222B2 (en) * 2017-10-18 2020-01-07 Dolby Laboratories Licensing Corporation Active acoustics control for near- and far-field sounds

Similar Documents

Publication Publication Date Title
KR101368859B1 (ko) 개인 청각 특성을 고려한 2채널 입체 음향 재생 방법 및장치
US7813933B2 (en) Method and apparatus for multichannel upmixing and downmixing
EP2741523B1 (en) Object based audio rendering using visual tracking of at least one listener
US20140328505A1 (en) Sound field adaptation based upon user tracking
JP2008522483A (ja) 多重チャンネルオーディオ入力信号を2チャンネル出力で再生するための装置及び方法と、これを行うためのプログラムが記録された記録媒体
MX2023005647A (es) Aparato de audio y metodo de procesamiento de audio.
US11395087B2 (en) Level-based audio-object interactions
US11221820B2 (en) System and method for processing audio between multiple audio spaces
JP7536733B2 (ja) オーディオと関連してユーザカスタム型臨場感を実現するためのコンピュータシステムおよびその方法
CN111492342B (zh) 音频场景处理
US20240022870A1 (en) System for and method of controlling a three-dimensional audio engine
JP2006033847A (ja) 最適な仮想音源を提供する音響再生装置及び音響再生方法
JPWO2020043539A5 (ja)
JP6897565B2 (ja) 信号処理装置、信号処理方法及びコンピュータプログラム
JP6463955B2 (ja) 三次元音響再生装置及びプログラム
KR20210151792A (ko) 정보 처리 장치 및 방법, 재생 장치 및 방법, 그리고 프로그램
JP5671686B2 (ja) 音響再生装置
JP2015128285A (ja) 音響信号処理方法、及び音響信号処理装置
US11711652B2 (en) Reproduction device, reproduction system and reproduction method
JP7332745B2 (ja) 音声処理方法及び音声処理装置
US10966041B2 (en) Audio triangular system based on the structure of the stereophonic panning
TW201914315A (zh) 穿戴式音訊處理裝置及其音訊處理方法
WO2024080001A1 (ja) 音処理方法、音処理装置、および音処理プログラム
KR20160113036A (ko) 3차원 사운드를 편집 및 제공하는 방법 및 장치
WO2023215405A2 (en) Customized binaural rendering of audio content