JP2023527650A - オーディオシーンの関心スペースのための方法および装置 - Google Patents
オーディオシーンの関心スペースのための方法および装置 Download PDFInfo
- Publication number
- JP2023527650A JP2023527650A JP2022562518A JP2022562518A JP2023527650A JP 2023527650 A JP2023527650 A JP 2023527650A JP 2022562518 A JP2022562518 A JP 2022562518A JP 2022562518 A JP2022562518 A JP 2022562518A JP 2023527650 A JP2023527650 A JP 2023527650A
- Authority
- JP
- Japan
- Prior art keywords
- audio
- space
- source data
- interest
- audio source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000009877 rendering Methods 0.000 claims description 26
- 230000008569 process Effects 0.000 description 34
- 235000009508 confectionery Nutrition 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 4
- 238000005096 rolling process Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012015 optical character recognition Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000013403 standard screening design Methods 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/002—Dynamic bit allocation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Mathematical Physics (AREA)
- Stereophonic System (AREA)
Abstract
Description
本出願は、2021年4月20日に出願された米国仮出願第63/177,258号「SPACE OF INTEREST OF AUDIO SPACE」に対する優先権の利益を主張する、2021年10月12日に出願された米国特許出願第17/499,398号「METHOD AND APPARATUS FOR SPACE OF INTEREST OF AUDIO SCENE」に対する優先権の利益を主張する。先の出願の開示は、その全体が参照により本明細書に援用される。
本開示は、オーディオシーン表現に概ね関連する実施形態を記載する。
。様々な実施形態において、プロセス(500)は、図7に示すような処理回路構成のような、処理回路構成によって実行される。幾つかの実施形態において、プロセス(500)は、ソフトウェア命令で実装され、よって、処理回路構成がソフトウェア命令を実行するとき、処理回路構成は、プロセス(500)を実行する。
Claims (21)
- オーディオシーンのオーディオデータを復号化する方法であって、
第1のオーディオソースデータと、第2のオーディオソースデータとを受信するステップであって、前記第1のオーディオソースデータは、前記オーディオシーン内の関心空間に対応し、前記第2のオーディオソースデータは、前記オーディオシーン内の前記関心空間に対応せず、前記オーディオシーン内の前記関心空間は、視聴者空間、オーディオチャネル、またはオーディオオブジェクトのうちの少なくとも1つによって表される、受信することと、
前記関心空間に基づいて前記第1のオーディオソースデータを復号化することと、を含む、
方法。 - 前記第2のオーディオソースデータが前記関心空間に対応しないことに基づいて、前記第2のオーディオソースデータが復号化されるべきでないと決定することを更に含む、請求項1に記載の方法。
- 前記復号化することは、第1の復号化スキームに基づいて前記第1のオーディオソースデータを復号化することを含み、
当該方法は、前記第1の復号化スキームとは異なる第2の復号化スキームに基づいて前記第2のオーディオソースデータを復号化することを更に含む、
請求項1に記載の方法。 - 前記第1のオーディオソースデータおよび前記第2のオーディオソースデータを符号化する際に使用される符号化スキームは異なる、請求項1に記載の方法。
- 前記第1のオーディオソースデータおよび前記第2のオーディオソースデータを符号化する際に使用されるビット割当スキームは異なる、請求項1に記載の方法。
- 第1のオーディオレンダリングスキームに基づいて前記第1のオーディオソースデータのオーディオコンテンツをレンダリングすることと、
前記第1のオーディオレンダリングスキームとは異なる第2のオーディオレンダリングスキームに基づいて前記第2のオーディオソースデータのオーディオコンテンツをレンダリングすることと、を更に含む、
請求項1に記載の方法。 - 前記第2のオーディオソースデータが前記関心空間に対応しないと決定されることに基づいて、前記第1のオーディオソースデータのオーディオコンテンツがレンダリングされるべきこと、および前記第2のオーディオソースデータのオーディオコンテンツがレンダリングされるべきでないことを決定することを更に含む、請求項1に記載の方法。
- 前記第1の復号化スキームおよび前記第2の復号化スキームの複雑さは異なる、請求項3に記載の方法。
- オーディオシーンのオーディオデータを符号化する方法であって、
前記オーディオシーン内の複数のオーディオソースのオーディオコンテンツを受信することと、
前記複数のオーディオソースの各々について、それぞれのオーディオソースが前記オーディオシーン内の関心空間内にあるかどうかを決定することであって、前記オーディオシーン内の前記関心空間は、視聴者空間、オーディオチャネル、またはオーディオオブジェクトのうちの少なくとも1つによって表される、決定することと、
前記それぞれのオーディオソースが前記オーディオシーン内の前記関心空間内にあることに基づいて、前記それぞれのオーディオソースの前記オーディオコンテンツが第1の符号化スキームに従って符号化されるべきと決定することと、
前記それぞれのオーディオソースが前記オーディオシーン内の前記関心空間内にないことに基づいて、前記それぞれのオーディオソースの前記オーディオコンテンツが、第2の符号化スキームに従って(i)符号化されるべきでないこと、または(ii)符号化されるべきであることのうちの1つであると決定することであって、前記第2の符号化スキームは、前記第1の符号化スキームとは異なる、
方法。 - 前記それぞれのオーディオソースの前記オーディオコンテンツは、前記それぞれのオーディオソースが前記オーディオシーン内の前記関心空間内にないことに基づいて符号化されない、請求項9に記載の方法。
- 前記それぞれのオーディオソースの前記オーディオコンテンツは、前記それぞれのオーディオソースが前記オーディオシーン内の前記関心空間内にないことに基づいて、前記第2の符号化スキームに従って符号化される、請求項9に記載の方法。
- 前記第1の符号化スキームは、第1のビット割当スキームであり、前記第2の符号化スキームは、前記第1のビット割当スキームとは異なる第2のビット割当スキームである、請求項9に記載の方法。
- 処理回路構成を含む、オーディオシーンの関心空間を表す装置であって、
前記処理回路構成は、第1のオーディオソースデータと、第2のオーディオソースデータとを受信するように構成され、前記第1のオーディオソースデータは、前記オーディオシーン内の関心空間に対応し、前記第2のオーディオソースデータは、前記オーディオシーン内の前記関心空間に対応せず、前記オーディオシーン内の前記関心空間は、視聴者空間、オーディオチャネル、またはオーディオオブジェクトのうちの少なくとも1つによって表され、
前記処理回路構成は、前記関心空間に基づいて前記第1のオーディオソースデータを復号化するように構成される、
装置。 - 前記処理回路構成は、前記第2のオーディオソースデータが前記関心空間に対応しないと決定されることに基づいて、前記第2のオーディオソースデータが復号化されるべきでないと決定するように構成される、請求項13に記載の装置。
- 前記処理回路構成は、
第1の復号化スキームに基づいて前記第1のオーディオソースデータを復号化し、
前記第1の復号化スキームとは異なる第2の復号化スキームに基づいて前記第2のオーディオソースデータを復号化する、
ように構成される、
請求項13に記載の装置。 - 前記第1のオーディオソースデータおよび前記第2のオーディオソースデータを符号化する際に使用される符号化スキームは異なる、請求項13に記載の装置。
- 前記第1のオーディオソースデータおよび前記第2のオーディオソースデータを符号化する際に使用されるビット割当スキームは異なる、請求項13に記載の装置。
- 前記処理回路構成は、
第1のオーディオレンダリングスキームに基づいて前記第1のオーディオソースデータのオーディオコンテンツをレンダリングし、
前記第1のオーディオレンダリングスキームとは異なる第2のオーディオレンダリングスキームに基づいて前記第2のオーディオソースデータのオーディオコンテンツをレンダリングする、
ように構成される、
請求項13に記載の装置。 - 前記処理回路構成は、前記第2のオーディオソースデータが前記関心空間に対応しないと決定されることに基づいて、前記第1のオーディオソースデータのオーディオコンテンツがレンダリングされるべきであること、および前記第2のオーディオソースデータのオーディオコンテンツがレンダリングされるべきでないことを決定するように構成される、請求項13に記載の装置。
- 前記第1の復号化スキームおよび前記第2の復号化スキームの複雑さは異なる、請求項15に記載の装置。
- 命令を格納する、非一時的コンピュータ読取可能媒体であって、
前記命令は、少なくとも1つのプロセッサによって実行されたときに、請求項1~12のうちのいずれか1項に記載の方法を実行させる、
非一時的なコンピュータ読取可能媒体。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202163177258P | 2021-04-20 | 2021-04-20 | |
US63/177,258 | 2021-04-20 | ||
US17/499,398 | 2021-10-12 | ||
US17/499,398 US11710491B2 (en) | 2021-04-20 | 2021-10-12 | Method and apparatus for space of interest of audio scene |
PCT/US2021/054946 WO2022225555A1 (en) | 2021-04-20 | 2021-10-14 | Method and apparatus for space of interest of audio scene |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023527650A true JP2023527650A (ja) | 2023-06-30 |
Family
ID=83602776
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022562518A Pending JP2023527650A (ja) | 2021-04-20 | 2021-10-14 | オーディオシーンの関心スペースのための方法および装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US11710491B2 (ja) |
EP (1) | EP4327567A4 (ja) |
JP (1) | JP2023527650A (ja) |
KR (1) | KR20220167313A (ja) |
CN (1) | CN115500091A (ja) |
WO (1) | WO2022225555A1 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004112440A (ja) * | 2002-09-19 | 2004-04-08 | Canon Inc | 画像処理装置及び画像処理方法 |
US20180190300A1 (en) * | 2017-01-03 | 2018-07-05 | Nokia Technologies Oy | Adapting A Distributed Audio Recording For End User Free Viewpoint Monitoring |
US20180225885A1 (en) * | 2013-10-01 | 2018-08-09 | Aaron Scott Dishno | Zone-based three-dimensional (3d) browsing |
JP2020537418A (ja) * | 2017-10-12 | 2020-12-17 | フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン | 仮想現実アプリケーションのためのオーディオ配信の最適化 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104054126B (zh) * | 2012-01-19 | 2017-03-29 | 皇家飞利浦有限公司 | 空间音频渲染和编码 |
US9549253B2 (en) | 2012-09-26 | 2017-01-17 | Foundation for Research and Technology—Hellas (FORTH) Institute of Computer Science (ICS) | Sound source localization and isolation apparatuses, methods and systems |
KR20140128564A (ko) | 2013-04-27 | 2014-11-06 | 인텔렉추얼디스커버리 주식회사 | 음상 정위를 위한 오디오 시스템 및 방법 |
EP3201916B1 (en) | 2014-10-01 | 2018-12-05 | Dolby International AB | Audio encoder and decoder |
US20170347219A1 (en) * | 2016-05-27 | 2017-11-30 | VideoStitch Inc. | Selective audio reproduction |
WO2019165642A1 (en) * | 2018-03-02 | 2019-09-06 | Intel Corporation | Adaptive bitrate coding for spatial audio streaming |
GB2599831B (en) * | 2019-06-14 | 2024-07-10 | Quantum Interface Llc | Predictive virtual training systems, apparatuses, interfaces, and methods for implementing same |
-
2021
- 2021-10-12 US US17/499,398 patent/US11710491B2/en active Active
- 2021-10-14 KR KR1020227039258A patent/KR20220167313A/ko active Search and Examination
- 2021-10-14 EP EP21936241.5A patent/EP4327567A4/en active Pending
- 2021-10-14 JP JP2022562518A patent/JP2023527650A/ja active Pending
- 2021-10-14 WO PCT/US2021/054946 patent/WO2022225555A1/en active Application Filing
- 2021-10-14 CN CN202180032226.8A patent/CN115500091A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004112440A (ja) * | 2002-09-19 | 2004-04-08 | Canon Inc | 画像処理装置及び画像処理方法 |
US20180225885A1 (en) * | 2013-10-01 | 2018-08-09 | Aaron Scott Dishno | Zone-based three-dimensional (3d) browsing |
US20180190300A1 (en) * | 2017-01-03 | 2018-07-05 | Nokia Technologies Oy | Adapting A Distributed Audio Recording For End User Free Viewpoint Monitoring |
JP2020537418A (ja) * | 2017-10-12 | 2020-12-17 | フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン | 仮想現実アプリケーションのためのオーディオ配信の最適化 |
Also Published As
Publication number | Publication date |
---|---|
EP4327567A4 (en) | 2024-10-30 |
US11710491B2 (en) | 2023-07-25 |
CN115500091A (zh) | 2022-12-20 |
KR20220167313A (ko) | 2022-12-20 |
EP4327567A1 (en) | 2024-02-28 |
WO2022225555A1 (en) | 2022-10-27 |
US20220335955A1 (en) | 2022-10-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7505029B2 (ja) | 適応オーディオ配信およびレンダリング | |
US11937070B2 (en) | Layered description of space of interest | |
JP2023527650A (ja) | オーディオシーンの関心スペースのための方法および装置 | |
JP7489488B2 (ja) | オーディオシーンの関心空間を表現する方法および装置 | |
JP7518191B2 (ja) | オーディオシーンのシグナリングラウドネス調整のための方法及び装置 | |
US20220270626A1 (en) | Method and apparatus in audio processing | |
US12137336B2 (en) | Immersive media compatibility | |
US11956409B2 (en) | Immersive media interoperability | |
US20230057207A1 (en) | Immersive media compatibility | |
CN118318254A (zh) | 用于对称网格的连接性编码 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221013 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231030 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231121 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240215 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240521 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240809 |