JP2023533414A - 適応オーディオ配信およびレンダリング - Google Patents

適応オーディオ配信およびレンダリング Download PDF

Info

Publication number
JP2023533414A
JP2023533414A JP2022566186A JP2022566186A JP2023533414A JP 2023533414 A JP2023533414 A JP 2023533414A JP 2022566186 A JP2022566186 A JP 2022566186A JP 2022566186 A JP2022566186 A JP 2022566186A JP 2023533414 A JP2023533414 A JP 2023533414A
Authority
JP
Japan
Prior art keywords
audio
encoded
encoded bitstream
audio content
receiving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022566186A
Other languages
English (en)
Other versions
JP7505029B2 (ja
Inventor
リィウ,シャン
ティアン,ジュン
シュイ,シアオジョォン
Original Assignee
テンセント・アメリカ・エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テンセント・アメリカ・エルエルシー filed Critical テンセント・アメリカ・エルエルシー
Publication of JP2023533414A publication Critical patent/JP2023533414A/ja
Application granted granted Critical
Publication of JP7505029B2 publication Critical patent/JP7505029B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/165Management of the audio stream, e.g. setting of volume, audio stream path
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/002Dynamic bit allocation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/167Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/04Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/18Vocoders using multiple modes
    • G10L19/24Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10General applications
    • H04R2499/11Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10General applications
    • H04R2499/15Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/033Headphones for stereophonic communication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/11Application of ambisonics in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Stereophonic System (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Abstract

本開示の態様は、オーディオ処理のための方法および装置(例えば、クライアントデバイスおよびサーバデバイス)を提供する。幾つかの例では、クライアントデバイスが、処理回路構成を含む。処理回路構成は、オーディオ入力中のオーディオコンテンツを符号化するためのオーディオ符号化構成を示す選択信号をサーバデバイスに送信する。処理回路構成は、選択信号の送信に応答して、符号化されたビットストリームをサーバデバイスから受信する。符号化されたビットストリームは、オーディオ符号化構成に従って符号化されるオーディオコンテンツを含む。処理回路構成は、符号化されたビットストリームに基づいてオーディオ信号をレンダリングする。

Description

(関連出願の参照)
本願は、2021年6月2日に出願された米国仮出願第63/196,066号「Adaptive Audio Delivery and Rendering」に対する優先権の利益を主張する、2022年5月31日に出願された米国特許出願第17/828,755号「ADAPTIVE AUDIO DELIVERY AND RENDERING」に対する優先権の利益を主張する。先の出願の開示は、その全体が参照により本明細書に援用される。
(技術分野)
本開示は、オーディオ処理(audio processing)に概ね関連する実施形態を記載する。
本明細書で提供される背景記述は、本開示の文脈を概ね提示するためのものである。その業績がこの背景セクションに記載されている範囲における、現在指名されている発明者の業績、並びに出願時に他の点では先行技術として適格でないことがある記述の側面は、本開示に対する先行技術として明示的にも暗示的にも認められていない。
仮想現実または拡張現実のアプリケーションにおいて、ユーザがアプリケーションの仮想世界における存在感を有するようにするために、アプリケーションの仮想シーンにおけるオーディオは、仮想シーンの関連する仮想フィギュア(virtual figures)から来るサウンド(sound)とともに、実世界におけるものとして知覚される。幾つかの例において、現実の世界におけるユーザの物理的な動きは、アプリケーション内の仮想シーンにおいて一致する動きを有するものとして知覚される。更に、そして、重要なことには、ユーザは、現実的であると知覚され且つ現実世界においてユーザの経験にマッチするオーディオを使用して、仮想シーンと対話することができる。
本開示の態様は、オーディオ処理のための方法および装置(例えば、クライアントデバイスおよびサーバデバイス)を提供する。幾つかの例では、クライアントデバイスが、処理回路構成を含む。処理回路構成は、オーディオ入力中のオーディオコンテンツを符号化(エンコード)するためのオーディオ符号化構成(オーディオエンコーディング構成)を示す選択信号をサーバデバイスに送信する。処理回路構成は、選択信号の送信に応答して、符号化されたビットストリームをサーバデバイスから受信する。符号化されたビットストリームは、オーディオ符号化構成に従って符号化されるオーディオコンテンツを含む。処理回路構成は、符号化されたビットストリームに基づいてオーディオ信号をレンダリングする。
幾つかの実施形態において、オーディオ符号化構成は、オーディオコンテンツを符号化するためのビットレートを含む。幾つかの例において、オーディオ符号化構成は、オーディオ入力中のオーディオコンテンツの一部分に対応するカテゴリ化層を含む。
幾つかの例では、オーディオ符号化構成と関連付けられる識別子が、クライアントデバイスからサーバデバイスに送信される。
幾つかの例において、オーディオ符号化構成は、クライアントデバイスのメディア処理能力、クライアントデバイスのネットワーク接続、およびクライアントデバイスのユーザによる嗜好入力のうちの少なくとも1つに従って決定される。
幾つかの例において、オーディオ符号化構成は、オーディオコンテンツを符号化するためのビットレートを含む。一例において、符号化されたビットストリームは、ビットレートに従って符号化される1つ以上のオーディオチャネルを含む。別の例において、符号化されたビットストリームは、ビットレートに従って符号化される1つ以上のオーディオオブジェクトを含む。別の例において、符号化されたビットストリームは、ビットレートに従って符号化されるオーディオ高次アンビソニックス(HOA)信号のセットを含む。
例えば、オーディオ符号化構成は、オーディオ入力中のオーディオコンテンツの一部分に対応するカテゴリ化層を含む。一例において、符号化されたビットストリームは、オーディオ入力のオーディオコンテンツ中のオーディオチャネルのサブセットに基づいて符号化される。オーディオチャネルのサブセットは、オーディオ入力中のオーディオコンテンツのカテゴリ化層に対応する。別の例において、符号化されたビットストリームは、オーディオ入力のオーディオコンテンツ中のオーディオオブジェクトのサブセットに基づいて符号化される。オーディオオブジェクトのサブセットは、オーディオ入力中のオーディオコンテンツのカテゴリ化層に対応する。別の例において、符号化されたビットストリームは、オーディオ入力のオーディオコンテンツ中のHOA信号の減少された次数のセットに基づいて符号化される。HOA信号の減少された次数のセットは、オーディオ入力中オーディオコンテンツのカテゴリ化層に対応する。
本開示の態様は、コンピュータによって実行されるときにコンピュータにオーディオ処理の方法を実行させる命令を格納する非一時的なコンピュータ読取可能媒体(medium)も提供する。
開示する主題のさらなる構成、性質、および様々な利点は、以下の詳細な記述および添付の図面からより明らかになるであろう。
本開示の幾つかの実施形態によるメディアシステムのブロック図を示している。
幾つかの例における垂直三層サウンドシステムのレイアウトを示している。
幾つかの例におけるサウンドシステムにおけるスピーカ配置を示している。 幾つかの例におけるサウンドシステムにおけるスピーカ配置を示している。 幾つかの例におけるサウンドシステムにおけるスピーカ配置を示している。
幾つかの例におけるシーンの音場(sound field)における複数のサウンドソースの一例を示している。
本開示の一実施形態によるプロセス例を概説するフローチャートを示している。
本開示の一実施形態による別のプロセス例を概説するフローチャートを示している。
一実施形態によるコンピュータシステムの概略図である。
本開示の態様は、適応(adaptive)オーディオコンテンツ配信(delivery)およびレンダリング(rendering)のための技術を提供する。本開示のある態様によれば、オーディオコンテンツ配信およびレンダリングは、しばしば、レンダリングデバイス能力、ネットワーク条件、ユーザの好みなどのような、様々な要因によって制約される。これらの制約に対処するために、適応オーディオコンテンツ配信およびレンダリングスキームを使用することができる。
図1は、本開示の一実施形態に従ったメディアシステム(media system)(100)のブロック図を示している。メディアシステム(100)は、イマーシブメディアアプリケーション、拡張現実(AR)アプリケーション、仮想現実アプリケーション、ビデオゲームアプリケーション、スポーツゲームアニメーションアプリケーション、テレビ会議およびテレプレゼンスアプリケーション、メディアストリーミングアプリケーションおよび同等のもののような、様々な用途アプリケーションにおいて使用されることができる。
メディアシステム(100)は、メディアサーバデバイス(110)と、ネットワーク(図示せず)によって接続されることができる、図1に示すメディアクライアントデバイス(160A)および(160B)のような、複数のメディアクライアントデバイスとを含む。一例において、メディアサーバデバイス(110)は、オーディオコーディング(coding)機能およびビデオコーディング機能を有する1つ以上のデバイスを含むことができる。一例において、メディアサーバデバイス(110)は、デスクトップコンピュータ、ラップトップコンピュータ、サーバコンピュータ、タブレットコンピュータ、および同等物のような、単一のコンピューティングデバイスを含む。別の例において、メディアサーバデバイス(110)は、データセンタ、サーバファーム、および同等物を含む。メディアサーバデバイス(110)は、ビデオおよびオーディオコンテンツを受信することができ、適切なメディアコーディング標準に従って、ビデオコンテンツおよびオーディオコンテンツを1つ以上の符号化(エンコード)された(encoded)ビットストリームに圧縮することができる。符号化されたビットストリームは、ネットワークを介してメディアクライアントデバイス(160A)および(160B)に配信されることができる。
メディアクライアントデバイス(例えば、メディアクライアントデバイス(160A)および(160B))は、それぞれ、メディアアプリケーションのためのビデオコーディング機能およびオーディオコーディング機能を有する1つ以上のデバイスを含む。一例において、メディアクライアントデバイスの各々は、デスクトップコンピュータ、ラップトップコンピュータ、サーバコンピュータ、タブレットコンピュータ、ウェアラブルコンピューティングデバイス、ヘッドマウントディスプレイデバイス、および同等物のような、コンピューティングデバイスを含む。メディアクライアントデバイスは、適切なメディアコーディング標準に従って符号化されたビットストリームを復号化(デコード)する(decode)ことができる。復号化された(decoded)ビデオコンテンツおよびオーディオコンテンツは、メディア再生(media play)に使用されることができる。
メディアサーバデバイス(110)は、任意の適切な技術を用いて実装されることができる。図1の例において、メディアサーバデバイス(110)は、互いに結合された処理回路(130)とインターフェース回路(111)とを含む。
処理回路(130)は、1つ以上の中央処理装置(CPU)、1つ以上のグラフィックス処理装置(GPU)、特定用途向け集積回路、および同等物のような、任意の適切な処理回路構成を含むことができる。図1の例において、処理回路(130)は、オーディオエンコーダ(140)、ビデオエンコーダ(図示せず)、および同等物のような、様々なエンコーダを含むように構成されることができる。一例では、1つ以上のCPUおよび/またはGPUが、オーディオエンコーダ(140)として機能するように、ソフトウェアを実行することができる。別の例において、オーディオエンコーダ(140)は、特定用途向け集積回路を使用して実装されることができる。
インターフェース回路(111)は、メディアサーバデバイス(110)をネットワークとインターフェース接続することができる。インターフェース回路(111)は、ネットワークから信号を受信する受信部分と、ネットワークに信号を送信する送信部分とを含むことができる。例えば、インターフェース回路(111)は、符号化されたビットストリームを搬送する信号を、ネットワークを介して、メディアクライアントデバイス(160A)、メディアクライアントデバイス(160B)、および同等物のような、他のデバイスに送信することができる。インターフェース回路(111)は、メディアクライアントデバイス(160A)および(160B)のような、メディアクライアントデバイスから信号を受信することができる。
ネットワークは、イーサネット接続、光ファイバ接続、WiFi接続、携帯電話ネットワーク接続および同等物のような、有線および/または無線接続を介して、メディアサーバデバイス(110)およびメディアクライアントデバイス(例えば、メディアクライアントデバイス(160A)および(160B))と適切に結合される。ネットワークは、ネットワークサーバデバイス、ストレージデバイス、ネットワークデバイスおよび同等物を含むことができる。ネットワークのコンポーネント(構成要素)は、有線および/または無線接続を介して互いに適切に結合される。
メディアクライアントデバイス(例えば、メディアクライアントデバイス(160A)および(160B))は、それぞれ、コーディングされたビットストリームを復号化するように構成される。一例において、各メディアクライアントデバイスは、表示されることができるビデオフレームのシーケンスを再構成するためにビデオ復号化(デコーディング)を実行することができ、再生のためにオーディオ信号を生成するためにオーディオ復号化を実行することができる。
メディアクライアントデバイス(160A)および(160B)のようなメディアクライアントデバイスは、任意の適切な技術を使用して実装されることができる。図1の例では、ユーザAが使用することができるユーザ機器としてイヤホンを備えるヘッドマウントディスプレイ(HMD)に限定されない、メディアクライアントデバイス(160A)が示されており、ユーザBが使用するスマートフォンに限定されない、メディアクライアントデバイス(160B)が示されている。
図1において、メディアクライアントデバイス(160A)は、図1に示すように互いに結合されたインターフェース回路(161A)と処理回路(170A)とを含み、メディアクライアントデバイス(160B)は、図1に示すように互いに結合されたインターフェース回路(161B)と処理回路(170B)とを含む。
インターフェース回路(161A)は、メディアクライアントデバイス(160A)をネットワークとインターフェース接続することができる。インターフェース回路(161A)は、ネットワークから信号を受信する受信部分と、ネットワークに信号を送信する送信部分とを含むことができる。例えば、インターフェース回路(161A)は、ネットワークから符号化されたビットストリームを搬送する信号のような、データを搬送する信号を受信することができる。
処理回路(170A)は、CPU、GPU、特定用途向け集積回路および同等物のような、適切な処理回路を含むことができる。処理回路(170A)は、オーディオデコーダ(171A)、レンダラ(172A)、および同等物のような、様々なコンポーネントを含むように構成されることができる。
幾つかの例において、オーディオデコーダ(171A)は、オーディオコンテンツを符号化したスキームに適した復号化ツールを選択することによって、符号化されたビットストリームにおけるオーディオコンテンツを復号化することができる。更に、レンダラ(172A)は、符号化されたビットストリームから復号化されたオーディオコンテンツからメディアクライアントデバイス(160A)に適した最終的なデジタル製品を生成することができる。処理回路(170A)は、さらなるオーディオ処理のために、ミキサ、後処理回路、および同等物のような、他の適切なコンポーネント(図示せず)を含むことができることに留意されたい。
同様に、インターフェース回路(161B)は、メディアクライアントデバイス(160B)をネットワークとインターフェース接続することができる。インターフェース回路(161B)は、ネットワークから信号を受信する受信部分と、ネットワークに信号を送信する送信部分とを含むことができる。例えば、インターフェース回路(161B)は、ネットワークから符号化されたビットストリームを搬送する信号のような、データを搬送する信号を受信することができる。
処理回路(170B)は、CPU、GPU、特定用途向け集積回路および同等物のような、適切な処理回路構成を含むことができる。処理回路(170B)は、オーディオデコーダ(171B)、レンダラ(172B)、および同等物のような、様々なコンポーネントを含むように構成されることができる。
幾つかの例において、オーディオデコーダ(171B)は、オーディオコンテンツを符号化したスキームに適した復号化ツールを選択することによって、復号化されたビットストリームにおけるオーディオコンテンツを復号化することができる。更に、レンダラ(172B)は、符号化されたビットストリームから復号化されたオーディオコンテンツからメディアクライアントデバイス(160B)に適した最終的なデジタル製品を生成することができる。処理回路(170A)は、さらなるオーディオ処理のために、ミキサ、後処理回路、および同等物のような、他の適切なコンポーネント(図示せず)を含むことができることに留意されたい。
本開示の一態様によれば、メディアクライアントデバイスは、異なるCPU構成、異なるメモリ構成、および同等物のような、異なるメディア処理能力を有することがある。同じ符号化されたビットストリームについて、幾つかのメディアクライアントデバイスは、如何なる問題もなく符号化されたビットストリームからオーディオをレンダリングすることがあるが、幾つかのメディアクライアントデバイスは、処理能力の欠如の故に、オーディオを成功裡にレンダリングできないことがある。本開示の別の態様によれば、帯域幅、待ち時間のような、ネットワーク条件も、レンダリングに影響を及ぼすことがある。加えて、メディアクライアントデバイスのユーザは、個人化を好むことがあり、オーディオをどのようにレンダリングするかについて好みを有することがある。
本開示の幾つかの態様によれば、メディアシステム(100)は、適応オーディオ配信およびレンダリング技術を用いて構成される。適応オーディオ配信およびレンダリング技術は、聴覚体験を最適化することができるように、メディア処理能力制約、ネットワーク条件制約、ユーザ嗜好制約、および同等のもののような、様々な制約を考慮しながら、オーディオ配信およびレンダリングを調整することができる。
本開示の幾つかの態様によれば、オーディオ入力は、異なるオーディオ符号化構成の符号化されたビットストリームに符号化されることができる。メディアサーバデバイス(110)および/またはメディアクライアントデバイスは、メディアクライアントデバイスについて、様々な制約に基づいて適切なオーディオ符号化構成の符号化されたビットストリームを選択することができ、符号化されたビットストリームは、メディアクライアントデバイスに配信されることができ、オーディオ出力は、符号化されたビットストリームに基づいてメディアクライアントデバイスによってレンダリングされることができる。
幾つかの実施形態において、メディアサーバデバイス(110)は、メディアクライアントデバイスにそれぞれ適したオーディオ符号化構成を選択するように構成される。幾つかの例において、処理回路(130)は、メディアクライアントデバイスにそれぞれ適したオーディオ符号化構成を選択するように構成された適応コントローラ(135)を含む。
幾つかの例において、メディアサーバデバイス(110)は、オーディオソース(101)(例えば、オーディオ注入サーバ)からオーディオ入力を受信する。オーディオエンコーダ(140)は、オーディオ入力を異なるオーディオ符号化構成の符号化されたビットストリームに符号化することができる。オーディオ符号化構成は、ビットレート、カテゴリ化層(カテゴリ化レイヤー)、および同等物のような、オーディオ符号化に影響を及ぼす1つ以上のパラメータを含むことができる。
幾つかの例において、オーディオ符号化構成は、異なるビットレートを有し、オーディオ入力は、異なるビットレートに従って符号化されたビットストリームに符号化される。幾つかの例において、オーディオ符号化構成は、異なるカテゴリ化層を有し、オーディオ入力は、異なるカテゴリ化層に従って符号化されたビットストリームに符号化される。幾つかの例では、オーディオ符号化構成が、ビットレートおよびカテゴリ化層の両方を含むことができる。オーディオ符号化構成は、異なるビットレートおよび/または異なるカテゴリ化層を有し、オーディオ入力は、異なるビットレートおよび/または異なるカテゴリ化層に従って符号化されたビットストリームに符号化される。
幾つかのオンデマンドストリーミングアプリケーションにおいて、メディアサーバデバイス(110)は、異なるオーディオ符号化構成に従ってプログラム全体のオーディオコンテンツを符号化することができ、符号化されたビットストリームを格納することができる。一般に、メディアサーバデバイス(110)は、異なるオーディオ符号化構成の符号化されたビットストリームを格納するために、(メディアクライアントデバイスと比べて)比較的大きな記憶能力を有するように構成されることができる。異なるオーディオ符号化構成の符号化されたビットストリームは、例えば、メディアクライアントデバイスのそれぞれのメディア処理能力、メディアクライアントデバイスのそれぞれのネットワーク条件、メディアクライアントデバイスのそれぞれのユーザ嗜好、および同等のものに基づいて、それぞれのメディアクライアントデバイスに適応的に提供されることができる。
幾つかのリアルタイムストリーミングアプリケーションにおいて、メディアサーバデバイス(110)は、プログラムのオーディオコンテンツの一部をリアルタイムで受信することができ、オーディオコンテンツの一部を異なるオーディオ符号化構成に従って符号化することができる。符号化されたビットストリームは、バッファされることができる。一般に、メディアサーバデバイス(110)は、異なるオーディオ符号化構成に従ってオーディオコンテンツの一部をリアルタイムで符号化するために(メディアクライアントデバイスと比べて)比較的大きなメディア処理能力を有するように構成されることができ、異なるオーディオ符号化構成の符号化されたビットストリームをバッファするために(メディアクライアントデバイスと比べて)比較的大きな記憶能力を有するように構成されることができる。異なるオーディオ符号化構成の符号化されたビットストリームは、例えば、メディアクライアントデバイスのそれぞれのメディア処理能力、メディアクライアントデバイスのそれぞれのネットワーク条件、メディアクライアントデバイスのそれぞれのユーザ嗜好、および同等のものに基づいて、それぞれのメディアクライアントデバイスに適用的に提供されることができる。
例えば、図1の例において、第1の符号化されたビットストリームは、最低ビットレート、最低カテゴリ化層、最低品質、および同等のもののような、第1のオーディオ符号化構成に基づいて符号化され、第2の符号化されたビットストリームは、中位ビットレート、中位カテゴリ化層、中位品質、および同等のもののような、第2のオーディオ符号化構成に基づいて符号化され、第N番目の符号化されたビットストリームは、最高ビットレート、最高カテゴリ化層、最高品質、および同等のもののような、第N番目のオーディオ符号化構成に基づいて符号化される。
幾つかの例において、適応コントローラ(135)は、メディア処理能力制約、ネットワーク条件制約、ユーザ嗜好制約、および同等の制約のような、メディアクライアントデバイスに関連する制約の1つ以上を考慮して、メディアクライアントデバイスのための符号化されたビットストリームの1つを選択する。次に、選択された符号化されたビットストリームは、例えば、ネットワークを介して、メディアクライアントデバイスに送信される。幾つかの例では、制約のうちの1つ以上が変化することがあり、制約の変化に応答して、適応コントローラ(135)は、別の符号化されたビットストリームに切り替えて、他の符号化されたビットストリームをメディアクライアントデバイスに送信することを決定することができる。
一例において、メディアクライアントデバイス(160A)は、ゲームアプリケーションにおいてユーザAによって使用されるVR機器である。VR機器は、ビデオおよびオーディオ処理のための十分な処理能力を有するように構成され、ゲームアプリケーションは、ユーザ体験のために高品質オーディオを好む。適応コントローラ(135)は、メディアクライアントデバイス(160A)の構成を取得することができ、ネットワーク条件情報を取得することができる。メディアクライアントデバイス(160A)の構成は、オーディオ処理のための十分な処理能力を示し、よって、処理能力制約を示さず、ネットワーク条件情報は、十分な帯域幅を示し、ネットワーク接続制約を示さず、適応コントローラ(135)は、メディアクライアントデバイス(160A)に送信するためにN番目のオーディオ符号化構成のN番目の符号化されたビットストリームを選択することができる。
一例として、メディアクライアントデバイス(160B)は、テレビ会議において空港でユーザBによって使用されるスマートフォンである。スマートフォンは、ビデオおよびオーディオ処理について限定的な処理能力を有することがあり、テレビ会議は、ユーザ体験のために高品質オーディオを必要としない。適応コントローラ(135)は、メディアクライアントデバイス(160B)の構成を取得することができ、ネットワーク条件情報を取得することができる。メディアクライアントデバイス(160B)の構成は、オーディオ処理のための限定的な処理能力を示し、ネットワーク条件情報は、空港での限定的な帯域幅を示し、その後、適応コントローラ(135)は、メディアクライアントデバイス(160B)に送信するために、第1のオーディオ符号化構成の第1の符号化されたビットストリームを選択することができる。
幾つかの実施形態において、メディアクライアントデバイスは、様々な制約に基づいて適切なオーディオ符号化構成を選択することができ、メディアサーバデバイス(110)に相応して通知/要求することができる。次に、メディアサーバデバイス(110)は、適切なオーディオ符号化構成を使用して符号化される符号化されたビットストリームをメディアクライアントデバイスに送信する。幾つかの例では、1つ以上の制約が変化するとき、メディアクライアントデバイスは、別のオーディオ符号化構成に切り替えることを決定することができ、メディアサーバデバイス(110)に相応して通知することができる。次に、メディアサーバデバイス(110)は、他のオーディオ符号化構成に従って符号化される別の符号化されたビットストリームをメディアクライアントデバイスに送信する。
図1の例において、メディアクライアントデバイス(160A)は、メディアクライアントデバイス(160A)に関連する様々な制約に基づいて適切なオーディオ符号化構成を選択するように構成された適応コントローラ(175A)を含み、メディアクライアントデバイス(160B)は、メディアクライアントデバイス(160B)に関連する様々な制約に基づいて適切なオーディオ符号化構成を選択するように構成された適応コントローラ(175B)を含む。
一例において、適応コントローラ(175A)は、メディアクライアントデバイス(160A)の構成を取得することができ、ネットワーク条件情報を取得することができる。メディアクライアントデバイス(160A)の構成は、オーディオ処理のための十分な処理能力を示し、よって、処理能力制約を示さず、ネットワーク条件情報は、十分な帯域幅を示し、ネットワーク接続制約を示さず、次に、適応コントローラ(175A)は、例えば、N番目のオーディオ符号化構成を選択することができる。
一例において、適応コントローラ(175B)は、メディアクライアントデバイス(160B)の構成を取得することができ、ネットワーク条件情報を取得することができる。メディアクライアントデバイス(160B)の構成は、オーディオ処理のための限定的な処理能力を示し、ネットワーク条件情報は、空港での限定的な帯域幅を示し、次に、適応コントローラ(175B)は、例えば、第1のオーディオ符号化構成を選択することができる。
本開示の幾つかの態様によれば、メディアクライアントサーバ(110)に注入されるオーディオ入力は、オーディオチャネル、オーディオオブジェクト、高次アンビソニックス(HOA:higher order ambisonics)信号のセット、またはそれらの2つ以上の組み合わせのような、送信および再生のための様々なフォーマットを有することがある。
本開示の一態様によれば、シーンのオーディオコンテンツは、シーンの音場内の場所に関連するオーディオチャネルのフォーマットにあることができる。例えば、オーディオチャネルは、サウンドシステム内のスピーカと関連付けられてよい。サウンドシステムは、様々なマルチチャネル構成を有することができる。幾つかの例において、サウンドシステム内のスピーカは、上層、中間層、下層と呼ぶ、3つの垂直層において視聴者(audience)の周りに配置されてよい。
図2は、視聴者の周りの垂直3層スピーカレイアウトを示している。
本開示の一態様によれば、マルチチャネルフォーマットにあるオーディオコンテンツは、音場内の場所のための複数のオーディオチャネルを含む。
図3A~図3Cは、サウンドシステムにおける上層、中間層および下層のスピーカ構成を示している。サウンドシステムは、22.2マルチチャネルサウンドシステムによって示されており、22.2マルチチャネルオーディオコンテンツを再生することができる。22.2マルチチャネルオーディオコンテンツは、24個のオーディオチャネルを含む。一例において、24個のオーディオチャネルは、サウンドシステム内の24個のスピーカ場所に対応することができる。24個のオーディオチャネルは、2つの低周波エフェクト(LFE:low frequency effects)チャネルを含む。図3A~図3B中の小さな正方形は、スピーカ場所を表しており、小さな正方形内の数字は、スピーカ場所についての指標である。図3Aは、上層におけるスピーカ構成を示しており、図3Bは、中間層におけるスピーカ構成を示しており、図3Cは、下層におけるスピーカ構成を示している。一例において、スピーカ場所23および24は、2つのLFEチャネル用であってよい。
幾つかのサウンドシステムは、より少ない数のスピーカを有することがあり、22.2マルチチャネルオーディオコンテンツは、より少ないオーディオチャネルのオーディオコンテンツを形成するためにダウンミックスされる(down mixed)ことができる。
一例では、2.0マルチチャネルサウンドシステムによって示されるサウンドシステムは、2つのスピーカ場所を含むことがあり、22.2マルチチャネルオーディオコンテンツは、2つのスピーカ場所に対応する2つのオーディオチャネルを含む2.0マルチチャネルオーディオコンテンツを形成するためにダウンミックスされることができる。別の例では、5.1マルチチャネルサウンドシステムによって示されるサウンドシステムは、6つのスピーカ場所を含むことがあり、22.2マルチチャネルオーディオコンテンツは、6つのスピーカ場所に対応する6つのオーディオチャネルを含む5.1マルチチャネルオーディオコンテンツを形成するためにダウンミックスされることができる。別の例では、9.2マルチチャネルサウンドシステムによって示されるサウンドシステムが、11個のスピーカ場所を含むことがあり、22.2マルチチャネルオーディオコンテンツは、11個のスピーカ場所に対応する11個のオーディオチャネルを含む9.2マルチチャネルオーディオコンテンツを形成するためにダウンミックスされることができる。
より少ない数のチャネルのオーディオコンテンツは、より少ない数のビットによって表されることができ、より少ない配信およびレンダリングリソースを要求することができることに留意されたい。
本開示の別の態様によれば、シーンのオーディオコンテンツは、シーンの音場におけるサウンドソース(音源)と関連付けられる複数のオーディオオブジェクトのフォーマットにあることができる。
図4は、VRアプリケーションにおけるシーンの音場における複数のサウンドソース(411)~(415)の一例を示している。シーンのオーディオコンテンツは、サウンドソース(411)~(415)のためのオーディオオブジェクトをそれぞれ含むことができる。
別の例では、病院オーディオシーンは、医師室におけるように音場設定を有することができる。音場は、サウンドソースとして、医師、患者、テレビ、ラジオ、ドア、テーブルおよび椅子を含むことができる。よって、シーンのオーディオコンテンツは、サウンドソースのために7つのオーディオオブジェクトをそれぞれ含むことができる。例えば、第1のオーディオオブジェクトは、医師のサウンドに対応し、第2のオーディオオブジェクトは、患者のサウンドに対応し、第3のオーディオオブジェクトは、テレビのサウンドに対応し、第4のオーディオオブジェクトは、ラジオのサウンドに対応し、第5のオーディオオブジェクトは、ドアのサウンドに対応し、第6のオーディオオブジェクトは、テーブルのサウンドに対応し、第7のオーディオオブジェクトは、椅子のサウンドに対応する。
本開示の別の態様によれば、シーンのオーディオコンテンツは、HOAのセットのフォーマットにあることができる。
アンビソニック(ambisonic)は、全球サラウンドサウンドフォーマットである。水平面に加えて、アンビソニックは、聴取者の上下のサウンドソースをカバーする。アンビソニックの送信チャネルは、スピーカ信号を搬送しない。代わりに、送信チャネルは、Bフォーマットと呼ばれる音場のスピーカ非依存表現を含み、次に、それはスピーカセットアップに従って復号化される。アンビソニックは、再生がラウドスピーカ位置ではなくソース方向に関して考えることを可能にし、再生のために使用されるスピーカのレイアウトおよび数についてのかなりの程度の柔軟性を視聴者に提供する。
一例では、一次アンビソニックが、高さおよび深さについての追加的な差分チャネル(difference channels)を追加する、中(mid)/側(side)(M/S)ステレオの三次元拡張として理解されることができる。結果として得られた信号セットは、Bフォーマットと呼ばれ、音圧についてW(M/SにおけるM)とラベル付けされ、前方マイナス後方(front-minus-back)音圧勾配についてXとラベル付けされ、左マイナス右(left-minus-right)についてY(M/SにおけるS)とラベル付けされ、上下(up-minus-down)についてZとラベル付けされる、4つのコンポーネントチャネルを含む。
高次アンビソニックを使用することによって一次アンビソニックの空間分解能を改良することができる。例えば、一次アンビソニックは、僅かにぼやけたソースを有するが、比較的小さな使用可能な視聴エリアまたはスイートスポットに及ぶ。より選択的な指向性成分のグループをBフォーマットに加えることによって、空間分解能を増加させることができ、スイートスポットを拡大することができる。その場合、結果として得られた信号セットは、二次アンビソニック、三次アンビソニック、または集合的に高次アンビソニック(HOA)と呼ばれる。一般に、高次アンビソニックのセットは、低次アンビソニックのセットに加えて、より選択的な指向性成分を含む。
本開示の幾つかの態様によれば、メディアサーバデバイス(110)へのオーディオ入力は、(オーディオ符号化構成に対応する)幾つかの異なるビットレートで符号化されることができる。幾つかの例において、メディアクライアントサーバ(110)は、異なるビットレートの符号化されたビットストリーム間で選択するか或いは切り替えることができる。幾つかの例において、メディアクライアントデバイス(160A)および(160B)のようなメディアクライアントデバイスは、異なるビットレートの符号化されたビットストリーム間で選択するか或いは切り替えることができる。例えば、選択または切り替えは、利用可能なリソース(例えば、処理能力、ネットワーク帯域幅)、および/またはユーザ嗜好、および同等のものに依存することができる。
幾つかの実施態様において、オーディオ入力は、オーディオチャネルのフォーマットにあるオーディオコンテンツを含む。オーディオチャネルは、幾つかの異なるビットレートで符号化される。例えば、オーディオチャネルは、第1の符号化されたビットストリームを形成するために(第1のオーディオ符号化構成に対応する)第1のビットレートで符号化され、オーディオチャネルは、第2の符号化されたビットストリームを形成するために(第2のオーディオ符号化構成に対応する)第2のビットレートで符号化されなどである。幾つかの例において、メディアクライアントサーバ(110)は、(異なるオーディオ符号化構成に対応する)異なるビットレートの符号化されたビットストリーム間で選択するか或いは切り替えることができる。幾つかの例において、メディアクライアントデバイス(160A)および(160B)のようなメディアクライアントデバイスは、(異なるオーディオ符号化構成に対応する)異なるビットレートの符号化されたビットストリーム間で選択するか或いは切り替えることができる。例えば、選択または切り替えは、利用可能なリソース(例えば、処理能力、ネットワーク帯域幅)、および/またはユーザ嗜好、および同等のものに依存することができる。
幾つかの実施形態において、オーディオ入力は、オーディオオブジェクトのフォーマットにあるオーディオコンテンツを含む。オーディオオブジェクトは、幾つかの異なるビットレートで符号化される。例えば、オーディオオブジェクトは、第1の符号化されたビットストリームを形成するために、(第1のオーディオ符号化構成に対応する)第1のビットレートで符号化され、オーディオオブジェクトは、第2のビットレートで第2の符号化されたビットストリームを形成するために、(第2のオーディオエンコード構成に対応する)第2のビットレートで符号化される。幾つかの例において、メディアクライアントサーバ(110)は、(異なるオーディオ符号化構成に対応する)異なるビットレートの符号化されたビットストリームを選択するか或いは切り替えることができる。幾つかの例において、メディアクライアントデバイス(160A)および(160B)のようなメディアクライアントデバイスは、(異なるオーディオ符号化構成に対応する)異なるビットレートの符号化されたビットストリーム間で選択するか或いは切り替えることができる。例えば、選択または切り替えは、利用可能なリソース(例えば、処理能力、ネットワーク帯域幅)、および/またはユーザ嗜好、および同等のものに依存することができる。
幾つかの実施形態において、オーディオ入力は、二次アンビソニック信号のセット、三次アンビソニック信号のセット、四次アンビソニック信号のセット、および同等のもののような、HOA信号のセットのフォーマットにあるオーディオコンテンツを含む。HOAフォーマットにあるオーディオコンテンツは、幾つかの異なるビットレートで符号化される。例えば、HOAフォーマットのオーディオコンテンツは、第1の符号化されたビットストリームを形成するために、(第1のオーディオ符号化構成に対応する)第1のビットレートで符号化され、HOAフォーマットのオーディオコンテンツは、第2のビットレートで第2の符号化されたビットストリームを形成するために、(第2のオーディオ符号化構成に対応する)第2のビットレートで符号化される。幾つかの例において、メディアクライアントサーバ(110)は、(異なるオーディオ符号化構成に対応する)異なるビットレートの符号化されたビットストリーム間で選択するか或いは切り替えることができる。幾つかの例において、メディアクライアントデバイス(160A)および(160B)のようなメディアクライアントデバイスは、(異なるオーディオ符号化構成に対応する)異なるビットレートの符号化ビットストリーム間で選択するか或いは切り替えることができる。例えば、選択または切り替えは、利用可能なリソース(例えば、処理能力、ネットワーク帯域幅)、および/またはユーザ嗜好、および同等のものに依存することができる。
幾つかの実施形態では、品質識別子(ID)がビットレートで割り当てられる。メディアサーバデバイス(110)またはコンテンツ作成者は、品質IDを使用して、オーディオ入力を配信のために符号化されたビットストリームに符号化するためにどのビットレートを使用するかを示すことができる。メディアクライアントデバイス(160A)またはメディアクライアントデバイス(160B)のようなメディアクライアントデバイスは、利用可能なリソース(例えば、処理能力、ネットワーク帯域幅)、および/またはユーザ嗜好、および同等のものに基づいて、特定の品質IDを要求することができる。
オーディオシーンのオーディオコンテンツは、オーディオチャネル、オーディオオブジェクト、HOAなどをミキシングする混合されたフォーマットにあり得ることに留意されたい。幾つかの例では、オーディオコンテンツが、オーディオチャネル、オーディオオブジェクト、およびHOAのうちの2つ以上のものの混合されたフォーマットであるとき、符号化ビットレートが、オーディオチャネル、オーディオオブジェクト、またはHOA信号に別々に適用されてよい。幾つかの例では、オーディオコンテンツが、オーディオチャネル、オーディオオブジェクト、およびHOAのうちの2つ以上のものの混合されたフォーマットであるとき、符号化ビットレートは、オーディオチャネル、オーディオオブジェクト、およびHOA信号の組み合わせに適用されてよい。
本開示の幾つかの態様によれば、メディアサーバデバイス(110)へのオーディオ入力中のオーディオコンテンツは、幾つかのカテゴリ化層に分類されることができる。幾つかの例において、各カテゴリ化層は、オーディオ入力中のオーディオコンテンツの一部を含むことができる。幾つかの例では、より高いカテゴリ化層は、より低いカテゴリ化層と、オーディオ入力中のオーディオコンテンツの追加部分とを含むことができる。よって、カテゴリ化層は、オーディオ符号化構成におけるパラメータであることができる。幾つかの例において、メディアクライアントサーバ(110)は、(オーディオ符号化構成に対応する)異なるカテゴリ化層の符号化されたビットストリーム間で選択するか或いは切り替えることができる。幾つかの例において、メディアクライアントデバイス(160A)および(160B)のようなメディアクライアントデバイスは、(オーディオ符号化構成に対応する)異なるカテゴリ化層の符号化されたビットストリーム間で選択するか或いは切り替えることができる。例えば、選択または切り替えは、利用可能なリソース(例えば、処理能力、ネットワーク帯域幅)、および/またはユーザ嗜好、および同等のものに依存することができる。
幾つかの実施態様において、オーディオ入力は、オーディオチャネルのフォーマットにあるオーディオコンテンツを含む。オーディオチャネルは、幾つかのカテゴリ化層に分類されることができる。
例えば、オーディオ入力は、22.2マルチチャネルオーディオコンテンツのフォーマットにあるオーディオコンテンツを含む。例えば、22.2マルチチャネルオーディオコンテンツは、4つのカテゴリ化層、すなわち、2.0マルチチャネルオーディオコンテンツの第1のカテゴリ化層、5.1マルチチャネルオーディオコンテンツの第2のカテゴリ化層、9.2マルチチャネルオーディオコンテンツの第3のカテゴリ化層、および22.2マルチチャネルオーディオコンテンツの第4のカテゴリ化層に分類されることができる。2.0マルチチャネルオーディオコンテンツは、(第1のオーディオ符号化構成の)第1の符号化されたビットストリームに符号化されることができ、5.1マルチチャネルオーディオコンテンツは、(第2のオーディオ符号化構成の)第2の符号化されたビットストリームに符号化されることができ、9.2マルチチャネルオーディオコンテンツは、(第3のオーディオ符号化構成の)第3の符号化されたビットストリームに符号化されることができ、22.2マルチチャネルオーディオコンテンツは、(第4のオーディオ符号化構成の)第4の符号化されたビットストリームに符号化されることができる。
幾つかの例において、メディアクライアントサーバ(110)は、異なるカテゴリ化層の符号化されたビットストリーム間で選択するか或いは切り替えることができる。幾つかの例において、メディアクライアントデバイス(160A)および(160B)のようなメディアクライアントデバイスは、異なるカテゴリ化層の符号化されたビットストリーム間で選択するか或いは切り替えることができる。例えば、選択または切り替えは、利用可能なリソース(例えば、処理能力、ネットワーク帯域幅)、および/またはユーザ嗜好、および同等のものに依存することができる。
上記記述は、オーディオチャネルカテゴリ化の一例である。22.2マルチチャネルオーディオコンテンツは、幾つかの例において、上記記述とは異なって分類され得ることに留意されたい。
別の実施形態において、オーディオオブジェクトは、幾つかのカテゴリ化層に分類される。病院のオーディオシーンを例にとると、病院のオーディオシーンのオーディオコンテンツは、サウンドソースのためのそれぞれ7つのオーディオオブジェクト、すなわち、医師のサウンドに対応する第1のオーディオオブジェクト、患者のサウンドに対応する第2のオーディオオブジェクト、テレビのサウンドに対応する第3のオーディオオブジェクト、ラジオのサウンドに対応する第4のオーディオオブジェクト、ドアのサウンドに対応する第5のオーディオオブジェクト、テーブルのサウンドに対応する第6のオーディオオブジェクト、および椅子のサウンドに対応する第7のオーディオオブジェクトを含むことができる。
一例において、7つのオーディオオブジェクトは、第3のカテゴリ化層に分類されることができる。第1のカテゴリ化層は、医師のサウンドに対応する第1のオーディオオブジェクトと、患者のサウンドに対応する第2のオーディオオブジェクトとを含む。第2のカテゴリ化層は、医師のサウンドに対応する第1のオーディオオブジェクトと、患者のサウンドに対応する第2のオーディオオブジェクトと、テレビのサウンドに対応する第3のオーディオオブジェクトと、ラジオのサウンドに対応する第4のオーディオオブジェクトとを含む。第3のカテゴリ化層は、医師のサウンドに対応する第1のオーディオオブジェクトと、患者のサウンドに対応する第2のオーディオオブジェクトと、テレビのサウンドに対応する第3のオーディオオブジェクトと、ラジオのサウンドに対応する第4のオーディオオブジェクトと、ドアのサウンドに対応する第5のオーディオオブジェクトと、テーブルのサウンドに対応する第6のオーディオオブジェクトと、椅子のサウンドに対応する第7のオーディオオブジェクトとを含む。
第1のカテゴリ化層は、(第1のオーディオ符号化構成の)第1の符号化されたビットストリームに符号化されることができ、第2のカテゴリ化層は、(第2のオーディオ符号化構成の)第2の符号化されたビットストリームに符号化されることができ、第3のカテゴリ化層は、(第3のオーディオ符号化構成の)第3の符号化されたビットストリームに符号化されることができる。幾つかの例において、メディアクライアントサーバ(110)は、異なるカテゴリ化層の符号化されたビットストリーム間で選択するか或いは切り替えることができる。幾つかの例において、メディアクライアントデバイス(160A)および(160B)のようなメディアクライアントデバイスは、異なるカテゴリ化層の符号化されたビットストリーム間で選択するか或いは切り替えることができる。例えば、選択または切り替えは、利用可能なリソース(例えば、処理能力、ネットワーク帯域幅)、および/またはユーザ嗜好、および同等のものに依存することができる。
上記記述は、オーディオオブジェクトのカテゴリ化の一例である。オーディオオブジェクトを有するオーディオシーンは、幾つかの例において、上記記述とは異なって分類され得ることに留意されたい。
別の実施形態では、HOA信号は、異なる順序に従って幾つかのカテゴリ化層に分類される。一例において、4次のHOA信号のセットは、4つのカテゴリ化層に分類されることができる。第1のカテゴリ化層は、一次のHOA信号のセットを含む。第2のカテゴリ化層は、二次のHOA信号のセットを含む。第3のカテゴリ化層は、三次のHOA信号のセットを含む。第4のカテゴリ化層は、四次のHOA信号のセットを含む。
第1のカテゴリ化層は、(第1のオーディオ符号化構成の)第1の符号化されたビットストリームに符号化されることができ、第2のカテゴリ化層は、(第2のオーディオ符号化構成の)第2の符号化されたビットストリームに符号化されることができ、第3のカテゴリ化層は、(第3のオーディオ符号化構成の)第3の符号化されたビットストリームに符号化されることができ、第4のカテゴリ化層は、(第4のオーディオ符号化構成の)第4の符号化されたビットストリームに符号化されることができる。幾つかの例において、メディアクライアントサーバ(110)は、(異なるオーディオ符号化構成に対応する)異なるカテゴリ化層の符号化されたビットストリーム間で選択するか或いは切り替えることができる。幾つかの例では、メディアクライアントデバイス(160A)および(160B)のようなメディアクライアントデバイスは、(異なるオーディオ符号化構成に対応する)異なるカテゴリ化層の符号化されたビットストリーム間で選択するか或いは切り替えることができる。例えば、選択または切り替えは、利用可能なリソース(例えば、処理能力、ネットワーク帯域幅)、および/またはユーザ嗜好、および同等のものに依存することができる。
上記記述は、HOAカテゴリ化の一例である。HOA信号は、幾つかの例において上記記述とは異なって分類され得ることに留意されたい。
幾つかの実施形態において、層識別子(ID)は、オーディオ入力のカテゴリ化層のために割り当てられることができる。サーバデバイスまたはコンテンツ作成者は、層IDを使用して、オーディオ入力のどの層が配信されるかを示すことができ、クライアントデバイスは、利用可能なリソースおよび/またはユーザ嗜好などに基づいて、特定の層IDを要求することができる。
オーディオシーンのオーディオコンテンツは、オーディオチャネル、オーディオオブジェクト、HOAなどをミキシングする混合されたフォーマットにあり得ることに留意されたい。幾つかの例では、オーディオコンテンツが、オーディオチャネル、オーディオオブジェクト、およびHOAのうちの2つ以上のものの混合されたフォーマットにあるとき、カテゴリ化層は、オーディオチャネル、オーディオオブジェクト、またはHOA信号に従って別々に決定されてよい。幾つかの例では、オーディオコンテンツが、オーディオチャネル、オーディオオブジェクト、およびHOAのうちの2つ以上のものの混合されたフォーマットであるとき、カテゴリ化層は、オーディオチャネル、オーディオオブジェクト、およびHOA信号の組み合わせに基づいて決定されてよい。
図5は、本開示の一実施形態によるプロセス(500)を概説するフローチャートを示している。プロセス(500)は、メディアクライアントデバイス(160A)および(160B)に使用されるような、オーディオ処理のためのクライアントデバイスにおいて使用されることができ、処理回路(170A)および処理回路(170B)、および同等のものによって実行されることができる。幾つかの実施形態において、プロセス(500)は、ソフトウェア命令において実装され、よって、処理回路構成がソフトウェア命令を実行するとき、処理回路構成は、プロセス(500)を実行する。プロセスは、(S5301)で始まり、(S510)に進む。
(S510)で、選択信号がクライアントデバイスによって送信される。選択信号は、オーディオ入力中のオーディオコンテンツを符号化するためのオーディオ符号化構成を示す。
幾つかの例において、オーディオ符号化構成は、オーディオコンテンツを符号化するためのビットレートを含む。幾つかの例において、オーディオ符号化構成は、オーディオ入力のオーディオコンテンツの一部に対応するカテゴリ化層を含む。
一例では、オーディオ符号化構成と関連付けられる識別子(例えば、品質識別子、カテゴリ化識別子)が送信される。
一例において、選択信号は、クライアントデバイスのメディア処理能力、クライアントデバイスのネットワーク接続、およびクライアントデバイスのユーザによる嗜好入力のうちの少なくとも1つに従って決定される。
(S520)で、符号化されたビットストリームが、選択信号の送信に応答して受信される。符号化されたビットストリームは、オーディオ符号化構成に従って符号化されるオーディオコンテンツを含む。
幾つかの例において、オーディオ符号化構成は、ビットレートを含む。一例において、符号化されたビットストリームは、ビットレートに従って符号化される複数のオーディオチャネルを含む。別の例において、符号化されたビットストリームは、ビットレートに従って符号化される複数のオーディオオブジェクトを含む。別の例において、符号化されたビットストリームは、ビットレートに従って符号化されるオーディオ高次アンビソニック(HOA)信号のセットを含む。
幾つかの例において、オーディオ符号化構成は、カテゴリ化層を含む。一例において、符号化されたビットストリームは、オーディオ入力のオーディオコンテンツ中のオーディオチャネルのサブセットを含む(そのようなサブセットに基づいて符号化される)。オーディオチャネルのサブセットは、カテゴリ化層に対応する。別の例において、符号化されたビットストリームは、オーディオ入力のオーディオコンテンツ中のオーディオオブジェクトのサブセットを含む(そのようなサブセットに基づいて符号化される)。オーディオオブジェクトのサブセットは、カテゴリ化層に対応する。別の例において、符号化されたビットストリームは、オーディオ入力のオーディオコンテンツ中のHOA信号の低減された次数のセットを含む(そのようなセットに基づいて符号化される)。HOA信号の低減された次数のセットは、カテゴリ化層に対応する。
(S530)で、オーディオ信号は、符号化されたビットストリームに従ってレンダリングされる。次に、プロセスは、(S599)に進み、終了する。
プロセス(500)は、適切に適合されることができる。プロセス(500)におけるステップは、修正および/または省略されることができる。追加的なステップを追加することができる。任意の適切な順序の実装を使用することができる。
図6は、本開示の一実施形態によるプロセス(600)の概説するフローチャートを示している。プロセス(600)は、メディアサーバデバイス(110)において使用されるようなオーディオ処理のためのサーバデバイスにおいて使用されることができ、処理回路(130)および同等のものによって実行されることができる。幾つかの実施形態において、プロセス(600)は、ソフトウェア命令において実装され、よって、処理回路構成がソフトウェア命令を実行するとき、処理回路構成は、プロセス(600)を実行する。プロセスは、(S601)で開始し、(S610)に進む。
(S610)で、サーバデバイスは、クライアントデバイス(例えば、メディアクライアントデバイス(160A)、メディアクライアントデバイス(160B)、および同等のもの)について、オーディオ入力中のオーディオコンテンツを符号化するためのオーディオ符号化構成を決定する。
幾つかの例において、オーディオ符号化構成は、オーディオコンテンツを符号化するためのビットレートを含む。幾つかの例において、オーディオ符号化構成は、オーディオ入力のオーディオコンテンツ中の一部に対応するカテゴリ化層を含む。
幾つかの例において、サーバデバイスは、クライアントデバイスのメディア処理能力、クライアントデバイスのネットワーク接続、および嗜好入力のうちの少なくとも1つに従って、オーディオ符号化構成を決定する。
(S620)で、サーバデバイスは、オーディオ符号化構成に従って符号化されるオーディオコンテンツを含む符号化されたビットストリームを取得する。
幾つかの例において、オーディオ符号化構成は、ビットレートを含む。一例において、符号化されたビットストリームは、ビットレートに従って符号化される複数のオーディオチャネルを含む。別の例において、符号化されたビットストリームは、ビットレートに従って符号化される複数のオーディオオブジェクトを含む。別の例において、符号化されたビットストリームは、ビットレートに従って符号化されるオーディオ高次アンビソニック(HOA)信号のセットを含む。
幾つかの例において、オーディオ符号化構成は、カテゴリ化層を含む。一例において、符号化されたビットストリームは、オーディオ入力のオーディオコンテンツ中のオーディオチャネルのサブセットを含む(そのようなサブセットに基づいて符号化される)。オーディオチャネルのサブセットは、カテゴリ化層に対応する。別の例において、符号化されたビットストリームは、オーディオ入力のオーディオコンテンツ中のオーディオオブジェクトのサブセットを含む(そのようなサブセットに基づいて符号化される)。オーディオオブジェクトのサブセットは、カテゴリ化層に対応する。別の例において、符号化されたビットストリームは、オーディオ入力のオーディオコンテンツ中のHOA信号の低減された次数のセットを含む(そのようなセットに基づいて符号化される)。HOA信号の減少された次数のセットは、カテゴリ化層に対応する。
(S630)で、符号化されたビットストリームは、クライアントデバイスに送信される。幾つかの例において、サーバデバイスは、オーディオ入力のオーディオコンテンツを符号化するために使用されるオーディオ符号化構成を示す識別子(ID)(例えば、品質識別子、カテゴリ化層識別子、および同等のもの)も送信する。
次に、プロセスは、(S699)に進み、終了する。
プロセス(600)は、適切に適合されることができる。プロセス(600)におけるステップは、修正および/または省略されることができる。追加的なステップを追加することができる。任意の適切な順序の実装を使用することができる。
上述の技術は、コンピュータ読取可能命令を用いてコンピュータソフトウェアとして実装されることができ、1つ以上のコンピュータ読取可能媒体に物理的に格納されることができる。例えば、図7は、開示する主題の特定の実施形態を実装するのに適したコンピュータシステム(700)を示している。
コンピュータソフトウェアは、直接的に或いは1つ以上のコンピュータ中央処理ユニット(CPU)、グラフィックス処理ユニット(GPU)および同等物による解釈、マイクロコード実行および同等のことを通じて実行されることができる命令を含むコードを作成するために、アセンブリ、コンパイル、リンクまたは類似のメカニズムの対象となることがある、任意の適切な機械コードまたはコンピュータ言語を使用して、コーディングされることができる。
命令は、例えば、パーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲームデバイス、モノのインターネットデバイス、および同等物を含む、様々なタイプのコンピュータまたはそれらのコンポーネント上で実行されることができる。
コンピュータシステム(700)について図7に示すコンポーネントは、例示的な性質のものであり、本開示の実施形態を実装するコンピュータソフトウェアの使用範囲または機能性についての如何なる制限を示唆することも意図していない。コンポーネントの構成は、コンピュータシステム(700)の例示的な実施形態に示すコンポーネントの任意の1つまたは組み合わせに関する如何なる従属性または要件を有するものとして解釈されてもならない。
コンピュータシステム(700)は、特定のヒューマンインターフェース入力デバイスを含むことがある。そのようなヒューマンインターフェース入力デバイスは、例えば、(キーストローク、スワイプ、データグローブの動きのような)触覚入力、(音声(voice)、拍手のような)可聴入力、(ジェスチャのような)視覚入力、嗅覚入力(図示せず)を通じて、1人以上の人間ユーザによる入力に応答することがある。ヒューマンインターフェースデバイスは、(発話、音楽、周囲サウンドのような)オーディオ、(スキャンされた画像、静止画像カメラから得られる写真画像のような)画像、(例えば、二次元ビデオ、立体視ビデオを含む三次元ビデオのような)ビデオのような、人間による意識的な入力に必ずしも直接的に関係しない特定のメディアを取り込むために使用されることもできる。
入力ヒューマンインターフェースデバイスは、キーボード(701)、マウス(702)、トラックパッド(703)、タッチスクリーン(710)、データグローブ(図示せず)、ジョイスティック(705)、マイクロホン(706)、スキャナ(707)、カメラ(708)のうちの1つ以上(各々1つだけが描かれている)を含んでよい。
コンピュータシステム(700)は、特定のヒューマンインターフェース出力デバイスを含んでもよい。そのようなヒューマンインターフェース出力デバイスは、例えば、触覚出力、サウンド、光、および嗅覚/味覚を通じて、1人以上の人間ユーザの感覚を刺激することがある。そのようなヒューマンインターフェース出力デバイスは、触覚出力デバイス(例えば、タッチスクリーン(710)、データグローブ(図示せず)、またはジョイスティック(705)による触覚フィードバックであるが、入力デバイスとして機能しない触覚フィードバックデバイスもある)、(スピーカ(709)、ヘッドフォン(図示せず)のような)オーディオ出力デバイス、(各々がタッチスクリーン入力能力を持つか或いは持たない、各々が触覚フィードバック能力を持つか或いは持たない、それらの一部は、立体出力、仮想現実ガラス(図示せず)、ホログラフィックディスプレイおよびスモークタンク(図示せず)およびプリンタ(図示せず)のような手段を通じて、二次元視覚出力または三次元よりも多くの次元の出力を出力し得ることがある、CRTスクリーン、LCDスクリーン、プラズマスクリーン、OLEDスクリーンを含む、スクリーン(710)のような)視覚出力デバイスを含むことがある。
コンピュータシステム(700)は、人間がアクセス可能な記憶デバイスや、CD/DVDまたは同等物を備えるCD/DVD ROM/RW(720)、サムドライブ(722)、取り外し可能なハードドライブまたはソリッドステートドライブ(723)、テープおよびフロッピーディスク(図示せず)のようなレガシー磁気媒体、セキュリティドングル(図示せず)のような特殊化されたROM/ASIC/PLDベースのデバイス、および同等物を含む、光媒体のような、それらの関連する媒体も含むことができる。
当業者は、現在開示されている主題に関連して使用されるような「コンピュータ可読媒体」という用語が、送信媒体、搬送波、または他の過渡信号を包含しないことも理解するはずである。
コンピュータシステム(700)は、1つ以上の通信ネットワーク(755)へのインターフェース(754)を含むこともできる。ネットワークは、例えば、無線、有線、光であることができる。ネットワークは、更に、ローカル、ワイドエリア、メトロポリタン、車両および産業、リアルタイム、遅延耐性等であることができる。ネットワークの例は、イーサネット、無線LANのようなローカルエリアネットワーク、GSM、3G、4G、5G、LTEおよび同等のものを含むセルラネットワーク、ケーブルTV、衛星TV、および地上放送TVを含むTV有線または無線ワイドエリアデジタルネットワーク、CANBusを含む車両および産業などを含む。特定のネットワークは、一般に、(例えば、コンピュータシステム(700)のUSBポートのような)特定の汎用データポートまたは周辺バス(749)に取り付けられる外部ネットワークインターフェースアダプタを必要とし、他のネットワークは、一般に、以下に記載するようなシステムバスへの取り付けによって、コンピュータシステム(700)のコアに統合される(例えば、PCコンピュータシステムへのイーサネットインターフェースまたはスマートフォンコンピュータシステムへのセルラネットワークインターフェース)。これらのネットワークのいずれかを使用して、コンピュータシステム(700)は、他のエンティティと通信することができる。そのような通信は、単指向性、受信のみ(例えば、放送テレビ)、単指向性送信のみ(例えば、特定のCANbusデバイスへのCANbus)、または、例えば、ローカルまたはワイドエリアデジタルネットワークを使用する他のコンピュータシステムへの、双指向性であることができる。特定のプロトコルおよびプロトコルスタックは、上述のように、それらのネットワークおよびネットワークインターフェースの各々で使用されることができる。
前述のヒューマンインターフェースデバイス、人間がアクセス可能な記憶デバイス、およびネットワークインターフェースは、コンピュータシステム(700)のコア(740)に取り付けられることができる。
コア(740)は、1つ以上の中央処理装置(CPU)(741)、グラフィックス処理装置(GPU)(742)、フィールドプログラマブルゲートエリア(FPGA)(743)の形態の特殊化されたプログラマブル処理装置、特定のタスクのためのハードウェアアクセラレータ(744)、グラフィックスアダプタ(750)などを含むことができる。これらのデバイスは、読出し専用メモリ(ROM)(745)、ランダムアクセスメモリ(746)、内部ユーザアクセス可能でないハードドライブのような内部大容量記憶装置、SSD、および同等物(747)と共に、システムバス(748)を通じて接続されてよい。幾つかのコンピュータシステムにおいて、システムバス(748)は、追加のCPU、GPU、および同等物による拡張を可能にするために、1つ以上の物理プラグの形態でアクセス可能であることができる。周辺デバイスは、コアのシステムバス(748)に直接的に取り付けられることができ、或いは周辺バス(749)を通じて取り付けられることができる。一例において、スクリーン(710)は、グラフィックスアダプタ(750)に接続されることができる。周辺バスのためのアーキテクチャは、PCI、USB、および同等物を含む。
CPU(741)、GPU(742)、FPGA(743)、およびアクセラレータ(744)は、組み合わせにおいて、上述のコンピュータコードを構成することができる、特定の命令を実行することができる。そのコンピュータコードは、ROM(745)またはRAM(746)に格納されることができる。移行データも、RAM(746)に格納されることができるのに対し、永久データは、例えば、内部大容量記憶装置(747)に格納されることができる。1つ以上のCPU(741)、GPU(742)、大容量記憶装置(747)、ROM(745)、RAM(746)、および同等物と密接に関連付けられることができるキャッシュメモリの使用を通じて、メモリデバイスのいずれかへの高速格納および検索を可能にすることができる。
コンピュータ読取可能媒体は、様々なコンピュータ実装動作を実行するためのコンピュータコードをその上に有することができる。媒体およびコンピュータコードは、本開示の目的のために特別に設計および構築されたものであることができ、或いは、それらは、コンピュータソフトウェア技術の当業者によく知られており且つ利用可能である種類のものであることができる。
一例として、限定によってではなく、アーキテクチャ(700)、具体的には、コア(740)を有する、コンピュータシステムは、1つ以上の有形のコンピュータ読取可能媒体において具現されるソフトウェアを実行する(CPU、GPU、FPGA、アクセラレータ、および同等物を含む)プロセッサの結果としての機能性を提供することができる。そのようなコンピュータ読取可能媒体は、上述のようなユーザアクセス可能な大容量記憶装置と関連付けられる媒体、並びにコア内部大容量記憶装置(747)またはROM(745)のような非一時的な性質を有するコア(740)の特定の記憶装置であってよい。本開示の様々な実施形態を実装するソフトウェアは、そのようなデバイスに格納されることができ、コア(740)によって実行されることができる。コンピュータ読取可能媒体は、特定のニーズに従って、1つ以上のメモリデバイスまたはチップを含むことができる。ソフトウェアは、コア(740)、特にコア内の(CPU、GPU、FPGA、および同等物を含む)プロセッサに、RAM(746)に格納されるデータ構造を定義ことと、ソフトウェアによって定義されるプロセスに従ってそのようなデータ構造を修正することとを含む、本明細書に記載する特定のプロセスまたは特定のプロセスの特定の部分を実行させることができる。追加的にまたは代替的に、コンピュータシステムは、回路内に配線された或いは他の方法で具現されたロジック(論理)の結果として機能性(例えば、アクセラレータ(744))を提供することができ、それは、本明細書に記載する特定のプロセスまたは特定のプロセスの特定の部分を実行するためにソフトウェアの代わりに或いはソフトウェアと共に作動することができる。ソフトウェアへの言及は、ロジックを含み、必要に応じて、その逆も同様である。コンピュータ読取可能媒体への言及は、実行のためのソフトウェアを格納する(集積回路(IC)のような)回路、実行のためのロジックを具現する回路、または適切な場合にはそれらの両方を含むことができる。本開示は、ハードウェアおよびソフトウェアの任意の適切な組み合わせを含む。
この開示は幾つかの例示的な実施形態を記載したが、本開示の範囲内にある変更、置換、および様々な代替的な均等物がある。よって、当業者は、本明細書に明示的に示されていないか或いは記載されていないが、本開示の原理を具現し、よって、本開示の精神および範囲内にある、数多くのシステムおよび方法を考案することができることが理解されるであろう。

Claims (21)

  1. クライアントデバイスでオーディオ処理する方法であって、
    オーディオ入力中のオーディオコンテンツを符号化するためのオーディオ符号化構成を示す選択信号をサーバデバイスに送信することと、
    前記選択信号の送信に応答して前記オーディオ符号化構成に従って符号化される前記オーディオコンテンツを含む符号化されたビットストリームを前記サーバデバイスから受信することと、
    前記符号化されたビットストリームに基づいてオーディオ信号をレンダリングすることと、を含む、
    方法。
  2. 前記選択信号を送信することは、
    前記オーディオコンテンツを符号化するためのビットレートを示す前記選択信号を送信することを更に含む、
    請求項1に記載の方法。
  3. 前記符号化されたビットストリームを受信することは、
    前記ビットストリームに従って符号化される1つ以上のオーディオチャネルを含む前記符号化されたビットストリームを受信することを更に含む、
    請求項2に記載の方法。
  4. 前記符号化されたビットストリームを受信することは、
    前記ビットレートに従って符号化される1つ以上のオーディオオブジェクトを含む前記符号化されたビットストリームを受信することを更に含む、
    請求項2に記載の方法。
  5. 前記符号化されたビットストリームを受信することは、
    前記ビットレートに従って符号化されるオーディオ高次アンビソニックス(HOA)信号を含む前記符号化されたビットストリームを受信することを更に含む、
    請求項2に記載の方法。
  6. 前記選択信号を送信することは、
    前記オーディオ入力中の前記オーディオコンテンツの一部分に対応するカテゴリ化層を示す前記選択信号を送信することを更に含む、
    請求項1に記載の方法。
  7. 前記符号化されたビットストリームを受信することは、
    前記オーディオ入力の前記オーディオコンテンツ中のオーディオチャネルのサブセットに基づいて符号化される前記符号化されたビットストリームを受信することを更に含む、
    請求項6に記載の方法。
  8. 前記符号化されたビットストリームを受信することは、
    前記オーディオ入力の前記オーディオコンテンツ中のオーディオオブジェクトのサブセットに基づいて符号化される前記符号化されたビットストリームを受信することを更に含む、
    請求項6に記載の方法。
  9. 前記符号化されたビットストリームを受信することは、
    前記オーディオ入力の前記オーディオコンテンツ中の高次アンビソニックス(HOA)信号の減少された次数のセットに基づいて符号化される前記符号化されたビットストリームを受信することを更に含む、
    請求項6に記載の方法。
  10. 前記選択信号を送信することは、
    前記オーディオ符号化構成と関連付けられる識別子を送信することを更に含む、
    請求項1に記載の方法。
  11. 前記クライアントデバイスのメディア処理能力、前記クライアントデバイスのネットワーク接続、および嗜好入力のうちの少なくとも1つに従って、前記選択信号を決定することを更に含む、
    請求項1に記載の方法。
  12. 処理回路構成を含む、オーディオ処理のための装置であって、
    前記処理回路構成は、
    オーディオ入力中のオーディオコンテンツを符号化するためのオーディオ符号化構成を示す選択信号をサーバデバイスに送信し、
    前記選択信号を送信することに応答して、前記オーディオ符号化構成に従って符号化される前記オーディオコンテンツを含む符号化されたビットストリームを、前記サーバデバイスから受信し、
    前記符号化されたビットストリームに基づいてオーディオ信号をレンダリングする、
    ように構成される、
    装置。
  13. 前記処理回路構成は、
    前記オーディオコンテンツを符号化するためのビットレートを示す前記選択信号を送信する
    ように更に構成される、
    請求項12に記載の装置。
  14. 前記処理回路構成は、
    前記ビットレートに従って符号化される1つ以上のオーディオチャネルを含む前記符号化されたビットストリームを受信する
    ように構成される、
    請求項13に記載の装置。
  15. 前記処理回路構成は、
    記ビットレートに従って符号化される1つ以上のオーディオオブジェクトを含む前記符号化されたビットストリームを受信する
    ように構成される、
    請求項13に記載の装置。
  16. 前記処理回路構成は、
    前記ビットレートに従って符号化されるオーディオ高次アンビソニックス(HOA)信号を含む前記符号化されたビットストリームを受信する
    ように構成される、
    請求項13に記載の装置。
  17. 前記処理回路構成は、
    前記オーディオ入力中の前記オーディオコンテンツの一部分に対応するカテゴリ化層を示す前記選択信号を送信する
    ように構成される、
    請求項12に記載の装置。
  18. 前記処理回路構成は、
    前記オーディオ入力の前記オーディオコンテンツ中のオーディオチャネルのサブセットに基づいて符号化される前記符号化されたビットストリームを受信する
    ように構成される、
    請求項17に記載の装置。
  19. 前記処理回路構成は、
    前記オーディオ入力の前記オーディオコンテンツ中のオーディオオブジェクトのサブセットに基づいて符号化される前記符号化されたビットストリームを受信する
    ように構成される、
    請求項17に記載の装置。
  20. 前記処理回路構成は、
    前記オーディオ入力の前記オーディオコンテンツ中の高次アンビソニックス(HOA)信号の減少された次数のセットに基づいて符号化される前記符号化されたビットストリームを受信する
    ように構成される、
    請求項17に記載の装置。
  21. 命令を格納する非一時的なコンピュータ読取可能媒体コンピュータであって、前記命令は、コンピュータによって実行されるときに、前記コンピュータに請求項1-11に記載の方法を実行させる、非一時的なコンピュータ読取可能媒体。
JP2022566186A 2021-06-02 2022-06-02 適応オーディオ配信およびレンダリング Active JP7505029B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202163196066P 2021-06-02 2021-06-02
US63/196,066 2021-06-02
US17/828,755 2022-05-31
US17/828,755 US20220391167A1 (en) 2021-06-02 2022-05-31 Adaptive audio delivery and rendering
PCT/US2022/072731 WO2022256828A1 (en) 2021-06-02 2022-06-02 Adaptive audio delivery and rendering

Publications (2)

Publication Number Publication Date
JP2023533414A true JP2023533414A (ja) 2023-08-03
JP7505029B2 JP7505029B2 (ja) 2024-06-24

Family

ID=

Also Published As

Publication number Publication date
EP4128221A1 (en) 2023-02-08
CN115701777A (zh) 2023-02-10
KR20230003552A (ko) 2023-01-06
US20220391167A1 (en) 2022-12-08
EP4128221A4 (en) 2023-05-03
WO2022256828A1 (en) 2022-12-08

Similar Documents

Publication Publication Date Title
EP3123741B1 (en) Apparatus and method for screen related audio object remapping
CN112673649B (zh) 空间音频增强
CN107925840A (zh) 用于处理与视频图像相关联的音频信号的方法和装置
CN114424587A (zh) 控制音频数据的呈现
CN114072792A (zh) 用于音频渲染的基于密码的授权
US11937070B2 (en) Layered description of space of interest
JP7505029B2 (ja) 適応オーディオ配信およびレンダリング
JP2024513445A (ja) 動的dashピクチャ・イン・ピクチャ・ストリーミングのための方法及び装置
JP2023533414A (ja) 適応オーディオ配信およびレンダリング
US11956409B2 (en) Immersive media interoperability
US11710491B2 (en) Method and apparatus for space of interest of audio scene
US20220270626A1 (en) Method and apparatus in audio processing
US20230057207A1 (en) Immersive media compatibility
JP7399549B2 (ja) リモート端末向けの遠隔会議およびテレプレゼンスにおいてオーディオミキシングゲインをシグナリングする手法
US11595730B2 (en) Signaling loudness adjustment for an audio scene
JP2023523847A (ja) リモート端末のためのテレビ会議およびテレプレゼンスにおけるビューポート共有時の乗り物酔いを鎮静化するための方法、装置、およびコンピュータプログラム
GB2568726A (en) Object prioritisation of virtual content
JP7447298B2 (ja) 遠隔端末用の没入型テレビ会議及びテレプレゼンスのためのビットストリーム構造
JP7419529B2 (ja) 遠隔端末のための没入型テレカンファレンス及びテレプレゼンスのインタラクティブオーバーレイ処理
US20240129537A1 (en) Method and apparatus for signaling cmaf switching sets in isobmff

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221028

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240301

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240514

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240612