JP2023538548A - オーディオミキシングのための方法および装置 - Google Patents
オーディオミキシングのための方法および装置 Download PDFInfo
- Publication number
- JP2023538548A JP2023538548A JP2023509818A JP2023509818A JP2023538548A JP 2023538548 A JP2023538548 A JP 2023538548A JP 2023509818 A JP2023509818 A JP 2023509818A JP 2023509818 A JP2023509818 A JP 2023509818A JP 2023538548 A JP2023538548 A JP 2023538548A
- Authority
- JP
- Japan
- Prior art keywords
- video
- audio streams
- audio
- streams
- media
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 101
- 238000012545 processing Methods 0.000 claims abstract description 58
- 230000008569 process Effects 0.000 claims abstract description 33
- 239000000523 sample Substances 0.000 description 46
- 230000015654 memory Effects 0.000 description 27
- 230000006835 compression Effects 0.000 description 26
- 238000007906 compression Methods 0.000 description 26
- 238000010586 diagram Methods 0.000 description 20
- 239000000872 buffer Substances 0.000 description 19
- 238000004891 communication Methods 0.000 description 18
- 230000033001 locomotion Effects 0.000 description 17
- 238000009877 rendering Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 11
- 230000002123 temporal effect Effects 0.000 description 10
- 230000011664 signaling Effects 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 8
- 238000013139 quantization Methods 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 6
- 230000001419 dependent effect Effects 0.000 description 5
- 238000001914 filtration Methods 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 5
- 230000006978 adaptation Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 239000013074 reference sample Substances 0.000 description 4
- 230000002441 reversible effect Effects 0.000 description 4
- 241000023320 Luma <angiosperm> Species 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 3
- 230000002457 bidirectional effect Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 210000003813 thumb Anatomy 0.000 description 2
- IESVDEZGAHUQJU-ZLBXKVHBSA-N 1-hexadecanoyl-2-(4Z,7Z,10Z,13Z,16Z,19Z-docosahexaenoyl)-sn-glycero-3-phosphocholine Chemical group CCCCCCCCCCCCCCCC(=O)OC[C@H](COP([O-])(=O)OCC[N+](C)(C)C)OC(=O)CC\C=C/C\C=C/C\C=C/C\C=C/C\C=C/C\C=C/CC IESVDEZGAHUQJU-ZLBXKVHBSA-N 0.000 description 1
- 241001502919 Gambusia luma Species 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 238000013403 standard screening design Methods 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/40—Support for services or applications
- H04L65/403—Arrangements for multi-party communication, e.g. for conferences
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/70—Media network packetisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/75—Media network packet handling
- H04L65/762—Media network packet handling at the source
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/75—Media network packet handling
- H04L65/764—Media network packet handling at the destination
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
- H04M3/568—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities audio processing specific to telephonic conferencing, e.g. spatial distribution, mixing of participants
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/233—Processing of audio elementary streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2368—Multiplexing of audio and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4341—Demultiplexing of audio and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
- H04N7/152—Multipoint control units therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
- H04M2201/50—Telephonic communication in combination with video communication
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
- H04M3/567—Multimedia conference systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Acoustics & Sound (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Telephonic Communication Services (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本出願は、2021年9月17日に出願された米国特許出願第17/478,418号「METHOD AND APPARATUS FOR AUDIO MIXING」に対する優先権の利益を主張し、この出願は、2020年10月6日に出願された米国仮出願第63/088,300号「NETWORK BASED MEDIA PROCESSING FOR AUDIO AND VIDEO MIXING FOR TELECONFERENCING AND TELEPRESENCE FOR REMOTE TERMINALS」、および2020年12月11日に出願された米国仮出願第63/124,261号「AUDIO MIXING METHODS FOR TELECONFERENCING AND TELEPRESENCE FOR REMOTE TERMINALS」に対する優先権の利益を主張する。先行出願の開示は、参照によりその全体が本明細書に組み込まれる。
図2は、本開示の一実施形態による通信システム(200)の簡略ブロック図を示す。通信システム(200)は、例えばネットワーク(250)を介して互いに通信し得る複数の端末デバイスを含む。例えば、通信システム(200)は、ネットワーク(250)を介して相互接続された端末デバイス(210)および(220)の第1の対を含む。図2の例において、端末デバイス(210)および(220)の第1の対は、データの一方向送信を実行する。例えば、端末デバイス(210)は、ネットワーク(250)を介して他の端末デバイス(220)に送信するためにビデオデータ(例えば、端末デバイス(210)によってキャプチャされたビデオピクチャのストリーム)をコーディングし得る。エンコーディングされたビデオデータは、1つまたは複数のコーディングされたビデオビットストリームの形式で送信され得る。端末デバイス(220)は、ネットワーク(250)からコーディングされたビデオデータを受信し、コーディングされたビデオデータをデコーディングしてビデオピクチャを復元し、復元されたビデオデータに従ってビデオピクチャを表示し得る。一方向データ送信は、メディア供給用途などでは一般的であり得る。
本開示は、リモート端末(ITT4RT)用の没入型テレビ会議およびテレプレゼンスのための、オーディオミキシングおよびビデオミキシングの方法を提示する。本開示の態様によれば、エンドクライアントデバイスまたはユーザデバイスの能力に制限があるとき、かつ/またはインターネット・プロトコル・マルチメディア・サブシステム用マルチメディア・テレフォニー・サービス(MTSI)との互換性がないときは、メディア処理の全部または一部が、エンドクライアントデバイスからマルチメディアリソース機能(MRF)および/またはメディア制御ユニット(MCU)などのメディア対応ネットワーク要素まで、オフロードされ得る。メディア対応ネットワーク要素は、コンテンツタイプ、コンテンツ特性(メタデータによって記述される、またはプロトコルフィールド分析によって抽出される)、ネットワーク特性、および/またはネットワークステータスを考慮することによって、適切な処理(ルーティング、フィルタリング、適応、セキュリティ動作など)をインテリジェントに行える、コンテンツ対応ネットワークルータであってもよい。ダウンミックスは一般に、より多くのオーディオコンテンツチャネルを、より少ないスピーカにレンダリングするプロセスのことをいう。いくつかの実施形態では、没入型ストリームおよびオーバーレイ・ストリーム用のオーディオストリームのダウンミックス、および/またはオーディオストリームおよびビデオストリームの結合は、メディア対応ネットワーク要素におけるネットワークベースのメディア処理(NBMP)を使用して処理され得る。
図11は、本開示の一実施形態による例示的なプロセス(1100)の概要を示すフローチャートを示している。様々な実施形態では、プロセス(1100)は、端末デバイス(210)、(220)、(230)および(240)の処理回路、ビデオエンコーダ(303)の機能を実行する処理回路、ビデオデコーダ(310)の機能を実行する処理回路、ビデオデコーダ(410)の機能を実行する処理回路、イントラ予測モジュール(452)の機能を実行する処理回路、ビデオエンコーダ(503)の機能を実行する処理回路、予測器(535)の機能を実行する処理回路、イントラエンコーダ(622)の機能を実行する処理回路、イントラデコーダ(772)の機能を実行する処理回路などの処理回路によって実行される。いくつかの実施形態では、プロセス(1100)はソフトウェア指示中で実行され、したがって、処理回路がソフトウェア指示を実行するときに処理回路がプロセス(1100)を実行する。
上記で説明した技術は、コンピュータ可読命令を使用するコンピュータソフトウェアとして実装され、1つまたは複数のコンピュータ可読媒体に物理的に記憶され得る。例えば、図12は、開示された主題の特定の実施形態を実施するために適したコンピュータシステム(1200)を示している。
付記A:頭字語
ALF:適応ループフィルタ(Adaptive Loop Filter)
AMVP:高度動きベクトル予測(Advanced Motion Vector Prediction)
APS:適応パラメータセット(Adaptation Parameter Set)
ASIC:特定用途向け集積回路(Application-Specific Integrated Circuit)
ATMVP:代替/高度時間動きベクトル予測(Alternative/Advanced Temporal Motion Vector Prediction)
AV1:AOMedia Video 1
AV2:AOMedia Video 2
BMS:ベンチマークセット(Benchmark Set)
BV:ブロックベクトル(Block Vector)
CANBus:コントローラエリアネットワークバス(Controller Area Network Bus)
CB:コーディングブロック(Coding Block)
CC-ALF:クロスコンポーネント適応ループフィルタ(Cross-Component Adaptive Loop Filter)
CD:コンパクトディスク(Compact Disc)
CDEF:コンストレインド・ディレクショナル・エンハンスメント・フィルタ(Constrained Directional Enhancement Filter)
CPR:現在のピクチャ参照(Current Picture Referencing)
CPU:中央処理装置(Central Processing Unit)
CRT:ブラウン管(Cathode Ray Tube)
CTB:コーディングツリーブロック(Coding Tree Block)
CTU:コーディングツリーユニット(Coding Tree Unit)
CU:コーディングユニット(Coding Unit)
DPB:デコーダピクチャバッファ(Decoder Picture Buffer)
DPCM:差動パルス符号変調(Differential Pulse-Code Modulation)
DPS:デコーディングパラメータセット(Decoding Parameter Set)
DVD:デジタルビデオディスク(Digital Video Disc)
FPGA:フィールドプログラマブルゲートエリア(Field Programmable Gate Area)
JCCR:共同CbCr残差コーディング(Joint CbCr Residual Coding)
JVET:共同ビデオ探索チーム(Joint Video Exploration Team)
GOP:ピクチャのグループ(Groups of Pictures)
GPU:グラフィックス処理装置(Graphics Processing Unit)
GSM:グローバル移動体通信システム(Global System for Mobile communication)
HDR:ハイダイナミックレンジ(High Dynamic Range)
HEVC:高効率ビデオコーディング(High Efficiency Video Coding)
HRD:仮想参照デコーダ(Hypothetical Reference Decoder)
IBC:イントラブロックコピー(Intra Block Copy)
IC:集積回路(Integrated Circuit)
ISP:イントラサブパーティション(Intra Sub-Partitions)
JEM:共同探索モデル(Joint Exploration Model)
LAN:ローカルエリアネットワーク(Local Area Network)
LCD:液晶ディスプレイ(Liquid-Crystal Display)
LR:ループ復元フィルタ(Loop Restoration Filter)
LRU:ループ復元ユニット(Loop Restoration Unit)
LTE:ロングタームエボリューション(Long-Term Evolution)
MPM:最確モード(Most Probable Mode)
MV:動きベクトル(Motion Vector)
OLED:有機発光ダイオード(Organic Light-Emitting Diode)
PB:予測ブロック(Prediction Block)
PCI:周辺構成要素相互接続(Peripheral Component Interconnect)
PDPC:位置依存予測組合せ(Position Dependent Prediction Combination)
PLD:プログラマブル論理デバイス(Programmable Logic Device)
PPS:ピクチャパラメータセット(Picture Parameter Set)
PU:予測ユニット(Prediction Unit)
RAM:ランダムアクセスメモリ(Random Access Memory)
ROM:読み出し専用メモリ(Read-Only Memory)
SAO:サンプル適応オフセット(Sample Adaptive Offset)
SCC:画面コンテンツコーディング(Screen Content Coding)
SDR:標準ダイナミックレンジ(Standard Dynamic Range)
SEI:補足拡張情報(Supplementary Enhancement Information)
SNR:信号ノイズ比(Signal Noise Ratio)
SPS:シーケンスパラメータセット(Sequence Parameter Set)
SSD:ソリッドステートドライブ(Solid-state Drive)
TU:変換ユニット(Transform Unit)
USB:ユニバーサルシリアルバス(Universal Serial Bus)
VPS:ビデオパラメータセット(Video Parameter Set)
VUI:ビデオのユーザビリティ情報(Video Usability Information)
VVC:多用途ビデオコーディング(Versatile Video Coding)
WAIP:広角イントラ予測(Wide-Angle Intra Prediction)
102 矢印
103 矢印
104 正方形ブロック
105 概略図
111 現在のブロック
112~116 周囲サンプル
200 通信システム
210 端末デバイス
220 端末デバイス
230 端末デバイス
240 端末デバイス
250 通信ネットワーク
301 ビデオソース
302 ビデオピクチャのストリーム
303 ビデオエンコーダ
304 エンコーディングされたビデオデータ
305 ストリーミングサーバ
306 クライアントサブシステム
307 エンコーディングされたビデオデータの入力コピー
308 クライアントサブシステム
309 エンコーディングされたビデオデータのコピー
310 ビデオデコーダ
311 ビデオピクチャ
312 ディスプレイ
313 キャプチャサブシステム
320 電子デバイス
330 電子デバイス
401 チャネル
410 ビデオデコーダ
412 レンダリングデバイス
415 バッファメモリ
420 エントロピーデコーダ/パーサ
421 シンボル
430 電子デバイス
431 受信機
451 スケーラ/逆変換ユニット
452 イントラピクチャ予測ユニット、イントラ予測モジュール
453 動き補償予測ユニット
455 アグリゲータ
456 ループフィルタユニット
457 参照ピクチャメモリ
458 現在のピクチャバッファ
501 ビデオソース
503 ビデオエンコーダ、ビデオコーダ
520 電子デバイス
530 ソースコーダ
532 コーディングエンジン
533 ローカルビデオデコーダ、ローカルデコーダ
534 参照ピクチャメモリ、参照ピクチャキャッシュ
535 予測器
540 送信機
543 ビデオシーケンス
545 エントロピーコーダ
550 コントローラ
560 通信チャネル
603 ビデオエンコーダ
621 汎用コントローラ
622 イントラエンコーダ
623 残差計算器
624 残差エンコーダ
625 エントロピーエンコーダ
626 スイッチ
628 残差デコーダ
630 インターエンコーダ
710 ビデオデコーダ
771 エントロピーデコーダ
772 イントラデコーダ
773 残差デコーダ
774 再構成モジュール
780 インターデコーダ
801 会議室A
802 ユーザB
803 ユーザC
804 全方位カメラ
901~904 会議室
905 ユーザB
906 ユーザC
1001~1004 会議室
1005 MRF(またはMCU)
1006 ユーザB
1007 ユーザC
1100 プロセス
1200 コンピュータシステム、アーキテクチャ
1201 キーボード
1202 マウス
1203 トラックパッド
1205 ジョイスティック
1206 マイクロフォン
1207 スキャナ
1208 カメラ
1209 スピーカ
1210 タッチ画面、視覚出力装置画面
1220 CD/DVD ROM/RW
1221 媒体
1222 サムドライブ
1223 ソリッドステートドライブ
1240 中心部
1241 中央処理装置(CPU)
1242 グラフィックス処理装置(GPU)
1243 フィールドプログラマブルゲートエリア(FPGA)
1244 ハードウェアアクセラレータ
1245 ROM
1246 ランダムアクセスメモリ
1247 中心部内蔵型大容量ストレージ
1248 システムバス
1249 周辺バス
1250 グラフィックスアダプタ
1254 ネットワークインターフェース
1255 通信ネットワーク
Claims (20)
- ユーザデバイスでメディアストリームを処理する方法であって、
会議通話の複数のオーディオストリームを処理するように構成される、メディア対応ネットワーク要素にメッセージを送信するステップであって、前記メッセージは、前記複数のオーディオストリームが前記メディア対応ネットワーク要素によってダウンミックスされるべきことを示す、ステップと、
前記メディア対応ネットワーク要素から、前記ダウンミックスされた複数のオーディオストリームを受信するステップと、
前記会議通話を受信するために、前記ダウンミックスされた複数のオーディオストリームをデコーディングするステップと
を含む、方法。 - 前記複数のオーディオストリームが、前記メディア対応ネットワーク要素によって、単一のステレオストリームおよびモノストリームのうちの1つにダウンミックスされる、請求項1に記載の方法。
- 前記複数のオーディオストリームが、セッション記述プロトコル(SDP)メッセージに含まれる複数のオーディオミキシングパラメータに基づいてダウンミックスされる、請求項1に記載の方法。
- 前記複数のオーディオミキシングパラメータが、前記ユーザデバイスに表示される視野に基づいて設定される、請求項3に記載の方法。
- 前記複数のオーディオストリームの第1のサブセットのそれぞれが、1つ以上の360度没入型ビデオストリームのうちのそれぞれ1つに関連付けられる、請求項1に記載の方法。
- 前記複数のオーディオストリームの第2のサブセットのそれぞれが、1つ以上のオーバーレイ・ビデオストリームのうちのそれぞれ1つに関連付けられる、請求項1に記載の方法。
- 前記複数のオーディオストリームの前記第2のサブセットのそれぞれのオーディオミキシングパラメータが、前記複数のオーディオストリームの前記第2のサブセットの前記それぞれ1つに関連付けられた、前記オーバーレイ・ビデオストリームの優先度に基づいて設定される、請求項6に記載の方法。
- 前記複数のオーディオストリームの前記第2のサブセットの数が、前記複数のオーディオストリームの前記第2のサブセットに関連付けられた、前記1つ以上のオーバーレイ・ビデオストリームの1つ以上の優先度に基づいて決定される、請求項6に記載の方法。
- 前記メディア対応ネットワーク要素によってダウンミックスされる、前記複数のオーディオストリームの数が、前記複数のオーディオストリームのオーディオミキシングパラメータに基づいて決定される、請求項1に記載の方法。
- 前記デコーディングするステップが、前記ダウンミックスされた複数のオーディオストリーム、および前記メディア対応ネットワーク要素によってダウンミックスされていない、前記会議通話のオーディオストリームのダウンミックスを実行するステップを含む、請求項1に記載の方法。
- 会議通話の複数のオーディオストリームを処理するように構成される、メディア対応ネットワーク要素にメッセージを送信し、前記メッセージは、前記複数のオーディオストリームが前記メディア対応ネットワーク要素によってダウンミックスされるべきことを示し、
前記メディア対応ネットワーク要素から、前記ダウンミックスされた複数のオーディオストリームを受信し、
前記会議通話を受信するために、前記ダウンミックスされた複数のオーディオストリームをデコーディングする、
ように構成された処理回路を含む、装置。 - 前記複数のオーディオストリームが、前記メディア対応ネットワーク要素によって、単一のステレオストリームおよびモノストリームのうちの1つにダウンミックスされる、請求項11に記載の装置。
- 前記複数のオーディオストリームが、セッション記述プロトコル(SDP)メッセージに含まれる複数のオーディオミキシングパラメータに基づいてダウンミックスされる、請求項11に記載の装置。
- 前記複数のオーディオミキシングパラメータが、ユーザデバイスに表示される視野に基づいて設定される、請求項13に記載の装置。
- 前記複数のオーディオストリームの第1のサブセットのそれぞれが、1つ以上の360度没入型ビデオストリームのうちのそれぞれ1つに関連付けられる、請求項11に記載の装置。
- 前記複数のオーディオストリームの第2のサブセットのそれぞれが、1つ以上のオーバーレイ・ビデオストリームのうちのそれぞれ1つに関連付けられる、請求項11に記載の装置。
- 前記複数のオーディオストリームの前記第2のサブセットのそれぞれのオーディオミキシングパラメータが、前記複数のオーディオストリームの前記第2のサブセットの前記それぞれ1つに関連付けられた、前記オーバーレイ・ビデオストリームの優先度に基づいて設定される、請求項16に記載の装置。
- 前記複数のオーディオストリームの前記第2のサブセットの数が、前記複数のオーディオストリームの前記第2のサブセットに関連付けられた、前記1つ以上のオーバーレイ・ビデオストリームの1つ以上の優先度に基づいて決定される、請求項16に記載の装置。
- 前記メディア対応ネットワーク要素によってダウンミックスされる、前記複数のオーディオストリームの数が、前記複数のオーディオストリームのオーディオミキシングパラメータに基づいて決定される、請求項11に記載の装置。
- 少なくとも1つのプロセッサによって実行されると、前記少なくとも1つのプロセッサに、
会議通話の複数のオーディオストリームを処理するように構成される、メディア対応ネットワーク要素にメッセージを送信するステップであって、前記メッセージは、前記複数のオーディオストリームが前記メディア対応ネットワーク要素によってダウンミックスされるべきことを示す、ステップと、
前記メディア対応ネットワーク要素から、前記ダウンミックスされた複数のオーディオストリームを受信するステップと、
前記会議通話を受信するために、前記ダウンミックスされた複数のオーディオストリームをデコーディングするステップと、を実行させる命令を記憶する、非一時的コンピュータ可読記憶媒体。
Applications Claiming Priority (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063088300P | 2020-10-06 | 2020-10-06 | |
US63/088,300 | 2020-10-06 | ||
US202063124261P | 2020-12-11 | 2020-12-11 | |
US63/124,261 | 2020-12-11 | ||
US17/478,418 | 2021-09-17 | ||
US17/478,418 US11847377B2 (en) | 2020-10-06 | 2021-09-17 | Method and apparatus for audio mixing |
PCT/US2021/052068 WO2022076183A1 (en) | 2020-10-06 | 2021-09-24 | Method and apparatus for audio mixing |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023538548A true JP2023538548A (ja) | 2023-09-08 |
JP7521112B2 JP7521112B2 (ja) | 2024-07-23 |
Family
ID=80932275
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022535698A Active JP7548488B2 (ja) | 2020-10-06 | 2021-06-22 | テレカンファレンスの方法 |
JP2023509818A Active JP7521112B2 (ja) | 2020-10-06 | 2021-09-24 | オーディオミキシングのための方法および装置 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022535698A Active JP7548488B2 (ja) | 2020-10-06 | 2021-06-22 | テレカンファレンスの方法 |
Country Status (6)
Country | Link |
---|---|
US (4) | US11662975B2 (ja) |
EP (2) | EP4042673B1 (ja) |
JP (2) | JP7548488B2 (ja) |
KR (2) | KR102626555B1 (ja) |
CN (2) | CN114667727A (ja) |
WO (2) | WO2022076046A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11765213B2 (en) * | 2019-06-11 | 2023-09-19 | Nextiva, Inc. | Mixing and transmitting multiplex audiovisual information |
JP2022182019A (ja) * | 2021-05-27 | 2022-12-08 | シャープ株式会社 | 会議システム、会議方法、及び会議プログラム |
US11979244B2 (en) * | 2021-09-30 | 2024-05-07 | Snap Inc. | Configuring 360-degree video within a virtual conferencing system |
CN114900503B (zh) * | 2022-04-22 | 2024-07-02 | 北京字节跳动网络技术有限公司 | 一种混音方法、装置、处理服务器、媒体服务器及介质 |
CN116303135B (zh) * | 2023-02-24 | 2024-03-22 | 格兰菲智能科技有限公司 | 任务数据的装载方法、装置和计算机设备 |
Family Cites Families (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6947417B2 (en) * | 2001-06-29 | 2005-09-20 | Ip Unity | Method and system for providing media services |
AU2002314458A1 (en) * | 2002-07-04 | 2004-01-23 | Nokia Corporation | Managing a packet switched conference call |
JP2004072354A (ja) * | 2002-08-06 | 2004-03-04 | Yokogawa Electric Corp | 音声会議システム |
JP2005045737A (ja) * | 2003-07-25 | 2005-02-17 | Sony Corp | 通話装置及び通話方法、並びに通話システム |
US7610011B2 (en) * | 2004-09-19 | 2009-10-27 | Adam Albrett | Providing alternative programming on a radio in response to user input |
JP2008067203A (ja) | 2006-09-08 | 2008-03-21 | Toshiba Corp | 映像合成装置、方法およびプログラム |
KR101396140B1 (ko) * | 2006-09-18 | 2014-05-20 | 코닌클리케 필립스 엔.브이. | 오디오 객체들의 인코딩과 디코딩 |
US8243119B2 (en) | 2007-09-30 | 2012-08-14 | Optical Fusion Inc. | Recording and videomail for video conferencing call systems |
JP5018392B2 (ja) | 2007-10-16 | 2012-09-05 | ヤマハ株式会社 | 遠隔会議システムおよび多地点音声接続装置 |
CN100550860C (zh) * | 2007-11-27 | 2009-10-14 | 华为技术有限公司 | 媒体资源预留方法及业务包信息获取方法及装置 |
JP5219501B2 (ja) * | 2007-12-27 | 2013-06-26 | 三菱電機株式会社 | 画面生成装置および画面レイアウト共有システム |
WO2009109373A2 (en) * | 2008-03-04 | 2009-09-11 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus for mixing a plurality of input data streams |
WO2011020493A1 (en) * | 2009-08-17 | 2011-02-24 | Nokia Siemens Networks Oy | Control of session parameter negotiation for communication connection |
TWI557723B (zh) * | 2010-02-18 | 2016-11-11 | 杜比實驗室特許公司 | 解碼方法及系統 |
US8831932B2 (en) * | 2010-07-01 | 2014-09-09 | Polycom, Inc. | Scalable audio in a multi-point environment |
GB201109417D0 (en) * | 2011-06-06 | 2011-07-20 | Trilogy Comm Ltd | Communications device |
JP6339997B2 (ja) | 2012-03-23 | 2018-06-06 | ドルビー ラボラトリーズ ライセンシング コーポレイション | 2dまたは3d会議シーンにおける語り手の配置 |
US20180316948A1 (en) * | 2012-04-24 | 2018-11-01 | Skreens Entertainment Technologies, Inc. | Video processing systems, methods and a user profile for describing the combination and display of heterogeneous sources |
US9191516B2 (en) * | 2013-02-20 | 2015-11-17 | Qualcomm Incorporated | Teleconferencing using steganographically-embedded audio data |
US9337790B2 (en) | 2013-11-25 | 2016-05-10 | 2236008 Ontario Inc. | System and method for enhancing comprehensibility through spatialization |
US9516268B2 (en) * | 2014-03-28 | 2016-12-06 | International Business Machines Corporation | Maintaining audio video conference continuity |
CN108134915B (zh) * | 2014-03-31 | 2020-07-28 | 宝利通公司 | 用于混合式拓扑媒体会议系统的方法和系统 |
JP5777185B1 (ja) | 2014-05-16 | 2015-09-09 | 株式会社ユニモト | 全周動画配信システム、全周動画配信方法、通信端末装置およびそれらの制御方法と制御プログラム |
FR3034608A1 (fr) * | 2015-03-31 | 2016-10-07 | Orange | Procede de priorisation de flux medias dans un reseau de communications |
US10225814B2 (en) | 2015-04-05 | 2019-03-05 | Qualcomm Incorporated | Conference audio management |
JP2016220132A (ja) | 2015-05-25 | 2016-12-22 | 三菱電機株式会社 | サーバ装置、端末、通話システムおよび電話会議システム |
CN108353072B (zh) * | 2015-11-09 | 2021-08-10 | 诺基亚通信公司 | web实时通信场景中的增强媒体平面优化 |
EP3203701B1 (en) * | 2016-02-04 | 2021-04-21 | Unify Patente GmbH & Co. KG | Method of controlling a real-time conference session, a computer program product causing a computer to execute the method, and a communication system for controlling the real-time conference session |
US10587978B2 (en) * | 2016-06-03 | 2020-03-10 | Nureva, Inc. | Method, apparatus and computer-readable media for virtual positioning of a remote participant in a sound space |
EP3301896B1 (en) | 2016-09-28 | 2019-07-24 | British Telecommunications public limited company | Streamed communication |
US10992795B2 (en) * | 2017-05-16 | 2021-04-27 | Apple Inc. | Methods and interfaces for home media control |
US20190104326A1 (en) * | 2017-10-03 | 2019-04-04 | Qualcomm Incorporated | Content source description for immersive media data |
US10674266B2 (en) * | 2017-12-15 | 2020-06-02 | Boomcloud 360, Inc. | Subband spatial processing and crosstalk processing system for conferencing |
US20190215729A1 (en) * | 2018-03-15 | 2019-07-11 | Intel Corporation | Session description protocol mechanisms for signaling radio access network capabilities in multimedia telephony sessions |
GB2574238A (en) | 2018-05-31 | 2019-12-04 | Nokia Technologies Oy | Spatial audio parameter merging |
US10819953B1 (en) * | 2018-10-26 | 2020-10-27 | Facebook Technologies, Llc | Systems and methods for processing mixed media streams |
US11528312B2 (en) * | 2019-06-25 | 2022-12-13 | Apple Inc. | Immersive teleconferencing and telepresence |
-
2021
- 2021-05-21 US US17/327,400 patent/US11662975B2/en active Active
- 2021-06-22 KR KR1020227016374A patent/KR102626555B1/ko active IP Right Grant
- 2021-06-22 JP JP2022535698A patent/JP7548488B2/ja active Active
- 2021-06-22 EP EP21878161.5A patent/EP4042673B1/en active Active
- 2021-06-22 WO PCT/US2021/038370 patent/WO2022076046A1/en unknown
- 2021-06-22 CN CN202180006331.4A patent/CN114667727A/zh active Pending
- 2021-09-17 US US17/478,418 patent/US11847377B2/en active Active
- 2021-09-24 JP JP2023509818A patent/JP7521112B2/ja active Active
- 2021-09-24 CN CN202180052372.7A patent/CN116018782B/zh active Active
- 2021-09-24 EP EP21878227.4A patent/EP4165830A4/en active Pending
- 2021-09-24 WO PCT/US2021/052068 patent/WO2022076183A1/en unknown
- 2021-09-24 KR KR1020237007666A patent/KR20230048107A/ko not_active Application Discontinuation
-
2023
- 2023-03-17 US US18/185,944 patent/US11914922B2/en active Active
- 2023-11-08 US US18/504,871 patent/US20240069855A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US11847377B2 (en) | 2023-12-19 |
EP4165830A4 (en) | 2023-12-27 |
CN116018782B (zh) | 2024-08-16 |
KR20220080184A (ko) | 2022-06-14 |
JP7548488B2 (ja) | 2024-09-10 |
EP4042673A4 (en) | 2022-12-14 |
US20220107779A1 (en) | 2022-04-07 |
JP2023508130A (ja) | 2023-03-01 |
US20220109758A1 (en) | 2022-04-07 |
EP4042673A1 (en) | 2022-08-17 |
CN114667727A (zh) | 2022-06-24 |
US20240069855A1 (en) | 2024-02-29 |
KR102626555B1 (ko) | 2024-01-18 |
US11914922B2 (en) | 2024-02-27 |
WO2022076046A1 (en) | 2022-04-14 |
WO2022076183A1 (en) | 2022-04-14 |
US11662975B2 (en) | 2023-05-30 |
KR20230048107A (ko) | 2023-04-10 |
JP7521112B2 (ja) | 2024-07-23 |
EP4042673B1 (en) | 2024-08-21 |
CN116018782A (zh) | 2023-04-25 |
US20230229384A1 (en) | 2023-07-20 |
EP4165830A1 (en) | 2023-04-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7443455B2 (ja) | 映像復号化のための方法、装置及びコンピュータ・プログラム | |
JP7046220B2 (ja) | 小ブロックの予測と変換のための方法、装置、及びプログラム | |
JP7026880B2 (ja) | ビデオ圧縮における非正方形ブロックのイントラ予測のための方法および装置 | |
JP7521112B2 (ja) | オーディオミキシングのための方法および装置 | |
JP2022521516A (ja) | ビデオコーディングのための方法およびコンピュータプログラム | |
JP2022517114A (ja) | ビデオ復号用の方法、装置およびプログラム | |
JP7359951B2 (ja) | ビデオ符号化のための方法、装置、媒体およびコンピュータ・プログラム | |
JP7011735B2 (ja) | コーディングブロックフラグと予測モードの改善されたコンテキスト設計のための方法及び装置、並びにコンピュータプログラム | |
JP7048773B2 (ja) | ビデオ符号化の方法および装置 | |
JP2022525467A (ja) | ビデオ符号化又は復号化の方法、装置及びコンピュータプログラム | |
JP2021520150A (ja) | 予測モードおよび符号化ブロックフラグ(cbf)のコンテキスト設計を更に向上する方法および機器 | |
JP2022552381A (ja) | ビデオ復号の方法、装置、およびコンピュータプログラム | |
JP7236558B2 (ja) | ビデオコーディングのための方法および装置 | |
JP2023126585A (ja) | マルチラインイントラ予測のためのモードリストを生成する方法、並びにその装置及びコンピュータプログラム | |
JP7482246B2 (ja) | 機械のためのビデオ符号化のための方法、装置およびコンピュータ・プログラム | |
JP7325622B2 (ja) | 映像コーディングのための方法、装置、及びコンピュータプログラム | |
JP7342125B2 (ja) | ネットワーク抽象化レイヤユニットヘッダ | |
JP7540828B2 (ja) | 映像復号のための方法、装置、及びコンピュータプログラム | |
JP2022540532A (ja) | 動画符号化のための方法、装置及びコンピュータプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230210 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230210 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240214 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240219 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240517 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240610 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240710 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7521112 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |