JP2023508130A - テレカンファレンスの方法 - Google Patents

テレカンファレンスの方法 Download PDF

Info

Publication number
JP2023508130A
JP2023508130A JP2022535698A JP2022535698A JP2023508130A JP 2023508130 A JP2023508130 A JP 2023508130A JP 2022535698 A JP2022535698 A JP 2022535698A JP 2022535698 A JP2022535698 A JP 2022535698A JP 2023508130 A JP2023508130 A JP 2023508130A
Authority
JP
Japan
Prior art keywords
audio
media
weight
media stream
overlay
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022535698A
Other languages
English (en)
Inventor
アビシェーク，ロヒット
ソダガァ，イラジ
Original Assignee
テンセント・アメリカ・エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テンセント・アメリカ・エルエルシー filed Critical テンセント・アメリカ・エルエルシー
Publication of JP2023508130A publication Critical patent/JP2023508130A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/764—Media network packet handling at the destination 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/568—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities audio processing specific to telephonic conferencing, e.g. spatial distribution, mixing of participants
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/152—Multipoint control units therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/50—Telephonic communication in combination with video communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/567—Multimedia conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction

Abstract

本開示の態様は、テレカンファレンスの方法及び装置を提供する。いくつかの例で、テレカンファレンス装置はプロセッシング回路を含む。第１デバイスのプロセッシング回路は、第１オーディオを運ぶ第１メディアストリームと、第２オーディオを運ぶ第２メディアストリームとを受信する。プロセッシング回路は、第１オーディオを重み付けする第１オーディオ重みと、第２オーディオを重み付けする第２オーディオ重みとを受け取り、第１オーディオ重みに基づいた重み付き第１オーディオと、第２オーディオ重みに基づいた重み付き第２オーディオとを結合することによって、混合オーディオを生成する。

Description

［参照による援用］
本特許出願は、２０２０年１０月６日付けで「NETWORK BASED MEDIA PROCESSING FOR AUDIO AND VIDEO MIXING FOR TELECONFERENCING AND TELEPRESENCE FOR REMOTE TERMINALS」との発明の名称で出願された米国特許仮出願第６３／０８８３００号と、２０２０年１２月１１日付けで「AUDIO MIXING METHODS FOR TELECONFERENCING AND TELEPRESENCE FOR REMOTE TERMINALS」との発明の名称で出願された米国特許仮出願第６３／１２４２６１号とに対する優先権の利益を主張して、２０２１年５月２１日付けで「METHOD AND APPARATUS FOR TELECONFERENCE」との発明の名称で出願された米国特許出願第１７／３２７４００号に対する優先権の利益を主張するものである。これら先願の全ての開示は、それらの全文を参照により本願に援用される。
［技術分野］
本開示は、テレカンファレンスに概して関係がある実施形態について記載する。
ここで与えられている背景の記載は、本開示の背景を一般的に提示することを目的とする。現在指名されている発明者の研究は、この背景の項目に記載されている範囲で、また、出願時に先行技術としてさもなければ適格ではない可能性のある記載の側面は、明示的にも暗黙的にも、本開示に対する先行技術として認められない。
テレカンファレンスシステムは、２箇所以上の離れた場所にいるユーザが、ビデオストリーム、オーディオストリーム、又はその両方といったメディアストリームを介して互いに相互作用的にやりとりすることを可能にする。いくつかのテレカンファレンスシステムはまた、ユーザが画像、テキスト、ビデオ、アプリケーション、などのようなデジタル文書を交換することも可能にする。
本開示の態様は、テレカンファレンスの方法及び装置を提供する。いくつかの例で、テレカンファレンス装置はプロセッシング回路を含む。第１デバイス（例えば、ネットワークベースのメディアプロセッシングのためのユーザデバイス又はサーバ）のプロセッシング回路は、第２デバイスから、第１オーディオを運ぶ第１メディアストリームと、第２オーディオを運ぶ第２メディアストリームとを受信する。プロセッシング回路は、第２デバイスから、第１オーディオを重み付けする第１オーディオ重みと、第２オーディオを重み付けする第２オーディオ重みとを受け取り、第１オーディオ重みに基づいた重み付き第１オーディオと、第２オーディオ重みに基づいた重み付き第２オーディオとを結合することによって、混合オーディオを生成する。
いくつかの例で、第１デバイスはユーザデバイスである。第１デバイスは、第１デバイスに関連したスピーカを通じて、混合オーディオを再生することができる。
例において、第１デバイスは、カスタマイズパラメータに基づき第１オーディオ重み及び第２オーディオ重みをカスタマイズするために第２デバイスへカスタマイズパラメータを送る。
いくつかの例で、第１オーディオ重み及び第２オーディオ重みは、第２デバイスによって、第１オーディオ及び第２オーディオの音の強さに基づき決定される。
いくつかの例で、第１オーディオ及び第２オーディオは、オーバーレイオーディオであり、プロセッシング回路は、第１オーディオ及び第２オーディオのオーバーレイ優先度に基づき第２デバイスによって決定される第１オーディオ重み及び第２オーディオ重みを受け取る。
いくつかの例で、第１オーディオ重み及び第２オーディオ重みは、アクティブスピーカの検出に基づき第２デバイスによって調整される。
いくつかの例で、第１メディアストリームは、没入型メディアコンテンツを含み、第２メディアストリームは、オーバーレイメディアコンテンツを含み、第１オーディオ重みは、第２オーディオ重みとは異なる。
いくつかの実施形態で、第１デバイスは、ネットワークベースのメディアプロセッシングデバイスである。プロセッシング回路は、混合オーディオを第３メディアストリームにエンコードし、第１デバイスのインターフェース回路を介して、第３メディアストリームをユーザデバイスへ送信する。いくつかの例で、プロセッシング回路は、インターフェース回路を介して、第３メディアストリームと、没入型メディアコンテンツを含む第４メディアストリームとを送信する。第３メディアストリームは、第４メディアストリームに対するオーバーレイである。
本開示のいくつかの態様に従って、第１デバイス（例えば、ネットワークベースのメディアプロセッシングのためのサーバ）のプロセッシング回路は、テレカンファレンスセッションの第１メディアコンテンツを運ぶ第１メディアストリームと、テレカンファレンスセッションの第２メディアコンテンツを運ぶ第２メディアストリームとを受信する。プロセッシング回路は、第１メディアコンテンツと第２メディアコンテンツとを混合する第３メディアコンテンツを生成し、伝送回路を介して、第３メディアコンテンツを運ぶ第３メディアストリームを第２デバイスへ送信する。
いくつかの実施形態で、第１デバイスのプロセッシング回路は、第１メディアコンテンツ内の第１オーディオを第２メディアコンテンツ内の第２オーディオと混合して、第１オーディオに割り当てられた第１オーディオ重みと、第２オーディオに割り当てられた第２オーディオ重みとに基づき、第３オーディオを生成する。いくつかの例で、第１オーディオ重み及び第２オーディオ重みは、第１メディアストリーム及び第２メディアストリームを送信するホストデバイスから受け取られる。いくつかの例では、第１デバイスが、第１オーディオ重み及び第２オーディオ重みを決定することができる。
いくつかの例で、第１メディアストリームは、没入型メディアストリームであり、第２メディアストリームは、オーバーレイメディアストリームであり、第１デバイスのプロセッシング回路は、値が異なる第１オーディオ重み及び第２オーディオ重みに基づき、第１オーディオを第２オーディオと混合する。
いくつかの例で、第１メディアストリーム及び第２メディアストリームは、オーバーレイメディアストリームであり、第１デバイスのプロセッシング回路は、等しい値の第１オーディオ重み及び第２オーディオ重みに基づき、第１オーディオを第２オーディオと混合する。
いくつかの例で、第１メディアストリーム及び第２メディアストリームは、オーバーレイメディアストリームであり、第１デバイスのプロセッシング回路は、第１メディアストリーム及び第２メディアストリームのオーバーレイ優先度に関連する第１オーディオ重み及び第２オーディオ重みに基づき、第１オーディオを第２オーディオと混合する。
本開示のいくつかの態様に従って、第１デバイス（例えば、没入型メディアコンテンツを生成するホストデバイス）は、第２デバイスへ、第１オーディオを運ぶ第１メディアストリームと、第２オーディオを運ぶ第２メディアストリームとを送信することができる。第１デバイスは、第１オーディオを重み付けする第１オーディオ重みと、第２オーディオを重み付けする第２オーディオ重みとを決定し、第２デバイスへ、第１オーディオと第２オーディオとを混合するために第１オーディオ重み及び第２オーディオ重みを送信することができる。
いくつかの例で、第１デバイスは、セッション記述プロトコルに基づきカスタマイズパラメータを受け取り、カスタマイズパラメータに基づき第１オーディオ重み及び第２オーディオ重みを決定する。
いくつかの例で、第１デバイスは、第１オーディオ及び第２オーディオの音の強さに基づき、第１オーディオ重み及び第２オーディオ重みを決定する。
いくつかの例で、第１オーディオ及び第２オーディオは、オーバーレイオーディオであり、第１デバイスは、第１オーディオ及び第２オーディオのオーバーレイ優先度に基づき、第１オーディオ重み及び第２オーディオ重みを決定する。
いくつかの例で、第１デバイスは、第１オーディオ及び第２オーディオの一方でのアクティブスピーカの検出に基づき、第１オーディオ重み及び第２オーディオ重みを決定する。
いくつかの例で、第１メディアストリームは、没入型メディアコンテンツを含み、第２メディアストリームは、オーバーレイメディアストリームである。第１デバイスは、第１オーディオ重み及び第２オーディオ重みに対して異なる値を決定する。
本開示の態様はまた、テレカンファレンス用のコンピュータによって実行される場合に、コンピュータにテレカンファレンス方法を実行させる命令を記憶している非一時的なコンピュータ可読媒体も提供する。
開示されている主題の更なる特徴、性質、及び様々な利点は、以下の詳細な説明及び添付の図面から、より明らかになるだろう。
本開示のいくつかの例に従うテレカンファレンスシステムを示す。 本開示のいくつかの例に従う他のテレカンファレンスシステムを示す。 本開示のいくつかの例に従う他のテレカンファレンスシステムを示す。 本開示のいくつかの例に従うプロセスを説明するフローチャートを示す。 本開示のいくつかの例に従うプロセスを説明するフローチャートを示す。 本開示のいくつかの例に従うプロセスを説明するフローチャートを示す。 本開示に従うコンピュータシステムの概略図である。
本開示の態様は、テレカンファレンスのための、オーディオ混合、ビデオ混合、などのようなメディア混合の技術を提供する。いくつかの例で、テレカンファレンスはオーディオカンファレンスであることができ、テレカンファレンスの参加者は、オーディオストリームによりやりとりする。いくつかの例で、テレカンファレンスはビデオカンファレンスであり、テレカンファレンスの参加者は、ビデオ及び／又はオーディオを含むことができるメディアストリームによりやりとりすることができる。いくつかの例で、メディア混合は、サーバデバイスなどのような、ネットワークベースのメディアプロセッシング要素によって、実行される。いくつかの例で、メディア混合は、エンドユーザデバイス（ユーザデバイスとも呼ばれる）によって、実行される。
本開示のいくつかの態様に従って、メディア混合技術は、様々なテレカンファレンスシステムで実行可能である。図１から図３は、いくつかのテレカンファレンスシステムを示す。
図１は、本開示のいくつかの例に従うテレカンファレンスシステム（１００）を示す。テレカンファレンスシステム（１００）は、サブシステム（１１０）と、ユーザデバイス（１２０）及び（１３０）のような、複数のユーザデバイスとを含む。サブシステム（１１０）は、会議室Ａなどの場所に設置される。一般に、サブシステム（１１０）は、ユーザデバイス（１２０）及び（１３０）よりも相対的に高いバンド幅を有するよう構成されており、また、テレカンファレンスセッション（テレカンファレンスコールとも呼ばれる）のホストサービスを提供することができる。サブシステム（１１０）は、会議室Ａにいるユーザ又は参加者がテレカンファレンスセッションに参加することを可能にすることができ、また、ユーザデバイス（１２０）のユーザＢ及びユーザデバイス（１３０）のユーザＣのような、幾人かの遠隔のユーザが、遠く離れた場所からテレカンファレンスセッションに参加することを可能にすることができる。いくつかの例で、サブシステム（１１０）並びにユーザデバイス（１２０）及び（１３０）は、テレカンファレンスセッションにおける端末と呼ばれる。
いくつかの実施形態で、サブシステム（１１０）は、会議室に適している様々なオーディオ、ビデオ、及び制御コンポーネントを含む。様々なオーディオ、ビデオ、及び制御コンポーネントは、デバイスに組み込み可能であり、あるいは、適切な通信技術により連結されている分散したコンポーネントであることができる。いくつかの例で、サブシステム（１１０）は、比較的に広い視野を有している魚眼カメラ、全方位カメラ、などのような広角カメラ（１１１）を含む。例えば、全方位カメラは、おおよそ全球をカバーする視野を有するよう構成され得、全方位カメラによって撮影されたビデオは、全方位ビデオ又は３６０度ビデオと呼ばれ得る。
更に、いくつかの例で、サブシステム（１１０）は、おおよそ如何なる方向からも音波を捕捉することができる全指向性（無指向性とも呼ばれる）マイクなどのマイク（１１２）を含む。サブシステム（１１０）は、会議室Ａにいるユーザが、会議室Ａ以外の場所にいるユーザのビデオ及びオーディオに対応するマルチメディアを再生することを可能にするよう、表示スクリーン（１１４）、スピーカデバイス、などを含むことができる。例において、スピーカデバイスは、マイク（１１２）と一体化可能であり、あるいは、別個のコンポーネント（図示せず）であることができる。
例において、サブシステム（１１０）はコントローラ（１１３）を含む。ラップトップコンピュータデバイスが図１ではコントローラ（１１３）と示されている一方で、デスクトップコンピュータ、タブレットコンピュータ、などのような他の適切なデバイスがコントローラ（１１３）として使用されてもよい。また、例において、コントローラ（１１３）は、サブシステム（１１０）の他のコンポーネントと一体化されてもよいことが留意される。
コントローラ（１１３）は、サブシステム（１１０）の様々な制御機能を実行するよう構成され得る。例えば、コントローラ（１１３）は、テレカンファレンスセッションを開始し、サブシステム（１１０）とユーザデバイス（１２０）及び（１３０）との値の通信を管理するために使用され得る。例において、コントローラ（１１３）は、ビデオ及び／又はオーディオを運ぶメディアストリームを生成するよう会議室Ａで捕捉された（例えば、カメラ（１１１）及びマイク（１１２）によって捕捉された）ビデオ及び／又はオーディオをエンコードすることができ、また、メディアストリームをユーザデバイス（１２０）及び（１３０）へ伝送させることができる。
更に、いくつかの例で、コントローラ（１１３）は、テレカンファレンスシステム（１００）のユーザデバイス（ユーザデバイス（１２０）及び（１３０））の夫々から、各々のユーザデバイスで捕捉されたオーディオ及び／又はビデオを運ぶメディアストリームを受信することができる。コントローラ（１１３）は、受信されたメディアストリームをテレカンファレンスシステムの他のユーザデバイスへアドレッシング及び送信することができる。例えば、コントローラ（１１３）は、ユーザデバイス（１２０）からメディアストリームを受信し、メディアストリームをユーザデバイス（１３０）へアドレッシング及び送信することができ、また、ユーザデバイス（１３０）から他のメディアストリームを受信し、他のメディアストリームをユーザデバイス（１２０）へアドレッシング及び送信することができる。
更に、いくつかの例で、コントローラ（１１３）は、オーディオ、ビデオ混合パラメータ、などのような適切なテレカンファレンスパラメータを決定し、テレカンファレンスパラメータをユーザデバイス（１２０）及び（１３０）へ送信することができる。
いくつかの例で、コントローラ（１１３）は、表示スクリーン（１１４）、ラップトップコンピュータデバイスのスクリーン、などのようなスクリーンでのユーザインターフェイスの表示に会議室Ａでのユーザ入力を促進させることができる。
ユーザデバイス（１２０）及び（１３０）の夫々は、デスクトップコンピュータ、ラップトップコンピュータ。タブレットコンピュータ、ウェアラブルデバイス、ハンドヘルドデバイス、スマートフォン、モバイル型デバイス、埋め込み型デバイス、ゲーム機、ゲーミングデバイス、パーソナル・デジタル・アシスタント（ＰＤＡ）、電気通信デバイス、グローバル・ポジショニング・システム（“ＧＰＳ”）デバイス、仮想現実（“ＶＲ”）デバイス、拡張現実（ＡＲ）デバイス、インプラント型コンピュータデバイス、自動車コンピュータ、ネットワーク対応テレビ、インターネット・オブ・シングス（“ＩｏＴ”）デバイス、ワークステーション、メディアプレイヤー、パーソナル・ビデオ・レコーダ（ＰＶＲ）、セットトップボックス、カメラ、コンピュータデバイスに含まれる内蔵コンポーネント（例えば、周辺機器）、アプライアンス、又はあらゆる他の種類のコンピュータデバイスなどの如何なる適切なテレカンファレンス対応装置であることもできる。
図１の例では、ユーザデバイス（１２０）は、ユーザＢなどのユーザがテレカンファレンスシステムに参加することを可能にするウェアラブルマルチメディアコンポーネントを含む。例えば、ユーザデバイス（１２０）は、ユーザＢの頭に装着可能であるヘッド・マウンテッド・ディスプレイ（ＨＭＤ）を含む。ＨＭＤは、ビデオを再生するようユーザＢの片目又は両目の前に表示オプティックを含むことができる。他の例においては、ユーザデバイス（１２０）は、ユーザＢによって装着可能であるヘッドセット（図示せず）を含む。ヘッドセットは、ユーザの声を捕捉するマイクを含み、かつ、オーディオサウンドを出力する１つ又は２つのイヤピースを含むことができる。ユーザデバイス（１２０）はまた、メディアストリームを送信及び／又は受信することができる適切な通信コンポーネント（図示せず）も含む。
図１の例では、ユーザデバイス（１３０）は、ユーザＣなどのユーザがテレカンファレンスセッションに参加することを可能にするために通信コンポーネント、イメージングコンポーネント、オーディオコンポーネント、などを一緒に組み込むスマートフォンなどのようなモバイルデバイスであることができる。
図１の例では、サブシステム（１１０）、ユーザデバイス（１２０）及びユーザデバイス（１３０）は、ネットワーク（１０１）とインターフェース接続することができる適切な通信コンポーネント（図示せず）を含む。通信コンポーネントは、ネットワーク（１０１）などのようなネットワーク上で通信及び／又はデータを送信及び受信するよう１つ以上のネットワーク・インターフェース・コントローラ（ＮＩＣ）又は他のタイプのトランシーバ回路を含むことがある。
ネットワーク（１０１）は、例えば、インターネットなどの公衆ネットワーク、公共機関及び／又は個人イントラネットなどのプライベートネットワーク、又はプライベートネットワークと公衆ネットワークとのある組み合わせを含んでもよい。ネットワーク（１０１）はまた、ローカル・エリア・ネットワーク（“ＬＡＮ”）、ワイド・エリア・ネットワーク（“ＷＡＮ”）、衛星ネットワーク、ケーブルネットワーク、Ｗｉ－Ｆｉネットワーク、Ｗｉ－Ｍａｘネットワーク、モバイル通信ネットワーク（例えば、３Ｇ、４Ｇ、５Ｇなど）、又はそれらの任意の組み合わせを含むがこれらに限られないあらゆるタイプの有線及び／又は無線ネットワークも含んでもよい。ネットワーク（１０１）は、インターネットプロトコル（“ＩＰ”）、伝送制御プロトコル（“ＴＣＰ”）、ユーザデータグラムプロトコル（“ＵＤＰ”）、又は他のタイプのプロトコルなどのパケットベース及び／又はデータグラムベースのプロトコルを含む通信プロトコル利用してもよい。更に、ネットワーク（１０１）はまた、ネットワーク通信を促進し、かつ／あるいは、スイッチ、ルータ、ゲートウェイ、アクセスポイント、ファイヤウォール、基地局、中継局、バックボーンデバイス、などのような、ネットワークのためのハードウェア基礎を形成する多数のデバイスを含んでもよい。いくつかの例で、ネットワーク（１０１）は、ワイヤレス・アクセス・ポイント（“ＷＡＰ”）などの、無線ネットワークへの接続を可能にするデバイスを更に含んでもよい。
図１の例では、サブシステム（１１０）は、ピア・ツー・ピア技術を使用してテレカンファレンスセッションをホストすることができる。例えば、ユーザデバイス（１２０）がテレカンファレンスセッションに参加した後、ユーザデバイス（１２０）は、パケットを（例えば、サブシステム（１１０）のＩＰアドレスを使用して）適切にアドレッシングし、パケットをサブシステム（１１０）へ送信することができ、また、サブシステム（１１０）は、パケットを（例えば、ユーザデバイス（１２０）のＩＰアドレスを使用して）適切にアドレッシングし、パケットをユーザデバイス（１２０）へ送信することができる。パケットは、メディアストリーム、確認応答、制御パラメータ、などのような様々な情報及びデータを運ぶことができる。
いくつかの例で、テレカンファレンスシステム（１００）は、没入型テレカンファレンス（immersive teleconferencing）のテレカンファレンスセッションを提供することができる。例えば、テレカンファレンスセッション中、サブシステム（１１０）は、全方位カメラ及び／又は全指向性マイクを用いて全方位ビデオ／オーディオなどの没入型メディアを生成するよう構成される。例において、ユーザデバイス（１２０）のＨＭＤは、ユーザＢの頭の動きを検出し、頭の動きに基づきユーザＢのビューポートの向きを決定することができる。ユーザデバイス（１２０）は、ユーザＢのビューポートの向きをサブシステム（１１０）へ送信することができ、サブシステム（１１０）は、それから、ユーザＢのビューポートの向きに基づき調整されるビデオストリーム（ユーザＢのビューポートの向きに基づき調整されるビデオを運ぶメディアストリーム）、ユーザＢのビューポートの向きに基づき調整されるオーディオストリーム（ユーザＢのビューポートの向きに基づき調整されるオーディオを運ぶメディアストリーム）、などのようなビューポート依存ストリームを、ユーザデバイス（１２０）での再生のために、ユーザデバイス（１２０）へ送信することができる。
他の例においては、ユーザＣは、ユーザデバイス（１３０）を使用して、ユーザＣのビューポートの向きを（例えば、スマートフォンのタッチスクリーンを用いて）入力することができる。ユーザデバイス（１３０）は、ユーザＣのビューポートの向きをサブシステム（１１０）へ送信することができ、サブシステム（１１０）は、それから、ユーザＣのビューポートの向きに基づき調整されるビデオストリーム（ユーザＣのビューポートの向きに基づき調整されるビデオを運ぶメディアストリーム）、ユーザＣのビューポートの向きに基づき調整されるオーディオストリーム（ユーザＣのビューポートの向きに基づき調整されるオーディオを運ぶメディアストリーム）、などのようなビューポート依存ストリームを、ユーザデバイス（１３０）での再生のために、ユーザデバイス（１３０）へ送信することができる。
テレカンファレンスセッション中、ユーザＢ及び／又はユーザＣのビューポートの向きは変化する可能性があることが留意される。ビューポートの向きの変化は、サブシステム（１１０）へ通知され得、サブシステム（１１０）は、ユーザデバイス（１２０）及びユーザデバイス（１３０）へ夫々送信される各々のビューポート依存ストリームにおいてビューポートの向きを調整することができる。
説明を簡単にするために、没入型メディアは、全方位ビデオや、全方位オーディオなどの広角メディアに言及するために、かつ、広角メディアに基づき生成されるビューポート依存ストリームに言及するために、使用される。本開示では、３６０度ビデオや、３６０度オーディオなどのような３６０度メディアが、テレカンファレンスのための技術を説明するために使用されるが、テレカンファレンスの技術は、３６０度に満たない没入型メディアで使用可能であることが留意される。
図２は、本開示のいくつかの例に従う他のテレカンファレンスシステム（２００）を示す。テレカンファレンスシステム（２００）は、会議室Ａから会議室Ｚに夫々設置されているサブシステム（２１０Ａ）～（２１０Ｚ）のような多数のサブシステムと、ユーザデバイス（２２０）及び（２３０）のような複数のユーザデバイスとを含む。サブシステム（２１０Ａ）～（２１０Ｚ）の１つは、テレカンファレンスセッションを開始し、他のサブシステム並びにユーザデバイス（２２０）及びユーザデバイス（２３０）のようなユーザデバイスがテレカンファレンスセッションに参加することを可能にすることができる。よって、会議室Ａ～Ｚにいるユーザ、ユーザデバイス（２２０）のユーザＢ、及びユーザデバイス（２３０）のユーザＣのようなユーザは、テレカンファレンスセッションに参加することができる。いくつかの例で、サブシステム（２１０Ａ）～（２１０Ｚ）並びにユーザデバイス（２２０）及び（２３０）は、テレカンファレンスセッションにおける端末と呼ばれる。
いくつかの実施形態で、サブシステム（２１０Ａ）～（２１０Ｚ）の夫々は、上記のサブシステム（１１０）と同じように動作する。更に、サブシステム（２１０Ａ）～（２１０Ｚ）の夫々は、サブシステム（１１０）で使用されているものと同じ又は同等である特定のコンポーネントを利用する。これらのコンポーネントの説明は、上述されており、明りょうさのためにここでは省略される。サブシステム（２１０Ａ）～（２１０Ｚ）は、互いに異なるように構成され得ることが留意される。
ユーザデバイス（２２０）及び（２３０）は、上記のユーザデバイス（１２０）及び（１３０）と同じように構成され、また、ネットワーク（２０１）は、ネットワーク（１０１）と同じように構成される。これらのコンポーネントの説明は、上述されており、明りょうさのためにここでは省略される。
いくつかの実施形態で、サブシステム（２１０Ａ）～（２１０Ｚ）の１つは、テレカンファレンスセッションを開始することができ、サブシステム（２１０Ａ）～（２１０Ｚ）の残り並びにユーザデバイス（２２０）及び（２３０）は、テレカンファレンスセッションに参加することができる。
本開示の態様に従って、没入型テレカンファレンスのテレカンファレンスセッション中、サブシステム（２１０Ａ）～（２１０Ｚ）の中の複数のサブシステムが各々の没入型メディアを生成することができ、また、ユーザデバイス（２２０）及び（２３０）は、サブシステム（２１０Ａ）～（２１０Ｚ）から、没入型メディアを供給する１つを選択することができる。一般に、サブシステム（２１０Ａ）～（２１０Ｚ）は、比較的に高いバンド幅を有するよう構成されており、没入型メディアを供給するホストとして夫々動作することができる。
例において、ユーザデバイス（２２０）がテレカンファレンスセッションに参加した後、ユーザデバイス（２２０）は、サブシステム（２１０Ａ）～（２１０Ｚ）のうちの１つ、例えば、サブシステム（２１０Ａ）を、没入型メディアのホストとして選択することができる。ユーザデバイス（２２０）は、パケットをアドレッシングし、パケットをサブシステム（２１０Ａ）へ送信することができ、また、サブシステム（２１０Ａ）は、パケットをアドレッシングし、パケットをユーザデバイス（２２０）へ送信することができる。パケットは、メディアストリーム、制御パラメータ、などのような如何なる適切な情報／データも含むことができる。いくつかの例で、サブシステム（２１０Ａ）は、調整されたメディア情報をユーザデバイス（２２０）へ送信することができる。ユーザデバイス（２２０）は、テレカンファレンスセッション中にサブシステム（２１０Ａ）～（２１０Ｚ）からの選択を変えることができることが留意される。
例において、ユーザデバイス（２２０）のＨＭＤは、ユーザＢの頭の動きを検出し、頭の動きに基づきユーザＢのビューポートの向きを決定することができる。ユーザデバイス（２２０）は、ユーザＢのビューポートの向きをサブシステム（２１０Ａ）へ送信することができ、サブシステム（２１０Ａ）は、それから、ユーザＢのビューポートの向きに基づき調整されるビデオストリーム、ユーザＢのビューポートの向きに基づき調整されるオーディオストリーム、などのようなビューポート依存ストリームを、ユーザデバイス（２２０）での再生のために、ユーザデバイス（２２０）へ送信することができる。
他の例においては、ユーザデバイス（２３０）がテレカンファレンスセッションに参加した後、ユーザデバイス（２３０）は、サブシステム（２１０Ａ）～（２１０Ｚ）のうちの１つ、例えば、サブシステム（２１０Ｚ）を、没入型メディアのホストとして選択することができる。ユーザデバイス（２３０）は、パケットをアドレッシングし、パケットをサブシステム（２１０Ｚ）へ送信することができ、また、サブシステム（２１０Ｚ）は、パケットをアドレッシングし、パケットをユーザデバイス（２３０）へ送信することができる。パケットは、メディアストリーム、制御パラメータ、などのような如何なる適切な情報／データも含むことができる。いくつかの例で、サブシステム（２１０Ｚ）は、調整されたメディア情報をユーザデバイス（２３０）へ送信することができる。ユーザデバイス（２３０）は、テレカンファレンスセッション中にサブシステム（２１０Ａ）～（２１０Ｚ）からの選択を変えることができることが留意される。
他の例においては、ユーザＣは、ユーザデバイス（２３０）を使用して、ユーザＣのビューポートの向きを（例えば、スマートフォンのタッチスクリーンを用いて）入力することができる。ユーザデバイス（２３０）は、ユーザＣのビューポートの向きをサブシステム（２１０Ｚ）へ送信することができ、サブシステム（２１０Ｚ）は、それから、ユーザＣのビューポートの向きに基づき調整されるビデオストリーム、ユーザＣのビューポートの向きに基づき調整されるオーディオストリーム、などのようなビューポート依存ストリームを、ユーザデバイス（２３０）での再生のために、ユーザデバイス（２３０）へ送信することができる。
テレカンファレンスセッション中、ユーザ（例えば、ユーザＢ、ユーザＣ）のビューポートの向きは変化する可能性があることが留意される。例えば、ユーザＢのビューポートの向きの変化は、ユーザＢによって選択されたサブシステムへ通知され得、ユーザＢによって選択されたサブシステムは、それに応じて、ユーザデバイス（２２０）へ送信されるビューポート依存ストリームにおいてビューポートの向きを調整することができる。
説明を簡単にするために、没入型メディアは、全方位ビデオや、全方位オーディオなどの広角メディアに言及するために、かつ、広角メディアに基づき生成されるビューポート依存ストリームに言及するために、使用される。本開示では、３６０度ビデオや、３６０度オーディオなどのような３６０度メディアが、テレカンファレンスのための技術を説明するために使用されるが、テレカンファレンスの技術は、３６０度に満たない没入型メディアで使用可能であることが留意される。
図３は、本開示のいくつかの例に従う他のテレカンファレンスシステム（３００）を示す。テレカンファレンスシステム（３００）は、ネットワークベースのメディアプロセッシングサーバ（３４０）と、会議室Ａから会議室Ｂに夫々設置されているサブシステム（３１０Ａ）～（３１０Ｚ）のような多数のサブシステムと、ユーザデバイス（３２０）及び（３３０）のようなユーザデバイスとを含む。ネットワークベースのメディアプロセッシングサーバ（３４０）は、テレカンファレンスセッションをセットアップし、サブシステム（３１０Ａ）～（３１０Ｚ）並びにユーザデバイス（３２０）及び（３３０）のようなユーザデバイスがテレカンファレンスセッションに参加することを可能にすることができる。よって、会議室Ａ～Ｚにいるユーザ、ユーザデバイス（３２０）のユーザＢ、及びユーザデバイス（３３０）のユーザＣのようなユーザは、テレカンファレンスセッションに参加することができる。
いくつかの例で、サブシステム（３１０Ａ）～（３１０Ｚ）並びにユーザデバイス（３２０）及び（３３０）は、テレカンファレンスセッションにおける端末と呼ばれ、ネットワークベースのメディアプロセッシングサーバ（３４０）は、テレカンファレンスセッションにおける端末を橋渡しすることができる。いくつかの例で、ネットワークベースのメディアプロセッシングサーバ（３４０）は、メディアアウェアネットワーキング要素と呼ばれる。ネットワークベースのメディアプロセッシングサーバ（３４０）は、メディアリソース機能（ＭＲＦ）を実行することができ、かつ、メディア制御ユニット（ＭＣＵ）としてメディア制御機能を実行することができる。
いくつかの実施形態で、サブシステム（３１０Ａ）～（３１０Ｚ）の夫々は、上記のサブシステム（１１０）と同じように動作する。更に、サブシステム（３１０Ａ）～（３１０Ｚ）の夫々は、サブシステム（１１０）で使用されているものと同じ又は同等である特定のコンポーネントを利用する。これらのコンポーネントの説明は、上述されており、明りょうさのためにここでは省略される。サブシステム（３１０Ａ）～（３１０Ｚ）は、互いに異なるように構成され得ることが留意される。
ユーザデバイス（３２０）及び（３３０）は、上記のユーザデバイス（１２０）及び（１３０）と同じように構成され、また、ネットワーク（３０１）は、ネットワーク（１０１）と同じように構成される。これらのコンポーネントの説明は、上述されており、明りょうさのためにここでは省略される。
いくつかの例で、ネットワークベースのメディアプロセッシングサーバ（３４０）は、テレカンファレンスセッションを開始することができる。例えば、サブシステム（３１０Ａ）～（３１０Ｚ）並びにユーザデバイス（３２０）及び（３３０）のうちの１つは、テレカンファレンスセッションを開始するためにネットワークベースのメディアプロセッシングサーバ（３４０）にアクセスすることができる。サブシステム（３１０Ａ）～（３１０Ｚ）並びにユーザデバイス（３２０）及び（３３０）は、テレカンファレンスセッションに参加することができる。更に、ネットワークベースのメディアプロセッシングサーバ（３４０）は、テレカンファレンスセッションにおける端末を橋渡しするためのメディア関連機能を提供するよう構成される。例えば、サブシステム（３１０Ａ）～（３１０Ｚ）は夫々、ビデオ及びオーディオといった各々のメディア情報を運ぶパケットをアドレッシングし、パケットをネットワークベースのメディアプロセッシングサーバ（３４０）へ送信することができる。ネットワークベースのメディアプロセッシングサーバ（３４０）へ送られたメディア情報は、ビューポート依存であることが留意される。例えば、サブシステム（３１０Ａ）～（３１０Ｚ）は、３６０度全体ビデオのような各々のビデオをネットワークベースのメディアプロセッシングサーバ（３４０）へ送信することができる。更に、ネットワークベースのメディアプロセッシングサーバ（３４０）は、ユーザデバイス（３２０）及び（３３０）からビューポートの向きを受信し、メディア処理を実行してメディアを調整し、そして、調整されたメディア情報を各々のユーザデバイスへ送信することができる。
例において、ユーザデバイス（３２０）がテレカンファレンスセッションに参加した後、ユーザデバイス（３２０）は、パケットをアドレッシングし、パケットをネットワークベースのメディアプロセッシングサーバ（３４０）へ送信することができ、また、ネットワークベースのメディアプロセッシングサーバ（３４０）は、パケットをアドレッシングし、パケットをユーザデバイス（３２０）へ送信することができる。パケットは、メディアストリーム、制御パラメータ、などのような如何なる適切な情報／データも含むことができる。例において、ユーザＢは、ユーザデバイス（３２０）を使用して、会議室内のサブシステムからのビデオを見るためにその会議室を選択することができる。例えば、ユーザＢは、ユーザデバイス（３２０）を使用して、会議室Ａに設置されているサブシステム（３１０Ａ）からの捕捉されたビデオを見るために会議室Ａを選択することができる。更に、ユーザデバイス（３２０）のＨＭＤは、ユーザＢの頭の動きを検出し、頭の動きに基づきユーザＢのビューポートの向きを決定することができる。ユーザデバイス（３２０）は、会議室Ａの選択及びユーザＢのビューポートの向きをネットワークベースのメディアプロセッシングサーバ（３４０）へ送信することができ、ネットワークベースのメディアプロセッシングサーバ（３４０）は、サブシステム（３１０Ａ）から送信されたメディアを処理し、ユーザＢのビューポートの向きに基づき調整されるビデオストリーム、ユーザＢのビューポートの向きに基づき調整されるオーディオストリーム、などのようなビューポート依存ストリームを、ユーザデバイス（３２０）での再生のために、ユーザデバイス（３２０）へ送信することができる。いくつかの例で、ユーザデバイス（３２０）が会議室Ａを選択する場合に、ユーザデバイス（３２０）、サブシステム（３１０Ａ）、及びネットワークベースのメディアプロセッシングサーバ（３４０）は、セッション記述プロトコル（ＳＤＰ）に基づき互いに通信することができる。
他の例においては、ユーザデバイス（３３０）がテレカンファレンスセッションに参加した後、ユーザデバイス（３３０）は、パケットをアドレッシングし、パケットをネットワークベースのメディアプロセッシングサーバ（３４０）へ送信することができ、また、ネットワークベースのメディアプロセッシングサーバ（３４０）は、パケットをアドレッシングし、パケットをユーザデバイス（３３０）へ送信することができる。パケットは、メディアストリーム、制御パラメータ、などのような如何なる適切な情報／データも含むことができる。いくつかの例で、ネットワークベースのメディアプロセッシングサーバ（３４０）は、調整されたメディア情報をユーザデバイス（３３０）へ送信することができる。例えば、ユーザＣは、ユーザデバイス（３３０）を使用して、会議室、例えば、会議室Ｚの選択と、ユーザＣのビューポートの向きとを（例えば、スマートフォンのタッチスクリーンを用いて）入力することができる。ユーザデバイス（３３０）は、会議室Ｚの選択及びユーザＣのビューポートの向きをネットワークベースのメディアプロセッシングサーバ（３４０）へ送信することができ、ネットワークベースのメディアプロセッシングサーバ（３４０）は、サブシステム（３１０Ｚ）から送信されたメディアを処理し、ユーザＣのビューポートの向きに基づき調整されるビデオストリーム、ユーザＣのビューポートの向きに基づき調整されるオーディオストリーム、などのようなビューポート依存ストリームを、ユーザデバイス（３３０）での再生のために、ユーザデバイス（３３０）へ送信することができる。いくつかの例で、ユーザデバイス（３３０）が会議室Ｚを選択する場合に、ユーザデバイス（３３０）、サブシステム（３１０Ｚ）、及びネットワークベースのメディアプロセッシングサーバ（３４０）は、セッション記述プロトコル（ＳＤＰ）に基づき互いに通信することができる。
テレカンファレンスセッション中、ユーザ（例えば、ユーザＢ、ユーザＣ）のビューポートの向きは変化する可能性があることが留意される。例えば、ユーザＢのビューポートの向きの変化は、ユーザＢによってネットワークベースのメディアプロセッシングサーバ（３４０）へ通知され得、ネットワークベースのメディアプロセッシングサーバ（３４０）は、それに応じて、ユーザデバイス（３２０）へ送信されるビューポート依存ストリームにおいてビューポートの向きを調整することができる。
説明を簡単にするために、没入型メディアは、全方位ビデオや、全方位オーディオなどの広角メディアに言及するために、かつ、広角メディアに基づき生成されるビューポート依存ストリームに言及するために、使用される。本開示では、３６０度ビデオや、３６０度オーディオなどのような３６０度メディアが、テレカンファレンスのための技術を説明するために使用されるが、テレカンファレンスの技術は、３６０度に満たない没入型メディアで使用可能であることが留意される。
会議室の選択は、テレカンファレンスセッション中に変更される可能性があることが留意される。例において、ユーザデバイス（３２０）、ユーザデバイス（３３０）、などのようなユーザデバイスは、アクティブスピーカに基づき、１つの会議室から他の会議室への切り替えをトリガすることができる。例えば、アクティブスピーカが会議室Ａにあることに応答して、ユーザデバイス（３３０）は、会議室の選択を会議室Ａに切り替えると決定し、会議室Ａの選択をネットワークベースのメディアプロセッシングサーバ（３４０）へ送信することができる。次いで、ネットワークベースのメディアプロセッシングサーバ（３４０）は、サブシステム（３１０Ａ）から送られたメディアを処理し、ユーザＣのビューポートの向きに基づき調整されるビデオストリーム、ユーザＣのビューポートの向きに基づき調整されるオーディオストリーム、などのようなビューポート依存ストリームを、ユーザデバイス（３３０）での再生のために、ユーザデバイス（３３０）へ送信することができる。
いくつかの例で、ネットワークベースのメディアプロセッシングサーバ（３４０）は、如何なるアクティブなユーザも有していない如何なる会議室からもビデオストリームを受信することを一時停止することができる。例えば、ネットワークベースのメディアプロセッシングサーバ（３４０）は、会議室Ｚには如何なるアクティブなユーザもいないと決定し、それから、ネットワークベースのメディアプロセッシングサーバ（３４０）は、サブシステム（３１０Ｚ）からのビデオストリームの受信を一時停止することができる。
いくつかの例で、ネットワークベースのメディアプロセッシングサーバ（３４０）は、分散したコンピューティングリソースを含むことができ、ネットワーク（３０１）を介して、サブシステム（３１０Ａ）～（３１０Ｚ）並びにユーザデバイス（３２０）及び（３３０）と通信することができる。いくつかの例で、ネットワークベースのメディアプロセッシングサーバ（３４０）は、１つ以上のテレカンファレンスセッションの局面を管理することを課されている独立したシステムであってもよい。
様々な例において、ネットワークベースのメディアプロセッシングサーバ（３４０）は、リソースを共有するよう、負荷を平衡化するよう、性能を向上させるよう、フェイルオーバー支援又は冗長性を提供するよう、あるいは、他の目的のために、クラスタ又は他のグループ化された構成で動作する１つ以上のコンピューティングデバイスを含んでもよい。例えば、ネットワークベースのメディアプロセッシングサーバ（３４０）は、従来のサーバタイプのデバイス、デスクトップコンピュータタイプのデバイス、及び／又はモバイルタイプのデバイスといった様々な種類のデバイスに属してもよい。よって、たとえ一種類のデバイス（サーバタイプのデバイス）として表されているとして、ネットワークベースのメディアプロセッシングサーバ（３４０）は、多種多様なデバイスタイプを含んでもよく、特定のタイプのデバイスに限定されない。ネットワークベースのメディアプロセッシングサーバ（３４０）は、サーバコンピュータ、デスクトップコンピュータ、ウェブサーバコンピュータ、パーソナルコンピュータ、モバイルコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、又はあらゆる他の種類のコンピューティングデバイスを表してもよいが、これらに限られない。
本開示の態様に従って、ネットワークベースのメディアプロセッシングサーバ（３４０）は、ユーザデバイス（３２０）、ユーザデバイス（３３０）、などのような端末での処理負担を軽減するために、特定のメディア機能を実行することができる。例えば、ユーザデバイス（３２０）及び／又はユーザデバイス（３３０）は、メディアプロセッシング容量が限られていることがあり、あるいは、複数のビデオストリームをエンコード及びレンダリングすることが困難であり得るので、ネットワークベースのメディアプロセッシングサーバ（３４０）は、ユーザデバイス（３２０）及び（３３０）でのメディアプロセッシングをオフロードするよう、オーディオ及びビデオストリームをデコード／エンコードすることなどのメディアプロセッシングを実行することができる。いくつかの例で、ユーザデバイス（３２０）及び（３３０）はバッテリ駆動のデバイスであり、メディアプロセッシングがユーザデバイス（３２０）及び（３３０）ネットワークベースのメディアプロセッシングサーバ（３４０）へオフロードされた場合に、ユーザデバイス（３２０）および（３３０）のバッテリ寿命は延びる。
異なるリソースからのメディアストリームが処理及び混合され得る。いくつかの例で、例えば、ＩＳＯ（International Organization for Standardization）２３０９０－２では、オーバーレイが、第１メディアの上にレンダリングされる第２メディアとして定義され得る。本開示の態様に従って、没入型テレカンファレンスのテレカンファレンスセッションについては、追加のメディアコンテンツ（例えば、ビデオ及び／又はオーディオ）が没入型メディアコンテンツにオーバーレイされ得る。追加のメディア（又はメディアコンテンツ）は、没入型メディア（又は没入型メディアコンテンツ）へのオーバーレイメディア（又はオーバーレイメディアコンテンツ）と呼ばれ得る。例えば、オーバーレイコンテンツは、全方位ビデオ若しくは画像アイテムの上に又はビューポートの上にレンダリングされる１つのビジュアル／オーディオメディアであることができる。
図２を例として用いて、プレゼンテーションが会議室Ａにいる参加者によって共有されている場合に、会議室Ａでサブシステム（２１０Ａ）によって表示されることに加えて、プレゼンテーションはまた、サブシステム（２１０Ｚ）、ユーザデバイス（２２０）、ユーザデバイス（２３０）、などのような他の参加者パーティへストリーム（オーバーレイストリームとも呼ばれる）としてもブロードキャストされる。例えば、ユーザデバイス（２２０）は会議室Ａを選択し、サブシステム（２１０Ａ）は、サブシステム（２１０Ａ）によって捕捉された３６０度ビデオのような没入型メディアの第１ストリームと、オーバーレイストリームとをユーザデバイス（２２０）へ送信することができる。ユーザデバイス（２２０）で、プレゼンテーションは、サブシステム（２１０Ａ）によって捕捉された３６０度ビデオの上にオーバーレイされ得る。他の例においては、ユーザデバイス（２３０）は会議室Ｚを選択し、サブシステム（２１０Ｚ）は、サブシステム（２１０Ｚ）によって捕捉された３６０度ビデオのような没入型メディアを運ぶ第１ストリームと、オーバーレイストリームとをユーザデバイス（２３０）へ送信することができる。ユーザデバイス（２３０）で、プレゼンテーションは、サブシステム（２１０Ｚ）によって捕捉された３６０度ビデオの上にオーバーレイされ得る。プレゼンテーションは、いくつかの例では、２Ｄビデオの上にオーバーレイされ得ることが留意される。
他のシナリオでは、ユーザＣはリモートスピーカであることができ、ユーザＣのスピーチに対応するオーディオを運ぶメディアストリーム（オーバーレイストリームと呼ばれる）は、ユーザデバイス（２３０）から、例えば、サブシステム（２１０Ｚ）へ送信され、また、サブシステム（２１０Ａ）などの他の参加者パーティへブロードキャストされ得る。例えば、ユーザデバイス（２２０）は会議室Ａを選択し、サブシステム（２１０Ａ）は、サブシステム（２１０Ａ）によって捕捉された３６０度ビデオのような没入型メディアの第１ストリームと、オーバーレイストリームとをユーザデバイス（２２０）へ送信することができる。ユーザデバイス（２２０）で、ユーザＣのスピーチに対応するオーディオは、サブシステム（２１０Ａ）によって捕捉された３６０度ビデオとオーバーレイされ得る。ユーザＣのスピーチに対応するオーディオを運ぶメディアストリームは、例においては、オーバーレイストリームと呼ばれてもよく、オーディオは、例においては、オーバーレイオーディオと呼ばれてもよい。
本開示のいくつかの態様は、オーディオ及びビデオ混合のための技術、より具体的には、没入型ストリーム及び１つ以上のオーバーレイストリームといった複数のメディアストリームのオーディオ及び／又はビデオを結合するための技術を提供する。本開示の態様に従って、オーディオ及び／ビデオ混合は、ネットワークベースのメディアプロセッシングサーバ（３４０）などのようなネットワークベースのメディアプロセッシング要素によって実行され得、また、ユーザデバイス（１２０）、ユーザデバイス（１３０）、ユーザデバイス（２２０）、ユーザデバイス（２３０）、ユーザデバイス（３２０）、ユーザデバイス（３３０）、などのようなエンドユーザデバイスによって実行され得る。
図１の例では、サブシステム（１１０）は、メディア（オーディオ及び／又はビデオ）を夫々運ぶ複数のメディアストリームを送信することができる送り手と呼ばれ、ユーザデバイス（１２０）及び（１３０）は、受け手と呼ばれる。図２の例では、サブシステム（２１０Ａ）～（２１０Ｚ）は、メディア（オーディオ及び／又はビデオ）を夫々運ぶ複数のメディアストリームを送信することができる送り手と呼ばれ、ユーザデバイス（２２０）及び（２３０）は、受け手と呼ばれる。図３の例では、ネットワークベースのメディアプロセッシングサーバ（３４０）は、メディア（オーディオ及び／又はビデオ）を夫々運ぶ複数のメディアストリームを送信することができる送り手と呼ばれ、ユーザデバイス（３２０）及び（３３０）は、受け手と呼ばれる。
本開示のいくつかの態様に従って、オーディオ重みのような混合レベルは、オーディオ混合のために没入型テレカンファレンスにおけるオーバーレイストリーム及び没入型ストリームに割り当てられ得る。更に、いくつかの実施形態で、オーディオ重みは、適切に調整可能であり、調整されたオーディオ重みは、オーディオ混合のために使用可能である。いくつかの例で、オーディオ混合は、オーディオダウンミックスとも呼ばれる。
没入型テレカンファレンスのようないくつかの例で、オーバーレイメディアが没入型メディアに重ね合わされる場合に、オーバーレイソース、オーバーレイレンダリングタイプ、オーバーレイレンダリング特性、ユーザインタラクション特性、などのようなオーバーレイ情報が供給される必要がある場合がある。いくつかの例で、オーバーレイソースは、オーバーレイとして使用される画像、オーディオ、又はビデオなどのメディアを指定し、オーバーレイレンダリングタイプは、オーバーレイがビューポート又は球に対して固定されるかどうかを記述し、オーバーレイレンダリング特性は、不透明度、透明度、などを含むことができる。
図２の例では、各々の全方位カメラを備えた複数の会議室が、テレカンファレンスセッションに参加することができる。ユーザ、例えば、ユーザＢは、ユーザデバイス（２２０）を介して、没入型メディアのソース、例えば、各々の全方位カメラを備えた複数の会議室のうちの１つを選択することができる。没入型メディアにオーディオ又はビデオなどの追加のメディアを加えるために、追加のメディアは、その追加のメディアを運ぶオーバーレイストリームとして、没入型メディアとは別に、ユーザデバイス（２２０）へ送信され得る。没入型メディアは、没入型メディアを運ぶストリーム（没入型ストリームと呼ばれる）として送信され得る。ユーザデバイス（２２０）は、没入型ストリーム及びオーバーレイストリームを受信することができ、そして、追加のメディアを没入型メディアとオーバーレイすることができる。
本開示の態様に従って、ユーザデバイス（２２０）、ユーザデバイス（２３０）、などのようなユーザデバイスは、テレカンファレンスセッションにおける各々のオーディオを運ぶ複数のメディアストリームを受信することができる。ユーザデバイスは、メディアストリームをデコードしてオーディオを取り出し、メディアストリームからデコードされたオーディオを混合することができる。いくつかの例で、没入型テレカンファレンスのテレカンファレンス中に、選択された会議室のサブシステムは、複数のメディアストリームを送信することができ、また、複数のメディアストリームで運ばれるオーディオのための混合パラメータを供給することができる。例において、ユーザＢは、ユーザデバイス（２２０）により、会議室Ａを選択して、サブシステム（２１０Ａ）によって捕捉された３６０度没入型ビデオを運ぶ没入型ストリームを受信することができる。サブシステム（２１０Ａ）は、没入型ストリームを１つ以上のオーバーレイストリームとともにユーザデバイス（２２０）へ送信することができる。サブシステム（２１０Ａ）は、例えば、セッション記述プロトコル（ＳＤＰ）に基づき、没入型ストリーム及び１つ以上のオーバーレイストリームで運ばれるオーディオのための混合レベルを供給することができる。サブシステム（２１０Ａ）はまた、テレカンファレンスセッション中にオーディオの混合レベルを更新し、更新された混合レベルをユーザデバイス（２２０）へＳＤＰに基づき通知するための信号を送信してもよいことが留意される。
例において、オーディオの混合レベルは、オーディオ混合重みを用いて定義される。例えば、各々のオーディオを運ぶ没入型ストリーム及びオーバーレイストリームを送信するサブシステム（２１０Ａ）は、各々のオーディオに対してオーディオ混合重みを決定することができる。例において、サブシステム（２１０Ａ）は、音の強さに基づきデフォルトのオーディオ混合重みを決定する。音の強さは、単位面積に直交して単位面積ごとに音波によって運ばれる電力として定義され得る。例えば、サブシステム（２１０Ａ）のコントローラは、各々のオーディオの音の強さを示す電気信号を受信し、電気信号に基づき、例えば、電気信号の信号レベル、電力レベル、などに基づき、デフォルトのオーディオ混合重みを決定することができる。
他の例においては、サブシステム（２１０Ａ）は、オーバーレイ優先度に基づきオーディオ混合重みを決定する。例えば、サブシステム（２１０Ａ）のコントローラは、没入型ストリーム及びオーバーレイストリームから、アクティブスピーカのオーディオを運ぶ特定のメディアストリームを検出することができる。サブシステム（２１０Ａ）のコントローラは、より高いオーバーレイ優先度をその特定のメディアストリームに対して決定することができ、そして、その特定のメディアストリームによって運ばれるオーディオに対してより高い混合重みを決定することができる。
他の例においては、エンドユーザは、オーバーレイ優先度をカスタマイズすることができる。例えば、ユーザＢは、ユーザデバイス（２２０）を使用して、ＳＤＰに基づきサブシステム（２１０Ａ）へカスタマイズパラメータを送信することができる。カスタマイズパラメータは、例えば、ユーザＢが焦点を合わせたいオーディオを運ぶ特定のメディアストリームを示すことができる。次いで、サブシステム（２１０Ａ）は、より高いオーバーレイ優先度をその特定のメディアストリームに対して決定することができ、そして、その特定のメディアストリームによって運ばれるオーディオに対してより高い混合重みを決定することができる。
いくつかの実施形態で、オーバーレイ優先度が使用される場合に、送り手、例えば、サブシステム（２１０Ａ）は、他の送り手、例えば、サブシステム（２１０Ｚ）の全てのオーバーレイ、及びテレカンファレンスセッションにおけるそれらのオーバーレイの優先度について知らされてもよく、それに応じて重みを割り当てる。よって、ユーザデバイスが別のサブシステムに切り替える場合に、オーディオ混合重みは適切に決定され得る。
いくつかの実施形態で、オーディオ混合重みは、エンドユーザによってカスタマイズされてもよい。あるシナリオでは、エンドユーザは、メディアストリームによって運ばれる１つの特定のオーディオを聞きたいか又はそれに焦点を合わせたいことがある。他のシナリオでは、デフォルトのオーディオ混合重みによるダウンミックスされたオーディオの品質は、オーディオレベルの変動、オーディオ品質、又は信号対雑音比（ＳＮＲ）チャネルの悪さなどの理由により許容不可能であり、その場合に、オーディオ混合重みはカスタマイズされ得る。例において、ユーザＢは、特定のメディアストリームからのオーディオに焦点を合わせることを望んでおり、その場合に、ユーザＢは、ユーザデバイス（２２０）を用いて、オーディオ混合重みを調整するためのカスタマイズパラメータを示してもよい。例えば、カスタマイズパラメータは、特定のメディアストリームのオーディオに対するオーディオ混合重みの増大を示す。ユーザデバイス（２２０）は、ＳＤＰに基づきテレカンファレンスセッション中にメディアストリームの送り手、例えば、サブシステム（２１０Ａ）へカスタマイズパラメータを送信することができる。カスタマイズパラメータに基づき、サブシステム（２１０Ａ）のコントローラは、特定のメディアストリームのオーディオのためのオーディオ混合重みを増大させるようオーディオ混合重みを調整することができ、そして、サブシステム（２１０Ａ）は、調整されたオーディオ混合重みをユーザデバイス（２２０）へ送信することができる。よって、ユーザデバイス（２２０）は、調整されたオーディオ混合重みに基づきオーディオを混合することができる。
また、いくつかの例では、ユーザデバイス（１２０）、ユーザデバイス（１３０）、ユーザデバイス（２２０）、ユーザデバイス（２３０）、ユーザデバイス（３２０）、ユーザデバイス（３３０）、などのユーザデバイスは、受け取られたオーディオ混合重みを、ユーザの好みにより、異なる値で上書きすることができることも留意される。
図３の例では、各々の全方位カメラを備えた複数の会議室が、テレカンファレンスセッションに参加することができる。ユーザ、例えば、ユーザＢは、ユーザデバイス（３２０）を介して、没入型メディアのソース、例えば、各々の全方位カメラを備えた複数の会議室のうちの１つを選択することができる。没入型メディアにオーディオ又はビデオなどの追加のメディアを加えるために、追加のメディアは、その追加のメディアを運ぶオーバーレイストリームとして、没入型メディアとは別に、ユーザデバイス（３２０）へ送信され得る。いくつかの実施形態で、ネットワークベースのメディアプロセッシングサーバ（３４０）は、テレカンファレンスにおける参加者パーティ（例えば、サブシステム（３１０Ａ）～（３１０Ｚ）、ユーザデバイス（３２０）及び（３３０））からメディアストリームを受信し、メディアストリームを処理し、適切な処理されたメディアストリームを参加者パーティへ送信する。例えば、ネットワークベースのメディアプロセッシングサーバ（３４０）は、サブシステム（３１０Ａ）で捕捉された没入型メディアを運ぶ没入型ストリームと、オーバーレイメディアを運ぶオーバーレイストリームとをユーザデバイス（３２０）へ送信することができる。ユーザデバイス（３２０）は、没入型ストリーム及びオーバーレイストリームを受信することができ、そして、いくつかの実施形態では、オーバーレイメディアを没入型メディアと重ね合わせることができる。
本開示の態様に従って、ユーザデバイス（３２０）、ユーザデバイス（３３０）、などのようなユーザデバイスは、テレカンファレンスセッションにおける各々のオーディオを運ぶ複数のメディアストリームを受信することができる。ユーザデバイスは、メディアストリームをデコードしてオーディオを取り出し、メディアストリームからデコードされたオーディオを混合することができる。いくつかの例で、没入型テレカンファレンスのテレカンファレンス中に、ネットワークベースのメディアプロセッシングサーバ（３４０）は、複数のメディアストリームをエンドユーザデバイスへ送信することができる。例において、ユーザＢは、ユーザデバイス（３２０）により、会議室Ａを選択して、サブシステム（３１０Ａ）によって捕捉された３６０度没入型ビデオを運ぶ没入型ストリームを受信することができる。本開示の態様に従って、ラウドネスなどのオーディオ混合パラメータが、没入型メディアの送り手によって定義されるか、又はエンドユーザによってカスタマイズされ得る。いくつかの例で、サブシステム（３１０Ａ）は、例えば、セッション記述プロトコル（ＳＤＰ）に基づいた信号を介して、１つ以上のオーバーレイストリームで運ばれるオーディオのための混合レベルを、ネットワークベースのメディアプロセッシングサーバ（３４０）へ供給することができる。サブシステム（３１０Ａ）はまた、テレカンファレンスセッション中にオーディオの混合レベルを更新し、更新された混合レベルをネットワークベースのメディアプロセッシングサーバ（３４０）へＳＤＰに基づき通知するための信号を送信してもよいことが留意される。
例において、オーディオの混合レベルは、オーディオ混合重みを用いて定義される。例において、サブシステム（３１０Ａ）は、オーディオ混合重みを決定し、ＳＤＰに基づきネットワークベースのメディアプロセッシングサーバ（３４０）へ送信することができる。例において、サブシステム（３１０Ａ）は、音の強さに基づきデフォルトのオーディオ混合重みを決定する。
他の例においては、サブシステム（３１０Ａ）は、オーバーレイ優先度に基づきオーディオ混合重みを決定する。例えば、サブシステム（３１０Ａ）は、アクティブスピーカのオーディオを運ぶ特定のメディアストリームを検出することができる。サブシステム（３１０Ａ）は、より高いオーバーレイ優先度をその特定のメディアストリームに対して決定することができ、そして、その特定のメディアストリームによって運ばれるオーディオに対してより高い混合重みを決定することができる。
他の例においては、エンドユーザは、オーバーレイ優先度をカスタマイズすることができる。例えば、ユーザＢは、ユーザデバイス（３２０）を使用して、ＳＤＰに基づきサブシステム（３１０Ａ）へカスタマイズパラメータを送信することができる。カスタマイズパラメータは、例えば、ユーザＢが焦点を合わせたいオーディオを運ぶ特定のメディアストリームを示すことができる。次いで、サブシステム（３１０Ａ）は、より高いオーバーレイ優先度をその特定のメディアストリームに対して決定することができ、そして、その特定のメディアストリームによって運ばれるオーディオに対してより高い混合重みを決定することができる。
いくつかの実施形態で、オーバーレイ優先度が使用される場合に、送り手、例えば、サブシステム（３１０Ａ）は、他の送り手、例えば、サブシステム（３１０Ｚ）の全てのオーバーレイ、及びテレカンファレンスセッションにおけるそれらのオーバーレイの優先度について知らされてもよく、それに応じて重みを割り当てる。よって、ユーザデバイスが別のサブシステムに切り替える場合に、オーディオ混合重みは適切に決定され得る。
いくつかの実施形態で、オーディオ混合重みは、エンドユーザによってカスタマイズされてもよい。あるシナリオでは、エンドユーザは、メディアストリームによって運ばれる１つの特定のオーディオを聞きたいか又はそれに焦点を合わせたいことがある。他のシナリオでは、デフォルトのオーディオ混合重みによるダウンミックスされたオーディオの品質は、オーディオレベルの変動、オーディオ品質、又は信号対雑音比（ＳＮＲ）チャネルの悪さなどの理由により許容不可能であり、その場合に、オーディオ混合重みはカスタマイズされ得る。例において、ユーザＢは、特定のメディアストリームからのオーディオに焦点を合わせることを望んでおり、その場合に、ユーザＢは、ユーザデバイス（３２０）を用いて、オーディオ混合重みを調整するためのカスタマイズパラメータを示してもよい。例えば、カスタマイズパラメータは、特定のメディアストリームのオーディオに対するオーディオ混合重みの増大を示す。ユーザデバイス（３２０）は、ＳＤＰに基づきテレカンファレンスセッション中にメディアストリームの送り手、例えば、サブシステム（３１０Ａ）へカスタマイズパラメータを送信することができる。カスタマイズパラメータに基づき、サブシステム（３１０Ａ）は、特定のメディアストリームのオーディオのためのオーディオ混合重みを増大させるようオーディオ混合重みを調整し、そして、調整されたオーディオ混合重みをネットワークベースのメディアプロセッシングサーバ（３４０）へ送信することができる。例において、ネットワークベースのメディアプロセッシングサーバ（３４０）は、調整されたオーディオ混合重みをユーザデバイス（３２０）へ送信することができる。よって、ユーザデバイス（３２０）は、調整されたオーディオ混合重みに基づきオーディオを混合することができる。他の例においては、ネットワークベースのメディアプロセッシングサーバ（３４０）は、調整されたオーディオ混合重みに従ってオーディオを混合することができる。
例において、没入型ストリーム及び１つ以上のオーバーレイストリームは、送り手、例えば、サブシステム（２１０Ａ）～（２１０Ｚ）のうちの１つや、サブシステム（３１Ａ）～（３１０Ｚ）のうちの１つから供給され、また、Ｎは、オーバーレイの数を表し、正の整数である。更に、ａ０は、没入型ストリームで運ばれるオーディオを表し、ａ１～ａＮは、夫々、オーバーレイストリームで運ばれるオーディオを表し、ｒ０～ｒＮは、夫々、ａ０～ａＮのオーディオ混合重みを表す。いくつかの例で、デフォルトのオーディオ混合重みｒ０～ｒＮの和は、１に等しい。混合されたオーディオ（オーディオ出力とも呼ばれる）は、式１に従って生成され得る：

オーディオ出力＝ｒ０×ａ０＋ｒ１×ａ１＋・・・＋ｒｎ×ａｎ 式１
いくつかの実施形態で、オーディオ混合は、例えば、式１に従って、オーディオ混合重みに基づき、ユーザデバイス（２２０）、ユーザデバイス（２３０）、ユーザデバイス（３２０）、ユーザデバイス（３３０）、などのようなエンドユーザデバイスによって実行され得る。エンドユーザデバイスは、受信されたメディアストリームをデコードして、オーディオを取り出し、そして、式１に従ってオーディオを混合して、再生のためのオーディオ出力を生成し得る。
いくつかの実施形態で、オーディオ混合又はオーディオ混合の部分は、ＭＲＦ又はＭＣＵによって、例えば、ネットワークベースのメディアプロセッシングサーバ（３４０）によって、実行され得る。図３を参照すると、いくつかの例で、ネットワークベースのメディアプロセッシングサーバ（３４０）は、オーディオを運ぶ様々なメディアストリームを受信する。更に、ネットワークベースのメディアプロセッシングサーバ（３４０）は、オーディオ混合重みに基づいたオーディオ混合のような、メディア混合を実行することができる。サブシステム（３１０Ａ）及びユーザデバイス（３３０）を例として使用して（例えば、ユーザデバイス（３３０）は会議室Ａを選択する）、ユーザデバイス（３３０）が低電力状態にあるか、又はメディア処理能力が限られている場合に、オーディオ混合又はオーディオ混合の部分は、ネットワークベースのメディアプロセッシングサーバ（３４０）へオフロードされ得る。例において、ネットワークベースのメディアプロセッシングサーバ（３４０）は、ユーザデバイス（３３０）へ送信するメディアストリームと、メディアストリーム内のオーディオを混合するためのオーディオ混合重みとを受信することができる。次いで、ネットワークベースのメディアプロセッシングサーバ（３４０）は、メディアストリームをデコードして、オーディオを取り出し、そして、式１に従ってオーディオを混合して、混合されたオーディオを生成する。ネットワークベースのメディアプロセッシングサーバ（３４０）は、メディアストリームのビデオ部分を混合されたビデオへと適切に混合することができることが留意される。ネットワークベースのメディアプロセッシングサーバ（３４０）は、他のストリーム（混合メディアストリームと呼ばれる）内の混合されたオーディオ及び／又は混合されたビデオをエンコードし、混合メディアストリームをユーザデバイス（３３０）へ送信することができる。ユーザデバイス（３３０）は、混合メディアストリームを受信し、混合メディアストリームをデコードして、混合されたオーディオ及び／又は混合されたビデオを取り出し、混合されたオーディオ／ビデオを再生することができる。
他の例においては、ネットワークベースのメディアプロセッシングサーバ（３４０）は、メディアコンテンツをユーザデバイス（３３０）へ供給するための没入型メディアストリーム及び複数のオーバーレイメディアストリームと、没入型メディアストリーム及び複数のオーバーレイメディアストリーム内のオーディオを混合するためのオーディオ混合重みとを受信する。複数のオーバーレイメディアストリームが送信される必要がある場合に、ネットワークベースのメディアプロセッシングサーバ（３４０）は、複数のオーバーレイメディアストリームをデコードしてオーディオを取り出し、そして、例えば、式２に従って、オーディオを混合して、混合オーバーレイオーディオを生成する：

混合オーバーレイオーディオ＝ｒ１×ａ１＋・・・＋ｒｎ×ａｎ 式２
ネットワークベースのメディアプロセッシングサーバ（３４０）は、オーバーレイメディアストリームのビデオ部分を混合オーバーレイビデオへと適切に混合することができることが留意される。ネットワークベースのメディアプロセッシングサーバ（３４０）は、他のストリーム（混合オーバーレイメディアストリームと呼ばれる）内の混合オーバーレイオーディオ及び／又は混合オーバーレイビデオをエンコードし、混合オーバーレイメディアストリームを没入型メディアストリームとともにユーザデバイス（３３０）へ送信することができる。ユーザデバイス（３３０）は、没入型メディアストリーム及び混合メディアストリームを受信し、没入型メディアストリーム及び混合メディアストリームをデコードして、没入型メディアのオーディオ（ａ０）、混合オーバーレイオーディオ及び／又は混合オーバーレイビデオを取り出すことができる。没入型メディアのオーディオ（ａ０）及び混合オーバーレイオーディオに基づき、ユーザデバイス（３３０）は、例えば、式３に従って、再生のために、混合されたオーディオ（オーディオ出力と呼ばれる）を生成することができる：

オーディオ出力＝ｒ０×ａ０＋混合オーバーレイオーディオ 式３
例において、オーバーレイメディアストリーム又は没入型メディアストリームからの如何なるオーディオ（没入型メディアストリームからのオーディオは、いくつかの例では、バックグラウンドと呼ばれる）からもバックグラウンドノイズ又は外乱（disturbance）がない場合に、あるいは、全てのメディアストリームのオーディオ強度レベルがおおよそ同じであるか、又は分散が比較的小さい（例えば、予め定義された閾値よりも小さい）場合に、オーディオ混合は、オーバーレイメディアストリーム及び没入型メディアストリームのような全てのストリームから取り出されたオーディオを（例えば、夫々、１の等しい混合重みを用いて）足し合わせて集合オーディオを生成することによって、実行され得る。集合オーディオは、正規化されてもよい（例えば、オーディオの数で除される）。この例におけるオーディオ混合は、ユーザデバイス（１２０）、ユーザデバイス（１３０）、ユーザデバイス（２２０）、ユーザデバイス（２３０）、ユーザデバイス（３２０）、ユーザデバイス（３３０）などのエンドユーザデバイス、及びネットワークベースのメディアプロセッシングサーバ（３４０）によって実行され得る。
いくつかの実施形態で、オーディオ重みは、混合するオーディオの一部を選択するために使用され得る。例において、大量のオーディオが集められて、次いで正規化される場合に、１つのオーディオストリームを他と区別することは困難であり得る。オーディオ重みを用いて、選択された数のオーディオが集められて、次いで正規化され得る。例えば、オーディオの総数が１０である場合に、５つの選択されたオーディオのためのオーディオ重みは０．２であることができ、５つの選択されないオーディオのためのオーディオ重みは０であることができる。オーディオの選択は、アルゴリズムによって定義された混合重みに基づいてもよく、あるいは、オーバーレイ優先度に基づいてもよい。
いくつかの実施形態で、ユーザデバイスは、各々のオーディオ混合重みを変更することによって、あるいは、オーディオを取り出してオーディオを混合するためにメディアストリームのサブセットを使用することによって、混合されるべきメディアストリームからのオーディオの選択を変更することを選択してもよい。
いくつかの実施形態で、メディアストリームでのオーディオの音の強さの変動が大きい場合に、オーバーレイオーディオ及び没入型オーディオのためのオーディオ混合重みは、同じレベルにセットされてもよい。
いくつかの実施形態で、ユーザデバイスは、リソース容量が限られているか、あるいは、異なる会議室からのオーディオを区別することが難しいので、ダウンミックスされるべきオーディオの数は限られていることがある。そのような制限が適用される場合に、サブシステム（２１０Ａ）～（２１０Ｚ）や、ネットワークベースのメディアプロセッシングサーバ（３４０）のような、送り手デバイスは、音の強さ又はオーバーレイ優先度に基づき、オーディオダウンミックスされるメディアストリームを選択してもよい。ユーザデバイスは、ＳＤＰに基づきテレカンファレンスセッション中に選択を変えるようカスタマイズパラメータを送信することができることが留意される。
いくつかのシナリオでは、テレカンファレンスセッション中、発言中／プレゼンテーション中の人物が焦点を合わせられている必要がある。よって、発言中の人物のオーディオを含むメディアストリームは、比較的大きいオーディオ混合重みを割り当てられ得、他のメディアストリームの他のオーディオのためのオーディオ混合重みは、下げられ得る。
いくつかのシナリオでは、遠隔のユーザがプレゼンテーションを行っており、没入型メディアストリームの没入型オーディオがバックグラウンドノイズを有している場合に、サブシステム（２１０Ａ）～（２１０Ｚ）や、ネットワークベースのメディアプロセッシングサーバ（３４０）のような、送り手は、没入型オーディオのオーディオ混合重みを、遠隔のユーザに関連したオーバーレイオーディオよりも小さくなるよう下げることができる。これは、テレカンファレンスセッション中にオーディオ重みを下げることによって、既にセッションに参加しているエンドユーザによってカスタマイズされ得るが、送り手から供給されたデフォルトのオーディオ混合重みを変えることは、カンファレンスに参加したばかりの新しい遠隔のユーザが、優れた音響品質でオーディオをダウンミックスするよう送り手からオーディオストリームのためのデフォルトのオーディオ混合重みを得ることを可能にすることができる。
実施形態において、オーディオ混合重みのようなオーディオ混合パラメータは、サブシステム（３１０Ａ）～（３１０Ｚ）などのような、送り手デバイスによって定義される。送り手デバイスは、オーディオストリームを同じラウドネスレベルにセットするようオーディオ混合重みを決定することができる。オーディオ混合パラメータ（オーディオ混合重み）は、ＳＤＰシグナリングを介して、送り手デバイスからネットワークベースのメディアプロセッシングサーバ（３４０）へ送信され得る。
他の実施形態においては、サブシステム（３１０Ａ）～（３１０Ｚ）などのような、送り手デバイスは、没入型メディアコンテンツのオーディオのためのオーディオ混合重みを、オーバーレイメディアストリームの他のオーバーレイオーディオのためのオーディオ混合重みよりも高くなるようセットすることができる。例において、オーバーレイオーディオは、同じオーディオ混合重みを有してもよい。オーディオ混合パラメータ（オーディオ混合重み）は、ＳＤＰシグナリングを介して、送り手デバイスからネットワークベースのメディアプロセッシングサーバ（３４０）へ送信され得る。
他の実施形態においては、サブシステム（３１０Ａ）～（３１０Ｚ）などのような、送り手デバイスは、没入型メディアコンテンツのオーディオのためのオーディオ混合重みを、オーバーレイメディアストリームのオーバーレイオーディオのためのオーディオ混合重みよりも高くなるようセットしてもよい。オーディオ混合パラメータ（オーディオ混合重み）は、ＳＤＰシグナリングを介して、送り手デバイスからネットワークベースのメディアプロセッシングサーバ（３４０）へ送信され得る。
いくつかの例で、例えば、エンドユーザデバイスが十分な処理容量を有してない可能性がある場合に、ネットワークベースのメディアプロセッシングサーバ（３４０）は、同じオーディオストリームを複数のエンドユーザデバイスを送信してもよい。
いくつかの例で、例えば、オーディオ混合パラメータがユーザによって定義されるか、又はユーザによってカスタマイズされる場合に、個々のオーディオストリームは、送り手デバイスによって、又はネットワークベースのメディアプロセッシングサーバ（３４０）によって、ユーザデバイスごとにエンコードされてもよい。例において、オーディオ混合パラメータは、ユーザの視野（ＦｏＶ）に基づいてもよく、例えば、ユーザの視野（ＦｏＶ）内にあるオーバーレイのためのオーディオストリームは、他のストリームと比較して、より大きいラウドネスで混合されてもよい。オーディオ混合パラメータ（オーディオ混合重み）は、送り手デバイス、ユーザデバイス、及びネットワークベースのメディアプロセッシングサーバ（３４０）によってＳＤＰシグナリングを介してネゴシエーションされ得る。
実施形態において、例えば、エンドユーザが、インターネットプロトコルマルチメディアサブシステム（ＭＴＳＩ）のためのマルチメディアテレフォニーサービスをサポートするが、遠隔端末のためのＭＴＳＩ没入型テレカンファレンス及びテレプレゼンス（ＩＴＴ４ＲＴ）をサポートしない場合に、ネットワークベースのメディアプロセッシングサーバ（３４０）は、混合されたオーディオ及びビデオを生成するようオーディオ及びビデオの両方を混合し、混合されたオーディオ及びビデオを運ぶメディアストリームをエンドユーザデバイスへ供給し、それによって、ＭＴＳＩ端末のための下位互換性を提供し得る。
他の実施形態においては、例えば、エンドユーザデバイスの能力が限られている場合に、ネットワークベースのメディアプロセッシングサーバ（３４０）は、混合されたオーディオ及びビデオを生成するようオーディオ及びビデオの両方を混合し、混合されたオーディオ及びビデオを運ぶメディアストリームをエンドユーザデバイスへ供給してもよい。
他の実施形態においては、ネットワークベースのメディアプロセッシングサーバ（３４０）が、能力が限られており、いくつかのエンドユーザデバイスが、能力が限られたＭＩＴＩデバイスである場合に、ネットワークベースのメディアプロセッシングサーバ（３４０）は、同じ送り手デバイスからのオーディオ及びビデオの両方を混合して、混合されたオーディオ及びビデオを生成し、混合されたオーディオ及びビデオを運ぶメディアストリームを、能力が限られたＭＳＴＩデバイスであるエンドユーザデバイスへ供給することができる。
他の実施形態においては、ネットワークベースのメディアプロセッシングサーバ（３４０）は、ＳＤＰシグナリングを用いて、オーディオ混合のための共通設定の組を、ＭＳＴＩデバイスであるエンドユーザデバイスの全て又はサブセットとネゴシエーションすることができる。共通設定の組は、没入型メディア及び様々なオーバーレイメディアの単一ビデオ合成用である。その場合に、共通設定の組に基づき、ネットワークベースのメディアプロセッシングサーバ（３４０）は、オーディオ混合及び／又はビデオ混合を実行して、混合されたオーディオ及びビデオを生成し、そして、混合されたオーディオ及びビデオを運ぶメディアストリームを、ＭＳＴＩデバイスであるエンドユーザデバイスの全て又はサブセットへ供給することができる。
図４は、本開示の実施形態に従うプロセス（４００）を説明するフローチャートを示す。様々な実施形態において、プロセス（４００）は、ユーザデバイス（１２０）、ユーザデバイス（１３０）、ユーザデバイス（２２０）、ユーザデバイス（２３０）、ユーザデバイス（３２０）、ユーザデバイス（３３０）、ネットワークベースのメディアプロセッシングサーバ（３４０）、などのプロセッシング回路のような、デバイス内のプロセッシング回路によって、実行され得る。いくつかの実施形態で、プロセス（４００）はソフトウェア命令で実装されるので、プロセッシング回路がソフトウェア命令を実行する場合に、プロセッシング回路はプロセス（４００）を実行する。プロセスは（Ｓ４０１）から始まり、（Ｓ４１０）へ進む。
（Ｓ４１０）で、第１オーディオを運ぶ第１メディアストリームと、第２オーディオを運ぶ第２メディアストリームとが、受信される。
（Ｓ４２０）で、第１オーディオを重み付けする第１オーディオ重みと、第２オーディオを重み付けする第２オーディオ重みとが、受信される。
（Ｓ４３０）で、第１オーディオ重みに基づいた重み付き第１オーディオと、第２オーディオ重みに基づいた重み付き第２オーディオとが、混合オーディオを生成するよう結合される。
いくつかの例で、デバイスはユーザデバイスであり、ユーザデバイスのプロセッシング回路は、例えば、没入型コンテンツのためのホストデバイス（例えば、サブシステム（１１０）、（２１０Ａ）～（２１０Ｚ）、（３１０Ａ）～（３１０Ｚ））によって決定される第１オーディオ重み及び第２オーディオ重みを受信し、ユーザデバイスは、ユーザデバイスに関連したスピーカを通じて、混合オーディオを再生することができる。例において、オーディオ重みをカスタマイズするために、ユーザデバイスは、ホストデバイスへカスタマイズパラメータを送信して、ホストデバイスがカスタマイズパラメータに基づき第１オーディオ重み及び第２オーディオ重みをカスタマイズするようにすることができる。
いくつかの例で、ホストデバイスは、第１オーディオ及び第２オーディオの音の強さに基づき、第１オーディオ重み及び第２オーディオ重みを決定することができる。
いくつかの例で、第１オーディオ及び第２オーディオはオーバーレイオーディオであり、ホストデバイスは、第１オーディオ及び第２オーディオのオーバーレイ優先度に基づき、第１オーディオ重み及び第２オーディオ重みを決定することができる。
いくつかの例で、ホストデバイスは、アクティブスピーカの検出に基づき、第１オーディオ重み及び第２オーディオ重みを決定することができる。
いくつかの例で、第１メディアストリームは没入型メディアコンテンツを含み、第２メディアストリームはオーバーレイメディアコンテンツに対応し、ホストデバイスは、第１オーディオ重みを、第２オーディオ重みとは異なるように決定することができる。
いくつかの実施形態で、プロセス（４００）は、ユーザデバイスからオフロードされたメディアプロセッシングを実行するネットワークベースのメディアプロセッシングサーバによって実行される。ネットワークベースのメディアプロセッシングサーバは、混合オーディオを第３メディアストリームにエンコードし、第３メディアストリームをユーザデバイスへ送信することができる。いくつかの例で、プロセス（４００）は、ユーザデバイスからオフロードされたオーバーレイメディアプロセッシングを実行するネットワークベースのメディアプロセッシングサーバによって実行される。ネットワークベースのメディアプロセッシングサーバは、第３メディアストリームと、没入型メディアコンテンツを含む第４メディアストリームとを送信することができる。第３メディアストリームは、没入型メディアコンテンツへのオーバーレイメディアコンテンツを含む。
プロセスは（Ｓ４９９）へ進んで終了する。
図５は、本開示の実施形態に従うプロセス（５００）を説明するフローチャートを示す。様々な実施形態で、プロセス（５００）は、ネットワークベースのメディアプロセッシングサーバ（３４０）などのような、ネットワークベースのメディアプロセッシングのためのデバイス内のプロセッシング回路によって実行され得る。いくつかの実施形態で、プロセス（５００）はソフトウェア命令で実装されるので、プロセッシング回路がソフトウェア命令を実行する場合に、プロセッシング回路はプロセス（５００）を実行する。プロセスは（Ｓ５０１）から開始し、（Ｓ５１０）へ進む。
（Ｓ５１０）で、第１メディアコンテンツを運ぶ第１メディアストリームと、第２メディアコンテンツを運ぶ第２メディアストリームとが、受信される。
（Ｓ５２０）で、第１メディアコンテンツと第２メディアコンテンツを混合する第３メディアコンテンツが生成される。
いくつかの例で、第１メディアコンテンツ内の第１オーディオは、第３オーディオを生成するよう第２メディアコンテンツ内の第２オーディオと混合される。第１オーディオは、第１オーディオに割り当てられている第１オーディオ重みに基づき重み付けされ、第２オーディオは、第２オーディオに割り当てられている第２オーディオ重みに基づき重み付けされる。例において、第１オーディオ重み及び第２オーディオ重みは、没入型メディアコンテンツを供給するホストデバイスによって決定され、ホストデバイスからネットワークベースのメディアプロセッシングサーバへ送信される。
例において、第１メディアストリームは没入型メディアストリームであり、第２メディアストリームはオーバーレイメディアストリームであり、その場合に、第１オーディオ重み及び第２オーディオ重みは、値が異なる。
例において、第１メディアストリーム及び第２メディアストリームはオーバーレイメディアストリームであり、第１オーディオ重み及び第２オーディオ重みは、等しい値である。
他の例においては、第１メディアストリーム及び第２メディアストリームはオーバーレイメディアストリームであり、第１オーディオ重み及び第２オーディオ重みは、第１メディアストリーム及び第２メディアストリームのオーバーレイ優先度に依存する。
（Ｓ５３０）で、第３メディアコンテンツを運ぶ第３メディアストリームが、ユーザデバイスへ送信される。
次いで、プロセスは（Ｓ５９９）へ進んで終了する。
図６は、本開示の実施形態に従うプロセス（６００）を説明するフローチャートを示す。様々な実施形態で、プロセス（６００）は、サブシステム（１１０）、（２１０Ａ）～（２１０Ｚ）、（３１０Ａ）～（３１０Ｚ）、などのプロセッシング回路のような、没入型メディアコンテンツのためのホストデバイス内のプロセッシング回路によって、実行され得る。いくつかの実施形態で、プロセス（６００）はソフトウェア命令で実装されるので、プロセッシング回路がソフトウェア命令を実行する場合に、プロセッシング回路はプロセス（６００）を実行する。プロセスは（Ｓ６０１）から開始し、（Ｓ６１０）へ進む。
（Ｓ６１０）で、第１オーディオを運ぶ第１メディアストリームと、第２オーディオを運ぶ第２メディアストリームとが、送信される。
（Ｓ６２０）で、第１オーディオを重み付けする第１オーディオ重みと、第２オーディオを重み付けする第２オーディオ重みとが、決定される。
いくつかの例で、ホストデバイスは、セッション記述プロトコルに基づきカスタマイズパラメータを受け取り、カスタマイズパラメータに基づき第１オーディオ重み及び第２オーディオ重みを決定する。
いくつかの例で、ホストデバイスは、第１オーディオ及び第２オーディオの音の強さに基づき、第１オーディオ重み及び第２オーディオ重みを決定する。
いくつかの例で、第１オーディオ及び第２オーディオはオーバーレイオーディオでわり、ホストデバイス、第１オーディオ及び第２オーディオのオーバーレイ優先度に基づき、第１オーディオ重み及び第２オーディオ重みを決定することができる。
いくつかの例で、ホストデバイスは、第１オーディオ及び第２オーディオの一方でのアクティブスピーカの検出に基づき、第１オーディオ重み及び第２オーディオ重みを決定する。
いくつかの例で、第１メディアストリームは没入型メディアコンテンツを含み、第２メディアストリームはオーバーレイメディアストリームを含み、ホストデバイスは、第１オーディオ重み及び第２オーディオ重みに対して異なる値を決定する。
（Ｓ６３０）で、第１オーディオ重み及び第２オーディオ重みは、第１オーディオを第２オーディオと混合するために送信される。
次いで、プロセスは（Ｓ６９９）へ進んで終了する。
上記の技術は、コンピュータ可読命令を使用して、１つ以上のコンピュータ可読媒体に物理的に記憶されているコンピュータソフトウェアとして、実装され得る。例えば、図７は、開示されている対象の特定の実施形態を実装するのに適したコンピュータシステム（７００）を示す。
コンピュータソフトウェアは、１つ以上の中央演算処理装置（ＣＰＵ）などによって、直接に又は解釈を通じて実行され得る命令、マイクロコード、などを含むコードを生成するよう、アセンブリ、コンパイル、リンキング、又は同様のメカニズムに従い得る如何なる適切なマシンコード又はコンピュータ言語を用いてもコード化され得る。
命令は、パーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲーミングデバイス、インターネット・オブ・シングスデバイス、などを含む様々なコンピュータ及びそのコンポーネントで実行され得る。
コンピュータシステム（７００）のための図７に示されているコンポーネントは、当然ながら例示であり、本開示の実施形態を実装するコンピュータソフトウェアの使用又は機能の範囲に関して如何なる限定も示唆するよう意図されない。また、コンポーネントの構成は、コンピュータシステム（７００）の例示的な実施形態で表されているコンポーネントのうちのいずれか１つ又は組み合わせに関する如何なる依存性又は要件も有するものとしても解釈されない。
コンピュータシステム（７００）は、特定のヒューマンインターフェース入力デバイスを含んでもよい。そのようなヒューマンインターフェース入力デバイスは、例えば、触覚入力（例えば、キーストローク、スワイプ、データグローブ動作）、音声入力（例えば、声、拍手）、視覚入力（例えば、ジェスチャ）、嗅覚入力（図示せず）を通じて、１人以上のユーザによる入力に応答し得る。ヒューマンインターフェースデバイスはまた、音声（例えば、発話、音楽、周囲音）、画像（例えば、スキャン画像、静止画カメラから取得された写真画像）、映像（例えば、２次元映像、立体視映像を含む３次元映像）などの、人間による意識的入力に必ずしも直接には関係がない特定のメディアを捕捉するためにも使用され得る。
ヒューマンインターフェース入力デバイスは、キーボード（７０１）、マウス（７０２）、トラックパッド（７０３）、タッチスクリーン（７１０）、データグロープ（図示せず）、ジョイスティック（７０５）、マイク（７０６）、スキャナ（７０７）、カメラ（７０８）（夫々表されているものの1つのみ）のうちの１つ以上を含んでもよい
コンピュータシステム（７００）はまた、特定のヒューマンインターフェース出力デバイスも含んでもよい。そのようなヒューマンインターフェース出力デバイスは、例えば、触覚出力、音響、光、及び匂い／味を通じて、1人以上のユーザの感覚を刺激するものであってよい。そのようなヒューマンインターフェース出力デバイスは、触覚出力デバイス（例えば、タッチスクリーン（７１０）、データグロープ（図示せず）、又はジョイスティック（７０５）による触覚フィードバックであるが、入力デバイスとして機能しない触覚フィードバックデバイスも存在し得る）、音声出力デバイス（例えば、スピーカ（７０９）、ヘッドホン（図示せず））、視覚出力デバイス（例えば、夫々タッチスクリーン入力能力を有しても有さなくてもよく、夫々触覚フィードバック能力を有しても有さなくてもよいＣＲＴスクリーン、ＬＣＤスクリーン、プラズマスクリーン、ＯＬＥＤスクリーンを含むスクリーン（それらのうちの一部は、２次元視覚出力又は立体視出力などの手段を通じた３次元よりも大きい次元の出力を出力可能であってよい）、仮想現実メガネ（図示せず）、ホログラフィックディスプレイ及びスモークタンク（図示せず））、並びにプリンタ（図示せず）を含んでもよい。
コンピュータシステム（７００）はまた、人がアクセス可能な記憶デバイス及び関連する媒体、例えば、ＣＤ／ＤＶＤとともにＣＤ／ＤＶＤ ＲＯＭ／ＲＷ（７２０）を含む光学媒体若しくは同様の媒体（７２１）、サムドライブ（７２２）、リムーバブルハードディスク若しくはソリッドステートドライブ（７２３）、テープ及びフロッピー（登録商標）ディスク（図示せず）などのレガシー磁気媒体、セキュリティドングルなどの特殊化されたＲＯＭ／ＡＳＩＣ／ＰＬＤベースのデバイス、なども含むことができる。
当業者はまた、目下開示されている対象とともに使用されている「コンピュータ可読媒体」との用語が伝送媒体、搬送波、又は他の一時的な信号を含まないことも理解すべきである。
コンピュータシステム（７００）はまた、１つ以上の通信ネットワークへのインターフェース（７５４）も含むことができる。ネットワークは、例えば、無線、有線、光であることができる。ネットワークは更に、ローカル、ワイドエリア、メトロポリタン、車両及び産業、リアルタイム、遅延耐性、などであることができる。ネットワークの例は、ＳＧＳＭ、３Ｇ、４Ｇ、５Ｇ、ＬＴＥなどを含めるようＥｔｈｅｒｎｅｔ（登録商標）、無線ＬＡＮ、セルラーネットワークのようなローカル・エリア・ネットワーク、ケーブルＴＶ、衛星ＴＶ、及び地上放送ＴＶを含めるようＴＶ有線又は無線広域デジタルネットワーク、ＣＡＮＢｕｓを含めるよう車両及び産業ネットワーク、などを含む。特定のネットワークは、一般的に、特定の汎用データポート又はペリフェラルバス（例えば、コンピュータシステム（７００）のＵＳＢポート）に取り付けられている外部ネットワークインターフェースアダプタを必要とし、他は、一般的に、後述されるようなシステムバスへの取り付けによってコンピュータシステム（７００）のコアに組み込まれる（例えば、ＰＣコンピュータシステムへのＥｈｔｅｒｎｅｔインターフェース、又はスマートフォンコンピュータシステムへのセルラーネットワークインターフェース）。それらのネットワークのいずれかを用いて、コンピュータシステム（７００）は他のエンティティと通信することができる。そのような通信は、例えば、ローカル又はワイドエリアデジタルネットワークを使用して他のコンピュータシステムに対して、一方向の受信専用（例えば、ブロードキャストＴＶ）、一方向の送信専用（例えば、特定のＣＡＮｂｕｓデバイスへのＣＡＮｂｕｓ）、又は双方向であることができる。特定のプロトコル及びプロトコルスタックが、上述されているそれらのネットワーク及びネットワークインターフェースの夫々で使用され得る。
上記のヒューマンインターフェースデバイス、人がアクセス可能な記憶デバイス、及びネットワークインターフェースは、コンピュータシステム（７００）のコア（７４０）へ取り付けられ得る。
コア（７４０）は、１つ以上の中央演算処理装置（ＣＰＵ）（７４１）、グラフィクス・プロセッシング・ユニット（ＧＰＵ）（７４２）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）（７４３）の形を取る特殊化されたプログラム可能なプロセッシングユニット、特定のタスクのためのハードウェアアクセラレータ（７４４）、グラフィクスアダプタ（７５０）などを含むことができる。これらのデバイスは、リード・オンリー・メモリ（ＲＯＭ）（７４５）、内蔵非ユーザアクセス可能ハードドライブ、ＳＳＤ、などのような内蔵大容量記憶装置（７４７）とともに、システムバス（７４８）を通じて接続されてもよい。いくつかのコンピュータシステムで、システムバス（７４８）は、追加のＣＰＵ、ＧＰＵ、などによる拡張を可能にするよう１つ以上の物理プラグの形でアクセス可能であることができる。周辺機器は、コアのシステムバス（７４８）へ直接に、あるいは、ペリフェラルバス（７４９）を通じて、取り付けられ得る。例において、スクリーン（７１０）はグラフィクスアダプタ（７５０）へ接続され得る。ペリフェラルバスのためのアーキテクチャは、ＰＣＴ，ＵＳＢ、などを含む。
ＣＰＵ（７４１）、ＧＰＵ（７４２）、ＦＰＧＡ（７４３）、及びアクセラレータ（７４４）は、組み合わせて上記のコンピュータコードを構成することができる特定の命令を実行することができる。そのコンピュータコードはＲＯＭ（７４５）又はＲＡＭ（７４６）に記憶され得る。過渡的データもＲＡＭ（７４６）に記憶され得る一方で、永続的なデータは、例えば、内蔵大容量記憶装置（７４７）に記憶され得る。メモリデバイスのいずれかへの高速な記憶及び読み出しは、１つ以上のＣＰＵ（７４１）、ＧＰＵ（７４２）、大容量記憶装置（７４７）、ＲＯＭ（７４５）、ＲＡＭ（７４６）、などに密接に関連することができるキャッシュメモリの使用を通じて可能にされ得る。
コンピュータ可読媒体は、様々なコンピュータ実装動作を実行するためにコンピュータコードを有することができる。媒体及びコンピュータコードは、本開示の目的のために特に設計及び構成されたものであることができ、あるいは、それらは、コンピュータソフトウェア分野の当業者によく知られており利用可能である種類であることができる。
例として、限定としてではなく、図７に示されているアーキテクチャを有するコンピュータシステム（７００）、具体的には、コア（７４０）は、プロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、アクセラレータ、などを含む）が１つ以上の有形なコンピュータ可読媒体で具現化されているソフトウェアを実行した結果として機能を提供することができる。そのようなコンピュータ可読媒体は、コア内蔵大容量記憶装置（７４７）又はＲＯＭ（７４５）のような、非一時的な性質のコア（７４０）の特定の記憶装置とともに、上記のユーザによりアクセス可能な大容量記憶装置に関連した媒体であることができる。本開示の様々な実施形態を実装するソフトウェアは、そのようなデバイスに記憶され、コア（７４０）によって実行され得る。コンピュータ可読媒体は、特定ニーズに応じて、１つ以上のメモリデバイス又はチップを含むことができる。ソフトウェアは、コア（７４０）及び具体的にはその中のプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、などを含む）に、ＲＡＭ（７４６）に記憶されているデータ構造を定義すること、及びソフトウェアによって定義されたプロセスに従ってそのようなデータ構造を変更することを含め、本明細書で記載されている特定のプロセス又は特定のプロセスの特定の部分を実行させることができる。更には、あるいは、代案として、コンピュータシステムは、本明細書で記載されている特定プロセス又は特定のプロセスの特定の部分を実行するようソフトウェアの代わりに又はそれとともに動作することができる、回路（例えば、アクセラレータ（７４４））内でハードワイヤード接続された又は別なふうに具現化されたロジックの結果として、機能を提供することができる。ソフトウェアへの言及は、必要に応じて、ロジックを包含することができ、その逆もしかりである。コンピュータ可読媒体への言及は、必要に応じて、実行されるソフトウェアを記憶する回路（例えば、集積回路（ＩＣ））、実行されるロジックを具現化する回路、又はその両方を含むことができる。本開示は、ハードウェアとソフトウェアとの如何なる適切な組み合わせも含む。
本開示はいくつかの例示的な実施形態について記載してきたが、本開示の範囲内に入る代案、置換、及び様々な代替同等物がある。よって、当業者には当然ながら、本明細書で明示的に図示及び記載されていないとしても、本開示の原理を具現化し、よって、その精神及び範囲内にある多数のシステム及び方法に想到可能である。

Claims (20)

  1. テレカンファレンスの方法であって、
    第１デバイスのプロセッシング回路によって、第２デバイスから、第１オーディオを運ぶ第１メディアストリームと、第２オーディオを運ぶ第２メディアストリームとを受信するステップと、
    前記第２デバイスから、前記第１オーディオを重み付けする第１オーディオ重みと、前記第２オーディオを重み付けする第２オーディオ重みとを受信するステップと、
    前記第１デバイスの前記プロセッシング回路によって、前記第１オーディオ重みに基づいた重み付き第１オーディオと、前記第２オーディオ重みに基づいた重み付き第２オーディオとを結合することで、混合オーディオを生成するステップと
    を有する方法。
  2. 前記第１デバイスに関連したスピーカを通じて前記混合オーディオを再生するステップを更に有する、
    請求項１に記載の方法。
  3. カスタマイズパラメータに基づき前記第１オーディオ重み及び前記第２オーディオ重みをカスタマイズするために前記第２デバイスへ前記カスタマイズパラメータを送信するステップを更に有する、
    請求項１又は２に記載の方法。
  4. 前記第１オーディオ及び前記第２オーディオの音の強さに基づき前記第２デバイスによって決定される前記第１オーディオ重み及び前記第２オーディオ重みを受信するステップを更に有する、
    請求項１乃至３のうちいずれか一項に記載の方法。
  5. 前記第１オーディオ及び前記第２オーディオは、オーバーレイオーディオであり、当該方法は、
    前記第１オーディオ及び前記第２オーディオのオーバーレイ優先度に基づき前記第２デバイスによって決定される前記第１オーディオ重み及び前記第２オーディオ重みを受信するステップを更に有する、
    請求項１乃至３のうちいずれか一項に記載の方法。
  6. アクティブスピーカの検出に基づき前記第２デバイスによって調整される前記第１オーディオ重み及び前記第２オーディオ重みを受信するステップを更に有する、
    請求項１乃至３のうちいずれか一項に記載の方法。
  7. 前記第１メディアストリームは、没入型メディアコンテンツを含み、
    前記第２メディアストリームは、前記没入型メディアコンテンツに対するオーバーレイメディアコンテンツを含み、
    前記第１オーディオ重みは、前記第２オーディオ重みとは異なる、
    請求項１乃至３のうちいずれか一項に記載の方法。
  8. 前記プロセッシング回路によって前記混合オーディオを第３メディアストリームにエンコードするステップと、
    前記第１デバイスのインターフェース回路を介して、前記第３メディアストリームを第３デバイスへ送信するステップと
    を更に有する、請求項１乃至７のうちいずれか一項に記載の方法。
  9. 前記第１デバイスの前記インターフェース回路を介して、前記第３メディアストリームと、没入型メディアコンテンツを含む第４メディアストリームとを送信するステップを更に有し、
    前記第３メディアストリームは、前記第４メディアストリームに対するオーバーレイメディアストリームである、
    請求項８に記載の方法。
  10. テレカンファレンスの方法であって、
    第１デバイスのプロセッシング回路によって、テレカンファレンスセッションの第１メディアコンテンツを運ぶ第１メディアストリームと、前記テレカンファレンスセッションの第２メディアコンテンツを運ぶ第２メディアストリームとを受信するステップと、
    前記第１デバイスの前記プロセッシング回路によって、前記第１メディアコンテンツと前記第２メディアコンテンツとを混合する第３メディアコンテンツを生成するステップと、
    前記第１デバイスの伝送回路を介して、前記第３メディアコンテンツを運ぶ第３メディアストリームを第２デバイスへ送信するステップと
    を有する方法。
  11. 前記第１デバイスの前記プロセッシング回路によって、前記第１メディアコンテンツ内の第１オーディオを前記第２メディアコンテンツ内の第２オーディオと混合して、前記第１オーディオに割り当てられた第１オーディオ重みと、前記第２オーディオに割り当てられた第２オーディオ重みとに基づき、第３オーディオを生成するステップを更に有する、
    請求項１０に記載の方法。
  12. 前記第１メディアストリームは、没入型メディアコンテンツを含み、前記第２メディアストリームは、前記没入型メディアコンテンツに対するオーバーレイメディアコンテンツを含み、当該方法は、
    前記第１デバイスの前記プロセッシング回路によって、値が異なる前記第１オーディオ重み及び前記第２オーディオ重みに基づき、前記第１オーディオを前記第２オーディオと混合するステップを更に有する、
    請求項１１に記載の方法。
  13. 前記第１メディアストリーム及び前記第２メディアストリームは、オーバーレイメディアストリームであり、当該方法は、
    前記第１デバイスの前記プロセッシング回路によって、等しい値の前記第１オーディオ重み及び前記第２オーディオ重みに基づき、前記第１オーディオを前記第２オーディオと混合するステップを更に有する、
    請求項１１に記載の方法。
  14. 前記第１メディアストリーム及び前記第２メディアストリームは、オーバーレイメディアストリームであり、当該方法は、
    前記第１デバイスの前記プロセッシング回路によって、前記第１メディアストリーム及び前記第２メディアストリームのオーバーレイ優先度に関連する前記第１オーディオ重み及び前記第２オーディオ重みに基づき、前記第１オーディオを前記第２オーディオと混合するステップを更に有する、
    請求項１１に記載の方法。
  15. テレカンファレンスの方法であって、
    第１デバイスによって、第２デバイスへ、第１オーディオを運ぶ第１メディアストリームと、第２オーディオを運ぶ第２メディアストリームとを送信するステップと、
    前記第１デバイスによって、前記第１オーディオを重み付けする第１オーディオ重みと、前記第２オーディオを重み付けする第２オーディオ重みとを決定するステップと、
    前記第１デバイスによって、前記第２デバイスへ、前記第１オーディオと前記第２オーディオとを混合するために前記第１オーディオ重み及び前記第２オーディオ重みを送信するステップと
    を有する方法。
  16. セッション記述プロトコルに基づきカスタマイズパラメータを受け取るステップと、
    前記カスタマイズパラメータに基づき前記第１オーディオ重み及び前記第２オーディオ重みを決定するステップと
    を更に有する、請求項１５に記載の方法。
  17. 前記第１オーディオ及び前記第２オーディオの音の強さに基づき前記第１オーディオ重み及び前記第２オーディオ重みを決定するステップを更に有する、
    請求項１５又は１６に記載の方法。
  18. 前記第１オーディオ及び前記第２オーディオは、オーバーレイオーディオであり、当該方法は、
    前記第１オーディオ及び前記第２オーディオのオーバーレイ優先度に基づき前記第１オーディオ重み及び前記第２オーディオ重みを決定するステップを更に有する、
    請求項１５又は１６に記載の方法。
  19. 前記第１オーディオ及び前記第２オーディオの一方でのアクティブスピーカの検出に基づき前記第１オーディオ重み及び前記第２オーディオ重みを決定するステップを更に有する、
    請求項１５又は１６に記載の方法。
  20. 前記第１メディアストリームは、没入型メディアコンテンツを含み、前記第２メディアストリームは、オーバーレイメディアコンテンツを含み、当該方法は、
    前記第１オーディオ重み及び前記第２オーディオ重みに対して異なる値を決定するステップを更に有する、
    請求項１５又は１６に記載の方法。
JP2022535698A 2020-10-06 2021-06-22 テレカンファレンスの方法 Pending JP2023508130A (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US202063088300P 2020-10-06 2020-10-06
US63/088,300 2020-10-06
US202063124261P 2020-12-11 2020-12-11
US63/124,261 2020-12-11
US17/327,400 US11662975B2 (en) 2020-10-06 2021-05-21 Method and apparatus for teleconference
US17/327,400 2021-05-21
PCT/US2021/038370 WO2022076046A1 (en) 2020-10-06 2021-06-22 Method and apparatus for teleconference

Publications (1)

Publication Number Publication Date
JP2023508130A true JP2023508130A (ja) 2023-03-01

Family

ID=80932275

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2022535698A Pending JP2023508130A (ja) 2020-10-06 2021-06-22 テレカンファレンスの方法
JP2023509818A Pending JP2023538548A (ja) 2020-10-06 2021-09-24 オーディオミキシングのための方法および装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023509818A Pending JP2023538548A (ja) 2020-10-06 2021-09-24 オーディオミキシングのための方法および装置

Country Status (6)

Country Link
US (4) US11662975B2 (ja)
EP (2) EP4042673A4 (ja)
JP (2) JP2023508130A (ja)
KR (2) KR102626555B1 (ja)
CN (2) CN114667727A (ja)
WO (2) WO2022076046A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022182019A (ja) * 2021-05-27 2022-12-08 シャープ株式会社 会議システム、会議方法、及び会議プログラム
US11979244B2 (en) * 2021-09-30 2024-05-07 Snap Inc. Configuring 360-degree video within a virtual conferencing system
CN114900503A (zh) * 2022-04-22 2022-08-12 北京字节跳动网络技术有限公司 一种混音方法、装置、处理服务器、媒体服务器及介质
CN116303135B (zh) * 2023-02-24 2024-03-22 格兰菲智能科技有限公司 任务数据的装载方法、装置和计算机设备

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6947417B2 (en) 2001-06-29 2005-09-20 Ip Unity Method and system for providing media services
CN100574287C (zh) * 2002-07-04 2009-12-23 斯比德航海有限公司 管理分组交换电话会议
JP2004072354A (ja) 2002-08-06 2004-03-04 Yokogawa Electric Corp 音声会議システム
US7610011B2 (en) * 2004-09-19 2009-10-27 Adam Albrett Providing alternative programming on a radio in response to user input
ATE499677T1 (de) 2006-09-18 2011-03-15 Koninkl Philips Electronics Nv Kodierung und dekodierung von audio-objekten
US8243119B2 (en) 2007-09-30 2012-08-14 Optical Fusion Inc. Recording and videomail for video conferencing call systems
CN100550860C (zh) * 2007-11-27 2009-10-14 华为技术有限公司 媒体资源预留方法及业务包信息获取方法及装置
JP5219501B2 (ja) 2007-12-27 2013-06-26 三菱電機株式会社 画面生成装置および画面レイアウト共有システム
CN102016983B (zh) * 2008-03-04 2013-08-14 弗劳恩霍夫应用研究促进协会 用于对多个输入数据流进行混合的设备
WO2011020493A1 (en) * 2009-08-17 2011-02-24 Nokia Siemens Networks Oy Control of session parameter negotiation for communication connection
JP2013528832A (ja) * 2010-11-12 2013-07-11 ポリコム，インク． マルチポイント環境におけるスケーラブルオーディオ処理
GB201109417D0 (en) * 2011-06-06 2011-07-20 Trilogy Comm Ltd Communications device
US20180316948A1 (en) * 2012-04-24 2018-11-01 Skreens Entertainment Technologies, Inc. Video processing systems, methods and a user profile for describing the combination and display of heterogeneous sources
US9191516B2 (en) * 2013-02-20 2015-11-17 Qualcomm Incorporated Teleconferencing using steganographically-embedded audio data
US9337790B2 (en) 2013-11-25 2016-05-10 2236008 Ontario Inc. System and method for enhancing comprehensibility through spatialization
US9516268B2 (en) * 2014-03-28 2016-12-06 International Business Machines Corporation Maintaining audio video conference continuity
EP3127326B1 (en) * 2014-03-31 2021-11-03 Polycom, Inc. System and method for a hybrid topology media conferencing system
FR3034608A1 (fr) * 2015-03-31 2016-10-07 Orange Procede de priorisation de flux medias dans un reseau de communications
US10225814B2 (en) * 2015-04-05 2019-03-05 Qualcomm Incorporated Conference audio management
KR102101656B1 (ko) * 2015-11-09 2020-04-17 노키아 솔루션스 앤드 네트웍스 오와이 웹 실시간 통신 시나리오들에서 향상된 미디어 평면 최적화
EP3203701B1 (en) * 2016-02-04 2021-04-21 Unify Patente GmbH & Co. KG Method of controlling a real-time conference session, a computer program product causing a computer to execute the method, and a communication system for controlling the real-time conference session
US10587978B2 (en) * 2016-06-03 2020-03-10 Nureva, Inc. Method, apparatus and computer-readable media for virtual positioning of a remote participant in a sound space
EP3301896B1 (en) 2016-09-28 2019-07-24 British Telecommunications public limited company Streamed communication
US10992795B2 (en) * 2017-05-16 2021-04-27 Apple Inc. Methods and interfaces for home media control
US20190104326A1 (en) * 2017-10-03 2019-04-04 Qualcomm Incorporated Content source description for immersive media data
US10674266B2 (en) * 2017-12-15 2020-06-02 Boomcloud 360, Inc. Subband spatial processing and crosstalk processing system for conferencing
US20190215729A1 (en) * 2018-03-15 2019-07-11 Intel Corporation Session description protocol mechanisms for signaling radio access network capabilities in multimedia telephony sessions
GB2574238A (en) 2018-05-31 2019-12-04 Nokia Technologies Oy Spatial audio parameter merging
US10819953B1 (en) * 2018-10-26 2020-10-27 Facebook Technologies, Llc Systems and methods for processing mixed media streams
CN114258668A (zh) * 2019-06-25 2022-03-29 苹果公司 沉浸式远程会议和远程呈现

Also Published As

Publication number Publication date
WO2022076183A1 (en) 2022-04-14
US11847377B2 (en) 2023-12-19
US20220109758A1 (en) 2022-04-07
US20220107779A1 (en) 2022-04-07
KR102626555B1 (ko) 2024-01-18
CN116018782A (zh) 2023-04-25
US11914922B2 (en) 2024-02-27
US20230229384A1 (en) 2023-07-20
EP4042673A1 (en) 2022-08-17
EP4165830A4 (en) 2023-12-27
KR20230048107A (ko) 2023-04-10
WO2022076046A1 (en) 2022-04-14
EP4165830A1 (en) 2023-04-19
US11662975B2 (en) 2023-05-30
EP4042673A4 (en) 2022-12-14
KR20220080184A (ko) 2022-06-14
JP2023538548A (ja) 2023-09-08
CN114667727A (zh) 2022-06-24
US20240069855A1 (en) 2024-02-29

Similar Documents

Publication Publication Date Title
US11662975B2 (en) Method and apparatus for teleconference
US20220303503A1 (en) Parameters for overlay handling for immersive teleconferencing and telepresence for remote terminals
US11943073B2 (en) Multiple grouping for immersive teleconferencing and telepresence
US20220311814A1 (en) Techniques for signaling multiple audio mixing gains for teleconferencing and telepresence for remote terminals
US20220308341A1 (en) Towards subsiding motion sickness for viewport sharing for teleconferencing and telepresence for remote terminals
JP7399549B2 (ja) リモート端末向けの遠隔会議およびテレプレゼンスにおいてオーディオミキシングゲインをシグナリングする手法
US11916982B2 (en) Techniques for signaling multiple audio mixing gains for teleconferencing and telepresence for remote terminals using RTCP feedback
JP7419529B2 (ja) 遠隔端末のための没入型テレカンファレンス及びテレプレゼンスのインタラクティブオーバーレイ処理

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220610

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230710

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230725

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231024

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240423

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20240502