WO2022201225A1 - 制御装置、制御方法及びプログラム - Google Patents

制御装置、制御方法及びプログラム Download PDF

Info

Publication number
WO2022201225A1
WO2022201225A1 PCT/JP2021/011625 JP2021011625W WO2022201225A1 WO 2022201225 A1 WO2022201225 A1 WO 2022201225A1 JP 2021011625 W JP2021011625 W JP 2021011625W WO 2022201225 A1 WO2022201225 A1 WO 2022201225A1
Authority
WO
WIPO (PCT)
Prior art keywords
qoe
terminal
bit rate
upload
terminals
Prior art date
Application number
PCT/JP2021/011625
Other languages
English (en)
French (fr)
Inventor
将裕 横田
和久 山岸
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to PCT/JP2021/011625 priority Critical patent/WO2022201225A1/ja
Priority to JP2023508432A priority patent/JP7448091B2/ja
Priority to PCT/JP2021/026085 priority patent/WO2022201569A1/ja
Publication of WO2022201225A1 publication Critical patent/WO2022201225A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637Control signals issued by the client directed to the server or network components
    • H04N21/6373Control signals issued by the client directed to the server or network components for rate control, e.g. request to the server to modify its transmission rate
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems

Definitions

  • the present invention relates to a control device, control method and program.
  • WebRTC is a technology standardized by the World Wide Web Consortium and Internet Engineering Task Force.
  • WebRTC has a control method that uses QoS (Quality of Service) information such as bandwidth and packet loss as a bit rate control method for increasing QoE (Non-Patent Document 1, Non-Patent Document 2). .
  • QoS Quality of Service
  • Non-Patent Document 1 defines a message for estimating and notifying the available bandwidth for a session. When this message is received, by reducing the transmission bit rate to the notified bandwidth or less, distribution at a bit rate equal to or less than the available bandwidth is realized.
  • Non-Patent Document 2 controls the transmission bit rate based on packet loss and delay. Specifically, when a certain number of packet losses or more occur, it is determined that there is congestion, and the transmission rate is adjusted. In addition, the jitter caused by congestion is estimated from the observed jitter, and if the estimated value is above a certain value and continues for a certain time or longer, it is determined that congestion has occurred, and the transmission rate is adjusted. .
  • QoE When communicating with a large number of people, QoE must be calculated based on the video quality delivered by each user.
  • the present invention has been made in view of the above points, and aims to suppress the amount of data communication while maintaining the user's quality of experience.
  • a control device for controlling online real-time communication by a plurality of terminals is configured so that the upload bit rate of a first terminal among the plurality of terminals is equal to or less than the estimated upload available bandwidth after a predetermined time has elapsed.
  • a selection unit that selects from a bit rate ladder an upload bit rate that maximizes the QoE value within a range of a target value or less; and an instruction for encoding at the upload bit rate selected by the selection unit to the first terminal and an indicator for sending to.
  • FIG. 1 is a diagram showing a configuration example of an online real-time communication system according to a first embodiment
  • FIG. 2 is a diagram illustrating an example hardware configuration of a control server 10 according to the first embodiment
  • FIG. 2 is a diagram illustrating functional configuration examples of a client terminal 20 and a control server 10 according to the first embodiment
  • FIG. FIG. 4 is a diagram for explaining selection of an upload bit rate
  • FIG. 10 is a diagram showing an example of functional configurations of a client terminal 20 and a control server 10 according to a second embodiment
  • FIG. 4 is a diagram for explaining calculation of the amount of available data for each day
  • FIG. 4 is a diagram showing an example of a relational expression between a daily average data amount and a daily average QoE;
  • FIG. 1 is a diagram showing a configuration example of an online real-time communication system according to the first embodiment.
  • a plurality of client terminals 20 are connected to a distribution server 30 and a control server 10 via a network such as the Internet.
  • Each of the plurality of client terminals 20 is a communication terminal such as a PC (Personal Computer), a smartphone, or a tablet terminal used by a user who participates in online real-time communication such as a web conference.
  • the client terminal 20 transmits various logs to the control server 10, and encodes and transmits data related to media (video, audio, etc.) (hereinafter referred to as "media data") according to instructions from the control server 10. , receive and play media data from other participants.
  • the control server 10 is one or more computers that instruct encoding parameters to each client terminal 20 .
  • the encoding parameter is the upload bitrate in one example.
  • the encoding parameters may be indicated by upload bitrate, resolution and frame rate.
  • the distribution server 30 is one or more computers that distribute media data transmitted (uploaded) from each client terminal 20 to other client terminals 20 .
  • FIG. 2 is a diagram showing a hardware configuration example of the control server 10 according to the first embodiment.
  • the control server 10 of FIG. 2 has a drive device 100, an auxiliary storage device 102, a memory device 103, a CPU 104, an interface device 105, and the like, which are connected to each other via a bus B, respectively.
  • a program that implements processing in the control server 10 is provided by a recording medium 101 such as a CD-ROM.
  • a recording medium 101 such as a CD-ROM.
  • the program is installed from the recording medium 101 to the auxiliary storage device 102 via the drive device 100 .
  • the program does not necessarily need to be installed from the recording medium 101, and may be downloaded from another computer via the network.
  • the auxiliary storage device 102 stores installed programs, as well as necessary files and data.
  • the memory device 103 reads and stores the program from the auxiliary storage device 102 when a program activation instruction is received.
  • the CPU 104 executes functions related to the control server 10 according to programs stored in the memory device 103 .
  • the interface device 105 is used as an interface for connecting to a network.
  • the client terminal 20 and the distribution server 30 may also have the same hardware configuration as in FIG.
  • the client terminal 20 has a display device and a speaker for outputting media data, a camera and a microphone for inputting media data, and the like.
  • FIG. 3 is a diagram showing a functional configuration example of the client terminal 20 and the control server 10 in the first embodiment.
  • the client terminal 20 has a client log transmission unit 21, an encoding parameter control unit 22, a transmission data encoding unit 23, and a reception data decoding unit 24. Each of these units is realized by processing that one or more programs installed in the client terminal 20 cause the CPU of the client terminal 20 to execute.
  • the control server 10 has a client log collection unit 11 , a server log collection unit 12 , a target QoE input unit 13 , an encoding parameter selection unit 14 and an encoding parameter instruction unit 15 . These units are implemented by one or more programs installed in the control server 10 that cause the CPU 104 to execute.
  • a processing procedure executed in the present embodiment will be described with reference to FIG. It should be noted that the following processing is executed during online real-time communication such as a web conference (hereinafter simply referred to as “web conference”) unless otherwise specified. Also, the following processing is executed for each of the plurality of client terminals 20 participating in the web conference, but for convenience, the description will focus on one client terminal 20 (hereinafter referred to as “target client terminal 20"). .
  • the client log transmission unit 21 of the target client terminal 20 transmits a log (hereinafter referred to as "client log") containing information necessary for estimating encoding parameters of media data such as an upload bit rate after the start of the Web conference.
  • Logs are periodically collected from the target client terminal 20 (for example, at intervals of 1 second), and the collected client logs are transmitted to the control server 10 .
  • the client log transmission unit 21 transmits information about the quality of each stream (implemented upload bit rate, playback stop information, frame rate, resolution), information about the target client terminal 20 (used terminal, display size), Playback status (display screen size, mute status, display screen (camera screen, screen sharing, etc.)) and QoS (Quality of Service) information (download/upload throughput, RTT (Round Trip Time), jitter, packet loss rate, etc.) ) and send a client log containing this information to the control server 10 .
  • Information about QoS (hereinafter referred to as “QoS information”) may be acquired by either the target client terminal 20 or the control server 10 .
  • a stream unit refers to a communication unit for audio communication, video communication, and screen sharing communication. If multiple streams (audio, video, screen sharing) are included in one transfer cycle of the client log, the client log includes information on the quality of the multiple streams.
  • the client log collection unit 11 of the control server 10 receives the client log transmitted from the client log transmission unit 21.
  • the control server 10 basically executes the following process each time a client log is received.
  • the server log collection unit 12 collects a log (hereinafter referred to as "server log") containing information necessary for estimating encoding parameters (upload bit rate, etc.) each time a client log is received. Specifically, the server log collection unit 12 collects information (download/upload throughput, RTT, jitter, packet loss rate, etc.) related to the quality of service (QoS) for each stream as information necessary for estimating the encoding parameters. ) information. Note that when the QoS information is included in the client log, the server log collection unit 12 does not need to collect the QoS information.
  • the target QoE input unit 13 receives an input of a QoE (Quality of Experience) target value (hereinafter referred to as "target QoE") from the operator, and inputs the target QoE to the encoding parameter selection unit 14.
  • target QoE Quality of Experience
  • the target QoE is input in advance as a common value for all Web conferences. However, the target QoE may be changed at any timing.
  • the encoding parameter selection unit 14 executes processing each time a server log is collected. Based on the QoS information included in the latest client log or server log, the encoding parameter selection unit 14 calculates an estimated value of the available bandwidth from the current time until T2 seconds have passed. Specifically, the encoding parameter selection unit 14 multiplies the maximum upload throughput and download throughput achievable by the target client terminal 20 by a ratio ⁇ (0 ⁇ 1) specified by the operator. Estimated values of available bandwidth (available upload bandwidth, available download bandwidth) for T2 seconds (hereinafter simply referred to as "available upload bandwidth” and "available download bandwidth”).
  • the target client terminal 20 If the maximum upload throughput and the maximum download throughput that can be achieved by the target client terminal 20 cannot be obtained, and only the transfer data speed can be obtained, and no packet loss occurs, a sufficiently large value is the available bandwidth. should be an estimated value of On the other hand, when a certain number or more of packet losses have occurred, the result of multiplying the transfer data rate by ⁇ may be used as the estimated value of the available bandwidth. It is assumed that the packet loss threshold is given in advance. Since the QoE deteriorates significantly due to the occurrence of playback stop, it is necessary that the upload bit rate of the target client terminal 20 is equal to or lower than the available upload bandwidth, as shown in Equation 1 below, based on the available bandwidth information. In this embodiment, it is assumed that three people are holding a web conference (three users A, B, and C are conducting online real-time communication). Note that T2 seconds is a parameter indicating how much time in the future the quality is to be considered, and is set in advance.
  • the available download bandwidth of the target client terminal 20 is equal to the upload bit rate of the client terminals 20 of other members participating in communication using the same service. must be greater than or equal to the sum of
  • the encoding parameter selection unit 14 uses the QoE model (equation 3) that is an extension of Non-Patent Document 3, T1 seconds before the current time is input the bit rate, frame rate, and resolution obtained from the client log, and from the current time to T2 seconds later, the bit rate, frame rate, and resolution of the bit rate ladder are input to calculate the QoE value, and the target QoE The bit rate, frame rate, and resolution at which the maximum QoE value within the range below the target QoE input from the input unit 13 is calculated are selected as encoding parameters to be indicated (FIG. 4).
  • the bitrate ladder may not include frame rate and resolution.
  • the encoding parameter selection unit 14 may select only the upload bit rate for each user using the most recent values for the resolution and frame rate.
  • the selection of the encoding parameter as described above by the encoding parameter selection unit 14 corresponds to the selection of the encoding parameter that brings the QoE after T2 seconds closer to the target QoE. It should be noted that T1 second is a parameter indicating how much time in the past is taken into account, and is set in advance.
  • the video quality (QoE value) of the target client terminal 20 is determined by the upload bit rate of another user participating in the same communication, and the size of the screen on which each user is displayed. , and the display screen (screen sharing or camera image).
  • Equation 4 describes a QoE model for a case where only camera images are shared by three participating users and each display screen size is uniform.
  • Equation 4 shows a QoE model that calculates each participating user's QoE based on the other participating users' encoding parameters (upload bitrate, frame rate, and resolution). If screen sharing is implemented, add a section on screen sharing.
  • the screen sharing term utilizes the QoE formula for a single stream of screen sharing.
  • the screen size is calculated according to the screen size ratio of the camera image and the entire screen sharing.
  • the QoE model to be referred to is not limited to Non-Patent Document 3 as long as it is a model that can evaluate QoE with media parameters equivalent to those of Non-Patent Document 3 as inputs.
  • the encoding parameter instruction unit 15 of the control server 10 transmits an instruction to the client terminal 20 to execute encoding and transmission of media data using the encoding parameters selected by the encoding parameter selection unit 14. .
  • the encoding parameter selection unit 14 selects upload bitrate, resolution and frame rate
  • the encoding parameters include upload bitrate, resolution and frame rate.
  • the encoding parameters include only the upload bitrate.
  • the encoding parameter control unit 22 of the client terminal 20 sets the encoding parameter specified in the instruction received from the control server 10 to the transmission data encoding unit 23.
  • the transmission data encoding unit 23 encodes the media data based on the set encoding parameters (that is, the encoding parameters instructed by the control server 10), and transmits the encoded media data.
  • the amount of data communication is suppressed without greatly reducing the QoE (while maintaining the user's QoE). can do.
  • a user who has a contract with a plan in which an upper limit is set for the amount of data communication is less likely to reach the speed limit and lower QoE.
  • 2nd Embodiment demonstrates a different point from 1st Embodiment. Points not specifically mentioned in the second embodiment may be the same as in the first embodiment.
  • FIG. 5 is a diagram showing a functional configuration example of the client terminal 20 and the control server 10 in the second embodiment.
  • the same parts as those in FIG. 3 are denoted by the same reference numerals, and the description thereof will be omitted.
  • the server log collection unit 12 is replaced with a server log collection unit 12a
  • the target QoE input unit 13 is replaced with a target QoE calculation unit 16.
  • the server log collection unit 12a collects the information necessary for estimating the target QoE from the server in addition to the information necessary for estimating the encoding parameters. Collect as logs.
  • the information necessary for estimating the target QoE is, for example, performance information (data usage (data transfer volume), meeting time, number of meeting participants, number of meetings, etc.) for each past web conference (online real-time communication). be.
  • the performance information is stored in the control server 10, for example.
  • the target QoE calculator 16 estimates the target QoE.
  • a web conference service provider uses a cloud service that provides network equipment (hereinafter simply referred to as "cloud service”) to provide the web conference service.
  • Web conferencing service providers have entered into a contract to pay a fee (operation cost) for the amount of data transferred with regard to the use of the cloud service.
  • the target QoE calculation unit 16 calculates the estimated execution date (estimation of the target QoE
  • the daily average data volume is calculated by aggregating the daily cumulative data volume of the service provider and dividing the cumulative data volume by the number of days in the period.
  • the target QoE calculation unit 16 calculates the available remaining data volume from the operating cost budget (the fee to be paid for the cloud service) and the cost per band input by the operator.
  • the target QoE calculation unit 16 calculates the daily available data volume (daily available data volume) from the available remaining data volume from the current time and the remaining number of days until the collection closing date (for example, the end of the month) as follows ( Figure 6).
  • Daily available data volume Remaining available data volume / (Aggregation closing date - Estimated execution date)
  • the solid line indicates the amount of accumulated data for each day.
  • a dashed line indicates a cumulative value based on the daily average data amount obtained by dividing the cumulative data by the number of days.
  • the one-dot chain line indicates the daily available data amount.
  • the target QoE calculation unit 16 calculates the daily average QoE corresponding to the daily available data volume in the relational expression (FIG. 7) between the daily average data volume and the daily average QoE, and calculates the daily target average QoE (target QoE for the day). ). Since the average QoE is a daily value, the target QoE estimation by the target QoE calculator 16 may be performed once a day. That is, the target QoE should be updated each time one day passes. The target QoE calculator 16 passes the calculated target QoE to the encoding parameter selector 14 . Note that the relational expression between the daily average data amount and the daily average QoE is constructed (learned) by using the information because the same information is accumulated in the conference record information.
  • control server 10 is an example of a control device.
  • the encoding parameter selection unit 14 is an example of a selection unit.
  • the encoding parameter instruction section 15 is an example of an instruction section.
  • the target QoE calculator 16 is an example of a calculator.
  • the target client terminal 20 is an example of a first terminal. After T2 seconds is an example after a predetermined time has elapsed.
  • control server 11 client log collection unit 12 server log collection unit 12a server log collection unit 13 target QoE input unit 14 encoding parameter selection unit 15 encoding parameter instruction unit 16 target QoE calculation unit 20 client terminal 21 client log transmission unit 22 code encoding parameter control unit 23 transmission data encoding unit 24 reception data decoding unit 30 distribution server 100 drive device 101 recording medium 102 auxiliary storage device 103 memory device 104 CPU 105 interface device B bus

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

複数の端末によるオンラインリアルタイムコミュニケーションを制御する制御装置は、前記複数の端末のうちの第1の端末のアップロードビットレートが所定時間経過後のアップロード可用帯域の推定値以下であり、かつ、前記第1の端末のダウンロード可用帯域の推定値が他の前記端末のアップロードビットレートの合計以上となることを、ビットレートを入力としてQoE値を出力するQoEモデルに対する制約条件として、前記QoE値が目標値以下の範囲内で最大となるアップロードビットレートをビットレートラダーから選択する選択部と、前記選択部が選択したアップロードビットレートでの符号化の指示を前記第1の端末へ送信する指示部と、を有することで、ユーザの体感品質を維持しつつデータ通信量を抑制する。

Description

制御装置、制御方法及びプログラム
 本発明は、制御装置、制御方法及びプログラムに関する。
 近年、テレワークの推進等が進む中でWeb会議等のオンラインリアルタイムコミュニケーションサービスの利用が増えている。このようなサービスを実現する技術としてWebRTC等の技術がある。WebRTCはWorld Wide Web ConsortiumやInternet Engineering Task Forceで標準化されている技術である。
 オンラインリアルタイムコミュニケーションサービスを継続的にエンドユーザに提供するためには、ユーザが利用する際のユーザ体感品質(QoE(Quality of Experience))を高めるとともに、サービス提供にかかる運用コスト(NW設備コスト等)を低減する必要がある。
 これまで、WebRTCではQoEを高めるためのビットレート制御手法として帯域やパケットロス等のQoS(Quality of Service)の情報を利用した制御方法が存在している(非特許文献1、非特許文献2)。
 非特許文献1では、セッションで利用可能な帯域幅を推定して通知するメッセージについて規定されている。このメッセージを受信した際に、送信ビットレートを通知された帯域幅以下にすることで、利用可能帯域以下のビットレートでの配信を実現する。
 非特許文献2の制御方法は、パケットロスと遅延に基づいて送信ビットレート制御する。具体的には、パケットロスが一定数以上発生していると輻輳だと判断し、送信レートを調整する。また、観測されたジッタの中から輻輳起因で発生したジッタを推定し、その推定値が一定以上であり、かつ、一定時間以上継続した場合に輻輳が発生したと判断し、送信レートを調整する。
 また、モバイル回線の普及等に伴い、オンラインリアルタイムコミュニケーションも様々な回線で利用されている。特に、モバイル回線の場合は、データ通信量の上限が設定されているプランも多く、そのようなユーザはなるべく通信量を抑えたいという意図があり、高い品質での通信が不要な場合がある。
H. Alvestrand, "Rtcp message for receiver estimated maximum bitrate," Internet-Draft draft-alvestrand-rmcat-remb-03, 2013. S. Holmer, "A Google Congestion Control Algorithm for Real-Time Communication", "draft-ietf-rmcat-gcc-02", 2016. Parametric bitstream-based quality assessment of progressive download and adaptive audiovisual streaming services over reliable transport, Recommendation ITU-T P.1203, 2017.
 従来技術では、QoS情報に基づいた制御となるため、実際にサービスを利用した際のQoEがあまり向上しないにもかかわらず、データを大量に流してしまう場合がある(例えば、スループットが高い際に、配信ビットレートも高くなるが、配信ビットレートの向上分ほど、品質が向上しない場合がある。)。これにより、データ通信量の上限が設定されているプランで契約をしているユーザであれば、上限に到達し速度制限がかかりQoEが低下する場合がある。また、データ通信量が増えることで、サービス提供事業者が必要なNW設備やサーバ設備にかかる運用コストが増加する。
 このように、従来技術では、運用コストとQoEを踏まえたオンラインリアルタイムコミュニケーションを対象とした配信レート選択ができていない。
 多人数でコミュニケーションをとる場合、QoEは各ユーザから配信された映像品質をもとに算出される必要がある。
 また、多地点でコミュニケーションをとる場合、ボトルネック箇所は各地点で発生する可能性があるため、それぞれの帯域を踏まえた制御を実施する必要がある。
 さらに、このような制御を実施する場合、目標QoEをどのように設定すればよいかという課題が存在する。
 本発明は、上記の点に鑑みてなされたものであって、ユーザの体感品質を維持しつつデータ通信量を抑制することを目的とする。
 そこで上記課題を解決するため、複数の端末によるオンラインリアルタイムコミュニケーションを制御する制御装置は、前記複数の端末のうちの第1の端末のアップロードビットレートが所定時間経過後のアップロード可用帯域の推定値以下であり、かつ、前記第1の端末のダウンロード可用帯域の推定値が他の前記端末のアップロードビットレートの合計以上となることを、ビットレートを入力としてQoE値を出力するQoEモデルに対する制約条件として、前記QoE値が目標値以下の範囲内で最大となるアップロードビットレートをビットレートラダーから選択する選択部と、前記選択部が選択したアップロードビットレートでの符号化の指示を前記第1の端末へ送信する指示部と、を有する。
 ユーザの体感品質を維持しつつデータ通信量を抑制することができる。
第1の実施の形態におけるオンラインリアルタイムコミュニケーションシステムの構成例を示す図である。 第1の実施の形態における制御サーバ10のハードウェア構成例を示す図である。 第1の実施の形態におけるクライアント端末20及び制御サーバ10の機能構成例を示す図である。 アップロードビットレートの選択を説明するための図である。 第2の実施の形態におけるクライアント端末20及び制御サーバ10の機能構成例を示す図である。 日毎の利用可能データ量の算出を説明するための図である。 日毎平均データ量と日毎平均QoEの関係式の一例を示す図である。
 以下、図面に基づいて第1の実施の形態を説明する。図1は、第1の実施の形態におけるオンラインリアルタイムコミュニケーションシステムの構成例を示す図である。図1において、複数のクライアント端末20は、インターネット等のネットワークを介して配信サーバ30及び制御サーバ10に接続する。
 複数のクライアント端末20のそれぞれは、Web会議等のオンラインリアルタイムコミュニケーションに参加するユーザが利用するPC(Personal Computer)、スマートフォン又はタブレット端末等の通信端末である。クライアント端末20は、各種ログを制御サーバ10へ送信したり、制御サーバ10の指示に応じてメディア(映像及び音声等)に関するデータ(以下、「メディアデータ」という。)を符号化して送信したり、他参加者のメディアデータを受信して再生したりする。
 制御サーバ10は、各クライアント端末20に対して符号化パラメータを指示する1以上のコンピュータである。符号化パラメータは、一例ではアップロードビットレートである。又は、アップロードビットレート、解像度及びフレームレートが指示される符号化パラメータであってもよい。
 配信サーバ30は、各クライアント端末20から送信(アップロードされる)メディアデータを他のクライアント端末20へ配信する1以上のコンピュータである。
 図2は、第1の実施の形態における制御サーバ10のハードウェア構成例を示す図である。図2の制御サーバ10は、それぞれバスBで相互に接続されているドライブ装置100、補助記憶装置102、メモリ装置103、CPU104、及びインタフェース装置105等を有する。
 制御サーバ10での処理を実現するプログラムは、CD-ROM等の記録媒体101によって提供される。プログラムを記憶した記録媒体101がドライブ装置100にセットされると、プログラムが記録媒体101からドライブ装置100を介して補助記憶装置102にインストールされる。但し、プログラムのインストールは必ずしも記録媒体101より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置102は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。
 メモリ装置103は、プログラムの起動指示があった場合に、補助記憶装置102からプログラムを読み出して格納する。CPU104は、メモリ装置103に格納されたプログラムに従って制御サーバ10に係る機能を実行する。インタフェース装置105は、ネットワークに接続するためのインタフェースとして用いられる。
 なお、クライアント端末20及び配信サーバ30も図2と同様のハードウェア構成を有してよい。但し、クライアント端末20は、メディアデータを出力する表示装置及びスピーカや、メディアデータを入力するカメラ及びマイク等を有する。
 図3は、第1の実施の形態におけるクライアント端末20及び制御サーバ10の機能構成例を示す図である。
 図3において、クライアント端末20は、クライアントログ送信部21、符号化パラメータ制御部22、送信データ符号化部23及び受信データ復号化部24を有する。これら各部は、クライアント端末20にインストールされた1以上のプログラムが、クライアント端末20のCPUに実行させる処理により実現される。
 制御サーバ10は、クライアントログ収集部11、サーバログ収集部12、目標QoE入力部13、符号化パラメータ選択部14及び符号化パラメータ指示部15を有する。これら各部は、制御サーバ10にインストールされた1以上のプログラムが、CPU104に実行させる処理により実現される。
 図3を参照しながら、本実施の形態において実行される処理手順について説明する。なお、以下の処理は、特段の断りが無い限り、Web会議等のオンラインリアルタイムコミュニケーション(以下、単に「Web会議」という。)の実施中に実行される。また、以下の処理は、Web会議に参加する複数のクライアント端末20のそれぞれについて実行されるが、便宜上、1つのクライアント端末20(以下、「対象クライアント端末20」という。)に着目して説明する。
 対象クライアント端末20のクライアントログ送信部21は、アップロードビットレート等のメディアデータの符号化パラメータの推定のために必要な情報を含むログ(以下、「クライアントログ」という。)をWeb会議の開始後に対象クライアント端末20から定期的に(例えば、1秒周期で)収集し、収集したクライアントログを制御サーバ10へ送信する。具体的には、クライアントログ送信部21は、ストリーム単位の品質に関する情報(実現アップロードビットレート、再生停止情報、フレームレート、解像度)、対象クライアント端末20に関する情報(利用端末、表示サイズ)、会議の再生状態(表示画面サイズ、ミュート状態、表示画面(カメラ画面、画面共有等))、及びQoS(Quality of Service)に関する情報(ダウンロード/アップロードスループット、RTT(Round Trip Time)、ジッタ、パケットロス率等)を収集して、これらの情報を含むクライアントログを制御サーバ10に送信する。なお、QoSに関する情報(以下、「QoS情報」という。)は対象クライアント端末20又は制御サーバ10のどちらかで取得されればよい。
 なお、ストリーム単位とは、音声のための通信、映像のための通信、画面共有のための通信ごとの通信単位をいう。クライアントログの一回の転送周期に複数のストリーム(音声、映像、画面共有)が含まれる場合には、クライアントログには複数のストリームの品質に関する情報が含まれる。
 制御サーバ10のクライアントログ収集部11は、クライアントログ送信部21から送信されたクライアントログを受信する。制御サーバ10は、基本的に、クライアントログが受信されるたびに、以下の処理を実行する。
 サーバログ収集部12は、クライアントログが受信されるたびに、符号化パラメータ(アップロードビットレート等)の推定のために必要な情報を含むログ(以下、「サーバログ」という。)を収集する。具体的には、サーバログ収集部12は、符号化パラメータの推定のために必要な情報として、ストリーム単位のサービスの品質(QoS)に関する情報(ダウンロード/アップロードスループット、RTT、ジッタ、パケットロス率等)の情報を収集する。なお、QoS情報がクライアントログに含まれる場合には、サーバログ収集部12は、QoS情報を収集しなくてもよい。
 目標QoE入力部13は、オペレータからQoE(Quality of Experience)の目標値(以下、「目標QoE」という。)の入力を受け付け、当該目標QoEを符号化パラメータ選択部14に入力する。なお、目標QoEは、全てのWeb会議に対して共通の値として予め入力される。但し、目標QoEは、任意のタイミングで変更されてもよい。
 符号化パラメータ選択部14は、サーバログの収集が収集されるたびに処理を実行する。符号化パラメータ選択部14は、最新のクライアントログ又はサーバログに含まれるQoS情報に基づいて、現在時刻からT2秒経過後までの可用帯域の推定値を算出する。具体的には、符号化パラメータ選択部14は、対象クライアント端末20が実現可能な最大のアップロードスループット及びダウンロードスループットに対して、オペレータが指定した割合α(0<α<1)を乗じた値をT2秒間の可用帯域(アップロード可用帯域、ダウンロード可用帯域)の推定値(以下、単に、「アップロード可用帯域」、「ダウンロード可用帯域」という。)とする。なお、対象クライアント端末20が実現できる最大のアップロードスループット及び最大のダウンロードスループットが取得できず、転送データ速度しか取得できなかった場合において、パケットロスが発生していない場合は十分に大きい値が可用帯域の推定値とされればよい。一方、パケットロスが一定数以上発生した場合には、転送データ速度にαを乗じた結果が可用帯域の推定値とされればよい。なお、パケットロスの閾値は事前に与えられるものとする。再生停止が発生することでQoEは大幅に劣化するため、可用帯域の情報を踏まえて、以下の数1のように、対象クライアント端末20のアップロードビットレートがアップロード可用帯域以下となる必要がある。なお、本実施の形態では、3名でWeb会議を実施している(ユーザA、B及びCの3名でオンラインリアルタイムコミュニケーションをしている)状況を想定する。なお、T2秒とは、将来のどの程度の時間の品質を加味するかを示すパラメータであり、予め設定される。
Figure JPOXMLDOC01-appb-M000001
 また、再生停止を発生させない条件として、以下の数2のように、対象クライアント端末20のダウンロード可用帯域が、同一サービスを利用してコミュニケーションに参加している他メンバのクライアント端末20のアップロードビットレートの合計以上となる必要がある。
Figure JPOXMLDOC01-appb-M000002
 この条件を踏まえて(数1及び数2を制約条件として)、符号化パラメータ選択部14は、非特許文献3を拡張したQoEモデル(数3)を利用して、現在時刻よりT1秒前まではクライアントログより取得されたビットレート、フレームレート、解像度を入力とし、また、現在時刻からT2秒後まではビットレートラダーのビットレート、フレームレート、解像度を入力としてQoE値を算出し、目標QoE入力部13から入力された目標QoE以下の範囲内で最大となるQoE値が算出されたビットレート、フレームレート、解像度を指示対象の符号化パラメータとして選択する(図4)。但し、ビットレートラダーは、フレームレート及び解像度を含まなくてもよい。この場合、符号化パラメータ選択部14は、解像度及びフレームレートは直近の値を用いてアップロードビットレートのみをユーザごとに選択すればよい。なお、符号化パラメータ選択部14による、上記のような符号化パラメータの選択は、T2秒後のQoEを目標QoEに近づけるような符号化パラメータの選択に相当する。なお、T1秒とは、過去どの程度の時間の品質を加味するかを指すパラメータであり、予め設定される。
Figure JPOXMLDOC01-appb-M000003
 非特許文献3を拡張したQoEモデルを利用する際、対象クライアント端末20の映像品質(QoE値)に関しては同一コミュニケーションに参加している別ユーザのアップロードビットレート、各ユーザが表示される画面のサイズ、及び表示画面(画面共有、または、カメラ映像)を踏まえて算出する。数4に、参加ユーザ数3名のカメラ映像の共有のみの場合、かつ、各表示画面サイズは均等な場合を例にしてQoEモデルを記載する。数4は、各参加ユーザのQoEを、他の参加ユーザの符号化パラメータ(アップロードビットレート、フレームレート、及び解像度)に基づいて算出するQoEモデルを示す。なお、画面共有が実施されている場合は、画面共有の項を追加する。画面共有の項は画面共有の単一ストリームに対するQoE算出式を利用する。画面サイズに関してはカメラ映像と画面共有全体の中の画面サイズ比率に応じて計算する。
Figure JPOXMLDOC01-appb-M000004
 なお、非特許文献3と同等のメディアパラメータを入力としてQoEが評価できるモデルであれば参考にするQoEモデルは非特許文献3に限定しない。
 制御サーバ10の符号化パラメータ指示部15は、符号化パラメータ選択部14が選択した符号化パラメータで、メディアデータの符号化(エンコード)及び送信を実行するようにクライアント端末20への指示を送信する。符号化パラメータ選択部14がアップロードビットレート、解像度及びフレームレートを選択する場合、当該符号化パラメータは、アップロードビットレート、解像度及びフレームレートを含む。符号化パラメータ選択部14がアップロードビットレートのみを選択する場合、当該符号化パラメータは、アップロードビットレートのみを含む。
 クライアント端末20の符号化パラメータ制御部22は、制御サーバ10から受信した指示において指定されている符号化パラメータを送信データ符号化部23へ設定する。
 送信データ符号化部23は、設定された符号化パラメータ(すなわち、制御サーバ10から指示された符号化パラメータ)に基づいてメディアデータの符号化を行い、符号化されたメディアデータを送信する。
 上述したように、第1の実施の形態によれば、目標QoEに応じて制御を実施することで、QoEを大きく低下させることなく(ユーザの体感品質を維持しつつ)、データ通信量を抑制することができる。これにより、データ通信量の上限が設定されているプランで契約をしているユーザは、速度制限に到達しにくくなりQoEが低下しにくくなる。また、サービス提供事業者の設備にかかるコストを抑制することができる。
 次に、第2の実施の形態について説明する。第2の実施の形態では第1の実施の形態と異なる点について説明する。第2の実施の形態において特に言及されない点については、第1の実施の形態と同様でもよい。
 図5は、第2の実施の形態におけるクライアント端末20及び制御サーバ10の機能構成例を示す図である。図5中、図3と同一部分には同一符号を付し、その説明は省略する。図5では、サーバログ収集部12がサーバログ収集部12aに置換され、目標QoE入力部13が目標QoE算出部16に置換されている。
 第2の実施の形態において、サーバログ収集部12aは、クライアントログが受信されるたびに、符号化パラメータの推定のために必要な情報に加え、目標QoEを推定するために必要な情報もサーバログとして収集する。目標QoEを推定するために必要な情報とは、例えば、過去のWeb会議(オンラインリアルタイムコミュニケーション)ごとの実績情報(データ利用量(データ転送量)、会議時間、会議参加人数、会議数等)である。当該実績情報は、例えば、制御サーバ10に記憶されている。
 目標QoE算出部16は、目標QoEを推定する。ここでは、Web会議のサービス提供者が、ネットワーク設備を提供するクラウドサービス(以下、単に「クラウドサービス」という。)を利用して、当該Web会議のサービスを提供している状況を想定する。Web会議のサービス提供者は、クラウドサービスの利用に関して、データ転送量に対する料金(運用コスト)を支払う契約を締結している。
 このような状況において、目標QoE算出部16は、サーバログ収集部12aが収集したWeb会議ごとの実績情報に基づき、運用コストの集計開始日(例えば、月初)から推定実行日(目標QoEの推定が実行される日)までの期間について、サービス提供者の日毎の累積データ量を集計し、当該累積データ量を当該期間の日数で除することで、日毎平均データ量を算出する。
 目標QoE算出部16は、オペレータより入力された運用コストの予算(クラウドサービスに支払う料金)、及び帯域あたりのコストから利用可能残データ量を算出する。目標QoE算出部16は、現時点から利用可能残データ量と集計締日(例えば、月末)までの残日数から、日毎の利用可能データ量(日毎利用可能データ量)を以下のように算出する(図6)。
日毎利用可能データ量=利用可能残データ量/(集計締日-推定実行日)
 なお、図6において、実線は、日毎の累積データ量を示す。破線は、当該累積データを日数で除することで得られる日毎平均データ量に基づく累積値を示す。一点鎖線は、日毎利用可能データ量を示す。
 目標QoE算出部16は、日毎平均データ量と日毎平均QoEの関係式(図7)において、日毎利用可能データ量に対応する日毎平均QoEを、日毎の目標とすべき平均QoE(当日の目標QoE)として算出する。当該平均QoEは、日毎の値であるため、目標QoE算出部16による目標QoEの推定は、1日に1回実行されればよい。すなわち、1日経過するたびに目標QoEが更新されればよい。目標QoE算出部16は、算出された目標QoEを符号化パラメータ選択部14に渡す。なお、日毎平均データ量と日毎平均QoEの関係式は、会議実績情報に同情報が蓄積されるため、その情報を利用して構築(学習)する。
 なお、上記各実施の形態において、制御サーバ10は、制御装置の一例である。符号化パラメータ選択部14は、選択部の一例である。符号化パラメータ指示部15は、指示部の一例である。目標QoE算出部16は、算出部の一例である。対象クライアント端末20は、第1の端末の一例である。T2秒後は、所定時間経過後の一例である。
 以上、本発明の実施の形態について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
10     制御サーバ
11     クライアントログ収集部
12     サーバログ収集部
12a    サーバログ収集部
13     目標QoE入力部
14     符号化パラメータ選択部
15     符号化パラメータ指示部
16     目標QoE算出部
20     クライアント端末
21     クライアントログ送信部
22     符号化パラメータ制御部
23     送信データ符号化部
24     受信データ復号化部
30     配信サーバ
100    ドライブ装置
101    記録媒体
102    補助記憶装置
103    メモリ装置
104    CPU
105    インタフェース装置
B      バス

Claims (7)

  1.  複数の端末によるオンラインリアルタイムコミュニケーションを制御する制御装置であって、
     前記複数の端末のうちの第1の端末について取得又は推定されるアップロードビットレートが所定時間経過後のアップロード可用帯域の推定値以下であり、かつ、前記第1の端末のダウンロード可用帯域の推定値が他の前記端末のアップロードビットレートの合計以上となることを、ビットレートを入力としてQoE値を出力するQoEモデルに対する制約条件として、前記QoE値が目標値以下の範囲内で最大となるアップロードビットレートをビットレートラダーから選択する選択部と、
     前記選択部が選択したアップロードビットレートでの符号化の指示を前記第1の端末へ送信する指示部と、
    を有することを特徴とする制御装置。
  2.  過去のオンラインリアルタイムコミュニケーションのデータ利用量の実績情報に基づいて、日毎の利用可能データ量を算出し、日毎平均データ量と日毎平均QoEの関係式において、前記利用可能データ量に対応する日毎平均QoEを前記目標値として算出する算出部、
    を有することを特徴とする請求項1記載の制御装置。
  3.  前記QoEモデルは、前記複数の端末のうちの前記第1の端末とは異なる端末におけるアップロードビットレート、フレームレート及び解像度に基づいて、前記第1の端末におけるQoE値を出力する、
    ことを特徴とする請求項1又は2記載の制御装置。
  4.  複数の端末によるオンラインリアルタイムコミュニケーションを制御する制御装置が、
     前記複数の端末のうちの第1の端末のアップロードビットレートが所定時間経過後のアップロード可用帯域の推定値以下であり、かつ、前記第1の端末のダウンロード可用帯域の推定値が他の前記端末のアップロードビットレートの合計以上となることを、ビットレートを入力としてQoE値を出力するQoEモデルに対する制約条件として、前記QoE値が目標値以下の範囲内で最大となるアップロードビットレートをビットレートラダーから選択する選択手順と、
     前記選択手順が選択したアップロードビットレートでの符号化の指示を前記第1の端末へ送信する指示手順と、
    を実行することを特徴とする制御方法。
  5.  過去のオンラインリアルタイムコミュニケーションのデータ利用量の実績情報に基づいて、日毎の利用可能データ量を算出し、日毎平均データ量と日毎平均QoEの関係式において、前記利用可能データ量に対応する日毎平均QoEを前記目標値として算出する算出手順、
    を前記制御装置が実行することを特徴とする請求項4記載の制御方法。
  6.  前記QoEモデルは、前記複数の端末のうちの前記第1の端末とは異なる端末におけるアップロードビットレート、フレームレート及び解像度に基づいて、前記第1の端末におけるQoE値を出力する、
    ことを特徴とする請求項4又は5記載の制御方法。
  7.  請求項1乃至3いずれか一項記載の制御装置としてコンピュータを機能させることを特徴とするプログラム。
PCT/JP2021/011625 2021-03-22 2021-03-22 制御装置、制御方法及びプログラム WO2022201225A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2021/011625 WO2022201225A1 (ja) 2021-03-22 2021-03-22 制御装置、制御方法及びプログラム
JP2023508432A JP7448091B2 (ja) 2021-03-22 2021-07-12 制御装置、制御方法及びプログラム
PCT/JP2021/026085 WO2022201569A1 (ja) 2021-03-22 2021-07-12 制御装置、制御方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/011625 WO2022201225A1 (ja) 2021-03-22 2021-03-22 制御装置、制御方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2022201225A1 true WO2022201225A1 (ja) 2022-09-29

Family

ID=83395266

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/JP2021/011625 WO2022201225A1 (ja) 2021-03-22 2021-03-22 制御装置、制御方法及びプログラム
PCT/JP2021/026085 WO2022201569A1 (ja) 2021-03-22 2021-07-12 制御装置、制御方法及びプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/026085 WO2022201569A1 (ja) 2021-03-22 2021-07-12 制御装置、制御方法及びプログラム

Country Status (2)

Country Link
JP (1) JP7448091B2 (ja)
WO (2) WO2022201225A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014518029A (ja) * 2011-04-20 2014-07-24 エンパイア テクノロジー ディベロップメント エルエルシー モバイルコンテンツのユーザ体感品質のリアルタイムでのフルリファレンス計算
US20140365556A1 (en) * 2013-06-06 2014-12-11 Mohamed M. Rehan Manager for dash media streaming
WO2016125415A1 (ja) * 2015-02-04 2016-08-11 日本電信電話株式会社 体感品質最適化システム、体感品質最適化装置、レコメンド要求装置、体感品質最適化方法、レコメンド要求方法及びプログラム
JP2019016961A (ja) * 2017-07-07 2019-01-31 日本電信電話株式会社 動画品質制御装置、ビットレート選択方法、及びプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2429190A1 (en) * 2010-09-13 2012-03-14 NTT DoCoMo, Inc. Method and apparatus for transferring a video stream
EP2525587B1 (en) * 2011-05-17 2017-07-05 Alcatel Lucent Method for streaming video content, node in a network for monitoring video content streaming
JP6697879B2 (ja) * 2012-07-10 2020-05-27 ヴィド スケール インコーポレイテッド 品質ドリブンストリーミング
WO2015069163A1 (en) 2013-11-08 2015-05-14 Telefonaktiebolaget L M Ericsson (Publ) Handling of network characteristics
US10193662B2 (en) * 2014-09-19 2019-01-29 Panasonic Intellectual Property Corporation Of America Router, terminal, and congestion control method for router and terminal
US11095537B2 (en) 2015-06-19 2021-08-17 Qualcomm Incorporated Middleware delivery of dash client QoE metrics
CN110139167B (zh) 2018-02-09 2022-02-25 华为技术有限公司 数据处理方法以及服务器

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014518029A (ja) * 2011-04-20 2014-07-24 エンパイア テクノロジー ディベロップメント エルエルシー モバイルコンテンツのユーザ体感品質のリアルタイムでのフルリファレンス計算
US20140365556A1 (en) * 2013-06-06 2014-12-11 Mohamed M. Rehan Manager for dash media streaming
WO2016125415A1 (ja) * 2015-02-04 2016-08-11 日本電信電話株式会社 体感品質最適化システム、体感品質最適化装置、レコメンド要求装置、体感品質最適化方法、レコメンド要求方法及びプログラム
JP2019016961A (ja) * 2017-07-07 2019-01-31 日本電信電話株式会社 動画品質制御装置、ビットレート選択方法、及びプログラム

Also Published As

Publication number Publication date
WO2022201569A1 (ja) 2022-09-29
JPWO2022201569A1 (ja) 2022-09-29
JP7448091B2 (ja) 2024-03-12

Similar Documents

Publication Publication Date Title
RU2497304C2 (ru) Динамическая модификация свойств видео
CN103733680B (zh) 用于控制无线上行会话的方法和装置
EP3993436B1 (en) Data processing method and apparatus, computer-readable storage medium, and electronic device
EP2992652B1 (en) Managing bandwidth allocation among flows through assignment of drop priority
US9479807B1 (en) Gateway-based video client-proxy sub-system for managed delivery of A/V content using fragmented method in a stateful system
US20080062322A1 (en) Digital video content customization
CN105493456B (zh) 基于比例积分控制的http流送客户端自适应方法、装置及计算机可读介质
EP2127229B1 (en) Strategies for selecting a format for data transmission based on measured bandwidth
Ramakrishnan et al. SDN based QoE optimization for HTTP-based adaptive video streaming
EP3127285B1 (en) Method and systems for optimizing bandwidth utilization in a multi-participant full mesh peer-to-peer video session
US8634300B2 (en) Reducing communication delay of video data
Bentaleb et al. QoE-aware bandwidth broker for HTTP adaptive streaming flows in an SDN-enabled HFC network
CN102348095A (zh) 一种用于移动设备视频通信中、保持图像稳定传输的方法
Chakareski et al. Distributed collaboration for enhanced sender-driven video streaming
WO2022201225A1 (ja) 制御装置、制御方法及びプログラム
CN108574840B (zh) 一种评估视频体验质量的方法及装置
US11943275B2 (en) System and method for managing adaptive bitrate video streaming
US10038734B2 (en) Telecommunication network manager
Shabrina et al. The Usage of CDN for Live Video Streaming to Improve QoS. Case Study: 1231 Provider.
Abdeljaouad et al. Utility function for predicting IPTV quality of experience based on delay in overlay networks
Hwang et al. Joint-family: Adaptive bitrate video-on-demand streaming over peer-to-peer networks with realistic abandonment patterns
WO2023218572A1 (ja) ビットレート選択装置、ビットレート選択方法及びプログラム
Yokota et al. Quality-based video bitrate control for WebRTC-based teleconference services
D'aronco et al. Distributed rate allocation in switch-based multiparty videoconferencing system
JP3910970B2 (ja) 多地点コミュニケーションの総合品質推定装置、方法、品質監視装置、および方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21932842

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21932842

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP