JP2024044549A

JP2024044549A - 送信するパケットを事前廃棄する送信装置

Info

Publication number: JP2024044549A
Application number: JP2022150132A
Authority: JP
Inventors: ツェンワン; 昇吉兼
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2022-09-21
Filing date: 2022-09-21
Publication date: 2024-04-02

Abstract

【課題】輻輳を回避するために送信するパケットを事前廃棄するために、受信装置における処理結果を劣化させず、かつ、受信装置において処理結果を得るまでの時間が長くなることを抑える送信装置及びプログラムを提供する。【解決手段】送信装置１は、受信装置２に送信すべき情報に基づき複数の第１パケットを生成するソース部１０と、廃棄率Ｒを設定する制御部１３と、廃棄率Ｒに従い前記複数の第１パケットの一部を廃棄して残りの複数の第２パケットを受信装置に送信するパケット廃棄部１１と、を備える。制御部は、前記複数の第２パケットの受信装置２による受信期間に対応する第１情報（遅延Ｌ）と、受信装置２が前記複数の第２パケットに基づき行う処理の結果の性能を示す第２情報（評価値Ｐ）と、を受信装置２から取得し、遅延Ｌ及び評価値Ｐに基づき廃棄率Ｒを更新して記憶部１２に格納し、前記第１情報及び前記第２情報に基づき前記廃棄率を制御する。【選択図】図１

Description

本開示は、輻輳を回避するために送信するパケットを事前廃棄する技術に関する。

非特許文献１は、ニューラルネットワーク（ＮＮ）の分散深層学習（ＤＤＬ）を行うための構成を開示している。ＤＤＬでは、１つのＮＮの学習のために行う処理を分割して複数の処理装置に実行させる。ＤＤＬにおいて、処理装置は、自装置に割り当てられた処理を実行するために、他の処理装置が行った処理により得られた情報を一般的に必要とする。このため、ＤＤＬでは、処理装置間でパケットの送受信が行われる。以下の説明において、パケットを他の処理装置に送信する処理装置を"送信装置"と表記し、他の処理装置からパケットを受信する処理装置を"受信装置"と表記する。なお、複数の処理装置は、それぞれ、"送信装置"と"受信装置"の両方として機能し得る。

例えば、ＮＮの学習における順方向伝搬時に送信装置から送信されるパケットには、当該ＮＮの複数のレイヤ（層）の内の当該送信装置が処理を担当するレイヤの出力値を示す情報が含められる。また、逆方向伝搬時、送信装置から送信されるパケットには、当該送信装置が処理を担当するレイヤの誤差を示す情報が含められる。非特許文献１は、処理装置間を光パスで接続する構成を開示している。また、非特許文献２は、ＤＤＬにおいて輻輳を回避するため、送信装置において、受信装置に送信するパケットの一部を廃棄する構成を開示している。ＤＤＬにおいては、送信装置が受信装置に送信する情報の一部が欠落しても学習に大きな影響を与えないことが知られている。

Ｃ．Ｗａｎｇ，ｅｔ．ａｌ．，"ＡｃｃｅｌｅｒａｔｉｏｎａｎｄＥｆｆｉｃｉｅｎｃｙＷａｒｒａｎｔｙｆｏｒＤｉｓｔｒｉｂｕｔｅｄＭａｃｈｉｎｅＬｅａｒｎｉｎｇＪｏｂｓｏｖｅｒＤａｔａＣｅｎｔｅｒＮｅｔｗｏｒｋｗｉｔｈＯｐｔｉｃａｌＣｉｒｃｕｉｔＳｗｉｔｃｈｉｎｇ"，２０２１ＯｐｔｉｃａｌＦｉｂｅｒＣｏｍｍｕｎｉｃａｔｉｏｎｓＣｏｎｆｅｒｅｎｃｅａｎｄＥｘｈｉｂｉｔｉｏｎ（ＯＦＣ），２０２１，ｐｐ．１－３ＪｉａｃｈｅｎｇＸｉａ，ｅｔ．ａｌ．，２０１９．ＲｅｔｈｉｎｋｉｎｇＴｒａｎｓｐｏｒｔＬａｙｅｒＤｅｓｉｇｎｆｏｒＤｉｓｔｒｉｂｕｔｅｄＭａｃｈｉｎｅＬｅａｒｎｉｎｇ．ＩｎＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ３ｒｄＡｓｉａ－ＰａｃｉｆｉｃＷｏｒｋｓｈｏｐｏｎＮｅｔｗｏｒｋｉｎｇ２０１９（ＡＰＮｅｔ´１９），ＡｓｓｏｃｉａｔｉｏｎｆｏｒＣｏｍｐｕｔｉｎｇＭａｃｈｉｎｅｒｙ，ＮｅｗＹｏｒｋ，ＵＳＡ，２２－２８

しかながら、輻輳を回避するために送信装置が多数のパケットを廃棄すると、受信装置では多くの情報が欠落し、当該受信装置における処理結果のパフォーマンス（性能）が劣化し得る。一方、送信装置におけるパケットの廃棄が十分ではないと輻輳が回避されず、当該パケットを受信する受信装置において処理結果を得るまでの時間が長くなる。

本開示は、送信するパケットを事前廃棄する送信装置において、受信装置における処理結果を劣化させず、かつ、受信装置において処理結果を得るまでの時間が長くなることを抑える技術を提供するものである。

本開示の一態様によると、送信装置は、受信装置に送信すべき情報に基づき複数の第１パケットを生成する生成手段と、廃棄率を設定する制御手段と、前記廃棄率に従い前記複数の第１パケットの一部を廃棄して残りの複数の第２パケットを前記受信装置に送信する送信手段と、前記複数の第２パケットの前記受信装置による受信期間に対応する第１情報と、前記受信装置が前記複数の第２パケットに基づき行う処理の結果の性能を示す第２情報と、を前記受信装置から取得する取得手段と、を備え、前記制御手段は、前記第１情報及び前記第２情報に基づき前記廃棄率を制御する。

本開示によると、送信するパケットを事前廃棄する送信装置において、受信装置における処理結果を劣化させず、かつ、受信装置において処理結果を得るまでの時間が長くなることを抑えることができる。

一実施形態による送信装置及び受信装置の構成図。一実施形態による送信装置が行う処理のフローチャート。一実施形態による制御部が行う処理のフローチャート。一実施形態による制御部が行う処理のフローチャート。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態で説明されている特徴の組み合わせの全てが発明に必須のものとは限らない。実施形態で説明されている複数の特徴のうちの二つ以上の特徴が任意に組み合わされてもよい。また、同一若しくは同様の構成には同一の参照番号を付し、重複した説明は省略する。

以下では、複数の処理装置によりＤＤＬを行う場合を例として実施形態の説明を行う。上述した様に、ＤＤＬにおいては複数の処理装置間でパケットの送受信を行う。本実施形態において、パケットを送信する処理装置は送信装置として参照され、パケットを受信する処理装置は受信装置として参照される。なお、各処理装置は、送信装置及び受信装置の両方として機能し得る。送信装置と受信装置のペアは複数あるが、送信装置が受信装置にパケットを送信するために行う処理は、総てのペアにおいて同様である。したがって、以下では、図１に示す送信装置１と受信装置２の１つのペアについてのみ説明する。

まず、本実施形態で使用する用語について説明する。ＮＮの深層学習は、教師データによる各レイヤ（層）の出力値の順方向伝搬と、順方向伝搬の結果に基づく誤差の逆方向伝搬により実行される。以下では、順方向伝搬と、当該順方向伝搬の結果に基づく誤差の逆方向伝搬とを実行して、ＮＮの各重みを更新するまでの処理を１つの"ステージ"と表記する。深層学習においては、このステージが繰り返し行われる。

各ステージにおいて、送信装置１は受信装置２に複数のパケットを送信する。当該複数のパケットは、例えば、ＮＮの複数のレイヤの内の送信装置１が処理を担当するレイヤの出力値や、誤差といった送信装置１での処理結果を含む。当該処理結果は、受信装置２での処理に使用される。本実施形態において、"遅延"とは、１つのステージにおいて、受信装置２が送信装置１からの最初のパケットの受信を開始したタイミングから最後のパケットの受信を完了したタイミングまでの期間とする。つまり、本実施形態における"遅延"とは、受信装置２が送信装置１からのパケットを受信している受信期間に対応する。なお、各ステージにおいて、送信装置１が受信装置２に送信するデータ量は一定であるものとする。各ステージにおいて、送信装置１が受信装置２に送信するデータ量が一定であるため、送信装置１から受信装置２に至るネットワークの経路に輻輳が生じていない場合、各ステージにおいて遅延は略一定である。一方、送信装置１から受信装置２に至るネットワークの経路に輻輳が生じると、輻輳が生じていない場合と比較して遅延は大きくなる。なお、一般的に、輻輳の程度が高くなる程、遅延は大きくなる。

各ステージにおいて、送信装置１から受信装置２へのパケットの送信が完了すると受信装置２は所定の処理を行う。受信装置２は所定の処理が完了すると、処理結果のパフォーマンスを評価して評価値を判定する。パフォーマンスの評価方法は任意である。例えば、ＤＤＬにおいて各受信装置２は、ステージ毎に誤差を受け取る。誤差は、ステージの繰り返し回数が多くなる程、一般的には小さくなるが、受信装置２が処理に必要な情報を十分に受信していない場合には、前回のステージからの誤差の減少度合いが小さくなる、或いは、場合によっては増加し得る。したがって、連続する２つのステージの誤差の差に基づき各ステージのパフォーマンスを評価して評価値を判定することができる。

以下、図１を使用して、１つのステージにおける送信装置１及び受信装置２の動作について説明する。送信装置１のソース部１０は、あるステージにおいて送信装置１が行った処理結果で得られた情報の内、受信装置２に送信する必要がある情報をパケット化してパケット廃棄部１１に出力する。記憶部１２には、パケットの廃棄率Ｒが格納されている。パケット廃棄部１１は、廃棄率Ｒに基づきソース部１０からの複数のパケットの内の一部を廃棄し、残りの複数のパケットを受信装置２に送信する。例えば、パケットの廃棄率Ｒの値が１％であり、ソース部１０から１００個のパケットを受信した場合、パケット廃棄部１１は、その内の１つを廃棄して残りの９９個のパケットを受信装置２に送信する。

受信装置２の受信部２０は、送信装置１からのパケットを受信して処理部２１に出力する。処理部２１は、送信装置１からのパケットを使用して受信装置２に与えられた所定の処理を実行する。また、受信部２０は、受信したパケットに基づき上述した遅延Ｌを測定して送信装置１に通知する。さらに、処理部２１は、所定の処理の結果に基づき、上述したパフォーマンスの評価値Ｐを判定して送信装置１に通知する。送信装置１の制御部１３は、受信装置２から取得する遅延Ｌ及び評価値Ｐに基づき廃棄率Ｒを更新して記憶部１２に格納する。この廃棄率Ｒは、次のステージにおいて使用される。なお、制御部１３は、送信装置１が行う動作の全体を制御する。

図２は、送信装置１が実行する処理のフローチャートである。図２のフローチャートにおいては、各ステージを順に第ｓステージと表記する。なお、ｓは０以上の整数とする。また、第ｓステージで使用する廃棄率ＲをＲ_ｓと表記し、第ｓステージで受信装置２から通知される遅延Ｌ及び評価値Ｐを遅延Ｌ_ｓ及び評価値Ｐ_ｓと表記する。なお、最初のステージ、つまり、第０ステージにおける廃棄率Ｒ_０を０とする。

Ｓ１０において、制御部１３は、ステージの繰り返し回数を示すインデクスｓを０に初期化する。Ｓ１１において、パケット廃棄部１１は、廃棄率Ｒ_ｓでソース部１０からのパケットを廃棄しながら受信装置２に残りのパケットを送信する。第０ステージの場合、廃棄率Ｒ_ｓは０であるためパケット廃棄部１１は、ソース部１０からの総てのパケットを受信装置２に送信する。Ｓ１２において、制御部１３は、第ｓステージでの遅延Ｌ_ｓ及び評価値Ｐ_ｓを受信装置２から取得する。

制御部１３は、Ｓ１３においてｓ＝０であるか否か、つまり、第０ステージであるか否かを判定する。第０ステージである場合、制御部１３は、Ｓ１４で、次のステージ、つまり、第１ステージにおける廃棄率Ｒ_１を所定値Ｒ_ｐに設定する。一方、第０ステージではない場合、制御部１３は、Ｓ１５において、１つ前のステージにおける遅延Ｌ_ｓ－１及び評価値Ｐ_ｓ－１と、現在のステージにおける遅延Ｌ_ｓ及び評価値Ｐ_ｓと、に基づき次のステージ、つまり、第（ｓ＋１）ステージにおける廃棄率Ｒ_ｓ＋１を求める。制御部１３は、Ｓ１６で、現在のステージが最終ステージであるか否かを判定する。現在のステージが最終ステージではない場合、制御部１３は、Ｓ１７でインデクスｓを１だけ増加させてＳ１１から処理を繰り返す。一方、現在のステージが最終ステージである場合、制御部１３は、図２の処理を終了する。

図３は、図２のＳ１５における処理のフローチャートである。制御部１３は、Ｓ２０において、第ｓステージでの評価値Ｐ_ｓと第（ｓ－１）ステージでの評価値Ｐ_ｓ－１とを比較し、評価値Ｐ_ｓが評価値Ｐ_ｓ－１より劣化し、かつ、その劣化度合いが第１閾値より大きいかを判定する。つまり、第（ｓ－１）ステージでのパフォーマンスと比較して、第ｓステージでのパフォーマンスが、第１閾値より大きく劣化しているかを判定する。第ｓステージでのパフォーマンスが、１つ前のステージに対して第１閾値より大きく劣化している場合、制御部１３は、廃棄率Ｒ_ｓが大きすぎると判定する。よって、制御部１３は、Ｓ２２で、次の第（ｓ＋１）ステージでの廃棄率Ｒ_ｓ＋１を、現在の第ｓステージでの廃棄率Ｒ_ｓより所定値Ｒ_ｐ２だけ減少させる。

一方、第ｓステージでのパフォーマンスが、１つ前のステージに対して第１閾値より大きく劣化していない場合、制御部１３は、Ｓ２１において、第ｓステージでの遅延Ｌ_ｓと第（ｓ－１）ステージでの遅延Ｌ_ｓ－１とを比較し、遅延Ｌ_ｓが遅延Ｌ_ｓ－１より増加し、かつ、その増加度合いが第２閾値より大きいかを判定する。つまり、第（ｓ－１）ステージでの遅延と比較して、第ｓステージでの遅延が、第２閾値より大きく増加しているかを判定する。第ｓステージでの遅延が、１つ前のステージに対して第２閾値より大きく増加している場合、制御部１３は、廃棄率Ｒ_ｓが小さすぎると判定する。よって、制御部１３は、Ｓ２３で、次の第（ｓ＋１）ステージでの廃棄率Ｒ_ｓ＋１を、現在の第ｓステージでの廃棄率Ｒ_ｓより所定値Ｒ_ｐ１だけ増加させる。一方、第ｓステージでの遅延が、１つ前のステージに対して第２閾値より大きく増加していない場合、制御部１３は、現在の廃棄率Ｒ_ｓが適切であると判定する。この場合、制御部１３は、Ｓ２４で、現在の廃棄率Ｒ_ｓを変更せずに第（ｓ＋１）ステージでも使用すると判定する。

以上の様に廃棄率Ｒを制御することで、遅延を抑え、かつ、パフォーマンスの低下を抑える様に廃棄率Ｒを制御することができる。遅延を抑えることで、つまり、受信装置２での送信装置１からの情報の受信期間が長くなることを抑えることで、受信装置において処理結果を得るまでの時間が長くなることを抑えることができる。また、パフォーマンスの低下を抑えることで、受信装置２における処理結果の劣化を抑えることができる。

なお、廃棄率Ｒは負の値をとり得ないため、Ｓ２２において廃棄率Ｒ_ｓ＋１が負の値になる場合、制御部１３は、廃棄率Ｒ_ｓ＋１を０に設定する。また、廃棄率Ｒの上限値を定め、Ｓ２３において廃棄率Ｒ_ｓ＋１が上限値を超える場合、制御部１３は、廃棄率Ｒ_ｓ＋１を上限値に設定する構成とし得る。また、所定値Ｒ_ｐ、Ｒ_ｐ＋１及びＲ_ｐ＋２は、同じ値であっても異なる値であっても良い。

＜変形例＞
図３において、制御部１３は、Ｓ２１で、第ｓステージでの遅延が１つ前のステージに対して第２閾値より大きく増加している場合、Ｓ２３で、次のステージでの廃棄率Ｒを所定値だけ増加させ、そうでない場合、Ｓ２４で、廃棄率Ｒを変更せずに次のステージでそのまま使用すると決定していた。本変形例では、第ｋステージ（ｋは２以上の整数）になると、現在の第ｓステージでの遅延Ｌ_ｓと、過去ｋ回のステージでの遅延との比較により、次の第（ｓ＋１）ステージでの廃棄率Ｒ_ｓ＋１を決定する。なお、第ｋステージとなるまでの処理は図３と同様である。

図４は、本変形例において制御部１３が図２のＳ１５で行う処理のフローチャートを示している。なお、本変形例において図２のＳ１５は、"Ｌ_ｓ～Ｌ_ｓ－ｋとＰ_ｓ及びＰ_ｓ－１とに基づきＲ_ｓ＋１を判定"となる。図４では、図３のフローチャートと同じ処理ステップについては同じステップ番号を付与している。図３のフローチャートとの相違点は、図３のＳ２１がＳ３０となることである。Ｓ３０において、制御部１３は、遅延Ｌ_ｓと、過去ｋ回のステージでの遅延Ｌ_ｓ－１、Ｌ_ｓ－２、・・・、Ｌ_ｓ－ｋとを比較する。そして、遅延Ｌ_ｓ－１、Ｌ_ｓ－２、・・・、Ｌ_ｓ－ｋの内の少なくとも１つに対する遅延Ｌ_ｓの増加量が第２閾値より大きい場合、制御部１３は、Ｓ２３において、次のステージでの廃棄率Ｒを所定値だけ増加させる。一方、遅延Ｌ_ｓ－１、Ｌ_ｓ－２、・・・、Ｌ_ｓ－ｋの総てに対する遅延Ｌ_ｓの増加量が第２閾値より大きくない場合、制御部１３は、Ｓ２４において、廃棄率Ｒを変更せずに次のステージでそのまま使用すると決定する。

本変形例では、１つの前のステージのみならず、過去複数回のステージでの遅延Ｌとの比較結果に基づき廃棄率Ｒを制御するため、パフォーマンスの劣化を抑えつつ、遅延をより最適化する様に廃棄率Ｒを制御することができる。

なお、ＤＤＬを行う場合を例にして実施形態の説明を行ったが、本開示は、一部の情報が欠落しても問題が無いアプリケーションに対して適用できる。その様なアプリケーションの例は、例えば、動画や音楽等のコンテンツの配信である。コンテンツの配信においては一部の少量の情報が欠落しても、コンテンツの視聴が不可能となることはない。コンテンツ配信においては、コンテンツを所定データ量のブロックに分割し、１つのブロックの送信を１つのステージとし得る。

なお、本開示による送信装置１は、１つ以上のプロセッサを有する装置の当該１つ以上のプロセッサで実行されると、当該装置を上記送信装置１として機能させるコンピュータプログラムにより実現され得る。コンピュータプログラムは、１つ以上のプロセッサが実行可能なプログラム命令を含み得る。コンピュータプログラムは、コンピュータが読み取り可能な非一時的な記憶媒体に記憶されて、又は、ネットワーク経由で配布が可能なものである。

以上の構成により、送信するパケットを事前廃棄する送信装置において、受信装置における処理結果を劣化させず、かつ、受信装置において処理結果を得るまでの時間が長くなることを抑えることができる。したがって、国連が主導する持続可能な開発目標（ＳＤＧｓ）の目標９「レジリエントなインフラを整備し、持続可能な産業化を推進するとともに、イノベーションの拡大を図る」に貢献することが可能となる。

発明は上記の実施形態に制限されるものではなく、発明の要旨の範囲内で、種々の変形・変更が可能である。

１０：ソース部、１１：パケット廃棄部、１３：制御部

Claims

受信装置に送信すべき情報に基づき複数の第１パケットを生成する生成手段と、
廃棄率を設定する制御手段と、
前記廃棄率に従い前記複数の第１パケットの一部を廃棄して残りの複数の第２パケットを前記受信装置に送信する送信手段と、
前記複数の第２パケットの前記受信装置による受信期間に対応する第１情報と、前記受信装置が前記複数の第２パケットに基づき行う処理の結果の性能を示す第２情報と、を前記受信装置から取得する取得手段と、
を備え、
前記制御手段は、前記第１情報及び前記第２情報に基づき前記廃棄率を制御する、送信装置。
前記送信装置は、複数のステージを繰り返し実行し、
前記複数のステージそれぞれは、前記廃棄率に従い前記複数の第１パケットの一部を廃棄して残りの前記複数の第２パケットを前記受信装置に送信し、前記受信装置から前記第１情報及び前記第２情報を取得することを含み、
前記制御手段は、第１ステージで取得した前記第２情報が、前記第１ステージの１つ前の第２ステージで取得した前記第２情報が示す性能に対して第１閾値より大きく劣化していることを示している場合、前記第１ステージの次に行う第３ステージでの前記廃棄率を前記第１ステージでの前記廃棄率より第１所定値だけ減少させる、請求項１に記載の送信装置。
前記制御手段は、前記第１ステージで取得した前記第２情報が、前記第２ステージで取得した前記第２情報が示す性能に対して前記第１閾値より大きく劣化していないことを示している場合において、前記第１ステージで取得した前記第１情報が、前記第２ステージで取得した前記第１情報が示す受信期間に対して第２閾値より大きく増大していることを示している場合、前記第３ステージでの前記廃棄率を前記第１ステージでの前記廃棄率より第２所定値だけ増加させる、請求項２に記載の送信装置。
前記制御手段は、前記第１ステージで取得した前記第２情報が、前記第２ステージで取得した前記第２情報が示す性能に対して前記第１閾値より大きく劣化していないことを示している場合において、前記第１ステージで取得した前記第１情報が、前記第１ステージの前に実行した複数回のステージそれぞれで取得した複数の前記第１情報の内の少なくとも１つの前記第１情報が示す受信期間に対して第２閾値より大きく増大していることを示している場合、前記第３ステージでの前記廃棄率を前記第１ステージでの前記廃棄率より第２所定値だけ増加させる、請求項２に記載の送信装置。
前記制御手段は、前記第１ステージで取得した前記第２情報が、前記第２ステージで取得した前記第２情報が示す性能に対して前記第１閾値より大きく劣化していないことを示している場合において、前記第１ステージで取得した前記第１情報が、前記第２ステージで取得した前記第１情報が示す受信期間に対して第２閾値より大きく増大していないことを示している場合、前記第３ステージでの前記廃棄率を前記第１ステージでの前記廃棄率と同じにする、請求項２に記載の送信装置。
前記制御手段は、前記第１ステージで取得した前記第２情報が、前記第２ステージで取得した前記第２情報が示す性能に対して前記第１閾値より大きく劣化していないことを示している場合において、前記第１ステージで取得した前記第１情報が、前記第１ステージの前に実行した複数回のステージそれぞれで取得した複数の前記第１情報が示す総ての受信期間に対して第２閾値より大きく増大していないことを示している場合、前記第３ステージでの前記廃棄率を前記第１ステージでの前記廃棄率と同じにする、請求項２に記載の送信装置。
１つ以上のプロセッサを有する装置の前記１つ以上のプロセッサで実行されると前記装置を請求項１から６のいずれか１項に記載の送信装置として機能させる、コンピュータプログラム。