JPWO2021130828A5

JPWO2021130828A5 - サーバ内遅延制御装置、サーバ、サーバ内遅延制御方法およびプログラム

Info

Publication number: JPWO2021130828A5
Application number: JP2021566407A
Authority: JP
Filing date: 2019-12-23
Publication date: 2022-09-05
Anticipated expiration: 2039-12-23

Description

本発明は、サーバ内遅延制御装置、サーバ、サーバ内遅延制御方法およびプログラムに関する。

以下、NAPI Rx側パケット処理概要について説明する。
［New API(NAPI)によるＲｘ側パケット処理構成］
図１０は、図９の破線で囲んだ箇所におけるNew API(NAPI)によるＲｘ側パケット処理の概要を説明する図である。
<Device driver>
図１０に示すように、Device driverには、ネットワークインターフェースカードであるNIC１１（物理NIC）、NIC１１の処理要求の発生によって呼び出され要求された処理（ハードウェア割込）を実行するハンドラであるhardIRQ８１、およびハードウェア割込の処理機能部であるnetif_rx８２が配置される。

しかし、NIC１１が、Ring Buffer７２へ到着したパケットをコピーしただけでは、Kernel７１は、そのパケットを認知できない。そこで、NIC１１は、パケットが到着すると、ハードウェア割込（hardIRQ）をhardIRQ８１に上げ（図１０の符号ｅ参照）、netif_rx８２が下記の処理を実行することで、Kernel７１は、当該パケットを認知する。なお、図１０の楕円で囲んで示すhardIRQ８１は、機能部ではなくハンドラを表記する。

netif_rx８２は、実際に処理をする機能であり、hardIRQ８１（ハンドラ）が立ち上がると（図１０の符号ｆ参照）、poll_list８６に、ハードウェア割込（hardIRQ）の中身の情報の１つである、ＮＩＣ１１からのハードウェア割込がどのデバイスのものであるかを示すネットデバイス（net_device）の情報を保存して、キューの刈取り（バッファに溜まっているパケットの中身を参照して、そのパケットの処理を、次に行う処理を考慮してバッファから該当するキューのエントリを削除する）を登録する（図１０の符号ｇ参照）。具体的には、netif_rx８２は、Ring Buffer７２にパケットが詰め込まれたことを受けて、NIC１１のドライバを使って、以後のキューの刈取りをpoll_list８６に登録する（図１０の符号ｇ参照）。これにより、poll_list８６には、Ring Buffer７２にパケットが詰め込まれたことによる、キューの刈取り情報が登録される。

do_softirq８４は、ソフトウェア割込制御機能部であり、ソフトウェア割込の各機能を定義（パケット処理は各種あり、割込処理はそのうちの一つ。割込処理を定義する）している。do_softirq８４は、この定義をもとに、実際にソフトウェア割込処理を行うnet_rx_action８５に、今回の（該当の）ソフトウェア割込の依頼を通知する（図１０の符号ｊ参照）。

特開２０１５－１９７８７４号公報特開２０１８－３２１５６号公報

前記した課題を解決するため、本発明は、サーバ内遅延制御装置であって、OSが、カーネルと、前記OSを備えるサーバ中のメモリ空間で、前記カーネルが管理するリングバッファと、インターフェイス部からのハードウェア割込がどのデバイスのものであるかを示すネットデバイスの情報を登録するポールリストと、を有し、前記カーネル内に、ポーリングモデルを用いてパケット到着を監視するスレッドを立ち上げる前記サーバ内遅延制御装置を備えており、前記サーバ内遅延制御装置は、前記ポールリストを監視するパケット到着監視部と、前記リングバッファに保持したパケットを参照し、次に行う処理に基づいて該当するキューのエントリを前記リングバッファから削除する刈取りを実行するパケット刈取部と、を備えることを特徴とするサーバ内遅延制御装置とした。

パケット到着監視部１１０は、poll_list８６からRing_Buffer７２（図２参照）にパケットが存在するポインタ情報と、net_device情報とを取得し、パケット刈取部１２０へ当該情報（ポインタ情報およびnet_device情報）を伝達する。ここで、poll_list１８６に複数パケット情報が存在する場合は、複数分当該情報を伝達する。

パケット刈取部１２０は、パケットが到着している場合は、Ring Buffer７２に保持したパケットを参照し、次に行う処理に基づいて該当するキューのエントリをRing Buffer７２から削除する刈取りを実行する（以下、単にRing Buffer７２からパケットを刈取るという場合がある）。パケット刈取部１２０は、受信した情報をもとにRing_Buffer７２からパケットを取り出し、netif_receive_skb８７へパケットを伝達する。

図２は、図１のサーバ内遅延制御システム１０００のNew API(NAPI)によるＲｘ側パケット処理の詳細を説明する図である。図１および図１０と同一構成部分には、同一符号を付している。
<Device driver>
図２に示すように、Device driverには、ネットワークインターフェースカードであるNIC１１、NIC１１の処理要求の発生によって呼び出され要求された処理（ハードウェア割込）を実行するハンドラであるhardIRQ８１、およびハードウェア割込の処理機能部であるnetif_rx１８２が配置される。

netif_rx１８２は、hardIRQ８１（ハンドラ）が立ち上がると（図２の符号ｆ参照）、poll_list１８６に、ハードウェア割込（hardIRQ）の中身の情報の１つである、ＮＩＣ１１からのハードウェア割込がどのデバイスのものであるかを示すネットデバイス（net_device）の情報を保存して、キューの刈取り情報を登録する（図２の符号ｇ参照）。具体的には、netif_rx１８２は、Ring Buffer７２にパケットが詰め込まれたことを受けて、NIC１１のドライバを使って、以後のキューの刈取りをpoll_list１８６に登録する（図２の符号ｇ参照）。これにより、poll_list１８６には、Ring Buffer７２にパケットが詰め込まれたことによる、キューの刈取りが登録される。

パケット到着監視部１１０は、poll_list１８６から、Ring_Buffer７２にパケットが存在するポインタ情報と、net_device情報とを取得し、パケット刈取部１２０へ当該情報（ポインタ情報およびnet_device情報）を伝達する（図２の符号ｑ参照）。ここで、poll_list１８６に複数パケット情報が存在する場合は、複数分当該情報を伝達する。

サーバ内遅延制御装置１００のパケット刈取部１２０は、パケットが到着している場合は、Ring Buffer７２からパケットを刈取る（図２の符号ｌ参照）。
パケット刈取部１２０は、受信した情報をもとにRing_Buffer７２からパケットを取り出し、netif_receive_skb８７へパケットを伝達する（図２の符号ｍ参照）。

ステップＳ１３では、パケット到着監視部１１０は、poll_list１８６からRing_Buffer７２（図２参照）にパケットが存在するポインタ情報と、NET_DEVICE情報とを取得し、パケット刈取部１２０へ当該情報（ポインタ情報およびNET_DEVICE情報）を伝達する（図２の符号ｑ参照）。ここで、poll_list１８６に複数パケット情報が存在する場合は、複数分当該情報を伝達する。

ステップＳ１５では、パケット刈取部１２０は、受信した情報をもとにRing_Buffer７２からパケットを取り出し、netif_receive_skb８７へパケットを伝達して（図２の符号ｍ参照）、本フローの処理を終了する。

パケット到着監視部１１０は、poll_list１８６からRing_Buffer７２にパケットが存在するポインタ情報と、NET_DEVICE情報とを取得し、パケット刈取部１２０へ当該情報（ポインタ情報およびNET_DEVICE情報）を伝達する（図２の符号ｑ参照）。

パケット刈取部１２０は、受信した情報をもとにRing_Buffer７２からパケットを取り出し、netif_receive_skb８７へパケットを伝達する（図２の符号ｍ参照）。

Kernel９１は、poll_list１８６を常に監視（busy poll）するパケット到着監視部１１０と、パケットが到着している場合は、Ring Buffer２２に保持したパケットを参照し、次に行う処理に基づいて該当するキューのエントリをRing Buffer２２から削除する刈取りを実行するパケット刈取部１２０と、を備える。
Kernel９１は、tapデバイス２２２を介して、仮想マシン３０へパケットを伝達する。

Kernel１７１は、poll_list１８６を常に監視（busy poll）するパケット到着監視部１１０と、パケットが到着している場合は、Ring Buffer５２に保持したパケットを参照し、次に行う処理に基づいて該当するキューのエントリをRing Buffer５２から削除する刈取りを実行するパケット刈取部１２０と、刈取りが実行されたパケットのプロトコル処理を行うプロトコル処理部７４と、を備える。
Kernel１７１は、プロトコル処理部７４を介して、パケット処理ＡＰＬ１へパケットを伝達する。

また、仮想マシン内で動作するGuest OS（GuestOS７０）が、カーネル（Kernel１７１）と、Guest OSを備えるサーバ中のメモリ空間で、カーネルが管理するリングバッファ（Ring Buffer５２）と、インターフェイス部（NIC１１）からのハードウェア割込（hardIRQ）がどのデバイスのものであるかを示すネットデバイスの情報を登録するポールリスト（poll_list１８６）と、刈取りが実行されたパケットのプロトコル処理を行うプロトコル処理部７４と、を有し、カーネル内に、ポーリングモデルを用いてパケット到着を監視するスレッド（thread）を立ち上げるサーバ内遅延制御装置１００を備えており、サーバ内遅延制御装置１００は、ポールリストを監視（busy poll）するパケット到着監視部１１０と、パケットが到着している場合は、リングバッファに保持したパケットを参照し、次に行う処理に基づいて該当するキューのエントリをリングバッファから削除する刈取りを実行するパケット刈取部１２０と、を備えることを特徴とする。

また、仮想マシンおよび仮想マシン外に形成された外部プロセスが動作可能なHost OS（HostOS９０）が、カーネル（Kernel９１）と、Host OSを備えるサーバ中のメモリ空間で、カーネルが管理するリングバッファ（Ring Buffer２２）と、インターフェイス部（NIC１１）からのハードウェア割込（hardIRQ）がどのデバイスのものであるかを示すネットデバイスの情報を登録するポールリスト（poll_list１８６）と、カーネル（Kernel９１）により作成される仮想インターフェイスであるtapデバイス２２２と、を備え、カーネル内に、ポーリングモデルを用いてパケット到着を監視するスレッド（thread）を立ち上げるサーバ内遅延制御装置１００を備えており、サーバ内遅延制御装置１００は、ポールリストを監視（busy poll）するパケット到着監視部１１０と、パケットが到着している場合は、リングバッファ（Ring Buffer２２）に保持したパケットを参照し、次に行う処理に基づいて該当するキューのエントリをリングバッファ（Ring Buffer２２）から削除する刈取りを実行するパケット刈取部１２０と、を備えることを特徴とする。

１パケット処理ＡＰＬ（アプリケーション）
１０ＨＷ
１１ NIC（物理NIC）(インターフェイス部)
２２，５２，７２ Ring Buffer（リングバッファ）
７０ OS
７４プロトコル処理部
６０ user space（ユーザスペース）
９０ Host OS（OS）
９１，１７１，１８１ Kernel（カーネル）
１００サーバ内遅延制御装置
１１０パケット到着監視部
１２０パケット刈取部
１８０ Guest OS（OS）
１８６ poll_list（ポールリスト）
２１０ Container
１０００，１０００Ａ，１０００Ｂサーバ内遅延制御システム

Claims

サーバ内遅延制御装置であって、
OSが、
カーネルと、
前記OSを備えるサーバ中のメモリ空間で、前記カーネルが管理するリングバッファと、
インターフェイス部からのハードウェア割込がどのデバイスのものであるかを示すネットデバイスの情報を登録するポールリストと、を有し、
前記カーネル内に、ポーリングモデルを用いてパケット到着を監視するスレッドを立ち上げる前記サーバ内遅延制御装置を備えており、
前記サーバ内遅延制御装置は、
前記ポールリストを監視するパケット到着監視部と、
前記リングバッファに保持したパケットを参照し、次に行う処理に基づいて該当するキューのエントリを前記リングバッファから削除する刈取りを実行するパケット刈取部と、を備える
ことを特徴とするサーバ内遅延制御装置。
サーバ内遅延制御装置であって、
仮想マシン内で動作するOSである Guest OSが、
カーネルと、
前記Guest OSを備えるサーバ中のメモリ空間で、前記カーネルが管理するリングバッファと、
インターフェイス部からのハードウェア割込がどのデバイスのものであるかを示すネットデバイスの情報を登録するポールリストと、
刈取りが実行されたパケットのプロトコル処理を行うプロトコル処理部と、を有し、
前記カーネル内に、ポーリングモデルを用いてパケット到着を監視するスレッドを立ち上げる前記サーバ内遅延制御装置を備えており、
前記サーバ内遅延制御装置は、
前記ポールリストを監視するパケット到着監視部と、
前記リングバッファに保持したパケットを参照し、次に行う処理に基づいて該当するキューのエントリを前記リングバッファから削除する刈取りを実行するパケット刈取部と、を備える
ことを特徴とするサーバ内遅延制御装置。
サーバ内遅延制御装置であって、
仮想マシンおよび前記仮想マシン外に形成された外部プロセスが動作可能なOSであるHost OSが、
カーネルと、
前記Host OSを備えるサーバ中のメモリ空間で、前記カーネルが管理するリングバッファと、
インターフェイス部からのハードウェア割込がどのデバイスのものであるかを示すネットデバイスの情報を登録するポールリストと、
前記カーネルにより作成される仮想インターフェイスであるtapデバイスと、を備え、
前記カーネル内に、ポーリングモデルを用いてパケット到着を監視するスレッドを立ち上げる前記サーバ内遅延制御装置を備えており、
前記サーバ内遅延制御装置は、
前記ポールリストを監視するパケット到着監視部と、
前記リングバッファに保持したパケットを参照し、次に行う処理に基づいて該当するキューのエントリを前記リングバッファから削除する刈取りを実行するパケット刈取部と、を備える
ことを特徴とするサーバ内遅延制御装置。
前記カーネルは、当該カーネルを起動させたまま、処理動作を変更可能なパッチを有する
ことを特徴とする請求項１乃至請求項３のいずれか一項に記載のサーバ内遅延制御装置。
ポーリングモデルによりパケットの到着を監視するパケット到着監視部と、
リングバッファに保持したパケットを参照し、前記リングバッファへの到着が検知された前記パケットを取得するパケット刈取部と、
前記パケット到着監視部と前記パケット刈取部とを含むカーネルと、を備え、
前記パケット到着監視部は、
当該カーネル内で、前記ポーリングモデルによりパケット到着を監視するスレッドを起動させる
ことを特徴とするサーバ。
仮想マシン内で動作するOSであるGuest OSが、
前記Guest OSを備えるサーバ中のメモリ空間で、カーネルが管理するリングバッファと、
ポーリングモデルによりパケットの到着を監視するパケット到着監視部と、
リングバッファに保持したパケットを参照し、前記リングバッファへの到着が検知された前記パケットを取得するパケット刈取部と、を備える
ことを特徴とするサーバ。
仮想マシンおよび前記仮想マシン外に形成された外部プロセスが動作可能なOSであるHost OSが、
前記Host OSを備えるサーバ中のメモリ空間で、カーネルが管理するリングバッファと、
ポーリングモデルによりパケットの到着を監視するパケット到着監視部と、
リングバッファに保持したパケットを参照し、前記リングバッファへの到着が検知された前記パケットを取得するパケット刈取部と、を備える
ことを特徴とするサーバ。
前記カーネルは、当該カーネルを起動させたまま、処理動作を変更可能なパッチを有する
ことを特徴とする請求項５乃至請求項７のいずれか一項に記載のサーバ。
前記パケット到着監視部が監視する対象は、インターフェイス部からのハードウェア割込がどのデバイスのものであるかを示すネットデバイスの情報を登録するポールリストである
ことを特徴とする請求項５乃至請求項８のいずれか一項に記載のサーバ。
前記カーネルは、流入するパケット量に応じて、スレッドに割り当てるＣＰＵの数を増減する
ことを特徴とする請求項５または請求項６に記載のサーバ。
前記パケット刈取部は、
パケットが到着している場合、前記リングバッファに保持したパケットを参照する
ことを特徴とする請求項５乃至請求項８のいずれか一項に記載のサーバ。
サーバ内遅延制御装置のサーバ内遅延制御方法であって、
OSを備えるサーバ中のメモリ空間で、カーネルが管理するリングバッファと、
インターフェイス部からのハードウェア割込がどのデバイスのものであるかを示すネットデバイスの情報を登録するポールリストと、を前記サーバが有し、前記カーネル内に前記サーバ内遅延制御装置を備え、
前記サーバ内遅延制御装置は、前記カーネル内に、ポーリングモデルを用いてパケット到着を監視するスレッドを立ち上げるサーバ内遅延制御ステップを実行し、
前記サーバ内遅延制御ステップは、
前記ポールリストを監視するステップと、
前記リングバッファに保持したパケットを参照し、次に行う処理に基づいて該当するキューのエントリを前記リングバッファから削除する刈取りを実行するステップと、を含む
ことを特徴とするサーバ内遅延制御方法。
サーバのサーバ内遅延制御方法であって、
前記サーバは、
ポーリングモデルによりパケットの到着を監視するパケット到着監視ステップと、
リングバッファに保持したパケットを参照し、前記リングバッファへの到着が検知された前記パケットを取得するパケット取得ステップと、を実行するとともに、
前記パケット到着監視ステップでは、
前記サーバのカーネル内で、前記ポーリングモデルによりパケット到着を監視するスレッドを起動させる
ことを特徴とするサーバ内遅延制御方法。
OSが、
カーネルと、
前記OSを備えるサーバ中のメモリ空間で、前記カーネルが管理するリングバッファと、
インターフェイス部からのハードウェア割込がどのデバイスのものであるかを示すネットデバイスの情報を登録するポールリストと、を有し、
前記カーネル内に、ポーリングモデルを用いてパケット到着を監視するスレッドを立ち上げるサーバ内遅延制御装置を備えており、前記サーバ内遅延制御装置としてのコンピュータに、
前記ポールリストを監視するパケット到着監視手順、
前記リングバッファに保持したパケットを参照し、次に行う処理に基づいて該当するキューのエントリを前記リングバッファから削除する刈取りを実行するパケット刈取手順、
を実行させるためのプログラム。
カーネル内に、ポーリングモデルを用いてパケット到着を監視するスレッドを立ち上げるサーバとしてのコンピュータに、
ポーリングモデルによりパケットの到着を監視するパケット到着監視手順、
リングバッファに保持したパケットを参照し、前記リングバッファへの到着が検知された前記パケットを取得する手順、
を実行させるためのプログラム。