JP4802159B2 - Network equipment - Google Patents

Network equipment Download PDF

Info

Publication number
JP4802159B2
JP4802159B2 JP2007217509A JP2007217509A JP4802159B2 JP 4802159 B2 JP4802159 B2 JP 4802159B2 JP 2007217509 A JP2007217509 A JP 2007217509A JP 2007217509 A JP2007217509 A JP 2007217509A JP 4802159 B2 JP4802159 B2 JP 4802159B2
Authority
JP
Japan
Prior art keywords
network interface
communication
service
unit
interface card
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007217509A
Other languages
Japanese (ja)
Other versions
JP2009055130A (en
Inventor
智大 永田
仁 山下
亘 滝田
憲一 山崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Priority to JP2007217509A priority Critical patent/JP4802159B2/en
Publication of JP2009055130A publication Critical patent/JP2009055130A/en
Application granted granted Critical
Publication of JP4802159B2 publication Critical patent/JP4802159B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、複数のネットワークインタフェースを有するネットワーク装置に関する。 The present invention relates to a network device having a plurality of network interfaces.

以下の非特許文献1に記載のIEEE802.3adにおいて、複数ネットワークインタフェースを用いてデータ送信の負荷分散を実現している。この技術では送信先アドレスを基に複数のネットワークインタフェースの中から実際に利用するネットワークインタフェースを決定し、データを送信している。
IEEE Std 802.3-2005、43. Link Aggregation、[online]、平成17年、IEEE、[平成19年8月6日検索]、インターネット<URL:http://standards.ieee.org/getieee802/download/802.3-2005_section3.pdf>
In IEEE802.3ad described in Non-Patent Document 1 below, load distribution for data transmission is realized using a plurality of network interfaces. In this technique, a network interface to be actually used is determined from a plurality of network interfaces based on a transmission destination address, and data is transmitted.
IEEE Std 802.3-2005, 43. Link Aggregation, [online], 2005, IEEE, [searched August 6, 2007], Internet <URL: http://standards.ieee.org/getieee802/download/ 802.3-2005_section3.pdf>

しかしながら、送信先アドレスに偏りがあると特定のネットワークインタフェースカードの負荷が上昇してしまい、サービスが要求するネットワーク品質が実現されない場合があり得る。すなわち、送信先アドレスなどを用いて利用するネットワークインタフェースカードの負荷を分散させようとしても、送信先アドレスなどによって利用するネットワークインタフェースカードが一意に決めるため、送信先アドレスが偏ると利用されるネットワークインタフェースカードの負荷分散ができなくなる。   However, if the destination address is biased, the load on a specific network interface card increases, and the network quality required by the service may not be realized. In other words, even if an attempt is made to distribute the load of the network interface card to be used by using the transmission destination address or the like, the network interface card to be used is uniquely determined by the transmission destination address or the like. It becomes impossible to load balance cards.

そこで、上述の課題を解決するために、本発明は、ネットワークインタフェースなどの通信手段が複数あった場合に、一つの通信手段に偏った使用をしないように制御することのできるネットワーク装置を提供することを目的とする。 Therefore, in order to solve the above-described problem, the present invention provides a network device that can be controlled so as not to be biased to one communication means when there are a plurality of communication means such as a network interface. For the purpose.

上述の課題を解決するために、本発明は、通信データを生成する複数のサービス手段と、前記サービス手段により生成された通信データの通信を実行する複数の通信手段と、前記複数のサービス手段と前記複数の通信手段とを対応付けた対応テーブルを記憶する記憶手段と、前記複数の通信手段のそれぞれの通信状況を判断する状況判断手段と、前記複数のサービス手段のうち一のサービス手段から通信要求を受けると、前記記憶手段に記憶されている対応テーブルおよび前記状況判断手段により判断された通信状況に基づいて、前記一のサービス手段に対応する一の通信手段を選択する選択手段と、を備え、前記選択手段により選択された一の通信手段が、前記一のサービス手段により提供された通信データの通信を実行し、前記選択手段は、前記一の通信手段が前記一のサービス手段以外の他のサービス手段により利用可能であるか否かを判断し、利用可能であると判断する場合であって、前記一の通信手段が一のサービス手段により利用されている場合には、前記他のサービス手段により前記一の通信手段が利用されないように選択制御を行うよう構成されている。 In order to solve the above problems, the present invention provides a plurality of service means for generating communication data, a plurality of communication means for executing communication of communication data generated by the service means, and the plurality of service means. A storage unit that stores a correspondence table that associates the plurality of communication units, a status determination unit that determines a communication status of each of the plurality of communication units, and a communication from one service unit among the plurality of service units Upon receiving the request, a selection unit that selects one communication unit corresponding to the one service unit based on the correspondence table stored in the storage unit and the communication status determined by the status determination unit; includes, in the one communication means selected by the selecting means, performs communication of the communication data provided by the one service means, said selecting means , Determining whether the one communication means can be used by another service means other than the one service means, and determining that the one communication means is usable, wherein the one communication means is one When used by a service means, selection control is performed so that the one communication means is not used by the other service means .

この発明によれば、複数のサービス手段のうち一のサービス手段から通信要求を受けると、サービス手段と通信手段との対応テーブルおよび個々の通信手段における通信状況に基づいて、一のサービス手段に対応する一の通信手段を選択し、選択された一の通信手段が、一のサービス手段により提供された通信データの通信を実行する。これにより、複数の通信手段において各通信手段にその利用を分散させることができ、一の通信手段に対してその利用が集中することなく、通信効率を向上させることができる。また、一の通信手段が一のサービス手段以外の他のサービス手段により利用可能であるか否かを判断し、利用可能であると判断する場合であって、一の通信手段が一のサービス手段により利用されている場合には、他のサービス手段により一の通信手段が利用されないように選択制御を行うことで、一の通信手段における利用帯域を確保することができ、一の通信手段における負荷を軽減し、通信効率を向上させることができる。 According to this invention, when a communication request is received from one service means among a plurality of service means, it corresponds to one service means based on the correspondence table between the service means and the communication means and the communication status in each communication means. One communication means is selected, and the selected one communication means executes communication of communication data provided by one service means. Thereby, the use can be distributed to each communication means in a plurality of communication means, and the communication efficiency can be improved without the use being concentrated on one communication means. Further, it is a case where it is determined whether or not one communication means can be used by another service means other than one service means, and one communication means is one service means. If the service is used by the other service means, the use bandwidth of the one communication means can be secured by performing selection control so that the other communication means is not used, and the load on the one communication means can be secured. Can be reduced and communication efficiency can be improved.

また、本発明のネットワーク装置においては、前記選択手段は、複数備えられ、各選択手段は、前記複数の通信手段のうち予め定められた通信手段を選択対象とすることが好ましい。   In the network apparatus according to the present invention, it is preferable that a plurality of the selection means are provided, and each selection means selects a predetermined communication means from among the plurality of communication means.

また、本発明のネットワーク装置において、前記選択手段は、前記状況判断手段により前記一の通信手段における通信状況が所定量以下の通信が発生していると判断された場合、当該一の通信手段を選択し、前記一の通信手段における通信状況が所定量より多くの通信が発生していると判断された場合、当該一の通信手段以外の通信手段を選択する制御を行うことが好ましい。   Further, in the network device of the present invention, when the selection unit determines that the communication state in the one communication unit is less than or equal to a predetermined amount by the state determination unit, the selection unit determines the one communication unit. When it is determined that the communication status of the one communication unit is greater than a predetermined amount, it is preferable to perform control to select a communication unit other than the one communication unit.

この発明によれば、一の通信手段における通信状況が所定量以下の通信が発生していると判断された場合、当該一の通信手段を選択し、一の通信手段における通信状況が所定量より多くの通信が発生していると判断された場合、当該一の通信手段以外の通信手段を選択することで、一の通信手段にその利用が集中することがなく、負荷を軽減することができる。   According to this invention, when it is determined that the communication status of one communication means is less than or equal to the predetermined amount, the one communication means is selected, and the communication status of the one communication means is greater than the predetermined amount. When it is determined that a lot of communication is occurring, by selecting a communication means other than the one communication means, the use is not concentrated on one communication means, and the load can be reduced. .

本発明は、複数の通信手段にその利用を分散させることができ、一の通信手段に対してその利用が集中することなく、通信効率を向上させることができる。   The present invention can distribute the use to a plurality of communication means, and can improve the communication efficiency without concentrating the use on one communication means.

本発明は、一実施形態のために示された添付図面を参照して以下の詳細な記述を考慮することによって容易に理解することができる。引き続いて、添付図面を参照しながら本発明の実施形態を説明する。可能な場合には、同一の部分には同一の符号を付して、重複する説明を省略する。   The present invention can be readily understood by considering the following detailed description with reference to the accompanying drawings shown for the embodiments. Subsequently, embodiments of the present invention will be described with reference to the accompanying drawings. Where possible, the same parts are denoted by the same reference numerals, and redundant description is omitted.

本発明の実施形態にかかる複数のNIC(ネットワークインタフェースカード)を用いたネットワーク装置である複数サービス提供システムについて図面を参照して説明する。   A multiple service providing system which is a network device using a plurality of NICs (network interface cards) according to an embodiment of the present invention will be described with reference to the drawings.

まず、本実施形態にかかる計算機上の複数サービス提供システムの構成について説明する。図1は、本実施形態にかかる複数サービス提供システムの構成図である。複数サービス提供システム100は、アプリケーション部101(アプリケーション101a〜101c:サービス手段)、仮想ネットワークインタフェース(NWI/F)部102(選択手段)、サービス・実ネットワークインタフェースカード(NIC)テーブル103(記憶手段)、実ネットワークインタフェースカード部104(実ネットワークインタフェースカード104a〜104c:通信手段)、仮想ネットワークインタフェース(NWI/F)制御部105、実ネットワークインタフェースカード(NIC)モニタ106(状況判断手段)、および実ネットワーク状況テーブル107を含んで構成されている。   First, the configuration of a multiple service providing system on a computer according to the present embodiment will be described. FIG. 1 is a configuration diagram of a multiple service providing system according to the present embodiment. The multiple service providing system 100 includes an application unit 101 (applications 101a to 101c: service unit), a virtual network interface (NWI / F) unit 102 (selection unit), and a service / real network interface card (NIC) table 103 (storage unit). , Real network interface card unit 104 (real network interface cards 104a to 104c: communication means), virtual network interface (NWI / F) control unit 105, real network interface card (NIC) monitor 106 (situation judging means), and real network The situation table 107 is included.

図2は、複数サービス提供システム100のハードウエア構成図である。図1に示される複数サービス提供システム100は、物理的には、図2に示すように、CPU11、主記憶装置であるRAM12及びROM13、入力デバイスであるキーボード及びマウス等の入力装置14、ディスプレイ等の出力装置15、ネットワークカード等のデータ送受信デバイスである通信モジュール16、ハードディスク等の補助記憶装置17などを含むコンピュータシステムとして構成されている。図1において説明した各機能は、図2に示すCPU11、RAM12等のハードウエア上に所定のコンピュータソフトウェアを読み込ませることにより、CPU11の制御のもとで入力装置14、出力装置15、通信モジュール16を動作させるとともに、RAM12や補助記憶装置17におけるデータの読み出し及び書き込みを行うことで実現される。以下、図1に示す機能ブロックに基づいて、各機能ブロックを説明する。   FIG. 2 is a hardware configuration diagram of the multiple service providing system 100. As shown in FIG. 2, the multiple service providing system 100 shown in FIG. 1 physically includes a CPU 11, a RAM 12 and a ROM 13 as main storage devices, an input device 14 such as a keyboard and a mouse as input devices, a display, and the like. Output device 15, a communication module 16 which is a data transmission / reception device such as a network card, an auxiliary storage device 17 such as a hard disk, and the like. Each function described in FIG. 1 has the input device 14, the output device 15, and the communication module 16 under the control of the CPU 11 by reading predetermined computer software on the hardware such as the CPU 11 and the RAM 12 shown in FIG. This is realized by reading and writing data in the RAM 12 and the auxiliary storage device 17. Hereinafter, each functional block will be described based on the functional blocks shown in FIG.

アプリケーション部101は、アプリケーション101a(Appli-1)、アプリケーション101b(Appli-2)、およびアプリケーション101c(Appli-3)を含んでおり、サービスを提供するためのサービス手段である。このアプリケーション部101は、例えばメールサーバとしてのサービスを提供するための機能、HTTP(HyperText Transfer Protocol)サーバとしてのサービスを提供するための機能を実現するためのものである。アプリケーション部101は、これらサービスを実現するために、所定宛先へのデータを生成し、実ネットワークインタフェースカード部104が所定の宛先にデータを送信するように、仮想ネットワークインタフェース部102にデータを出力する。   The application unit 101 includes an application 101a (Appli-1), an application 101b (Appli-2), and an application 101c (Appli-3), and is a service means for providing a service. The application unit 101 is for realizing, for example, a function for providing a service as a mail server and a function for providing a service as an HTTP (HyperText Transfer Protocol) server. In order to realize these services, the application unit 101 generates data for a predetermined destination, and outputs the data to the virtual network interface unit 102 so that the real network interface card unit 104 transmits the data to the predetermined destination. .

仮想ネットワークインタフェース(仮想NWI/F)部102は、アプリケーション部101と実ネットワークインタフェースカード部104との間で、データの受け渡しの制御を行い、アプリケーションに応じてどのネットワークインタフェースを使用するかを選択する部分であり、ドライバとしての機能を有する。この仮想ネットワークインタフェース部102は、アプリケーション部101の一のアプリケーション101n(nはa〜cのうち任意のもの)からデータを受け取り、サービス・実NICテーブル103に記憶されている情報に従って実ネットワークインタフェースカード部104から一の実ネットワークインタフェースカード104n(nはa〜cのうち任意のもの)、すなわち、実ネットワークインタフェースカード104a〜104cのいずれかを選択する部分である。   The virtual network interface (virtual NWI / F) unit 102 controls data transfer between the application unit 101 and the real network interface card unit 104, and selects which network interface is used according to the application. It has a function as a driver. The virtual network interface unit 102 receives data from one application 101 n (n is an arbitrary one of a to c) of the application unit 101, and is a real network interface card according to information stored in the service / real NIC table 103. The unit 104 selects one real network interface card 104n (n is an arbitrary one of a to c), that is, one of the real network interface cards 104a to 104c.

具体的には、仮想ネットワークインタフェース部102は、サービス・実NICテーブル103に記憶されている対応テーブルにしたがって一の実ネットワークインタフェースカード104nを指定し、その指定された実ネットワークインタフェースカード104nにおける利用可能帯域を判断することで、その実ネットワークインタフェースカード104nが利用可能であるか否か(所定の閾値以上か否か)を判断する。   Specifically, the virtual network interface unit 102 designates one real network interface card 104n according to the correspondence table stored in the service / real NIC table 103, and can be used in the designated real network interface card 104n. By determining the bandwidth, it is determined whether or not the actual network interface card 104n can be used (whether or not it is a predetermined threshold value or more).

ここでは、仮想ネットワークインタフェース部102は、利用可否をネットワークインタフェース(NIC)モニタ106に利用可能帯域の問合せを行う。仮想ネットワークインタフェース部102は、問合せに対する応答をNICモニタ106から受けて、利用可能である(閾値以上である)と判断する場合には、この指定された実ネットワークインタフェースカード104nを、通信に使用するインターフェースとして選択する。   Here, the virtual network interface unit 102 inquires of the available bandwidth to the network interface (NIC) monitor 106 about availability. When the virtual network interface unit 102 receives a response to the inquiry from the NIC monitor 106 and determines that it can be used (is equal to or greater than the threshold value), the virtual network interface unit 102 uses the designated real network interface card 104n for communication. Select as interface.

また、仮想ネットワークインタフェース部102は、ネットワークインタフェースカードモニタ106から上述の問合せに対する応答を受けて、利用不可である(閾値未満である)と判断した場合には、他の実ネットワークインタフェースカード104m(a〜cのうちいずれかのうち、nとは異なるもの)を使用させ、または他のアプリケーション101m(a〜cのうちいずれかのうち、nとは異なるもの)から一の実ネットワークインタフェースカード104nの使用要求があった場合には、これを拒絶させるよう制御する。これにより、使用帯域を確保することができる。   When the virtual network interface unit 102 receives a response to the above inquiry from the network interface card monitor 106 and determines that the virtual network interface unit 102 cannot be used (below the threshold), the virtual network interface unit 102m (a -C, which is different from n), or another application 101m (from any of a-c, which is different from n) to one real network interface card 104n If there is a use request, control is made so that it is rejected. Thereby, a use band can be ensured.

この処理を詳細に説明すると、仮想ネットワークインタフェース部102は、アプリケーション101nからのデータ送信要求を受け、指定された実ネットワークインタフェースカード104nの利用可能帯域が閾値未満であると判断する場合には、指定された実ネットワークインタフェースカード104nが他のアプリケーション101mからの送信要求を受けないように、実ネットワーク状況テーブル107における当該実ネットワークインタフェースに対応する他サービス利用可否欄を“0”に書き換える。   This process will be described in detail. When the virtual network interface unit 102 receives a data transmission request from the application 101n and determines that the usable bandwidth of the designated real network interface card 104n is less than the threshold, The other service use availability column corresponding to the real network interface in the real network status table 107 is rewritten to “0” so that the real network interface card 104n thus received does not receive a transmission request from another application 101m.

また、仮想ネットワークインタフェース部102は、利用可能帯域が閾値未満であると判断する場合には、他の実ネットワークインタフェースカード104mの存在の有無を判断する。例えば、仮想ネットワークインタフェース部102は、利用可能帯域が所定の閾値以下の実ネットワークインタフェースカード104mが存在するか否かを判断する。   Further, when the virtual network interface unit 102 determines that the available bandwidth is less than the threshold, the virtual network interface unit 102 determines whether there is another real network interface card 104m. For example, the virtual network interface unit 102 determines whether there is a real network interface card 104m whose available bandwidth is equal to or less than a predetermined threshold.

ここで他の実ネットワークインタフェースカード104mが存在しないのであれば、指定された実ネットワークインタフェースカード104nを選択する。存在するのであれば、他の実ネットワークインタフェースカード104mを選択する。他の実ネットワークインタフェースカード104mの選択の方法は、利用可能帯域が高いものを優先的に選択することが考えられる。なお、これ以外にも、一の実ネットワークインタフェースカード104n以外のものを任意に選択してもよいし、予め優先順位をつけておき、例えば、実ネットワークインタフェースカード104aを選択できなかった場合には、実ネットワークインタフェースカード104bを選択させるような優先順位を付けておいてもよい。   Here, if there is no other real network interface card 104m, the designated real network interface card 104n is selected. If it exists, another real network interface card 104m is selected. As another method of selecting the real network interface card 104m, it is conceivable to preferentially select one having a high available bandwidth. Other than this, a card other than one real network interface card 104n may be arbitrarily selected, or priorities are set in advance, for example, when the real network interface card 104a cannot be selected. Priority may be given so that the actual network interface card 104b is selected.

サービス・実NICテーブル103は、このアプリケーション部101における各アプリケーション101a〜101cがどの実ネットワークインタフェースカード104a〜104cを使用するかの対応関係を示す対応テーブルを記憶する部分である。例えば、図3に示すように、アプリケーション101a〜101cを特定する情報と、使用される実ネットワークインタフェースカード104a〜104cとを対応付けて記憶する。アプリケーションを特定する情報としては、TCPにおける送信ポート番号が挙げられるがこれに限定するものではない。な   The service / real NIC table 103 is a part that stores a correspondence table indicating a correspondence relationship of which real network interface cards 104a to 104c are used by the applications 101a to 101c in the application unit 101. For example, as shown in FIG. 3, information for specifying the applications 101a to 101c and the actual network interface cards 104a to 104c to be used are stored in association with each other. The information for specifying the application includes, but is not limited to, a transmission port number in TCP. Na

実ネットワークインタフェースカード部104は、複数の実ネットワークインタフェースカード104a〜104cを有する部分であって、外部装置と通信するための通信部である。この実ネットワークインタフェースカード部104は、仮想ネットワークインタフェース部102から出力された送信データを指定された宛先に送信し、また受信する部分である。   The real network interface card unit 104 includes a plurality of real network interface cards 104a to 104c and is a communication unit for communicating with an external device. The real network interface card unit 104 is a part that transmits and receives transmission data output from the virtual network interface unit 102 to a designated destination.

仮想NWI/F制御部105は、オペレータ操作により事前にどのアプリケーション101a〜101cがどの実ネットワークインタフェースカード104a〜104cを使用するかを、サービス・実NICテーブル103に登録を行う。また、仮想ネットワークインタフェース制御部105は、事前に各実ネットワークインタフェースカード104a〜104cの利用可能帯域の閾値を、実ネットワーク状況テーブル107に登録する。   The virtual NWI / F control unit 105 registers in the service / real NIC table 103 which application 101a to 101c uses which real network interface card 104a to 104c in advance by an operator operation. In addition, the virtual network interface control unit 105 registers the available bandwidth threshold value of each of the real network interface cards 104a to 104c in the real network status table 107 in advance.

ネットワークインタフェースカード(NIC)モニタ106は、実ネットワーク状況テーブル107と接続し、通信状況を監視する部分である。このネットワークインタフェースカードモニタ106は、一定周期ごとに各実ネットワークインタフェースカード104a〜104cの利用率(利用可能帯域)を取得し、実ネットワーク状況テーブル107を更新する。   A network interface card (NIC) monitor 106 is a part that connects to the actual network status table 107 and monitors the communication status. The network interface card monitor 106 acquires the utilization rate (usable bandwidth) of each real network interface card 104a to 104c at regular intervals, and updates the real network status table 107.

そして、仮想ネットワークインタフェース部102が一のアプリケーション101nの利用要求を受け、その後、ネットワークインタフェースカードモニタ106は、その仮想ネットワークインタフェース部102から実ネットワークインタフェースカード104nの利用可能帯域および他サービス利用可否の問合せを受けると、実ネットワーク状況テーブル107の他サービス利用可否欄を参照し、利用可能帯域および閾値、ならびに他サービス利用可否を応答する。すなわち、ネットワークインタフェースカードモニタ106は、現在の利用可能帯域、閾値、および他サービス利用可否の情報を、仮想ネットワークインタフェース部102に出力する。そして、仮想ネットワークインタフェース部102は、利用可能帯域が閾値未満であって、他サービス利用可否欄に“1”が記述されていると判断する場合には、他サービスにおける当該実ネットワークインタフェースカード104nの一時的な利用を許可し、他サービス利用可否欄に“0”が記述されていると判断する場合には、他サービスにおける当該実ネットワークインタフェースカード104nの利用を拒絶する処理を実行する。   Then, the virtual network interface unit 102 receives a use request for one application 101n, and then the network interface card monitor 106 inquires from the virtual network interface unit 102 about the available bandwidth of the real network interface card 104n and the availability of other services. In response to this, it refers to the other service availability column in the actual network status table 107, and responds with the available bandwidth and threshold and availability of other services. That is, the network interface card monitor 106 outputs the current usable bandwidth, threshold value, and other service availability information to the virtual network interface unit 102. When the virtual network interface unit 102 determines that the available bandwidth is less than the threshold and “1” is described in the other service availability column, the virtual network interface unit 102n of the actual network interface card 104n in the other service If the temporary use is permitted and it is determined that “0” is described in the other service use availability column, a process of rejecting the use of the real network interface card 104n in the other service is executed.

実ネットワーク状況テーブル107には、実ネットワークインタフェースカードごとに、他のアプリケーションの利用可否、現状の利用可能帯域、閾値が対応付けられた状況テーブルが記憶されている。具体的には、図4に示す状況テーブルが記憶されている。図4では、NIC−1(実ネットワークインタフェースカード104a)は、他サービス利用不可を示す“0”、現状の利用可能帯域は50MBps、閾値100MBpsが記述されている。この他サービス利用可否は、ネットワークインタフェースカードモニタ106により書き換えられるものである。なお、他サービス利用可能は、“1”が記述されており、通常“1”がデフォルトで記述されていることが好ましい。また、利用可能帯域は定期的に更新されるものであり、実ネットワークインタフェースカードにおける使用状況に応じて更新される。   The real network status table 107 stores a status table in which the availability of other applications, the current available bandwidth, and the threshold are associated with each real network interface card. Specifically, the situation table shown in FIG. 4 is stored. In FIG. 4, NIC-1 (real network interface card 104a) describes “0” indicating that other services cannot be used, the current available bandwidth is 50 MBps, and the threshold is 100 MBps. The availability of other services can be rewritten by the network interface card monitor 106. It should be noted that “1” is described as the availability of other services, and it is preferable that “1” is normally described as a default. In addition, the available bandwidth is periodically updated, and is updated according to the usage status in the actual network interface card.

このように構成された複数サービス提供システム100の動作について説明する。図5は、複数サービス提供システム100の動作を示すフローチャートである。   The operation of the multiple service providing system 100 configured as described above will be described. FIG. 5 is a flowchart showing the operation of the multiple service providing system 100.

まず、サービスを提供するためのアプリケーション101nから送信データが、仮想ネットワークインタフェース部102により受け取られる(S101)。そして、仮想ネットワークインタフェース部102により、サービス・実NICテーブル103に基づいて、サービスに対応する実ネットワークインタフェースカード104nが検索され、一の実ネットワークインタフェースカード104nが指定される(S102)。   First, transmission data is received by the virtual network interface unit 102 from the application 101n for providing a service (S101). Then, the virtual network interface unit 102 searches the real network interface card 104n corresponding to the service based on the service / real NIC table 103, and designates one real network interface card 104n (S102).

つぎに、仮想ネットワークインタフェース部102により、指定された実ネットワークインタフェースカード104nの利用可能帯域が閾値以上であるか否かが、ネットワークインタフェースカードモニタ106に問い合わせることにより判断される(S103)。ここで、仮想ネットワークインタフェース部102により、閾値以上であると判断されると、指定した実ネットワークインタフェースカード104nが選択され、送信データはアプリケーション101nから実ネットワークインタフェースカード104nを経由してアプリケーション101nで指定された宛先に送信される(S104)。   Next, the virtual network interface unit 102 determines whether or not the usable bandwidth of the designated real network interface card 104n is equal to or larger than the threshold value by inquiring the network interface card monitor 106 (S103). If the virtual network interface unit 102 determines that the threshold value is equal to or greater than the threshold, the designated real network interface card 104n is selected, and transmission data is designated by the application 101n from the application 101n via the real network interface card 104n. Is transmitted to the destination (S104).

閾値未満であると仮想ネットワークインタフェース部102により判断されると、他のサービスがその実ネットワークインタフェースカード104nを利用可能か否かが判断される(S105)。ここで、他のサービスにおいて利用可能であると仮想ネットワークインタフェース部102により判断されると、指定された実ネットワークインタフェースカード104nを他のサービスが利用不可とするように、ネットワークインタフェースカードモニタ106により、実ネットワーク状況テーブル107における他サービス利用可否欄は“0”に書き換えられる(S106)。そして、指定された実ネットワークインタフェースカード104nから送信データは送信される(S107)。   If the virtual network interface unit 102 determines that the value is less than the threshold, it is determined whether or not another service can use the real network interface card 104n (S105). Here, if the virtual network interface unit 102 determines that it can be used in another service, the network interface card monitor 106 makes the specified real network interface card 104n unavailable to other services. The other service availability column in the actual network status table 107 is rewritten to “0” (S106). Then, the transmission data is transmitted from the designated real network interface card 104n (S107).

S105において、他のサービスが利用可能ではないと、仮想ネットワークインタフェース部102により判断されると(S105:NO)、他に利用可能帯域が閾値以上の実ネットワークインタフェースカード104mがあるか否かが判断される(S108)。ここで、閾値以上の実ネットワークインタフェースカード104mがあると判断されると、仮想ネットワークインタフェース部102により、当該実ネットワークインタフェースカード104mが選択され、送信データが送信される(S109)。また、閾値以上の実ネットワークインタフェースカード104mがないと判断されると、S102において指定された実ネットワークインタフェースカード104nにより送信データが送信される(S107)。   If the virtual network interface unit 102 determines that no other service is available in S105 (S105: NO), it is determined whether there is another real network interface card 104m whose available bandwidth is equal to or greater than the threshold. (S108). If it is determined that there is a real network interface card 104m that is equal to or greater than the threshold, the virtual network interface unit 102 selects the real network interface card 104m and transmits transmission data (S109). If it is determined that there is no real network interface card 104m equal to or greater than the threshold, transmission data is transmitted by the real network interface card 104n designated in S102 (S107).

このようにして、仮想ネットワークインタフェース部102が、利用状況に基づいて使用される実ネットワークインタフェースカード部104から一のネットワークインタフェースを選択することにより、一のネットワークインタフェースにその使用が集中することなく、効率のよい通信を実現することができる。   In this way, the virtual network interface unit 102 selects one network interface from the actual network interface card unit 104 used based on the usage status, so that the use is not concentrated on one network interface. Efficient communication can be realized.

つぎに、本実施形態の変形例の複数サービス提供システム100aについて説明する。図6は、変形例における複数サービス提供システム100aの構成を示す。この複数サービス提供システム100aは、アプリケーション部101(アプリケーション101a〜101d)、仮想ネットワークインタフェース部102aおよび102b、サービス・実ネットワークインタフェース(NIC)テーブル103、実ネットワークインタフェースカード部104(実ネットワークインタフェースカード104a〜104d)、仮想ネットワークインタフェース(NWI/F)制御部105、ネットワークインタフェース(NIC)モニタ106、および実ネットワーク状況テーブル107を含んで構成されている。この複数サービス提供システム100aは、複数サービス提供システム100と同様に図2に示されるハードウエアにより構成される。   Next, a multiple service providing system 100a according to a modification of the present embodiment will be described. FIG. 6 shows a configuration of a multiple service providing system 100a in the modified example. The multiple service providing system 100a includes an application unit 101 (applications 101a to 101d), virtual network interface units 102a and 102b, a service / real network interface (NIC) table 103, a real network interface card unit 104 (real network interface cards 104a to 104a). 104d), a virtual network interface (NWI / F) control unit 105, a network interface (NIC) monitor 106, and an actual network status table 107. The multi-service providing system 100a is configured by the hardware shown in FIG.

以下、各構成について説明する。なお、複数サービス提供システム100とは、アプリケーション101dおよび実ネットワークインタフェースカード104dが追加され、仮想ネットワークインタフェース部102に代えて仮想ネットワークインタフェース部102aおよび102bが備えられている点で相違している。ここでは相違している点について説明する。   Each configuration will be described below. The multiple service providing system 100 is different from the multiple service providing system 100 in that an application 101d and a real network interface card 104d are added and virtual network interface units 102a and 102b are provided instead of the virtual network interface unit 102. Here, differences will be described.

アプリケーション101a〜101dは、IPアドレスなどの送信元情報もしくは宛先情報を用いて指定することで、どの仮想ネットワークインタフェース部102aまたは102bに接続するかを指示することができる。アプリケーション101a〜101bでは、指示した仮想ネットワークインタフェース部102aまたは102bに対して送信データを出力する。   The applications 101a to 101d can instruct which virtual network interface unit 102a or 102b is to be connected to by specifying using source information or destination information such as an IP address. The applications 101a to 101b output transmission data to the designated virtual network interface unit 102a or 102b.

仮想ネットワークインタフェース部102aは、実ネットワークインタフェースカード104aおよび104bの通信制御を行う部分である。また、仮想ネットワークインタフェース部102bは、実ネットワークインタフェースカード104cおよび104dの通信制御を行う部分である。仮想ネットワークインタフェース部102aは、アプリケーション101aおよび101bから送信データを受け取り、サービス・実NICテーブル103に記述されている対応テーブルにしたがって、実ネットワークインタフェースカード104aまたは104bのうちの一のネットワークインタフェースを選択する。また、同様に、仮想ネットワークインタフェース部102bは、アプリケーション101cおよび101dから送信データを受け取り、サービス・実NICテーブル103に記述されている対応テーブルにしたがって、実ネットワークインタフェースカード104cまたは104dのうちの一のネットワークインタフェースを選択する。   The virtual network interface unit 102a is a part that performs communication control of the real network interface cards 104a and 104b. The virtual network interface unit 102b is a part that performs communication control of the real network interface cards 104c and 104d. The virtual network interface unit 102 a receives transmission data from the applications 101 a and 101 b and selects one network interface of the real network interface cards 104 a or 104 b according to the correspondence table described in the service / real NIC table 103. . Similarly, the virtual network interface unit 102b receives transmission data from the applications 101c and 101d, and according to the correspondence table described in the service / real NIC table 103, one of the real network interface cards 104c or 104d. Select a network interface.

このように、変形例においては、仮想ネットワークインタフェース部102aおよび102bを複数備えるように構成してもよい。この場合、サービス・実NICテーブル103においては、仮想ネットワークインタフェース部102aおよび102bごとに、アプリケーションとネットワークインタフェースとを対応付けて記憶する必要がある。   Thus, in a modification, you may comprise so that multiple virtual network interface parts 102a and 102b may be provided. In this case, in the service / real NIC table 103, it is necessary to store an application and a network interface in association with each other for each of the virtual network interface units 102a and 102b.

そのほかの、仮想ネットワークインタフェース部102aおよび102bにおいては、その詳細な処理は、仮想ネットワークインタフェース部102と同様であり、複数サービス提供システム100aは、図5に示される動作処理を実行することができる。また、当然ながら、ネットワークインタフェースカードモニタ106および実ネットワーク状況テーブル107は、実ネットワークインタフェースカード104dを含んだ情報を記憶し、そして扱うよう処理する。   In other virtual network interface units 102a and 102b, the detailed processing is the same as that of the virtual network interface unit 102, and the multiple service providing system 100a can execute the operation processing shown in FIG. Naturally, the network interface card monitor 106 and the real network status table 107 store and process information including the real network interface card 104d.

つぎに、本実施形態の複数サービス提供システム100の作用効果について説明する。本実施形態における複数サービス提供システム100は、複数のサービス手段であるアプリケーション101a〜101cのうち一のアプリケーション101n(a〜cのうちのいずれか)から通信要求を受けると、サービス・実NICテーブル103に記憶されている対応テーブルおよび個々の実ネットワークインタフェースカード104a〜104cにおける通信状況に基づいて、一のアプリケーション101nに対応する実ネットワークインタフェースカード104nを選択し、選択された一の実ネットワークインタフェースカード104nが、一のアプリケーション101nにより提供された通信データの通信を実行する。これにより、実ネットワークインタフェースカード104a〜104cにおいてにその利用を分散させることができ、一の実ネットワークインタフェースカードに対してその利用が集中することなく、通信効率を向上させることができる。   Next, operational effects of the multiple service providing system 100 of the present embodiment will be described. Upon receiving a communication request from one application 101n (any of a to c) among the applications 101a to 101c, which are a plurality of service means, the multiple service providing system 100 according to the present embodiment receives the service / real NIC table 103. The real network interface card 104n corresponding to one application 101n is selected based on the correspondence table stored in the table and the communication status of each real network interface card 104a to 104c, and the selected real network interface card 104n is selected. Performs communication of communication data provided by one application 101n. Thereby, the use can be distributed among the real network interface cards 104a to 104c, and the communication efficiency can be improved without concentrating the use on one real network interface card.

特に、先行技術として記載しているIEEE802.3adとの差異として、IEEE802.3adは装置(PC)とスイッチ(もしくはルータ)の2者が連携して、IEEE802.3adの機能が提供されるものであるのに対して、本発明においては複数サービス提供システム内で完結するシステムであり、スイッチ(もしくはルータ)との連携が必要がなく、その構成を簡易なものとすることができる。   In particular, as a difference from IEEE 802.3ad described as the prior art, IEEE 802.3ad is a device (PC) and switch (or router) that cooperate with each other to provide the functions of IEEE 802.3ad. On the other hand, the present invention is a system that is completed within a multiple service providing system, and does not require cooperation with a switch (or router), and the configuration can be simplified.

また、この変形例として、複数サービス提供システム100aとして構成することができる。これによれば、複数の選択手段として、仮想ネットワークインタフェース部102aおよび102bを備え、各仮想ネットワークインタフェース部102aは、ネットワークインタフェースカード104aまたは104bを選択し、各仮想ネットワークインタフェース部102bは、ネットワークインタフェースカード104cまたは104dを選択する。   Moreover, as this modification, it can comprise as the multiple service provision system 100a. According to this, the virtual network interface units 102a and 102b are provided as a plurality of selection means, each virtual network interface unit 102a selects the network interface card 104a or 104b, and each virtual network interface unit 102b is a network interface card. Select 104c or 104d.

また、本実施形態の複数サービス提供システム100においては、ネットワークインタフェースカードモニタ106により、一のネットワークインタフェースカード104nにおける通信状況が所定量以下の通信が発生していると判断された場合、すなわち利用可能帯域が閾値以上である場合、当該一のネットワークインタフェースカード104nを選択し、一のネットワークインタフェースカード104nにおける通信状況が所定量より多くの通信が発生していると判断された場合、すなわち利用可能帯域が閾値未満である場合、当該一のネットワークインタフェースカード104n以外のネットワークインタフェースカード104mを選択することで、一のネットワークインタフェースカード104mにその利用が集中することがなく、負荷を軽減することができる。   In the multiple service providing system 100 according to the present embodiment, when the network interface card monitor 106 determines that the communication status of one network interface card 104n is less than a predetermined amount, that is, it can be used. When the bandwidth is equal to or greater than the threshold, when the one network interface card 104n is selected and it is determined that the communication status in the one network interface card 104n is more than a predetermined amount, that is, the available bandwidth Is less than the threshold, by selecting a network interface card 104m other than the one network interface card 104n, its use is not concentrated on one network interface card 104m. It is possible to reduce the load.

また、本実施形態の複数サービス提供システム100において、仮想ネットワークインタフェース部102は、一のネットワークインタフェースカード104nが一のアプリケーション101n以外の他のアプリケーション101m(nではない、a〜cのいずれかのもの)により利用可能であるか否かを判断し、利用可能であると判断する場合であって、一のネットワークインタフェースカード104nが一のアプリケーション101nにより利用されている場合には、他のアプリケーション101mにより一のネットワークインタフェースカード104nが利用されないように選択制御を行うことで、一のネットワークインタフェースカード104nにおける利用帯域を確保することができ、一のネットワークインタフェースカード104nにおける負荷を軽減し、通信効率を向上させることができる。   In the multiple service providing system 100 according to the present embodiment, the virtual network interface unit 102 is configured such that one network interface card 104n is an application 101m other than the one application 101n (any one of ac, not n). ) To determine whether it can be used. If one network interface card 104n is used by one application 101n, it is determined by another application 101m. By performing selection control so that one network interface card 104n is not used, the bandwidth used in one network interface card 104n can be secured, and one network interface card 10 Reduce the load in the n, it is possible to improve the communication efficiency.

なお、複数サービス提供システム100aにおいても、上述の作用効果を得ることができる。   Note that the above-described effects can also be obtained in the multiple service providing system 100a.

本実施形態にかかる複数サービス提供システムの構成図である。It is a block diagram of the multiple service provision system concerning this embodiment. 複数サービス提供システム100のハードウエア構成図である。2 is a hardware configuration diagram of a multiple service providing system 100. FIG. サービス・実NICテーブル103に記憶されている対応テーブルを示す説明図である。6 is an explanatory diagram showing a correspondence table stored in a service / real NIC table 103. FIG. 実ネットワーク状況テーブル107に記憶されている状況テーブルを示す説明図である。It is explanatory drawing which shows the status table memorize | stored in the real network status table. 複数サービス提供システム100の動作を示すフローチャートである。5 is a flowchart showing the operation of the multiple service providing system 100. 変形例における複数サービス提供システム100aの構成図である。It is a block diagram of the multiple service provision system 100a in a modification.

符号の説明Explanation of symbols

100…複数サービス提供システム、100a…複数サービス提供システム、101…アプリケーション部、102…仮想ネットワークインタフェース部、102a…仮想ネットワークインタフェース部、102b…仮想ネットワークインタフェース部、103…サービス・実NICテーブル、104…実ネットワークインタフェースカード部、105…仮想ネットワークインタフェース制御部、106…ネットワークインタフェースカードモニタ、107…実ネットワーク状況テーブル。 DESCRIPTION OF SYMBOLS 100 ... Multiple service provision system, 100a ... Multiple service provision system, 101 ... Application part, 102 ... Virtual network interface part, 102a ... Virtual network interface part, 102b ... Virtual network interface part, 103 ... Service and real NIC table, 104 ... Real network interface card unit 105... Virtual network interface control unit 106... Network interface card monitor 107.

Claims (3)

通信データを生成する複数のサービス手段と、
前記サービス手段により生成された通信データの通信を実行する複数の通信手段と、
前記複数のサービス手段と前記複数の通信手段とを対応付けた対応テーブルを記憶する記憶手段と、
前記複数の通信手段のそれぞれの通信状況を判断する状況判断手段と、
前記複数のサービス手段のうち一のサービス手段から通信要求を受けると、前記記憶手段に記憶されている対応テーブルおよび前記状況判断手段により判断された通信状況に基づいて、前記一のサービス手段に対応する一の通信手段を選択する選択手段と、を備え、
前記選択手段により選択された一の通信手段が、前記一のサービス手段により提供された通信データの通信を実行し、
前記選択手段は、前記一の通信手段が前記一のサービス手段以外の他のサービス手段により利用可能であるか否かを判断し、利用可能であると判断する場合であって、前記一の通信手段が一のサービス手段により利用されている場合には、前記他のサービス手段により前記一の通信手段が利用されないように選択制御を行うことを特徴とするネットワーク装置。
A plurality of service means for generating communication data;
A plurality of communication means for executing communication of communication data generated by the service means;
Storage means for storing a correspondence table in which the plurality of service means and the plurality of communication means are associated with each other;
Status determination means for determining the communication status of each of the plurality of communication means;
When a communication request is received from one service means among the plurality of service means, it corresponds to the one service means based on the correspondence table stored in the storage means and the communication status determined by the status determination means. Selecting means for selecting one communication means to perform,
The one communication means selected by the selection means executes communication of communication data provided by the one service means ,
The selecting means determines whether or not the one communication means can be used by other service means other than the one service means, and determines that the one communication means can be used. When the means is used by one service means, selection control is performed so that the other communication means does not use the one communication means .
前記選択手段は、複数備えられ、
前記各選択手段は、前記複数の通信手段のうち予め定められた通信手段を選択対象とすることを特徴とする請求項1に記載のネットワーク装置。
A plurality of the selection means are provided,
2. The network device according to claim 1, wherein each of the selection units selects a predetermined communication unit from among the plurality of communication units.
前記選択手段は、前記状況判断手段により前記一の通信手段における通信状況が所定量以下の通信が発生していると判断された場合、当該一の通信手段を選択し、
前記一の通信手段における通信状況が所定量より多くの通信が発生していると判断された場合、当該一の通信手段以外の通信手段を選択する制御を行うことを特徴とする請求項1または2に記載のネットワーク装置。
The selecting means selects the one communication means when it is determined by the situation determining means that the communication status of the one communication means is less than or equal to a predetermined amount.
The control for selecting a communication unit other than the one communication unit is performed when it is determined that the communication status of the one communication unit is greater than a predetermined amount. 3. The network device according to 2.
JP2007217509A 2007-08-23 2007-08-23 Network equipment Active JP4802159B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007217509A JP4802159B2 (en) 2007-08-23 2007-08-23 Network equipment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007217509A JP4802159B2 (en) 2007-08-23 2007-08-23 Network equipment

Publications (2)

Publication Number Publication Date
JP2009055130A JP2009055130A (en) 2009-03-12
JP4802159B2 true JP4802159B2 (en) 2011-10-26

Family

ID=40505830

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007217509A Active JP4802159B2 (en) 2007-08-23 2007-08-23 Network equipment

Country Status (1)

Country Link
JP (1) JP4802159B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105450887A (en) * 2014-09-24 2016-03-30 富士施乐株式会社 Image forming apparatus, and processing method

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5669647B2 (en) * 2011-03-30 2015-02-12 アズビル株式会社 Priority control method and communication system using multiple communication ports

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07283870A (en) * 1994-04-07 1995-10-27 Toshiba Corp Exchange
JP2002171299A (en) * 2000-12-04 2002-06-14 Hitachi Ltd Device and system for information communication
JP2005072759A (en) * 2003-08-21 2005-03-17 Sony Corp Transmission device and method therefor, reception device and method therefor, communication device and method therefor, and program
JP2005244525A (en) * 2004-02-25 2005-09-08 Fujitsu Ltd Communication system
JP2006050515A (en) * 2004-06-30 2006-02-16 Ntt Docomo Inc Mobile node, and its control method and program
JP4657305B2 (en) * 2005-12-08 2011-03-23 シャープ株式会社 Communication system and communication terminal
US8572288B2 (en) * 2005-12-15 2013-10-29 Nvidia Corporation Single logical network interface for advanced load balancing and fail-over functionality

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105450887A (en) * 2014-09-24 2016-03-30 富士施乐株式会社 Image forming apparatus, and processing method

Also Published As

Publication number Publication date
JP2009055130A (en) 2009-03-12

Similar Documents

Publication Publication Date Title
US7693050B2 (en) Stateless, affinity-preserving load balancing
US6987763B2 (en) Load balancing
JP5958164B2 (en) Control apparatus, method and program, system, and information processing method
US7039671B2 (en) Dynamically routing messages between software application programs using named routing nodes and named message queues
US7353276B2 (en) Bi-directional affinity
JP5949444B2 (en) Network management apparatus and method
KR20010088742A (en) Parallel Information Delievery Method Based on Peer-to-Peer Enabled Distributed Computing Technology
WO2010019629A2 (en) Distributed load balancer
EP3306873B1 (en) Routing method, and relevant device and system
JP2008077428A (en) Load distribution apparatus, load distribution method and load distribution program
CN102365846A (en) Route setting server, route setting method, and route setting program
US20040003099A1 (en) Bi-directional affinity within a load-balancing multi-node network interface
CN103067295A (en) Method and device and system for service transmission
US6473431B1 (en) System and method facilitating determination by router nodes in a network of ranges of addresses for which each router node is responsible
EP2924925A1 (en) Communication system, virtual-network management device, communication node, and communication method and program
JP4802159B2 (en) Network equipment
JP2005182702A (en) Access control system in ip network
JP6888478B2 (en) Sorting system
JP2002247087A (en) Ip network load distributing method, ip network, ip routing device and route server
CN114024968A (en) Message sending method and device based on intermediate equipment and electronic equipment
JP5508472B2 (en) Information processing apparatus, communication system, and communication method
JP4741410B2 (en) Mobile communication system, exchange, base station apparatus, and downlink communication data transmission method
JP2002342193A (en) Method, device and program for selecting data transfer destination server and storage medium with data transfer destination server selection program stored therein
US20230119073A1 (en) Communication apparatus, receiving side communication apparatus, communication method and program
JP2012128698A (en) Load distribution blade system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100222

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110407

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110517

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110711

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110802

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110808

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140812

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4802159

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250