JP6204256B2 - Distributed processing system, distributed data management apparatus, and distributed data management method - Google Patents

Distributed processing system, distributed data management apparatus, and distributed data management method Download PDF

Info

Publication number
JP6204256B2
JP6204256B2 JP2014089276A JP2014089276A JP6204256B2 JP 6204256 B2 JP6204256 B2 JP 6204256B2 JP 2014089276 A JP2014089276 A JP 2014089276A JP 2014089276 A JP2014089276 A JP 2014089276A JP 6204256 B2 JP6204256 B2 JP 6204256B2
Authority
JP
Japan
Prior art keywords
data management
distributed data
server
child device
identifier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014089276A
Other languages
Japanese (ja)
Other versions
JP2015207256A (en
Inventor
雄大 北野
雄大 北野
義文 樫本
義文 樫本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2014089276A priority Critical patent/JP6204256B2/en
Publication of JP2015207256A publication Critical patent/JP2015207256A/en
Application granted granted Critical
Publication of JP6204256B2 publication Critical patent/JP6204256B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Description

本発明は、ネットワーク上に分散配置されるサーバをクラスタ化してデータを格納する、分散処理システム、分散データ管理装置および分散データ管理方法に関する。   The present invention relates to a distributed processing system, a distributed data management apparatus, and a distributed data management method for storing data by clustering servers distributed on a network.

コンシステントハッシュ法を用いて、処理の分散化を行う技術として、特許文献１に記載の分散処理システムがある。この分散処理システムでは、コンシステントハッシュ法を利用して、仮想ハッシュ空間上に処理サーバを割り当て、データ（要求信号）を識別するキーに基づき、仮想ハッシュ空間上の値を算出し、算出した仮想ハッシュ空間上の値から処理サーバを決定することにより、分散処理を実現している。さらに、分散処理システムでは、例えば、仮想ハッシュ空間上において隣接する別の処理サーバに、そのデータ（要求信号）に関する処理結果（原本データ）を複製して複製データとして記憶させる。このようにすることにより、ある処置サーバが障害等によりシステムから離脱しても、複製データを記憶する別の処理サーバが処理を継続することができる。   As a technique for performing processing decentralization using the consistent hash method, there is a distributed processing system described in Patent Document 1. In this distributed processing system, by using a consistent hash method, a processing server is allocated on the virtual hash space, and a value on the virtual hash space is calculated based on a key for identifying data (request signal). Distributed processing is realized by determining a processing server from a value in a hash space. Further, in the distributed processing system, for example, a processing result (original data) relating to the data (request signal) is duplicated and stored as duplicate data in another processing server adjacent in the virtual hash space. In this way, even if a certain treatment server leaves the system due to a failure or the like, another processing server that stores the replicated data can continue the processing.

この分散処理システムでは、処理サーバリソースをリソースプールから融通可能であり、複数のアプリケーションやサービスを一つの分散処理システムにデプロイし管理することができる。また、分散処理システムによりアプリケーションやサービスを実現することで、処理サーバの負荷分散と耐障害性とを兼ね備えることができる。   In this distributed processing system, processing server resources can be accommodated from the resource pool, and a plurality of applications and services can be deployed and managed in one distributed processing system. In addition, by realizing applications and services by the distributed processing system, it is possible to have both load distribution and fault tolerance of the processing server.

特開２０１１−０９５９７６号公報JP 2011-095976 A

しかしながら、アプリケーションやサービスの特性によっては、分散処理システムを構成する各処理サーバのうちの特定の処理サーバと、各処理サーバの配下に位置する特定の子装置とにおいて、関連付けが必要な場合がある。その場合、サービスを要求する端末の収容位置に基づき（つまり、端末を収容する子装置毎に）、処理サーバを決定する必要があり、従来の分散処理システム上において、そのようにアプリケーションやサービスをデプロイすることが困難であった。   However, depending on the characteristics of the application or service, association may be necessary between a specific processing server among the processing servers constituting the distributed processing system and a specific child device located under each processing server. . In that case, it is necessary to determine the processing server based on the accommodation position of the terminal requesting the service (that is, for each child device that accommodates the terminal). It was difficult to deploy.

このような背景に鑑みて本発明がなされたのであり、本発明は、分散処理システムにおいて、端末の収容位置に基づき処理サーバを決定し、収容分散が必要なアプリケーションやサービスのデプロイを可能とする、分散処理システム、分散データ管理装置および分散データ管理方法を提供することを課題とする。なお、ここで「収容分散」とは、具体的には、端末を収容する子装置毎に、分散処理システムを構成する各処理サーバの中から、その子装置が収容する端末からの要求信号を処理する処理サーバを対応付けて、分散処理することを意味する。   The present invention has been made in view of such a background. In the distributed processing system, the present invention makes it possible to determine a processing server based on the terminal's accommodation position and to deploy applications and services that require accommodation / distribution. It is an object to provide a distributed processing system, a distributed data management device, and a distributed data management method. Note that “accommodation / distribution” here means that, for each slave device that accommodates a terminal, a request signal from the terminal accommodated by the slave device is processed from each processing server constituting the distributed processing system. This means that distributed processing is performed by associating processing servers.

前記した課題を解決するため、本発明は、複数の端末を収容する子装置それぞれと、前記端末が送信した要求信号を、前記子装置を介して受信して信号処理する複数の分散データ管理装置とを備える分散処理システムであって、前記分散データ管理装置が、前記端末の識別子と前記子装置の識別子とを対応付ける端末・子装置対応情報、および、前記子装置の識別子と前記分散データ管理装置の識別子とを対応付ける子装置・サーバ対応情報を記憶する記憶部と、前記子装置を介して前記端末が送信した要求信号を受信した場合に、前記端末・子装置対応情報を参照し、前記要求信号を送信した端末を収容する前記子装置を特定し、前記特定した子装置に基づき、前記子装置・サーバ対応情報を参照し、当該要求信号の信号処理を担当する前記分散データ管理装置を決定し、前記決定した分散データ管理装置が他の分散データ管理装置であるならば、前記決定した他の分散データ管理装置に前記要求信号を送信する振り分け処理部と、他の前記分散データ管理装置から前記要求信号を受信し、前記子装置の状態を示す子装置情報に基づき前記要求信号の信号処理を実行し、前記信号処理の処理結果を原本データとして生成するとともに、実行した当該信号処理に応じて前記子装置情報を更新する信号処理部と、生成した前記原本データの複製である複製データと、更新した前記子装置情報の複製とを、予め設定された複製先決定ロジックに基づき決定した自身以外の分散データ管理装置に送信して記憶させるデータ管理部と、を備えることを特徴とする。 In order to solve the above-described problems, the present invention provides a plurality of distributed data management apparatuses that receive and process request signals transmitted by the terminals via the slave apparatuses, respectively, and slave apparatuses that accommodate a plurality of terminals. A terminal-child device correspondence information in which the distributed data management device associates the identifier of the terminal with the identifier of the child device, and the identifier of the child device and the distributed data management device. When the request signal transmitted from the terminal via the slave device is received, the storage unit that associates the identifier of the slave device / server with reference to the terminal / slave device correspondence information and receiving the request identify the child device that accommodates the terminal transmitting the signal, based on said identified child device, refer to the child device server correspondence information, before you responsible for signal processing of the request signal The distributed data management system to determine, if said determined distributed data management system is another distributed data management device, and a distribution processing unit that transmits the request signal to other distributed data management apparatus the determined other Receiving the request signal from the distributed data management device, and performing signal processing of the request signal based on child device information indicating a state of the child device, generating a processing result of the signal processing as original data, A signal processing unit that updates the child device information according to the signal processing that has been executed, copy data that is a copy of the generated original data, and a copy of the updated child device information that has been set in advance A data management unit that transmits the data to a distributed data management device other than itself determined based on the determination logic and stores the data.

このようにすることにより、分散処理システムにおいて、端末の収容位置に基づき（子装置毎に）分散データ管理装置（処理サーバ）を決定し、収容分散が必要なアプリケーションやサービスのデプロイを可能とすることができる。また、原本データを記憶する分散データ管理装置が故障等により離脱しても、複製データを記憶する他の分散データ管理装置（複製サーバ）に記憶された子装置情報（複製）を利用することにより、サービスを継続することができる。   In this way, in the distributed processing system, a distributed data management device (processing server) is determined (for each child device) based on the accommodation position of the terminal, and it becomes possible to deploy applications and services that require accommodation distribution. be able to. Further, even if the distributed data management device that stores the original data is disconnected due to a failure or the like, by using the child device information (replication) stored in another distributed data management device (replication server) that stores the replicated data, Can continue the service.

また、本発明は、前記分散処理システムが、前記複数の分散データ管理装置それぞれのサーバ負荷の情報を取得して、サーバ負荷情報として記憶するとともに、前記分散データ管理装置の前記サーバ負荷のいずれかが所定の閾値を超えた場合に、前記所定の閾値を超えた分散データ管理装置の識別子と、前記サーバ負荷情報を参照して前記サーバ負荷が最も低い分散データ管理装置の識別子とを抽出し、前記分散データ管理装置の前記振り分け処理部に出力するサーバ負荷監視手段をさらに備え、前記分散データ管理装置の前記振り分け処理部は、前記子装置・サーバ対応情報について、前記所定の閾値を超えた分散データ管理装置の識別子に対応付けられた前記子装置の識別子を、前記サーバ負荷が最も低い分散データ管理装置の識別子に対応付けるように変更すること、を特徴とする。   Further, according to the present invention, the distributed processing system acquires server load information of each of the plurality of distributed data management apparatuses and stores the server load information as one of the server loads of the distributed data management apparatus. When the threshold exceeds a predetermined threshold, the identifier of the distributed data management device exceeding the predetermined threshold, and the identifier of the distributed data management device with the lowest server load with reference to the server load information, Server load monitoring means for outputting to the distribution processing unit of the distributed data management device is further provided, and the distribution processing unit of the distributed data management device distributes the child device / server correspondence information exceeding the predetermined threshold. The identifier of the child device associated with the identifier of the data management device is changed to the identifier of the distributed data management device with the lowest server load. Be modified to attach response, and wherein.

このようにすることにより、分散処理システムによれば、分散データ管理装置のサーバ負荷のいずれかが所定の閾値を超えた場合、各分散データ管理装置のサーバ負荷の情報（サーバ負荷情報）に基づき、サーバ負荷が最も低い分散データ管理装置に、子装置の収容替えを自律で行うため、各分散データ管理装置の負荷を分散することができる。   Thus, according to the distributed processing system, when any of the server loads of the distributed data management device exceeds a predetermined threshold, based on the server load information (server load information) of each distributed data management device. Since the child device is autonomously changed to the distributed data management device with the lowest server load, the load of each distributed data management device can be distributed.

また、本発明は、前記分散処理システムが、前記複数の分散データ管理装置それぞれのサーバ負荷の情報を取得して、サーバ負荷情報として記憶するとともに、前記分散データ管理装置の前記サーバ負荷のいずれかが所定の閾値を超えた場合に、前記所定の閾値を超えた分散データ管理装置の識別子を、前記分散データ管理装置の前記振り分け処理部に出力するサーバ負荷監視手段をさらに備え、前記分散データ管理装置の前記振り分け処理部は、前記子装置・サーバ対応情報について、前記所定の閾値を超えた分散データ管理装置の識別子に対応付けられた前記子装置の識別子を、当該対応付けられた子装置の前記子装置情報の複製を記憶する分散処理データ管理装置の識別子に対応付けるように変更すること、を特徴とする。 Further, according to the present invention, the distributed processing system acquires server load information of each of the plurality of distributed data management apparatuses and stores the server load information as one of the server loads of the distributed data management apparatus. And a server load monitoring unit that outputs an identifier of the distributed data management device exceeding the predetermined threshold to the distribution processing unit of the distributed data management device when the distributed data management device exceeds the predetermined threshold, The distribution processing unit of the device, for the child device / server correspondence information, assigns the identifier of the child device associated with the identifier of the distributed data management device exceeding the predetermined threshold to the associated child device. It is modified to associate with the identifier of the replication you store distributed processing data management system of slave device information, and wherein.

このようにすることにより、分散処理システムによれば、分散データ管理装置のサーバ負荷のいずれかが所定の閾値を超えた場合、既に原本データの複製データおよび子装置情報（複製）を記憶する分散データ管理装置に、子装置の収容替えを行うため、収容替えを迅速に、かつ、自律で行い、各分散データ管理装置の負荷を分散することができる。   In this way, according to the distributed processing system, when any of the server loads of the distributed data management device exceeds a predetermined threshold, the distributed data that already stores the copy data of the original data and the child device information (replication) Since the child device is accommodated in the data management device, the accommodation change can be performed quickly and autonomously, and the load of each distributed data management device can be distributed.

なお、本発明の分散処理システムとはカテゴリの異なる、分散データ管理装置および分散データ管理方法についても、本発明の分散処理システムと同様の特徴構成を備え、前記した同様の効果を奏するものであるため、ここでの説明は省略する。   Note that the distributed data management apparatus and distributed data management method, which are different in category from the distributed processing system of the present invention, have the same characteristic configuration as the distributed processing system of the present invention and have the same effects as described above. Therefore, the description here is omitted.

本発明によれば、分散処理システムにおいて、端末の収容位置に基づき処理サーバを決定し、収容分散が必要なアプリケーションやサービスのデプロイを可能とする、分散処理システム、分散データ管理装置および分散データ管理方法を提供することができる。   According to the present invention, in a distributed processing system, a distributed processing system, a distributed data management device, and a distributed data management that enable the deployment of applications and services that need to be accommodated and distributed by determining a processing server based on the accommodation location of the terminal. A method can be provided.

本実施形態に係る処理サーバ（分散データ管理装置）を含む分散処理システムの全体構成を示す図である。It is a figure which shows the whole structure of the distributed processing system containing the processing server (distributed data management apparatus) which concerns on this embodiment. 本実施形態に係る処理サーバの構成例を示す機能ブロック図である。It is a functional block diagram which shows the structural example of the processing server which concerns on this embodiment. 本実施形態に係る端末・子装置対応情報のデータ構成例を示す図である。It is a figure which shows the data structural example of the terminal and subunit | mobile_unit corresponding information which concerns on this embodiment. 本実施形態に係る子装置・サーバ対応情報のデータ構成例を示す図である。It is a figure which shows the example of a data structure of the child apparatus / server correspondence information which concerns on this embodiment. 本実施形態に係る処理サーバを含む分散処理システムの処理の流れを示すシーケンス図である。It is a sequence diagram which shows the flow of a process of the distributed processing system containing the processing server which concerns on this embodiment. 本実施形態の第１の変形例に係る処理サーバの構成例を示す機能ブロック図である。It is a functional block diagram which shows the structural example of the processing server which concerns on the 1st modification of this embodiment. 本実施形態に第１の変形例に係る処理サーバを含む分散処理システムの処理を説明するための図である。It is a figure for demonstrating the process of the distributed processing system containing the processing server which concerns on a 1st modification in this embodiment. 本実施形態の第２の変形例に係る処理サーバの構成例を示す機能ブロック図である。It is a functional block diagram which shows the structural example of the processing server which concerns on the 2nd modification of this embodiment. 本実施形態に第２の変形例に係る処理サーバを含む分散処理システムの処理を説明するための図である。It is a figure for demonstrating the process of the distributed processing system containing the process server which concerns on a 2nd modification in this embodiment.

＜システム構成と処理概要＞
次に、本発明を実施するための形態（以下、「本実施形態」と称する。）に係る処理サーバ１（分散データ管理装置）を含む分散処理システム１０００の全体構成と処理概要とについて説明する。 <System configuration and processing overview>
Next, the overall configuration and processing outline of the distributed processing system 1000 including the processing server 1 (distributed data management apparatus) according to a mode for carrying out the present invention (hereinafter referred to as “this embodiment”) will be described. .

（分散処理システムの全体構成）
まず、本実施形態に係る処理サーバ１を含む分散処理システム１０００の全体構成について説明する。
図１は、本実施形態に係る処理サーバ１（分散データ管理装置）を含む分散処理システム１０００の全体構成を示す図である。 (Overall configuration of distributed processing system)
First, the overall configuration of the distributed processing system 1000 including the processing server 1 according to the present embodiment will be described.
FIG. 1 is a diagram showing an overall configuration of a distributed processing system 1000 including a processing server 1 (distributed data management apparatus) according to the present embodiment.

この分散処理システム１０００は、図１（ａ）に示すように、複数の端末（図１（ａ）においては端末群４０）を収容する子装置３０それぞれ（子装置「１」「２」「３」）と、その子装置３０それぞれに接続されるロードバランサ２０と、ロードバランサ２０に接続され、クラスタを構成する複数の処理サーバ１０（処理サーバ「１」「２」「３」）とを含んで構成される。   As shown in FIG. 1A, the distributed processing system 1000 includes each of the child devices 30 (child devices “1”, “2”, and “3” that accommodate a plurality of terminals (terminal group 40 in FIG. 1A). ”), A load balancer 20 connected to each of the child devices 30, and a plurality of processing servers 10 (processing servers“ 1 ”,“ 2 ”,“ 3 ”) connected to the load balancer 20 and constituting a cluster. Composed.

ここで、端末は、自身を収容する子装置３０を介して、サービスの要求信号を処理サーバ１０へ送信し、処理サーバ１０からの応答信号を受信することにより、サービスを享受する。
また、子装置３０は、複数の端末（端末群４０）を収容し、ロードバランサ２０と端末と間のルーチングを行う機能を少なくとも備える。
ロードバランサ２０は、子装置３０を介して端末から取得した要求信号を、ラウンドロビン等の単純な手法により各処理サーバ１０に振り分ける。 Here, the terminal receives the service by transmitting a service request signal to the processing server 10 and receiving a response signal from the processing server 10 via the slave device 30 that accommodates the terminal.
Further, the slave device 30 accommodates a plurality of terminals (terminal group 40) and has at least a function of performing routing between the load balancer 20 and the terminals.
The load balancer 20 distributes the request signal acquired from the terminal via the slave device 30 to each processing server 10 by a simple method such as round robin.

処理サーバ１０は、自身以外の他の処理サーバ１０とも接続され、ロードバランサ２０から受信した端末からの要求信号について、その要求信号の処理を担当するサーバを、自身が保持する、端末・子装置対応情報１００（図１（ｂ）、後記する図２および図３参照）および子装置・サーバ対応情報２００（図１（ｃ）、後記する図２および図４参照）に基づき決定して振り分ける。処理サーバ１０は、自身に対応付けられた子装置３０が収容する端末が送信した要求信号を信号処理し、その応答信号を当該端末に送信することによりサービスを提供する。その際、処理サーバ１０は、信号処理した結果を原本データとして自身の記憶部に記憶するとともに、コンシステントハッシュ法等に基づき予め設定された複製先決定ロジックにより、その原本データの複製を記憶する他の処理サーバ１０（複製サーバ）を決定し、その複製先となる他の処理サーバ１０（複製サーバ）にその原本データの複製を送信することにより複製データを記憶させる。また、処理サーバ１０は、この要求信号の信号処理を、子装置３０の状態を示す子装置情報に基づき実行し、その信号処理に応じて、自身と対応付けられた子装置３０に関する情報（子装置情報（原本））を更新し、自身の記憶部に記憶するとともに、原本データの複製先となる他の処理サーバ１０（複製サーバ）に、その子装置情報（複製）を送信し記憶させる。   The processing server 10 is also connected to other processing servers 10 other than itself, and a terminal / child device that owns a server in charge of processing a request signal received from the load balancer 20 from a terminal. Based on the correspondence information 100 (see FIG. 1B, FIG. 2 and FIG. 3 to be described later) and the child apparatus / server correspondence information 200 (FIG. 1C, see FIG. 2 and FIG. 4 to be described later), it is determined and distributed. The processing server 10 provides a service by performing signal processing on a request signal transmitted by a terminal accommodated by the child device 30 associated with the processing server 10 and transmitting the response signal to the terminal. At that time, the processing server 10 stores the result of the signal processing in the storage unit thereof as original data, and also stores a copy of the original data by a replication destination determination logic set in advance based on a consistent hash method or the like. The other processing server 10 (duplicate server) is determined, and the duplicate data is stored by transmitting the duplicate of the original data to the other processing server 10 (duplicate server) as the duplication destination. Further, the processing server 10 performs signal processing of the request signal based on the child device information indicating the state of the child device 30, and according to the signal processing, information on the child device 30 associated with itself (child child) The device information (original)) is updated and stored in its own storage unit, and the child device information (replicated) is transmitted to and stored in another processing server 10 (replicated server) that is a copy destination of the original data.

図１を例に説明すると、子装置「１」に収容される端末群「１」に属する端末から、要求信号を受信した子装置「１」が、その要求信号をロードバランサ２０に送信する。ロードバランサ２０は、ラウンドロビン等により振り分け先を、例えば、処理サーバ「３」に決定し、その要求信号を送信する。要求信号を受信した処理サーバ「３」は、まず、端末・子装置対応情報１００（図１（ｂ））を参照し、その要求信号の送信元の端末の端末識別子に対応する子装置３０の子装置識別子を抽出する。ここでは、端末識別子（「.xxx」）に対応する子装置識別子として「１」（子装置「１」）が抽出される。次に、処理サーバ「３」は、子装置・サーバ対応情報２００（図１（ｃ））を参照し、その子装置識別子（「１」）に対応する仮想空間上の値を抽出する。ここでは、仮想空間上の値「ａａａ」が抽出され、その要求信号の処理を担当するサーバとして処理サーバ「１」が決定される。そして、処理サーバ「３」は、要求信号を処理サーバ「１」に送信する。   Referring to FIG. 1 as an example, the slave device “1” that has received the request signal from the terminals belonging to the terminal group “1” accommodated in the slave device “1” transmits the request signal to the load balancer 20. The load balancer 20 determines the distribution destination, for example, as the processing server “3” by round robin or the like, and transmits the request signal. The processing server “3” that has received the request signal first refers to the terminal / slave device correspondence information 100 (FIG. 1B), and determines the slave device 30 corresponding to the terminal identifier of the terminal that is the source of the request signal. Extract the child device identifier. Here, “1” (child device “1”) is extracted as the child device identifier corresponding to the terminal identifier (“.xxx”). Next, the processing server “3” refers to the child device / server correspondence information 200 (FIG. 1C), and extracts a value in the virtual space corresponding to the child device identifier (“1”). Here, the value “aaa” in the virtual space is extracted, and the processing server “1” is determined as the server in charge of processing the request signal. Then, the processing server “3” transmits a request signal to the processing server “1”.

要求信号を受信した処理サーバ「１」は、信号処理を行い、応答信号を端末に返信するとともに、信号処理の処理結果（原本データ）を自身の記憶部に記憶し、その原本データの複製データを、他の処理サーバ１０（複製サーバ）に送信して記憶させる。また、処理サーバ「１」は、この信号処理に応じて、子装置「１」の子装置情報（原本）を更新して自身の記憶部に記憶し、その子装置情報（原本）の複製を、複製データを記憶する他の処理サーバ１０（複製サーバ）に送信して記憶させる。   The processing server “1” that has received the request signal performs signal processing, returns a response signal to the terminal, stores the processing result (original data) of the signal processing in its own storage unit, and duplicate data of the original data Are transmitted to and stored in another processing server 10 (replication server). Further, in response to this signal processing, the processing server “1” updates the child device information (original) of the child device “1” and stores it in its storage unit, and copies the child device information (original). It is transmitted to and stored in another processing server 10 (replication server) that stores the duplicate data.

この図１（ａ）に示す分散処理システム１０００の具体例としては、例えば、ＮＧＮ（Next Generation Network：次世代ネットワーク）の構成が挙げられる。ＮＧＮを例とすると、端末は「ＩＰ電話機」、子装置３０は「エッジルータ（ＳＳＥ：Subscriber Service Edge）」、処理サーバ１０は「セッション制御サーバ」が相当するものとなる。
ＮＧＮでは、発信側の端末から呼設定の要求信号をセッション制御サーバが受信すると、エッジルータに対して、通話に必要な帯域を割り当てるように指示する。エッジルータにおいて、帯域確保（帯域保証）した上で、セッション制御サーバが発信側の端末と着信側の端末との間でセッションを確立し、通話サービスを提供する。このＮＧＮの例の場合、処理サーバ１０としてのセッション制御サーバは、発信側端末のアドレス情報や、着信側端末のアドレス情報、通話時間や、課金情報等を原本データとして、自身の記憶部に記憶する。また、その原本データの複製データを他の処理サーバ１０（複製サーバであるセッション制御サーバ）に記憶させる。 As a specific example of the distributed processing system 1000 illustrated in FIG. 1A, for example, a configuration of an NGN (Next Generation Network) can be cited. Taking NGN as an example, the terminal corresponds to an “IP telephone”, the slave device 30 corresponds to an “edge router (SSE: Subscriber Service Edge)”, and the processing server 10 corresponds to a “session control server”.
In the NGN, when the session control server receives a call setting request signal from a terminal on the transmission side, the NGN instructs the edge router to allocate a band necessary for the call. In the edge router, after securing the bandwidth (bandwidth guarantee), the session control server establishes a session between the originating terminal and the terminating terminal, and provides a call service. In the case of this NGN example, the session control server as the processing server 10 stores the address information of the calling side terminal, the address information of the called side terminal, call duration, billing information, etc. as original data in its own storage unit. To do. Further, the copy data of the original data is stored in another processing server 10 (session control server which is a copy server).

さらに、処理サーバ１０（セッション制御サーバ）は、通話の帯域を保証するために、子装置３０（エッジルータ）の残帯域の情報を、子装置情報として記憶しておく必要がある。処理サーバ１０（セッション制御サーバ）は、子装置３０（エッジルータ）の残帯域の情報を保持することにより、新たな呼設定の要求信号を受信した際に、子装置３０（エッジルータ）の残帯域を確認し、帯域保証した上でサービスを提供することができる。この子装置情報（エッジルータの残帯域）の複製を他の処理サーバ１０（複製サーバ）に記憶しておくことにより、原本データを記憶する処理サーバ１０が故障等により離脱しても、複製データを記憶する他の処理サーバ１０（セッション制御サーバ）に記憶された子装置情報（複製）を利用し、サービスを継続することができる。以下、本実施形態においては、具体例として、ＮＧＮを例にして説明する。   Furthermore, the processing server 10 (session control server) needs to store information on the remaining bandwidth of the child device 30 (edge router) as child device information in order to guarantee the bandwidth of the call. The processing server 10 (session control server) retains information on the remaining bandwidth of the child device 30 (edge router), so that when the new call setting request signal is received, the remaining processing of the child device 30 (edge router) is performed. Service can be provided after checking the bandwidth and guaranteeing the bandwidth. By storing a copy of this child device information (remaining bandwidth of the edge router) in another processing server 10 (replication server), even if the processing server 10 storing the original data leaves due to a failure or the like, the replication data The service can be continued using the child device information (duplicate) stored in the other processing server 10 (session control server) that stores the information. Hereinafter, in the present embodiment, as a specific example, NGN will be described as an example.

＜処置サーバの構成＞
次に、本実施形態に係る処理サーバ１０（分散データ管理装置）の構成例について、具体的に説明する。 <Configuration of treatment server>
Next, a configuration example of the processing server 10 (distributed data management apparatus) according to the present embodiment will be specifically described.

図２は、本実施形態に係る処理サーバ１０の構成例を示す機能ブロック図である。
処理サーバ１０は、図１に示したように、ロードバランサ２０に接続されると共に、自身以外の他の処理サーバ１０にも接続される。そして、処理サーバ１０は、ロードバランサ２０を介して端末から要求信号を受信すると、自身が記憶する端末・子装置対応情報１００（図３）および子装置・サーバ対応情報２００（図４）を参照し、その要求信号の処理を担当する処理サーバ１０を決定し振り分ける。そして、その要求信号の処理を担当する処理サーバ１０は、要求信号を受信すると、信号処理するとともに、その信号処理の結果としての原本データを記憶部１３に記憶する。また、その処理サーバ１０は、コンシステントハッシュ法等に基づき予め設定された複製先決定ロジックによりその原本データの複製を記憶する他の処理サーバ１０（複製サーバ）を決定し、他の処理サーバ１０（複製サーバ）にその原本データの複製を送信することにより複製データを記憶させる。さらに、処理サーバ１０は、要求信号を処理した際に、自身と対応付けられた子装置３０の状態を示す子装置情報（原本）を更新し、自身の記憶部１３に記憶するとともに、原本データの複製先となる他の処理サーバ１０（複製サーバ）に、その子装置情報（複製）を送信し記憶させる。
この処理サーバ１０は、図２に示すように、制御部１１と、入出力部１２と、記憶部１３とを含んで構成される。 FIG. 2 is a functional block diagram illustrating a configuration example of the processing server 10 according to the present embodiment.
As shown in FIG. 1, the processing server 10 is connected to the load balancer 20 and is also connected to other processing servers 10 other than itself. When the processing server 10 receives the request signal from the terminal via the load balancer 20, the processing server 10 refers to the terminal / child device correspondence information 100 (FIG. 3) and the child device / server correspondence information 200 (FIG. 4) stored therein. Then, the processing server 10 in charge of processing the request signal is determined and distributed. When receiving the request signal, the processing server 10 in charge of processing the request signal performs signal processing and stores original data as a result of the signal processing in the storage unit 13. In addition, the processing server 10 determines another processing server 10 (replication server) that stores a copy of the original data by a replication destination determination logic set in advance based on a consistent hash method or the like, and the other processing server 10 The copy data is stored by transmitting a copy of the original data to the (copy server). Furthermore, when the processing server 10 processes the request signal, the processing server 10 updates the child device information (original) indicating the state of the child device 30 associated with the processing signal, stores the updated child device information in the storage unit 13, and the original data. The child device information (replication) is transmitted to and stored in another processing server 10 (replication server) that is the replication destination.
As illustrated in FIG. 2, the processing server 10 includes a control unit 11, an input / output unit 12, and a storage unit 13.

入出力部１２は、ロードバランサ２０や、自身以外の他の処理サーバ１０との間の情報の入出力を行う。また、この入出力部１２は、通信回線を介して情報の送受信を行う通信インタフェースと、不図示のキーボード等の入力手段やモニタ等の出力手段等との間で入出力を行う入出力インタフェースとから構成される。   The input / output unit 12 inputs / outputs information to / from the load balancer 20 and other processing servers 10 other than itself. The input / output unit 12 includes a communication interface that transmits and receives information via a communication line, and an input / output interface that performs input / output between an input unit such as a keyboard (not shown) and an output unit such as a monitor. Consists of

制御部１１は、処理サーバ１０全体の制御を司り、振り分け処理部１１１、信号処理部１１２、データ管理部１１３を含んで構成される。なお、この制御部１１は、例えば、記憶部１３に格納されたプログラムを、不図示のＣＰＵ（Central Processing Unit）が不図示のＲＡＭ（Random Access Memory）に展開し実行することで実現される。   The control unit 11 controls the entire processing server 10 and includes a distribution processing unit 111, a signal processing unit 112, and a data management unit 113. In addition, this control part 11 is implement | achieved when CPU (Central Processing Unit) not shown expand | deploys and executes the program stored in the memory | storage part 13 on RAM (Random Access Memory) not shown, for example.

振り分け処理部１１１は、ロードバランサ２０から要求信号を受信し、端末・子装置対応情報１００（図３）を参照し、要求信号を送信した端末を収容する子装置３０を特定する。また、振り分け処理部１１１は、特定した子装置３０の情報に基づき、子装置・サーバ対応情報２００（図４）を参照し、その要求信号の処理を担当する処理サーバ１０を決定し、その決定した処理サーバ１０に要求信号を送信する。   The distribution processing unit 111 receives the request signal from the load balancer 20, refers to the terminal / child device correspondence information 100 (FIG. 3), and specifies the child device 30 that accommodates the terminal that has transmitted the request signal. Also, the distribution processing unit 111 refers to the child device / server correspondence information 200 (FIG. 4) based on the specified information of the child device 30, determines the processing server 10 in charge of processing the request signal, and the determination A request signal is transmitted to the processed server 10.

図３は、本実施形態に係る端末・子装置対応情報１００のデータ構成例を示す図である。図３に示すように、端末・子装置対応情報１００には、端末識別子１０１に対応付けて子装置識別子１０２が格納される。
端末識別子１０１には、各端末の固有な識別子として、例えば、ＩＰアドレスが格納される。図３においては、ある子装置３０が収容する複数の端末（図１の端末群４０）に割り当てられる共通のＩＰアドレスの帯域（ＩＰ帯）を、例えば、「.xxx」「.yyy」のように示している。
子装置識別子１０２には、各子装置３０に固有な番号が格納される。
図３の１行目に示す情報は、端末識別子１０１が「.xxx」で示されるＩＰ帯の複数の端末（端末群４０）が、子装置識別子１０２が「１」の子装置３０に収容されていることを示している。 FIG. 3 is a diagram illustrating a data configuration example of the terminal / slave device correspondence information 100 according to the present embodiment. As illustrated in FIG. 3, the terminal / child device correspondence information 100 stores a child device identifier 102 in association with the terminal identifier 101.
For example, an IP address is stored in the terminal identifier 101 as a unique identifier of each terminal. In FIG. 3, a common IP address band (IP band) assigned to a plurality of terminals (terminal group 40 in FIG. 1) accommodated by a certain child device 30 is, for example, “.xxx” or “.yyy”. It shows.
The child device identifier 102 stores a number unique to each child device 30.
In the information shown in the first line of FIG. 3, a plurality of terminals (terminal group 40) in the IP band whose terminal identifier 101 is indicated by “.xxx” are accommodated in the slave device 30 whose child device identifier 102 is “1”. It shows that.

図４は、本実施形態に係る子装置・サーバ対応情報２００のデータ構成例を示す図である。図４に示すように、子装置・サーバ対応情報２００には、子装置識別子１０２に対応付けて仮想空間上の値２０１が格納される。
子装置識別子１０２には、前記したように、各子装置３０に固有な番号が格納される。
仮想空間上の値２０１には、各処理サーバ１０の識別子が格納される。具体的には、仮想空間上の値２０１として、各処理サーバ１０に対応する、コンシステントハッシュ法に基づく仮想ハッシュ空間（以下、「仮想空間」と称する。）上のハッシュ値が格納される。図４においては、例えば、仮想空間上の値２０１として「ａａａ」「ａａｂ」「ａａｃ」は、処理サーバ「１」に対応する値を示している。仮想空間上の値２０１として「ｂｂｂ」「ｂｂｃ」は、処理サーバ「２」に対応する値を示している。また、仮想空間上の値２０１として「ｃｃｃ」は、処理サーバ「３」に対応する値を示している。
つまり、図４は、子装置識別子１０２が「１」「４」「６」の子装置３０の処理を、処理サーバ「１」が担当することを示し、子装置識別子１０２が「２」「５」の子装置３０の処理を、処理サーバ「２」が担当することを示し、子装置識別子１０２が「３」の子装置３０の処理を、処理サーバ「３」が担当することを示している。 FIG. 4 is a diagram illustrating a data configuration example of the child device / server correspondence information 200 according to the present embodiment. As illustrated in FIG. 4, the child device / server correspondence information 200 stores a value 201 in the virtual space in association with the child device identifier 102.
As described above, the child device identifier 102 stores a number unique to each child device 30.
The value 201 in the virtual space stores the identifier of each processing server 10. Specifically, as a value 201 on the virtual space, a hash value on a virtual hash space (hereinafter referred to as “virtual space”) corresponding to each processing server 10 based on the consistent hash method is stored. In FIG. 4, for example, “aaa”, “aab”, and “aac” as values 201 in the virtual space indicate values corresponding to the processing server “1”. As the value 201 in the virtual space, “bbb” and “bbc” indicate values corresponding to the processing server “2”. Further, “ccc” as the value 201 in the virtual space indicates a value corresponding to the processing server “3”.
That is, FIG. 4 shows that the processing server “1” takes charge of the processing of the child device 30 whose child device identifier 102 is “1” “4” “6”, and the child device identifier 102 is “2” “5”. ”Indicates that the processing server“ 2 ”is in charge of processing, and the processing server“ 3 ”is in charge of processing of the child device 30 whose child device identifier 102 is“ 3 ”. .

図２に戻り、振り分け処理部１１１は、ロードバランサ２０から要求信号を受信すると、その要求信号に付された送信元となる端末の端末識別子１０１に基づき、端末・子装置対応情報１００を参照し、子装置識別子１０２を特定する。次に、振り分け処理部１１１は、その特定した子装置識別子１０２に基づき、子装置・サーバ対応情報２００を参照し、仮想空間上の値２０１を特定する。なお、振り分け処理部１１１は、仮想空間上の値２０１と各処理サーバ１０とを対応付けたサーバ識別子管理情報（不図示）を備えており、仮想空間上の値２０１を特定することにより、要求信号の処理を担当する処理サーバ１０を決定することができる。   Returning to FIG. 2, upon receiving the request signal from the load balancer 20, the distribution processing unit 111 refers to the terminal / child device correspondence information 100 based on the terminal identifier 101 of the terminal that is the transmission source attached to the request signal. The child device identifier 102 is specified. Next, the distribution processing unit 111 refers to the child device / server correspondence information 200 based on the identified child device identifier 102 and identifies the value 201 in the virtual space. The distribution processing unit 111 includes server identifier management information (not shown) in which the value 201 in the virtual space is associated with each processing server 10, and the request 201 is specified by specifying the value 201 in the virtual space. The processing server 10 in charge of signal processing can be determined.

信号処理部１１２は、要求信号の信号処理を実行する。なお、この信号処理は各サービスの内容に応じた処理が実行される。例えば、前記したＮＧＮの例では、要求信号（呼設定）の信号処理として、通話サービスのためのセッション制御処理が実行される。そして、信号処理部１１２は、信号処理の結果として、サービス提供に必要な情報（発信側・着信側のアドレス情報等）を原本データとして生成し、データ管理部１１３（原本データ処理部１１４）に出力する。
また、信号処理部１１２は、要求信号の信号処理を、そのサービスに関連する子装置３０の状態を示す子装置情報に基づき実行し、その信号処理に応じて子装置情報（原本）を更新し、その更新した子装置情報（原本）をデータ管理部１１３（子装置情報処理部１１６）に出力する。なお、この子装置情報は、前記したＮＧＮの例では、子装置３０（エッジルータ）の残帯域の情報である。信号処理部１１２は、例えば、該当する子装置３０（エッジルータ）に残帯域を問い合わせることにより、残帯域の情報を取得する。 The signal processing unit 112 performs signal processing of the request signal. This signal processing is performed according to the contents of each service. For example, in the above-described NGN example, session control processing for a call service is executed as signal processing of a request signal (call setting). Then, as a result of the signal processing, the signal processing unit 112 generates information necessary for providing a service (address information on the transmission side / incoming side) as original data, and sends it to the data management unit 113 (original data processing unit 114). Output.
In addition, the signal processing unit 112 performs signal processing of the request signal based on the child device information indicating the state of the child device 30 related to the service, and updates the child device information (original) according to the signal processing. The updated child device information (original) is output to the data management unit 113 (child device information processing unit 116). This child device information is information on the remaining bandwidth of the child device 30 (edge router) in the above-described NGN example. For example, the signal processing unit 112 inquires the remaining child device 30 (edge router) about the remaining bandwidth, and acquires the remaining bandwidth information.

データ管理部１１３は、サービスを提供するための原本データや複製データ、子装置情報（原本・複製）等の情報を記憶部１３に記憶したり、複製データを他の処理サーバ１０に送信したりする等のデータ管理を行う。このデータ管理部１１３は、原本データ処理部１１４、複製データ処理部１１５、および、子装置情報処理部１１６を備える。   The data management unit 113 stores information such as original data, copy data, and child device information (original / replication) for providing a service in the storage unit 13, or transmits the copy data to another processing server 10. Data management such as to do. The data management unit 113 includes an original data processing unit 114, a duplicate data processing unit 115, and a child device information processing unit 116.

原本データ処理部１１４は、信号処理部１１２が信号処理の結果として生成した原本データを、記憶部１３に記憶する。
また、原本データ処理部１１４は、コンシステントハッシュ法等に基づき予め設定された複製先決定ロジックによりその原本データの複製を記憶する他の処理サーバ１０（複製サーバ）を決定し、他の処理サーバ１０（複製サーバ）にその原本データの複製を送信することにより複製データを記憶させる。なお、原本データ処理部１１４は、複製先決定ロジックとして、例えば、サーバ識別子管理情報（不図示）で示されるその処理サーバ１０自身の仮想空間上の値の次の行に示される処理サーバ１０、つまり、仮想空間上で隣接する処理サーバ１０を、複製サーバとして決定するようにしてもよい。 The original data processing unit 114 stores the original data generated as a result of the signal processing by the signal processing unit 112 in the storage unit 13.
Further, the original data processing unit 114 determines another processing server 10 (replication server) that stores a copy of the original data by a replication destination determination logic set in advance based on a consistent hash method or the like. The copy data is stored by transmitting a copy of the original data to 10 (replication server). Note that the original data processing unit 114 has, as the copy destination determination logic, for example, the processing server 10 indicated in the next row of the value in the virtual space of the processing server 10 itself indicated by the server identifier management information (not shown), That is, the processing server 10 adjacent in the virtual space may be determined as a replication server.

複製データ処理部１１５は、自身以外の処理サーバ１０（原本データを記憶する処理サーバ１０）から送信されてきた複製データを受信し、自身の記憶部１３に記憶する。   The duplicate data processing unit 115 receives the duplicate data transmitted from the processing server 10 other than itself (the processing server 10 that stores the original data), and stores it in its own storage unit 13.

子装置情報処理部１１６は、信号処理部１１２が更新した子装置情報（原本）を記憶部１３に記憶する。また、子装置情報処理部１１６は、子装置情報（複製）を、原本データの複製データを記憶する他の処理サーバ１０（複製サーバ）に対して送信し、その処理サーバ１０に記憶させる。
また、子装置情報処理部１１６は、自身以外の処理サーバ１０（子装置情報（原本）を記憶する処理サーバ１０）から子装置情報（複製）を受信した場合に、自身の記憶部１３に記憶させる。 The child device information processing unit 116 stores the child device information (original) updated by the signal processing unit 112 in the storage unit 13. Further, the child device information processing unit 116 transmits the child device information (replication) to another processing server 10 (replication server) that stores the duplicate data of the original data, and stores the information in the processing server 10.
Further, the child device information processing unit 116 stores the child device information (duplicate) in the own storage unit 13 when receiving the child device information (duplicate) from the processing server 10 other than itself (the processing server 10 storing child device information (original)). Let

記憶部１３は、ハードディスクやフラッシュメモリ、ＲＡＭ等の記憶手段からなり、前記した、端末・子装置対応情報１００（図３参照）や、子装置・サーバ対応情報２００（図４参照）、原本データおよび複製データを含むデータ３００、子装置情報（原本・複製）４００等が記憶される。   The storage unit 13 includes storage means such as a hard disk, a flash memory, and a RAM. The above-described terminal / child device correspondence information 100 (see FIG. 3), child device / server correspondence information 200 (see FIG. 4), original data In addition, data 300 including duplicate data, child device information (original / replica) 400, and the like are stored.

＜処理の流れ＞
次に、本実施形態に係る処理サーバ１０を含む分散処理システム１０００の処理の流れについて説明する。
図５は、本実施形態に係る処理サーバ１０（分散データ管理装置）を含む分散処理システム１０００の処理の流れを示すシーケンス図である。
ここでは、子装置「１」が収容する端末４からの要求信号の信号処理を処理サーバ「１」が担当し、その処理サーバ「１」が子装置「１」の子装置情報（原本）を更新して記憶し、処理サーバ「２」に子装置情報（複製）を記憶させるものとして説明する。 <Process flow>
Next, a processing flow of the distributed processing system 1000 including the processing server 10 according to the present embodiment will be described.
FIG. 5 is a sequence diagram showing a processing flow of the distributed processing system 1000 including the processing server 10 (distributed data management apparatus) according to the present embodiment.
Here, the processing server “1” takes charge of the signal processing of the request signal from the terminal 4 accommodated in the child device “1”, and the processing server “1” stores the child device information (original) of the child device “1”. The description will be made assuming that the information is updated and stored, and the child device information (replicated) is stored in the processing server “2”.

まず、子装置「１」が収容する端末４から、要求信号が子装置「１」に対して送信される（ステップＳ１０）。続いて、子装置「１」は、ロードバランサ２０に対してその要求信号を送信する（ステップＳ１１）。ロードバランサ２０は、ラウンドロビン等に基づき、受信した要求信号を、処理サーバ１０のいずれかに振り分ける。ここでは、ロードバランサ２０が、処理サーバ「２」を振り分け先に決定し、要求信号を送信したものとする（ステップＳ１２）。   First, a request signal is transmitted from the terminal 4 accommodated in the child device “1” to the child device “1” (step S10). Subsequently, the child device “1” transmits the request signal to the load balancer 20 (step S11). The load balancer 20 distributes the received request signal to one of the processing servers 10 based on round robin or the like. Here, it is assumed that the load balancer 20 determines the processing server “2” as a distribution destination and transmits a request signal (step S12).

次に、要求信号をロードバランサ２０から受信した処理サーバ「２」は、振り分け処理部１１１が、受信した要求信号の処理を担当する振り分け先の処理サーバ１０を決定する（ステップＳ１３）。
具体的には、振り分け処理部１１１は、端末・子装置対応情報１００（図３）を参照して、要求信号を送信した端末４を収容する子装置３０が子装置「１」であることを特定する。次に、振り分け処理部１１１は、子装置・サーバ対応情報２００（図４）を参照し、子装置「１」を担当する処理サーバ１０として、処理サーバ「１」（図４の仮想空間上の値２０１「ａａａ」）を決定する。
そして、処理サーバ「２」の振り分け処理部１１１は、受信した要求信号を、担当として決定した処理サーバ「１」に送信する（ステップＳ１４）。 Next, in the processing server “2” that has received the request signal from the load balancer 20, the distribution processing unit 111 determines the processing server 10 that is the distribution destination in charge of processing the received request signal (step S13).
Specifically, the distribution processing unit 111 refers to the terminal / child device correspondence information 100 (FIG. 3) to confirm that the child device 30 that accommodates the terminal 4 that has transmitted the request signal is the child device “1”. Identify. Next, the distribution processing unit 111 refers to the child device / server correspondence information 200 (FIG. 4) and sets the processing server “1” (on the virtual space in FIG. 4) as the processing server 10 in charge of the child device “1”. The value 201 “aaa”) is determined.
Then, the distribution processing unit 111 of the processing server “2” transmits the received request signal to the processing server “1” determined to be in charge (step S14).

要求信号を他の処理サーバ１０（ここでは、処理サーバ「２」）から受信した処理サーバ「１」は、信号処理部１１２が、受信した要求信号に関する信号処理を実行する（ステップＳ１５）。
具体的には、信号処理部１１２は、アプリケーションやサービスに基づき、要求信号を処理し、その処理結果としての原本データを、データ管理部１１３に出力し、原本データ処理部１１４が、その原本データを自身の記憶部１３に記憶する。また、原本データ処理部１１４は、コンシステントハッシュ法等に基づき予め設定された複製先決定ロジックによりその原本データの複製を記憶する他の処理サーバ１０（複製サーバ）を決定し、他の処理サーバ１０（複製サーバ）にその原本データの複製を送信することにより複製データを記憶させる。ここでは、処理サーバ「１」が原本データとして記憶するデータの複製サーバとして、処理サーバ「２」が決定されたものとする。よって、処理サーバ「１」の原本データ処理部１１４は、原本データの複製を処理サーバ「２」に送信することにより複製データを処理サーバ「２」に記憶させる。 In the processing server “1” that has received the request signal from another processing server 10 (here, processing server “2”), the signal processing unit 112 performs signal processing on the received request signal (step S15).
Specifically, the signal processing unit 112 processes the request signal based on the application or service, outputs the original data as the processing result to the data management unit 113, and the original data processing unit 114 outputs the original data. Is stored in its own storage unit 13. Further, the original data processing unit 114 determines another processing server 10 (replication server) that stores a copy of the original data by a replication destination determination logic set in advance based on a consistent hash method or the like. The copy data is stored by transmitting a copy of the original data to 10 (replication server). Here, it is assumed that the processing server “2” is determined as a replication server for data stored in the processing server “1” as original data. Therefore, the original data processing unit 114 of the processing server “1” stores the duplicate data in the processing server “2” by transmitting a copy of the original data to the processing server “2”.

また、処理サーバ「１」の信号処理部１１２は、信号処理の実行する際に、そのサービスに関連する子装置３０の状態を示す情報（ここでは、子装置「１」の子装置情報（原本））を更新し、その子装置情報（原本）をデータ管理部１１３の子装置情報処理部１１６に出力する（ステップＳ１６）。子装置情報処理部１１６は、取得した子装置「１」の子装置情報（原本）を自身の記憶部１３に記憶する（ステップＳ１７）。また、子装置情報処理部１１６は、子装置「１」の子装置情報（複製）を子装置情報更新通知として、その要求信号についての原本データに対する複製データを記憶する他の処理サーバ１０（ここでは、処理サーバ「２」）に送信する（ステップＳ１８）。子装置情報更新通知を受信した他の処理サーバ１０（処理サーバ「２」）の子装置情報処理部１１６は、その子装置情報（複製）を自身の記憶部１３に記憶し（ステップＳ１９）、子装置情報（複製）の記憶が完了したことを示す複製完了通知を、原本データを記憶する処理サーバ１０（処理サーバ「１」）に送信する（ステップＳ２０）。そして、処理サーバ「１」の子装置情報処理部１１６が、その複製完了通知を信号処理部１１２に出力し（ステップＳ２１）、処理サーバ「１」の信号処理部１１２が、要求信号に対する処理が完了したことを示す応答信号を、要求信号を発信した端末４に向けて送信する（ステップＳ２２〜Ｓ２４）。   In addition, when the signal processing unit 112 of the processing server “1” executes the signal processing, information indicating the state of the child device 30 related to the service (here, the child device information of the child device “1” (original) )) Is updated, and the child device information (original) is output to the child device information processing unit 116 of the data management unit 113 (step S16). The child device information processing unit 116 stores the acquired child device information (original) of the child device “1” in its own storage unit 13 (step S17). In addition, the child device information processing unit 116 uses the child device information (duplicate) of the child device “1” as the child device information update notification, and stores another copy of the processing data 10 for the original data for the request signal (here Then, the data is transmitted to the processing server “2”) (step S18). The child device information processing unit 116 of the other processing server 10 (processing server “2”) that has received the child device information update notification stores the child device information (duplicate) in its own storage unit 13 (step S19). A copy completion notification indicating that the storage of the device information (copy) has been completed is transmitted to the processing server 10 (processing server “1”) that stores the original data (step S20). Then, the child device information processing unit 116 of the processing server “1” outputs the replication completion notification to the signal processing unit 112 (step S21), and the signal processing unit 112 of the processing server “1” performs processing on the request signal. A response signal indicating completion is transmitted to the terminal 4 that has transmitted the request signal (steps S22 to S24).

このようにすることにより、本実施形態に係る処理サーバ１０（分散データ管理装置）を含む分散処理システム１０００において、端末の収容位置に基づき処理サーバ１０を決定し、収容分散が必要なアプリケーションやサービスのデプロイを可能とすることができる。また、原本データを記憶する処理サーバ１０が故障等により離脱しても、複製データを保存する他の処理サーバ１０（複製サーバ）に記憶された子装置情報（複製）を利用することにより、サービスを継続することができる。   In this way, in the distributed processing system 1000 including the processing server 10 (distributed data management apparatus) according to the present embodiment, the processing server 10 is determined based on the terminal storage location, and applications and services that need to be distributed. Can be deployed. Even if the processing server 10 that stores the original data is disconnected due to a failure or the like, the service information is stored by using the child device information (replication) stored in the other processing server 10 (replication server) that stores the replication data. Can continue.

≪本実施形態の第１の変形例≫
次に、本実施形態の処理サーバ１０を含む分散処理システム１０００の第１の変形例について説明する。
本実施形態の第１の変形例に係る処理サーバ１０Ａを含む分散処理システム１０００では、マスタ（特権サーバ）となる処理サーバ１０Ａが、各処理サーバ１０Ａのサーバ負荷（例えば、ＣＰＵ使用率やメモリ使用率）を監視し、所定の閾値を超えた場合に、各処理サーバ１０Ａに記憶されている子装置・サーバ対応情報２００（図４参照）において、所定の閾値を超えた処理サーバ１０Ａが担当している任意の子装置３０の仮想空間上の値２０１を変更し、最もサーバ負荷が低い処理サーバ１０Ａが担当するようにする。
このようにすることにより、本実施形態の第１の変形例に係る処理サーバ１０Ａを含む分散処理システム１０００によれば、各処理サーバ１０Ａのサーバ負荷の情報（サーバ負荷情報）に基づき、子装置３０の収容替えを自律で行い、各処理サーバ１０Ａの負荷を分散することができる。 << First Modification of the Present Embodiment >>
Next, a first modification of the distributed processing system 1000 including the processing server 10 of the present embodiment will be described.
In the distributed processing system 1000 including the processing server 10A according to the first modification of the present embodiment, the processing server 10A serving as a master (privileged server) has a server load (for example, CPU usage rate or memory usage) of each processing server 10A. When the predetermined threshold value is exceeded, in the child device / server correspondence information 200 (see FIG. 4) stored in each processing server 10A, the processing server 10A exceeding the predetermined threshold is in charge. The value 201 in the virtual space of any given child device 30 is changed so that the processing server 10A with the lowest server load is in charge.
By doing in this way, according to the distributed processing system 1000 including the processing server 10A according to the first modification of the present embodiment, the child device is based on the server load information (server load information) of each processing server 10A. 30 accommodation changes can be performed autonomously and the load on each processing server 10A can be distributed.

図６は、本実施形態の第１の変形例に係る処理サーバ１０Ａの構成例を示す機能ブロック図である。
図２に示した本実施形態に係る処理サーバ１０との違いは、図６に示す本実施形態の第１の変形例に係る処理サーバ１０Ａにおいては、制御部１１にサーバ負荷監視部１１７（サーバ負荷監視手段）を備えていること、記憶部１３にサーバ負荷情報５００を備えていること、また、図２の振り分け処理部１１１が振り分け処理部１１１Ａとなっていることである。他の構成については、図２に示した構成と同一の機能を備えるものであるため、図２と同一の名称と同一の符号を付し、説明を省略する。 FIG. 6 is a functional block diagram showing a configuration example of the processing server 10A according to the first modification of the present embodiment.
The difference from the processing server 10 according to the present embodiment shown in FIG. 2 is that in the processing server 10A according to the first modification of the present embodiment shown in FIG. 6, the control unit 11 includes a server load monitoring unit 117 (server Load monitoring means), the storage unit 13 includes server load information 500, and the distribution processing unit 111 in FIG. 2 is the distribution processing unit 111A. The other configurations have the same functions as the configurations shown in FIG. 2, and therefore, the same names and the same reference numerals as those in FIG.

サーバ負荷監視部１１７（サーバ負荷監視手段）は、各処理サーバ１０Ａのサーバ負荷情報（例えば、ＣＰＵ使用率や、メモリ使用率等）を監視する。
具体的には、サーバ負荷監視部１１７は、自身がサーバ負荷監視に関するマスタである場合には、自身のサーバ負荷情報（ＣＰＵ使用率等）を取得するとともに、他の処理サーバ１０Ａに対して、サーバ負荷に関する情報の取得要求を送信し、その応答情報を取得して、各処理サーバ１０Ａのサーバ負荷に関する情報を取得し、記憶部１３内のサーバ負荷情報５００に記憶する。
また、サーバ負荷監視部１１７は、自身がサーバ負荷監視に関するマスタ以外の処理サーバ１０Ａである場合には、マスタからのサーバ負荷に関する取得要求を受信し、自身のサーバ負荷に関する情報を応答情報として送信する。
なお、複数の処理サーバ１０Ａのうち、マスタとなる処理サーバ１０Ａは、予め分散処理システム１０００の管理者が任意の処理サーバ１０Ａに決定しておいてもよいし、所定のマスタ決定ロジックに従い（例えば、子装置識別子の昇順）自律的に決定するようにしてもよい。 The server load monitoring unit 117 (server load monitoring unit) monitors server load information (for example, CPU usage rate, memory usage rate, etc.) of each processing server 10A.
Specifically, when the server load monitoring unit 117 is a master related to server load monitoring, the server load monitoring unit 117 acquires its own server load information (CPU usage rate, etc.) and, with respect to the other processing server 10A, An information acquisition request regarding the server load is transmitted, the response information is acquired, information regarding the server load of each processing server 10 </ b> A is acquired, and stored in the server load information 500 in the storage unit 13.
Further, when the server load monitoring unit 117 is a processing server 10A other than the master related to server load monitoring, the server load monitoring unit 117 receives an acquisition request related to the server load from the master and transmits information related to the server load as response information. To do.
Of the plurality of processing servers 10A, the master processing server 10A may be determined in advance by the administrator of the distributed processing system 1000 as an arbitrary processing server 10A, or according to a predetermined master determination logic (for example, (Ascending order of child device identifiers) may be determined autonomously.

また、サーバ負荷監視部１１７は、自身がマスタである場合に、記憶部１３内に記憶したサーバ負荷情報５００を参照し、各処理サーバ１０Ａのサーバ負荷のいずれかが所定の閾値を越えた場合に、その所定の閾値を超えた処理サーバ１０Ａの識別子と、最もサーバ負荷の低い処理サーバ１０Ａの識別子とを抽出し、監視情報として振り分け処理部１１１Ａに出力する。   Further, when the server load monitoring unit 117 is the master, the server load monitoring unit 117 refers to the server load information 500 stored in the storage unit 13 and any of the server loads of each processing server 10A exceeds a predetermined threshold. Then, the identifier of the processing server 10A exceeding the predetermined threshold and the identifier of the processing server 10A with the lowest server load are extracted and output to the distribution processing unit 111A as monitoring information.

振り分け処理部１１１Ａは、監視情報を取得すると、記憶部１３内の子装置・サーバ対応情報２００（図４）において、所定の閾値を超えた処理サーバ１０Ａが収容する子装置３０の中から任意の子装置３０を選択し、最もサーバ負荷の低い処理サーバ１０が担当するように変更する（仮想空間上の値２０１を書き換える）。そして、振り分け処理部１１１Ａは、変更した子装置・サーバ対応情報２００を、自身以外の他の処理サーバ１０Ａそれぞれに送信することにより、各処理サーバ１０Ａにおいて、子装置・サーバ対応情報２００を更新させる。   When the distribution processing unit 111A acquires the monitoring information, in the child device / server correspondence information 200 (FIG. 4) in the storage unit 13, the distribution processing unit 111A selects any of the child devices 30 accommodated by the processing server 10A exceeding a predetermined threshold. The child device 30 is selected and changed so that the processing server 10 with the lowest server load is in charge (rewrites the value 201 in the virtual space). Then, the distribution processing unit 111A transmits the changed child device / server correspondence information 200 to each of the other processing servers 10A other than itself, thereby updating the child device / server correspondence information 200 in each processing server 10A. .

具体的には、図７に示すように、処理サーバ「１」のＣＰＵ使用率が高く、処理サーバ１０Ａの中で処理サーバ「３」のＣＰＵ使用率が最も低い場合に、処理サーバ「１」のＣＰＵ使用率が所定の閾値を超えたとする。このとき、各処理サーバ１０Ａが記憶する子装置・サーバ対応情報２００（図４）の処理サーバ「１」が担当する子装置３０の中から任意の子装置３０（ここでは、子装置「６」）を選択し、その子装置「６」（子装置識別子１０２が「６」）に対応する仮想空間上の値２０１（ここでは、「ａａｃ」）を、処理サーバ「３」が担当する値（「ｃｃａ」）に変更する。
このようにすることで、子装置「６」が収容する端末群「６」の端末からの要求信号の処理を、ＣＰＵ使用率が高い処理サーバ「１」から、ＣＰＵ使用率が最も低い処理サーバ「３」に変更することができる。 Specifically, as illustrated in FIG. 7, when the CPU usage rate of the processing server “1” is high and the CPU usage rate of the processing server “3” is the lowest among the processing servers 10A, the processing server “1”. CPU usage rate exceeds a predetermined threshold. At this time, any child device 30 (here, child device “6”) is selected from among the child devices 30 in charge of the processing server “1” of the child device / server correspondence information 200 (FIG. 4) stored in each processing server 10A. ) And a value 201 (here, “aac”) in the virtual space corresponding to the child device “6” (the child device identifier 102 is “6”), the value (“ cca ").
In this way, the processing of request signals from the terminals of the terminal group “6” accommodated by the child device “6” is performed from the processing server “1” having the highest CPU usage rate to the processing server having the lowest CPU usage rate. It can be changed to “3”.

なお、振り分け処理部１１１Ａにより、子装置・サーバ対応情報２００の変更が行われた場合、データ管理部１１３は、原本データおよび複製データの再配置が必要か否かを判定し、必要な場合には、原本データおよび複製データの再配置処理を実行する。また、この再配置に伴い、データ管理部１１３（子装置情報処理部１１６）は、子装置情報４００の原本および複製の再配置も実行する。
また、振り分け処理部１１１Ａは、子装置・サーバ対応情報２００の変更が行われた直後においては、原本データ、複製データ、および、子装置情報（原本・複製）の再配置処理が完了するまで、選択した子装置３０（図７では、子装置「６」）からの新たな要求信号は受け付けないようにしてもよい。さらに、選択した子装置３０（図７では、子装置「６」）のサービス（セッション）がすべて終了するのを待って、原本データ、複製データ、および、子装置情報（原本・複製）の再配置処理を開始するようにしてもよい。 When the distribution device 111A changes the child device / server correspondence information 200, the data management unit 113 determines whether or not the original data and the duplicated data need to be rearranged. Executes a rearrangement process of the original data and the duplicated data. Further, along with this rearrangement, the data management unit 113 (child device information processing unit 116) also performs rearrangement of the original and duplicate of the child device information 400.
Further, immediately after the change of the child device / server correspondence information 200 is performed, the distribution processing unit 111A waits until the rearrangement processing of the original data, the duplicate data, and the child device information (original / replicated) is completed. A new request signal from the selected child device 30 (the child device “6” in FIG. 7) may not be accepted. Further, after all the services (sessions) of the selected child device 30 (child device “6” in FIG. 7) are finished, the original data, the duplicate data, and the child device information (original / replicated) are re-restored. The arrangement process may be started.

また、本実施形態の第１の変形例においては、サーバ負荷監視部１１７（サーバ負荷監視手段）およびサーバ負荷情報５００を、処理サーバ１０Ａのうちから決定されたマスタが備える構成として説明した。しかしながら、本発明はこれに限定されず、例えば、各処理サーバ１０Ａと通信可能に接続されたサーバ負荷監視装置（不図示）を設け、このサーバ負荷監視装置に、サーバ負荷監視部１１７（サーバ負荷監視手段）およびサーバ負荷情報５００を備えさせる。そして、サーバ負荷監視装置が各処理サーバ１０Ａの負荷を監視し、所定の閾値を超えた場合に、サーバ負荷監視装置からの指示に基づき、各処理サーバ１０Ａの振り分け処理部１１１Ａが、子装置・サーバ対応情報２００（図４）を変更するようにしてもよい。   Further, in the first modification example of the present embodiment, the server load monitoring unit 117 (server load monitoring unit) and the server load information 500 have been described as the configurations included in the master determined from the processing server 10A. However, the present invention is not limited to this. For example, a server load monitoring device (not shown) connected to be communicable with each processing server 10A is provided, and the server load monitoring device 117 (server load) is provided in this server load monitoring device. Monitoring means) and server load information 500. Then, when the server load monitoring device monitors the load of each processing server 10A and exceeds a predetermined threshold value, the distribution processing unit 111A of each processing server 10A determines whether the child device, The server correspondence information 200 (FIG. 4) may be changed.

このようにすることにより、本実施形態の第１の変形例に係る処理サーバ１０Ａを含む分散処理システム１０００によれば、端末の収容位置に基づき処理サーバ１０Ａを決定し、収容分散が必要なアプリケーションやサービスのデプロイを可能とすることができる。また、各処理サーバ１０Ａのサーバ負荷の情報（サーバ負荷情報５００）に基づき、子装置３０の収容替えを自律で行い、各処理サーバ１０Ａの負荷を分散することができる。   By doing in this way, according to the distributed processing system 1000 including the processing server 10A according to the first modification of the present embodiment, the processing server 10A is determined based on the terminal storage location, and the application that needs to be distributed. And can deploy services. Further, based on the server load information (server load information 500) of each processing server 10A, it is possible to autonomously change the accommodation of the child devices 30 and distribute the load of each processing server 10A.

≪本実施形態の第２の変形例≫
次に、本実施形態の処理サーバ１０を含む分散処理システム１０００の第２の変形例について説明する。
本実施形態の第２の変形例に係る処理サーバ１０Ｂを含む分散処理システム１０００は、第１の変形例と同様に、マスタとなる処理サーバ１０Ｂが、各処理サーバ１０Ｂのサーバ負荷（例えば、ＣＰＵ使用率やメモリ使用率）を監視する。そして、処理サーバ１０Ｂのうちのいずれかのサーバ負荷が所定の閾値を超えた場合に、各処理サーバ１０Ｂに記憶されている子装置・サーバ対応情報２００（図４）において、所定の閾値を超えた処理サーバ１０Ｂが担当している任意の子装置３０の仮想空間上の値２０１を変更し、その子装置３０の子装置情報（複製）を記憶する処理サーバ１０Ｂ（複製サーバ）が担当するようにする。
このようにすることにより、本実施形態の第２の変形例に係る処理サーバ１０Ｂを含む分散処理システム１０００によれば、既に原本データの複製データおよび子装置情報（複製）を記憶する処理サーバ１０Ｂ（複製サーバ）に子装置３０の収容替えを行うため、収容替えを迅速に、かつ、自律で行い、処理サーバ１０Ｂの負荷を分散することができる。 << Second Modification of the Present Embodiment >>
Next, a second modification of the distributed processing system 1000 including the processing server 10 of this embodiment will be described.
In the distributed processing system 1000 including the processing server 10B according to the second modified example of the present embodiment, the master processing server 10B has a server load (for example, a CPU) of each processing server 10B, as in the first modified example. Monitor usage and memory usage). Then, when any server load of the processing servers 10B exceeds a predetermined threshold, the child device / server correspondence information 200 (FIG. 4) stored in each processing server 10B exceeds the predetermined threshold. The processing server 10B (replication server) that changes the value 201 in the virtual space of any child device 30 that the processing server 10B is in charge of and stores the child device information (replication) of the child device 30 is in charge. To do.
In this way, according to the distributed processing system 1000 including the processing server 10B according to the second modification of the present embodiment, the processing server 10B that already stores the copy data of the original data and the child device information (replication). Since the child device 30 is accommodated in the (replication server), the accommodation change can be performed quickly and autonomously, and the load on the processing server 10B can be distributed.

図８は、本実施形態の第２の変形例に係る処理サーバ１０Ｂの構成例を示す機能ブロック図である。
図６に示した本実施形態の第１の変形例に係る処理サーバ１０Ａとの違いは、図８に示す本実施形態の第２の変形例に係る処理サーバ１０Ｂにおいては、図６の振り分け処理部１１１Ａが振り分け処理部１１１Ｂとなっていることである。他の構成については、図６に示した構成と同一の機能を備えるものであるため、図６と同一の名称と同一の符号を付し、説明を省略する。 FIG. 8 is a functional block diagram illustrating a configuration example of the processing server 10B according to the second modification of the present embodiment.
The difference from the processing server 10A according to the first modification example of the present embodiment shown in FIG. 6 is that the processing server 10B according to the second modification example of the present embodiment shown in FIG. The part 111A is the distribution processing part 111B. The other configurations have the same functions as those shown in FIG. 6, and therefore, the same names and the same reference numerals as those in FIG.

振り分け処理部１１１Ｂは、自身がマスタである場合に、サーバ負荷監視部１１７から、サーバ負荷が所定の閾値を超えた処理サーバ１０Ｂを示す監視情報を取得する。そして、振り分け処理部１１１Ｂは、記憶部１３内の子装置・サーバ対応情報２００（図４）を参照し、所定の閾値を超えた処理サーバ１０Ｂが担当する子装置３０の中から任意の子装置３０を選択する。そして、振り分け処理部１１１Ｂは、その選択した子装置３０の子装置情報（複製）を記憶する処理サーバ１０Ｂ（複製サーバ）を、選択した子装置３０を担当する処理サーバ１０Ｂに変更する（仮想空間上の値２０１を書き換える）。そして、振り分け処理部１１１Ｂは、変更した子装置・サーバ対応情報２００を、自身以外の他の処理サーバ１０Ｂそれぞれに送信することにより、各処理サーバ１０Ｂにおいて、子装置・サーバ対応情報２００を更新させる。   When the distribution processing unit 111B is a master, the distribution processing unit 111B acquires, from the server load monitoring unit 117, monitoring information indicating the processing server 10B whose server load exceeds a predetermined threshold. Then, the distribution processing unit 111B refers to the child device / server correspondence information 200 (FIG. 4) in the storage unit 13, and selects any child device from among the child devices 30 in charge of the processing server 10B exceeding a predetermined threshold. Select 30. Then, the distribution processing unit 111B changes the processing server 10B (replication server) that stores the child device information (replication) of the selected child device 30 to the processing server 10B in charge of the selected child device 30 (virtual space). Rewrite the value 201 above). Then, the distribution processing unit 111B updates the child device / server correspondence information 200 in each processing server 10B by transmitting the changed child device / server correspondence information 200 to each of the other processing servers 10B other than itself. .

具体的には、図９に示すように、処理サーバ「１」のＣＰＵ使用率が高く、処理サーバ「１」のＣＰＵ使用率が所定の閾値を超えたとする。このとき、各処理サーバ１０Ｂが記憶する子装置・サーバ対応情報２００（図４）の処理サーバ「１」が担当する子装置３０の中から任意の子装置３０（ここでは、子装置「６」）を選択し、その子装置「６」（子装置識別子１０２が「６」）に対応する仮想空間上の値２０１（ここでは、「ａａｃ」）を、その子装置「６」の子装置情報（複製）を記憶する処理サーバ「２」の仮想空間上の値２０１（「ｂｂａ」）に変更する。
このようにすることで、子装置「６」が収容する端末群「６」の端末からの要求信号の処理を、ＣＰＵ使用率が高い処理サーバ「１」から、その子装置「６」の子装置情報（複製）を記憶する処理サーバ「２」に変更することができる。 Specifically, as illustrated in FIG. 9, it is assumed that the CPU usage rate of the processing server “1” is high and the CPU usage rate of the processing server “1” exceeds a predetermined threshold. At this time, any child device 30 (here, child device “6”) is selected from among the child devices 30 in charge of the processing server “1” of the child device / server correspondence information 200 (FIG. 4) stored in each processing server 10B. ) And the value 201 (here, “aac”) in the virtual space corresponding to the child device “6” (the child device identifier 102 is “6”) is the child device information (replicated) of the child device “6”. ) To the value 201 (“bba”) in the virtual space of the processing server “2” that stores “”.
By doing in this way, the processing of the request signal from the terminal of the terminal group “6” accommodated by the child device “6” is performed from the processing server “1” having a high CPU usage rate to the child device of the child device “6”. The processing server can be changed to “2” that stores information (replication).

なお、本実施形態の第１の変形例と同様に、振り分け処理部１１１Ｂにより、子装置・サーバ対応情報２００（図４）の変更が行われた場合、データ管理部１１３は、複製データの再配置が必要か否かを判定し、必要な場合には、複製データの再配置処理を実行する。また、データ管理部１１３は、自身が複製データを記憶する処理サーバ１０Ｂから原本データを記憶する処理サーバ１０Ｂに変更となった場合は、記憶している複製データを原本データとする。また、この再配置に伴い、データ管理部１１３（子装置情報処理部１１６）は、子装置情報（複製）の再配置も実行し、自身が複製データを記憶する処理サーバ１０Ｂ（複製サーバ）から原本データを記憶する処理サーバ１０Ｂに変更となった場合は、子装置情報（複製）を子装置情報（原本）として記憶する。
また、振り分け処理部１１１Ｂは、子装置・サーバ対応情報２００の変更が行われた直後においては、複製データ、および、子装置情報（複製）の再配置処理が完了するまで、選択した子装置３０（図７では、子装置「６」）からの新たな要求信号は受け付けないようにしてもよい。さらに、選択した子装置３０（図７では、子装置「６」）のサービス（セッション）がすべて終了するのを待って、複製データ、および、子装置情報（複製）の再配置処理を開始するようにしてもよい。 As in the first modification of the present embodiment, when the distribution processing unit 111B changes the child device / server correspondence information 200 (FIG. 4), the data management unit 113 re-creates the duplicate data. It is determined whether or not the arrangement is necessary. If necessary, the relocation process of the duplicate data is executed. In addition, when the data management unit 113 changes from the processing server 10B that stores the replicated data to the processing server 10B that stores the original data, the data management unit 113 sets the stored replicated data as the original data. Along with this rearrangement, the data management unit 113 (child device information processing unit 116) also executes rearrangement of the child device information (replication), and from the processing server 10B (replication server) that itself stores the replicated data. When the processing server 10B stores the original data, the child device information (replica) is stored as the child device information (original).
Further, immediately after the child device / server correspondence information 200 is changed, the distribution processing unit 111B selects the selected child device 30 until the relocation processing of the duplicate data and the child device information (replication) is completed. A new request signal from the child device “6” in FIG. 7 may not be accepted. Further, after all the services (sessions) of the selected child device 30 (child device “6” in FIG. 7) are completed, the relocation processing of the replicated data and the child device information (replication) is started. You may do it.

また、本実施形態の第２の変形例においても、サーバ負荷監視部１１７およびサーバ負荷情報５００を、各処理サーバ１０Ｂと通信可能に接続されたサーバ負荷監視装置（不図示）に備えさせてもよい。その場合、サーバ負荷監視装置が各処理サーバ１０Ｂの負荷を監視し、所定の閾値を超えたときに、サーバ負荷監視装置からの指示に基づき、各処理サーバ１０Ｂの振り分け処理部１１１Ｂが、子装置・サーバ対応情報２００（図４）を変更する。   Also in the second modification of the present embodiment, the server load monitoring unit 117 and the server load information 500 may be provided in a server load monitoring device (not shown) connected to be communicable with each processing server 10B. Good. In that case, when the server load monitoring device monitors the load of each processing server 10B and exceeds a predetermined threshold value, the distribution processing unit 111B of each processing server 10B is configured as a child device based on an instruction from the server load monitoring device. Change the server correspondence information 200 (FIG. 4).

このようにすることにより、本実施形態の第２の変形例に係る処理サーバ１０Ｂを含む分散処理システム１０００によれば、端末の収容位置に基づき処理サーバ１０Ｂを決定し、収容分散が必要なアプリケーションやサービスのデプロイを可能とすることができる。また、既に原本データの複製データおよび子装置情報（複製）を記憶する処理サーバ１０Ｂに子装置３０の収容替えを行うため、収容替えを迅速に、かつ、自律で行い、処理サーバ１０Ｂの負荷を分散することができる。   By doing in this way, according to the distributed processing system 1000 including the processing server 10B according to the second modification of the present embodiment, the processing server 10B is determined based on the terminal storage location, and the application that needs to be distributed. And can deploy services. Further, since the child device 30 is accommodated in the processing server 10B that already stores the copy data of the original data and the child device information (duplicate), the accommodation change is performed quickly and autonomously, and the load on the processing server 10B is reduced. Can be dispersed.

１０，１０Ａ，１０Ｂ 処理サーバ（分散データ管理装置）
２０ ロードバランサ
３０ 子装置
４０ 端末群
１１ 制御部
１２ 入出力部
１３ 記憶部
１００ 端末・子装置対応情報
１１１，１１１Ａ，１１１Ｂ 振り分け処理部
１１２ 信号処理部
１１３ データ管理部
１１４ 原本データ処理部
１１５ 複製データ処理部
１１６ 子装置情報処理部
１１７ サーバ負荷監視部（サーバ負荷監視手段）
２００ 子装置・サーバ対応情報
３００ データ
４００ 子装置情報
５００ サーバ負荷情報 10, 10A, 10B Processing server (distributed data management device)
20 load balancer 30 slave device 40 terminal group 11 control unit 12 input / output unit 13 storage unit 100 terminal / slave device correspondence information 111, 111A, 111B distribution processing unit 112 signal processing unit 113 data management unit 114 original data processing unit 115 replicated data Processing unit 116 Child device information processing unit 117 Server load monitoring unit (server load monitoring means)
200 Child device / server correspondence information 300 Data 400 Child device information 500 Server load information

Claims (9)

複数の端末を収容する子装置それぞれと、前記端末が送信した要求信号を、前記子装置を介して受信して信号処理する複数の分散データ管理装置とを備える分散処理システムであって、
前記分散データ管理装置は、
前記端末の識別子と前記子装置の識別子とを対応付ける端末・子装置対応情報、および、前記子装置の識別子と前記分散データ管理装置の識別子とを対応付ける子装置・サーバ対応情報を記憶する記憶部と、
前記子装置を介して前記端末が送信した要求信号を受信した場合に、前記端末・子装置対応情報を参照し、前記要求信号を送信した端末を収容する前記子装置を特定し、前記特定した子装置に基づき、前記子装置・サーバ対応情報を参照し、当該要求信号の信号処理を担当する前記分散データ管理装置を決定し、前記決定した分散データ管理装置が他の分散データ管理装置であるならば、前記決定した他の分散データ管理装置に前記要求信号を送信する振り分け処理部と、
他の前記分散データ管理装置から前記要求信号を受信し、前記子装置の状態を示す子装置情報に基づき前記要求信号の信号処理を実行し、前記信号処理の処理結果を原本データとして生成するとともに、実行した当該信号処理に応じて前記子装置情報を更新する信号処理部と、
生成した前記原本データの複製である複製データと、更新した前記子装置情報の複製とを、予め設定された複製先決定ロジックに基づき決定した自身以外の分散データ管理装置に送信して記憶させるデータ管理部と、
を備えることを特徴とする分散処理システム。 A distributed processing system comprising: a plurality of slave devices each accommodating a plurality of terminals; and a plurality of distributed data management devices that receive and process request signals transmitted by the terminals via the slave devices,
The distributed data management device includes:
A storage unit for storing terminal / child device correspondence information that associates the identifier of the terminal and the identifier of the child device, and child device / server correspondence information that associates the identifier of the child device and the identifier of the distributed data management device; ,
When the request signal transmitted by the terminal is received via the slave device, the slave device accommodating the terminal that transmitted the request signal is identified by referring to the terminal / slave device correspondence information, and the identified based on the child device, refer to the child device server correspondence information, determines a pre-Symbol distributed data management apparatus in charge of the signal processing of the request signal, the determined distributed data management device other distributed data management device if it is, a distribution processing unit that transmits the request signal to other distributed data management apparatus the determined,
Receiving the request signal from another distributed data management device, executing signal processing of the request signal based on child device information indicating the state of the child device, and generating a processing result of the signal processing as original data A signal processing unit that updates the child device information according to the signal processing performed;
Data to be transmitted and stored in the distributed data management device other than itself determined based on the replication destination determination logic set in advance, the replication data that is a copy of the generated original data and the updated copy of the child device information The management department,
A distributed processing system comprising: 前記分散処理システムは、
前記複数の分散データ管理装置それぞれのサーバ負荷の情報を取得して、サーバ負荷情報として記憶するとともに、前記分散データ管理装置の前記サーバ負荷のいずれかが所定の閾値を超えた場合に、前記所定の閾値を超えた分散データ管理装置の識別子と、前記サーバ負荷情報を参照して前記サーバ負荷が最も低い分散データ管理装置の識別子とを抽出し、前記分散データ管理装置の前記振り分け処理部に出力するサーバ負荷監視手段をさらに備え、
前記分散データ管理装置の前記振り分け処理部は、前記子装置・サーバ対応情報について、前記所定の閾値を超えた分散データ管理装置の識別子に対応付けられた前記子装置の識別子を、前記サーバ負荷が最も低い分散データ管理装置の識別子に対応付けるように変更すること、
を特徴とする請求項１に記載の分散処理システム。 The distributed processing system includes:
The server load information of each of the plurality of distributed data management devices is acquired and stored as server load information, and when any of the server loads of the distributed data management device exceeds a predetermined threshold, the predetermined And the identifier of the distributed data management device having the lowest server load with reference to the server load information is extracted and output to the distribution processing unit of the distributed data management device Server load monitoring means for
The distribution processing unit of the distributed data management device uses the identifier of the child device associated with the identifier of the distributed data management device that exceeds the predetermined threshold for the child device / server correspondence information as the server load. Change to match the identifier of the lowest distributed data management device,
The distributed processing system according to claim 1. 前記分散処理システムは、
前記複数の分散データ管理装置それぞれのサーバ負荷の情報を取得して、サーバ負荷情報として記憶するとともに、前記分散データ管理装置の前記サーバ負荷のいずれかが所定の閾値を超えた場合に、前記所定の閾値を超えた分散データ管理装置の識別子を、前記分散データ管理装置の前記振り分け処理部に出力するサーバ負荷監視手段をさらに備え、
前記分散データ管理装置の前記振り分け処理部は、前記子装置・サーバ対応情報について、前記所定の閾値を超えた分散データ管理装置の識別子に対応付けられた前記子装置の識別子を、当該対応付けられた子装置の前記子装置情報の複製を記憶する分散処理データ管理装置の識別子に対応付けるように変更すること、
を特徴とする請求項１に記載の分散処理システム。 The distributed processing system includes:
The server load information of each of the plurality of distributed data management devices is acquired and stored as server load information, and when any of the server loads of the distributed data management device exceeds a predetermined threshold, the predetermined Further comprising server load monitoring means for outputting the identifier of the distributed data management device exceeding the threshold value to the distribution processing unit of the distributed data management device,
The distribution processing unit of the distributed data management system, the child device server correspondence information, an identifier of the predetermined said terminal device associated with the identifier of the distributed data management device exceeding the threshold, given the corresponding It was mapped to the identifier of the replication you store distributed processing data management system of slave device information of the child device as changing,
The distributed processing system according to claim 1. 複数の端末を収容する子装置それぞれと、前記端末が送信した要求信号を、前記子装置を介して受信して信号処理する複数の分散データ管理装置とを備える分散処理システムの前記分散データ管理装置であって、
前記端末の識別子と前記子装置の識別子とを対応付ける端末・子装置対応情報、および、前記子装置の識別子と前記分散データ管理装置の識別子とを対応付ける子装置・サーバ対応情報を記憶する記憶部と、
前記子装置を介して前記端末が送信した要求信号を受信した場合に、前記端末・子装置対応情報を参照し、前記要求信号を送信した端末を収容する前記子装置を特定し、前記特定した子装置に基づき、前記子装置・サーバ対応情報を参照し、当該要求信号の信号処理を担当する前記分散データ管理装置を決定し、前記決定した分散データ管理装置が他の分散データ管理装置であるならば、前記決定した他の分散データ管理装置に前記要求信号を送信する振り分け処理部と、
他の前記分散データ管理装置から前記要求信号を受信し、前記子装置の状態を示す子装置情報に基づき前記要求信号の信号処理を実行し、前記信号処理の処理結果を原本データとして生成するとともに、実行した当該信号処理に応じて前記子装置情報を更新する信号処理部と、
生成した前記原本データの複製である複製データと、更新した前記子装置情報の複製とを、予め設定された複製先決定ロジックに基づき決定した自身以外の分散データ管理装置に送信して記憶させるデータ管理部と、
を備えることを特徴とする分散データ管理装置。 The distributed data management device of a distributed processing system comprising: a plurality of slave devices each accommodating a plurality of terminals; and a plurality of distributed data management devices that receive and process request signals transmitted by the terminals via the slave devices Because
A storage unit for storing terminal / child device correspondence information that associates the identifier of the terminal and the identifier of the child device, and child device / server correspondence information that associates the identifier of the child device and the identifier of the distributed data management device; ,
When the request signal transmitted by the terminal is received via the slave device, the slave device accommodating the terminal that transmitted the request signal is identified by referring to the terminal / slave device correspondence information, and the identified based on the child device, refer to the child device server correspondence information, determines a pre-Symbol distributed data management apparatus in charge of the signal processing of the request signal, the determined distributed data management device other distributed data management device if it is, a distribution processing unit that transmits the request signal to other distributed data management apparatus the determined,
Receiving the request signal from another distributed data management device, executing signal processing of the request signal based on child device information indicating the state of the child device, and generating a processing result of the signal processing as original data A signal processing unit that updates the child device information according to the signal processing performed;
Data to be transmitted and stored in the distributed data management device other than itself determined based on the replication destination determination logic set in advance, the replication data that is a copy of the generated original data and the updated copy of the child device information The management department,
A distributed data management device comprising: 前記複数の分散データ管理装置それぞれのサーバ負荷の情報を取得して、サーバ負荷情報として記憶するとともに、前記分散データ管理装置の前記サーバ負荷のいずれかが所定の閾値を超えた場合に、前記所定の閾値を超えた分散データ管理装置の識別子と、前記サーバ負荷情報を参照して前記サーバ負荷が最も低い分散データ管理装置の識別子とを抽出し、前記振り分け処理部に出力するサーバ負荷監視部をさらに備え、
前記振り分け処理部は、前記子装置・サーバ対応情報について、前記所定の閾値を超えた分散データ管理装置の識別子に対応付けられた前記子装置の識別子を、前記サーバ負荷が最も低い分散データ管理装置の識別子に対応付けるように変更すること、
を特徴とする請求項４に記載の分散データ管理装置。 The server load information of each of the plurality of distributed data management devices is acquired and stored as server load information, and when any of the server loads of the distributed data management device exceeds a predetermined threshold, the predetermined A server load monitoring unit that extracts an identifier of the distributed data management device that exceeds a threshold value of the data and an identifier of the distributed data management device having the lowest server load with reference to the server load information, and outputs the identifier to the distribution processing unit; In addition,
The distribution processing unit uses the identifier of the child device associated with the identifier of the distributed data management device that exceeds the predetermined threshold for the child device / server correspondence information, as a distributed data management device with the lowest server load. Change to match the identifier of
The distributed data management apparatus according to claim 4. 前記複数の分散データ管理装置それぞれのサーバ負荷の情報を取得して、サーバ負荷情報として記憶するとともに、前記分散データ管理装置の前記サーバ負荷のいずれかが所定の閾値を超えた場合に、前記所定の閾値を超えた分散データ管理装置の識別子を、前記振り分け処理部に出力するサーバ負荷監視部をさらに備え、
前記振り分け処理部は、前記子装置・サーバ対応情報について、前記所定の閾値を超えた分散データ管理装置の識別子に対応付けられた前記子装置の識別子を、当該対応付けられた子装置の前記子装置情報の複製を記憶する分散処理データ管理装置の識別子に対応付けるように変更すること、
を特徴とする請求項４に記載の分散データ管理装置。 The server load information of each of the plurality of distributed data management devices is acquired and stored as server load information, and when any of the server loads of the distributed data management device exceeds a predetermined threshold, the predetermined Further comprising a server load monitoring unit that outputs the identifier of the distributed data management device exceeding the threshold value to the distribution processing unit,
The distribution processing unit, for the child device / server correspondence information, assigns an identifier of the child device associated with an identifier of the distributed data management device exceeding the predetermined threshold to the child device of the associated child device. be modified to associate a copy of device information identifier to that distributed processing data management apparatus stores,
The distributed data management apparatus according to claim 4. 複数の端末を収容する子装置それぞれと、前記端末が送信した要求信号を、前記子装置を介して受信して信号処理する複数の分散データ管理装置とを備える分散処理システムの分散データ管理方法であって、
前記分散データ管理装置は、
前記端末の識別子と前記子装置の識別子とを対応付ける端末・子装置対応情報、および、前記子装置の識別子と前記分散データ管理装置の識別子とを対応付ける子装置・サーバ対応情報を記憶する記憶部を備えており、
前記子装置を介して前記端末が送信した要求信号を受信した場合に、前記端末・子装置対応情報を参照し、前記要求信号を送信した端末を収容する前記子装置を特定し、前記特定した子装置に基づき、前記子装置・サーバ対応情報を参照し、当該要求信号の信号処理を担当する前記分散データ管理装置を決定し、前記決定した分散データ管理装置が他の分散データ管理装置であるならば、前記決定した他の分散データ管理装置に前記要求信号を送信するステップと、
他の前記分散データ管理装置から前記要求信号を受信し、前記子装置の状態を示す子装置情報に基づき前記要求信号の信号処理を実行し、前記信号処理の処理結果を原本データとして生成するとともに、実行した当該信号処理に応じて前記子装置情報を更新するステップと、
生成した前記原本データの複製である複製データと、更新した前記子装置情報の複製とを、予め設定された複製先決定ロジックに基づき決定した自身以外の分散データ管理装置に送信して記憶させるステップと、
を実行することを特徴とする分散データ管理方法。 A distributed data management method for a distributed processing system, comprising: a plurality of slave devices each accommodating a plurality of terminals; and a plurality of distributed data management devices that receive and process request signals transmitted from the terminals via the slave devices. There,
The distributed data management device includes:
A storage unit for storing terminal / child device correspondence information that associates the identifier of the terminal and the identifier of the child device, and child device / server correspondence information that associates the identifier of the child device and the identifier of the distributed data management device; With
When the request signal transmitted by the terminal is received via the slave device, the slave device accommodating the terminal that transmitted the request signal is identified by referring to the terminal / slave device correspondence information, and the identified based on the child device, refer to the child device server correspondence information, determines a pre-Symbol distributed data management apparatus in charge of the signal processing of the request signal, the determined distributed data management device other distributed data management device if it is, sending said request signal to other distributed data management apparatus the determined,
Receiving the request signal from another distributed data management device, executing signal processing of the request signal based on child device information indicating the state of the child device, and generating a processing result of the signal processing as original data Updating the child device information according to the signal processing performed;
A step of transmitting and storing the duplicate data that is a duplicate of the generated original data and the duplicate of the updated child device information to a distributed data management device other than itself determined based on a preset replication destination decision logic When,
The distributed data management method characterized by performing. 前記分散データ管理装置は、
前記複数の分散データ管理装置それぞれのサーバ負荷の情報を取得して、サーバ負荷情報として記憶するとともに、前記分散データ管理装置の前記サーバ負荷のいずれかが所定の閾値を超えた場合に、前記所定の閾値を超えた分散データ管理装置の識別子と、前記サーバ負荷情報を参照して前記サーバ負荷が最も低い分散データ管理装置の識別子とを抽出するステップと、
前記子装置・サーバ対応情報について、前記所定の閾値を超えた分散データ管理装置の識別子に対応付けられた前記子装置の識別子を、前記サーバ負荷が最も低い分散データ管理装置の識別子に対応付けるように変更するステップと、
を実行することを特徴とする請求項７に記載の分散データ管理方法。 The distributed data management device includes:
The server load information of each of the plurality of distributed data management devices is acquired and stored as server load information, and when any of the server loads of the distributed data management device exceeds a predetermined threshold, the predetermined Extracting the identifier of the distributed data management device exceeding the threshold value of the data, and the identifier of the distributed data management device having the lowest server load with reference to the server load information;
In the child device / server correspondence information, the identifier of the child device associated with the identifier of the distributed data management device exceeding the predetermined threshold is associated with the identifier of the distributed data management device having the lowest server load. Steps to change,
The distributed data management method according to claim 7, wherein: 前記分散データ管理装置は、
前記複数の分散データ管理装置それぞれのサーバ負荷の情報を取得して、サーバ負荷情報として記憶するとともに、前記分散データ管理装置の前記サーバ負荷のいずれかが所定の閾値を超えた場合に、前記所定の閾値を超えた分散データ管理装置の識別子を抽出するステップと、
前記子装置・サーバ対応情報について、前記所定の閾値を超えた分散データ管理装置の識別子に対応付けられた前記子装置の識別子を、当該対応付けられた子装置の前記子装置情報の複製を記憶する分散処理データ管理装置の識別子に対応付けるように変更するステップと、
を実行することを特徴とする請求項７に記載の分散データ管理方法。 The distributed data management device includes:
The server load information of each of the plurality of distributed data management devices is acquired and stored as server load information, and when any of the server loads of the distributed data management device exceeds a predetermined threshold, the predetermined Extracting the identifier of the distributed data management device exceeding the threshold of
For the child device server correspondence information, an identifier of the predetermined said terminal device associated with the identifier of the distributed data management apparatus exceeds a threshold, store a copy of the child device information of the corresponding Tagged child apparatus and changing to associate the identifier to that distributed processing data management unit,
The distributed data management method according to claim 7, wherein:
JP2014089276A 2014-04-23 2014-04-23 Distributed processing system, distributed data management apparatus, and distributed data management method Active JP6204256B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014089276A JP6204256B2 (en) 2014-04-23 2014-04-23 Distributed processing system, distributed data management apparatus, and distributed data management method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014089276A JP6204256B2 (en) 2014-04-23 2014-04-23 Distributed processing system, distributed data management apparatus, and distributed data management method

Publications (2)

Publication Number Publication Date
JP2015207256A JP2015207256A (en) 2015-11-19
JP6204256B2 true JP6204256B2 (en) 2017-09-27

Family

ID=54603990

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014089276A Active JP6204256B2 (en) 2014-04-23 2014-04-23 Distributed processing system, distributed data management apparatus, and distributed data management method

Country Status (1)

Country Link
JP (1) JP6204256B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6563807B2 (en) * 2015-12-25 2019-08-21 株式会社インターファクトリー Information processing system, information processing apparatus, processing control method, and processing control program
JP7388585B1 (en) 2023-03-17 2023-11-29 横河電機株式会社 Information processing device, information processing method, information processing program, and distributed control system

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3790166B2 (en) * 2002-02-06 2006-06-28 日本電信電話株式会社 IP telephone service providing method and system in provider IP network
JP4528039B2 (en) * 2004-06-29 2010-08-18 国立大学法人東京工業大学 Autonomous storage device, autonomous storage system, network load balancing program, and network load balancing method
JP4627461B2 (en) * 2005-07-14 2011-02-09 日本電信電話株式会社 Communication service control system, method and program
JP2007133665A (en) * 2005-11-10 2007-05-31 Hitachi Ltd Computer system, distributed processing method, computer and distributed processing program
JP5147601B2 (en) * 2008-08-22 2013-02-20 Ｋｄｄｉ株式会社 Billing method and system for identifying billing object packet using SIP server
JP5338555B2 (en) * 2009-08-11 2013-11-13 富士通株式会社 Load distribution apparatus, load distribution method, and load distribution program
JP5667517B2 (en) * 2011-06-03 2015-02-12 日本電信電話株式会社 Distribution method, distribution device, and distribution program

Also Published As

Publication number Publication date
JP2015207256A (en) 2015-11-19

Similar Documents

Publication Publication Date Title
CN105610632B (en) Virtual network equipment and related method
US10318550B2 (en) Systems and methods for autonomous resource discovery, management, and stitching
US20240176672A1 (en) Systems and methods providing serverless dns integration
CN108702316B (en) VNF resource allocation method and device
WO2015172362A1 (en) Network function virtualization network system, data processing method and device
CN107204873B (en) Method for switching target domain name resolution server and related equipment
US10250677B1 (en) Decentralized network address control
CN103945000A (en) Load balance method and load balancer
CN111049901B (en) Load balancing method, load balancing system and registration server
US9760370B2 (en) Load balancing using predictable state partitioning
CN111107611B (en) Method and device for selecting user plane function
US20160183229A1 (en) Ip phone network system, server apparatus, ip exchange and resource capacity expansion method
EP3261299A1 (en) Method and apparatus for establishing network service instance
JP6204256B2 (en) Distributed processing system, distributed data management apparatus, and distributed data management method
CN107959702B (en) Routing method and device
CN105554126A (en) Method for realizing distributed deployment of multiple data centers through CDN acceleration mechanism
CN108366087B (en) ISCSI service realization method and device based on distributed file system
EP4050850A1 (en) Service upgrading method, device and system
WO2016000303A1 (en) Resource allocation method and system, and computer storage medium
JP2016213604A (en) Communication device and management method
CN111385324A (en) Data communication method, device, equipment and storage medium
US10924575B2 (en) Automatic network management system and methods
CN113949631A (en) Client disaster tolerance processing method and system and electronic equipment
CN109936672B (en) Online charging method and device
CN113535402A (en) Load balancing processing method and device based on 5G MEC and electronic equipment

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160722

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170524

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170620

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170817

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170829

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170831

R150 Certificate of patent or registration of utility model

Ref document number: 6204256

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150