JP5969352B2 - 信号処理システム - Google Patents

信号処理システム Download PDF

Info

Publication number
JP5969352B2
JP5969352B2 JP2012233751A JP2012233751A JP5969352B2 JP 5969352 B2 JP5969352 B2 JP 5969352B2 JP 2012233751 A JP2012233751 A JP 2012233751A JP 2012233751 A JP2012233751 A JP 2012233751A JP 5969352 B2 JP5969352 B2 JP 5969352B2
Authority
JP
Japan
Prior art keywords
request
signal processing
data
processing server
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012233751A
Other languages
English (en)
Other versions
JP2014085800A (ja
Inventor
敦郎 古澤
敦郎 古澤
健 福元
健 福元
豪生 西村
豪生 西村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2012233751A priority Critical patent/JP5969352B2/ja
Publication of JP2014085800A publication Critical patent/JP2014085800A/ja
Application granted granted Critical
Publication of JP5969352B2 publication Critical patent/JP5969352B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、クライアント装置からの要求信号を処理する複数の信号処理サーバと、その要求信号に基づく処理を行う複数のデータ処理サーバとを備える信号処理システムに関する。
従来、クライアント装置からの要求信号を処理する信号処理サーバと、その要求信号に基づく処理を行うデータ処理サーバとをそれぞれ複数台配置するシステムが提案されている。このシステムにおいて、サーバ台数を増減させることで、システム全体の処理負荷の増減に対応することができる。このようなシステムにおいて、クライアント装置から信号処理サーバへの要求信号の振り分けは、例えば、信号振り分け装置が行い(特許文献1参照)、信号の振り分け方法としては、例えば、コンシステントハッシュを用いる方法が挙げられる(非特許文献1参照)。この方法は、受信した要求信号の要求するデータの識別子とハッシュ関数を用いてIDを計算し、計算したIDが、予め与えられたコンシステントハッシュのID空間においてどの領域に属するかにより、受信した信号をどのサーバに振り分けるか決定する方法である。前記した例でいうと、信号処理サーバへの信号振り分け装置は、要求信号に含まれるcall-ID等をもとに、コンシステントハッシュを用いてこの要求信号をどの信号処理サーバへ振り分けるか決定する。また、データ処理サーバへの信号振り分け装置は、信号処理サーバから出力された信号についてuser-ID等をもとに、コンシステントハッシュを用いてこの信号をどのデータ処理サーバへ振り分けるかを決定する。
特開2012−160075号公報
D. Karger, E. Lehman, T. Leighton, M. Levine, D. Lewin, and R. Panigrahy, "Consistent Hashing and Random Trees: Distributed Caching Protocols for Relieving Hot Spots on the World Wide Web," in Proceedings of the 29th ACM Symposium on Theory of Computing (STOC'97), May 1997 ,pp.654-663.
この信号処理サーバ群およびデータ処理サーバ群からなるシステムにおいて、要求信号の増加によりデータ処理サーバに輻輳が発生することがある。このような場合、どのようにして輻輳規制(リクエスト規制)を行うか、また、どのようにしてリクエスト規制を解除するかについては検討されていなかった。特に、リクエスト規制の解除については適切に行われないと、以下の様な問題点がある。すなわち、(1)規制対象の要求信号の受信数が充分に少ないのにかかわらずリクエスト規制が継続して行われていると、システムのパフォーマンスが必要以上に低下してしまうという問題点がある。また、(2)規制対象の要求信号の受信数が多いにもかかわらずリクエスト規制を解除すると、データ処理サーバにおいて再度輻輳が発生してしまうという問題点がある。そこで、本発明は、前記した問題を解決し、複数の信号処理サーバと複数のデータ処理サーバとを備えるシステムにおけるリクエスト規制およびリクエスト規制解除を適切に行うことを目的とする。
前記した課題を解決するため、請求項1に記載の発明は、クライアント装置からのデータ処理サーバへの要求信号を処理し、前記データ処理サーバへデータ要求を送信する複数の信号処理サーバと、前記データ要求に基づく処理を行う複数の前記データ処理サーバと、前記データ処理サーバにおける輻輳発生を判定する輻輳判定手段とを備える信号処理システムであって、前記データ処理サーバはそれぞれ、前記データ要求の対象となるデータを記憶するデータ記憶部を備え、身のデータ処理サーバのリソース使用率およびデータ要求数の少なくともいずれか一方が所定の閾値以上となったとき、輻輳が発生したと判定し、前記輻輳判定手段へ輻輳発生通知を送信し、前記リソース使用率が前記所定の閾値未満となったとき、輻輳が低減したと判定し、前記輻輳判定手段へリソース使用率条件充足通知を送信し、前記輻輳判定手段は、前記信号処理サーバの識別情報を示したサーバ情報を記憶する記憶部を備え、前記データ処理サーバからの輻輳発生通知を受信したとき、前記信号処理サーバそれぞれに対し、規制対象とする前記要求信号の種別を示したリクエスト規制指示を送信し、前記信号処理サーバはそれぞれ、前記リクエスト規制指示を受信したとき、前記規制対象の要求信号を受信しても、前記要求信号に基づく処理を実行しないリクエスト規制を行い、前記リクエスト規制指示を受信した信号処理サーバのうち代表として設定されている1台の信号処理サーバが、前記リクエスト規制中、所定期間ごとに、自身の信号処理サーバにおける前記規制対象の要求信号の受信数をカウントし、以下の式(1)を満たすとき、前記輻輳判定手段へリクエスト数条件充足通知を送信し、前記輻輳判定手段は、前記データ処理サーバからリソース使用率条件充足通知を受信し、かつ、前記信号処理サーバからのリクエスト数条件充足通知を受信したとき、前記信号処理サーバそれぞれへのリクエスト規制指示を解除する。
α×自身の信号処理サーバにおける時間あたりの前記規制対象の要求信号の受信数×すべての前記信号処理サーバのうち、自身の信号処理サーバへ前記要求信号が振り分けられる割合の逆数<C…式(1)
但し、αは前記信号処理サーバへの1つの要求信号に対し、前記データ処理サーバへ送信するデータ要求の数であり、Cは所定の閾値とする。
このように信号処理システムのデータ処理サーバに輻輳が発生したとき、信号処理サーバは、自身の信号処理サーバで受信した規制対象の要求信号数を用いて、データ処理サーバにおけるデータ要求数の合計値を推定する。そして、この推定したデータ要求数の合計値を用いて、リクエスト規制の解除を行ってもよい程度に要求信号数が低下したか否かの判定(リクエスト数条件充足判定)を行う。これにより、信号処理システムにおいてリクエスト規制およびリクエスト規制解除を適切に行うことができる。また、リクエスト規制およびリクエスト規制解除は、データ処理サーバではなく、信号処理サーバ側で行うので、輻輳が発生したデータ処理サーバに負荷を与えないようにできる。
請求項2に記載の発明は、請求項1に記載の信号処理システムの輻輳判定手段が、前記輻輳が発生したデータ処理サーバへの要求信号を、前記規制対象の要求信号とする。
このようにすることで、輻輳判定手段は、輻輳が発生したデータ処理サーバへのデータ要求のもととなる要求信号をリクエスト規制の対象とすることができる。
請求項3に記載の発明は、請求項1または請求項2に記載の信号処理システムにおいて、前記式(1)を満たすか否かを判定するリクエスト数条件充足判定を行う信号処理サーバは、前記輻輳判定手段により選択されたいずれか1台の信号処理サーバである。
このようにすることで、信号処理サーバは、各データ処理サーバにおけるデータ要求数の合計値の推定値を求めるとき、比較的簡単に求めることができる。
請求項4に記載の発明は、請求項3に記載の信号処理システムの前記輻輳判定手段により選択された信号処理サーバが、前記信号処理サーバのうち所定の処理能力が最も高いサーバである。
このようにすることで、信号処理システムの信号処理サーバのうち、比較的処理能力が高い、つまり、処理能力に余裕のある可能性が高い信号処理サーバがリクエスト数条件充足判定を行うので、リクエスト数条件充足判定を確実に行うことができる。
請求項5に記載の発明は、クライアント装置からのデータ処理サーバへの要求信号を処理し、前記データ処理サーバへデータ要求を送信する複数の信号処理サーバと、前記データ要求に基づく処理を行う複数の前記データ処理サーバと、前記データ処理サーバにおける輻輳発生を判定する輻輳判定手段とを備える信号処理システムであって、前記データ処理サーバはそれぞれ、前記データ要求の対象となるデータを記憶するデータ記憶部を備え、自身のデータ処理サーバのリソース使用率およびデータ要求数の少なくともいずれか一方が所定の閾値以上となったとき、輻輳が発生したと判定し、前記輻輳判定手段へ輻輳発生通知を送信し、前記リソース使用率が前記所定の閾値未満となったとき、輻輳が低減したと判定し、前記輻輳判定手段へリソース使用率条件充足通知を送信し、前記輻輳判定手段は、前記信号処理サーバの識別情報を示したサーバ情報を記憶する記憶部を備え、前記データ処理サーバからの輻輳発生通知を受信したとき、前記信号処理サーバそれぞれに対し、規制対象とする前記要求信号の種別を示したリクエスト規制指示を送信し、前記信号処理サーバはそれぞれ、前記リクエスト規制指示を受信したとき、前記規制対象の要求信号を受信しても、前記要求信号に基づく処理を実行しないリクエスト規制を行い、前記リクエスト規制指示を受信した信号処理サーバのうち代表として設定されている1台の信号処理サーバは、前記リクエスト規制中、所定期間ごとに、自身の信号処理サーバにおける前記規制対象の要求信号の受信数をカウントし、他のいずれかの前記信号処理サーバへ送信し、他の前記信号処理サーバから前記規制対象の要求信号の受信数を受信した信号処理サーバはそれぞれ、前記送信された前記規制対象の要求信号の受信数に、前記所定期間における、自身の信号処理サーバでカウントした前記規制対象の要求信号の受信数を加算して、前記受信数をまだ送信していない他の前記信号処理サーバへ送信する処理を行い、前記代表として設定されている1台の信号処理サーバは、他のすべての信号処理サーバにおける前記規制対象の要求信号の受信数の合計値を受信した場合において、以下の式(2)を満たすとき、前記輻輳判定手段へリクエスト数条件充足通知を送信し、前記輻輳判定手段は、前記データ処理サーバからリソース使用率条件充足通知を受信し、かつ、前記代表として設定されている1台の信号処理サーバからのリクエスト数条件充足通知を受信したとき、前記信号処理サーバそれぞれへのリクエスト規制指示を解除する。
α×すべての前記信号処理サーバにおける前記規制対象の要求信号の受信数の合計値<…式(2)
但し、αは前記信号処理サーバへの1つの要求信号に対し、前記データ処理サーバへ送信するデータ要求の数であり、Cは所定の閾値とする。
このようにすることで、輻輳判定手段は、各データ処理サーバにおけるデータ要求数の合計値を推定するとき、各信号処理サーバにおける規制対象の要求信号の受信数の合計値を用いるので、正確な値を得ることができる。
請求項6に記載の発明は、クライアント装置からのデータ処理サーバへの要求信号を処理し、前記データ処理サーバへデータ要求を送信する複数の信号処理サーバと、前記データ要求に基づく処理を行う複数の前記データ処理サーバと、前記データ処理サーバにおける輻輳発生を判定する輻輳判定手段とを備える信号処理システムであって、前記データ処理サーバはそれぞれ、前記データ要求の対象となるデータを記憶するデータ記憶部を備え、自身のデータ処理サーバのリソース使用率およびデータ要求数の少なくともいずれか一方が所定の閾値以上となったとき、輻輳が発生したと判定し、前記輻輳判定手段へ輻輳発生通知を送信し、前記リソース使用率が前記所定の閾値未満となったとき、輻輳が低減したと判定し、前記輻輳判定手段へリソース使用率条件充足通知を送信し、前記輻輳判定手段は、前記信号処理サーバの識別情報を示したサーバ情報を記憶する記憶部を備え、前記データ処理サーバからの輻輳発生通知を受信したとき、前記信号処理サーバそれぞれに対し、規制対象とする前記要求信号の種別を示したリクエスト規制指示を送信し、前記信号処理サーバはそれぞれ、前記リクエスト規制指示を受信したとき、前記規制対象の要求信号を受信しても、前記要求信号に基づく処理を実行しないリクエスト規制を行い、前記リクエスト規制中、所定期間ごとに、自身の信号処理サーバにおける前記規制対象の要求信号の受信数をカウントし、以下の式(1)を満たすとき、前記輻輳判定手段へリクエスト数条件充足通知を送信し、前記輻輳判定手段は、いずれかの前記データ処理サーバからのリソース使用率充足通知を受信し、かつ、所定数a以上の前記信号処理サーバからのリクエスト数条件充足通知を受信したとき、前記信号処理サーバそれぞれへのリクエスト規制指示を解除する。
α×自身の信号処理サーバにおける時間あたりの前記規制対象の要求信号の受信数×すべての前記信号処理サーバのうち、自身の信号処理サーバへ前記要求信号が振り分けられる割合の逆数<C…式(1)
但し、αは前記信号処理サーバへの1つの要求信号に対し、前記データ処理サーバへ送信するデータ要求の数であり、Cは所定の閾値とする。
このようにすることで、輻輳判定手段は、各データ処理サーバにおけるデータ要求数の合計値を推定するとき、各信号処理サーバにおける規制対象の要求信号の受信数の合計値を用いるので、正確な値を得ることができる。
請求項7に記載の発明は、クライアント装置からのデータ処理サーバへの要求信号を処理し、前記データ処理サーバへデータ要求を送信する複数の信号処理サーバと、前記データ要求に基づく処理を行う複数の前記データ処理サーバと、前記データ処理サーバにおける輻輳発生を判定する輻輳判定手段とを備える信号処理システムであって、前記データ処理サーバはそれぞれ、前記データ要求の対象となるデータを記憶するデータ記憶部を備え、身のデータ処理サーバのリソース使用率およびデータ要求数の少なくともいずれか一方が所定の閾値以上となったとき、輻輳が発生したと判定し、前記輻輳判定手段へ輻輳発生通知を送信し、前記リソース使用率が前記所定の閾値未満となったとき、輻輳が低減したと判定し、前記輻輳判定手段へリソース使用率条件充足通知を送信し、前記輻輳判定手段は、前記信号処理サーバの識別情報を示したサーバ情報を記憶する記憶部を備え、前記輻輳発生通知を受信したとき、前記信号処理サーバそれぞれに対し、規制対象とする前記要求信号の種別を示したリクエスト規制指示を送信し、前記信号処理サーバはそれぞれ、前記リクエスト規制指示を受信したとき、前記規制対象の前記要求信号を受信しても、前記要求信号に基づく処理を実行しないリクエスト規制を行い、前記リクエスト規制中、所定期間ごとに、前記規制対象の要求信号の受信数をカウントし、前記カウントした要求信号の受信数を、前記輻輳判定手段へ送信し、前記輻輳判定手段は、前記データ処理サーバからリソース使用率条件充足通知を受信し、かつ、(前記信号処理サーバへの1つの要求信号に対し、前記データ処理サーバへ送信するデータ要求の数α×前記信号処理サーバそれぞれでカウントされた要求信号の受信数の合計値)の値が所定の閾値C未満と判定したとき、前記信号処理サーバそれぞれへのリクエスト規制指示を解除する。
このようにすることで、信号処理システムの各信号処理サーバ側で規制対象リクエスト数の条件を充足するか否かの判定を行う必要がなくなる。
請求項8に記載の発明は、請求項1ないし請求項4および請求項6のいずれか1項に記載の信号処理システムの信号処理サーバが、コンシステントハッシュにより振り分けられた前記要求信号を受信するサーバであり、前記データ処理サーバは、前記コンシステントハッシュにより振り分けられた前記データ要求を受信するサーバである場合、前記式(1)における、すべての前記信号処理サーバのうち、自身の信号処理サーバへ前記要求信号が振り分けられる割合の逆数に代えて、前記コンシステントハッシュにおける前記すべての信号処理サーバの担当領域÷前記コンシステントハッシュにおける自身の信号処理サーバへの振り分け担当領域の合計を用いる。
このようにすることで、信号処理サーバがコンシステントハッシュにより振り分けられた要求信号やデータ要求を処理するサーバである場合における全信号処理サーバへの規制対象の要求信号数を推定できる。これにより、信号処理サーバは、各データ処理サーバにおけるデータ要求数の合計値を正確に推定しやすくなる。
本発明によれば、複数の信号処理サーバと複数のデータ処理サーバとを備えるシステムにおけるリクエスト規制およびリクエスト規制解除を適切に行うことができる。
各実施の形態のシステム(信号処理システム)の全体構成を示す図である。 各実施の形態のシステムの概要を説明する図である。 各実施の形態のシステムの概要を説明する図である。 各実施の形態のシステムの概要を説明する図である。 第1の実施の形態のシステムの概要を説明する図である。 第1の実施の形態および第2の実施の形態のシステムの構成を示す図である。 第1の実施の形態のシステムにおけるリクエスト規制時の処理手順を示す図である。 第1の実施の形態のシステムにおけるリクエスト規制解除時の処理手順を示す図である。 第2の実施の形態のシステムの概要を説明する図である。 第2の実施の形態のシステムにおけるリクエスト規制解除時の処理手順を示す図である。 第3の実施の形態のシステムの概要を説明する図である。 第3の実施の形態のシステムの構成を示す図である。 第3の実施の形態のシステムにおけるリクエスト規制時の処理手順を示す図である。 第3の実施の形態のシステムにおけるリクエスト規制解除時の処理手順を示す図である。 第4の実施の形態のシステムの概要を説明する図である。 第4の実施の形態のシステムの構成を示す図である。 第4の実施の形態のシステムにおけるリクエスト規制解除時の処理手順を示す図である。
以下、図面を参照しながら、本発明を実施するための形態(以下、実施の形態という)について、第1の実施の形態から第4の実施の形態に分けて説明する。
まず、各実施の形態のシステム(信号処理システム)の全体構成を説明する。図1に示すように、システムは、クライアント装置(図示省略)からの要求信号(リクエスト)を処理する信号処理サーバ20群である信号処理部200と、信号処理サーバ20からのデータ要求に基づく処理を行う複数のデータベースサーバ(データ処理サーバ)40群であるデータベース部400とを備える。また、このシステムは、クライアント装置からデータ取得のための要求信号を各信号処理サーバ20へ振り分ける要求信号振り分け装置10と、各信号処理サーバ20からのデータ要求を各データベースサーバ40へ振り分けるデータ要求振り分け装置30とを備える。要求信号振り分け装置10は、クライアント装置からの要求信号を受信すると、この要求信号に含まれるcall-ID等を用いてコンシステントハッシュ(非特許文献1参照)による各信号処理サーバ20への要求信号の振り分けを行う。振り分けられた要求信号を受信した信号処理サーバ20は、この要求信号に基づくデータ要求をデータ要求振り分け装置30へ送信する。このデータ要求を受信したデータ要求振り分け装置30は、データ要求に含まれるuser-ID等を用いてコンシステントハッシュによる各データベースサーバ40へのデータ要求の振り分けを行う。振り分けられたデータ要求を受信したデータベースサーバ40は、このデータ要求に基づく処理を行い、その結果を信号処理サーバ20経由で、クライアント装置へ返す。例えば、データベースサーバ40は、データ要求の対象であるデータを自身のデータ記憶部441(後記)から検索し、検索したデータを信号処理サーバ20経由でクライアント装置へ送信する。
ここでコンシステントハッシュによる信号の振り分けは、図1に例示するようにコンシステントハッシュのID空間を用いる。このコンシステントハッシュのID空間には、それぞれのサーバA,B,C(信号処理サーバ20やデータベースサーバ40等)の担当領域が決められており、各振り分け装置が、受信した信号に含まれる特定キーとハッシュ関数とを用いてハッシュ値を計算する。そして、各振り分け装置によるサーバへの振り分けは、計算したハッシュ値が、このコンシステントハッシュのID空間において、どのサーバに担当領域に属するかを判定することにより行われる。このようにコンシステントハッシュを用いて各サーバへの要求信号等の振り分けを行うことで、サーバそれぞれの性能が不均一であった場合にもそれぞれの性能に対応した割合で要求信号の振り分けを行うことができる。例えば、サーバA〜Cの性能指標値が図1のグラフに示す値であった場合において、この性能指標値に応じて各サーバの担当領域を決めておけば、比較的性能が高いサーバBには多数の信号が振り分けられ、比較的性能が低いサーバAにはそれほど多くの信号が振り分けられない。このように、性能に応じた信号振り分けを行うことで、複数のサーバからなるシステムにおいて、様々な性能のサーバを含めることができ、システムのスケーラビリティを確保しやすくなる。
なお、本実施の形態において、信号処理部200の信号処理サーバ20群およびデータベース部400のデータベースサーバ40群はそれぞれ、コンシステントハッシュにより、それぞれの性能に応じた信号の振り分けがされる場合を例に説明するが、これに限定されない。例えば、各振り分け装置は、コンシステントハッシュ以外の方法でそれぞれのサーバの性能に応じて信号の振り分けをしてもよいし、サーバの性能に関係なく、各サーバに均等に信号の振り分けを行うようにするようにしてもよい。また、本実施の形態において、信号処理サーバ20で受け付けた信号を処理するのはデータベースサーバである場合を例に説明するが、データベースサーバ以外のデータ処理サーバであってもよい。
次に、図2〜図4を用いて、各実施の形態のシステムの概要を説明する。なお、各図において、図1の各振り分け装置は図示を省略している。
図2に示すように、本システムは、信号処理部200およびデータベース部400に接続される輻輳判定装置50を備える。この輻輳判定装置50は、データベース部400のデータベースサーバ40それぞれの輻輳状態を監視し、データベースサーバ40において輻輳が発生したとき、信号処理サーバ20に対しリクエスト規制指示を行う。また、データベースサーバ40における輻輳状態が改善してきた場合には、各信号処理サーバ20に対しリクエスト規制の解除指示を行う。ここで、信号処理サーバ20におけるリクエスト規制とは、例えば、クライアント装置(図示省略)からの要求信号を受信した場合でも、クライアント装置へエラーメッセージを返し、データベースサーバ40へのデータ要求を送信しないようにすること等である。つまり、本システムは、輻輳が発生したデータベースサーバ40ではなく、信号処理サーバ20側でリクエスト規制を行うようにする。このようにすることで、データベースサーバ40における輻輳を悪化させないようにできる。
次に、図3を用いて、図2の輻輳判定装置50の処理概要を説明する。図2の輻輳判定装置50は、データベース部400の各データベースサーバ40(図2参照)におけるデータ要求の集中等によりリソース使用率があらかじめ決定した条件が超えた場合に規制(リクエスト規制)を実行する。そして、図3に示すように、リクエスト規制時には、輻輳判定装置50(図2参照)からの指示に基づき、信号処理部200の各信号処理サーバ20(図2参照)は規制対象リクエストに対してエラー応答や破棄等の規制を実行する。その後、信号処理部200は、輻輳判定装置50からの指示に基づき、リクエスト規制の解除を行う。なお、ここで規制対象とするリクエストは、例えば、特定のサーバ(例えば、輻輳が発生したデータベースサーバ40)へのリクエストでもよいし。全リクエストでもよいし、特定キーのリクエストでもよい。輻輳が発生したデータベースサーバ40へのリクエストを規制対象リクエストとする場合、輻輳判定装置50は前記したコンシステントハッシュを用いて、輻輳が発生したデータベースサーバ40へのリクエストに含まれるキーと特定し、この特定したキーを含むリクエストを規制対象とするよう信号処理サーバ20へ指示する。
ここで、輻輳判定装置50は、以下の2つの条件を同時に満たしたときにリクエスト規制を解除すると判定する。
(1)データベース部400における輻輳したサーバ(データベースサーバ40)のリソース使用率<R(Rはリソース使用率に関する閾値)
(2)データベース部400におけるサーバ(データベースサーバ40)へのデータ要求数の推定値<C(Cはリクエスト数に関する閾値)
つまり、図4に例示するように、データベース部400(図2のデータベースサーバ40)は自身のリソース使用率を監視し、リソース使用率が所定の閾値R未満になるという条件を充足したとき、その旨を輻輳判定装置50へ通知する。つまり、データベースサーバ40は自サーバにおける輻輳が解消しつつあるとき、その旨を輻輳判定装置50へ通知する。また、信号処理部200(図2の信号処理サーバ20)は、リクエスト規制を開始後、所定期間ごとに、自サーバで受信した規制対象リクエスト数(以下、適宜、リクエスト数と略す)のカウントを行う。そして、信号処理サーバ20は、受信した規制対象リクエスト数から、本来であればデータベース部400(データベースサーバ40)へ送信されるデータ要求数を推定する(詳細は後記)。そして、このデータ要求数の推定値が所定の閾値C未満となるという条件を充足したとき、つまり、リクエスト数条件充足と判定したとき、信号処理部200は、輻輳判定装置50へその旨を通知する。つまり、信号処理サーバ20は、自サーバで受信した規制対象リクエストが減ってきたとき、データベース部400へのデータ要求数も減ると推測し、その旨を輻輳判定装置50へ通知する。そして、輻輳判定装置50は、信号処理部200におけるリクエスト数条件充足の通知、および、データベース部400におけるリソース使用率の条件充足の通知を受信したときリクエスト規制を解除すると判断をし、リクエスト規制の解除を実行する。
<第1の実施の形態>
(概要)
図5を用いて、第1の実施の形態のシステムの概要を説明する。第1の実施の形態のシステムは、信号処理部200によるリクエスト規制の開始後、図5に示すように、信号処理部200の代表サーバが、自サーバで受信した規制対象リクエスト数に基づき、リクエスト数条件充足判定を行い、リクエスト数条件充足時に輻輳判定装置50へ通知することを特徴とする。すなわち、信号処理部200の代表サーバ(例えば、性能が高いサーバ)で受信した規制対象リクエスト数から、全規制対象リクエスト数(信号処理部200全体で受信する規制対象リクエスト数)を推定し、その推定値を用いて、さらに、本来のデータ要求数を計算し、リクエスト数条件充足判定を行うことを特徴とする。
ここで、信号処理部200全体で受信する規制対象リクエスト数は、
(自サーバ(代表サーバ)における時間あたりの規制対象リクエスト数)×(信号処理部200のすべての信号処理サーバ20のうち、自サーバ(代表サーバ)へ要求信号が振り分けられる割合の逆数を計算すればよい。よって、本システムのようにコンシステントハッシュによりリクエストの振り分けが行われる場合のリクエスト数条件充足判定は、以下の式(3)に基づき行われる。
α×(自サーバへの時間あたりの規制対象リクエスト数)×(全サーバ(すべての信号処理サーバ20)のコンシステントハッシュにおける担当領域の合計)÷自サーバのコンシステントハッシュにおける振り分け担当領域の合計<C…式(3)
但し、各信号処理サーバ20の性能指標値に比例してコンシステントハッシュの担当領域が決まっているものとする。また、αは信号処理サーバ20への1つの要求信号に対し、データベースサーバ40へ送信するデータ要求の数とし、Cはリクエスト数条件充足判定に用いる閾値である。
つまり、信号処理サーバ20は、自サーバへの規制対象リクエスト数から、信号処理部200全体の規制対象リクエスト数を推定し、その推定値から、データベース部400への全リクエスト数(データ要求数)を計算する。そして、信号処理サーバ20は、計算した全リクエスト数を用いて、リクエスト数条件充足判定を行う。
(構成)
次に、図6を用いて第1の実施の形態のシステムにおける、信号処理サーバ20、データベースサーバ40、および、輻輳判定装置50の構成を説明する。なお、以下の説明において、クライアント装置、図1の要求信号振り分け装置10およびデータ要求振り分け装置30は図示を省略している。
(信号処理サーバ)
信号処理サーバ20は、クライアント装置(図示省略)からの要求信号を処理するサーバである。この信号処理サーバ20は、クライアント装置からの要求信号を受信すると、この要求信号に基づくデータ要求をデータベースサーバ40へ送信し、このデータ要求の応答結果をクライアント装置へ返す。この信号処理サーバ20は、制御部21、入出力部22、メモリ部23および記憶部24を備える。
制御部21は、信号処理サーバ20全体の制御を司り、リクエスト処理部211、リクエスト規制部212およびリクエスト数条件充足判定部213を備える。破線で示したリクエスト数加算転送部214は装備する場合と装備しない場合とがあり、装備する場合について後記する。
リクエスト処理部211は、要求信号振り分け装置10(図1参照)経由で、クライアント装置からの要求信号を受信すると、この要求信号に基づくデータ要求をデータベースサーバ40へ送信し、このデータ要求の応答結果をクライアント装置へ返す。
リクエスト規制部212は、輻輳判定装置50からのリクエスト規制指示に基づきリクエスト規制を行う。すなわち、リクエスト規制部212は、輻輳判定装置50から送信されたリクエスト規制指示に示される規制対象リクエストについて、リクエスト処理部211に対して、クライアント装置へエラー応答や破棄等を行うよう指示する。
リクエスト数条件充足判定部213は、リクエスト規制期間中、所定期間ごとに、自サーバにおける規制対象リクエスト数をカウントし、カウントした規制対象リクエスト数に基づき、全データベースサーバ40へのデータ要求数の合計値を推定する。そして、リクエスト数条件充足判定部213はリクエスト数条件充足判定を行い(つまり、推定したデータ要求数の合計値が所定の閾値C未満か否かを判定し)、推定したデータ要求数が所定の閾値C未満となったとき、輻輳判定装置50へリクエスト数条件充足通知を送信する。つまり、リクエスト数条件充足判定部213は、前記した式(3)によりリクエスト数条件充足判定を行い、条件を充足していれば、輻輳判定装置50へリクエスト数条件充足通知を送信する。
入出力部22は、他の装置やサーバとの間で情報の入出力を行う。例えば、入出力部22は、クライアント装置からのリクエストを受け付け、これに基づくデータ要求をデータベースサーバ40へ送信したり、輻輳判定装置50からのリクエスト規制指示を受信したりする。この入出力部22は通信回線を介して情報の送受信を行う通信インタフェースと、不図示のキーボード等の入力装置やモニタ等の出力装置等との間で入出力を行う入出力インタフェースとにより構成される。
メモリ部23は、RAM(Random Access Memory)等の記憶装置からなり、制御部21におけるデータ処理に必要な情報を一時的に記憶する。
記憶部24は、ハードディスク装置やフラッシュメモリ等の記憶装置からなり、輻輳判定装置50から通知された規制対象リクエスト指示に含まれる規制対象リクエスト情報241を記憶する。この規制対象リクエスト情報241は、規制対象となるリクエストの種別(例えば、規制対象リクエストに含まれる特定キー等)を示した情報である。この規制対象リクエスト情報241は、リクエスト規制部212がリクエスト規制を行うときに参照される。
(データベースサーバ)
データベースサーバ40は、信号処理サーバ20からのデータ要求に基づき、要求対象となっているデータを、データ記憶部441(後記)から検索し、検索したデータを信号処理サーバ20へ送信する。このデータベースサーバ40は、制御部41、入出力部42、メモリ部43および記憶部44を備える。
制御部41は、データベースサーバ40全体の制御を司り、データ要求受信部411、データ送信部412、輻輳判定部413およびリソース監視部414を備える。
データ要求受信部411は、信号処理サーバ20からのデータ要求を受信する。
データ送信部412は、信号処理サーバ20からのデータ要求に基づき、要求対象となっているデータを、データ記憶部441(後記)から検索し、検索したデータを信号処理サーバ20へ送信する。
輻輳判定部413は、リソース監視部414(後記)による自サーバのリソース使用率の監視結果が、輻輳判定情報442(後記)に示される所定の閾値R未満であるか否かを判定する。そして、輻輳判定部413は、自サーバのリソース使用率が所定の閾値R以上と判定すると、その旨を輻輳発生通知として輻輳判定装置50へ送信する。また、輻輳判定部413は、輻輳発生通知を送信後、リソース監視部414(後記)による自サーバのリソース使用率の監視結果が、所定値R未満になったと判定すると、その旨をリソース使用率条件充足通知として輻輳判定装置50へ送信する。
リソース監視部414は、自サーバのリソース使用率(例えば、CPU(Central Processing Unit)使用率やメモリの使用率等)を監視する。
入出力部42は、他の装置やサーバとの間で情報の入出力を行う。例えば、入出力部42は、信号処理サーバ20からのデータ要求を受け付け、データ要求に基づき、要求対象となっているデータを信号処理サーバ20へ送信したり、輻輳判定装置50へ輻輳発生通知を送信したりする。この入出力部42は通信回線を介して情報の送受信を行う通信インタフェースと、不図示のキーボード等の入力装置やモニタ等の出力装置等との間で入出力を行う入出力インタフェースとにより構成される。
メモリ部43は、RAM等の記憶装置からなり、制御部41におけるデータ処理に必要な情報を一時的に記憶する。
記憶部44は、ハードディスク装置やフラッシュメモリ等の記憶装置からなり、信号処理サーバ20へ送信するデータを蓄積するデータ記憶部441と、輻輳判定に用いる所定の閾値Rを示した輻輳判定情報442とを記憶する。なお、この輻輳判定情報442は、例えば、輻輳判定装置50から送信されたものである。
(輻輳判定装置)
輻輳判定装置50は、信号処理サーバ20に対しリクエスト規制指示を送信したり、リクエスト解除指示を行ったりする装置である。この輻輳判定装置50は、制御部51、入出力部52、メモリ部53および記憶部54を備える。
制御部51は、輻輳判定装置50全体の制御を司り、リクエスト規制指示部511、リクエスト規制判定部512、サーバ選択部513およびリクエスト数条件判定指示部514を備える。
リクエスト規制指示部511は、リクエスト規制判定部512により、リクエスト規制を行うと判定されたとき、信号処理サーバ20それぞれへリクエスト規制指示を送信する。このリクエスト規制指示には、規制対象リクエストの種別(特定キー等)を示した規制対象リクエスト情報241を含める。また、リクエスト規制指示部511は、リクエスト規制判定部512により、リクエスト規制を解除すると判定されたとき、信号処理サーバ20それぞれへリクエスト規制解除指示を送信する。
リクエスト規制判定部512は、信号処理部200の各信号処理サーバ20に対しリクエスト規制を行うか否か、および、リクエスト規制を解除するか否かを判定する。具体的には、リクエスト規制判定部512が、データベースサーバ40からの輻輳発生通知を受信したとき、リクエスト規制を行うと判定する。また、リクエスト規制判定部512は、リクエスト規制期間中に、データベースサーバ40からリソース使用率充足通知を受信し、かつ、信号処理サーバ20からのリクエスト数条件充足判定通知を受信したとき、信号処理サーバ20それぞれへのリクエスト規制を解除すると判定する。
サーバ選択部513は、サーバ情報541(後記)に示される信号処理サーバ20の情報を参照して、信号処理部200を構成する信号処理サーバ20の中からリクエスト数条件充足判定を行うサーバ(代表サーバ)を選択する。例えば、サーバ選択部513は、サーバ情報541に示される各サーバの性能情報を参照して、信号処理サーバ20のうち最も性能の高い(処理能力が高い)信号処理サーバ20を選択する。このように性能の高い信号処理サーバ20を選択することで、信号処理サーバ20によるリクエスト数条件充足判定を確実に行わせることができる。
リクエスト数条件判定指示部514は、サーバ選択部513により選択された代表サーバに対し、リクエスト数条件充足判定を行うように指示する。また、リクエスト規制判定部512により、リクエスト規制を解除すると判定されたとき、代表サーバに対し、リクエスト数条件充足判定を終了するよう指示する。なお、リクエスト数条件充足判定を行う指示にはリクエスト数条件充足判定に用いる各種パラメータ(前記した式(3)におけるαや、閾値C等)を含めるようにしてもよい。
入出力部52は、他の装置やサーバとの間で情報の入出力を行う。例えば、入出力部52は、データベースサーバ40からの輻輳発生通知やリソース使用率充足通知を受信したり、信号処理サーバ20へリクエスト規制指示やリクエスト規制解除指示を送信したりする。この入出力部52は通信回線を介して情報の送受信を行う通信インタフェースと、不図示のキーボード等の入力装置やモニタ等の出力装置等との間で入出力を行う入出力インタフェースとにより構成される。
メモリ部53は、RAM等の記憶装置からなり、制御部51におけるデータ処理に必要な情報を一時的に記憶する。
記憶部54は、ハードディスク装置やフラッシュメモリ等の記憶装置からなり、システムの信号処理サーバ20やデータベースサーバ40の識別情報や性能等を示したサーバ情報541を記憶する。
(処理手順)
次に、図6を参照しつつ、図7および図8を用いて、システムの処理手順を説明する。ここでは、代表サーバが信号処理サーバ20Cであり、輻輳サーバがデータベースサーバ40Aである場合を例に説明する。なお、以下の説明において、図示を省略しているが、クライアント装置1からのリクエストは、図1の要求信号振り分け装置10によりいずれかの信号処理サーバ20へ振り分けられ、信号処理サーバ20からのデータ要求は、図1のデータ要求振り分け装置30によりいずれかのデータベースサーバ40へ振り分けられるものとする。振り分けはいずれもコンシステントハッシュを用いるものとする。
信号処理部200の信号処理サーバ20(20A,20B,20C)はそれぞれ、クライアント装置1からのリクエストを受信すると(図7のS1)、データベース部400のデータベースサーバ40(40A,40B,40C)へデータ要求を送信し(S2)、このデータ要求を受信したデータベースサーバ40はそれぞれ、信号処理サーバ20への自身のデータ記憶部441から検索したデータのデータ送信を行う(S3)。データを受信した信号処理サーバ20はそれぞれ、クライアント装置1へレスポンスを返す(S4)。
また、データベースサーバ40の輻輳判定部413(図6参照)は、リソース使用率条件充足判定を行い(S5)、リソース使用率が所定の閾値R以上だったとき、輻輳判定装置50へ輻輳発生通知を送信する(S6)。例えば、リソース使用率条件充足判定の結果、リソース使用率が所定の閾値R以上であったデータベースサーバ40Aは、輻輳発生通知を輻輳判定装置50へ送信する。
輻輳発生通知を受信した輻輳判定装置50は、リクエスト規制判定部512(図6参照)により規制対象リクエストを決定し、サーバ選択部513(図6参照)により信号処理部200の代表サーバを選択する(S7)。そして、輻輳判定装置50は、リクエスト規制指示部511により、信号処理部200の信号処理サーバ20それぞれに対し、規制対象リクエストに対するリクエスト規制指示を送信する(S8)。リクエスト規制指示を受信した信号処理サーバ20はそれぞれ、リクエスト規制部212により規制対象リクエストを規制する。すなわち、例えば、信号処理サーバ20はそれぞれクライアント装置1からリクエストを受信しても(S10)、エラーレスポンスを返す(S11)。また、輻輳判定装置50は、リクエスト数条件判定指示部514(図6参照)により、代表サーバである信号処理サーバ20Cに対し、リクエスト数条件充足判定を行うように指示する(S9)。
次に、図6を参照しつつ、図8を用いて、リクエスト規制解除の処理手順を説明する。リクエスト規制指示を受信した信号処理サーバ20Cは、リクエストを受信すると(S21)、リクエスト数条件充足判定部213(図6参照)により規制対象リクエスト数のカウントを行い(S22)、リクエスト規制部212(図6参照)によりエラーレスポンスをクライアント装置1へ返す(S23)。そして、信号処理サーバ20Cは、規制対象リクエスト数のカウント値および前記した式(3)を用いて、リクエスト数条件充足判定部213により所定間隔でリクエスト数条件充足判定を行う(S24)。ここで、リクエスト条件充足判定の結果、条件を充足していないと判定されたとき、リクエスト数条件充足判定部213は、規制対象リクエスト数のカウンタリセットを行う(S25)。一方、リクエスト数条件が充足していると判定されたとき(S26)、リクエスト数条件充足判定部213は、輻輳判定装置50へリクエスト数条件充足通知を送信する(S27)。そして、規制対象リクエスト数のカウンタリセットを行う(S28)。
また、データベースサーバ40は、輻輳判定部413(図6参照)により、所定間隔でリソース使用率条件充足判定を行い(S31)、リソース使用率条件充足判定の結果、リソース使用率条件を充足すると判定された場合(S32)、つまり、リソース使用率が所定の閾値R未満と判定されたとき、輻輳判定装置50へリソース使用率条件充足通知を送信する(S33)。例えば、データベースサーバ40Aにおいて、リソース使用率条件を充足すると判定された場合、データベースサーバ40Aは、輻輳判定装置50へリソース使用率条件充足通知を送信する。つまり、自身のデータベースサーバ40におけるリソース使用率が低下し、輻輳が解消しつつあると判定すると、データベースサーバ40はその旨を輻輳判定装置50へ通知する。
輻輳判定装置50のリクエスト規制判定部512(図6参照)は、データベースサーバ40からリソース使用率充足通知を受信し、かつ、信号処理サーバ20からのリクエスト数条件充足通知を受信した場合、信号処理サーバ20それぞれへのリクエスト規制指示を解除すると判定する(S34:リクエスト規制解除判定)。そして、輻輳判定装置50はリクエスト規制指示部511(図6参照)により、信号処理サーバ20それぞれへリクエスト規制解除指示を送信する(S35)。また、輻輳判定装置50は、リクエスト数条件判定指示部514(図6参照)により、代表サーバである信号処理サーバ20Cに対し、リクエスト数条件充足判定の終了指示を送信する(S36)。
このように輻輳判定装置50は、データベースサーバ40におけるリソース使用率が所定の閾値R未満となり、かつ、信号処理サーバ20で受信した規制対象リクエスト数に基づくデータ要求数が所定の値C未満になったときに、リクエスト規制を解除する。これにより、輻輳判定装置50は、リクエスト規制の解除を適切なタイミングで行うことができる。
<第2の実施の形態>
(概要)
次に、図9を用いて、第2の実施の形態のシステムの概要を説明する。前記した実施の形態と同様の構成要素は、同じ符号を付して説明を省略する。第2の実施の形態のシステムは、信号処理部200によるリクエスト規制の開始後、信号処理部200の代表サーバから順に、各信号処理サーバ20aそれぞれが自サーバでカウントした規制対象リクエスト数を加算しながら、他の信号処理サーバ20aへ転送する。そして、加算されてきた全規制対象リクエスト数が代表サーバに戻ってきたら、この代表サーバがリクエスト数条件充足判定を行うことを特徴とする。例えば、図9の代表サーバ(サーバA)においてカウントした規制対象リクエスト数が95callであるとき、この95Callという値をサーバBへ転送する。そして、サーバBは、自サーバでカウントした100callとサーバAから受信した95Callとを加算した195callという値をサーバCへ転送する。このような処理を繰り返し、信号処理部200のすべての信号処理サーバ20aにおいて規制対象リクエスト数の値の加算した値が、代表サーバへ戻ってくると、この値を用いてリクエスト数条件充足判定を行い、リクエスト数条件充足時にはその旨を輻輳判定装置50へ通知する。なお、ここでの規制対象リクエスト数の条件充足判定は、以下の式(4)に基づき行われる。式(4)のα、Cは、式(3)におけるα、Cと同じである。
α×時間あたりの全サーバ(すべての信号処理サーバ20a)の規制対象リクエスト数の合計<C…式(4)
つまり、信号処理部200の信号処理サーバ20aそれぞれが規制対象リクエスト数をカウントし、その合計値が代表サーバへ送信されるので、代表サーバは、正確な全規制対象リクエスト数をもとにリクエスト数条件充足判定を行うことができる。
(構成)
次に、第2の実施の形態のシステムの構成を、図6を用いて説明する。図6に示すように、第2の実施の形態の信号処理サーバ20aはリクエスト数加算転送部214をさらに備える。また、リクエスト数条件充足判定部213に代えて、リクエスト数条件充足判定部213aを備える。
リクエスト数加算転送部214は、他の信号処理サーバ20aから規制対象リクエスト数を受信したとき、この規制対象リクエスト数に、自サーバのリクエスト数加算転送部214においてカウントした規制対象リクエスト数を加算する。そして、リクエスト数加算転送部214は、この加算した値を、まだ規制対象リクエスト数を受信していない他の信号処理サーバ20a(例えば、コンシステントハッシュID空間において自サーバと時計回りに隣接する信号処理サーバ20a)へ送信する。なお、自サーバが代表サーバであるときは、他の信号処理サーバ20aからの規制対象リクエスト数のカウント値の受信を待たず、自サーバにおいてカウントした規制対象リクエスト数を他の信号処理サーバ20aへ転送すればよい。
リクエスト数条件充足判定部213aは、信号処理部200の他のすべての信号処理サーバ20aにおける規制対象リクエスト数の合計値が戻ってきたとき、この値を用いて、前記した式(4)によりリクエスト数条件充足判定を行う。そして、リクエスト数条件充足判定部213aは、リクエスト数条件充足判定時には、輻輳判定装置50へ条件充足通知(リクエスト数条件充足通知)を送信する。
(処理手順)
次に、図6を参照しつつ、図10を用いて、第2の実施の形態のシステムの処理手順を説明する。なお、リクエスト規制の手順は第1の実施の形態と同じであるので説明を省略し、リクエスト規制後、リクエスト規制解除を行う手順について説明する。ここでも、代表サーバが信号処理サーバ20Cであり、輻輳サーバがデータベースサーバ40Aである場合を例に説明する。なお、図8と同じ処理内容については同じステップ番号を付して説明を省略する。
図10のS21〜S23は、図8のS21〜S23と同じ処理内容であるので説明を省略し、S41から説明する。S41において、信号処理部200は、代表サーバである信号処理サーバ20a(図10の信号処理サーバ20C)から順に、所定間隔で、リクエスト数加算転送部214によりカウントした規制対象リクエスト数(リクエスト数)と他の信号処理サーバ20aから受信した規制対象リクエスト数の加算と、加算した規制対象リクエスト数の送信と、カウンタ(規制対象リクエスト数のカウンタ)のリセットを行う(S41)。そして、代表サーバにおけるリクエスト数条件充足判定部213a(図6参照)は、すべての信号処理サーバ20aについての規制対象リクエスト数の合計値を受信すると、この合計値と式(4)とを用いて、リクエスト数条件充足判定を行う(S42)。条件充足判定の結果、条件を充足していないと判定されたとき、再度代表サーバから順に、各信号処理サーバ20a間で自サーバでカウントした規制対象リクエスト数と他の信号処理サーバ20aから受信した規制対象リクエスト数との加算と、加算した規制対象リクエスト数の送信と、カウンタ(規制対象リクエスト数のカウンタ)のリセットを行う(S43)。一方、リクエスト数条件充足判定部213aによるリクエスト数条件充足判定の結果、リクエスト数条件を充足していると判定されたとき(S44)、リクエスト数条件充足判定部213aは、輻輳判定装置50へリクエスト数条件充足通知を送信する(S45)。この後の処理は、図8のS34〜S36の処理と同じであるので、説明を省略する。なお、各信号処理サーバ20aにおける規制対象リクエスト数のカウントの停止は、例えば、輻輳判定装置50によるリクエスト規制解除指示を受信したときに行うものとする。このようにすることでも、輻輳判定装置50は、リクエスト規制の解除判定を行うことができる。
<第3の実施の形態>
(概要)
次に、図11を用いて、第3の実施の形態のシステムの概要を説明する。前記した実施の形態と同様の構成要素は、同じ符号を付して説明を省略する。第3の実施の形態のシステムは、図11に示すように、リクエスト規制を開始後、信号処理部200の信号処理サーバ20それぞれが前記した式(3)によりリクエスト数条件充足判定を行い、条件充足時に輻輳判定装置50aへ通知する。そして、輻輳判定装置50aが所定数a以上のサーバ(信号処理サーバ20)から条件充足通知を受信し、かつ、データベースサーバ40のリソース使用率が所定の閾値R未満となったとき、リクエスト規制を解除すると判定する。
(構成)
第3の実施の形態のシステムにおける信号処理サーバ20およびデータベースサーバ40は第1の実施の形態と同じ構成であるが、輻輳判定装置50aの構成が異なる。すなわち、図12に示すように、輻輳判定装置50aは、図6のリクエスト規制判定部512に代えて、リクエスト規制判定部512aを備える。このリクエスト規制判定部512aは、データベースサーバ40からのリソース使用率充足通知を受信し、かつ、所定数a以上の信号処理サーバ20からのリクエスト数条件充足通知を受信したとき、信号処理サーバ20それぞれへのリクエスト規制指示を解除すると判定する。また、輻輳判定装置50aのリクエスト数条件判定指示部514は、信号処理部200の信号処理サーバ20それぞれへ、信号処理部200のリクエスト数条件充足判定を行うように指示する。また、リクエスト規制判定部512aにより、リクエスト規制を解除すると判定されたとき、リクエスト数条件判定指示部514は、信号処理サーバ20それぞれへ、リクエスト数条件充足判定を終了するよう指示する。なお、輻輳判定装置50aは、代表サーバを選択しないので、図6のサーバ選択部513を備えない。
(処理手順)
次に、図12および図7を参照しつつ、図13を用いて、第3の実施の形態のシステムにおけるリクエスト規制時の処理手順を説明する。ここでも、輻輳サーバがデータベースサーバ40Aである場合を例に説明する。なお、図7と同じ処理内容については同じステップ番号を付して説明を省略する。第3の実施の形態のシステムにおけるリクエスト規制時における処理手順は、図7に示す処理手順とほぼ同様であるが、図13のS13に示すように、輻輳判定装置50aは、規制対象リクエストの決定を行うが、代表サーバの選択を行わない点が異なる。また、S14において、輻輳判定装置50aは、リクエスト数条件判定指示部514(図12参照)により、信号処理サーバ20それぞれに対し、規制対象リクエスト数の条件充足判定を行うように指示する点が異なる。
次に、図12を参照しつつ、図14を用いて、リクエスト規制解除の処理手順を説明する。なお、図8および図10と同じ処理内容については同じステップ番号を付して説明を省略する。信号処理部200の信号処理サーバ20(20A,20B,20C)はそれぞれ、クライアント装置1からのリクエストを受信すると(S21)、リクエスト数条件充足判定部213(図12参照)により規制対象リクエスト数のカウントを行い(S22)、リクエスト規制部212(図12参照)によりエラーレスポンスをクライアント装置1へ返す(S23)。
そして、信号処理サーバ20はそれぞれ、リクエスト数条件充足判定部213により、規制対象リクエスト数のカウント値を用いて、所定間隔で、前記した式(3)に基づくリクエスト数条件充足判定を行い(S51)、条件充足判定の結果、条件を充足していないと判定されたとき、リクエスト数条件充足判定部213は、規制対象リクエスト数のカウンタリセットを行う(S52)。一方、リクエスト数条件充足判定部213によるリクエスト数条件充足判定の結果、リクエスト数条件を充足していると判定されたとき(S53)、信号処理サーバ20はリクエスト数条件充足判定部213により、輻輳判定装置50へリクエスト数条件充足通知を送信し(S45)、規制対象リクエスト数のカウンタリセットを行う(S54)。
S46において、データベースサーバ40からのリソース使用率充足通知を受信した輻輳判定装置50aは、リクエスト規制判定部512a(図12参照)により、リクエスト数条件充足通知数の条件判定を行う。すなわち、リクエスト規制判定部512aは、所定数a以上の信号処理サーバ20からのリクエスト数条件充足通知を受信し、かつ、データベースサーバ40からのリソース使用率充足通知を受信したとき、信号処理サーバ20それぞれへのリクエスト規制指示を解除すると判定する(S47:リクエスト規制解除判定)。そして、輻輳判定装置50aは、リクエスト規制指示部511により、信号処理サーバ20それぞれに対しリクエスト規制解除指示を送信し、また、リクエスト数条件判定指示部514によりリクエスト数条件判定終了指示を送信する(S48)。このようにすることでも、輻輳判定装置50aは、リクエスト規制の解除を行うことができる。
<第4の実施の形態>
(概要)
次に、図15を用いて、第4の実施の形態のシステムの概要を説明する。前記した実施の形態と同様の構成要素は、同じ符号を付して説明を省略する。第4の実施の形態のシステムは、図15に示すように、信号処理部200の信号処理サーバ20bそれぞれで規制対象リクエスト数をカウントし、所定期間ごとに輻輳判定装置50bへ送信する。そして、輻輳判定装置50bは、受信した規制対象リクエスト数を足し合わせてリクエスト数条件充足判定を行う。つまり、第2の実施の形態において代表サーバが式(4)により行っていた信号処理部200のリクエスト数条件充足判定を輻輳判定装置50b側で行うことを特徴とする。
(構成)
第4の実施の形態のシステムにおけるデータベースサーバ40は第1の実施の形態〜第3の実施の形態と同じ構成であるが、信号処理サーバ20bおよび輻輳判定装置50bの構成が異なる。つまり、図16に示すように、信号処理サーバ20bの制御部21は、リクエスト処理部211およびリクエスト規制部212を備えるが、図12のリクエスト数条件充足判定部213はなく、代わりに、リクエスト数送信部215を備える。さらに、輻輳判定装置50bは、図12のリクエスト規制判定部512aに代えて、リクエスト規制判定部512bを備え、図12の輻輳判定装置50aにおけるリクエスト数条件判定指示部514がない。
リクエスト数送信部215は、規制対象リクエスト数のカウントを行い、所定期間ごとに輻輳判定装置50bへこの規制対象リクエスト数を送信する。また、輻輳判定装置50bのリクエスト規制判定部512bは、前記した式(4)によりリクエスト数条件充足判定を行う。
(処理手順)
次に、図16を参照しつつ、図17を用いて、第4の実施の形態のシステムの処理手順を説明する。なお、リクエスト規制の手順は第1の実施の形態と同じであるので説明を省略し、リクエスト規制後、リクエスト規制解除を行う手順について説明する。なお、図8および図10と同じ処理内容については同じステップ番号を付して説明を省略する。
第3の実施の形態のシステムと同様に、信号処理部200の信号処理サーバ20b(20A,20B,20C)はそれぞれ、クライアント装置1からのリクエストを受信すると(S21)、リクエスト数送信部215(図16参照)により規制対象リクエスト数のカウントを行い(S22)、リクエスト規制部212(図16参照)によりエラーレスポンスをクライアント装置1へ返す(S23)。そして、信号処理サーバ20bはそれぞれ、所定間隔でリクエスト数送信部215により、輻輳判定装置50bへ、S22でカウントした規制対象リクエスト数を送信し(S61,S63)、規制対象リクエスト数のカウンタリセットを行う(S52,S54)。輻輳判定装置50bは、信号処理サーバ20bそれぞれからの規制対象リクエスト数を受信すると、リクエスト規制判定部512bにより、前記した式(4)によるリクエスト数条件充足判定を行う(S62)。ここで、リクエスト規制判定部512bは、リクエスト数条件充足判定を行った結果、リクエスト数条件を充足し、かつ、データベースサーバ40からのリソース使用率充足通知を受信したとき(S64)、信号処理サーバ20bそれぞれへのリクエスト規制指示を解除すると判定する(S65:リクエスト規制解除判定)。そして、輻輳判定装置50bは、リクエスト規制指示部511により、信号処理サーバ20bそれぞれに対しリクエスト規制解除指示を送信し、また、リクエスト規制判定部512bにより規制対象リクエスト数の送信を終了するよう指示する(S66)。このようにすることでも、輻輳判定装置50bは、リクエスト規制の解除判定を行うことができる。なお、第4の実施の形態のシステムにおいて、リクエスト数条件充足判定は、輻輳判定装置50b側で行うので信号処理サーバ20bそれぞれにおける処理負荷を軽減することができる。
なお、前記した各実施の形態において、データベースサーバ40(図6参照)における輻輳発生の判定は、自サーバのリソース利用率が所定の閾値未満か否かにより判定するものとするが、リクエスト数(データ要求数)を用いてもよいし、リソース使用率とリクエスト数との組み合わせを用いてもよい。
また、前記した各実施の形態において、輻輳判定装置50,50a,50bは、信号処理サーバ20,20a,20bとは別個の装置である場合を例に説明したが、信号処理サーバ20,20a,20bの一部に組み込むようにしてもよい。さらに、輻輳判定装置50,50a,50bは、いずれか1台のデータベースサーバ40から輻輳発生通知を受信したとき、リクエスト規制を行うこととしたが、所定台数以上のデータベースサーバ40からの輻輳発生通知を受信したときにリクエスト規制を行うようにしてもよい。また、リクエスト規制解除についても、所定台数のデータベースサーバ40からリソース使用率条件充足通知を受信し、かつ、リクエスト数条件を充足すると判定したとき、リクエスト規制を解除すると判定してもよい。
1 クライアント装置
20,20a,20b 信号処理サーバ
21,41,51 制御部
22,42,52 入出力部
23,43,53 メモリ部
24,44,54 記憶部
40 データベースサーバ(データ処理サーバ)
50,50a,50b 輻輳判定装置(輻輳判定手段)
200 信号処理部
211 リクエスト処理部
212 リクエスト規制部
213,213a リクエスト数条件充足判定部
214 リクエスト数加算転送部
215 リクエスト数送信部
241 規制対象リクエスト情報
400 データベース部
411 データ要求受信部
412 データ送信部
413 輻輳判定部
414 リソース監視部
441 データ記憶部
442 輻輳判定情報
511 リクエスト規制指示部
512,512a,512b リクエスト規制判定部
513 サーバ選択部
514 リクエスト数条件判定指示部
541 サーバ情報

Claims (8)

  1. クライアント装置からのデータ処理サーバへの要求信号を処理し、前記データ処理サーバへデータ要求を送信する複数の信号処理サーバと、前記データ要求に基づく処理を行う複数の前記データ処理サーバと、前記データ処理サーバにおける輻輳発生を判定する輻輳判定手段とを備える信号処理システムであって、
    前記データ処理サーバはそれぞれ、
    前記データ要求の対象となるデータを記憶するデータ記憶部を備え、
    身のデータ処理サーバのリソース使用率およびデータ要求数の少なくともいずれか一方が所定の閾値以上となったとき、輻輳が発生したと判定し、前記輻輳判定手段へ輻輳発生通知を送信し、前記リソース使用率が前記所定の閾値未満となったとき、輻輳が低減したと判定し、前記輻輳判定手段へリソース使用率条件充足通知を送信し、
    前記輻輳判定手段は、
    前記信号処理サーバの識別情報を示したサーバ情報を記憶する記憶部を備え、
    前記データ処理サーバからの輻輳発生通知を受信したとき、前記信号処理サーバそれぞれに対し、規制対象とする前記要求信号の種別を示したリクエスト規制指示を送信し、
    前記信号処理サーバはそれぞれ、
    前記リクエスト規制指示を受信したとき、前記規制対象の要求信号を受信しても、前記要求信号に基づく処理を実行しないリクエスト規制を行い、
    前記リクエスト規制指示を受信した信号処理サーバのうち代表として設定されている1台の信号処理サーバが、
    前記リクエスト規制中、所定期間ごとに、自身の信号処理サーバにおける前記規制対象の要求信号の受信数をカウントし、以下の式(1)を満たすとき、前記輻輳判定手段へリクエスト数条件充足通知を送信し、
    前記輻輳判定手段は、
    前記データ処理サーバからリソース使用率条件充足通知を受信し、かつ、前記信号処理サーバからのリクエスト数条件充足通知を受信したとき、前記信号処理サーバそれぞれへのリクエスト規制指示を解除することを特徴とする信号処理システム。
    α×自身の信号処理サーバにおける時間あたりの前記規制対象の要求信号の受信数×すべての前記信号処理サーバのうち、自身の信号処理サーバへ前記要求信号が振り分けられる割合の逆数<C…式(1)
    但し、αは前記信号処理サーバへの1つの要求信号に対し、前記データ処理サーバへ送信するデータ要求の数であり、Cは所定の閾値とする。
  2. 前記輻輳判定手段は、
    前記輻輳が発生したデータ処理サーバへの要求信号を、前記規制対象の要求信号とすることを特徴とする請求項1に記載の信号処理システム。
  3. 前記式(1)を満たすか否かを判定するリクエスト数条件充足判定を行う信号処理サーバは、前記輻輳判定手段により選択されたいずれか1台の信号処理サーバであることを特徴とする請求項1または請求項2に記載の信号処理システム。
  4. 前記輻輳判定手段により選択された信号処理サーバは、前記信号処理サーバのうち所定の処理能力が最も高いサーバであることを特徴とする請求項3に記載の信号処理システム。
  5. クライアント装置からのデータ処理サーバへの要求信号を処理し、前記データ処理サーバへデータ要求を送信する複数の信号処理サーバと、前記データ要求に基づく処理を行う複数の前記データ処理サーバと、前記データ処理サーバにおける輻輳発生を判定する輻輳判定手段とを備える信号処理システムであって、
    前記データ処理サーバはそれぞれ、
    前記データ要求の対象となるデータを記憶するデータ記憶部を備え、
    自身のデータ処理サーバのリソース使用率およびデータ要求数の少なくともいずれか一方が所定の閾値以上となったとき、輻輳が発生したと判定し、前記輻輳判定手段へ輻輳発生通知を送信し、前記リソース使用率が前記所定の閾値未満となったとき、輻輳が低減したと判定し、前記輻輳判定手段へリソース使用率条件充足通知を送信し、
    前記輻輳判定手段は、
    前記信号処理サーバの識別情報を示したサーバ情報を記憶する記憶部を備え、
    前記データ処理サーバからの輻輳発生通知を受信したとき、前記信号処理サーバそれぞれに対し、規制対象とする前記要求信号の種別を示したリクエスト規制指示を送信し、
    前記信号処理サーバはそれぞれ、
    前記リクエスト規制指示を受信したとき、前記規制対象の要求信号を受信しても、前記要求信号に基づく処理を実行しないリクエスト規制を行い、
    前記リクエスト規制指示を受信した信号処理サーバのうち代表として設定されている1台の信号処理サーバは、
    前記リクエスト規制中、所定期間ごとに、自身の信号処理サーバにおける前記規制対象の要求信号の受信数をカウントし、他のいずれかの前記信号処理サーバへ送信し、
    他の前記信号処理サーバから前記規制対象の要求信号の受信数を受信した信号処理サーバはそれぞれ、
    前記送信された前記規制対象の要求信号の受信数に、前記所定期間における、自身の信号処理サーバでカウントした前記規制対象の要求信号の受信数を加算して、前記受信数をまだ送信していない他の前記信号処理サーバへ送信する処理を行い、
    前記代表として設定されている1台の信号処理サーバは、他のすべての信号処理サーバにおける前記規制対象の要求信号の受信数の合計値を受信した場合において、以下の式(2)を満たすとき、前記輻輳判定手段へリクエスト数条件充足通知を送信し、
    前記輻輳判定手段は、
    前記データ処理サーバからリソース使用率条件充足通知を受信し、かつ、前記代表として設定されている1台の信号処理サーバからのリクエスト数条件充足通知を受信したとき、前記信号処理サーバそれぞれへのリクエスト規制指示を解除することを特徴とする信号処理システム。
    α×すべての前記信号処理サーバにおける前記規制対象の要求信号の受信数の合計値<…式(2)
    但し、αは前記信号処理サーバへの1つの要求信号に対し、前記データ処理サーバへ送信するデータ要求の数であり、Cは所定の閾値とする。
  6. クライアント装置からのデータ処理サーバへの要求信号を処理し、前記データ処理サーバへデータ要求を送信する複数の信号処理サーバと、前記データ要求に基づく処理を行う複数の前記データ処理サーバと、前記データ処理サーバにおける輻輳発生を判定する輻輳判定手段とを備える信号処理システムであって、
    前記データ処理サーバはそれぞれ、
    前記データ要求の対象となるデータを記憶するデータ記憶部を備え、
    自身のデータ処理サーバのリソース使用率およびデータ要求数の少なくともいずれか一方が所定の閾値以上となったとき、輻輳が発生したと判定し、前記輻輳判定手段へ輻輳発生通知を送信し、前記リソース使用率が前記所定の閾値未満となったとき、輻輳が低減したと判定し、前記輻輳判定手段へリソース使用率条件充足通知を送信し、
    前記輻輳判定手段は、
    前記信号処理サーバの識別情報を示したサーバ情報を記憶する記憶部を備え、
    前記データ処理サーバからの輻輳発生通知を受信したとき、前記信号処理サーバそれぞれに対し、規制対象とする前記要求信号の種別を示したリクエスト規制指示を送信し、
    前記信号処理サーバはそれぞれ、
    前記リクエスト規制指示を受信したとき、前記規制対象の要求信号を受信しても、前記要求信号に基づく処理を実行しないリクエスト規制を行い、
    前記リクエスト規制中、所定期間ごとに、自身の信号処理サーバにおける前記規制対象の要求信号の受信数をカウントし、以下の式(1)を満たすとき、前記輻輳判定手段へリクエスト数条件充足通知を送信し、
    記輻輳判定手段は、
    いずれかの前記データ処理サーバからのリソース使用率充足通知を受信し、かつ、所定数a以上の前記信号処理サーバからのリクエスト数条件充足通知を受信したとき、前記信号処理サーバそれぞれへのリクエスト規制指示を解除することを特徴とする信号処理システム。
    α×自身の信号処理サーバにおける時間あたりの前記規制対象の要求信号の受信数×すべての前記信号処理サーバのうち、自身の信号処理サーバへ前記要求信号が振り分けられる割合の逆数<C…式(1)
    但し、αは前記信号処理サーバへの1つの要求信号に対し、前記データ処理サーバへ送信するデータ要求の数であり、Cは所定の閾値とする。
  7. クライアント装置からのデータ処理サーバへの要求信号を処理し、前記データ処理サーバへデータ要求を送信する複数の信号処理サーバと、前記データ要求に基づく処理を行う複数の前記データ処理サーバと、前記データ処理サーバにおける輻輳発生を判定する輻輳判定手段とを備える信号処理システムであって、
    前記データ処理サーバはそれぞれ、
    前記データ要求の対象となるデータを記憶するデータ記憶部を備え、
    身のデータ処理サーバのリソース使用率およびデータ要求数の少なくともいずれか一方が所定の閾値以上となったとき、輻輳が発生したと判定し、前記輻輳判定手段へ輻輳発生通知を送信し、前記リソース使用率が前記所定の閾値未満となったとき、輻輳が低減したと判定し、前記輻輳判定手段へリソース使用率条件充足通知を送信し、
    前記輻輳判定手段は、
    前記信号処理サーバの識別情報を示したサーバ情報を記憶する記憶部を備え、
    前記輻輳発生通知を受信したとき、前記信号処理サーバそれぞれに対し、規制対象とする前記要求信号の種別を示したリクエスト規制指示を送信し、
    前記信号処理サーバはそれぞれ、
    前記リクエスト規制指示を受信したとき、前記規制対象の前記要求信号を受信しても、前記要求信号に基づく処理を実行しないリクエスト規制を行い、前記リクエスト規制中、所定期間ごとに、前記規制対象の要求信号の受信数をカウントし、前記カウントした要求信号の受信数を、前記輻輳判定手段へ送信し、
    前記輻輳判定手段は、
    前記データ処理サーバからリソース使用率条件充足通知を受信し、かつ、(前記信号処理サーバへの1つの要求信号に対し、前記データ処理サーバへ送信するデータ要求の数α×前記信号処理サーバそれぞれでカウントされた要求信号の受信数の合計値)の値が所定の閾値C未満と判定したとき、前記信号処理サーバそれぞれへのリクエスト規制指示を解除することを特徴とする信号処理システム。
  8. 前記信号処理サーバは、コンシステントハッシュにより振り分けられた前記要求信号を受信するサーバであり、前記データ処理サーバは、前記コンシステントハッシュにより振り分けられた前記データ要求を受信するサーバである場合、
    前記式(1)における、すべての前記信号処理サーバのうち、自身の信号処理サーバへ前記要求信号が振り分けられる割合の逆数に代えて、
    前記コンシステントハッシュにおける前記すべての信号処理サーバの担当領域÷前記コンシステントハッシュにおける自身の信号処理サーバへの振り分け担当領域の合計
    を用いることを特徴とする請求項1ないし請求項4および請求項6のいずれか1項に記載の信号処理システム。
JP2012233751A 2012-10-23 2012-10-23 信号処理システム Expired - Fee Related JP5969352B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012233751A JP5969352B2 (ja) 2012-10-23 2012-10-23 信号処理システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012233751A JP5969352B2 (ja) 2012-10-23 2012-10-23 信号処理システム

Publications (2)

Publication Number Publication Date
JP2014085800A JP2014085800A (ja) 2014-05-12
JP5969352B2 true JP5969352B2 (ja) 2016-08-17

Family

ID=50788815

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012233751A Expired - Fee Related JP5969352B2 (ja) 2012-10-23 2012-10-23 信号処理システム

Country Status (1)

Country Link
JP (1) JP5969352B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10362147B2 (en) 2015-10-09 2019-07-23 Seiko Epson Corporation Network system and communication control method using calculated communication intervals
WO2021171389A1 (ja) * 2020-02-26 2021-09-02 日本電信電話株式会社 サービス提供システム、サービス提供方法、マスターノード、および、プログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04298147A (ja) * 1991-03-27 1992-10-21 Mitsubishi Electric Corp 会議通話方式
JPH0549045A (ja) * 1991-08-20 1993-02-26 Fujitsu Ltd Catv方式
JPH09233072A (ja) * 1996-02-26 1997-09-05 Nippon Telegr & Teleph Corp <Ntt> ネットワーク性能管理システム
JP4150159B2 (ja) * 2000-03-01 2008-09-17 富士通株式会社 伝送経路制御装置及び伝送経路制御方法並びに伝送経路制御プログラムを記録した媒体
JP2003046562A (ja) * 2001-07-31 2003-02-14 Nippon Telegr & Teleph Corp <Ntt> 通信網における輻輳検出制御方法、交換機の輻輳制御方法、端末の輻輳制御方法、ip網アクセス端末、プログラム及び記録媒体
JP4479231B2 (ja) * 2003-12-16 2010-06-09 沖電気工業株式会社 通信端末装置、アドホックネットワーク及び認証管理方法
US20130297790A1 (en) * 2011-01-26 2013-11-07 Nec Corporation Network system, control unit and optimal route controlling method

Also Published As

Publication number Publication date
JP2014085800A (ja) 2014-05-12

Similar Documents

Publication Publication Date Title
CN109218355B (zh) 负载均衡引擎,客户端,分布式计算系统以及负载均衡方法
US8533731B2 (en) Apparatus and method for distrubuting complex events based on correlations therebetween
JP5567686B2 (ja) 分散データベースの負荷均衡のためのコネクション配分を実現する情報処理システム、情報処理装置、負荷均衡方法、データベース配置計画方法およびプログラム
US7890620B2 (en) Monitoring system and monitoring method
CN107239336B (zh) 一种实现任务调度的方法及装置
CN103377092A (zh) 用于动态资源管理的两级动态资源管理方法和装置
CN106034153B (zh) 带宽资源分配方法、数据传输方法、装置及系统
JP6615342B2 (ja) 分散データベースの負荷を平準化するための方法および装置
JP7103705B1 (ja) クラスタに基づく容量縮小処理方法及び装置
EP2570922A1 (en) Method and system for managing an elastic server farm
US11438271B2 (en) Method, electronic device and computer program product of load balancing
CN112463395A (zh) 一种资源分配方法、装置、设备及可读存储介质
JP5969352B2 (ja) 信号処理システム
JP5957965B2 (ja) 仮想化システム、負荷分散装置、負荷分散方法、及び負荷分散プログラム
JP5515810B2 (ja) 負荷制御装置
JP2006107197A (ja) メモリ制御方法およびプログラムならびに端末装置
JP4743904B2 (ja) リソース過分配防止システム
Naik et al. A novel algorithm for fault tolerant job Scheduling and load balancing in grid computing environment
JP2011150472A (ja) ウェブサービスシステム、サーバ選択基準決定装置、サーバ選択基準決定方法およびプログラム
JP2014219859A (ja) 分散処理システムおよび分散処理方法
TWI584667B (zh) 多請求的排程方法及排程裝置
JP6204287B2 (ja) 分散処理方法、処理サーバ、および、プログラム
Patil et al. Improved hybrid dynamic load balancing algorithm for distributed environment
CN100568185C (zh) 资源管理装置和无线电网络控制器
JPH1124949A (ja) 並列処理制御装置

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20140502

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20140528

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150204

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151023

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160705

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160707

R150 Certificate of patent or registration of utility model

Ref document number: 5969352

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees