JP6676098B2 - 情報処理システム、情報処理装置、制御方法、及びプログラム - Google Patents

情報処理システム、情報処理装置、制御方法、及びプログラム Download PDF

Info

Publication number
JP6676098B2
JP6676098B2 JP2018094279A JP2018094279A JP6676098B2 JP 6676098 B2 JP6676098 B2 JP 6676098B2 JP 2018094279 A JP2018094279 A JP 2018094279A JP 2018094279 A JP2018094279 A JP 2018094279A JP 6676098 B2 JP6676098 B2 JP 6676098B2
Authority
JP
Japan
Prior art keywords
request
processing
division
requests
divided
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018094279A
Other languages
English (en)
Other versions
JP2018142363A (ja
Inventor
琢麻 蔵満
琢麻 蔵満
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Marketing Japan Inc
Canon IT Solutions Inc
Original Assignee
Canon Marketing Japan Inc
Canon IT Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Marketing Japan Inc, Canon IT Solutions Inc filed Critical Canon Marketing Japan Inc
Priority to JP2018094279A priority Critical patent/JP6676098B2/ja
Publication of JP2018142363A publication Critical patent/JP2018142363A/ja
Application granted granted Critical
Publication of JP6676098B2 publication Critical patent/JP6676098B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Computer And Data Communications (AREA)
  • Information Transfer Between Computers (AREA)

Description

本発明は、マルチテナント型のサービスを提供する技術に関し、各テナントに対してのサービスを保証するための技術に関する。
クラウド−コンピューティングの発達により、様々なサービスがクラウド環境を用いて提供されている。これらのサービスは、各種サーバーのリソースを最大限に活用するため、マルチテナント型のサービスとして提供されることが多い。ここに、テナントとは、クラウドを利用する事業者又はユーザーを意味する。
マルチテナント型のサービスは、シングルテナント型のサービスと比較して、一般に、サービス導入コストの削減や、余分なハードウェアの削減が可能になるなど、様々なメリットが存在する反面、複数のユーザーで負荷のピークが重なった場合などに、他のテナントの処理性能に影響を及ぼすというデメリットもあるため、クライアントからのリクエストを何らかの形で制御することが求められる。
ここに、リクエストとは、クライアントPCからクラウド内の各種サーバーへの要求指示や要求コマンドを意味する。具体的には、Webサーバーを用いたクラウドサービスの基本的な仕組みは以下のとおりである。まず、クライアントがWebサーバーに対して、取得したいコンテンツを識別するURL(Uniform Resource Locator)を付与したリクエストを送信する。Webサーバーがリクエストを受け取ると、リクエスト中のURLに対応するコンテンツをレスポンスとしてクライアントに送り返す。クラウドサービスは、このリクエストとレスポンスとの繰り返しによって提供される。
クライアントからのリクエストを制御し、各種サーバーのリソースを効率的に使用する方法としては様々な方法が提案されている。
特許文献1に記載された手法は、サービスを提供するエンドサーバーの同時接続セッション数と同一の数だけ仮想キューを設け、ユーザーからのリクエストをキュー長が最小のキューに振り分けることで、ユーザー端末の待機時間の短縮を図る手法である。
特許文献2に記載された手法は、1つ以上のクライアントと2つ以上のサーバーとの間に設置する負荷分散装置に関する手法で、サーバー毎に計測した応答待ちリクエスト数に応じてリクエストを振り分けることで、特定のサーバーに対して過剰な負荷をかけず、サーバー台数に見合う性能向上を図る手法である。
特許文献3に記載された手法は、親部分とサフィックス部分とから成るキューIDを含むメッセージをリクエストとして取扱うことで、複数のキュー間でリクエストを論理的に移動させることを可能にし、ローカルメッセージ処理の効率化を図る手法である。
特開2009−301095号公報 特開2008−40718号公報 特開2006−277725号公報
前述の各手法は、サーバーリソースを如何に有効活用するかという観点からリクエストの制御を行う手法であり、マルチテナント特有の複数のテナントにて負荷のピークが重なった場合などに、他のテナントの処理性能に影響を及ぼすデメリットを解決する手法ではない。
よって、サーバーリソースの限界を上回る数のリクエストがクライアントから送信される状態が発生した場合、サービスを使用していなかったテナントにおいても、すでにサーバー側で受け付けられたリクエストが処理されるまで、サービスを利用できない状況が発生する。
本発明は、クライアントからのリクエストを効率的に処理することを目的とする。
前述した目的を達成するための第1の発明は、複数のリクエストを受付けて処理を実行する情報処理装置であって、前記リクエストを分割するための分割条件に従って複数の分割処理部で前記複数のリクエストのいずれのリクエストを取得させて分割処理の制御を行う分割処理制御手段と、それぞれの分割処理部で分割されたリクエストを記憶する記憶手段と、前記記憶手段に記憶された分割されたリクエストを記憶された順に複数の送信処理部で分割されたリクエストを取得させて送信先の機器への送信処理の制御を行う分割リクエスト処理手段と、を備えたことを特徴とする情報処理装置である。
本発明によれば、クライアントからのリクエストを効率的に処理することが可能になる。
例えば、クライアントから1つのリクエストに関しての情報を入力するだけで、リクエストの送信先となるそれぞれのサーバで実行される処理に応じて当該リクエストを分割して処理を行うため、入力の簡略化とリクエストの並列処理による高速処理化等を図ることが可能となるので、クライアントからのリクエストを効率的に処理することができる。
また、クライアントからのリクエストが大量に発生している状態においては、送信先となるそれぞれのサーバの負荷が上がり過ぎることを抑制でき、逆に、クライアントからのリクエストが少ない場合においては、同時並列実行数を最大限に生かした処理が可能になる。
第1の発明に係る前記分割処理は、前記リクエストの送信先で実行される処理に応じてリクエストを生成する処理を行うことを特徴とする。
これにより、送信先で実行される処理に応じて分割されたリクエストごとに処理を行うことができる。
第1の発明に係る情報処理装置は、それぞれの送信先で前記リクエストを実行した結果を合わせて前記リクエストの受付元へ送信する送信手段を更に備えることを特徴とする。
これにより、それぞれの送信先でリクエストを実行した結果を合わせてリクエストの受付元へ送信することができる。
第1の発明に係る前記送信先は、メールの受信日に基づいて当該メールを保存し、前記分割処理制御手段は、前記送信先で保存されるメールの受信日に基づいてメールを検索する検索対象期間を含むリクエストの分割処理の制御を行うことを特徴とする。
これにより、各送信先が保存しているメールの受信日(受信期間)に応じて、検索対象期間を含むリクエストの分割処理を行うことができる。
第1の発明に係る前記送信先は、前記送信先は、メールの送受信者のメールアドレスに基づいて当該メールを保存し、前記分割処理制御手段は、前記送信先で保存されるメールの送受信者のメールアドレスに基づいて送受信者のメールアドレスを用いた検索に係るリクエストの分割処理の制御を行うことを特徴とする。
これにより、各送信先が保存しているメールのメールアドレスに応じて、メールアドレスを用いた検索を含むリクエストの分割処理を行うことができる。
第1の発明に係る前記分割処理手段によって分割されたリクエストを順次記憶する記憶手段を更に備え、前記分割リクエスト処理手段は、前記記憶手段に記憶されたリクエストを記憶された順に処理を行うことを特徴とする。
これにより、リクエストが少ない状態(混雑してない状態)においても送信先のリソースを最大限生かすことが可能となる。
第1の発明に係る前記記憶手段は、1つのキューであることを特徴とする。
これにより、記憶手段に入れられた順番に分割されたリクエストを処理することができる。
第1の発明に係る前記分割リクエスト処理手段は、前記リクエストを処理させる送信先の機器に応じて当該リクエストに対して分割処理を行うことを特徴とする。
これにより、リクエストを処理させる送信先の機器に応じたリクエストの分割処理を行うことができる。
前述した目的を達成するための第2の発明は、複数のリクエストを受付けて処理を実行する情報処理システムであって、前記リクエストを分割するための分割条件に従って複数の分割処理部で前記複数のリクエストのいずれのリクエストを取得させて分割処理の制御を行う分割処理制御手段と、それぞれの分割処理部で分割されたリクエストを記憶する記憶手段と、前記記憶手段に記憶された分割されたリクエストを記憶された順に複数の送信処理部で分割されたリクエストを取得させて送信先の機器への送信処理の制御を行う分割リクエスト処理手段と、を備えたことを特徴とする情報処理システムである。
本発明によれば、クライアントからのリクエストを効率的に処理することが可能になる。例えば、クライアントから1つのリクエストに関しての情報を入力するだけで、リクエストの送信先となるそれぞれのサーバで実行される処理に応じて当該リクエストを分割して処理を行うため、入力の簡略化とリクエストの並列処理による高速処理化等を図ることが可能となるので、クライアントからのリクエストを効率的に処理することができる。また、クライアントからのリクエストが大量に発生している状態においては、送信先となるそれぞれのサーバの負荷が上がり過ぎることを抑制でき、逆に、クライアントからのリクエストが少ない場合においては、同時並列実行数を最大限に生かした処理が可能になる。
前述した目的を達成するための第3の発明は、複数のリクエストを受付けて処理を実行する情報処理装置における情報処理方法であって、前記リクエストを分割するための分割条件に従って複数の分割処理部で前記複数のリクエストのいずれのリクエストを取得させて分割処理の制御を行う分割処理制御ステップと、それぞれの分割処理部で分割されたリクエストを記憶する記憶ステップと、前記記憶ステップに記憶された分割されたリクエストを記憶された順に複数の送信処理部で分割されたリクエストを取得させて送信先の機器への送信処理の制御を行う分割リクエスト処理ステップと、を含むことを特徴とする情報処理方法である。
本発明によれば、クライアントからのリクエストを効率的に処理することが可能になる。例えば、クライアントから1つのリクエストに関しての情報を入力するだけで、リクエストの送信先となるそれぞれのサーバで実行される処理に応じて当該リクエストを分割して処理を行うため、入力の簡略化とリクエストの並列処理による高速処理化等を図ることが可能となるので、クライアントからのリクエストを効率的に処理することができる。また、クライアントからのリクエストが大量に発生している状態においては、送信先となるそれぞれのサーバの負荷が上がり過ぎることを抑制でき、逆に、クライアントからのリクエストが少ない場合においては、同時並列実行数を最大限に生かした処理が可能になる。
前述した目的を達成するための第4の発明は、コンピュータを、複数のリクエストを受付けて処理を実行する情報処理装置として機能させるためのプログラムであって、前記コンピュータを、前記リクエストを分割するための分割条件に従って複数の分割処理部で前記複数のリクエストのいずれのリクエストを取得させて分割処理の制御を行う分割処理制御手段、それぞれの分割処理部で分割されたリクエストを記憶する記憶手段、前記記憶手段に記憶された分割されたリクエストを記憶された順に複数の送信処理部で分割されたリクエストを取得させて送信先の機器への送信処理の制御を行う分割リクエスト処理手段、として機能させるためのプログラムである。
本発明によれば、クライアントからのリクエストを効率的に処理することが可能になる。例えば、クライアントから1つのリクエストに関しての情報を入力するだけで、リクエストの送信先となるそれぞれのサーバで実行される処理に応じて当該リクエストを分割して処理を行うため、入力の簡略化とリクエストの並列処理による高速処理化等を図ることが可能となるので、クライアントからのリクエストを効率的に処理することができる。また、クライアントからのリクエストが大量に発生している状態においては、送信先となるそれぞれのサーバの負荷が上がり過ぎることを抑制でき、逆に、クライアントからのリクエストが少ない場合においては、同時並列実行数を最大限に生かした処理が可能になる。
前述した目的を達成するための第5の発明は、複数のリクエストを受付けて処理を実行する情報処理システムにおける情報処理方法であって、前記リクエストを分割するための分割条件に従って複数の分割処理部で前記複数のリクエストのいずれのリクエストを取得させて分割処理の制御を行う分割処理制御ステップと、それぞれの分割処理部で分割されたリクエストを記憶する記憶ステップと、前記記憶ステップに記憶された分割されたリクエストを記憶された順に複数の送信処理部で分割されたリクエストを取得させて送信先の機器への送信処理の制御を行う分割リクエスト処理ステップと、を含むことを特徴とする情報処理方法である。
本発明によれば、クライアントからのリクエストを効率的に処理することが可能になる。例えば、クライアントから1つのリクエストに関しての情報を入力するだけで、リクエストの送信先となるそれぞれのサーバで実行される処理に応じて当該リクエストを分割して処理を行うため、入力の簡略化とリクエストの並列処理による高速処理化等を図ることが可能となるので、クライアントからのリクエストを効率的に処理することができる。また、クライアントからのリクエストが大量に発生している状態においては、送信先となるそれぞれのサーバの負荷が上がり過ぎることを抑制でき、逆に、クライアントからのリクエストが少ない場合においては、同時並列実行数を最大限に生かした処理が可能になる。
本発明によれば、クライアントからのリクエストを効率的に処理することが可能になる。
本発明の実施形態におけるマルチテナント型サービス実行制御装置の構成を示す図 本発明の実施形態における各種端末のハードウェア構成を示す図 本発明の実施形態におけるリクエスト待機入力処理のフローチャート 本発明の実施形態におけるリクエスト不待機入力処理のフローチャート 本発明の実施形態におけるリクエスト待機出力処理のフローチャート 本発明の実施形態におけるリクエスト不待機出力処理のフローチャート 本発明の実施形態におけるリクエスト移行処理のフローチャート 本発明の実施形態を利用したマルチテナント型アプリケーションサーバーの構成を示す図 本発明の実施形態を利用したマルチテナント型分散処理システムの構成を示す図 本発明の実施形態におけるリクエスト受付処理のフローチャート 本発明の実施形態におけるリクエスト実行処理のフローチャート 本発明の実施形態におけるリクエスト分割処理のフローチャート 本発明の実施形態における分割リクエスト送信処理のフローチャート
以下、図面を参照して、本発明の実施形態を詳細に説明する。なお、説明の簡略化のため、以下、マルチテナント型サービス実行制御装置をMTQ(Multi Tenant Queue:マルチテナントキュー)と表記する。
(基本構成:マルチテナント型サービス実行制御装置)
図1は、本発明の実施形態におけるMTQの構成を示す図である。MTQ100は、複数の入力用キュー110と、1つの出力用キュー120と、リクエスト入力処理部130と、リクエスト移行処理部140と、リクエスト出力処理部150とを備える。尚、入力用キュー110によって、本発明に係る入力用記憶手段の一例が構成されている。また、出力用キュー120によって、本発明に係る出力用記憶手段の一例が構成されている。また、リクエスト入力処理部130によって、本発明に係るリクエスト入力処理手段の一例が構成されている。また、リクエスト移行処理部140によって、リクエスト移行処理手段の一例が構成されている。
入力用キュー110は、テナントごとのリクエストを受け付けるキューで、テナントごとに対応するキューが1つ以上存在する。尚、テナントによって、本発明に係る送信元の一例が構成されている。図1において、MTQ100は、テナントAに対応する入力用キュー111、テナントBに対応する入力用キュー112、および、テナントCに対応する入力用キュー113、114を備える。
出力用キュー120は、リクエストの処理順序をFIFO形式で管理するキューで、各テナントで共有して用いる。
CPU201及びメモリで構成されたリクエスト移行処理部140は、入力用キュー110からリクエストを取得し、出力用キュー120へ順次移行する。
CPU201及びメモリで構成されたリクエスト入力処理部130における入力用キュー110へのリクエスト入力処理、リクエスト出力処理部150における出力用キュー120からのリクエスト出力処理、および、リクエスト移行処理部140におけるリクエスト移行処理については、それぞれ詳しく「(リクエスト入力処理)」「(リクエスト出力処理)」「(リクエスト移行処理)」にて後述される。
(ハードウェア構成:マルチテナント型サービス実行制御装置)
次に、図1のMTQ100のハードウェア構成について、図2を用いて説明する。
図中、CPU201は、システムバス204に接続される後述の各デバイスやコントローラを統括的に制御する。また、ROM203あるいは外部メモリ211には、CPU201の制御プログラムであるBIOS(Basic Input / Output System)やオペレーティングシステムプログラム(以下、OS)や、MTQ100に後述する各種の処理を実行させるために必要な各種プログラムやデータ等が記憶されている。RAM202は、CPU201の主メモリ、ワークエリア等として機能する。尚、以下、RAM202及びROM203を単にメモリと称す。
CPU201は、処理の実行に際して必要なプログラム等をRAM202にロードして、プログラムを実行することで後述する各種処理を実現するものである。また、入力コントローラ(入力C)205は、キーボードやポインティングデバイス等で構成される入力装置209からの入力を制御する。ビデオコントローラ(VC)206は、ディスプレイ装置210等の表示装置への表示を制御する。ディスプレイ装置210は、例えばCRTディスプレイや液晶ディスプレイ等で構成される。
メモリコントローラ(MC)207は、ブートプログラム、ブラウザソフトウエア、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶するハードディスク(HD)やフロッピー(登録商標)ディスク或いはPCMCIAカードスロットにアダプタを介して接続されるコンパクトフラッシュ(登録商標)メモリ等の外部メモリ211へのアクセスを制御する。
通信I/Fコントローラ(通信I/FC)208は、ネットワークを介して、外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、TCP/IPを用いたインターネット通信等が可能である。
なお、CPU201は、例えばRAM202内の表示情報用領域へアウトラインフォントの展開(ラスタライズ)処理を実行することにより、ディスプレイ装置210上での表示を可能としている。また、CPU201は、ディスプレイ装置210上の不図示のマウスカーソル等でのユーザ指示を可能とする。以上が、マルチテナント型サービス実行制御装置100のハードウェア構成の説明であるが、後述する各種の処理を実行可能であれば、必ずしも図2に記載のハードウェア構成を有していなくとも構わないことは言うまでもない。
(リクエスト入力処理)
次に、リクエスト入力処理部130におけるリクエスト入力処理について、図1、図3、図4を用いて詳しく説明する。
このリクエスト入力処理は、リクエスト入力処理部130が、入力用キュー110に空きが発生するまで入力処理を待機するリクエスト待機入力処理と、入力用キュー110に空きが存在しない場合はエラーを発生させるリクエスト不待機入力処理とを実行する、2つの処理を示している。
図3は、リクエスト待機入力処理のフローチャートを示しており、図4は、リクエスト不待機入力処理のフローチャートを示している。なお、MTQ100を用いた各入力処理に用いるリクエストは、テナントを一意に識別するID(テナントID)に関する情報を含む。
リクエスト待機入力処理では、まず、ステップS301において、MTQ100のCPU201は、入力として与えたテナントIDに該当する入力用キューを取得する。例えば、リクエスト161に含まれるテナントIDがテナントAを表す識別子である場合、リクエスト入力処理部130は、テナントA入力用キュー111を取得する。
次に、ステップS302において、MTQ100のCPU201は、S301で取得した入力用キュー110に空きができるまで待機し、ステップS303でリクエストを当該キューに格納し、S304で入力用キュー110への入力が完了したことを示す実行結果をリクエスト入力要求元(即ち、クライアントたるテナント)へ返す。
リクエスト不待機入力処理では、S401で、S301と同様に、MTQ100のCPU201は、入力として与えたテナントIDに該当する入力用キュー110を取得する。
次に、ステップS402で、MTQ100のCPU201は、ステップS401で取得した入力用キュー110の状態を確認する。ここで、入力用キュー110に空きが存在する場合(ステップS401でYes)、MTQ100のCPU201は、ステップS403でリクエストを当該キューに格納し、ステップS404で入力用キュー110への入力が完了したことを示す実行結果をクライアントたるテナントへ返す。
他方で、ステップS402で、入力用キュー110に空きが存在しない場合(ステップS401でNo)、MTQ100のCPU201は、ステップS405で、入力用キュー110への入力が失敗したことを示す実行結果をリクエスト入力要求元(即ち、クライアントたるテナント)へ返す。特に、このステップS402において、CPU201及びメモリで構成されたリクエスト入力処理部130が、入力用キュー110に対して、リクエストを記憶する際に、リクエスト自体の容量が、リクエストの送信元たるテナントに応じた記憶容量を超えたか否かを判定してよい。そして、リクエスト自体の容量が、リクエストの送信元たるテナントに応じた記憶容量を超えた場合、MTQ100のCPU201は、リクエストの送信元たるテナントへ受付け不可の通知を行ってもよい。
(リクエスト出力処理)
次に、リクエスト出力処理部150におけるリクエスト出力処理について、図1、図5、図6を用いて詳しく説明する。
このリクエスト出力処理は、リクエスト出力処理部150は、出力用キュー120にリクエストが入力されるまで待機するリクエスト待機出力処理と、出力用キュー120にリクエストが存在しない場合はエラーを発生させるリクエスト不待機出力処理とを実行する、2つの処理を示している。
図5は、リクエスト待機出力処理のフローチャートを示しており、図6は、リクエスト不待機出力処理のフローチャートを示している。
リクエスト待機出力処理では、まず、MTQ100のCPU201は、ステップS501において、出力用キュー120にリクエストが入力されるまで待機する。次に、ステップS502で、MTQ100のCPU201は、出力用キュー120からリクエストを1つ取得し、ステップS503で当該リクエスト163をリクエスト出力要求元へ返す。
リクエスト不待機出力処理では、まず、MTQ100のCPU201は、ステップS601において、出力用キュー120が空であるか確認する。空でなく、リクエストが存在する場合(ステップS601でNoの場合)、MTQ100のCPU201は、ステップS602で出力用キュー120からリクエストを1つ取得し、ステップS603で当該リクエストをリクエスト出力要求元へ返す。
ステップS601で、出力用キュー120が空である場合(ステップS601でYesの場合)、MTQ100のCPU201は、ステップS604で、リクエストが存在しないことを示す実行結果をリクエスト出力要求元へ返す。
(リクエスト移行処理)
次に、リクエスト移行処理部140におけるリクエスト移行処理について、図1、図7を用いて詳しく説明する。
リクエスト入力処理部130、および、リクエスト出力処理部150が、外部からの要求を受けて各処理を実行するのに対し、リクエスト移行処理部140は、MTQ100が停止するまで、自立的にリクエスト移行処理を繰り返す。
CPU201、RAM及びROM等のメモリによって構成されたリクエスト移行処理部140は、ステップS701からステップS704において、各入力用キュー111乃至114を順次参照して、リクエストを出力用キュー120へ移行する。
CPU201及びメモリによって構成されたリクエスト移行処理部140は、ステップS702では、参照中の入力用キュー110にリクエストが存在する場合は、ステップS703で出力用キュー120に空きができるまで待機し、ステップS704で当該入力用キュー110からリクエストを1つ取得して出力用キュー120へ移行する。特に、リクエスト移行処理部140は、入力用キュー110からリクエストを出力用キュー120へ移行する際に、入力用キュー111乃至114のうち毎回異なるいずれか一つからのリクエストを順次取得してよい。
次に、ステップS705で、CPU201及びメモリによって構成されたリクエスト移行処理部140は、ステップS701〜ステップS704においてリクエストを移行したか否かを判定し、リクエストを1つも移行していないと判定した場合、すなわち、入力用キュー110にリクエストが存在しなかった場合は、ステップS706でいずれかの入力用キュー110にリクエストが格納されるまで待機する。
その後、ステップS707において、CPU201及びメモリによって構成されたリクエスト移行処理部140は、MTQ100が稼働中であるか否かを確認し、稼働中である間、ステップS701からステップS706の処理を繰り返す。
以上で説明したMTQ100は、テナントごとに占用の入力用キュー110が1つ以上存在するため、あるテナントのリクエストを、対応する入力用キュー110のサイズ分だけ同時に受け付けられることを保証できる。
また、出力用キュー120が1つであるため、MTQ100を参照してリクエストを取得するワーカー(例えば、図8にて後述されるリクエスト実行部821、又は、図9にて後述されるリクエスト分割処理部920)は、通常のFIFO形式のキューと同じように、1つのキューを監視することによりリクエストを取得できる。
この出力用キュー120へは、CPU201及びメモリによって構成されたリクエスト移行処理部140が、各テナントの入力用キュー110を順番に参照してリクエストを移行する。これにより、特定のテナントがサーバーのリソースを占有することを防ぎ、各テナントのリクエストが処理されるまでの待ち時間が、待ち行列理論で決定される最大待ち時間を超えないことを保証することができる。
ここで、あるテナントの入力用キュー110における先頭のリクエストが処理されるまでの最大待ち時間を、当該リクエストがMTQ100から出力されるまでに出力されるリクエストの数と定義すると、最大待ち時間は、出力用キューサイズ+(入力用キュー数−1)で表すことができる。
さらに、MTQ100では、入力用キュー110の本数をテナントごとに変化させることにより、単位時間あたりに出力されるリクエスト数をテナントごとに調整することができる。例えば、MTQ100において、テナントA、テナントB、テナントCの入力用キュー110の本数は、それぞれ、1本、1本、2本であるため、すべての入力用キュー110にリクエストが存在する場合、すなわち、各テナントが同時にサービスを利用している場合、各テナントのリクエストは1:1:2の割合で出力される。
(動作原理:マルチテナント型サービスを提供するシステム)
次に、MTQ100を用いたマルチテナント型サービスを提供するシステムの実施形態について、図8を用いて説明する。
図8は、MTQ100を組み込んだマルチテナント型アプリケーションサーバー800の構成を示す図であり、マルチテナント型アプリケーションサーバー800は、リクエスト受付部810と、MTQ100と、リクエスト実行部821、822、823とを備える。尚、リクエスト実行部821によって、本発明に係るリクエスト処理手段の一例が構成されている。また、図8及び後述される図9中のsocket(ソケット)とは、ホスト間の通信や1つのコンピュータ上のプロセス間の通信を可能とするインタフェースを意味する。
CPU201及びメモリによって構成されたリクエスト受付部810は、アプリケーションを利用するクライアントのリクエストの受付処理を行い、MTQ100にリクエストの入力要求を行い、CPU201及びメモリによって構成されたリクエスト実行部821は、MTQ100からリクエストを取得し、リクエストに応じた処理を実行する。
(リクエスト受付処理)
図10は、リクエスト受付部810における、リクエスト受付処理のフローチャートを示している。
リクエスト受付処理では、まず、ステップS1001で、CPU201及びメモリによって構成されたリクエスト受付部810は、リクエストの送信元に対応するテナントIDを取得し、ステップS1002で、MTQ100のリクエスト不待機入力処理によるリクエストの入力を試みる。
次に、ステップS1003で、CPU201及びメモリで構成されたリクエスト受付部810は、ステップS1002におけるリクエスト不待機入力処理の成否を判定し、リクエスト不待機入力処理がエラーを返した場合(ステップS1003でNoの場合)は、ステップS1004を実行し、成功した場合(ステップS1003でYesの場合)はステップS1005を実行する。
ステップS1004では、CPU201及びメモリで構成されたリクエスト受付部810は、サーバーが過負荷な状態であることを示すエラー情報をクライアントに返して、リクエスト受付処理を終了する。
ステップS1005では、CPU201及びメモリで構成されたリクエスト受付部810は、MTQ100に入力したリクエストが実行されるまで待機し、ステップS1006で、リクエストの実行結果をクライアントに送信する。
(リクエスト実行処理)
図11は、CPU201及びメモリで構成されたリクエスト実行部821、822、823における、リクエスト実行処理のフローチャートである。
リクエスト実行処理では、まず、ステップS1101で、CPU201及びメモリで構成されたリクエスト実行部821、822、823は、MTQ100のリクエスト待機出力処理を用いてリクエストを取得し、ステップS1102で、リクエストに応じた処理を実行する。
次に、ステップS1103で、CPU201で構成されたリクエスト実行部821、822、823は、マルチテナント型アプリケーションサーバーの稼働状況を判定し、稼働中であれば、ステップS1101、ステップS1102の処理を繰り返し、稼働中でなければ、リクエスト実行処理を終了する。
マルチテナント型アプリケーションサーバー800では、リクエスト受付部810が、MTQ100の不待機入力処理を使用するため、入力用キュー数に空きが存在しないテナント、すなわち、リクエストを大量に送信しているテナントのリクエストを制限することが可能である。
また、MTQ100は、FIFO形式の順序付きキューと併用して用いることで、複数台のサーバーが並列的に処理を分散して実行するような環境におけるサービス実行制御にも効率的に用いることが可能である。
(基本構成:MTQを含む分散処理型のマルチテナント型アプリケーションシステム)
図9は、MTQ100を組み込んだ分散処理型のマルチテナント型アプリケーションシステムの構成を示す図で、マルチテナント型アプリケーションシステムは、リクエストの受付け、リクエストの分割を実行する分散処理振分けサーバー901と、分割されたリクエストを実行する分散処理実行サーバー902から成る。
分散処理振分けサーバー901は、リクエスト受付部910と、MTQ100と、リクエスト分割処理部920と、FIFOキュー930と、分割リクエスト送信部940とを備え、分散処理実行サーバー902は、分割リクエスト実行部950を備える。尚、リクエスト分割処理部920によって、本発明に係るリクエスト分割処理手段の一例が構成されている。FIFOキュー930によって、本発明に係る分散処理用記憶手段の一例が構成されている。分割リクエスト送信部940によって、本発明に係る分割リクエスト送信手段の一例が構成されている。
CPU201及びメモリで構成されたリクエスト受付部910は、先に説明したリクエスト受付部810と同様に、アプリケーションを利用するクライアントのリクエストの受付処理を行い、MTQ100にリクエストの入力要求を行う。
リクエスト分割処理部920は、MTQ100から取得したリクエストを分割してFIFOキュー930に格納する。FIFOキュー930は、FIFO形式の順序付きキューである。
ここで分割を行うための条件としては、MTQ100を組み込むシステムの種類によるが、例えば、メールアーカイブを検索するシステムにおいて、日毎のインデックスを分割して異なるサーバーに保存している構成を備えていれば、分割を行う条件は、検索のリクエストに含まれる検索対象期間によって決定することができる(詳細は後述される「(メールアーカイブの具体例)」を参照)。
また、送受信者のメールアドレスを用いてインデックスを生成することで、サーバーにメールを保存するような構成を備えていれば、分割を行う条件は、検索のリクエストに含まれる送受信者のメールアドレスによって決定することができる。
CPU201及びメモリで構成された分割リクエスト送信部940は、FIFOキュー930から取得した分割リクエストをCPU201及びメモリで構成された分散処理実行サーバー902に送信し、CPU201及びメモリで構成された分割リクエスト実行部950が処理したリクエストの実行結果を受け取る。
(リクエスト分割処理)
次に、図12及び上述した図9を参照して、リクエスト分割処理について説明する。
図12は、リクエスト分割処理部920におけるリクエスト分割処理のフローチャートを示している。リクエスト分割処理では、まず、ステップS1201で、MTQ100のリクエスト待機出力処理によりリクエストを取得する。
次に、ステップS1202で、リクエストを、当該リクエストの送信先である分散処理実行サーバー902ごとのリクエストに分割し、ステップS1203で、分割したリクエストをFIFOキュー930に格納する。以下、分割したリクエストの各要素を分割リクエストと呼ぶ。尚、分割リクエストには、リクエストの送信先である分散処理実行サーバー902の識別情報、および、分割処理対象となるデータの情報を含む。
例えば、図9において、CPU201及びメモリで構成されたリクエスト分割処理部920は、MTQ100から取得したリクエスト961を、分割リクエスト971、分割リクエスト972、分割リクエスト973に分割し、各分割リクエストをFIFOキュー930に格納する。
(メールアーカイブの具体例)
前述の例を用いるならば、リクエスト961が検索対象期間を2012年10月22日〜2012年10月24日とするメールアーカイブを検索するリクエストである場合、2012年10月22日の分の検索処理を要求する分割リクエスト971、2012年10月23日の分の検索処理を要求する分割リクエスト972、2012年10月24日の分の検索処理を要求する分割リクエスト973に分割する。このとき、各分割リクエストの送信先となる分散処理実行サーバー902は、検索対象の検索インデックスを保管するサーバーとなる。
次に、ステップS1204で、各分割リクエストの実行が完了するのを待機し、各実行結果をマージする。マージするための条件としては、MTQ100を組み込む種類によるが、例えば、メールアーカイブを検索するシステムにおいて、日毎のインデックスを分割して異なるサーバーに保存しているのであれば、各々検索した結果を、メールの受信時刻が降順(または、昇順)になるようにマージを行う(詳細については後述される「ステップS1204」を参照されたし)。
次に、ステップS1205で、分散処理実行サーバー902の稼働状況を判定し、稼働中であれば、ステップS1201〜ステップS1204の処理を繰り返し、稼働中でなければ、リクエスト分割処理を終了する。
(分割リクエスト送信処理)
次に、図13と上述した図9を参照して、分割リクエスト送信処理について説明する。
図13は、分割リクエスト送信部940における分割リクエスト送信処理のフローチャートである。分割リクエスト送信処理では、まずステップ1301で、CPU201及びメモリで構成された分割リクエスト送信部940は、FIFOキュー930から分割リクエストを取得する。
次に、ステップ1302で、ステップ1301において取得した分割リクエストを、分散処理実行サーバー902へ送信し、実行結果を取得する。
次に、ステップS1303で、分散処理実行サーバー902の稼働状況を判定し、稼働中であれば、ステップS1301、ステップS1302の処理を繰り返し、稼働中でなければ、分割リクエスト送信処理を終了する。
CPU201及びメモリで構成された分割リクエスト送信部940が、FIFOキュー930から取得した分割リクエストを順次処理することにより、図9の分散処理システムにおいて、同時期に実行される分割リクエストの上限は、分割リクエスト送信部940の数と等しくなる。
これにより、テナントからのリクエストが大量に発生している状態においては、各分散処理実行サーバー902の負荷が上がり過ぎることを抑制でき、逆に、テナントからのリクエストが少ない場合においては、同時並列実行数を最大限に生かした処理が可能になる。
つまり、複数台の分散処理実行サーバー902に対して、並列的にリクエストを送信する場合、同時に送信可能な分割したリクエストの数は、分散処理振分けサーバー901の最大同時接続数(最大ソケット数)となる。
FIFO形式の順序付きキューを用いない場合、リクエスト分割処理部920が分割したリクエストを送信することになるが、この場合、1つあたりのリクエスト分割処理部920に割り当てることが可能なソケット(socket)の数は、(最大ソケット数をリクエスト分割処理部920の数で除したもの)となる。
この場合、テナントからのリクエストが1つしかない場合においても、リクエスト分割処理部920に割り当てられたソケット数分の並列数しか得られないため、サーバーのリソースを最大限生かすことが難しい。
一方、FIFO形式の順序付きキューを1つ設置し、分割リクエスト送信部940を別途設けた場合、リクエストが少ない状態(混雑してない状態)においてもサーバーのリソースを最大限生かすことが可能となる。
このように、MTQ100とFIFOキュー930を併用することにより、システム全体で処理する分割リクエストの数を制御しつつ、テナントごとのサービス実行制御を実施することが可能になる。
図9の分散処理型のマルチテナント型アプリケーションシステムにおけるより具体的な応用例として、メールアーカイブを検索するシステムがある。
メールアーカイブ検索システムは、企業活動により生じたメールアーカイブから監査目的でメール情報を検索するためのシステムであり、日々増加する大量のメール情報から、実時間で検索結果を返すことが求められるため、メールアーカイブ検索システムの中には、日毎の検索インデックスを複数のサーバーに分割して保存し、並列的に検索処理を実行することで、検索時間の短縮を図るシステムがある。
このようなシステムを、図9の分散処理型のマルチテナント型アプリケーションシステム上で稼働させる場合、リクエスト分割処理部920が取得するリクエスト961は、メールの検索対象期間や検索キーワードを含む検索のリクエストである。
CPU201及びメモリで構成されたリクエスト分割処理部920は、ステップS1202では、リクエスト961を検索対象期間に対応する検索用のインデックスを保持する分散処理実行サーバー902ごとのリクエストに分割し、ステップS1204では、各分割リクエストの実行結果、すなわち、各分割リクエスト実行部950が出力した検索結果を、メールの受信時刻が降順、または、昇順となるようにマージする。
以上説明したように、本実施形態によれば、マルチテナント型のサービスを提供するにあたり、テナント毎にリクエストを行うことを実現することで、サーバーのリソースを効率的に利用することが可能になる。
以上、実施形態例を詳述したが、本発明は、例えば、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
なお、上述した各種データの構成及びその内容はこれに限定されるものではなく、用途や目的に応じて、様々な内容で構成されることは言うまでもない。
また、本発明は、システム或いは装置にプログラムを供給することにとって達成される場合にも適用できることは言うまでもない。この場合、本発明を達成するためのソフトウェアによって表されるプログラムを格納した記録媒体を該システム或いは装置に読み出すことによって、そのシステム或いは装置が、本発明の効果を享受することが可能となる。
さらに、本発明を達成するためのソフトウェアによって表されるプログラムをネットワーク上のサーバー、データーベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステム或いは装置が、本発明の効果を享受することが可能となる。
なお、上述した各実施形態及びその変形例を組み合わせた構成もすべて本発明に含まれるものである。
以上、添付図面を参照しながら、本発明に係る情報処理装置、情報処理システム等の好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
100 マルチテナント型サービス実行制御装置(MTQ)
110 入力用キュー
111 テナントA用入力キュー
112 テナントB用入力キュー
113 テナントC用入力キュー(1)
114 テナントC用入力キュー(2)
120 出力用キュー
130 リクエスト入力処理部
140 リクエスト移行処理部
150 リクエスト出力処理部
201 CPU
202 RAM
203 ROM
204 システムバス
205 入力コントローラ
206 ビデオコントローラ
207 メモリコントローラ
208 通信I/F(インターフェース)コントローラ
209 入力装置
210 ディスプレイ装置
211 外部メモリ

Claims (11)

  1. 複数のリクエストを受付けて処理を実行する情報処理装置であって、
    前記リクエストを分割するための分割条件に従って複数の分割処理部で前記複数のリクエストのいずれのリクエストを取得させて分割処理の制御を行う分割処理制御手段と、
    それぞれの分割処理部で分割されたリクエストを記憶する記憶手段と、
    前記記憶手段に記憶された分割されたリクエストを記憶された順に複数の送信処理部で分割されたリクエストを取得させて送信先の機器への送信処理の制御を行う分割リクエスト処理手段と、
    を備えたことを特徴とする情報処理装置。
  2. 前記分割処理は、前記リクエストの送信先で実行される処理に応じてリクエストを生成する処理を行うことを特徴とする請求項1に記載の情報処理装置。
  3. それぞれの送信先で前記リクエストを実行した結果を合わせて前記リクエストの受付元へ送信する送信手段を備えたことを特徴とする請求項2に記載の情報処理装置。
  4. 前記送信先は、メールの受信日に基づいて当該メールを保存し、
    前記分割処理制御手段は、前記送信先で保存されるメールの受信日に基づいてメールを検索する検索対象期間を含むリクエストの分割処理の制御を行うことを特徴とする請求項2または3に記載の情報処理装置。
  5. 前記送信先は、メールの送受信者のメールアドレスに基づいて当該メールを保存し、
    前記分割処理制御手段は、前記送信先で保存されるメールの送受信者のメールアドレスに基づいて送受信者のメールアドレスを用いた検索に係るリクエストの分割処理の制御を行うことを特徴とする請求項2乃至4の何れか1項に記載の情報処理装置。
  6. 前記記憶手段は、1つのキューであることを特徴とする請求項1乃至5の何れか1項に記載の情報処理装置。
  7. 前記分割リクエスト処理手段は、前記リクエストを処理させる送信先の機器に応じて当該リクエストに対して分割処理を行うことを特徴とする請求項1乃至6の何れか1項に記載の情報処理装置。
  8. 複数のリクエストを受付けて処理を実行する情報処理システムであって、
    前記リクエストを分割するための分割条件に従って複数の分割処理部で前記複数のリクエストのいずれのリクエストを取得させて分割処理の制御を行う分割処理制御手段と、
    それぞれの分割処理部で分割されたリクエストを記憶する記憶手段と、
    前記記憶手段に記憶された分割されたリクエストを記憶された順に複数の送信処理部で分割されたリクエストを取得させて送信先の機器への送信処理の制御を行う分割リクエスト処理手段と、
    を備えたことを特徴とする情報処理システム。
  9. 複数のリクエストを受付けて処理を実行する情報処理装置における情報処理方法であって、
    前記リクエストを分割するための分割条件に従って複数の分割処理部で前記複数のリクエストのいずれのリクエストを取得させて分割処理の制御を行う分割処理制御ステップと、
    それぞれの分割処理部で分割されたリクエストを記憶する記憶ステップと、
    前記記憶ステップに記憶された分割されたリクエストを記憶された順に複数の送信処理部で分割されたリクエストを取得させて送信先の機器への送信処理の制御を行う分割リクエスト処理ステップと、
    を含むことを特徴とする情報処理方法。
  10. コンピュータを、
    複数のリクエストを受付けて処理を実行する情報処理装置として機能させるためのプログラムであって、
    前記コンピュータを、
    前記リクエストを分割するための分割条件に従って複数の分割処理部で前記複数のリクエストのいずれのリクエストを取得させて分割処理の制御を行う分割処理制御手段、
    それぞれの分割処理部で分割されたリクエストを記憶する記憶手段、
    前記記憶手段に記憶された分割されたリクエストを記憶された順に複数の送信処理部で分割されたリクエストを取得させて送信先の機器への送信処理の制御を行う分割リクエスト処理手段、
    として機能させるためのプログラム。
  11. 複数のリクエストを受付けて処理を実行する情報処理システムにおける情報処理方法であって、
    前記リクエストを分割するための分割条件に従って複数の分割処理部で前記複数のリクエストのいずれのリクエストを取得させて分割処理の制御を行う分割処理制御ステップと、
    それぞれの分割処理部で分割されたリクエストを記憶する記憶ステップと、
    前記記憶ステップに記憶された分割されたリクエストを記憶された順に複数の送信処理部で分割されたリクエストを取得させて送信先の機器への送信処理の制御を行う分割リクエスト処理ステップと、
    を含むことを特徴とする情報処理方法。
JP2018094279A 2018-05-16 2018-05-16 情報処理システム、情報処理装置、制御方法、及びプログラム Active JP6676098B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018094279A JP6676098B2 (ja) 2018-05-16 2018-05-16 情報処理システム、情報処理装置、制御方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018094279A JP6676098B2 (ja) 2018-05-16 2018-05-16 情報処理システム、情報処理装置、制御方法、及びプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2012259003A Division JP6342110B2 (ja) 2012-11-27 2012-11-27 マルチテナント型サービスシステム、情報処理装置、制御方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2018142363A JP2018142363A (ja) 2018-09-13
JP6676098B2 true JP6676098B2 (ja) 2020-04-08

Family

ID=63528289

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018094279A Active JP6676098B2 (ja) 2018-05-16 2018-05-16 情報処理システム、情報処理装置、制御方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP6676098B2 (ja)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4021287B2 (ja) * 2002-09-09 2007-12-12 日立ソフトウエアエンジニアリング株式会社 データベース検索プログラム、データベース検索方法及びデータベース検索装置
JP4540495B2 (ja) * 2005-02-07 2010-09-08 富士通株式会社 データ処理装置、データ処理方法、データ処理プログラム、および記録媒体
JP2007145238A (ja) * 2005-11-29 2007-06-14 Fujitsu Ten Ltd 情報表示装置
JP2007241394A (ja) * 2006-03-06 2007-09-20 Mitsubishi Electric Corp 分割処理管理装置及び分割処理管理システム及び演算処理実行システム及び分割処理管理方法
JP2008146194A (ja) * 2006-12-07 2008-06-26 Nec Biglobe Ltd 顧客対応メールシステム
JP4852638B2 (ja) * 2009-09-28 2012-01-11 株式会社沖データ メール管理装置、複合装置、及び通信方法
JP5425028B2 (ja) * 2010-09-13 2014-02-26 株式会社野村総合研究所 データ検索システム及びプログラム

Also Published As

Publication number Publication date
JP2018142363A (ja) 2018-09-13

Similar Documents

Publication Publication Date Title
CN107590001B (zh) 负载均衡方法及装置、存储介质、电子设备
JP4569846B2 (ja) I/oノード制御方式及び方法
JP6113849B2 (ja) クラウド内に地理的分散型のアプリケーションを自動的に配備する方法および装置
JP6342110B2 (ja) マルチテナント型サービスシステム、情報処理装置、制御方法、及びプログラム
US10997538B1 (en) Resource management
US10178163B2 (en) Server-processor hybrid system for processing data
US11311722B2 (en) Cross-platform workload processing
US20100138540A1 (en) Method of managing organization of a computer system, computer system, and program for managing organization
US11616686B1 (en) Cluster management
Mseddi et al. Efficient replica migration scheme for distributed cloud storage systems
US20190215271A1 (en) Resource management system
KR20200080458A (ko) 클라우드 멀티-클러스터 장치
US20100161585A1 (en) Asymmetric cluster filesystem
JPWO2005116832A1 (ja) 分散処理環境におけるジョブの実行を制御するためのコンピュータシステム、方法及びプログラム
CN111225003B (zh) 一种nfs节点配置方法和装置
US20090132582A1 (en) Processor-server hybrid system for processing data
JP6676098B2 (ja) 情報処理システム、情報処理装置、制御方法、及びプログラム
JP6272080B2 (ja) 情報処理装置及び分散印刷システム、印刷制御方法、プログラム
JP2004046372A (ja) 分散処理システム、リソース割当方法およびプログラムならびにリソース割当プログラムが記録された記録媒体
JP2014021854A (ja) 負荷分散システム、負荷分散システムの制御方法、およびコンピュータプログラム
JP6888478B2 (ja) 振り分けシステム
JP4222065B2 (ja) 情報システムにおけるデータアクセス方法および情報システム
JP7073703B2 (ja) ゲートウェイ装置、クライアントサーバシステムおよびプログラム
WO2020100652A1 (ja) 処理要求管理装置、処理要求管理方法及びプログラム
Chavarriaga et al. Scaling the deployment of virtual machines in UnaCloud

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180615

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180615

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190305

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190425

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190924

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191223

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20200109

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200311

R150 Certificate of patent or registration of utility model

Ref document number: 6676098

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250