JP6422293B2 - 通信システム - Google Patents

Description

本発明は、通信システムに関する。

端末装置からの要求を複数のサーバに振り分けてして処理を行うことで各サーバにおける負荷の偏りを低減する負荷分散に係る技術が知られている（例えば、特許文献１）。このような負荷分散を行う通信方式では、一般に、複数の送信元である端末装置のそれぞれが宛先の処理装置に応じてデータ通信パケットの宛先アドレスを設定する通信方式と、送信元の端末装置が宛先の処理装置によらず同一のデータ通信パケットの宛先アドレスを設定し、処理分散装置がデータ通信パケットを異なる処理装置に振り分ける通信方式とが知られている。このうち、処理分散装置が複数の処理装置に対して振り分ける通信方式は、既設のネットワークシステムに新たに処理を分散させるための通信方式を導入する場合において、導入時の変更箇所を最小にすることができることが知られている。

特開２０１２−１０８６８５号公報

しかしながら、従来の負荷分散技術においては、処理分散装置は配下の処理装置に対して処理を分散することはできるが、中継網を介して他の処理分散装置の配下の処理装置に対して処理を振り分けることはできなかった。このため、特定の処理に対して負荷がかかっている場合の処理の分散について、改善の余地があった。

本発明は上記を鑑みてなされたものであり、データ通信における処理の分散をより好適に行うことができる通信システムを提供することを目的とする。

上記目的を達成するため、本発明の一形態に係る通信システムは、端末装置から送信されるタスクに係る処理を分散して実行する処理分散装置と、処理分散装置からタスクを割り振られる複数の処理装置と、を有する通信システムであって、処理分散装置は、端末装置から送信されるタスクに係るパケットデータについて、複数の処理装置のうちタスクを振り分けられる先の処理装置である振り分け先を判定するための判定表を保持し、当該判定表に基づいて振り分け先を決定する振り分け先判定部と、振り分け先判定部による決定された振り分け先のアドレスを宛先アドレスとしたパケットに対してタスクに係るパケットデータをカプセル化するカプセル化部と、カプセル化部によってカプセル化された後のカプセル化データを処理装置に対して送信する通信部と、を備え、処理装置は、カプセル化データを受信して、当該カプセル化データに含まれるタスクを実行する１以上の仮想マシン部と、仮想マシン部の増設又は減設を実行する仮想スイッチ部と、を備え、処理分散装置の振り分け先判定部は、処理装置における仮想マシン部の増設又は減設に対応して、判定表を更新することを特徴とする。

上記の通信システムでは、パケットデータが処理分散装置においてカプセル化された後に処理装置へ送信され、かつ、処理装置がカプセル化データを受信して、当該カプセル化データに含まれるタスクを実行する１以上の仮想マシン部と、仮想マシン部の増設又は減設を実行する仮想スイッチ部と、によって構成されることで、仮に振り分け先の装置が他の処理分散装置の配下であり、かつ、同じ処理分散装置の配下に同じアドレスが割り当てられた処理部を持つ処理装置が複数ある場合であっても、カプセル化部によって目標の処理装置を宛先アドレスとしたパケットに対してタスクに係るパケットデータをカプセル化することで、カプセル化後のパケットデータを処理装置に対して好適に送信することができる。したがって、データ通信における処理の分散をより好適に行うことができる。さらに、通信システムでは、処理装置が仮想スイッチ部と仮想マシン部とによって構成されるため、仮想マシン部の構成が適宜変更される場合がある。このとき、仮想マシン部の構成の変更に応じて、処理分散装置において保持する判定表を更新する構成とすることで、仮想マシン部の構成の変更に応じて振り分け先を決定するための判定表を動的に更新することができることから、データ通信における処理の分散をより好適に行うことができる。

また、本発明の他の形態に係る通信システムは、端末装置から送信されるタスクに係る処理を分散して実行する処理分散装置と、処理分散装置からタスクを割り振られる複数の処理装置と、を有する通信システムであって、処理分散装置は、端末装置から送信されるタスクに係るパケットデータについて、複数の処理装置のうちタスクを振り分けられる先の処理装置である振り分け先を決定する振り分け先判定部と、振り分け先判定部による決定された振り分け先のアドレスを宛先アドレスとしたパケットに対してタスクに係るパケットデータをカプセル化するカプセル化部と、カプセル化部によってカプセル化された後のカプセル化データを処理装置に対して送信する通信部と、を備え、処理装置は、カプセル化データを受信して、当該カプセル化データに含まれるタスクを実行する処理部を備え、タスクに係るパケットデータは、当該パケットデータに係る一連のフローを特定する情報が処理装置又は処理分散装置によって付与され、振り分け先判定部は、フローを特定する情報にも基づいて、又は、基づかずに、振り分け先を決定することを特徴とする。

上記の通信システムでは、パケットデータが処理分散装置においてカプセル化された後に処理装置へ送信される構成とすることで、仮に振り分け先の装置が他の処理分散装置の配下である場合であっても、カプセル化部によって目標の処理装置を宛先アドレスとしたパケットに対してタスクに係るパケットデータをカプセル化することで、カプセル化後のパケットデータを処理装置に対して好適に送信することができる。したがって、データ通信における処理の分散をより好適に行うことができる。さらに、この通信システムによれば、フローを識別する情報を付与した上で情報を送受信して、振り分け先を決定することも可能となり、送信元の装置を特定する情報が含まれていないパケットデータについて、フロー情報を付与することでこれを用いて振り分け判定を行うことができる。すなわち、処理の分散を好適に行うことができる。

また、本発明の他の形態に係る通信システムは、タスクに係る処理を分散して実行する処理分散装置と、処理分散装置からタスクを割り振られる複数の処理装置と、処理分散装置に対してタスクに係るパケットデータを送信する端末装置と、を有する通信システムであって、処理分散装置は、端末装置から送信されるタスクに係るパケットデータについて、複数の処理装置のうちタスクを振り分けられる先の処理装置である振り分け先を決定する振り分け先判定部と、振り分け先判定部による決定された振り分け先のアドレスを宛先アドレスとしたパケットに対してタスクに係るパケットデータをカプセル化するカプセル化部と、カプセル化部によってカプセル化された後のカプセル化データを処理装置に対して送信する通信部と、を備え、処理装置は、カプセル化データを受信して、当該カプセル化データに含まれるタスクを実行する処理部を備え、端末装置は、タスクに係るパケットデータの振り分け先を予め決定する事前振り分け先判定部と、事前振り分け先判定部による決定された振り分け先のアドレスを宛先アドレスとしたパケットに対してタスクに係るパケットデータをカプセル化する第２のカプセル化部と、第２のカプセル化部によってカプセル化された後の第２のカプセル化データを処理装置に対して送信する端末通信部と、を備え、処理分散装置は、端末装置からカプセル化後の第２のカプセル化データが送信された場合には、当該第２のカプセル化データに示された振り分け先のアドレスに対して、第２のカプセル化データを送信することを特徴とする。

上記の通信システムでは、パケットデータが処理分散装置においてカプセル化された後に処理装置へ送信される構成とすることで、仮に振り分け先の装置が他の処理分散装置の配下である場合であっても、カプセル化部によって目標の処理装置を宛先アドレスとしたパケットに対してタスクに係るパケットデータをカプセル化することで、カプセル化後のパケットデータを処理装置に対して好適に送信することができる。したがって、データ通信における処理の分散をより好適に行うことができる。さらに、端末装置において事前の振り分け判定が可能な構成とすることで、処理分散装置のみで振り分けを行っていた場合と比較して、処理分散装置における負荷を低減させることができる。

本発明によれば、データ通信における処理の分散をより好適に行うことができる通信システムが提供される。

第１実施形態に係る通信システムの全体構成を示す図である。 従来の処理分散装置及び新設処理装置の機能ブロックについて説明する図である。 第１実施形態に係る通信システムの処理分散装置、新設処理装置及び制御装置の機能ブロックについて説明する図である。 制御装置の全体管理部にて管理する情報を説明する図である。 処理分散装置、新設処理装置及び制御装置のハードウェア構成例を示す図である。 処理分散装置の各機能部について説明する図である。 転送表ＤＢで保持される転送表の例を示す図である。 判定表ＤＢにて保持される判定表の例を示す図である。 処理分散装置の構成管理部にて保持される表の例を示す図である。 新設処理装置の各機能部について説明する図である。 新設処理装置の構成管理部にて保持される表の例を示す図である。 第１実施形態の通信システムおける処理の流れを説明する図である。 第１実施形態の通信システムおける処理の流れを説明する図である。 パケット構成を説明する図である。 第１実施形態の通信システムおける処理の流れを説明する図である。 パケット構成を説明する図である。 第１実施形態の通信システムおける処理の流れを説明する図である。 パケット構成を説明する図である。 第１実施形態の通信システムおける処理の流れを説明する図である。 パケット構成を説明する図である。 第２実施形態に係る処理分散装置の各機能部について説明する図である。 カプセル化振り分け部で保持する判定表の例を示す図である。 第２実施形態に係る新設処理装置の各機能部について説明する図である。 第２実施形態の通信システムおける処理の流れを説明する図である。 パケット構成を説明する図である。 第２実施形態に係る処理分散装置の各機能部について説明する図である。 第２実施形態に係る新設処理装置の各機能部について説明する図である。 第２実施形態の通信システムおける処理の流れを説明する図である。 パケット構成を説明する図である。 第３実施形態に係る通信システムにおける新設処理装置の構成について説明する図である。 新設処理装置の各機能部について説明する図である。 インタフェース振り分け部で保持する判定表の例を示す図である。 第３実施形態の通信システムおける処理の流れを説明する図である。 第３実施形態の通信システムおける処理の流れを説明する図である。 パケット構成を説明する図である。 第３実施形態の通信システムおける処理の流れを説明する図である。 パケット構成を説明する図である。

以下、添付図面を参照して、本発明を実施するための形態を詳細に説明する。図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。なお、以下の説明においては、従来の通信システムについて適宜参照しながら、本発明の実施形態に係る通信システムの構成を説明する。
（第１実施形態）

図１は、第１実施形態に係る通信システムの全体構成を示す図である。図１に示すように、通信システム１には、中継網Ｎ１を介して通信可能な複数の処理分散装置１０Ａ，１０Ｂ，１０Ｃと、中継網Ｎ１に接続して通信を行う既設処理装置２１，２２と、処理分散装置１０Ａに対して構内網Ｎ２を介して接続可能な複数の新設処理装置３０Ａと、処理分散装置１０Ｂに対して構内網Ｎ３を介して接続可能な複数の新設処理装置３０Ｂと、処理分散装置１０Ｃに対して構内網Ｎ２を介して接続可能な複数の新設処理装置３０Ｃと、処理分散装置１０Ａ〜１０Ｃ及び新設処理装置３０Ａ〜３０Ｃと通信可能な制御装置４０とを含んで構成される。

この通信システム１においては、既設処理装置２１，２２から送信されるデータ通信パケットを処理分散装置１０Ａ，１０Ｂ，１０Ｃが受信すると共に当該データ通信パケットについて構内網を介して接続する配下の新設処理装置３０Ａ，３０Ｂ，３０Ｃに対して振り分けて処理を行う。

処理分散装置１０Ａ〜１０Ｃは、既設処理装置２１，２２から送信されるタスク（所定の処理）に係るデータ通信パケットを新設処理装置３０Ａ〜３０Ｃに対して割り振る機能を有する。処理分散装置１０Ａ〜１０Ｃによる新設処理装置に対して割り振り方法は適宜設定できるが、例えばタスクの送信元アドレス等タスクに関するフロー（データ送受信の流れ）の情報を利用して割り振り先を決めておくことができる。

新設処理装置３０Ａ〜３０Ｃは、処理分散装置１０Ａ〜１０Ｃから割り振られたタスクを処理する機能を有する。本実施形態に係る新設処理装置３０Ａ〜３０Ｃは、例えば、ハイパーバイザ等と呼ばれるＶＭＭ（Virtual Machine Monitor）を実行してＶＭ(Virtual Machine：仮想マシン)を稼働させる情報処理装置である。

既設処理装置２１，２２とは、データ通信に係る処理を行う装置であり、例えば他のデータ通信を制御する装置であってもよいし、ユーザ等によって操作される端末装置であってもよい。既設処理装置２１，２２によって所定の処理が必要なタスクが発生した場合、タスクの処理を指示するデータ通信パケットを処理分散装置１０Ａ，１０Ｂ，１０Ｃのうち、当該タスクの処理を請け負う装置に送信する。この際に、既設処理装置２１，２２は、特定のタスクに対して対応付けられたＩＰアドレスを用いて宛先（宛先アドレス）を指定して送信することで、当該タスクを処理する処理分散装置に対して送信することができる。タスクに係るデータ通信パケットを受け取った処理分散装置は、配下の新設処理装置に対して振り分けを行って処理を行う。

制御装置４０とは、処理分散装置１０Ａ，１０Ｂ，１０Ｃ及び新設処理装置３０Ａ，３０Ｂ，３０Ｃとの間で情報が送受信可能な装置であって、新設処理装置３０Ａ，３０Ｂ，３０Ｃの構成変更等の情報を受信し、これに基づいて処理分散装置１０Ａ，１０Ｂ，１０Ｃ側の情報の更新を指示する機能を有する。

なお、本実施形態では、情報処理を行う装置に関して「既設処理装置」と「新設処理装置」というように区別をしているが、これは、従来型の処理装置を「既設処理装置」として、本実施形態に係る特徴を具備する処理装置を「新設処理装置」として既設処理装置から区別しているものである。ただし、タスクの送信元となる既設処理装置２１，２２が従来型の処理装置である必要はなく、適宜変更することができる。

図２は、従来の処理分散装置及び新設処理装置の機能ブロックについて説明する図である。図１及び図２を参照しながら、処理分散装置及び新設処理装置の基本的な機能及び従来の構成における技術的な課題について説明する。図２に示すように、従来の処理分散装置１０Ｘは、中継網Ｎ１を介した通信を行う通信部１１と、データ通信パケットを処理装置に振り分ける振り分け部１２と、を備える。従来の処理分散装置１０Ｘは、宛先アドレス変換部１３を備えている場合と備えていない場合がある。

処理分散装置１０Ｘが宛先アドレス変換部１３を備えていない場合、タスクに対応した宛先アドレスを変更せずに、データ通信に係る処理を他の処理分散装置の配下の新設処理装置に対して割り振る（図１の処理分散装置１０Ａから処理分散装置１０Ｂへ送信して、配下の新設処理装置３０Ｂで処理を行う）ことはできない。このため、他の処理分散装置の配下のタスクに対応した宛先アドレスを持つ新設処理装置にも処理を分散させるということはできず、新設処理装置の有効な活用ができないという課題がある。

一方、処理分散装置１０Ｘが宛先アドレス変換部１３を備えている場合、宛先アドレス変換部１３がデータ通信パケットの宛先アドレスを変更することで、配下の処理装置で処理を行うことに代えて中継網Ｎ１を介して他の処理分散装置にデータ通信パケットを送信することができる。しかしながら、宛先アドレスを変更して他の処理分散装置へ送信した場合、タスク終了時の既設処理装置（タスクの送信元）への応答が転送先の処理分散装置から送信されることになるため、既設処理装置側で同一のフローに係るデータであると判断することができずエラーとなる可能性がある。

このように、従来の処理分散装置１０Ｘは、中継網Ｎ１を介して接続される他の処理分散装置の配下の新設処理装置を利用したタスクの実行ができないという技術的な課題があった。

次に、従来の新設処理装置３０Ｘは、仮想スイッチ部３１と、仮想マシン部３２とを備える。仮想スイッチ部３１は、処理分散装置と通信可能な通信部３１１を備える。また、仮想マシン部３２は、仮想スイッチ部３１と通信可能な内部通信部３２１と、タスクに係る処理を実行する処理部３２２とを有する。仮想マシン部３２の数は適宜変更することができ、仮想スイッチ部３１は、処理分散装置から受信したタスクを複数の仮想マシン部３２の中の何れかに対して送信する。どの仮想マシン部３２に対して送信するかはタスクによって予め決められていて、処理分散装置から指示される。

ところで、新設処理装置３０Ｘにおける仮想マシン部３２は、必要に応じてその数が変更される。例えば、仮想マシン部３２を増やすことで、同時に処理できるタスクの数を増やすこともできる。しかしながら、仮想マシン部３２の数が増えたとしても、処理分散装置がそのことを把握していないと、増設された仮想マシン部３２を用いた処理はできないため、処理効率の向上を達成できないという課題が生じる。

このように、従来の処理分散装置１０Ｘ及び新設処理装置３０Ｘでは、処理の分散による処理効率の向上の点において改善の余地があった。

図３では、本実施形態に係る通信システム１に含まれる処理分散装置１０（１０Ａ〜１０Ｃ）、新設処理装置３０（３０Ａ〜３０Ｃ）及び制御装置４０の機能ブロックについて説明する図である。処理分散装置１０は、振り分け部１２及び宛先アドレス変換部１３に代えて、カプセル化部振り分け部１４（振り分け先判定部）と、トンネル構成部１５と、分散制御部１６と、を備えることを特徴とする。カプセル化部振り分け部１４及びトンネル構成部１５は、他装置の配下の新設処理装置に対してデータ通信パケットを送信して処理を実行するためのデータ通信パケットの加工を担う機能部である。分散制御部１６とは、処理分散装置１０における処理分散に係る制御を行う機能部である。カプセル化部振り分け部１４、トンネル構成部１５、及び分散制御部１６についての詳細は後述する。

また、新設処理装置３０は、仮想スイッチ部３１内に通信部３１１の他にトンネル構成部３１２と、仮想化制御部３６を備えることを特徴とする。トンネル構成部３１２は、新設処理装置３０が構内網を介して接続する処理分散装置１０のトンネル構成部１５と対になっていて、両者を接続するトンネルを設けてデータ通信パケットを送受信する際の処理を行うための機能部である。仮想化制御部３６とは、新設処理装置３０における仮想マシン部の増設・減設に係る制御を行う機能部である。トンネル構成部３１２及び仮想化制御部３６における処理等は後述する。

制御装置４０は、通信システム１においてデータ通信パケットを分散して処理する装置を管理する全体管理部４１を備える。制御装置４０の全体管理部４１は、図４に示すように、特定のタスクを処理するための処理分散装置の情報及び新設処理装置に係る情報をタスクに対応付けて保持している。

具体的には、全体管理部４１に格納されている情報は、タスク（図４では、タスクＡ）と、宛先アドレスを特定する情報（ここでは、タスクＡ用アドレス）と、タスクの処理を行う処理分散装置を特定する情報（図４では、処理分散装置Ａ）と、処理分散のための判定条件（図４では、判定条件として、送信元のアドレスがどの既設処理装置であるかによって処理分散を行うことが示されている）と、当該判定条件に基づいて割り振られる新設処理装置及び当該新設処理装置（図４では、新設処理装置Ａ）における仮想マシン部を特定する情報（図４では、仮想マシンＡ１，Ａ２）と、この仮想マシン部に対してデータ通信パケットを送信する際のトンネルの識別子（図４では、Ｔｕｎｎｅｌ０，１）が対応付けられている。全体管理部４１において保持される情報は、新設処理装置における仮想マシン部の増設又は削除、新設処理装置自体の追加又は削除、及び、判定条件の変更等に応じて更新されると共に、全体管理部４１において保持する情報が更新された場合には、関連する処理分散装置及び新設処理装置に対して更新を通知し、所望の処理を実行させる。

図５に、処理分散装置１０、新設処理装置２０及び制御装置４０のハードウェア構成例を示す。図４に示すように、処理分散装置１０、新設処理装置２０及び制御装置４０は、例えば、ＣＰＵ１０１、主記憶装置であるＲＡＭ（Random Access Memory）１０２及びＲＯＭ（Read Only Memory）１０３、通信を行うための通信モジュール１０４、並びにハードディスク等の記憶装置１０５等のハードウェアを備えるコンピュータを含むものとして構成される。これらの構成要素がプログラム等により動作することにより、上述した処理分散装置１０、新設処理装置２０及び制御装置４０それぞれの機能が発揮される。

次に、処理分散装置１０の各機能部について、図６を参照しながら詳細を説明する。

処理分散装置１０の通信部１１は、データ通信ケット受信部１１１Ａ及びデータ通信パケット送信部１１１Ｂを備えるインタフェース１１１（interface）と、転送先判定部１１２と、転送先判定部１１２において転送先を判定する際に用いられる転送表を格納する転送表ＤＢ１１３と、備える。

通信部１１は外部通信用のインタフェース１１１を複数備える。インタフェース１１１は、データ通信パケットの入出力を行う。複数のインタフェース１１１は、それぞれ、「ｅｔｈ１」、「ｅｔｈ２」等の識別子が振られ、データの種類等に応じて使用するインタフェース１１１が指定される。

転送先判定部１１２は、インタフェース１１１のデータ通信パケット受信部又はトンネル構成部１５から送信された情報を、転送表ＤＢ１１３で保持される転送表に基づいて所定の装置又は機能部へ送信する機能を有する。

転送表ＤＢ１１３で保持される転送表の例を図７に示す。転送表では、転送先判定部１１２に送られるデータ通信パケットの宛先アドレスに応じて出力するインタフェースが指定されている。例えば、宛先のアドレスとして所定のタスクに対応したアドレス（ここでは、タスクＡ用アドレス）が記されているデータ通信パケットの場合には、出力先として、「Ｔｕｎｎｅｌ−ｌｂ０」（カプセル化部振り分け部１４に含まれる）が指定されている。また、宛先アドレスが処理分散装置Ｂである場合には、中継網を介した通信を行うことが「Ｎｅｘｔ ｈｏｐ」項目で指定されていて、出力先として、「ｅｔｈ１」（通信部１１のインタフェース１１１に含まれる）が指定されている。

処理分散装置１０のカプセル化部振り分け部１４は、複数の振り分け先判定部１４１Ａ，１４１Ｂと、それぞれに対応した判定表ＤＢ１４２Ａ，１４２Ｂと、を備える。複数の振り分け先判定部１４１Ａ，１４１Ｂは、それぞれ「Ｔｕｎｎｅｌ−ｌｂ０」、「Ｔｕｎｎｅｌ−ｌｂ０」と言う識別子を有するインタフェースとして機能する。複数の振り分け先判定部１４１Ａ，１４１Ｂは、例えばタスクＡに係るデータ通信パケットは振り分け先判定部１４１Ａにて振り分け判定を行い、タスクＢに係るデータ通信パケットは振り分け先判定部１４１Ｂにて振り分け判定を行うというように、処理分散装置１０によって処理されるタスクの種類に応じて複数設けることができる。

カプセル化部振り分け部１４は、データ通信パケットに係る処理を分散して行う際に、どの新設処理装置のどの仮想マシン部に対して処理を振り分けるかを決定する機能を担う。なお「カプセル化」とは、他の装置等から受信したデータ通信パケットを、振り分け先の装置（仮想マシン部）に対応したアドレスを宛先アドレスとしたパケットに埋め込む処理をいう。カプセル化されたパケットの例については後述する。そして振り分け先判定部１４１Ａ，１４１Ｂは、判定表ＤＢ１４２Ａ，１４２Ｂにて保持される判定表に基づいて、振り分け先を判定する。

判定表ＤＢ１４２Ａ，１４２Ｂにて保持される判定表の例を図８に示す。判定表では、データ通信パケットを振り分ける際の判定条件と、判定条件毎の出力インタフェースとが対応付けられている。ここでは、判定条件がデータ通信パケットの送信元アドレスであって、出力インタフェースとして、それぞれＴｕｎｎｅｌが指定されている。なお、「Ｔｕｎｎｅｌ」とは、処理分散装置と新設処理装置の仮想マシン部との間でそれぞれ設けられる通信路のことである。すなわち、出力インタフェースとして「Ｔｕｎｎｅｌ０」、「Ｔｕｎｎｅｌ１」と指定されていることは、データ通信パケットを処理する新設処理装置の仮想マシン部が特定されているということを意味する。

振り分け先判定部１４１Ａ，１４１Ｂにて振り分け先が判定されたデータ通信パケットは、判定結果に応じてトンネル構成部１５のカプセル化部１５１Ａ〜１５１Ｄへ送られる。

処理分散装置１０のトンネル構成部１５は、データ通信パケットの振り分け先に応じてカプセル化を行う複数のカプセル化部１５１Ａ〜１５１Ｄと、カプセル化されて送信されたデータ通信パケットからデータ通信パケットを取り出す複数のデカプセル化部１５２Ａ〜１５２Ｄと、を備える。処理分散装置１０では、新設処理装置の仮想マシン部との間でデータ通信パケットの送受信を行う際にカプセル化を行う。カプセル化後のパケットの送受信は、新設処理装置の仮想マシン部との間で個別に設けられた通信路（トンネル）を介した通信とすることができる。トンネル構成部１５では、この通信路を介したデータの送受信を実現するための処理を行う。

複数のカプセル化部１５１Ａ〜１５１Ｄは、それぞれ互いに異なる振り分け先へデータ通信パケットを振り分けるためのカプセル化に係る処理を行う。また、デカプセル化部１５２Ａ〜１５２Ｄは、カプセル化部１５１Ａ〜１５１Ｄとそれぞれ一対となるように設けられていて、カプセル化部１５１Ａによってカプセル化されたパケットを送信するトンネルを介して相手方の新設処理装置の仮想マシン部より送信されたパケットから、埋め込まれたデータ通信パケットを取り出す処理を行う。

このように、トンネル構成部１５は、新設処理装置の仮想マシン部との間に設けられる通信路の終端として機能し、通信路を介したデータ送信を行うためのカプセル化及び通信路を介して送信されたデータを利用するためのデカプセル化を行う。

分散制御部１６は、構成管理部１６１を有し、制御装置４０との間で制御通信パケットを送受信して、通信部１１の転送表、カプセル化部振り分け部１４の判定表、及び、トンネル構成部１５内の機能部構成を制御する機能を有する。構成管理部１６１では、例えば図９に示すような表を保持している。具体的には、特定のタスクを実行することができる新設処理装置の仮想マシン部を特定する情報と、当該仮想マシン部との間に設けられるトンネルを特定する情報と、が対応付けられている。このように、仮想マシン部に対応してそれぞれ通信路が設定され、当該通信路に対応して、トンネル構成部１５内にカプセル化部及びデカプセル化部が設けられることで、当該仮想マシン部との間でデータ通信パケットの送受信が可能となる。なお、構成管理部１６１で管理する情報は、制御装置４０からの指示によって更新される。そして、構成管理部１６１が更新されると、それに対応してトンネル構成部１５内のカプセル化部及びデカプセル化部の構成等が変更される。

次に、新設処理装置３０の各機能部について、図１０を参照しながら詳細を説明する。

新設処理装置３０の仮想スイッチ部３１は、通信部３１１とトンネル構成部３１２とを備えている。このうち、通信部３１１は、データ通信パケット受信部３３１Ａ及びデータ通信パケット送信部３３１Ｂを備えるインタフェース３３１（interface）と、転送先判定部３３２と、転送先判定部３３２において転送先を判定する際に用いられる転送表を格納する転送表ＤＢ３３３と、備える。

通信部３１１のインタフェース３３１は、データ通信パケットの入出力を行う。図１０に示す新設処理装置３０では、インタフェース３３１には、「ｅｔｈ０」という識別子が振られている。

転送先判定部３３２は、インタフェース３３１のデータ通信パケット受信部３３１Ａ又はトンネル構成部３１２から送信された情報を、転送表ＤＢ３３３で保持される転送表に基づいて所定の装置又は機能部へ送信する機能を有する。

転送表ＤＢ３３３では、図７に示す処理分散装置における転送表と同様に、転送先判定部３３２に送られるデータ通信パケットの宛先アドレスに応じて出力するインタフェースが指定された転送表を保持している。

新設処理装置３０の仮想スイッチ部３１のトンネル構成部３１２は、処理分散装置１０のトンネル構成部１５と同様にカプセル化部３４１Ａ，３４１Ｂとデカプセル化部３４２Ａ，３４２Ｂとを備えている。これらのカプセル化部３４１Ａ，３４１Ｂ及びデカプセル化部３４２Ａ，３４２Ｂは、トンネル構成部１５のカプセル化部及びデカプセル化部と対応していて、通信路を介してデータ通信パケットを送信するためのカプセル化及び受信したカプセル化パケットからのデータ通信パケットの取り出すデカプセル化を行う機能を有する。

新設処理装置３０では、２つの仮想マシン部３２Ａ，３２Ｂが設けられている。仮想マシン部３２Ａ，３２Ｂでは、それぞれ、データ通信パケット受信部３５１Ａ、データ通信パケット送信部３５１Ｂを含んで構成されるインタフェース３５１と、データ通信パケット受信部３５１Ａで受信したパケットに関して以降の処理を実行してよいかの受信判定部３５２とを含む内部通信部３２１Ａ，３２１Ｂと、受信したデータ通信パケットに係る処理を実行する処理部３２２Ａ，３２２Ｂと、を備える。

仮想化制御部３６は、構成管理部３６１を有し、制御装置４０との間で制御通信パケットを送受信して、通信部１１の転送表、仮想マシン部の増設等の制御、及び、トンネル構成部１５内の機能部構成の制御等を行う機能を有する。構成管理部３６１では、例えば図１１に示すような表を保持している。具体的には、仮想マシン部を特定する情報と、仮想マシン部の内部通信部３２１におけるインタフェースを特定する情報と、当該仮想マシン部と処理分散装置との間に設けられるトンネルを特定する情報と、が対応付けられている。構成管理部３６１で管理する情報は、制御装置４０からの指示によって更新される。また、制御装置４０からの指示に応じて新設処理装置３０内の仮想マシン部の構成を変更する等の制御を行う。

次に、上記の通信システムにおける各処理について説明する。まず、図１２を参照しながら、新設処理装置において仮想マシンを増設した際の、データ通信パケットの振り分け先の更新に係る処理を説明する。

まず、操作者（例えば、通信システム１の管理者等）が、制御装置４０に対して、仮想マシンを増設する新設処理装置を指定した上で、仮想マシンの増設を要求する（Ｓ１０１）。制御装置４０は、指定された新設処理装置３０Ａの仮想化制御部３６に対して、仮想マシン部の生成を要求する（Ｓ１０２）。仮想化制御部３６では、制御装置４０からの指示に基づき、仮想マシンの生成に係る処理を行うことで、仮想マシン部３２Ｃが新たに生成される（Ｓ１０３）。

次に、制御装置４０は、新設処理装置３０Ａの仮想化制御部３６と、新設処理装置３０Ａと接続する処理分散装置１０Ａとに対して、仮想マシン部の増設に伴うトンネルの生成要求を送信する（Ｓ１０４）。新設処理装置３０Ａの仮想化制御部３６及び処理分散装置１０Ａの分散制御部１６では、制御装置４０からの指示に基づいて、それぞれカプセル化部及びデカプセル化部を生成する（Ｓ１０５）。その後、新設処理装置３０Ａのトンネル構成部３１２と、処理分散装置１０のトンネル構成部１５との間でトンネルの通信路を確立する（Ｓ１０６）。また、新設処理装置３０Ａでは、トンネル構成部３１２と増設した仮想マシン部３２Ｃの内部通信部３２１Ｃとの間で、トンネルの接続を確立される（Ｓ１０７）。これにより、処理分散装置１０Ａから仮想マシン部３２Ｃまでの通信路が確立される。

次に、制御装置４０から処理分散装置１０Ａに対して、増設された仮想マシン部３２Ｃにおいて実行させる処理（タスク）を通知すると共に、仮想マシン部３２Ｃを考慮したカプセル化部振り分け部１４の設定変更を要求する（Ｓ１０８）。処理分散装置１０Ａの分散制御部１６では、制御装置４０からの指示に応じてカプセル化部振り分け部１４における設定の変更に係る処理を実施する（Ｓ１０９）。

その後、カプセル化部振り分け部１４では、仮想マシン部３２Ｃにおいて実行する処理（タスク）が新規のものである場合には、振り分け先判定部を作成（Ｓ１１０）した上で、判定表ＤＢ１４２に格納される判定表を新たに作成する（Ｓ１１１）。その後、カプセル化部振り分け部１４とトンネル構成部１５との接続を確立する（Ｓ１１２）ことで、増設された仮想マシン部３２Ｃに対応した一連の変更処理が完了する。なお、仮想化制御部３６の構成管理部３６１及び分散制御部１６の構成管理部１６１にて管理される情報は、制御装置４０からの指示に応じて適宜更新される。このように、通信システム１においては、仮想マシン部の構成変更に対して処理分散装置１０の設定等も動的に変更することができるという特徴を有する。

次に、既設処理装置から分散して処理を行うデータ通信パケットが送信された場合の一連の処理について説明する。まず、処理分散装置１０Ａがデータ通信パケットを受信して、配下の新設処理装置３０Ａの仮想マシン部３２Ａに振り分ける場合について、図１３を参照しながら説明する。

図１３に示すように、既設処理装置２１からデータ通信パケットが送信される（Ｓ２０１）。このときのデータ通信パケットは、図１４（Ａ）に示すように、送信元アドレスとして既設処理装置２１が記載されていて、宛先アドレスとして処理するタスクに応じた宛先アドレス（ここでは、タスクＡ用アドレス）が記載されている。既設処理装置２１から送信されたデータ通信パケットは、中継網Ｎ１において送信先に応じて転送処理が行われて（Ｓ２０２）、処理分散装置１０Ａの通信部１１に送信される（Ｓ２０３）。通信部１１では、受信したデータ通信パケットに関して、転送表を用いて転送先の判定が行われた後に、カプセル化部振り分け部１４へ送られ、振り分け先判定部１４１において判定表に基づいて振り分け先の判定が行われる（Ｓ２０４）。ここでは、データ通信パケットが新設処理装置３０Ａの仮想マシン部３２Ａへ振り分けられると判定され、トンネル構成部１５のうち仮想マシン部３２Ａとの間に設けられた通信路（トンネル）に対応したカプセル化部１５１へ送られる（Ｓ２０５）。

カプセル化部１５１では、タスクに係るデータ通信パケットを送信元アドレスと宛先アドレスとを変更したパケットに埋め込むカプセル化が行われる（Ｓ２０６）。カプセル化後のパケットは、図１４（Ｂ）に示すように、送信元アドレスとして処理分散装置１０Ａのアドレスと、宛先アドレスとして新設処理装置３０Ａのアドレスと、通信路を特定する情報としてのトンネルヘッダとが付与されたパケットとなる。このようにカプセル化されたパケットは、通信部１１に戻される（Ｓ２０７）。通信部１１では、カプセル化後のパケットの宛先アドレスを参照して、新設処理装置３０Ａに対して転送する（Ｓ２０８）。

新設処理装置３０Ａの仮想スイッチ部３１内の通信部３１１においてカプセル化後のパケットを受信すると、転送先判定部３３２にて転送先を判定した（Ｓ２０９）後に、トンネル構成部３１２の処理分散装置１０Ａに対応したデカプセル化部３４１へ送られ、デカプセル化部３４１においてデカプセル化処理を行う（Ｓ２１０）。これにより、図１４（Ａ）に示すデータ通信パケットがカプセル化されたパケットから取り出される。

デカプセル化されたデータ通信パケットは、仮想マシン部３２Ａの内部通信部３２１Ａに設けられた受信判定部３５２において受信判定処理が行われた（Ｓ２１１）後に、処理部３２２Ａにおいてデータ通信の処理が実行される（Ｓ２１２）。

このように、既設処理装置２１から送信されてカプセル化処理が実行されるまでの期間Ｔ１（Ｓ２０１〜Ｓ２０６）及びデカプセル化後の期間Ｔ３（Ｓ２１０〜Ｓ２１２）は、図１４（Ａ）に示すデータ通信パケットの状態で送受信が行われ、カプセル化されている期間Ｔ２（Ｓ２０６〜Ｓ２１０）は、図１４（Ｂ）に示すように、送信元アドレス、宛先アドレス及びトンネルヘッダが新たに設定されたカプセル化されたパケットとして情報の送受信が行われる。

これは、新設処理装置３０Ａにおいてデータ通信に係る処理が行われた後に既設処理装置２１に対して処理済みデータを送信する場合も同様である。

図１５に示すように、処理後のデータ通信パケットは、処理部３２２Ａから内部通信部３２１Ａへ送信され（Ｓ３０１）、さらにトンネル構成部３１２のカプセル化部へ送信される（Ｓ３０２）。このときは、図１６（Ａ）に示すように、送信元アドレスがタスクＡ用アドレスであって、宛先アドレスが既設処理装置２１となるように設定される。トンネル構成部３１２のカプセル化部３４１Ａでは、タスクに係るデータ通信パケットを送信元アドレスと宛先アドレスとを変更したパケットに埋め込むカプセル化が行われる（Ｓ３０３）。カプセル化後のパケットは、図１６（Ｂ）に示すように、送信元アドレスとして新設処理装置３０Ａのアドレスと、宛先アドレスとして処理分散装置１０Ａのアドレスと、通信路を特定する情報としてのトンネルヘッダとが付与されたパケットとなる。

このようなカプセル化されたパケットは、新設処理装置３０Ａの通信部３１１を経て処理分散装置１０Ａの通信部１１へ送信され（Ｓ３０４）、通信部１１から処理分散装置１０Ａのトンネル構成部１５におけるデカプセル化部へ送られて（Ｓ３０５）、デカプセル化が行われる（Ｓ３０６）。これにより、カプセル化されたパケットから処理後のデータ通信パケット、すなわち、図１６（Ａ）に示すパケットが取り出され、当該データ通信パケットに記載された宛先アドレスによって特定される既設処理装置２１に対して、通信部１１、中継網Ｎ１を経て送信される（Ｓ３０７、Ｓ３０８）。これにより、既設処理装置２１は、処理後のデータ通信パケットを受信することができる。

このように、新設処理装置３０Ａにおいてカプセル化処理が実行されるまでの期間Ｔ４（Ｓ３０１〜Ｓ３０３）及びデカプセル化後の期間Ｔ６（Ｓ３０６〜Ｓ３０８）は、図１６（Ａ）に示すデータ通信パケットの状態で送受信が行われ、カプセル化されている期間Ｔ５（Ｓ３０３〜Ｓ３０６）は、図１６（Ｂ）に示すように、送信元アドレス、宛先アドレス及びトンネルヘッダが新たに設定されたカプセル化されたパケットとして情報の送受信が行われる。

なお、図１３及び図１５では、処理分散装置１０Ａの配下の新設処理装置３０Ａに対してデータ通信パケットを割り振る場合について説明した。なお、処理分散装置１０Ａから、他の処理分散装置１０Ｂの配下の新設処理装置３０Ｂに対してデータ通信パケットを割り振る場合も同様の処理で行うことができる。

具体的には、図１７に示すように、既設処理装置２１からデータ通信パケットが送信される（Ｓ４０１）。このときのデータ通信パケットは、図１４（Ａ）に示すものである。既設処理装置２１から送信されたデータ通信パケットは、中継網Ｎ１において送信先に応じて転送処理が行われて（Ｓ４０２）、処理分散装置１０Ａの通信部１１に送信される（Ｓ４０３）。通信部１１では、受信したデータ通信パケットに関して、転送表を用いて転送先の判定が行われた後に、カプセル化部振り分け部１４へ送られ、振り分け先判定部１４１において判定表に基づいて振り分け先の判定が行われる（Ｓ４０４）。ここでは、データ通信パケットが新設処理装置３０Ｂの仮想マシン部へ振り分けられると判定され、トンネル構成部１５のうち新設処理装置３０Ｂの仮想マシン部との間に設けられた通信路（トンネル）に対応したカプセル化部１５１へ送られる（Ｓ４０５）。

カプセル化部１５１では、タスクに係るデータ通信パケットを送信元アドレスと宛先アドレスとを変更したパケットに埋め込むカプセル化が行われる（Ｓ４０６）。カプセル化後のパケットは、図１８に示すように、送信元アドレスとして処理分散装置１０Ａのアドレスと、宛先アドレスとして新設処理装置３０Ｂのアドレスと、通信路を特定する情報としてのトンネルヘッダとが付与されたパケットとなる。このようにカプセル化されたパケットは、通信部１１に戻される（Ｓ４０７）。通信部１１では、カプセル化後のパケットの宛先アドレスを参照して、新設処理装置３０Ｂに対して転送するために中継網Ｎ１へ向けて送信する（Ｓ４０８）。

中継網Ｎ１は、カプセル化後のパケットの宛先アドレスを参照して、配下に新設処理装置３０Ｂが設けられている処理分散装置１０Ｂへ転送する（Ｓ４０９）。さらに、処理分散装置１０Ｂにおいてもカプセル化後のパケットの宛先アドレスを参照して、新設処理装置３０Ｂへ転送する（Ｓ４１０）。これにより、カプセル化後のパケットは、中継網Ｎ１を経て新設処理装置３０Ｂへ送られる。

新設処理装置３０Ｂでは、新設処理装置３０Ａと同様に処理が行われる。すなわち、新設処理装置３０Ｂの仮想スイッチ部３１内の通信部３１１においてカプセル化後のパケットを受信すると、転送先判定部３３２にて転送先を判定した（Ｓ４１１）後に、トンネル構成部３１２の処理分散装置１０Ａに対応したデカプセル化部３４１へ送られ、デカプセル化部３４１においてデカプセル化処理を行う（Ｓ４１２）。これにより、図１４（Ａ）に示すデータ通信パケットがカプセル化されたパケットから取り出される。

デカプセル化されたデータ通信パケットは、新設処理装置３０Ｂにおける仮想マシン部３２の内部通信部３２１Ａに設けられた受信判定部３５２において受信判定処理が行われた（Ｓ４１３）後に、処理部３２２Ａにおいてデータ通信の処理が実行される（Ｓ４１４）。

このように、既設処理装置２１から送信されてカプセル化処理が実行されるまでの期間Ｔ７（Ｓ４０１〜Ｓ４０６）及びデカプセル化後の期間Ｔ９（Ｓ４１２〜Ｓ４１４）は、図１４（Ａ）に示すデータ通信パケットの状態で送受信が行われ、カプセル化されている期間Ｔ８（Ｓ４０６〜Ｓ４１２）は、図８に示すように、送信元アドレス、宛先アドレス及びトンネルヘッダが新たに設定されたカプセル化されたパケットとして情報の送受信が行われる。

また、新設処理装置３０Ｂにおいてデータ通信に係る処理が行われた後に既設処理装置２１に対して処理済みデータを送信する場合も、新設処理装置３０Ａからの送信の場合と同様の処理が行われる。

具体的には、図１９に示すように、処理後のデータ通信パケットは、新設処理装置３０Ｂの処理部３２２Ａから内部通信部３２１Ａへ送信され（Ｓ５０１）、さらにトンネル構成部３１２のカプセル化部へ送信される（Ｓ５０２）。このときは、図１６（Ａ）に示すように、送信元アドレスがタスクＡ用アドレスであって、宛先アドレスが既設処理装置２１となるように設定される。新設処理装置３０Ｂのトンネル構成部３１２のカプセル化部３４１Ａでは、タスクに係るデータ通信パケットを送信元アドレスと宛先アドレスとを変更したパケットに埋め込むカプセル化が行われる（Ｓ５０３）。カプセル化後のパケットは、図２０に示すように、送信元アドレスとして新設処理装置３０Ｂのアドレスと、宛先アドレスとして処理分散装置１０Ａのアドレスと、通信路を特定する情報としてのトンネルヘッダとが付与されたパケットとなる。

このようなカプセル化されたパケットは、新設処理装置３０Ａの通信部３１１から、処理分散装置Ｂ、中継網Ｎ１を経て（Ｓ５０４、Ｓ５０５）、処理分散装置１０Ａの通信部１１へ送信される（Ｓ５０６）。その後、処理分散装置１０Ａの通信部１１からトンネル構成部１５におけるデカプセル化部へ送られて（Ｓ５０７）、デカプセル化が行われる（Ｓ５０８）。これにより、カプセル化されたパケットから処理後のデータ通信パケット、すなわち、図１６（Ａ）に示すパケットが取り出され、当該データ通信パケットに記載された宛先アドレスによって特定される既設処理装置２１に対して、通信部１１、中継網Ｎ１を経て送信される（Ｓ５０９、Ｓ５１０）。これにより、既設処理装置２１は、処理後のデータ通信パケットを受信することができる。

このように、新設処理装置３０Ｂにおいてカプセル化処理が実行されるまでの期間Ｔ１０（Ｓ５０１〜Ｓ５０３）及びデカプセル化後の期間Ｔ１２（Ｓ５０８〜Ｓ５１０）は、図１６（Ａ）に示すデータ通信パケットの状態で送受信が行われ、カプセル化されている期間Ｔ１１（Ｓ５０３〜Ｓ５０８）は、図２０に示すように、送信元アドレス、宛先アドレス及びトンネルヘッダが新たに設定されたカプセル化されたパケットとして情報の送受信が行われる。

このように、本実施形態に係る通信システムでは、既設処理装置２１からのデータ通信パケットが処理分散装置１０Ａにおいてカプセル化された後に新設処理装置３０Ａ，３０Ｂへ送信され、かつ、新設処理装置３０Ａ，３０Ｂがカプセル化データを受信して、当該カプセル化データに含まれるタスクを実行する１以上の仮想マシン部と、仮想マシン部の増設又は減設を実行する仮想スイッチ部と、によって構成される構成とすることで、仮に新設処理装置３０Ｂのように、振り分け先の装置が処理分散装置１０Ａではなく処理分散装置１０Ｂの配下であって、中継網Ｎ１を介して接続する場合であり、かつ、同じ処理分散装置の配下に同じアドレスが割り当てられた処理部を持つ処理装置が複数ある場合であっても、カプセル化部によって新設処理装置３０Ｂを宛先アドレスとしたパケットにデータ通信パケット（タスクに係るパケットデータ）をカプセル化することで、カプセル化後のパケット（カプセル化データ）を新設処理装置３０Ｂの対象の仮想マシン部３２に対して好適に送信することができる。したがって、データ通信における処理の分散をより好適に行うことができる。

また、通信システム１では、新設処理装置３０Ａ，３０Ｂが仮想スイッチ部と仮想マシン部とによって構成され、仮想マシン部の構成が適宜変更される場合がある。このとき、仮想マシン部の構成の変更に応じて、処理分散装置１０Ａのカプセル化部振り分け部１４内の判定表ＤＢ１４２Ａ，１４２Ｂで保持する判定表を更新する構成とすることで、仮想マシン部の構成の変更に応じて振り分け先を決定するための判定表を動的に更新することができることから、データ通信における処理の分散をより好適に行うことができる。

（第２実施形態）
次に、本発明の第２実施形態に係る通信システムについて、説明する。第２実施形態に係る通信システムは、第１実施形態に係る通信システムと比較して、タスクに係る処理を行う新設処理装置が仮想マシン部によって構成されていない点、及び、タスク処理に係る一連のフローを識別するための識別子の挿入することができる点が、相違する。

第１実施形態に係る通信システムでは、タスクの実行を指示する既設処理装置２１が送信元アドレスとして示されているため、処理後のデータを既設処理装置２１に対して確実に返送することができる。しかしながら、例えば、図１の新設処理装置３０Ｃのように、別のタスクを処理する処理装置から、処理分散装置１０Ａに対してタスクの実行を要求する場合には、送信元のアドレスとして新設処理装置３０Ｃの上位の処理分散装置１０Ｃが処理するタスク（例えばタスクＣ）用のアドレスが記載される場合がある。この場合、処理分散装置１０Ｃの配下のどの新設処理装置３０Ｃからの指示なのかを判断することが困難となり、送信元の装置に対して処理後のデータを好適に返送することができない場合がある。第２実施形態に係る通信システムでは、データ通信パケットの送信によるタスク処理の要求から処理後のデータの返送までの一連の処理を一つのフローとして、フローを識別する識別子を付与することを特徴とする。一方で、既設処理装置２１のようにフローの識別子が不要な装置との情報の送受信の場合には、フローの識別子を除去することも可能とする。処理分散装置及び新設処理装置のどちらでフローの識別子の付与に係る処理を行うかによって各装置の装置構成が変わるので、以下２つの例について説明する。

（第２実施形態−１）
図２１は、第２実施形態の第１例に係る処理分散装置１０’について説明する図である。第２実施形態に係る通信システムにおいて、新設処理装置３０’は仮想スイッチを備えた仮想マシン部により構成されるものではないので、処理分散装置１０’では、新設処理装置における仮想マシン部の増設／減設に応じて構成を管理する分散制御部を備えていない。

一方、トンネル構成部１５に含まれるカプセル化部の内の１つのカプセル化部１５１Ｅが、フロー情報除去判定部１７１とフロー情報除去部１７２とを備える構成となっている。フロー情報除去判定部１７１は更に、フロー情報除去設定記憶域１７３を備える。また、カプセル化部１５１Ｅに対応するデカプセル化部１５２Ｅは、フロー情報挿入判定部１８１とフロー情報挿入部１８２とフロー情報挿入設定記憶域１８３とを備える。

フロー情報除去設定記憶域１７３及びフロー情報挿入設定記憶域１８３では、フローを特定する識別子の除去又は挿入が必要な装置の情報等を保持するものであり、フロー情報除去判定部１７１、フロー情報挿入判定部１８１は、記憶域の情報に基づいてフロー情報の除去又は挿入に係る判断（処理の要否に係る判断及びどの識別子を付与するかの判断）を行い、その結果に基づいて、フロー情報除去部１７２、フロー情報挿入部１８２において適宜処理が実行される。フローを特定する識別子の除去又は挿入が必要な装置としては、例えば本実施形態における新設処理装置のように、処理装置の上位に処理分散装置が設けられている装置が挙げられる。これに対して、フローを特定する識別子の除去又は挿入が不要な装置としては、例えば既設処理装置が挙げられる。なお、フローを特定する識別子の除去又は挿入については、処理装置に関わらず全て実施する設定とし、除去又は挿入する識別子に係る情報をフロー情報除去設定記憶域１７３又はフロー情報挿入設定記憶域１８３から取得する構成としてもよい。

図２２は、カプセル化部振り分け部１４において格納される判定表の例である。第１実施形態では、カプセル化部振り分け部１４での振り分けの判定には、送信元アドレスのみを用いていたが、本実施形態では、送信元アドレスに加えてフローを特定する情報を用いて振り分け先を判定する。このように、フロー情報は、フローを特定するための情報として用いる他に、処理を分散するための振り分けの判定条件として用いてもよい。

図２３は、新設処理装置３０’の構成を説明する図である。新設処理装置３０Ａ’では、内部通信部３２１及び処理部３２２が仮想マシン部に含まれておらず、仮想マシン部の構成を管理する仮想化制御部３６を備えていない点が相違する。新設処理装置３０Ａ’において行われる処理は、第１実施形態における新設処理装置３０Ａと同様である。

ここで、図２４を参照しながら、新設処理装置３０Ａ’から、処理分散装置１０Ａ’及び処理分散装置１０Ｃ’を経て、新設処理装置３０Ｃ’に対してデータ通信パケットを送信する場合について説明する。ここでは、新設処理装置３０Ａ’がタスクの送信者（端末装置）となる。

まず、既設処理装置２１がデータ通信パケットを送信する場合と同様に、新設処理装置３０Ａ’の処理部３２２がデータ通信パケットを送信する（Ｓ６０１）。処理部３２２から送信されるデータ通信パケットは、図２５（Ａ）に示すように、送信元アドレスがタスクＡ用のアドレスであって、宛先アドレスがタスクＣ用のアドレスである。すなわち、送信側も受信側も処理装置を特定する情報がアドレスに含まれていない。このデータ通信パケットは、内部通信部３２１を経てカプセル化部３４１においてカプセル化された（Ｓ６０２）後に、処理分散装置１０Ａ’へ送られる（Ｓ６０３）。カプセル化後のデータ通信パケットでは、図２５（Ｂ）に示すように、送信元アドレスが新設処理装置３０Ａ’とされ、宛先アドレスが処理分散装置１０Ａ’とされる。その後、処理分散装置１０Ａ’のデカプセル化部１５２においてデカプセル化が行われる（Ｓ６０４）。また、デカプセル化部１５２においてフロー情報の挿入判定条件に基づいてフロー情報の挿入が決定された場合には、フロー情報の挿入が行われる（Ｓ６０５）。フロー情報を挿入するか否かの判断は、例えば、送信元アドレスと宛先アドレスとが特定の組み合わせの場合には、フロー識別子として「フロー１」を挿入する、等の予め決められた基準に基づいて行われる。この結果、図２５（Ｃ）に示すようにフロー識別子が付与されたデータ通信パケットが作成される。

その後、処理分散装置１０Ａ’から処理分散装置１０Ｃ’へ向けて中継網Ｎ１を介してデータ通信パケットが送信される（Ｓ６０６）。処理分散装置１０Ｃ’のカプセル化部振り分け部１４では、フロー識別子も参照して振り分け先が決定され（Ｓ６０７）、カプセル化部１５１においてカプセル化が実行される（Ｓ６０８）。このとき、フロー識別子が付与されている場合には、フロー識別子が除去されて（Ｓ６０９）、図２５（Ｄ）に示すようなカプセル化後のパケットが作成される。その後、カプセル化後のパケットの宛先アドレスに基づいて、処理分散装置１０Ｃ’から新設処理装置３０Ｃ’に対してカプセル化後のパケットが送信される（Ｓ６１０）。そして、新設処理装置３０Ｃ’では、デカプセル化を行った後に（Ｓ６１１）、処理部３２２においてタスクに係る処理が実行される（Ｓ６１２）。

このような構成とした場合、期間Ｔ２１（Ｓ６０１〜Ｓ６０２）と期間Ｔ２５（Ｓ６１１〜Ｓ６１２）、すなわち、新設処理装置内では、図２５（Ａ）に示すデータ通信パケットが用いられる。また、期間Ｔ２２（Ｓ６０２〜Ｓ６０４）では、図２５（Ｂ）に示すカプセル化されたパケットが用いられ、期間Ｔ２４（Ｓ６０９〜Ｓ６１１）では、図２５（Ｄ）に示すカプセル化されたパケットが用いられる。また、期間Ｔ２３（Ｓ６０５〜Ｓ６０８）では、従来の構成ではフロー情報が付与されないパケットが用いられるが、本実施形態では、図２５（Ｃ）に示すようにフロー情報を含むパケットが用いられる。このように、期間Ｔ２３においてフローを識別する情報を付与したパケットを用いて情報を送受信することで、送信元の装置が特定する情報が含まれていない場合であっても、フロー情報を付与することでこれを用いてカプセル化部振り分け部において振り分け判定を行うことができる。すなわち、処理の分散を好適に行うことができる。

（第２実施形態−２）
図２６は、第２実施形態の第２例に係る処理分散装置１０”について説明する図であり、図２７は、第２実施形態の第２例に係る新設処理装置３０”について説明する図である。第２実施形態に係る通信システムにおいて、新設処理装置３０”は仮想スイッチを備えた仮想マシン部により構成されるものではないので、処理分散装置１０”では、新設処理装置における仮想マシン部の増設／減設に応じて構成を管理する分散制御部を備えていない。

また、第２例では、新設処理装置３０”側でフロー情報の付与及び除去を実行する構成とされている。すなわち、新設処理装置３０”のカプセル化部３４１がフロー情報挿入判定部３７１とフロー情報挿入部３７２とフロー情報挿入設定記憶域３７３とを備える構成となっている。また、新設処理装置３０”のデカプセル化部３４２がフロー情報除去判定部３９１とフロー情報除去部３９２とフロー情報除去設定記憶域３９３とを備える構成となっている。

ここで、図２８を参照しながら、新設処理装置３０Ａ”から、処理分散装置１０Ａ”及び処理分散装置１０Ｃ”を経て、新設処理装置３０Ｃ”に対してデータ通信パケットを送信する場合について説明する。ここでは、新設処理装置３０Ａ”がタスクの送信者となる。

まず、既設処理装置２１がデータ通信パケットを送信する場合と同様に、新設処理装置３０Ａ”の処理部３２２がデータ通信パケットを送信する（Ｓ７０１）。処理部３２２から送信されるデータ通信パケットは、図２５（Ａ）に示すように、送信元アドレスがタスクＡ用のアドレスであって、宛先アドレスがタスクＣ用のアドレスである。すなわち、送信側も受信側も処理装置を特定する情報がアドレスに含まれていない。このデータ通信パケットは、内部通信部３２１を経てカプセル化部３４１においてカプセル化される（Ｓ７０３）前にフロー情報挿入の要否が判定されて、フロー情報が挿入される（Ｓ７０２）。すなわち、図２９（Ａ）に示すように、フロー情報が挿入されたデータ通信パケットがカプセル化されたカプセル化データが得られる。このカプセル化されたパケットは、処理分散装置１０Ａ”へ送られる（Ｓ７０４）。その後、処理分散装置１０Ａ”のデカプセル化部１５２においてデカプセル化が行われる（Ｓ７０５）。デカプセル化後のデータ通信パケットは、図２５（Ｃ）に示すようにフロー識別子が付与されたものである。

その後、処理分散装置１０Ａ”から処理分散装置１０Ｃ”へ向けて中継網Ｎ１を介してデータ通信パケットが送信される（Ｓ７０６）。処理分散装置１０Ｃ”のカプセル化部振り分け部１４では、フロー識別子も参照して振り分け先が決定され（Ｓ７０７）、カプセル化部１５１においてカプセル化が実行される（Ｓ７０８）。このときも、第２例ではフロー識別子が付与されたままカプセル化が行われる。すなわち、図２９（Ｂ）に示すように、フロー情報が挿入されたデータ通信パケットがカプセル化されたカプセル化データが得られる。その後、カプセル化後のパケットの宛先アドレスに基づいて、処理分散装置１０Ｃ”から新設処理装置３０Ｃ”に対してカプセル化後のパケットが送信される（Ｓ７０９）。そして、新設処理装置３０Ｃ’では、デカプセル化を行う（Ｓ７１０）と共にフロー情報の除去が行われる（Ｓ７１１）、その後、処理部３２２においてタスクに係る処理が実行される（Ｓ７１２）。

このような構成とした場合、期間Ｔ３１（Ｓ７０１）及び期間Ｔ３５（Ｓ７１１〜Ｓ７１２）は、図２５（Ａ）に示すデータ通信パケットが用いられる。また、期間Ｔ３２（Ｓ７０２〜Ｓ７０５）では、図２９（Ａ）に示すカプセル化されたパケットが用いられ、期間Ｔ３４（Ｓ７０８〜Ｓ７１０）では、図２９（Ｂ）に示すカプセル化されたパケットが用いられる。また、期間Ｔ３３（Ｓ７０５〜Ｓ７０８）では、従来の構成ではフロー情報が付与されないパケットが用いられるが、本実施形態では、図２５（Ｃ）に示すようにフロー情報を含むパケットが用いられる。このように、期間Ｔ３３においてフローを識別する情報を付与したパケットを用いて情報を送受信することで、送信元の装置が特定する情報が含まれていない場合であっても、フロー情報を付与することでこれを用いてカプセル化部振り分け部において振り分け判定を行うことができる。すなわち、処理の分散を好適に行うことができる。

（第３実施形態）
次に、本発明の第３実施形態に係る通信システムについて、説明する。第３実施形態に係る通信システムは、第１実施形態に係る通信システムと比較して、タスクに係る処理を行う新設処理装置が仮想マシン部によって構成されていない点、及び、処理分散の振り分け先判定を新設処理装置自体が行うこと点が、相違する。

第１実施形態に係る通信システムでは、１つのタスクの処理は１つの処理分散装置１０（例えば処理分散装置１０Ａ）において行われていた。しかしながら、この場合には、処理分散装置１０に負荷が集中する可能性がある。第３実施形態に係る通信システムでは、第２実施形態でも用いたフローを識別する識別子を用いて、振り分け先を指定したカプセル化を行うことを特徴とする。

第３実施形態に係る通信システムでは、図３０に示すように新設処理装置３０'''内にインタフェース振り分け部３８（事前振り分け先判定部）をさらに備える。このインタフェース振り分け部３８は、図３１に示すように、判定表ＤＢ３８２に格納された判定表に基づいて、振り分け先判定部３８１において振り分け先を決定する機能を有する。判定表ＤＢ３８２では、図３２に示すような判定表を保持している。これは、新設処理装置３０'''において振り分け先を判定する判定条件として、データ通信パケットの入力インタフェースを用いている例を示している。入力インタフェースに応じて出力先の内部通信部３２１のインタフェースを指定する構成とすることで、内部通信部３２１のインタフェース毎に互いに異なるカプセル化部（図３１では、カプセル化部３４１Ａとカプセル化部３４１Ｅ）にパケットが送信されて、宛先アドレスが異なったカプセル化データが生成される。

このような新設処理装置３０'''を用いた構成の場合の処理の例を以下説明する。図３３では、処理後のデータ通信パケットを既設処理装置２１へ返送する例を示す。まず、新設処理装置３０Ａ'''の処理部３２２からインタフェース振り分け部３８に送信されて振り分け先が判定され（Ｓ８０１）、内部通信部３２１へ送信された後に（Ｓ８０２）、内部通信部３２１と対のカプセル化部３４１においてカプセル化が行われる（Ｓ８０３）。カプセル化前のデータ通信パケットは、図１６（Ａ）に示すように、送信元アドレスがタスクＡ用アドレスであって、宛先アドレスが既設処理装置２１となるように設定される。また、カプセル後のパケットは、図１６（Ｂ）に示すように、送信元アドレスとして新設処理装置３０Ａのアドレスと、宛先アドレスとして処理分散装置１０Ａのアドレスと、通信路を特定する情報としてのトンネルヘッダとが付与されたパケットとなる。

このようなカプセル化されたパケットは、新設処理装置３０Ａの通信部３１１を経て処理分散装置１０Ａの通信部１１へ送信され（Ｓ８０４）、通信部１１から処理分散装置１０Ａのトンネル構成部１５におけるデカプセル化部へ送られて（Ｓ８０５）、デカプセル化が行われる（Ｓ８０６）。これにより、カプセル化されたパケットから処理後のデータ通信パケット、すなわち、図１６（Ａ）に示すパケットが取り出され、当該データ通信パケットに記載された宛先アドレスによって特定される既設処理装置２１に対して、通信部１１、中継網Ｎ１を経て送信される（Ｓ８０７、Ｓ８０８）。これにより、既設処理装置２１は、処理後のデータ通信パケットを受信することができる。

このように、新設処理装置３０Ａにおいてカプセル化処理が実行されるまでの期間Ｔ４１（Ｓ８０１〜Ｓ８０３）及びデカプセル化後の期間Ｔ４３（Ｓ８０６〜Ｓ８０８）は、図１６（Ａ）に示すデータ通信パケットの状態で送受信が行われ、カプセル化されている期間Ｔ４２（Ｓ８０３〜Ｓ８０６）は、図１６（Ｂ）に示すように、送信元アドレス、宛先アドレス及びトンネルヘッダが新たに設定されたカプセル化されたパケットとして情報の送受信が行われる。

上記の処理は、インタフェース振り分け部において振り分けられた上でカプセル化が行われる点を除き、第１実施形態と同様に行われる。なお、既設処理装置２１から、処理前のデータ通信パケットを送信する際の処理の流れは、第１実施形態と同様である。

次に、新設処理装置３０Ａ'''がタスクに係るデータ通信パケットを送信する端末装置として機能して、新設処理装置３０Ａ'''からデータ通信パケットを送信する場合について図３４を参照しながら説明する。まず、新設処理装置３０Ａ'''の処理部３２２からインタフェース振り分け部３８に送信されて、インタフェース振り分け部３８において振り分け先が判定され（Ｓ９０１）、内部通信部３２１へ送信された後に（Ｓ９０２）、内部通信部３２１と対のカプセル化部３４１（第２のカプセル化部）においてカプセル化が行われる（Ｓ９０３）。カプセル化前のデータ通信パケットは、図３５（Ａ）に示すように、送信元アドレスがタスクＡ用アドレスであって、宛先アドレスがタスクＣ用アドレスとなるように設定される。また、カプセル後のパケットは、図３５（Ｂ）に示すように、送信元アドレスとして新設処理装置３０Ａ'''のアドレスと、宛先アドレスとして新設処理装置３０Ｃ'''のアドレスと、通信路を特定する情報としてのトンネルヘッダとが付与されたものとなる。

このようにカプセル化されたパケット（第２のカプセル化データ）は、新設処理装置３０Ａ'''の通信部３１１（端末通信部に相当する）を経て処理分散装置１０Ａへ送信される（Ｓ９０４）が、宛先アドレスが処理分散装置１０Ａ，１０Ｃではないので、処理分散装置１０Ａ，１０Ｃでは、適宜転送処理される（Ｓ９０５、Ｓ９０６）。その結果、新設処理装置３０Ｃ'''の通信部３１１へ送信され、通信部３１１からトンネル構成部３１２におけるデカプセル化部３４１へ送られて（Ｓ９０７）、デカプセル化が行われる（Ｓ９０８）。これにより、カプセル化されたパケットから処理後のデータ通信パケット、すなわち、図３５（Ａ）に示すパケットが取り出され、処理部３２２において処理が行われる（Ｓ９０９）。

このように、新設処理装置においてカプセル化処理が実行されるまでの期間Ｔ５１（Ｓ９０１〜Ｓ９０３）及びデカプセル化後の期間Ｔ５３（Ｓ９０８〜Ｓ９０９）は、図３５（Ａ）に示すデータ通信パケットの状態で送受信が行われ、カプセル化されている期間Ｔ５２（Ｓ９０３〜Ｓ９０８）は、図３５（Ｂ）に示すように、送信元アドレス、宛先アドレス及びトンネルヘッダが新たに設定されたカプセル化されたパケットとして情報の送受信が行われる。

次に、新設処理装置３０Ｃ'''からデータ通信パケットを送信する場合について図３６を参照しながら説明する。処理後のデータの送信も、処理前のデータ通信パケットの送信と同様に行われる。まず、次に、新設処理装置３０Ｃ'''からデータ通信パケットを送信する場合、まず、新設処理装置３０Ｃ'''の処理部３２２からインタフェース振り分け部３８に送信されて振り分け先が判定され（Ｓ１００１）、内部通信部３２１へ送信された後に（Ｓ１００２）、内部通信部３２１と対のカプセル化部３４１においてカプセル化が行われる（Ｓ１００３）。カプセル化前のデータ通信パケットは、図３５（Ａ）に示すように、送信元アドレスがタスクＡ用アドレスであって、宛先アドレスがタスクＣ用アドレスとなるように設定される。また、カプセル後のパケットは、図３７（Ｂ）に示すように、送信元アドレスとして新設処理装置３０Ｃ'''のアドレスと、宛先アドレスとして新設処理装置３０Ａ'''のアドレスと、通信路を特定する情報としてのトンネルヘッダとが付与されたパケットとなる。

このようなカプセル化されたパケットは、新設処理装置３０Ｃ'''の通信部３１１を経て処理分散装置１０Ｃへ送信されるが（Ｓ１００４）、宛先アドレスが処理分散装置１０Ｃ，１０Ａではないので、処理分散装置１０Ｃ，１０Ａでは、適宜転送処理される（Ｓ１００５、Ｓ１００６）。その結果、新設処理装置３０Ａ'''の通信部３１１へ送信され、通信部３１１からトンネル構成部３１２におけるデカプセル化部３４１へ送られて（Ｓ１００７）、デカプセル化が行われる（Ｓ１００８）。これにより、カプセル化されたパケットから処理後のデータ通信パケット、すなわち、図３７（Ａ）に示すパケットが取り出される（Ｓ１００９）。

このように、新設処理装置においてカプセル化処理が実行されるまでの期間Ｔ６１（Ｓ１００１〜Ｓ１００３）及びデカプセル化後の期間Ｔ６３（Ｓ１００８〜Ｓ１００９）は、図３７（Ａ）に示すデータ通信パケットの状態で送受信が行われ、カプセル化されている期間Ｔ６２（Ｓ１００３〜Ｓ１００８）は、図３７（Ｂ）に示すように、送信元アドレス、宛先アドレス及びトンネルヘッダが新たに設定されたカプセル化されたパケットとして情報の送受信が行われる。

以上のように、端末装置として機能する新設処理装置側で振り分け先を判定した上で第２のカプセル化部によりカプセル化を行って第２のカプセルデータを生成する構成とした場合、処理分散装置１０Ａ，１０Ｃにおける負荷を減らすことができる。なお、処理分散装置１０Ａ，１０Ｃは、カプセル化されていないデータ通信パケットを例えば既設処理装置２１等から受信した場合には、第１実施形態等と同様に、カプセル化及びデカプセル化に係る処理を行うことにより、処理の分散を行うことができる。

以上、本発明の実施形態に係る通信システムについて説明したが、上述した実施形態は本発明の一例を示すものである。本発明に係る通信システムは、各実施形態に係る通信システムに限られるものではなく、各請求項に記載した要旨を変更しない範囲で、各実施形態に係る通信システムを変形し、又は他のものに適用したものであってもよい。例えば、上記第１〜第３実施形態で説明した構成を適宜組み合わせた通信システムとすることもできる。

１…通信システム、１０…処理分散装置、１１…通信部、１４…カプセル化部振り分け部、１５…トンネル構成部、３０…新設処理装置、３１…仮想スイッチ部、３２…仮想マシン部、４０…制御装置、３１１…通信部、３１２…トンネル構成部、３２１…内部通信部、３２２…処理部、Ｎ１…中継網。

Claims (3)

1. 端末装置から送信されるタスクに係る処理を分散して実行する複数の処理分散装置と、前記複数の処理分散装置のいずれかに対して接続し、前記複数の処理分散装置のいずれかから前記タスクを割り振られる複数の処理装置と、を有する通信システムであって、
   前記処理分散装置は、
   前記端末装置から送信される前記タスクに係るパケットデータについて、前記複数の処理装置のうち前記タスクを振り分けられる先の処理装置である振り分け先を判定するための判定表を保持し、当該判定表に基づいて、自装置に対して接続する処理装置及び自装置とは異なる他の処理装置に対して接続する処理装置の中から振り分け先を決定する振り分け先判定部と、
   前記振り分け先判定部による決定された前記振り分け先のアドレスを宛先アドレスとしたパケットに対して前記タスクに係る前記パケットデータをカプセル化するカプセル化部と、
   前記カプセル化部によってカプセル化された後のカプセル化データを、前記宛先アドレスによって特定される処理装置が自装置に対して接続する処理装置である場合には当該処理装置に対して送信し、前記宛先アドレスによって特定される処理装置が前記他の処理分散装置に対して接続する処理装置である場合には前記他の処理分散装置に対して送信する通信部と、
   を備え、
   前記処理装置は、
   前記カプセル化データを受信して、当該カプセル化データに含まれる前記タスクを実行する１以上の仮想マシン部と、
   前記仮想マシン部の増設又は減設を実行する仮想スイッチ部と、
   を備え、
   前記処理分散装置の前記振り分け先判定部は、前記処理装置における前記仮想マシン部の増設又は減設に対応して、前記判定表を更新し、
   前記処理分散装置の前記通信部は、受信した前記パケットデータの宛先アドレスが前記タスクに係るアドレスである場合に、前記パケットデータが前記タスクに係るパケットデータであるとして当該パケットデータを前記振り分け先判定部に送信するとともに、受信した前記パケットデータの宛先アドレスが前記タスクに係るアドレスではない場合には、当該宛先アドレスにより特定される装置に対して当該パケットデータを送信する、
   通信システム。
2. 端末装置から送信されるタスクに係る処理を分散して実行する処理分散装置と、前記処理分散装置から前記タスクを割り振られる複数の処理装置と、を有する通信システムであって、
   前記処理分散装置は、
   端末装置から送信される前記タスクに係るパケットデータについて、前記複数の処理装置のうち前記タスクを振り分けられる先の処理装置である振り分け先を決定する振り分け先判定部と、
   前記振り分け先判定部による決定された前記振り分け先のアドレスを宛先アドレスとしたパケットに対して前記タスクに係る前記パケットデータをカプセル化するカプセル化部と、
   前記カプセル化部によってカプセル化された後のカプセル化データを前記処理装置に対して送信する通信部と、
   を備え、
   前記処理装置は、
   前記カプセル化データを受信して、当該カプセル化データに含まれる前記タスクを実行する処理部を備え、
   前記タスクに係る前記パケットデータは、当該パケットデータの送信によるタスク処理の要求から処理後のデータの返送までの一連の処理に対応するフローを特定する情報が前記処理分散装置に対して前記タスクに係る前記パケットデータを送信する装置によって付与され、
   前記振り分け先判定部は、前記フローを特定する情報が含まれている場合には、フローを特定する情報に基づいて前記振り分け先を決定する、通信システム。
3. タスクに係る処理を分散して実行する処理分散装置と、前記処理分散装置から前記タスクを割り振られる複数の処理装置と、前記処理分散装置に対して前記タスクに係るパケットデータを送信する端末装置と、を有する通信システムであって、
   前記処理分散装置は、
   前記端末装置から送信される前記タスクに係るパケットデータについて、前記複数の処理装置のうち前記タスクを振り分けられる先の処理装置である振り分け先を決定する振り分け先判定部と、
   前記振り分け先判定部による決定された前記振り分け先のアドレスを宛先アドレスとしたパケットに対して前記タスクに係るパケットデータをカプセル化するカプセル化部と、
   前記カプセル化部によってカプセル化された後のカプセル化データを前記処理装置に対して送信する通信部と、
   を備え、
   前記処理装置は、
   前記カプセル化データを受信して、当該カプセル化データに含まれる前記タスクを実行する処理部を備え、
   前記端末装置は、
   前記タスクに係るパケットデータの振り分け先を予め決定する事前振り分け先判定部と、
   前記事前振り分け先判定部による決定された振り分け先のアドレスを宛先アドレスとしたパケットに対して前記タスクに係るパケットデータをカプセル化する第２のカプセル化部と、
   前記第２のカプセル化部によってカプセル化された後の第２のカプセル化データを前記処理装置に対して送信する端末通信部と、
   を備え、
   前記処理分散装置は、前記端末装置からカプセル化後の第２のカプセル化データが送信された場合には、前記第２のカプセル化データに示された振り分け先のアドレスに対して、前記第２のカプセル化データを送信する、通信システム。

Images