JP6219621B2 - 通信照合装置 - Google Patents

通信照合装置 Download PDF

Info

Publication number
JP6219621B2
JP6219621B2 JP2013139312A JP2013139312A JP6219621B2 JP 6219621 B2 JP6219621 B2 JP 6219621B2 JP 2013139312 A JP2013139312 A JP 2013139312A JP 2013139312 A JP2013139312 A JP 2013139312A JP 6219621 B2 JP6219621 B2 JP 6219621B2
Authority
JP
Japan
Prior art keywords
graph
transmission
information
reception
communication
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013139312A
Other languages
English (en)
Other versions
JP2015011695A (ja
Inventor
弘樹 葛野
弘樹 葛野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Secom Co Ltd
Original Assignee
Secom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Secom Co Ltd filed Critical Secom Co Ltd
Priority to JP2013139312A priority Critical patent/JP6219621B2/ja
Publication of JP2015011695A publication Critical patent/JP2015011695A/ja
Application granted granted Critical
Publication of JP6219621B2 publication Critical patent/JP6219621B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、通信同士が類似するか否かを判定する通信照合装置、およびアプリケーションプログラムに情報収集モジュールが組み込まれているか否かを検査するアプリケーション検査装置に関する。
スマートフォン、携帯情報端末あるいは携帯電話などの端末装置には、メールソフト、ゲームソフトあるいは便利ツールなどのアプリケーションプログラム(以下、単にアプリケーションと称する)が豊富に提供されている。これらのアプリケーションの多くには広告配信や利用統計取得のための情報収集モジュールが組み込まれていると言われている。
情報収集モジュールは、端末装置内に記憶されている利用者の個人情報等を利用者に許可を求めることなく外部送信する可能性があり、情報収集モジュールが組み込まれたアプリケーションのインストールは利用者にとっての潜在リスクとなる。そのため、情報収集モジュールが組み込まれたアプリケーションを特定して端末装置の利用者に知らせることで、利用者が安心してアプリケーションの恩恵を享受できる社会を形成することが望まれる。
情報収集モジュールが組み込まれたアプリケーションを特定する方法のひとつとして、アプリケーションが動作しているときの通信を検査して既知の情報収集モジュールが行う通信のパターンと類似しているか否かを判定することが考えられる。
従来、既知の通信と類似した通信を検出するために、予め既知の通信が行う送受信等の順序を状態遷移パターンとして登録し、未知の通信のログ等を当該状態遷移パターンと比較して既知の通信と類似した通信を検出するマルウェア検知システムが提案されている(特許文献1)。
特開2010−015513号公報
しかしながら、情報収集モジュールには、送受信の順序を入れ替える変更を加えたもの、リダイレクトなどの送受信を加える変更を加えたものなど、登録した状態遷移パターンと一致しない通信を行うものが次々と作成される。また、情報収集モジュールの通信中にリトライが発生するなどして通信に冗長性が加わった場合も登録した状態遷移パターンと一致しなくなる。
そのため、従来技術では、新たに作成された情報収集モジュールおよびリトライが発生したときの情報収集モジュールを検出することが困難であった。
本発明は、上記問題を鑑みてなされたものであり、送受信の順序が入れ替わっていたり冗長な送受信が加わっていても類似する通信を検出可能な通信照合装置および既知の情報収集モジュールと類似した通信を行う情報収集モジュールが組み込まれたアプリケーションを検査可能なアプリケーション検査装置を提供することを目的とする。
かかる課題を解決するために、本発明は、それぞれが複数の送受信信号にて構成される2つの通信が類似するか否かを判定する通信照合装置であって、前記送受信信号を分析して当該送受信信号のそれぞれにて送受信された送受信内容および当該送受信信号同士のつながりを検出し、前記つながりが連鎖する前記複数の送受信信号について、前記送受信信号と対応する頂点情報および前記つながりと対応して前記頂点情報同士の関係を表す辺情報からなるグラフ情報を通信ごとに生成するグラフ生成手段と、前記グラフ生成手段が前記2つの通信それぞれから生成した前記グラフ情報同士の類似度を算出し、前記類似度が予め定めたしきい値以上であるときに前記2つの通信が類似すると判定する類似判定手段と、を備え、前記グラフ生成手段は、少なくとも前記送受信内容が共通する複数の送受信信号をひとつの前記頂点情報にまとめて前記グラフ情報を生成することを特徴とする通信照合装置を提供する。これにより、送受信内容が共通する複数の送受信信号をひとつの頂点情報にまとめて2つの通信それぞれからグラフ情報を生成し、生成した2つのグラフ情報が類似するか否かを判定するので、リトライの発生有無または送受信信号の順序違いの有無にかかわらず2つの通信が類似するか否かを正しく判定することが可能となる。
また、かかる通信照合装置において、前記グラフ生成手段は、前記送受信内容および前記つながりが共通する複数の送受信信号をひとつの前記頂点情報にまとめて前記グラフ情報を生成することが好ましい。これにより、送受信内容が共通するという条件に加え、つながりが共通するという条件を満たす複数の送受信信号をひとつの頂点情報にまとめてグラフ情報を生成するので、アプリケーションが本来目的とする通信と情報収集モジュールの通信を含んで類似するとの誤判定を防止できる。
また、かかる通信照合装置において、前記グラフ生成手段は、前記送受信信号から前記つながりの種類をさらに検出し、前記送受信内容、前記つながりおよび前記つながりの種類が共通する複数の送受信信号をひとつの前記頂点情報にまとめて前記グラフ情報を生成することが好ましい。これにより、送受信内容およびつながりが共通するという条件に加え、つながりの種類が共通するという条件を満たす複数の送受信信号をひとつの頂点情報にまとめてグラフ情報を生成するので、異なる情報収集モジュールの通信を一緒に含んで類似するとの誤判定を防止できる。
また、かかる通信照合装置において、記送受信内容が予め設定したサイズの画像であるときに当該送受信内容に当該サイズを含ませる特定情報検出手段をさらに備えることが好ましい。これにより、サイズが既知である広告用のバナー画像を他の画像(写真やアイコンなど)と区別してグラフ情報を生成することができるので、広告用のバナー画像を送受信する情報収集モジュールの通信と他の画像を送受信する情報収集モジュール以外の通信が類似するとの誤判定を防止できる。
また、かかる通信照合装置において、前記グラフ生成手段は、前記通信に含まれる要求信号と当該要求信号に対する応答信号の対をひとつの前記送受信信号にまとめて前記つながりを検出することが好ましい。これにより、HTTP通信のように、つながりの情報が要求信号(HTTPリクエスト信号)と応答信号(HTTPレスポンス信号)に分散していても送受信信号間のつながりを検出することができる。
また、本発明は、端末装置にて動作するアプリケーションプログラムに広告画像を受信する情報収集モジュールが組み込まれているか否かを検査するアプリケーション検査装置であって、前記広告画像に特有の画像サイズを予め記憶している記憶手段と、通信手段と、前記アプリケーションプログラムの動作中に前記通信手段にて受信された受信信号を検出する信号検出手段と、前記受信信号の中から前記画像サイズを有した前記広告画像を検出する広告画像検出手段と、少なくとも前記広告画像が検出された場合に前記アプリケーションプログラムに前記情報収集モジュールが組み込まれていると判定する判定手段と、を備えたことを特徴とするアプリケーション検査装置を提供する。これにより、アプリケーションが広告用のバナー画像を送受信する情報収集モジュールを含んでいるか検査することができる。
本発明によれば、送受信の順序が入れ替わっていたり冗長な送受信が加わっていても類似する通信を検出可能となり、既知の情報収集モジュールと類似した通信を行う情報収集モジュールが組み込まれたアプリケーションを検出可能になる。
本発明を適用したアプリケーション検査システムの全体構成を説明する図である。 グラフ情報を図化したグラフの例を示す図である。 グラフ情報の記憶例を示す図である。 アプリケーション検査処理を示すフローチャートである。 参照グラフのグラフ登録処理を示すフローチャートである。 グラフの頂点のマージと辺のマージの例を説明する図である。 検査対象グラフのグラフ生成処理を示すフローチャートである。 参照グラフと検査対象グラフのグラフ照合処理を示すフローチャートである。 関係情報抽出の別例を示すフローチャートである。
以下、本発明に係るアプリケーション検査システムの実施の形態について、図を参照しつつ説明する。図1は、アプリケーション検査システムの全体構成図である。図1に示すアプリケーション検査システム1は、端末装置2と外部サーバ4がネットワーク3を介して接続されて構成される。
端末装置2は、ネットワーク3を介して外部サーバ4に接続されたスマートフォン、携帯情報端末または携帯電話等の情報機器である。端末装置2には検査対象のアプリケーションプログラム(検査対象アプリケーション211)がインストールされている。また、端末装置2には検査対象アプリケーション211に情報収集モジュールが組み込まれているか否かを検査するアプリケーション検査プログラムがインストールされており、端末装置2はアプリケーション検査装置として動作する。
なお、端末装置2は上述したスマートフォン等をエミュレートして検査対象アプリケーション211、情報収集モジュール及びアプリケーション検査プログラムを実行可能なパーソナルコンピュータやサーバであってもよい。
ネットワーク3はインターネットまたは一般電話回線網等の広域通信網である。ネットワーク3は、端末装置2及び外部サーバ4に接続され、検査対象アプリケーション211及び情報収集モジュールと外部サーバ4の通信を中継する。
外部サーバ4は、情報収集モジュールとの通信を行って端末装置2から個人情報等を収集する情報収集サーバ、及び検査対象アプリケーション211との通信を行って端末装置2に機能又はサービスを提供するアプリケーションサーバである。
本実施形態において、端末装置2と外部サーバ4はHTTP通信を行う。情報収集モジュールが行うHTTP通信は、複数の送受信信号、すなわち要求信号(HTTPリクエスト信号)と当該要求信号に対する応答信号(HTTPレスポンス信号)の対の繰り返しにより構成される。アプリケーション検査装置は、既知の情報収集モジュールが行ったHTTP通信の情報を登録して検査対象アプリケーション211の動作中に行われたHTTP通信を登録されたHTTP通信と照合する通信照合装置を含み、検査対象アプリケーション211の動作中に行われたHTTP通信に登録されたHTTP通信と類似するHTTP通信が含まれている場合に、検査対象アプリケーション211に情報収集モジュールが組み込まれていると判定する。
また本実施形態のアプリケーション検査装置は情報収集モジュールのうち特に広告配信を目的とした情報収集モジュールが検査対象アプリケーション211に組み込まれているか否かを検査する。広告配信を目的とした情報収集モジュールはその通信において特有の画像サイズを有した広告バナー画像(以降、広告画像と称する)を受信する。そこでアプリケーション検査装置は受信信号の中から広告画像が検出されることを検査対象アプリケーション211に情報収集モジュールが組み込まれていると判定する際の条件とする。
端末装置2は、記憶部21と、制御部22と、通信部23と、表示操作部24を有している。
記憶部21は、ROM、RAM、磁気ハードディスク等の記憶装置であり、各種プログラムや各種データを記憶し、検査対象アプリケーション211、固有情報212、検査対象通信ログ213、検査対象グラフ214、参照通信ログ215、参照グラフ216、特定情報パラメータ217を記憶する記憶領域を持つ。
固有情報212は、端末装置2を識別するために付与される端末固有番号や各種端末識別情報、緯度経度による現在位置を示す位置情報、アドレス帳、メール情報、スケジュール情報等である。
検査対象通信ログ213は、検査対象アプリケーション211がネットワーク3を介して外部と行った通信の履歴データである。検査対象通信ログ213として検査対象アプリケーション211が動作している間に通信部23にて送受信したIPパケットのデータがそのまま記憶されている。
検査対象グラフ214は、検査対象通信ログ213から生成されるグラフ情報である。グラフ情報の詳細については後述する。
参照通信ログ215は、特定通信を行うことが既に知られているアプリケーションがネットワーク3を介して外部と情報の送受信をした外部通信の履歴を記憶したものである。過去のアプリケーション検査等で取得されたIPパケットのデータがそのままアプリケーション別に対応付けられて記憶されている。
参照グラフ216は、参照通信ログ215から生成されるグラフ情報である。グラフ情報の詳細については後述する。
特定情報パラメータ217は、広告画像に特有の画像サイズであり、予めの設定により記憶部21に記憶される。例えば、広告画像特有の画像サイズとして320x48, 320x50, 300x48, 300x50の4パターンが設定される。
ここで、グラフ情報について、詳細に説明する。グラフ情報は、通信を構成する複数の送受信信号を、各送受信信号に対応して当該送受信信号が送受信した内容(送受信内容)を表す複数の頂点と、送受信信号同士のつながりに対応して頂点間の接続を表す辺からなるグラフ構造で表現したデータである。通信ログに記録された送受信信号のうち、つながりが連鎖する複数の送受信信号からひとつのグラフ情報が生成される。なお、HTTP通信を対象とする本実施形態においては、HTTPリクエストとHTTPレスポンスの対からなるHTTPセッションを送受信信号の最小単位とする。
図2にグラフ情報を図化したグラフの例を示す。図2のグラフは、6つの頂点(v1、v2、v3、v4、v5、v6)と5つの辺(e1、e2、e3、e4、e5)から構成されている。
図3は、図2のグラフに対応するグラフ情報である。グラフ情報はテーブル形式の頂点情報とテーブル形式の辺情報の2つのテーブルで構成される。各グラフ情報には一意なグラフ識別子が付与され、各頂点にはグラフ情報内で一意な頂点識別子が付与される。そして、頂点情報を構成する各頂点のデータは、グラフ識別子と頂点識別子と頂点ラベルが対応づけて記憶される。頂点ラベルは頂点と対応する送受信信号の送受信内容を表し、URL、データ型(テキスト、画像など)、画像サイズが頂点ラベルとなる。また、辺情報を構成する各辺データは、グラフ識別子と辺識別子と接続頂点対と辺ラベルが対応づけされる。各辺データの接続頂点対は当該辺が接続する2つの頂点の頂点識別子である。辺ラベルはつながりの種類を表し、リンクによるつながり、リダイレクトによるつながり、クッキーによるつながり、セッションによるつながりが辺ラベルとなる。接続頂点対である2つの頂点は順不同であり、本発明のグラフ情報は無向性グラフである。
例えば、グラフ‘1’の頂点‘v1’が表す送受信信号が送受信した送受信内容は‘URL1’であり、同グラフの頂点‘v2’が表す送受信信号が送受信した送受信内容は‘URL2’であり、頂点‘v1’と頂点‘v2’を接続する辺‘e1’が表すつながりの種類は‘data http content relation’すなわちリンクによるつながりである。これにより、URL1とURL2の間で、一方のコンテンツ内のURLを参照して他方のHTTPセッションを開始したことを示している。また、グラフ‘1’の頂点‘v4’ が表す送受信信号が送受信した送受信内容は‘URL4, image get terminate state, 300x50’すなわちURL4から取得した画像サイズが300×50の広告画像であることを示している。
制御部22はCPUやMPU等から構成される演算装置である。制御部22は、記憶部23から各種プログラムを読み出し、当該プログラムに従って通信ログ取得手段221、グラフ生成手段222、グラフ照合手段223および特定情報検出手段224などとして動作する。
通信ログ取得手段221は検査対象アプリケーション211の動作中に通信部23にて送受信された送受信信号を検出する信号検出手段である。具体的には、通信ログ取得手段221は、通信部23を監視して通信部23に入出力されたIPパケットを順次記憶部21の検査対象通信ログ213に追加記憶させる。
グラフ生成手段222は、送受信信号を分析して当該送受信信号のそれぞれにて送受信された送受信内容および当該送受信信号同士のつながりを検出し、検出したつながりが連鎖する複数の送受信信号について、送受信信号と対応する頂点情報およびつながりと対応して頂点情報同士の関係を表す辺情報からなるグラフ情報を生成する。
具体的には、グラフ生成手段222は、登録モードにて動作する場合、参照通信ログ215からグラフ情報を生成して記憶部21に参照グラフ216として記憶させる(登録する)。また、グラフ生成手段222は、検査モードにて動作する場合、検査対象通信ログ213からグラフ情報を生成して記憶部21に検査対象グラフ214として記憶させる。このとき特に、グラフ生成手段222は、少なくとも送受信内容が共通する複数の送受信信号をひとつの頂点情報にまとめてグラフ情報を生成する。これによって、リトライに係る複数の送受信信号はひとつの頂点情報にまとめられ、送受信信号の順序に違いがある2つの通信であっても当該送受信信号が共通すれば同じグラフ情報が生成されるので、リトライの発生有無または送受信信号の順序違いの有無にかかわらず通信同士が類似するか否かを正しく判定できる。グラフ生成処理については、図5〜図7を参照して後述する。
グラフ照合手段223は、グラフ生成手段222が2つの通信それぞれから生成したグラフ情報同士の類似度を算出し、類似度が予め定めたしきい値以上である場合に2つの通信が類似すると判定する類似判定手段である。グラフ照合手段223は類似判定の結果を表示操作部24に出力する。具体的には、グラフ照合手段223は検査対象アプリケーション211の動作中に行われた検査対象通信から生成した検査対象グラフ214と、既知の情報収集モジュールが行った参照通信から生成した参照グラフ216の類似度を算出し、類似度がしきい値以上である場合に検査対象通信と参照通信が類似すると判定し、検査対象アプリケーション211に情報収集モジュールが組み込まれていると判定する。なお、類似度がしきい値未満である場合、グラフ照合手段223は2つの通信は類似せず、検査対象アプリケーション211に情報収集モジュールは組み込まれていないと判定する。
グラフ照合手段223は、グラフ情報間にて頂点情報及び辺情報の組み合わせが一致する数が多いほど高く、一致する数が少ないほど低い類似度を算出する。このような、2つのグラフ情報の類似度は、公知である種々のグラフマッチング法により算出することができる。
特定情報検出手段224は、送受信信号から特定情報パラメータ217に設定された送受信内容を含んだ送受信信号を検出し、検出結果をグラフ照合手段223に出力する。すなわち特定情報検出手段224はグラフ情報の頂点情報を参照して、頂点ラベルに特定情報パラメータ217と一致する情報を含んだ頂点データを検出する。本実施形態において特定情報パラメータ217は広告画像に特有の画像サイズであり、特定情報検出手段224は頂点ラベルに広告画像に特有の画像サイズを含んだ頂点データを検出する。
通信部23は、制御部22及びネットワーク3と接続され、端末装置2が外部サーバ4との通信を行なうインタフェースであり、接続するネットワークに対応している。
表示操作部24は、タッチパネル付き液晶ディスプレイなどで構成された入出力インタフェースであり、グラフ照合手段223による判定結果の表示、アプリケーション実行時の画面表示、及び確認操作の受付等を行う。なお、表示操作部24は、表示機能だけもつ表示用デバイスと、操作ボタン等の入力デバイスを別々に設けた構成としてもよい。
図4を参照し、検査対象アプリケーション211が情報収集モジュールを含むか否かを検査するアプリケーション検査処理のフローを説明する。なお、以下に説明する処理フローは、制御部22で実行されるプログラムによって制御される。
まず、グラフ生成手段222が、参照通信ログ215から参照グラフ216を生成し登録する(ステップS11)。
図5を参照してステップS11のグラフ生成処理を説明する。グラフ生成処理を始めるに当たって、既知の情報収集モジュールの動作中に得た参照通信ログ215が予め記憶部21に記憶されているものとする。
まず、グラフ生成手段222は、記憶部21から参照通信ログ215を読み出す(ステップS111)。
次にグラフ生成手段222は、読み出した参照通信ログ215を分析して複数のHTTPセッションを抽出し、各HTTPセッションに頂点識別子を付与する(ステップS112)。各HTTPセッションは、端末装置2から外部サーバ4への要求信号であるHTTPリクエストと、当該要求信号に対する外部サーバ4から端末装置2への応答信号であるHTTPレスポンスの対である。本実施形態においてはHTTPセッションを送受信信号の最小単位とする。すなわちグラフ生成手段222は、それぞれが要求信号と当該要求信号に対する応答信号の対からなる複数の送受信信号を参照通信から抽出する。なお、HTTPセッションを抽出するにあたり、グラフ生成手段222はIPパケットからTCPセッションを再構築し、さらにHTTPセッションを再構築する。この結果、それぞれが複数のHTTPセッションのまとまりである複数のTCPセッションが参照通信ログ215から再構築される。グラフ生成手段222は各まとまりに含まれる各HTTPセッションに対して同一TCPセッションに属することを示すTCP識別子を付与する。
続いてグラフ生成手段222は、各HTTPセッションを分析して送受信内容を検出し、検出した送受信内容を頂点ラベルとして当該HTTPセッションに付与した頂点識別子と対応付ける(ステップS113)。具体的にはグラフ生成手段222は、各HTTPセッションにおいて、HTTPリクエスト中のRequest Line項目に記録されたURL、及びHTTPリクエスト中のContent Type項目に記録されたデータ型(要求された情報がテキストであるか画像であるかなど)を送受信内容として検出する。また、データ型が画像である場合、グラフ生成手段222はHTTPレスポンス中のデータ部に記録された画像サイズを送受信内容に加える。こうしてグラフ生成手段222は、送受信信号を分析して送受信信号のそれぞれにて送受信された送受信内容を検出する。
続いてグラフ生成手段222は、各HTTPセッションを分析してHTTPセッション間のつながり及び当該つながりの種類を検出し、検出したつながりに辺識別子を付与するとともに当該つながりを接続頂点対、当該つながりの種類を辺ラベルとして当該HTTPセッションの頂点識別子と対応付ける(ステップS114)。具体的にはグラフ生成手段222は以下の4種類のつながりを検出する。
1種類目は、HTTPレスポンス中のHTTP Message‐Body URL項目に記録されたリンク先URLに基づくつながりである。当該URLはコンテンツに含まれるURLを参照して別のHTTPセッションを開始させることを意味している。注目するHTTPセッションから当該URLが検出された場合、グラフ生成手段222は当該HTTPセッションに後続するHTTPセッションの送受信内容を検索して同一のURLが検出された後続HTTPセッションとのつながりを検出する。またグラフ生成手段222はつながりが検出されたURLが、HTMLコンテンツ内でのリンク先であった場合はつながりの種類を‘data http content relation’とし、JavaScript(登録商標)コンテンツ内でのリンク先であった場合はつながりの種類を‘data js content relation’とする。
2種類目は、HTTPレスポンス中のHTTP Redirect項目に記録されたリダイレクト先URLに基づくつながりである。当該URLは、あるURLから他のURLへのリダイレクトを意味している。注目するHTTPセッションから当該URLが検出された場合、グラフ生成手段222は当該HTTPセッションに後続するHTTPセッションの送受信内容を検索して同一のURLが検出された後続HTTPセッションとのつながりを検出する。またグラフ生成手段222はこのつながりの種類を‘data http relation’とする。
3種類目は、HTTPリクエスト中及びHTTPレスポンス中のHTTP Cookie項目に記録された識別子である。当該識別子は識別子が同一である複数のHTTPセッション間での関係性維持を意味している。注目するHTTPセッションから当該識別子が検出された場合、グラフ生成手段222は当該HTTPセッションに後続するHTTPセッションを検索して同一の識別子が記録された後続HTTPセッションとのつながりを検出する。またグラフ生成手段222はこのつながりの種類を‘cookie’とする。
4種類目は、ステップS112にて付与したTCP識別子である。グラフ生成手段222は当該HTTPセッションに後続するHTTPセッションを検索して同一のTCP識別子が付与された後続HTTPセッションとのつながりを検出する。またグラフ生成手段222はこのつながりの種類を‘http persistent connection’とする。
なお、上述した4種類のつながりのうち2種類以上のつながりが同一の接続頂点対に対して検出されることがある(例えばTCP識別子とCookieの識別子により検出されるつながり)。本実施形態では照合において1種類でも同一であれば辺が一致すると判定するため、グラフ生成手段222は検出されたつながりの種類は全て辺ラベルに記録する。そのためグラフ照合手段223は1つの辺ラベルとして最大4種類の検出結果を記録する。なお、つながりの種類だけ辺データを作成してこれらの辺データに共通の辺識別子を付与する構成とすることもできる。
以上のように、グラフ生成手段222は要求信号と当該要求信号に対する応答信号の対をひとつの送受信信号にまとめて送受信内容とつながりを検出する。このように要求信号と応答信号の対をひとつの送受信信号にまとめることで、HTTP通信のように、送受信内容及びつながりの情報が要求信号と応答信号に分散していても送受信内容及びつながりを正確に検出することが可能となる。
ステップS114の時点で、HTTPセッション間の関係を表すグラフ情報の原型が生成される。ステップS115以降では、このグラフ情報に修正を加えてリトライや順序変更の影響を受けにくいグラフ情報を生成する。
まずグラフ生成手段222は、グラフ情報を検索して頂点ラベルが同一の頂点データ(重複頂点)が存在するか否かかを判定する(ステップS115)。すなわちグラフ生成手段222は送受信内容が共通する複数の送受信信号が存在するか否かを判定する。重複する頂点が存在しなければ(ステップS115−No)、グラフ情報の修正は行わずに処理をステップS120に進める。
重複頂点が存在する場合(ステップS115−Yes)、グラフ生成手段222は重複頂点を同化させた仮グラフ情報を生成する(ステップS116)。仮グラフ情報は、ステップS114までの処理で生成されたグラフ情報をコピーし、当該コピーにおいて重複頂点の頂点識別子を同じ頂点識別子に書き換えることで生成する。例えば、頂点v1と頂点v3が重複頂点である場合、頂点識別子v3をv1に書き換える。
次にグラフ生成手段222は、仮グラフ情報を検索して接続頂点対及び辺ラベルが同一の辺データ(重複辺)が存在するか否かを判定する(ステップS117)。すなわちグラフ生成手段222はつながりおよびつながりの種類が共通する送受信信号が存在するか否かを判定する。このとき接続頂点対は順不同で比較する。例えば接続頂点対[v1,v2]と接続頂点対[v2,v1]は同一とみなして比較する。重複辺が存在しなければ(ステップS117−No)、グラフ情報の修正は行わずに処理をステップS120に進める。
重複辺が存在する場合(ステップS117−Yes)、グラフ生成手段222はグラフ情報に重複辺の重複頂点を統合する変更を加え(ステップS118)、グラフ情報に対し重複辺を統合する変更を加える(ステップS119)。具体的にはグラフ生成手段222は、仮グラフ情報にて重複辺とされた辺データを元のグラフ情報と対比して、仮グラフ情報の当該辺データにおいて書き換えられた頂点識別子を特定する。そして、グラフ生成手段222は元のグラフ情報の頂点情報からこの頂点識別子が付与された頂点データを削除し(重複辺の重複頂点を統合)、元のグラフ情報の辺情報に対してこの書き換えを行うとともに重複辺の辺データのうち1つだけ残してその他を削除する(重複辺の統合)。
ステップS120では、ステップS111〜ステップS119にて生成したグラフ情報を記憶部21に参照グラフ216として記憶させる。
ここで、図6(a)を参照し、グラフ生成の例について説明する。
グラフ501は、ステップS114までの処理にて生成されるグラフ情報を図化した例である。グラフ501は時系列に送受信された5つの送受信信号に対応して5つの頂点v1、v2、v3、v4、v5を有している。またグラフ501は、頂点v1とv2のつながりを表す辺e1、頂点v2とv3のつながりを表す辺e2、頂点v3とv4のつながりを表す辺e3、頂点v4とv5のつながりを表す辺e4を有している。頂点v1、v2、v3、v4、v5が表す送受信信号の送受信内容はそれぞれA、B、A、B、Cであり、4つの辺e1、e2、e3、e4が表すつながりの種類(図中の「関係」)はそれぞれy、y、z、zである。
このグラフ501に対し、グラフ生成手段222はステップS125にて頂点v1と頂点v3、及び頂点v2と頂点v4がそれぞれ重複頂点であると判定する。そしてグラフ生成手段222はステップS127にて、頂点v3とのつながり及びつながりの種類yが共通する辺e1と辺e2を重複辺であると判定する。
グラフ生成手段222は、ステップS128にて重複辺の重複頂点である頂点v1と頂点v2のうち頂点v2を削除して頂点v1に統合し、ステップS129にて重複辺である辺e1と辺e2のうち辺e2を削除して辺e1に統合する。
その結果、グラフ501はグラフ502に修正され、グラフ502が参照グラフ216として登録される。
この参照グラフ216はリトライが発生したときもこれを吸収できる。例えば送受信信号v1とv2のリトライが発生し、これらと送受信内容、つながり及びつながりの種類が同一な送受信信号v6とv7が加わってグラフ503のごとき通信が行われても、グラフ503からはグラフ502と同一のグラフが生成されるので、グラフ501の通信とグラフ503の通信は類似すると判定できる。
また、この参照グラフ216は送受信信号の順序入れ換えが行われてもこれを吸収できる。例えば送受信信号v1とv2の順序を入れ替えたグラフ504のごとき通信が行われても、グラフ504からはグラフ502と同一のグラフが生成されるので、グラフ501の通信とグラフ504の通信は類似すると判定できる。
このようにグラフ生成手段222は、送受信内容、つながりおよびつながりの種類が共通する複数の送受信信号をひとつの頂点情報にまとめてグラフ情報を生成することによって、送受信信号間の時間順序に影響を受けにくく、リトライの発生や送受信信号の順序入れ換えに対して類似判定結果に影響を受けにくいグラフ情報を生成できる。また頂点間に方向性を持たせないことも送受信信号間の時間順序に影響を受けにくい効果に寄与している。
上述した統合処理は送受信内容、つながり及びつながりの種類の共通性を条件に頂点情報をまとめた。このうちつながりの種類の条件は、ひとつの検査対象アプリケーションに複数の情報収集モジュールが組み込まれている場合など、類似性の高い通信が同時に行われる場合(通信ログに混在する場合)に、これらの情報収集モジュールによる送受信信号を明確に区別できる効果がある。
検査対象アプリケーションに複数の情報収集モジュールが組み込まれている可能性が低い場合などには、条件を緩和し、グラフ生成手段222は、送受信内容、つながりが共通する複数の送受信信号をひとつの頂点情報にまとめてグラフ情報を生成することもできる。この構成によってもリトライの発生や送受信信号の順序入れ換えに対して類似判定結果に影響を受けにくいグラフ情報を生成できる効果が得られる。
また、つながりの条件は情報収集モジュールと検査対象アプリケーションなど異なる種類のプログラムが同時に通信を行う場合(通信ログに混在する場合)に、これらの送受信信号を明確に区別できる効果がある。
これらの送受信信号を切り分けた通信ログなどが用意できる場合などには、さらに条件を緩和し、グラフ生成手段222は、送受信内容が共通する複数の送受信信号をひとつの頂点情報にまとめてグラフ情報を生成することもできる。この構成によれば、例えば、図6(b)に示すグラフ505の通信からグラフ506の参照グラフが生成される。この構成によってもリトライの発生や送受信信号の順序入れ換えに対して類似判定結果に影響を受けにくいグラフ情報を生成できる効果が得られる。
図4に戻り、グラフ生成手段222が、検査対象通信ログ213を入力として、検査対象グラフ214を生成する(ステップS12)。
図7を参照してステップS12のグラフ生成処理を説明する。グラフ生成処理を始めるに当たって、初期設定状態の検査対象アプリケーション211の機能を一通り動作させて得られる検査対象通信ログ213が記憶部21に記憶されているものとする。
まず、グラフ生成手段222は、この記憶部21に記憶されている検査対象通信ログ213を読み出す(ステップS121)。次に、グラフ生成手段222は、検査対象通信ログ213の中から複数のHTTPセッションを抽出する(ステップS122)。なお、ステップS122〜ステップS129の具体的な処理は、図5の参照グラフ生成処理のステップS112〜ステップS119と同じ処理であるため、詳細な説明は省略する。
ステップS122で抽出した複数のHTTPセションに対して、グラフ生成手段222は、各HTTPセッションを分析して送受信内容を検出し、検出した送受信内容を頂点ラベルとして当該HTTPセッションに付与した頂点識別子と対応付ける(ステップS123)。続いてグラフ生成手段222は、各HTTPセッションを分析してHTTPセッション間のつながり及び当該つながりの種類を検出し、検出したつながりに辺識別子を付与するとともに当該つながりを接続頂点対、当該つながりの種類を辺ラベルとして当該HTTPセッションの頂点識別子と対応付ける(ステップS124)。そして、グラフ情報を検索して、頂点ラベルが同一の頂点データ(重複頂点)が存在するか否かを判定する(ステップS125)。重複する頂点が存在しなければ(ステップS125−No)、グラフ情報の修正は行わずに処理をステップS130に進める。
重複頂点が存在する場合(ステップS125−Yes)、グラフ生成手段222は重複頂点を同化させた仮グラフ情報を生成する(ステップS126)。
次にグラフ生成手段222は、仮グラフ情報を検索して接続頂点対及び辺ラベルが同一の辺データ(重複辺)が存在するか否かを判定する(ステップS127)。重複辺が存在しなければ(ステップS127−No)、グラフ情報の修正は行わずに処理をステップS130に進める。
重複辺が存在する場合(ステップS127−Yes)、グラフ生成手段222はグラフ情報に重複辺の重複頂点を統合する変更を加え(ステップS128)、グラフ情報に対し重複辺を統合する変更を加える(ステップS129)。
ステップS130では、ステップS121〜ステップS129にて生成したグラフ情報を記憶部21に検査対象グラフ214として記憶させる。
このようにして生成される検査対象グラフ214も参照グラフ216と同様、送受信信号の時間順序の影響を受けにくいグラフ情報となる。
図4に戻り、グラフ照合手段223は、参照グラフ216と検査対象グラフ214を比較照合する(ステップS13)。
図8を参照してステップS13のグラフ照合処理を詳細に説明する。
グラフ照合手段223は、記憶部21から参照グラフ216と検査対象グラフ214を読み出して処理を開始する。
まず、グラフ照合手段223は、特定情報検出手段224に検査対象グラフ214を入力し、特定情報検出手段224は、検査対象グラフ214の各頂点の頂点ラベルを検索して、特定情報取得頂点を抽出する(ステップS21)。具体的には、特定情報検出手段224は、送受信内容が画像である頂点ラベルを検索し、その画像サイズを参照し、特定情報パラメータ217に予め登録した特定画像サイズであれば、その頂点を特定情報取得頂点として抽出する。
グラフ照合手段223は、特定情報検出手段224による特定情報取得頂点の抽出有無を確認し(ステップS22)、抽出頂点があれば、検査対象グラフ214と参照グラフ216との比較照合処理に進む(ステップS22―Yes)。一方、抽出頂点がなければ(ステップS22−No)、ステップS27へ進み、検出対象である情報収集モジュールが検出されなかった旨を検出結果として出力して、処理を終了する。
参照グラフ216には複数のグラフが登録されている場合があるため、各参照グラフについ比較照合処理を行う。まず、グラフ照合手段223は、検査対象グラフ214と選択している参照グラフ216の2つのグラフを比較照合して類似度を算出する(ステップS23)。次に、得られた類似度、即ち、最大共通部分の数に応じた値が閾値以上か判定する(ステップS24)。
閾値以上の場合(ステップS24−Yes)、情報収集モジュール検出をセットする(ステップS25)。
そして、検査対象グラフ214と参照グラフ216の各参照グラフについて、ステップS23〜ステップS24の処理を繰り返し行う。参照グラフ216中のすべてのグラフとの比較照合処理を行うと、情報収集モジュール検出結果を出力して、処理を終了する。
そして、図4に戻り、得られた結果を出力する(ステップS14)。
以上述べたように、参照通信及び検査対象通信のそれぞれから送受信信号の時間順序の影響を受けにくいグラフ情報を生成して、グラフ情報同士を照合するので、リトライの発生や送受信信号の順序入れ換えがあってもその影響を軽減して参照通信と検査対象通信の類似性を精度よく判定できる。
また、広告画像という特定情報を取得する特定通信を、広告画像を取得するHTTPセッションと関係を持つHTTPセッションから構成されるグラフを用いて検出し、検査対象のアプリケーションを情報収集モジュールを含むかどうかを効率的かつ確実に検査することができる。
本発明は、上記実施の形態に限定されるものではなく、幾多の変更及び変形が可能である。例えば、図8において、各参照グラフについて検査対象グラフとの比較する方法を説明したが、この処理は省略してもよい。つまり、図8において、ステップS22−Yesにて情報収集モジュール検出を出力するようにしてもよい。このとき、広告画像の検出の有無で特定通信が含まれると判断することができる。
また、広告画像の検出の有無で特定通信が含まれると判断したい場合、検査対象グラフ214を生成するグラフ生成処理の図7において、ステップS123の送受信内容抽出にて頂点に頂点ラベルに割り当てを行った時点で、特定情報取得頂点の抽出をしてもよい。つまり、図8のステップS21において、図7のステップS124〜ステップS129を省略したグラフ生成処理結果の検査対象グラフ214を用い、ステップS22−Yesにて情報収集モジュール検出を出力するようにしてもよい。
また、図8において、検査対象グラフを全ての参照グラフと比較する方法を説明したが、ステップS25で情報収集モジュール検出した場合、途中でループを抜けて情報収集モジュール検出を出力するようにしてもよい。これにより、情報収集モジュールが組み込まれたアプリケーションであることを速やかに出力することができる。
また、検査対象グラフは1つの場合を説明したが、検査対象のアプリケーションは情報収集モジュールだけが通信を行うわけではなく、利用者が意図した通信と利用者の意図と関係のなく行われる情報収集モジュールの通信との間で関係性がなく、検査対象グラフ自体が複数のグラフから構成される可能性がある。その場合、図8のグラフ照合処理を、検査対象グラフを構成するグラフの数の回数分、繰り返せばよい。また、検査対象グラフを構成する複数のグラフの中から、先に広告画像頂点を含むグラフを抽出し、抽出したグラフについて、図8のステップS23〜ステップS25の参照グラフとの比較処理を行うようにしてもよい。
また、図5のステップS113及び図7のステップS123の送受信内容(頂点)の検出の処理において、HTTPセッションの頂点識別子として、各HTTPセッションのHTTPリクエストのデータ部分とHTTPレスポンスのデータ部分を連結したデータに対してハッシュ値を用いてもよい。その場合、頂点識別子が同一であるHTTPセッションを1つだけ残して他を分析対象から除外する。分析するHTTPセッションに重複がない状態を作ってから関係情報を抽出することができ、効率的な処理が可能となる。
また、図5のステップS114及び図7のステップS124のつながり(辺)の検出の処理において、図9のように処理を行うことにより、図5のステップS115〜ステップS119、図7のステップS125〜ステップS129の重複頂点と重複辺の統合処理を簡略化することができる。
頂点間のつながりは抽出した複数のHTTPセッションの集合の中から選んだ2つのHTTPセッションのつながりから作成される。そこで、まず、HTTPセッションの集合から1つのHTTPセッションに着目し、着目HTTPセッションにおいて、時間順序に関係ないHTTPセッションのHTTPリクエストのデータ部分とHTTPレスポンスのデータ部分を連結したデータに対してハッシュ値h1を求める(ステップS31)。
次に、つながりを確認するもう一方のHTTPセッションを集合の残りからを1つ選び、選択HTTPセッションにおいて、時間順序に関係ないHTTPセッションのHTTPリクエストのデータ部分とHTTPレスポンスのデータ部分を連結したデータに対してハッシュ値h2を求める(ステップS32)。
ステップS33において、ハッシュ値h1とハッシュ値h2を比較する。ハッシュ値が一致している場合(ステップS33−Yes)、更に、ハッシュ値h1にてつながりを解析済みか、作業領域上のリストを参照して判定する(ステップS34)。ハッシュ値が一致すると、その他のHTTPセッションに対しては同じ頂点と辺を有していることになるため、既につながりの解析が終了していれば、つながり(辺)をマージし、新たに辺として登録する処理は行わず(ステップS35)、ループを抜ける。一方、ハッシュ値が一致しない場合(ステップS33−No)、まだ処理していない集合の残りのHTTPセッションについて順次選択HTTPセッションとして処理するループに戻る。
そして、まだ処理していない集合の残りのHTTPセッションについて順次選択HTTPセッションとして、ステップS32〜ステップS34を繰り返し、全てが終わると、着目HTTPセッションとその他のHTTPセッションの間でつながりの解析を行い、つながりを有するときは、ハッシュ値を頂点の頂点識別子として辺データを作業領域上のリストに新規追加する(ステップS36)。そして、着目HTTPセッションを変えて同じ処理を行い、全てのHTTPセッションの組み合わせへのつながり(辺)の検出を行う。
本実施の形態では、広告画像を特定情報とし、広告配信を行う情報収集モジュールの通信を特定通信として検出する例で説明をしたが、これに用途が限定されるものではない。例えば、情報送信の検出、マルウェア検出にも利用可能である。情報送信の検出の場合、特定情報の取得ではなく特定情報の送信に着目し、送信される情報を特定情報とし、情報送信を行う情報収集モジュールの通信を特定通信とすればいい。また、マルウェア検出の場合も、既知のマルウェアの通信ログから参照グラフを生成すればよい。
1・・・アプリケーション検査システム
2・・・端末装置
21・・・記憶部
211・・・検査対象アプリケーション
212・・・固有情報
213・・・検査対象通信ログ
214・・・検査対象グラフ
215・・・参照通信ログ
216・・・参照グラフ
217・・・特定情報パラメータ
22・・・制御部
221・・・通信ログ取得手段
222・・・グラフ生成手段
223・・・グラフ照合手段
224・・・特定情報検出手段
23・・・通信部
24・・・表示操作部
3・・・ネットワーク
4・・・外部サーバ

Claims (5)

  1. それぞれが複数の送受信信号にて構成される2つの通信が類似するか否かを判定する通信照合装置であって、
    前記送受信信号を分析して当該送受信信号のそれぞれにて送受信された送受信内容および当該送受信信号同士のつながりを検出し、前記つながりが連鎖する前記複数の送受信信号について、前記送受信信号と対応する頂点情報および前記つながりと対応して前記頂点情報同士の関係を表す辺情報からなるグラフ情報を通信ごとに生成するグラフ生成手段と、
    前記グラフ生成手段が前記2つの通信それぞれから生成した前記グラフ情報同士の類似度を算出し、前記類似度が予め定めたしきい値以上であるときに前記2つの通信が類似すると判定する類似判定手段と、
    を備え、
    前記グラフ生成手段は、少なくとも前記送受信内容が共通する複数の送受信信号をひとつの前記頂点情報にまとめて前記グラフ情報を生成することを特徴とする通信照合装置。
  2. 請求項1に記載の通信照合装置であって、
    前記グラフ生成手段は、前記送受信内容および前記つながりが共通する複数の送受信信号をひとつの前記頂点情報にまとめて前記グラフ情報を生成することを特徴とする通信照合装置。
  3. 請求項2に記載の通信照合装置であって、
    前記グラフ生成手段は、前記送受信信号から前記つながりの種類をさらに検出し、前記送受信内容、前記つながりおよび前記つながりの種類が共通する複数の送受信信号をひとつの前記頂点情報にまとめて前記グラフ情報を生成することを特徴とした通信照合装置。
  4. 請求項1から請求項3のいずれかひとつに記載の通信照合装置であって、
    記送受信内容が予め設定したサイズの画像であるときに当該送受信内容に当該サイズを含ませる特定情報検出手段をさらに備えることを特徴とした通信照合装置。
  5. 請求項1から請求項4のいずれかひとつに記載の通信照合装置であって、
    前記グラフ生成手段は、前記通信に含まれる要求信号と当該要求信号に対する応答信号の対をひとつの前記送受信信号にまとめて前記つながりを検出することを特徴とした通信照合装置。
JP2013139312A 2013-07-02 2013-07-02 通信照合装置 Active JP6219621B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013139312A JP6219621B2 (ja) 2013-07-02 2013-07-02 通信照合装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013139312A JP6219621B2 (ja) 2013-07-02 2013-07-02 通信照合装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2017168162A Division JP6467473B2 (ja) 2017-09-01 2017-09-01 アプリケーション検査装置

Publications (2)

Publication Number Publication Date
JP2015011695A JP2015011695A (ja) 2015-01-19
JP6219621B2 true JP6219621B2 (ja) 2017-10-25

Family

ID=52304752

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013139312A Active JP6219621B2 (ja) 2013-07-02 2013-07-02 通信照合装置

Country Status (1)

Country Link
JP (1) JP6219621B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10430721B2 (en) 2015-07-27 2019-10-01 Pivotal Software, Inc. Classifying user behavior as anomalous
RU2697958C1 (ru) * 2018-06-29 2019-08-21 Акционерное общество "Лаборатория Касперского" Система и способ обнаружения вредоносной активности на компьютерной системе

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3773194B2 (ja) * 2002-09-30 2006-05-10 インターナショナル・ビジネス・マシーンズ・コーポレーション 通信監視システム及びその方法、情報処理方法並びにプログラム
US20080102947A1 (en) * 2004-03-08 2008-05-01 Katherine Hays Delivery Of Advertising Into Multiple Video Games
US7624448B2 (en) * 2006-03-04 2009-11-24 21St Century Technologies, Inc. Intelligent intrusion detection system utilizing enhanced graph-matching of network activity with context data
JP2010055483A (ja) * 2008-08-29 2010-03-11 Fujitsu Ltd 情報再取得手順生成プログラム及び情報再取得手順生成装置
JP2013054602A (ja) * 2011-09-05 2013-03-21 Nippon Telegr & Teleph Corp <Ntt> グラフパターンマッチングシステムおよびグラフパターンマッチング方法

Also Published As

Publication number Publication date
JP2015011695A (ja) 2015-01-19

Similar Documents

Publication Publication Date Title
US20160241589A1 (en) Method and apparatus for identifying malicious website
CN106209759B (zh) 检测驻留在网络上的可疑文件
CN109669795B (zh) 崩溃信息处理方法及装置
CN106878108B (zh) 网络流量回放测试方法及装置
CN110298662B (zh) 交易重复提交的自动化检测方法及装置
US20170094698A1 (en) Generating Sequenced Instructions For Connecting Through Captive Portals
CN107085549B (zh) 故障信息生成的方法和装置
CN109982293B (zh) 流量产品推送方法、系统、电子设备及存储介质
CN104010035A (zh) 一种应用程序分发的方法及系统
CN106529291A (zh) 恶意软件检测方法
CN108768934A (zh) 恶意程序发布检测方法、装置以及介质
CN105515909A (zh) 一种数据采集测试方法和装置
JP6219621B2 (ja) 通信照合装置
CN113079157A (zh) 获取网络攻击者位置的方法、装置、电子设备
JP6467473B2 (ja) アプリケーション検査装置
CN107483294B (zh) 监控网络请求的方法及装置
CN114760216B (zh) 一种扫描探测事件确定方法、装置及电子设备
CN108737350B (zh) 一种信息处理方法及客户端
CN106803830B (zh) 识别上网终端的方法、装置和系统、及uim卡
CN111143650B (zh) 获取页面数据的方法、装置、介质及电子设备
CN110266746B (zh) 一种信息推送方法及装置
US9049170B2 (en) Building filter through utilization of automated generation of regular expression
JP6787845B2 (ja) 被疑箇所推定装置、及び被疑箇所推定方法
KR20160063234A (ko) 스트리밍 uri를 이용한 컨텐츠의 유해성 판정 방법 및 이를 이용한 장치
CN114070819B (zh) 恶意域名检测方法、设备、电子设备及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160531

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170529

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170704

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170901

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170926

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170928

R150 Certificate of patent or registration of utility model

Ref document number: 6219621

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250