JP5955475B1 - プログラム、情報処理装置、及び情報処理方法 - Google Patents

プログラム、情報処理装置、及び情報処理方法 Download PDF

Info

Publication number
JP5955475B1
JP5955475B1 JP2016013232A JP2016013232A JP5955475B1 JP 5955475 B1 JP5955475 B1 JP 5955475B1 JP 2016013232 A JP2016013232 A JP 2016013232A JP 2016013232 A JP2016013232 A JP 2016013232A JP 5955475 B1 JP5955475 B1 JP 5955475B1
Authority
JP
Japan
Prior art keywords
malware
program
mutex
information processing
function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016013232A
Other languages
English (en)
Other versions
JP2017134574A (ja
Inventor
孝志 吉川
孝志 吉川
圭 菅原
圭 菅原
優 関原
優 関原
Original Assignee
三井物産セキュアディレクション株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三井物産セキュアディレクション株式会社 filed Critical 三井物産セキュアディレクション株式会社
Priority to JP2016013232A priority Critical patent/JP5955475B1/ja
Application granted granted Critical
Publication of JP5955475B1 publication Critical patent/JP5955475B1/ja
Publication of JP2017134574A publication Critical patent/JP2017134574A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Stored Programmes (AREA)

Abstract

【課題】マルウェアによる攻撃を確実かつ有効に阻止することができるプログラム、情報処理装置、及び情報処理方法を提供する。【解決手段】マルウェアが使用するミューテックス値をオペレーティングシステムに登録し、ミューテックス値を利用するプロセスを常駐させる。オペレーティングシステムの解析ツールと同じプロセス名のプロセスを起動し、そのプロセス名のプロセスを常駐させる。【選択図】図5

Description

本発明は、プログラム、情報処理装置、及び情報処理方法に関する。
近年、不正なプログラムコードがコンピューターを始めとする各種情報処理装置において実行されることにより個人情報や機密情報が流出する事件が後をたたず、社会問題となっている。このような不正、有害な動作を行うための悪意あるソフトウェアは、マルウェア(不正ソフトウェア、不正プログラム)とも呼ばれる。
マルウェアによる不正アクセスの検出精度を高める方法として、所定の関数の呼び出しを検出し、関数の検出が行われた際に、スタック領域に格納されているリターンアドレスを取得し、検出された関数が、メモリー上の指定されたアドレス範囲の領域に実行可能属性を付与する関数であり、リターンアドレスの指し示す先の1つ前の命令が関数の呼び出し命令でない場合に、当該アドレス範囲をアドレス範囲記憶部に記憶し、検出された関数のリターンアドレスがアドレス範囲記憶部に記憶されているアドレス範囲内である場合に、不正アクセスが行われていると判定する方法が知られている(特許文献1参照)
モバイル向けオペレーティングシステムであるAndroid(登録商標)において、簡易な手法でマルウェアの検出を可能とするプログラムとして、情報処理装置を、APKファイルが持ち、当該APKファイルに関する情報をオペレーションシステムへ提供するためのマニフェストファイルを読み込むマニフェスト解析部と、マニフェストファイルに記載された各機能の使用許可情報に基づき、APKファイルのマルウェアらしさを解析するパラメータ解析エンジンとして機能させるプログラムが知られている(特許文献2参照)。
特許第4927231号公報 特開2013−222422号公報
しかしながら、従来の方法ではマルウェアによる攻撃を有効に阻止することが困難であった。
本発明の目的は、マルウェアによる攻撃を有効に阻止することができるプログラム、情報処理装置、及び情報処理方法を提供することにある。
本発明の一態様によるプログラムは、コンピューターを、マルウェアが使用するミューテックス値をオペレーティングシステムに登録する登録部と、前記ミューテックス値を利用するプロセスを常駐させる常駐部と、して機能させることを特徴とする。
上述したプログラムにおいて、前記登録部は、ソフトウェアがミューテックス値を作成する関数の実行をフックして、前記関数が作成しようとする前記ミューテックス値を前記オペレーティングシステムに登録する、ようにしてもよい。
上述したプログラムにおいて、前記コンピューターを、起動しようとするソフトウェアがマルウェアであるか否かを判断する判断部として更に機能させ、前記登録部は、前記判断部によりマルウェアであると判断されたソフトウェアのミューテックス値を前記オペレーティングシステムに登録する、ようにしてもよい。
本発明の一態様による情報処理装置は、マルウェアが使用するミューテックス値をオペレーティングシステムに登録する登録部と、前記ミューテックス値を利用するプロセスを常駐させる常駐部と、を有することを特徴とする。
本発明の一態様による情報処理方法は、マルウェアが使用するミューテックス値をオペレーティングシステムに登録し、前記ミューテックス値を利用するプロセスを常駐させる、ことを特徴とする。
以上の通り、本発明によれば、コンピューターを、マルウェアが使用するミューテックス値をオペレーティングシステムに登録する登録部と、前記ミューテックス値を利用するプロセスを常駐させる常駐部と、して機能させるようにしたので、マルウェアによる攻撃を有効に阻止することができる。
一般的な情報処理装置を示すブロック図である。 コンピュータープログラムの動作をコンピューターのハードウェアとの関連で示す説明図(その1)である。 コンピュータープログラムの動作をコンピューターのハードウェアとの関連で示す説明図(その2)である。 ミューテックスの原理を示す説明図である。 ミューテックスの機能を利用した本発明の原理を示す説明図である。 解析環境検知の原理を示す説明図である。 解析環境検知の機能を利用した本発明の原理を示す説明図である。 本発明の第1実施形態によるプログラム、情報処理装置及び情報処理方法を説明する説明図(その1)である。 本発明の第1実施形態によるプログラム、情報処理装置及び情報処理方法を説明する説明図(その2)である。 本発明の第2実施形態によるプログラム、情報処理装置及び情報処理方法を説明する説明図(その1)である。 本発明の第2実施形態によるプログラム、情報処理装置及び情報処理方法を説明する説明図(その2)である。 本発明の第2実施形態によるプログラム、情報処理装置及び情報処理方法を説明する説明図(その3)である。 本発明の第2実施形態によるプログラム、情報処理装置及び情報処理方法を説明する説明図(その4)である。 本発明の第2実施形態によるプログラム、情報処理装置及び情報処理方法を説明する説明図(その5)である。 本発明の第2実施形態によるプログラム、情報処理装置及び情報処理方法を説明する説明図(その6)である。 本発明の第2実施形態によるプログラム、情報処理装置及び情報処理方法を説明する説明図(その7)である。 本発明の第2実施形態によるプログラム、情報処理装置及び情報処理方法を説明する説明図(その8)である。 本発明の第2実施形態によるプログラム、情報処理装置及び情報処理方法を説明する説明図(その9)である。 本発明の第2実施形態によるプログラム、情報処理装置及び情報処理方法を説明する説明図(その10)である。 本発明の第2実施形態によるプログラム、情報処理装置及び情報処理方法を説明する説明図(その11)である。 本発明の第2実施形態によるプログラム、情報処理装置及び情報処理方法を説明する説明図(その12)である。 本発明の第3実施形態によるプログラム、情報処理装置及び情報処理方法を説明する説明図(その1)である。 本発明の第3実施形態によるプログラム、情報処理装置及び情報処理方法を説明する説明図(その2)である。 本発明の第3実施形態によるプログラム、情報処理装置及び情報処理方法を説明する説明図(その3)である。 本発明の第3実施形態によるプログラム、情報処理装置及び情報処理方法を説明する説明図(その4)である。 本発明の第3実施形態によるプログラム、情報処理装置及び情報処理方法を説明する説明図(その5)である。 本発明の第3実施形態によるプログラム、情報処理装置及び情報処理方法を説明する説明図(その6)である。 本発明の第3実施形態によるプログラム、情報処理装置及び情報処理方法を説明する説明図(その7)である。 本発明の第3実施形態によるプログラム、情報処理装置及び情報処理方法を説明する説明図(その8)である。
[情報処理装置]
本発明が適用される一般的な情報処理装置及びその動作について図1乃至図3を用いて説明する。
図1は一般的な情報処理装置を示すブロック図である。
標準的なスタンドアロン環境における情報処理装置10は、コンピューター(PC)20と、外部周辺装置30とから構成されている。
コンピューター(PC)20は、命令を実行するCPU21と、データおよびプログラムを格納するハードディスク22と、データやプログラムをCPU21が読み込むためのメモリー23と、ユーザーの操作を受け付けるマウスやキーボードのような入出力装置24と、操作内容や処理結果等を表示するディスプレイ25等から構成されている。
外部周辺装置30は、処理結果等を印刷するためのプリンター31や、USBメモリー等の外部記憶装置32等から構成されている。
次に、図2及び図3を用いて、コンピュータープログラム、すなわち、コンピューターに行わせる処理の手順を決められた形式(プログラム言語)に従って書き表したものを実行させる場合の一連の動作について、コンピューター20におけるCPU21、ハードディスク22、メモリー23等のハードウェアとの関連で説明する。
コンピューター20が起動する前は、オペレーションソフトウェア(OS)のプログラムやデータを含むOSデータと、コンピューター20で実行させるプログラムと、文書、図面等のユーザーデータ等がファイルとしてハードディスク22に格納されている(図2(a))。メモリー23にはプログラムやデータ等は展開されていない。
コンピューター20が起動して、CPU21が、ハードディスク22に格納されたOSデータをメモリー23にロードする命令を実行すると、OSデータがメモリー23上にプロセスとして展開される(図2(b))。
次に、CPU21がメモリー23上のOSデータのプロセスを実行して、ハードディスク22に格納されたプログラムにアクセスして、そのプログラムを読み込む(図2(c))。ハードディスク22に格納されたプログラムはメモリー23にロードされ、メモリー23上にプロセスとして展開される(図3(a))。
次に、CPU21がメモリー23上のプログラムのプロセスを実行して、ハードディスク22に格納されたユーザーデータにアクセスして、ハードディスク22へのデータの読み書きを行う(図3(b))。
このように、オペレーションソフトウエアやプログラムにより、CPU21、ハードディスク22、メモリー23との間での動作が行われる。
[発明の原理]
本発明の原理について説明する。
近年、マルウェアを利用する攻撃者の目的は大多数が金銭や機密情報の搾取であり、これらの攻撃では組織的に開発されたマルウェア作成ツールが利用されている場合が多い。
本願発明者等は、こういったツールで作成されたマルウェアの多くは、マルウェアの多重起動による処理の競合や予期せぬ動作停止等を予防するため、多重起動状態を認識して自身の動作を停止する機能や、自身が解析環境上で動作していることを検知した場合、動作を停止しマルウェア解析側に対して素性を隠すような動作を持つという機能を有していることに気がついた。
プログラムが多重起動状態を認識するために、マイクロソフトのオペレーティングシステムであるマイクロソフトウィンドウズ(Microsoft Windows:登録商標)にはミューテックス(Mutex)と呼ばれる機能が用意されている。OSのシステムには起動したプログラムの名前であるミューテックス値が登録される。
ミューテックスの原理について図4の概念図を用いて説明する。
図4(a)の場合には、オペレーティングシステムに、Mutex001、Mutex002、Mutex003というミューテックス値が既に登録されている。
この状態で、ミューテックス機能を使用するマルウェアAが起動すると、図4(a)に示すように、Mutex004というミューテックス値を作成してオペレーティングシステムに登録しようとする。オペレーティングシステムにはMutex004というミューテックス値は登録されていないので、図4(b)に示すように、Mutex004を登録に成功し、マルウェアAの動作が継続される。
この状態で、ミューテックス機能を使用するマルウェアAが二重起動すると、図4(c)に示すように、Mutex004というミューテックス値を作成してオペレーティングシステムに登録しようとする。オペレーティングシステムにはMutex004というミューテックス値は既に登録されているので、図4(c)に示すように、Mutex004の登録に失敗し、マルウェアAの二重起動が阻止される。
本発明ではこの機能を利用してマルウェアの動作を阻止する。本発明の原理について図5の概念図を用いて説明する。
図5(a)の場合には、オペレーティングシステムに、Mutex001、Mutex002、Mutex003というミューテックス値が既に登録されている。
この状態で、本発明のプログラムを起動させ、図5(a)に示すように、Mutex004というミューテックス値を作成してオペレーティングシステムに登録しようとする。オペレーティングシステムにはMutex004というミューテックス値は登録されていないので、図5(b)に示すように、Mutex004を登録に成功し、本発明のプログラムはそのまま待機状態となる。
この状態で、ミューテックス機能を使用するマルウェアAが起動しようとして、図5(c)に示すように、Mutex004というミューテックス値を作成してオペレーティングシステムに登録しようとする。オペレーティングシステムにはMutex004というミューテックス値は既に登録されているので、図5(c)に示すように、Mutex004の登録に失敗し、マルウェアAの起動が阻止される。
なお、ミューテックスとは一般的にプロセスやスレッドが同時に一つしかリソースへアクセスできないようにするコンピューターにおける排他的制御の仕組みの一つであり、マルウェアではない通常のプログラムにおいても同様に多重起動を防止する用途等で利用されることがある。ただし、それら通常のウィンドウズのプログラムにおいては自身の複数起動を許可しているものも少なくなく、多重起動することで目的の不正動作を遂行しづらくなるマルウェアの方がよりこのミューテックスによる排他制御を多用する傾向にある。
また、本願発明者等は、マルウェアには、オペレーティングシステムが解析環境上で動作しているかを検知し、解析環境上で動作している場合には、マルウェア自身の動作を停止させる機能を有するものがあることに気がついた。
オペレーティングシステムが解析環境上で動作している状況の検知には、広く知られる解析ツールのプロセス名のリストをあらかじめマルウェアが保持しており、動作時にこのリストの内容と、システムで動作しているプロセス名を比較し、合致するものがあるかどうかを確認する。合致した場合にはマルウェアは動作を停止する。
解析環境検知の原理について図6を用いて説明する。
オペレーティングシステムには動作中のプロセス名が登録されている。図6では、notepad.exe、calc.exe、analyzer.exe、…が登録されている。このオペレーティングシステムでは、解析プログラムのプロセス名であるanalyzer.exeが登録されており、解析環境上にあることがわかる。
この状態で、マルウェアBが起動すると、自身の動作環境が解析環境上にあるかを予め検知する。マルウェアBは、よく使われる調査ツールのプロセス名のリストを有している。図6では、debugger.exe、analyzer.exe、monitor.exe、…等のプロセス名のリストを有している。マルウェアBは、自分が有しているリストと、現在オペレーティングシステムで動作中のプロセス名と順次照合し、合致する場合には解析環境上にあると判断し、自分の動作を停止させる。図6では、リスト中のanalyzer.exeのプロセス名がシステムに登録されたプロセス名と合致したので、その段階で自分の動作を停止させている。
本発明ではこの機能を利用してマルウェアの動作を阻止する。本発明の原理について図7の概念図を用いて説明する。
本発明のプログラムを起動し、予めよく使われる調査ツールのプロセス名をオペレーティングシステムに登録しておく。図7では、debugger.exe、monitor.exe、analyzer.exe、…等のプロセス名のリストを登録する。
この状態で、マルウェアBが起動すると、自身の動作環境が解析環境上にあるかを予め検知する。マルウェアBは、よく使われる調査ツールのプロセス名のリストを有している。図7では、debugger.exe、analyzer.exe、monitor.exe、…等のプロセス名のリストを有している。マルウェアBは、自分が有しているリストと、現在オペレーティングシステムで動作中のプロセス名と順次照合し、合致する場合には解析環境上にあると判断し、自分の動作を停止させる。図7では、リスト中のdebugger.exeのプロセス名がシステムに登録されたプロセス名と合致したので、その段階で自分の動作を停止させる。このようにしてマルウェアBの動作を停止させることができる。
[第1実施形態]
本発明の第1実施形態によるプログラム、情報処理装置及び情報処理方法について図8及び図9を用いて説明する。
本実施形態は、マルウェアに使用される既知のミューテックス値を使用するプログラムを常駐させておき、マルウェアの実行を阻止しようとするものである。
本実施形態によるプログラム(本発明プログラム)は、マルウェアに使用される既知のミューテックス値をメモリー23内のミューテックス値リストに登録する命令CreateMutexを含んでいる。
本発明プログラムは、図2及び図3におけるプログラムと同様に、ハードディスク22に格納されており、CPU21からの命令によりメモリー23に展開され、CPU21からの命令により実行される。
本発明プログラムは、マルウェアが導入される危険性のある状態となる前であればいつ実行させてもよいが、スタートアッププログラムとして、コンピューター20の起動時に起動させておくことが望ましい。それによりコンピューター20を、起動直後から常にマルウェアから保護することができる。
本発明プログラムにより登録するミューテックス値について説明する。
既知のマルウェアに使用されるミューテックス値の多くは、インターネット上で公開されているマルウェアの解析情報の一部として掲載されている。例えば、オンラインバンキングマルウェアで使用されるZBOTと呼ばれるマルウェアは第一世代が「_AVIRA_2108」「_AVIRA_2109」「__SYSTEM__64AD0625__」のいずれかのミューテックス値を固定値で使用している。また、新種のマルウェアであってもマルウェア解析が実施された場合は、ほとんどのケースでミューテックス情報も各マルウェア対策ベンダー等から解析情報と併せて公開される。
本発明プログラムでは、例えば、次に示すミューテックス値の全て又は任意のいずれかを登録する。
25cbfc4f-Mutex、470a1245-Mutex、894133bf-Mutex、aMD6qt7lWb1N3TNBSe4N、b845ef76-Mutex、bcd8f464-Mutex、beta100-Mutex、bfbd401b-Mutex、DC_MUTEX-B2FTUQZ、e26f5077-Mutex、e621ca05-Mutex、e621ca05Mutex、e621ca05_0、f4448e25-Mutex、f5399233-Mutex、faebec4a-Mutex、fuckareyoulookin、IrcPeru-Mutex、KyUffThOkYwRRtg、lyhrsugiwwnvnn、Microsoft-Windows-LDAP32-Client、Prowin32Mutex、Rapid Antivirus_AppManager_server_mutex、s5rBKCUVfOF8JLVi、SPYNET、System1230123、t2f-Mutex、Windows Update System Verifier、wuqntwklyxwhac、xXxXxXXxXxxxxx02。
セキュリティ対策として一般的に用いられるパターンファイルやハッシュ値に依存したマルウェア防御方法ではマルウェアのバイナリが少しでも変化すると対応できなくなる場合が多いが、ミューテックス値の場合は、複数の亜種(同一種類のマルウェア群)ではミューテックス値が同一である場合が多く、ひとつミューテックス値に対する処置で複数の未知のマルウェアに対する防御を行うことが可能となる。
一般的なマルウェアを生成する際、最初から開発するケースはまれであり、流出したマルウェアのソースコードの改変や、マルウェアを自動生成するツールであるビルダー等を利用して作成されることが多い。そうした流出したソースコードや自動生成するツールではミューテックスが意図的に変更されるケースはあまり多くない。結果として、固定のミューテックス値を持つ複数のマルウェア、すなわち亜種のマルウェアが作り出されることになる。
なお、ハッシュ値や一般的なパターンファイルがとらえるバイナリの特徴点は、バイナリが生成されるタイミングで必然的に変化してしまうため、一つの情報で複数を捉える事は困難となってしまう背景がある。
これらの情報をあらかじめ収集して、既知のマルウェアのミューテックス値リストのデータベースを作成しておく。本発明プログラムでは、データベース化された既知のマルウェアのミューテックス値を生成して登録する。
マルウェアのミューテックス値リストのデータベースは常に更新しておき本発明プログラムを起動したときに、データベースに登録された全てのミューテックス値を生成して登録することが望ましい。
次に、本発明プログラムが実行された状態でマルウェアの実行が阻止される仕組みについて説明する。
図8に示すように、メモリー23のオペレーティングシステムのデータ内の所定位置にミューテックス値リストの領域が設けられている。図8では、ミューテックス値リストの領域に、AAAAA、BBBBB、CCCCC、…というミューテックス値が登録されている。登録されたミューテックス値は、データベース化された既知のマルウェアのミューテックス値である。
この状態でマルウェアを実行しようとする場合の処理の一連の流れについて図9を用いて説明する。
まず、マルウェアの実行ファイルを起動すると、メモリー23上に実行ファイルのイメージデータが配置される(図9(a))。
次に、マルウェアが"EEEEEEEE"というミューテックス値をシステムに登録しようとした場合、メモリー23上にあるオペレーティングシステムのCreateMutex関数が"EEEEEEEE"という引数でCPU21を介してマルウェアから呼び出される(図9(b))。
次に、オペレーティングシステムは、CreateMutex関数が呼び出されると、メモリー23上に存在するミューテックスリストにアクセスし、引数として渡された"EEEEEEEE"というミューテックス値がミューテックスリスト中に存在するか否か確認する(図9(c))。
ミューテックスリスト中に"EEEEEEEE"というミューテックス値が存在する場合、オペレーティングシステムはCreateMutex関数の戻り値として、null値をマルウェアへ返答する(図9(d))。
マルウェアは、関数の戻り値がnull値であることを確認することで、CreateMutex関数によるミューテックス登録が失敗したこと、すなわち、自分と同じマルウェアのプロセスや、自分の複製のプロセスがオペレーティングシステム上で起動していることを認識する。そのことを認識すると、マルウェアはその後の処理を自ら停止する。それにより、マルウェアの不正な動作を阻止することができる。
ミューテックスリスト中に"EEEEEEEE"というミューテックス値が存在しない場合には、オペレーティングシステムは渡された"EEEEEEEE"という値をミューテックスリストに追加したのち、CreateMutex関数の戻り値としてnull値以外の値をマルウェアへ返答する(図9(e))。
マルウェアは、関数の戻り値がnull値ではないことを確認することで、CreateMutex関数によるミューテックス登録が成功したこと、すなわち、自分と同じマルウェアのプロセスや、自分の複製のプロセスがオペレーティングシステム上で起動してないことを認識する。そのことが認識できると、その後のマルウェアの処理を継続する。この場合にはマルウェアの実行を阻止できない。
[第2実施形態]
本発明の第2実施形態によるプログラム、情報処理装置及び情報処理方法について図10乃至図21を用いて説明する。
本実施形態は、マルウェアが使用するミューテックス値が不明であっても、マルウェアがミューテックス値を作成しようする関数の実行をフックして横取りして、事前にミューテックス値リストに登録しておくことで、マルウェアの実行を阻止しようとするものである。
本発明プログラムは、マルウェアが導入される危険性のある状態となる前であればいつ実行させてもよいが、スタートアッププログラムとして、コンピューター20の起動時に起動させておくことが望ましい。それにより、起動直後から常に、コンピューター20をマルウェアから保護することができる。
図10に、コンピューター20が起動した直後のメモリー23の状態を示す。メモリー23には、オペレーティングシステムと共に本発明プログラムや他のスタートアッププログラムが展開され配置されている。
本発明プログラムは、まず、自身が起動した後に起動する全てのプロセスの情報を確認し、不審なプログラムのプロセスでないかを判断する。なお、以降の説明では、そのような不審なプログラムのことを便宜上「マルウェア」又は「不審プログラム」と称して説明する。
マルウェアが起動すると、図11に示すように、メモリー23上に、オペレーティングシステム、本発明プログラム、他のスタートアッププログラムと共に、マルウェアが展開されてマルウェアのプロセス動作が開始される。
次に、本発明プログラムは、図12に示すように、メモリー23上に展開されたマルウェアのプロセスの情報を取得し、ハードディスク22に格納されたマルウェアの実行ファイルを確認し、不審なプログラムであるか否かを判断する。
そのような判断基準の具体例として例えば次のようなものがある。
(a)正常なデジタル署名が付与されているか否かを判断する。
(b)開発元などのプロパティ情報が存在するか否かを判断する。
(c)ユーザーにより設定された除外リストに適合しているか否かを判断する。
(d)プロセスの実行ファイルがアイコン偽装を行っているか否かを判断する。
(e)拡張子が偽装されているか否かを判断する。
(f)既知の不正な情報をファイル内部に保有しているか否かを判断する。
(g)ユーザーの一時領域から実行されているか否かを判断する。
(h)OSの自動起動エントリーに登録されているか否かを判断する。
(i)既知の不正および不正ではないハッシュ値に属しているか否かを判断する。
このような判断基準で不審であると認定されると、そのプログラムがミューテックス値を作成しようする関数の実行をフックして横取りして、事前にミューテックス値リストに登録しておくことで、そのプログラムの実行を阻止する。
ウインドウズプログラムは起動するとそれぞれのプロセス空間(メモリ空間)と呼ばれる仮想メモリー上に配置される。それぞれのプロセス空間にはIAT(ImportAddressTable)という項目があり、IATにはプログラムが使用する関数の一覧とそれに応じたメモリアドレスが記録されている。これは、プログラムが動作する際にどういった関数がどのアドレスに読み込まれているかをオペレーティングシステムが把握するための情報である。
図13は、メモリー23上に展開されたマルウェアのプロセス空間のメモリー番地45000000にCreateMutexという関数が配置されている状態を示している。
この状態においてフック制御を行う方法の詳細について説明する。
まず、マルウェアのプロセス空間に偽のCreateMutex関数、例えば、FakeCreateMutex関数を埋め込む。
自分以外の他のプロセス空間にコードを注入するためには、そのプロセスのメモリー空間において、VirtualAllocEx関数というWindowsAPIを利用し、まだ使用されていない領域に一定サイズのメモリー領域を確保する(図14参照)。
次に、確保したメモリー領域にWriteProcessMemoryというWindowsAPIを利用し、実行させたいコード、すなわち、FakeCreateMutex関数本体と、そのFakeCreateMutex関数をマルウェアのIATへ組み込むための関数Aとを書き込む(図15参照)。なお、確保したメモリー領域の具体的なアドレスはVirtualAllocExの戻り値を確認することで取得することができる。
次に、書き込んだコード(関数A)を実行させるためにCreateRemoteThreadというWindowsAPIを呼び出すことにより、その任意のコードをマルウェアのプロセス空間上で実行させる(図16参照)。ここで、不審プログラムのプロセス空間のみに注目すると、図17のようになる。
次に、CreateRemoteThreadにより、関数Aが実行されると、不審プログラムのプロセス空間のIATにおける、正規のCreateMutex関数のアドレス、例えば45000000番地を、偽のFakeCreateMutex関数のアドレス、例えば、48500000番地へと書き換える(図18(a)、(b)参照)。これでフックの事前処理が行えたこととなる。
なお、どの関数がどのアドレスに展開されているか、すなわち、IATにあるその関数に対応するアドレスを知るには、GetProcAddressというWindowsAPIの引数に関数名を渡すことで、指定した関数がプロセス空間のどのアドレスに対応づけられているのか知ることができる。
次に、不審プログラムが、例えば"MAL123"というミューテックス名をシステムに登録しようとしたとする。その場合、CreateMutex関数が呼び出されると、システムはマルウェアのIATを参照した結果、正規のCreateMutex関数ではなく、予め用意しておいた偽のFakeCreateMutex関数に"MAL123"というパラメータを渡すことになる(図19参照)。
次に、FakeCreateMutex関数の内部では、本発明プログラムへ、「不審プログラムが"MAL123"という名前のミューテックスを作成しようとしている」という情報を渡す処理を行う。その情報を受け取った本発明プログラムは、不審プログラムよりも先にミューテックスを登録することが可能となる(図20参照)。
この時点で、まだ、不審プログラムは常駐してはいないが、不審プログラムが常駐する際に登録されるミューテックスはシステムに登録されている、という状態になる。
また、不審プログラムのCreateMutex関数の呼び出し元に対しては、呼び出した結果、関数が失敗した、つまり、すでに"MAL123"というミューテックスがシステムに登録されていたという結果を返すことで、不審プログラムに偽りの情報を渡すことが可能となり、結果として、その後の動作継続を妨げることが可能となる(図20参照)。
なお、図20に示す処理は、結果的に、次の図21に示す処理と同等となり、本発明プログラムは常に失敗という値を返すこととなる。
このようにして、本実施形態は、マルウェアが使用するミューテックス値が不明であっても、マルウェアがミューテックス値を作成しようする関数の実行をフックして横取りして、事前にミューテックス値リストに登録しておくことで、マルウェアの実行を阻止することができる。
[第3実施形態]
本発明の第2実施形態によるプログラム、情報処理装置及び情報処理方法について図22乃至図29を用いて説明する。
本実施形態は、よく使われる調査ツールのプロセス名をオペレーティングシステムに予め登録しておき、マルウェアが解析環境上にあると判断すると自分の動作を停止させるという機能を利用して、マルウェアの実行を阻止しようとするものである。
解析環境上で動作している状況の実現のためには、広く知られる解析ツールのプロセス名を持つプロセスをあらかじめコンピューター20上で動作させておくことで解決する。このプロセスは実際の解析ツールのプロセスである必要はなく、プロセス名が解析ツールと同一であれば実態はなんでもよく、コンピューター20への負荷の少ないプロセスであることが望ましい。
マルウェアが解析環境であることを検知するために存在確認を行う解析ツールのプロセス名としては、例えば、ネットワーク調査ツールであるWireShark(プロセス名:Wireshark.exe)、動的解析ツールであるOllyDbg(プロセス名:ollydbg.exe)、プロセス監視ツールであるProcess Monitor(プロセス名:procmon.exe)、静的解析ツールであるIDA Pro(プロセス名:idaq.exe)、プロセス管理ツールであるProcess Explorer(プロセス名:procexp.exe)等がある。
本実施形態では、例えば、次に示すプロセス名の全て又は任意のいずれかを動作させておく。
360Tray.exe、ashWebSv.exe、avcenter.exe、avguard.exe、avp.exe、ccSvcHst.exe、ekrn.exe、idag.exe、idaq.exe、idaq64.exe、ImmunityDebugger.exe、InstallRite.exe、kissvc.exe、Mcshield.exe、NTRTSCAN.exe、ollydbg.exe、outpost.exe、ProccessHacker.exe、Regshot.exe、SbieCtrl.exe、Smc.exe、tcpdump.exe、tcpview.exe、tmproxy.exe、VBoxService.exe、VBoxTray.exe、vmtoolsd.exe、VPTray.exe、windbg.exe、wireshark.exe。
なお、本発明プログラムの実行により正常なプログラムへの影響はほとんどないと想定される。例外的に、一部PCゲーム等解析を検知すると動作しないものも考えられるが、その場合は、予め、除外リストへ検知から除外したいファイルやフォルダを設定しておくことで、そうした正常なPC操作上の不都合を回避することが可能である。
マルウェアの中には、リストと合致した場合、自身の動作を停止するのではなく、合致した解析ツールのプロセスを停止させるものがある。このようなマルウェアに対しては、あらかじめマルウェアのコードが配置されたメモリー23内の、プロセスを停止させる関数、TerminateProcess等をフックしておき、解析ツールを終了しようとする場合には自身の動作を停止させるように変更する。すなわち、マルウェアが呼び出したTerminateProcessの引数が開発ツールのプロセスを示していた場合、その引数をマルウェア自身のプロセス情報に変更する。
プロセスを停止させる関数をフックする処理については、第2実施形態におけるCreateMutex関数のフックと同様に行えばよい。
本実施形態では、次のようにして、任意のプロセス名を持つプロセスを起動する。
例えば、"OllyDbg.exe"という名前のプロセスを起動したい場合、本発明プログラム"MyProgram.exe"は一時領域に自身の実行ファイルのコピーを"OllyDbg.exe"というファイル名で作成し、その実行ファイルを起動させる。
これにより、オペレーティングシステム上には、本発明プログラムのプロセス"MyProgram.exe"という親プロセスと"OllyDbg.exe"("MyProgram.exe"のコピー)という子プロセスが2つ起動していることになる。起動しているプロセスの親子関係をあまり意識しないタスクマネージャーなどの他のプロセスから見ると、システムのプロセスリストにはそれぞれのプロセスが独立して起動しているように見える(図22参照)。
この動作、すなわち、自身のコピーを任意のファイル名に変更して起動させる動作を繰り返すことにより、複数の任意のプロセスを一斉に起動することとなる(図23参照)。そのときのウインドウズシステムの状態は図24に示すようになる。
繰り返しコピーを作成しそれを利用して複数のプロセスを起動する上記の操作を行った際、一時領域フォルダ内に各プロセス名と同一の実行ファイル、すなわち、実行ファイル"MyProgram.exe"のコピー、が起動したプロセスの数だけ複数存在している状態となる。この状態でプロセス"MyProgram.exe"のみが終了してしまうと、残りのプロセスが孤立して起動することなり、作成した複数の実行ファイル、すなわち、実行ファイル"MyProgram.exe"のコピーがハードディスク22上に残留してしまうことになり、ウインドウズシステムへの負荷を残すこととなる。
本発明プログラムでは、そうした事態を避けるため、プロセス"MyProgram.exe"が終了した場合、作成した複数の実行ファイル、すなわち、実行ファイル"MyProgram.exe"のコピーおよびそのプロセスは不必要となるため、次のようにして全ての関連子プロセスも併せて終了し、実行ファイルも削除されるようにしている。その動作の詳細について説明する。
作成された子プロセス、すなわち"OllyDbg.exs"、"Wireshark.exe"等は常時自身の親プロセスが起動しているかどうかを監視する(図25参照)。
子プロセスが親プロセスを監視する具体的な方法として次のようなものがある。
まず、親プロセスが自身のコピーである子プロセスを起動させる際、自身(親)のプロセスIDを実行引数として渡した状態で子プロセスを呼び出す。次に、呼び出された側のプロセスは自身がプロセスIDを実行引数に付与された状態で起動したと判断すると、自身が「子」であり、引数のプロセスIDを持つプロセスが「親」であるというプロセスの親子関係を把握することができる。
プロセスIDがわかれば、WindowsAPIであるCreateToolhelp32SnapShot 関数、Process32First関数、Process32Next関数を組み合わせることで、指定したプロセスIDを持つプロセスが現在起動しているかどうかを判断することができる。
親プロセスが終了していると判断した場合、子プロセスは自身を終了して削除する動作を行う。
プロセスが起動している最中は、そのプロセスの実体となる実行ファイルを削除することはオペレーティングシステムにおいて基本的に不可能である。つまり、実体である実行ファイルを削除するにはそのプロセスを終了させなければならない。このため、自分自身の実行ファイルを削除してプロセスを終了する動作、またはその逆の動作は、プログラム単体で実現することは不可能である。
そのため、次のようにして、実質的に、自分自身のプロセス終了およびその実体である実行ファイルの削除を行う。
例えば、実行ファイル名およびそのプロセスが"AAAAA.exe"であると仮定すると、プロセスAAAAA.exeは、一時的に削除用のバッチファイル(Batch File)を作成する。そのバッチファイルには、AAAAA.exeというプロセスがいなくなるまでスリープを繰り返し、AAAAA.exeというプロセスがいなくなったら、実行ファイルAAAAA.exeを削除する、という命令コードを記載する。
バッチファイルを呼び出したプロセスAAAAA.exeは、その後自身のプロセスを終了させる。すると、AAAAA.exeのプロセスが存在しなくなった状態を確認したバッチファイルが、プロセスAAAAA.exeの実体である実行ファイルAAAAA.exeを削除する(図26参照)。
次に、バッチファイルは、自分自身であるバッチファイルを削除するために、DELコマンドで自身を削除するコマンドをコマンドプロンプトに渡して実行させバッチファイル自身を終了させる。その後、コマンドプロンプトはバッチファイルをDELコマンドで削除した後、終了する(図27参照)。コマンドプロンプトは渡された処理が全て終了すると自身(コマンドプロンプト自身のプロセス)を終了する動作があるため、それを利用する。
以上が、プログラムが自分自身を終了&削除する方法となるが、この方法を起動した全ての子プロセスが同時に行う。
このようにして"MyProgram.exe"が終了すると、そのコピーである各プロセスおよびその実体であるファイルが削除され、"MyProgram.exe"が起動する前の環境状態にすることができる。
また、本発明プログラムでは、マルウェアの攻撃検知機能も機能のひとつとして搭載している。
一般的にマルウェアは、解析ツールやマルウェア対策製品のプロセスが起動していると判断した場合、その多くが自身を終了する動作を行う。その一方で、自身を終了するのではなく、相手側を終了させようと試みるタイプのマルウェアも存在する。何か解析ツールのプロセスが起動していた場合は、その解析ツールを終了させることでユーザーの操作を妨害し、自分が解析されることを妨害するものがある。
本発明プログラムでは、自身の子プロセスが終了されていないかどうかを親プロセスが監視することで、その攻撃を検知する(図28参照)。
マルウェアが、例えば、"WireShark.exe"を強制終了した場合、本発明プログラムは自身の子プロセスがひとつ存在しなくなったため、マルウェアによって強制終了されたと判断する(図29(a)〜(c)参照)。
プログラムがプロセスの強制終了を行う場合は、通常TerminateProcessというWindowsAPIを呼び出すことで実現している。ウィンドウズに標準搭載されているタスクマネージャーというプログラムでプロセスを強制終了させた場合も"TerminateProcess"が呼び出される。
ユーザーが誤ってタスクマネージャーからユーザー操作で子プロセスを終了した場合、マルウェアの攻撃により子プロセスを終了されたと誤検知する可能性がある。そのため、本発明プログラムはその誤検知が起こらないようにしている。
一般的なプロセスが、TerminateProcess関数により他のプロセスの強制終了を行う場合には、以下の手順となる。
OpenProcessというWindowsAPIの関数に対し、強制終了させたいプロセスのプロセスIDを第三引数に、第一引数に「PROCESS_TERMINATE」というアクセス権を割り当てた状態で開く。この引数を渡した状態でOpenProcess関数の呼び出しに成功すると、それは与えられたアクセス権、ここではPROCESS_TERMINATE、つまり強制終了の権限でプロセスを扱う権利を得たという意味になる。
次に、上記のOpenProcessが成功すると、戻り値でプロセスハンドル(プロセスを取り扱うオブジェクト)が応答されるため、そのプロセスハンドルをTerminateProcessの引数として渡すことで、該当のプロセスを強制終了させることが可能となる。
つまり、OpenProcess関数により「PROCESS_TERMINATE」というアクセス権で自身のプロセスが開かれる事を失敗させることができれば、他のプログラムからの強制終了(TerminateProcessの呼び出し)を結果的に失敗させることが可能となる。
指定したアクセス権によるOpenProcessを失敗させるには、TerminateProcessからの強制終了から守りたいプロセスを作成する際、具体的にはCreateProcessを用いてプロセスを作成する際に、そのプロセスに付与するセキュリティ情報、すなわち、CreateProcessを呼出す際の第三引数のセキュリティ記述子から「PROCESS_TERMINATE」というアクセス権、すなわち、他のプロセスからの強制終了を許可するというアクセス権を取り除くことで、他の一般的なプロセスから強制終了を許可しないアクセス権を持ったプロセスを作成することができる。
本発明プログラムでは、この手法により、親プロセスおよび子プロセスが一般的な強制終了、つまり、タスクマネージャーなどからのユーザー操作による強制終了をブロックすることが可能となり、誤検知を防ぐことができる。
また、併せて、ユーザー操作レベルで強制終了させようとする種類のマルウェアの挙動をブロックすることが可能となり、結果的にそうしたマルウェアの動作継続を妨害することもできる。
一方で、マルウェアの中には、TerminateProcessの呼び出しが上記の手法でブロックされていても、対象を強制終了させることができるタイプのものが存在する。具体的にはSeDebugPrivilege関数を利用して自身をデバッガと同じ特権状態に上げることで、相手が設定したアクセス権を無視して強制的に操作し、さらに強力に強制終了させることが可能となる。
本発明プログラムの強制終了検知は、こうしたタイプのマルウェアが強制的に子プロセスを終了させたことを検知することができ、そうしたマルウェアがそのコンピューター内に存在すると検出することができることとなる。
[変形実施形態]
本発明は上記実施形態に限らず種々の変形が可能である。
例えば、上記実施形態では、マイクロソフトのオペレーティングシステムであるマイクロソフトウィンドウズ(Microsoft Windows)に本発明を適用したが、Android、BSD、iOS、Linux、OS X、Windows Phone、IBM z/OS(全て登録商標)等の他のオペレーティングシステムに本発明を適用してもよい。各オペレーティングシステムに対するマルウェアによる攻撃を確実かつ有効に阻止することができる。
10…情報処理装置
20…コンピューター(PC)
30…外部周辺装置
21…CPU
22…ハードディスク
23…メモリー
24…入出力装置
25…ディスプレイ
31…プリンター
32…外部記憶装置

Claims (8)

  1. コンピューターを、
    マルウェアが使用するミューテックス値をオペレーティングシステムに登録する登録部と、
    前記ミューテックス値を利用するプロセスを常駐させる常駐部と、
    して機能させるためのプログラム。
  2. 請求項1記載のプログラムにおいて、
    前記登録部は、ソフトウェアがミューテックス値を作成する関数の実行をフックして、前記関数が作成しようとする前記ミューテックス値を前記オペレーティングシステムに登録する、
    プログラム。
  3. 請求項2記載のプログラムにおいて、
    前記コンピューターを、起動しようとするソフトウェアがマルウェアであるか否かを判断する判断部として更に機能させ、
    前記登録部は、前記判断部によりマルウェアであると判断されたソフトウェアのミューテックス値を前記オペレーティングシステムに登録する
    プログラム。
  4. 請求項1乃至3のいずれか1項に記載のプログラムを記録したコンピューター読み取り可能な記録媒体。
  5. マルウェアが使用するミューテックス値をオペレーティングシステムに登録する登録部と、
    前記ミューテックス値を利用するプロセスを常駐させる常駐部と、
    を有する情報処理装置。
  6. 請求項5記載の情報処理装置において、
    起動しようとするソフトウェアがマルウェアであるか否かを判断する判断部を更に有し、
    前記登録部は、前記判断部によりマルウェアであると判断されたソフトウェアのミューテックス値を作成する関数の実行をフックして、前記関数が作成しようとする前記ミューテックス値を前記オペレーティングシステムに登録する
    ことを特徴とする情報処理装置。
  7. マルウェアが使用するミューテックス値をオペレーティングシステムに登録し、
    前記ミューテックス値を利用するプロセスを常駐させる
    情報処理方法。
  8. 請求項7記載の情報処理方法において、
    更に、起動しようとするソフトウェアがマルウェアであるか否かを判断し、
    マルウェアであると判断されたソフトウェアのミューテックス値を作成する関数の実行をフックして、前記関数が作成しようとする前記ミューテックス値を前記オペレーティングシステムに登録する
    ことを特徴とする情報処理方法。
JP2016013232A 2016-01-27 2016-01-27 プログラム、情報処理装置、及び情報処理方法 Active JP5955475B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016013232A JP5955475B1 (ja) 2016-01-27 2016-01-27 プログラム、情報処理装置、及び情報処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016013232A JP5955475B1 (ja) 2016-01-27 2016-01-27 プログラム、情報処理装置、及び情報処理方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2016106257A Division JP2017134805A (ja) 2016-05-27 2016-05-27 プログラム、情報処理装置、及び情報処理方法

Publications (2)

Publication Number Publication Date
JP5955475B1 true JP5955475B1 (ja) 2016-07-20
JP2017134574A JP2017134574A (ja) 2017-08-03

Family

ID=56421669

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016013232A Active JP5955475B1 (ja) 2016-01-27 2016-01-27 プログラム、情報処理装置、及び情報処理方法

Country Status (1)

Country Link
JP (1) JP5955475B1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111625813A (zh) * 2020-05-27 2020-09-04 重庆夏软科技有限公司 一种通过修改进程保护程序的方法
US11768933B2 (en) 2020-08-11 2023-09-26 Saudi Arabian Oil Company System and method for protecting against ransomware without the use of signatures or updates
WO2023201583A1 (zh) * 2022-04-20 2023-10-26 西门子股份公司 网络系统防护方法、装置、计算机设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7472288B1 (en) * 2004-05-14 2008-12-30 Trend Micro Incorporated Protection of processes running in a computer system
JP2009037545A (ja) * 2007-08-03 2009-02-19 National Institute Of Information & Communication Technology マルウェアの類似性検査方法及び装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7472288B1 (en) * 2004-05-14 2008-12-30 Trend Micro Incorporated Protection of processes running in a computer system
JP2009037545A (ja) * 2007-08-03 2009-02-19 National Institute Of Information & Communication Technology マルウェアの類似性検査方法及び装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JPN6016015822; 松木 隆宏: 'セキュリティ無効化攻撃を利用したマルウェアの検知と活動抑止手法の提案' 情報処理学会論文誌 論文誌ジャーナル[CD-ROM] Vol.50,No.9, 20090915, 2127〜2136頁, 社団法人情報処理学会 *
JPN6016015824; 'ウイルス ブレティン 日本語版 Vol.2' NETWORK WORLD 第8巻,第10号, 20031001, 155頁, 株式会社IDGジャパン *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111625813A (zh) * 2020-05-27 2020-09-04 重庆夏软科技有限公司 一种通过修改进程保护程序的方法
CN111625813B (zh) * 2020-05-27 2023-02-28 重庆夏软科技有限公司 一种通过修改进程保护程序的方法
US11768933B2 (en) 2020-08-11 2023-09-26 Saudi Arabian Oil Company System and method for protecting against ransomware without the use of signatures or updates
WO2023201583A1 (zh) * 2022-04-20 2023-10-26 西门子股份公司 网络系统防护方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
JP2017134574A (ja) 2017-08-03

Similar Documents

Publication Publication Date Title
US10417424B2 (en) Method of remediating operations performed by a program and system thereof
US7571482B2 (en) Automated rootkit detector
US20210397710A1 (en) Method of remediating operations performed by a program and system thereof
US8904537B2 (en) Malware detection
EP3039608B1 (en) Hardware and software execution profiling
US11550912B2 (en) Detection of exploitative program code
US7665139B1 (en) Method and apparatus to detect and prevent malicious changes to tokens
Mariani Userland Hooking in Windows
US12001554B2 (en) Just in time memory analysis for malware detection
JP2018041438A (ja) ファイル中の悪意のあるコードの検出システム及び方法
US20140053267A1 (en) Method for identifying malicious executables
US20030212906A1 (en) Method and apparatus for determination of the non-replicative behavior of a malicious program
EP3362937B1 (en) Method of remediating a program and system thereof by undoing operations
KR20180032566A (ko) 다수 소프트웨어 개체들에 걸쳐서 악성 행동을 트래킹하기 위한 시스템들 및 방법들
US8370941B1 (en) Rootkit scanning system, method, and computer program product
JP5955475B1 (ja) プログラム、情報処理装置、及び情報処理方法
US10902122B2 (en) Just in time memory analysis for malware detection
US8898591B2 (en) Program removal
JP5326063B1 (ja) デバッグイベントを用いた悪意のあるシェルコードの検知装置及び方法
KR20090067569A (ko) 가상화 기법을 이용한 윈도우 커널 보호 시스템
Bravo et al. Proactive detection of kernel-mode rootkits
Sun et al. API monitoring system for defeating worms and exploits in MS-Windows system
JP2017134805A (ja) プログラム、情報処理装置、及び情報処理方法
JP6219550B1 (ja) プログラム、情報処理装置、及び情報処理方法
Muthumanickam COPDA: concealed process and service discovery algorithm to reveal rootkit footprints

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160426

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160527

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160614

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160614

R150 Certificate of patent or registration of utility model

Ref document number: 5955475

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250