JP5320985B2 - 予測システム、予測方法および予測プログラム - Google Patents

予測システム、予測方法および予測プログラム Download PDF

Info

Publication number
JP5320985B2
JP5320985B2 JP2008280175A JP2008280175A JP5320985B2 JP 5320985 B2 JP5320985 B2 JP 5320985B2 JP 2008280175 A JP2008280175 A JP 2008280175A JP 2008280175 A JP2008280175 A JP 2008280175A JP 5320985 B2 JP5320985 B2 JP 5320985B2
Authority
JP
Japan
Prior art keywords
prediction
sample
change point
samples
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008280175A
Other languages
English (en)
Other versions
JP2010108283A (ja
Inventor
健一郎 藤山
弘司 喜田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2008280175A priority Critical patent/JP5320985B2/ja
Publication of JP2010108283A publication Critical patent/JP2010108283A/ja
Application granted granted Critical
Publication of JP5320985B2 publication Critical patent/JP5320985B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、連続的な時系列データの将来の振る舞いを予測する予測システム、予測方法および予測プログラムに関し、特に過去のサンプルを用いて予測を行う予測システム、予測方法および予測プログラムに関する。
負荷分散のための各サーバの負荷の予測や空調制御のための室内の温度の予測等、連続的な時系列データの将来の振る舞いを予測する需要は少なくない。このような連続的な時系列データの予測方法として、時系列データの過去の値をサンプルとし、そのサンプルから将来の値を予測する方法が知られている。
サンプルから将来の値を予測する方法の一つとして、非特許文献1に記載された移動平均法という方法がある。移動平均法は、図14に示すように、サンプルの平均値を算出し、時系列データが今後もこの平均値に近い値をとる仮定して将来の値を予測する。図14には、過去の時系列データf(t)におけるn個のサンプル(時刻t0−n〜t0−1におけるデータ)の平均値([(f(t0−1)+f(t0−2)+・・・+f(t0−n)]/n)が、将来の時刻txにおける予測値として採用される例が示されている。また、移動平均法の種類として、個々のサンプルに異なる重みを付けて平均値を算出する加重移動平均法や指数加重移動平均法といった種類がある。
また、サンプルから将来の値を予測する他の方法として、同じく非特許文献1に記載された回帰分析の一種である最小二乗法という方法がある。最小二乗法は、図15に示すように、サンプルの傾向を特定の近似関数で近似し、時系列データが今後もこの近似関数に近い振る舞いをすると仮定して将来の値を予測する。
なお、近似関数は、各サンプルの差の二乗和が最小となる様に決定される。また、図15には、近似関数g(t)として1次直線関数が用いられているが、一般には、サンプルの傾向は、n次の曲線関数で近似される。また、図15には、将来の時刻txにおける予測値がg(tx)になることが示されている。
また、一般的な予測システムの構成例が、特許文献1,2に記載されている。
特開2001−175735号公報 特開2008−3920号公報 上田太一郎,高橋玲子,村田真樹,渕上美喜,藤川貴司,近藤宏,上田和明、「Exelで学ぶ時系列分析と予測」、オーム社、2006年、p.24-31 ,p.119-124
しかし、非特許文献1に記載されているような予測方法すなわち過去のサンプルから予測を行う方法は、過去のサンプルの変動の影響を受ける。すると、過去の時系列データの変動傾向が現状の時系列データの変動傾向と明らかに異なる場合にはサンプルの一部がノイズになり、予測精度が落ちるという課題がある。
例えば、図16(A)に示す例では、時系列データf(t)は、時刻taの前では上昇傾向にあり、時刻taの後にはほぼ一定値であって、時刻taの前後で変動傾向が明らかに異なる。変動傾向が異なる時刻taを変化点とする。
移動平均法によって時刻tbの時系列データ値f(tb)を予測する場合に、時刻ta以前の小さな時系列データ値もサンプルとして予測を行う。すなわち、移動平均法による予測g(t)を用いると、時刻tbにおける予測値g(tb)は、時刻ta以前の小さな時系列データ値もサンプルにした予測で決定されるので、予測値g(tb)は、実際の値f(tb)より小さい値になってしまう。
また、最小二乗法による予測h(t)では、時刻tbにおける予測値h(tb)は、時刻ta以前の上昇傾向の時系列データ値をサンプルにした予測で決定されるので、実際の値f(tb)より大きな値になってしまう。
そこで、本発明は、連続的な時系列データの過去の値をサンプルとしサンプルから将来の値を予測する予測システム、予測方法および予測プログラムにおいて、過去の変動傾向が現状の変動傾向とは異なる場合でも高精度に予測を行うことができるようにすることを目的とする。
本発明による予測システムは、連続的な時系列データの過去の値であるサンプルの変動傾向が変わる変化点以降のサンプルを選択するサンプル選択手段と、サンプル選択手段が選択したサンプルを用いて予測を行う予測実行手段と、複数のサンプル選択手段に対応して設けられ、サンプル入力手段が入力したサンプルからそれぞれ異なる方式で変動傾向が変わる変化点を検出する複数の変化点検出手段と、複数の予測実行手段による予測結果を実際の値である予測時刻のサンプルと比較することによって検証を行う予測結果検証手段と、予測結果検証手段による検証結果を記憶する検証結果記憶手段と、検証結果記憶手段に格納されている以前の検証結果にもとづいて複数の予測実行手段による予測結果から1つの予測結果を選択する予測結果選択手段とを備え、複数のサンプル選択手段は、それぞれ、サンプル情報記憶手段に格納されているサンプルから、対応する変化点検出手段が検出した変化点以降のサンプルのみを選択することを特徴とする。
本発明による他の態様の予測システムは、連続的な時系列データの過去の値をサンプルとして入力するサンプル入力手段と、サンプル入力手段が入力したサンプルを記憶するサンプル情報記憶手段と、サンプル変動傾向が変わる変化点を決定する変化点決定手段と、変化点決定手段が決定した変化点を区切りにして、変化点後における各サンプルにより高い重みがつくように、変化点前後における各サンプルに重みを設定する重み付け手段と、重み付け手段が重みを設定したサンプルを用いて予測を実行する予測実行手段とを備えたことを特徴とする。
本発明による予測方法は、連続的な時系列データの過去の値であるサンプルの変動傾向が変わる変化点以降のサンプルを選択するサンプル選択手段と、選択したサンプルを用いて予測を行う予測実行手段とを用いる予測方法であって、連続的な時系列データの過去の値をサンプルとして入力し、サンプル入力手段が入力したサンプルをサンプル情報記憶手段に記憶し、サンプル選択手段および予測実行手段は、それぞれ複数用意され、複数の予測実行手段が、複数のサンプル選択手段が選択したサンプルを用いて予測を実行し、複数のサンプル選択手段に対応して設けられた複数の変化点検出手段が、入力したサンプルからそれぞれ異なる方式で変動傾向が変わる変化点を検出し、複数の予測実行手段による予測結果を実際の値である予測時刻のサンプルと比較することによって検証を行い、検証結果を検証結果記憶手段に記憶し、検証結果記憶手段に格納されている以前の検証結果にもとづいて複数の予測実行手段による予測結果から1つの予測結果を選択し、複数のサンプル選択手段が、それぞれ、サンプル情報記憶手段に格納されているサンプルから、対応する変化点検出手段が検出した変化点以降のサンプルのみを選択することを特徴とする。
本発明による予測プログラムは、コンピュータに、連続的な時系列データの過去の値であるサンプルの変動傾向が変わる変化点以降のサンプルを選択する処理と、選択したサンプルを用いて予測を行う処理とを実行させるための予測プログラムであって、サンプルを選択する処理および予測を行う処理を実行する部分が、それぞれ複数用意され、コンピュータに、連続的な時系列データの過去の値をサンプルとして入力する処理と、入力したサンプルをサンプル情報記憶手段に記憶する処理と、予測を行う処理で、複数のサンプルを選択する処理で選択したサンプルを用いて予測を実行させ、複数のサンプルを選択する処理のそれぞれに対応して、入力したサンプルから異なる方式で変動傾向が変わる変化点を検出する処理とを実行させ、複数の予測を行う処理による予測結果を実際の値である予測時刻のサンプルと比較することによって検証を行わせ、検証結果を検証結果記憶手段に記憶する処理と、検証結果記憶手段に格納されている以前の検証結果にもとづいて複数の予測を行う処理の予測結果から1つの予測結果を選択する処理とを実行させ、複数のサンプル選択する処理で、それぞれ、サンプル情報記憶手段に格納されているサンプルから、対応する変化点を検出する処理で検出された変化点以降のサンプルのみを選択させることを特徴とする。
本発明によれば、過去の時系列データの変動傾向が現状の時系列データの変動傾向と明らかに異なる場合でも高精度な予測を行うことができる。その理由は、変動傾向が変わる変化点以前のノイズになる変動傾向の異なるサンプルの影響を除去したり軽減したりして変化点以降のサンプルで予測を行うからである。
以下、本発明の実施形態を図面を参照して説明する。
実施形態1.
図1は、本発明による予測システムの第1の実施形態(実施形態1)の構成を示すブロック図である。図1に示すように、第1の実施形態の予測システムは、連続的な時系列データの過去の値をサンプルとして入力するサンプル入力手段101と、サンプル入力手段101が入力したサンプルを記憶するサンプル情報記憶手段102と、サンプルの変動傾向が変わる変化点の時刻を入力する変化点入力手段103と、サンプル情報記憶手段102から変化点入力手段103が入力した変化点以降のサンプルのみを選択するサンプル選択手段104と、サンプル選択手段104が選択したサンプルを用いて予測を実行する予測実行手段105と、予測実行手段105による予測結果を出力する結果出力手段106とを備えている。
一例として、サンプル選択手段104および予測実行手段105は、予測システムを実現するコンピュータにおいて、プログラムに従って動作するCPUで実現される。また、サンプル情報記憶手段102は、例えば、コンピュータに内蔵された記憶装置またはコンピュータの外部に設置された記憶装置で実現される。サンプル入力手段101は、例えば、サンプルを出力する装置やシステムからサンプルを入力する装置と、その装置を制御するためのプログラムに従って動作するCPUとで実現される。サンプルを出力する装置やシステムが予測システムと通信手段を介して接続される場合には、受信装置で実現される。また、変化点入力手段103は、例えば、変化点に関する情報を出力する装置やシステムから変化点に関する情報を入力する装置、その装置を制御するためのプログラムに従って動作するCPUとで実現される。変化点に関する情報を出力する装置やシステムが予測システムと通信手段を介して接続される場合には、受信装置で実現される。
図2は、第1の実施形態の予測システムの動作を示す流れ図である。図1のブロック図と図2の流れ図とを参照して、第1の実施形態の動作を説明する。
図2に示すように、サンプル入力手段101は、連続的な時系列データの過去の値をサンプルとして入力し、サンプル情報記憶手段102に格納する(ステップS201)。
図3は、サンプル情報記憶手段102が格納するサンプル情報を記録するテーブルT300の構造を示す説明図である。図3において、時刻T301は、サンプルの時刻(発生時刻)を示す。値T302は、サンプルの値である。
次に、変化点入力手段103は、サンプルの変動傾向が変わる変化点の時刻(発生時刻)を入力する(ステップS202)。変化点は、サンプルそのものや、サンプルの元である時系列データが発生する環境から、人が変動傾向を判定することによって決定されたり、何らかのシステムが自動的に変動傾向を判定することによって決定される。
変化点の判定の仕方として、例えば以下のような方法が考えられる。
(1)サンプルの傾き平均が、ある点を境に一定以上異なる場合に、その点を変化点とする。例えば、時系列的に連続するn個のサンプルs(1),s(2),・・・,s(n)において、あるサンプルs(x)の傾きD(x)を{val(s(x+1))−val(s(x))}/{time(s(x+1))−time(s(x))}とする。s(x)はサンプルのラベルを示す。val(s(x))は、サンプルs(x)の値を示す。time(s(x))は、サンプルs(x)の時刻を示す。なお、xを直接時刻にしないのは、各サンプルの時刻が等間隔とは限らないからである。
さらに、m個のサンプルs(n),s(n+1),・・・,s(n+m−1)の傾き平均AveD(n,n+m−1)を{D(n)+D(n+1)+・・・+D(n+m−1)}/mとする。そして、n個のサンプルのうちのあるサンプルs(p)を境として、それぞれの傾き平均AveD(1,p)とAveD(p,n)との差が所定の閾値以上である場合に、サンプルs(p)の時刻time(s(p))が変化点の時刻であると判定する。
(2)サンプルの平均値が、ある点を境に一定以上異なる場合に、その点を変化点とする。例えば、時系列的に連続するn個のサンプルs(1),s(2),・・・,s(n)において、m個のサンプルs(x),s(x+1),・・・,s(x+m−1)の平均値AveV(x,x+m−1)を{val(s(x))+val(s(x+1)+・・・+val(s(x+m−1))}/mとする。val(s(x))は、サンプルs(x)の値を示す。
n個のサンプルのうちのあるサンプルs(p)を境にして、それぞれの平均値AveV(1,p)とAveV(p,n)との差が所定の閾値以上である場合に、サンプルs(p)の時刻time(s(p))が変化点の時刻であると判定する。なお、time(s(x))は、サンプルs(x)の時刻を表す。
(3)特定の時刻において時系列データの変動が変化することを知識として知っている場合に、その時刻を変化点と判定する。例えば、シンクライアントシステムのサーバ負荷等の時系列データの場合には、業務開始時刻で多くのクライアントが一斉に起動するので、その時刻において変動傾向が変わることを知識として知っている場合に、その時刻が変化点の時刻であると判定する。また、多くの業務システムの使用率は平日と土日とで異なるので、曜日の変わり目で変動傾向が変わることを知識として知っている場合に、その時刻が変化点の時刻であると判定する。
(4)時系列データが特定のパラメータの影響で変化することを知識として知っている場合に、そのパラメータの変動を検知したときを変化点の時刻であると判定する。例えば、複数のサーバを含むシステムの場合には、接続数によって負荷が変化するが、接続数による影響を知識として知っている場合に、接続数が所定の閾値以上に変化したら、その時点を変化点の時刻であると判定する。また、空調設備の場合には、外気温によって出力が変化するが、外気温による影響を知識として知っている場合に、外気温が所定の閾値以上になったら、その時点を変化点の時刻であると判定する。
なお、上記の(1)〜(4)の判定方法のうちの複数を組み合わせて用いてもよい。例えば、ある時間帯では変動傾向が変化しやすいことを知識として知っている場合に、その時間帯におけるサンプルの傾き平均による変化点判定の閾値を下げることなどが考えられる。
また、上記の(1)〜(4)の判定方法は例示であって、他の判定方法を用いてもよい。
また、変化点と判定される度に変化点を入力するのではなく、変化点入力手段103に代えて変化点記憶手段を備え、変化点記憶手段に変化点を事前に(予測処理を実行する前に)記憶しておいてもよい。
次に、サンプル選択手段104は、サンプル情報記憶手段102から、サンプル入力手段101から入力されたサンプルのうち変化点の時刻以降のサンプルを選択する(ステップS203)。そして、予測実行手段105は、選択したサンプルのみを用いて予測処理を行う(ステップS204)。予測方法として、上記の移動平均法や最小二乗法を用いることができるが、それら以外の予測方法を用いてもよい。
その後、結果出力手段106は、予測実行手段105による予測処理結果を出力する(ステップS205)。
第1の実施形態では、過去の時系列データの変動傾向が現状の時系列データの変動傾向と明らかに異なる場合でも、変動傾向が変わる変化点以前のノイズとなる変動傾向の異なるサンプルを用いずに、変化点以降のサンプルのみを用いて予測を行う。すなわち、変動傾向が異なるサンプルを用いずに予測を行う。従って、高精度な予測を行うことができる。
実施の形態2.
図4は、本発明による予測システムの第2の実施形態(実施形態2)の構成を示すブロック図である。図4に示すように、第2の実施形態の予測システムは、連続的な時系列データの過去の値をサンプルとして入力するサンプル入力手段401と、サンプル入力手段401が入力したサンプルを記憶するサンプル情報記憶手段402と、サンプル入力手段401が入力したサンプル(具体的には、サンプル情報記憶手段402に格納されたサンプル)から変動傾向が変わる変化点を検出する変化点検出手段403と、サンプル情報記憶手段402から変化点検出手段403が検出した変化点以降のサンプルのみを選択するサンプル選択手段404と、サンプル選択手段404が選択したサンプルを用いて予測を実行する予測実行手段405と、予測実行手段405による予測結果を出力する結果出力手段406とを備えている。
一例として、変化点検出手段403、サンプル選択手段404および予測実行手段105は、予測システムを実現するコンピュータにおいて、プログラムに従って動作するCPUで実現される。また、サンプル情報記憶手段402は、例えば、コンピュータに内蔵された記憶装置またはコンピュータの外部に設置された記憶装置で実現される。サンプル入力手段401は、例えば、サンプルを出力する装置やシステムからサンプルを入力する装置と、その装置を制御するためのプログラムに従って動作するCPUとで実現される。サンプルを出力する装置やシステムが予測システムと通信手段を介して接続される場合には、受信装置で実現される。
図5は、第2の実施形態の予測システムの動作を示す流れ図である。図4のブロック図と図5の流れ図を参照して、第2の実施形態の動作を説明する。
サンプル入力手段401は、連続的な時系列データの過去の値をサンプルとして入力し、サンプル情報記憶手段402に格納する(ステップS501)。サンプル情報記憶手段402が格納するサンプル情報の構造は、第1の実施形態におけるサンプル情報記憶手段102が格納するサンプル情報の構造と同様である。
次に、変化点検出手段403は、サンプル入力手段401が入力したサンプル(具体的には、サンプル情報記憶手段402に格納されたサンプルの情報)を解析して、サンプルの変動傾向が変わる変化点を検出する(ステップS502)。変化点の検出方法として、第1の実施形態で用いられたサンプルの傾き平均にもとづいて判定する方法、サンプルの平均値にもとづいて判定する方法、サンプルの時刻にもとづいて判定する方法等が考えられるが、それらの検出方法以外の検出方法を用いてもよい。
なお、複数の変化点を検出した場合には、時系列的に最も新しい変化点を選択してもよいし、例えば、サンプルの傾き平均から判定する場合に傾き平均の変化が最も大きい変化点を選択してもよい。ただし、それらの方法も一例であって、他の方法を用いてもよい。
次いで、サンプル選択手段404は、サンプル情報記憶手段402から、サンプル入力手段101から入力されたサンプルのうち、検出した変化点の時刻以降のサンプルを選択する(ステップS503)。なお、変化点が検出されない場合には、全てのサンプルを選択する。そして、予測実行手段405は、選択したサンプルのみを用いて予測処理を行う(ステップS504)。予測方法として、上記の移動平均法や最小二乗法を用いることができるが、それら以外の予測方法を用いてもよい。
その後、結果出力手段406は、予測実行手段405による予測処理結果を出力する(ステップS505)。
第2の実施形態では、第1の実施形態で得られる効果に加えて、予測システムが、入力したサンプルデータから変化点を検出するので、外部から変化点入力を行うことなく、変化点以降のサンプルのみを用いて予測を行うことができる。
実施形態3.
図6は、本発明による予測システムの第3の実施形態(実施形態3)の構成を示すブロック図である。図6に示すように、第3の実施形態の予測システムは、連続的な時系列データの過去の値をサンプルとして入力するサンプル入力手段601と、サンプル入力手段601が入力したサンプルを記憶するサンプル情報記憶手段602と、サンプル情報記憶手段602に格納されたサンプルからそれぞれ異なる方法を用いて変動傾向が変わる変化点を検出する複数の変化点検出手段603−1,603−2,・・・,603−nと、変化点検出手段603−1,603−2,・・・,603−nによって検出された変化点以降のサンプルのみを選択する複数のサンプル選択手段604−1,604−2,・・・,604−nと、サンプル選択手段604−1,604−2,・・・,604−nが選択したサンプルを用いて予測を実行する複数の予測実行手段605−1,605−2,・・・,605−nと、予測実行手段605−1,605−2,・・・,605−nによる予測結果を実際の値である予測時刻のサンプルと比較することによって検証を行う予測結果検証手段606と、予測結果検証手段606による検証結果を記憶する検証結果記憶手段607と、これまでの検証結果にもとづいて複数の予測結果から1つの予測結果を選択する予測結果選択手段608と、予測結果選択手段608が選択した予測結果を出力する結果出力手段609とを備えている。
一例として、変化点検出手段603−1,603−2,・・・,603−n、サンプル選択手段604−1,604−2,・・・,604−n、予測実行手段605−1,605−2,・・・,605−n、予測結果検証手段606および予測結果選択手段608は、予測システムを実現するコンピュータにおいて、プログラムに従って動作するCPUで実現される。また、サンプル情報記憶手段602および検証結果記憶手段607は、例えば、コンピュータに内蔵された記憶装置またはコンピュータの外部に設置された記憶装置で実現される。サンプル入力手段601は、例えば、サンプルを出力する装置やシステムからサンプルを入力する装置と、その装置を制御するためのプログラムに従って動作するCPUとで実現される。サンプルを出力する装置やシステムが予測システムと通信手段を介して接続される場合には、受信装置で実現される。
図7は、第3の実施形態の予測システムの動作を示す流れ図である。図6のブロック図と図7の流れ図を参照して、第3の実施形態の動作を説明する。
サンプル入力手段601は、連続的な時系列データの過去の値をサンプルとして入力し、サンプル情報記憶手段102に格納する(ステップS701)。サンプル情報記憶手段602が格納するサンプル情報の構造は、第1の実施形態におけるサンプル情報記憶手段102が格納するサンプル情報の構造と同様である。
次に、複数の変化点検出手段603−1,603−2,・・・,603−nは、サンプル情報記憶手段602に格納されたサンプル情報を、それぞれ、異なる方式で解析して、サンプルの変動傾向が変わる変化点を検出する(ステップS702)。変化点の検出方法として、第1の実施形態で用いられたサンプルの傾き平均にもとづいて判定する方法、サンプルの平均値にもとづいて判定する方法、サンプルの時刻にもとづいて判定する方法等が考えられるが、それらの検出方法以外の検出方法を用いてもよい。
また、同じ方法でも、判定のパラメータ例えばサンプルの傾き平均から判定する場合に、傾き平均の差分を判定するパラメータ等が異なっているときには、異なる方法であるとみなす。
次いで、複数のサンプル選択手段604−1,604−2,・・・,604−nは、それぞれ、サンプル情報記憶手段602から、サンプル入力手段601から入力されたサンプルのうち、変化点検出手段603−1,603−2,・・・,603−nが検出した変化点の時刻以降のサンプルを選択する(ステップS703)。サンプル選択手段604−1,604−2,・・・,604−nの動作は、第2の実施形態におけるサンプル選択手段404の動作と同様である。
次に、複数の予測実行手段605−1,605−2,・・・,605−nは、それぞれ、サンプル選択手段604−1,604−2,・・・,604−nが選択したサンプルのみを用いて予測処理を行う(ステップS704)。予測方法として、上記の移動平均法や最小二乗法を用いることができるが、それら以外の予測方法を用いてもよい。また、各予測実行手段605−1,605−2,・・・,605−nの各々が実行する予測方法が異なっていてもよい。
そして、予測結果検証手段606は、複数の予測実行手段605−1,605−2,・・・,605−nが出力した複数の予測結果を一時的に記憶し、予測時刻(予測された値に対応する将来の時刻)まで待機する(ステップS711)。予測時刻が到来したときには、サンプル情報記憶手段602には、予測時刻のデータの値がサンプルとして格納されている。
予測時刻が到来したときに、予測結果検証手段606は、一時的に記憶していた複数の予測結果と、サンプル情報記憶手段602に格納されている予測時刻のサンプルとを比較することによって検証する(ステップS712)。そして、予測結果検証手段606は、検証結果として、予測実行手段605−1,605−2,・・・,605−nのうち最も高精度に予測を行った予測実行手段すなわち予測時刻のサンプルの値に最も近い予測結果を出力した予測実行手段を特定する。予測実行手段を特定することによって、特定された予測実行手段にサンプルを出力したサンプル選択手段のサンプル選択の基準になった変化点を検出した変化点検出手段が特定されることになる。以下、特定された変化点検出手段を、「最も高精度に予測を行った予測実行手段に対応する変化点検出手段」という。
次に、図8および図9を参照して予測結果検証手段606の動作の一例を説明する。
図8は、予測結果検証手段606の内部の記憶状態の一例を示すテーブルT800の構造を示す説明図である。図8において、複数の列C801−1,C801−2,・・・,C801−nは、複数の予測実行手段605−1,605−2,・・・,605−nのそれぞれに対応している。複数の行R802−1,R802−2,・・・,R802−mは、1回前,2回前,・・・,m回前の検証結果のそれぞれに対応している。「1」は最も精度が高い予測結果を示し、「0」はそれ以外の検証結果を示す。
列C801−i(i:1〜n)と行R802−mとの交点がm回前の予測実行手段605−i(i:1〜n)の予測結果の検証結果になる。行R803には、1回前,2回前,・・・,m回前の検証結果の合計値が示されている。
図9は、予測結果検証手段606および予測結果選択手段608の動作の一例を示す流れ図である。図9に示す処理では、予測結果検証手段606によって、過去m回実行された予測処理において最も高精度に予測を行った予測実行手段が特定され、その結果、最も高精度に予測を行った予測実行手段に対応する変化点検出手段が特定される。
予測結果検証手段606は、まず、m−1回前の検証結果をm回前の検証結果に、m−2回前の検証結果をm−1回目の検証結果に、・・・、1回前の検証結果を2回前の検証結果にというように、検証結果を上書きして1つずつシフトする(ステップS901)。その結果、m回前の検証結果のみ破棄される。
次に、予測結果検証手段606は、一時的に記憶していた複数の予測結果と、サンプル情報記憶手段602に格納されている予測時刻のサンプルの値との差分の絶対値をそれぞれ算出する(ステップS902)。
次いで、複数の差分絶対値のうち最も小さい差分絶対値を判定し、その差分絶対値を算出するときの演算対象であった予測結果が、最も精度の高い予測結果であると判定する(ステップS903)。
さらに、テーブルT800において、最も精度の高い予測結果の1回前の検証結果を「1」にし、それ以外の予測結果の1回前の検証結果を「0」にする(ステップS904)。例えば、予測実行手段605−2の予測結果が最も高精度であった場合には、1回前の検証結果である行R802−1の予測実行手段605−2に関する列C801−2を、つまり図8における網点が施されている部分を「1」に、それ以外の1回前の検証結果である行R802−1を「0」にする。
次に、各予測実行手段毎に1回前,2回前,・・・,m回前の検証結果の合計値であるR803を再計算する(ステップS905)。最後に、合計値が最も大きい予測実行手段を、過去m回において最も高精度に予測を行った予測実行手段であると判定する(ステップS906)。
以上のようにして、予測結果検証手段606は、過去m回実行された予測処理において最も高精度に予測を行った予測実行手段を特定する。最も高精度に予測を行った予測実行手段を特定することは、実質的に、特定された予測実行手段にサンプルを出力したサンプル選択手段のサンプル選択の基準になった変化点を検出した変化点検出手段が特定されたことになる。
なお、図9に示された予測結果検証手段606の上記の処理の流れは一例であり、予測結果検証手段606の動作は、図9に示された処理に限定されない。例えば、予測結果検証手段606が予測結果を記憶して検証を行うまでの間に、再び時系列データの変動傾向が変化した場合、すなわち変化点検出手段603−1,603−2,・・・,603−nが変化点を検出した場合に、検証を行わないようにしてもよい。なぜなら、変動傾向が変化していることから、一般に予測の精度は低下しているので、そのような場合に検証を行っても、適切な検証になっていない可能性が高いからである。また、適切でない変化点を基に予測を行った予測結果の方がたまたま予測時刻の値に近くなり、最も高精度に予測を行ったと誤判定される場合もあるからである。
次に、予測結果検証手段606は、検証結果である最も高精度な予測を行えた変化点を検出した変化点検出手段を検証結果記憶手段607に記憶する(ステップS713)。
予測結果選択手段608は、予測結果検証手段606によるステップS711,ステップS712,ステップS713の処理と独立に並行して、検証結果記憶手段607に格納されたこれまでの検証結果(以前の検証結果)を基に、複数の予測実行手段605−1,605−2,・・・,605−nが出力した複数の予測結果から、過去に最も高精度に予測を行った予測実行手段の予測結果を選択する(ステップS721)。
なお、この予測結果選択を行う時点では、検証結果記憶手段607に格納された検証結果は、選択対象である予測結果を検証した結果ではなく、当該予測よりも前までに行われた予測の結果を検証した結果である。なぜなら、選択対象である予測結果を検証するには、ステップS711の処理のように、予測時刻まで待機し、実際の値を得る必要があるからである。
そして、最後に、結果出力手段609は、選択した予測処理結果を出力する(ステップS722)。
以上のようにして、複数の変化点検出手段が異なる方法で検出した複数の変化点のうち、最も高精度に予測を行なった実績を持つ変化点検出手段が検出した変化点を用いて予測を行うことができる。すなわち、第3の実施形態では、第2の実施形態で得られる効果に加えて、最も高精度に予測を行った実績を持つ変化点検出手段の検出した変化点を用いて予測を行うことによって、より高精度な予測を行うことができる。
実施形態4.
図11は、本発明による予測システムの第4の実施形態(実施形態4)の構成を示すブロック図である。図11に示すように、第4の実施形態の予測システムは、連続的な時系列データの過去の値をサンプルとして入力するサンプル入力手段1001と、サンプル入力手段1001が入力したサンプルを記憶するサンプル情報記憶手段1002と、サンプル入力手段1001が入力したサンプル(具体的には、サンプル情報記憶手段1002に格納されたサンプル)サンプルから変動傾向が変わる変化点を検出する変化点検出手段1003と、変化点検出手段1003が検出した変化点を区切りにして、変化点後における各サンプルにより高い重みがつくように、変化点前後における各サンプルに重みを設定する重み付け手段1004と、重み付け手段1004が重みを設定したサンプルを用いて予測を実行する重み付き予測実行手段1005と、予測実行手段1005による予測結果を出力する結果出力手段1006とを備えている。
一例として、変化点検出手段1003、重み付け手段1004および重み付き予測実行手段1005は、予測システムを実現するコンピュータにおいて、プログラムに従って動作するCPUで実現される。また、サンプル情報記憶手段1002は、例えば、コンピュータに内蔵された記憶装置またはコンピュータの外部に設置された記憶装置で実現される。サンプル入力手段1001は、例えば、サンプルを出力する装置やシステムからサンプルを入力する装置と、その装置を制御するためのプログラムに従って動作するCPUとで実現される。サンプルを出力する装置やシステムが予測システムと通信手段を介して接続される場合には、受信装置で実現される。
図11は、第4の実施形態の予測システムの動作を示す流れ図である。図10のブロック図と図11の流れ図を参照して、第4の実施形態の動作を説明する。
サンプル入力手段1001は、連続的な時系列データの過去の値をサンプルとして入力し、サンプル情報記憶手段1002に格納する(ステップS1101)。サンプル情報記憶手段1002が格納するサンプル情報の構造は、第1の実施形態におけるサンプル情報記憶手段102が格納するサンプル情報の構造と同様である。
次に、変化点検出手段1003は、サンプル入力手段1001が入力したサンプル(具体的には、サンプル情報記憶手段1002に格納されたサンプルの情報)を解析して、サンプルの変動傾向が変わる変化点を検出する(ステップS1102)。変化点検出手段1003の動作は、第2の実施形態における変化点検出手段403の動作と同様である。
次いで、重み付け手段1004は、検出した変化点を区切りに、サンプルに重みを設定する(ステップS1103)。重みは、予測を行う際に、サンプルが予測計算にどの程度影響を与えるかを示す値であり、0〜1の間で設定される。0は予測計算にまったく影響を与ない値であり、1は予測計算に100%影響を与える値である。また、重みの値については、サンプルの時刻が新しいほど重く設定する。なお、変化点以前に発生したサンプルに対する重みが変化点以降に発生したサンプルに対する重みよりも小さければ、変化点以前に発生した各サンプルに対する重みを同じにしたり、変化点以降に発生した各サンプルに対する重みを同じにしたりしてもよい。例えば、変化点が1つの場合には、変化点以降に発生したサンプル群をSa、変化点以前に発生したサンプル群をSbとする。そして、Saには1の重みを設定し、Sbは半分の0.5の重みを設定する。
なお、上記のような重みの付け方は重み付け設定の一例にすぎず、それに限定されるわけではない。また、変化点を複数検出した場合にも、変化点を区切りに、サンプルの時刻が新しいほど重く設定する。変化点が検出されない場合には、全てのサンプルに1の重みを設定する。
次に、重み付き予測実行手段1005は、重みを設定したサンプルを用いて予測を実行する(ステップS1104)。一例として、予測方式が移動平均法であり、変化点以降に発生したサンプル群がSaであり、変化点以前に発生したサンプル群がSbであり、Saのサンプル数がA個であり、Sbのサンプル数がB個であり、Saの重みが1であり、Sbの重みが0.5であるとする。すると、重み付き平均は、(ΣSa×1+ΣSb×0.5)/(A×1+B×0.5)になる。なお、このような予測の仕方は重み付き予測の一例であり、このような予測の仕方に限定されるわけではない。
そして、最後に、結果出力手段1006は、選択した予測処理結果を出力する(ステップS1105)。
以上のようにして、変化傾向が異なるサンプルの影響をさほど受けることなく予測を行うことができる。すなわち、第4の実施形態では、過去の時系列データの変動傾向が現状の時系列データの変動傾向と明らかに異なる場合に、そのサンプルの影響をさほど受けないようにしながら、過去のサンプル(変化点以前に発生したサンプル)を完全には切り捨てずに予測を行うことによって、ある程度大局的な変動を考慮しつつ、高精度な予測を行うことができる。
なお、本発明は以上の実施形態に限定されず、その他各種の付加変更が可能である。一例として、第3の実施形態と第4の実施形態とを組み合わせてもよい。
また、上記の各実施形態の予測システムにおける各構成要素は、コンピュータとプログラムとで実現可能であるが、ハードウェア的に実現することも可能である。コンピュータとプログラムとで実現する場合に、プログラムは、磁気ディスクや半導体メモリ等のコンピュータ可読記録媒体に記録されて提供され、コンピュータの立ち上げ時などにコンピュータに読み取られ、そのコンピュータの動作を制御することによって、そのコンピュータを上記の各実施形態における構成要素として機能させる。
図12は、本発明による予測システムの主要構成を示すブロック図である。図12に示すように、本発明による予測システムは、連続的な時系列データの過去の値であるサンプルの変動傾向が変わる変化点以降のサンプルを選択するサンプル選択手段1201と、サンプル選択手段1201が選択したサンプルを用いて予測を行う予測実行手段1202とを備えている。
図13は、本発明による予測方法の主要ステップを示す流れ図である。図13に示すように、本発明による予測方法は、連続的な時系列データの過去の値であるサンプルの変動傾向が変わる変化点以降のサンプルを選択し(ステップS1301)、選択したサンプルを用いて予測を行う(ステップS1302)ことを特徴とする。
次に、第2の実施形態の具体的な実施例を説明する。第2の実施形態によれば、過去のサンプルから予測を行う一般的な手法に比べて、以下のような効果が得られた。
第2の実施形態を用いて、サーバのCPU負荷という時系列データ45種類の予測を行った。変化点検出方法としてサンプルの傾き平均から判定する方法を用い、変化点以降のサンプルのみを選択し、移動平均法を用いて予測を行った。また、一般的な手法を用いるときに、サンプルを選択せず、全てのサンプルを使用して移動平均法を用いて予測を行った。
本発明による第2の実施形態を用いた場合には、予測誤差の平均は1.69であった。一般的な手法を用いた場合には、予測誤差の平均は1.55であった。第2の実施形態の方が、予測精度は約9%優れている([1.69÷1.55]の演算による。)。なお、予測誤差を、[(CPU負荷の予測値)−(CPU負荷の実際の値)]とした。
本発明は、連続的な時系列データの将来の値を予測する予測システムにおいて、時系列データの変動傾向が変わる状況でも、高精度に時系列データの予測を行うと用途に適用可能である。
本発明による予測システムの第1の実施形態の構成を示すブロック図である。 第1の実施形態の動作を示す流れ図である。 サンプル情報記憶手段が格納するサンプル情報の構造の一例を示す図である。 本発明による予測システムの第2の実施形態の構成を示すブロック図である。 第2の実施形態の動作を示す流れ図である。 本発明による予測システムの第3の実施形態の構成を示すブロック図である。 第3の実施形態の動作を示す流れ図である。 第3の実施形態における予測結果検証手段の内部の記憶状態の一例を示す説明図である。 第3の実施形態における予測結果検証手段の動作の一例を示す流れ図である。 本発明による予測システムの第4の実施形態の構成を示すブロック図である。 第4の実施形態の動作を示す流れ図である。 本発明による予測システムの主要構成を示すブロック図である。 本発明による予測方法の主要ステップを示す流れ図である。 予測方法の一例である移動平均法を説明するための説明図である。 予測方法の一例である最小二乗法を説明するための説明図である。 予測方法の一例における過去の変動傾向の影響を説明するための説明図である。
符号の説明
101,401,601,1001 サンプル入力手段
102,402,602,1002 サンプル情報記憶手段
103 変加点入力手段
403 変化点検出手段,1003
104,404 サンプル選択手段
105,405 予測実行手段
106,406,609,1006 結果出力手段
603−1,603−2,・・・,603−n 変化点検出手段
604−1,604−2,・・・,604−n サンプル選択手段
605−1,605−2,・・・,605−n 予測実行手段
606 予測結果検証手段
607 検証結果記憶手段
608 予測結果選択手段
1004 重み付け手段
1005 重み付き実行手段
1201 サンプル選択手段
1202 予測実行手段

Claims (5)

  1. 連続的な時系列データの過去の値をサンプルとして入力するサンプル入力手段と、
    前記サンプル入力手段が入力したサンプルを記憶するサンプル情報記憶手段と、
    連続的な時系列データの過去の値であるサンプルの変動傾向が変わる変化点以降のサンプルを選択する複数のサンプル選択手段と、
    前記複数のサンプル選択手段が選択したサンプルを用いて予測を行う複数の予測実行手段と、
    前記複数のサンプル選択手段に対応して設けられ、前記サンプル入力手段が入力したサンプルからそれぞれ異なる方式で変動傾向が変わる変化点を検出する複数の変化点検出手段と、
    前記複数の予測実行手段による予測結果を実際の値である予測時刻のサンプルと比較することによって検証を行う予測結果検証手段と、
    前記予測結果検証手段による検証結果を記憶する検証結果記憶手段と、
    前記検証結果記憶手段に格納されている以前の検証結果にもとづいて前記複数の予測実行手段による予測結果から1つの予測結果を選択する予測結果選択手段とを備え、
    前記複数のサンプル選択手段は、それぞれ、前記サンプル情報記憶手段に格納されているサンプルから、対応する前記変化点検出手段が検出した変化点以降のサンプルのみを選択する
    ことを特徴とする予測システム。
  2. 連続的な時系列データの過去の値をサンプルとして入力するサンプル入力手段と、
    前記サンプル入力手段が入力したサンプルを記憶するサンプル情報記憶手段と、
    前記サンプル入力手段が入力したサンプルから変動傾向が変わる変化点を検出する複数の変化点検出手段と、
    前記複数の変化点検出手段のそれぞれに対応して設けられ、前記サンプル情報記憶手段に格納されているサンプルから、対応する前記変化点検出手段が検出した変化点以降のサンプルのみを選択する複数のサンプル選択手段と、
    前記複数のサンプル選択手段が選択したサンプルを用いて予測を実行する複数の予測実行手段と、
    前記複数の予測実行手段による予測結果から1つの予測結果を選択する予測結果選択手段とを備えた
    ことを特徴とする予測システム。
  3. 予測実行手段による予測結果を出力する結果出力手段を備えた
    請求項1または請求項に記載の予測システム。
  4. 連続的な時系列データの過去の値であるサンプルの変動傾向が変わる変化点以降のサンプルを選択するサンプル選択手段と、選択したサンプルを用いて予測を行う予測実行手段とを用いる予測方法であって、
    連続的な時系列データの過去の値をサンプルとして入力し、
    前記サンプル入力手段が入力したサンプルをサンプル情報記憶手段に記憶し、
    前記サンプル選択手段および前記予測実行手段は、それぞれ複数用意され、
    複数の前記予測実行手段が、複数の前記サンプル選択手段が選択したサンプルを用いて予測を実行し、
    前記複数のサンプル選択手段に対応して設けられた複数の変化点検出手段が、入力したサンプルからそれぞれ異なる方式で変動傾向が変わる変化点を検出し、
    前記複数の予測実行手段による予測結果を実際の値である予測時刻のサンプルと比較することによって検証を行い、
    検証結果を検証結果記憶手段に記憶し、
    前記検証結果記憶手段に格納されている以前の検証結果にもとづいて前記複数の予測実行手段による予測結果から1つの予測結果を選択し、
    前記複数のサンプル選択手段が、それぞれ、前記サンプル情報記憶手段に格納されているサンプルから、対応する前記変化点検出手段が検出した変化点以降のサンプルのみを選択する
    ことを特徴とする予測方法。
  5. コンピュータに、連続的な時系列データの過去の値であるサンプルの変動傾向が変わる変化点以降のサンプルを選択する処理と、選択したサンプルを用いて予測を行う処理とを実行させるための予測プログラムであって、
    サンプルを選択する処理および予測を行う処理を実行する部分が、それぞれ複数用意され、
    コンピュータに、
    連続的な時系列データの過去の値をサンプルとして入力する処理と、
    入力したサンプルをサンプル情報記憶手段に記憶する処理と、
    前記予測を行う処理で、複数の前記サンプルを選択する処理で選択したサンプルを用いて予測を実行させ、
    前記複数のサンプルを選択する処理のそれぞれに対応して、入力したサンプルから異なる方式で変動傾向が変わる変化点を検出する処理とを実行させ、
    複数の前記予測を行う処理による予測結果を実際の値である予測時刻のサンプルと比較することによって検証を行わせ、
    検証結果を検証結果記憶手段に記憶する処理と、
    前記検証結果記憶手段に格納されている以前の検証結果にもとづいて前記複数の予測を行う処理の予測結果から1つの予測結果を選択する処理とを実行させ、
    前記複数のサンプル選択する処理で、それぞれ、前記サンプル情報記憶手段に格納されているサンプルから、対応する前記変化点を検出する処理で検出された変化点以降のサンプルのみを選択させる
    ための予測プログラム。
JP2008280175A 2008-10-30 2008-10-30 予測システム、予測方法および予測プログラム Active JP5320985B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008280175A JP5320985B2 (ja) 2008-10-30 2008-10-30 予測システム、予測方法および予測プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008280175A JP5320985B2 (ja) 2008-10-30 2008-10-30 予測システム、予測方法および予測プログラム

Publications (2)

Publication Number Publication Date
JP2010108283A JP2010108283A (ja) 2010-05-13
JP5320985B2 true JP5320985B2 (ja) 2013-10-23

Family

ID=42297667

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008280175A Active JP5320985B2 (ja) 2008-10-30 2008-10-30 予測システム、予測方法および予測プログラム

Country Status (1)

Country Link
JP (1) JP5320985B2 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6052043B2 (ja) * 2013-04-26 2016-12-27 富士通株式会社 消費電力予測プログラム、消費電力予測方法及び消費電力予測装置
CN104361407B (zh) * 2014-11-03 2018-12-21 河南理工大学 数据重组短时交通流预测方法
JP6502062B2 (ja) * 2014-11-04 2019-04-17 Kddi株式会社 通信品質予測装置及び通信品質予測プログラム
WO2016151637A1 (ja) * 2015-03-26 2016-09-29 日本電気株式会社 学習モデル生成システム、方法およびプログラム
JP6834773B2 (ja) * 2017-05-22 2021-02-24 富士通株式会社 管理装置、データセンタ管理プログラム、データセンタ管理方法及びデータセンタシステム
JP7127426B2 (ja) * 2018-08-24 2022-08-30 日本電信電話株式会社 制御装置及び制御方法
JP7288189B2 (ja) * 2019-05-29 2023-06-07 富士通株式会社 ジョブ電力予測プログラム、ジョブ電力予測方法、およびジョブ電力予測装置
JP6902636B1 (ja) * 2020-01-28 2021-07-14 株式会社電通 予測装置、予測方法、及び予測プログラム
WO2023242926A1 (ja) * 2022-06-13 2023-12-21 日本電信電話株式会社 学習管理装置、学習管理方法、及びプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3177327B2 (ja) * 1993-02-01 2001-06-18 株式会社日立製作所 計量経済モデルシミュレーションシステム
JPH09146915A (ja) * 1995-11-20 1997-06-06 Meidensha Corp カオス時系列短期予測装置
JPH11175503A (ja) * 1997-12-16 1999-07-02 Meidensha Corp 時系列データ予測装置
JP3821225B2 (ja) * 2002-07-17 2006-09-13 日本電気株式会社 時系列データに対する自己回帰モデル学習装置並びにそれを用いた外れ値および変化点の検出装置
JP2004355200A (ja) * 2003-05-28 2004-12-16 Nippon Telegr & Teleph Corp <Ntt> 時系列予測式修正方法および装置

Also Published As

Publication number Publication date
JP2010108283A (ja) 2010-05-13

Similar Documents

Publication Publication Date Title
JP5320985B2 (ja) 予測システム、予測方法および予測プログラム
JP2018124937A (ja) 異常検出装置、異常検出方法およびプログラム
JP6718500B2 (ja) 生産システムにおける出力効率の最適化
JP6521096B2 (ja) 表示方法、表示装置、および、プログラム
KR102038703B1 (ko) 동적 전이 앙상블 모형을 통한 실시간 다변량 시계열 예측방법 및 그 시스템
KR101828215B1 (ko) Long Short Term Memory 기반 순환형 상태 전이 모델의 학습 방법 및 장치
WO2020066052A1 (ja) 監視システム及び監視方法
EP2733672A1 (en) Information processing apparatus, control method, program, and recording medium
JP6711323B2 (ja) プロセスの異常状態診断方法および異常状態診断装置
CN110858062B (zh) 目标优化参数的获取方法及模型训练方法、装置
JP2020052714A5 (ja)
JP6947108B2 (ja) データ予測装置、方法、及びプログラム
JP2020187417A (ja) 物性予測装置及び物性予測方法
JPWO2020136859A1 (ja) 推定装置、推定方法、及びプログラム
JPWO2016151620A1 (ja) シミュレートシステム、シミュレート方法およびシミュレート用プログラム
US20220101186A1 (en) Machine-learning model retraining detection
KR20220122484A (ko) 설명 가능한 프로세스 예측
JP5749041B2 (ja) アクティブフィードバック制御装置及びプログラム
JP2007164346A (ja) 決定木変更方法、異常性判定方法およびプログラム
JP2006011572A (ja) 交通情報予測関数学習装置、交通情報予測装置、交通情報変動法則獲得装置及びその方法
KR20200051343A (ko) 시계열 데이터 예측 모델 평가 방법 및 장치
JP7363889B2 (ja) 学習装置、学習方法、コンピュータプログラム及び記録媒体
US20210004717A1 (en) Learning method and recording medium
JP7139723B2 (ja) 選定プログラム、選定方法および選定装置
US20230152759A1 (en) Information processing apparatus, information processing method, and computer program product

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110908

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121211

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130207

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130305

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130522

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20130529

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130618

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130701

R150 Certificate of patent or registration of utility model

Ref document number: 5320985

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150