JP4995750B2 - Web検索装置、Web検索方法、プログラムおよび記録媒体 - Google Patents

Web検索装置、Web検索方法、プログラムおよび記録媒体 Download PDF

Info

Publication number
JP4995750B2
JP4995750B2 JP2008026334A JP2008026334A JP4995750B2 JP 4995750 B2 JP4995750 B2 JP 4995750B2 JP 2008026334 A JP2008026334 A JP 2008026334A JP 2008026334 A JP2008026334 A JP 2008026334A JP 4995750 B2 JP4995750 B2 JP 4995750B2
Authority
JP
Japan
Prior art keywords
activity
objects
query
web search
cluster
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008026334A
Other languages
English (en)
Other versions
JP2009187268A (ja
Inventor
卓也 前川
豊 柳沢
保志 櫻井
剛 岡留
泰恵 岸野
剛次 亀井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2008026334A priority Critical patent/JP4995750B2/ja
Publication of JP2009187268A publication Critical patent/JP2009187268A/ja
Application granted granted Critical
Publication of JP4995750B2 publication Critical patent/JP4995750B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、例えばカップや歯ブラシといった複数の物体の各々に装着されたセンサノードからセンサデータを受信し、ユーザの行動(物体の使用状況)に応じてWeb検索要求であるサブクエリを生成するWeb検索装置、Web検索方法、プログラムおよび記録媒体に関するものである。
センサノードなどから得られたセンサデータに基づいてユーザの状況を検知し、検知した状況に応じてユーザに提供されるサービスを、状況依存サービスという。多くの状況依存サービスは、ルールベースシステムにより実現される。つまり、このシステムは、ある条件を満たせば、あらかじめ用意したサービスを提供するといったルールをルールベースに定義しておくことで、状況に合わせたサービスを提供するものである。このようなシステムでは、条件にセンサの出力信号やセンサデータを用いたADL(Activity of Daily Living:ユーザの日常行動)の推定結果が用いられることが多い。
例えば非特許文献1では、ECA(Event,Condition,Action)ルールを用いたシステムが開示されており、人が部屋に入ったことがセンサにより検知されれば部屋の照明やエアコンを自動的に調整するアプリケーションなどが紹介されている。しかし、多くの場合、ADLの推定にはその環境における教師信号を必要とするため、ユーザにかかる負担が大きい。さらに、このようなサービスは、状況(ADL)ごとに人手によって作成されるルールを必要とする。
一方、状況に対応したWebページを検索する研究としては、クエリフリーサーチがある。非特許文献2に開示された技術では、ニュース番組の字幕(クローズドキャプション)に含まれる単語から重要と考えられる単語を抽出し、抽出した単語から検索エンジンに送信するクエリを作成する。そして、検索エンジンからそのニュースに関連するWebページを取得するようにしている。
T.Terada,M.Tsukamoto,K.Hayakawa,T.Yoshihisa,Y.Kishino,A.Kashitani,and S.Nishio,"Ubiquitous Chip:a Rule-based I/O Control Device for Ubiquitous Computing",Proc.Pervasive 2004,pp.238-253,2004 M.Henzinger,B.W.Chang,B.Milch,and S.Brin,"Query-Free News Search",Proc.WWW2003,pp.1-10,2003
以上のように、従来の状況依存サービスでは、状況の推定や、推定結果を利用したルールの作成が必要となる。推定結果を利用したルールとは、例えばお茶を入れているという状況が推定されたときにお茶の効能に関する情報を出すといったような、状況ごとに人手によって作成されるルールである。一方、クエリフリーサーチの研究では、ニュース番組の字幕から単語を抽出することで、状況に合わせたサービス(Webページ)を自動的にユーザに提示する。しかし、このクエリフリーサーチは、実世界においてユーザが行っている行動に関係するWebページを検索する技術ではない。このように、ユーザの行動に関係するWebページを検索する技術は、従来実現されていなかった。
ユーザの行動に関係するWebページを検索する方法としては、物体に装着したセンサノードから得られたセンサデータを用いてWebページを検索する方法が考えられる。しかし、センサデータを用いてWebページを検索するには問題がある。その理由は、ユーザの行動に直接関係のない物が使われる(動かされる)ことがあるためである。
例えば、ユーザが紅茶をいれるために茶葉や砂糖などを棚から取り出すときに、この取り出しとは直接関係ないが、一緒に棚に入っているココアや緑茶葉の容器を動かすことは日常生活では当たり前に起こる。また、1つの部屋に複数のユーザが居て、それぞれのユーザが異なる行動をしているとき(例えば1人は歯ブラシで歯を磨き、別の1人が電気カミソリで髭を剃っている等)、各ユーザが使っている物は同じようなタイミングで動かされるため、センサデータを用いてWebページを検索しようとすると混乱が起こる。
本発明は、上記課題を解決するためになされたもので、ユーザの行動(物体の使用状況)に関係するWebページを検索することができるWeb検索装置、Web検索方法、プログラムおよび記録媒体を提供することを目的とする。
本発明は、複数の物体の各々に装着されたセンサノードからセンサデータを受信し、各物体の使用状況に応じてWeb検索要求であるサブクエリを生成するWeb検索装置において、前記センサノードから受信したセンサデータに基づいて、各物体が使用された時間範囲であるアクティビティを検出するアクティビティ検出手段と、前記アクティビティが検出された複数の物体について使用状況の類似度を表す指標であるDosを計算するDos計算手段と、前記Dosに基づいて、前記アクティビティが検出された複数の物体をクラスタに分類するクラスタ解析手段と、このクラスタ解析手段が求めたクラスタから、前記アクティビティが検出された複数の物体のうち所定時間以下しか使用されていない物体のみを含むクラスタを削除して残りのクラスタを出力するフィルタ手段と、このフィルタ手段から出力されたクラスタに所属する物体の名前をキーワードとして含むサブクエリを作成するクエリ作成手段とを備え、前記Dos計算手段は、前記アクティビティが検出された複数の物体について、これらの物体が近い時刻で使用されたかどうかの程度を表す指標Tempを計算し、前記アクティビティが検出された複数の物体が同時に使われていたかどうかの程度を表す指標Histを、過去のアクティビティのデータから計算し、前記アクティビティが検出された複数の物体が意味的に近いかどうかの程度を表す指標Semを、検索エンジンによる検索結果から計算し、前記TempとHistとSemとの積を前記Dosとすることを特徴とするものである。
また、本発明のWeb検索装置の1構成例において、前記クエリ作成手段は、前記フィルタ手段から出力されたクラスタから、物体の名前と物体の重要度とからなるクエリベクトルを作成し、このクエリベクトルとの類似度が最も高い過去のクエリベクトルを用いて前記クエリベクトルを拡張し、拡張したクエリベクトルから複数の前記サブクエリを作成し、このサブクエリにあらかじめ用意された用語を組み合わせて前記サブクエリを拡張するものである。
また、本発明のWeb検索装置の1構成例は、さらに、前記サブクエリに応じて検索されたWebページと前記クラスタとの類似度を求めることにより、前記検索されたWebページを順位付けし直し、最上位のWebページを最終的な検索結果とするリランク手段を備えるものである。
また、本発明は、CPUとメモリとを備えたコンピュータからなるWeb検索装置において、前記メモリに格納されたプログラムに従って前記CPUが、アクティビティ検出手段とDos計算手段とクラスタ解析手段とフィルタ手段とクエリ作成手段として機能し、複数の物体の各々に装着されたセンサノードからセンサデータを受信し、各物体の使用状況に応じてWeb検索要求であるサブクエリを生成するWeb検索方法であって、前記アクティビティ検出手段が、前記センサノードから受信したセンサデータに基づいて、各物体が使用された時間範囲であるアクティビティを検出するアクティビティ検出ステップと、前記Dos計算手段が、前記アクティビティが検出された複数の物体について使用状況の類似度を表す指標であるDosを計算するDos計算ステップと、前記クラスタ解析手段が、前記Dosに基づいて、前記アクティビティが検出された複数の物体をクラスタに分類するクラスタ解析ステップと、前記フィルタ手段が、前記クラスタ解析手段が求めたクラスタから、前記アクティビティが検出された複数の物体のうち所定時間以下しか使用されていない物体のみを含むクラスタを削除して残りのクラスタを出力するフィルタステップと、前記クエリ作成手段が、前記フィルタステップで得られたクラスタに所属する物体の名前をキーワードとして含むサブクエリを作成するクエリ作成ステップとを備え、前記Dos計算ステップは、前記アクティビティが検出された複数の物体について、これらの物体が近い時刻で使用されたかどうかの程度を表す指標Tempを計算するステップと、前記アクティビティが検出された複数の物体が同時に使われていたかどうかの程度を表す指標Histを、過去のアクティビティのデータから計算するステップと、前記アクティビティが検出された複数の物体が意味的に近いかどうかの程度を表す指標Semを、検索エンジンによる検索結果から計算するステップと、前記TempとHistとSemとの積を前記Dosとするステップとを含むことを特徴とするものである。
また、本発明のWeb検索方法の1構成例において、前記クエリ作成ステップは、前記フィルタステップで得られたクラスタから、物体の名前と物体の重要度とからなるクエリベクトルを作成するステップと、このクエリベクトルとの類似度が最も高い過去のクエリベクトルを用いて前記クエリベクトルを拡張するステップと、拡張したクエリベクトルから複数の前記サブクエリを作成するステップと、このサブクエリにあらかじめ用意された用語を組み合わせて前記サブクエリを拡張するステップとを含むものである。
また、本発明のWeb検索方法の1構成例は、さらに、前記メモリに格納されたプログラムに従って前記CPUが、リランク手段として機能し、前記リランク手段が、前記サブクエリに応じて検索されたWebページと前記クラスタとの類似度を求めることにより、前記検索されたWebページを順位付けし直し、最上位のWebページを最終的な検索結果とするリランクステップを備えるものである。
また、本発明のWeb検索プログラムは、Web検索方法の各ステップをコンピュータに実行させるようにしたものである。
また、本発明の記録媒体は、Web検索プログラムを記録したことを特徴とするものである。
本発明によれば、環境中に存在する様々な物体に装着されたセンサノードのセンサデータから複数の物体の使用状況の類似度を表す指標であるDosを計算し、Dosに基づいて複数の物体をクラスタに分類し、このクラスタに所属する物体の名前をキーワードとして含むサブクエリを作成するようにしたので、ユーザの行動(物体の使用状況)に関係するWebページを検索することができる。この結果、本発明では、ユーザが行っている行動に関する有用な情報を含むWebページを自動的に取得してユーザに提示することができる。
また、本発明では、さらにリランク部を設けることにより、サブクエリに応じて検索されたWebページとクラスタとの類似度に基づいて、検索されたWebページを順位付けし直すことができるので、ユーザの行動(物体の使用状況)に関連性の高いWebページをユーザに提示することができる。
[第1の実施の形態]
以下、本発明の実施の形態について図面を参照して説明する。本実施の形態は、カップや歯ブラシといった複数の物体の各々に装着したセンサノードから取得した加速度の信号を用いて、ユーザの行動に関係するWebページを検索する技術に関するものである。ここで、ユーザが行っている行動とは、センサノードが装着された物体を使った行動であり、例えば、カップと茶葉の入った茶筒と急須とを使ってお茶を入れる行為に該当する。また、検索されるWebページは、そのような行動に関係するものであり、例えばお茶を入れる行動に関係するWebページとしては、お茶のおいしい入れ方や、茶の効能に関するページなどがある。
本実施の形態の想定している環境では、室内のさまざまな物体に汎用的なセンサノードが装着されており、それらのセンサノードがセンサデータとして加速度のデータを常時取得している。そして、得られたn(nは正の整数)分間のセンサデータを用いてWebページ検索のための検索要求であるサブクエリを作成する。例えば、3分間のセンサデータを用いるとすると、3分ごとに過去3分間のセンサデータを用いてサブクエリを作成する。
また、本実施の形態では、各センサノードは、そのノードが装着されている物体の名前を持つと想定している。例えば、カップに装着されたセンサノードは、カップという名前を持っている。そして、n分間において一緒に使用された物体の名前からサブクエリを作成する。例えば、緑茶の茶筒と急須とがn分の間に一緒に使われた場合には、これらの物体の名前をキーワードとして含むサブクエリ、すなわち“緑茶 急須”といったサブクエリを作成する。そして、そのサブクエリを検索エンジンに送信し、返ってきたWebページの中から、ユーザの行動に相応しいものをユーザに提示する。
図1は本発明の第1の実施の形態に係るWeb検索システムの構成を示すブロック図である。Web検索システムは、Web検索装置1と、図示しない物体に装着されたセンサノード2とから構成される。なお、図1では、センサノード2を1つだけ記載しているが、対象となる環境中(例えば室内)にある複数の物体にそれぞれセンサノード2が装着されているものとする。
Web検索装置1は、アクティビティ検出部3と、物体解析部4と、Web検索部5とを有する。物体解析部4は、Dos計算部40と、クラスタ解析部41と、フィルタ部42とから構成され、Web検索部5は、クエリ作成部50と、検索部51と、リランク部52とから構成される。
Web検索装置1は、n分ごとに現時点から過去n分間のアクティビティをセンサノード2ごとに求め、求めたアクティビティを用いてWeb検索を行う。アクティビティを用いてWeb検索を行うには、まず、環境中に存在する複数の物体のうち過去n分間において一緒に使用された物体からなるクラスタ(部分集合)を求める。そして、求めたクラスタごとにクラスタに含まれる物体の名前を用いてWebを検索し、クラスタに対応するWebページを求める。したがって、クラスタごとに1つのWebページが得られる。なお、本実施の形態では、n=3とした。
図2はWeb検索システムの動作を示すフローチャートである。以下、図2を用いてWeb検索システムの動作を説明する。
まず、Web検索装置1のアクティビティ検出部3は、各センサノード2からセンサデータをn分間収集し(図2ステップS1)、センサノード2ごとに過去n分間のアクティビティを検出する(ステップS2)。本実施の形態におけるアクティビティとは、センサデータ(加速度データ)が大きく変化している時間範囲のことである。この時間範囲を、物体が動いている時間(物体が使用されている時間)とする。
本実施の形態では、センサノード2として3軸(x,y,z)加速度センサを用いている。このため、アクティビティ検出部3は、それぞれの軸のセンサデータから軸ごとにアクティビティを検出し、検出した各アクティビティの和集合の区間を、そのセンサノード2が装着されている物体が使用された区間とする。
信号処理の分野では、アクティビティの検出に学習を用いることが多い。例えば参考文献1「J.Sohn,N.S.Kim,and W.Sung,“A statistical model-based voice activity detection”,IEEE Signal Processing Letters,6,pp.1-3,1999」では、あらかじめアクティビティ区間と雑音区間(アクティビティ以外の区間)のフーリエ成分をGMM(Gaussian Mixture Model)により学習することでアクティビティを検出している。本実施の形態でも、参考文献1と同様の手法を用いてアクティビティを検出する。
ここで、本実施の形態では、物体が使用されている時間とその物体の名前とを用いてWebページの検索を実現する。したがって、物体が使用されている時間を検出できるセンサノード2であれば、加速度センサでなくとも、センサノード2の出力をそのまま、もしくは少しの改変で本実施の形態のWeb検索手法に適用できる。
例えば、参考文献2「M.Perkowitz,M.Philipose,D.Patterson,and K.Fishkin,“Mining models of human activities from the web”,Proc.WWW2004,pp.573-582,2004」に開示されたシステムでは、物体に装着したRFID(Radio Frequency Identification)タグと、ユーザが装着したRFIDリーダを用いて物体の利用を検出している。RFIDタグは価格面で非常に利点があり、将来、商品情報(物体の名前も含む)などを記録したタグが出荷時に物体に埋め込まれることも十分考えられる。
また、接触センサにより、物体と人との接触を検知できれば、同様にアクティビティを検出できると考えられる。もちろん、2軸加速度センサや傾きセンサといったものをセンサノード2として用いても、アクティビティの検出は十分実現可能である。
次に、物体解析部4の動作について説明する。物体解析部4は、前述の従来の問題点を解決するために、物体をその使用状況ごとにクラスタ(部分集合)に分類する。図1に示すように、物体解析部4は、Dos計算部40とクラスタ解析部41とフィルタ部42の3つの構成要素からなる。ここで、2つの物体の使用状況の類似度を示す指標を、以下ではDos(Degree Of being used in Same ADL)と呼ぶ、物体間のDosが大きい場合は、その2つの物体同士が一緒に使用された可能性が高いとする。
物体解析部4のDos計算部40は、アクティビティ検出部3で検出されたアクティビティ区間において、この区間で使用された物体間のDosを計算し(図2ステップS3)、クラスタ解析部41は、このDosに従って物体をクラスタに分類する(ステップS4)。そして、フィルタ部42は、クラスタ解析部41が求めたクラスタのうち、アクティビティ検出部3で検出されたアクティビティ区間において短時間しか使用されていない物体のみを含むクラスタを削除する(ステップS5)。
以下、物体解析部4の各構成要素の動作をより詳細に説明する。図4はDos計算部40の動作を示すフローチャートである。Dos計算部40は、主にTemp(X,Y,t)、Hist(X,Y)、Sem(X,Y)の3つの指標を基に物体XとYのDosを計算する。
Temp(X,Y,t)は、時区間t(n分間の時間)において、物体XとYが近い時刻で使用されたかどうかの程度を表す指標である。指標Temp(X,Y,t)の計算には、アクティビティ検出部3で検出された、時区間tにおけるアクティビティを用いる。指標Temp(X,Y,t)は、近い時刻で使用された物体はユーザの同じ行動によって一緒に使われている可能性が高いという考えを基にしている。
Hist(X,Y)は、過去のアクティビティのデータセットにおいて、物体XとYが同時に使われていたかどうかの程度を表す指標である。指標Hist(X,Y)の計算のために、ある程度の期間の過去のデータセットをあらかじめ用意しておく。指標Hist(X,Y)は、ユーザの過去の行動において一緒に使われた物体は同じADLに使用される可能性が高いという考えを基にしている。
Sem(X,Y)は、物体XとYが意味的に近いかどうかの程度を表す指標である。指標Sem(X,Y)の計算には、検索エンジンのヒット数を用いて計算した物体XとYの共起を用いる。指標Sem(X,Y)は、実世界において一緒に使用される物体は実世界を反映したWWW(World Wide Web)の文書中でも共起して現れるという考えを基にしている。
物体XとYのDos(X,Y,t)は、指標Temp(X,Y,t)とHist(X,Y)とSem(X,Y)との積で表される。以下、この3つの指標について詳しく説明する。
[Temp(X,Y,t)]
指標Temp(X,Y,t)の計算方法を説明する前に、用語を図3を用いて説明する。図3において、xiは物体Xのアクティビティ区間を表し、yjは物体Yのアクティビティ区間を表す。d(xi,yj)はアクティビティ区間xiとyjの時間軸上の距離を表す。距離d(xi,yj)が大きくなれば、指標Temp(X,Y,t)は小さくなる。このような考えを基に、忘却係数の概念を利用して指標Temp(X,Y,t)を下記のように計算する。
Figure 0004995750
λ1が忘却係数で、λ1が小さいほど過去の値の影響が小さくなる。本実施の形態では、忘却係数λ1として0.99を用いた。忘却係数λ1は、学習や信号処理に用いられることが多く、例えば学習では近い過去のトレーニングデータに重みをおいてモデルの作成を行う。また、時区間tにおいて、物体XにN個のアクティビティxi(i=1,・・・,N)が観測され、物体YにM個のアクティビティyj(i=1,・・・,M)が観測されたとする。
w(xi)はアクティビティxiの重みを示す。|xi|はアクティビティxiの長さである。また、あらかじめ十分な長さの時間において観測されたアクティビティxk(k=1,・・・,i−1)を得ているとする。つまり、重みw(xi)は、アクティビティxiの長さが過去に得られた物体Xのアクティビティの長さの平均と比べてどの程度大きいかを表す。アクティビティyjの重みw(yj)の意味も同様である。重みw(xi),w(yj)を用いることにより、普段の利用に比べて短時間の利用(例えば、ちょっと触れた程度の動きなど)の重みを抑制できる。以上から、指標Temp(X,Y,t)は、時区間tにおける、物体XとYのアクティビティ間の時間的な距離と、過去のデータから求めたアクティビティの重みを考慮した指標といえる。
[Hist(X,Y)]
次に、指標Hist(X,Y)の計算方法について説明する。ここでは、Web検索システムのアクティビティ検出の対象となる室内環境中でp日分(T1,・・・,Tp)の間に存在した全ての物体のアクティビティがあらかじめ取得され、Dos計算部40が記憶しているものとする。この過去のアクティビティのデータにより、指標Hist(X,Y)は下記の式で表される。
Figure 0004995750
h(X,Y)は、ある日T1から別の日Tpまでのp日間において物体Yが、環境中に存在した全ての物体と比べてどの程度物体Xと一緒に使われたかを表す。ここでも、忘却係数λ2を用いることで、近い過去を重視している。本実施の形態では、忘却係数λ2として0.99を用いた。Dos計算部40は、全ての物体間の指標Histを日が変わるごとに計算してあらかじめ保持しておく。
[Sem(X,Y)]
次に、指標Sem(X,Y)の計算方法について説明する。指標Sem(X,Y)は、語彙の関連性を測るのによく使われるシンプソン(Simpson)係数を用いて下記のように表される。
Figure 0004995750
Hit(X)は、「X」というキーワードを検索エンジンに送信したときにWWWの文書中に出現したヒット数である。また、Hit(X∩Y)は、「X」と「Y」というキーワードがWWWの文書中に同時に出現したヒット数である。さらに、min(Hit(X),Hit(Y))はヒット数Hit(X)とHit(Y)のうち小さい方を採用することを意味する。ヒット数の導出は、後述する検索部51を通じて検索エンジンにキーワードを送信すればよい。
以上のように、Dos計算部40は、時区間t(n分間の時間)において、アクティビティ検出部3によりアクティビティが検出された物体XとYについて、式(1)〜式(3)を用いて指標Temp(X,Y,t)を計算する(図4ステップS10)。また、Dos計算部40は、過去のアクティビティのデータセットから、式(4)〜式(6)を用いて指標Hist(X,Y)を計算する(ステップS11)。さらに、Dos計算部40は、検索エンジンによる検索結果から、式(7)を用いて指標Sem(X,Y)を計算する(ステップS12)。そして、Dos計算部40は、指標Temp(X,Y,t)とHist(X,Y)とSem(X,Y)との積を、物体XとYのDos(X,Y,t)とする(ステップS13)。Dos計算部40は、アクティビティ検出部3によりアクティビティが検出された全ての物体間についてDosを計算する。
次に、クラスタ解析部41について説明する。Dosの計算により、時区間tにおける全ての物体間の距離(近さ)が求まった。したがって、既存のクラスタリング手法を用いれば、使用状況ごとに物体を分類できる。本実施の形態では、クラスタ解析部41は、階層的クラスタリング手法の一つであるウォード法(Ward's method)を用いて、アクティビティ検出部3によりアクティビティが検出された物体をクラスタに分類する(ステップS4)。ウォード法については、参考文献3「J.F.Hair,R.E.Andersen,R.L.Tatham and W.C.Black,“Multivariate data analysis”,4th ed.Prentice-Hall,Englewood Cliffs,N.J.」に記載されている。
フィルタ部42は、クラスタ解析部41が求めたクラスタのうち、時区間tにおけるアクティビティの合計時間が所定時間(例えば5秒)を超える物体を含まないクラスタを削除し、残りのクラスタをWeb検索部5に出力する(ステップS5)。
以上で、物体解析部4の処理が終了する。
次に、Web検索部5の動作について説明する。Web検索部5は、物体解析部4で求められたクラスタごとにサブクエリ(複数のクエリのセット)を作成し、サブクエリに対応するWebページを検索する。図1に示すように、Web検索部5は、クエリ作成部50と検索部51とリランク部52の3つの構成要素からなる。
クエリ作成部50は、クラスタから複数のサブクエリを作成し(ステップS6)、検索部51は、そのサブクエリを図示しない検索エンジンに送信することで複数の検索結果を得る(ステップS7)。そして、リランク部52は、クラスタとWebページの類似度を求めることで検索結果を順位付けし直し(リランク)、最上位のWebページのURL(Uniform Resource Locators )を最終的な検索結果として出力する。
以下、Web検索部5の各構成要素の動作をより詳細に説明する。図5はクエリ作成部50の動作を示すフローチャートである。本実施の形態では、クエリ作成部50は、クラスタにおける物体の重要度を用いてクラスタをベクトルで表現する。ある物体の重要度は、同じクラスタに属する他の物体とのDosのうち最も大きいものであると定義する。物体の重要度は、クラスタに対応する行動(使用状況)におけるその物体の貢献度と言ってもいい。つまり、本実施の形態で用いる重要度は、物体間の意味的な関係、過去のアクティビティのデータ、および他の物体と近い時刻に使われたかどうか、を考慮した重要度と言える。
このように物体の重要度を定義することにより、例えば、、<juicer,3.0>,<cup,3.0>,<milk,2.0>,<cup,1.0>,<sugar,0.5>といった重要度付きの物体のリスト(クエリベクトル)が得られる。ここでは、<>中のカンマ(,)より前の記述が物体の名前、カンマより後の数値が重要度である。つまり、<juicer,3.0>は、「juicer」と「milk」と「sugar」と2つの「cup,3.0」という5つの物体からなるクラスタにおける物体「juicer」の重要度が3.0であることを示している。
ただし、クエリ作成部50は、クラスタに同じ名前の物体が複数含まれるときは、最も大きい重要度を持つ物体以外はクラスタから削除する。上記の例では、「cup」という名前の物体が同一のクラスタに2つ含まれるので、<cup,1.0>が削除される。以上の手順により、<juicer,3.0>,<cup,3.0>,<milk,2.0>,<sugar,0.5>という4つの要素を持つ4次元のクエリベクトルが作成される。上述のように重要度は、Dosで表現されるため、値の上限などはないが、大きければ大きいほど重要と言える。以下で説明する手法の目的は、このクエリベクトルを用いて物体の使用状況に良く関連するWebページを見つけることである。クエリ作成部50は、下記の3つの技術をクラスタに対して順に適用する。
[ベクトル拡張]
以前の時区間において一緒に使っていた物体の名前がクエリ生成に役立つことは多い。例えば、ある時区間において、室内環境にいるユーザが、紅茶が入っている茶筒(以下、物体「green-tea」とする)とティーカップ(以下、物体「cup」とする)を用いてお茶をいれていたとする。そして、ユーザは、その後の時区間において物体「cup」を使ってお茶を飲んでいたとする。このとき、「cup」という名前のみを用いてクエリを作成しても、お茶を飲むという行動に関係するWebページを得ることは難しい。
しかし、以前の時区間において、物体「cup」と一緒に使用されていた物体「green-tea」もクエリ生成に利用することで行動に関係するWebページを取得し易くなる。まず、クエリ作成部50は、注目している時区間tにおけるクエリベクトルQiの要素数が所定数εhq(本実施の形態ではεhq=2)以下のとき、時区間tよりも過去の時区間におけるクエリベクトルのうち、下記に示すSimhが最も大きく、Qiとの類似度が所定値εhw(本実施の形態ではεhw=0.7)より大きいクエリベクトルQjを選ぶ。
Figure 0004995750
ただし、cos(Qi,Qj)はクエリベクトルQiとQj間のコサイン類似度で、d(Qi,Qj)はクエリベクトルQiが得られた時区間とクエリベクトルQjが得られた時区間の時間的な距離(分)である。また、実際のアルゴリズムでは計算コスト削減のため、過去2時間までの時区間に含まれるクラスタしか用いない。
そして、クエリ作成部50は、式(8)により選んだクエリベクトルQjの各要素の重要度にλ3 d(Qi,Qj)を乗算したものを、クエリベクトルQiの新たな要素として加える。つまり、過去のクエリベクトルQjを用いて時区間tにおけるクエリベクトルQiを拡張する。本実施の形態では、係数λ3として0.99を用いた。
[サブクエリ作成]
続いて、クエリ作成部50は、拡張した1つのクエリベクトルから複数のサブクエリを作成する。簡単に言うと、クエリベクトルからある程度の数の物体の名前を抽出し、クエリを作成する。物体の名前を抽出して複数のサブクエリを作成することで、物体解析部4による物体のクラスタリングにおいてクラスタに混入したノイズ(すなわち、間違ってクラスタの要素となっている物体)を含まないクエリを作成できる可能性が高くなる。また、ある程度の数の物体の名前(語)を抽出することで、クエリが厳密になり過ぎるのを防ぐことができる。
以下、サブクエリの作成方法を説明する。クエリ作成部50は、次元がi(要素数がi)のクエリベクトルから、所定数l(i≧l)個の物体の全ての組合せを求めることでサブクエリを作成する。ただし、クエリ作成部50は、重要度が最上位からp番目までの物体を含まないサブクエリは省略する。
l=2、p=2とすると、上記の<juicer,3.0>,<cup,3.0>,<milk,2.0>,<sugar,0.5>という4次元のクエリベクトルからは、“juicer cup”,“juicer milk”,“juicer sugar”,“cup milk”,“cup sugar”という5つのサブクエリが作成される。このサブクエリ作成のアルゴリズムによると、クエリ作成部50は、重要度の大きい物体を優先した語(物体の名前)の組み合わせをサブクエリとして出力する。
[クエリ拡張]
物体の名前しか含まないクエリは曖昧になることがある。例えば、“cup green-tea”といったクエリから、ユーザが欲するWebページ(生活行動に関する追加情報やtips)を得るのは難しい。一方、参考文献4「R.Kraft and R.Stata,“Finding buying guides with a web carnivore”,Proc.the 1st Latin American Web Congress(LA-WEB),pp.84-92,2003」では、良いクエリを作成するには、トピックに関する語とジャンルに関する語を組み合わせるとよいと言われている。例えばカメラを買いたいときは、“camera”という語と“buying”や“choosing”といった語を組み合わせ、“camera buying”というクエリを作る。
本実施の形態でも同様に、クエリ作成部50は、生活行動に関するWebページが得られそうなジャンルに関する語をサブクエリに組み合わせて、それぞれのサブクエリを拡張をする。ここでは、クエリ作成部50は、あらかじめ用意されたジャンルに関する語(例えば、英語ならば、“advice”,“how-to”,“tips”,“trivia”など、日本語ならば、“豆知識”,“アドバイス”,“こつ”など)の中から1つをランダムに選択してサブクエリに組み合わせる。
以上のように、クエリ作成部50は、物体解析部4のフィルタ部42から出力されたクラスタから、クエリベクトルQiを作成し(ステップS20)、時区間tよりも過去の時区間のクエリベクトルQjを用いてクエリベクトルQiを拡張する(ステップS21)。さらに、クエリ作成部50は、拡張したクエリベクトルQiから複数のサブクエリを作成し(ステップS22)、この複数のサブクエリをそれぞれ拡張する(ステップS23)。なお、クエリ作成部50は、以上の処理を物体解析部4から出力されたクラスタごとに行う。
次に、検索部51は、クエリ作成部50が作成したサブクエリを図示しないインターネットを通じて検索エンジンに送信することにより、複数の検索結果を得ることができる(図2ステップS7)。検索エンジンは、送信されたサブクエリ(キーワード)に関係すると考えられるWebページを、サブクエリとの関連性が高い順に並べて検索結果として提示する。したがって、検索エンジンによって順位付けされた検索結果を得ることができる。
次に、リランク部52について説明する。リランク部52は、検索エンジンの検索結果を順位付けし直すために、クエリベクトルとWebページとの類似度を測る指標を用いる。なお、以降では、最上位からn番目までの順位(以下、top−nとする)のWebページを取得する手続きが多く行われるが、top−nのWebページは以前の期間において出力されたWebページを省いたtop−nであることに注意を要する。これは、同じWebページを複数回ユーザに提示しないようにするためである。このような重複したWebページの提示を防ぐため、リランク部52は、既に提示したWebページのURLを図示しないデータベースに保存しておく。
クエリを用いてWebページを順位付けし直したり、点数付けしたりする研究は多くある。本実施の形態では、それらの研究の中でも、物体の名前をクエリに用いたWeb検索に適した手法を拡張した手法を用いる。Webページ内の近くにクエリターム(クエリに含まれる語)が位置しているページはクエリによく合った文章を含むだろうという視点から、メタサーチ(meta-search)の分野においてクエリターム間の距離を考慮したWebページとクエリの類似度の尺度が提案されている。この研究は、参考文献5「S.Lawrence and C.L.Giles,“Inquirus,the NECI meta search engine”,Proc.WWW-7,pp.95-105,1998」に開示されている。
発明者は、参考文献5に開示された尺度をWebページとクエリベクトルの比較用に改良した。下記にその尺度Rd(Q,W)を示す。
Figure 0004995750
上記と同様に、Qはクエリベクトルで、Q={<t1,w1>,・・・,<tN,wN>}で表される。tはポーターのアルゴリズム (Porter's algorithm) によりステミング(stemming)された語、wは語の重要度である。ポーターのアルゴリズムについては、参考文献6「M.F.Porter,“An algorithm for suffix stripping”,Program,4,pp.130-137,1980」に開示されている。
また、式(9)〜式(12)において、WはHTML(Hyper Text Markup Language)タグが除去され、ステミングされたWebページである。nt(t,W)は文書Wに語tが出現する数である。D1(ti,tj,W)は、文書Wにおけるtiとtj間の最小距離(キャラクタ数)である。c1は尺度Rd(Q,W)の大きさを調整する定数である。c2は語間の最大距離を表す整数である。c3は語の出現回数の重み付けのための整数である。参考文献5と同様に、c1=100,c2=5000,c3=10c1とした。
リランク部52は、検索エンジンによる検索結果のうちtop−(r/#subqueries)をダウンロードし、ダウンロードしたWebページとサブクエリとの類似度の尺度Rdを式(9)〜式(12)によりページごとに計算する。なお、本実施の形態ではr=50とした。また、#subqueriesはクエリ作成部50が作成したサブクエリの数である。したがって、最上位から(r/#subqueries)までの順位のWebページをダウンロードすることになる。そして、リランク部52は、計算した類似度の尺度Rdが最も大きいWebページのURLをユーザに提示する。なお、リランク部52は、以上の処理をクエリ作成部50が作成したサブクエリごとに行う。
以上のように、本実施の形態では、環境中に存在する様々な物体に装着されたセンサノード2のセンサデータから複数の物体の使用状況の類似度を表す指標であるDosを計算し、Dosに基づいて複数の物体をクラスタに分類し、このクラスタに所属する物体の名前をキーワードとして含むサブクエリを作成するようにしたので、ユーザの行動(物体の使用状況)に関係するWebページを検索することができる。この結果、本実施の形態では、ユーザが行っている行動に関する有用な情報を含むWebページ、例えば生活を豊かにするような情報が記述されたWebページや、知識欲を満たすような情報が記述されたWebページ、あるいは購買意欲を喚起するような情報が記述されたWebページを自動的に取得してユーザに提示することができる。
なお、本実施の形態では、センサノード2として加速度センサを用いているが、前述のとおり、これに限るものではない。本実施の形態は、物体の名前と、物体が使用された時間というシンプルな指標を使っているため、物体が使用された時間を検知できるセンサであれば何でも使用することができる。
また、本実施の形態では、センサノードと物体の名前が1対1で対応しているが、各センサノードは複数の物体の名前を持っていてもよい。その理由は、1つの物体が複数の呼び方をされる場合があるからである。このような場合の例としては、例えば茶筒に装着されたセンサノードが、「green-tea」、「玉露」、「煎茶」という複数の名前を持つ場合が考えられる。1つのセンサノードが複数の物体の名前を持つ場合、それぞれの名前を含むサブクエリが多数生成されるが、それらの名前を含むサブクエリの全てをWebページの検索に使用してもよいし、いずれか1つのサブクエリを選択して検索するようにしてもよい。
[第2の実施の形態]
第1の実施の形態のWeb検索装置1は、CPU、メモリおよび外部とのインタフェースを備えたコンピュータと、これらのハードウェア資源を制御するプログラムによって実現することができる。
図6はこのようなコンピュータの構成例を示すブロック図である。図1において、100はCPU、101はRAM、102はROM、103,104はインターフェイス装置(以下、I/Fと略する)である。
I/F103は、センサノード2からのセンサデータを受信する。CPU100は、I/F104を通じて図示しない表示装置に検索結果を表示させる。
このようなコンピュータにおいて、本発明のWeb検索方法を実現させるためのWeb検索プログラムは、フレキシブルディスク、CD−ROM、DVD−ROM、メモリカードなどの記録媒体に記録された状態で提供され、RAM101あるいは外部のハードディスク装置等のメモリに格納される。CPU100は、格納されたプログラムに従って第1の実施の形態で説明した処理を実行する。
本発明は、ユーザの行動に関係するWebページを検索する技術に適用することができる。
本発明の第1の実施の形態に係るWeb検索システムの構成を示すブロック図である。 本発明の第1の実施の形態に係るWeb検索システムの動作を示すフローチャートである。 本発明の第1の実施の形態において物体間のDosの計算に用いる指標Tempの計算方法を説明するための図である。 本発明の第1の実施の形態に係る物体解析部のDos計算部の動作を示すフローチャートである。 本発明の第1の実施の形態に係るWeb検索部のクエリ作成部の動作を示すフローチャートである。 本発明の第2の実施の形態におけるコンピュータの構成例を示すブロック図である。
符号の説明
1…Web検索装置、2…センサノード、3…アクティビティ検出部、4…物体解析部、5…Web検索部、40…Dos計算部、41…クラスタ解析部、42…フィルタ部、50…クエリ作成部、51…検索部、52…リランク部。

Claims (8)

  1. 複数の物体の各々に装着されたセンサノードからセンサデータを受信し、各物体の使用状況に応じてWeb検索要求であるサブクエリを生成するWeb検索装置において、
    前記センサノードから受信したセンサデータに基づいて、各物体が使用された時間範囲であるアクティビティを検出するアクティビティ検出手段と、
    前記アクティビティが検出された複数の物体について使用状況の類似度を表す指標であるDosを計算するDos計算手段と、
    前記Dosに基づいて、前記アクティビティが検出された複数の物体をクラスタに分類するクラスタ解析手段と、
    このクラスタ解析手段が求めたクラスタから、前記アクティビティが検出された複数の物体のうち所定時間以下しか使用されていない物体のみを含むクラスタを削除して残りのクラスタを出力するフィルタ手段と、
    このフィルタ手段から出力されたクラスタに所属する物体の名前をキーワードとして含むサブクエリを作成するクエリ作成手段とを備え
    前記Dos計算手段は、前記アクティビティが検出された複数の物体について、これらの物体が近い時刻で使用されたかどうかの程度を表す指標Tempを計算し、前記アクティビティが検出された複数の物体が同時に使われていたかどうかの程度を表す指標Histを、過去のアクティビティのデータから計算し、前記アクティビティが検出された複数の物体が意味的に近いかどうかの程度を表す指標Semを、検索エンジンによる検索結果から計算し、前記TempとHistとSemとの積を前記Dosとすることを特徴とするWeb検索装置。
  2. 請求項1記載のWeb検索装置において、
    前記クエリ作成手段は、前記フィルタ手段から出力されたクラスタから、物体の名前と物体の重要度とからなるクエリベクトルを作成し、このクエリベクトルとの類似度が最も高い過去のクエリベクトルを用いて前記クエリベクトルを拡張し、拡張したクエリベクトルから複数の前記サブクエリを作成し、このサブクエリにあらかじめ用意された用語を組み合わせて前記サブクエリを拡張することを特徴とするWeb検索装置。
  3. 請求項1記載のWeb検索装置において、
    さらに、前記サブクエリに応じて検索されたWebページと前記クラスタとの類似度を求めることにより、前記検索されたWebページを順位付けし直し、最上位のWebページを最終的な検索結果とするリランク手段を備えることを特徴とするWeb検索装置。
  4. CPUとメモリとを備えたコンピュータからなるWeb検索装置において、前記メモリに格納されたプログラムに従って前記CPUが、アクティビティ検出手段とDos計算手段とクラスタ解析手段とフィルタ手段とクエリ作成手段として機能し、複数の物体の各々に装着されたセンサノードからセンサデータを受信し、各物体の使用状況に応じてWeb検索要求であるサブクエリを生成するWeb検索方法であって、
    前記アクティビティ検出手段が、前記センサノードから受信したセンサデータに基づいて、各物体が使用された時間範囲であるアクティビティを検出するアクティビティ検出ステップと、
    前記Dos計算手段が、前記アクティビティが検出された複数の物体について使用状況の類似度を表す指標であるDosを計算するDos計算ステップと、
    前記クラスタ解析手段が、前記Dosに基づいて、前記アクティビティが検出された複数の物体をクラスタに分類するクラスタ解析ステップと、
    前記フィルタ手段が、前記クラスタ解析手段が求めたクラスタから、前記アクティビティが検出された複数の物体のうち所定時間以下しか使用されていない物体のみを含むクラスタを削除して残りのクラスタを出力するフィルタステップと、
    前記クエリ作成手段が、前記フィルタステップで得られたクラスタに所属する物体の名前をキーワードとして含むサブクエリを作成するクエリ作成ステップとを備え
    前記Dos計算ステップは、前記アクティビティが検出された複数の物体について、これらの物体が近い時刻で使用されたかどうかの程度を表す指標Tempを計算するステップと、前記アクティビティが検出された複数の物体が同時に使われていたかどうかの程度を表す指標Histを、過去のアクティビティのデータから計算するステップと、前記アクティビティが検出された複数の物体が意味的に近いかどうかの程度を表す指標Semを、検索エンジンによる検索結果から計算するステップと、前記TempとHistとSemとの積を前記Dosとするステップとを含むことを特徴とするWeb検索方法。
  5. 請求項記載のWeb検索方法において、
    前記クエリ作成ステップは、前記フィルタステップで得られたクラスタから、物体の名前と物体の重要度とからなるクエリベクトルを作成するステップと、このクエリベクトルとの類似度が最も高い過去のクエリベクトルを用いて前記クエリベクトルを拡張するステップと、拡張したクエリベクトルから複数の前記サブクエリを作成するステップと、このサブクエリにあらかじめ用意された用語を組み合わせて前記サブクエリを拡張するステップとを含むことを特徴とするWeb検索方法。
  6. 請求項記載のWeb検索方法において、
    さらに、前記メモリに格納されたプログラムに従って前記CPUが、リランク手段として機能し、
    前記リランク手段が、前記サブクエリに応じて検索されたWebページと前記クラスタとの類似度を求めることにより、前記検索されたWebページを順位付けし直し、最上位のWebページを最終的な検索結果とするリランクステップを備えることを特徴とするWeb検索方法。
  7. 請求項乃至のいずれか1項に記載のWeb検索方法の各ステップをコンピュータに実行させることを特徴とするWeb検索プログラム。
  8. 請求項記載のWeb検索プログラムを記録したことを特徴とする記録媒体。
JP2008026334A 2008-02-06 2008-02-06 Web検索装置、Web検索方法、プログラムおよび記録媒体 Active JP4995750B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008026334A JP4995750B2 (ja) 2008-02-06 2008-02-06 Web検索装置、Web検索方法、プログラムおよび記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008026334A JP4995750B2 (ja) 2008-02-06 2008-02-06 Web検索装置、Web検索方法、プログラムおよび記録媒体

Publications (2)

Publication Number Publication Date
JP2009187268A JP2009187268A (ja) 2009-08-20
JP4995750B2 true JP4995750B2 (ja) 2012-08-08

Family

ID=41070441

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008026334A Active JP4995750B2 (ja) 2008-02-06 2008-02-06 Web検索装置、Web検索方法、プログラムおよび記録媒体

Country Status (1)

Country Link
JP (1) JP4995750B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9081826B2 (en) 2013-01-07 2015-07-14 Facebook, Inc. System and method for distributed database query engines

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001043236A (ja) * 1999-07-30 2001-02-16 Matsushita Electric Ind Co Ltd 類似語抽出方法、文書検索方法及びこれらに用いる装置
JP2002149697A (ja) * 2000-11-07 2002-05-24 Mitsubishi Electric Corp 類似事例検索装置
JP2003157270A (ja) * 2001-11-22 2003-05-30 Ntt Data Technology Corp 特許文献検索方法及び特許文献検索システム
JP4514154B2 (ja) * 2006-01-13 2010-07-28 日本電信電話株式会社 類似状況検索システムおよび類似状況検索方法
US7739221B2 (en) * 2006-06-28 2010-06-15 Microsoft Corporation Visual and multi-dimensional search

Also Published As

Publication number Publication date
JP2009187268A (ja) 2009-08-20

Similar Documents

Publication Publication Date Title
El-Beltagy et al. KP-Miner: A keyphrase extraction system for English and Arabic documents
CN106599278B (zh) 应用搜索意图的识别方法及装置
Zhao et al. Topical keyphrase extraction from twitter
CN109190111A (zh) 一种文档正文关键词提取方法及装置
JP6381775B2 (ja) 情報処理システム及び情報処理方法
CN105468596B (zh) 图片检索方法和装置
CN106202294B (zh) 基于关键词和主题模型融合的相关新闻计算方法及装置
CN110717038B (zh) 对象分类方法及装置
CN109829045A (zh) 一种问答方法和装置
KR20090087269A (ko) 컨텍스트 기반 정보 처리 방법 및 장치, 그리고 컴퓨터기록 매체
CN113574522A (zh) 搜索中的富体验的选择性呈现
JP4569380B2 (ja) ベクトル生成方法及び装置及びカテゴリ分類方法及び装置及びプログラム及びプログラムを格納したコンピュータ読み取り可能な記録媒体
KR20100023630A (ko) 카테고리 태그 정보를 이용한 웹 페이지 분류 방법, 그 시스템 및 이를 기록한 기록매체
JP2006134183A (ja) 情報分類方法及び装置及びプログラム及びプログラムを格納した記憶媒体
KR101178208B1 (ko) 키워드 추출 장치 및 방법
JP5486667B2 (ja) クエリ結果を多様化するための方法および装置
CN115827990B (zh) 搜索方法及装置
JP4995750B2 (ja) Web検索装置、Web検索方法、プログラムおよび記録媒体
JP3547074B2 (ja) データ検索方法、その装置および記録媒体
KR100703193B1 (ko) 비음수 행렬 인수분해를 이용한 문서요약 장치 및 방법
Kramár et al. Disambiguating search by leveraging a social context based on the stream of user’s activity
KR101120040B1 (ko) 연관 질의어 추천 장치 및 방법
CN111209745B (zh) 一种资讯可靠性评价方法、设备和存储介质
CN109558586B (zh) 一种资讯的言据自证评分方法、设备和存储介质
Gupta et al. A probabilistic framework for time-sensitive search

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100127

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20111122

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20111122

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120214

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120411

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120508

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120510

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150518

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4995750

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150518

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350