JP4359878B2 - 操作履歴情報収集方法及び操作履歴情報収集装置 - Google Patents

操作履歴情報収集方法及び操作履歴情報収集装置 Download PDF

Info

Publication number
JP4359878B2
JP4359878B2 JP2004021223A JP2004021223A JP4359878B2 JP 4359878 B2 JP4359878 B2 JP 4359878B2 JP 2004021223 A JP2004021223 A JP 2004021223A JP 2004021223 A JP2004021223 A JP 2004021223A JP 4359878 B2 JP4359878 B2 JP 4359878B2
Authority
JP
Japan
Prior art keywords
program
information
user
operation history
history information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004021223A
Other languages
English (en)
Other versions
JP2005217737A (ja
Inventor
清 本間
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Victor Company of Japan Ltd
Original Assignee
Victor Company of Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Victor Company of Japan Ltd filed Critical Victor Company of Japan Ltd
Priority to JP2004021223A priority Critical patent/JP4359878B2/ja
Publication of JP2005217737A publication Critical patent/JP2005217737A/ja
Application granted granted Critical
Publication of JP4359878B2 publication Critical patent/JP4359878B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Description

本発明は、テレビジョン放送を受信し、使用者の視聴傾向を学習して好みの番組を自動的に抽出する番組検索装置などにおいて、ユーザの操作(番組の視聴、録画、再生など)を履歴として収集する際に、操作の対象となる番組と同一時間に放送されている他の番組の情報も含めて操作履歴情報間の類似度を比較することにより類似する操作履歴情報を重複して記憶しないようにするための技術に関する。
ケーブルテレビ、デジタル放送の普及でわが国においても本格的な多チャンネル時代が実用化されている中、ユーザが所望するチャンネルを見い出すことは容易ではない。そこで、テレビジョン放送に付加されるEPG(Electronic Program Guide)と呼ばれる番組情報ガイドを利用して、ユーザの視聴履歴を基に好みの番組を抽出した後自動録画するものが提案されている(例えば、特許文献1参照、。)。上述のユーザの視聴履歴は、ユーザからの操作が入力される度に装置内に操作履歴として蓄積される。
特開平5−62283号公報
しかしながら、従来の操作履歴習得方法では、例えばユーザが番組を視聴する際、番組を選択するためにチャンネルを変えた場合においても、各々のチャンネル切り換え操作を操作履歴として蓄積してしまい、その結果操作履歴の蓄積量が多くなり、HDDあるいはメモリなどの蓄積メディアの容量を圧迫したり、蓄積メディアの容量を超えた操作履歴は蓄積できないという問題があった。
また、従来の操作履歴習得方法では、操作の種類によらず操作の度に操作履歴情報として蓄積し、その結果操作履歴の蓄積量が多くなり、操作履歴情報を利用した嗜好学習などの演算量が増えてしまう、あるいは演算の正確性が損なわれてしまうという問題があった。
本発明は、以上の点に鑑みなされたもので、ユーザが操作している時点の受信可能なテレビジョン番組群のパターン情報から類似度を算出して操作履歴情報を収集するため、記憶装置の容量が小容量で構成可能な操作履歴情報収集方法及び操作履歴情報収集装置を提供することを目的とする。
本発明は、上記課題を解決するために、以下の1)〜2)に記載の手段よりなる。
すなわち、
1)テレビジョン放送を受信し、前記テレビジョン放送で放送される各番組の番組情報とユーザの番組選択操作履歴情報とをメモリに記憶させ、前記メモリの記憶内容を基に前記ユーザの好みの番組を演算するテレビジョン番組検索方法に用いる操作履歴情報収集方法であって、
記番組情報から、ユーザの番組選択操作が行なわれた操作時刻において放送中であり前記ユーザによって選択可能な複数の番組である第1の番組の特徴を示す特徴情報を各々抽出する第1の抽出ステップと、
記番組選択操作履歴情報に含まれて記憶されている番組情報から、前記操作時刻以前の略同一の時刻に放送済みであり前記ユーザが視聴していた番組と前記略同一の時刻にユーザによって選択可能だった番組とからなる複数の番組である第2の番組の特徴を示す特徴情報を各々抽出する第2の抽出ステップと、
前記第1の番組の順列における全ての組み合わせパターンを求め、この求めた各組み合わせパターンをそれぞれ第1の組み合わせパターンとする第1の組み合わせパターン生成ステップと、
前記第2の番組の組み合わせパターンを第2の組み合わせパターンとして生成する第2の組み合わせパターン生成ステップと、
前記第1の組み合わせパターンに含まれる各番組の特徴情報と前記第2の組み合わせパターンに含まれる各番組の特徴情報とに基づいて、全ての前記第1の組み合わせパターンと、複数の前記略同一の時刻における前記第2の組み合わせパターンとの類似度をそれぞれ算出し、この算出した類似度のうち最も大きい類似度を選択する類似度算出ステップと、
前記最も大きな類似度が所定の閾値以下の場合は、前記操作時刻におけるユーザの番組選択操作の情報を前記番組選択操作履歴情報として前記メモリに登録するよう判定し、
前記最も大きな類似度が所定の閾値を超えた場合は、前記操作時刻におけるユーザの番組選択操作の情報を前記番組選択操作履歴情報として前記メモリに登録しないよう判定する判定ステップと、
前記判定ステップにより登録すると判定された前記番組選択操作履歴情報を前記メモリに記憶する記憶ステップと、
を有することを特徴とする操作履歴情報収集方法。
2)テレビジョン放送を受信し、前記テレビジョン放送で放送される各番組の番組情報とユーザの番組選択操作履歴情報とをメモリに記憶させ、前記メモリの記憶内容を基に前記ユーザの好みの番組を演算するテレビジョン番組検索装置に用いる操作履歴情報収集装置であって、
記番組情報から、ユーザの番組選択操作が行なわれた操作時刻において放送中であり前記ユーザによって選択可能な複数の番組である第1の番組の特徴を示す特徴情報を各々抽出する第1の抽出手段と、
記番組選択操作履歴情報に含まれて記憶されている番組情報から、前記操作時刻以前の略同一の時刻に放送済みであり前記ユーザが視聴していた番組と前記略同一の時刻にユーザによって選択可能だった番組とからなる複数の番組である第2の番組の特徴を示す特徴情報を各々抽出する第2の抽出手段と、
前記第1の番組の順列における全ての組み合わせパターンを求め、この求めた各組み合わせパターンをそれぞれ第1の組み合わせパターンとする第1の組み合わせパターン生成手段と、
前記第2の番組の組み合わせパターンを第2の組み合わせパターンとして生成する第2の組み合わせパターン生成手段と、
前記第1の組み合わせパターンに含まれる各番組の特徴情報と前記第2の組み合わせパターンに含まれる各番組の特徴情報とに基づいて、全ての前記第1の組み合わせパターンと、複数の前記略同一の時刻における前記第2の組み合わせパターンとの類似度をそれぞれ算出し、この算出した類似度のうち最も大きい類似度を選択する算出手段と、
前記最も大きな類似度が所定の閾値以下の場合は、前記操作時刻におけるユーザの番組選択操作の情報を前記番組選択操作履歴情報として前記メモリに登録するよう判定し、
前記最も大きな類似度が所定の閾値を超えた場合は、前記操作時刻におけるユーザの番組選択操作の情報を前記番組選択操作履歴情報として前記メモリに登録しないよう判定する判定手段と、
前記判定手段により登録すると判定された前記番組選択操作履歴情報を前記メモリに記憶する記憶手段と、
を備えることを特徴とする操作履歴情報収集装置。
本発明の「操作履歴情報収集方法及び操作履歴情報収集装置」によれば、内容の類似した履歴を重複して保存しないため、蓄積装置の容量を小さくした操作履歴情報収集方法及び操作履歴情報収集装置を提供することができる。
また、蓄積容量を従来と同様に設定した場合は、従来より長期間の操作履歴情報を保存でき、ユーザの嗜好情報をより正確に演算する操作履歴情報収集方法及び操作履歴情報収集装置を提供することができる。
さらには、操作履歴情報を利用してユーザの嗜好を分析する学習演算の演算量を小さくした操作履歴情報収集方法及び操作履歴情報収集装置を提供することができる。
以下、本発明に係る操作履歴情報収集方法及び操作履歴情報収集装置の発明を実施するための最良の形態につき、好ましい実施例により説明する。
図1は本実施例に適用される操作履歴情報収集装置の構成を示した概略ブロック図である。同図に示すように操作履歴情報収集装置9は、EPG取得部1、履歴処理部2、蓄積装置3、抽出部4,6、生成部5、判定部7、検索部8から構成されている。
放送などと共に送られてくる番組情報(EPG情報)は、EPG処理部1に入力され、装置内の蓄積装置3に逐次蓄積される。また、操作入力部2からの操作に従って、各操作の履歴を蓄積装置3に逐次蓄積する。抽出部4では操作の対象となっている放送中の番組および同一の時刻に放送されている他局の番組の番組情報を蓄積装置3から読み出し、各番組毎のベクトルを求め生成部5へ入力する。生成部5では、入力された番組ごとから番組の組み合わせの数分のベクトルを生成し、検索部8へ入力する。同時に抽出部6では蓄積部3内の操作履歴から履歴を読み出し、その履歴と同一時刻に放送されていた番組の番組情報と共にベクトル化し、検索部8へ入力する。検索部8では各履歴のベクトルごとに検索対象の組み合わせ数分のベクトルと類似度の計算を行い、全履歴中で類似度が最も大きくなるものを抽出し、判定部7へ入力する。判定部7では、入力された類似度が予め設定された閾値を超えているかどうかにより履歴として登録するかどうかを履歴処理部2へ入力する。
テレビジョン放送で実際に扱われる番組情報には、例えば図2に示すようなタイトル名、ジャンル名、出演者名、番組の内容解説などの情報が含まれている。これらの情報は放送に多重されてEPG情報として送られているものから取得する構成であっても、インターネットから取得する構成であってもよい。また、将来的にはメタデータとしてより詳細なデータとして送られることも検討されている。
本発明は、現在ユーザの操作の対象となっている番組の操作情報と過去の操作履歴情報との情報間の類似度により操作履歴情報を収集するものであるが、一般的にWEB上のドキュメントなどを検索するときのようにドキュメント単位(本発明の場合、番組単位)での類似度により判定するのではなく、放送独特の特性を利用することにより、より高精度にユーザの好みに合致した履歴情報を収集するようにしている。
一般的にテレビジョン放送を見る場合、任意の時間に任意の番組が見られるわけではなく、常にある時刻において放送されている番組の中からどれかを選択するということにより見る番組を決めている。つまり例えば、ある時刻において図3のような番組が放送されている場合その3種類の番組の中のどれか1番組しか見ることができないということである。また、その選択の仕方は相対的な比較により行われることが多く、図3の組み合わせにおいてはバラエティを見たとしても、別な時に図7のような番組が放送された場合、いつも見ていたバラエティを見ずに野球を見ることはよくあることである。
そこで本発明では、番組単位の類似度ではなく番組の組み合わせ単位での類似度により操作履歴情報を収集するために、番組の組み合わせごとに処理を行うことを特徴とする。以下具体的処理について図8のフローチャートを用いて説明する。
なお、本実施例では番組どおしの類似度を判断するために各番組をベクトル表現して求めているが、必ずしもこの限りではない。
同図に示すように、ある時刻において放送される各番組の番組情報はEPG情報などから取得され、蓄積装置3に蓄積される。履歴処理部2では、リモコンなどの操作入力手段からの処理を受け取り、抽出部4へ入力する。抽出部4では操作の行われた時点において放送中の番組と同一時刻の他局の番組の番組情報を蓄積装置3から読み出す(ステップ1)。次に入力された番組毎の番組情報から番組の特徴を表すの要素を抽出する(ステップ2)。例えば図2に示すように要素としてはタイトル名、ジャンル名、出演者名、解説文を形態素に分解したようなものなどが考えられる。
次に、入力された全番組の要素から重複する要素を除いた要素数分の次元で各番組をベクトル表現する。図3の場合重複しない全要素は「ニュース」、「バラエティ」、「ドラマ」なので、要素は3つあり3次元のベクトルで表現される。各番組のベクトル表現は、要素の有無で表すとチャンネル1は100、チャンネル2は010、チャンネル3は001となる(ステップ3)。
次に、予め取得済みの操作履歴より、最初の履歴を取得して、その履歴に該当する時間に放送されていた各番組の番組情報を予め保存されているEPG情報などから取得し、抽出部6へ入力する(ステップ4)。抽出部6では抽出された要素を使って履歴に該当する時間に放送されていた各番組をステップ3で求めた次元でベクトル化する(ステップ6)。例えば図4に示す履歴の例では×月○日の19:00〜20:00まではチャンネル1を見ていたことがわかり、図4よりその履歴に該当する同時刻には図5のような番組が放送されていたことがわかる。これらの各番組をステップ3で生成された次元のベクトルで表現すると、チャンネル1は100、チャンネル2は000、チャンネル3は000となる。
次に、生成部5では、操作のあった時点に放送中の各番組(チャンネル1、チャンネル2、チャンネル3)の全ての組み合わせを求める。組み合わせは(チャンネル1、チャンネル2、チャンネル3)、(チャンネル1、チャンネル3、チャンネル2)、(チャンネル2、チャンネル1、チャンネル3)、(チャンネル2、チャンネル3、チャンネル1)、(チャンネル3、チャンネル1、チャンネル2)、(チャンネル3、チャンネル2、チャンネル1)の6通りとなる。
次に検索部8では、この組み合わせ数分の番組群ベクトルをそれぞれ履歴より生成した番組群ベクトルとの内積を求め(ステップ6〜ステップ9)、一番大きなものをその履歴に対する類似度とする(ステップ10)。例えば、上記履歴に対する各内積は
(100010001)・(100000000)=1
(100001010)・(100000000)=1
(010100001)・(100000000)=0
(010001100)・(100000000)=0
(001100010)・(100000000)=0
(001010100)・(100000000)=0
となり、番組の並び順が(チャンネル1、チャンネル2、チャンネル3)あるいは(チャンネル1、チャンネル3、チャンネル2)の時に類似度は1となる。
同様に次の履歴についても類似度を求める(ステップ11)と並び順が(チャンネル2、チャンネル1、チャンネル3)の時に類似度が(010100001)・(010100001)=3となる。
このようにして全ての履歴について類似度を求めて、類似度が最大となる履歴を見つけることにより判断対象となっている操作時点での放送中の番組群ともっとも類似した履歴とその組み合わせを見つけることができる(ステップ12〜13)。
判定部7では、検索部8で求められた類似度が予め設定されている閾値よりも大きいかどうかを判定し、その結果にもとづき履歴処理部2に対して蓄積装置3へ操作履歴として登録するかどうかの指示を出す(ステップ14)。例えば本実施例の場合は、類似度の最大値は番組毎のベクトルの次元数となるので、それを閾値とした場合、操作された時点での番組群と履歴内の×月△日の履歴の番組群の類似度が3なので閾値を超えることがわかり、該当する操作は登録しないこととなる。
このように本発明によれば、番組の組み合わせの内容に応じて場合分けされた操作履歴を収集することが可能になり、効率的に履歴を収集することができる。また、本発明による操作履歴を利用して番組の組み合わせの類似度などから好みの番組を学習するような学習演算の演算量を削減することが可能である。
本実施例に適用される操作履歴情報収集装置装置の構成を示した概略ブロック図である。 テレビジョン放送に用いられる番組情報の例を示した図である。 所定の時刻において放送されている番組の例を示した図である。 ユーザの視聴履歴の一例を示した図である。 所定の時刻において放送されている番組の例を示した図である。 所定の時刻において放送されている番組の例を示した図である。 所定の時刻において放送予定である番組の例を示した図である。 本実施例に適用される操作履歴情報収集方法を説明するためのフローチャートの一例を示した図である。
符号の説明
1…EPG取得部
2…履歴処理部
3…蓄積装置
4,6…抽出部
5…生成部
7…判定部
8…検索部
9…操作履歴情報収集装置

Claims (2)

  1. テレビジョン放送を受信し、前記テレビジョン放送で放送される各番組の番組情報とユーザの番組選択操作履歴情報とをメモリに記憶させ、前記メモリの記憶内容を基に前記ユーザの好みの番組を演算するテレビジョン番組検索方法に用いる操作履歴情報収集方法であって、
    記番組情報から、ユーザの番組選択操作が行なわれた操作時刻において放送中であり前記ユーザによって選択可能な複数の番組である第1の番組の特徴を示す特徴情報を各々抽出する第1の抽出ステップと、
    記番組選択操作履歴情報に含まれて記憶されている番組情報から、前記操作時刻以前の略同一の時刻に放送済みであり前記ユーザが視聴していた番組と前記略同一の時刻にユーザによって選択可能だった番組とからなる複数の番組である第2の番組の特徴を示す特徴情報を各々抽出する第2の抽出ステップと、
    前記第1の番組の順列における全ての組み合わせパターンを求め、この求めた各組み合わせパターンをそれぞれ第1の組み合わせパターンとする第1の組み合わせパターン生成ステップと、
    前記第2の番組の組み合わせパターンを第2の組み合わせパターンとして生成する第2の組み合わせパターン生成ステップと、
    前記第1の組み合わせパターンに含まれる各番組の特徴情報と前記第2の組み合わせパターンに含まれる各番組の特徴情報とに基づいて、全ての前記第1の組み合わせパターンと、複数の前記略同一の時刻における前記第2の組み合わせパターンとの類似度をそれぞれ算出し、この算出した類似度のうち最も大きい類似度を選択する類似度算出ステップと、
    前記最も大きな類似度が所定の閾値以下の場合は、前記操作時刻におけるユーザの番組選択操作の情報を前記番組選択操作履歴情報として前記メモリに登録するよう判定し、
    前記最も大きな類似度が所定の閾値を超えた場合は、前記操作時刻におけるユーザの番組選択操作の情報を前記番組選択操作履歴情報として前記メモリに登録しないよう判定する判定ステップと、
    前記判定ステップにより登録すると判定された前記番組選択操作履歴情報を前記メモリに記憶する記憶ステップと、
    を有することを特徴とする操作履歴情報収集方法。
  2. テレビジョン放送を受信し、前記テレビジョン放送で放送される各番組の番組情報とユーザの番組選択操作履歴情報とをメモリに記憶させ、前記メモリの記憶内容を基に前記ユーザの好みの番組を演算するテレビジョン番組検索装置に用いる操作履歴情報収集装置であって、
    記番組情報から、ユーザの番組選択操作が行なわれた操作時刻において放送中であり前記ユーザによって選択可能な複数の番組である第1の番組の特徴を示す特徴情報を各々抽出する第1の抽出手段と、
    記番組選択操作履歴情報に含まれて記憶されている番組情報から、前記操作時刻以前の略同一の時刻に放送済みであり前記ユーザが視聴していた番組と前記略同一の時刻にユーザによって選択可能だった番組とからなる複数の番組である第2の番組の特徴を示す特徴情報を各々抽出する第2の抽出手段と、
    前記第1の番組の順列における全ての組み合わせパターンを求め、この求めた各組み合わせパターンをそれぞれ第1の組み合わせパターンとする第1の組み合わせパターン生成手段と、
    前記第2の番組の組み合わせパターンを第2の組み合わせパターンとして生成する第2の組み合わせパターン生成手段と、
    前記第1の組み合わせパターンに含まれる各番組の特徴情報と前記第2の組み合わせパターンに含まれる各番組の特徴情報とに基づいて、全ての前記第1の組み合わせパターンと、複数の前記略同一の時刻における前記第2の組み合わせパターンとの類似度をそれぞれ算出し、この算出した類似度のうち最も大きい類似度を選択する算出手段と、
    前記最も大きな類似度が所定の閾値以下の場合は、前記操作時刻におけるユーザの番組選択操作の情報を前記番組選択操作履歴情報として前記メモリに登録するよう判定し、
    前記最も大きな類似度が所定の閾値を超えた場合は、前記操作時刻におけるユーザの番組選択操作の情報を前記番組選択操作履歴情報として前記メモリに登録しないよう判定する判定手段と、
    前記判定手段により登録すると判定された前記番組選択操作履歴情報を前記メモリに記憶する記憶手段と、
    を備えることを特徴とする操作履歴情報収集装置。
JP2004021223A 2004-01-29 2004-01-29 操作履歴情報収集方法及び操作履歴情報収集装置 Expired - Fee Related JP4359878B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004021223A JP4359878B2 (ja) 2004-01-29 2004-01-29 操作履歴情報収集方法及び操作履歴情報収集装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004021223A JP4359878B2 (ja) 2004-01-29 2004-01-29 操作履歴情報収集方法及び操作履歴情報収集装置

Publications (2)

Publication Number Publication Date
JP2005217737A JP2005217737A (ja) 2005-08-11
JP4359878B2 true JP4359878B2 (ja) 2009-11-11

Family

ID=34904928

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004021223A Expired - Fee Related JP4359878B2 (ja) 2004-01-29 2004-01-29 操作履歴情報収集方法及び操作履歴情報収集装置

Country Status (1)

Country Link
JP (1) JP4359878B2 (ja)

Also Published As

Publication number Publication date
JP2005217737A (ja) 2005-08-11

Similar Documents

Publication Publication Date Title
US11197036B2 (en) Multimedia stream analysis and retrieval
RU2577189C2 (ru) Основанное на профиле извлечение содержимого для систем средств выдачи рекомендаций
US7587382B2 (en) Information processing apparatus and information processing method, recording medium, and program
EP2252050B1 (en) A method of recommending local and remote content
JP2004508740A (ja) 適応テレビジョン番組推奨器
US20110320471A1 (en) Movie Recommendation System and Movie Recommendation Method
US20090129749A1 (en) Video recorder and video reproduction method
KR20050057578A (ko) 상업 광고 추천기
EP1843262A2 (en) Recording and reproduction apparatus and recording and reproduction method
US8174579B2 (en) Related scene addition apparatus and related scene addition method
JP5237849B2 (ja) 番組推薦装置
JP4217957B2 (ja) 情報処理装置および方法、プログラム、並びに記録媒体
JP2008283412A (ja) コメント収集解析装置およびそのプログラム
CN101431645A (zh) 节目录像再现装置以及节目录像再现方法
KR100988255B1 (ko) 정보 처리 장치 및 방법, 및 프로그램이 기록된 컴퓨터로 판독가능한 매체
JP4182743B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP2006520156A (ja) 非カテゴリ情報によるテレビジョン推奨の生成
JP2011128981A (ja) 検索装置及び検索方法
JP2007294020A (ja) 記録再生方法、記録再生装置、記録方法、記録装置、再生方法および再生装置
JP4359878B2 (ja) 操作履歴情報収集方法及び操作履歴情報収集装置
JP4314568B2 (ja) テレビジョン番組検索方法及びテレビジョン番組検索装置
US7590333B2 (en) Image extraction from video content
JP4235949B2 (ja) テレビジョン番組検索方法及びテレビジョン番組検索装置
KR101220080B1 (ko) 실시간 인기 키워드에 대한 대표 문구 제공 방법 및 시스템
JP4924866B2 (ja) 情報処理装置、情報処理方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060630

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090409

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090424

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090619

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090717

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090730

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120821

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120821

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120821

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120821

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130821

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees