JP4255060B2 - 付随情報管理方法、その装置、そのプログラム及び該プログラムを記憶した媒体 - Google Patents

付随情報管理方法、その装置、そのプログラム及び該プログラムを記憶した媒体 Download PDF

Info

Publication number
JP4255060B2
JP4255060B2 JP2003110358A JP2003110358A JP4255060B2 JP 4255060 B2 JP4255060 B2 JP 4255060B2 JP 2003110358 A JP2003110358 A JP 2003110358A JP 2003110358 A JP2003110358 A JP 2003110358A JP 4255060 B2 JP4255060 B2 JP 4255060B2
Authority
JP
Japan
Prior art keywords
accompanying
frame
information
accompanying information
range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003110358A
Other languages
English (en)
Other versions
JP2004320339A (ja
Inventor
健人 宮奥
明人 阿久津
宏樹 重吉
佳伸 外村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2003110358A priority Critical patent/JP4255060B2/ja
Publication of JP2004320339A publication Critical patent/JP2004320339A/ja
Application granted granted Critical
Publication of JP4255060B2 publication Critical patent/JP4255060B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、動画映像(以下、単に映像と呼ぶ。)など、連続した一定の単位のデータ(以下、フレームと呼ぶ。)の集合により構成されるコンテンツに、当該コンテンツに関連する情報を付随させ流通させるための技術に関する。
【0002】
【従来の技術】
近年、映画やドラマ、ミュージッククリップ、アニメなどの映像コンテンツをインターネットなどのネットワーク経由で提供するシステムが普及してきている。このようなシステムによって、ユーザは、オンデマンドに視聴したい映像コンテンツを視聴できる。さらに、映像コンテンツに当該映像に関連する情報を付随させることにより、ユーザが必要に応じて関連情報を参照できるような映像視聴システムも開発されている。
【0003】
例えば、特開2002−209204号公報「放送情報に関連した情報の取得方法及びシステム並びに装置」に記載のシステムを用いると、ユーザは映像中のあるシーンに気になる情報を見つけた際、該当シーンに関するより詳細な付随情報を検索し参照できる。具体的には、ユーザが映像視聴中に、気になる情報を見つけた時点で、システムの提供するボタンを押す。すると、サーバの情報ベースに管理されている該当シーンに付随されたWebページへのリンク情報が取得される。ユーザはリンク情報を選択することで、該当シーンに関する詳細な付随情報のWebページを参照できる。この他にも、各種の映像に同期して付随情報を提供するシステムが開発されている。
【0004】
コンテンツに付随情報を付随させる際には、コンテンツ中のどの部分に該情報が付随されているのかという情報を管理しておく必要がある。このような情報は一般にメタ情報と呼ばれる。映像コンテンツに関するメタ情報の記述言語はMPEG7として標準化されている。映像コンテンツに関連情報を付随させて提供する上記システムでは、MPEG7などを用いることで映像と関連情報の対応関係を管理している。
【0005】
【特許文献1】
特開2002−209204号公報
【0006】
【発明が解決しようとする課題】
前述したようなシステムにより実現される映像配信サービスでは、配信映像を提供する側が、映像コンテンツに付随する情報をも用意して提供するのが一般的である。しかし、コンテンツプロバイダやコンテンツ作成に協力したスポンサーが主体となって付随させるような情報は、宣伝広告的なもの、一辺倒なものとなりがちである。
【0007】
一方、ユーザにとっては、単に付随された情報を参照するだけでなく、自らが情報を付随させ発信したいという要望もあると考えられる。
【0008】
ユーザが配信映像に対して、自由に情報を付随させ発信できるようになれば、幅広い情報源から得られた多様な情報、さまざまな価値観によるメッセージなどが付随情報として流通できる。この結果、付随情報は、ユーザにとってより魅力的なものになる。
【0009】
ユーザが視聴中の映像に何らかの情報を付随させて発信するための手順は、きわめて簡易なものであることが求められる。情報発信のための操作が、あまりに複雑だったり、面倒だったりすると、ほとんどのユーザはわざわざ情報を発信しようとは思ってくれない。情報発信操作が簡易であればこそ、多くのユーザが情報を発信し、多様な付随情報が流通していくことが期待できる。
【0010】
しかしながら、映像のある部分に情報を付随させる手続きは煩雑な操作を伴う。映像シーンに対して情報を付随させる際には、対象シーンを指定する必要がある。これは対象シーンの始点フレームと、終点フレームを指定することでなされる。具体的には、巻き戻し再生や、早速りなどの映像再生制御を行いつつ、始点フレームと終点フレームを指定する。
【0011】
このような操作は、一般のユーザにとって気軽に行えるものではない。
【0012】
本発明は、上記の点を鑑みてなされたものであり、ユーザが配信コンテンツに付随させたい情報を発信する際の操作を簡単化することを目的とする。
【0013】
【課題を解決するための手段】
本発明による付随情報管理方法を用いるシステムでは、ユーザが付随情報を発信する際に、付随情報の付随対象となるフレームの範囲を表す付随対象範囲を指定しない。ユーザは情報を付随させたいと思ったシーン中の任意のフレームを付随対象フレームとして指定し、付随させたい情報を登録するだけでよい。
【0014】
本発明による付随情報管理方法は、登録された情報を、付随情報を要求するユーザに提供した際、提供した情報がユーザによって参照されたどうかに応じて、登録された付随情報の付随対象範囲を推定していく。このことにより、付随情報の登録時にユーザがコンテンツ中の対象範囲を指定する操作をしなくとも、動的に適当な範囲に情報が付随されるようにしている。
【0015】
具体的には、第1の発明では、登録された付随情報を登録時に、付随対象範囲へ適当に付随させておき、以降、付随情報を要求したユーザに対して前記登録された付随情報を提供した結果、それが参照されなかったら、コンテンツ中の連続するフレームの集合であって、付随情報の要求時に入力された識別子のフレームを含み、かつ、付随対象フレームを含まない集合を、前記提供した付随情報の付随対象範囲から除外していくことで付随対象範囲を調整していく。
【0016】
第2の発明では、上記の方法における考え方を基本とし、さらに、前記付随情報要求時に入力された前記フレーム識別子に対応して前記提供した付随情報が、提供先において参照されたか否かを検出し、記憶しておくステップを設ける。
【0017】
そして、前記ステップにおいて記憶されている、付随情報要求時に入力された各フレームの識別子に対応して提供した付随情報が提供先で参照されたか否かという情報を利用し、前記付随情報要求時に入力された各フレームの識別子から有意非参照アクセスフレームを決定し、コンテンツ中の連続するフレームの集合であって、前記有意非参照アクセスフレームを含み、かつ、付随対象フレームを含まない集合を、前記提供した付随情報の付随対象範囲から除外することにより付随対象範囲を調整していく。
【0018】
第3の発明では、登録された付随情報を登録時に、付随対象範囲へ適当に付随させておき、以降、付随情報を要求したユーザに対して前記登録された付随情報を提供した結果、前記提供した付随情報が提供先において参照された場合に、コンテンツ中の連続するフレームの集合であって、前記付随情報要求時に入力された識別子のフレームを含み、かつ、付随対象フレームを含まない集合の一部分を、前記提供した付随情報の付随対象範囲へ追加し拡張することにより付随対象範囲を調整していく。
【0019】
また、第4、第5の発明では、上記の各方法を組み合わせることで、動的に適当な付随対象範囲を設定するようにしている。
【0020】
【発明の実施の形態】
あらかじめ、本発明の一用途を明示するために、まず、図1を用いて、本発明による付随情報管理方法が適用され得るシステムの一構成例、ここでは映像配信システムの例について説明する。
【0021】
図1に示すシステムは、映像配信装置1と、映像視聴装置2と、本発明による付随情報管理方法を実行する映像付随情報管理装置3とがネットワーク(図示せず)を介して接続されて構成されている。
【0022】
映像視聴装置2は、映像配信装置1から配信される映像を再生する。また、その映像に付随される付随情報を参照もしくは発信するための装置である。
【0023】
この映像視聴装置2は、配信された映像を視聴するための映像再生手段21と、付随情報を参照するための付随情報参照手段22と、付随情報を発信するための付随情報発信手段23とを具備する。
【0024】
また、映像付随情報管理装置3は、付随情報が映像中のどの部分に関連付けられているかという情報を付随情報管理データベース4に管理している。具体的には、付随情報管理データベース4内で、付随情報識別子毎に付随情報の実体が対応付けられて管理されている場合、さらに、図2に示すように、各付随情報識別子に対して、付随対象となる映像中の範囲を、その始点フレームと終点フレームによって管理している。
【0025】
付随情報の実体は、テキスト情報や、WWW上のサーバにあるコンテンツである。後者の場合、映像付随情報管理装置では、そのURLを付随情報の実体として管理する。また付随情報には、該当する情報の内容を示すタイトルや、アイコン画像などが含まれることもある。
【0026】
図1に示すシステムによって、ユーザが映像に付随される情報を参照する際の動作と、ユーザが映像に情報を付随して発信する際の動作を説明する。
【0027】
付随情報を参照する際、ユーザは映像を視聴中、付随情報が見たいと思った時点で、付随情報参照手段22の提供するマーキングボタンを押す。すると、付随情報参照手段22が、映像再生手段12より再生中の映像フレーム識別子を取得し、これを映像付随情報管理装置3へ送信することにより付随情報を要求する。
【0028】
映像付随情報管理装置3は受信された映像フレーム識別子をキーに付随情報管理データベース4を検索し、該フレームを含む範囲に付随されている付随情報のリスト(付随情報リスト)を取得し、これを付随情報参照手段22へ返信する。
【0029】
付随情報参照手段22は、取得された付随情報リストをユーザに提示する。付随情報に、該当する情報の内容を示すタイトルや、アイコン画像が含まれる場合、付随情報リストは、タイトルのリスト、あるいはアイコン画像のリストとしてユーザに提示される。
【0030】
さらに、ユーザが提示された付随情報リストから所望する付随情報を選択することによって、該当する付随情報が提示される。付随情報がURLであれば、該当するWebサーバからコンテンツが取得され提示される。
【0031】
さらに、この後、ユーザが該当の付随情報を参照したという旨を通知する付随情報参照通知が、付随情報参照手段22から映像付随情報管理装置3へ送られる。この付随情報参照通知は、該付随情報を検索するために用いられたフレーム識別子と、該付随情報の識別子を含んでいる。なお、付随情報参照通知は、本発明の付随情報管理方法がその処理に用いるための情報である。
【0032】
付随情報参照通知を送出するために、付随情報参照手段22には、ユーザが任意の付随情報を参照したことを識別する仕組みが具備される。
【0033】
この仕組みは、例えば、
(1)付随情報リストとして付随情報のタイトルを表示しておき、ユーザによって、リスト中の付随情報が選択されて提示された時点で該付随情報を参照されたとみなす仕組み、
(2)ユーザによって、リスト中の付随情報が選択されて提示された後、一定期間、ユーザに参照された時点で該付随情報を参照されたとみなす仕組み、
(3)ユーザによって、リスト中の付随情報が選択されて提示された後、ユーザが該付随情報に対してこれを詳しく閲覧するためのスクロール操作や、ハイパーリンクの参照等を行った時点で該付随情報を参照されたとみなす仕組み、
などが考えられる。
【0034】
一方、付随情報を発信する際も、ユーザは映像を視聴中、情報を付随させたいと思った時点で、付随情報発信手段23の提供するマーキングボタンを押す。すると、付随情報発信手段23が、映像再生手段21より再生中の映像フレーム識別子を取得する。さらに、付随情報発信手段23によりユーザが発信したい情報を入力する。入力する情報は、テキストメッセージや、付随させたいWebコンテンツのURLなどである。さらに、メッセージのタイトルや、Webコンテンツのタイトル、あるいは、内容を抽象するアイコンを指定する場合もある。
【0035】
ユーザが付随情報を付随情報発信手段23へ入力した時点で、付随情報発信手段23は、映像フレーム識別子と付随情報を映像付随情報管理装置3へ送信する。これにより、付随情報の発信登録処理が完了する。
【0036】
上述したシステム及びその動作例は、本発明による付随情報管理方法ならびに装置の一利用形態である。
【0037】
本発明の付随情報管理方法は、上述のような手順でユーザにより登録された付随情報が、コンテンツ中のどの範囲に対応付けられるものかを動的に規定する方法である。本発明の方法は、登録された付随情報を付随するべき範囲を、別のユーザの付随情報検索要求に対して付随情報を提供した際、前記ユーザがこれを参照したかどうかという情報(付随情報参照通知)を利用する。
【0038】
結果として、本発明による映像付随情報管理装置は、付随情報登録時の入力情報を映像フレーム識別子、付随情報のみとし、かつ、付随情報検索要求時の入力情報を映像フレーム識別子のみとできる。
【0039】
図3には、本発明による映像付随情報管理装置3を構成する手段と、各手段への入力情報及び出力情報を示す。
【0040】
映像付随情報管理装置3は、付随情報登録手段31と、付随情報提供手段32と、参照・非参照検出管理手段33と、アクセスフレーム管理テーブル34と、付随対象範囲変更手段35とを具備する。
【0041】
なお、図3に示す入力情報/出力情報は必須となる項目を示している。例えば、付随情報検索要求の出力として付随情報リスト(付随情報識別子のリスト)の他に、各付随情報のタイトル、もしくは、対応するアイコン情報が含まれても良い。
【0042】
また、上述の説明及び図3において、映像付随情報管理装置3は、単一の映像に関する付随情報のみを管理するものとしている。映像付随情報管理装置3が複数の映像に関する付随情報を管理する場合には、付随情報検索要求時及び付随情報発信時に、対象とする映像を特定するための情報である映像識別子が併せて入力されることになる。
【0043】
映像付随情報管理装置3が複数の映像に関する付随情報管理データベース4を管理し、入力として映像識別子を受け取る場合、映像識別子に基づいて処理の対象となる付随情報管理データベース4を選択するステップが追加される。
【0044】
この点を除いては、単一の映像に関する付随情報のみを管理する映像付随情報管理装置における処理と同様である。したがって、説明の簡単化のため、以降では、単一の映像に関する付随情報のみを管理する映像付随情報管理装置を対象として記載する。
【0045】
以下に、本発明による付随情報管理方法について説明する。
【0046】
まず、請求項1に記載の付随情報管理方法について、図4のフローチャートを用いて説明する。ここで、請求項1の付随情報管理方法を、非参照アクセスフィードバック法と呼ぶ。
【0047】
<非参照アクセスフィードバック法>
上記の動作例のように、付随情報登録の際の映像付随情報管理装置への入力情報が、映像フレーム識別子、付随情報のみである場合、登録時点では、入力された該付随情報が映像中のどの範囲に付随させるべきものなのか判別し得ない。登録時点で知り得るのは、付随対象となるのは、少なくとも付随情報とともに入力された映像フレーム識別子のフレーム(以下、これを「付随対象フレーム」という)を含む範囲であろうことのみである。
【0048】
非参照アクセスフィードバック法は、付随情報参照通知を利用して、対象となる付随情報が対応付けられるべき範囲を推定していくためのもっともシンプルなアプローチである。
【0049】
この方法では、任意のフレームに関する付随情報要求に対して提供した付随情報が、参照されなかった場合に、該付随情報の付随対象範囲のうち、前記任意のフレームを含み、かつ、付随対象フレームを含まない連続範囲を削除する、ことによって対象範囲を動的に設定する。
【0050】
ここで、付随情報要求の対象となったフレームをアクセスフレームと言う。また、該フレームへの付随情報要求によって提供した付随情報が参照された場合、前記フレームを参照アクセスフレームと言う。一方、該フレームへの付随情報要求によって提供した付随情報が参照されなかった場合、前記フレームを非参照アクセスフレームと言う。
【0051】
また、以降の本発明の説明においては、図5に示すように、情報の付随対象となるN+1フレームから成る映像の、開始フレーム識別子を0、最終フレーム識別子をNとし、各映像フレーム識別子は、0からNの整数で示すものとする。
【0052】
映像中の付随対象範囲は、その始点フレームと、終点フレームで囲まれるフレームの集合として定義できる。以下の説明では。任意の始点フレーム識別子がs0であるフレームs0と終点フレーム識別子がe0であるフレームe0で定義される映像中の範囲(フレームの集合)を、集合の表記を用い、[s0,e0]として記載する。
【0053】
非参照アクセスフィードバック法は以下の手順で、任意の映像フレーム識別子f0を付随対象フレームとして指定し入力された付随情報の付随対象範囲を設定していく。
【0054】
[STEP1]
まず、付随情報発信処理により、映像フレーム(付随対象フレーム)識別子f0、付随情報が入力された時点で、入力された前記付随情報の識別子をi0とする。そして、識別子i0の付随情報が付随される範囲[s0,e0]を、まず、前記付随情報の付随対象範囲を対象映像全体、すなわち、[0,N]とする(s1)。
【0055】
さらに、付随対象フレームf0に対応して識別子i0の付随情報が入力されたことを管理しておく。
【0056】
[STEP2]
次に、付随情報要求処理により、識別子i0の付随情報の付随対象範囲[s0,e0]に含まれる映像フレーム識別子fXがアクセスフレームとして入力された時点で、識別子i0の付随情報を出力する(s2,s3)。
【0057】
この際、映像フレームfXに対応して識別子i0の付随情報を出力したことを管理しておく。
【0058】
[STEP3]
所定の期間内に、アクセスフレームfXに対応する付随情報参照通知として付随情報識別子i0が受信されない場合、前記識別子i0の付随情報は参照されなかったものとみなし、フレームfXを非参照アクセスフレームとする(s4,s5)。
【0059】
[STEP4]
フレームfXが非参照アクセスフレームである場合に、下記手順で付随対象範囲[s0,e0]を更新する。
【0060】
f0<fXであれば、e0=fX−1とし、識別子i0の付随情報の付随対象範囲を[s0,fX−1]とする。
【0061】
一方、f0>fXであれば、s0=fX+1とし、識別子i0の付随情報の付随対象範囲を[fX+1,e0]とする。
【0062】
なお、f0=fXである場合には、識別子i0の付随情報の付随対象範囲[s0,e0]は変更しない(ここでは、付随対象フレームf0に対する非参照アクセスは発生しないと仮定している。)(s6,s7,s8)。
【0063】
以降、更新された識別子i0の付随情報の付随対象範囲[s0,e0]に対して、再度[STEP2]、[STEP3]、[STEP4]の手順を繰り返すことにより、識別子i0の付随情報の付随対象範囲を設定していく。
【0064】
なお、本発明の第1の映像付随情報管理装置3では、前記付随情報登録手段31が上記[STEP1]を実施し、前記付随情報提供手段32が上記[STEP2]を実施し、前記参照・非参照検出管理手段33が上記[STEP3]を実施し、前記付随対象範囲変更手段35が上記[STEP4]を実施するとともに、付随情報管理データベース4内の識別子i0の付随情報に関する付随対象範囲を逐次変更していく。
【0065】
<有意非参照アクセスフィードバック法>
次に、請求項2に記載の付随情報管理方法について、図6のフローチャートを用いて説明する。ここで、請求項2の付随情報管理方法を、有意非参照アクセスフィードバック法と呼ぶ。
【0066】
前述した単純な非参照アクセスフィードバック法では、任意のフレームfXに対する一回の非参照アクセス(提供した付随情報が参照されない付随情報要求)によって、フレームfXを含む範囲を、付随対象範囲から除外してしまう。
【0067】
しかしながら、提供された付随情報がその範囲に付随されるべき情報であっても、ユーザが興味を有さない情報であったために参照されないケースもある。有意非参照アクセスフィードバック法は、この点を考慮したものであり、所定の付随情報に対する複数の付随情報要求に対する参照アクセスフレーム/非参照アクセスフレーム情報を累積し、そこから有意性のある非参照アクセスフレームを推測するステップを有する方法である。
【0068】
以下に、有意非参照アクセスフィードバック法の手順を示す。
【0069】
[STEP1]
まず、付随情報発信処理により、付随対象フレーム識別子f0、付随情報が入力された時点で、入力された前記付随情報の識別子をi0とする。そして、識別子i0の付随情報が付随される範囲[s0,e0]を、まず、前記付随情報の付随対象範囲を対象映像全体、すなわち、[0,N]とする(s11)。
【0070】
さらに、付随対象フレームf0に対応して識別子i0の付随情報が入力されたことを管理しておく。
【0071】
[STEP2]
次に、付随情報要求処理により、識別子i0の付随情報の付随対象範囲[s0,e0]に含まれる映像フレーム識別子fXnがアクセスフレームとして入力された時点で、識別子i0の付随情報を出力する(s12,s13)。
【0072】
この際、該フレームfXnに対応して識別子i0の付随情報を出力したことを管理しておく。
【0073】
[STEP3]
アクセスフレームfXnに対応する付随情報参照通知として付随情報識別子i0が受信された場合、フレームfXnを参照アクセスフレームとして管理しておく。
【0074】
一方、所定の期間内に、アクセスフレームfXnに対応する付随情報参照通知として付随情報識別子i0が受信されなかった場合、フレームfXnを非参照アクセスフレームとして管理しておく(s14,s15,s16)。
【0075】
[STEP4]
STEP2、STEP3が所定の条件を満たすまで繰り返された後(s17)、有意非参照アクセスフレームを以下の方法で決定する(s18)。なお、前記所定の条件とは、(1)STEP2、STEP3が既定数M回以上繰り返された。または、(2)非参照アクセスフレームが既定数M個検出された、などである。
【0076】
映像範囲[s0,f0]と、[f0,e0]においてそれぞれ有意非参照アクセスフレームs,eを決定する。
【0077】
まず、s0<s<f0であり、0<k≦1の規定値k、0<m<Mの規定値mに対して、
([s0,s−1]に含まれる非参照アクセスフレーム数)>m、かつ、
([s0,s−1]に含まれる非参照アクセスフレーム数)/([s0,s−1]に含まれるアクセスフレーム数)≧k
を満たすsを決定する。
【0078】
上記条件を満たすsが決定されなければ、sはs0とする。
【0079】
また、f0<e<e0であり、0<k≦1の規定値k、0<m<Mの規定値mに対して、
([e+1,e0]に含まれる非参照アクセスフレーム数)>m、かつ、
([e+1,e0]に含まれる非参照アクセスフレーム数)/([e+1,e0]に含まれるアクセスフレーム数)≧k
を満たすeを決定する。
【0080】
上記条件を満たすeが決定されなければ、eはe0とする。
【0081】
そして、識別子i0の付随情報の付随対象範囲[s0,e0]を[s,e]へ更新する(s19)。
【0082】
以降、更新された識別子i0の付随情報の付随対象範囲[s0,e0]に対して、再度[STEP2]、[STEP3]、[STEP4]の手順を繰り返すことにより、識別子i0の付随情報の付随対象範囲を調整していく。
【0083】
なお、本発明の第2の映像付随情報管理装置3では、前記付随情報登録手段31が上記[STEP1]を実施し、前記付随情報提供手段32が上記[STEP2]を実施し、前記参照・非参照検出管理手段33が上記[STEP3]を実施し、前記アクセスフレーム管理テーブル34において図7に示すような構造で、各アクセスフレームが参照アクセスフレームなのか非参照アクセスフレームなのかを管理していく。
【0084】
そして、前記付随対象範囲変更手段35が上記[STEP4]を実施するとともに、付随情報管理データベース内の識別子i0の付随情報に関する付随対象範囲を逐次変更していく。
【0085】
[非参照・有意非参照アクセスフィードバック法の拡張]
前述した非参照・有意非参照アクセスフィードバック法の説明では、[STEP1]の手順において、付随対象範囲[s0,e0]の初期値を、対象映像全体[0,N]としている。
【0086】
しかし、このように付随対象範囲の初期値を広範囲に仮定すると、発信情報が付随されるべきでない範囲に付随され、不要に提供されてしまう確率が高くなる。
【0087】
この問題を改善するために、以下のような方策を用いることができる。
【0088】
(方策1)[STEP1]において、付随情報発信処理により、付随対象フレームの識別子f0、付随情報が入力された時点で、入力された前記付随情報の識別子をi0とする。そして、識別子i0の付随情報が付随される範囲[s0,e0]を、前記付随情報の付随対象範囲[f0−W,f0+W](Wは規定値)とする。
【0089】
(方策2)付随対象となる映像の構造情報が事前に知られている場合、この映像構造情報を用いて、[STEP1]において付随対象範囲を定めることが考えられる。
【0090】
例えば、付随対象映像が、N個のシーン(連続するフレームの集合)に分割できる構造を有していたとする。この場合、[STEP1]において、フレームf0を含むシーンを識別子i0の付随情報が付随される範囲[s0,e0]に設定することができる。
【0091】
これらの方策は、付随対象範囲の初期値を限定された範囲とすることで、発信情報が付随されるべきでない範囲に付随され、不要に提供されてしまう確率を低減できる。しかし、実際に付随されるべき範囲が[STEP1]において設定される初期値より広範囲に及ぶ場合、それを検出できないという欠点がある。
【0092】
以降、この問題を回避することを意図して発明した方法について説明する。
【0093】
<参照アクセスフィードバック法>
請求項3に記載の付随情報管理方法について、図8のフローチャートを用いて説明する。ここで、請求項3の映像付随情報管理方法を、参照アクセスフィードバック法と呼ぶ。
【0094】
参照アクセスフィードバック法は、初期に設定する付随対象範囲を小さな範囲に制限しておき、以降の参照アクセスの発生に伴って付随対象範囲を拡大していくものである。
【0095】
参照アクセスフィードバック法は以下の手順で、任意の映像フレーム識別子のを付随対象フレームとして指定し入力された付随情報の付随対象範囲を設定していく。
【0096】
[STEP1]
まず、付随情報発信処理により、映像フレーム(付随対象フレーム)識別子f0、付随情報が入力された時点で、入力された前記付随情報の識別子をi0とする。そして、識別子i0の付随情報が付随される範囲[s0,e0]を、フレームf0を中心とした2*W+1個(W>0)の連続するフレーム集合とする。すなわち、s0=f0−W,e0=f0+Wとし、前記付随情報の付随対象範囲を[f0−W,f0+W]とする。但し、f0−W<0であれば、s0=0とし、f0+W>Nであればe0=Nとする(s21)。
【0097】
さらに、付随対象フレームf0に対応して識別子i0の付随情報が入力されたことを管理しておく。
【0098】
[STEP2]
次に、付随情報要求処理により、識別子i0の付随情報の付随対象範囲[s0,e0]に含まれる映像フレーム識別子fXがアクセスフレームとして入力された時点で、識別子i0の付随情報を出力する(s22,s23)。
【0099】
この際、映像フレームfXに対応して識別子i0の付随情報を出力したことを管理しておく。
【0100】
[STEP3]
アクセスフレームfXに対する参照付随情報識別子として識別子i0が受信された場合、フレームfXが参照アクセスフレームであることを検出する(s24,s25)。
【0101】
[STEP4]
フレームfXが参照アクセスフレームである場合に、下記手順で付随対象範囲[s0,e0]を更新する(s26,s27,s28)。
【0102】
f0≦fX、かつ、e0<fX+Wであれば、e0=fX+Wとし、識別子i0の付随情報の付随対象範囲を[s0,fX+W]とする。但し、fX+W>Nであればe0=Nとする。
【0103】
一方、f0>fX、かつ、s0>fX−Wであれば、s0=fX−Wとし、識別子i0の付随情報の付随対象範囲を[fX−W,e0]とする。但し、fX−W<0であれば、s0=0とする。
【0104】
以降、更新された識別子i0の付随情報の付随対象範囲[s0,e0]に対して、再度[STEP2]、[STEP3]、[STEP4]の手順を繰り返すことにより、識別子i0の付随情報の付随対象範囲を設定していく。
【0105】
なお、本発明の第3の映像付随情報管理装置3では、前記付随情報登録手段31が上記[STEP1]を実施し、前記付随情報提供手段32が上記[STEP2]を実施し、前記参照・非参照検出管理手段33が上記[STEP3]を実施し、前記付随対象範囲変更手段35が上記[STEP4]を実施するとともに、付随情報管理データベース4内の識別子i0の付随情報に関する付随対象範囲を逐次変更していく。
【0106】
<参照・非参照アクセスフィードバック法>
請求項4に記載の付随情報管理方法について、図9、図10のフローチャートを用いて説明する。ここで、請求項4の映像付随情報管理方法を、参照・非参照アクセスフィードバック法と呼ぶ。
【0107】
参照・非参照アクセスフィードバック法は、前記の参照アクセスフィードバック法と、非参照アクセスフィードバック法のハイブリッド方式である。
【0108】
上述した単純な参照アクセスフィードバック法では、非参照アクセスフレームの存在を考慮しない。このため、非参照参照アクセスフィードバック法とのハイブリッド方式において、付随対象範囲[s0,e0]の近傍において、既に非参照アクセスフレームfq(e0<fq<e0+W)が検出され、そのフレームが付随対象候補でないことが確定している場合でも、現在の付随参照範囲の端点フレームe0が参照アクセスフレームと検出されれば、前記非参照アクセスフレームを含む[s0,e0+W]を再び付随対象範囲としてしまう。
【0109】
このような事態を回避するために、付随対象範囲の両端において、非参照アクセスフレームの検出による範囲調整がなされた後には、参照アクセスフレームの検出による範囲拡張は停止するものとする。
【0110】
以下に示す手順においては、付随対象範囲の両端において、非参照アクセスフレームの検出による範囲調整がなされたことをフラグL,Rを用いて識別している。
【0111】
参照・非参照アクセスフィードバック法の手順を以下に示す。
【0112】
[STEP1]
まず、付随情報発信処理により、映像フレーム(付随対象フレーム)識別子f0、付随情報が入力された時点で、入力された前記付随情報の識別子をi0とする。そして、識別子i0の付随情報が付随される範囲[s0,e0]を、フレームf0を中心とした2*W+1個(W>0)の連続するフレーム集合とする。すなわち、s0=f0−W,e0=f0+Wとし、前記付随情報の付随対象範囲を[f0−W,f0+W]とする。但し、f0−W<0であれば、s0=0とし、f0+W>Nであればe0=Nとする(s31)。
【0113】
さらに、付随対象フレームf0に対応して識別子i0の付随情報が入力されたことを管理しておく。
【0114】
さらに、フラグL=0,R=0としておく(s31)。
【0115】
[STEP2]
次に、付随情報要求処理により、識別子i0の付随情報の付随対象範囲[s0,e0]に含まれる映像フレーム識別子fXがアクセスフレームとして入力された時点で、識別子i0の付随情報を出力する(s32,s33)。
【0116】
この際、映像フレームfXに対応して識別子i0の付随情報を出力したことを管理しておく。
【0117】
[STEP3]
アクセスフレームfXに対する参照付随情報識別子として識別子i0が受信された場合、すなわち、フレームfXが参照アクセスフレームであることを検出する。
【0118】
一方、所定の期間内に、アクセスフレームfXに対応する付随情報参照通知として付随情報識別子i0が受信されない場合、前記識別子i0の付随情報は参殿されなかったものとみなし、フレームfXを非参照アクセスフレームと判断する(s34,s35,s36)。
【0119】
[STEP4]
フレームfXが参照アクセスフレームである場合に、下記手順で付随対象範囲[s0,e0]を更新する(s37)(図10中、s37a,s37b,s37c)。
【0120】
フラグR=0、かつ、f0≦fX、かつ、e0<fX+Wであれば、e0=fX+Wとし、識別子i0の付随情報の付随対象範囲を[s0,fX+W]とする。但し、fX+W>Nであればe0=Nとする。
【0121】
一方、フラグL=0、かつ、f0>fX、かつ、s0>fX−Wであれば、s0=fX−Wとし、識別子i0の付随情報の付随対象範囲を[fX−W,e0]とする。但し、fX−W<0であれば、s0=0とする。
【0122】
[STEP5]
フレームfXが非参照アクセスフレームである場合に、下記手順で付随対象範囲[s0,e0]を更新する(s38)(図10中、s38a,s38b,s38c)。
【0123】
f0<fXであれば、e0=fX−1とし、識別子i0の付随情報の付随対象範囲を[s0,fX−1]とする。そして、R=1とする。
【0124】
一方、f0>fXであれば、s0=fX+1とし、識別子i0の付随情報の付随対象範囲を[fX+1,e0]とする。そして、L=1とする。
【0125】
なお、f0=fXである場合には、識別子i0の付随情報の付随対象範囲[s0,e0]は変更しない(ここでは、付随対象フレームf0に対する非参照アクセスは発生しないと仮定している。)。
【0126】
以降、更新された識別子i0の付随情報の付随対象範囲[s0,e0]に対して、再度[STEP2]、[STEP3]、[STEP4]、[STEP5]の手順を繰り返すことにより、識別子i0の付随情報の付随対象範囲を設定していく。
【0127】
なお、本発明の第4の映像付随情報管理装置3では、前記付随情報登録手段31が上記[STEP1]を実施し、前記付随情報提供手段32が上記[STEP2]を実施し、前記参照・非参照検出管理手段33が上記[STEP3]を実施し、前記付随対象範囲変更手段35が上記[STEP4]、[STEP5]を実施するとともに、付随情報管理データベース4内の識別子i0の付随情報に関する付随対象範囲を逐次変更していく。
【0128】
<参照・有意非参照アクセスフィードバック法>
請求項5に記載の付随情報管理方法について、図11、図12のフローチャートを用いて説明する。ここで、請求項5の映像付随情報管理方法を、参照・有意非参照アクセスフィードバック法と呼ぶ。
【0129】
参照・有意非参照アクセスフィードバック法は、前記の参照アクセスフィードバック法と、有意非参照アクセスフィードバック法のハイブリッド方式である。
【0130】
参照・有意非参照アクセスフィードバック法の手順を以下に示す。
【0131】
[STEP1]
まず、付随情報発信処理により、映像フレーム(付随対象フレーム)識別子f0、付随情報が入力された時点で、入力された前記付随情報の識別子をi0とする。そして、識別子i0の付随情報が付随される範囲[s0,e0]を、フレームf0を中心とした2*W+1個(W>0)の連続するフレーム集合とする。すなわち、s0=f0−W,e0=f0+Wとし、前記付随情報の付随対象範囲を[f0−W,f0+W]とする。但し、f0−W<0であれば、s0=0とし、f0+W>Nであればe0=Nとする。
【0132】
さらに、付随対象フレームf0に対応して識別子i0の付随情報が入力されたことを管理しておく。
【0133】
さらに、フラグL=0,R=0としておく(s41)。
【0134】
[STEP2]
次に、付随情報要求処理により、識別子i0の付随情報の付随対象範囲[s0,e0]に含まれる映像フレーム識別子fXnがアクセスフレームとして入力された時点で、識別子i0の付随情報を出力する(s41,s43)。
【0135】
この際、映像フレームfXnに対応して識別子i0の付随情報を出力したことを管理しておく。
【0136】
[STEP3]
アクセスフレームfXnに対する参照付随情報識別子として識別子i0が受信された場合、すなわち、フレームfXnが参照アクセスフレームである場合に、下記手順で付随対象範囲[s0,e0]を更新する(s44,s45,s46,s47,s48)。
【0137】
フラグR=0、かつ、f0≦fXn、かつ、e0<fXn+Wであれば、e0=fXn+Wとし、識別子i0の付随情報の付随対象範囲を[s0,fXn+W]とする。但し、fXn+W>Nであればe0=Nとする。
【0138】
一方、フラグL=0、かつ、f0>fXn、かつ、s0>fXn−Wであれば、s0=fXn−Wとし、識別子i0の付随情報の付随対象範囲を[fXn−W,e0]とする。但し、fXn−W<0であれば、s0=0とする。
【0139】
[STEP4]
STEP3においてアクセスフレームfXnに対応する付随情報参照通知として付随情報識別子i0が受信された場合に、フレームfXnを参照アクセスフレームとして管理しておく。一方、所定の期間内に、アクセスフレームfXnに対応する付随情報参照通知として付随情報識別子i0が受信されなかった場合、フレームfXnを非参照アクセスフレームとして管理しておく(s49)。
【0140】
[STEP5]
STEP2、STEP3、STEP4が所定の条件を満たすまで繰り返された後、有意非参照アクセスフレームを以下の方法で決定する(s50,s51)。なお、前記所定の条件とは、(1)STEP2、STEP3、STEP4が既定数M回以上繰り返された。または、(2)非参照アクセスフレームが既定数M個検出された、などである。
【0141】
映像範囲[s0,f0〕と、[f0,e0]においてそれぞれ有意非参照アクセスフレームs,eを決定する。
【0142】
まず、s0<s<f0であり、0<k≦1の規定値k、0<m<Mの規定値mに対して、
([s0,s−1]に含まれる非参照アクセスフレーム数)>m、かつ、
([s0,s−1]に含まれる非参照アクセスフレーム数)/([s0,s−1]に含まれるアクセスフレーム数)≧kを満たすsを決定する。
【0143】
上記条件を満たすsが決定されれば、L=1とする。そうでなければ、sはs0とする。
【0144】
また、f0<e<e0であり、0<k≦1の規定値k、0<m<Mの規定値mに対して、
([e+1,e0]に含まれる非参照アクセスフレーム数)>m、かつ、
([e+1,e0]に含まれる非参照アクセスフレーム数)/([e+1,e0]に含まれるアクセスフレーム数)≧kを満たすeを決定する。
【0145】
上記条件を満たすeが決定されれば、R=1とする、そうでなければ、eはe0とする。
【0146】
そして、識別子i0の付随情報の付随対象拳固[s0,e0]を[s,e]へ更新する(s52)。
【0147】
以降、更新された識別子i0の付随情報の付随対象範囲[s0,e0]に対して、再度[STEP2]、[STEP3]、[STEP4]、[STEP5]の手順を繰り返すことにより、識別子i0の付随情報の付随対象範囲を調整していく。
【0148】
なお、本発明の第5の映像付随情報管理装置3では、前記付随情報登録手段31が上記[STEP1]を実施し、前記付随情報提供手段32が上記[STEP2]を実施し、前記参照・非参照検出管理手段33が上記[STEP3]を実施し、前記アクセスフレーム管理テーブル34において図5に示すような構造で、各アクセスフレームが参照アクセスフレームなのか非参照アクセスフレームなのかを管理していく。
【0149】
そして、前記付随対象範囲変更手段35が上記[STEP4]、[STEP5]を実施するとともに、付随情報管理データベース4内の識別子i0の付随情報に関する付随対象範囲を逐次変更していく。
【0150】
本発明の適用範囲はかならずしも映像のみに限らない。単位時間あたりの再生データを再生フレームとした音楽、音声データに付随情報を対応付け管理する装置にも適用可能である。
【0151】
上述の説明において各映像フレームに該当する部分を音楽再生フレームとみなすことにより、本発明の方法、装置は音楽、音声に対しても実施可能となる。同様に、連続したフレーム集合により構成されるあらゆるメディアの一部分に付随情報を対応付け管理する方法、装置として実施し、利用することができる。
【0152】
【発明の効果】
本発明のいずれの方法及び装置を用いても、ユーザは付随情報を発信する際、コンテンツ中の付随情報を発信したいと思った瞬間のフレームを付随対象フレームとして捉え、そのフレーム識別子と、付随情報を送信すればよい。
【0153】
したがって、本発明によれば、ボタンを一回押すなどの単純なマーキング操作と、付随したい情報を指定する操作だけで、付随情報の発信ができるようになる。
【0154】
このような簡易な操作で付随情報を発信できる上、以降、他のユーザの付随情報参照履歴に伴って、情報の付随範囲が動的に適当な範囲へ調整される。
【0155】
非参照アクセスフィードバック法及び有意非参照アクセスフィードバック法は、付随情報が登録された当初は、付随すべきでない範囲に広く該情報が付随され、不要に提供されてしまうが、比較的少ない回数の非参照アクセスの検出により、付随範囲が動的に適当な範囲へ調整できる。
【0156】
一方、参照アクセスフィードバック法は、付随すべきでないのに情報が付随されてしまう範囲を常に規定値(2*W)以下に抑えることができる。但し、付随すべき範囲が付随情報登録時に設定される範囲よりかなり広い場合、付随範囲が適当な範囲に広がるまでに比較的多くの参照アクセスを検出する必要がある。
【0157】
参照・非参照アクセスフィードバック法及び参照・有意非参照アクセスフィードバック法は性質の異なる前記各手法を複合したものであり、付随情報登録時に設定される範囲を適当な大きさに設定することで、不要に広範囲に情報を付随させてしまう問題や、付随範囲が適切な範囲に調整されるまでに必要なアクセスが増大する問題を改善できる可能性が有る。
【図面の簡単な説明】
【図1】本発明の方法が適用されるシステムの一構成例を示すブロック図
【図2】付随情報管理データベースの構成例を示す説明図
【図3】本発明による映像付随情報管理装置の構成を示すブロック図
【図4】非参照アクセスフィードバック法による処理のフローチャート
【図5】本発明に説明に用いる映像の構成を示す説明図
【図6】有意非参照アクセスフィードバック法による処理のフローチャート
【図7】アクセスフレーム管理テーブルの構成例を示す説明図
【図8】参照アクセスフィードバック法による処理のフローチャート
【図9】参照・非参照アクセスフィードバック法による処理のフローチャート
【図10】参照・非参照アクセスフィードバック法による処理のフローチャート
【図11】参照・有意非参照アクセスフィードバック法による処理のフローチャート
【図12】参照・有意非参照アクセスフィードバック法による処理のフローチャート
【符号の説明】
1:映像配信装置、2:映像視聴装置、3:映像付随情報管理装置、4:付随情報管理データベース、21:映像再生手段、22:付随情報参照手段、23:付随情報発信手段、31:付随情報登録手段、32:付随情報提供手段、33:参照・非参照検出管理手段、34:アクセスフレーム管理テーブル、35:付随対象範囲変更手段。

Claims (16)

  1. 連続したフレームの集合により構成されるコンテンツに当該コンテンツに関連する付随情報を付随させる際の、当該付随情報の付随対象となるフレームの範囲を表す付随対象範囲を管理する方法であって、
    コンテンツを視聴する視聴装置と、該視聴装置とネットワークを介して接続された付随情報管理装置とを用い、
    前記付随情報管理装置が、前記視聴装置から付随情報及び当該付随情報の付随対象となる1つの付随対象フレームf0の識別子が入力された時に、前記付随情報に対する付随対象範囲を前記付随対象フレームf0を含むように設定する第1のステップと、
    前記付随情報管理装置が、前記視聴装置から任意のフレームfXの識別子を入力として付随情報を要求された際に、前記識別子のフレームfXをその付随対象範囲に含む付随情報を検索し提供する第2のステップと、
    前記付随情報管理装置が、前記提供した付随情報が提供先の前記視聴装置で参照されなかったことを検出する第3のステップと、
    前記付随情報管理装置が、前記提供した付随情報が提供先の前記視聴装置で参照されなかった場合に、前記付随対象範囲の始点フレームから前記フレームfXまでの範囲と、前記フレームfXから前記付随対象範囲の終点フレームまでの範囲のいずれか一方で、前記付随対象フレームf0を含まない方の範囲を、前記提供した付随情報の付随対象範囲から除外する第4のステップとを有する
    ことを特徴とする付随情報管理方法。
  2. 連続したフレームの集合により構成されるコンテンツに当該コンテンツに関連する付随情報を付随させる際の、当該付随情報の付随対象となるフレームの範囲を表す付随対象範囲を管理する方法であって、
    コンテンツを視聴する視聴装置と、該視聴装置とネットワークを介して接続された付随情報管理装置とを用い、
    前記付随情報管理装置が、前記視聴装置から付随情報及び当該付随情報の付随対象となる1つの付随対象フレームf0の識別子が入力された時に、前記付随情報に対する付随対象範囲を前記付随対象フレームf0を含むように設定する第1のステップと、
    前記付随情報管理装置が、前記視聴装置から任意のフレームfXの識別子を入力として付随情報を要求された際に、前記識別子のフレームfXをその付随対象範囲に含む付随情報を検索し提供する第2のステップと、
    前記付随情報管理装置が、前記提供した付随情報が提供先の前記視聴装置で参照されたか否かを検出し、記憶しておく第3のステップと、
    前記付随情報管理装置が、第2のステップ及び第3のステップを複数回繰り返した後、前記付随対象範囲の始点フレームs0から前記付随対象フレームf0未満を満たす始点となる有意非参照アクセスフレームsの間の範囲、および、前記付随対象フレームf0超を満たす終点となる有意非参照アクセスフレームeから前記付随対象範囲の終点フレームe0の間の範囲それぞれについて、前記フレームfXが参照されたか否かの情報に基づき、参照されなかったフレーム数が所定数以上、あるいは、参照されなかったフレーム数の割合が所定の割合以上、もしくは、参照されなかったフレーム数が所定数以上かつ参照されなかったフレーム数の割合が所定の割合以上という条件を満たす前記フレームsおよび前記フレームeを求め、前記提供した付随情報の付随対象範囲を前記フレームsから前記フレームeの範囲とする第4のステップとを有する
    ことを特徴とする付随情報管理方法。
  3. 連続したフレームの集合により構成されるコンテンツに当該コンテンツに関連する付随情報を付随させる際の、当該付随情報の付随対象となるフレームの範囲を表す付随対象範囲を管理する方法であって、
    コンテンツを視聴する視聴装置と、該視聴装置とネットワークを介して接続された付随情報管理装置とを用い、
    前記付随情報管理装置が、前記視聴装置から付随情報及び当該付随情報の付随対象となる1つの付随対象フレームf0の識別子が入力された時に、前記付随情報に対する付随対象範囲を前記付随対象フレームf0を含むように設定する第1のステップと、
    前記付随情報管理装置が、前記視聴装置から任意のフレームfXの識別子を入力として付随情報を要求された際に、前記識別子のフレームfXをその付随対象範囲に含む付随情報を検索し提供する第2のステップと、
    前記付随情報管理装置が、前記提供した付随情報が提供先の前記視聴装置で参照されたことを検出する第3のステップと、
    前記付随情報管理装置が、前記提供した付随情報が提供先の前記視聴装置で参照された場合に、所定の幅Wに対して、fX−Wが前記付随対象範囲の始点フレームより小さければ、前記付随対象範囲の始点フレームをfX−Wに設定し、fX+Wが前記付随対象範囲の終点フレームより大きければ、前記付随対象範囲の終点フレームをfX+Wに設定する第4のステップとを有する
    ことを特徴とする付随情報管理方法。
  4. 連続したフレームの集合により構成されるコンテンツに当該コンテンツに関連する付随情報を付随させる際の、当該付随情報の付随対象となるフレームの範囲を表す付随対象範囲を管理する方法であって、
    コンテンツを視聴する視聴装置と、該視聴装置とネットワークを介して接続された付随情報管理装置とを用い、
    前記付随情報管理装置が、前記視聴装置から付随情報及び当該付随情報の付随対象となる1つの付随対象フレームf0の識別子が入力された時に、前記付随情報に対する付随対象範囲を前記付随対象フレームf0を含むように設定する第1のステップと、
    前記付随情報管理装置が、前記視聴装置から任意のフレームfXの識別子を入力として付随情報を要求された際に、前記識別子のフレームfXをその付随対象範囲に含む付随情報を検索し提供する第2のステップと、
    前記付随情報管理装置が、前記提供した付随情報が提供先の前記視聴装置で参照されたか否かを検出する第3のステップと、
    前記付随情報管理装置が、前記提供した付随情報が提供先の前記視聴装置で参照された場合に、所定の幅Wに対して、fX−Wが前記付随対象範囲の始点フレームより小さければ、前記付随対象範囲の始点フレームをfX−Wに設定し、fX+Wが前記付随対象範囲の終点フレームより大きければ、前記付随対象範囲の終点フレームをfX+Wに設定する第4のステップと、
    前記付随情報管理装置が、前記提供した付随情報が提供先の前記視聴装置で参照されなかった場合に、前記付随対象範囲の始点フレームから前記フレームfXまでの範囲と、前記フレームfXから前記付随対象範囲の終点フレームまでの範囲のいずれか一方で、前記付随対象フレームf0を含まない方の範囲を、前記提供した付随情報の付随対象範囲から除外する第5のステップとを有する
    ことを特徴とする付随情報管理方法。
  5. 連続したフレームの集合により構成されるコンテンツに当該コンテンツに関連する付随情報を付随させる際の、当該付随情報の付随対象となるフレームの範囲を表す付随対象範囲を管理する方法であって、
    コンテンツを視聴する視聴装置と、該視聴装置とネットワークを介して接続された付随情報管理装置とを用い、
    前記付随情報管理装置が、前記視聴装置から付随情報及び当該付随情報の付随対象となる1つの付随対象フレームf0の識別子が入力された時に、前記付随情報に対する付随対象範囲を前記付随対象フレームf0を含むように設定する第1のステップと、
    前記付随情報管理装置が、前記視聴装置から任意のフレームfXの識別子を入力として付随情報を要求された際に、前記識別子のフレームfXをその付随対象範囲に含む付随情報を検索し提供する第2のステップと、
    前記付随情報管理装置が、前記提供した付随情報が提供先の前記視聴装置で参照されたか否かを検出し、記憶しておく第3のステップと、
    前記付随情報管理装置が、前記提供した付随情報が提供先の前記視聴装置で参照された場合に、所定の幅Wに対して、fX−Wが前記付随対象範囲の始点フレームより小さければ、前記付随対象範囲の始点フレームをfX−Wに設定し、fX+Wが前記付随対象範囲の終点フレームより大きければ、前記付随対象範囲の終点フレームをfX+Wに設定する第4のステップと、
    前記付随情報管理装置が、第2のステップ、第3のステップ及び第4のステップを複数回繰り返した後、前記付随対象範囲の始点フレームs0から前記付随対象フレームf0未満を満たす始点となる有意非参照アクセスフレームsの間の範囲、および、前記付随対象フレームf0超を満たす終点となる有意非参照アクセスフレームeから前記付随対象範囲の終点フレームe0の間の範囲それぞれについて、前記フレームfXが参照されたか否かの情報に基づき、参照されなかったフレーム数が所定数以上、あるいは、参照されなかったフレーム数の割合が所定の割合以上、もしくは、参照されなかったフレーム数が所定数以上かつ参照されなかったフレーム数の割合が所定の割合以上という条件を満たす前記フレームsおよび前記フレームeを求め、前記提供した付随情報の付随対象範囲を前記フレームsから前記フレームeの範囲とする第5のステップとを有する
    ことを特徴とする付随情報管理方法。
  6. コンテンツを視聴する視聴装置とネットワークを介して接続され、連続したフレームの集合により構成されるコンテンツに当該コンテンツに関連する付随情報を付随させる際の、当該付随情報の付随対象となるフレームの範囲を表す付随対象範囲を管理する装置であって、
    前記視聴装置から付随情報及び当該付随情報の付随対象となる1つの付随対象フレームf0の識別子が入力された時に、前記付随情報に対する付随対象範囲を前記付随対象フレームf0を含むように設定し、付随情報データベースに登録する付随情報登録手段と、
    前記視聴装置から任意のフレームfXの識別子を入力として付随情報を要求された際に、前記識別子のフレームfXをその付随対象範囲に含む付随情報を前記付随情報データベースより検索し提供する付随情報提供手段と、
    前記提供した付随情報が提供先の前記視聴装置で参照されなかったことを検出する参照・非参照検出管理手段と、
    前記提供した付随情報が提供先の前記視聴装置で参照されなかった場合に、前記付随対象範囲の始点フレームから前記フレームfXまでの範囲と、前記フレームfXから前記付随対象範囲の終点フレームまでの範囲のいずれか一方で、前記付随対象フレームf0を含まない方の範囲を、前記提供した付随情報の付随対象範囲から除外するよう、前記付随情報データベースの内容を変更する付随対象範囲変更手段とを具備する
    ことを特徴とする付随情報管理装置。
  7. コンテンツを視聴する視聴装置とネットワークを介して接続され、連続したフレームの集合により構成されるコンテンツに当該コンテンツに関連する付随情報を付随させる際の、当該付随情報の付随対象となるフレームの範囲を表す付随対象範囲を管理する装置であって、
    前記視聴装置から付随情報及び当該付随情報の付随対象となる1つの付随対象フレームf0の識別子が入力された時に、前記付随情報に対する付随対象範囲を前記付随対象フレームf0を含むように設定し、付随情報データベースに登録する付随情報登録手段と、
    前記視聴装置から任意のフレームfXの識別子を入力として付随情報を要求された際に、前記識別子のフレームfXをその付随対象範囲に含む付随情報を前記付随情報データベースより検索し提供する付随情報提供手段と、
    前記提供した付随情報が提供先の前記視聴装置で参照されたか否かを検出し、アクセスフレーム管理テーブルに記憶しておく参照・非参照検出管理手段と、
    前記付随情報提供手段及び前記参照・非参照検出管理手段の動作が複数回繰り返し実行された後、前記付随対象範囲の始点フレームs0から前記付随対象フレームf0未満を満たす始点となる有意非参照アクセスフレームsの間の範囲、および、前記付随対象フレームf0超を満たす終点となる有意非参照アクセスフレームeから前記付随対象範囲の終点フレームe0の間の範囲それぞれについて、前記フレームfXが参照されたか否かの情報に基づき、参照されなかったフレーム数が所定数以上、あるいは、参照されなかったフレーム数の割合が所定の割合以上、もしくは、参照されなかったフレーム数が所定数以上かつ参照されなかったフレーム数の割合が所定の割合以上という条件を満たす前記フレームsおよび前記フレームeを求め、前記提供した付随情報の付随対象範囲を前記フレームsから前記フレームeの範囲とするよう、前記付随情報データベースの内容を変更する付随対象範囲変更手段とを具備する
    ことを特徴とする付随情報管理装置。
  8. コンテンツを視聴する視聴装置とネットワークを介して接続され、連続したフレームの集合により構成されるコンテンツに当該コンテンツに関連する付随情報を付随させる際の、当該付随情報の付随対象となるフレームの範囲を表す付随対象範囲を管理する装置であって、
    前記視聴装置から付随情報及び当該付随情報の付随対象となる1つの付随対象フレームf0の識別子が入力された時に、前記付随情報に対する付随対象範囲を前記付随対象フレームf0を含むように設定し、付随情報データベースに登録する付随情報登録手段と、
    前記視聴装置から任意のフレームfXの識別子を入力として付随情報を要求された際に、前記識別子のフレームfXをその付随対象範囲に含む付随情報を前記付随情報データベースより検索し提供する付随情報提供手段と、
    前記提供した付随情報が提供先の前記視聴装置で参照されたことを検出する参照・非参照検出管理手段と、
    前記提供した付随情報が提供先の前記視聴装置で参照された場合に、所定の幅Wに対して、fX−Wが前記付随対象範囲の始点フレームより小さければ、前記付随対象範囲の始点フレームをfX−Wに設定し、fX+Wが前記付随対象範囲の終点フレームより大きければ、前記付随対象範囲の終点フレームをfX+Wに設定するよう、前記付随情報データベースの内容を変更する付随対象範囲変更手段とを具備する
    ことを特徴とする付随情報管理装置。
  9. コンテンツを視聴する視聴装置とネットワークを介して接続され、連続したフレームの集合により構成されるコンテンツに当該コンテンツに関連する付随情報を付随させる際の、当該付随情報の付随対象となるフレームの範囲を表す付随対象範囲を管理する装置であって、
    前記視聴装置から付随情報及び当該付随情報の付随対象となる1つの付随対象フレームf0の識別子が入力された時に、前記付随情報に対する付随対象範囲を前記付随対象フレームf0を含むように設定し、付随情報データベースに登録する付随情報登録手段と、
    前記視聴装置から任意のフレームfXの識別子を入力として付随情報を要求された際に、前記識別子のフレームfXをその付随対象範囲に含む付随情報を前記付随情報データベースより検索し提供する付随情報提供手段と、
    前記提供した付随情報が提供先の前記視聴装置で参照されたか否かを検出する参照・非参照検出管理手段と、
    前記提供した付随情報が提供先の前記視聴装置で参照された場合に、所定の幅Wに対して、fX−Wが前記付随対象範囲の始点フレームより小さければ、前記付随対象範囲の始点フレームをfX−Wに設定し、fX+Wが前記付随対象範囲の終点フレームより大きければ、前記付随対象範囲の終点フレームをfX+Wに設定するよう、前記付随情報データベースの内容を変更し、前記提供した付随情報が提供先の前記視聴装置で参照されなかった場合に、前記付随対象範囲の始点フレームから前記フレームfXまでの範囲と、前記フレームfXから前記付随対象範囲の終点フレームまでの範囲のいずれか一方で、前記付随対象フレームf0を含まない方の範囲を、前記提供した付随情報の付随対象範囲から除外するよう、前記付随情報データベースの内容を変更する付随対象範囲変更手段とを具備する
    ことを特徴とする付随情報管理装置。
  10. コンテンツを視聴する視聴装置とネットワークを介して接続され、連続したフレームの集合により構成されるコンテンツに当該コンテンツに関連する付随情報を付随させる際の、当該付随情報の付随対象となるフレームの範囲を表す付随対象範囲を管理する装置であって、
    前記視聴装置から付随情報及び当該付随情報の付随対象となる1つの付随対象フレームf0の識別子が入力された時に、前記付随情報に対する付随対象範囲を前記付随対象フレームf0を含むように設定し、付随情報データベースに登録する付随情報登録手段と、
    前記視聴装置から任意のフレームfXの識別子を入力として付随情報を要求された際に、前記識別子のフレームfXをその付随対象範囲に含む付随情報を前記付随情報データベースより検索し提供する付随情報提供手段と、
    前記提供した付随情報が提供先の前記視聴装置で参照されたか否かを検出し、アクセスフレーム管理テーブルに記憶しておく参照・非参照検出管理手段と、
    前記提供した付随情報が提供先の前記視聴装置で参照された場合に、所定の幅Wに対して、fX−Wが前記付随対象範囲の始点フレームより小さければ、前記付随対象範囲の始点フレームをfX−Wに設定し、fX+Wが前記付随対象範囲の終点フレームより大きければ、前記付随対象範囲の終点フレームをfX+Wに設定するよう、前記付随情報データベースの内容を変更し、前記付随情報提供手段及び前記参照・非参照検出管理手段の動作、並びに前記付随対象範囲変更処理が複数回繰り返し実行された後、前記付随対象範囲の始点フレームs0から前記付随対象フレームf0未満を満たす始点となる有意非参照アクセスフレームsの間の範囲、および、前記付随対象フレームf0超を満たす終点となる有意非参照アクセスフレームeから前記付随対象範囲の終点フレームe0の間の範囲それぞれについて、前記フレームfXが参照されたか否かの情報に基づき、参照されなかったフレーム数が所定数以上、あるいは、参照されなかったフレーム数の割合が所定の割合以上、もしくは、参照されなかったフレーム数が所定数以上かつ参照されなかったフレーム数の割合が所定の割合以上という条件を満たす前記フレームsおよび前記フレームeを求め、前記提供した付随情報の付随対象範囲を前記フレームsから前記フレームeの範囲とするよう、前記付随情報データベースの内容を変更する付随対象範囲変更手段とを具備する
    ことを特徴とする付随情報管理装置。
  11. コンテンツを視聴する視聴装置とネットワークを介して接続され、連続したフレームの集合により構成されるコンテンツに当該コンテンツに関連する付随情報を付随させる際の、当該付随情報の付随対象となるフレームの範囲を表す付随対象範囲を管理する装置を構成するプログラムであって、
    該プログラムは、コンピュータ上で実行された際、
    前記視聴装置から付随情報及び当該付随情報の付随対象となる1つの付随対象フレームf0の識別子が入力された時に、前記付随情報に対する付随対象範囲を前記付随対象フレームf0を含むように設定し、付随情報データベースに登録する付随情報登録手段と、
    前記視聴装置から任意のフレームfXの識別子を入力として付随情報を要求された際に、前記識別子のフレームfXをその付随対象範囲に含む付随情報を前記付随情報データベースより検索し提供する付随情報提供手段と、
    前記提供した付随情報が提供先の前記視聴装置で参照されなかったことを検出する参照・非参照検出管理手段と、
    前記提供した付随情報が提供先の前記視聴装置で参照されなかった場合に、前記付随対象範囲の始点フレームから前記フレームfXまでの範囲と、前記フレームfXから前記付随対象範囲の終点フレームまでの範囲のいずれか一方で、前記付随対象フレームf0を含まない方の範囲を、前記提供した付随情報の付随対象範囲から除外するよう、前記付随情報データベースの内容を変更する付随対象範囲変更手段とを実現する
    ことを特徴とする付随情報管理プログラム。
  12. コンテンツを視聴する視聴装置とネットワークを介して接続され、連続したフレームの集合により構成されるコンテンツに当該コンテンツに関連する付随情報を付随させる際の、当該付随情報の付随対象となるフレームの範囲を表す付随対象範囲を管理する装置を構成するプログラムであって、
    該プログラムは、コンピュータ上で実行された際、
    前記視聴装置から付随情報及び当該付随情報の付随対象となる1つの付随対象フレームf0の識別子が入力された時に、前記付随情報に対する付随対象範囲を前記付随対象フレームf0を含むように設定し、付随情報データベースに登録する付随情報登録手段と、
    前記視聴装置から任意のフレームfXの識別子を入力として付随情報を要求された際に、前記識別子のフレームfXをその付随対象範囲に含む付随情報を前記付随情報データベースより検索し提供する付随情報提供手段と、
    前記提供した付随情報が提供先の前記視聴装置で参照されたか否かを検出し、アクセスフレーム管理テーブルに記憶しておく参照・非参照検出管理手段と、
    前記付随情報提供手段及び前記参照・非参照検出管理手段の動作が複数回繰り返し実行された後、前記付随対象範囲の始点フレームs0から前記付随対象フレームf0未満を満たす始点となる有意非参照アクセスフレームsの間の範囲、および、前記付随対象フレームf0超を満たす終点となる有意非参照アクセスフレームeから前記付随対象範囲の終点フレームe0の間の範囲それぞれについて、前記フレームfXが参照されたか否かの情報に基づき、参照されなかったフレーム数が所定数以上、あるいは、参照されなかったフレーム数の割合が所定の割合以上、もしくは、参照されなかったフレーム数が所定数以上かつ参照されなかったフレーム数の割合が所定の割合以上という条件を満たす前記フレームsおよび前記フレームeを求め、前記提供した付随情報の付随対象範囲を前記フレームsから前記フレームeの範囲とするよう、前記付随情報データベースの内容を変更する付随対象範囲変更手段とを実現する
    ことを特徴とする付随情報管理プログラム。
  13. コンテンツを視聴する視聴装置とネットワークを介して接続され、連続したフレームの集合により構成されるコンテンツに当該コンテンツに関連する付随情報を付随させる際の、当該付随情報の付随対象となるフレームの範囲を表す付随対象範囲を管理する装置を構成するプログラムであって、
    該プログラムは、コンピュータ上で実行された際、
    前記視聴装置から付随情報及び当該付随情報の付随対象となる1つの付随対象フレームf0の識別子が入力された時に、前記付随情報に対する付随対象範囲を前記付随対象フレームf0を含むように設定し、付随情報データベースに登録する付随情報登録手段と、
    前記視聴装置から任意のフレームfXの識別子を入力として付随情報を要求された際に、前記識別子のフレームfXをその付随対象範囲に含む付随情報を前記付随情報データベースより検索し提供する付随情報提供手段と、
    前記提供した付随情報が提供先の前記視聴装置で参照されたことを検出する参照・非参照検出管理手段と、
    前記提供した付随情報が提供先の前記視聴装置で参照された場合に、所定の幅Wに対して、fX−Wが前記付随対象範囲の始点フレームより小さければ、前記付随対象範囲の始点フレームをfX−Wに設定し、fX+Wが前記付随対象範囲の終点フレームより大きければ、前記付随対象範囲の終点フレームをfX+Wに設定するよう、前記付随情報データベースの内容を変更する付随対象範囲変更手段とを実現する
    ことを特徴とする付随情報管理プログラム。
  14. コンテンツを視聴する視聴装置とネットワークを介して接続され、連続したフレームの集合により構成されるコンテンツに当該コンテンツに関連する付随情報を付随させる際の、当該付随情報の付随対象となるフレームの範囲を表す付随対象範囲を管理する装置を構成するプログラムであって、
    該プログラムは、コンピュータ上で実行された際、
    前記視聴装置から付随情報及び当該付随情報の付随対象となる1つの付随対象フレームf0の識別子が入力された時に、前記付随情報に対する付随対象範囲を前記付随対象フレームf0を含むように設定し、付随情報データベースに登録する付随情報登録手段と、
    前記視聴装置から任意のフレームfXの識別子を入力として付随情報を要求された際に、前記識別子のフレームfXをその付随対象範囲に含む付随情報を前記付随情報データベースより検索し提供する付随情報提供手段と、
    前記提供した付随情報が提供先の前記視聴装置で参照されたか否かを検出する参照・非参照検出管理手段と、
    前記提供した付随情報が提供先の前記視聴装置で参照された場合に、所定の幅Wに対して、fX−Wが前記付随対象範囲の始点フレームより小さければ、前記付随対象範囲の始点フレームをfX−Wに設定し、fX+Wが前記付随対象範囲の終点フレームより大きければ、前記付随対象範囲の終点フレームをfX+Wに設定するよう、前記付随情報データベースの内容を変更し、前記提供した付随情報が提供先の前記視聴装置で参照されなかった場合に、前記付随対象範囲の始点フレームから前記フレームfXまでの範囲と、前記フレームfXから前記付随対象範囲の終点フレームまでの範囲のいずれか一方で、前記付随対象フレームf0を含まない方の範囲を、前記提供した付随情報の付随対象範囲から除外するよう、前記付随情報データベースの内容を変更する付随対象範囲変更手段とを実現する
    ことを特徴とする付随情報管理装置プログラム。
  15. コンテンツを視聴する視聴装置とネットワークを介して接続され、連続したフレームの集合により構成されるコンテンツに当該コンテンツに関連する付随情報を付随させる際の、当該付随情報の付随対象となるフレームの範囲を表す付随対象範囲を管理する装置を構成するプログラムであって、
    該プログラムは、コンピュータ上で実行された際、
    前記視聴装置から付随情報及び当該付随情報の付随対象となる1つの付随対象フレームf0の識別子が入力された時に、前記付随情報に対する付随対象範囲を前記付随対象フレームf0を含むように設定し、付随情報データベースに登録する付随情報登録手段と、
    前記視聴装置から任意のフレームfXの識別子を入力として付随情報を要求された際に、前記識別子のフレームfXをその付随対象範囲に含む付随情報を前記付随情報データベースより検索し提供する付随情報提供手段と、
    前記提供した付随情報が提供先の前記視聴装置で参照されたか否かを検出し、アクセスフレーム管理テーブルに記憶しておく参照・非参照検出管理手段と、
    前記提供した付随情報が提供先の前記視聴装置で参照された場合に、所定の幅Wに対して、fX−Wが前記付随対象範囲の始点フレームより小さければ、前記付随対象範囲の始点フレームをfX−Wに設定し、fX+Wが前記付随対象範囲の終点フレームより大きければ、前記付随対象範囲の終点フレームをfX+Wに設定するよう、前記付随情報データベースの内容を変更し、前記付随情報提供手段及び前記参照・非参照検出管理手段の動作、並びに前記付随対象範囲変更処理が複数回繰り返し実行された後、前記付随対象範囲の始点フレームs0から前記付随対象フレームf0未満を満たす始点となる有意非参照アクセスフレームsの間の範囲、および、前記付随対象フレームf0超を満たす終点となる有意非参照アクセスフレームeから前記付随対象範囲の終点フレームe0の間の範囲それぞれについて、前記フレームfXが参照されたか否かの情報に基づき、参照されなかったフレーム数が所定数以上、あるいは、参照されなかったフレーム数の割合が所定の割合以上、もしくは、参照されなかったフレーム数が所定数以上かつ参照されなかったフレーム数の割合が所定の割合以上という条件を満たす前記フレームsおよび前記フレームeを求め、前記提供した付随情報の付随対象範囲を前記フレームsから前記フレームeの範囲とするよう、前記付随情報データベースの内容を変更する付随対象範囲変更手段とを実現する
    ことを特徴とする付随情報管理プログラム。
  16. 請求項11乃至15いずれか記載の付随情報管理プログラムを記憶したことを特徴とするコンピュータ読み取り可能な媒体。
JP2003110358A 2003-04-15 2003-04-15 付随情報管理方法、その装置、そのプログラム及び該プログラムを記憶した媒体 Expired - Fee Related JP4255060B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003110358A JP4255060B2 (ja) 2003-04-15 2003-04-15 付随情報管理方法、その装置、そのプログラム及び該プログラムを記憶した媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003110358A JP4255060B2 (ja) 2003-04-15 2003-04-15 付随情報管理方法、その装置、そのプログラム及び該プログラムを記憶した媒体

Publications (2)

Publication Number Publication Date
JP2004320339A JP2004320339A (ja) 2004-11-11
JP4255060B2 true JP4255060B2 (ja) 2009-04-15

Family

ID=33471241

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003110358A Expired - Fee Related JP4255060B2 (ja) 2003-04-15 2003-04-15 付随情報管理方法、その装置、そのプログラム及び該プログラムを記憶した媒体

Country Status (1)

Country Link
JP (1) JP4255060B2 (ja)

Also Published As

Publication number Publication date
JP2004320339A (ja) 2004-11-11

Similar Documents

Publication Publication Date Title
US9967636B2 (en) Application programming interface combining asset listings
JP5090046B2 (ja) コンテンツ管理方法及び装置
US7801875B2 (en) Method of searching for supplementary data related to content data and apparatus therefor
JP4866076B2 (ja) マルチメディア視聴システム及びマルチメディア視聴方法
JP2011507096A (ja) メタデータ生成のシステム及び方法
US20090063676A1 (en) Method and apparatus for providing status information by utilizing presence service and method and apparatus for generating content status information by utilizing presence service
JP5456894B2 (ja) ピア・ツー・ピアネットワークにおけるターゲット化された宣伝
JP2010538589A (ja) ビデオ内ブックマーキング
JP2010079641A (ja) メタデータ収集装置、ならびにその方法およびプログラム
US20090019364A1 (en) Method and apparatus for generating electronic content guide
JP2007324990A (ja) 情報処理システム、情報処理装置および方法、並びにプログラム
JP6150755B2 (ja) コンテンツ視聴時間に基づいてコンテンツをレコメンドする装置、プログラム及び方法
JP2012174137A (ja) コンテンツ提供システム
JP2004185456A (ja) カスタマイズされたコンテンツの配信システム
US20050123887A1 (en) System and method for providing karaoke service using set-top box
JP2006053767A (ja) コンテンツ配信システム及び方法、コンテンツ配信サーバ、クライアント端末、ならびに、コンピュータプログラム
JP5208560B2 (ja) 情報映像化配信装置、情報映像化配信方法及びプログラム
US20090254586A1 (en) Updated Bookmark Associations
JP5527853B2 (ja) 情報提供システム
KR101779975B1 (ko) Sns 메시지를 활용한 vod 컨텐츠에 대한 부가 서비스 시스템 및 이를 이용한 부가 서비스 방법
WO2016194041A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP4255060B2 (ja) 付随情報管理方法、その装置、そのプログラム及び該プログラムを記憶した媒体
WO2010089961A1 (ja) 動画検索再生システム、動画検索装置及び動画再生装置
JP2005110016A (ja) 配信映像リコメンド方法、装置およびプログラム
KR20020048501A (ko) 동영상 컨텐츠 제공 시스템 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050804

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080219

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080402

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081202

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090122

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090123

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120206

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4255060

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130206

Year of fee payment: 4

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees