JP4016891B2 - 部分コンテンツ作成方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体 - Google Patents

部分コンテンツ作成方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体 Download PDF

Info

Publication number
JP4016891B2
JP4016891B2 JP2003162733A JP2003162733A JP4016891B2 JP 4016891 B2 JP4016891 B2 JP 4016891B2 JP 2003162733 A JP2003162733 A JP 2003162733A JP 2003162733 A JP2003162733 A JP 2003162733A JP 4016891 B2 JP4016891 B2 JP 4016891B2
Authority
JP
Japan
Prior art keywords
content
comment
section
video
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003162733A
Other languages
English (en)
Other versions
JP2004364183A (ja
Inventor
智洋 北角
一穂 山田
和 宮川
正志 森本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2003162733A priority Critical patent/JP4016891B2/ja
Publication of JP2004364183A publication Critical patent/JP2004364183A/ja
Application granted granted Critical
Publication of JP4016891B2 publication Critical patent/JP4016891B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は、映像コンテンツのような時系列の区間に分割できるコンテンツからそのコンテンツのダイジェスト版である部分コンテンツを作成する部分コンテンツ作成方法に関する。また、本発明は、この部分コンテンツ作成方法を実施する部分コンテンツ作成装置と、この部分コンテンツ作成方法をコンピュータに実現させるための部分コンテンツ作成プログラム及び部分コンテンツ作成プログラムを記録したコンピュータ読取可能な記録媒体に関する。
【0002】
本発明の部分コンテンツ作成方法は、コンテンツを再生しコンテンツを視聴したユーザ、或いは、コンテンツの概要を把握しようとするユーザ同士がコンテンツに関する情報交換を行う際に適用することができる。
【0003】
【従来の技術】
ユーザが映像コンテンツのような時系列に区間に分割できるコンテンツに関してユーザ同士が情報を交換する際、未だそのコンテンツを視聴していないユーザは、そのコンテンツの概要を把握することを望み、或いは、既にそのコンテンツを視聴しているユーザは、そのコンテンツの内容を思い出したい、ときがある。このような場合に、ユーザにとって、そのコンテンツのダイジェスト版である部分コンテンツは、コンテンツの概要の把握、或いは、コンテンツの内容の想起に有効である。
【0004】
そのため、従来、コンテンツ、特に、映像コンテンツの要約映像を作成する技術が提案されている。例えば、映像作成者である特定の人が映像の編集を行ない、その特定の人が重要と思う映像の部分をつなぎ合わせて要約映像を作成する動画像編集装置が提案されている(例えば、特許文献1を参照。)。或いは、映像中の物理的特性を用いて部分映像を作成する技術、即ち、映像中の各フレーム画像の画素の類似度を計算し、出現頻度の高い画像をつなぎ合わせることにより要約映像を作成し、若しくは、映像中の音量の大きいシーンをつなぎ合わせることにより要約映像を作成する映像要約方法及び映像表示方法が提案されている(例えば、特許文献2を参照。)。
【0005】
【特許文献1】
特開2001−57660号公報
【0006】
【特許文献2】
特開平10−112845号公報
【0007】
【発明が解決しようとする課題】
しかしながら、上記の従来の動画像編集装置では、映像製作者などの特定の人の目的・嗜好により部分映像が作成されるため、多様な嗜好をもつ視聴者(即ち、ユーザ)にとって、魅力的なシーンを含む部分映像が作成されるとは限らない。
【0008】
また、ユーザが映像中で注目するシーンは様々なシーンであるため、上記の従来の映像要約方法及び映像表示方法で用いられている物理的特性(例えば、効果音が大きいという特性)を有するシーンが重要なシーン、特に、ユーザにとって重要なシーンであるとは限らない。
【0009】
一般的に、映像中の重要なシーンは、時間が経過し、時代背景や人々の考え方が変化するのに伴って変化する。また、ユーザにとって重要なシーンは、そのユーザが対象の映像を繰返し視聴したり、他のユーザとその映像について情報交換をしたりすることによって、変化するものである。
【0010】
従来の要約映像作成技術によって作成された部分映像は、一度作成されると、その後、変化することがないので、ユーザにとっての重要なシーンが部分映像に含まれない、という問題点がある。
【0011】
そこで、本発明は、ユーザが時系列の区間に分割できるコンテンツのダイジェスト版である部分コンテンツの取得を望んだ時点で、そのユーザにとって重要であると考えられる区間を含む部分コンテンツを作成する部分コンテンツ作成方法の提供を目的とする。
【0012】
また、本発明は、この部分コンテンツ作成方法を実施する部分コンテンツ作成装置と、この部分コンテンツ作成方法をコンピュータに実現させるための部分コンテンツ作成プログラム及び部分コンテンツ作成プログラムを記録したコンピュータ読取可能な記録媒体の提供を目的とする。
【0013】
【課題を解決するための手段】
したがって、本発明は、ユーザにとって重要な区間を含む部分コンテンツを作成するため、コンテンツの区間に関連付けられているコメントを区間の選択のために利用する。ユーザがコメントを入力した対象の区間は、そのユーザにとって重要な区間であると同時に、他のユーザにとっても重要な区間である場合が多い。そのため、コメントに基づいて区間を選択することにより、重要な区間を選択することができると考えられる。また、このようなコンテンツのユーザ同士のコミュニケーションのためのコメントは、時々刻々と変化し得る情報、例えば、追加、更新、或いは、削除され得る情報である。
【0014】
本発明の部分コンテンツ作成方法は、コメントについての情報に基づいてコンテンツの各区間を評価し、評価が所定の条件を満たす区間を選択し、選択された区間を時系列の順に順序付けることにより、部分コンテンツを作成する。
【0015】
コンテンツの各区間がユーザにとって重要な区間であるかどうかというコンテンツの各区間の評価は、各区間に関連付けられているコメントについての情報に基づいて決定される。具体的には、例えば、▲1▼付記されているコメントの数の多い区間、▲2▼コメントの書き込まれた時間の新しい区間(ある時点以降に書き込まれたコメントの数の多い区間)、又は、▲3▼特定の人(例えば、嗜好が似ている人、類似した人、若しくは、関心が一致している人)がコメントを付記している区間などは、ユーザにとって重要な区間である。
【0016】
本発明では、上記の▲1▼〜▲3▼のような区間に高い評価が与えられるようにコンテンツの各区間にポイントを与える。そして、部分コンテンツを作成するため、▲1▼所定のポイントよりも高い区間を選択し、固有の時間情報(=タイムコード)の順に並べる、或いは、▲2▼選択された区間の時間間隔の合計が所定の値に達するまで、ポイントの高い方から順に区間を選択し、固有の時間情報(=タイムコード)の順に並べる。
【0017】
更に、本発明によれば、部分コンテンツの再生時にコメントを表示することが可能であり、例えば、映像コンテンツの場合には、ダイジェスト映像の再生時に、当該シーンについてのコメントがシーンと同期して表示される。
【0018】
更に、本発明の部分コンテンツ作成システムでは、クライアント装置からサーバ装置へ部分コンテンツを要求し、サーバ装置で作成された部分コンテンツがクライアント装置へ返信される。その際、クライアント装置からの要求に応じて、サーバ装置からクライアント装置へ、作成された部分コンテンツが1区間毎に送信され、或いは、サーバ装置からクライアント装置へ部分コンテンツの一連の区間がシームレスに送信される。
【0019】
本発明の一実施例では、コメントについての情報として、上述のコメント量が用いられる。コメント量は、より具体的には、コメントの個数、或いは、コメントの文字数などによって表される。関連付けられているコメント量の多い区間は、時代背景を反映しているので、ユーザにとって重要な区間である可能性が高い。
【0020】
また、本発明の一実施例では、コメントについての情報として、コメントの書き込まれた時間が用いられる。新しいコメントが関連付けられているシーンは、時々刻々と変化する人々の最新の関心事を反映しているので、ユーザにとって重要な区間である可能性が高い。
【0021】
更に、本発明の一実施例では、コメントについての情報として、コメントを入力したユーザと部分コンテンツを取得しようとするユーザの類似度を用いる。部分コンテンツを取得しようとするユーザに類似しているユーザ、例えば、嗜好が似ている人、関心が一致している人がコメントを入力した対象の区間は、部分コンテンツを取得しようとするユーザにとっても重要な区間である可能性が高い。
【0022】
更に、本発明の一実施例では、コンテンツのダイジェスト版である部分コンテンツの時間間隔を予め設定し、その時間間隔に達するまで、評価の高い順に区間を選択することができる。
【0023】
更に、本発明の一実施例では、コンテンツのダイジェスト版である部分コンテンツを再生する。
【0024】
また、本発明の一実施例では、コンテンツのダイジェスト版である部分コンテンツを再生するときに、同時に、部分コンテンツの区間に関連付けられているコメントを表示する。
【0025】
また、本発明の一実施例では、部分コンテンツの区間は、時系列の順に1区間毎に再生される。或いは、部分コンテンツの区間は、時系列の順に一連の区間として再生される。
【0026】
【発明の実施の形態】
本発明の第1の局面は、時系列の区間に分割できるコンテンツから一部の区間により構成された部分コンテンツを作成する部分コンテンツ作成方法である。図1は、本発明の部分コンテンツ作成方法の原理説明図である。本発明の部分コンテンツ作成方法は、(例えば、種々のユーザによって入力され)コンテンツの区間に関連付けられているコンテンツについての情報を取得する情報取得手順(ステップ1)と、コンテンツの区間毎に取得されたコメントについての情報に基づいてコンテンツの各区間の評価を取得する情報評価手順(ステップ2)と、評価が所定の条件を満たすコンテンツの区間を選択する区間選択手順(ステップ3)と、選択された区間を時系列の順に順序付ける手順(ステップ4)と、を有する。
【0027】
コメントについての情報は、コンテンツの区間毎に割り当てられたコメントを格納するコメントデータベースから取得することができる。コメントデータベースには、区間の識別情報と、各区間に割り当てられたコメントの内容、コメントの書き込み時間、コメントがコンテンツに固有の時間情報のどの時点に対応したコメントであるかを指定するタイムコード、コメントを入力したユーザの識別情報などが格納されている。
【0028】
本発明の部分コンテンツ作成方法によれば、コメントデータベースに格納されているコメントについての情報に基づいて、ユーザにとって重要な区間が時系列の順に順序付けられた部分コンテンツが作成される。
【0029】
ステップ3において実行される区間選択処理では、評価が所定の条件を満たす全ての区間を選択するか、又は、最終的な部分コンテンツの時間長さ(=部分コンテンツの再生に要する時間)に制限(所定の総時間)を設けて、その所定の総時間の制限内で区間を選択する。
【0030】
そこで、本発明によれば、上記区間選択手順は、評価が所定の閾値を超えるコンテンツの区間を選択する。これにより、所定の閾値よりも評価の高い区間が全て含まれる部分コンテンツを作成することが可能になる。
【0031】
これに対して、本発明によれば、上記区間選択手順(ステップ3)は、選択された区間の時間間隔の合計が所定の総時間に達するまで、評価の高い順に区間を選択する。これにより、評価の高い方から順番に区間が含まれている所定の時間長さの部分コンテンツを作成することが可能になる。
【0032】
図2は、区間選択処理の一実施例のフローチャートである。区間選択処理では、最初に、選択された区間を格納するための区間リストと、選択された区間の時間間隔の合計とがクリアされる(ステップ31)。次に、未だ選択されていない区間の中から、最も評価の高い区間が選択され(ステップ32)、選択された区間が区間リストに追加される(ステップ33)。そして、選択された区間の時間間隔がコンテンツの構造情報から取得され(ステップ34)、この時間間隔が時間間隔の合計に加算される(ステップ35)。次に、時間間隔の合計が所定の総時間に達しているかどうかが判定され(ステップ36)、達している場合には、区間選択処理が終了し、達していない場合には、ステップ37へ進む。ステップ37では、未だ選択されていない区間が残っているかどうかが判定され、残っていない場合には、区間選択処理が終了し、残っている場合には、ステップ32へ戻り、次に評価の高い区間が選択される。
【0033】
また、本発明によれば、上記情報取得手順(ステップ1)は、コメントについての情報として、コンテンツの各区間に関連付けられているコメント量を取得し、上記情報評価手順(ステップ2)は、コンテンツの各区間の評価として、コンテンツの各区間に関連付けられているコメント量の値を取得する。上記区間選択手順(ステップ3)は、コメント量の値が所定の閾値を超えるコンテンツの区間を選択するか、又は、選択された区間の時間間隔の合計が所定の総時間に達するまで、コメントの量が多い順に区間を選択する。コメント量は、例えば、コメントの個数、又は、コメントの文字数によって表すことができる。コメントの個数は、コンテンツ蓄積装置に格納されているコメントの数をカウントすることにより獲得され、コメントの文字数は、コメントデータベースに格納されているコメント内容自体の文字数をカウントすることにより獲得できる。
【0034】
また、本発明によれば、上記情報取得手順(ステップ1)は、コメントについての情報として、コンテンツの各区間に関連付けられているコメントの書き込まれた時間を取得し、上記情報取得手順(ステップ2)は、コンテンツの各区間の評価として、コンテンツの各区間に関連付けられているコメントの書き込まれた時間が所定の時間以降であるコメントの個数を取得する。上記区間選択手順(ステップ3)は、コメントの個数が所定の閾値を超えるコンテンツの区間を選択するか、又は、選択された区間の時間間隔の合計が所定の総時間に達するまで、コメントの個数が多い順に区間を選択する。コメントの書き込み時間は、コメントデータベースから検索することができる。
【0035】
更に、本発明によれば、上記情報取得手順(ステップ1)は、コメントについての情報として、コンテンツの各区間に関連付けられているコメントを入力したユーザと、作成される部分コンテンツを再生しようとするユーザとの類似度を取得し、上記情報評価手順(ステップ2)は、コンテンツの各区間の評価として、コメントを入力したユーザと部分コンテンツを再生しようとするユーザとの類似度の合計を取得する。上記区間選択手順(ステップ3)は、類似度の合計が所定の閾値を超えるコンテンツの区間を選択するか、又は、選択された区間の時間間隔の合計が所定の総時間に達するまで、類似度の合計が大きい順に区間を選択する。
【0036】
コメントを入力したユーザと部分コンテンツを再生しようとするユーザとの類似度、即ち、ユーザ同士の関心の類似度は、例えば、部分コンテンツを再生しようとするユーザとコメントを入力したユーザが共にコメントを入力している区間の個数によって表わすことが可能である。そのため、本発明の一実施例では、部分コンテンツを再生しようとするユーザをユーザAとし、コメントを入力したユーザを他のユーザBとして、以下の手順で情報を取得し、情報を評価し、区間を選択する。
【0037】
上記情報取得手順(ステップ1)では、
(I)ユーザAがコメントを書き込んだ区間のリストを取得し、
(II)次に、(I)で取得したリスト中の各区間について、当該区間にコメントを書き込んでいる他のコメント入力ユーザの情報を取得し、
(III)次に、他のユーザB毎に、(II)で取得された他のコメント入力ユーザの情報の出現回数(個数)、即ち、ユーザAがコメントを書き込んだ区間に他のユーザBが書き込んだコメントの個数を集計し、
(IV)他のユーザ毎に集計された値をまとめて、この値、又は、この値から導かれる値をユーザAと他のユーザBとの類似度を取得する。例えば、ユーザAが入力したコメントの個数をaとし、他のユーザBに関して集計された値をbとすると、ユーザA自身の類似度を1で表すならば、他のユーザBの類似度は、b/aとして導くことができる。この場合、類似度は0以上の値であり、値が大きいほど、高い類似性を表す。
【0038】
上記情報評価手順(ステップ2)では、
(V)各区間毎に、当該区間の評価として、当該区間に書き込まれているコメントを入力したユーザの類似度を合計することにより当該区間の評価を得る。尚、コメントを入力したユーザA自身の類似度を合計してもよい。
【0039】
或いは、ユーザの関心の類似度は、例えば、ユーザによって入力されたコメントがコンテンツに固有の時間情報のどの時点に対応しているかを表すタイムコードの接近性によって表すことが可能である。即ち、ユーザは、視聴しているコンテンツの再生中の場面に関心があるとき、屡々、その時点でコメントを入力する。したがって、コメントを入力した時点、即ち、タイムコードが一致、若しくは、近接しているユーザ同士は、共通の場面に関心を抱いているので類似性が高い、と判断できる。このような類似度に基づく区間選択を実現するため、コメントデータベースに格納されているコメントには、コメントを入力したユーザの識別情報が関連付けられている。尚、ここで、類似度は、類似している度合いが高いほど、類似度の値が小さくなるように定義されているが、類似の度合いの表し方は、この例に限定されるものではない。
【0040】
本発明は、更に、以上のようにして作成された部分コンテンツを再生したり、部分コンテンツの区間に関連付けられているコメントを部分コンテンツの再生と同期して表示したりすることが可能である。
【0041】
そのため、本発明は、時系列の順に順序付けられた区間を再生する再生手順(ステップ5)を更に有する。
【0042】
本発明によれば、上記再生手順(ステップ5)は、区間の再生と同時に、再生する区間に関連付けられたコメントを表示する。
【0043】
また、本発明によれば、上記再生手順(ステップ5)は、時系列の順に順序付けられた区間を1区間毎に再生する。
【0044】
また、本発明によれば、上記再生手順(ステップ5)は、時系列の順に順序付けられた区間を一連の区間として連続的に再生する。
【0045】
本発明の第2の局面は、時系列の区間に分割できるコンテンツから一部の区間により構成された部分コンテンツを作成する部分コンテンツ作成システムであり、特に、クライアント装置は、サーバ装置から部分コンテンツを受け取り、コンテンツの中から部分コンテンツ情報に対応した区間を抽出して、部分コンテンツを再生する。図3は、部分コンテンツ作成システムの一実施例の構成図である。本発明によれば、部分コンテンツ作成システムは、コンテンツを再生するコンテンツ再生手順2を含むクライアント装置200と、ネットワーク300を介してクライアント装置200に接続され、コンテンツの区間に関連付けられたコメントを格納するコメントデータベース8、及び、コンテンツの区間の時間情報を格納する構造情報データベース9を含むサーバ装置100と、を有する。
【0046】
クライアント装置200は、対象となるコンテンツの一部の区間により構成された部分コンテンツを指定する部分コンテンツ情報の要求をサーバ装置100へ送信する部分コンテンツ要求手段51を更に含む。
【0047】
サーバ装置100は、クライアント装置200の部分コンテンツ要求手段51から対象となるコンテンツの部分コンテンツ情報の要求を受信し、コメントデータベース8からコンテンツの区間に関連付けられているコメントについての情報を取得するコメント取得手段52を有する。サーバ装置100は、更に、コメント取得手段52からコンテンツの区間に関連付けられているコメントについての情報を受け、コメントについての情報に基づいて、所定の条件を満たすコンテンツの区間を選択し、選択されたコンテンツの区間を、構造情報データベース9を参照して、時系列の順に順序付けることにより、部分コンテンツ情報を作成し、クライアント装置200のコンテンツ再生手段2へ部分コンテンツ情報を送信する部分コンテンツ情報作成手段53と、を更に含む。
【0048】
コンテンツ再生手段21は、コンテンツの中から、サーバ装置100より受信した部分コンテンツ情報によって示されたコンテンツの区間を再生する。コンテンツ自体は、例えば、ストリーミングデータ、ダウンロードデータ、或いは、DVDのような媒体などから取得される。
【0049】
更に、本発明による部分コンテンツ作成システムの一実施例では、部分コンテンツの再生と同期してコメントを表示することが可能である。そのため、本発明によれば、サーバ装置100は、部分コンテンツ情報作成手段53で作成された部分コンテンツ情報で示されたコンテンツの区間に関連付けられたコメントをコメントデータベース8から取得し、クライアント装置200へ送信するコメント送信手段71(図3では、点線で示されている)を更に含む。また、クライアント装置200は、サーバ装置100から部分コンテンツ情報で示されたコンテンツの区間に関連付けられたコメントを受信し、コンテンツ再生手段21による部分コンテンツ情報で示されたコンテンツの区間の再生中に、当該コンテンツの区間に関連付けられたコメントを表示するコメント表示手段72を更に含む。
【0050】
本発明の第3の局面は、時系列の区間に分割できるコンテンツから一部の区間により構成された部分コンテンツを作成する部分コンテンツ作成システムであり、特に、クライアント装置は、サーバ装置から部分コンテンツを受け取り、部分コンテンツの区間を順次に再生する。図4は、部分コンテンツ作成システムの他の実施例の構成図である。本発明によれば、部分コンテンツ作成システムは、コンテンツを再生するコンテンツ再生手段2を含むクライアント装置200と、ネットワーク300を介してクライアント装置200に接続され、コンテンツの区間に関連付けられたコメントを格納するコメントデータベース8、コンテンツの区間の時間情報を格納する構造情報データベース9、及び、コンテンツを格納したコンテンツ蓄積装置10を含むサーバ装置100と、を有する。
【0051】
クライアント装置200は、対象となるコンテンツの一部の区間により構成された部分コンテンツを指定する部分コンテンツ情報の要求をサーバ装置100へ送信する部分コンテンツ要求手段51を更に含む。
【0052】
サーバ装置100は、クライアント装置200の部分コンテンツ要求手段51から対象となるコンテンツの部分コンテンツ情報の要求を受信し、コメントデータベースからコンテンツの区間に関連付けられているコメントについての情報を取得するコメント取得手段52を更に含む。また、サーバ装置100は、コメント取得手段52からコンテンツの区間に関連付けられているコメントについての情報を受け、コメントについての情報に基づいて、所定の条件を満たすコンテンツの区間を選択し、選択されたコンテンツの区間を、構造情報データベース9を参照して、時系列の順に順序付け、順序付きのコンテンツの区間をコンテンツ蓄積装置10から取得し、取得された順序付きのコンテンツの区間により構成された部分コンテンツをクライアント装置200のコンテンツ再生手段21へ送信する部分コンテンツ作成手段54と、を更に含む。
【0053】
コンテンツ再生手段21は、サーバ装置100より受信した部分コンテンツの区間を再生する。
【0054】
更に、本発明による部分コンテンツ作成システムの他の実施例では、部分コンテンツの再生と同期してコメントを表示することが可能である。そのため、本発明によれば、サーバ装置100は、部分コンテンツ情報作成手段5で作成された部分コンテンツの区間に関連付けられたコメントをコメントデータベース8から取得し、クライアント装置200へ送信するコメント送信手段71(図4では、点線で示されている)を更に含む。また、クライアント装置200は、サーバ装置100から部分コンテンツの区間に関連付けられたコメントを受信し、コンテンツ再生手段21による部分コンテンツの区間の再生中に、当該コンテンツの区間に関連付けられたコメントを表示するコメント表示手段72を更に含む。
【0055】
本発明の第4の局面は、時系列の区間に分割できるコンテンツから一部の区間により構成された部分コンテンツを作成する部分コンテンツ作成装置である。図5は、本発明による部分コンテンツ作成装置の構成図である。
【0056】
本発明によれば、部分コンテンツ再生装置400は、コンテンツを格納したコンテンツ蓄積装置10と、コンテンツの区間に関連付けられたコメントを格納したコメントデータベース8と、コンテンツの区間の時間情報を格納する構造情報データベース9と、を具備する。
【0057】
部分コンテンツ作成装置400は、コメントデータベース8から対象となるコンテンツの区間に関連付けられているコメントについての情報を取得するコメント取得手段52と、コメントについての情報に基づいて、所定の条件を満たすコンテンツの区間を選択し、選択されたコンテンツの区間を、構造情報データベース9を参照して、時系列の順に順序付けることにより、部分コンテンツ情報を作成する部分コンテンツ情報作成手段53と、部分コンテンツ情報によって示された順序付きのコンテンツの区間をコンテンツ蓄積装置10から取得し、取得されたコンテンツの区間を順次に再生するコンテンツ再生手段21と、を更に有する。
【0058】
更に、本発明による部分コンテンツ作成装置400は、部分コンテンツの区間の再生中に、その区間に関連付けられたコメントを表示することが可能である。そのため、本発明によれば、部分コンテンツ情報作成手段53で作成された部分コンテンツ情報データベース示されたコンテンツの区間に関連付けられたコメントをコメントデータベース8から取得し、コンテンツ再生手段21による部分コンテンツ情報で示されたコンテンツの区間の再生中に、当該コンテンツの区間に関連付けられたコメントを表示するコメント表示手段7(図5では、点線によって示されている。)を更に有する。
【0059】
本発明の第5の局面は、上記本発明の部分コンテンツ作成システムにおけるサーバ装置のような機能をコンピュータに実現させるためのプログラムである。本発明は、
時系列の区間に分割できるコンテンツの区間に関連付けられたコメントを格納したコメントデータベースへアクセスする機能と、
コンテンツの区間の時間情報を格納する構造データベースへアクセスする機能と、
コメントデータベースから対象となるコンテンツの区間に関連付けられているコメントについての情報を取得し、コメントについての情報に基づいて、所定の条件を満たすコンテンツの区間を選択し、選択されたコンテンツの区間を、構造情報データベースを参照して、時系列の順に順序付けることにより、部分コンテンツ情報を作成する機能と、
をコンピュータに実現させるための部分コンテンツ作成プログラムである。
【0060】
本発明の第6の局面は、上記の本発明の部分コンテンツ作成装置のような機能をコンピュータに実現させるためのプログラムである。本発明は、
時系列の区間に分割できるコンテンツを格納したコンテンツ蓄積装置へアクセスする機能と、
コンテンツの区間に関連付けられたコメントを格納したコメントデータベースへアクセスする機能と、
コンテンツの区間の時間情報を格納する構造情報データベースへアクセスする機能と、
コメントデータベースから対象となるコンテンツの区間に関連付けられているコメントについての情報を取得し、コメントについての情報に基づいて、所定の条件を満たすコンテンツの区間を選択し、選択されたコンテンツの区間を、構造情報データベースを参照して、時系列の順に順序付けることにより、部分コンテンツ情報を作成する機能と、
部分コンテンツ情報によって示された順序付きのコンテンツの区間をコンテンツ蓄積装置から取得し、取得されたコンテンツの区間を順次に再生する機能と、
をコンピュータに実現させるための部分コンテンツ作成プログラムである。
【0061】
本発明の第7の局面は、上述の本発明の第5及び6の局面による部分コンテンツ作成プログラムを記録したコンピュータ読取可能な記録媒体である。
【0062】
【実施例】
以下、添付図面を参照して本発明の種々の実施例を詳細に説明する。全ての図面を通じて、同じ参照番号が付されている要素は、同一若しくは類似した要素を表している。
【0063】
本発明の実施例の説明では、時系列の区間に分割可能なコンテンツとして主に映像コンテンツを対象とする。映像コンテンツは、典型的に、映像情報と音情報を含むコンテンツであるが、少なくとも画像情報を含むあらゆるコンテンツを映像コンテンツと呼ぶ。本発明のコンテンツは、時系列に分割できるコンテンツであればよく、本発明は、映像コンテンツ以外に、音楽コンテンツにも適用される。
【0064】
また、本発明のコメントは、少なくとも文字情報を含むが、文字情報だけに限定されることはなく、ウェブ上のコンテンツを指し示すURLや感情を表現する画像など、コミュニケーションを図る上で利用される情報を含む。
【0065】
上述のように、本発明は、コメントについての情報に基づいてコンテンツの各区間を評価し、評価が所定の条件を満たす区間を選択し、選択された区間を時系列の順に順序付けることにより、部分コンテンツを作成する。そして、ユーザにとって重要な区間であるかどうかというコンテンツの各区間の評価は、各区間に関連付けられているコメントについての情報に基づいて決定される。
【0066】
このようなコメントは、本願出願人によって提案されているコメント入力技術を利用することによって作成することができる。例えば、本願出願人は、映像コンテンツの特定の場面を指定する時間情報であるタイムコード、並びに、特定の場面を指定する付加情報であるコメントを、ユーザが入力するシステムを提案している(特開2003−076704号公報を参照のこと。)。このシステムによれば、ユーザは、映像コンテンツ内の時間情報、例えば、先頭からの経過時間であるタイムコードと、例えば、視聴者が映像コンテンツの特定の場面に関して他の視聴者へ伝達したいメッセージであるコメントを書き込むことができる。また、コミュニケーション空間を部分映像毎に形成し、映像再生時には、再生中の部分映像に対応したコミュニケーション空間を提示することにより、映像視聴とコミュニケーション空間の連動表示を実現する技術も提案されている(例えば、山田一穂、宮川和、森本正志、児島治彦、「映像の構造情報を活用した視聴者間コミュニケーション方法の提案」、情報処理学会研究報告、社団法人情報処理学会、2002−GN−43、p.37−42を参照のこと。)。この技術によれば、コメントは、映像再生と連動して表示されるため、ユーザは、映像視聴中に、視聴しているシーンのコメントを閲覧することが可能である。このような映像の視聴者同士のコミュニケーションのためのコメントは、時々刻々と変化し得る情報、例えば、追加、更新、或いは、削除され得る情報であるという性質がある。
【0067】
図6は、本発明の第1実施例による部分映像作成システムの構成図である。本実施例では、ユーザが映像コンテンツの映像を再生し、映像を視聴する1台以上のクライアント装置200と、部分映像作成サービスを提供するサーバ装置100は、ネットワーク300を介して接続されている。クライアント装置200は、映像コンテンツを再生し、映像コンテンツにコメントを付与することが可能であると共に、対象となる映像コンテンツについての部分映像の作成をサーバ装置100へ要求することができる。クライアント装置200は、映像を再生する映像再生制御部21を具備している。映像再生制御部21で再生される映像コンテンツは、様々な形態でクライアント装置200へ提供される。例えば、映像再生制御部2は、サーバ装置100のようなコンテンツ配給サーバからストリーミング形式で配信される映像コンテンツ、コンテンツ配給サーバからダウンロードされ、クライアント装置200の記憶部に格納された映像コンテンツ、或いは、クライアント装置200に装着されているDVDプレーヤ(図示しない)のような装置を介してDVDのような記憶媒体から読み出した映像を再生することができる。尚、映像コンテンツは、より詳細には、映像情報と、映像情報の構造を表す構造情報と、を含む。構造情報は、例えば、映像の時系列の各区間の区間識別情報と、区間の開始時間と、区間の終了時間と、により構成される。図7は、このような映像コンテンツの構造情報の一例の説明図である。
【0068】
最初にコメントの入力と表示について説明する。
【0069】
クライアント装置200は、映像再生制御部21による映像の再生時に、映像コンテンツ内での現在再生中の箇所の時間情報、例えば、先頭からの経過時間を取得する映像時間取得部23を備えている。更に、映像時間取得部23は、再生中の映像コンテンツの構造情報を参照して、現在の時間情報が映像コンテンツの時系列の区間の中のどの区間に対応するか、即ち、現在再生中の区間を判定する。この現在再生中の区間は、区間識別情報(=シーンID)によって指定される。映像コンテンツの構造情報は、区間の開始時間と終了時間を含んでいるので、現在の時間情報がどの区間に属するかを容易に判定することができる。映像時間取得部23で取得された時間情報は後述のコメント入力部210へ供給され、区間識別情報は後述のコメント表示部73へ供給される。
【0070】
コメント入力部210は、ユーザが映像コンテンツの再生中に、映像中のある対象についてコメントを書き込むために使用される。例えば、ユーザは、コメント入力部210を使用して、映像の視聴中に、コメントを入力するために映像の再生を一旦停止し、コメントを作成し、作成したコメントをサーバ装置100へ送信する。図8は、本発明の第1実施例による部分映像作成システムのクライアント装置200の表示装置画面230の一例の説明図である。ユーザが視聴中の映像は、映像表示部231に表示される。ユーザがコメント入力ボタン232を押下すると、映像コンテンツの再生が一時停止する。コメント入力フィールド233及びコメント送信ボタン234は、コメント入力ボタン232の押下に応答して、表示装置画面230に表示されるが、何時でもコメント情報を入力できるように常時表示装置画面230に表示しても構わない。コメント入力部210は、コメント入力ボタン232の押下時に、映像コンテンツの現在の時間情報を映像時間取得部23から取得する。そして、ユーザがコメント入力フィールド233にコメントを入力し、コメント送信ボタン234を押下すると、再生中の映像コンテンツ識別情報と、入力されたコメント情報と、現在の時間情報と、ユーザ識別情報と、をサーバ装置100へ送信する。サーバ装置100に送信されたコメント情報は、サーバ装置100のコメント情報データベース8に格納される。サーバ装置100におけるコメント情報の処理については後述する。
【0071】
クライアント装置200は、コメント表示部73を更に具備する。コメント表示部73は、映像コンテンツの再生時に、再生中の区間の更新毎に、映像時間取得部23から再生中の映像コンテンツの現在の区間識別情報を取得し、コメント要求のため現在の区間識別情報をサーバ装置100へ送信する。サーバ装置100は、後述のように現在の再生中の区間に対応したコメントを選択し、クライアント装置200へ送信する。クライアント装置200のコメント表示部73は、サーバ装置100から受信したコメントを表示装置画面230に表示させる。より詳細には、コメントは、コメント表示フィールド235に表示され、コメント表示フィールド235にはスクロールバー236が付随する。尚、クライアント装置200のフィルタ基準指定部74は、ユーザが表示するコメントを選択するための基準を指定するために使用される。
【0072】
クライアント装置200のコメント評価入力部220は、ユーザがコメント表示フィールド235に表示されているコメントを読んだとき、そのコメントに対する評価を付けるために使用される。例えば、ユーザは、コメント表示フィールド235に表示されたコメントを選択し(例えば、マウスボタンによってクリックし)、コメント評価入力フィールドに評価値(例えば、−2,−1,0,+1,+2のような5段階の値)を入力し、コメント評価送信ボタンを押下すると、再生中の映像コンテンツ識別情報と、該当するコメントのコメント識別情報と、評価値とがサーバ装置100へ送信される。サーバ装置100では、付加された評価値をコメント情報データベース8に格納されている対応した映像コンテンツのコメント情報に反映させる。
【0073】
次に、本発明の第1実施例による部分映像作成システムに使用されるサーバ装置100について説明する。
【0074】
サーバ装置100は、クライアント装置200のコメント入力部210及びコメント評価入力部220にネットワークを介して接続されたコメント情報蓄積部110を具備する。コメント情報蓄積部110は、コメント入力部210から、再生中の映像コンテンツ識別情報と、ユーザが入力したコメント情報と、現在の時間情報と、ユーザ識別情報とを受信する。次に、コメント情報蓄積部110は、上述の構造情報を映像コンテンツ毎に格納している映像区間情報データベース9を参照して、現在再生中の映像区間を表す映像区間識別情報を取得する。図9は、映像区間情報データベース9の構造の一例の説明図である。
【0075】
続いて、コメント情報蓄積部110は、コンテンツ識別情報と、映像区間識別情報と、時間情報(即ち、映像タイムコード)と、ユーザ識別情報と、現在時刻(即ち、コメント入力時間)と共にコメント情報をコメント情報データベース8に登録する。登録されたコメント情報には、コメント識別情報が付けられる。図10は、コメント情報データベース8の構造の一例の説明図である。コメント情報データベース8は、映像コンテンツ毎に、各コメント情報の「コメント文字列」、「映像区間識別情報」、「コメント入力時間」、「コメント入力ユーザ識別情報」、「映像タイムコード」及び「評価数」を格納する。評価数は、あるコメントに対して、例えば、他のユーザから入力されたコメント評価値の合計であり、評価数が大きいほど、コミュニティ内でそのコメントに対する関心が高い、と考えられる。コメント情報蓄積部110は、クライアント装置220のコメント評価入力部220から、映像コンテンツ識別情報と、コメント識別情報と、そのコメントに対する評価値とを受信し、コメント情報データベース8内の該当するコメントの評価数を更新する。
【0076】
コメント検索部4は、クライアント装置200のコメント表示部73から、映像コンテンツ識別情報及び映像区間識別情報を受信すると、時間間隔取得部3に対して、当該映像区間識別情報で指定された映像区間の時間間隔を映像区間情報データベース9から取得してコメントフィルタ部5へ送るように指令すると共に、コメント情報データベース8から、指定されたコンテンツの指定された映像区間に対して登録されているコメントの組を検索する。コメント検索部4は、獲得したコメントの組をコメントフィルタ部5へ渡す。一方、時間間隔取得部3は、映像区間の終了時間と開始時間の差として計算できる時間間隔をコメントフィルタ部5へ渡す。
【0077】
コメント検索部4で検索されるコメントの量は、コメント情報データベース8に蓄積されるコメント情報の量の増加と共に増加する。そのため、映像再生と連動してコメントが次々に表示されるシステムにおいて、これらのコメントをそのまま全て表示させると、映像の一区間を再生している短い時間に大量のコメントが表示される可能性があり、これにより、ユーザ(映像コンテンツの視聴者)は、大量のコメントを読解する負荷を強いられ、更にコメントの量が増加すると、コメントを読解し尽くすことができなくなり、ストレスを感じることになってしまう。そこで、本発明の第1実施例による部分映像作成システムは、ユーザが読解できない程のコメントが表示されないように、表示されるコメントの量を制限するため、コメントを選択するコメントフィルタ部5が設けられている。
【0078】
コメントフィルタ部5は、コメント検索部4から渡されたコメントの組の中から、時間間隔取得部3から渡された時間間隔内にユーザが読解可能な量のコメントを選択する。ユーザが読解可能なコメントの量は、上述のように、例えば、コメントの文字数、或いは、コメントの数によって指定できる。コメントの文字数で指定する場合、読解可能なコメント量は、例えば、区間の時間間隔×単位時間当たりの読解可能許容文字数、定数、ユーザが指定した文字数、ユーザの年齢などの個人属性を考慮した値などによって推定される。
【0079】
また、コメントフィルタ部5は、種々の基準に基づいて、コメントを選択することができる。フィルタリング基準には、例えば、コメントの書き込み時間の新しい順、コメントの書き込み時間の古い順、コメントの評価されたポイントが高い順、或いは、類似ユーザ順などが含まれる。このフィルタリング基準は、クライアント装置200のフィルタ基準指定部74によって指定することも可能である。
【0080】
コメントの書き込み時間の新しい順又は古い順にコメントを選択するには、コメント情報に付加されているコメント入力時間を参照して、時間の新しい順又は古い順にコメントを選択すればよい。
【0081】
コメントは評価ポイントの高い順に選択してもよい。評価ポイントは、あるユーザが入力したコメントに対して、このコメントを参照したユーザが付与した評価値(又は、その合計、平均などを表す評価数)であり、同じコンテンツに関してコミュニケーションを行うユーザのコミュニティ内において、重要視されているコメントには高い評価ポイントが与えられる。このような評価ポイントの高いコメントは、コメント表示をしようとしているユーザにとっても関心のあるコメントである可能性が高い。このため、コメントフィルタ部5は、コメント情報に付与されている評価数を参照して、評価数の高い順にコメントを選択する。
【0082】
更に、コメントはユーザ同士の類似度の高い順に選択してもよい。ユーザ同士の類似度は、例えば、ユーザに関する情報、即ち、キーワードの集まりであるユーザ・プロファイルをユーザ間で比較して似た関心をもつユーザを抽出する「プロファイルを用いたユーザフィルタリング」を利用することによって取得できる(参考文献:亀井剛次 他 「ネットコミュニティの形成を支援するシステム"Community Organizer"における情報提示手法の検討」)。この技術では、ユーザが関心をもつ映像コンテンツの分野をキーワードによって表現し、そのキーワードの集合であるユーザ・プロファイルをユーザ間で比較することにより、映像コンテンツに関して似た関心をもつ人を提示することができる。さらに、映像コンテンツに対するユーザ評価を収集し、その評価の集合を利用して、映像コンテンツ間の類似度、ユーザ間の類似度を計算することによって、似た関心を持つ人を提示する「映像コンテンツ単位のユーザマッチングシステム」を利用することも可能である(参考文献:日本ソフトウェア科学会第14回大会論文集 舘村純一 「批評空間の視覚化に基づく情報媒介システムの構築」)。
【0083】
同じ映像コンテンツに対して、あるユーザと別のユーザが同じ場面でコメントを入力している場合、これらのユーザ同士は類似した関心を持っていると考えられるので、ユーザ同士が類似していると判定される。そこで、ユーザ同士の関心の類似度の規準として、両方のユーザが共にコメントを書き込んだ場面(映像のシーン)の数を利用することができる。より具体的には、ユーザAとユーザBの関心の類似度は、次の手順に従って取得できる。
【0084】
(1)ユーザAのユーザIDをキーとして、コメント情報データベースを検索し、ユーザAがコメントを書き込んだ映像コンテンツの識別情報と映像区間の識別情報の組のリストAを取得する。
【0085】
(2)次に、ユーザBについても同様に、ユーザBのユーザIDをキーとして、コメント情報データベースを検索し、ユーザBがコメントを書き込んだ映像コンテンツの識別情報と映像区間の識別情報の組のリストBを取得する。
【0086】
(3)(1)で取得したリストAと(2)で取得したリストBを比較し、両方に共通して含まれている映像コンテンツの識別情報と映像区間の識別情報の組の個数を集計する。
【0087】
(4)このようにして集計された値、若しくは、この値から導かれる値を、ユーザAとユーザBの類似度とする。
【0088】
このユーザ同士の関心の類似度を用いることにより、あるユーザAに関して、他のユーザとの類似度を、以下の手順に従って計算することができる。
【0089】
(I)ユーザAのユーザIDをキーとして、コメント情報データベースを検索し、ユーザAがコメントを書き込んだ映像コンテンツの識別情報と映像区間の識別情報の組のリストAを取得する。
【0090】
(II)次に、(I)で取得したリスト中の映像コンテンツの識別情報と映像区間の識別情報の各組について、当該映像区間にコメントを書き込んでいる他のコメント入力ユーザの識別情報を取得する。
【0091】
(III)次に、他のユーザ毎に、(II)で取得された他のコメント入力ユーザの識別情報の出現回数(個数)、即ち、ユーザAがコメントを書き込んだ映像区間に他のユーザが書き込んだコメントの個数を集計する。
【0092】
(IV)他のユーザ毎に集計された値をまとめて、ユーザAと他のユーザとの類似度とする。
【0093】
サーバ装置100の類似度計算部1aは、上記の(I)から(IV)の手順に従って、コメント表示要求を発行したユーザと他のユーザとの類似度を取得する。
【0094】
コメントフィルタ部5は、コメント毎にそのコメントを入力したユーザの類似度を関連付けることにより、ユーザの類似度に基づいてコメントに優先順位を付けることができる。
【0095】
或いは、ユーザ同士の類似度は、他の例として、ユーザがコメントを入力したときの映像タイムコードの差によって評価してもよい。同じ映像コンテンツに対して、あるユーザと別のユーザが同じ場面でコメントを入力している場合、これらのユーザ同士は類似した関心を持っていると考えられるので、ユーザ同士が類似していると判定される。したがって、例えば、ユーザAとユーザBが入力したコメントの映像タイムコードを比較して、映像タイムコードの差が所定の閾値未満に収まる映像タイムコードの組が多数存在するユーザ同士は、類似ユーザである、と判定することができる。
【0096】
この場合、サーバ装置100の類似度計算部1aは、コメント情報データベース8から映像タイムコード群を取り出し、コメント表示要求を発行したユーザが入力したコメントに付随する映像タイムコードとの差の絶対値(すなわち、類似度)が、所定の閾値未満であるタイムコードを抽出し、抽出されたタイムコードに対応するユーザ識別情報及び抽出されたタイムコードの個数を類似ユーザ情報として取得する。ユーザ同士の類似度の高い順とは、例えば、このように取得されたタイムコードの個数の多いユーザ順である。本例における類似度は、類似している度合いが高いほど、類似度の値が小さくなるように定義されているが、類似の度合いの表し方は、この例に限定されるものではない。
【0097】
例えば、関心情報として、タイムコードの他に、映像コンテンツの特定の場面へ指定する付加情報である評価数値を利用することができる。評価数値とは、視聴者が映像コンテンツの特定の場面を気に入っている度合いや、その映像コンテンツの特定の場面についてコミュニケーションをしたい要求度合いなどの指標を意味する。このような評価数値は、クライアント装置で収集され、サーバ装置へ供給され、映像コンテンツID、ユーザID、及び、タイムコードと共にユーザ情報データベースに格納される。
【0098】
また、この評価数値は、類似度計算部1aがユーザ情報DBからユーザID及びタイムコードと共に取り出し、コメント検索部4が検索結果として取得したコメントに優先順位を付けるため、類似度の代わりに、或いは、類似度と組み合わせて使用することができる。たとえば、評価数値が気に入っている度合いを表すとき、評価数値の高いコメントを優先することができる。
【0099】
他の例では、関心情報として、コメントを入力した映像区間、タイムコードの他に、映像コンテンツの特定の場面を指定する付加情報であるコメントを利用する。コメントは、例えば、視聴者が映像コンテンツの特定の場面に関して他の視聴者へ伝達したいメッセージを含む。例えば、コメント同士で一致する単語の数を類似ユーザ情報の優先度とすることができる。
【0100】
このようなユーザ類似順は、コメントを読解するユーザに特有の順である。ユーザ同士の類似度の判定についてのより詳細な情報は、例えば、特開2003−076704号公報に記載されている。
【0101】
コメントフィルタ部5は、通常、所定のコメント量に達するまでコメントを選択するが、選択されたコメントに特に順序付けを行っていない。そこで、上述のコメント書き込みの新しい順、コメント書き込みの古い順、コメントの評価ポイントの高い順、或いは、類似度の高い順にコメントを選択した場合、選択されたコメントは、一般に、この選択された順に並べられる。しかし、このような順にコメントが並べられ、表示されると、コメントが指し示す対象が映像中に出現する順序と、コメントが表示され、コメントを読解する順序とが一致しない(前後する)状況が起こり得る。そのため、本例では、コメントを読解する順序と、コメントが指し示す対象物が映像中に出現する順序とを一致させるため、コメントが表示される順序を並べ替えるコメント並べ替え部6が設けられている。
【0102】
コメント並べ替え部6は、コメントフィルタ部5において選択されたコメントを、そのコメントに付与されている映像タイムコードの順に並べ替える。これにより、ユーザの映像視聴とコメント読解がよりスムーズに行える効果が生じる。
【0103】
次に、部分映像作成について説明する。
【0104】
本発明の第1実施例による部分映像作成システムは、このようにしてコメント情報データベース8に格納されたコメントについての情報に基づいて部分映像を作成する。クライアント装置200は、サーバ装置100に対して、対象となる映像コンテンツの部分映像の作成を要求する部分映像要求部51を更に含む。クライアント装置200の映像再生制御部21は、サーバ装置100から作成された部分映像を表す部分映像リストを受信し、部分映像リストに記載されているシーンの識別情報の順に映像コンテンツの各シーンを再生する。また、コメント表示部73は、通常の映像コンテンツと同様に、部分映像の再生中にその部分映像の各シーン毎に関連付けられたコメントをサーバ装置100から取得して、コメントを表示することができる。
【0105】
サーバ装置100は、クライアント装置200からの部分映像作成要求を受け取り、対象となる映像コンテンツの各シーンに関連付けられているコメントについての情報を取得するコメント取得部52と、取得した情報に基づいて、映像コンテンツの各シーンに評価ポイントを付け、評価ポイントの高いシーンを部分映像を構成するシーンとして選択し、部分映像を部分映像リストの形でクライアント装置200の映像再生部21へ送信する部分映像情報作成部53と、を更に含む。
【0106】
以下では、図11を参照して、本発明の第1実施例による部分映像作成システムにおける部分映像作成処理を詳細に説明する。
【0107】
ステップ50:クライアント装置200の部分映像要求部51は、サーバ装置100のコメント取得部52に対象となる映像コンテンツの部分映像を要求する。
【0108】
ステップ51:サーバ装置100のコメント取得部52は、コメント情報データベース8から、対象となる映像コンテンツの各シーンに関連付けられているコメントについての情報として「映像区間に関連付けられているコメントの個数」を取得する。対象となる映像コンテンツの各区間に関連付けられているコメントは、図10のコメント情報データベースの構造からわかるように、映像コンテンツ識別情報と映像区間識別情報をキーとしてコメント情報データベースから検索できる。コメントの個数は、図10に示されたコメント情報データベースにおいて、同じ映像区間識別情報に対応しているコメント識別情報の数を計数することによって容易に取得できる。
【0109】
ステップ52:サーバ装置100の部分映像情報作成部53は、映像区間毎(シーン毎)に「映像区間に関連付けられているコメントの個数」をそのまま当該映像区間の評価ポイントとして取得する。
【0110】
ステップ53:部分映像情報作成部53は、映像区間の時間間隔の合計が所定の値に達するまで、評価ポイントの高い順に映像区間を選択する。ここで、所定の値は、作成されるべき部分映像の時間長さに相当する。尚、ある映像区間の時間間隔は、図9に示された映像区間情報データベースに格納されている「開始時間」と「終了時間」の差として求めることができる。
【0111】
ステップ54:部分映像情報作成部53は、選択された映像区間の識別情報を時間降順に順序付けすることにより、部分映像リストを作成する。ここで、各映像区間の時間降順は、例えば、図9の映像区間データベースの「開始時間」又は「終了時間」の早い順と一致する。
【0112】
ステップ55:サーバ装置100の部分映像情報作成部53は、作成した部分映像リストをクライアント装置200の映像再生制御部21へ送信する。
【0113】
ステップ56:映像再生制御部21は、部分映像リストに従って、映像コンテンツの選択された映像区間を再生する。これにより、部分映像が再生される。
【0114】
尚、本例では、説明の便宜上、ステップ51とステップ52を別々のステップとして説明しているが、ステップ51で取得したコメントの個数をそのままステップ52の評価ポイントとすることにより、1回のステップで済ますことが可能である。
【0115】
図12は、このようにして作成された部分映像リストの一例の説明図である。同図の例では、部分映像リストの各シーン毎に、映像コンテンツのソースを表す映像の位置と、シーンの開始時間と、シーンの終了時間とが保持される。映像再生制御部21は、この部分映像リストを参照して、対象となる映像コンテンツの特定のシーンを順々に再生することが可能になる。
【0116】
この本発明の第1の実施例では、次のような効果が得られる。
・複数の人が注目している映像シーンを短時間で視聴することができる。例えば、ニュース番組で、多くの人が注目したニュースのみを速欄できる。
・複数の人が注目した映像シーンを見ることで、その映像の概要を把握することができる。また、その映像を想起することができる。例えば、観光地紹介番組で、多くの人が注目した観光スポットの映像を見ることが出来、その番組(観光地)の概要を把握することができる。
【0117】
次に、図13を参照して、本発明の第1実施例の一変形例による部分映像作成システムにおける部分映像作成処理を詳細に説明する。この変形例では、コメントについての情報として、上記の「コメントの個数」の代わりに「コメント入力時間」を利用する。
【0118】
ステップ50:クライアント装置200の部分映像要求部51は、サーバ装置100のコメント取得部52に対象となる映像コンテンツの部分映像を要求する。
【0119】
ステップ51’:サーバ装置100のコメント取得部52は、コメント情報データベース8から、対象となる映像コンテンツの各シーンに関連付けられているコメントについての情報として「コメント入力時間」を取得する。対象となる映像コンテンツの各区間に関連付けられているコメントは、図10のコメント情報データベースの構造からわかるように、映像コンテンツ識別情報と映像区間識別情報をキーとしてコメント情報データベースから検索できる。
【0120】
ステップ52’:サーバ装置100の部分映像情報作成部53は、映像区間毎(シーン毎)に「コメント入力時間」が所定の時間以降であるコメントの個数を計数し、そのコメントの個数を当該映像区間の評価ポイントとして取得する。
【0121】
ステップ53:部分映像情報作成部53は、映像区間の時間間隔の合計が所定の値に達するまで、評価ポイントの高い順に映像区間を選択する。ここで、所定の値は、作成されるべき部分映像の時間長さに相当する。尚、ある映像区間の時間間隔は、図9に示された映像区間情報データベースに格納されている「開始時間」と「終了時間」の差として求めることができる。
【0122】
ステップ54:部分映像情報作成部53は、選択された映像区間の識別情報を時間降順に順序付けすることにより、部分映像リストを作成する。ここで、各映像区間の時間降順は、例えば、図9の映像区間データベースの「開始時間」又は「終了時間」の早い順と一致する。
【0123】
ステップ55:サーバ装置100の部分映像情報作成部53は、作成した部分映像リストをクライアント装置200の映像再生制御部21へ送信する。
【0124】
ステップ56:映像再生制御部21は、部分映像リストに従って、映像コンテンツの選択された映像区間を再生する。これにより、部分映像が再生される。
【0125】
尚、本例では、説明の便宜上、ステップ51’とステップ52’を別々のステップとして説明しているが、コメント情報データベースへの問い合わせ方を変えることにより、1回のステップで済ますことが可能である。例えば、各シーンに関連付けられていて、かつ、入力時間が所定の時間以降であるコメントを1回の問い合わせで取得することも可能である。
【0126】
この本発明の第1の実施例の一変形例では、コメント入力時間に基づいてユーザにとって重要な映像シーンを選択している。そのため、本発明の第1の実施例では、以下のような効果が得られる。
・最近、どのシーンが注目されているかを把握することができる。例えば、映画の世界で、今注目されている俳優がわかる。また、音楽番組では、今注目されているアーティスト・曲がわかる。
【0127】
或いは、本発明の第1の実施例の更なる変形例として、ステップ51で取得されるコメントについての情報として、上述の「ユーザ同士の類似度」を利用することも可能である。例えば、部分映像を要求するユーザをユーザA、対象となる映像コンテンツのある映像区間aにコメントを入力したユーザをユーザBとしたとき、このコメントについての情報として、ユーザAとユーザBの類似度を用いる。この類似度は、例えば、上述の類似度計算部1aによって計算することが可能である。この類似度は、対象となるコンテンツの全てのコメントに対して求めることができる。
【0128】
次に、ステップ52では、評価ポイントとして、「映像区間毎の類似度の和」を取得する。つまり、ある映像区間aの全てのコメントに対する類似度の合計を、この映像区間aに対する評価ポイントとする。このようにして定義された評価ポイントは、ステップ53において、評価ポイントの高い順に映像区間を選択するために利用できる。
【0129】
この本発明の第1の実施例の更なる変形例によれば、以下の効果が得られる。
・特定の人(嗜好が似ている人など)が注目している映像シーンを把握することができる。特定の人が注目している映像シーンを見ることで、映像を想起することがより容易になる。
【0130】
また、本発明の第1実施例の部分映像作成システムのステップ53では、映像区間の時間間隔が所定の値に達するまで、評価ポイントの高い順に映像区間を選択しているが、その代わりに、評価ポイントが閾値よりも大きい映像区間を選択しても構わない。この場合には、部分映像の時間長さは変化することになる。
【0131】
図14は、本発明の第2実施例による部分映像作成システムの構成図である。本実施例は、図6に示された本発明の第1実施例と類似しているが、サーバ装置100において、部分映像情報作成部53の代わりに、部分映像作成部54とコンテンツ記憶媒体10が設けられている。部分映像作成部54は、コメント取得部52から取得した情報に基づいて、映像コンテンツの各シーンに評価ポイントを付け、評価ポイントの高いシーンを部分映像を構成するシーンとして選択し、選択されたシーンをコンテンツ記憶媒体10から取得し、シーンの順序付きリストである部分映像そのものをクライアント装置200の映像再生部21へ送信する。クライアント装置200の映像再生制御部21は、サーバ装置100から送信された部分映像を通常の映像コンテンツと同様に再生する。コメント表示も通常の映像コンテンツの場合と同様に、コンテンツの再生中に同時に行うことができる。
【0132】
尚、サーバ装置100の部分映像作成部54と、クライアント装置200の映像再生制御部21との間での部分映像の伝送・再生は、次の二通りの形式で実現される。第1の形式では、クライアント装置200が一つのシーンの再生終了後に次のシーンを要求することにより、部分映像が1シーンずつ伝送・再生される。第2の形式では、クライアント装置200が部分映像の全部を一連の映像として1回だけ要求することにより、部分映像の一連のシーンがシームレスに伝送・再生される。
【0133】
上記の本発明の実施例の説明中、コメントは、特に、分類されていなかったが、インターネット等のネットワーク上のコミュニケーションの場では、コメントがスレッドの形に構造化されている場合がある。本発明は、このようなスレッド形式のコメントにも拡張可能である。スレッド形式のコメントは、話題を新規に提供する場合に書き込まれるコメントであるルートコメントと、ルートコメント又は他のコメントを受けて、それに対する意見・感想などとして書き込まれるレスポンスコメント(レスコメント)とに分類される。一つのスレッド単位は、一つのルートコメントと、そのルートコメントから派生したレスポンスコメントとにより構成される。
【0134】
このようなスレッド形式のコメント入力を許容するため、本発明の第3実施例による部分コンテンツ作成システムでは、コメント入力の際に、ルートコメントであるか、又は、他のコメントに対するレスポンスコメントであるかが判定される。そして、各コメントは、図10に記載されているような映像コンテンツ識別情報とコメント識別情報の代わりに、映像コンテンツ識別情報、スレッド識別情報及びコメント識別情報によって識別される。ルートコメントが入力されると、新しいスレッド識別情報が生成され、ルートコメントには、例えば、コメント識別情報として、コメント番号1が付与される。図15は、本発明の第2実施例で使用されるコメント情報データベースの構造の一例の説明図である。尚、レスポンスコメントの付いていないルートコメントもスレッド単位のコメントとして取り扱うことが可能である。逆に、スレッド形式のコメントを構成するルートコメントとレスポンスコメントを個別の独立したコメントとして取り扱うことも可能である。
【0135】
スレッド単位でコメントを選択する場合には、コメントの優先度の基準として、例えば、ルートコメントが書き込まれた時間が新しい順、ルートコメントが書き込まれた時間が古い順、最新のレスポンスコメントが書き込まれた時間が新しい順、或いは、書き込まれたレスポンスコメントの個数が多い順などが採用される。
【0136】
本発明は、スレッド形式のコメントについても、「コメントについての情報」を「ルートコメントについての情報」又は「ルートコメントとレスポンスコメントの両方についての情報」とすることによってそのまま適用可能である。
【0137】
本発明は、ネットワークを利用しない自立型の部分映像作成装置にも適用可能である。図16は、本発明の第4実施例による部分映像作成装置402の構成図である。部分映像作成装置402は、例えば、DVDプレーヤを用いてDVDなどの記憶媒体から映像コンテンツを読み出し、映像再生制御部21で映像コンテンツの再生制御を行う。DVDのような記憶媒体には、映像情報、映像区間情報の他に、予め作成されたコンテンツ情報が記憶されている。映像再生制御部21が映像コンテンツから抽出した構造情報は映像区間情報データベース9に格納され、コメント情報はコメント情報データベース8に格納される。尚、同時に再生する映像コンテンツが1種類に限定されている場合には、映像区間情報データベース9とコメント情報データベース8のコンテンツ識別情報フィールドは省略してもよい。
【0138】
映像時間取得部22、時間間隔取得部3、コメント検索部4、再生速度算出部5、コメント選択基準指定部74及びコメント表示部7の構成並びに機能は、本発明の第1実施例による部分映像作成システムに関して図6から図11を参照して既に説明したので、それ以上の説明は加えない。
【0139】
更に、本発明は、映像コンテンツ以外のコンテンツ、例えば、音楽コンテンツにも適用可能であり、本発明の第1〜第4実施例は、音楽コンテンツにも拡張可能であり、部分音楽作成システム並びに部分音楽作成装置を実現できる。その場合、映像区間は、例えば、音楽区間のように変更され、図8を参照して説明した表示装置画面は、映像表示部231が省かれる。
【0140】
上記の本発明の実施例による部分映像作成システム及び装置の主な機能は、ソフトウェア(プログラム)で構築することが可能であり、コンピュータのCPUによってこのプログラムを実行することにより本発明の実施例による部分映像作成システム及び装置を実現することができる。構築されたプログラムは、ディスク装置等に記録しておき必要に応じてコンピュータにインストールされ、フロッピー(登録商標)ディスク、メモリカード、CD−ROM等の可搬記録媒体に格納して必要に応じてコンピュータにインストールされ、或いは、通信回線等を介してコンピュータにインストールされ、コンピュータのCPUによって実行される。
【0141】
以上、本発明の代表的な実施例を説明したが、本発明は、上記の実施例に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。
【0142】
【発明の効果】
本発明によれば、時系列に分割可能なコンテンツ、例えば、映像コンテンツや音楽コンテンツのユーザ同士が、そのコンテンツの区間に関する情報、例えば、映像シーンに関する情報交換を行う際に、ユーザが入力したコメントについての情報、例えば、コメント量、コメント入力時間、ユーザ同士の類似度に応じて、コンテンツの一部の区間により構成された部分コンテンツが作成される。そのため、作成された部分コンテンツは、ユーザにとっての重要な区間を含む部分コンテンツであり、ユーザがコンテンツの概要を把握することや、コンテンツの内容を想起することが容易に行えるようになる。
【図面の簡単な説明】
【図1】本発明による部分コンテンツ作成方法の原理説明図である。
【図2】区間選択処理の一実施例のフローチャートである。
【図3】本発明による部分コンテンツ作成システムの一実施例の構成図である。
【図4】本発明による部分コンテンツ作成システムの他の実施例の構成図である。
【図5】本発明による部分コンテンツ作成装置の構成図である。
【図6】本発明の第1実施例による部分映像作成システムの構成図である。
【図7】映像コンテンツの構造情報の一例の説明図である。
【図8】クライアント装置の表示装置画面の一例の説明図である。
【図9】映像区間情報データベースの構造の一例の説明図である。
【図10】コメント情報データベースの構造の一例の説明図である。
【図11】本発明の第1実施例による部分映像作成処理の説明図である。
【図12】部分映像リストの一例の説明図である。
【図13】本発明の第1実施例の一変形例による部分映像作成処理の説明図である。
【図14】本発明の第2実施例による部分映像作成システムの構成図である。
【図15】本発明の第3実施例で使用されるコメント情報データベースの一例の説明図である。
【図16】本発明の第4実施例による部分映像作成装置の構成図である。
【符号の説明】
8 コメントデータベース
9 構造情報データベース
21 コンテンツ再生手段
51 部分コンテンツ要求手段
52 コメント取得手段
53 部分コンテンツ情報作成手段
54 部分コンテンツ作成手段
71 コメント送信手段
72 コメント表示手段
100 サーバ装置
200 クライアント装置
300 ネットワーク

Claims (6)

  1. 時系列の区間に分割できるコンテンツから一部の区間により構成された部分コンテンツを作成する部分コンテンツ作成方法であって、
    コンテンツの区間に関連付けられているコメント文字列を取得する情報取得手順と、
    コンテンツの区間毎に取得されたコメント文字列から、コンテンツの各区間に関連付けられているコメント文字列のコメント個数、あるいは、コメント文字列の書き込まれた時間が所定の時間以降であるコメント文字列のコメント個数を取得し、そのコメント個数に基づいてコンテンツの各区間の評価を取得する情報評価手順と、
    評価が所定の条件を満たすコンテンツの区間を選択する区間選択手順と、
    選択された区間を時系列の順に順序付ける手順と、
    を行うことを特徴とする部分コンテンツ作成方法。
  2. 時系列の区間に分割できるコンテンツから一部の区間により構成された部分コンテンツを作成するための部分コンテンツ作成方法であって、
    コンテンツの区間に関連付けられているコメント文字列、及び該コメント文字列を入力したユーザの情報を取得する情報取得手順と、
    コンテンツの区間毎に取得されたコメント文字列、及び該コメント文字列を入力したユーザから、該コメント文字列を入力したユーザと部分コンテンツを再生しようとするユーザとの類似度の合計を取得し、その類似度の合計値に基づいてコンテンツの各区間の評価を取得する情報評価手順と、
    評価が所定の条件を満たすコンテンツの区間を選択する区間選択手順と、
    選択された区間を時系列の順に順序付ける手順と、
    を行うことを特徴とする部分コンテンツ作成方法。
  3. 時系列の区間に分割できるコンテンツから一部の区間により構成された部分コンテンツを作成する部分コンテンツ作成装置であって、
    コンテンツの区間に関連付けられたコメント文字列を格納したコメントデータベースと、
    コンテンツの区間の時間情報を格納する構造情報データベースと、
    前記コメントデータベースから対象となるコンテンツの区間に関連付けられているコメント文字列を取得する情報取得手段と、
    コンテンツの区間毎に取得されたコメント文字列から、コンテンツの各区間に関連付けられているコメント文字列のコメント個数、あるいは、コメント文字列の書き込まれた時間が所定の時間以降であるコメント文字列のコメント個数を取得し、そのコメント個数に基づいてコンテンツの各区間の評価を取得する情報評価手段と、
    評価が所定の条件を満たすコンテンツの区間を選択する区間選択手段と、
    前記構造情報データベースを参照して選択された区間を時系列の順に順序付ける部分コンテンツ作成手段と、
    を有することを特徴とする部分コンテンツ作成装置。
  4. 時系列の区間に分割できるコンテンツから一部の区間により構成された部分コンテンツを作成するための部分コンテンツ作成装置であって、
    コンテンツの区間に関連付けられたコメント文字列及びユーザの情報を格納したコメントデータベースと、
    コンテンツの区間の時間情報を格納する構造情報データベースと、
    コンテンツの区間に関連付けられているコメント文字列、及び該コメント文字列を入力したユーザの情報を取得する情報取得手段と、
    コンテンツの区間毎に取得されたコメント文字列、及び該コメント文字列を入力したユーザの情報から、該コメント文字列を入力したユーザと部分コンテンツを再生しようとす るユーザとの類似度の合計を取得し、その類似度の合計値に基づいてコンテンツの各区間の評価を取得する情報評価手段と、
    評価が所定の条件を満たすコンテンツの区間を選択する区間選択手段と、
    前記構造情報データベースを参照して選択された区間を時系列の順に順序付ける部分コンテンツ作成手段と、
    を有することを特徴とする部分コンテンツ作成装置。
  5. コンピュータを、
    請求項3または4記載の部分コンテンツ作成装置として機能させることを特徴とするプログラム。
  6. 請求項記載のプログラムを格納したことを特徴とするコンピュータ読み取り可能な記録媒体。
JP2003162733A 2003-06-06 2003-06-06 部分コンテンツ作成方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体 Expired - Fee Related JP4016891B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003162733A JP4016891B2 (ja) 2003-06-06 2003-06-06 部分コンテンツ作成方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003162733A JP4016891B2 (ja) 2003-06-06 2003-06-06 部分コンテンツ作成方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体

Publications (2)

Publication Number Publication Date
JP2004364183A JP2004364183A (ja) 2004-12-24
JP4016891B2 true JP4016891B2 (ja) 2007-12-05

Family

ID=34054798

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003162733A Expired - Fee Related JP4016891B2 (ja) 2003-06-06 2003-06-06 部分コンテンツ作成方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体

Country Status (1)

Country Link
JP (1) JP4016891B2 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8554057B2 (en) 2004-08-10 2013-10-08 Sony Corporation Information signal processing method and apparatus, and computer program product
JP2008004134A (ja) * 2006-06-20 2008-01-10 Sony Corp 音楽再生方法および音楽再生装置
JP2008244657A (ja) * 2007-03-26 2008-10-09 Fujifilm Corp 動画像記録装置
WO2009022708A1 (ja) * 2007-08-14 2009-02-19 Nippon Hoso Kyokai 映像配信装置及び映像配信プログラム
JP5169239B2 (ja) * 2008-01-18 2013-03-27 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP4737213B2 (ja) * 2008-03-18 2011-07-27 日本電気株式会社 情報処理装置
JP5086189B2 (ja) * 2008-06-20 2012-11-28 ヤフー株式会社 動画コンテンツのダイジェスト映像を生成するサーバ、方法及びプログラム
JP5011261B2 (ja) * 2008-10-28 2012-08-29 株式会社日立製作所 情報記録再生装置、情報記録再生方法および情報記録再生システム
JP2010226630A (ja) * 2009-03-25 2010-10-07 Toshiba Corp コメント処理機能を有した映像処理装置及びそのコメント処理方法
JP4642139B1 (ja) * 2010-05-10 2011-03-02 キャスタリア株式会社 学習システム、学習コンテンツ送信方法及びコンピュータプログラム
JP2012129979A (ja) * 2010-11-24 2012-07-05 Jvc Kenwood Corp 区間作成装置、区間作成方法、及び区間作成プログラム
WO2013005301A1 (ja) * 2011-07-05 2013-01-10 パイオニア株式会社 再生装置、再生方法、及びコンピュータプログラム
US20140317647A1 (en) * 2011-10-27 2014-10-23 Yuichiro Itakura Content evaluation/playback device
JP6291162B2 (ja) * 2012-12-27 2018-03-14 株式会社アイ・オー・データ機器 コンテンツ再生装置
JP2017212626A (ja) * 2016-05-26 2017-11-30 ソフトバンク株式会社 動画再生システム
CN110611824B (zh) * 2018-06-14 2021-12-24 连株式会社 精彩视频产生方法、使用其的精彩视频产生装置以及介质
JP7387970B2 (ja) * 2019-01-17 2023-11-29 Lineヤフー株式会社 算出装置、算出方法、算出プログラム
JP6765558B1 (ja) * 2020-02-28 2020-10-07 株式会社ドワンゴ コンテンツ配信装置、コンテンツ配信方法、コンテンツ配信システム、および、コンテンツ配信プログラム
KR102291542B1 (ko) * 2021-04-09 2021-08-23 주식회사 진원온원 콘텐트 스트리밍 서비스의 사용자의 피드백 정보 동기화 장치 및 방법

Also Published As

Publication number Publication date
JP2004364183A (ja) 2004-12-24

Similar Documents

Publication Publication Date Title
JP4016891B2 (ja) 部分コンテンツ作成方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体
US11709888B2 (en) User interface for viewing targeted segments of multimedia content based on time-based metadata search criteria
JP3982459B2 (ja) コンテンツ連動型コメント表示方法、コメント表示システム、サーバ装置、コメント表示装置及びコメント表示プログラム
JP4025185B2 (ja) メディアデータ視聴装置及びメタデータ共有システム
JP4329436B2 (ja) コンテンツ視聴支援システム及びコンテンツ視聴支援方法、並びにコンピュータ・プログラム
TWI522952B (zh) 用以產生媒體資產之方法、設備以及可讀取式電腦儲存媒體
US20080036917A1 (en) Methods and systems for generating and delivering navigatable composite videos
US20020175917A1 (en) Method and system for streaming media manager
JP2000250944A (ja) 情報提供方法、情報提供装置、情報受信装置、並びに情報記述方法
EP2131366A1 (en) Information processing device, information processing method and program
US20070300258A1 (en) Methods and systems for providing media assets over a network
JP3982460B2 (ja) コンテンツ連動型コメント表示方法、コメント表示システム、サーバ装置、コメント表示装置及びコメント表示プログラム及びコンピュータ読み取り可能な記録媒体
US20200382571A1 (en) Method and system for generation of media
JP2007528038A (ja) プレイリストに基づくユーザプロファイルを生成する方法及び装置
JP2001028722A (ja) 動画像管理装置及び動画像管理システム
JP2002135747A (ja) 個人用映画プレゼンテーションおよび個人用映画コレクションの作成を可能にするシステムおよび方法
JPH08249348A (ja) 映像検索方法および装置
JP2007036830A (ja) 動画管理システム、動画管理方法、クライアント、およびプログラム
JP2006155384A (ja) 映像コメント入力・表示方法及び装置及びプログラム及びプログラムを格納した記憶媒体
US20140126884A1 (en) Information processing apparatus and information processing method
JP4476786B2 (ja) 検索装置
KR20130019509A (ko) 콘텐츠 구간 정보 표시 방법, 콘텐츠 재생 장치 및 콘텐츠 제공 시스템
US9110954B2 (en) Single access method for multiple media sources
JP4496690B2 (ja) 映像情報レコメンドシステム、方法及び装置、並びに、映像情報レコメンドプログラム及びプログラムの記録媒体
JP2004173102A (ja) 映像コンテンツ視聴方法及びシステム及び映像視聴端末装置及び映像配信装置及び映像コンテンツ視聴プログラム及び映像コンテンツ視聴プログラムを格納した記憶媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040903

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070403

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070410

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070523

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070619

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070726

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070828

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070910

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100928

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100928

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110928

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120928

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130928

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees