JP4532027B2 - 配信サーバー - Google Patents
配信サーバー Download PDFInfo
- Publication number
- JP4532027B2 JP4532027B2 JP2001201078A JP2001201078A JP4532027B2 JP 4532027 B2 JP4532027 B2 JP 4532027B2 JP 2001201078 A JP2001201078 A JP 2001201078A JP 2001201078 A JP2001201078 A JP 2001201078A JP 4532027 B2 JP4532027 B2 JP 4532027B2
- Authority
- JP
- Japan
- Prior art keywords
- digest
- program
- information
- value
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、連続する複数のフレームからなる番組映像と共にその補足情報が番組付加情報として送信されている放送環境下において、前記番組映像および番組付加情報を入力し、前記番組映像および番組付加情報のダイジェストを生成して配信する配信サーバーに関し、より詳細には、番組付加情報の受信や、映像内容の特徴量の変化といったイベントの発生をトリガーとしたイベント駆動型ダイジェスト生成を実現し、番組途中のある時点におけるダイジェストを動的に生成して配信することが可能な配信サーバーに関する。
【０００２】
【従来の技術】
近年、放送のデジタル化が世界的規模で急速に進展しており、日本でも２０００年１２月からＢＳ（Ｂｒｏａｄｃａｓｔ Ｓａｔｅｌｌｉｔｅ）デジタル放送が開始されており、地上デジタル放送も２００３年の開始を目処としている。これによりテレビの視聴形態も急激に変化し、従来のリアルタイム視聴だけでなく、蓄積型視聴およびノンリニア視聴形態も可能となる。
【０００３】
ここで、本出願人らが、これまで提案してきたノンリニア視聴形態におけるダイジェスト作成システムについて説明する。本出願人らは、まず、補足情報が映像インデックスなどの番組付加情報として付加された番組映像を対象として、その番組付加情報を用いて重要場面と想定される映像シーンを検索し、映像のダイジェスト版（ダイジェスト映像）を作成するダイジェスト作成システムを考案した。このダイジェスト作成システムにおいて、重要場面と判定された映像シーンには音声解説も含まれているため、断面的なインデックスの概要を説明文として生成するだけで十分であるという考えから映像内容の説明文生成処理を考えてきた。
【０００４】
なお、上記の技術の詳細は、以下の▲１▼〜▲５▼によって明らかにされている。
▲１▼ 橋本隆子、他：「番組インデックスを利用したダイジェスト視聴方式の検討」、映像情報メディア学会放送方式研究会予稿集、１９９９年３月、ｐｐ．７−１２。
▲２▼ 橋本隆子、他：「番組インデックスを利用したダイジェスト作成方式の試作」、データ工学ワークショップ（ＤＥＷＳ’９９）予稿集ＣＤ−ＲＯＭ、１９９９年３月。
▲３▼ 橋本隆子、他：「ＴＶ受信端末におけるダイジェスト作成方式の試作」、ＡＤＢＳ９９予稿集、１９９９年１２月。
▲４▼ 白田由香利、他：「ダイジェスト説明文生成方式についての検討」、情報処理学会ＤＢＳ研究会１２０−１５、２０００年１月、神戸。
▲５▼ 橋本隆子、他：「サッカー番組のダイジェスト作成システムの試作」、第１１回データ工学ワークショップ（ＤＥＷＳ’００）予稿集ＣＤ−ＲＯＭ、２０００年。
【０００５】
本出願人らは、これらの試作システムにおいて、番組映像に付加された基本的な補足情報としての番組付加情報を利用した映像内容の意味解析、利用者の嗜好を反映させた重要場面の判定および切り出し（映像の抽出）を可能とし、また、それに対する説明文の生成機能を実現している。
【０００６】
一方、ｉ−ｍｏｄｅ（商標、ＮＴＴ社）などの携帯端末を利用したサービスも盛んになっている。現在の携帯電話では、映像を受信しクリッピングすることはできないが、２００１年中に開始予定のＩＭＴ２０００による携帯電話サービスによれば動画像の受信／再生が可能となる予定である。携帯端末は利用者個々が持つ端末であり、パーソナルなアプリケーションがより有効となると考えられる。
【０００７】
このような状況において、本出願人らが研究してきたダイジェスト映像（番組映像のダイジェスト）およびその映像に関連する番組関連情報の配信方法を、携帯電話のサービスとして実現することを検討すると、その際のアプリケーションとしては、次のようなものが考えられる。なお、以降の説明で番組関連情報とは、番組映像に関連する全ての情報を示し、番組付加情報も番組関連情報の中の１つであり、また番組付加情報から生成された情報も番組関連情報となる。
【０００８】
第１の方法は、個人の嗜好を予めアプリケーションサービスプロバイダに登録しておき、プロバイダがダイジェストや番組関連情報を利用者個々人向けに生成して配信する方法（パーソナライズした情報のプッシュ型サービスの実現）。
第２の方法は、利用者がＷｅｂサイトにアクセスして自分の嗜好を登録し、その嗜好情報に基づいて利用者個々人向けのＷｅｂページが生成され、利用者がそのページをブラウズする方法（パーソナライズしたＷｅｂページのプル型サービスの実現）。
【０００９】
上記のようなアプリケーションが実現できれば、職場や移動中などＴＶを見る事ができないような状況においても、番組の概要および番組の関連情報を知る事が可能となる。また個人化された情報が配信されてくるため、個々の利用者にとって有効なサービスが実現できる。
【００１０】
そこで本出願人らは、上記第１の方法で、パーソナライズした情報のプッシュ型サービスを実現することを考えた。この場合に、対象としている配信コンテンツは番組映像のダイジェストシーンおよび番組に関連する情報（静止画、テキスト、動画像など）である。すなわち、連続する複数のフレームからなる番組映像と共にその補足情報が番組付加情報として送信されている放送環境下において、放送局から送信された番組映像および番組付加情報を受信してダイジェストを生成して配信する配信サーバーと、配信サーバーから配信されたダイジェストを視聴するための受信端末とから構成されるダイジェスト配信システムを実現することを考えた。
【００１１】
パーソナライズした情報のプッシュ型サービスを実現しようとした場合、配信する情報を如何に自動生成するか、情報をいつ配信するか（配信のタイミング）という仕組みを提供することが望まれる。配信する情報を如何に自動生成するかについては、本出願人らによって提供されている上記▲１▼〜▲５▼の技術を用いることによって実現できる。
【００１２】
【発明が解決しようとする課題】
しかしながら、上記▲１▼〜▲５▼の技術のみでは、個人の嗜好を予めアプリケーションサービスプロバイダ（配信サーバー）に登録しておくことにより、プロバイダでダイジェストや番組関連情報を利用者個々人向けに生成することはできるものの、生成した個人向けの情報をいつ配信するかという「配信のタイミング」についての技術は提供されていなかった。
【００１３】
本発明は上記に鑑みてなされたものであって、プロバイダがダイジェストや番組関連情報を利用者個々人向けに生成して配信するプッシュ型サービスにおいて、最適なタイミングで個人向けの情報を生成して配信可能な配信サーバーを提供することを目的とする。
【００３１】
【課題を解決するための手段】
上記の目的を達成するために、請求項１に係る配信サーバーは、放送局から送信された、連続する複数のフレームからなる番組映像と番組付加情報とを受信してダイジェストを生成し、生成した前記ダイジェストを受信端末に対して配信する配信サーバーであって、前記番組付加情報を受信すると、受信した複数の番組付加情報によって指定される連続する複数のフレームを、前記番組映像からシーンとして抽出する抽出手段と、前記番組付加情報を受信すると、受信した複数の番組付加情報に基づいて、前記番組映像中におけるフレームの意味的特徴量をフレーム毎に算出する意味的特徴量算出手段と、前記抽出手段で抽出したシーンおよび前記意味的特徴量算出手段で算出したフレームの意味的特徴量を蓄積する蓄積手段と、ダイジェストを生成するための開始情報を出力する開始情報出力手段と、前記蓄積手段で蓄積したフレームの意味的特徴量に基づいて、前記抽出したシーンの中から高い意味的特徴量を有するフレームが存在するシーンを優先的に選択して、ダイジェストを生成し、前記受信端末に配信するダイジェスト生成・配信手段と、を備え、前記開始情報出力手段は、前記意味的特徴量算出手段でフレームの意味的特徴量が算出された際に、算出した意味的特徴量の値と前記蓄積手段に蓄積されているフレームの意味的特徴量の値とを用いて意味的特徴量の累計値を算出し、算出した前記累計値が所定の設定値に達した場合に、前記開始情報を出力し、前記ダイジェスト生成・配信手段は、前記開始情報出力手段から前記開始情報が出力されたら、前記ダイジェストを前記受信端末に配信することを特徴とする。
【００３２】
【発明の実施の形態】
以下、本発明のダイジェスト配信システムの一実施の形態について、
〔本発明の概要〕
〔本実施の形態のダイジェスト配信システムの概略構成〕
〔本実施の形態で使用する各データの定義〕
〔本実施の形態の各モジュールの動作〕
〔受信イベントによるダイジェスト生成・配信処理の動作〕
〔アノテーション生成によるダイジェスト生成・配信処理の動作〕
〔ステイタスパラメタの値によるダイジェスト生成・配信処理の動作〕
の順に、添付の図面を参照して詳細に説明する。
【００３３】
〔本発明の概要〕
本発明のダイジェスト配信システムは、プロバイダがダイジェストや番組関連情報を利用者個々人向けに生成して配信するプッシュ型サービスにおいて、最適なタイミングで個人向けの情報を生成して配信可能とするものである。
【００３４】
なお、本発明のダイジェスト配信システムは、連続する複数のフレームからなる番組映像と共にその補足情報が番組付加情報として送信されている放送環境下において、前記番組映像および番組付加情報を入力してダイジェストを生成して配信する配信サーバーと、配信サーバーから配信されたダイジェストを視聴するための受信端末と、を有するダイジェスト配信システムを対象とする。
【００３５】
ただし、ここで、配信サーバーは、放送局から送信された番組映像および番組付加情報を必ずしもリアルタイムで受信する必要はなく、例えば、他の装置で受信した番組映像および番組付加情報をＣＤ、ＭＯ、ＤＶＤなどの各種メディアを介して入力する場合も含まれるものとする。
【００３６】
また、生成して配信するダイジェストは、番組映像のダイジェスのみの場合や、番組付加情報から生成した番組付加情報のダイジェストのみの場合や、番組映像および番組付加情報の両方のダイジェストが考えられる。また、ダイジェストを配信する際に、生成したダイジェストに関連する情報を番組関連情報として追加しても良い。
【００３７】
また、プッシュ型サービスにおける配信のタイミングには、次のようなものが考えられる。
（１）番組映像（映像情報）の事象を区切りとした配信
例えば、野球番組ならばイニング終了／開始、打席終了／開始、得点追加といったタイミングでダイジェストや番組関連情報を生成して配信する。
（２）映像内容の重要度による配信（この場合には、事象発生後に重要度を算出することになる）
例えば、野球番組ならばホームラン、逆転、好みの打者の打席終了時といったように、重要な事象が発生した直後にそのダイジェストや番組関連情報を生成して配信する。
（３）映像内容の重要度による配信（状況を解析して）
例えば、１打逆転のチャンスで４番打者の打席、好きな打者の打席開始時といったように重要と判定される場面において、番組関連情報を配信する（この場合、映像のダイジェストは必要とされない可能性がある）。
【００３８】
上記の（１）〜（３）のような配信タイミングを実現するため、本発明では、「イベント駆動型のダイジェスト生成および配信方式」を採用したダイジェスト配信システムを提案する。なお、配信タイミングのトリガーとなるイベントとして想定されるのは、番組の構造を示すイベント群（番組の構造に関する番組付加情報）や、従来の技術であるダイジェスト生成方式における重要度判定パラメタの値の変化がある。
【００３９】
換言すれば、本発明では、番組付加情報の受信、シーン抽出、映像の意味的記述の生成といったイベントをトリガーとしたイベント駆動型ダイジェスト生成を実現している。このイベント駆動型ダイジェスト生成により、番組途中のある時点におけるダイジェストを動的に生成して配信することができる。
【００４０】
また、本発明では、次の▲１▼〜▲３▼のような要求仕様を満たすダイジェスト生成処理モデルを前提条件としている。
▲１▼映像上のある時点における意味的な重要度判定ができること。
▲２▼番組付加情報を受信しながら、上記重要度を動的に算出できること。
▲３▼ダイジェスト生成および配信中にもリアルタイムに重要シーンの抽出ができること。
【００４１】
なお、上記▲１▼〜▲３▼の要求仕様を満足するための技術は、本出願人らによって既に提供されており、具体的には、番組映像と共にその補足情報が番組付加情報として送信されてくる放送環境において、番組付加情報を受信するというイベントにより、番組内のシーンを動的に抽出する。また、シーンが抽出されると、シーン内の任意の番組付加情報に対して、その内容をより意味的に説明するアノテーション（補足説明：本発明の複合情報に相当する）が生成され付加される。
【００４２】
なお、この抽出およびアノテーション生成は、番組付加情報の受信イベントをトリガーとし、補足情報の正規表現により記述されるルールにより定義されているものとする。
【００４３】
また、番組付加情報の受信イベントにより、番組の意味的特徴量（ステイタスパラメタの値）を動的に算出する。そのステイタスパラメタ算出は、番組付加情報の受信イベントおよびアノテーション生成のイベント（アノテーション生成イベント）をトリガーとしたステイタスパラメタ算出ルールにより定義されているものとする。
【００４４】
〔本実施の形態のダイジェスト配信システムの概略構成〕
図１は、本実施の形態のダイジェスト配信システムの概略構成を示し、図示の如く、連続する複数のフレームからなる番組映像と共にその補足情報を番組付加情報として送信する放送局１００と、放送局１００から送信された番組映像および番組付加情報を受信してダイジェストを生成して配信する配信サーバー２００と、配信サーバー２００から配信されたダイジェストを視聴するための受信端末３００と、から構成される。
【００４５】
なお、放送局１００、配信サーバー２００および受信端末３００の数は特に限定するものではない。また、受信端末３００としては、携帯電話、ディスクトップ型コンピュータ、ノート型コンピュータ、ＰＤＡ（携帯情報端末）等のように映像の送受信機能や、表示機能を有した装置を使用することができる。
【００４６】
また、配信サーバー２００は、放送局１００から番組映像および番組付加情報を受信する場合を例として示しているが、過去に放送された番組映像および番組付加情報を記憶したメディアから直接入力する場合も、基本的に同一であり、本発明の範疇に含まれる。
【００４７】
〔本実施の形態で使用する各データの定義〕
次に、本実施の形態のダイジェスト配信システムの配信サーバー２００で使用する各データの定義について説明する。本実施の形態の配信サーバー２００は、リアルタイムに番組映像のダイジェストを生成する。また、配信サーバー２００は、イベント駆動型の処理方式に基づいた重要度判定により、映像上のある時点における重要度を動的に算出し、リアルタイムに重要シーン（Scene ）を抽出する。
【００４８】
配信サーバー２００の処理データは、以下に説明する番組映像であるFrame(f)と、番組付加情報であるPrimitive Descriptor(p) の２つである。この２つのデータは放送局１００により制作され放送される。配信サーバー２００はこれらのデータを受信し、ダイジェストの生成および配信を行う。
【００４９】
Frame(f)
番組映像は、静止画像である Frameｆi の列ｆ1 …ｆn である。各Frame は識別子となるフレーム番号ｆno、およびそのFrame が表現する経過時間（先頭Frame からの相対時間）を示すタイムコード timecode で構成される。以下では連続したFrame の部分列をFrame 列と呼ぶ。
【００５０】
Primitive Descriptor（p ）
放送局１００によって付加される基本的な番組付加情報を基本記述子 (以下P-Descriptorと記載する) と呼ぶ。各 P-Descriptor ｐi はその記述情報の開始時点となるFrame ｆj に対応付けられる。各ｐは以下のような組で表現される。
【００５１】
【００５２】
上記P-Descriptorの型typeは番組付加情報の種類を示す。例えば、野球中継の場合、"game ＿start"、 "inning＿start"、 "at＿bat"などの試合の区切りや、"pitch" 、"hit" 、"home ＿run"、"out" や"at ＿bat"などの動作やプレイの種類を示すP-Descriptorの型が考えられる。
【００５３】
attr1, …, attrn で示される属性はP-Descriptorの型typeによって決まる属性であり、各ｐi の属性値が設定される。例えば：P-Descriptor "pitch"の場合、"pitcher＿name" 、"batter ＿name" 、スコア情報などが属性となる。このP-Descriptorの型によって決まる属性をP-Descriptorのスキーマと呼ぶ。
【００５４】
なお、Frame ｆj と P-Descriptor ｐi の関係は１対多となる。１つのFrame に対して複数のP-Descriptorが対応付けられることもあり、P-Descriptorが対応付けられないFrame もある。図２にFrame とP-Descriptorとの関係を示す。
【００５５】
次に、上記処理データを用いて配信サーバー２００が生成するデータについて述べる。配信サーバー２００が生成するデータには、Scene （シーン）、P-DescriptorのAnnotation（アノテーション：本発明の複合情報）、Status Parameter（ステイタスパラメタ：本発明の意味的特徴量）がある。図２にFrame 、P-Descriptor、 Scene、Annotation、Status Parameterの関係を示す。
【００５６】
Scene(s)
Scene （シーン）とは意味的にまとまりのあるFrame 列である。Scene は以下のような組で表現できる。
【００５７】
【００５８】
ここで、Scene の型typeはScene の種類を示す。野球番組の場合、「イニング」 ("inning ＿start"イベントから次の"inning ＿start"イベントまで) 、「投球」("pitch"イベントから次の"pitch" まで) 、「逆転」などの各種のScene の型が考えられる。開始フレーム番号ffno、終了フレーム番号lfnoはScene に対応するFrame 列の先頭および終端Frame を示す。
【００５９】
Annotation(a)
配信サーバー２００は、複数のP-Descriptorの情報から、複合的な意味をもつ記述を自動的に生成し、特定の P-Descriptor の補足情報とする。これをAnnotation（アノテーション：本発明の複合情報）と呼ぶ。Annotation aは以下のような組で表現される。
【００６０】
【００６１】
Annotationの型typeは、Annotationの種類を表す。例えば野球番組の場合、「タイムリーヒット」、「逆転ホームラン」などのAnnotationが考えられる。それぞれP-Descriptor "hit"、"home ＿run"のAnnotationとなり、pid にはそのP-Descriptorを特定するためのIDが設定される。
【００６２】
Status Parameter(p)
Status Parameter （ステイタスパラメタ：意味的特徴量）は映像上のある時点における重要度を示す指標であり、予め設定されているステイタスパラメタ算出ルールに基づき算出される。番組の種別にもよるが一般に映像上の１つのFrame につき、Status Parameterは複数個算出される。なお、ステイタスパラメタ算出ルールは、 P-Descriptor およびAnnotationの生成によるイベント駆動で発火する。
【００６３】
【００６４】
Status Parameterの型typeは、重要度（意味的特徴量と同じ意味、以下、重要度と記載する場合がある）の種類を表す。例えば、野球番組の場合、攻撃的重要度を示す「攻撃レベル」、投手の調子を示す「投手レベル」などのStatus Parameterがある。fno で特定されるFrame のtimecodeで示される時点における重要度の値がvalue となる。
【００６５】
〔本実施の形態の各モジュールの動作〕
次に、本実施の形態の配信サーバー２００の各モジュールの動作について説明する。図３は本実施の形態の配信サーバー２００の各モジュールの動作を示す説明図である。
【００６６】
本システム（配信サーバー２００）の処理モジュールとしては、以下のものがある。
＊シーン抽出モジュール（本発明の抽出手段）
＊ステイタスパラメタ算出モジュール（本発明の意味的特徴量算出手段）
＊ダイジェスト・番組関連情報生成モジュール（本発明のダイジェスト生成・配信手段）
＊ダイジェスト・関連情報監視モジュール（本発明の開始情報出力手段）
＊ダイジェスト・番組関連情報生成イベント発行モジュール（本発明の開始情報出力手段）
＊配信タイミング・嗜好情報設定モジュール
【００６７】
また、配信サーバー２００において処理されるイベントには、次のものがある。
＊P-Descriptor受信イベント
＊シーン（Scene）抽出イベント
＊アノテーション（Annotation）生成イベント
＊ステイタスパラメタ（Status Parameter）算出イベント
＊ダイジェスト生成開始イベント
＊ダイジェスト関連情報変更イベント
【００６８】
ここで、図３を参照して、配信サーバー２００におけるダイジェスト生成・配信処理の処理概要を説明する。下記の番号と図中の番号は対応しており、それぞれの処理を示している。なお、図中のダイジェスト生成用ＤＢは本発明の蓄積手段に相当し、算出したステイタスパラメタ、生成したシーンおよびアノテーション、並びに個々の受信端末３００の配信タイミングを設定した利用プロファイルなどが記憶されている。
【００６９】
▲１▼ 放送局から放送された番組付加情報（P-Descriptor）が受信されると、P-Descriptor受信イベントが発生する。
▲２▼ P-Descriptor受信イベントの発生を受けて、シーン抽出モジュールにおいてシーン抽出ルールが発火し、シーン抽出（Scene抽出）を行い、シーン内の番組付加情報に対するアノテーション生成（Annotation生成）を行う。アノテーションが生成されるとAnnotation生成イベントがステイタスパラメタ算出モジュールおよびダイジェスト・番組関連情報生成モジュールに発行される。
【００７０】
▲３▼ ステイタスパラメタ算出モジュールでは、P-Descriptor受信イベントおよびAnnotation生成イベントの発生を受けて、ステイタスパラメタ算出ルールが発火し、ステイタスパラメタ（Status Parameter）の値が算出される。ステイタスパラメタの値が算出されると、ステイタスパラメタ算出イベントがダイジェスト・関連情報監視モジュールに発行される。
【００７１】
▲４▼ （ａ）ダイジェスト・番組関連情報生成に関するイベントを受信するか、（ｂ）アノテーションが生成されるか、または（ｃ）ステイタスパラメタの値が変更されると、ダイジェスト・関連情報監視モジュールは、ダイジェスト関連情報変更イベントをダイジェスト・番組関連情報生成イベント発行モジュールに発行する。ここで、ダイジェスト関連情報変更イベントは、シーン抽出イベントおよびステイタスパラメタ算出イベントの受信により発行される。また、ダイジェスト・関連情報監視モジュールが、上記（ａ）〜（ｃ）の何れに従ってダイジェスト関連情報変更イベントを発行するかは、後述する▲７▼で選択して設定することができる。
【００７２】
▲５▼ ダイジェスト・番組関連情報生成イベント発行モジュールは、ダイジェスト関連情報変更イベントを受信すると、その内容を解析して、利用者の個々のダイジェスト・番組関連情報を生成するためにダイジェスト生成開始イベントを発行する。
▲６▼ ダイジェスト・番組関連情報生成モジュールは、ダイジェスト生成開始イベントを受信すると、ダイジェストの生成を開始する。また生成されたダイジェストは、利用者個々（すなわち、それぞれの受信端末３００）に配信される。
【００７３】
▲７▼ 上記（ａ）〜（ｃ）の何れに従ってダイジェスト関連情報変更イベントを発行するを選択して設定することは、配信タイミングを設定することと同じである。この３つの配信タイミングは、利用者が予め個々の受信端末３００を介して配信サーバー２００に設定することができる。具体的には、利用者が受信端末３００を用いて配信サーバー２００に自分が情報を欲しい配信タイミングを送信すると、配信サーバー２００の配信タイミング・嗜好情報設定モジュールが、ダイジェスト生成用ＤＢに記憶されている受信端末３００毎のプロファイル情報（利用プロファイル）に、それぞれの配信タイミングを設定する。
【００７４】
次に、「シーン抽出モジュール」、「ステイタスパラメタ算出モジュール」、「ダイジェスト・番組関連情報生成モジュール」の順に具体的に説明する。
【００７５】
「シーン抽出モジュール」
本実施の形態では、Sceneの抽出とAnnotationの生成を「シーン抽出ルール」として与える。このルールは予め定義してデータベース化しておく。シーン抽出ルールは、具体的には次のようなマークアップ言語で表現される。
【００７６】
ここで、Sceneタイプ、パターン、Annotation指定は非終端記号である。
【００７７】
ここで、開始P-Descriptor、終了P-Descriptor、P-Descriptorパターンは非
終端記号である。
【００７８】
ここで、Annotationタイプ、P-Descriptor位置は非終端記号である。
【００７９】
受信したP-Descriptorにおいてパターンが成立した場合、Sceneタイプで示される型のSceneが生成される。
開始P-Descriptor、終了P-Descriptorは、Scene抽出のためのマッチングの範囲を規定するものである。開始P-Descriptorを受信すると、P-Descriptorパターンのマッチングが開始される。終了P-Descriptorが発生する前にP-Descriptorパターンのマッチが完了すれば、Sceneは抽出される。
【００８０】
パターンマッチの前に終了P-Descriptorを受信してしまった場合は、パターンマッチ処理は中止となる。開始P-Descriptor、終了P-Descriptorが省略された場合は、番組の開始から終了までの範囲でP-Descriptorパターンのマッチング処理が実行されることになる。
【００８１】
P-Descriptorパターンは、P-Descriptor ｐi の正規表現で表される。P-Descriptorパターンには、演算の優先度を指定する括弧"()"、Sceneの開始および終了P-Descriptorを表す """、 "$"も利用できる。また、P-Descriptorの属性データattrに関する各種の条件も角括弧 "［］" を用いて指定できる。イベントが１回以上発生することを示す演算子は"+"、０回以上の繰り返し演算子は"＊"。任意の型のイベントは"．”で表わす。
【００８２】
Scene抽出が完了すると、Annotation指定で指定されたAnnotationが、P-Descriptor位置で参照されているP-Descriptorに付加される。P-Descriptor位置の参照は、P-Descriptorパターンにおいて参照したいP-Descriptorを「\(… \)」で囲んでおき、その順番の番号で指定することとする。
【００８３】
以下にシーン抽出ルールの例を示す。
【００８４】
上記の例は、逆転Sceneを生成するためのルールである。P-Descriptor "inning＿start"の後 に、"hit"、"four ＿ball"、"dead ＿ball" または "HR" を受信する。その際、攻撃チームの得点が守備チームより低く、その後、加点を示す"add＿score"を１回以上受信し、その直後のP-Descriptorにおいて攻撃チームの得点が高くなっているSceneを逆転Sceneとして抽出する。
【００８５】
Sceneが抽出されると、パターン内のP-Descriptor(hit、four＿ball 、dead＿ball またはHR、\1で参照される)にAnnotation「逆転のきっかけ」が生成付加される。さらに、次にマッチしたadd ＿score中で、最後のadd ＿score (\2[$]で参照される)にAnnotationが生成付加される。
【００８６】
このScene抽出およびAnnotation生成処理により、基本的な番組付加情報を受信しながら、映像の意味的なまとまりを発見し、複合的な意味を持つAnnotationを付加することが可能となる。また、Scene抽出ルールが補足情報の正規表現で定義されているので、Scene抽出を容易に行うことができる。また、抽出するSceneの指定および変更が容易であると共に、様々なSceneの抽出を行うことができる。
【００８７】
次に、「ステイタスパラメタ算出モジュール」について説明する。本実施の形態では、ステイタスパラメタの算出を「ステイタスパラメタ算出ルール」として与える。このルールも予め定義してデータベース化しておく。
【００８８】
映像上のあるFrame ｆiの意味的重要度（意味的特徴量）を判定するためには、ｆiの重要度を示すStatus Parameter ｐ1、…ｐnを計算する。ここで、この計算処理について具体的に説明する。
【００８９】
Status Parameter ｐiの値は、以下のステイタスパラメタ算出ルールによって計算される。
ステイタスパラメタ算出ルール=
ここで、トリガーイベント名、ルール指定は非終端記号である。
【００９０】
ここで、P-Descriptorタイプ、 Annotationタイプは非終端記号である。
【００９１】
ここで、Status Parameterタイプ、演算子、値|式は非終端記号である。
【００９２】
上記トリガーイベント名には、P-Descriptorタイプ、Annotationタイプを指定する。指定されたP-Descriptorの受信イベント、あるいはAnnotation生成イベントを受け取ると、以降に記述されているルールが発火する。
【００９３】
ルール指定には、Status Parameterタイプの名前とその算出式（演算子と値または式）を定義する。P-Descriptor受信イベントの場合、対応するFrameにおけるStatus Parameterの値を算出する。Annotation生成イベントの場合は、そのAnnotationが付加されているP-Descriptorに対応するFrameのStatus Parameterの値を算出する。演算子には、四則演算子を指定する。
【００９４】
このとき、該当Frameにおいて既にStatus Parameter値が算出されていた場合は、その値を基に新しい値を求める。算出されていない場合は、初期値０として値を求める。
【００９５】
以下にステイタスパラメタ算出ルールの例を示す。
【００９６】
【００９７】
上記は野球番組においてP-Descriptor "home＿run" の受信イベントとAnnotation「逆転のきっかけ」の生成イベントを受け取った場合のStatus Parameter算出手続きを記述した例である。"home ＿run"受信イベントを受け取ると、（例１）に示すように該当するFrameにおける「攻撃レベル」パラメタの値が５加算される。また「逆転」Sceneの抽出により「逆転のきっかけ」Annotationが生成されると、（例２）に示すように該当するFrameの攻撃レベルが２加算される。
【００９８】
このイベント駆動型のStatus Parameterの算出処理により、番組付加情報を受信しながら動的な重要度の算出が可能となる。
【００９９】
次に、「ダイジェスト・番組関連情報生成モジュール」について説明する。ダイジェスト・番組関連情報生成モジュールは、以下に示すようなダイジェスト生成ルールに基づき、ダイジェストを生成する。
【０１００】
ここで、ダイジェスト生成範囲、抽出Sceneの型、Status Parameter式、ダ
イジェスト総時間、抽出指定値は非終端記号である。
【０１０１】
ここで、開始タイムコード、終了タイムコードは非終端記号である。
【０１０２】
上記ダイジェスト生成ルールは、利用者が配信タイミング・嗜好情報設定モジュールを介して配信タイミング等を指定すると自動的に生成される。ダイジェスト生成範囲には、対象とする映像においてダイジェストを生成するための範囲を指定する。終了タイムコードが省略されていた場合は、リアルタイムに受信しながらダイジェストを生成することを示す。抽出Sceneの型に従って、「ダイジェストの候補シーン」[si] が抽出される。
【０１０３】
また、Status Parameterの式には、例えば次のような記述ができる。
（ア）攻撃レベル
（イ）攻撃レベル+ユーザ嗜好レベル*0.5
【０１０４】
上記（ア）の指定は、攻撃レベル（ダイジェスト生成に使用する意味的特徴量の種類）だけを基にダイジェストを生成する指定となる。また、（イ）の指定は、攻撃レベルにユーザ嗜好レベル*0.5倍を足した値を基にダイジェストを生成する指定となる。
【０１０５】
各候補シーン内のFrameに対して、Status Parameterの式に従って値を算出する。この値を各フレームの「重要度値」と呼ぶ。この重要度値に基づき以下の方針により、シーンが選択される。
【０１０６】
ダイジェスト・番組関連情報生成モジュールを介してダイジェスト総時間が指定された場合は、指定されたダイジェスト総時間に等しくなるまで、より高い重要度値をもつSceneから順に選択される。
【０１０７】
ダイジェスト・番組関連情報生成モジュールで抽出指定値が指定された場合は、指定された値以上の重要度値をもつシーンを選択し、時系列に再構成してダイジェストを生成する。
【０１０８】
以上の構成において、以下の（ａ）〜（ｃ）の３つの配信タイミングのそれぞれを設定した場合を例として、本実施の形態のダイジェストの生成および配信について説明する。
（ａ）ダイジェスト・番組関連情報生成に関するイベントを受信した際にダイジェストを生成・配信する。
（ｂ）アノテーションが生成された際にダイジェストを生成・配信する。
（ｃ）ステイタスパラメタ（Status Parameter）の値が変更された際にダイ ジェストを生成・配信する。
【０１０９】
〔受信イベントによるダイジェスト生成・配信処理の動作〕
先ず、（ａ）ダイジェスト・番組関連情報生成に関するイベントを受信した際にダイジェストを生成・配信する場合について説明する。
例えば、次のようなイベントを受信した時に、映像のダイジェスト情報および番組関連情報を配信する場合を考える。なお、どのような種類のイベント（番組付加情報）を受信した場合にダイジェストを生成して配信するかは、図３の▲７▼で示したように、受信端末３００および配信タイミング・嗜好情報設定モジュールを介して、利用プロファイルに予め設定されている。ここでは、イニング開始イベント（ "inning＿start"）が本発明の開始指定情報として設定されているものとする。
【０１１０】
イニング開始イベント（ "inning＿start"）
配信サーバー２００は、番組付加情報を受信すると、受信した番組付加情報の種類が開始指定情報（イニング開始イベント）と一致するか否かを判定し、一致する場合、ダイジェストを生成して配信する。
換言すれば、配信サーバー２００において、イニング開始イベントを受信すると、ダイジェスト・関連情報監視モジュールがダイジェスト関連情報変更イベントを発行する。それを受けて、ダイジェスト・番組関連情報生成イベント発行モジュールがダイジェスト・番組関連情報生成モジュールに向けて、ダイジェスト生成開始イベントを発行する。
【０１１１】
ダイジェスト・番組関連情報生成モジュールは、 P-Descriptor （番組付加情報）、ステイタスパラメタ、アノテーションなどの情報を元にダイジェスト・番組関連情報を個々の利用者に向けて生成する。その際、対象とする利用者に既に情報を配信している場合は、差分情報のみを対象としてダイジェスト・番組関連情報を生成し配信する。
【０１１２】
図４は、１９９８年１０月３日、巨人対広島戦の２回裏までの試合解析の結果である。２回裏のイニングが終了し、３回表のイニング開始イベントを受信すると、ダイジェストが生成される。以下は、２回裏までに生成されるダイジェスト報および番組関連情報の例である。なお、図において、４０１は、横軸を番組映像の時間軸（ｔｉｍｅ）、縦軸をステイタスパラメタの値としたグラフを示し、４０２は、番組映像の構造を示している。グラフ４０１上の同一時間に複数のステイタスパラメタの値が存在することは、複数の種類のステイタスパラメタが同時に算出されて表示されていることによるものである。
【０１１３】
ダイジェスト情報（対応するダイジェスト映像のシーンを含む）
１回表広島江藤の犠打で先制
１回裏巨人高橋のタイムリーヒットで逆転
２回裏巨人川相のヒット
２回裏巨人松井の３ランホームラン
【０１１４】
番組関連情報
選手プロファイル
打率情報
昨日のホームランシーン
今日の高橋
【０１１５】
上記のダイジェスト情報および番組関連情報が生成され、個々の利用者の受信端末３００に配信される。
【０１１６】
前述したように配信タイミングを指定する番組付加情報の種類（イベントの種類）は、予め個々の利用者が、それぞれの受信端末３００を用いて配信サーバー２００に送信して、ダイジェスト生成用ＤＢに記憶されている受信端末３００毎のプロファイル情報（利用プロファイル）に設定してあるので、配信サーバー２００では、利用プロファイルを参照して、受信端末３００毎に個別に設定された開始指定情報（番組付加情報の種類）に基づいて、個々の利用者が所望する配信タイミングでダイジェストを生成して配信することができる。
【０１１７】
また、１つの受信端末３００に対応した利用者プロファイル中に、複数の開始指定情報（番組付加情報の種類）を設定することも可能である。例えば、上記の開始指定情報（イニング開始イベント）に加えて、開始指定情報（ホームランイベント）を設定しておく、ホームランが発生した場合にも、ダイジェストの生成および配信が行われる。
【０１１８】
さらに、複数の開始指定情報の設定に加えて、予め設定した複数の開始指定情報に対して処理の優先度を設定することにより、開始指定情報を設定することに加えて、優先度の指定によっても配信タイミングを調整（設定）することができる。例えば、予め利用プロファイルに、以下のように複数の開始指定情報とその優先度を設定した場合を想定する。なお、ここで、優先度は数値が大きい程、その優先度が高いものとする。
開始指定情報（優先度）
イニング開始イベント（優先度１）
ホームランイベント（優先度５）
三振イベント（優先度３）
【０１１９】
このように複数の開始指定情報とその優先度が設定されている場合に、配信タイミングとして優先度１を指定すると、優先度１以上の開始指定情報（イニング開始イベント、ホームランイベント、三振イベント）が発生した場合に、ダイジェストが生成されて配信される。同様の条件で、優先度３を指定すると、優先度３以上、すなわち、三振があった場合とホームランがあった場合に、ダイジェストが生成されて配信される。
【０１２０】
したがって、受信端末３００として携帯電話を用いて、ダイジェストの配信を受ける場合に、イニング毎にその結果をダイジェストとして受信したり、三振およびホームランがあった場合にそれまでの結果をダイジェストと受信したり、利用者の所望の配信タイミングでダイジェストを取得することができる。
【０１２１】
〔アノテーション生成によるダイジェスト生成・配信処理の動作〕
次に、（ｂ）Annotationが生成された際にダイジェストを生成・配信する場合について説明する。例えば、次のようなアノテーションが生成された時に、ダイジェスト情報、番組関連情報を配信する場合を考える。なお、どのような種類のアノテーションが生成された場合にダイジェストを生成して配信するかは、図３の▲７▼で示したように、受信端末３００および配信タイミング・嗜好情報設定モジュールを介して、利用プロファイルに予め設定されている。ここでは、アノテーション（逆転）が設定されているものとする。
【０１２２】
アノテーション：逆転
配信サーバー２００は、番組付加情報を受信すると、受信した番組付加情報からアノテーションを生成し、生成したアノテーションが予め設定されているアノテーション（逆転）と一致するか否かを判定し、一致する場合、ダイジェストを生成して配信する。
【０１２３】
換言すれば、配信サーバー２００のシーン抽出モジュールはアノテーション（逆転）を生成すると、Annotation生成イベントをダイジェスト・番組関連情報生成モジュールへ発行する。ダイジェスト・番組関連情報生成モジュールは、Annotation生成イベントに基づいて、アノテーションを解析し、アノテーション「逆転」が生成されると、ダイジェスト関連情報変更イベントを発行する。それを受けて、ダイジェスト・番組関連情報生成イベント発行モジュールがダイジェスト・番組関連情報生成モジュールに向けて、ダイジェスト生成開始イベントを発行し、ダイジェスト・番組関連情報が生成される。
【０１２４】
以下は、やはり１９９８年１０月３日、巨人対広島戦において高橋のタイムリーヒットによる「逆転」のアノテーションが発生した場合のダイジェスト情報・番組関連情報の例である。
【０１２５】
ダイジェスト情報（対応するダイジェスト映像のシーンを含む）
１回表広島江藤の犠打で先制
１回裏巨人清水ヒット
１回裏巨人高橋のタイムリーヒットで逆転
【０１２６】
番組関連情報
選手プロファイル
打率情報
昨日の逆転シーン
今日の高橋
【０１２７】
上記のダイジェスト情報および番組関連情報が生成され、個々の利用者の受信端末３００に配信される。
【０１２８】
このように設定したアノテーションが生成された場合に、ダイジェストを生成して配信することにより、利用者の所望の配信タイミングでダイジェストを取得することができる。
【０１２９】
〔ステイタスパラメタの値によるダイジェスト生成・配信処理の動作〕
続いて、（ｃ）ステイタスパラメタ（Status Parameter）の値が変更された際にダイジェストを生成・配信する場合について説明する。
【０１３０】
本実施の形態において、ステイタスパラメタの値の変更による配信タイミングの指定には、次に（ア）、（イ）の２通りがあり、以下、それぞれ例をあげて説明する。
（ア）ステイタスパラメタの値が一定値以上になったら配信する。
（イ）あるシーンにおいて、ステイタスパラメタの積分値が一定値以上になったら配信する。
【０１３１】
（ア）ステイタスパラメタの値が一定値以上になったら配信する場合
興奮レベルパラメタは、１打逆転のチャンスで３塁ランナーがいて、クリーンナップの打席が開始されたとき（チャンスの場面）などに値が急激に上がる。興奮レベルがある一定値以上になったら、ダイジェスト情報および関連情報を配信するように指定されていたとする。
【０１３２】
なお、ここでは、複数のステイタスパラメタ（例えば、攻撃レベルパラメタ、投手レベルパラメタ、興奮レベルパラメタ）の中から、予め受信端末３００を介して興奮レベルパラメタが設定値と比較するパラメタとして利用プロファイルに設定されているものとする。この設定値と比較するパラメタも、前述した開始指定情報と同様に、受信端末３００毎に対応する利用プロファイルに設定されている。
【０１３３】
前述のようなチャンスの場面において、興奮レベルの値が高まると、ダイジェスト・関連情報監視モジュールがダイジェスト関連情報変更イベントを発行する。それを受けて、ダイジェスト・番組関連情報生成イベント発行モジュールがダイジェスト・番組関連情報生成モジュールに向けて、ダイジェスト生成開始イベントを発行し、ダイジェスト・番組関連情報が生成される。
【０１３４】
以下は、やはり１９９８年１０月３日、巨人対広島戦における高橋の打席開始時に興奮レベルの値が設定値（ここでは１０）以上（興奮レベル値≧１０）の場合にダイジェスト・関連情報配信の指定がされていた場合の例である。高橋の打席開始時には、スコアが０−１（巨人１点差で負けている）で、１、３塁に清水、仁志がおり、興奮レベルは上昇している。
【０１３５】
ダイジェスト情報（対応するダイジェスト映像のシーンを含む）
１回表広島江藤の犠打で先制
１回裏巨人仁志フォアボールで出塁
１回裏巨人清水ヒット
【０１３６】
番組関連情報
選手プロファイル
打率情報
昨日のチャンスシーン
高橋のチャンスシーン（９月２６日）←９月２６日の試合で高橋が同様の
チャンスシーンにおいて、どのような結果となったかを示す
【０１３７】
上記のダイジェスト情報および番組関連情報が生成され、個々の利用者の受信端末３００に配信される。
【０１３８】
予め個々の利用者が、ステイタスパラメタの種類を選択して、それぞれの受信端末３００を用いて配信サーバー２００に送信し、ダイジェスト生成用ＤＢに記憶されている受信端末３００毎のプロファイル情報（利用プロファイル）に設定してあるので、配信サーバー２００では、利用プロファイルを参照して、受信端末３００毎に個別に設定されたステイタスパラメタの種類に基づいて、個々の利用者が所望する配信タイミングでダイジェストを生成して配信することができる。
【０１３９】
（イ）あるシーンにおいて、ステイタスパラメタの積分値が一定値以上になったら配信する場合
例えば、あるイニングシーンにおいて、ヒットや加点が続くとその攻撃レベルの積分値（累計値）が上がっていく。積分値が上がる事により、そのイニングシーン自体の重要度も増す事になる。積分値がある一定以上になったら、情報配信を指定しておくことにより、重要度が増してきたシーンに対する情報配信をリアルタイムに実行することが可能となる。
【０１４０】
以下は、やはり１９９８年１０月３日、巨人対広島戦における高橋の打席開始時に攻撃レベルの積分値≧１５（設定値）の場合にダイジェスト・関連情報配信を指定されていた場合の例である。１回の裏のイニングにおいては、高橋のタイムリーヒットが発生したことにより、攻撃レベルの積分値は設定値（１５）を越える。この値の変化により情報が配信される。
【０１４１】
内訳：ヒット（＋２）、フォアボールで出塁（＋１）、タイムリーヒット（＋４）、逆転（＋５）、２点加点（＋２＊２）
【０１４２】
ダイジェスト情報（対応するダイジェスト映像のシーンを含む）
１回表広島江藤の犠打で先制
１回裏巨人仁志フォアボールで出塁
１回裏巨人清水ヒット
【０１４３】
番組関連情報
選手プロファイル
打率情報
昨日のチャンスシーン
高橋のチャンスシーン（９月２６日）←９月２６日の試合で高橋が同様の
チャンスシーンにおいて、どのような結果となったかを示す
【０１４４】
上記のダイジェスト情報および番組関連情報が生成され、個々の利用者の受信端末３００に配信される。
【０１４５】
前述したように本実施の形態のダイジェスト配信システムを利用することにより、プロバイダがダイジェストや番組関連情報を利用者個々人向けに生成して配信するプッシュ型サービスにおいて、最適なタイミングで個人向けの情報を生成して配信することができる。
【０１４６】
なお、前述した実施の形態では、番組映像として野球番組を例として説明したがこれに限定されるものではなく、例えば、株式情報等を個人向けに配信する番組や、ニュース番組などから個人の必要とする情報のみをリアルタイムで配信する場合などのように、プロバイダがダイジェストや番組関連情報を利用者個々人向けに生成して配信する全てのプッシュ型サービスに適用可能なことは勿論である。
【０１５７】
【発明の効果】
以上説明したように、本発明の配信サーバーは、番組付加情報を受信すると、受信した複数の番組付加情報によって指定される連続する複数のフレームを、前記番組映像からシーンとして抽出する抽出手段と、前記番組付加情報を受信すると、受信した複数の番組付加情報に基づいて、前記番組映像中におけるフレームの意味的特徴量をフレーム毎に算出する意味的特徴量算出手段と、前記抽出手段で抽出したシーンおよび前記意味的特徴量算出手段で算出したフレームの意味的特徴量を蓄積する蓄積手段と、ダイジェストを生成するための開始情報を出力する開始情報出力手段と、前記蓄積手段で蓄積したフレームの意味的特徴量に基づいて、前記抽出したシーンの中から高い意味的特徴量を有するフレームが存在するシーンを優先的に選択して、ダイジェストを生成し、前記受信端末に配信するダイジェスト生成・配信手段と、を備え、前記開始情報出力手段は、前記意味的特徴量算出手段でフレームの意味的特徴量が算出された際に、算出した意味的特徴量の値と前記蓄積手段に蓄積されているフレームの意味的特徴量の値とを用いて意味的特徴量の累計値を算出し、算出した前記累計値が所定の設定値に達した場合に、前記開始情報を出力し、前記ダイジェスト生成・配信手段は、前記開始情報出力手段から前記開始情報が出力されたら、前記ダイジェストを前記受信端末に配信するため、プロバイダがダイジェストや番組関連情報を利用者個々人向けに生成して配信するプッシュ型サービスにおいて、最適なタイミングで個人向けの情報を生成して配信することができる。
【図面の簡単な説明】
【図１】本実施の形態のダイジェスト配信システムの概略構成図である。
【図２】本実施の形態で使用する各データ（Frame 、P-Descriptor、 Scene、Annotation、Status Parameter）の関係を示す説明図である。
【図３】本実施の形態の配信サーバーの各モジュールの動作を示す説明図である。
【図４】本実施の形態の配信タイミングによるダイジェストの生成および配信を示す説明図である。
【符号の説明】
１００ 放送局
２００ 配信サーバー
３００ 受信端末
【発明の属する技術分野】
本発明は、連続する複数のフレームからなる番組映像と共にその補足情報が番組付加情報として送信されている放送環境下において、前記番組映像および番組付加情報を入力し、前記番組映像および番組付加情報のダイジェストを生成して配信する配信サーバーに関し、より詳細には、番組付加情報の受信や、映像内容の特徴量の変化といったイベントの発生をトリガーとしたイベント駆動型ダイジェスト生成を実現し、番組途中のある時点におけるダイジェストを動的に生成して配信することが可能な配信サーバーに関する。
【０００２】
【従来の技術】
近年、放送のデジタル化が世界的規模で急速に進展しており、日本でも２０００年１２月からＢＳ（Ｂｒｏａｄｃａｓｔ Ｓａｔｅｌｌｉｔｅ）デジタル放送が開始されており、地上デジタル放送も２００３年の開始を目処としている。これによりテレビの視聴形態も急激に変化し、従来のリアルタイム視聴だけでなく、蓄積型視聴およびノンリニア視聴形態も可能となる。
【０００３】
ここで、本出願人らが、これまで提案してきたノンリニア視聴形態におけるダイジェスト作成システムについて説明する。本出願人らは、まず、補足情報が映像インデックスなどの番組付加情報として付加された番組映像を対象として、その番組付加情報を用いて重要場面と想定される映像シーンを検索し、映像のダイジェスト版（ダイジェスト映像）を作成するダイジェスト作成システムを考案した。このダイジェスト作成システムにおいて、重要場面と判定された映像シーンには音声解説も含まれているため、断面的なインデックスの概要を説明文として生成するだけで十分であるという考えから映像内容の説明文生成処理を考えてきた。
【０００４】
なお、上記の技術の詳細は、以下の▲１▼〜▲５▼によって明らかにされている。
▲１▼ 橋本隆子、他：「番組インデックスを利用したダイジェスト視聴方式の検討」、映像情報メディア学会放送方式研究会予稿集、１９９９年３月、ｐｐ．７−１２。
▲２▼ 橋本隆子、他：「番組インデックスを利用したダイジェスト作成方式の試作」、データ工学ワークショップ（ＤＥＷＳ’９９）予稿集ＣＤ−ＲＯＭ、１９９９年３月。
▲３▼ 橋本隆子、他：「ＴＶ受信端末におけるダイジェスト作成方式の試作」、ＡＤＢＳ９９予稿集、１９９９年１２月。
▲４▼ 白田由香利、他：「ダイジェスト説明文生成方式についての検討」、情報処理学会ＤＢＳ研究会１２０−１５、２０００年１月、神戸。
▲５▼ 橋本隆子、他：「サッカー番組のダイジェスト作成システムの試作」、第１１回データ工学ワークショップ（ＤＥＷＳ’００）予稿集ＣＤ−ＲＯＭ、２０００年。
【０００５】
本出願人らは、これらの試作システムにおいて、番組映像に付加された基本的な補足情報としての番組付加情報を利用した映像内容の意味解析、利用者の嗜好を反映させた重要場面の判定および切り出し（映像の抽出）を可能とし、また、それに対する説明文の生成機能を実現している。
【０００６】
一方、ｉ−ｍｏｄｅ（商標、ＮＴＴ社）などの携帯端末を利用したサービスも盛んになっている。現在の携帯電話では、映像を受信しクリッピングすることはできないが、２００１年中に開始予定のＩＭＴ２０００による携帯電話サービスによれば動画像の受信／再生が可能となる予定である。携帯端末は利用者個々が持つ端末であり、パーソナルなアプリケーションがより有効となると考えられる。
【０００７】
このような状況において、本出願人らが研究してきたダイジェスト映像（番組映像のダイジェスト）およびその映像に関連する番組関連情報の配信方法を、携帯電話のサービスとして実現することを検討すると、その際のアプリケーションとしては、次のようなものが考えられる。なお、以降の説明で番組関連情報とは、番組映像に関連する全ての情報を示し、番組付加情報も番組関連情報の中の１つであり、また番組付加情報から生成された情報も番組関連情報となる。
【０００８】
第１の方法は、個人の嗜好を予めアプリケーションサービスプロバイダに登録しておき、プロバイダがダイジェストや番組関連情報を利用者個々人向けに生成して配信する方法（パーソナライズした情報のプッシュ型サービスの実現）。
第２の方法は、利用者がＷｅｂサイトにアクセスして自分の嗜好を登録し、その嗜好情報に基づいて利用者個々人向けのＷｅｂページが生成され、利用者がそのページをブラウズする方法（パーソナライズしたＷｅｂページのプル型サービスの実現）。
【０００９】
上記のようなアプリケーションが実現できれば、職場や移動中などＴＶを見る事ができないような状況においても、番組の概要および番組の関連情報を知る事が可能となる。また個人化された情報が配信されてくるため、個々の利用者にとって有効なサービスが実現できる。
【００１０】
そこで本出願人らは、上記第１の方法で、パーソナライズした情報のプッシュ型サービスを実現することを考えた。この場合に、対象としている配信コンテンツは番組映像のダイジェストシーンおよび番組に関連する情報（静止画、テキスト、動画像など）である。すなわち、連続する複数のフレームからなる番組映像と共にその補足情報が番組付加情報として送信されている放送環境下において、放送局から送信された番組映像および番組付加情報を受信してダイジェストを生成して配信する配信サーバーと、配信サーバーから配信されたダイジェストを視聴するための受信端末とから構成されるダイジェスト配信システムを実現することを考えた。
【００１１】
パーソナライズした情報のプッシュ型サービスを実現しようとした場合、配信する情報を如何に自動生成するか、情報をいつ配信するか（配信のタイミング）という仕組みを提供することが望まれる。配信する情報を如何に自動生成するかについては、本出願人らによって提供されている上記▲１▼〜▲５▼の技術を用いることによって実現できる。
【００１２】
【発明が解決しようとする課題】
しかしながら、上記▲１▼〜▲５▼の技術のみでは、個人の嗜好を予めアプリケーションサービスプロバイダ（配信サーバー）に登録しておくことにより、プロバイダでダイジェストや番組関連情報を利用者個々人向けに生成することはできるものの、生成した個人向けの情報をいつ配信するかという「配信のタイミング」についての技術は提供されていなかった。
【００１３】
本発明は上記に鑑みてなされたものであって、プロバイダがダイジェストや番組関連情報を利用者個々人向けに生成して配信するプッシュ型サービスにおいて、最適なタイミングで個人向けの情報を生成して配信可能な配信サーバーを提供することを目的とする。
【００３１】
【課題を解決するための手段】
上記の目的を達成するために、請求項１に係る配信サーバーは、放送局から送信された、連続する複数のフレームからなる番組映像と番組付加情報とを受信してダイジェストを生成し、生成した前記ダイジェストを受信端末に対して配信する配信サーバーであって、前記番組付加情報を受信すると、受信した複数の番組付加情報によって指定される連続する複数のフレームを、前記番組映像からシーンとして抽出する抽出手段と、前記番組付加情報を受信すると、受信した複数の番組付加情報に基づいて、前記番組映像中におけるフレームの意味的特徴量をフレーム毎に算出する意味的特徴量算出手段と、前記抽出手段で抽出したシーンおよび前記意味的特徴量算出手段で算出したフレームの意味的特徴量を蓄積する蓄積手段と、ダイジェストを生成するための開始情報を出力する開始情報出力手段と、前記蓄積手段で蓄積したフレームの意味的特徴量に基づいて、前記抽出したシーンの中から高い意味的特徴量を有するフレームが存在するシーンを優先的に選択して、ダイジェストを生成し、前記受信端末に配信するダイジェスト生成・配信手段と、を備え、前記開始情報出力手段は、前記意味的特徴量算出手段でフレームの意味的特徴量が算出された際に、算出した意味的特徴量の値と前記蓄積手段に蓄積されているフレームの意味的特徴量の値とを用いて意味的特徴量の累計値を算出し、算出した前記累計値が所定の設定値に達した場合に、前記開始情報を出力し、前記ダイジェスト生成・配信手段は、前記開始情報出力手段から前記開始情報が出力されたら、前記ダイジェストを前記受信端末に配信することを特徴とする。
【００３２】
【発明の実施の形態】
以下、本発明のダイジェスト配信システムの一実施の形態について、
〔本発明の概要〕
〔本実施の形態のダイジェスト配信システムの概略構成〕
〔本実施の形態で使用する各データの定義〕
〔本実施の形態の各モジュールの動作〕
〔受信イベントによるダイジェスト生成・配信処理の動作〕
〔アノテーション生成によるダイジェスト生成・配信処理の動作〕
〔ステイタスパラメタの値によるダイジェスト生成・配信処理の動作〕
の順に、添付の図面を参照して詳細に説明する。
【００３３】
〔本発明の概要〕
本発明のダイジェスト配信システムは、プロバイダがダイジェストや番組関連情報を利用者個々人向けに生成して配信するプッシュ型サービスにおいて、最適なタイミングで個人向けの情報を生成して配信可能とするものである。
【００３４】
なお、本発明のダイジェスト配信システムは、連続する複数のフレームからなる番組映像と共にその補足情報が番組付加情報として送信されている放送環境下において、前記番組映像および番組付加情報を入力してダイジェストを生成して配信する配信サーバーと、配信サーバーから配信されたダイジェストを視聴するための受信端末と、を有するダイジェスト配信システムを対象とする。
【００３５】
ただし、ここで、配信サーバーは、放送局から送信された番組映像および番組付加情報を必ずしもリアルタイムで受信する必要はなく、例えば、他の装置で受信した番組映像および番組付加情報をＣＤ、ＭＯ、ＤＶＤなどの各種メディアを介して入力する場合も含まれるものとする。
【００３６】
また、生成して配信するダイジェストは、番組映像のダイジェスのみの場合や、番組付加情報から生成した番組付加情報のダイジェストのみの場合や、番組映像および番組付加情報の両方のダイジェストが考えられる。また、ダイジェストを配信する際に、生成したダイジェストに関連する情報を番組関連情報として追加しても良い。
【００３７】
また、プッシュ型サービスにおける配信のタイミングには、次のようなものが考えられる。
（１）番組映像（映像情報）の事象を区切りとした配信
例えば、野球番組ならばイニング終了／開始、打席終了／開始、得点追加といったタイミングでダイジェストや番組関連情報を生成して配信する。
（２）映像内容の重要度による配信（この場合には、事象発生後に重要度を算出することになる）
例えば、野球番組ならばホームラン、逆転、好みの打者の打席終了時といったように、重要な事象が発生した直後にそのダイジェストや番組関連情報を生成して配信する。
（３）映像内容の重要度による配信（状況を解析して）
例えば、１打逆転のチャンスで４番打者の打席、好きな打者の打席開始時といったように重要と判定される場面において、番組関連情報を配信する（この場合、映像のダイジェストは必要とされない可能性がある）。
【００３８】
上記の（１）〜（３）のような配信タイミングを実現するため、本発明では、「イベント駆動型のダイジェスト生成および配信方式」を採用したダイジェスト配信システムを提案する。なお、配信タイミングのトリガーとなるイベントとして想定されるのは、番組の構造を示すイベント群（番組の構造に関する番組付加情報）や、従来の技術であるダイジェスト生成方式における重要度判定パラメタの値の変化がある。
【００３９】
換言すれば、本発明では、番組付加情報の受信、シーン抽出、映像の意味的記述の生成といったイベントをトリガーとしたイベント駆動型ダイジェスト生成を実現している。このイベント駆動型ダイジェスト生成により、番組途中のある時点におけるダイジェストを動的に生成して配信することができる。
【００４０】
また、本発明では、次の▲１▼〜▲３▼のような要求仕様を満たすダイジェスト生成処理モデルを前提条件としている。
▲１▼映像上のある時点における意味的な重要度判定ができること。
▲２▼番組付加情報を受信しながら、上記重要度を動的に算出できること。
▲３▼ダイジェスト生成および配信中にもリアルタイムに重要シーンの抽出ができること。
【００４１】
なお、上記▲１▼〜▲３▼の要求仕様を満足するための技術は、本出願人らによって既に提供されており、具体的には、番組映像と共にその補足情報が番組付加情報として送信されてくる放送環境において、番組付加情報を受信するというイベントにより、番組内のシーンを動的に抽出する。また、シーンが抽出されると、シーン内の任意の番組付加情報に対して、その内容をより意味的に説明するアノテーション（補足説明：本発明の複合情報に相当する）が生成され付加される。
【００４２】
なお、この抽出およびアノテーション生成は、番組付加情報の受信イベントをトリガーとし、補足情報の正規表現により記述されるルールにより定義されているものとする。
【００４３】
また、番組付加情報の受信イベントにより、番組の意味的特徴量（ステイタスパラメタの値）を動的に算出する。そのステイタスパラメタ算出は、番組付加情報の受信イベントおよびアノテーション生成のイベント（アノテーション生成イベント）をトリガーとしたステイタスパラメタ算出ルールにより定義されているものとする。
【００４４】
〔本実施の形態のダイジェスト配信システムの概略構成〕
図１は、本実施の形態のダイジェスト配信システムの概略構成を示し、図示の如く、連続する複数のフレームからなる番組映像と共にその補足情報を番組付加情報として送信する放送局１００と、放送局１００から送信された番組映像および番組付加情報を受信してダイジェストを生成して配信する配信サーバー２００と、配信サーバー２００から配信されたダイジェストを視聴するための受信端末３００と、から構成される。
【００４５】
なお、放送局１００、配信サーバー２００および受信端末３００の数は特に限定するものではない。また、受信端末３００としては、携帯電話、ディスクトップ型コンピュータ、ノート型コンピュータ、ＰＤＡ（携帯情報端末）等のように映像の送受信機能や、表示機能を有した装置を使用することができる。
【００４６】
また、配信サーバー２００は、放送局１００から番組映像および番組付加情報を受信する場合を例として示しているが、過去に放送された番組映像および番組付加情報を記憶したメディアから直接入力する場合も、基本的に同一であり、本発明の範疇に含まれる。
【００４７】
〔本実施の形態で使用する各データの定義〕
次に、本実施の形態のダイジェスト配信システムの配信サーバー２００で使用する各データの定義について説明する。本実施の形態の配信サーバー２００は、リアルタイムに番組映像のダイジェストを生成する。また、配信サーバー２００は、イベント駆動型の処理方式に基づいた重要度判定により、映像上のある時点における重要度を動的に算出し、リアルタイムに重要シーン（Scene ）を抽出する。
【００４８】
配信サーバー２００の処理データは、以下に説明する番組映像であるFrame(f)と、番組付加情報であるPrimitive Descriptor(p) の２つである。この２つのデータは放送局１００により制作され放送される。配信サーバー２００はこれらのデータを受信し、ダイジェストの生成および配信を行う。
【００４９】
Frame(f)
番組映像は、静止画像である Frameｆi の列ｆ1 …ｆn である。各Frame は識別子となるフレーム番号ｆno、およびそのFrame が表現する経過時間（先頭Frame からの相対時間）を示すタイムコード timecode で構成される。以下では連続したFrame の部分列をFrame 列と呼ぶ。
【００５０】
Primitive Descriptor（p ）
放送局１００によって付加される基本的な番組付加情報を基本記述子 (以下P-Descriptorと記載する) と呼ぶ。各 P-Descriptor ｐi はその記述情報の開始時点となるFrame ｆj に対応付けられる。各ｐは以下のような組で表現される。
【００５１】
上記P-Descriptorの型typeは番組付加情報の種類を示す。例えば、野球中継の場合、"game ＿start"、 "inning＿start"、 "at＿bat"などの試合の区切りや、"pitch" 、"hit" 、"home ＿run"、"out" や"at ＿bat"などの動作やプレイの種類を示すP-Descriptorの型が考えられる。
【００５３】
attr1, …, attrn で示される属性はP-Descriptorの型typeによって決まる属性であり、各ｐi の属性値が設定される。例えば：P-Descriptor "pitch"の場合、"pitcher＿name" 、"batter ＿name" 、スコア情報などが属性となる。このP-Descriptorの型によって決まる属性をP-Descriptorのスキーマと呼ぶ。
【００５４】
なお、Frame ｆj と P-Descriptor ｐi の関係は１対多となる。１つのFrame に対して複数のP-Descriptorが対応付けられることもあり、P-Descriptorが対応付けられないFrame もある。図２にFrame とP-Descriptorとの関係を示す。
【００５５】
次に、上記処理データを用いて配信サーバー２００が生成するデータについて述べる。配信サーバー２００が生成するデータには、Scene （シーン）、P-DescriptorのAnnotation（アノテーション：本発明の複合情報）、Status Parameter（ステイタスパラメタ：本発明の意味的特徴量）がある。図２にFrame 、P-Descriptor、 Scene、Annotation、Status Parameterの関係を示す。
【００５６】
Scene(s)
Scene （シーン）とは意味的にまとまりのあるFrame 列である。Scene は以下のような組で表現できる。
【００５７】
ここで、Scene の型typeはScene の種類を示す。野球番組の場合、「イニング」 ("inning ＿start"イベントから次の"inning ＿start"イベントまで) 、「投球」("pitch"イベントから次の"pitch" まで) 、「逆転」などの各種のScene の型が考えられる。開始フレーム番号ffno、終了フレーム番号lfnoはScene に対応するFrame 列の先頭および終端Frame を示す。
【００５９】
Annotation(a)
配信サーバー２００は、複数のP-Descriptorの情報から、複合的な意味をもつ記述を自動的に生成し、特定の P-Descriptor の補足情報とする。これをAnnotation（アノテーション：本発明の複合情報）と呼ぶ。Annotation aは以下のような組で表現される。
【００６０】
Annotationの型typeは、Annotationの種類を表す。例えば野球番組の場合、「タイムリーヒット」、「逆転ホームラン」などのAnnotationが考えられる。それぞれP-Descriptor "hit"、"home ＿run"のAnnotationとなり、pid にはそのP-Descriptorを特定するためのIDが設定される。
【００６２】
Status Parameter(p)
Status Parameter （ステイタスパラメタ：意味的特徴量）は映像上のある時点における重要度を示す指標であり、予め設定されているステイタスパラメタ算出ルールに基づき算出される。番組の種別にもよるが一般に映像上の１つのFrame につき、Status Parameterは複数個算出される。なお、ステイタスパラメタ算出ルールは、 P-Descriptor およびAnnotationの生成によるイベント駆動で発火する。
【００６３】
Status Parameterの型typeは、重要度（意味的特徴量と同じ意味、以下、重要度と記載する場合がある）の種類を表す。例えば、野球番組の場合、攻撃的重要度を示す「攻撃レベル」、投手の調子を示す「投手レベル」などのStatus Parameterがある。fno で特定されるFrame のtimecodeで示される時点における重要度の値がvalue となる。
【００６５】
〔本実施の形態の各モジュールの動作〕
次に、本実施の形態の配信サーバー２００の各モジュールの動作について説明する。図３は本実施の形態の配信サーバー２００の各モジュールの動作を示す説明図である。
【００６６】
本システム（配信サーバー２００）の処理モジュールとしては、以下のものがある。
＊シーン抽出モジュール（本発明の抽出手段）
＊ステイタスパラメタ算出モジュール（本発明の意味的特徴量算出手段）
＊ダイジェスト・番組関連情報生成モジュール（本発明のダイジェスト生成・配信手段）
＊ダイジェスト・関連情報監視モジュール（本発明の開始情報出力手段）
＊ダイジェスト・番組関連情報生成イベント発行モジュール（本発明の開始情報出力手段）
＊配信タイミング・嗜好情報設定モジュール
【００６７】
また、配信サーバー２００において処理されるイベントには、次のものがある。
＊P-Descriptor受信イベント
＊シーン（Scene）抽出イベント
＊アノテーション（Annotation）生成イベント
＊ステイタスパラメタ（Status Parameter）算出イベント
＊ダイジェスト生成開始イベント
＊ダイジェスト関連情報変更イベント
【００６８】
ここで、図３を参照して、配信サーバー２００におけるダイジェスト生成・配信処理の処理概要を説明する。下記の番号と図中の番号は対応しており、それぞれの処理を示している。なお、図中のダイジェスト生成用ＤＢは本発明の蓄積手段に相当し、算出したステイタスパラメタ、生成したシーンおよびアノテーション、並びに個々の受信端末３００の配信タイミングを設定した利用プロファイルなどが記憶されている。
【００６９】
▲１▼ 放送局から放送された番組付加情報（P-Descriptor）が受信されると、P-Descriptor受信イベントが発生する。
▲２▼ P-Descriptor受信イベントの発生を受けて、シーン抽出モジュールにおいてシーン抽出ルールが発火し、シーン抽出（Scene抽出）を行い、シーン内の番組付加情報に対するアノテーション生成（Annotation生成）を行う。アノテーションが生成されるとAnnotation生成イベントがステイタスパラメタ算出モジュールおよびダイジェスト・番組関連情報生成モジュールに発行される。
【００７０】
▲３▼ ステイタスパラメタ算出モジュールでは、P-Descriptor受信イベントおよびAnnotation生成イベントの発生を受けて、ステイタスパラメタ算出ルールが発火し、ステイタスパラメタ（Status Parameter）の値が算出される。ステイタスパラメタの値が算出されると、ステイタスパラメタ算出イベントがダイジェスト・関連情報監視モジュールに発行される。
【００７１】
▲４▼ （ａ）ダイジェスト・番組関連情報生成に関するイベントを受信するか、（ｂ）アノテーションが生成されるか、または（ｃ）ステイタスパラメタの値が変更されると、ダイジェスト・関連情報監視モジュールは、ダイジェスト関連情報変更イベントをダイジェスト・番組関連情報生成イベント発行モジュールに発行する。ここで、ダイジェスト関連情報変更イベントは、シーン抽出イベントおよびステイタスパラメタ算出イベントの受信により発行される。また、ダイジェスト・関連情報監視モジュールが、上記（ａ）〜（ｃ）の何れに従ってダイジェスト関連情報変更イベントを発行するかは、後述する▲７▼で選択して設定することができる。
【００７２】
▲５▼ ダイジェスト・番組関連情報生成イベント発行モジュールは、ダイジェスト関連情報変更イベントを受信すると、その内容を解析して、利用者の個々のダイジェスト・番組関連情報を生成するためにダイジェスト生成開始イベントを発行する。
▲６▼ ダイジェスト・番組関連情報生成モジュールは、ダイジェスト生成開始イベントを受信すると、ダイジェストの生成を開始する。また生成されたダイジェストは、利用者個々（すなわち、それぞれの受信端末３００）に配信される。
【００７３】
▲７▼ 上記（ａ）〜（ｃ）の何れに従ってダイジェスト関連情報変更イベントを発行するを選択して設定することは、配信タイミングを設定することと同じである。この３つの配信タイミングは、利用者が予め個々の受信端末３００を介して配信サーバー２００に設定することができる。具体的には、利用者が受信端末３００を用いて配信サーバー２００に自分が情報を欲しい配信タイミングを送信すると、配信サーバー２００の配信タイミング・嗜好情報設定モジュールが、ダイジェスト生成用ＤＢに記憶されている受信端末３００毎のプロファイル情報（利用プロファイル）に、それぞれの配信タイミングを設定する。
【００７４】
次に、「シーン抽出モジュール」、「ステイタスパラメタ算出モジュール」、「ダイジェスト・番組関連情報生成モジュール」の順に具体的に説明する。
【００７５】
「シーン抽出モジュール」
本実施の形態では、Sceneの抽出とAnnotationの生成を「シーン抽出ルール」として与える。このルールは予め定義してデータベース化しておく。シーン抽出ルールは、具体的には次のようなマークアップ言語で表現される。
【００７６】
【００７７】
終端記号である。
【００７８】
【００７９】
受信したP-Descriptorにおいてパターンが成立した場合、Sceneタイプで示される型のSceneが生成される。
開始P-Descriptor、終了P-Descriptorは、Scene抽出のためのマッチングの範囲を規定するものである。開始P-Descriptorを受信すると、P-Descriptorパターンのマッチングが開始される。終了P-Descriptorが発生する前にP-Descriptorパターンのマッチが完了すれば、Sceneは抽出される。
【００８０】
パターンマッチの前に終了P-Descriptorを受信してしまった場合は、パターンマッチ処理は中止となる。開始P-Descriptor、終了P-Descriptorが省略された場合は、番組の開始から終了までの範囲でP-Descriptorパターンのマッチング処理が実行されることになる。
【００８１】
P-Descriptorパターンは、P-Descriptor ｐi の正規表現で表される。P-Descriptorパターンには、演算の優先度を指定する括弧"()"、Sceneの開始および終了P-Descriptorを表す """、 "$"も利用できる。また、P-Descriptorの属性データattrに関する各種の条件も角括弧 "［］" を用いて指定できる。イベントが１回以上発生することを示す演算子は"+"、０回以上の繰り返し演算子は"＊"。任意の型のイベントは"．”で表わす。
【００８２】
Scene抽出が完了すると、Annotation指定で指定されたAnnotationが、P-Descriptor位置で参照されているP-Descriptorに付加される。P-Descriptor位置の参照は、P-Descriptorパターンにおいて参照したいP-Descriptorを「\(… \)」で囲んでおき、その順番の番号で指定することとする。
【００８３】
以下にシーン抽出ルールの例を示す。
上記の例は、逆転Sceneを生成するためのルールである。P-Descriptor "inning＿start"の後 に、"hit"、"four ＿ball"、"dead ＿ball" または "HR" を受信する。その際、攻撃チームの得点が守備チームより低く、その後、加点を示す"add＿score"を１回以上受信し、その直後のP-Descriptorにおいて攻撃チームの得点が高くなっているSceneを逆転Sceneとして抽出する。
【００８５】
Sceneが抽出されると、パターン内のP-Descriptor(hit、four＿ball 、dead＿ball またはHR、\1で参照される)にAnnotation「逆転のきっかけ」が生成付加される。さらに、次にマッチしたadd ＿score中で、最後のadd ＿score (\2[$]で参照される)にAnnotationが生成付加される。
【００８６】
このScene抽出およびAnnotation生成処理により、基本的な番組付加情報を受信しながら、映像の意味的なまとまりを発見し、複合的な意味を持つAnnotationを付加することが可能となる。また、Scene抽出ルールが補足情報の正規表現で定義されているので、Scene抽出を容易に行うことができる。また、抽出するSceneの指定および変更が容易であると共に、様々なSceneの抽出を行うことができる。
【００８７】
次に、「ステイタスパラメタ算出モジュール」について説明する。本実施の形態では、ステイタスパラメタの算出を「ステイタスパラメタ算出ルール」として与える。このルールも予め定義してデータベース化しておく。
【００８８】
映像上のあるFrame ｆiの意味的重要度（意味的特徴量）を判定するためには、ｆiの重要度を示すStatus Parameter ｐ1、…ｐnを計算する。ここで、この計算処理について具体的に説明する。
【００８９】
Status Parameter ｐiの値は、以下のステイタスパラメタ算出ルールによって計算される。
ステイタスパラメタ算出ルール=
【００９０】
【００９１】
【００９２】
上記トリガーイベント名には、P-Descriptorタイプ、Annotationタイプを指定する。指定されたP-Descriptorの受信イベント、あるいはAnnotation生成イベントを受け取ると、以降に記述されているルールが発火する。
【００９３】
ルール指定には、Status Parameterタイプの名前とその算出式（演算子と値または式）を定義する。P-Descriptor受信イベントの場合、対応するFrameにおけるStatus Parameterの値を算出する。Annotation生成イベントの場合は、そのAnnotationが付加されているP-Descriptorに対応するFrameのStatus Parameterの値を算出する。演算子には、四則演算子を指定する。
【００９４】
このとき、該当Frameにおいて既にStatus Parameter値が算出されていた場合は、その値を基に新しい値を求める。算出されていない場合は、初期値０として値を求める。
【００９５】
以下にステイタスパラメタ算出ルールの例を示す。
上記は野球番組においてP-Descriptor "home＿run" の受信イベントとAnnotation「逆転のきっかけ」の生成イベントを受け取った場合のStatus Parameter算出手続きを記述した例である。"home ＿run"受信イベントを受け取ると、（例１）に示すように該当するFrameにおける「攻撃レベル」パラメタの値が５加算される。また「逆転」Sceneの抽出により「逆転のきっかけ」Annotationが生成されると、（例２）に示すように該当するFrameの攻撃レベルが２加算される。
【００９８】
このイベント駆動型のStatus Parameterの算出処理により、番組付加情報を受信しながら動的な重要度の算出が可能となる。
【００９９】
次に、「ダイジェスト・番組関連情報生成モジュール」について説明する。ダイジェスト・番組関連情報生成モジュールは、以下に示すようなダイジェスト生成ルールに基づき、ダイジェストを生成する。
【０１００】
イジェスト総時間、抽出指定値は非終端記号である。
【０１０１】
【０１０２】
上記ダイジェスト生成ルールは、利用者が配信タイミング・嗜好情報設定モジュールを介して配信タイミング等を指定すると自動的に生成される。ダイジェスト生成範囲には、対象とする映像においてダイジェストを生成するための範囲を指定する。終了タイムコードが省略されていた場合は、リアルタイムに受信しながらダイジェストを生成することを示す。抽出Sceneの型に従って、「ダイジェストの候補シーン」[si] が抽出される。
【０１０３】
また、Status Parameterの式には、例えば次のような記述ができる。
（ア）攻撃レベル
（イ）攻撃レベル+ユーザ嗜好レベル*0.5
【０１０４】
上記（ア）の指定は、攻撃レベル（ダイジェスト生成に使用する意味的特徴量の種類）だけを基にダイジェストを生成する指定となる。また、（イ）の指定は、攻撃レベルにユーザ嗜好レベル*0.5倍を足した値を基にダイジェストを生成する指定となる。
【０１０５】
各候補シーン内のFrameに対して、Status Parameterの式に従って値を算出する。この値を各フレームの「重要度値」と呼ぶ。この重要度値に基づき以下の方針により、シーンが選択される。
【０１０６】
ダイジェスト・番組関連情報生成モジュールを介してダイジェスト総時間が指定された場合は、指定されたダイジェスト総時間に等しくなるまで、より高い重要度値をもつSceneから順に選択される。
【０１０７】
ダイジェスト・番組関連情報生成モジュールで抽出指定値が指定された場合は、指定された値以上の重要度値をもつシーンを選択し、時系列に再構成してダイジェストを生成する。
【０１０８】
以上の構成において、以下の（ａ）〜（ｃ）の３つの配信タイミングのそれぞれを設定した場合を例として、本実施の形態のダイジェストの生成および配信について説明する。
（ａ）ダイジェスト・番組関連情報生成に関するイベントを受信した際にダイジェストを生成・配信する。
（ｂ）アノテーションが生成された際にダイジェストを生成・配信する。
（ｃ）ステイタスパラメタ（Status Parameter）の値が変更された際にダイ ジェストを生成・配信する。
【０１０９】
〔受信イベントによるダイジェスト生成・配信処理の動作〕
先ず、（ａ）ダイジェスト・番組関連情報生成に関するイベントを受信した際にダイジェストを生成・配信する場合について説明する。
例えば、次のようなイベントを受信した時に、映像のダイジェスト情報および番組関連情報を配信する場合を考える。なお、どのような種類のイベント（番組付加情報）を受信した場合にダイジェストを生成して配信するかは、図３の▲７▼で示したように、受信端末３００および配信タイミング・嗜好情報設定モジュールを介して、利用プロファイルに予め設定されている。ここでは、イニング開始イベント（ "inning＿start"）が本発明の開始指定情報として設定されているものとする。
【０１１０】
イニング開始イベント（ "inning＿start"）
配信サーバー２００は、番組付加情報を受信すると、受信した番組付加情報の種類が開始指定情報（イニング開始イベント）と一致するか否かを判定し、一致する場合、ダイジェストを生成して配信する。
換言すれば、配信サーバー２００において、イニング開始イベントを受信すると、ダイジェスト・関連情報監視モジュールがダイジェスト関連情報変更イベントを発行する。それを受けて、ダイジェスト・番組関連情報生成イベント発行モジュールがダイジェスト・番組関連情報生成モジュールに向けて、ダイジェスト生成開始イベントを発行する。
【０１１１】
ダイジェスト・番組関連情報生成モジュールは、 P-Descriptor （番組付加情報）、ステイタスパラメタ、アノテーションなどの情報を元にダイジェスト・番組関連情報を個々の利用者に向けて生成する。その際、対象とする利用者に既に情報を配信している場合は、差分情報のみを対象としてダイジェスト・番組関連情報を生成し配信する。
【０１１２】
図４は、１９９８年１０月３日、巨人対広島戦の２回裏までの試合解析の結果である。２回裏のイニングが終了し、３回表のイニング開始イベントを受信すると、ダイジェストが生成される。以下は、２回裏までに生成されるダイジェスト報および番組関連情報の例である。なお、図において、４０１は、横軸を番組映像の時間軸（ｔｉｍｅ）、縦軸をステイタスパラメタの値としたグラフを示し、４０２は、番組映像の構造を示している。グラフ４０１上の同一時間に複数のステイタスパラメタの値が存在することは、複数の種類のステイタスパラメタが同時に算出されて表示されていることによるものである。
【０１１３】
ダイジェスト情報（対応するダイジェスト映像のシーンを含む）
１回表広島江藤の犠打で先制
１回裏巨人高橋のタイムリーヒットで逆転
２回裏巨人川相のヒット
２回裏巨人松井の３ランホームラン
【０１１４】
番組関連情報
選手プロファイル
打率情報
昨日のホームランシーン
今日の高橋
【０１１５】
上記のダイジェスト情報および番組関連情報が生成され、個々の利用者の受信端末３００に配信される。
【０１１６】
前述したように配信タイミングを指定する番組付加情報の種類（イベントの種類）は、予め個々の利用者が、それぞれの受信端末３００を用いて配信サーバー２００に送信して、ダイジェスト生成用ＤＢに記憶されている受信端末３００毎のプロファイル情報（利用プロファイル）に設定してあるので、配信サーバー２００では、利用プロファイルを参照して、受信端末３００毎に個別に設定された開始指定情報（番組付加情報の種類）に基づいて、個々の利用者が所望する配信タイミングでダイジェストを生成して配信することができる。
【０１１７】
また、１つの受信端末３００に対応した利用者プロファイル中に、複数の開始指定情報（番組付加情報の種類）を設定することも可能である。例えば、上記の開始指定情報（イニング開始イベント）に加えて、開始指定情報（ホームランイベント）を設定しておく、ホームランが発生した場合にも、ダイジェストの生成および配信が行われる。
【０１１８】
さらに、複数の開始指定情報の設定に加えて、予め設定した複数の開始指定情報に対して処理の優先度を設定することにより、開始指定情報を設定することに加えて、優先度の指定によっても配信タイミングを調整（設定）することができる。例えば、予め利用プロファイルに、以下のように複数の開始指定情報とその優先度を設定した場合を想定する。なお、ここで、優先度は数値が大きい程、その優先度が高いものとする。
開始指定情報（優先度）
イニング開始イベント（優先度１）
ホームランイベント（優先度５）
三振イベント（優先度３）
【０１１９】
このように複数の開始指定情報とその優先度が設定されている場合に、配信タイミングとして優先度１を指定すると、優先度１以上の開始指定情報（イニング開始イベント、ホームランイベント、三振イベント）が発生した場合に、ダイジェストが生成されて配信される。同様の条件で、優先度３を指定すると、優先度３以上、すなわち、三振があった場合とホームランがあった場合に、ダイジェストが生成されて配信される。
【０１２０】
したがって、受信端末３００として携帯電話を用いて、ダイジェストの配信を受ける場合に、イニング毎にその結果をダイジェストとして受信したり、三振およびホームランがあった場合にそれまでの結果をダイジェストと受信したり、利用者の所望の配信タイミングでダイジェストを取得することができる。
【０１２１】
〔アノテーション生成によるダイジェスト生成・配信処理の動作〕
次に、（ｂ）Annotationが生成された際にダイジェストを生成・配信する場合について説明する。例えば、次のようなアノテーションが生成された時に、ダイジェスト情報、番組関連情報を配信する場合を考える。なお、どのような種類のアノテーションが生成された場合にダイジェストを生成して配信するかは、図３の▲７▼で示したように、受信端末３００および配信タイミング・嗜好情報設定モジュールを介して、利用プロファイルに予め設定されている。ここでは、アノテーション（逆転）が設定されているものとする。
【０１２２】
アノテーション：逆転
配信サーバー２００は、番組付加情報を受信すると、受信した番組付加情報からアノテーションを生成し、生成したアノテーションが予め設定されているアノテーション（逆転）と一致するか否かを判定し、一致する場合、ダイジェストを生成して配信する。
【０１２３】
換言すれば、配信サーバー２００のシーン抽出モジュールはアノテーション（逆転）を生成すると、Annotation生成イベントをダイジェスト・番組関連情報生成モジュールへ発行する。ダイジェスト・番組関連情報生成モジュールは、Annotation生成イベントに基づいて、アノテーションを解析し、アノテーション「逆転」が生成されると、ダイジェスト関連情報変更イベントを発行する。それを受けて、ダイジェスト・番組関連情報生成イベント発行モジュールがダイジェスト・番組関連情報生成モジュールに向けて、ダイジェスト生成開始イベントを発行し、ダイジェスト・番組関連情報が生成される。
【０１２４】
以下は、やはり１９９８年１０月３日、巨人対広島戦において高橋のタイムリーヒットによる「逆転」のアノテーションが発生した場合のダイジェスト情報・番組関連情報の例である。
【０１２５】
ダイジェスト情報（対応するダイジェスト映像のシーンを含む）
１回表広島江藤の犠打で先制
１回裏巨人清水ヒット
１回裏巨人高橋のタイムリーヒットで逆転
【０１２６】
番組関連情報
選手プロファイル
打率情報
昨日の逆転シーン
今日の高橋
【０１２７】
上記のダイジェスト情報および番組関連情報が生成され、個々の利用者の受信端末３００に配信される。
【０１２８】
このように設定したアノテーションが生成された場合に、ダイジェストを生成して配信することにより、利用者の所望の配信タイミングでダイジェストを取得することができる。
【０１２９】
〔ステイタスパラメタの値によるダイジェスト生成・配信処理の動作〕
続いて、（ｃ）ステイタスパラメタ（Status Parameter）の値が変更された際にダイジェストを生成・配信する場合について説明する。
【０１３０】
本実施の形態において、ステイタスパラメタの値の変更による配信タイミングの指定には、次に（ア）、（イ）の２通りがあり、以下、それぞれ例をあげて説明する。
（ア）ステイタスパラメタの値が一定値以上になったら配信する。
（イ）あるシーンにおいて、ステイタスパラメタの積分値が一定値以上になったら配信する。
【０１３１】
（ア）ステイタスパラメタの値が一定値以上になったら配信する場合
興奮レベルパラメタは、１打逆転のチャンスで３塁ランナーがいて、クリーンナップの打席が開始されたとき（チャンスの場面）などに値が急激に上がる。興奮レベルがある一定値以上になったら、ダイジェスト情報および関連情報を配信するように指定されていたとする。
【０１３２】
なお、ここでは、複数のステイタスパラメタ（例えば、攻撃レベルパラメタ、投手レベルパラメタ、興奮レベルパラメタ）の中から、予め受信端末３００を介して興奮レベルパラメタが設定値と比較するパラメタとして利用プロファイルに設定されているものとする。この設定値と比較するパラメタも、前述した開始指定情報と同様に、受信端末３００毎に対応する利用プロファイルに設定されている。
【０１３３】
前述のようなチャンスの場面において、興奮レベルの値が高まると、ダイジェスト・関連情報監視モジュールがダイジェスト関連情報変更イベントを発行する。それを受けて、ダイジェスト・番組関連情報生成イベント発行モジュールがダイジェスト・番組関連情報生成モジュールに向けて、ダイジェスト生成開始イベントを発行し、ダイジェスト・番組関連情報が生成される。
【０１３４】
以下は、やはり１９９８年１０月３日、巨人対広島戦における高橋の打席開始時に興奮レベルの値が設定値（ここでは１０）以上（興奮レベル値≧１０）の場合にダイジェスト・関連情報配信の指定がされていた場合の例である。高橋の打席開始時には、スコアが０−１（巨人１点差で負けている）で、１、３塁に清水、仁志がおり、興奮レベルは上昇している。
【０１３５】
ダイジェスト情報（対応するダイジェスト映像のシーンを含む）
１回表広島江藤の犠打で先制
１回裏巨人仁志フォアボールで出塁
１回裏巨人清水ヒット
【０１３６】
番組関連情報
選手プロファイル
打率情報
昨日のチャンスシーン
高橋のチャンスシーン（９月２６日）←９月２６日の試合で高橋が同様の
チャンスシーンにおいて、どのような結果となったかを示す
【０１３７】
上記のダイジェスト情報および番組関連情報が生成され、個々の利用者の受信端末３００に配信される。
【０１３８】
予め個々の利用者が、ステイタスパラメタの種類を選択して、それぞれの受信端末３００を用いて配信サーバー２００に送信し、ダイジェスト生成用ＤＢに記憶されている受信端末３００毎のプロファイル情報（利用プロファイル）に設定してあるので、配信サーバー２００では、利用プロファイルを参照して、受信端末３００毎に個別に設定されたステイタスパラメタの種類に基づいて、個々の利用者が所望する配信タイミングでダイジェストを生成して配信することができる。
【０１３９】
（イ）あるシーンにおいて、ステイタスパラメタの積分値が一定値以上になったら配信する場合
例えば、あるイニングシーンにおいて、ヒットや加点が続くとその攻撃レベルの積分値（累計値）が上がっていく。積分値が上がる事により、そのイニングシーン自体の重要度も増す事になる。積分値がある一定以上になったら、情報配信を指定しておくことにより、重要度が増してきたシーンに対する情報配信をリアルタイムに実行することが可能となる。
【０１４０】
以下は、やはり１９９８年１０月３日、巨人対広島戦における高橋の打席開始時に攻撃レベルの積分値≧１５（設定値）の場合にダイジェスト・関連情報配信を指定されていた場合の例である。１回の裏のイニングにおいては、高橋のタイムリーヒットが発生したことにより、攻撃レベルの積分値は設定値（１５）を越える。この値の変化により情報が配信される。
【０１４１】
内訳：ヒット（＋２）、フォアボールで出塁（＋１）、タイムリーヒット（＋４）、逆転（＋５）、２点加点（＋２＊２）
【０１４２】
ダイジェスト情報（対応するダイジェスト映像のシーンを含む）
１回表広島江藤の犠打で先制
１回裏巨人仁志フォアボールで出塁
１回裏巨人清水ヒット
【０１４３】
番組関連情報
選手プロファイル
打率情報
昨日のチャンスシーン
高橋のチャンスシーン（９月２６日）←９月２６日の試合で高橋が同様の
チャンスシーンにおいて、どのような結果となったかを示す
【０１４４】
上記のダイジェスト情報および番組関連情報が生成され、個々の利用者の受信端末３００に配信される。
【０１４５】
前述したように本実施の形態のダイジェスト配信システムを利用することにより、プロバイダがダイジェストや番組関連情報を利用者個々人向けに生成して配信するプッシュ型サービスにおいて、最適なタイミングで個人向けの情報を生成して配信することができる。
【０１４６】
なお、前述した実施の形態では、番組映像として野球番組を例として説明したがこれに限定されるものではなく、例えば、株式情報等を個人向けに配信する番組や、ニュース番組などから個人の必要とする情報のみをリアルタイムで配信する場合などのように、プロバイダがダイジェストや番組関連情報を利用者個々人向けに生成して配信する全てのプッシュ型サービスに適用可能なことは勿論である。
【０１５７】
【発明の効果】
以上説明したように、本発明の配信サーバーは、番組付加情報を受信すると、受信した複数の番組付加情報によって指定される連続する複数のフレームを、前記番組映像からシーンとして抽出する抽出手段と、前記番組付加情報を受信すると、受信した複数の番組付加情報に基づいて、前記番組映像中におけるフレームの意味的特徴量をフレーム毎に算出する意味的特徴量算出手段と、前記抽出手段で抽出したシーンおよび前記意味的特徴量算出手段で算出したフレームの意味的特徴量を蓄積する蓄積手段と、ダイジェストを生成するための開始情報を出力する開始情報出力手段と、前記蓄積手段で蓄積したフレームの意味的特徴量に基づいて、前記抽出したシーンの中から高い意味的特徴量を有するフレームが存在するシーンを優先的に選択して、ダイジェストを生成し、前記受信端末に配信するダイジェスト生成・配信手段と、を備え、前記開始情報出力手段は、前記意味的特徴量算出手段でフレームの意味的特徴量が算出された際に、算出した意味的特徴量の値と前記蓄積手段に蓄積されているフレームの意味的特徴量の値とを用いて意味的特徴量の累計値を算出し、算出した前記累計値が所定の設定値に達した場合に、前記開始情報を出力し、前記ダイジェスト生成・配信手段は、前記開始情報出力手段から前記開始情報が出力されたら、前記ダイジェストを前記受信端末に配信するため、プロバイダがダイジェストや番組関連情報を利用者個々人向けに生成して配信するプッシュ型サービスにおいて、最適なタイミングで個人向けの情報を生成して配信することができる。
【図面の簡単な説明】
【図１】本実施の形態のダイジェスト配信システムの概略構成図である。
【図２】本実施の形態で使用する各データ（Frame 、P-Descriptor、 Scene、Annotation、Status Parameter）の関係を示す説明図である。
【図３】本実施の形態の配信サーバーの各モジュールの動作を示す説明図である。
【図４】本実施の形態の配信タイミングによるダイジェストの生成および配信を示す説明図である。
【符号の説明】
１００ 放送局
２００ 配信サーバー
３００ 受信端末
Claims (1)
- 放送局から送信された、連続する複数のフレームからなる番組映像と番組付加情報とを受信してダイジェストを生成し、生成した前記ダイジェストを受信端末に対して配信する配信サーバーであって、
前記番組付加情報を受信すると、受信した複数の番組付加情報によって指定される連続する複数のフレームを、前記番組映像からシーンとして抽出する抽出手段と、
前記番組付加情報を受信すると、受信した複数の番組付加情報に基づいて、前記番組映像中におけるフレームの意味的特徴量をフレーム毎に算出する意味的特徴量算出手段と、
前記抽出手段で抽出したシーンおよび前記意味的特徴量算出手段で算出したフレームの意味的特徴量を蓄積する蓄積手段と、
ダイジェストを生成するための開始情報を出力する開始情報出力手段と、
前記蓄積手段で蓄積したフレームの意味的特徴量に基づいて、前記抽出したシーンの中から高い意味的特徴量を有するフレームが存在するシーンを優先的に選択して、ダイジェストを生成し、前記受信端末に配信するダイジェスト生成・配信手段と、
を備え、
前記開始情報出力手段は、
前記意味的特徴量算出手段でフレームの意味的特徴量が算出された際に、算出した意味的特徴量の値と前記蓄積手段に蓄積されているフレームの意味的特徴量の値とを用いて意味的特徴量の累計値を算出し、算出した前記累計値が所定の設定値に達した場合に、前記開始情報を出力し、
前記ダイジェスト生成・配信手段は、
前記開始情報出力手段から前記開始情報が出力されたら、前記ダイジェストを前記受信端末に配信する
ことを特徴とする配信サーバー。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001201078A JP4532027B2 (ja) | 2001-07-02 | 2001-07-02 | 配信サーバー |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001201078A JP4532027B2 (ja) | 2001-07-02 | 2001-07-02 | 配信サーバー |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003018582A JP2003018582A (ja) | 2003-01-17 |
| JP4532027B2 true JP4532027B2 (ja) | 2010-08-25 |
Family
ID=19038098
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001201078A Expired - Fee Related JP4532027B2 (ja) | 2001-07-02 | 2001-07-02 | 配信サーバー |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4532027B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1989502A (zh) * | 2004-06-30 | 2007-06-27 | 松下电器产业株式会社 | 事件重要度调整方法和实施该方法的装置 |
| JP2006339780A (ja) * | 2005-05-31 | 2006-12-14 | Koji Azuma | 個人向け番組配信システム |
| JP2007037027A (ja) * | 2005-07-29 | 2007-02-08 | Ｍｏｖｉｄａ Ｓｐｏｒｔｓ株式会社 | コンテンツ配信装置及びコンテンツ配信方法 |
| US10171710B2 (en) | 2012-04-04 | 2019-01-01 | Mitsubishi Electric Corporation | Device and method for digital data distribution, device and method for digital data reproduction, synchronized reproduction system, program, and recording medium |
-
2001
- 2001-07-02 JP JP2001201078A patent/JP4532027B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003018582A (ja) | 2003-01-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12099487B2 (en) | Event-related media management system | |
| US7469250B2 (en) | Method and system for service providers to personalize event notifications to users | |
| US20090064017A1 (en) | Tuning/customization | |
| KR20140088205A (ko) | 매체 프로그램들 사이의 유사성 계산 | |
| US20090064247A1 (en) | User generated content | |
| US8145630B1 (en) | Session-based dynamic search snippets | |
| US20080083003A1 (en) | System for providing promotional content as part of secondary content associated with a primary broadcast | |
| WO2009137978A1 (zh) | 一种呈现广告的方法、系统和装置 | |
| US20080282293A1 (en) | System and method for an event scheduler | |
| US9832504B2 (en) | Event-based content distribution | |
| WO2014207902A1 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
| CN111104583B (zh) | 一种直播间推荐方法、存储介质、电子设备及系统 | |
| WO2012070179A1 (ja) | 区間作成装置、区間作成方法、及び区間作成プログラム | |
| JP2009303120A (ja) | 視聴したコンテンツに関連する広告情報を提供するサーバ、方法及びプログラム | |
| JP4532027B2 (ja) | 配信サーバー | |
| JP4532037B2 (ja) | ダイジェスト配信システム | |
| JP2019525627A (ja) | メディアアセット録画の適応的スケジューリングを実施するためのシステムおよび方法 | |
| JP4511761B2 (ja) | 映像ダイジェスト生成方法 | |
| US10124261B1 (en) | Group-judged multimedia competition | |
| JP2005110016A (ja) | 配信映像リコメンド方法、装置およびプログラム | |
| JP3967236B2 (ja) | パーソナルダイジェスト配信装置、パーソナルダイジェスト配信方法およびプログラム | |
| JP2012160206A (ja) | ブログ収集サーバ | |
| JP4116494B2 (ja) | 情報配信装置、情報配信システム、情報配信方法、及び情報配信プログラム | |
| JP2010522394A (ja) | Ｓｏａｐオペレーションを用いた問合せコンテンツサービス方法 | |
| JP2003196489A (ja) | メタデータ作成装置及びメタデータ作成プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070918 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100323 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100524 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100608 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100610 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130618 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |