JP4938826B2 - コンテンツ配信システム、ユーザー端末装置、コンテンツ配信方法 - Google Patents

コンテンツ配信システム、ユーザー端末装置、コンテンツ配信方法 Download PDF

Info

Publication number
JP4938826B2
JP4938826B2 JP2009139162A JP2009139162A JP4938826B2 JP 4938826 B2 JP4938826 B2 JP 4938826B2 JP 2009139162 A JP2009139162 A JP 2009139162A JP 2009139162 A JP2009139162 A JP 2009139162A JP 4938826 B2 JP4938826 B2 JP 4938826B2
Authority
JP
Japan
Prior art keywords
metadata
video data
content
data
data association
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009139162A
Other languages
English (en)
Other versions
JP2010288000A (ja
Inventor
勝広 野口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Priority to JP2009139162A priority Critical patent/JP4938826B2/ja
Publication of JP2010288000A publication Critical patent/JP2010288000A/ja
Application granted granted Critical
Publication of JP4938826B2 publication Critical patent/JP4938826B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、コンテンツ配信システム、ユーザー端末装置、コンテンツ配信方法に関し、特にメタデータに基づいてコンテンツに広告データの出力制御を行うことのできるコンテンツ配信システム、ユーザー端末装置、コンテンツ配信方法に関する。
近年、デジタル放送の普及に伴って、データ放送サービスや双方向通信サービスを用いて、放送番組に連動した広告データ等を提供したり、商品に関するアンケートを実施したりすることが行われている。
さらに、広告データをユーザーに対して強調付けるため、コンテンツデータに情報閲覧先のリンクページ等を付加すること等も行われている。このように、コンテンツデータに修正・加工処理を行ったり、コンテンツデータから広告データを入れる特定部分のデータの抽出処理を行ったりする技術として、下記のような技術が知られている。
例えば、特許文献1には、映像コンテンツのサムネイルデータを効率良く作成するために、字幕データの更新されたフレームの映像を抽出する静止画抽出装置及び静止画抽出プログラムについて開示されている。
また、特許文献2には、コンテンツの処理回数に応じて、コンテンツの処理形態を変更することで、そのコンテンツの重要度や時間の経過をユーザーに対して認識させる情報処理装置、情報処理方法、情報処理プログラム、及び携帯端末装置について開示されている。
特開2009−49510号公報 特開2008−4076号公報
ところが、通常、コンテンツは著作権や放送契約事項等の取り決めによって、修正・加工等の処理を行うことが制限されている。上述した特許文献1,2に記載された発明を応用してコンテンツに広告データを掲載しようとすると、コンテンツそのものに修正・加工を施す必要がある。このため、広告を行う者とコンテンツの制作者が同じ場合等においてはコンテンツに広告データを自由に掲載することができるが、それ以外においてはコンテンツに広告データを自由に掲載することができなかった。
そこで、本発明は、上記の課題に鑑み、コンテンツに広告データを掲載する際に、コンテンツの有効利用を実現することのできるコンテンツ配信システム、ユーザー端末装置、コンテンツ配信方法を提供することを目的とする。
本発明に係るコンテンツ配信システム、ユーザー端末装置、コンテンツ配信方法は、上記の目的を達成するために、次のように構成される。
本発明に係るコンテンツ配信システムは、コンテンツ配信サーバー装置と、当該コンテンツ配信サーバー装置と通信ネットワークを介して接続されるユーザー端末装置と、を有するコンテンツ配信システムであって、
前記コンテンツ配信サーバー装置は、
コンテンツデータを取得するコンテンツデータ取得手段と、
広告データを取得する広告データ取得手段と、
前記コンテンツデータに前記広告データを出力するための映像データ連関メタデータを生成する映像データ連関メタデータ生成手段と、
前記映像データ連関メタデータ生成手段によって生成された前記映像データ連関メタデータの優先度を設定するメタデータ設定手段と、
前記コンテンツデータに、前記映像データ連関メタデータ、前記広告データおよび映像データ連関メタデータの優先度を関連付けて、当該コンテンツデータを前記ユーザー端末装置に送信するコンテンツデータ送信手段と、
を備え、
前記ユーザー端末装置は、
前記コンテンツ配信サーバー装置から送信された前記コンテンツデータを受信するコンテンツデータ受信手段と、
前記コンテンツデータ受信手段によって受信された前記コンテンツデータを解析して、当該コンテンツデータに含まれる前記映像データ連関メタデータと前記映像データ連関メタデータの優先度とを生成する映像データ連関メタデータ解析手段と、
前記コンテンツデータ受信手段によって受信した前記コンテンツデータの画像の変化タイミングおよび音響レベルの変化タイミングの少なくとも一方に基づいて、端末指向型映像データ連関メタデータを生成する端末指向型映像データ連関メタデータ生成手段と、
前記メタデータのうち前記映像データ連関メタデータのみを受信した場合には当該映像データ連関メタデータを出力し、前記メタデータのうち前記端末指向型映像データ連関メタデータのみを生成した場合には当該端末指向型映像データ連関メタデータを出力し、前記映像データ連関メタデータを受信したと共に前記端末指向型映像データ連関メタデータを生成した場合には前記映像データ連関メタデータに含まれる前記メタデータの優先度に基づいて前記広告データの出力制御に用いるメタデータを選択して出力するメタデータ選択手段と、
前記メタデータ選択手段から出力された前記メタデータによって、前記コンテンツデータに前記広告データを合成して出力する広告データ出力制御手段と、
を備えることを特徴とする。
上記のコンテンツ配信システムによれば、コンテンツ配信サーバー装置で映像データ連関メタデータを生成すると共に、ユーザー端末装置で端末指向型映像データ連関メタデータ(画像メタデータおよび音響メタデータ)を生成する。同時に、コンテンツ配信サーバー装置で広告データの出力制御に用いるメタデータ優先度をコンテンツに応じて映像データ連関メタデータに設定する。このため、コンテンツ配信サーバー装置とユーザー端末装置とでメタデータを同時に生成している場合であっても、ユーザー端末装置側において、コンテンツ配信サーバー装置でコンテンツに応じて設定したメタデータ優先度に基づいてメタデータを選択して、当該メタデータを用いて広告データの出力制御を行うことが可能となる。
発明に係る第1のユーザー端末装置は、コンテンツ配信サーバー装置と共にコンテンツ配信システムを構成するユーザー端末装置であって、
前記コンテンツ配信サーバー装置から送信された前記コンテンツデータを受信するコンテンツデータ受信手段と、
前記コンテンツデータ受信手段によって受信された前記コンテンツデータを解析して、当該コンテンツデータに含まれる前記映像データ連関メタデータと前記映像データ連関メタデータの優先度とを生成する映像データ連関メタデータ解析手段と、
前記コンテンツデータ受信手段によって受信した前記コンテンツデータの画像の変化タイミングおよび音響レベルの変化タイミングの少なくとも一方に基づいて、端末指向型映像データ連関メタデータを生成する端末指向型映像データ連関メタデータ生成手段と、
前記メタデータのうち前記映像データ連関メタデータのみを受信した場合には当該映像データ連関メタデータを出力し、前記メタデータのうち前記端末指向型映像データ連関メタデータのみを生成した場合には当該端末指向型映像データ連関メタデータを出力し、前記映像データ連関メタデータを受信したと共に前記端末指向型映像データ連関メタデータを生成した場合には前記映像データ連関メタデータに含まれる前記メタデータの優先度に基づいて前記広告データの出力制御に用いるメタデータを選択して出力するメタデータ選択手段と、
前記メタデータ選択手段から出力された前記メタデータによって、前記コンテンツデータに前記広告データを合成して出力する広告データ出力制御手段と、
を備えたことを特徴とする。
上記のユーザー端末装置によれば、上記のコンテンツ配信システムのユーザー端末装置と同様の作用が得られる。
本発明に係る第2のユーザー端末装置は、前記端末指向型映像データ連関メタデータ生成手段は、
前記前記端末指向型映像データ連関メタデータとして、前記画像データを出力する前記コンテンツデータのチャプタ番号および表示座標値と、前記音響データを出力する前記コンテンツデータの開始フレーム番号および終了フレーム番号とを生成することを特徴とする。
上記のユーザー端末装置によれば、特に、著作権や契約事項等の取り決めによって、コンテンツの修正・加工の処理が制限されているコンテンツにも、その可能な範囲内でコンテンツを楽しんでいるユーザーに対して広告データを効果的に出力することが可能となる。
本発明に係るコンテンツ配信方法は、通信ネットワークを介してコンテンツ配信サーバー装置と接続されるユーザー端末装置が実行するコンテンツ配信方法であって、
コンテンツデータ受信手段が前記コンテンツ配信サーバー装置から送信された前記コンテンツデータを受信するコンテンツデータ受信ステップ(例えば、図12中のステップS201に対応)と、
映像データ連関メタデータ解析手段が前記コンテンツデータ受信ステップによって受信された前記コンテンツデータを解析して、当該コンテンツデータに含まれる前記映像データ連関メタデータと前記映像データ連関メタデータの優先度とを生成する映像データ連関メタデータ解析ステップ(例えば、図12中のステップS202に対応)と、
端末指向型映像データ連関メタデータ生成手段が前記コンテンツデータ受信ステップによって受信した前記コンテンツデータの画像の変化タイミングおよび音響レベルの変化タイミングの少なくとも一方に基づいて、端末指向型映像データ連関メタデータを生成する端末指向型映像データ連関メタデータ生成ステップ(例えば、図12中のステップS203,S204に対応)と、
メタデータ選択手段が前記メタデータのうち前記映像データ連関メタデータのみを受信した場合には当該映像データ連関メタデータを出力し、前記メタデータのうち前記端末指向型映像データ連関メタデータのみを生成した場合には当該端末指向型映像データ連関メタデータを出力し、前記映像データ連関メタデータを受信したと共に前記端末指向型映像データ連関メタデータを生成した場合には前記映像データ連関メタデータに含まれる前記メタデータの優先度に基づいて前記広告データの出力制御に用いるメタデータを選択して出力するメタデータ選択ステップ(例えば、図12中のステップS205,S207,S209,S210に対応)と、
広告データ出力制御手段が前記メタデータ選択ステップから出力された前記メタデータによって、前記コンテンツデータに前記広告データを合成して出力する広告データ出力制御ステップ(例えば、図12中のステップS206,S208,S211,S212に対応)とを有することを特徴とする。
上記のコンテンツ配信方法を採用すれば、ユーザー端末装置と同様の作用が得られる。
本発明によれば、コンテンツ配信サーバー装置で映像データ連関メタデータを生成すると共に、ユーザー端末装置で画像メタデータおよび音響メタデータを生成する。同時に、コンテンツ配信サーバー装置で広告データの出力制御に用いるメタデータ優先度をコンテンツに応じて映像データ連関メタデータに設定する。
このため、コンテンツ配信サーバー装置とユーザー端末装置とでメタデータを同時に生成している場合であっても、ユーザー端末装置側において、コンテンツ配信サーバー装置で設定したメタデータ優先度に基づいて広告データの出力制御に用いるメタデータ選択し、コンテンツに応じて広告データの表示態様を容易に切り替えることができる。
特に、著作権や契約事項等の取り決めによってコンテンツの修正・加工の処理が制限されているコンテンツも有効利用して、その可能な範囲内でコンテンツを楽しんでいるユーザーに対して広告データを効果的に見せることができる。
本発明に係るコンテンツ配信システムの構成を示すネットワーク図である。 コンテンツ配信サーバー装置の機能構成を示すブロック図である。 ユーザー端末装置の機能構成を示すブロック図である。 広告データ出力制御部に入力されるメタデータと広告データ出力制御部から出力されるメタデータのデータ構造を示す表である。 広告データ出力制御部における出力制御の開始および終了タイミングを示す模式図である。 出力制御を実行中のコンテンツデータの出力イメージである。 広告データ出力制御部に入力されるメタデータと広告データ出力制御部から出力されるメタデータのデータ構造を示す表である。 広告データ出力制御部における出力制御の開始および終了タイミングを示す模式図である。 出力制御を実行中のコンテンツデータの出力イメージである。 広告データ出力制御部に入力されるメタデータと広告データ出力制御部から出力されるメタデータのデータ構造を示す表である。 コンテンツ配信サーバー装置におけるコンテンツデータを配信する一連の流れを示すフローチャートである。 ユーザー端末装置における広告表示の出力制御処理の一連の流れを示すフローチャートである。
以下に、本発明の好適な実施形態を添付図面に基づいて説明する。なお、以下の説明において参照する各図では、他の図と同等の構成要素は同一符号によって示されている。
(コンテンツ配信システムの構成)
まず、図1を参照して、本発明に係るコンテンツ配信システムの構成を説明する。図1は、本発明に係るコンテンツ配信システムの構成を示すネットワーク図である。
図1に示すコンテンツ配信システム10は、コンテンツ配信サーバー装置11および複数のユーザー端末装置12−1〜12−n(nは2以上の整数、以下同じ)を備えて構成される。コンテンツ配信サーバー装置11と複数のユーザー端末装置12−1〜12−nとは、インターネットや電話回線、放送波等を介して接続される。
コンテンツ配信サーバー装置11は、コンテンツ毎に設定されたメタデータに基づいて、広告データの出力制御を行うためのメタデータを含むコンテンツを送信する。
ユーザー端末装置12は、コンテンツ配信サーバー装置11から送信されたコンテンツデータに含まれるメタデータに基づいて、コンテンツに広告データを合成して出力する。
なお、ユーザー端末装置12は、例えば液晶テレビや、デジダルテレビ放送のワンセグ放送のチューナーが内蔵された携帯電話機、ケーブルテレビのセットトップボックス等に内蔵されていても良い。また、ユーザー端末装置12が液晶テレビに内蔵されていればネットワーク13は放送波や、電話回線、インターネット等であり、ユーザー端末装置12が携帯電話機に内蔵されていればネットワーク13は携帯電話機網のインターネット接続サービスや放送波、ユーザー端末装置12がケーブルテレビのセットトップボックスであればネットワーク13はケーブルテレビ線や電話回線等である。
(コンテンツ配信サーバー装置の機能構成)
続いて、図2を参照して、コンテンツ配信サーバー装置の機能構成を説明する。図2は、コンテンツ配信サーバー装置の機能構成を示すブロック図である。
図2に示すコンテンツ配信サーバー装置11は、画像メタデータ取得部11a、音響メタデータ取得部11b、メタデータ優先度取得部11c、画像データ取得部11d、音響データ取得部11e、コンテンツデータ取得部11f、映像データ連関メタデータ生成部11gおよびコンテンツデータ送信部11hを備えて構成される。
画像メタデータ取得部11aは、コンテンツデータに合わせて画像データを広告データとして出力するために必要なデータであるブックマークID、チャプタID、吹き出し表示座標等のデータからなる画像メタデータを取得する。
音響メタデータ取得部11bは、コンテンツデータに合わせて音響データを広告データとして出力するために必要なデータである出力開始フレーム、出力終了フレーム等のデータからなる音響メタデータを取得する。
メタデータ優先度取得部11cは、コンテンツ配信サーバー装置11で画像メタデータおよび音響メタデータと、ユーザー端末装置12で画像メタデータおよび音響メタデータとが同時に生成された場合に、ユーザー端末装置12で広告データを出力制御させるために用いるメタデータを示すメタデータ優先度を取得する。コンテンツ毎に広告データを出力することができる形態が異なるため、メタデータ優先度はコンテンツに応じて設定される。なお、上述した画像メタデータ、音響メタデータおよびメタデータ優先度は、コンテンツデータの内容に合わせて自動で生成するように構成しても良いし、管理者が手動で生成するように構成しても良い。
画像データ取得部11dは、広告データとして出力する画像データを取得する。画像データは、一例としてクーポン情報が描かれた画像データ、商品を案内するインターネットのWebページのアドレスを示す2次元バーコードが描かれた画像データ等である。
音響データ取得部11eは、広告データとして出力する音響データを取得する。この音響データは、例えば、コンテンツデータを見ているユーザーを喚起するためのチャイム音や、「お得だよ!」等の音声データ等である。
コンテンツデータ取得部11fは、コンテンツデータを取得する。このコンテンツデータは、例えばドラマ、情報・ニュース、映画等といったコンテンツである。なお、コンテンツデータの種類は、例えば動画データであるが、これに限らず、静止画データやテキストデータ等であっても良い。
映像データ連関メタデータ生成部11gは、画像メタデータ取得部11aによって取得された画像メタデータと、音響メタデータ取得部11bによって取得された音響メタデータと、メタデータ優先度取得部11cで取得されたメタデータ優先度とを関連付けて、映像データ連関メタデータを生成する。なお、各メタデータのデータ構造については、詳細に後述する。
コンテンツデータ送信部11hは、コンテンツデータ取得部11fによって取得されたコンテンツデータに、映像データ連関メタデータ生成部11gで生成された映像データ連関メタデータと、画像データ取得部11dで取得された画像データと、音響データ取得部11eで取得された音響データを関連付けて、コンテンツデータをユーザー端末装置12に対して送信する。
(ユーザー端末装置の機能構成)
続いて、図3を参照して、ユーザー端末装置の機能構成を説明する。図3は、ユーザー端末装置の機能構成を示すブロック図である。
図3に示すユーザー端末装置12は、コンテンツデータ受信部12a、映像データ連関メタデータ解析部12b、画像メタデータ生成部12c、音響メタデータ生成部12d、メタデータ選択部12eおよび広告データ出力制御部12fを備えて構成される。
コンテンツデータ受信部12aは、コンテンツ配信サーバー装置11から送信されたコンテンツデータを受信して、コンテンツデータに含まれる映像データ連関メタデータ、画像データ、音響データおよびコンテンツデータを出力する。
映像データ連関メタデータ解析部12bは、コンテンツデータ受信部12aから出力された映像データ連関メタデータを解析して、コンテンツ配信サーバー装置11で生成された画像メタデータ、音響メタデータおよびメタデータ優先度を生成する。
画像メタデータ生成部12cは、コンテンツデータ受信部12aから出力されたコンテンツデータのチャプタ位置等に応じて、コンテンツデータ受信部12aから出力された画像データを表示制御するための画像メタデータを生成する。
音響メタデータ生成部12dは、コンテンツデータ受信部12aから出力されたコンテンツデータの音響レベルの大きさ等に応じて、コンテンツデータ受信部12aから出力された音響データを出力制御するための音響メタデータを生成する。
メタデータ選択部12eは、映像データ連関メタデータ解析部12bから出力された映像データ連関メタデータに含まれるメタデータ優先度に基づいて、コンテンツ配信サーバー装置11で生成された映像データ連関メタデータ、またはユーザー端末装置12で生成された画像メタデータおよび音響メタデータを組み合わせた端末指向型映像データ連関メタデータを選択し、選択して当該メタデータを出力する。
広告データ出力制御部12fは、コンテンツデータ受信部12aで受信したコンテンツデータに、メタデータ選択部12eで選択されたメタデータに基づいて、コンテンツデータ受信部12aで受信した画像データの表示出力処理および音響データを合成したコンテンツデータである広告データ出力制御済コンテンツデータを出力する。
(コンテンツ配信サーバー装置で生成された映像データ連関メタデータのみで出力制御を実行する場合の制御方法)
続いて、図4〜図6を参照して、コンテンツ配信サーバー装置で生成された映像データ連関メタデータのみで出力制御を実行する場合の制御方法について説明する。図4は広告データ出力制御部に入力されるメタデータと広告データ出力制御部から出力されるメタデータのデータ構造を示す表であり、図5は広告データ出力制御部における出力制御の開始および終了タイミングを示す模式図であり、図6は出力制御を実行中のコンテンツデータの出力イメージである。
図4の表21に示すように、映像データ連関メタデータ、画像メタデータおよび音響メタデータは、「ブックマークID」フィールド、「クーポンID」フィールド、「チャプタID」フィールド、「出力開始フレーム」フィールド、「出力終了フレーム」フィールド、「吹き出し表示座標」フィールド、「吹き出し起点座標」フィールド、「メタデータ優先度」フィールドからそれぞれ構成される。
「ブックマークID」フィールドは、ユーザー端末装置12に保存されているコンテンツや、コンテンツの任意のフレーム位置を特定するための番号である。
「クーポンID」フィールドは、表示する広告データ毎に割り振られている広告データを特定するためのユニークな番号である。本実施形態では、クーポンIDを「1」とし、広告データを商品のクーポン情報として説明する。
「チャプタID」フィールドは、広告データを表示するコンテンツのチャプタ位置を示すための番号である。
「出力開始フレーム」フィールドは、広告データの音響データの出力制御を開始するフレーム位置を示すための番号である。
「出力終了フレーム」フィールドは、広告データの音響データの出力制御を終了するフレーム位置を示すための番号である。
なお、本実施形態では、「出力開始フレーム」および「出力終了フレーム」を便宜的に1〜100までの値で示しているが、これに限らず例えば時・分・秒など、すなわち「h:mm:ss:xxx」のように詳細に示すこともできる。また、他のフレームについても同様である。
「吹き出し表示座標」フィールドは、ユーザー端末装置12の表示出力装置等に広告データの画像データを表示するための座標位置を示すための値である。例えば、表に示すように吹き出し表示座標が(5,60,65,90)である場合には、図6に示す出力イメージ31のように画像データ32の左上の座標が(X,Y)=(5,60)であり、画像データ32の右下の座標が(X,Y)=(65,90)であることをそれぞれ示す。
「吹き出し起点座標」フィールドは、ユーザー端末装置12のディスプレイ等に広告データの画像データのうち吹き出し画像部分を表示するための座標位置を示す値である。例えば、表に示すように吹き出し起点座標が(60,30)である場合には、図6に示す出力イメージ31のように画像データ32のうちの吹き出し画像の上部の座標が(X,Y)=(60,30)であることを示す。
「メタデータ優先度」フィールドは、コンテンツ配信サーバー装置11で映像データ連関メタデータと、ユーザー端末装置12で画像メタデータおよび音響メタデータとが同時に生成されている場合に、広告データの出力制御に用いるメタデータの優先度を示すための値である。なお、本実施形態では、ユーザー端末装置12で生成された画像メタデータおよび音響メタデータよりも、コンテンツ配信サーバー装置11で生成された映像データ連関メタデータの方が優先度が高い場合には「1」、その逆の場合を「0」として説明する。
図4の表21に示すように、コンテンツ配信サーバー装置11で生成された映像データ連関メタデータのみで出力制御を実行するときには、画像メタデータおよび音響メタデータは生成されておらず、映像データ連関メタデータのみがメタデータ選択部12eに入力される。つまり、メタデータ選択部12eは、図4の表22に示すような映像データ連関メタデータを出力する。
図5に示すように、図4の表22に示した映像データ連関メタデータによって、図中に矢印Aで示す「チャプタ8」のチャプタ開始位置で画像データの表示出力を開始し、図中の矢印Bで示す「フレーム2」のフレーム位置で音響データの出力を開始する。そして、図中の矢印Cで示す「フレーム99」のフレーム位置で音響データの出力を終了する。
図5の音響レベルのグラフで示すように、フレームと対応して示す音響レベルの大きさが点線で示す一定以上の大ききになるフレーム付近(例えば、チャプタ8のフレーム2)や、図6に示した出力イメージ31のように「キャラクターの顔」や、この他「商品」、「風景」、「建物・施設・店舗」等が表示されるフレーム付近等で、メタデータによる広告データとする画像データ32および音響データの出力制御を実行する。
このようにして、「キャラクターの顔」付近に広告データを表示出力すれば、あたかもキャラクターが広告データを喋っているような印象を与えることができる。また、「商品」に関連する広告データを関連付けて表示出力すれば、消費者の購買意欲を一層高めることもできる。さらには、「建物・施設・店舗」とクーポン等の広告データとを関連付けて表示出力して、顧客を建物・施設・店舗に誘導させることもできる。
(ユーザー端末装置で生成された画像メタデータおよび音響メタデータのみで出力制御を実行する場合の制御方法)
続いて、図7〜図9を参照して、ユーザー端末装置で生成された画像メタデータおよび音響メタデータのみで出力制御を実行する場合の制御方法について説明する。図7は広告データ出力制御部に入力されるメタデータと広告データ出力制御部から出力されるメタデータのデータ構造を示す表であり、図8は広告データ出力制御部における出力制御の開始および終了タイミングを示す模式図であり、図9は出力制御を実行中のコンテンツデータの出力イメージである。
図7の表41に示すように、ユーザー端末装置12で生成された画像メタデータおよび音響メタデータのみで出力制御を実行するときには、ユーザー端末装置12ではコンテンツ配信サーバー装置11から映像データ連関メタデータを受信しておらず、ユーザー端末装置12で生成された画像メタデータおよび音響メタデータのみがメタデータ選択部12eに入力される。つまり、メタデータ選択部12eは、図7の表42に示すような画像メタデータおよび音響メタデータを出力する。
なお、画像メタデータおよび音響メタデータのフィールドの内容は、映像データ連関メタデータのデータ構造と同じであるため、説明を省略する。また、図7の表41および表42のフィールドの「−」欄は、データが未生成であることを示す。例えば、本実施形態のように優先度フィールドは、基本フィールドのみに設定していれば広告データの出力制御が可能である。但し、必要に応じては画像メタデータおよび音響メタデータにもメタデータ優先度を設定して出力制御を行っても良い。
図8に示すように、図7の表42に示した映像データ連関メタデータによって、図中に矢印Aで示す「チャプタ8」のチャプタ開始位置で画像データの表示出力を開始し、図中に矢印Bで示す「フレーム2」のフレーム位置で音響データの出力を開始する。そして、音響データの出力を、出力開始位置から所定フレーム数だけ先の図中に矢印Cで示す「フレーム80」のフレーム位置で終了する。
上述したように、「キャラクターの顔」、「商品」、「風景」、「建物・施設・店舗」等が表示されるフレーム付近等で必ずしも広告データを表示することができないものの、図8に示すようにフレームと対応して示す音響レベルの大きさが一定以上の大ききになるフレーム付近等で、メタデータによる広告データの出力制御を実行する。
上述したように制御することによって、図9に示す出力イメージ51のように広告データの画像データ52を表示することができる。特に、著作権や契約事項等の取り決めによってコンテンツの修正・加工の処理が制限されているコンテンツであっても、コンテンツを有効利用し、その可能な範囲内でコンテンツを楽しんでいるユーザーに対して、映画等のコンテンツデータの盛り上がるシーン付近で、広告データを効果的に見せることができる。
本実施形態では、音声データの大きさ(つまり音響レベルの変化タイミング)に基づいて広告データの出力位置を決定しているが、これに限定されない。例えば、モノラル音声からステレオ音声に切り替わる番組中のコマーシャル開始・終了時や、シーンの切り替わり時に録画時に自動で挿入されるチャプタマークや、適宜設定された一定の表示間隔、ランダムな表示間隔等で広告データの出力位置を決定することも勿論可能である。これらは、周知のブルーレイデコーダーやDVDデコーダー等であれば、容易に実現できる。
(コンテンツ配信サーバー装置で映像データ連関メタデータと、ユーザー端末装置で画像メタデータおよび音響メタデータとが同時に生成されたときの出力制御方法)
続いて、図10を参照して、コンテンツ配信サーバー装置で映像データ連関メタデータと、ユーザー端末装置で画像メタデータおよび音響メタデータとが同時に生成されたときの出力制御方法について説明する。図10は、広告データ出力制御部に入力されるメタデータと広告データ出力制御部から出力されるメタデータのデータ構造を示す表である。
図10の表61に示すように、コンテンツ配信サーバー装置11とユーザー端末装置12とでメタデータが同時に生成された場合には、ユーザー端末装置12ではコンテンツ配信サーバー装置11で生成された映像データ連関メタデータと、ユーザー端末装置12で生成された画像メタデータおよび音響メタデータとがメタデータ選択部12eに入力される。このようなとき、メタデータ選択部12eは、映像データ連関メタデータに含まれる「メタデータ優先度」フィールドの値に基づいて、出力制御に用いるメタデータを選択する。
図10の表61に示すように、「メタデータ優先度」フィールドの値は「1」であるため、上述したように本実施形態では、ユーザー端末装置12で生成された画像メタデータおよび音響メタデータよりも、コンテンツ配信サーバー装置11で生成された映像データ連関メタデータの方が優先度が高い。よって、図10の表62に示すように、メタデータ選択部12eは、コンテンツ配信サーバー装置11で生成された映像データ連関メタデータを選択して、選択した当該映像データ連関メタデータを出力する。このとき、広告データ出力制御部12fでは、映像データ連関メタデータを用いて、図6に示したような出力イメージ31を出力する。
また、図7の表41に示した「メタデータ優先度」フィールドの値は「0」である場合には、上述したように本実施形態では、コンテンツ配信サーバー装置11で生成された映像データ連関メタデータよりも、ユーザー端末装置12で生成された画像メタデータおよび音響メタデータの方が優先度が高い。よって、メタデータ選択部12eは、ユーザー端末装置12で生成された画像メタデータおよび音響メタデータを選択して、選択した当該メタデータを出力する。このとき、広告データ出力制御部12fでは、映像データ連関メタデータを用いて、図9に示したような出力イメージ51を出力する。
このように、コンテンツ配信サーバー装置11で映像データ連関メタデータと、ユーザー端末装置12で画像メタデータおよび音響メタデータとが同時に生成された場合であっても、コンテンツに応じて、ユーザー端末装置12で広告データを出力制御させるために用いるメタデータをコンテンツ配信サーバー装置11で指定することが容易にできる。
(コンテンツ配信サーバー装置におけるコンテンツデータを配信する一連の流れ)
ここで、図11を参照して、コンテンツ配信サーバー装置におけるコンテンツデータを配信する一連の流れを説明する。図11は、コンテンツ配信サーバー装置におけるコンテンツデータを配信する一連の流れを示すフローチャートである。
図11に示すように、まずコンテンツ配信サーバー装置11において、画像メタデータ取得部11aは画像メタデータを取得する(ステップS101)。また、音響メタデータ取得部11bは音響メタデータを取得する(ステップS102)。続いて、メタデータ優先度取得部11cは、メタデータ優先度を取得する(ステップS103)。映像データ連関メタデータ生成部11gは、取得した画像メタデータ、音響メタデータおよびメタデータ優先度を関連付けて映像データ連関メタデータを生成する(ステップS104)。
画像データ取得部11dは、広告データとして表示出力する画像データを取得する(ステップS105)。音響データ取得部11eは、広告データとして出力する音響データを取得する(ステップS106)。コンテンツデータ取得部11fは、動画等のコンテンツデータを取得する(ステップS107)。
映像データ連関メタデータ送信部11hは、コンテンツデータ取得部11fによって取得されたコンテンツデータに、映像データ連関メタデータ生成部11gによって生成された映像データ連関メタデータと、画像データ取得部11dによって取得された画像データと、音響データ取得部11eによって取得された音響データを関連付けて、そのコンテンツデータをユーザー端末装置12に対して送信する(ステップS108)。
ステップS108において、映像データ連関メタデータ送信部11hがコンテンツデータをユーザー端末装置12に送信した後、ステップS101に戻り上述した処理を繰り返す。
(ユーザー端末装置における広告表示の出力制御処理の一連の流れ)
続いて、図12を参照して、ユーザー端末装置における広告表示の出力制御処理の一連の流れを説明する。図12は、ユーザー端末装置における広告表示の出力制御処理の一連の流れを示すフローチャートである。
図12に示すように、まずユーザー端末装置12において、コンテンツデータ受信部12aがコンテンツデータを受信した場合には(ステップS201のYES)、映像データ連関メタデータ解析部12bは、取得したコンテンツデータに含まれる映像データ連関メタデータを解析して、映像データ連関メタデータに含まれる画像メタデータおよび音響メタデータを出力する(ステップS202)。
ステップS202で、映像データ連関メタデータ解析部12bが映像データ連関メタデータを解析した後、またはコンテンツデータ受信部12aがコンテンツデータを受信していない場合には(ステップS201のNO)、コンテンツデータ受信部12aが取得したコンテンツデータに基づいて、画像メタデータおよび音響メタデータを生成するタイミングであるかを判断する(ステップS203)。
その結果、画像メタデータ生成部12cが画像メタデータを生成し、音響メタデータ生成部12dが音響メタデータを生成するタイミングである場合には(ステップS203のYES)、画像メタデータ生成部12cが画像メタデータを生成し、音響メタデータ生成部12dが音響メタデータを生成する(ステップS204)。
画像メタデータ生成部12cおよび音響メタデータ生成部12dがメタデータを生成した後、または画像メタデータ生成部12cおよび音響メタデータ生成部12dが音響メタデータを生成するタイミングでない場合には(ステップS203のNO)、メタデータ選択部12eは、入力されたメタデータの種類を判断する(ステップS205)。
メタデータ選択部12eは、入力されたメタデータの種類がコンテンツ配信サーバー装置11で生成された映像データ連関メタデータのみである場合には(ステップS205のYES)、映像データ連関メタデータを出力し、広告データ出力制御部12fは映像データ連関メタデータに基づいて広告表示の出力制御を実行する(ステップS206)。
また、メタデータ選択部12eは、入力されたメタデータの種類が、コンテンツ配信サーバー装置11で生成された映像データ連関メタデータではなく(ステップS205のNO)、ユーザー端末装置12で生成された画像メタデータおよび音響メタデータのみである場合には(ステップS207のYES)、当該画像メタデータおよび音響メタデータを出力し、広告データ出力制御部12fは画像メタデータおよび音響メタデータに基づいて広告表示の出力制御を実行する(ステップS208)。
また、メタデータ選択部12eは、コンテンツ配信サーバー装置11で生成された映像データ連関メタデータと、ユーザー端末装置12で生成された画像メタデータおよび音響メタデータとが同時に入力された場合には(ステップS209のYES)、映像データ連関メタデータに含まれるメタデータ優先度に基づいて、広告表示の出力制御に用いるメタデータを判断する(ステップS210)。
メタデータ選択部12eは、メタデータ優先度に基づいて、ユーザー端末装置12で生成された画像メタデータおよび音響メタデータよりも、コンテンツ配信サーバー装置11で生成された映像データ連関メタデータの方が優先度が高いと判断した場合には(ステップS210のYES)、当該映像データ連関メタデータを出力し、広告データ出力制御部12fは映像データ連関メタデータに基づいて広告表示の出力制御を実行する(ステップS211)。
また、メタデータ選択部12eは、メタデータ優先度に基づいて、コンテンツ配信サーバー装置11で生成された映像データ連関メタデータよりも、ユーザー端末装置12で生成された画像メタデータおよび音響メタデータの方が優先度が高いと判断した場合には(ステップS210のNO)、当該画像メタデータおよび音響メタデータを出力し、広告データ出力制御部12fは画像メタデータおよび音響メタデータに基づいて広告表示の出力制御を実行する(ステップS212)。
各ステップS206,S208,S211,S212で、広告データ出力制御部12fは広告表示の出力制御が終了したならば、ステップS201に戻り上述した処理を繰り返す。
なお、メタデータ選択部12eは、入力されるメタデータが何もない場合には(ステップS209のNO)、広告表示の出力制御を実行するタイミングではないので何も処理をせずにステップS201に戻り、上述した処理を繰り返す。
(変形例)
以上の実施形態は例示に過ぎず、特許請求の範囲に示される技術的思想の範囲を逸脱しない限り、様々な形態に変更することができる。
例えば、上記の実施形態で説明したメタデータのデータ構造や広告データの出力制御タイミング等については例示に過ぎない。本実施形態においては、広告データとして吹き出し表示座標や出力開始タイミング等をメタデータに持たせたが、これ以外のフィールドをメタデータに追加して、様々な出力制御を行うこともできる。
また、広告データの画像データ等もあくまで例示に過ぎず、例えば様々なサイズの画像データを用いることもできる。
(まとめ)
コンテンツ配信サーバー装置で映像データ連関メタデータとメタデータ優先度を生成すると共に、ユーザー端末装置で画像メタデータおよび音響メタデータを生成する。同時に、コンテンツ配信サーバー装置で広告データの出力制御に用いるメタデータ優先度をコンテンツに応じて設定するようにした。
このため、コンテンツ配信サーバー装置とユーザー端末装置とでメタデータを同時に生成している場合であっても、ユーザー端末装置側において、コンテンツ配信サーバー装置でメタデータ優先度に基づいて広告データの出力制御に用いるメタデータ選択し、コンテンツに応じて広告データの表示態様を容易に切り替えることができる。
本発明は、サーバーからネットワークを介して接続される携帯電話機、テレビ等にコンテンツデータに合わせて広告表示制御を行う場合に利用できる。
10 コンテンツ配信システム
11 コンテンツ配信サーバー装置
11a 画像メタデータ取得部
11b 音響メタデータ取得部
11c メタデータ優先度取得部
11d 画像データ取得部
11e 音響データ取得部
11f コンテンツデータ取得部
11g 映像データ連関メタデータ生成部
11h コンテンツデータ送信部
12 ユーザー端末装置
12a コンテンツデータ受信部
11b 映像データ連関メタデータ解析部
12c 画像メタデータ生成部
12d 音響メタデータ生成部
12e メタデータ選択部
12f 広告データ出力制御部
13 ネットワーク

Claims (4)

  1. コンテンツ配信サーバー装置と、当該コンテンツ配信サーバー装置と通信ネットワークを介して接続されるユーザー端末装置と、を有するコンテンツ配信システムであって、
    前記コンテンツ配信サーバー装置は、
    コンテンツデータを取得するコンテンツデータ取得手段と、
    広告データを取得する広告データ取得手段と、
    前記コンテンツデータに前記広告データを出力するための映像データ連関メタデータを生成する映像データ連関メタデータ生成手段と、
    前記映像データ連関メタデータ生成手段によって生成された前記映像データ連関メタデータの優先度を設定するメタデータ設定手段と、
    前記コンテンツデータに、前記映像データ連関メタデータ、前記広告データおよび映像データ連関メタデータの優先度を関連付けて、当該コンテンツデータを前記ユーザー端末装置に送信するコンテンツデータ送信手段と、
    を備え、
    前記ユーザー端末装置は、
    前記コンテンツ配信サーバー装置から送信された前記コンテンツデータを受信するコンテンツデータ受信手段と、
    前記コンテンツデータ受信手段によって受信された前記コンテンツデータを解析して、当該コンテンツデータに含まれる前記映像データ連関メタデータと前記映像データ連関メタデータの優先度とを生成する映像データ連関メタデータ解析手段と、
    前記コンテンツデータ受信手段によって受信した前記コンテンツデータの画像の変化タイミングおよび音響レベルの変化タイミングの少なくとも一方に基づいて、端末指向型映像データ連関メタデータを生成する端末指向型映像データ連関メタデータ生成手段と、
    前記メタデータのうち前記映像データ連関メタデータのみを受信した場合には当該映像データ連関メタデータを出力し、前記メタデータのうち前記端末指向型映像データ連関メタデータのみを生成した場合には当該端末指向型映像データ連関メタデータを出力し、前記映像データ連関メタデータを受信したと共に前記端末指向型映像データ連関メタデータを生成した場合には前記映像データ連関メタデータに含まれる前記メタデータの優先度に基づいて前記広告データの出力制御に用いるメタデータを選択して出力するメタデータ選択手段と、
    前記メタデータ選択手段から出力された前記メタデータによって、前記コンテンツデータに前記広告データを合成して出力する広告データ出力制御手段と、
    を備えることを特徴とするコンテンツ配信システム。
  2. コンテンツ配信サーバー装置と共にコンテンツ配信システムを構成するユーザー端末装置であって、
    前記コンテンツ配信サーバー装置から送信された前記コンテンツデータを受信するコンテンツデータ受信手段と、
    前記コンテンツデータ受信手段によって受信された前記コンテンツデータを解析して、当該コンテンツデータに含まれる前記映像データ連関メタデータと前記映像データ連関メタデータの優先度とを生成する映像データ連関メタデータ解析手段と、
    前記コンテンツデータ受信手段によって受信した前記コンテンツデータの画像の変化タイミングおよび音響レベルの変化タイミングの少なくとも一方に基づいて、端末指向型映像データ連関メタデータを生成する端末指向型映像データ連関メタデータ生成手段と、
    前記メタデータのうち前記映像データ連関メタデータのみを受信した場合には当該映像データ連関メタデータを出力し、前記メタデータのうち前記端末指向型映像データ連関メタデータのみを生成した場合には当該端末指向型映像データ連関メタデータを出力し、前記映像データ連関メタデータを受信したと共に前記端末指向型映像データ連関メタデータを生成した場合には前記映像データ連関メタデータに含まれる前記メタデータの優先度に基づいて前記広告データの出力制御に用いるメタデータを選択して出力するメタデータ選択手段と、
    前記メタデータ選択手段から出力された前記メタデータによって、前記コンテンツデータに前記広告データを合成して出力する広告データ出力制御手段と、
    を備えたことを特徴とするユーザー端末装置。
  3. 前記端末指向型映像データ連関メタデータ生成手段は、
    前記前記端末指向型映像データ連関メタデータとして、前記画像データを出力する前記コンテンツデータのチャプタ番号および表示座標値と、前記音響データを出力する前記コンテンツデータの開始フレーム番号および終了フレーム番号とを生成することを特徴とする請求項記載のユーザー端末装置。
  4. 通信ネットワークを介してコンテンツ配信サーバー装置と接続されるユーザー端末装置が実行するコンテンツ配信方法であって、
    コンテンツデータ受信手段が前記コンテンツ配信サーバー装置から送信された前記コンテンツデータを受信するコンテンツデータ受信ステップと、
    映像データ連関メタデータ解析手段が前記コンテンツデータ受信ステップによって受信された前記コンテンツデータを解析して、当該コンテンツデータに含まれる前記映像データ連関メタデータと前記映像データ連関メタデータの優先度とを生成する映像データ連関メタデータ解析ステップと、
    端末指向型映像データ連関メタデータ生成手段が前記コンテンツデータ受信ステップによって受信した前記コンテンツデータの画像の変化タイミングおよび音響レベルの変化タイミングの少なくとも一方に基づいて、端末指向型映像データ連関メタデータを生成する端末指向型映像データ連関メタデータ生成ステップと、
    メタデータ選択手段が前記メタデータのうち前記映像データ連関メタデータのみを受信した場合には当該映像データ連関メタデータを出力し、前記メタデータのうち前記端末指向型映像データ連関メタデータのみを生成した場合には当該端末指向型映像データ連関メタデータを出力し、前記映像データ連関メタデータを受信したと共に前記端末指向型映像データ連関メタデータを生成した場合には前記映像データ連関メタデータに含まれる前記メタデータの優先度に基づいて前記広告データの出力制御に用いるメタデータを選択して出力するメタデータ選択ステップと、
    広告データ出力制御手段が前記メタデータ選択ステップから出力された前記メタデータによって、前記コンテンツデータに前記広告データを合成して出力する広告データ出力制御ステップとを有することを特徴とするコンテンツ配信方法。

JP2009139162A 2009-06-10 2009-06-10 コンテンツ配信システム、ユーザー端末装置、コンテンツ配信方法 Expired - Fee Related JP4938826B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009139162A JP4938826B2 (ja) 2009-06-10 2009-06-10 コンテンツ配信システム、ユーザー端末装置、コンテンツ配信方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009139162A JP4938826B2 (ja) 2009-06-10 2009-06-10 コンテンツ配信システム、ユーザー端末装置、コンテンツ配信方法

Publications (2)

Publication Number Publication Date
JP2010288000A JP2010288000A (ja) 2010-12-24
JP4938826B2 true JP4938826B2 (ja) 2012-05-23

Family

ID=43543398

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009139162A Expired - Fee Related JP4938826B2 (ja) 2009-06-10 2009-06-10 コンテンツ配信システム、ユーザー端末装置、コンテンツ配信方法

Country Status (1)

Country Link
JP (1) JP4938826B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101678389B1 (ko) * 2014-02-28 2016-11-22 엔트릭스 주식회사 클라우드 스트리밍 기반의 영상데이터 제공 방법, 이를 위한 장치 및 시스템

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU5731398A (en) * 1997-01-06 1998-08-03 Bellsouth Corporation Method and system for tracking network use
JP4229094B2 (ja) * 2001-06-06 2009-02-25 ソニー株式会社 広告選択装置及び広告選択方法、並びに記憶媒体
JP2007199382A (ja) * 2006-01-26 2007-08-09 Sony Corp 広告配信システム、配信管理装置、配信管理方法、プログラム
JP4939859B2 (ja) * 2006-07-13 2012-05-30 日本電信電話株式会社 広告挿入式映像配信システム
JP2008219587A (ja) * 2007-03-06 2008-09-18 Ntt Docomo Inc 番組用データ処理装置及び番組視聴システム
JP2008262572A (ja) * 2008-04-28 2008-10-30 Toshiba Corp メタデータ利用管理装置、メタデータ利用管理方法及びプログラム

Also Published As

Publication number Publication date
JP2010288000A (ja) 2010-12-24

Similar Documents

Publication Publication Date Title
KR101463608B1 (ko) Iptv서비스에서 광고 제공 시스템 및 방법
US20080281685A1 (en) Media with embedded advertising
US9661380B2 (en) Television content management with integrated third party interface
US9106873B2 (en) Methods and systems for providing enhanced content by way of a virtual channel
CN104902345A (zh) 实现商品交互式广告和销售的方法及系统
WO2013035834A1 (ja) 通信端末、映像表示システム、通信端末の処理実行方法及びプログラム
US20100162303A1 (en) System and method for selecting an object in a video data stream
JP2011171903A (ja) 情報送出表示システム
CN105142000A (zh) 基于电视播放内容的信息推送方法及系统
CN104540009A (zh) 一种订单生成方法及系统
KR20080114800A (ko) 광고 시스템, 광고 방법 및 컴퓨터 판독가능 매체
JP2014236391A (ja) 表示制御装置、文書管理サーバ、及び放送送出装置
WO2015169139A1 (zh) 一种基于智能终端的补间交互型广告置入方法及装置
JP4938826B2 (ja) コンテンツ配信システム、ユーザー端末装置、コンテンツ配信方法
CN105681923A (zh) 电视视频菜单的操作方法和装置
JP6203657B2 (ja) 映像表示装置
KR100876001B1 (ko) 정보 제공자 시스템이 사용자에게 양방향성 멀티미디어 서비스를 제공하는 방법
JP5851844B2 (ja) デジタル放送システムの制御ユーザインターフェース伝達方法及び装置
JP6675572B2 (ja) 番組放送等システム及び番組へのcm提供システム
JP2009005260A (ja) コンテンツ視聴装置
CN102223568A (zh) 一种广告播放系统和方法
JP2014027637A (ja) 広告表示システムおよび広告表示方法
KR100870559B1 (ko) Iptv 콘텐츠와 관련된 고객 참여 서비스를 제공하는방법
CN105376611A (zh) 广告选择方法及系统
CN111213133B (zh) 命令处理服务器、程序、系统、命令运行程序及命令处理方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111122

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120207

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120223

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150302

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4938826

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150302

Year of fee payment: 3

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D04

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees