JP3723412B2 - ストリーム送受信システム，意味情報サーバおよびストリーム送受信システムにおける課金方法 - Google Patents
ストリーム送受信システム，意味情報サーバおよびストリーム送受信システムにおける課金方法 Download PDFInfo
- Publication number
- JP3723412B2 JP3723412B2 JP2000141390A JP2000141390A JP3723412B2 JP 3723412 B2 JP3723412 B2 JP 3723412B2 JP 2000141390 A JP2000141390 A JP 2000141390A JP 2000141390 A JP2000141390 A JP 2000141390A JP 3723412 B2 JP3723412 B2 JP 3723412B2
- Authority
- JP
- Japan
- Prior art keywords
- semantic information
- video
- index
- client
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は，インターネット放送を始めとするネットワーク放送での映像配信サーバとクライアント，あるいはデジタル放送での放送装置と受信装置における映像提供サービスシステムに関するものである。
【０００２】
【従来の技術】
最近の映像提供サービスシステムでは，アナログベースからデジタルベースへ移行しつつあり，また，ＭＰＥＧ２方式による映像圧縮されたビットストリーム伝送方式の進展に伴い，複数の映像を同時に送信して，受信側でいずれかの映像を選択することにより，従来では不可能であった多彩なサービスを可能にしている。
【０００３】
例えば，テレビ放送分野では，高品質な数百チャンネルの番組提供，ＥＰＧ（電子プログラム）を用いた番組の予約，視聴，番組連動型放送や，インタラクティブ放送による視聴者参加型ライブ番組の実現などが可能になっている。
【０００４】
インターネット放送の分野では，映像符号化により映像データを圧縮し，ネットワーク上での配信（放送）やオンデマンドサービスなども実現されている。
【０００５】
また，蓄積映像，音声，ＨＴＭＬ等の多種多彩な素材コンテンツを組み合わせ，一つのコンテンツとして構成，表現するシステムも提案され，予め与えられたシナリオに沿って各コンテンツを同期再生して表示したり音声合成させたりすることを実現し，従来のコンテンツよりも多彩な表現が可能になっている。
【０００６】
【発明が解決しようとする課題】
しかし，従来技術で行われている映像提供サービスシステムでは，実現が難しい問題がある。例えばライブ映像の送受信に関して，見たい番組の予約は比較的簡単に実現可能であるが，見たいシーンの予約はできない。例えばスポーツライブ中継を例にとると，サッカーのゴールシーンや野球のホームランシーン等のハイライトシーンを選択的に予約することができない。これらのシーンを見逃さずに視聴するためには，ライブ中継を最初から最後までモニター画面から視線を逸らさずに見ているか，一度蓄積メディア（ＶＴＲ等）に記録して視聴するかの方法をとらなければならない。
【０００７】
また，インターネットにおいて映像配信サーバからクライアントが映像情報（音声情報を含む）を利用できる放送型サービスはすでに実用化され，盛んに利用されているが，提供された映像に関連したテキスト情報や音声，画像情報の検索までをサポートするようなサービスの提供はまだ不十分な段階である。
【０００８】
映像の参照情報を与える方法としては，映像と同時に情報ストリームを送信することにより，映像に付加価値を与える情報を提供する方法があるが，提供される情報はサーバ主導で切り替えることしかできず，個々のユーザに適切な情報を提供する方法ではない。
【０００９】
本発明は，上述の問題点に鑑みてなされたもので，ライブ性の醍醐味を失うことなしに効率よくライブ中継の内容を把握し，見たいシーンの選択が可能な映像情報サービスシステムや，映像を個々のユーザに対応したハイパーメディアとして扱う新しい映像情報サービスシステムを構築するための技術を提供することを目的とする。
【００１０】
【課題を解決するための手段】
上記目的を達成するため，本発明に関連する技術では，インターネット放送での映像配信サーバからクライアントに提供される映像情報（音声情報を含む）から構成されるビットストリームに，予めもしくはリアルタイム処理により，時系列に従ってインデクスＩＤを埋め込んでおく。クライアントは，ビットストリームのユーザ領域に埋め込まれた前記インデクスＩＤと意味情報テーブルを対応させて，インデクスＩＤの意味を解読し，その意味情報をもとに送信されてきたビットストリームに所定の情報リンク処理をする。ここでのインデクスＩＤとは，クライアントが意味情報を結び付ける上で必要とする情報であり，単なる記号列であってよい。
【００１１】
また，他の本発明に関連する技術では，デジタル放送での放送装置から受信装置に放送される映像情報（音声情報を含む）から構成されるビットストリームに，予めもしくはリアルタイム処理により，時系列に従ってインデクスＩＤを埋め込んでおく。受信装置側で，ビットストリームのユーザ領域に埋め込まれた前記インデクスＩＤと意味情報テーブルを対応させて，インデクスＩＤの意味を解読し，その意味情報をもとに送信されてきたビットストリームに所定の情報リンク処理をする。
【００１２】
以上のストリームへの情報リンク方法では，前記埋め込まれたインデクスＩＤを用いて映像を説明する詳細情報を意味情報と結び付けることにより，映像をハイパーメディアとして扱い，各クライアント（受信装置）対応に独立に編集・検索・再利用処理を行うことができる。
【００１３】
また，以上のストリームへの情報リンク方法では，前記埋め込まれたインデクスＩＤを映像の中身と対応する意味情報と結合させて，各クライアントもしくは各受信装置に所望の映像を提供することもできる。
【００１４】
さらに，上記ストリームへの情報リンク方法では，インデクスＩＤを電子透かし技術を用いてビットストリーム内に暗号化して埋め込むことができる。
【００１５】
また，本発明のストリーム送受信システムは，インターネット放送を始めとするネットワーク放送で，映像や音声からなるビットストリームにインデクスＩＤを埋め込む映像インデクサと，ビットストリームを送信する映像配信サーバと，意味情報を提供する意味情報サーバと，ビットストリームを受信するクライアントと，映像配信サーバとクライアント，および意味情報サーバとクライアントを接続するネットワークからなるシステムにおいて，前記映像インデクサは，ビットストリームを入力する映像入力器と，インデクスＩＤをビットストリームに埋め込むインデクサとを備え，前記映像配信サーバは，映像圧縮する符号化器と，符号化されたビットストリームをネットワークに送出する情報送信器とを備え，前記意味情報サーバは，インデクスＩＤに結び付く意味情報を蓄える意味情報データベースと，意味情報をクライアントへネットワーク経由で送出する送信器とを備え，前記クライアントは，ネットワークに送出された前記ビットストリームを受信する受信器と，符号化されたビットストリームを復号化する復号化器と，ビットストリームを表示する表示器と，意味情報サーバから意味情報をダウンロードし自装置内の意味情報データベースに格納する情報人力器と，復号化されたビットストリームから埋め込まれたインデクスＩＤを抽出して前記意味情報データベースを参考にインデクスＩＤの意味を解読する意味結合器と，解読結果をもとに前記表示器を制御する操作器とを備えることを特徴とする。
【００１６】
他の本発明のストリーム送受信システムは，有線，無線のデジタル放送で，映像や音声からなるビットストリームにインデクスＩＤを埋め込む映像インデクサと，ビットストリームを送信する放送装置と，ビットストリームを受信する受信装置と，意味情報を提供する意味情報サーバと，放送装置と受信装置を有線または無線で接続する通信回線と，意味情報サーバと受信装置が接続されたネットワークからなるシステムにおいて，前記映像インデクサは，ビットストリームを入力する映像入力器と，インデクスＩＤをビットストリームに埋め込むインデクサとを備え，前記放送装置は，映像を符号化する符号化器と，符号化されたビットストリームを通信回線に送出する送信器とを備え，前記意味情報サーバは，インデクスＩＤに結び付く意味情報を蓄える意味情報データベースと，意味情報をクライアントへネットワーク経由で送出する送信器とを備え，前記受信装置は，通信回線に送出された前記ビットストリームを受信する受信器と，ビットストリームを復号化する復号化器と，ビットストリームを表示する表示器と，意味情報サーバの意味情報データベースから意味情報をダウンロードし自装置内の意味情報データベースに格納する情報入力器と，復号化されたビットストリームから埋め込まれたインデクスＩＤを抽出して前記意味情報データベースを参考にインデクスＩＤの意味を解読する意味結合器と，解読結果をもとに前記表示器を制御する操作器とを備えることを特徴とする。
【００１７】
以上のストリーム送受信システムでは，インデクスＩＤを電子透かし技術を用いて暗号化してビットストリームへ埋め込むようにしてもよい。
【００１８】
上記ストリーム送受信システムにおける意味情報サーバは，ビットストリームに埋め込まれたインデクスＩＤに結合させる意味情報もしくは当該インデクスＩＤを利用するアプリケーションもしくは暗号鍵を提供する。
【００１９】
本システムにおける課金方法として，上記意味情報およびアプリケーションプログラムのダウンロードに対し課金する方法を用いることができる。
【００２０】
また，ストリーム送受信システムは，上記意味情報およびアプリケーションプログラムのダウンロードに対し課金する課金サーバを備えることができる。この課金サーバは，意味情報サーバから意味情報，アプリケーションプログラムまたは暗号鍵を，クライアントまたは受信装置にダウンロードさせる際に，意味情報サーバから課金情報を受け取る情報受信器と，課金情報を記録する課金情報データベースとを備える。
【００２１】
また，ストリーム送受信システムは，上記アプリケーションプログラムを実行する毎に課金する課金サーバを備え，課金方法として，上記アプリケーションプログラムを実行する毎に課金する方法を用いることもできる。
【００２２】
本発明によって，ユーザは，デジタル化やＭＰＥＧ２等の映像圧縮技術により提供される大量の映像情報および音声情報を効率よく視聴（情報収集）できるようになり，また，それらのサービスの提供者側は，その利用料金を回収することができるようになる。
【００２３】
【発明の実施の形態】
以下，本発明の実施の形態について，図面を参照して詳細に説明する。
【００２４】
図１は，インターネット放送における，本発明のインデクスＩＤを埋め込まれたビットストリームを送受信する第１の実施の形態のシステム構成図である。
【００２５】
本システムは，映像インデクサ１０１と映像配信サーバ１０２と意味情報サーバ１０４とユーザクライアント１０３と課金サーバ１０７，およびそれらを結ぶネットワーク１０５，１０６，１０８，１０９から構成されている。ネットワーク１０５，１０６，１０８，１０９は，例えばインターネットや電話網などであり，これらが全て同じものであっても構わない。なお，この図において，１個のユーザクライアント１０３がネットワーク１０５，１０６，１０８，１０９に接続されているように示したが，実際には複数のユーザクライアントがネットワークに接続されている。
【００２６】
映像インデクサ１０１は，映像入力器１１１とインデクサ１１２とから構成されている。映像配信サーバ１０２は，符号化器１１３と送信器１１４とで構成されている。意味情報サーバ１０４は，意味情報データベース（ＤＢ）１２２と情報送信器１２３とで構成されている。ユーザクライアント１０３は，受信器１１５と復号化器１１６と情報入力器１２０と意味情報データベース（ＤＢ）１２１と意味結合器１１７と操作器１１９および表示器１１８とで構成されている。課金サーバ１０７は，情報受信器１２４と課金情報データベース（ＤＢ）１２５とで構成されている。
【００２７】
まず最初に，映像インデクサ１０１におけるデータ処理について説明する。映像インデクサ１０１の映像入力器１１１に，例えばビデオカメラで撮像した映像や映像情報データベースで生成された映像ストリームが入力され，入力された映像ストリームはインデクサ１１２においてインデクスＩＤが埋め込まれる。
【００２８】
図２は，インデクサ１１２において映像ストリームにインデクスＩＤが埋め込まれるイメージ図である。すなわち，元の映像ストリーム５１はインデクサ１１２においてインデクスＩＤ付き映像ストリーム５２に変換される。インデクスＩＤは，例えばＭＰＥＧ２システム（ＩＳＯ／ＩＥＣＪＴＣ１／１３８１８−１）のＵｓｅｒ領域に埋め込むことができる。意味情報サーバ１０４の意味情報ＤＢ１２２に格納されている，例えばカット点やカメラアングル，テロップ，状況変化等の意味情報に対応するインデクスＩＤを埋め込む。ここでのインデクスＩＤとは，何らかの意味を持つインデクス情報につなぐことができるタグであり，例えば，映像の第Ｎフレームに対応するインデクスＩＤ＝ＩN を対応テーブルの形で埋め込むというように単なる記号情報としてよい。
【００２９】
また，インデクスＩＤをＭＰＥＧ２ビデオ（ＩＳＯ／ＩＥＣＪＴＣ１／１３８１８−２）中のシーケンスヘッダのユーザデータに埋め込むというように，映像ストリームの時系列に沿うようにインデクスＩＤを埋め込んでもよい。また，インデクスＩＤの埋め込みの際に電子透かし技術を用いて映像そのものに暗号化して埋め込むことにより，埋め込んだデータの改竄防止や悪用を禁止することも可能である。
【００３０】
インデクスＩＤが埋め込まれた映像ストリームは，符号化器１１３で符号化され，符号化された映像ストリームが送信器１１４を介してネットワーク１０５に送出される。
【００３１】
ネットワーク１０５に接続されたユーザクライアント１０３では，受信器１１５でインデクス付き映像ストリームを受信し，復号化器１１６で映像ストリームを復号して，映像ストリームの中からインデクスＩＤを抽出し（電子透かし技術を使って暗号化してある場合は所定の復元処理をした後に抽出），抽出したインデクスＩＤを意味結合器１１７に入力する。また，映像ストリームは表示器１１８に入力する。
【００３２】
一方，ユーザクライアント１０３は，ネットワーク１０６に接続された意味情報サーバ１０４にアクセスして，意味情報サーバ１０４内の意味情報ＤＢ１２２のデータを情報送信器１２３を介して，ユーザクライアント１０３の情報入力器１２０に取り込み，ユーザクライアント１０３内の意味情報ＤＢ１２１にダウンロードする。なお，この意味情報をダウンロードする際に，意味情報サーバ１０４から課金サーバ１０７の情報受信器１２４へアクセス情報を送信し，課金サーバの課金情報ＤＢ１２５がアクセス履歴を管理することにより，ユーザクライアント１０３に課金することが可能である。決済は，例えばインターネットの電子決済システム等を利用した料金の支払いによって行う。
【００３３】
意味結合器１１７では，入力されたインデクスＩＤに対応する意味情報を意味情報ＤＢ１２１のデータ情報を参照して解読し，解読した意味情報を表示器１１８に映像と共に表示する。
【００３４】
また，操作器１１９に入力した意味情報を用いて，ユーザとのインタラクションを行ったり，その結果を表示させることも可能である。
【００３５】
図３は，意味情報サーバ１０４が持つ意味情報ＤＢ１２２に格納される意味情報テーブルの構成例を示す。なお，ユーザクライアント１０３における意味情報ＤＢ１２１のテーブル構成も同様である。意味情報テーブルは，例えば図３に示すように，インデクスＩＤと，そのインデクスＩＤが有効となる対象フレームの範囲と，意味情報と，そのインデクスＩＤの利用アプリケーションプログラム等の情報を保持する。インデクスＩＤは単なる記号列であるが，このような意味情報テーブルによって，インデクスＩＤがアプリケーションプログラム毎に特定の意味情報に一意に対応づけられ，利用アプリケーションプログラムによってその意味が変わる。この意味情報テーブルの一つ一つのエントリは，インデクスＩＤを意味情報に変換するための変換ルールに相当すると考えてよい。
【００３６】
図４は，課金サーバ１０７が持つ課金情報ＤＢ１２５に格納される課金情報テーブルの構成例を示す。課金情報テーブルには，例えば図４に示すように，課金に関する操作時刻（利用時間）と，利用種別と，利用アプリケーションプログラムと，課金するユーザＩＤとが格納される。利用種別の「ダウンロード」は，意味情報サーバ１０４から送信されてきた課金情報であることを意味する。また利用種別の「操作」は，ユーザクライアント１０３から送られてきた課金情報であることを意味する。この課金情報テーブルを定期的に参照することにより，電子決済システム等を利用して自動的に決済することができる。
【００３７】
上述したようなシステム構成となっているので，クライアントはただ映像を見るだけでなく，意味情報と映像中のインデクスＩＤを対応させてインタラクティブコンテンツとして利用できるようになる。その結果，以下のような映像情報サービスが可能となる。
【００３８】
図５は，インデクスＩＤを用いたサービスイメージ図である。例えば，特開平８−３０５７２０号に示される「マルチメディアデータ管理方法及び装置」が実現するようなアプリケーションのように，映像を説明する詳細情報を意味情報として結び付けることにより，放送中にテキストや音楽，画像，映像の関連情報をリンクで結んだハイパーメディアとして扱うことが可能となる。
【００３９】
例えば，詳細情報をＷＷＷ（World Wide Web）のページに記述した場合，意味情報として，インデクスＩＤに対応するＵＲＬ（Uniform Resource Locator）をクライアントがダウンロードする。ダウンロードの際にＵＲＬを各人ごとに変更することにより，各人に対して異なった情報を映像に同期して提供できるようになる。その結果，各クライアントで独立に映像の説明を得ることができる。
【００４０】
図５に示すように，大人用のＵＲＬと子供用のＵＲＬをクライアントの要求に従い意味情報として埋め込まれたＩＤに対応させた場合，インターネット上でそれぞれ大人用関連情報ブラウジングや子供用関連情報ブラウジングを行うサービスを提供できる。例えば，歴史上の建造物（城や寺院）に関する映像をクライアントが受信しているときに，大人用として建造物の詳細な説明やその時代の歴史的背景に関する情報を音声やテキストで得られることが可能になったり，子供用としてアニメーションや音声によってわかりやすい解説をすることも可能になる。
【００４１】
また，映像に付与したインデクスＩＤを映像の中身と対応する意味情報と結合させて，見たいシーンだけを表示させることもできる。例えば特願平１１−２１４５８２号に示される「ライブ映像送受信システム，ライブ映像送信装置および受信装置」で実現されるアプリケーション（ＬｉｖｅＷａｔｃｈ）を，意味情報サーバ１０４からダウンロードすることも可能である。このとき，野球の試合における進行情報，すなわち表裏回数情報，ＳＢＯ（ストライクボールアウト）情報などをインデクスＩＤとして時系列に沿って映像に埋め込んでおけば（例えば「ＩＤ＝１→１回の表」としてＩＤを与える），ＬｉｖｅＷａｔｃｈアプリケーションを用いることで，クライアントでは試合進行を文字やグラフィックスで表示することが可能となる。
【００４２】
また，このインデクスＩＤとそれに対応する意味情報を利用してフレーム毎にクライアントユーザに見せるかどうかをアプリケーションで判断させて，ユーザが見たいシーンを表示させることができる。このときに見たいシーンを表示する代わりに画面の点滅やアラームでユーザに知らせることも可能で，ヒットやホームラン等の見たいシーン，ハイライトシーンを見逃すことがなくなる。
【００４３】
ユーザが上記のアプリケーションを利用した時，利用したという情報，すなわち利用状況をユーザクライアント１０３から課金サーバ１０７へアップロードすることにより，課金することも可能である。利用状況は即時にアップロードしてもよいし，ユーザクライアント１０３に蓄積しておき，番組視聴終了後，もしくは契約により定める周期毎に課金サーバ１０７で回収してもよい。この方法を利用すれば，アプリケーションの利用時間や利用頻度に基づき課金することが可能になる。
【００４４】
マルチアングルの切り替えに使う場合も同様で，ユーザクライアント１０３が意味情報サーバ１０４から切り替えアプリケーションをダウンロードしておき，インデクスＩＤに対応する意味情報に従ってライブ中継を自動スイッチングしたり，あるいはクライアントユーザがスイッチングする際の指標を映像に合わせて文字や画像で表示できるようになり，ユーザは，自分の嗜好に応じた臨場感あふれる映像を楽しむことができるようになる。
【００４５】
図６は，ユーザクライアント１０３の処理フローチャートである。ユーザクライアント１０３が意味情報サーバ１０４から意味情報をダウンロードする契機として，ユーザクライアント１０３において利用するアプリケーションプログラムが決まった時点で静的にダウンロードする場合と，映像配信サーバ１０２から受信した映像ストリーム中のインデクスＩＤを解読するために動的にダウンロードする場合とがある。
【００４６】
静的な意味情報のダウンロードの場合，ユーザからの指示によりアプリケーションプログラムを選択すると（ステップＳ１），意味情報サーバ１０４に選択したアプリケーションプログラムのアプリケーション名とユーザＩＤとを送信し，アプリケーションプログラムに対応する意味情報をダウンロードする（ステップＳ２）。ダウンロードした意味情報は，意味情報ＤＢ１２１中に保持する。
【００４７】
動的な意味情報のダウンロードの場合，ユーザクライアント１０３は，映像配信サーバ１０２から受信したインデクスＩＤ付き映像ストリームから，インデクスＩＤを抽出し（ステップＳ３），意味情報ＤＢ１２１の意味情報テーブル中に，抽出したインデクスＩＤが登録されているかどうか，すなわちインデクスＩＤの意味情報への変換ルールがあるかどうかを判定する（ステップＳ４）。該当するインデクスＩＤの変換ルールがある場合，ステップＳ６へ進む。意味情報テーブル中に該当するインデクスＩＤの変換ルールがない場合，抽出したインデクスＩＤ，アプリケーション名，ユーザＩＤをパラメータとして意味情報サーバ１０４に意味情報のダウンロードを依頼し，インデクスＩＤに対応する意味情報をダウンロードする（ステップＳ５）。ダウンロードした意味情報は，意味情報ＤＢ１２１中に保持する。
【００４８】
ステップＳ６では，意味情報ＤＢ１２１を参照してインデクスＩＤを意味情報へ変換し，意味情報に関してユーザの操作に応じた処理を実行する（ステップＳ７）。ユーザの操作があると，その操作に伴う利用時間，利用アプリケーション名，ユーザＩＤを課金のための情報として，課金サーバ１０７へ送信する（ステップＳ８）。以上のステップＳ３〜Ｓ８を，映像ビットストリームの受信を終了するか，ユーザがアプリケーションの利用を終了するまで，繰り返す。
【００４９】
図７は，意味情報サーバ１０４の処理フローチャートである。意味情報サーバ１０４は，ユーザクライアント１０３からの意味情報のダウンロード要求の際に，アプリケーション名とユーザＩＤ，またはそれにインデクスＩＤを加えた情報を受け取り，それらをパラメータとして意味情報ＤＢ１２２を参照し，該当する意味情報を検索する（ステップＳ１０）。検索した意味情報を含む意味情報テーブルを要求元のユーザクライアント１０３へ送信する（ステップＳ１１）。その後，課金サーバ１０７へ利用時間，利用アプリケーション名，ユーザＩＤを内容とする課金のための利用情報を送信する（ステップＳ１２）。意味情報サーバ１０４は，他にユーザクライアント１０３からの要求により，埋め込まれたインデクスＩＤを用いるアプリケーションプログラムのダウンロードや，埋め込まれたインデクスＩＤが暗号化されている場合に，その暗号を解く暗号鍵のダウンロードを処理することもできる。
【００５０】
図８は，課金サーバ１０７の処理フローチャートである。課金サーバ１０７は，意味情報サーバ１０４またはユーザクライアント１０３から利用時間，利用アプリケーション名，ユーザＩＤを内容とする課金情報を受け取る。受け取った課金情報は，意味情報サーバ１０４からのものであるか，ユーザクライアント１０３からのものであるかを判定し（ステップＳ２０），意味情報サーバ１０４からのものである場合には，図４に示す課金情報テーブルの利用種別に設定する値を“ダウンロード”とする（ステップＳ２１）。ユーザクライアント１０３からのものである場合には，利用種別に設定する値を“操作”とする（ステップＳ２２）。その後，課金情報ＤＢ１２５の課金情報テーブルに情報を格納し蓄積する（ステップＳ２３）。
【００５１】
図９は，本発明を適用したストリーム送受信システムの第２の実施の形態に係るシステム構成図である。これは，デジタル放送での放送装置から受信装置に放送されるビットストリームにインデクスＩＤを埋め込んだ場合のシステム構成を示している。
【００５２】
本システムは，映像インデクサ２０１と放送装置２０２と受信装置２０３と意味情報サーバ２０４と課金サーバ２０７，および通信回線２０５，ネットワーク２０６，２０８，２０９から構成されている。通信回線２０５は，放送装置２０２からの放送波を受信装置２０３に送出する回線であり，有線でも無線でもどちらでもよい。また，ネットワーク２０６，２０８，２０９は例えばインターネットや電話網などであり，これらが全て同じものであっても構わない。なお，この図において，１個の受信装置２０３が通信回線２０５に接続されているように示したが，実際には複数の受信装置が通信回線２０５に接続されている。
【００５３】
映像インデクサ２０１は，映像入力器２１１とインデクサ２１２とで構成されている。放送装置２０２は，符号化器２１３と送信器２１４とで構成されている。意味情報サーバ２０４は，意味情報データベース（ＤＢ）２２２と情報送信器２２３とで構成されている。また，受信装置２０３は，受信器２１５と復号化器２１６と情報入力器２２０と意味情報データベース（ＤＢ）２２１と意味結合器２１７と操作器２１９および表示器２１８とで構成されている。課金サーバ２０７は，情報受信器２２４と課金情報データベース（ＤＢ）２２５とで構成されている。
【００５４】
映像インデクサ２０１の映像入力器２１１に，例えばビデオカメラで撮像した映像／音声や映像情報データベースで生成された映像ストリームが入力され，入力された映像ストリームはインデクサ２１２において意味情報サーバ２０４の意味情報ＤＢ２２２に蓄えられている意味情報に対応するインデクスＩＤが埋め込まれる。このインデクスＩＤの埋め込みは，第１の実施の形態の図２のイメージと同様なので，詳細な説明は省略する。
【００５５】
インデクスＩＤが埋め込まれた映像ストリームは，放送装置２０２の符号化器２１３で符号化され，映像ストリームが送信器２１４を介して通信回線２０５に送出される。
【００５６】
通信回線２０５に接続された受信装置２０３では，受信器２１５でインデクス付き映像ストリームを受信し，復号化器２１６で映像ストリームを復号し，映像ストリームの中からインデクスＩＤを抽出し（電子すかし技術を使って暗号化してある場合は所定の復元処理をした後に抽出），抽出したインデクスＩＤを意味結合器２１７に入力する。また，インデクスＩＤを除去した映像ストリームは表示器２１８に入力する。
【００５７】
一方，意味情報サーバ２０４の意味情報ＤＢ２２２のデータを情報送信器２２３を介して，受信装置２０３の情報入力器２２０に取り込み，受信装置２０３内の意味情報ＤＢ２２１にダウンロードする。なお，この意味情報をダウンロードする際に，意味情報サーバ２０４から課金サーバ２０７の情報受信器２２４へアクセス情報を送信し，課金サーバの課金情報ＤＢ２２５がアクセス履歴を管理することにより，受信装置２０３に課金することが可能である。決済は，例えばインターネットの電子決済システムや放送受信料契約等を利用した料金の支払いにより行う。
【００５８】
意味結合器２１７では，入力されたインデクスＩＤに対応する意味情報を意味情報ＤＢ２２１のデータ情報を参照して解読し，解読した意味情報を表示器２１８に映像と共に表示する。また，操作器２１９に入力した意味情報を用いて，ユーザとのインタラクションを行ったり，その結果を表示させることも可能である。
【００５９】
上述したようなシステム構成となっているので，クライアントはただ映像を見るだけでなく，意味情報と映像中のインデクスＩＤとを対応させてインタラクティブコンテンツとして利用できるようになる。その結果，ユーザは，図５と同様の各種サービスを享受することができるようになる。
【００６０】
受信装置２０３，意味情報サーバ２０４，課金サーバ２０７の処理内容については，第１の実施の形態におけるユーザクライアント１０３，意味情報サーバ１０４，課金サーバ１０７と同様であるので，処理フローチャートを用いた説明は省略する。
【００６１】
【発明の効果】
本発明によれば，サーバまたは放送装置の入力となる映像インデクサでインデクスＩＤを映像ストリームに埋め込んで，クライアントまたは受信装置側の全員に送る際に，そのインデクスのタイミングを共通に送るため，サーバまたは放送装置側から送る情報を削減できる。さらに，クライアントまたは受信装置側では埋め込まれたインデクスＩＤをもとにインデクスの映像における時間位置を把握できるのでインデクス情報と映像の同期が取れ，高度な映像と情報のリンク処理を実現できる。また，クライアントまたは受信装置側の各人が求める意味情報をそれぞれインデクスに結合することにより，それぞれが，独立に異なるインデクスの利用をできるようになる。さらに，インデクスＩＤを電子透かし技術により暗号化して埋め込むことにより，クライアントや放送受信者の嗜好や要望の守秘性を確保できる。一方，意味情報を提供する意味情報サーバからの意味情報や利用アプリケーションや暗号鍵のクライアントまたは受信装置へのダウンロード時に課金することが可能となり，また，アプリケーションプログラムのクライアントまたは受信装置での利用時に課金することが可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態のシステム構成図である。
【図２】本発明のインデクスＩＤを映像ストリームに埋め込むイメージ図である。
【図３】意味情報ＤＢのテーブル構成例を示す図である。
【図４】課金情報ＤＢのテーブル構成例を示す図である。
【図５】本発明のインデクスＩＤを用いたサービスイメージ図である。
【図６】ユーザクライアントの処理フローチャートである。
【図７】意味情報サーバの処理フローチャートである。
【図８】課金サーバの処理フローチャートである。
【図９】本発明の第２の実施の形態のシステム構成図である。
【符号の説明】
１０１ 映像インデクサ
１０２ 映像配信サーバ
１０３ ユーザクライアント
１０４ 意味情報サーバ
１０５，１０６，１０８，１０９ ネットワーク
１０７ 課金サーバ
１１１ 映像入力器
１１２ インデクサ
１１３ 符号化器
１１４ 送信器
１１５ 受信器
１１６ 復号化器
１１７ 意味結合器
１１８ 表示器
１１９ 操作器
１２０ 情報入力器
１２１，１２２ 意味情報ＤＢ
１２３ 情報送信器
１２４ 情報受信器
１２５ 課金情報ＤＢ
５１ 映像ストリーム
５２ インデクスＩＤ付き映像ストリーム
２０１ 映像インデクサ
２０２ 放送装置
２０３ 受信装置
２０４ 意味情報サーバ
２０５ 通信回線
２０６，２０８，２０９ ネットワーク
２０７ 課金サーバ
２１１ 映像入力器
２１２ インデクサ
２１３ 符号化器
２１４ 送信器
２１５ 受信器
２１６ 復号化器
２１７ 意味結合器
２１８ 表示器
２１９ 操作器
２２０ 情報入力器
２２１，２２２ 意味情報ＤＢ
２２３ 情報送信器
２２４ 情報受信器
２２５ 課金情報ＤＢ
【発明の属する技術分野】
本発明は，インターネット放送を始めとするネットワーク放送での映像配信サーバとクライアント，あるいはデジタル放送での放送装置と受信装置における映像提供サービスシステムに関するものである。
【０００２】
【従来の技術】
最近の映像提供サービスシステムでは，アナログベースからデジタルベースへ移行しつつあり，また，ＭＰＥＧ２方式による映像圧縮されたビットストリーム伝送方式の進展に伴い，複数の映像を同時に送信して，受信側でいずれかの映像を選択することにより，従来では不可能であった多彩なサービスを可能にしている。
【０００３】
例えば，テレビ放送分野では，高品質な数百チャンネルの番組提供，ＥＰＧ（電子プログラム）を用いた番組の予約，視聴，番組連動型放送や，インタラクティブ放送による視聴者参加型ライブ番組の実現などが可能になっている。
【０００４】
インターネット放送の分野では，映像符号化により映像データを圧縮し，ネットワーク上での配信（放送）やオンデマンドサービスなども実現されている。
【０００５】
また，蓄積映像，音声，ＨＴＭＬ等の多種多彩な素材コンテンツを組み合わせ，一つのコンテンツとして構成，表現するシステムも提案され，予め与えられたシナリオに沿って各コンテンツを同期再生して表示したり音声合成させたりすることを実現し，従来のコンテンツよりも多彩な表現が可能になっている。
【０００６】
【発明が解決しようとする課題】
しかし，従来技術で行われている映像提供サービスシステムでは，実現が難しい問題がある。例えばライブ映像の送受信に関して，見たい番組の予約は比較的簡単に実現可能であるが，見たいシーンの予約はできない。例えばスポーツライブ中継を例にとると，サッカーのゴールシーンや野球のホームランシーン等のハイライトシーンを選択的に予約することができない。これらのシーンを見逃さずに視聴するためには，ライブ中継を最初から最後までモニター画面から視線を逸らさずに見ているか，一度蓄積メディア（ＶＴＲ等）に記録して視聴するかの方法をとらなければならない。
【０００７】
また，インターネットにおいて映像配信サーバからクライアントが映像情報（音声情報を含む）を利用できる放送型サービスはすでに実用化され，盛んに利用されているが，提供された映像に関連したテキスト情報や音声，画像情報の検索までをサポートするようなサービスの提供はまだ不十分な段階である。
【０００８】
映像の参照情報を与える方法としては，映像と同時に情報ストリームを送信することにより，映像に付加価値を与える情報を提供する方法があるが，提供される情報はサーバ主導で切り替えることしかできず，個々のユーザに適切な情報を提供する方法ではない。
【０００９】
本発明は，上述の問題点に鑑みてなされたもので，ライブ性の醍醐味を失うことなしに効率よくライブ中継の内容を把握し，見たいシーンの選択が可能な映像情報サービスシステムや，映像を個々のユーザに対応したハイパーメディアとして扱う新しい映像情報サービスシステムを構築するための技術を提供することを目的とする。
【００１０】
【課題を解決するための手段】
上記目的を達成するため，本発明に関連する技術では，インターネット放送での映像配信サーバからクライアントに提供される映像情報（音声情報を含む）から構成されるビットストリームに，予めもしくはリアルタイム処理により，時系列に従ってインデクスＩＤを埋め込んでおく。クライアントは，ビットストリームのユーザ領域に埋め込まれた前記インデクスＩＤと意味情報テーブルを対応させて，インデクスＩＤの意味を解読し，その意味情報をもとに送信されてきたビットストリームに所定の情報リンク処理をする。ここでのインデクスＩＤとは，クライアントが意味情報を結び付ける上で必要とする情報であり，単なる記号列であってよい。
【００１１】
また，他の本発明に関連する技術では，デジタル放送での放送装置から受信装置に放送される映像情報（音声情報を含む）から構成されるビットストリームに，予めもしくはリアルタイム処理により，時系列に従ってインデクスＩＤを埋め込んでおく。受信装置側で，ビットストリームのユーザ領域に埋め込まれた前記インデクスＩＤと意味情報テーブルを対応させて，インデクスＩＤの意味を解読し，その意味情報をもとに送信されてきたビットストリームに所定の情報リンク処理をする。
【００１２】
以上のストリームへの情報リンク方法では，前記埋め込まれたインデクスＩＤを用いて映像を説明する詳細情報を意味情報と結び付けることにより，映像をハイパーメディアとして扱い，各クライアント（受信装置）対応に独立に編集・検索・再利用処理を行うことができる。
【００１３】
また，以上のストリームへの情報リンク方法では，前記埋め込まれたインデクスＩＤを映像の中身と対応する意味情報と結合させて，各クライアントもしくは各受信装置に所望の映像を提供することもできる。
【００１４】
さらに，上記ストリームへの情報リンク方法では，インデクスＩＤを電子透かし技術を用いてビットストリーム内に暗号化して埋め込むことができる。
【００１５】
また，本発明のストリーム送受信システムは，インターネット放送を始めとするネットワーク放送で，映像や音声からなるビットストリームにインデクスＩＤを埋め込む映像インデクサと，ビットストリームを送信する映像配信サーバと，意味情報を提供する意味情報サーバと，ビットストリームを受信するクライアントと，映像配信サーバとクライアント，および意味情報サーバとクライアントを接続するネットワークからなるシステムにおいて，前記映像インデクサは，ビットストリームを入力する映像入力器と，インデクスＩＤをビットストリームに埋め込むインデクサとを備え，前記映像配信サーバは，映像圧縮する符号化器と，符号化されたビットストリームをネットワークに送出する情報送信器とを備え，前記意味情報サーバは，インデクスＩＤに結び付く意味情報を蓄える意味情報データベースと，意味情報をクライアントへネットワーク経由で送出する送信器とを備え，前記クライアントは，ネットワークに送出された前記ビットストリームを受信する受信器と，符号化されたビットストリームを復号化する復号化器と，ビットストリームを表示する表示器と，意味情報サーバから意味情報をダウンロードし自装置内の意味情報データベースに格納する情報人力器と，復号化されたビットストリームから埋め込まれたインデクスＩＤを抽出して前記意味情報データベースを参考にインデクスＩＤの意味を解読する意味結合器と，解読結果をもとに前記表示器を制御する操作器とを備えることを特徴とする。
【００１６】
他の本発明のストリーム送受信システムは，有線，無線のデジタル放送で，映像や音声からなるビットストリームにインデクスＩＤを埋め込む映像インデクサと，ビットストリームを送信する放送装置と，ビットストリームを受信する受信装置と，意味情報を提供する意味情報サーバと，放送装置と受信装置を有線または無線で接続する通信回線と，意味情報サーバと受信装置が接続されたネットワークからなるシステムにおいて，前記映像インデクサは，ビットストリームを入力する映像入力器と，インデクスＩＤをビットストリームに埋め込むインデクサとを備え，前記放送装置は，映像を符号化する符号化器と，符号化されたビットストリームを通信回線に送出する送信器とを備え，前記意味情報サーバは，インデクスＩＤに結び付く意味情報を蓄える意味情報データベースと，意味情報をクライアントへネットワーク経由で送出する送信器とを備え，前記受信装置は，通信回線に送出された前記ビットストリームを受信する受信器と，ビットストリームを復号化する復号化器と，ビットストリームを表示する表示器と，意味情報サーバの意味情報データベースから意味情報をダウンロードし自装置内の意味情報データベースに格納する情報入力器と，復号化されたビットストリームから埋め込まれたインデクスＩＤを抽出して前記意味情報データベースを参考にインデクスＩＤの意味を解読する意味結合器と，解読結果をもとに前記表示器を制御する操作器とを備えることを特徴とする。
【００１７】
以上のストリーム送受信システムでは，インデクスＩＤを電子透かし技術を用いて暗号化してビットストリームへ埋め込むようにしてもよい。
【００１８】
上記ストリーム送受信システムにおける意味情報サーバは，ビットストリームに埋め込まれたインデクスＩＤに結合させる意味情報もしくは当該インデクスＩＤを利用するアプリケーションもしくは暗号鍵を提供する。
【００１９】
本システムにおける課金方法として，上記意味情報およびアプリケーションプログラムのダウンロードに対し課金する方法を用いることができる。
【００２０】
また，ストリーム送受信システムは，上記意味情報およびアプリケーションプログラムのダウンロードに対し課金する課金サーバを備えることができる。この課金サーバは，意味情報サーバから意味情報，アプリケーションプログラムまたは暗号鍵を，クライアントまたは受信装置にダウンロードさせる際に，意味情報サーバから課金情報を受け取る情報受信器と，課金情報を記録する課金情報データベースとを備える。
【００２１】
また，ストリーム送受信システムは，上記アプリケーションプログラムを実行する毎に課金する課金サーバを備え，課金方法として，上記アプリケーションプログラムを実行する毎に課金する方法を用いることもできる。
【００２２】
本発明によって，ユーザは，デジタル化やＭＰＥＧ２等の映像圧縮技術により提供される大量の映像情報および音声情報を効率よく視聴（情報収集）できるようになり，また，それらのサービスの提供者側は，その利用料金を回収することができるようになる。
【００２３】
【発明の実施の形態】
以下，本発明の実施の形態について，図面を参照して詳細に説明する。
【００２４】
図１は，インターネット放送における，本発明のインデクスＩＤを埋め込まれたビットストリームを送受信する第１の実施の形態のシステム構成図である。
【００２５】
本システムは，映像インデクサ１０１と映像配信サーバ１０２と意味情報サーバ１０４とユーザクライアント１０３と課金サーバ１０７，およびそれらを結ぶネットワーク１０５，１０６，１０８，１０９から構成されている。ネットワーク１０５，１０６，１０８，１０９は，例えばインターネットや電話網などであり，これらが全て同じものであっても構わない。なお，この図において，１個のユーザクライアント１０３がネットワーク１０５，１０６，１０８，１０９に接続されているように示したが，実際には複数のユーザクライアントがネットワークに接続されている。
【００２６】
映像インデクサ１０１は，映像入力器１１１とインデクサ１１２とから構成されている。映像配信サーバ１０２は，符号化器１１３と送信器１１４とで構成されている。意味情報サーバ１０４は，意味情報データベース（ＤＢ）１２２と情報送信器１２３とで構成されている。ユーザクライアント１０３は，受信器１１５と復号化器１１６と情報入力器１２０と意味情報データベース（ＤＢ）１２１と意味結合器１１７と操作器１１９および表示器１１８とで構成されている。課金サーバ１０７は，情報受信器１２４と課金情報データベース（ＤＢ）１２５とで構成されている。
【００２７】
まず最初に，映像インデクサ１０１におけるデータ処理について説明する。映像インデクサ１０１の映像入力器１１１に，例えばビデオカメラで撮像した映像や映像情報データベースで生成された映像ストリームが入力され，入力された映像ストリームはインデクサ１１２においてインデクスＩＤが埋め込まれる。
【００２８】
図２は，インデクサ１１２において映像ストリームにインデクスＩＤが埋め込まれるイメージ図である。すなわち，元の映像ストリーム５１はインデクサ１１２においてインデクスＩＤ付き映像ストリーム５２に変換される。インデクスＩＤは，例えばＭＰＥＧ２システム（ＩＳＯ／ＩＥＣＪＴＣ１／１３８１８−１）のＵｓｅｒ領域に埋め込むことができる。意味情報サーバ１０４の意味情報ＤＢ１２２に格納されている，例えばカット点やカメラアングル，テロップ，状況変化等の意味情報に対応するインデクスＩＤを埋め込む。ここでのインデクスＩＤとは，何らかの意味を持つインデクス情報につなぐことができるタグであり，例えば，映像の第Ｎフレームに対応するインデクスＩＤ＝ＩN を対応テーブルの形で埋め込むというように単なる記号情報としてよい。
【００２９】
また，インデクスＩＤをＭＰＥＧ２ビデオ（ＩＳＯ／ＩＥＣＪＴＣ１／１３８１８−２）中のシーケンスヘッダのユーザデータに埋め込むというように，映像ストリームの時系列に沿うようにインデクスＩＤを埋め込んでもよい。また，インデクスＩＤの埋め込みの際に電子透かし技術を用いて映像そのものに暗号化して埋め込むことにより，埋め込んだデータの改竄防止や悪用を禁止することも可能である。
【００３０】
インデクスＩＤが埋め込まれた映像ストリームは，符号化器１１３で符号化され，符号化された映像ストリームが送信器１１４を介してネットワーク１０５に送出される。
【００３１】
ネットワーク１０５に接続されたユーザクライアント１０３では，受信器１１５でインデクス付き映像ストリームを受信し，復号化器１１６で映像ストリームを復号して，映像ストリームの中からインデクスＩＤを抽出し（電子透かし技術を使って暗号化してある場合は所定の復元処理をした後に抽出），抽出したインデクスＩＤを意味結合器１１７に入力する。また，映像ストリームは表示器１１８に入力する。
【００３２】
一方，ユーザクライアント１０３は，ネットワーク１０６に接続された意味情報サーバ１０４にアクセスして，意味情報サーバ１０４内の意味情報ＤＢ１２２のデータを情報送信器１２３を介して，ユーザクライアント１０３の情報入力器１２０に取り込み，ユーザクライアント１０３内の意味情報ＤＢ１２１にダウンロードする。なお，この意味情報をダウンロードする際に，意味情報サーバ１０４から課金サーバ１０７の情報受信器１２４へアクセス情報を送信し，課金サーバの課金情報ＤＢ１２５がアクセス履歴を管理することにより，ユーザクライアント１０３に課金することが可能である。決済は，例えばインターネットの電子決済システム等を利用した料金の支払いによって行う。
【００３３】
意味結合器１１７では，入力されたインデクスＩＤに対応する意味情報を意味情報ＤＢ１２１のデータ情報を参照して解読し，解読した意味情報を表示器１１８に映像と共に表示する。
【００３４】
また，操作器１１９に入力した意味情報を用いて，ユーザとのインタラクションを行ったり，その結果を表示させることも可能である。
【００３５】
図３は，意味情報サーバ１０４が持つ意味情報ＤＢ１２２に格納される意味情報テーブルの構成例を示す。なお，ユーザクライアント１０３における意味情報ＤＢ１２１のテーブル構成も同様である。意味情報テーブルは，例えば図３に示すように，インデクスＩＤと，そのインデクスＩＤが有効となる対象フレームの範囲と，意味情報と，そのインデクスＩＤの利用アプリケーションプログラム等の情報を保持する。インデクスＩＤは単なる記号列であるが，このような意味情報テーブルによって，インデクスＩＤがアプリケーションプログラム毎に特定の意味情報に一意に対応づけられ，利用アプリケーションプログラムによってその意味が変わる。この意味情報テーブルの一つ一つのエントリは，インデクスＩＤを意味情報に変換するための変換ルールに相当すると考えてよい。
【００３６】
図４は，課金サーバ１０７が持つ課金情報ＤＢ１２５に格納される課金情報テーブルの構成例を示す。課金情報テーブルには，例えば図４に示すように，課金に関する操作時刻（利用時間）と，利用種別と，利用アプリケーションプログラムと，課金するユーザＩＤとが格納される。利用種別の「ダウンロード」は，意味情報サーバ１０４から送信されてきた課金情報であることを意味する。また利用種別の「操作」は，ユーザクライアント１０３から送られてきた課金情報であることを意味する。この課金情報テーブルを定期的に参照することにより，電子決済システム等を利用して自動的に決済することができる。
【００３７】
上述したようなシステム構成となっているので，クライアントはただ映像を見るだけでなく，意味情報と映像中のインデクスＩＤを対応させてインタラクティブコンテンツとして利用できるようになる。その結果，以下のような映像情報サービスが可能となる。
【００３８】
図５は，インデクスＩＤを用いたサービスイメージ図である。例えば，特開平８−３０５７２０号に示される「マルチメディアデータ管理方法及び装置」が実現するようなアプリケーションのように，映像を説明する詳細情報を意味情報として結び付けることにより，放送中にテキストや音楽，画像，映像の関連情報をリンクで結んだハイパーメディアとして扱うことが可能となる。
【００３９】
例えば，詳細情報をＷＷＷ（World Wide Web）のページに記述した場合，意味情報として，インデクスＩＤに対応するＵＲＬ（Uniform Resource Locator）をクライアントがダウンロードする。ダウンロードの際にＵＲＬを各人ごとに変更することにより，各人に対して異なった情報を映像に同期して提供できるようになる。その結果，各クライアントで独立に映像の説明を得ることができる。
【００４０】
図５に示すように，大人用のＵＲＬと子供用のＵＲＬをクライアントの要求に従い意味情報として埋め込まれたＩＤに対応させた場合，インターネット上でそれぞれ大人用関連情報ブラウジングや子供用関連情報ブラウジングを行うサービスを提供できる。例えば，歴史上の建造物（城や寺院）に関する映像をクライアントが受信しているときに，大人用として建造物の詳細な説明やその時代の歴史的背景に関する情報を音声やテキストで得られることが可能になったり，子供用としてアニメーションや音声によってわかりやすい解説をすることも可能になる。
【００４１】
また，映像に付与したインデクスＩＤを映像の中身と対応する意味情報と結合させて，見たいシーンだけを表示させることもできる。例えば特願平１１−２１４５８２号に示される「ライブ映像送受信システム，ライブ映像送信装置および受信装置」で実現されるアプリケーション（ＬｉｖｅＷａｔｃｈ）を，意味情報サーバ１０４からダウンロードすることも可能である。このとき，野球の試合における進行情報，すなわち表裏回数情報，ＳＢＯ（ストライクボールアウト）情報などをインデクスＩＤとして時系列に沿って映像に埋め込んでおけば（例えば「ＩＤ＝１→１回の表」としてＩＤを与える），ＬｉｖｅＷａｔｃｈアプリケーションを用いることで，クライアントでは試合進行を文字やグラフィックスで表示することが可能となる。
【００４２】
また，このインデクスＩＤとそれに対応する意味情報を利用してフレーム毎にクライアントユーザに見せるかどうかをアプリケーションで判断させて，ユーザが見たいシーンを表示させることができる。このときに見たいシーンを表示する代わりに画面の点滅やアラームでユーザに知らせることも可能で，ヒットやホームラン等の見たいシーン，ハイライトシーンを見逃すことがなくなる。
【００４３】
ユーザが上記のアプリケーションを利用した時，利用したという情報，すなわち利用状況をユーザクライアント１０３から課金サーバ１０７へアップロードすることにより，課金することも可能である。利用状況は即時にアップロードしてもよいし，ユーザクライアント１０３に蓄積しておき，番組視聴終了後，もしくは契約により定める周期毎に課金サーバ１０７で回収してもよい。この方法を利用すれば，アプリケーションの利用時間や利用頻度に基づき課金することが可能になる。
【００４４】
マルチアングルの切り替えに使う場合も同様で，ユーザクライアント１０３が意味情報サーバ１０４から切り替えアプリケーションをダウンロードしておき，インデクスＩＤに対応する意味情報に従ってライブ中継を自動スイッチングしたり，あるいはクライアントユーザがスイッチングする際の指標を映像に合わせて文字や画像で表示できるようになり，ユーザは，自分の嗜好に応じた臨場感あふれる映像を楽しむことができるようになる。
【００４５】
図６は，ユーザクライアント１０３の処理フローチャートである。ユーザクライアント１０３が意味情報サーバ１０４から意味情報をダウンロードする契機として，ユーザクライアント１０３において利用するアプリケーションプログラムが決まった時点で静的にダウンロードする場合と，映像配信サーバ１０２から受信した映像ストリーム中のインデクスＩＤを解読するために動的にダウンロードする場合とがある。
【００４６】
静的な意味情報のダウンロードの場合，ユーザからの指示によりアプリケーションプログラムを選択すると（ステップＳ１），意味情報サーバ１０４に選択したアプリケーションプログラムのアプリケーション名とユーザＩＤとを送信し，アプリケーションプログラムに対応する意味情報をダウンロードする（ステップＳ２）。ダウンロードした意味情報は，意味情報ＤＢ１２１中に保持する。
【００４７】
動的な意味情報のダウンロードの場合，ユーザクライアント１０３は，映像配信サーバ１０２から受信したインデクスＩＤ付き映像ストリームから，インデクスＩＤを抽出し（ステップＳ３），意味情報ＤＢ１２１の意味情報テーブル中に，抽出したインデクスＩＤが登録されているかどうか，すなわちインデクスＩＤの意味情報への変換ルールがあるかどうかを判定する（ステップＳ４）。該当するインデクスＩＤの変換ルールがある場合，ステップＳ６へ進む。意味情報テーブル中に該当するインデクスＩＤの変換ルールがない場合，抽出したインデクスＩＤ，アプリケーション名，ユーザＩＤをパラメータとして意味情報サーバ１０４に意味情報のダウンロードを依頼し，インデクスＩＤに対応する意味情報をダウンロードする（ステップＳ５）。ダウンロードした意味情報は，意味情報ＤＢ１２１中に保持する。
【００４８】
ステップＳ６では，意味情報ＤＢ１２１を参照してインデクスＩＤを意味情報へ変換し，意味情報に関してユーザの操作に応じた処理を実行する（ステップＳ７）。ユーザの操作があると，その操作に伴う利用時間，利用アプリケーション名，ユーザＩＤを課金のための情報として，課金サーバ１０７へ送信する（ステップＳ８）。以上のステップＳ３〜Ｓ８を，映像ビットストリームの受信を終了するか，ユーザがアプリケーションの利用を終了するまで，繰り返す。
【００４９】
図７は，意味情報サーバ１０４の処理フローチャートである。意味情報サーバ１０４は，ユーザクライアント１０３からの意味情報のダウンロード要求の際に，アプリケーション名とユーザＩＤ，またはそれにインデクスＩＤを加えた情報を受け取り，それらをパラメータとして意味情報ＤＢ１２２を参照し，該当する意味情報を検索する（ステップＳ１０）。検索した意味情報を含む意味情報テーブルを要求元のユーザクライアント１０３へ送信する（ステップＳ１１）。その後，課金サーバ１０７へ利用時間，利用アプリケーション名，ユーザＩＤを内容とする課金のための利用情報を送信する（ステップＳ１２）。意味情報サーバ１０４は，他にユーザクライアント１０３からの要求により，埋め込まれたインデクスＩＤを用いるアプリケーションプログラムのダウンロードや，埋め込まれたインデクスＩＤが暗号化されている場合に，その暗号を解く暗号鍵のダウンロードを処理することもできる。
【００５０】
図８は，課金サーバ１０７の処理フローチャートである。課金サーバ１０７は，意味情報サーバ１０４またはユーザクライアント１０３から利用時間，利用アプリケーション名，ユーザＩＤを内容とする課金情報を受け取る。受け取った課金情報は，意味情報サーバ１０４からのものであるか，ユーザクライアント１０３からのものであるかを判定し（ステップＳ２０），意味情報サーバ１０４からのものである場合には，図４に示す課金情報テーブルの利用種別に設定する値を“ダウンロード”とする（ステップＳ２１）。ユーザクライアント１０３からのものである場合には，利用種別に設定する値を“操作”とする（ステップＳ２２）。その後，課金情報ＤＢ１２５の課金情報テーブルに情報を格納し蓄積する（ステップＳ２３）。
【００５１】
図９は，本発明を適用したストリーム送受信システムの第２の実施の形態に係るシステム構成図である。これは，デジタル放送での放送装置から受信装置に放送されるビットストリームにインデクスＩＤを埋め込んだ場合のシステム構成を示している。
【００５２】
本システムは，映像インデクサ２０１と放送装置２０２と受信装置２０３と意味情報サーバ２０４と課金サーバ２０７，および通信回線２０５，ネットワーク２０６，２０８，２０９から構成されている。通信回線２０５は，放送装置２０２からの放送波を受信装置２０３に送出する回線であり，有線でも無線でもどちらでもよい。また，ネットワーク２０６，２０８，２０９は例えばインターネットや電話網などであり，これらが全て同じものであっても構わない。なお，この図において，１個の受信装置２０３が通信回線２０５に接続されているように示したが，実際には複数の受信装置が通信回線２０５に接続されている。
【００５３】
映像インデクサ２０１は，映像入力器２１１とインデクサ２１２とで構成されている。放送装置２０２は，符号化器２１３と送信器２１４とで構成されている。意味情報サーバ２０４は，意味情報データベース（ＤＢ）２２２と情報送信器２２３とで構成されている。また，受信装置２０３は，受信器２１５と復号化器２１６と情報入力器２２０と意味情報データベース（ＤＢ）２２１と意味結合器２１７と操作器２１９および表示器２１８とで構成されている。課金サーバ２０７は，情報受信器２２４と課金情報データベース（ＤＢ）２２５とで構成されている。
【００５４】
映像インデクサ２０１の映像入力器２１１に，例えばビデオカメラで撮像した映像／音声や映像情報データベースで生成された映像ストリームが入力され，入力された映像ストリームはインデクサ２１２において意味情報サーバ２０４の意味情報ＤＢ２２２に蓄えられている意味情報に対応するインデクスＩＤが埋め込まれる。このインデクスＩＤの埋め込みは，第１の実施の形態の図２のイメージと同様なので，詳細な説明は省略する。
【００５５】
インデクスＩＤが埋め込まれた映像ストリームは，放送装置２０２の符号化器２１３で符号化され，映像ストリームが送信器２１４を介して通信回線２０５に送出される。
【００５６】
通信回線２０５に接続された受信装置２０３では，受信器２１５でインデクス付き映像ストリームを受信し，復号化器２１６で映像ストリームを復号し，映像ストリームの中からインデクスＩＤを抽出し（電子すかし技術を使って暗号化してある場合は所定の復元処理をした後に抽出），抽出したインデクスＩＤを意味結合器２１７に入力する。また，インデクスＩＤを除去した映像ストリームは表示器２１８に入力する。
【００５７】
一方，意味情報サーバ２０４の意味情報ＤＢ２２２のデータを情報送信器２２３を介して，受信装置２０３の情報入力器２２０に取り込み，受信装置２０３内の意味情報ＤＢ２２１にダウンロードする。なお，この意味情報をダウンロードする際に，意味情報サーバ２０４から課金サーバ２０７の情報受信器２２４へアクセス情報を送信し，課金サーバの課金情報ＤＢ２２５がアクセス履歴を管理することにより，受信装置２０３に課金することが可能である。決済は，例えばインターネットの電子決済システムや放送受信料契約等を利用した料金の支払いにより行う。
【００５８】
意味結合器２１７では，入力されたインデクスＩＤに対応する意味情報を意味情報ＤＢ２２１のデータ情報を参照して解読し，解読した意味情報を表示器２１８に映像と共に表示する。また，操作器２１９に入力した意味情報を用いて，ユーザとのインタラクションを行ったり，その結果を表示させることも可能である。
【００５９】
上述したようなシステム構成となっているので，クライアントはただ映像を見るだけでなく，意味情報と映像中のインデクスＩＤとを対応させてインタラクティブコンテンツとして利用できるようになる。その結果，ユーザは，図５と同様の各種サービスを享受することができるようになる。
【００６０】
受信装置２０３，意味情報サーバ２０４，課金サーバ２０７の処理内容については，第１の実施の形態におけるユーザクライアント１０３，意味情報サーバ１０４，課金サーバ１０７と同様であるので，処理フローチャートを用いた説明は省略する。
【００６１】
【発明の効果】
本発明によれば，サーバまたは放送装置の入力となる映像インデクサでインデクスＩＤを映像ストリームに埋め込んで，クライアントまたは受信装置側の全員に送る際に，そのインデクスのタイミングを共通に送るため，サーバまたは放送装置側から送る情報を削減できる。さらに，クライアントまたは受信装置側では埋め込まれたインデクスＩＤをもとにインデクスの映像における時間位置を把握できるのでインデクス情報と映像の同期が取れ，高度な映像と情報のリンク処理を実現できる。また，クライアントまたは受信装置側の各人が求める意味情報をそれぞれインデクスに結合することにより，それぞれが，独立に異なるインデクスの利用をできるようになる。さらに，インデクスＩＤを電子透かし技術により暗号化して埋め込むことにより，クライアントや放送受信者の嗜好や要望の守秘性を確保できる。一方，意味情報を提供する意味情報サーバからの意味情報や利用アプリケーションや暗号鍵のクライアントまたは受信装置へのダウンロード時に課金することが可能となり，また，アプリケーションプログラムのクライアントまたは受信装置での利用時に課金することが可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態のシステム構成図である。
【図２】本発明のインデクスＩＤを映像ストリームに埋め込むイメージ図である。
【図３】意味情報ＤＢのテーブル構成例を示す図である。
【図４】課金情報ＤＢのテーブル構成例を示す図である。
【図５】本発明のインデクスＩＤを用いたサービスイメージ図である。
【図６】ユーザクライアントの処理フローチャートである。
【図７】意味情報サーバの処理フローチャートである。
【図８】課金サーバの処理フローチャートである。
【図９】本発明の第２の実施の形態のシステム構成図である。
【符号の説明】
１０１ 映像インデクサ
１０２ 映像配信サーバ
１０３ ユーザクライアント
１０４ 意味情報サーバ
１０５，１０６，１０８，１０９ ネットワーク
１０７ 課金サーバ
１１１ 映像入力器
１１２ インデクサ
１１３ 符号化器
１１４ 送信器
１１５ 受信器
１１６ 復号化器
１１７ 意味結合器
１１８ 表示器
１１９ 操作器
１２０ 情報入力器
１２１，１２２ 意味情報ＤＢ
１２３ 情報送信器
１２４ 情報受信器
１２５ 課金情報ＤＢ
５１ 映像ストリーム
５２ インデクスＩＤ付き映像ストリーム
２０１ 映像インデクサ
２０２ 放送装置
２０３ 受信装置
２０４ 意味情報サーバ
２０５ 通信回線
２０６，２０８，２０９ ネットワーク
２０７ 課金サーバ
２１１ 映像入力器
２１２ インデクサ
２１３ 符号化器
２１４ 送信器
２１５ 受信器
２１６ 復号化器
２１７ 意味結合器
２１８ 表示器
２１９ 操作器
２２０ 情報入力器
２２１，２２２ 意味情報ＤＢ
２２３ 情報送信器
２２４ 情報受信器
２２５ 課金情報ＤＢ
Claims (8)
- インターネット放送を始めとするネットワーク放送で，映像情報のビットストリームに，予め定められた意味情報に対応づけられたインデクスＩＤを埋め込む映像インデクサと，
前記ビットストリームを送信する映像配信サーバと，
意味情報を提供する意味情報サーバと，
前記ビットストリームを受信するクライアントと，
前記映像配信サーバと前記クライアント，および前記意味情報サーバと前記クライアントとを接続するネットワークとからなるシステムであって，
前記映像インデクサは，ビットストリームを入力する映像入力手段と，入力したビットストリームに前記インデクスＩＤを埋め込むインデクサとを備え，
前記映像配信サーバは，映像圧縮する符号化手段と，符号化されたビットストリームをネットワークに送出する情報送信手段とを備え，
前記意味情報サーバは，前記インデクスＩＤに結び付く意味情報を蓄える意味情報データベースと，意味情報をクライアントへネットワーク経由で送出する送信手段とを備え，
前記クライアントは，ネットワークに送出された前記ビットストリームを受信する受信手段と，符号化されたビットストリームを復号化する復号化手段と，ビットストリームを表示する表示手段と，前記意味情報サーバから意味情報をダウンロードする情報入力手段と，復号化されたビットストリームから埋め込まれたインデクスＩＤを抽出して前記ダウンロードした意味情報に基づきインデクスＩＤの意味を解読する意味結合手段と，解読結果をもとに前記表示手段を制御する操作手段とを備える
ことを特徴とするストリーム送受信システム。 - 有線または無線のデジタル放送で，映像情報のビットストリームに，予め定められた意味情報に対応づけられたインデクスＩＤを埋め込む映像インデクサと，
前記ビットストリームを送信する放送装置と，
前記ビットストリームを受信する受信装置と，
意味情報を提供する意味情報サーバと，
前記放送装置と前記受信装置とを有線または無線で接続する通信回線と，
前記意味情報サーバと前記受信装置とを接続するネットワークとからなるシステムであって，
前記映像インデクサは，ビットストリームを入力する映像入力手段と，入力したビットストリームに前記インデクスＩＤを埋め込むインデクサとを備え，
前記放送装置は，映像を符号化する符号化手段と，符号化されたビットストリームを通信回線に送出する送信手段とを備え，
前記意味情報サーバは，前記インデクスＩＤに結び付く意味情報を蓄える意味情報データベースと，意味情報をクライアントへネットワーク経由で送出する送信手段とを備え，
前記受信装置は，通信回線に送出された前記ビットストリームを受信する受信手段と，ビットストリームを復号化する復号化手段と，ビットストリームを表示する表示手段と，前記意味情報サーバの意味情報データベースから意味情報をダウンロードする情報入力手段と，復号化されたビットストリームから埋め込まれたインデクスＩＤを抽出して前記ダウンロードした意味情報に基づきインデクスＩＤの意味を解読する意味結合手段と，解読結果をもとに前記表示手段を制御する操作手段とを備える
ことを特徴とするストリーム送受信システム。 - 請求項１または請求項２に記載するストリーム送受信システムにおいて，
前記映像インデクサは，インデクスＩＤを電子透かし技術を用いて暗号化してビットストリームに埋め込む
ことを特徴とするストリーム送受信システム。 - 請求項１または請求項２に記載するストリーム送受信システムにおける意味情報サーバであって，
前記埋め込まれたインデクスＩＤに結合させる意味情報を，ネットワーク経由で前記クライアントまたは前記受信装置にダウンロードさせる手段を持つ
ことを特徴とする意味情報サーバ。 - 請求項１または請求項２に記載するストリーム送受信システムにおける意味情報サーバであって，
前記埋め込まれたインデクスＩＤを用いるアプリケーションプログラムを，ネットワーク経由で前記クライアントまたは前記受信装置にダウンロードさせる手段を持つ
ことを特徴とする意味情報サーバ。 - 請求項３に記載するストリーム送受信システムにおける意味情報サーバであって，
前記暗号化され埋め込まれたインデクスＩＤの暗号を解く鍵を，ネットワーク経由で前記クライアントまたは前記受信装置にダウンロードさせる手段を持つ
ことを特徴とする意味情報サーバ。 - 請求項４，請求項５または請求項６に記載する意味情報サーバから意味情報，アプリケーションプログラムまたは暗号鍵をダウンロードさせる際に，ダウンロードを要求した前記クライアントまたは前記受信装置に対して課金する
ことを特徴とするストリーム送受信システムにおける課金方法。 - 請求項５に記載する意味情報サーバからダウンロードされたアプリケーションプログラムを，前記クライアントまたは前記受信装置が利用する際に，そのクライアントまたは受信装置に課金する
ことを特徴とするストリーム送受信システムにおける課金方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000141390A JP3723412B2 (ja) | 2000-05-15 | 2000-05-15 | ストリーム送受信システム，意味情報サーバおよびストリーム送受信システムにおける課金方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000141390A JP3723412B2 (ja) | 2000-05-15 | 2000-05-15 | ストリーム送受信システム，意味情報サーバおよびストリーム送受信システムにおける課金方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001326924A JP2001326924A (ja) | 2001-11-22 |
| JP3723412B2 true JP3723412B2 (ja) | 2005-12-07 |
Family
ID=18648514
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000141390A Expired - Fee Related JP3723412B2 (ja) | 2000-05-15 | 2000-05-15 | ストリーム送受信システム，意味情報サーバおよびストリーム送受信システムにおける課金方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3723412B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6868267B1 (en) * | 2000-11-17 | 2005-03-15 | Qualcomm Inc. | Apparatus, method, and article of manufacture used to invoice for services consumed in a communications network |
| JP2003217057A (ja) * | 2002-01-17 | 2003-07-31 | Matsushita Electric Ind Co Ltd | 宅内モニタリングシステム |
| US7486793B2 (en) | 2002-02-15 | 2009-02-03 | Nagracard S.A. | Invoicing management method of a service transmitted per time unit |
| JP2003308328A (ja) | 2002-04-16 | 2003-10-31 | Nippon Telegr & Teleph Corp <Ntt> | コンテンツ連携再生装置、方法、プログラムおよび記録媒体 |
| US9021197B2 (en) * | 2005-06-24 | 2015-04-28 | Hewlett-Packard Development Company, L.P. | Drive indicating mechanism for removable media |
| JP5696096B2 (ja) * | 2012-05-31 | 2015-04-08 | 株式会社Ｎｔｔドコモ | 通信端末装置、課金装置、及び情報配信システム |
-
2000
- 2000-05-15 JP JP2000141390A patent/JP3723412B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001326924A (ja) | 2001-11-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN100438610C (zh) | 以实况广播节目事件提供全交互式服务的数字交互式系统 | |
| CN102577421B (zh) | 用于使用社交tv服务识别的内容的数字版权管理保护 | |
| AU761408B2 (en) | Verification apparatus, verification method, verification system, and storage medium | |
| JP4587151B2 (ja) | インターネットｄｔｖシステム、並びに、コマーシャルサーバ及びその制御方法 | |
| CN102160375B (zh) | 使用可扩展视频编码的数字线性tv节目的递送方法 | |
| CN100387055C (zh) | 接收装置及接收方法 | |
| JPH09510327A (ja) | ケーブルテレビ・システムのヘッドエンドのためのネットワーク・マネージャ | |
| JPH1117633A (ja) | 広告情報放送方法、広告情報放送システムおよび受信装置 | |
| JP2003199078A (ja) | イベントに関係した映像ストリームをイベントに居合わせている観客へ送信する伝送システム | |
| WO2001093585A1 (en) | Universal digital broadcast system and methods | |
| JP2004538727A (ja) | Ｍｐｅｇ‐４に基づくマルチメディア・システム、そのシステムのためのサービス・プロバイダ、およびコンテンツに基づく遠隔通信装置 | |
| JP2009065551A (ja) | 関連情報伝達方法、関連情報伝達サーバ、端末装置、関連情報伝達システム | |
| WO2008024338A2 (en) | Locally originated iptv programming | |
| US20020099800A1 (en) | Data mark and recall system and method for a data stream | |
| JP4323792B2 (ja) | 電子番組表生成装置および電子番組表生成方法 | |
| JP2005198313A (ja) | ディジタルリアルタイム対話型番組システム | |
| CN101120333A (zh) | 用于远程用户界面的系统和方法 | |
| JP3723412B2 (ja) | ストリーム送受信システム，意味情報サーバおよびストリーム送受信システムにおける課金方法 | |
| EP1422943B1 (en) | Transmitter apparatus, reciever apparatus and recieving method | |
| US10237627B2 (en) | System for providing audio recordings | |
| CN101668172B (zh) | 一种业务内容的播放方法、系统和装置 | |
| KR101078701B1 (ko) | 아이피티브이 프로그램의 서브 콘텐츠 선택 재생 방법 및 장치 | |
| KR20130103931A (ko) | 메타데이터 우선제공 증강방송 장치 및 방법 | |
| KR100686689B1 (ko) | 주문형 프로그램 제공 서비스의 스케줄 관리시스템 및 그방법 | |
| JP4720850B2 (ja) | 受信装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050705 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050817 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20050817 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050913 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050915 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D02 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080922 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090922 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090922 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100922 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100922 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110922 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120922 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130922 Year of fee payment: 8 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |