JP4597110B2 - 放送情報に関連した情報の取得方法及びシステム並びに装置 - Google Patents

Description

本発明は、放送情報又は記録情報に関連した情報をネットワークに接続されたサーバ等から視聴者が取得する技術に関する。

デジタル衛星放送、データ放送も始まり、それらは多彩な放送サービスに加え新しいマスメディアとしての期待も大きい。通信の分野では、ＩＳＤＮ、ＤＳＬ、ＦＴＴＬ、ＩＭＴ−２０００等の多くのアクセス系が整備され、それらを用いたＩＰ定額常時接続サービスの開始、通信網のブロードバンド化で、今以上にインターネットの急激な普及が見込まれる。インターネットもマスメディアとして大きく発展する可能性を見せている。近い将来、デジタル放送とブロードバンド通信が密接に融合し、インタラクティブをキーワードに、より一層の多彩なサービスが開花することが予想される。

インタラクティブがもたらす最大の視聴者にとっての恩恵は、パーソナライズな情報（その人に合った情報）のパーソナライズな享受（その人に合った受け取り方）である。情報を享受するための道具（端末）も、受け取る情報の種類やそのデータ量、使う人の使用目的や使用環境、情報への操作のしやすさ等に適したものが多種多様化し普及し始めている。

このような背景の下、上記の技術分野に関する従来技術とその問題点について次の３つの観点から説明する。
（１）テレビ、ラジオ等の一方向から一方的に与えられる情報は、情報を得るための強いポジティブな操作が伴わないため、煩わしさを感じさせないが、テレビ、ラジオ等メディアは、物理的にそこに載せられる情報に限界がある。情報提供者により選別、演出され、与えられた情報に、視聴者が満足できれば問題はないが、個々の視聴者がそれぞれの嗜好からの情報量的な不満、放送時間や放送エリア等の情報提供方法に対する不満を感じた場合、今までのアナログテレビ、アナログラジオ等のアナログメディアだけでは、その不満を解決することはできない。放送メディアをアナログからデジタル化し、物理的にそこに載せられる情報を増やすことや、カルーセル方式による情報配信で擬似的なインタラクティブ性を視聴者に与えたとしても、その不満を本質的に解決したことになっていない。

インターネットを用いて、放送メディアに載せきれなかった情報や関連する情報を配信するサービスも開始されているが、単に複数のメディア（マルチメディア）による情報提供をしているため、視聴者の利用シーンを考慮した、異なるメディア（マルチメディア）で配信された情報間の連動、連携をユーザインタフェースの観点から解決していない。

特開平９−１６０８５２（特許文献１）、特開２０００−１８３８３５（特許文献２）の発明は、ラジオやテレビで放送された楽曲や映像をネットワークから容易に入手するための装置を提供している。これは、放送された楽曲や映像を視聴後に入手する際の煩わしさに関する課題を解決している。楽曲や映像と共にそれらを同定するための付加情報（関連情報）をメディアに載せて視聴者に配信し、視聴者が所望する楽曲や映像が配信されている時にその要求を受信装置に入力することで、付加情報が記録される。記録した付加情報をキーにネットワークを介して所望した楽曲や映像を同定しそれを得るしくみである。

しかしながら、現在の多種多様な通信アクセス系、端末を前提に、放送コンテンツに連動、連携して、個々の視聴者がそれぞれの嗜好から希望する関連コンテンツを提供する多種多様なサービスに応えること、またそのサービスをコンテンツ提供者が公平に提供することは、上記発明では原理的に解決しきれていない。

すなわち、従来技術では、以下のような課題が解決されていない。多種多様なサービスを提供できる配信装置に構成上なっていない。視聴者の受信環境（端末スペック等）を考慮した関連コンテンツの配信ができない。配信する際のアクセス系の状態を把握できない。また、従来技術では視聴者が所望する楽曲や映像が配信されている時に提供サービスの要求（サービスを受けるのに必要な関連情報の記録）を入力した場合のみサービスを受けられる構成となっている。したがって、放送に連携、連動したサービスの予約やお知らせができない。視聴者が所望するサービスを捕り漏らしなく受けたいと思う場合、従来の装置構成であると視聴者に絶えず関連情報の記録を強いることになる。
（２） 一方、ＢＳデジタル放送、ＣＳデジタル放送等のデジタル放送では、映像音声とともに多様な関連情報が提供され、これらの関連情報は視聴者が映像を視聴しながら参照することが可能となっている。

しかし、ディジタル放送受信装置として一般的であるテレビ受像機では、関連情報を閲覧する場合には、映像表示部の一部分に関連情報を表示したり、あるいは、映像表示部全体に関連情報を表示するため、関連情報を閲覧している時には、映像が縮小されたり、映像の一部が隠れたり、あるいは、映像の視聴を一時中断する必要がある。また、関連情報の情報量が多い場合、視聴者が映像を視聴しながら同時に関連情報の内容を十分に把握することは困難であり、関連情報だけを、番組終了後等視聴者が希望する時点でゆっくりと視聴できることが望ましい。また、従来のディジタル放送受信装置では、関連情報を閲覧する場合には、受信される関連情報が一様に画面に表示されるため、視聴者にとって興味のない関連情報まで表示されることになる。

また、ディジタル放送受信装置では、関連情報やＥＰＧ（Ｅｌｅｃｔｒｉｃ Ｐｒｏｇｒａｍ Ｇｕｉｄｅ）情報を利用して視聴者の興味対象となる放送番組や関連情報を、視聴者がテレビ放送を視聴していない間に、自動的に選別して装置内に蓄積しておくことが検討されている。この際、視聴者の興味を示す情報を獲得することが課題となる。従来では、視聴者が興味のあるキーワードを直接に入力することにより興味情報を獲得する、あるいは視聴者が視聴した番組の関連情報から興味情報を推測する方法等が提案されている。

ここで、視聴者の興味対象となる放送番組を自動的に選別する方法については、例えば、次の文献に記載されている。〔非特許文献１〕：矢川雄一、鵜飼ひろみ、田中哲雄、柴田正啓、金淵培、「個人の嗜好に合ったテレビ番組を自動編成するエージェントの検討」、信学技報、ＡＩ９８−５５、ＰＰ．９−１６、１９９８年１２月。

更に、視聴者が視聴した番組の関連情報から興味情報を推測する方法については、特開平１１−１３４３４５号公報「嗜好情報選択装置」（特許文献３）に記載されている。

しかし、興味のあるキーワードを意識的に考えて入力することは視聴者にとって必ずしも容易ではない。また、番組の関連情報から興味情報を推測する方法は、前述の興味のない関連情報まで表示されることと本質的に同じ課題が残される。
（３）上記のように、デジタル放送においては、テレビ放送又はラジオ放送に任意の関連情報としてのデータ信号を多重して放送することが可能である。従って、デジタル放送受信装置において、又はその受信装置に接続された端末において、放送に多重されたデータ信号を利用することにより、放送コンテンツに同期した処理を行うことができる。例えば、放送されるテレビ番組やラジオ番組に関する関連情報を、当該番組と同時に配信することが可能である。

同様に、アナログテレビ放送においても、ＡＲＩＢ ＳＴＤ−Ｂ５「垂直帰線消去期間を使用する伝送方式の標準テレビジョン・データ放送」により既定される方式により、テレビ映像信号に任意のデータ信号を多重することが可能である。特に、「Ｂｉｔ Ｃａｓｔ」（参考：日経マルチメディア、Ｎｏ．２８、１９９７．１０、Ｐ．５２〜Ｐ．５７）（非特許文献２）と称されるシステム等では、アナログテレビ映像信号に多重されたデータ信号を利用して、放送コンテンツに同期した関連情報提示等の機能を実現している。

また、ＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）においては、所定のホームページのコンテンツを、テレビ、ラジオ等の放送コンテンツに同期して逐次更新することがなされている。インターネットに接続されるクライアントが、その所定のホームページをアクセスすることで、放送コンテンツにある程度同期した情報提示等を享受することができる。

しかしながら、放送に多重されたデータ信号を利用して放送コンテンツに同期した処理を行うためには、その処理を行う端末が、放送に多重されたデータ信号を取得する必要がある。即ち、端末自身が放送を受信する機能を有するか、又は放送受信装置に接続され且つ該放送受信装置から放送に多重されたデータ信号を取得する機能を有しなければならないという課題がある。

また、そのような機能を有することなく、端末がネットワークを介して放送に多重されたデータ信号を取得する場合、イベント発生からそれに対応するアクションの実行までに、ネットワークにおけるデータ信号の遅延時間が生じるという課題がある。

更に、放送される映像音声に関連する情報を提供する場合、ＵＲＬ等を当該映像音声と同時に送信する方法等では、放送情報にＵＲＬ等の情報をそれぞれ付加して放送する必要がある。例えば、ＣＭ等繰り返し放送される放送情報等についても、逐次、その放送毎に対応したＵＲＬ等の情報を付加する処理を施す必要がある。

更には、放送映像音声を蓄積して利用する場合にも前記の方法では、何らかの手段を講じることにより、放送映像音声と同時に放送されたＵＲＬ等の情報を関連付けて蓄積しておかなければ蓄積された映像音声の再生視聴時には、関連情報を取得できない問題がある。

同様に、特開平９−１６０８５２「情報提供装置」（特許文献１）のように、時刻とＣＨ番号をキーとして関連情報を取得しようとする方法でも、一度蓄積した放送情報を視聴する際には視聴時刻が放送時刻と異なるために関連情報と対応させることができなくなり、関連情報を取得できなくなる問題がある。

更に、従来技術においては、視聴されている放送番組映像の画像フレームの切り替わりを極めて正確に把握できないという問題がある。

上述したように、従来の技術においては、放送情報又は記録情報の視聴者がネットワークに接続されたサーバ等から放送情報又は記録情報に関連した情報又はコンテンツを取得することは容易でないという問題がある。
特開平９−１６０８５２号公報 特開２０００−１８３８３５号公報 特開平１１−１３４３４５号公報 矢川雄一、鵜飼ひろみ、田中哲雄、柴田正啓、金淵培、「個人の嗜好に合ったテレビ番組を自動編成するエージェントの検討」、信学技報、ＡＩ９８−５５、ＰＰ．９−１６、１９９８年１２月 「Ｂｉｔ Ｃａｓｔ」日経マルチメディア、Ｎｏ．２８、１９９７．１０、Ｐ．５２〜Ｐ．５７

本発明は上記の点に鑑みてなされたものであり、放送情報又は記録情報の視聴者がネットワークに接続されたサーバ等から放送情報又は記録情報に関連した情報又はコンテンツを容易に取得することができるようにすることを目的とする。より詳細には、本発明では次に示す第１〜第５の目的を達成することにより、上記の目的を達成している。

本発明の第１の目的は、上記（１）の従来技術の問題点の解決を図るものであり、情報を一方向から一方的に与える放送メディアに載せきれなかった関連する情報を、多種多様な通信アクセス系、端末を前提に、放送コンテンツに連動、連携して、コンテンツ提供者が個々の視聴者に対して視聴者の希望に応じたスタイルで多種多様なサービスを公平に提供できるようにすること、また、視聴者が所望するサービスを捕り漏らしなく受けられる環境と、視聴中、視聴後に関連コンテンツを入手するサービスを受ける際の煩わしさに関する課題を解決した環境を提供することである。

本発明の第２の目的は、上記（２）の従来技術の問題点の解決を図るものであり、視聴者が映像情報を視聴しながら興味を持った被写体に関連した情報を時間の制約等を受けることなく容易に参照できるようにすること、また、視聴者の動的に変化する興味情報に適合する放送情報を自動選択し一視聴者が入手できるようにすること、また、多様かつ的確な関連情報を参照することを可能にし、きめ細かな映像情報の自動選択を可能にすることである。

本発明の第３〜第５の目的は、上記（３）の従来技術の問題点の解決を図るものであり、より詳細には、本発明の第３の目的は、視聴者装置が放送に多重されたデータ信号を取得することなく、放送される所定チャネルの放送コンテンツに同期したイベントに対する処理を、素早く実行するための技術を提供することである。また、本発明の第４の目的は、放送情報に対して関連情報を提供するために必要な情報を付加する等の特別な処理を行う必要がなく、かつ、放送情報を一時蓄積して再生視聴する際にもネットワークを介して該放送情報に関する関連情報提供サービスを可能とすることである。更に、本発明の第５の目的は、放送受信装置と独立な、すなわち、放送受信装置とデジタル信号通信を行うため通信回線等の通信手段を有さない視聴者装置が、利用者が視聴中の放送番組内容を、１／３０秒（テレビ放送映像の１画像フレーム単位相当）以上の極めて短時間の時間分解能で、個々に識別可能とし、正確に放送内容に同期したサービスの提供を可能とすることである。

上記の第１の目的を達成するために、本発明は次のように構成することができる。

本発明は、視聴者装置と映像又は音声に関係したサービスを提供するコンテンツ提供サーバとがネットワークを介して接続されたシステムにおいて、視聴者装置が前記サービスの提供を受けるための方法であって、視聴者装置がサービス提供を要求する際に関連情報提供サーバに必要なサービス提供要求情報を送信して映像に関連する提供可能なサービスの情報を要求し、関連情報提供サーバが前記サービス提供要求情報に基づいて視聴者装置に前記提供可能なサービスの情報を送信し、視聴者装置が前記提供可能なサービスの情報を受信し、視聴者装置が前記提供可能なサービスの中から選択したサービスの提供をコンテンツ提供サーバに要求し、 前記コンテンツ提供サーバからサービスの提供を受けるように構成される。

前記方法において、視聴者装置が視聴者情報を記憶保持するステップを更に有し、前記サービス提供要求情報は該視聴者情報を含むようにしてもよい。

また、本発明は、放送を視聴する視聴者の視聴者装置と、放送に関連するコンテンツを提供するコンテンツ提供サーバとがネットワークを介して接続されるシステムであって、前記視聴者装置は、放送コンテンツに連動もしくは連携して、前記コンテンツ提供サーバに対し、サービス提供を要求する際に必要な情報を送信して放送コンテンツに関連する提供可能なサービスの情報を要求する手段と、前記コンテンツ提供サーバから受信した提供可能なサービスの情報を選択可能な形態で可視化して表示する手段と、可視化して表示されたサービスの情報からサービスを選択して前記コンテンツ提供サーバに対しサービスを要求する手段と、前記サービスの要求に対し前記コンテンツ提供サーバが提供するサービスを受信して利用する手段とを備え、前記コンテンツ提供サーバは、前記視聴者装置から受信した提供可能なサービスの情報の要求に対し、前記視聴者装置の情報をもとに提供可能なサービスを選別する手段と、選別した提供可能なサービスの情報を前記視聴者装置へ送信する手段と、前記視聴者装置からのサービスの要求を受信し、そのサービスを要求元の視聴者装置へ送信する手段とを備えるように構成する。

上記システムにおいて、前記視聴者装置はイベント情報を受信する手段を更に有し、前記視聴者装置におけるサービスの情報を要求する手段は、該イベント情報に基き視聴者が予め設定したタイミングで自動的に要求を出すようにしてもよい。

また、前記コンテンツ提供サーバは、前記視聴者装置からサービスの要求を受信したときに、当該コンテンツ提供サーバと視聴者装置間のアクセス系の状態を推定又は検出する手段と、推定又は検出したアクセス系の状態と前記視聴者装置の情報とをもとに、前記視聴者装置へ送信するサービスに係るコンテンツを変換して最適化する手段とを備えるようにしてもよい。

また、本発明は、ネットワークを介して放送に関連するコンテンツを提供する提供者のコンテンツ提供サーバに接続される、放送を視聴する視聴者の視聴者装置であって、放送コンテンツに連動もしくは連携して、前記コンテンツ提供サーバに対し、サービス提供を要求する際に必要な情報を送信して放送コンテンツに関連する提供可能なサービスの情報を、視聴者からの入力により又は予め設定されたタイミングで自動的に要求する手段と、前記コンテンツ提供サーバから受信した提供可能なサービスの情報を選択可能な形態で可視化して表示する手段と、
可視化して表示されたサービスの情報からサービスを選択して前記コンテンツ提供サーバに対しサービスを要求する手段と、前記サービスの要求に対し前記コンテンツ提供サーバが提供するサービスを受信して利用する手段とを備えるように構成する。

また、本発明は、ネットワークを介して放送を視聴する視聴者の視聴者装置に接続される、放送に関連するコンテンツを提供する提供者のコンテンツ提供サーバであって、前記視聴者装置から受信した提供可能なサービスの情報の要求に対し、前記視聴者装置の情報をもとに提供可能なサービスを選別する手段と、選別した提供可能なサービスの情報を前記視聴者装置へ送信する手段と、前記視聴者装置からサービスの要求を受信したときに、当該コンテンツ提供サーバと視聴者装置間のアクセス系の状態を推定又は検出する手段と、推定又は検出したアクセス系の状態をもとに前記視聴者装置へ送信するサービスに係るコンテンツを変換して最適化する手段と、最適化したコンテンツを要求元の視聴者装置へ送信し、サービスを提供する手段とを備えるように構成する。

また、本発明の目的を達成するために、本発明は次のように構成することができる。

本発明は、視聴者装置と映像又は音声に関係したコンテンツ情報を提供するコンテンツ提供サーバとがネットワークを介して接続されたシステムにおいて、視聴者装置が前記コンテンツ情報を取得するための方法であって、視聴者装置が前記コンテンツ情報を取得するために必要な関連情報を入手し、前記コンテンツ提供サーバに関連情報を送信して前記コンテンツ情報の送信を要求し、前記コンテンツ提供サーバから送信される前記コンテンツ情報を取得するように構成する。

特に、第２の目的を達成するために、本発明は上記構成において、前記視聴者装置は、映像と共に放送される関連情報、あるいは映像と共に記録されている関連情報を、視聴者装置が前記映像から分離することによって前記関連情報を入手し、該関連情報は、映像中に含まれている複数の被写体の各々に対応して、少なくとも一つの情報資源識別情報と、被写体を説明する被写体属性情報を含むように構成することができる。

また、第２の目的を達成するために、本発明は次のように構成することができる。

本発明は、少なくとも映像を含む映像情報と、該映像情報に関連した関連情報とを含む放送情報を受信する視聴者装置であって、前記関連情報は、前記映像情報中に含まれている複数の被写体の各々に対応して、少なくとも一つの情報資源識別情報と、被写体を説明する被写体属性情報とを含み、前記視聴者装置は、前記放送情報を受信する放送受信部と、映像表示部と、映像表示制御部と、第１のポインティング手段と、被写体関連情報表示部と、関連情報表示制御部と、第２のポインティング手段と、被写体属性情報蓄積部と、関連情報アクセス部と、関連情報蓄積部とを備え、前記映像表示制御部は、前記放送受信部が受信した前記放送情報の中の映像情報を前記映像表示部に表示し、前記映像表示部において表示された複数の被写体の中で前記第１のポインティング手段によりポインティングされた被写体を識別し、前記関連情報表示制御部は、前記映像表示制御部が識別した被写体を代表する文字、記号又は図形を前記被写体関連情報表示部に表示するとともに、前記被写体関連情報表示部において前記第２のポインティング手段によりポインティングされた文字、記号又は図形によって代表される被写体に対応する情報資源識別情報を識別し、その情報資源識別情報を前記関連情報アクセス部に送り、前記関連情報アクセス部は、前記情報資源識別情報に対応して前記関連情報蓄積部又は通信網に接続された情報源にアクセスしてコンテンツ情報を入手し、前記関連情報表示制御部は、前記関連情報アクセス部によって入手したコンテンツ情報を前記被写体関連情報表示部に表示するように構成する。

また、前記視聴者装置は更に興味情報抽出部を備え、前記関連情報表示制御部が、前記第２のポインティング手段によりポインティングされた文字、記号又は図形によって代表される被写体に対応する情報資源識別情報と、被写体属性情報と、前記情報源から入手したコンテンツ情報と、前記コンテンツ情報が被写体関連情報表示部に表示された時間に関する表示時間情報のうちのいずれか複数もしくは全てを前記興味情報抽出部に送信し、前記興味情報抽出部は、前記情報資源識別情報、前記被写体属性情報、前記コンテンツ情報、前記表示時間情報のうちいずれか複数もしくは全てを参照し興味情報を作成して保持するとともに、前記放送情報を受信した時刻とは異なる時刻に前記放送受信部から受信した放送情報を、当該興味情報に基づいて選択するようにしてもよい。

また、前記視聴者装置において、映像蓄積部を具備し、前記興味情報抽出部によって選択された放送情報を該映像蓄積部に蓄積するようにしてもよい。

また、前記視聴者装置において、前記関連情報表示制御部は、前記第２のポインティング手段又は他の入力手段により前記被写体関連情報表示部に表示されている被写体を代表する文字、記号又は図形を移動又は削除する手段を持ち、前記被写体を代表する文字、記号又は図形の移動又は削除の操作が発生した場合に、当該操作の内容を示す操作情報を前記興味情報抽出部に送信し、前記興味情報抽出部は、前記操作情報に基づいて前記興味情報を更新するようにしてもよい。

更に、前記視聴者装置において、前記関連情報は、前記映像情報中に含まれている複数の被写体の各々に対応づけられ、前記映像表示部において表示される際の被写体座標値を含み、該被写体座標値の点を含む領域を前記第１のポインティング手段がポインティングすることにより被写体を識別するようにしてもよい。

本発明の第３の目的を達成するために、本発明は次のように構成することができる。

視聴者装置と映像又は音声に関係したコンテンツ情報を提供するコンテンツ提供サーバとがネットワークを介して接続されたシステムにおいて、視聴者装置が前記コンテンツ情報を取得するための方法であって、視聴者装置が前記コンテンツ情報を取得するために必要な関連情報を入手し、前記コンテンツ提供サーバに関連情報を送信して前記コンテンツ情報の送信を要求し、前記コンテンツ提供サーバから送信される前記コンテンツ情報を取得する構成において、前記システムは関連情報提供サーバを含み、該関連情報提供サーバが映像の放送時間と同期して指定される有効期間毎に、有効なイベントを示すイベント識別子、及びそれに対応した動作を指定するアクションテーブルを構成し、関連情報提供サーバが視聴者装置へアクションテーブルを送信し、視聴者装置が関連情報提供サーバからアクションテーブルを受信し、視聴者装置が発生したイベントからイベント識別子を導出して、受信した前記アクションテーブルを用いて前記イベント識別子に対応した動作を行うことによって、前記コンテンツ情報を取得するために必要な関連情報を入手するようにする。

また、本発明は、放送局又は放送情報蓄積サーバから送信される放送コンテンツに関する情報を収集するサーバと、該サーバとネットワークを介して通信する視聴者装置とを有する放送コンテンツと同期するイベントを処理するシステムであって、前記サーバは、前記放送コンテンツの放送時間と同期して指定される有効期間毎に、有効なイベントを示すイベント識別子、及びそれに対応して実行される処理を示すアクション内容情報を指定するアクションテーブルを構成するアクションテーブル構成手段と、該アクションテーブルを前記視聴者装置ヘ送信するアクションテーブル提供手段とを有し、前記視聴者装置は、発生したイベントからイベント識別子を導出するイベント管理手段と、前記サーバから受信した前記アクションテーブルをその有効期間だけ参照し、該テーブルを用いて前記イベント識別子に対応するアクション内容情報を導出するアクションテーブル管理手段と、該アクション内容情報を実行するアクション実行手段とを有するように構成する。

また、上記システムにおいて、前記視聴者装置の前記アクションテーブル管理手段は、前記イベント管理手段で導出された前記イベント識別子を前記サーバヘ送信し、前記サーバは、前記視聴者装置から受信した前記イベント識別子を前記視聴者装置毎に管理する視聴者装置情報管理手段を更に有し、前記サーバの前記アクションテーブル構成手段は、前記視聴者装置毎に管理された前記イベント識別子に基づいて、前記視聴者装置毎に前記アクションテーブルを構成するようにしてもよい。これにより、同じイベントに対しても、クライアント毎に適切な異なるアクション内容が実行される。

また、上記システムにおいて、前記視聴者装置の前記アクションテーブル管理手段は、現在参照しているアクションテーブルの有効期間が終了すると共に、次の有効期間に相当するアクションテーブルを参照することができるように、予め先の有効期間のアクションテーブルを前記サーバヘ要求するようにしてもよい。これにより、視聴者装置（クライアント）の都合で、アクションテーブルを必要とする時に、要求することが可能となり、無駄なアクションテーブルの配信を防ぐことができる。

また、上記システムにおいて、前記サーバの前記アクションテーブル提供手段は、前記アクションテーブル構成手段が新しいアクションテーブルを構成すると直ぐに、複数の前記視聴者装置ヘ該新しいアクションテーブルを能動的に配信するようにしてもよい。これにより、視聴者装置は、アクションテーブルを要求する必要がなく、その手順を単純化できる。

また、本発明は次のように構成することもできる。

本発明は、放送局又は放送情報蓄積サーバから送信される放送コンテンツに関する情報を収集するサーバと、該サーバとネットワークを介して通信する視聴者装置とを有するシステムで用いられる放送コンテンツと同期するイベントを処理する方法であって、前記サーバが、前記放送コンテンツの放送時間と同期して指定される有効期間毎に、有効なイベントを示すイベント識別子、及びそれに対応して実行される処理である、ＵＲＬに対応付けられたアイコンを追加表示する処理を示すアクション内容情報を指定するアクションテーブルを構成する第１の段階と、前記サーバが、前記アクションテーブルを前記視聴者装置ヘ送信する第２の段階と、前記視聴者装置が、発生したイベントからイベント識別子を導出する第３の段階と、前記視聴者装置が、前記サーバから受信した前記アクションテーブルを用いて前記イベント識別子に対応する前記アクション内容情報を導出する第４の段階と、前記視聴者装置が、前記アクション内容情報を実行する第５の段階とを有し、前記視聴者装置は、前記サーバから受信した前記アクションテーブルをその有効期間だけ参照する方法であり、前記視聴者装置は、前記放送コンテンツを受信し表示する機能を含む出力装置と接続されるとともに、ポインティングデバイスと接続されており、前記アクションテーブルにおける前記イベント識別子は、前記出力装置のディスプレイ画面上の所定の領域を識別する領域情報を含み、前記領域情報により識別される前記所定の領域が前記ポインティングデバイスによりポインティングされたときに、前記視聴者装置は、前記アクションテーブルにおける前記イベント識別子に対応付けられた前記アクション内容情報を実行する。

上記方法において、前記第３の段階は、前記視聴者装置が導出した前記イベント識別子を前記サーバヘ送信し、前記サーバが、前記視聴者装置から受信した前記イベント識別子を前記視聴者装置毎に管理する第６の段階を更に有し、前記第１の段階は、前記サーバが、前記視聴者装置毎に管理された前記イベント識別子に基づいて、前記視聴者装置毎に前記アクションテーブルを構成するようにしてもよい。

また、上記方法において、前記視聴者装置は、現在参照しているアクションテーブルの有効期間が終了すると共に、次の有効期間に相当するアクションテーブルを参照することができるように、予め先の有効期間のアクションテーブルを前記サーバヘ要求する段階を更に有するようにしてもよい。

また、上記方法において、前記サーバが、前記第１の段階で新しいアクションテーブルを構成すると直ぐに、複数の前記視聴者装置ヘ該新しいアクションテーブルを能動的に配信する段階を有するようにしてもよい。

また、本発明は、放送局又は放送情報蓄積サーバから送信される放送コンテンツに関する情報を収集し、放送コンテンツと同期するイベントを処理するサーバであって、前記放送コンテンツの放送時間と同期して指定される有効期間毎に、有効なイベントを示すイベント識別子、及びそれに対応して実行される処理である、ＵＲＬに対応付けられたアイコンを追加表示する処理を示すアクション内容情報を指定するアクションテーブルを構成するアクションテーブル構成手段と、該アクションテーブルを視聴者装置ヘ送信するアクションテーブル提供手段と、を有するサーバであり、前記視聴者装置は、前記放送コンテンツを受信し表示する機能を含む出力装置と接続されるとともに、ポインティングデバイスと接続されており、前記アクションテーブルにおける前記イベント識別子は、前記出力装置のディスプレイ画面上の所定の領域を識別する領域情報を含み、前記視聴者装置において、前記領域情報により識別される前記所定の領域が前記ポインティングデバイスによりポインティングされたときに、前記アクションテーブルにおける前記イベント識別子に対応付けられた前記アクション内容情報が実行されるように構成する。

上記サーバにおいて、前記視聴者装置から受信したイベント識別子を前記視聴者装置毎に管理する視聴者装置情報管理手段を更に有し、前記アクションテーブル構成手段は、前記視聴者装置毎に管理された前記イベント識別子に基づいて、前記視聴者装置毎に前記アクションテーブルを構成するようにしてもよい。

また、上記サーバにおいて、前記アクションテーブル提供手段は、前記アクションテーブル構成手段が新しいアクションテーブルが構成されると直ぐに、複数の前記視聴者装置ヘ該新しいアクションテーブルを能動的に配信するようにしてもよい。

また、本発明は、放送局又は放送情報蓄積サーバから送信される放送コンテンツに関する情報を収集するサーバと、該サーバとネットワークを介して通信する視聴者装置とを有するシステムにおける視聴者装置であって、前記放送コンテンツの放送時間と同期して指定される有効期間毎に、有効なイベントを示すイベント識別子、及びそれに対応して実行される処理である、ＵＲＬに対応付けられたアイコンを追加表示する処理を示すアクション内容情報を指定するアクションテーブルを前記サーバから受信する手段と、発生したイベントからイベント識別子を導出するイベント管理手段と、前記アクションテーブルをその有効期間だけ参照し、該テーブルを用いて前記イベント識別子に対応する前記アクション内容情報を導出するアクションテーブル管理手段と、該アクション内容情報を実行するアクション実行手段と、前記イベント識別子を前記サーバヘ送信する手段と、を有する視聴者装置であり、前記視聴者装置は、前記放送コンテンツを受信し表示する機能を含む出力装置と接続されるとともに、ポインティングデバイスと接続されており、前記アクションテーブルにおける前記イベント識別子は、前記出力装置のディスプレイ画面上の所定の領域を識別する領域情報を含み、前記領域情報により識別される前記所定の領域が前記ポインティングデバイスによりポインティングされたときに、前記アクション実行手段は、前記アクションテーブルにおける前記イベント識別子に対応付けられた前記アクション内容情報を実行するよう構成する。

上記視聴者装置において、前記アクションテーブル管理手段は、現在参照しているアクションテーブルの有効期間が終了すると共に、次の有効期間に相当するアクションテーブルを参照することができるように、予め先の有効期間のアクションテーブルを前記サーバヘ要求する手段を有するようにしてもよい。

本発明の第４、第５の目的を達成するために、本発明は次のように構成することができる。

本発明は、視聴者装置と、放送情報に関連する情報である関連情報を提供する関連情報提供サーバとがネットワークを介して接続されたシステムにおいて、視聴者装置が前記関連情報を取得するための方法であって、視聴者装置が、前記放送情報から抽出した所定の情報を関連情報提供サーバに送信し、関連情報提供サーバが、該所定の情報を用いて該放送情報に関連する関連情報を取得し、前記視聴者装置に送信するように構成する。

上記方法において、更に前記関連情報提供サーバは該関連情報の提供対象となり得る視聴者の特性を示す視聴者情報、及び関連情報の提供対象となる端末の特性を示す視聴者装置情報を格納し、視聴者装置は前記所定の情報に加えて該視聴者装置固有の視聴者情報又は視聴者装置情報を前記関連情報提供サーバに送信し、該関連情報提供サーバは、関連情報を取得した後、該視聴者装置固有の視聴者情報又は視聴者装置情報に基づいて関連情報を選別し、視聴者装置に送信するようにしてもよい。

特に、本発明の第４の目的を達成するために、本発明は次のように構成することができる。

本発明は、視聴者装置と映像又は音声に関係したコンテンツ情報を提供するコンテンツ提供サーバとがネットワークを介して接続されたシステムにおいて、視聴者装置が前記コンテンツ情報を取得するための方法であって、視聴者装置が前記コンテンツ情報を取得するために必要な関連情報を入手し、前記コンテンツ提供サーバに関連情報を送信して前記コンテンツ情報の送信を要求し、前記コンテンツ提供サーバから送信される前記コンテンツ情報を取得する構成において、前記システムは関連情報提供サーバを含み、該関連情報提供サーバのデータベースに映像とその関連情報を記録し、視聴者装置が映像又は該映像を変換して得られた特徴量情報である部分映像情報を関連情報提供サーバに送信し、関連情報提供サーバが受信した映像又は部分映像情報によって前記データベースを検索し、その結果取得された関連情報を視聴者装置に送信し、視聴者装置が前記コンテンツ情報を取得するために必要な関連情報を入手するよう構成する。

上記方法において、 更に前記関連情報のデータベースに該関連情報の提供対象となり得る視聴者の特性を示す視聴者情報、及び関連情報の提供対象となる端末の特性を示す視聴者装置情報を記録し、視聴者装置は前記部分映像情報に加えて該視聴者装置固有の視聴者情報又は視聴者装置情報を前記関連情報提供サーバに送信し、該関連情報提供サーバは、関連情報を取得した後、該視聴者装置固有の視聴者情報又は視聴者装置情報に基づいて関連情報を選別し、視聴者装置に送信するようにしてもよい。

また、本発明は、放送情報に関連する情報である関連情報を取得し、視聴者に提供する関連情報提供方法であって、放送情報を放送情報データベースに蓄積しておき、各放送情報の関連情報を関連情報データベースに蓄積しておき、視聴者が視聴中の放送情報又は該放送情報を変換して得られた特徴量情報である部分放送情報に対応する放送情報を前記放送情報データベースより検索し、更に該放送情報で前記関連情報データベースを検索することにより、該放送情報の関連情報を取得し、視聴者に提供するように構成することができる。

また、本発明は、蓄積された放送情報に関連する情報である関連情報を取得し、視聴者に提供する関連情報提供方法において、放送情報を放送情報データベースに蓄積しておき、各放送情報の関連情報を関連情報データベースに蓄積しておき、視聴者が再生視聴中の、放送情報蓄積装置に蓄積された放送情報又は該放送情報を変換して得られた特徴量情報である部分放送情報に対応する放送情報を前記放送情報データベースより検索し、更に該放送情報で前記関連情報データベースを検索することにより、該放送情報の関連情報を取得し、視聴者に提供するよう構成することもできる。

上記方法において、前記部分放送情報は、視聴者による関連情報取得指示が入力された時点を含む一定期間に視聴された放送情報又は該放送情報を変換して得られた特徴量情報であるとしてもよい。

また、上記方法において、前記放送情報データベースは各放送情報を、当該放送情報を識別するための情報である放送情報識別情報で管理し、前記関連情報データベースは前記放送識別情報と、当該放送情報に対応する関連情報を対応させて管理し、前記放送情報データベースを検索することにより前記部分放送情報に対応する放送情報の放送情報識別情報を特定し、前記関連情報データベースを参照し前記放送情報識別情報に対応する関連情報を得、視聴者に提供するようにしてもよい。

また、上記方法において、前記関連情報データベースは、前記関連情報に加えてその提供対象となり得る視聴者の特性を示す視聴者情報、及び関連情報の提供対象となる端末の特性を示す視聴者装置情報を管理し、関連情報を特定した後、該視聴者固有の視聴者情報又は視聴者装置情報に基づいて関連情報を選別し、視聴者に提供するようにしてもよい。

また、本発明は、映像音声を含む放送情報を受信し、視聴者に提供する手段と、視聴者の関連情報取得指示により該指示が入力された時点で前記視聴者が視聴中の放送情報又は該放送情報を変換して得られた特徴量情報である部分放送情報を所定のネットワークを介して送信し、また前記ネットワークを介して送信されてきた関連情報を取得する手段を有する１台以上の視聴者装置と、前記ネットワークに接続され、各放送情報を、当該放送情報を識別するための情報である放送情報識別情報に対応させて管理する放送情報データベースと、前記放送情報データベースに蓄積されている放送情報識別情報と、当該放送情報に対応する関連情報を対応させて管理する関連情報データベースと、前記視聴者装置が送信した前記部分放送情報と対応する放送情報を前記放送情報データベース中より検索することにより前記部分放送情報に対応する放送情報の放送情報識別情報を特定する手段と、前記関連情報データベースを参照し、前記特定された放送情報識別情報に対応する関連情報を得、前記視聴者装置に送信する手段を含む関連情報提供サーバとを有するシステムとして構成することができる。

また、本発明の視聴者装置は、放送情報を受信する放送受信手段と、前記放送受信手段で受信された放送情報を復調復号する放送情報復調復号手段と、関連情報取得指示を含む各種指示を視聴者が入力するための入力手段と、所定のネットワークを介して、各放送情報に対応する関連情報を蓄積している関連情報提供サーバと通信するためのネットワーク通信手段と、前記入力手段より関連情報取得指示が入力されると、該指示が入力された時点で前記放送情報復調復号手段より出力された放送情報又は該放送情報を変換して得られた特徴量情報である部分放送情報を前記ネットワーク通信手段を介して前記ネットワークに送信し、その後前記ネットワークを介して前記関連情報提供サーバから送信されてきた、前記部分放送情報に対応する関連情報を前記ネットワーク通信手段を介して受け取る関連情報取得手段と、前記放送情報復調復号手段から出力された放送情報および前記関連情報取得手段で受け取られた関連情報を表示再生する表示再生手段とを有するように構成できる。

上記視聴者装置において、前記放送情報復調復号手段から出力された放送情報を蓄積する放送情報蓄積手段を更に有し、前記関連情報取得手段は、視聴者が前記放送情報蓄積手段に蓄積されている放送情報を再生視聴中に、前記入力手段より関連情報取得指示が入力されると、該指示が入力された時点で再生視聴中の放送情報又は該放送情報を変換して得られた特徴量情報である部分放送情報を前記ネットワーク通信手段を介して前記ネットワークに送信するように構成してもよい。

また、上記視聴者装置はブックマーク用ボタンを更に有し、視聴者が前記ブックマーク用ボタンを操作しブックマークした時点の部分放送情報をメモリに蓄積しておき、前記関連情報取得手段は、視聴者が関連情報取得指示を入力した時点で前記関連情報提供サーバにアクセスし、前記メモリに蓄積された部分放送情報を前記関連情報提供サーバに通知するようにしてもよい。

また、本発明の関連情報提供サーバは、所定のネットワークに接続され、各放送情報を、当該放送情報を識別するための情報である放送情報識別情報に対応させて管理する放送情報データベースと、前記放送情報データベースに蓄積されている放送情報識別情報と、当該放送情報に対応する関連情報を対応させて管理する関連情報データベースと、視聴者装置が前記ネットワークを介して送信した部分放送情報と対応する放送情報を前記放送情報データベース中より検索することにより前記部分放送情報に対応する放送情報の放送情報識別情報を特定する手段と、前記関連情報データベースを参照し、前記特定された放送情報識別情報に対応する関連情報を得、前記視聴者装置に送信する手段を有し、前記部分放送情報は、視聴者が任意の時点に視聴中の放送情報又は再生視聴中の、放送情報蓄積装置に蓄積された放送情報又はこれら放送情報を変換して得られた特徴量情報であるように構成することができる。

本発明の第５の目的を達成するために、本発明は次のように構成することができる。

本発明は、視聴者装置と映像又は音声に関係したコンテンツ情報を提供するコンテンツ提供サーバとがネットワークを介して接続されたシステムにおいて、視聴者装置が前記コンテンツ情報を取得するための方法であって、視聴者装置が前記コンテンツ情報を取得するために必要な関連情報を入手し、前記コンテンツ提供サーバに関連情報を送信して前記コンテンツ情報の送信を要求し、前記コンテンツ提供サーバから送信される前記コンテンツ情報を取得する構成において、放送局又は放送情報蓄積サーバが、所定のデータ信号を音声に重畳して送信し、放送受信装置がスピーカより放送音声を出力し、視聴者装置が該放送音声をマイクロホンで集音して電気信号に変換し、該電気信号に重畳されている前記データ信号を逐次連続的に抽出して、該データ信号を用いて関連情報を入手するようにする。

また、上記方法において、前記システムは関連情報提供サーバを含み、前記視聴者装置が前記データ信号を関連情報提供サーバに送信し、関連情報提供サーバが受信した該データ信号を用いて関連情報を取得し、該関連情報を視聴者装置に送信し、視聴者装置が該関連情報を入手するようにしてもよい。

更に、上記方法において、更に前記関連情報提供サーバは前記関連情報の提供対象となり得る視聴者の特性を示す視聴者情報、及び関連情報の提供対象となる端末の特性を示す視聴者装置情報を格納し、視聴者装置は前記データ信号に加えて該視聴者装置固有の視聴者情報又は視聴者装置情報を前記関連情報提供サーバに送信し、該関連情報提供サーバは、関連情報を特定した後、該視聴者装置固有の視聴者情報又は視聴者装置情報に基づいて関連情報を選別し、視聴者装置に送信するようにしてもよい。

また、本発明は、音声又は音声と映像を送信する放送局又は放送情報蓄積サーバ側が、音声に、各放送チャネルに対して一意に割り当てられたチャネル識別子と、映像中の各画像フレームに対して一意に割り当てられた画像フレーム識別子、又は音声中の各音声フレームに対して一意に割り当てられた音声フレーム識別子とを含むデータ信号を重畳して送信し、受信側において、視聴者装置が、放送受信装置のスピーカより出力される放送音声をマイクロホンで集音して電気信号に変換し、該電気信号に重畳されている前記データ信号を逐次、連続的に抽出して、該データ信号からチャネル識別子及び、画像フレーム識別子又は音声フレーム識別子を抽出し、これらのチャネル識別子及び、画像フレーム識別子又は音声フレーム識別子に対応する関連情報をネットワークを介して取得することを特徴とする放送同期型サービス提供方法として構成することができる。

上記方法において、放送局又は放送情報蓄積サーバ側が、画像フレーム識別子又は音声フレーム識別子を、時系列に連続する数字として送信し、視聴者装置が、放送受信装置のスピーカより出力された音声から該者声に重畳されているデータ信号を、逐次、運続的に抽出する際に、音声からデータ信号が正しく抽出され、画像フレーム識別子又は音声フレーム識別子が確認された場合には、該画像フレーム識別子又は音声フレーム識別子を、放送受信装置において現在再生されている画像の画像フレーム識別子又は音声フレーム識別子として用い、音声からデータ信号が正しく抽出されず、画像フレーム識別子又は音声フレーム識別子が確認されなかった場合には、最近に確認された画像フレーム識別子又は音声フレーム識別子の値と、該最近に確認された画像フレーム識別子又は音声フレーム識別子が確認された時刻と現在時刻の差分に基づいて、画像フレーム識別子又は音声フレーム識別子を生成して用いるようにしてもよい。

また、上記方法において、視聴者装置がネットワークから取得する関連情報は、該ネットワークに接続されている関連情報提供サーバが管理する放送情報データベースに、チャネル識別子及び画像フレーム識別子又は音声フレーム識別子と対応付けて保持されている関連情報を、前記関連情報提供サーバを経由して得るようにしてもよい。

また、本発明は、音声又は音声と映像を送信する放送局又は放送情報蓄積サーバ側に、音声に、各放送チャネルに対して一意に割り当てられたチャネル識別子と、映像中の各画像フレームに対して一意に割り当てられた画像フレーム識別子、又は音声中の各音声フレームに対して一意に割り当てられた音声フレーム識別子とを含むデータ信号を重畳して送信する手段を設け、受信側の視聴者装置に、放送受信装置のスピーカより出力される放送音声を集音して電気信号に変換するマイクロホンと、該電気信号に重畳されている前記データ信号を、逐次、連続的に抽出すると共に、該データ信号からチャネル識別子及び、画像フレーム識別子又は音声フレーム識別子を抽出するデータ信号抽出手段と、抽出したチャネル識別子及び、画像フレーム識別子又は音声フレーム識別子に対応する関連情報をネットワークを介して取得する手段を設けたことを特徴とする放送同期型サービス提供システムとして構成することができる。

また、本発明は、放送局又は放送情報蓄積サーバから送信される音声又は音声と映像を受信する放送受信装置より出力される音声を受信する視聴者装置であって、前記音声には、各放送チャネルに対して一意に割り当てられたチャネル識別子と、映像中の各画像フレームに対して一意に割り当てられた画像フレーム識別子、又は音声中の各音声フレームに対して一意に割り当てられた音声フレーム識別子とを含むデータ信号が重畳され、該視聴者装置は、放送受信装置のスピーカより出力される放送音声を集音して電気信号に変換するマイクロホンと、該電気信号に重畳されている前記データ信号を、逐次、連続的に抽出すると共に、該データ信号からチャネル識別子及び、画像フレーム識別子又は音声フレーム識別子を抽出するデータ信号抽出手段と、抽出したチャネル識別子及び、画像フレーム識別子又は音声フレーム識別子に対応する関連情報をネットワークを介して取得する手段を設けて構成することができる。

上記視聴者装置において、前記視聴者装置が、前記ネットワークに接続されている関連情報提供サーバに前記チャネル識別子及び、画像フレーム識別子又は音声フレーム識別子に加えて該視聴者装置固有の視聴者情報又は視聴者装置情報を送信し、該関連情報提供サーバが該視聴者装置固有の視聴者情報又は視聴者装置情報に適合した前記関連情報を選択し、視聴者装置は該関連情報を前記ネットワークを介して取得するようにしてもよい。

本発明によれば、放送情報又は記録情報の視聴者がネットワークに接続されたサーバ等から当該放送情報又は記録情報に関連した情報又はコンテンツを容易に取得することができるようになる。

以下、第１〜第５の目的に対応した第１〜第５の実施の形態について説明する。なお、第１〜第５の実施の形態に係る各々の発明により、放送情報又は記録情報の視聴者がネットワークに接続されたサーバ等から放送情報又は記録情報に関連した情報又はコンテンツを容易に取得することができるようになり、本発明の目的が達成される。次に、各実施の形態の概要について説明する。

第１の実施の形態では、放送局から配信される放送を視聴する放送受信装置と、放送に関連した関連情報を得る装置とが一体となった視聴者装置が、関連情報とその関連情報に対応したコンテンツを提供する関連情報コンテンツ提供サーバにサービスを要求することにより、関連情報の取得等を行う。また、イベント情報を視聴者装置が取得し、そのイベント情報に基づき視聴者装置がサービスを要求する。

第２の実施の形態では、上記関連情報コンテンツ提供サーバが提供する関連情報に相当する情報（ＵＲＬ等）を含む放送情報を、放送局から視聴者装置に送るようにする。当該情報は被写体単位でフレーム毎に付加され、視聴者が興味を持った被写体をポインティング等することにより関連情報を取得する。また、視聴者のポインティングに基づき、興味情報を取得し、視聴者の興味に合ったコンテンツを自動的に取得する。これにより、第１の実施例と同様、放送情報等に関連した情報を容易に取得できるようになる。

第３〜第５の実施の形態に関しては、基本的な構成については第１の実施の形態と同様であり、放送情報等に関連した情報を容易に取得できるようにすることを目的とするが、関連情報を取得するための構成に違いがある。

すなわち、第３の実施の形態では、関連情報提供サーバが視聴者装置に、放送内容に関連したアクションテーブルを提供し、放送を視聴する視聴者がそのアクションテーブルに示されたイベントを発生させることにより、そのイベントに対応したアクションが実行され、関連情報の取得等を行う。

第４の実施の形態では、視聴者装置が部分放送情報を関連情報提供サーバに送信し、関連情報提供サーバがその部分放送情報に基づき放送に関連する関連情報を視聴者装置に送信する。

第５の実施の形態では、放送の中の音声にフレームＩＤ等が重畳され、視聴者装置で当該フレームＩＤ等を抽出し、当該フレームＩＤ等を用いて関連情報コンテンツ提供サーバに関連情報を要求する。

また、上記の各実施の形態において、視聴者プロファイル等の視聴者情報や端末情報に関連した関連情報を視聴者装置が取得することが可能である。更に、各実施の形態において、放送局からの放送情報を受信しながら関連情報を取得するのみならず、例えば図１８に示すように、放送情報を蓄積した放送情報蓄積サーバから、例えばインターネット等のネットワークを介して放送情報を受信しながら、その放送情報に関連する関連情報を視聴者装置が取得することが可能である。

以下、各実施の形態について詳細に説明する。

［第１の実施の形態］
以下、第１の目的に対応する第１の実施の形態について詳細に説明する。

図１は、本発明の第１の実施の形態の基本的な構成例を示す図である。図中、１００１は放送を視聴する視聴者の視聴者装置、１００２は放送に関連する情報とその情報に対応するコンテンツを提供する提供者の関連情報コンテンツ提供サーバ、１００３は一方向から一方的に放送コンテンツを送信する放送局、１００４はイベント情報を提供するイベント情報提供サーバを表す。

視聴者装置１００１の提供可能サービス要求手段１０１１は、視聴者が放送局１００３からの放送を視聴しているとき、視聴者からの指示によって、関連情報コンテンツ提供サーバ１００２に対し、サービス提供を要求する際に必要な視聴者情報や端末情報、又は視聴者装置１００１のＩＤを送信して放送コンテンツに関連する提供可能なサービスの情報を要求する。

関連情報コンテンツ提供サーバ１００２の提供可能サービス選別手段１０２１は、視聴者装置１００１から受信した提供可能なサービスの情報の要求に対し、視聴者装置１００１の情報をもとに提供可能なサービスを選別する。提供可能サービス情報送信手段１０２２は、選別した提供可能なサービスの情報を視聴者装置１００１へ送信する。

視聴者装置１００１の提供可能サービス情報可視化表示手段１０１２は、関連情報コンテンツ提供サーバ１００２から受信した提供可能なサービスの情報をアイコン化して表示し、サービス選択・要求手段１０１３は、アイコンの一つがポインティングデバイスによって選択されると、そのアイコンが示すサービスを関連情報コンテンツ提供サーバ１００２へ要求する。

関連情報コンテンツ提供サーバ１００２のサービス要求受信手段１０２３は、そのサービス要求を受信すると、アクセス系状態検出手段１０２４を起動する。アクセス系状態検出手段１０２４は、関連情報コンテンツ提供サーバ１００２から視聴者装置１００１へ予め定めた量の情報パケットを流し、視聴者装置１００１から返ってくるまでの時間を測定することにより、関連情報コンテンツ提供サーバ１００２と視聴者装置１００１間のアクセス系の状態を推定する。

サービスコンテンツ最適化手段１０２５は、視聴者装置１００１の情報とアクセス系の状態をもとに視聴者装置１００１へ送信するサービスに係るコンテンツの画面サイズ、解像度等を変換して最適化する。サービス提供手段１０２６は、最適化したコンテンツを視聴者装置１００１へ送り、要求されたサービスを提供する。

視聴者装置１００１のサービス利用手段１０１４は、関連情報コンテンツ提供サーバ１００２が提供するサービスのコンテンツを受信し、そのコンテンツを蓄積、表示、出力する等して、要求したサービスの利用を図る。

図２は、図１に示す本発明の機能を実現するためのシステムの構成図である。
視聴者装置１００１と関連情報コンテンツ提供サーバ１００２とは、ネットワーク１００５を介して接続される。視聴者装置１００１は、入力部１１１０、表示部１１２０、制御部１１３０、処理部１１４０、センサー部１１５０、蓄積・管理部１１６０、通信部１１７０を備える。また、関連情報コンテンツ提供サーバ１００２は、入力部１２１０、表示部１２２０、制御部１２３０、処理部１２４０、蓄積・管理部１２５０、通信部１２６０を備える。

図３は、視聴者装置１００１の構成例を示す図である。視聴者装置１００１の入力部１１１０は、操作入力手段１１１１、音声入力手段１１１２、画像・映像入力手段１１１３、アイコン操作入力手段１１１４、設定操作入力手段１１１５、コンテンツ操作手段１１１６からなる。表示部１１２０は、受信情報可視化手段１１２１、サービス情報表示手段１１２２、イベント情報表示手段１１２３、設定画面表示手段１１２４、コンテンツ表示手段１１２５からなる。

処理部１１４０は、音声情報認識手段１１４１、画像・映像認識手段１１４２、配信イベント情報条件マッチ判断手段１１４３、アイコン操作手段１１４４からなる。蓄積・管理部１１６０は、視聴者情報蓄積・管理手段１１６１、端末情報蓄積・管理手段１１６２からなる。センサー部１１５０は、ユーザ環境感知手段１１５１からなる。通信部１１７０は、情報送信手段１１７１、情報受信手段１１７２、イベント情報受信手段１１７３からなる。また、視聴者装置１００１は、メモリー部１１８０を持ち、メモリー部１１８０には、情報一時格納手段１１８１が設けられている。

図４は、関連情報コンテンツ提供サーバ１００２の構成例を示す。関連情報コンテンツ提供サーバ１００２の入力部１２１０は、情報入力手段１２１１からなり、表示部１２２０は、情報表示手段１２２１からなる。処理部１２４０は、提供可能サービス選別手段１２４１、コンテンツ間リンク手段１２４２、コンテンツ変換手段１２４３、アクセス系状態検出手段１２４４からなる。蓄積・管理部１２５０は、視聴者情報蓄積・管理手段１２５１、端末情報蓄積・管理手段１２５２、視聴者環境情報蓄積・管理手段１２５３、コンテンツイベント情報蓄積・管理手段１２５４、放送情報蓄積・管理手段１２５５、コンテンツ蓄積・管理手段１２５６からなる。通信部１２６０は、情報受信手段１２６１、放送情報受信手段１２６２、情報送信手段１２６３からなる。また、関連情報コンテンツ提供サーバ１００２は、メモリー部１２７０を持ち、メモリー部１２７０には、情報一時格納手段１２７１が設けられている。

図５は、視聴者装置１００１と関連情報コンテンツ提供サーバ１００２間の情報の流れを示す。以下、図５に従って図２〜図４に示す装置の動作について詳細に説明する。なお、番組情報等の放送情報は、事前に放送業者から関連情報コンテンツ提供サーバ１００２へ送られ、イベント情報は、イベント情報提供者から事前に又は放送時に視聴者装置１００１へ送られる。
（１）サービス提供要求入力
まず、視聴者装置１００１において、視聴者が一方向に配信された放送コンテンツを視聴していて、放送されているコンテンツに関連する関連コンテンツに関するサービスを受けたいと思った時、その要求を入力部１１１０で入力する。この視聴者の要求を入力する手段として、ボタン等による操作入力手段１１１１、マイク等による音声入力手段１１１２、カメラ等により撮影したジェスチャー等の画像・映像入力手段１１１３がある。

操作入力手段１１１１で入力された情報（オン／オフ情報）は、制御部１１３０を介してメモリー部１１８０に格納される。音声入力手段１１１２により入力された音声情報、及び画像・映像入力手段１１１３により入力された画像・映像情報は、制御部１１３０を経由して、それぞれ処理部１１４０の音声情報認識手段１１４１、画像・映像認識手段１１４２に送られる。これらによって、視聴者が要求を入力したことを認識し、結果（オン／オフ情報）を制御部１１３０を介してメモリー部１１８０に格納する。
（２）サービス提供要求情報
制御部１１３０では、メモリー部１１８０に要求入力情報が格納された場合、蓄積・管理部１１６０の視聴者情報蓄積・管理手段１１６１で蓄積、管理されている視聴者情報（視聴者プロファイル）を蓄積・管理部１１６０へ要求し、取得した視聴者情報をメモリー部１１８０に格納する。同様に、蓄積・管理部１１６０の端末情報蓄積・管理手段１１６２で蓄積、管理されている端末情報（メーカ名、型番、スペック等）を蓄積・管理部１１６０へ要求し、取得した端末情報をメモリー部１１８０に格納する。

また、制御部１１３０は、センサー部１１５０のユーザ環境感知手段１１５１で感知されている視聴者環境情報をセンサー部１１５０へ要求し、取得した視聴者環境情報をメモリー部１１８０に格納する。

上記の視聴者情報とは、視聴者に関する情報であり、例えば、名前、性別、年齢、職業、住所、郵便番号、家族構成、住居に関する情報（マンション、一戸建て、等）、趣味、興味を有する情報ジャンル（政治、経済、ニュース、コンピュータ、書籍、スポーツ、旅行、等）、年収、各種サービスの会員であるか否かという情報及び会員番号あるいはクレジットカードＩＤ、各種資格（運転免許、等）保有の有無、体形に関する情報（体重、身長、衣類のサイズ等）、能力に関する情報（視力、聴力、等）、等のいずれか複数を含むものである。

端末情報とは、視聴者装置の表示装置の解像度、表示可能色数、ＷＷＷ情報閲覧手段の性能（Ｊａｖａ機能利用可否、映像音声コンテンツ再生機能の有無、映像音声コンテンツで再生できる符号化フォーマット情報、等）等の情報である。

また、視聴者環境情報は、視聴者が一方向に配信された放送コンテンツを視聴している時の環境状態、視聴者状態を表す情報であり、視聴している時の環境状態の情報とは、どこで視聴しているか（ＧＰＳ〔Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ〕等で得られる場所情報）、いつ視聴しているか（装置内タイマーやＧＰＳ等で得られる時間情報）、何を視聴しているか（テレビ操作リモコン等の赤外線通信をモニターすることで得られる放送チャンネルや番組等の情報）等の情報である。

視聴者状態を表す情報は、視聴者の視聴姿勢（座っているのか、立っているのか等）や、視聴時の精神状態（ドキドキしているのか、冷静か、楽しい、悲しい等）の情報である。視聴姿勢は、端末の床からの高さ情報から判断できる。また、精神状態は、心拍数、発汗の様子、動き情報から判断できる。高さ情報、心拍数、発汗の様子、動き情報等は、センサーで感知可能な情報である。視聴者情報、端末情報、視聴者環境情報に関して必ずしもすべての情報が揃わなくてもよいとする。

視聴者情報に関しては、既に情報が関連情報コンテンツ提供サーバ１００２へ送られていて、関連情報コンテンツ提供サーバ１００２の蓄積・管理部１２５０の視聴者情報蓄積・管理手段１２５１で蓄積、管理されている場合、関連情報コンテンツ提供サーバ１００２側で視聴者情報を特定できる情報としてもよい。この情報は、事前に関連情報コンテンツ提供サーバ１００２に視聴者プロファイルを登録し、関連情報コンテンツ提供サーバ１００２から払い出されたＩＤ（識別子）等である。

すなわち、視聴者装置が提供可能サービスを要求するときの視聴者装置の情報等は、予め関連情報コンテンツ提供サーバ１００２に登録しておき、視聴者装置のＩＤのみを送る構成でもよいし、すべての情報を要求時に毎回送る構成でもよい。

制御部１１３０を介してメモリー部１１８０に格納された視聴者情報、端末情報、視聴者環境情報は、サービス提供要求情報として通信部１１７０の情報送信手段１１７１で関連情報コンテンツ提供サーバ１００２へ送信される。制御部１１３０は、送信と同時に送信したことの情報を表示部１１２０へ送り、その情報を可視化する手段で表示することで、視聴者の入力操作（アクション）に対するリアクションを示す。
（３）提供可能サービスの選別
関連情報コンテンツ提供サーバ１００２は、視聴者装置１００１から送信された視聴者情報、端末情報、視聴者環境情報を、通信部１２６０の情報受信手段１２６１で受け取り、制御部１２３０を介してメモリー部１２７０に格納し、同時に視聴者情報を蓄積・管理部１２５０の視聴者情報蓄積・管理手段１２５１で蓄積、管理する。同様に端末情報を端末情報蓄積・管理手段１２５２で、視聴者環境情報を視聴者環境情報蓄積・管理手段１２５３でそれぞれ蓄積、管理する。

制御部１２３０は、蓄積・管理部１２５０に要求を出し、コンテンツイベント情報蓄積・管理手段１２５４で管理されているイベント情報をメモリー部１２７０に格納する。同様に放送情報蓄積・管理手段１２５５で管理されている放送情報をメモリー部１２７０に格納する。一方向に配信された放送コンテンツ（映像、音声、データの少なくともどれか一つ）の関連コンテンツは、コンテンツ蓄積・管理手段１２５６で蓄積、管理されている。

イベント情報は、個々の関連コンテンツを特定するための情報（コンテンツＩＤ等）、関連コンテンツに関するサービスの種類情報、放送コンテンツとのリンク情報、コンテンツセキュリティー情報等である。放送情報は、コンテンツの放送スケジュール情報、放送コンテンツに関するイベント情報である。この情報を取得する方法として、放送業者から提供されたものを直接受信する方法と、放送コンテンツに埋め込んである場合に放送コンテンツから抽出する方法とがある。

放送コンテンツ（映像、音声、データの少なくともどれか一つ）に放送情報を埋め込んである場合、放送情報受信手段１２６２により受け取り、制御部１２３０を経由して蓄積・管理部１２５０へ送り、放送情報蓄積・管理手段１２５５によってライブに管理される。放送情報が放送コンテンツ（映像、音声、データの少なくともどれか一つ）に埋め込まれていない場合、放送の内容と蓄積・管理部１２５０で蓄積、管理している関連コンテンツとのリンク付けを行う。そのため、放送情報受信手段１２６２により放送コンテンツ（映像、音声、データの少なくともどれか一つ）そのものを受け取り、制御部１２３０を介して、処理部１２４０へ送る。

処理部１２４０では、コンテンツ間リンク手段１２４２で自動又は半自動的に放送コンテンツと関連コンテンツのリンク付けを行い、放送情報に相当する情報を算出し、制御部１２３０を介して、蓄積・管理部１２５０へ送る。これにより、放送情報蓄積・管理手段１２５５によって管理される。

コンテンツ間リンク手段１２４２は、画像・映像認識技術、音声認識技術を用いて、物理量の距離を用いたリンクから意味量の距離を用いたリンクまで段階的に行う方法を用いる。メモリー部１２７０に格納した視聴者情報、端末情報、視聴者環境情報、コンテンツイベント情報、放送情報を処理部１２４０に転送する。転送された情報に基づき処理部１２４０の提供可能サービス選別手段１２４１で視聴者に適応した提供可能サービスの選択を行う。

図６に、イベント情報、放送情報とサービスの関連を表す概念図を示す。例えば、コンテンツＡに対しては、視聴者情報、端末情報、視聴者環境情報に応じて、サービスＡ、Ｄ、Ｆ、Ｉの中からの選別が行われ、コンテンツＢに対しては、サービスＡ、Ｃ、Ｆの中からの選別が行われる。提供可能なサービスは、同じコンテンツであっても、放送時間によって違ってくることがある。

受信した視聴者情報、端末情報、視聴者環境情報に応じて、どのようにサービスと関連コンテンツが選択されるかをその手順に沿って説明する。図７に、その手順を示す。視聴者情報、端末情報、視聴者環境情報を入力すると、まずステップＳ１では、視聴者環境情報に含まれる放送時間、放送局情報で放送コンテンツ（映像、音声、データの少なくともどれか一つ）に関連付けられている関連コンテンツを、放送情報に基づき検索する。関連コンテンツが検索されなかった場合、提供できる関連コンテンツもサービスもないという情報を戻して、選別処理は終了する。

関連コンテンツが検索された場合、ステップＳ２へ進み、視聴者情報、視聴者環境情報に基づき視聴者に提供できるコンテンツかどうかを判断する。ここでの判断では、例えば、視聴者が未成年であった場合や地域限定であった場合、検索された関連コンテンツに年齢制限の規定はあるのかどうかを見て提供できるかどうかを判断する。また、視聴者が台所等の場所にいて関連コンテンツの提供を希望する場合、検索された関連コンテンツに視聴者の場所に応じた制限やお勧めがあるのかどうかを判断する。提供可能なコンテンツがないと判断された場合、提供できる関連コンテンツもサービスもないという情報を戻して、選別処理は終了する。

提供可能なコンテンツと判断された関連コンテンツがあった場合、ステップＳ３へ進み、コンテンツイベント情報に基づき関連コンテンツにリンクされたサービスを検索する。サービスが検索されなかった場合、提供できる関連コンテンツもサービスもないという情報を戻して、選別処理は終了する。

サービスが検索された場合、ステップＳ４へ進み、端末情報に基づき提供可能なサービスかどうかを判断する。端末のスペックによっては、受けられないサービスもあるための判断である。提供可能なサービスと判断された場合、その関連コンテンツとサービスに関する情報を戻して、選別処理は終了する。
（４）提供可能サービス情報
制御部１２３０を介して、選択された関連コンテンツとサービスに関する情報をメモリー部１２７０に格納する。関連コンテンツとサービスに関する情報とは、関連コンテンツ、サービスの名前、関連コンテンツの存在場所、サービスに必要なツールの存在場所、使用期限、関連コンテンツとサービスを表すアイコン等の情報である。メモリー部１２７０に格納された情報は、提供可能サービス情報として、通信部１２６０の情報送信手段１２６３で視聴者装置１００１へ送信される。
（５）提供可能サービスの表示
視聴者装置１００１では、関連情報コンテンツ提供サーバ１００２から送信された情報が、制御部１１３０を介してメモリー部１１８０に格納されると共に、表示部１１２０へ送られる。送られてきた情報は、サービス情報表示手段１１２２によって可視化される。この表示の例を図８に示す。図８において、１０５０は番組オブジェクト、１０５１は番組アイコン画像、１０５２はサービスアイコン画像、１０５３はサービスオブジェクト、１０５４はアプリケーションアイコン、１０５５はお知らせ設定等の条件設定画面、１０５６はゴミ箱のアイコンである。なお、アプリケーションアイコン１０５４、条件設定画面１０５５については後述する。

送られてきたアイコン情報には、番組オブジェクト１０５０のような放送コンテンツに関するものと、サービスオブジェクト１０５３のようなサービスに関するものからなる。これらは予め定めた大きさの画像アイコンとしてそれぞれ表示（番組アイコン画像１０５１、サービスアイコン画像１０５２）される。番組アイコンは、サービスアイコンを子供にもつ構造であり、サービスアイコンの持つ機能として、アイコン情報以外の情報を手がかりにサービスツールを起動する機能がある。サービスとして、例えばコンテンツの購入、コンテンツの視聴、コンテンツの加工等があり、サービスツールは、これらを実行するアプリケーションプログラムである。

サービスアイコンの選択によりサービスツールが起動し、視聴者は、所望のサービスの提供を受けることになる。サービスアイコンに画像として表現されるものは、関連コンテンツの中身と共にサービスの内容である。視聴者は、アイコンを一目見ただけで、どのようなコンテンツをどのようなサービスで受けられるかを理解できるように表現されている。また、アイコンは、それ自身一つの単位のオブジェクトとしてメモリー部１１８０で管理されているため、入力部１１１０のアイコン操作入力手段１１１４で入力された情報を制御部１１３０へ送り、処理部１１４０のアイコン操作手段１１４４により、ディスプレイの画面上を視聴者の所望する位置へ移動することも可能であり、加えて消去すること（ゴミ箱１０５６への移動）も可能である。

アイコン位置を変更することは、表示部１１２０へ送るアイコン表示位置パラメーターを変更することであり、アイコンを消去することは、メモリー部１１８０内の対象オブジェクトデータを消去することである。視聴者の必要に応じてサービスアイコンを非表示にすることも可能である。当然、アイコンオブジェクトが持つ情報をインデクスとして、キーを与えることで、アイコンを検索することも可能である。例えば、番組名で検索することもできるし、サービス名で検索することも可能である。

以上の説明では、視聴者が一方向に配信された放送コンテンツを視聴していて、放送されているコンテンツに関連する関連コンテンツに関するサービスを受けたいと思った時、その要求を視聴者がポジティブに装置に入力した場合の例を説明した。

その要求を視聴者がポジティブに装置に入力しなくても、視聴者が予め設定したタイミングでアプリケーションにより自動的に要求が出されるようにすることもできる。次に、その例について説明する。すなわち、一方向に配信された放送コンテンツを視聴している時に、放送されているコンテンツに関連する関連コンテンツに関するサービスを事前に装置に設定し、サービスを予約することやサービスが受けられるタイミングになったら通知してくれる機能を実現する手順について説明する。

まず、視聴者装置１００１において、放送コンテンツのイベント情報を表示する機能、サービスを予約したり、サービスが受けられるタイミングになったら視聴者に通知してくれる機能を持つアプリケーションを動作させる。このアプリケーションは、視聴者が事前に予約等を行いたいときに起動してもよいし、放送のチャネルに応じて自動的に視聴者装置１００１が起動するようにしてもよい。このアプリケーションは、関連情報コンテンツ提供サーバ１００２から視聴者装置１００１へ送信され、視聴者装置１００１がそれを受信し起動する。

視聴者装置１００１においてこのアプリケーションが動作すると、図８のアプリケーションアイコン１０５４が画面に表示され、視聴者にアプリケーションが動作していることを知らせる。アプリケーションアイコン１０５４は、受信した放送コンテンツのイベント情報を可視化してアイコン中に表示するための機能と、予約画面やお知らせ設定画面等の条件設定画面１０５５を呼び出すための機能を持つ。

図９に、条件設定画面１０５５の一つであるお知らせ設定画面の例を示す。アプリケーションアイコン１０５４中の「お知らせ設定」のボタンをクリックすることにより、図９の条件設定画面１０５５を表示させることができる。この画面は、放送視聴中にイベント情報と設定された条件とが一致したときに、その旨を視聴者に通知することを設定する画面である。

お知らせのタイミングになったときの視聴者への通知方法として、表示画面の点滅や音を選択することができる。また、映像を自動的に表示するように起動設定することもできる。図９の例は、野球中継に関するお知らせ設定の画面であり、例えば得点が入ったとき、３回になったとき、打順がある打者になったとき等に視聴者に通知することを、この画面であらかじめ設定することができる。

予約の設定画面でも、お知らせ設定画面と同様に、ある設定した予約時間になったときとか、例えばある特定のタレントが画面に現れたときというように、要求を出すタイミングを設定し、設定したタイミングで自動的にサービス提供要求が出されるようにすることができる。

アプリケーションは、イベント情報提供者から配信される放送コンテンツのイベント情報を表示部１１２０でアプリケーションアイコン１０５４に表示し、予約の設定画面、お知らせ設定画面等の条件設定画面で設定したタイミングで自動的に視聴者の要求を装置に入力する。なお、予約の場合には、設定したタイミングになったときに、視聴者に確認することなくサービス提供要求を出すが、お知らせ設定の場合には視聴者にアイコンの点滅や音で設定したタイミングを知らせ、事前の指定に応じて視聴者に確認をとった後にサービス提供要求を出す。

次にこの予約やお知らせ設定等の一連の手順を詳細に説明する。イベント情報提供者から放送コンテンツのイベント情報が配信されてきているとする。このイベント情報を通信部１１７０のイベント情報受信手段１１７３で受け取り、制御部１１３０を介して送られてくる順にメモリー部１１８０に逐次格納する。それと同時に、その情報を処理部１１４０と表示部１１２０へ送り、イベント情報表示手段１１２３でアイコン（アプリケーションアイコン１０５４）として放送コンテンツのイベント情報を表示する。このアイコンの機能としては、前述のように視聴者が所望するサービスの条件を設定できる機能がある。

設定画面の表示は、入力部１１１０の設定操作入力手段１１１５で表示要求を入力し、入力情報を制御部１１３０へ送り、これをもとに表示部１１２０の設定画面表示手段１１２４が行う。条件設定の入力では、入力部１１１０の設定操作入力手段１１１５で設定情報を入力し、制御部１１３０を介してメモリー部１１８０に格納する。

その後、メモリー部１１８０に格納された条件を処理部１１４０へ送り、配信イベント情報条件マッチ判断手段１１４３は、その条件と配信されたイベント情報とのマッチングを行う。配信イベント情報条件マッチ判断手段１１４３では、条件とイベント情報の意味的な距離を算出し、それを類似度とし、予め与えた閾値と比べて近いものを条件が一致したと判断する。条件が一致したと判断された場合、一致したことを制御部１１３０へ伝える。一致情報が制御部１１３０を介してメモリー部１１８０に格納され、それ以降の流れは、一方向に配信された放送コンテンツを視聴していて、放送されているコンテンツに関連する関連コンテンツに関するサービスを受けたいと思った時、その要求をポジティブに入力し、メモリー部１１８０に要求入力情報が格納された場合にそれ以降行う流れと同様である。

ここで、視聴者の放送コンテンツを受ける際のチャンネリングとサービス要求を出した際の各操作に関して表示部１１２０で表示される情報の遷移について説明しておく。

ある放送コンテンツを視聴していてサービス要求を出した場合、図８で示したアイコンが表示される。チャンネルを変更し、異なる放送コンテンツを視聴していてサービス要求を出した場合、先の放送コンテンツに関連するサービスアイコンは非表示となり、番組アイコンのみの表示となる。続いて関連情報コンテンツ提供サーバ１００２から新たに送信された情報を受け取り、新たな番組アイコンとサービスアイコンが表示される。続いて先に視聴していた放送コンテンツにチャンネルを変更し、サービス要求を出した場合、非表示になっていたサービスアイコンが表示されると共に、新たに要求したサービスアイコンが追加表示される。
（６）サービスの選択、（７）サービスの要求
次に、表示部１１２０で表示されているサービスアイコンを選択し、サービスの提供を受ける手順に関して説明する。視聴者装置１００１の入力部１１１０のアイコン操作入力手段１１１４によりサービスアイコンの選択入力を行う。この選択入力情報に基づき、制御部１１３０を介してメモリー部１１８０に格納されている選択されたアイコンに対応する提供可能サービス情報（関連コンテンツの存在場所、サービスに必要なツールの存在場所、使用期限等）を、通信部１１７０の情報送信手段１１７１により関連情報コンテンツ提供サーバ１００２に送信する。
（８）サービスコンテンツの最適化
関連情報コンテンツ提供サーバ１００２では、視聴者装置１００１から送られてくるサービス、コンテンツに関する情報を通信部１２６０の情報受信手段１２６１により受信し、制御部１２３０を介してメモリー部１２７０に格納する。情報受信手段１２６１では、どこの視聴者装置１００１からの送信情報を受信したかを判断し、先の情報と共に判断した視聴者装置情報を制御部１２３０へ送る。

サービス、コンテンツに関する情報と視聴者装置情報が制御部１２３０を介してメモリー部１２７０に格納されると、制御部１２３０は、処理部１２４０内のアクセス系状態検出手段１２４４によってアクセス系状態を検出する。ここで検出するアクセス系状態とは、ネットワークの状態であり、例えば通信速度である。通信速度は、ネットワークの混み具合（流れているデータの量）に応じてダイナミックに変化している。アクセス系状態検出手段１２４４では、視聴者装置情報に基づき視聴者装置１００１へ予め定めた量の情報パケットを流し、視聴者装置１００１から返ってくるまでの時間でアクセス系の状態を推定する。視聴者装置１００１の通信部１１７０では、この情報パケットを受信した場合、それを情報受信手段１１７２から情報送信手段１１７１へ直接転送し、情報パケットを送信した関連情報コンテンツ提供サーバ１００２へ送り返してやることを行う。推定したアクセス系の状態情報は、制御部１２３０を介してメモリー部１２７０に格納する。

制御部１２３０を介してメモリー部１２７０に格納されているサービス、コンテンツに関する情報に基づき、蓄積・管理部１２５０のコンテンツ蓄積・管理手段１２５６で蓄積、管理されている関連コンテンツとサービスツールを検索し、関連コンテンツとサービスツールをメモリー部１２７０に格納する。同時に蓄積・管理部１２５０で管理されている端末情報も視聴者装置情報に基づき検索し、制御部１２３０を介してメモリー部１２７０に格納する。メモリー部１２７０に格納されている関連コンテンツとアクセス系の状態情報、端末情報を処理部１２４０へ転送する。

コンテンツ変換手段１２４３では、関連コンテンツをアクセス系の状態情報、端末情報（端末スペック）に基づき最適なコンテンツに変換する。この変換は、次のような場合に行う。

１）関連コンテンツがハイスペックな端末、ハイリッチなアクセス系の状態用に作成されている場合で、端末スペックとアクセス系の状態がそれに合わないとき、最適のコンテンツに変換することを行う。

２）また、一つのコンテンツで複数のサービスに用いる場合にもサービスに応じた最適のコンテンツに変換することを行う。

上記１）の場合のコンテンツ変換手段１２４３では、データ量の削減を行う。データ圧縮技術を用いた物理的なデータ量の削減から、要約等の意味を考慮したデータ量の削減まで行う。テキスト情報は、形態素解析や辞書、コーパスを用いて意味レベルの要約を行う。画像やＭＰＥＧ１、ＭＰＥＧ２等の映像は、圧縮率を変えたり、ＭＰＥＧ４でオブジェクト符号化された映像は、オブジェクト単位での選択的な符号化を行ったりする。ＭＰＥＧ７で記述された映像は、テキスト記述を処理することで意味レベルの要約を行う。ハイパーリンクが張られたコンテンツに等に関しては、リンクにぶら下る情報に視聴者プロファイルに基づく重みを付け、その重みに従って選択的にリンク情報を削減することを行う。

上記２）の場合のコンテンツ変換手段１２４３では、視聴者が所望する言語に翻訳することを行う。画像からテキストヘの変換、映像から画像への変換、音声からテキストへの変換、画像から音声への変換、映像から音声への変換等、表現メディア間の変換処理も行う。
（９）サービス提供
コンテンツ変換手段１２４３により最適に変換されたコンテンツは、メモリー部１２７０に格納され、既に格納されているサービスツールと共に通信部１２６０の情報送信手段１２６３により、視聴者装置１００１へ送信される。視聴者装置１００１では、関連情報コンテンツ提供サーバ１００２から送信されるサービスツールと関連コンテンツをメモリー部１１８０に格納する。サービスツールは、入力部１１１０のコンテンツ操作入力手段１１１６と表示部１１２０のコンテンツ表示手段１１２５を用いて、関連コンテンツに関するサービスを視聴者装置１００１上で提供する。関連コンテンツの購入サービス等は、購入に関する視聴者のトランザクションを通信部１１７０の情報送信手段１１７１により、トランザクション処理センター（図示省略）に送信することで行う。
（効果）
以上説明したように、本実施の形態によれば、多種多様な通信アクセス系、端末を前提に、一方向に配信された放送コンテンツに連動、連携して、個々の視聴者がそれぞれの嗜好から希望する関連コンテンツを提供する多種多様なサービスに応えること、またそのサービスを公平に提供することができるようになる。また、視聴者が所望するサービスを捕り滴らしなく受けられる環境と、視聴中、視聴後に関連コンテンツを入手するサービスを受ける際の煩わしさに関する課題を解決した環境を提供することができるようになる。

このため、視聴者にとっては、一方向に配信された放送コンテンツに連動、連携して、多種多様なサービスを自分の端末に最適なコンテンツで受けることができ、しかもサービスを捕り漏らしなく受けられること、関連コンテンツを入手するサービスを受ける際の煩わしさがないことのメリットある。コンテンツ提供者にとっては、一方向に配信された放送コンテンツに連動、連携して、個々の視聴者がそれぞれの嗜好から希望する関連コンテンツを提供する多種多様なサービスに応えることができるというメリットがある。

［第２の実施の形態］
次に、第２の実施の形態について実施例２−１〜実施例２−４を用いて説明する。第２の実施の形態では、映像情報の中で視聴者が関心を持つ被写体に対してポインティング操作を行った場合に、被写体に関連して付加されている情報に基づいて、前記ポインティング操作が行われた被写体に関連した関連情報を入手して視聴者が参照することを可能にし、更には視聴者が関心を持つ被写体に関する情報を蓄積しておき、この蓄積された情報に基づいて受信した放送情報を選別し、選別した放送情報を蓄積する。

〔実施例２−１〕
図１０は本発明の第２の実施の形態による視聴者装置の実施例２−１を示すシステム構成図である。図１０において、２０１０は映像情報２０１１とこれに付加された関連情報２０１２とを含む放送情報である。映像情報２０１１は少なくとも映像を含んでおり、映像の他に音声をも含んだ通常の意味での映像番組の場合も該当する。

ディジタル放送においては、映像の放送チャネル内において番組配列情報として映像に関する付加的な情報を放送できる。あるいは、テキストや静止画像等のデータのみを放送するデータチャネルにおいて他の放送チャネルで放送される映像の関連情報を放送できる。付加的な情報としては、例えば映像中の番組のタイトルやジャンル、放送日時等が考えられている。

本発明では、付加的な情報には少なくとも映像情報２０１１に登場する表示単位としての被写体に関する情報を含めるものとし、被写体に関する付加的な情報（以下では関連情報と呼ぶ）は少なくとも、被写体を説明する被写体属性情報と、その被写体座標値と、その被写体に対応した関連情報のアドレス識別情報として少なくとも一つのＲＦＣ２３９６等で規定されるＵＲＩ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｉｄｅｎｔｉｆｉｅｒ）情報とを含んでいる。この場合、ＵＲＩは、通信網２００３に接続された情報提供装置のＩＰアドレスやＵＲＬを含んでいる。

また、被写体座標値は、表示画面における被写体の存在領域を表す座標値である。被写体は時刻とともに登場し、あるいは退場し、また登場している最中にも画面内を移動する。このために被写体座標値は、映像情報２０１１のフレーム毎に定義するか、又は時刻単位で定義することが必要である。

また、関連情報２０１２は、１個以上の被写体の各々について定義される。図１１は本発明における関連情報の例を示す。関連情報２０１２は、フレーム番号２１２１、被写体座標値２１２２、被写体属性情報２１２３、及びＵＲＩ情報２１２４を含んでいる。図１１に示す関連情報２０１２では、フレーム番号２１２１がＮの場合には、被写体属性情報２１２３がＯＢ−Ａ、ＯＢ−Ｂ等の被写体が、それぞれ被写体座標値２１２２である（ＸＡ、ＹＡ）、（ＸＢ、ＹＢ）等に表示されること、それらに対してはＵＲＩ−Ａ、ＵＲＩ−Ｂ等のＵＲＩ情報２１２４が対応して定義されていることを示している。このような情報は、Ｎ以外のフレーム番号のフレームについても付加されており、フレームによって定義される被写体は異なり、また同一の被写体であっても異なるＵＲＩが定義され得る。また、一つの被写体について複数のＵＲＩが定義されてもよい。

上述の関連情報及び映像情報を含む放送情報の構成について以下に述べる。

第一の構成方法として、映像情報中の各映像フレーム情報の先頭に、ヘッダー情報として図１１に示すような関連情報を挿入する場合がある。例えば、ＭＰＥＧ２映像ストリームの場合であれば、ピクチャ階層のヘッダすなわちピクチャヘッダのユーザデータ領域に関連情報を挿入することが考えられる。

また、第２の構成方法として、映像情報と、関連情報を別々に構成し、関連情報には図１１に示すように対応する映像フレームを識別するためのフレーム番号を含むように構成する場合がある。

第２の構成方法の場合、映像情報は映像の放送チャネルで送信し、関連情報はデータチャネルで送信することができる。あるいは、ＢＳデジタル放送やＣＳデジタル放送等のシステムにおいては、ＡＲＩＢ ＳＴＤ−Ｂ１０「デジタル放送に使用する番組配列情報」で規定される番組配列情報の一部として、ＭＰＥＧ２Ｓｙｓｔｅｍ（ＩＴＵ−Ｔ Ｈ．２２２．０，ＩＳＯ／ＩＥＣ １３８１８−１）で規定されるセクション形式のデータ構造を用いて関連情報を伝送する場合もある。

なお、第２の構成方法の場合、関連情報は、対応する映像フレームと同時かそれ以前に視聴者装置に入力されるように、放送情報を構成する。

図１０において、２００２は本実施の形態に係る視聴者装置あって、以下に述べる要素から構成されている。

放送受信部２２０１は、前記した映像情報２０１１及び関連情報２０１２を含む放送情報２０１０を受信して映像表示制御部２２０２に送信する。

映像表示制御部２２０２は、放送受信部２２０１より受信した映像情報２０１１を表示するための表示制御信号を映像表示部２２０３に送信する。また映像表示制御部２２０２は、映像表示部２２０３において視聴者がポインティングを行った画面内の座標値を受信して、これを関連情報２０１２の中の被写体座標値２１２２と照合し、ポインティングを行った画面内座標値と一致する被写体座標値２１２２を有する被写体に対応したＵＲＩ情報２１２４と被写体属性情報２１２３とを関連情報表示制御部２２０５に送信する。

映像表示部２２０３は、映像表示制御部２２０２から受信した表示制御信号に基づいて表示画面に映像を表示する。図１０に示す場合では被写体として自動車が登場している。また第１のポインティングデバイス２２０４によりポインティングされた座標値を検出してその値を映像表示制御部２２０２に送信する。

第１のポインティングデバイス２２０４は、例えば映像表示制御部２２０２に接続されており、映像表示部２２０３の画面内で表示したカーソルを移動させ、所望のヵーソル位置でポインティング操作を行うためのもので、いわゆるマウス等の汎用デバイスを使用することができる。

関連情報表示制御部２２０５は、映像表示制御部２２０２から受信した被写体属性情報２１２３を代表するものとしての文字、記号又は図形等（以下では被写体代表図形等と呼ぶ）を後述する被写体関連情報表示部２２０６に表示するための制御信号を被写体関連情報表示部２２０６に送信し、また被写体属性情報２１２３を被写体属性情報蓄積部２２０９に送信する。関連情報表示制御部２２０５はまた、被写体関連情報表示部２２０６において第２のポインティングデバイス２２０７によりポインティングされた被写体代表図形等を受信し、これにより代表されている被写体に対応するＵＲＩ情報２１２４を後述する関連情報アクセス部２２１０に送信し、これに基づいて関連情報アクセス部２２１０が後述する関連情報蓄積部２２１１又は通信網２００３にアクセスして、入手した関連情報を被写体関連情報表示部２２０６に表示する。

関連情報アクセス部２２１０は、関連情報表示制御部２２０５から受信したＵＲＩ情報２１２４が後述する関連情報蓄積部２２１１に対応したものであれば関連情報蓄積部２２１１にアクセスし、またインターネット等の通信網２００３に接続された情報源に対応したものであれば通信網２００３を介して当該情報源にアクセスし、それぞれ関連情報を入手して関連情報表示制御部２２０５に返送する。

被写体関連情報表示部２２０６は、関連情報表示制御部２２０５から上記の被写体代表図形等、又は被写体の関連情報を表示するための制御信号を受信してそれらを表示する。また被写体関連情報表示部２２０６は、前述のように第２のポインティングデバイス２２０７を具備しているが、その動作は第１のポインティングデバイス２２０４と同様にして、例えば関連情報表示制御部２２０５に接続されており、映像表示部２２０３の画面内で表示したカーソルを移動させ、所望のカーソル位置でポインティング操作を行うためのもので、いわゆるタッチパネルやマウス等の汎用デバイスを使用することができる。

入力デバイス２２０８は、本システムを操作するためのキーボードその他の入力装置である。被写体属性情報蓄積部２２０９は、関連情報表示制御部２２０５から送信された被写体属性情報２１２３を受信し、蓄積する。

関連情報蓄積部２２１１は、被写体に関連した情報を蓄積し、この情報は関連情報アクセス部２２１０がアクセスして入手することが可能である。また、蓄積する情報は、図示しない装置を用いて必要に応じて追加、更新あるいは削除を行うことができる。

以上の構成の実施例２−１に係る本システムの動作を以下に説明する。映像情報２０１１と図１１に示した関連情報２０１２とを含む放送情報２０１０は、放送局より放送されて放送受信部２２０１により受信され、復調された後、映像表示制御部２２０２に送られる。映像表示制御部２２０２においては、放送受信部２２０１から受信した映像情報２０１１と関連情報２０１２のうち、映像情報２０１１を表示するための制御信号が生成され、これは映像表示部２２０３に送られる。関連情報２０１２は映像表示制御部２２０２において一時的に保存される。

映像表示部２２０３において被写体がポインティングされた場合には、映像表示制御部２２０２はポインティングの座標値を映像表示部２２０３から受け取るとともに、受け取った座標値と図１１に示す被写体座標値２１２２との照合を行い、ポインティングの座標値に一致する被写体座標値２１２２が定義された被写体を見出す。そして、このようにして見出された被写体に対応した被写体属性情報２１２３及びＵＲＩ情報２１２４は、関連情報表示制御部２２０５に送られる。

関連情報表示制御部２２０５では、映像表示制御部２２０２から受信した被写体属性情報２１２３及びＵＲＩ情報２１２４に基づいた処理が行われる。まず被写体属性情報２１２３は、被写体属性情報蓄積部２２０９に送信されて蓄積される。また関連情報表示制御部２２０５では、受信した被写体属性情報２１２３を代表する被写体代表図形等を表示するための制御信号が生成されて被写体関連情報表示部２２０６に送られる。

図１２は、映像表示部２２０３において第１のポインティングデバイス２２０４によりポインティングされた被写体２０４１に対応して被写体関連情報表示部２２０６に、その被写体２０４１の被写体代表図形等２０４２が表示される例を表している。

なお、映像表示部２２０３と被写体関連情報表示部２２０６とは、異なるディスプレイ装置を用いるほうが望ましい。例えば、映像表示部２２０３をＣＲＴディスプレイ装置、被写体関連情報表示部２２０６を液晶ディスプレイ装置を用いて構成することが考えられる。この場合、第１のポインティングデバイス２２０４としてマウス、第２のポインティングデバイス２２０７としてタッチパネル等の利用も考えられる。しかし、映像表示部２２０３と被写体関連情報表示部２２０６とを、１台のディスプレイ装置を用いて構成することも可能であり、１台のディスプレイ装置を共用する場合には、異なるウィンドウ又は画面分割した表示領域のそれぞれに映像表示部２２０３と被写体関連情報表示部２２０６とを設ける。この場合、第１のポインティングデバイス２２０４及び第２のポインティングデバイス２２０７についても、同じハードウェアで実現することができ、１個のマウス等を共用することができる。

図１３は、被写体関連情報表示部２２０６に関するより詳細な例を示しており、この例では、被写体関連情報表示部２２０６は、被写体代表図形等２０４２を表示するための被写体表示領域２２６１と、被写体関連情報を表示するための関連情報表示領域２２６２と、操作パネル部２２６３とを有する。操作パネル部２２６３は、例えばタッチパネルを利用する場合に入力デバイス２２０８の代わりに用いることができる。

また、被写体表示領域２２６１には、被写体代表図形等２０４２が複数個表示されている。この例では、ＯＢ−Ａ、ＯＢ−Ｂ、ＯＢ−Ｃ及びＯＢ−Ｄ等の文字がそれぞれの被写体代表図形等２０４２である。これらは映像の進行とともに、被写体２０４１が次々とポインティングされた場合に、それらの被写体２０４１に対応した被写体属性情報２１２３及びＵＲＩ情報２１２４が順次関連情報表示制御部２２０５に送り込まれてきた結果を示している。

次に、視聴者が被写体関連情報表示部２２０６に表示された被写体代表図形等２０４２を第２のポインティングデバイス２２０７でポインティングすると、ポインティングされた被写体代表図形等２０４２を識別する情報が被写体関連情報表示部２２０６から関連情報表示制御部２２０５に送り込まれ、これに対応して関連情報表示制御部２２０５では、被写体代表図形等２０４２を識別する情報が示す被写体２０４１に対応したＵＲＩ情報２１２４が抽出される。抽出されたＵＲＩ情報２１２４は、関連情報アクセス部２２１０に送信され、関連情報アクセス部２２１０は、送信されたＵＲＩ情報２１２４が、関連情報蓄積部２２１１に対応していれば関連情報蓄積部２２１１にアクセスして関連情報を入手して、これを関連情報表示制御部２２０５に返送する。

また、送信されたＵＲＩ情報２１２４が通信網２００３に接続された情報源のものであれば、関連情報アクセス部２２１０は、通信網２００３を通じて当該情報源から関連情報を入手し、これを関連情報表示制御部２２０５に返送する。

関連情報表示制御部２２０５では返送された情報を受信した後に、これらを被写体関連情報表示部２２０６の関連情報表示領域２２６２に表示する。

以上の動作において、視聴者が被写体代表図形等２０４２をポインティングするタイミングは、放送受信中と放送受信後とのどちらでも任意である。したがって参照する情報が多い場合には、放送受信後の都合の良いときに順次関連情報を参照することもできる。

〔実施例２−２〕
次に、実施例２−２として映像のフィルタリング蓄積機能を有する視聴者装置について説明する。図１４は、実施例２−２を示すシステム構成図である。実施例２−２に係るシステムの構成は、図１０に示す実施例２−１のシステムの構成に興味情報抽出部２２１２を加えるとともに、その機能を利用して放送情報２０１０を自動的に選別して蓄積する機能を備えたものであり、以下に詳しく説明する。

図１４において、関連情報表示制御部２２０５は、実施例２−１で述べた機能に加えて、視聴者が被写体関連情報表示部２２０６において、被写体代表図形等２０４２をポインティングした被写体について、少なくともその被写体に関するＵＲＩ情報２１２４と、被写体属性情報２１２３と、情報源から入手された関連情報と、この関連情報が被写体関連情報表示部２２０６に表示された時間に関する表示時間情報のうちのいずれか複数を興味情報抽出部２２１２に送信する機能を有する。

また、興味情報抽出部２２１２は、ＵＲＩ情報２１２４、被写体属性情報２１２３、前記関連情報、前記表示時間情報のうちいずれか複数もしくは全てを参照して、関連情報に対する視聴者の興味を示す情報としての興味情報を抽出し、これを蓄積する。更に、興味情報抽出部２２１２は、放送受信部２２０１から映像情報２０１１と関連情報２０１２とを含む放送情報２０１０を受信して、関連情報２０１２の中の少なくともその被写体属性情報２１２３又はＵＲＩ情報２１２４を、蓄積した興味情報に照らし合わせて、視聴者の興味情報に適合していると判断された放送情報２０１０を優先的に選択する。選択された放送情報２０１０は必要に応じて放送情報蓄積部２２１３に蓄積することができる。

なお、本発明では、特に被写体関連情報表示部２２０６において視聴者が表示されている被写体代表図形等２０４２を移動又は削除できる機能を具備し、これらの操作があった場合に、興味情報抽出部２２１２に蓄積しておいた興味情報を減ずるようにすることができる。これによって、例えば削除した被写体代表図形等２０４２により代表される被写体属性情報２１２３、又はこれに対応したＵＲＩ情報２１２４に対する視聴者の関心度が低くなったことが興味情報の抽出に反映される。

次に、実施例２−２における本システムの動作を説明する。放送局より放送された映像情報２０１１とその関連情報２０１２とを含む放送情報２０１０は、放送受信部２２０１により受信され、復調された後、映像表示制御部２２０２に送られる。関連情報２０１２は、実施例２−１と同様にして例えば図１１に示すように構成されている。図１１については実施例２−１について説明したので、ここでの説明は省略する。

映像表示制御部２２０２においては、放送受信部２２０１から受信した映像情報２０１１と関連情報２０１２のうち、映像情報２０１１を表示するための制御信号が生成され、これは映像表示部２２０３に送られる。関連情報２０１２は、映像表示制御部２２０２において一時的に保存される。

映像表示部２２０３において、被写体２０４１がポインティングされた場合に、映像表示制御部２２０２はポインティングの座標値を映像表示部２２０３から受け取るとともに、受け取った座標値と図１１に示す被写体座標値２１２２との照合を行い、ポインティングの座標値に一致する被写体座標値２１２２が定義された被写体を見出す。そして、このようにして見出された被写体２０４１の被写体属性情報２１２３及びＵＲＩ情報２１２４は、関連情報表示制御部２２０５に送られる。

関連情報表示制御部２２０５では、映像表示制御部２２０２から受信した被写体属性情報２１２３及びＵＲＩ情報２１２４に基づいた処理が行われる。まず、被写体属性情報２１２３が被写体属性情報蓄積部２２０９に送られ、ここに蓄積される。また受信した被写体属性情報２１２３については、これを代表する被写体代表図形等２０４２を表示するための制御信号が生成されて被写体関連情報表示部２２０６に送られる。この場合の被写体関連情報表示部２２０６の表示は前述した図１２又は図１３を用いて説明したとおりである。

視聴者が被写体関連情報表示部２２０６に表示された被写体代表図形等２０４２を第２のポインティングデバイス２２０７でポインティングすると、ポインティングされた被写体代表図形等２０４２に代表される被写体属性情報２１２３に対応した関連情報が入手され、入手された関連情報は被写体関連情報表示部２２０６の関連情報表示領域２２６２に表示される。この点ついては実施例２−１と同様であるので、これ以上の説明は省略する。

以下に、実施例２−２における本システムの動作が実施例２−１のそれと異なっている点を中心に説明する。

実施例２−２においては、関連情報表示制御部２２０５は、実施例２−１で述べた機能に加えて、視聴者が被写体関連情報表示部２２０６において、被写体代表図形等２０４２をポインティングした被写体について、少なくともその被写体２０４１に関するＵＲＩ情報２１２４と、被写体属性情報２１２３と、情報源から入手された関連情報と、この関連情報が被写体関連情報表示部２２０６に表示された時間に関する表示時間情報のうちのいずれか複数を興味情報抽出部２２１２に送信する。

表示された時間は、関連情報が被写体関連情報表示部２２０６に表示された際の表示の開始時刻及び終了時刻に基づくものであり、これらは被写体関連情報表示部２２０６を参照する視聴者による第２のポインティングデバイス２２０７の操作時刻情報にも関係しており、開始時刻としては被写体代表図形等２０４２のポインティングされた時刻や、その後入手された関連情報が被写体関連情報表示部２２０６に表示されたその開始時刻としてもよく、また終了時刻としては視聴者により表示を終了するための操作がなされた時刻、又は次の被写体代表図形等２０４２がポインティングされた時刻とすることができる。

興味情報抽出部２２１２は、関連情報表示制御部２２０５から受信したＵＲＩ情報２１２４、被写体属性情報２１２３、関連情報、表示時間情報のうちいずれか複数もしくは全てを参照し、興味情報を抽出し、これを蓄積する。興味情報は、どのような情報に視聴者が興味を示しているかを表す情報であって、一般には表示時間情報やポインティングの回数を統計的に処理して生成することができる。例えば、被写体属性情報別又はＵＲＩ情報別のポインティング回数であり、あるいは、被写体属性情報別、ＵＲＩ情報別、又は関連情報別の表示時間もしくはその積算値である。また、被写体属性情報２１２３と、ＵＲＩ情報２１２４と、関連情報との少なくとも二つの組み合わせ別の、ポインティング回数あるいは表示時間又はその積算値とすることもできる。

更には、被写体属性情報２１２３、関連情報に含まれるテキストをキーワードに分解し、各キーワードについて当該キーワードを含む被写体属性情報２１２３、関連情報の視聴回数が多い場合や表示時間が長い場合に、前記キーワードが興味を示すと仮定し、興味を示すキーワードの群を抽出し、これを興味情報とすることもできる。

また、被写体関連情報表示部２２０６に表示されている被写体代表図形等２０４２に対して視聴者が移動又は削除した場合についても、その情報が関連情報表示制御部２２０５から興味情報抽出部２２１２に送られるようにし、興味情報抽出処理に反映することができる。例えば、視聴者が被写体代表図形等２０４２を削除した場合、削除された被写体代表図形等２０４２により代表される被写体属性情報２１２３又はこれに対応したＵＲＩ情報２１２４に対する視聴者の関心度が低くなったものとして、興味情報から減じる等の処理を行って興味情報抽出処理に反映する。

更に興味情報抽出部２２１２は、放送受信部２２０１から関連情報２０１２を含む放送情報２０１０を受信し、関連情報２０１２の中のＵＲＩ情報２１２４を上記の興味情報と照合し、視聴者の興味に適合している放送情報２０１０を選択するフィルタリング処理を行う。このようにしてフィルタリングされた放送情報２０１０は、必要に応じて放送情報蓄積部２２１３に蓄積される。この場合の適合の有無は、ポインティングの回数、あるいは表示時間又はその積算値が大きい値を示した、被写体属性情報２１２３、又はＵＲＩ情報２１２４、又は関連情報、又はそれらの組み合わせを関連情報が含んでいるか否かにより決められる。被写体属性情報２１２３やＵＲＩ情報２１２４そのものを使用する代わりに、それらを予めジャンル別に分類しておくことによってジャンル別の回数又は参照時間に変換したものを使用してもよい。

次に、興味情報抽出部の具体的な一例について説明する。

以下の説明にあたり、本実施例における関連情報には、ＵＲＩおよび、当該ＵＲＩのコンテンツ内容を示すキーワード群を含むものとする。例えば、被写体として映像中に登場する自動車に関連付けられた関連情報には、その自動車の映像中の出現位置と、その自動車の仕様情報ホームページのＵＲＬアドレスと、キーワードとして、｛自動車｝が付与されている。このような関連情報の具体的な記載例を以下に示す。

〈frame no="N"〉
〈object〉
〈location〉(XA,YA)-(XB,YB)〈/location〉
〈uri〉url:www.automobile.com/car_A/spec.html〈uri〉
〈keyword〉自動車〈/keyword〉
〈/object〉
〈/frame〉
上記の例はフレーム番号"N"の映像フレーム内に被写体として自動車のみが存在する場合に対応する。〈frame no="N"〉...〈/frame〉間には、フレーム番号"N"の映像フレームに関する情報を記載する。〈object〉...〈/object〉間には、一つの被写体に関する情報を記載する。この場合、その自動車の映像中の出現位置と、その自動車の仕様情報ホームページのＵＲＬアドレスと、キーワードとして、｛自動車｝が記載されている。被写体が複数存在すれば、〈frame no="N"〉...〈/frame〉間には、複数の〈object〉...〈/object〉が存在することになる。なお、関連情報は、上述したようにＸＭＬ形式である必要はなく、図１１に示したようなテーブル型の構成でも良い。

この例における興味情報抽出部は、視聴者の興味情報としてキーワード群と各キーワードの重みを含む利用者プロファイルを保持する。利用者プロファイルの一例を以下に示す。

｛自動車：１、パンダ：２、ステテコ：１、なまこ：１｝
上述の例は、"キーワード：そのキーワードの重み"の組みを複数持つ集合として、利用者プロファイルを記述している。

ここで、視聴者が、視聴中の映像の被写体として登場した自動車をポインティングした場合には、興味情報抽出部は、キーワード"自動車"の重みを１増加する。もし、自動車をポインティングした時点でキーワード"自動車"が利用者プロファイル中に存在しない場合には、キーワード"自動車"を利用者プロファイルに追加し、重みを１とする。

従って、視聴中の映像の被写体として１０回それぞれ自動車が登場した場合に、視聴者が全ての自動者に対してポインティングした場合には、利用者プロファイルは上述の状態から、
｛自動車：１１、パンダ：２、ステテコ：１、なまこ：１｝
になる。

また、視聴者が、被写体関連情報表示部２２０６に表示されている被写体代表図形等２０４２を削除した場合には、該被写体に対応する関連情報に含まれるキーワードの重みを１減らし、利用者プロファイルを更新する。例えば、利用者プロファイルが、
｛自動車：１１、パンダ：２、ステテコ：１、なまこ：１｝
であった時に、視聴者が、キーワード｛自動者｝を含む関連情報が対応付けられた被写体の被写体代表図形等２０４２を一つ被写体関連情報表示部２２０６より削除した場合、利用者プロファイルは、
｛自動車：１０、パンダ：２、ステテコ：１、なまこ：１｝
に更新される。

また、視聴者が、被写体関連情報表示部２２０６に表示されている被写体代表図形等２０４２をポインティングして、関連情報を参照した場合、その関連情報の参照時間に応じて、該被写体代表図形等２０４２に対応する関連情報に含まれるキーワードの重みを増加し、利用者プロファイルを更新する。例えば、関連情報を１分参照するごとに対応する被写体の関連情報に含まれるキーワードの重みを１増加するものとする。利用者プロファイルが、
｛自動車：１０、パンダ：２、ステテコ：１、なまこ：１｝
であった時に、視聴者が、キーワード｛自動車｝を含む関連情報が対応付けられた被写体の被写体代表図形等２０４２をポインティングし、当該関連情報を１０分間参照した場合、利用者プロファイルは、
｛自動車：２０、パンダ：２、ステテコ：１、なまこ：１｝
に更新される。

更に、興味情報抽出部は、放送情報をフィルタリングする際に、以下の規則に従って処理を行う。

受信された映像中に被写体に関連付けられた関連情報に含まれるキーワードが、利用者プロファイルに含まれる場合、そのキーワードの重みをその被写体への興味度とする。利用者プロファイルに含まれるキーワードが複数ある場合には、それぞれのキーワードの重みの和をその被写体への興味度とする。そして、興味度が一定値Ｋ以上である場合、該被写体に視聴者が興味を持つもとみなし、自動的に該被写体をポインティングしたのと同等の処理を実施する。例えば、Ｋ＝１０で、利用者プロファイルは
｛自動車：２０、パンダ：２、ステテコ：１、なまこ：１｝
である場合に、キーワード｛自動車｝を含む関連情報が受信された場合には、対応する被写体への興味度は２０でありＫ＝１０以上を満たすので、自動的に視聴者が対応する被写体をポインティングしたのと同等の処理を実行する。つまり、被写体関連情報表示部に、該被写体に対応する被写体代表図形を表示する等の処理を行う。

なお、上述したものは、興味情報抽出部の処理の一例であり、上記以外に種々のキーワードの重み付け等の規則、キーワードの利用の規則等を使用することが可能である。

〔実施例２−３〕
次に、実施例２−３について説明する。

図１５は、本発明の実施例２−３を示すシステム構成図である。実施例２−３は、以上までに説明した視聴者装置２００２に、放送局２００４を加えた放送情報送受信システムであって、放送局２００４は、図１１に示したような関連情報２０１２を含む放送情報２０１０を放送する機能を有している。

なお、前記放送局は、ＢＳデジタル放送、ＣＳデジタル放送、地上波デジタル放送等、衛星放送システムや地上波放送システムに接続され、前記放送インフラを介した放送を行うための放送局である場合や、図１６に示すように、インターネットや放送用ケーブル等の所定のネットワークに接続されるサーバを用い、前記所定のネットワークを介して、いわゆるインターネット放送やケーブルテレビ放送といったネットワーク放送を行う放送局である場合がある。

〔実施例２−４〕
次に、実施例２−４について説明する。

図１７は、本発明の実施例２−４を示すシステム構成図である。実施例２−４は、以上までに説明した視聴者装置に、映像蓄積媒体再生装置２００６を加えた放送情報送受信システムである。映像蓄積媒体とは、ＤＶＤやＤ−ＶＨＳビデオテープ等であり、図１１に示した関連情報を含む放送情報２０１０が記録された媒体である。映像蓄積媒体再生装置２００６とは、ＤＶＤプレーヤーや、ＶＣＲ等であり、一般に、放送により受信された映像を主とする放送情報を前記映像蓄積媒体に記録蓄積する機能を有する。更に、記録した放送情報を再生する機能を有する。利用される映像蓄積媒体は、事前に放送インフラより取得される放送情報を記録したものである場合や、映画やドラマ等の映像情報を含む放送情報が事前に記録された状態で、該映像蓄積媒体の小売店やレンタルショップ等から利用者が入手するものである場合がある。

実施例２−４では、所定の映像蓄積媒体を再生する映像蓄積媒体再生装置２００６より、図１１に示した関連情報を含む放送情報２０１０が、視聴者装置２００２に入力される。

なお、第２の実施例においても、視聴者情報及び端末情報に関連した関連情報を取得することが可能である。例えば、映像情報とともに、視聴者情報や端末情報に対応した複数のＵＲＩを関連情報として視聴者装置に送信し、視聴者装置では、当該視聴者装置に予め入力等しておいた視聴者情報や端末情報に適合したＵＲＩを選択するようにする。付加する関連情報としては、例えば、後述する第４の実施例における関連情報例１〜５のような形式を用いることができる。

（効果）
本実施の形態による視聴者装置及び放送情報送受信システムでは、映像に登場する表示単位としての被写体毎に、その関連情報の所在を示すＵＲＩ情報が定義された関連情報を付加された放送情報を受信し、視聴者が映像表示画面に表示されている被写体をポインティングした場合に、その被写体を代表する文字、図形等を画面に表示し、次にこれら文字、図形等に対するポインティング操作に対応して、関連する情報が対応するＵＲＩ情報から読み出されて画面に表示されるようにした。これによって、視聴者は映像情報を視聴しながら興味を持った被写体に関連した情報を放送情報以外の情報源から入手して参照することができる。

また、視聴者が複数の被写体を次々にポインティングした場合には、それぞれを代表する文字、図形等が順次画面に追加して表示されるようにした。これによって視聴者が参照したいと感じた関連情報が多い場合でも、放送情報視聴の後に時間の制約を受けることなく参照することができる。

更に、視聴者がポインティングした被写体のポインティング回数や、それに関連して参照した関連情報の表示時間情報を考慮した興味情報が抽出・保持され、利用者が視聴していない時間に放送されている放送情報から、興味情報に適合する放送情報を自動選択し、これを蓄積できるようにした。これによって視聴者は自分が過去に参照した関連情報のジャンルに適合する放送情報を時間の制約なく入手することができる。

特に、本発明では表示されている被写体代表図形等を視聴者が削除した場合には、当該ＵＲＩ情報に対する興味が失われたものとし、蓄積した興味情報を減ずるようにして、興味情報抽出処理に反映されるようにしたので、視聴者が十分に関連情報を参照した時点以後、視聴者の動的な興味の変化に従って、そのジャンルの情報の入手を停止することができる。

また、被写体の単位で関連情報を入手することができるので、様々な場面で登場する被写体に対して関連情報を定義することができ、その結果、従来の映像番組を単位とするよりも、きめ細かな関連情報の参照が可能となる。例えば、同一の被写体であっても、それが登場する場面によりその意味合いは一般には変わると考えられるが、関連情報をフレーム別に定義することによって、多様かつ的確な関連情報を参照することが可能となり、また、よりきめ細かな映像情報の自動選択が可能となる。

例えば、同一の被写体であっても、それが登場する場面によりその意味合いは一般には変わると考えられるが、関連情報をフレーム別に定義することによって、多様かつ的確な関連情報を参照することが可能となり、また、よりきめ細かな映像情報の自動選択が可能となる。また、ポインティングされた被写体に対する文字・図形は画面に追加して表示されるために、視聴者は時間的制約を受けることなく関連情報を参照することができる。

更に、視聴者が関心ある被写体をポインティングすることによって関心のある関連情報のみを的確に閲覧できる仕組みにしたことにより、前記視聴者の被写体のポインティング操作等から、視聴者がどのような情報に関心があるのかを示唆する情報を入手することが可能となる。

［第３の実施の形態］
次に、本発明の第３の実施の形態について説明する。本実施の形態では、テレビ、ラジオ等の放送コンテンツと同期して、パーソナルコンピュータ等の端末からのイベントを処理することにより関連情報を取得する。ここで、放送コンテンツに同期したイベントの処理とは、視聴者装置において、ボタンの押下操作等のイベントが発生した時に、これに対応して実行されるアクションの内容を放送コンテンツに対応して随時変化させる処理のことである。具体的な例としては、テレビ放送の所定チャネルにおいて、ＣＭ１、ＣＭ２及びＣＭ３が連続的に放映される場合に、ＣＭ１が放映されている時点で、視聴者装置のボタンを使用者が押下すると、ＣＭ１に関する情報へのリンクが視聴者装置に接続された表示装置に提示されるという処理がある。同様に、ＣＭ２が放映されている時点で、視聴者装置のボタンを使用者が押下すると、ＣＭ２に関する情報へのリンクが提示され、ＣＭ３が放映されている時点で、視聴者装置のボタンを使用者が押下すると、ＣＭ３に関する情報へのリンクが提示される。

図１８は、本発明の第３の実施の形態におけるシステムの構成図である。図１８のシステムは、関連情報提供サーバ３００１（以下「サーバ３００１」という）と、該サーバ３００１とネットワーク３００６を介して通信する視聴者装置３００２（クライアント）と、放送コンテンツを放送する放送局３００３と、視聴者装置３００２に接続された入出力装置３００４とを有する。放送局３００３から放送される放送コンテンツは、放送受信装置３００５で受信できる。その放送コンテンツに同期して各種のアクションが、視聴者装置３００２で実行される。また、視聴者装置３００２で発生するイベントに応答して実行されるアクションの内容が、放送コンテンツに同期して変化する。

なお、放送受信装置３００５が放送局３００３からの放送コンテンツを受信する他、インターネット等のネットワークに接続された放送情報蓄積サーバ３００３'から放送受信装置３００５が放送コンテンツを受信する場合でも、本実施の形態における同期処理を実現することが可能である。

ここで、視聴者装置３００２で発生するイベントとは、入出力装置４に対するユーザの各種の操作である。例えば、視聴者装置３００２がキーボードを有する場合、該キーボード上の所定のボタンが押されたという信号である。また、視聴者装置３００２がマウス等のポインティングデバイスを有する場合、該ポインティングデバイスによって、視聴者装置３００２に接続される表示装置に表示された画面上の所定の位置がクリックされたという信号である。更に、イベントとは、あるアクションが発生してから、所定の時間が経過したということ、又は時刻が所定の時刻になったというタイムアウトの事象でもある。

どのような操作又は事象の発生をイベントとするかは、本発明のシステムを用いてどのようなアプリケーションを実現するかによって異なる。例えば、テレビでドラマ映像を視聴中に、ドラマ映像中の被写体又はＢＧＭ等に視聴者が興味を持った場合、視聴者装置３００２のいわゆるブックマークのためのボタンを押すと、当該関連情報ヘアクセスするためのアイコンが、表示装置上の画面に追加されるというようなアプリケーションでは、イベントとは、視聴者（使用者）がブックマークボタンを押したということであり、ブックマークボタンが押された時点で、アイコンを追加するというアクションが実行される。また、例えば、テレビで教育番組を視聴中に、視聴者装置３００２の表示装置画面上に番組の進行に合わせて、教育番組の内容に関連する情報ページが表示されるというようなアプリケーションでは、イベントとは、所定の時刻、即ち番組内容が切り替わる時刻になったということに対応し、当該イベントが発生した時点で、新しい情報ページに更新するというアクションを実行する。

視聴者装置３００２で実行されるアクションとは、視聴者装置３００２で実行され得るアプリケーションプログラムによる各種処理であり、本発明のシステムを用いて実現するサービスアプリケーションにより様々である。前述した例では、「関連情報にアクセスするためのアイコンを追加する」とか、「新しい情報ページに更新する」等という処理がこれに該当する。

また、本発明のシステムの視聴者装置３００２が、ＭＳ−ＷｉｎｄｏｗｓのＯＳを搭載するパーソナルコンピュータ上に実装されている場合、アクションとは、Ｗｉｎｄｏｗｓ上で実行し得るソフトウェアプログラムによる処理である。

また、サーバ３００１は、放送コンテンツを管理する機関、例えば放送局から、アクションテーブルを構成する場合に参照する情報であるアクションテーブルリソースデータを取得する。

図１９は、本発明によるサーバ３００１と視聴者装置３００２の構成図である。

サーバ３００１は、ネットワーク３００６を介して複数の視聴者装置３００２と通信する通信手段３０１３と、サーバ３００１にアクセスする視聴者装置３００２を識別するクライアント識別手段３０１４と、視聴者装置３００２毎に既に発生したイベントのイベント識別子のリストであるクライアント発生イベントリストを保持するクライアント情報管理手段３０１５と、アクションテーブルを構成する際に参照されるアクションテーブルリソースデータ３０１２と、アクションテーブルを同期対象となる事象に同期して逐次構成更新するとともに、構成するそれぞれのアクションテーブルの有効期間を決定しアクションテーブルに付与するアクションテーブル構成手段３０１１と、ネットワーク３００６を介してアクションテーブルを提供するアクションテーブル提供手段３０１０とを有する。

視聴者装置３００２は、サーバ３００１と通信する通信手段３０２４と、サーバ３００１からアクションテーブルを取得しこれを保持するアクションテーブル管理手段３０２２と、イベントの発生を監視し、発生したイベントのイベント識別子をアクションテーブル管理手段３０２２に通知するイベント管理手段３０２１と、アクションテーブル管理手段３０２２から通知されたアクション内容情報に記載されているアクションを即座に実行するアクション実行手段３０２３と、入力インタフェース３０２６と、出力インタフェース３０２５とを有する。

図２０は、本実施の形態による方法のシーケンス図である。サーバのアクションテーブルリソースデータ３０１２は、放送局３００３が放送する放送情報を収集している。最初に、サーバ３００１が、放送コンテンツの放送時間と同期して指定される有効期間ＸＸ〜ＸＸ毎に、有効なイベントを示すイベント識別子、及びそれに対応して実行される処理を示すアクション内容情報とを指定するアクションテーブルを構成する（ステップＳ１）。次に、サーバ３００１が、そのアクションテーブルを視聴者装置３００２へ送信する（ステップＳ２）。次に、視聴者装置３００２は、受信したアクションテーブルを保持し、発生したイベント、例えば使用者によって押下ボタンが押下されたことのイベント識別子ＹＹを導出する（ステップＳ３）。次に、視聴者装置３００２が、サーバ３００１から受信したアクションテーブルを用いてイベント識別子ＹＹに対応するアクション内容情報ＺＺを導出する（ステップＳ４）。最後に、視聴者装置３００２が、アクション内容情報ＺＺを実行する（ステップＳ５）。このとき、視聴者装置３００２が、イベント識別子ＹＹをサーバ３００１へ送信するものであってもよい（ステップＳ６）。これにより、サーバ３００１は、クライアント情報管理手段３０１５において、発生イベントリストを作成し、当該視聴者装置３００２に適したアクションテーブルを構成することが可能となる。

図２１は、本発明によるアクションテーブルの一例を示し、図２２は、本発明によるクライアント発生イベントリストの一例を示している。

以下に、本実施形態による具体的な動作について説明する。

視聴者装置３００２が起動する際に、アクションテーブル管理手段３０２２が、サーバ３００１から、アクションテーブルを取得する。アクションテーブル管理手段３０２２は、取得されたアクションテーブルに記載されている有効期間を確認し、有効期間内である間、当該取得されたアクションテーブルを参照対象とする。

アクションテーブル管理手段３０２２は、現在、参照対象となっているアクションテーブルの有効期間が終了する前に、サーバ３００１から新しいアクションテーブルを取得する。参照対象となっているアクションテーブルの有効期間終了と同時に、その新しいアクションテーブルを参照対象とする。

以降、アクションテーブル管理手段３０２２は、現在、参照対象となっているアクションテーブルの有効期間を確認しつつ、前述した操作を繰り返し、逐次、アクションテーブルを更新する。

更に、クライアント操作又はアクション実行に伴って、イベントが発生した場合、イベント管理手段３０２１は、発生したイベントのイベント識別子をアクションテーブル管理手段３０２２へ送信する。アクションテーブル管理手段３０２２は、現在参照対象となっているアクションテーブルを参照して、そのイベント識別子に対応するアクション内容情報をアクション実行手段３０２３へ送信する。更に、アクション実行手段３０２３は、そのアクション内容情報に従ってアクションを実行する。

更に、視聴者装置３００２のアクションテーブル管理手段３０２２は、イベント管理手段３０２１から受信したイベント識別子を、サーバ３００１へ送信する。サーバ３００１は、視聴者装置３００２からイベント識別子を受信した場合、先ず、クライアント識別手段３０１４が視聴者装置３００２を識別し、次に、クライアント情報管理手段３０１５が、そのクライアント（視聴者装置）に対応するクライアント発生イベントリストに当該イベント識別子を追加する。

更に、サーバ３００１は、視聴者装置３００２からアクションテーブルの要求がされた場合、クライアント識別手段３０１４が視聴者装置３００２を識別し、アクションテーブル構成手段３０１１が、識別された視聴者装置３００２に対応するクライアント発生イベントリストを参照してアクションテーブルを構成し、アクションテーブル提供手段３０１０が、当該視聴者装置３００２へそのアクションテーブルを送信する。

更に、サーバ３００１は、アクションテーブル構成手段３０１１が新しいアクションテーブルを構成した時点で、アクションテーブル提供手段３０１０によって、視聴者装置３００２へ該新しいアクションテーブルを能動的に配信する。

視聴者装置３００２は、アクションテーブル管理手段３０２２によって、受信された新しいアクションテーブルを保持し、現在参照しているアクションテーブルの有効期間が終了する時点で、現在参照しているアクションテーブルを新しいアクションテーブルヘ変更する。

（実施例３−１）
次に、本発明によるシステムをテレビ放送に適用した、具体例を実施例３−１として説明する。

実施例３−１は、テレビでドラマ映像を視聴中に、ドラマ映像音声中の被写体、背景又はＢＧＭ等に視聴者が興味を持った場合に、視聴者装置３００２のいわゆるブックマークのためのボタンを押すと、当該関連情報ヘアクセスするためのアイコン（又はＵＲＬ等）が、表示装置上の画面に追加されるというようなアプリケーションである。視聴者装置３００２に、入力デバイスとして３つのブックマークボタンがあるものとする。それぞれのボタンのシステム内での識別子は、（０、０）、（１、０）及び（２、０）であるとする。これら３つのブックマークボタンは、例えば、第１のボタンは被写体に関して興味を有したことを示し、第２のボタンは背景について興味を有したことを示し、第３のボタンはＢＧＭについて興味を有したことを示す等の機能分担を有すること等が考えられる。更に、場合によっては、それぞれのブックマークボタンが映像中の何に興味を有したことを示すかは動的に変化するものであってもよい。即ち、ある時点においては、ボタン（１、０）が被写体に関して興味を有したことを示し、ボタン（２、０）が背景について興味を有したことを示し、更にボタン（３、０）がＢＧＭについて興味を有したことを示しているが、別の時点においては、映像中に２つの被写体（例えばタレント）等が存在するので、ボタン（１、０）が第１の被写体に関して興味を有したことを示し、ボタン（２、０）が第２の被写体について興味を有したことを示し、更にボタン（３、０）がＢＧＭについて興味を有したことを示す等ということである。また、各視聴者装置３００２において、ボタン操作の意味が異なる、即ち、ボタン操作に応じて発生するアクションが異なるものであってもよい。

図２３は、本発明によるアクションテーブルの一例である。このアクションテーブルは、有効期間が時刻０から時刻９９９までである。入力デバイスは、３つのボタンから構成され、それぞれのボタンのシステム内での識別子は（０、０）、（１、０）及び（２、０）である。イベント識別子は、時刻情報及びボタン識別子から構成される。イベント識別子［（０、４９９）、（０、０）］は、時刻０から時刻４９９の間に、識別子（０、０）のボタンが押されたというイベントを意味する。当該イベント識別子に対応して、アイコンＡを画面に追加表示するというアクション「ａｄｄ ｉｃｏｎ＿Ａ」が記述されている。

図２３のアクションテーブルによれば、時刻０から時刻４９９の間に識別子（０、０）のボタンが押下されれば「ａｄｄ ｉｃｏｎ＿Ａ」を実行する。以下同様に、時刻０から時刻４９９の間に識別子（１、０）のボタンが押下されれば、「ａｄｄ ｉｃｏｎ＿Ｂ」を実行し、時刻０から時刻４９９の間に識別子（２、０）のボタンが押下されれば「ａｄｄ ｉｃｏｎ＿Ｃ」を実行し、時刻５００から時刻９９９の間に識別子（０、０）のボタンが押下されれば「ａｄｄ ｉｃｏｎ＿Ｄ」を実行し、時刻５００から時刻９９９の間に識別子（１、０）のボタンが押下されれば「ａｄｄ ｉｃｏｎ−Ｅ」を実行し、時刻５００から時刻９９９の間に識別子（２、０）のボタンが押下されれば「ａｄｄ ｉｃｏｎ＿Ｆ」を実行する。

視聴者装置３００２は、時刻０から時刻９９９までの間、図２３のアクションテーブルを参照対象とする。そして、時刻０から時刻９９９までの間に視聴者装置３００２のいずれかのボタンが押されてイベントが発生すると、即座に、アクションテーブルに基づいて決定されるアクションを実行する。

図２４は、次に取得されたアクションテーブルの一例である。次の有効期間のアクションテーブルを取得するために、視聴者装置３００２は、時刻０から時刻９９９までの間に、サーバ３００１ヘアクセスする。有効期間１０００〜１９９９は、図２３のアクションテーブルを参照対象として処理を行う。有効期間０〜９９９に、どのイベントが発生しても発生しなくても、次にサーバ３００１から取得されるアクションテーブルは全ての視聴者装置３００２において同じである。

各クライアント（視聴者装置）において、有効期間０〜９９９に発生したイベントの種類及び、イベント発生の有無により、取得される有効期間１０００〜１９９９のアクションテーブルの内容が異なることも特徴である。

図２５及び図２６は、内容が異なるアクションテーブルの一例である。本発明によるシステムの中に複数の視聴者装置３００２が存在する場合、第１の視聴者装置においては、時刻０〜９９９の間に全くイベントが発生せず、視聴者装置Ｂにおいては、時刻０〜４９９の間に識別子（０、０）のボタンが押され「ａｄｄ ｉｃｏｎ＿Ａ」が実行されたとする。この場合、第１の視聴者装置は、新しいアクションテーブルとして図２５のテーブルをサーバ３００１から取得する。一方、時刻０〜４９９の間に識別子（０、０）のボタンが押されなかった場合、第１の視聴者装置は、新しいアクションテーブルとして図２６のテーブルをサーバ３００１から取得する。

このように、各視聴者装置３００２におけるイベント発生の有無、又は発生したイベント種別によって、取得されるアクションテーブルの内容が異なる。この結果、ボタン操作に伴って実行されるアクションを、以前に行ったボタン操作に依存して、各視聴者装置において変化させることができる。

（実施例３−２）
次に、本発明によるシステムをテレビ放送に適用した、実施例３−２について説明する。

この実施例３−２は、テレビで教育番組等を視聴中に、視聴者装置３００２の表示装置３００４の画面上に番組に進行に合わせて、番組の内容に関連する所定の情報ページ、即ちインターネット上の所定のホームページが表示されるというようなアプリケーションである。このアプリケーションにおいて、イベントとは、所定の時刻、即ち番組内容が切り替わる時刻になったということに対応し、当該イベントが発生した時点で、新しい情報ページに更新するというアクションを実行する。

図２７は、実施例３−２におけるアクションテーブルの一例である。図２７によれば、ＵＲＬがｈｔｔｐ：／／ｐａｇｅ１であるホームページを画面に追加表示するというアクションを「ｏｐｅｎ ｈｔｔｐ：／／ｐａｇｅ１」と記述している。視聴者装置が、ＭＳ−ＷｉｎｄｏｗｓのＯＳを搭載するパーソナルコンピュータ上に実装されている場合、「ｏｐｅｎ ｈｔｔｐ：／／ｐａｇｅ１」というアクションの実行は、ＭＳ−Ｗｉｎｄｏｗｓ上のインターネットブラウザプログラム「ｉｅｘｐｌｏｒｅ．ｅｘｅ」等の機能を利用して、当該ＵＲＬで指定されるホームページを開くことである。

この動作は、先ず、視聴者装置３００２が、同期処理の対象となる番組の放送に先立ち起動され、図２７に示すアクションテーブルをサーバ３００１から取得する。次に、視聴者装置３００２において、時刻が、００／０９／０４／１９：００：００になった時点で、イベント識別子［００／０９／０４／１９：００：００］のイベントが発生したとみなされ、対応するアクション「ｏｐｅｎ ｈｔｔｐ：／／ｐａｇｅ１」が実行され、ｈｔｔｐ：／／ｐａｇｅ１で示されるホームページが表示される。次に、時刻が、００／０９／０４／１９：０４：００になった時点で、イベント識別子［００／０９／０４／１９：０４：００］のイベントが発生したとみなされ、対応するアクション"ｏｐｅｎ ｈｔｔｐ：／／ｐａｇｅ２"が実行される。次に、時刻が、００／０９／０４／１９：０９：１５になった時点で、イベント識別子［００／０９／０４／１９：０９：１５］のイベントが発生したとみなされ、対応するアクション「ｏｐｅｎ ｈｔｔｐ：／／ｐａｇｅ３」が実行される。以降同様に、イベント識別子で指定される時刻になった時点で、当該イベントが発生したとみなして、対応するアクションを実行して行く。

更に、図２７に示すアクションテーブルの有効期限は００／０９／０４／１９：１５：００までなので、００／０９／０４／１９：１５：００になった時点で、現在参照している図２７に示すアクションテーブルは、新しく取得されたアクションテーブルに更新され、その後、更新されたアクションテーブルのイベント識別子で指定される時刻おきにアクションを実行していく。

（実施例３−３）
次に、本発明によるシステムをテレビ映像放送に適用した、実施例３−３について説明する。

この実施例３−３では、図２８に示すように、視聴者装置３００２の出力装置３００６は、放送映像を受像する放送受信装置と一体になっている。あるいは、両者が接続されている。視聴者装置３００２には、入力デバイスとしてマウス等のポインティングデバイスが具備される。ポインティングデバイスとして、タッチパネルディスプレイを用いても良い。この場合、出力デバイスである放送受信装置に表示される放送映像の各映像フレーム中の被写体を、前記ポインティングデバイスを用いてポインティングすることが可能である。

放送映像を受信する放送受信装置と、視聴者装置の出力デバイスが一体になっている場合、前記放送受信装置および出力デバイス一体化装置の情報表示領域（ディスプレイ画面）は、図２９に示すような構成をとることができる。

本実施例では、上述の環境において、視聴者が、視聴者装置に接続されるポインティングデバイスにより、放送映像の各映像フレーム中の被写体をポインティングした際に、ポインティングされた被写体に対応するアクションを実行するものである。実行されるアクションとしては、ポインティングされた被写体に関連するホームページを提示する、ポインティングされた被写体に関連するホームページをブックマークに追加する、等、様々な処理が考えられる。本実施例では、ポインティングされた被写体に対応するアイコンイメージを画面上に追加表示するアクションを実行する場合について説明する。

この場合に、関連情報提供サーバ３００１より提供されるアクションテーブルの一例を図３０に示す。図３０に示すアクションテーブルは、有効時間が時刻０から時刻９９９までである。イベント識別子は、時刻情報（ｔ１，ｔ２）および当該時刻に放送映像表示領域中の被写体存在領域に対応する長方形領域の左上隅の座標（ｘａ，ｙａ）、および、右上隅の座標（ｘｂ，ｙｂ）から構成されており、［（ｔ１，ｔ２），（ｘａ，ｙａ）−（ｘｂ，ｙｂ）］というように記述されている。放送映像表示領域が図３１に示すように、６４０ｘ４８０（ＶＧＡ）の解像度であるとした場合、イベント識別子［（０，２９９），（１００，１００）−（２００，２００）］は、時刻０から時刻２９９の間に左上隅座標を（０，０）として座標（１００，１００）、（２００，２００）を対角線とする長方形領域内がポインティングされたというイベントを意味する。ここで、通常、前記長方形領域内には、時刻０から時刻２９９の間、ポインティングの対象となる被写体Ａが存在する。図３０に示したアクションテーブルでは、当該イベント識別子［（０，２９９），（１００，１００）−（２００，２００）］に対応して、アイコンＡを画面に追加表示するというアクション「ａｄｄ ｉｃｏｎ＿Ａ」が記載されている。

図３０のアクションテーブルによれば、時刻０から時刻２９９の間に、座標（１００，１００）、（２００，２００）を対角線とする長方形領域内がポインティングされた場合、「ａｄｄ ｉｃｏｎ＿Ａ」が実行される。以下同様に、時刻０から時刻２９９の間に、座標（３００，３００）、（４００，４００）を対角線とする長方形領域内がポインティングされた場合、アイコンＢを画面に追加表示するというアクション「ａｄｄ ｉｃｏｎ＿Ｂ」が実行される。時刻３００から時刻５９９の間に、座標（２００，１００）、（３００，２００）を対角線とする長方形領域内がポインティングされた場合、「ａｄｄ ｉｃｏｎ＿Ａ」が実行される。時刻３００から時刻５９９の間に、座標（２００，３００）、（３００，４００）を対角線とする長方形領域内がポインティングされた場合、「ａｄｄ ｉｃｏｎ＿Ｂ」が実行される。時刻６００から時刻９９９の間に、座標（３００，１００）、（４００，２００）を対角線とする長方形領域内がポインティングされた場合、「ａｄｄ ｉｃｏｎ＿Ａ」が実行される。時刻６００から時刻９９９の間に、座標（１００，３００）、（２００，４００）を対角線とする長方形領域内がポインティングされた場合、「ａｄｄ ｉｃｏｎ＿Ｂ」が実行される。

通常、放送映像表示領域のポインティング対象となる長方形領域内にはポインティングの対象となる被写体が存在する。例えば、時刻０から時刻２９９の時点では、放送映像領域内には、図３１に示すように被写体Ａおよび被写体Ｂが存在する。したがって、上述の例では、視聴者が放送映像視聴中、時刻０から時刻２９９までに間に被写体Ａをポインティングすると、図３２に示すように被写体Ａに対応するアイコンＡが視聴者装置出力情報表示領域に追加表示される。

なお、以上まで各実施例の説明において、"ａｄｄ ｉｃｏｎ＿Ｘ"で記述されるアクションは、更に拡張して、"ａｄｄ ｉｃｏｎ＿Ｘ ＵＲＬ"と記述できる。具体的には、「ａｄｄ ｉｃｏｎ＿Ａ ｗｗｗ．ｎｔｔ．ｃｏ．ｊｐ」という記述である。この例では、該アクションは、アイコンＡを追加表示し、かつ、以後、任意時点で、アイコンＡが視聴者により選択された場合には、ＵＲＬアドレス"ｗｗｗ．ｎｔｔ．ｃｏ．ｊｐ"の情報を提示するという処理に対応する。

前述したように、本実施の形態によれば、視聴者装置におけるイベントを様々な形態で定義することが可能である。例えば、各種ボタン操作発生時、マウス等のポインティングデバイスによる操作発生時、又は視聴者装置に接続されたマイクからの音声入力時がある。また、視聴者装置が音声認識のためのシステムを具備する場合には、マイクから所定の単語が入力された時がある。更に、絶対時刻が所定の時刻になった時、任意のイベント発生後、所定の時間が経過した時、又はこれらの複数が同時に発生した時、等がある。

また、本実施の形態によれば、前述したようなイベントを識別するためのイベント識別子を、事前に定義しておく。イベント識別子は、適用するサービス毎に定義が異なる場合もある。これにより、具体的な実施形態として前述したように、テレビ放送に連動した情報提供サービスを様々な形で提供できる。

なお、本実施の形態においても、視聴者情報及び端末情報に関連した関連情報を取得することが可能である。例えば、視聴者装置から関連情報提供サーバに予め視聴者情報及び端末情報を送信しておき、関連情報提供サーバが各視聴者装置毎のアクションテーブルを作成する際に、当該視聴者情報や端末情報を考慮するようにする。

（効果）
以上、本実施の形態によるシステム、方法及び制御プログラムを記録した記録媒体によれば、視聴者装置が、放送に多重されたデータ信号を取得することなく、放送される所定チャネルの放送コンテンツに同期したイベントに対する処理を、素早く実行することができる。従って、視聴者装置が、放送受信装置から放送に多重されたデータ信号を取得する機能を有する必要もない。また、視聴者装置がボタン操作等を行った際に、既にアクションテーブル管理手段３０に保持されているアクションテーブルを参照して、即座に発生したイベントに対応するアクションが実行されるので、遅延時間が極めて短くなり、クライアント操作に対するレスポンスが遅いことによる操作性の低下を防ぐことができる。更に、本発明では、イベント識別子とアクションとの対応関係を記述したテーブル毎に有効期間が明示されているので、同期対象となる放送コンテンツの放送時刻や番組構成の動的な変化に対応できる。例えば、番組構成が常に変化するライブ番組等にも適用できる。アクションテーブルの有効期間は、同期対象となる放送コンテンツの提供者の意図により設定できる。有効期間を効果的に用いることにより、ライブ放送番組等と同期したイベント処理もある程度実現可能と考えられる。

また、本実施の形態によれば、サーバに視聴者装置毎のイベント識別子が管理されるので、同じイベントに対しても、視聴者装置毎に適切な異なるアクション内容が実行される。

［第４の実施の形態］
次に、本発明の第４の実施の形態について実施例４−１及び実施例４−２を用いて説明する。本実施の形態では、視聴者装置から関連情報提供サーバに部分放送情報を送信し、関連情報提供サーバは当該部分放送情報に基づき関連情報を検索し、視聴者装置に送信する。

（実施例４−１）
図３３を参照すると、本発明の第４の実施の形態における関連情報提供機能付放送受信システムは、放送局４００６より映像音声を含む放送情報を受信するとともに、入力部４０１２からの視聴者の関連情報取得指示により、視聴者が視聴中の放送情報又は該放送情報を変換して得られた特徴量情報である部分放送情報を送信し、関連情報を取得、視聴者に提供する関連情報取得部４０１１を有する視聴者装置４００１と、インターネット等のネットワーク４００５に接続され、放送情報と、放送情報の関連情報を蓄積し、視聴者装置４００１からの部分放送情報に対応する関連情報を視聴者装置４００１に送信する関連情報提供サーバ４００２と、視聴者装置４００１で受信された放送情報を蓄積する、ＶＴＲ等の放送情報蓄積装置４００３と、視聴者装置４００１からのアクセスに対して関連情報ホームページを視聴者装置４００１に送信するコンテンツ提供サーバ４００４で構成されている。なお、視聴者装置４００１は便宜上１台しか図示されていないが、実際には多数存在する。

視聴者装置４００１は、ＢＳデジタル放送、ＣＳデジタル放送、地上波デジタル放送、ケーブルテレビ放送、ＩＰネットワーク（インターネット）を介したネットワーク放送等の放送信号を受信し、音声映像等の放送情報を復号、再生し、視聴者に提示する機能を有する装置であり、テレビ放送であれば、放送受信アンテナ装置、チューナー装置あるいはＳＴＢ（Ｓｅｔ Ｔｏｐ Ｂｏｘ）、テレビ等から構成される装置である。図３３では、視聴者装置４００１は、上述の機器が一体化された装置として図示しているが、視聴者装置４００１は、放送受信アンテナ、放送信号から映像音声等の放送情報を復号する処理等を行う装置、映像音声等を表示再生する装置等が分離されており、必要な装置間が有線通信路もしくは無線通信路により接続されている構成でもよい。また、更に、視聴者装置４００１は、ＩＳＤＮやアナログ電話、その他の通信回線を介してインターネット等に接続し通信を行うためモデム等の通信装置を含んで構成される。更には、視聴者装置４００１は、図３３に示したように、ＶＴＲ等の、受信される放送情報を蓄積するための放送情報蓄積装置４００３を具備し、蓄積された放送情報を適時再生視聴するための機能を有する。なお、視聴者装置４００１の内部構成は後で説明する。

関連情報とは、特定の放送情報に関連する情報であって、テキスト、画像、音声、音楽、映像等から構成されるマルチメディア情報である。放送情報として、例えば、映画が提供された場合には、関連情報とは、ＨＴＭＬで記述されたその映画中の登場人物のプロフィール情報、ＢＧＭのタイトル、作曲者の情報等で、放送情報がＣＭ映像である場合には、そのＣＭの宣伝する商品の詳細情報、ＣＭのＢＧＭの情報等である。あるいは、関連情報とは前記のマルチメディア情報コンテンツヘアクセスするためのアドレス情報、すなわち、当該コンテンツへのＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒｓ）である場合もある。

関連情報が、任意の放送情報に関連するマルチメディア情報コンテンツへのＵＲＬである場合、視聴者装置４００１は、関連情報提供サーバ４００２にアクセスし、通知した放送情報識別情報に対応する関連情報であるＵＲＬを取得した後、インターネット４００５を介して当該ＵＲＬにアクセスし、コンテンツ提供サーバ４００４よりホームページ等の情報コンテンツを取得し、これを視聴者に提示する。視聴者装置４００１は、この処理を実施するための手段として、コンテンツ情報閲覧部４０１３を備えている。

関連情報提供サーバ４００２は放送情報データベース４０２１と関連情報データベース４０２２と放送情報マッチング部４０２３と関連情報提供部４０２４を有している。なお、関連情報提供サーバ４００２は、インターネット４００５に接続されるＷＷＷサーバとして実現される場合がある。

放送情報データベース４０２１は、各放送情報を、当該放送情報を識別するための情報である放送情報識別情報に対応させて管理している。すなわち、図３３に示したように、蓄積される放送情報である放送番組映像音声群を、例えば、それぞれＶｉｄｅｏ ０１、Ｖｉｄｅｏ ０２、Ｖｉｄｅｏ ０３、‥・という名前のファイルとして管理する。この場合、ファイル名が放送情報識別情報に相当する。更に、各映像音声ファイル中の映像フレーム番号を指定することで各映像音声ファイル中の一映像フレームまで特定することができる。この場合には、ファイル名及び映像フレーム番号が放送情報識別情報に相当する。更に、放送情報データベース４０２１内には、放送情報マッチング部４０２３が放送情報をマッチング検索する際の処理の高速化のために、検索処理に必要なメディア変換、あるいは特徴量抽出処理を施すことにより得られる情報（例えば、音声信号より抽出される特徴ベクトル情報等）が保持される場合がある。関連情報データベース４０２２は、放送情報データべース４０２１に蓄積された放送情報識別情報と当該放送情報に対応する関連情報とを対応させた、図３４に示すようなテーブルを含む。図３４に示した例において、関連情報は、関連する情報を含むホームページのＵＲＬとなっている。

放送情報マッチング部４０２３は、視聴者装置４００１より受信した部分放送情報と対応する放送情報を放送情報データベース４０２１中より検索することにより該部分放送情報に対応する放送情報の放送情報識別情報を特定する。関連情報提供部４０２４は関連情報データベース４０２２を参照し、特定された放送情報識別情報に対応する関連情報を取得し、視聴者装置４００１に送信する。

図３５に示すように、視聴者装置４００１は関連情報取得部４０１１と入力部４０１２とコンテンツ情報閲覧部４０１３と放送受信部４０１４と放送情報復調複号部４０１５と表示再生部４０１６とネットワーク通信部４０１７と部分放送情報バッファ４０１９で構成されている。

放送受信部４０１４はアンテナで、放送局４００６からの放送情報を受信する。放送情報復調復号部４０１５は放送受信部４０１４で受信された放送情報を復調復号し、表示再生部４０１６と、関連情報取得部４０１１と、放送情報を蓄積する場合には更に放送情報蓄積装置４００３に出力し、また放送情報蓄積装置４００３から蓄積された放送情報を入力し、再生する。入力部４０１２は関連情報取得指示ボタン１８及びその他不図示の各種ボタンを有している。関連情報取得部４０１１は、前述したように、視聴者が関連情報取得指示ボタン４０１８を操作すると、視聴者が視聴している放送情報より部分放送情報を生成し、ネットワーク通信部４０１７よりネットワーク４００５を経て関連情報提供サーバ４００２に送信し、関連情報提供サーバ４００２から送信されネットワーク４００５を経てネットワーク通信部４０１７で受信された関連情報を取得し、それに含まれるＵＲＬをコンテンツ情報閲覧部４０１３に出力する。コンテンツ情報閲覧部４０１３はＵＲＬによりネットワーク通信部４０１７、ネットワーク４００５を経てコンテンツ提供サーバ４００４にアクセスし、コンテンツ提供サーバ４００４から送信されてきた関連情報ホームページをネットワーク通信部４０１７を介して受け取り、表示再生部４０１６に出力する。表示再生部４０１６はＣＲＴ、ＬＣＤ等の表示手段と、表示回路からなり、放送情報である映像音声や関連情報ホームページ等を表示する。部分放送情報バッファ４０１９は視聴された映像音声を一時的に記憶する。

次に、本実施形態の関連情報提供機能付放送受信システムの動作を説明する。

視聴者が放送情報を視聴中に関連情報取得指示ボタン４０１８を操作すると、関連情報取得部４０１１は視聴中の放送情報、又は該放送情報を変換して得られた特徴量情報を部分放送情報として関連情報提供サーバ４００２に送信する。なお、視聴者が任意の時点に再生視聴中の、放送情報蓄積装置４００３に蓄積された放送情報に対応する関連情報を取得する場合は、前記任意の時点に再生視聴中の、放送情報蓄積装置４００３に蓄積された放送情報、もしくは前記任意の時点に再生視聴中の放送情報蓄積装置４００３に蓄積された放送情報を変換して得られる特徴量情報を部分放送情報として関連情報提供サーバ４００２に送信する。ここで、関連情報は、実際に放送情報に関連した情報を提供するホームページ等へのＵＲＬであるものとしている。関連情報提供サーバ４００２では、部分放送情報が視聴者装置４００１から通知されると、放送情報マッチング部４０２３が放送情報データベース４０２１を検索することにより該部分放送情報に対応する放送情報の放送情報識別情報を特定し、関連情報提供部４０２４が、図３４に示すようなテーブルを参照して該放送情報識別情報に対応付けられた関連情報（すなわちＵＲＬ）群を取得し、これを視聴者装置４００１へ通知する。視聴者装置４００１の関連情報取得部４０１１は取得された関連情報を視聴者に提示する。

ここで、関連情報取得部４０１１の実現例として、視聴者装置４００１に具備される関連情報取得指示ボタン４０１８等の入力手段が視聴者によって操作され、関連情報取得が指示された時点で関連情報提供サーバ４００２にアクセスし、部分放送情報を関連情報提供サーバ４００２に通知し、関連情報データベース４０２２から該部分放送情報に対応する放送情報識別情報に関連付けられた関連情報を取得し、視聴者に提示する以外に、（１）逐次連続的に関連情報提供サーバ４００２にアクセスし、視聴者が視聴中又は再生視聴中の放送情報に関する全ての関連情報を逐次関連情報管理データベース４０２２より取得し、視聴者に提示する、（２）視聴者装置４００１がいわゆるブックマーク用ボタンと、関連情報取得指示ボタン４０１８、及びメモリ（記憶装置）を具備し、視聴者がブックマーク用ボタンを操作しブックマークした時点の部分放送情報をメモリに蓄積しておき、視聴者が、関連情報取得指示ボタン４０１８を操作し関連情報取得が指示された時点で関連情報提供サーバ４００２にアクセスし、メモリに蓄積された部分放送情報を関連情報提供サーバ４００２に通知し、関連情報データベース４０２２から該部分情報に対応する放送情報識別情報群に関連付けられた関連情報群を取得し、視聴者に提示する等が考えられる。

また、放送情報マッチング部４０２３が、視聴者装置４００１より受信した部分放送情報と対応する放送情報を放送情報データベース４０２１中より検索することにより該部分放送情報に対応する放送情報の放送情報識別情報を特定する際には、Ｋ・Ｋａｓｈｉｎｏ、Ｇ．Ｓｍｉｔｈ ａｎｄ Ｈ．Ｍｕｒａｓｅ："Ｔｉｍｅ−Ｓｅｒｉｅｓ ａｃｔｉｖｅ ｓｅａｒｃｈ ｆｏｒ ｑｕｉｃｋ ｒｅｔｒｉｅｖａｌ ｏｆ ａｕｄｉｏ ａｎｄ ｖｉｄｅｏ"、Ｐｒｏｃ．ｏｆ ＩＣＡＳＳＰ−９９、Ｖｏｌ．６、PP．２９９３−２９９６、Ｍａｒ．１９９９、もしくは、柏野邦夫、村瀬洋、"音や映像を瞬時に探す時系列アクティブ探索法"、ＮＴＴＲ&Ｄ、Ｖｏｌ．４９、Ｎｏ．７、２０００、ＰＰ．４０７−４１３に記載の手法を使用するものとしている。前記の手法は、放送等の長時間の音声もしくは放送中から、特定の番組タイトルやＣＭ等、目的とする音や映像の有無及び対応位置を高速に検出する手法で、音声を検索する場合、検索対象となる音声全体、及び検索する音声の特徴ベクトルのヒストグラムに基づいて検索を行うものである。これらの手法を用いる場合には、部分放送情報は、関連情報の取得の対象となる時点を含む一定時間に視聴された映像音声中の音声データあるいは、該音声信号から抽出される特徴ベクトルに相当する。視聴者装置４００１に具備される関連情報取得部４０１１が特徴ベクトルを部分放送情報として関連情報提供サーバ４００２に送信する場合には、関連情報取得部４０１１は、音声信号から特徴ベクトルを抽出する機能をも有する。

部分放送情報としては、上述した音声信号もしくは音声信号から抽出される特徴ベクトル以外に、映像フレームデータ、映像シーケンスデータ（一連の連続するフレームデータ）、色ヒストグラム等の映像信号より抽出される各種特徴量が考えられる。

次に、本実施形態において、視聴者が視聴中に放送に関連する情報を取得する際のシステムの具体的動作について説明する。

まず、視聴者装置４００１を用いて視聴者が、放送中の放送映像音声、もしくは、放送情報蓄積装置４００３に蓄積された放送映像音声を再生視聴中に、関連情報取得部４０１１は常に、部分放送情報バッファ４０１９にａ時間前までの視聴された映像音声をバッファリングしている。ここで、視聴者が視聴中の映像音声の内容に興味をもち関連情報取得指示ボタン４０１８を操作したとする。この結果、関連情報取得部４０１１は、関連情報取得指示ボタン４０１８が操作された時点ｔよりａ時間前から時刻ｔまでの期間、すなわち、時刻ｔ−ａから時刻ｔまでの時間に視聴された放送映像音声の音声信号を部分放送情報として、ネットワーク通信部４０１７を介して関連情報管理サーバ４００２に送信する。

関連情報提供サーバ４００２の関連情報提供部４０２４は、受信された部分放送情報を放送情報マッチング部４０２３に送信する。放送情報マッチング部４０２３は、受信された部分放送情報、すなわち音声信号を利用して、放送情報データベース４０２１から該部分放送情報に対応する放送情報を検索する。検索の結果、例えば、映像ファイルＶｉｄｅｏ ０１のフレーム１番からフレーム３番までの映像シーケンスが受信された部分放送情報に適合したとする。ここで、受信された部分放送情報は、視聴者が関連情報取得指示ボタン４０１８を操作した時点ｔよりａ時間前から時刻ｔまでの期間、すなわち、時刻ｔ−ａから時刻ｔまでの時間に視聴された放送映像音声の音声信号に相当するので、適合した映像シーケンス中の最後の時刻に相当する映像フレームが、視聴者が関連情報取得指示ボタン４０１８を操作した時点ｔに視聴中の映像フレームに相当する。放送情報マッチング部４０２３は、前述のような判断を行い、結果として、放送情報識別情報として"ファイル名：Ｖｉｄｅｏ ０１、フレーム番号：００２"という情報を関連情報提供部４０２４に通知する。関連情報提供部４０２４は、図３４に示す関連情報データベース４０２２を参照し、受信された放送情報識別情報"フィル名：Ｖｉｄｅｏ ０１、フレーム番号：００２"に対応する関連情報として、ｈｔｔｐ：／／ｗｗｗ．ａａａ．ｃｏ．ｊｐ．／ｐｒｏｇｒａｍ ｉｎｆｏｒｍａｔｉｏｎ．ｈｔｍｌというＵＲＬを関連情報として視聴者装置４００１へ返信する。

視聴者装置４００１では、受信されたＵＲＬをコンテンツ情報閲覧部４０１３に送り、コンテンツ情報閲覧部４０１３は、該ＵＲＬアドレスで指定されるコンテンツ提供サーバ４００４にアクセスし、関連情報ホームページを取得し、これを表示再生部４０１６により視聴者へ提供する。

（実施例４−２）
以上までに述べた例においては、基本的に、視聴者が任意の放送情報を指定した場合に提供される関連情報は、視聴者の属性によらず、同一の放送情報に対応しては、全視聴者に同一の関連情報が提供されるものであった。

本実施の形態においても、上述した各実施の形態と同様に、視聴者情報や、視聴者装置の端末情報に基づいて、視聴者及び視聴者装置毎に異なる関連情報を提供することが可能である。本実施の形態では、視聴者及び視聴者装置毎に異なる関連情報を提供する構成について、実施例４−２として詳細に説明する。

第１の実施の形態と同様、視聴者情報とは、視聴者に関する情報であり、名前、性別、年齢、職業、住所、郵便番号、家族構成、住居に関する情報（マンション、一戸建て、等）、趣味、興味を有する情報ジャンル（政治、経済、ニュース、コンピュータ、書籍、スポーツ、旅行、等）、年収、各種サービスの会員であるか否かという情報及び会員番号あるいはクレジットカードＩＤ、各種資格（運転免許、等）保有の有無、体形に関する情報（体重、身長、衣類のサイズ等）、能力に関する情報（視力、聴力、等）、等のいずれか複数を含むものである。

端末情報とは、視聴者装置の表示装置の解像度、表示可能色数、ＷＷＷ情報閲覧手段の性能（Ｊａｖａ機能利用可否、映像音声コンテンツ再生機能の有無、映像音声コンテンツで再生できる符号化フォーマット情報、等）等の情報である。

以下に、視聴者情報や、視聴者装置の端末情報に基づいて、視聴者及び視聴者装置毎に異なる関連情報を提供する場合について、実施例４−１と異なる点について、図３６、図３７を参照して説明する。

本実施例においては、図３７に示すように、視聴者情報及び端末情報を記憶保持するための記憶部４０３０が、視聴者装置に具備されている。また、入力部４０１２は、視聴者情報を入力するための機能を視聴者に提供する。視聴者は、事前に、入力部４０１２を介して、各種視聴者情報を入力し、入力された視聴者情報が、記憶部４０３０に保持される。

また、端末情報は、端末製造時に記憶部４０３０に保持されるか、表示再生部４０１６が接続された時点で、表示再生部４０１６より記憶部４０３０に通知され保持される。

また、本実施例において、関連情報データベース４０２２に保持される関連情報は、ＵＲＬ等の関連情報本体とその属性情報から構成される。属性情報とは、当該関連情報の提供対象となり得る視聴者の特性、すなわち、性別、年齢、体形特性、能力特性、職業、地区、郵便番号群、家族構成特性、住居特性、年収、及び、当該関連情報の属する情報ジャンル、当該関連情報を利用するのに必要なサービス利用権利及び資格に関する情報と、提供対象となる端末の特性、すなわち、表示装置の解像度特性、表示可能色数、コンテンツ情報閲覧部４０１３の性能、等である。

関連情報本体がＵＲＬであった場合の関連情報は、例えば、
関連情報例１：「ＵＲＬ１，（女性用），（対象年齢２０以上），（１０２４ｘ８００以上），（２５６色以上）」
関連情報例２：「ＵＲＬ２，（衣類サイズＭ），（Ｊａｖａ機能必要）」
関連情報例３：「ＵＲＬ３，（職業：主婦），（東京都）」
関連情報例４：「ＵＲＬ４，（女性用），（視力０．８以下）」
関連情報例５：「ＵＲＬ５，（ジャンル：スポーツ）」
というようなものになる。

この例において実際の関連情報は、関連情報例１では女性向けのタバコの広告情報であり、２０歳未満、もしくは、男性には不向きなコンテンツである場合等に当たる。関連情報例２は衣類の広告情報、また、関連情報例３は東京都内のスーパーマーケットの商品情報、関連情報例４は、女性用眼鏡の広告情報、等である場合が考えられる。また、関連情報５はスポーツ用品の広告等である場合が考えられる。

視聴者装置の４００１関連情報取得部４０１１は、図３６に示すように、関連情報提供サーバ４００２にこれまでに述べた実施例において、部分放送情報を送信する際に、視聴者情報及び端末情報、もしくは、前記いずれかの情報を、部分放送情報とともに送信する。

関連情報提供サーバ４００２の関連情報提供部４０２４は、前述の実施例において述べた手順に従って部分放送情報から放送情報識別情報を特定し、更に対応する関連情報を特定する。その後、対応する関連情報に付与された、視聴者情報及び端末情報を参照し、これらに基づいて関連情報を選別し、視聴者装置に送信する。

具体的には、視聴者装置４００１より、関連情報提供サーバ４００２に受信された部分放送情報から特定された放送情報識別情報に対応付けられた関連情報が上記の関連情報例１〜４に示したものであり、視聴者情報が（女性）であり、端末情報が、（解像度８００ｘ６００）、（Ｊａｖａ利用不可）であった場合には、関連情報提供部４０２４は、解像度が１０２４ｘ８００以上必要ということが条件である関連情報例１と、Ｊａｖａ機能必要が条件である関連情報例２を除外し、残りのＵＲＬ３、ＵＲＬ４、ＵＲＬ５を視聴者装置４００１に送信する。

また、前記視聴者情報が、（女性）、（京都府）、（視力１．５）（興味ジャンル：書籍）であり、前記端末情報は、（解像度１０２４ｘ８００）、（Ｊａｖａ利用可）であった場合には、関連情報提供部４０２４は、対象地区が東京都である関連情報例３と、対象視聴者の視力が０．８以下である関連情報例４と、ジャンルが指定してあってかつそのジャンルが書籍以外である関連情報例５を除外し、残りのＵＲＬ１、ＵＲＬ２を視聴者装置４００１に送信する。

上述の例以外に、属性情報として、（Ａサービス会員のみ利用可）という情報が関連情報に付与されており、視聴者情報としてＡサービス会員番号が含まれる場合に、該関連情報を視聴者装置４００１に送信する場合がある。また、属性情報として、（自動車免許必要）という情報が関連情報に付与されており、視聴者情報として（自動車免許有）が含まれる場合に、該関連情報を視聴者装置４００１に送信する場合等がある。

また、属性情報として、（ｍｐｅｇ２形式）という情報が関連情報に付与されており、端末情報として（再生可能符号化方式：ｍｐｅｇ２）が含まれる場合に、該関連情報を視聴者装置に送信する場合等がある。

このように上記の実施例４−２においては、視聴者情報、端末情報を利用することにより、視聴者にとって必要性のない関連情報、及び、視聴者の利用する視聴者装置において利用できない関連情報は送信されず、視聴者にとって必要と考えられる情報、あるいは、利用可能な情報のみを視聴者に提供する。

（効果）
以上説明したように、本実施の形態によれば、放送映像音声に対して関連情報を提供するために必要な情報を付加する等の特別な処理を行う必要がなく、かつ、放送映像音声を一時蓄積して再生視聴する際にも、ネットワークを介して放送映像音声に関する関連情報の提供サービスが可能となる。

［第５の実施の形態］
次に、本発明の第５の実施の形態について説明する。本実施の形態では、放送音声に重畳されたフレームＩＤ等を利用することにより、放送画像フレームに正確に同期したサービスを実現する。

そのようなサービスとしては、例えば、テレビ放送を視聴中に、利用者が手元の視聴者装置上のボタンを押しておくと、ボタンが押された時点でテレビに映し出されていた映像の内容に関連する関連情報がネットワークを介して取得され、視聴者装置において利用できるといったサービスがある。

また、教育番組等の視聴中において、視聴者装置の表示装置には、当該教育香組において説明に用いられるテキストブック等が表示され、番組の進行に合わせてページが捲られる、下線がひかれる、解説の対象となっている箇所を示すポインターが表示される、等のアクションが発生するというようなサービスも可能である。

上述したようなサービスを実現するためには、視聴者装置が、任意の時点で、利用者が視聴している放送の内容を把握できる必要がある。すなわち、本実施の形態では、視聴者装置は、常に、利用者がテレビのどのチャンネルを視聴中であるか、現在、テレビにはどの映像が映っているか等の情報を、音声に重畳されたフレームＩＤ等を利用して把握する。従って、例えば、視聴者装置においてボタンが押された時点で、視聴中の映像に関連する関連情報を取得するサービスにおいて、テレビに映っている映像シーンが切り替わって、その内容が変わった時点で、瞬時に、取得対象となる関連情報を切り替えることができる。

なお、本実施の形態における"関連情報"の用語は、放送情報に関連するコンテンツを取得するための情報を指す場合に使用する他、放送情報に関連するコンテンツ自身を指す場合についても使用する。

図３８は本発明の第５の実施の形態における放送同期型サービス提供システム全体の構成の例を示す図であって、数字符号５００１は放送局、５００２は送信手段、５００３は信号付加手段、５００４は映像、５００５は音声、５００６は放送、５００７は放送受信装置、５００８は映像・音声記録装置、５００９は視聴者装置、５０１０はマイクロホン（ＭＩＣ）、５０１１はデータ信号抽出手段、５０１２は出力手段、５０１３は入力手段、５０１４はネットワークヘの接続線を表している。

同図に示す放送同期型サービス提供システムは、音声や映像を放送する放送局側において、少なくともチャネルＩＤと、画像フレームＩＤ又は音声フレームＩＤの両者を含むデジタルデータ信号を放送波のアナログ音声波に重畳する信号付加手段５００３を具備している。

音声波へのデータ信号の重畳は、例えば放送する映像のフレームレートが３０フレーム／秒の場合、１／３０秒毎に逐次データ信号を重畳する等の方法を採ることができる。このような、信号付加手段が音声にデータ信号を重畳する方法としては、例えば、データハイディング技術（日経エレクトロニクス、Ｎｏ．６８３（１９９７）、ｐｐ．９９〜１２５、１４９〜１６２参照）を用いることができる。

音声信号にデータ信号を重畳する方法の例として、送信側で、２値化したデータ信号の"０"、"１"に対応させて音声信号の特定の周波数成分（帯域）を削除して送信し、受信側では、該音声信号から削除されている周波数成分を検出して２値データ列を再生する方法や、送信側で、２値化したデータ信号の"０"、"１"に対応させた特定の周波数成分を音声信号の帯域外で送信し、受信側では、該音声信号の帯域外に付加されている周波数成分を検出して２値データ列を再生する方法等がある。

図３８において、放送受信側は、放送された音声及び映像を再生する放送受信装置と、前記放送受信装置５００７と通信回線等の通信手段を有さない視聴者装置５００９から構成されている。

図３９は視聴者装置の構成の例を示す図である。視聴者装置５００９は、放送受信装置のスピーカより再生される放送情報の音声を集音するためのマイクロホン１０と、該マイクロホンより入力された音声から重畳されている信号を抽出し、チャネルＩＤと画像フレームＩＤを確認するデータ信号抽出手段５０１１と、ネットワーク上の関連情報コンテンツ提供サーバと通信するための通信手段５０１５とを有する。

また、各処理に必要なデータを記憶しておくための記憶手段５０１６と、利用時にネットワーク上のサーバから提供された関連情報等をユーザに表示するためのディスプレイ等の出力手段５０１２と、ユーザが端末の操作に必要な情報を入力するためのマウスやキーボードといった入力手段５０１３と、それらを制御するための制御手段５０１７とを有する。

本実施の形態における放送同期型サービス提供システムでは、図３９に示すように放送局側において、放送情報の音声に前述のようにデータ信号を重畳し、放送情報の映像とともに放送する。一方、視聴者装置は、図３９の中に示したデータ信号抽出手段（チャネルＩＤと画像フレームの識別手段）により、放送情報のアナログ音声波に重畳されたデータ信号を抽出することによって、現在、ユーザが視聴している放送情報の状態、つまり、どの放送チャネルのどのような場面を見ているかを正確に把握することができる。

従って、前記視聴者装置は、ネットワーク上等に存在する前記放送情報に関連する関連情報を提供するサーバと通信することで、ユーザに対して放送同期型サービスを提供することができる。ここで、前述したように、放送同期型サービスとは、例えば、視聴中の番組進行（実際には、音声や画像フレームの変化）に同期して変化する関連情報を逐次ユーザに提供する、あるいは、ユーザが興味を持ったシーンにおいてボタン等を押すことで前記シーンにおける関連情報をマークし、後で閲覧する、といったようなサービスをあげることができる。

更に、上述のシステムのうち放送受信装置に、放送情報が記録及び再生できる手段を接続し利用することによって、ユーザは今現在放送されている放送番組だけでなく、一度記録した放送番組に対して、いつでも自由に前述のようなサービスを利用することができる。以下に、本放送同期型サービス提供システムの動作について説明する。

図４０に第５の実施の形態における実施例の構成図を示す。同図において数字符号５００１は放送局、５００７は放送受信装置、５００８は映像・音声記録装置、５００９は視聴者装置、５０１０はマイクロホン（ＭＩＣ）、５０１１はデータ信号抽出手段、５０１８は出力デバイス、５０１９は入力デバイス、５０１４はネットワークへの接続線、５０２０は放送情報データベース、５０２１は放送情報関連情報付与装置、５０２２は放送情報データベース構築装置、５０２３ａ〜５０２３ｄは関連情報コンテンツ提供サーバ（ａ）〜（ｄ）を表している。

本発明の放送同期型サービス提供システムでは、製作された放送情報は番組として、一般ユーザに向け放送局側の放送手段により放送される。この際、前記放送情報のうち音声には、放送チャネルが一意に識別可能なチャネルＩＤと画像フレームが一意に識別可能な画像フレームＩＤを含むデータ信号を信号付加手段により重畳する。

以上の処理を放送同期型サービスの対象とするすべての放送情報に対して行う。これによって、前記サービスの対象となるすべての放送情報は重畳されたデータ信号を抽出することによって、現在、視聴している放送チャネルと画像フレームを一意に識別することができる。

一方、放送受信側においては、テレビ等の放送受信装置５００７を利用することで放送された放送情報を従来どおり視聴することができる。そして、ユーザは視聴者装置５００９を起動させることによって放送同期型サービスを受けることができる。該視聴者装置５００９は起動すると、放送受信装置５００７のスピーカより出力される音声をマイクロホン１０で集音する。

集音した音声からデータ信号抽出手段によりチャネルＩＤと画像フレームＩＤを確認する。このとき、確認されたチャネルＩＤに基づき視聴者装置はネットワーク上に点在する各放送チャネルの放送情報毎に関連する関連情報コンテンツ提供サーバから、現在、視聴している放送チャネルの放送情報に関連する関連情報コンテンツ提供サーバを特定した後、ネットワークを介し前記関連情報コンテンツ提供サーバにアクセスし画像フレームＩＤを送信する。

関連情報コンテンツ提供サーバは、放送情報のデータベース構築装置５０２２や関連情報付加装置５０２１等によって構築された放送情報データベースを管理している。該放送情報データベースには、各画像フレームＩＤに音声や映像や文字やサービス端末への実行命令といった各種の関連情報が関連付けられたテーブルが用意されており、画像フレームＩＤを指定することによつて容易に関連する関連情報のセットを指定できる。

従って、関連情報コンテンツ提供サーバは、クライアントに当たるユーザ側の視聴者装置より送信された画像フレームＩＤの情報を受信することによつて、今現在ユーザが視聴しているシーンを正確に把握できるので、シーンに応じた関連情報を前記視聴者装置に送信することができる。上述の操作を逐次繰り返すことによって、ユーザは現在視聴している放送情報に正確に同期した関連情報の提供を受けることができる。これによって、放送同期型サービスを実現することができる。

また、本発明の放送同期型サービス提供方法では、上述の放送同期型サービス提供システムの動作を基本とし、更に、画像フレームＩＤの形式を指定することでユーザが、現在、視聴している放送情報を視聴者装置が把握する際の信頼性を向上させる。

図４１にはチャネルＩＤと画像フレームＩＤを含むデータ構造を示す。チャネルＩＤと画像フレームＩＤは上述したように放送チャネルと画像フレームが一意に識別可能なものとするが、中でも画像フレームＩＤは時系列的に連続な数字とする。視聴者装置では前述のように放送受信装置のスピーカから再生された音声をマイクにより集音しデータ信号抽出手段によりチャネルＩＤと画像フレームＩＤを逐次識別する。

図４２は前記二つのＩＤを確認する際の実際の処理フローを示す。視聴者装置は、起動されると"最後のチャネルＩＤ"と"最後の画像フレームＩＤ"の二つの値を初期値にセットする。このときセットする初期値は、例えば、"最後のチャネルＩＤ"の値であれば、前回、視聴し終了させる直前にみていたチャネルＩＤ、もしくは、予め定めたチャネルＩＤ等が考えられ、"最後の画像フレームＩＤ"の値であれば、"０"等の値が考えられる。

前記視聴者装置は、音声から逐次データ信号を抽出しチャネルＩＤと画像フレームＩＤの識別（ステップＳ１）を行うが、正確に前記二つのＩＤが確認されたかどうかに基づき以下のような処理に従う。まず、チャネルＩＤが正確に確認された場合は、前記チャネルＩＤを現在再生されている放送チャネルのチャネルＩＤとして利用し（ステップＳ２）、音声からデータ信号が正しく抽出されず、チャネルＩＤが確認されなかった場合には、"最後のチャネルＩＤ"の値を現在再生されている放送チャネルのチャネルＩＤと見なし利用する（ステップＳ３）。そして、現在のチャネルフレームＩＤを記録する（ステップＳ４）。

一方、画像フレームＩＤの認識（ステップＳ５）については、正確に画像フレームＩＤが確認された場合は、チャネルＩＤと同様に前記画像フレームＩＤを現在再生されている画像の画像フレームＩＤとして利用する（ステップＳ６）。一方、確認されなかった場合には、前述したように画像フレームＩＤが時系列的に連続な数字であることから、"最後の画像フレームＩＤ"の値に１を加算した値を現在再生している画像の画像フレームＩＤと見なし利用する（ステップＳ７）。そして規在の画像フレームＩＤを記録する（ステップＳ８）。

チャネルＩＤ、画像フレームＩＤともに現在の値として利用した後は、それぞれ、"最後のチャネルＩＤ"の値、"最後の画像フレームＩＤ"の値にセットする（ステップＳ９）。そして、次の区間の音声からデータ信号を抽出する（ステップＳ１０）。このようにして逐次行われる処理の流れにおいて常に最新に利用した値を保持し利用することができる。上記のように画像フレームＩＤを決定し、処理フローに従うことによって、同一番組視聴中において音声からデータ信号が正しく抽出されなかった場合においても画像フレームＩＤを補間することができるからサービスの提供を維持できる。

本放送同期型サービス提供方法をテレビ放送に適用した場合の具体的な実施例として、あるテレビ番組を例にとり説明する。このテレビ番組を放送する放送局にはあらかじめ音声にデータ信号を重畳する手段が具備されているものとし、前記放送局のチャンネルＩＤとして"ａ"が与えられているものとし、画像フレームＤは"１"から始まるものとする。

また、ここでは視聴者装置起動後におけるデータ信号抽出手段の結果によるチャネルＩＤと画像フレームＩＤの確認結果を図４３のように想定し、"最後のチャネルＩＤ"の値を格納する変数を"ＬＡＳＴ−ＣＨ−ＩＤ"、"最後の画像フレームＩＤ"の値を格納する変数を"ＬＡＳＴ−ＦＲＡＭＥ−ＩＤ"、"現在のチャネルＩＤ"の値を格納する変数を"ＣＨ−ＩＤ"、"現在の画像フレームＩＤ"を格納する変数を"ＦＲＡＭＥ−ＩＤ"とする。

まず、このテレビ番組を視聴している際、視聴者装置を起動させると、初期値として例えば、"ＬＡＳＴ−ＣＨ−ＩＤ"には"ｚ"、"ＬＡＳＴ−ＦＲＡＭＥ−ＩＤ"には"０"がセットされたとする。次に、初めて前記サービス端末がデータ信号抽出手段を用いて識別を行った結果は図４３から、チャネルＩＤは"ａ"、画像フレームＩＤは"１０００"と正確に確認された（ｓｔｅｐ１）ことにより"ＣＨ−ＩＤ"に"ａ"、"ＦＲＡＭＥ−ＩＤ"に"１０００"がセットされ、更に、"ＬＡＳＴ−ＣＨ−ＩＤ"に"ａ"、"ＬＡＳＴ−ＦＲＡＭＥ−ＩＤ"に"１０００"がセットされる。

しかし、更に次のデータ信号抽出手段による結果では図４３から、チャネルＩＤと画像フレームＩＤともに"不明"となっている（ｓｔｅｐ２）。従って、前述した図４２の処理フローに従い、"ＣＨ−ＩＤ"は"ＬＡＳＴ−ＣＨ−ＩＤ"を参照することで"ａ"を、"ＦＲＡＭＥ−ＩＤ"は"ＬＡＳＴ−ＦＲＡＭＥ−ＩＤ"を参照し１を足すことで"１００１"をセットし、それぞれの値を新しい"ＬＡＳＴ−ＣＨ−ＩＤ"、"ＬＡＳＴ−ＦＲＡＭＥ−ＩＤの値とする。

このような手順に従い図４３のデータ信号抽出処理結果に対して得られた各変数の値を図４４に示す。一方で、視聴者装置は処理フローの結果得られた"ＣＨ−ＩＤ"の値に基づき放送内容に関連する関連情報コンテンツ提供サーバにネットワークを介してアクセスし、逐次"ＦＲＡＭＥ−ＩＤ"を送信する。

関連情報コンテンツ提供サーバは受信した"ＦＲＡＭＥ−ＩＤ"にあらかじめ関連付けられた、文字データ、音声データ、画像データ、あるいは関連情報の存在するＵＲＬ等をサービス端末に送信し、サービス端末で、それらのデータの表示、再生、描画をしたり、あるいはＵＲＬをブラウザで開いたりする。

例えば、番組内容が英会話であれば、放送情報中の人物の発音する文章に合わせて、テキストとして文字データが表示され、更に重要な文章には下線が引かれるといった関連情報の変化を例に挙げることができる。

なお、以上の説明では、テレビ放送のように映像と音声が同時に放送される場合について記述しているが、本発明は、音声と映像が同時に放送される場合だけではなく、ラジオのように音声のみの放送に対しても有効である。この場合は画像フレームが存在しないので、画像フレームＩＤの代わりに音声フレームＩＤを用いる。音声フレームＩＤは一定の時間刻みで区切られた音声の各区間に一意に割り当てられた識別子である。

また、これまでの説明では、テレビ受像機等の放送受信装置のスピーカからの音声出力を、視聴者装置がマイクロホンで受けて電気信号に変換し、該電気信号から画像フレームＩＤや音声フレームＩＤをデータ信号として抽出する構成について述べているが、テレビ受像機等の放送受信装置から音声電気信号が直接取り出せる場合には、マイクロホンを介在させることなく、直接該音声電気信号から重畳されているデータ信号を抽出する構成とすることもできる。

なお、本実施の形態においても、視聴者情報や視聴者装置の端末情報に基づいて、視聴者及び視聴者装置毎に異なる関連情報を提供することが可能である。例えば、実施例４−２で説明した方法と同様にして、視聴者装置が関連情報コンテンツ提供サーバに関連情報を要求する際に、フレームＩＤ等と共に視聴者情報や端末情報を送信し、関連情報コンテンツ提供サーバでは、当該視聴者情報や端末情報に関連した関連情報を選択して視聴者装置に提供するようにすればよい。

（効果）
本実施の形態に係る発明によれば、テレビ受像機やラジオ等の放送受信装置と、デジタル信号通信を行うための通信回線等の通信手段を有さない視聴者装置においても、放送情報の音声に重畳されたデータ信号を抽出し、チャネルＩＤと画像フレームＩＤや音声フレームＩＤを確認することによって、現在、視聴している放送チャネルと画像フレームを認識することが可能となり、放送内容とネットワーク上等にある関連する情報コンテンツとの同期を正確にとることが必要なサービスを実現できる。

更に、放送情報の記録及び再生できる手段を接続することによって、リアルタイムに視聴しない場合、つまり、あらかじめ放送音声映像を記録しておき自分の好きなときに視聴するように構成した系においても、前記手段により映像及び音声を再生することによつて、放送チャネルと画像フレームや音声フレームＩＤを認識することが可能となり、リアルタイムに視聴する際と同様なサービスの提供を受けることができる。

また、視聴者装置において、放送受信装置から再生された音声をマイクより集音する際、雑音等の影響によって、音声から正しくデータ信号を抽出することができず、画像フレームＩＤが一時的に確認できなかった場合においても、欠落した画像フレームＩＤや音声フレームＩＤを補間することができるので、同一放送番組視聴中において前述の放送情報と関連情報との正確な同期が必要なサービスの提供を途中で中断することなく維持し続けることができる。

すなわち、以上説明したように、本実施の形態によれば、放送映像視聴装置とは別に設けられ、放送受信装置から放送に多重されたデータ信号等を直接取得できる機能がない視聴者装置において、今現在、視聴中の放送番組内容の変化に正確に同期する関連情報のサービスを提供することが可能となる。すなわち、ユーザが放送映像に合わせて操作しなくても、自動的に且つタイミングよく関連情報を更新することができ、放送同期型サービスの操作性を向上させることができる。

更に、本実施の形態の放送同期型サービス提供方法によれば、画像フレームＩＤを連続的な数字とすることにより、視聴者装置において、音声からの画像フレームＩＤの抽出に失敗しても、時間的な差分から画像フレームＩＤを補間し利用することができる。また、記録装置によって一度蓄積された記録映像であっても音声も同時に記録されていることを利用するとユーザの好みの時間に前述の放送同期型サービスの提供を受けることができる。

なお、上記各実施の形態における本発明の視聴者装置及び関連情報提供サーバ等は各々、ＣＰＵ、メモリ、ハードディスク、ＣＤ―ＲＯＭ等を有するコンピュータを用いて構成することができ、視聴者装置及び関連情報提供サーバ等の各々における機能は、各装置又はサーバに搭載されるプログラムによって実現することができる。当該プログラムは、ＣＤ−ＲＯＭ等の記録媒体からコンピュータにインストールすることもできるし、ネットワークを介してコンピュータにダウンロードする形態をとることもできる。

本発明は、上記の実施例に限定されることなく、特許請求の範囲内で種々変更・応用が可能である。

本発明の第１の実施の形態における基本的な構成例を示す図である。 第１の実施の形態におけるシステムの構成図である。 視聴者装置の構成例を示す図である。 関連情報コンテンツ提供サーバの構成例を示す図である。 視聴者装置と関連情報コンテンツ提供サーバ間の情報の流れを示す図である。 イベント情報、放送情報とサービスの関連を表す概念図である。 サービスと関連コンテンツを選択する手順を示す図である。 サービス情報の表示画面の例を示す図である。 お知らせ設定（条件設定）画面の例を示す図である。 本発明の第２の実施の形態におけるシステム構成図である（実施例２−１）。 第２の実施の形態における関連情報の例を示す図である。 映像表示部の被写体と被写体関連情報表示部の被写体代表図形等の関係を説明するための図である。 被写体関連情報表示部における表示例を示す図である。 本発明の第２の実施の形態におけるシステム構成図である（実施例２−２）。 本発明の第２の実施の形態におけるシステム構成図である（実施例２−３）。 実施例２−３における他の例を示す図である。 本発明の第２の実施の形態におけるシステム構成図である（実施例２−４）。 本発明の第３の実施の形態におけるシステム構成図である。 図１８の関連情報提供サーバ及び視聴者装置の構成図である。 第３の実施の形態における方法のシーケンス図である。 第３の実施の形態におけるアクションテーブルの一例である。 第３の実施の形態におけるクライアント発生イベントリストの一例である。 実施例３−１における、最初に取得されたアクションテーブルの一例である 図２３の次に取得されたアクションテーブルの一例である。 実施例３−１におけるアクションテーブルの一例である。 図２５のアクションテーブルとアクション内容情報が異なるアクションテーブルの一例である。 実施例３−２における、アクションテーブルである。 実施例３−３におけるシステム構成図である。 放送映像を受信する放送受信装置と、視聴者装置の出力デバイスが一体になっている場合の情報表示領域の一例である。 実施例３−３におけるアクションテーブルの一例を示す図である。 放送映像表示領域を示す図である。 視聴者装置出力情報表示領域にアイコンＡが追加表示されることを説明するための図である。 本発明の第４の実施の形態におけるシステムの全体の構成の例を示す図である（実施例４−１）。 関連情報データベース４０２２が有するテーブルの例を示す図である。 実施例４−１における視聴者装置の一構成例を示す図である。 本発明の第４の実施の形態におけるシステムの全体の構成の例を示す図である（実施例４−２）。 実施例４−２における視聴者装置の一構成例を示す図である。 本発明の第５の実施の形態における放送同期型サービス提供システムの全体の構成の例を示す図である。 第５の実施の形態における視聴者装置の構成の例を示す図である。 本発明の第５の実施の形態における放送同期型サービス提供システムの全体の構成の詳細例を示す図である。 音声に重畳するデータ信号と音声データの構成の例を示す図である。 音声から抽出したデータ信号から実際に用いるチャンネルＩＤ及び画像フレームＩＤ決定までの処理を示す流れ図である。 視聴者装置起動後におけるデータ信号抽出手段の結果によるチャネルＩＤと画像フレームＩＤの確認結果例である。 図４３のデータ信号抽出処理結果に対して得られた各変数の値である。

符号の説明

１００１ 視聴者装置
１００２ 関連情報コンテンツ提供サーバ
１００３ 放送局
１００４ イベント情報提供サーバ
１０１１ 提供可能サービス要求手段
１０１２ 提供可能サービス情報可視化表示手段
１０１３ サービス選択・要求手段
１０１４ サービス利用手段
１０２１ 提供可能サービス選別手段
１０２２ 提供可能サービス情報送信手段
１０２３ サービス要求受信手段
１０２４ アクセス系状態検出手段
１０２５ サービスコンテンツ最適化手段
１０２６ サービス提供手段
２０１０ 放送情報
２０１１ 映像情報
２０１２ 関連情報
２００２ 視聴者装置
２２０１ 放送受信部
２２０２ 映像表示制御部
２２０３ 映像表示部
２２０４ 第１のポインティングデバイス
２２０５ 関連情報表示制御部
２２０６ 被写体関連情報表示部
２２０７ 第２のポインティングデバイス
２２０８ 入力デバイス
２２０９ 被写体属性情報蓄積部
２２１０ 関連情報アクセス部
２２１１ 関連情報蓄積部
２２１２ 興味情報抽出部
２２１３ 放送情報蓄積部
２００３ 通信網
２００４ 放送局
３００１ 関連情報提供サーバ
３００２ 視聴者装置
３００３ 放送局
３００３' 放送情報蓄積サーバ
３００４ 入出力装置
３００５ 放送受信装置
３００６ ネットワーク
３０１０ アクションテーブル提供手段
３０１１ アクションテーブル構成手段
３０１２ アクションテーブルリソースデータ
３０１３ 通信手段
３０１４ クライアント識別手段
３０１５ クライアント情報管理手段
３０２１ イベント管理手段
３０２２ アクションテーブル管理手段
３０２３ アクション実行手段
３０２４ 通信手段
３０２５ 出力インタフェース
３０２６ 入力インタフェース
４００１ 視聴者装置
４００２ 関連情報提供サーバ
４００３ 放送情報蓄積装置
４００４ コンテンツ提供サーバ
４００５ ネットワーク（インターネット）
４００６ 放送局
４０１１ 関連情報取得部
４０１２ 入力部
４０１３ コンテンツ情報閲覧部
４０１４ 放送受信部
４０１５ 放送情報変調復号部
４０１６ 表示再生部
４０１７ ネットワーク通信部
４０１８ 関連情報取得指示ボタン
４０１９ 部分放送情報バッファ
４０２１ 放送情報データベース
４０２２ 関連情報データベース
４０２３ 放送情報マッチング部
４０２４ 関連情報提供部
４０３０ 記憶部
５００１ 放送局
５００２ 送信手段
５００３ 信号付加手段
５００４ 映像
５００５ 音声
５００６ 放送
５００７ 放送受信装置
５００８ 映像・音声記録装置
５００９ 視聴者装置
５０１０ マイクロホン（ＭＩＣ）
５０１１ データ信号抽出手段
５０１２ 出力手段
５０１３ 入力手段
５０１４ ネットワークへの接続線
５０１５ 通信手段
５０１６ 記憶手段
５０１７ 制御手段
５０１８ 出力デバイス
５０１９ 入力デバイス
５０２０ 放送情報データベース
５０２１ 放送情報関連情報付与装置
５０２２ 放送情報データベース構築装置
５０２３（ａ）〜（ｄ） 関連情報コンテンツ提供サーバ

Claims (23)

1. 放送局又は放送情報蓄積サーバから送信される放送コンテンツに関する情報を収集するサーバと、該サーバとネットワークを介して通信する視聴者装置とを有する放送コンテンツと同期するイベントを処理するシステムであって、
   前記サーバは、前記放送コンテンツの放送時間と同期して指定される有効期間毎に、有効なイベントを示すイベント識別子、及びそれに対応して実行される処理である、ＵＲＬに対応付けられたアイコンを追加表示する処理を示すアクション内容情報を指定するアクションテーブルを構成するアクションテーブル構成手段と、該アクションテーブルを前記視聴者装置ヘ送信するアクションテーブル提供手段とを有し、
   前記視聴者装置は、発生したイベントからイベント識別子を導出するイベント管理手段と、前記サーバから受信した前記アクションテーブルをその有効期間だけ参照し、該テーブルを用いて前記イベント識別子に対応する前記アクション内容情報を導出するアクションテーブル管理手段と、該アクション内容情報を実行するアクション実行手段とを有し、
   前記視聴者装置は、前記放送コンテンツを受信し表示する機能を含む出力装置と接続されるとともに、ポインティングデバイスと接続されており、
   前記アクションテーブルにおける前記イベント識別子は、前記出力装置のディスプレイ画面上の所定の領域を識別する領域情報を含み、
   前記領域情報により識別される前記所定の領域が前記ポインティングデバイスによりポインティングされたときに、前記アクション実行手段は、前記アクションテーブルにおける前記イベント識別子に対応付けられた前記アクション内容情報を実行する
   ことを特徴とするシステム。
2. 前記視聴者装置の前記アクションテーブル管理手段は、前記イベント管理手段で導出された前記イベント識別子を前記サーバヘ送信し、
   前記サーバは、前記視聴者装置から受信した前記イベント識別子を前記視聴者装置毎に管理する視聴者装置情報管理手段を更に有し、
   前記サーバの前記アクションテーブル構成手段は、前記視聴者装置毎に管理された前記イベント識別子に基づいて、前記視聴者装置毎に前記アクションテーブルを構成することを特徴とする請求項１に記載のシステム。
3. 前記視聴者装置の前記アクションテーブル管理手段は、現在参照しているアクションテーブルの有効期間が終了すると共に、次の有効期間に相当するアクションテーブルを参照することができるように、予め先の有効期間のアクションテーブルを前記サーバヘ要求することを特徴とする請求項１又は２に記載のシステム。
4. 前記サーバの前記アクションテーブル提供手段は、前記アクションテーブル構成手段が新しいアクションテーブルを構成すると直ぐに、複数の前記視聴者装置ヘ該新しいアクションテーブルを能動的に配信することを特徴とする請求項１又は２に記載のシステム。
5. 放送局又は放送情報蓄積サーバから送信される放送コンテンツに関する情報を収集し、放送コンテンツと同期するイベントを処理するサーバであって、
   前記放送コンテンツの放送時間と同期して指定される有効期間毎に、有効なイベントを示すイベント識別子、及びそれに対応して実行される処理である、ＵＲＬに対応付けられたアイコンを追加表示する処理を示すアクション内容情報を指定するアクションテーブルを構成するアクションテーブル構成手段と、
   該アクションテーブルを視聴者装置ヘ送信するアクションテーブル提供手段と、を有するサーバであり、
   前記視聴者装置は、前記放送コンテンツを受信し表示する機能を含む出力装置と接続されるとともに、ポインティングデバイスと接続されており、
   前記アクションテーブルにおける前記イベント識別子は、前記出力装置のディスプレイ画面上の所定の領域を識別する領域情報を含み、前記視聴者装置において、前記領域情報により識別される前記所定の領域が前記ポインティングデバイスによりポインティングされたときに、前記アクションテーブルにおける前記イベント識別子に対応付けられた前記アクション内容情報が実行される
   ことを特徴とするサーバ。
6. 前記視聴者装置から受信したイベント識別子を前記視聴者装置毎に管理する視聴者装置情報管理手段を更に有し、
   前記アクションテーブル構成手段は、前記視聴者装置毎に管理された前記イベント識別子に基づいて、前記視聴者装置毎に前記アクションテーブルを構成する請求項５に記載のサーバ。
7. 前記アクションテーブル提供手段は、前記アクションテーブル構成手段が新しいアクションテーブルが構成されると直ぐに、複数の前記視聴者装置ヘ該新しいアクションテーブルを能動的に配信する請求項５又は６に記載のサーバ。
8. 放送局又は放送情報蓄積サーバから送信される放送コンテンツに関する情報を収集するサーバと、該サーバとネットワークを介して通信する視聴者装置とを有するシステムにおける視聴者装置であって、
   前記放送コンテンツの放送時間と同期して指定される有効期間毎に、有効なイベントを示すイベント識別子、及びそれに対応して実行される処理である、ＵＲＬに対応付けられたアイコンを追加表示する処理を示すアクション内容情報を指定するアクションテーブルを前記サーバから受信する手段と、
   発生したイベントからイベント識別子を導出するイベント管理手段と、
   前記アクションテーブルをその有効期間だけ参照し、該テーブルを用いて前記イベント識別子に対応する前記アクション内容情報を導出するアクションテーブル管理手段と、
   該アクション内容情報を実行するアクション実行手段と、
   前記イベント識別子を前記サーバヘ送信する手段と、を有する視聴者装置であり、
   前記視聴者装置は、前記放送コンテンツを受信し表示する機能を含む出力装置と接続されるとともに、ポインティングデバイスと接続されており、
   前記アクションテーブルにおける前記イベント識別子は、前記出力装置のディスプレイ画面上の所定の領域を識別する領域情報を含み、
   前記領域情報により識別される前記所定の領域が前記ポインティングデバイスによりポインティングされたときに、前記アクション実行手段は、前記アクションテーブルにおける前記イベント識別子に対応付けられた前記アクション内容情報を実行する
   ことを特徴とする視聴者装置。
9. 前記アクションテーブル管理手段は、現在参照しているアクションテーブルの有効期間が終了すると共に、次の有効期間に相当するアクションテーブルを参照することができるように、予め先の有効期間のアクションテーブルを前記サーバヘ要求する手段を有する請求項８に記載の視聴者装置。
10. 放送局又は放送情報蓄積サーバから送信される放送コンテンツに関する情報を収集するサーバと、該サーバとネットワークを介して通信する視聴者装置とを有するシステムで用いられる放送コンテンツと同期するイベントを処理する方法であって、
    前記サーバが、前記放送コンテンツの放送時間と同期して指定される有効期間毎に、有効なイベントを示すイベント識別子、及びそれに対応して実行される処理である、ＵＲＬに対応付けられたアイコンを追加表示する処理を示すアクション内容情報を指定するアクションテーブルを構成する第１の段階と、
    前記サーバが、前記アクションテーブルを前記視聴者装置ヘ送信する第２の段階と、
    前記視聴者装置が、発生したイベントからイベント識別子を導出する第３の段階と、
    前記視聴者装置が、前記サーバから受信した前記アクションテーブルを用いて前記イベント識別子に対応する前記アクション内容情報を導出する第４の段階と、
    前記視聴者装置が、前記アクション内容情報を実行する第５の段階と
    を有し、
    前記視聴者装置は、前記サーバから受信した前記アクションテーブルをその有効期間だけ参照する方法であり、
    前記視聴者装置は、前記放送コンテンツを受信し表示する機能を含む出力装置と接続されるとともに、ポインティングデバイスと接続されており、
    前記アクションテーブルにおける前記イベント識別子は、前記出力装置のディスプレイ画面上の所定の領域を識別する領域情報を含み、
    前記領域情報により識別される前記所定の領域が前記ポインティングデバイスによりポインティングされたときに、前記視聴者装置は、前記アクションテーブルにおける前記イベント識別子に対応付けられた前記アクション内容情報を実行する
    ことを特徴とする方法。
11. 前記第３の段階は、前記視聴者装置が導出した前記イベント識別子を前記サーバヘ送信し、
    前記サーバが、前記視聴者装置から受信した前記イベント識別子を前記視聴者装置毎に管理する第６の段階を更に有し、
    前記第１の段階は、前記サーバが、前記視聴者装置毎に管理された前記イベント識別子に基づいて、前記視聴者装置毎に前記アクションテーブルを構成することを特徴とする請求項１０に記載の方法。
12. 前記視聴者装置は、現在参照しているアクションテーブルの有効期間が終了すると共に、次の有効期間に相当するアクションテーブルを参照することができるように、予め先の有効期間のアクションテーブルを前記サーバヘ要求する段階を更に有することを特徴とする請求項１０又は１１に記載の方法。
13. 前記サーバが、前記第１の段階で新しいアクションテーブルを構成すると直ぐに、複数の前記視聴者装置ヘ該新しいアクションテーブルを能動的に配信する段階を有することを特徴とする請求項１０又は１１に記載の方法。
14. 放送局又は放送情報蓄積サーバから送信される放送コンテンツに関する情報を収集し、放送コンテンツと同期するイベントを処理するサーバを制御するプログラムを記録したコンピュータ読み取り可能な記録媒体であって、サーバに、
    前記放送コンテンツの放送時間と同期して指定される有効期間毎に、有効なイベントを示すイベント識別子、及びそれに対応して実行される処理である、ＵＲＬに対応付けられたアイコンを追加表示する処理を示すアクション内容情報を指定するアクションテーブルを構成するアクションテーブル構成手順と、
    該アクションテーブルを視聴者装置ヘ送信するアクションテーブル提供手順とを実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体であり、
    前記視聴者装置は、前記放送コンテンツを受信し表示する機能を含む出力装置と接続されるとともに、ポインティングデバイスと接続されており、
    前記アクションテーブルにおける前記イベント識別子は、前記出力装置のディスプレイ画面上の所定の領域を識別する領域情報を含み、前記視聴者装置において、前記領域情報により識別される前記所定の領域が前記ポインティングデバイスによりポインティングされたときに、前記アクションテーブルにおける前記イベント識別子に対応付けられた前記アクション内容情報が実行される
    ことを特徴とするコンピュータ読み取り可能な記録媒体。
15. 前記視聴者装置から受信したイベント識別子を前記視聴者装置毎に管理する視聴者装置情報管理手順を更に実行させ、
    前記アクションテーブル構成手順により、前記視聴者装置毎に管理された前記イベント識別子に基づいて、前記視聴者装置毎に前記アクションテーブルを構成する請求項１４に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
16. 前記アクションテーブル提供手順は、前記アクションテーブル構成手順により新しいアクションテーブルが構成されると直ぐに、複数の前記視聴者装置ヘ該新しいアクションテーブルを能動的に配信する請求項１４又は１５に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
17. 放送局又は放送情報蓄積サーバから送信される放送コンテンツに関する情報を収集するサーバと、該サーバとネットワークを介して通信する視聴者装置とを有するシステムにおける視聴者装置を制御するプログラムを記録したコンピュータ読み取り可能な記録媒体であって、視聴者装置に、
    前記放送コンテンツの放送時間と同期して指定される有効期間毎に、有効なイベントを示すイベント識別子、及びそれに対応して実行される処理である、ＵＲＬに対応付けられたアイコンを追加表示する処理を示すアクション内容情報を指定するアクションテーブルをサーバから受信する手順と、
    発生したイベントからイベント識別子を導出するイベント管理手順と、
    前記アクションテーブルをその有効期間だけ参照し、該テーブルを用いて前記イベント識別子に対応する前記アクション内容情報を導出するアクションテーブル管理手順と、
    該アクション内容情報を実行するアクション実行手順と、
    前記イベント識別子を前記サーバヘ送信する手順とを実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体であり、
    前記視聴者装置は、前記放送コンテンツを受信し表示する機能を含む出力装置と接続されるとともに、ポインティングデバイスと接続されており、
    前記アクションテーブルにおける前記イベント識別子は、前記出力装置のディスプレイ画面上の所定の領域を識別する領域情報を含み、
    前記領域情報により識別される前記所定の領域が前記ポインティングデバイスによりポインティングされたときに、前記アクション実行手順において、前記視聴者装置は、前記アクションテーブルにおける前記イベント識別子に対応付けられた前記アクション内容情報を実行する
    ことを特徴とするコンピュータ読み取り可能な記録媒体。
18. 前記アクションテーブル管理手順は、現在参照しているアクションテーブルの有効期間が終了すると共に、次の有効期間に相当するアクションテーブルを参照することができるように、予め先の有効期間のアクションテーブルを前記サーバヘ要求する手順を有する請求項１７に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
19. 放送局又は放送情報蓄積サーバから送信される放送コンテンツに関する情報を収集し、放送コンテンツと同期するイベントを処理するサーバを制御するプログラムであって、サーバに、
    前記放送コンテンツの放送時間と同期して指定される有効期間毎に、有効なイベントを示すイベント識別子、及びそれに対応して実行される処理である、ＵＲＬに対応付けられたアイコンを追加表示する処理を示すアクション内容情報を指定するアクションテーブルを構成するアクションテーブル構成手順と、
    該アクションテーブルを視聴者装置ヘ送信するアクションテーブル提供手順と
    を実行させるプログラムであり、
    前記視聴者装置は、前記放送コンテンツを受信し表示する機能を含む出力装置と接続されるとともに、ポインティングデバイスと接続されており、
    前記アクションテーブルにおける前記イベント識別子は、前記出力装置のディスプレイ画面上の所定の領域を識別する領域情報を含み、前記視聴者装置において、前記領域情報により識別される前記所定の領域が前記ポインティングデバイスによりポインティングされたときに、前記アクションテーブルにおける前記イベント識別子に対応付けられた前記アクション内容情報が実行される
    ことを特徴とするプログラム。
20. 前記視聴者装置から受信したイベント識別子を前記視聴者装置毎に管理する視聴者装置情報管理手順を更に実行させ、
    前記アクションテーブル構成手順により、前記視聴者装置毎に管理された前記イベント識別子に基づいて、前記視聴者装置毎に前記アクションテーブルを構成する請求項１９に記載のプログラム。
21. 前記アクションテーブル提供手順は、前記アクションテーブル構成手順により新しいアクションテーブルが構成されると直ぐに、複数の前記視聴者装置ヘ該新しいアクションテーブルを能動的に配信する請求項１９又は２０に記載のプログラム。
22. 放送局又は放送情報蓄積サーバから送信される放送コンテンツに関する情報を収集するサーバと、該サーバとネットワークを介して通信する視聴者装置とを有するシステムにおける視聴者装置を制御するプログラムであって、視聴者装置に、
    前記放送コンテンツの放送時間と同期して指定される有効期間毎に、有効なイベントを示すイベント識別子、及びそれに対応して実行される処理である、ＵＲＬに対応付けられたアイコンを追加表示する処理を示すアクション内容情報を指定するアクションテーブルをサーバから受信する手順と、
    発生したイベントからイベント識別子を導出するイベント管理手順と、
    前記アクションテーブルをその有効期間だけ参照し、該テーブルを用いて前記イベント識別子に対応する前記アクション内容情報を導出するアクションテーブル管理手順と、
    該アクション内容情報を実行するアクション実行手順と、
    前記イベント識別子を前記サーバヘ送信する手順とを実行させるプログラムであり、
    前記視聴者装置は、前記放送コンテンツを受信し表示する機能を含む出力装置と接続されるとともに、ポインティングデバイスと接続されており、
    前記アクションテーブルにおける前記イベント識別子は、前記出力装置のディスプレイ画面上の所定の領域を識別する領域情報を含み、
    前記領域情報により識別される前記所定の領域が前記ポインティングデバイスによりポインティングされたときに、前記アクション実行手順において、前記視聴者装置は、前記アクションテーブルにおける前記イベント識別子に対応付けられた前記アクション内容情報を実行する
    ことを特徴とするプログラム。
23. 前記アクションテーブル管理手順は、現在参照しているアクションテーブルの有効期間が終了すると共に、次の有効期間に相当するアクションテーブルを参照することができるように、予め先の有効期間のアクションテーブルを前記サーバヘ要求する手順を有する請求項２２に記載のプログラム。

Images