JP3994682B2 - Broadcast information transmission / reception system - Google Patents
Broadcast information transmission / reception system Download PDFInfo
- Publication number
- JP3994682B2 JP3994682B2 JP2001115997A JP2001115997A JP3994682B2 JP 3994682 B2 JP3994682 B2 JP 3994682B2 JP 2001115997 A JP2001115997 A JP 2001115997A JP 2001115997 A JP2001115997 A JP 2001115997A JP 3994682 B2 JP3994682 B2 JP 3994682B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- broadcast
- viewer
- related information
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、放送情報又は記録情報に関連した情報をネットワークに接続されたサーバ等から視聴者が取得する技術に関する。
【０００２】
【従来の技術】
デジタル衛星放送、データ放送も始まり、それらは多彩な放送サービスに加え新しいマスメディアとしての期待も大きい。通信の分野では、ＩＳＤＮ、ＤＳＬ、ＦＴＴＬ、ＩＭＴ−２０００等の多くのアクセス系が整備され、それらを用いたＩＰ定額常時接続サービスの開始、通信網のブロードバンド化で、今以上にインターネットの急激な普及が見込まれる。インターネットもマスメディアとして大きく発展する可能性を見せている。近い将来、デジタル放送とブロードバンド通信が密接に融合し、インタラクティブをキーワードに、より一層の多彩なサービスが開花することが予想される。
【０００３】
インタラクティブがもたらす最大の視聴者にとっての恩恵は、パーソナライズな情報（その人に合った情報）のパーソナライズな享受（その人に合った受け取り方）である。情報を享受するための道具（端末）も、受け取る情報の種類やそのデータ量、使う人の使用目的や使用環境、情報への操作のしやすさ等に適したものが多種多様化し普及し始めている。
【０００４】
このような背景の下、上記の技術分野に関する従来技術とその問題点について次の３つの観点から説明する。
（１）テレビ、ラジオ等の一方向から一方的に与えられる情報は、情報を得るための強いポジティブな操作が伴わないため、煩わしさを感じさせないが、テレビ、ラジオ等メディアは、物理的にそこに載せられる情報に限界がある。情報提供者により選別、演出され、与えられた情報に、視聴者が満足できれば問題はないが、個々の視聴者がそれぞれの嗜好からの情報量的な不満、放送時間や放送エリア等の情報提供方法に対する不満を感じた場合、今までのアナログテレビ、アナログラジオ等のアナログメディアだけでは、その不満を解決することはできない。放送メディアをアナログからデジタル化し、物理的にそこに載せられる情報を増やすことや、カルーセル方式による情報配信で擬似的なインタラクティブ性を視聴者に与えたとしても、その不満を本質的に解決したことになっていない。
【０００５】
インターネットを用いて、放送メディアに載せきれなかった情報や関連する情報を配信するサービスも開始されているが、単に複数のメディア（マルチメディア）による情報提供をしているため、視聴者の利用シーンを考慮した、異なるメディア（マルチメディア）で配信された情報間の連動、連携をユーザインタフェースの観点から解決していない。
【０００６】
特開平９−１６０８５２、特開２０００−１８３８３５の発明は、ラジオやテレビで放送された楽曲や映像をネットワークから容易に入手するための装置を提供している。これは、放送された楽曲や映像を視聴後に入手する際の煩わしさに関する課題を解決している。楽曲や映像と共にそれらを同定するための付加情報（関連情報）をメディアに載せて視聴者に配信し、視聴者が所望する楽曲や映像が配信されている時にその要求を受信装置に入力することで、付加情報が記録される。記録した付加情報をキーにネットワークを介して所望した楽曲や映像を同定しそれを得るしくみである。
【０００７】
しかしながら、現在の多種多様な通信アクセス系、端末を前提に、放送コンテンツに連動、連携して、個々の視聴者がそれぞれの嗜好から希望する関連コンテンツを提供する多種多様なサービスに応えること、またそのサービスをコンテンツ提供者が公平に提供することは、上記発明では原理的に解決しきれていない。
【０００８】
すなわち、従来技術では、以下のような課題が解決されていない。多種多様なサービスを提供できる配信装置に構成上なっていない。視聴者の受信環境（端末スペック等）を考慮した関連コンテンツの配信ができない。配信する際のアクセス系の状態を把握できない。また、従来技術では視聴者が所望する楽曲や映像が配信されている時に提供サービスの要求（サービスを受けるのに必要な関連情報の記録）を入力した場合のみサービスを受けられる構成となっている。したがって、放送に連携、連動したサービスの予約やお知らせができない。視聴者が所望するサービスを捕り漏らしなく受けたいと思う場合、従来の装置構成であると視聴者に絶えず関連情報の記録を強いることになる。
（２） 一方、ＢＳデジタル放送、ＣＳデジタル放送等のデジタル放送では、映像音声とともに多様な関連情報が提供され、これらの関連情報は視聴者が映像を視聴しながら参照することが可能となっている。
【０００９】
しかし、ディジタル放送受信装置として一般的であるテレビ受像機では、関連情報を閲覧する場合には、映像表示部の一部分に関連情報を表示したり、あるいは、映像表示部全体に関連情報を表示するため、関連情報を閲覧している時には、映像が縮小されたり、映像の一部が隠れたり、あるいは、映像の視聴を一時中断する必要がある。また、関連情報の情報量が多い場合、視聴者が映像を視聴しながら同時に関連情報の内容を十分に把握することは困難であり、関連情報だけを、番組終了後等視聴者が希望する時点でゆっくりと視聴できることが望ましい。また、従来のディジタル放送受信装置では、関連情報を閲覧する場合には、受信される関連情報が一様に画面に表示されるため、視聴者にとって興味のない関連情報まで表示されることになる。
【００１０】
また、ディジタル放送受信装置では、関連情報やＥＰＧ（Ｅｌｅｃｔｒｉｃ Ｐｒｏｇｒａｍ Ｇｕｉｄｅ）情報を利用して視聴者の興味対象となる放送番組や関連情報を、視聴者がテレビ放送を視聴していない間に、自動的に選別して装置内に蓄積しておくことが検討されている。この際、視聴者の興味を示す情報を獲得することが課題となる。従来では、視聴者が興味のあるキーワードを直接に入力することにより興味情報を獲得する、あるいは視聴者が視聴した番組の関連情報から興味情報を推測する方法等が提案されている。
【００１１】
ここで、視聴者の興味対象となる放送番組を自動的に選別する方法については、例えば、次の文献に記載されている。〔参考文献〕：矢川雄一、鵜飼ひろみ、田中哲雄、柴田正啓、金淵培、「個人の嗜好に合ったテレビ番組を自動編成するエージェントの検討」、信学技報、ＡＩ９８−５５、ＰＰ．９−１６、１９９８年１２月。
【００１２】
更に、視聴者が視聴した番組の関連情報から興味情報を推測する方法については、特開平１１−１３４３４５号公報「嗜好情報選択装置」に記載されている。
【００１３】
しかし、興味のあるキーワードを意識的に考えて入力することは視聴者にとって必ずしも容易ではない。また、番組の関連情報から興味情報を推測する方法は、前述の興味のない関連情報まで表示されることと本質的に同じ課題が残される。
（３）上記のように、デジタル放送においては、テレビ放送又はラジオ放送に任意の関連情報としてのデータ信号を多重して放送することが可能である。従って、デジタル放送受信装置において、又はその受信装置に接続された端末において、放送に多重されたデータ信号を利用することにより、放送コンテンツに同期した処理を行うことができる。例えば、放送されるテレビ番組やラジオ番組に関する関連情報を、当該番組と同時に配信することが可能である。
【００１４】
同様に、アナログテレビ放送においても、ＡＲＩＢ ＳＴＤ−Ｂ５「垂直帰線消去期間を使用する伝送方式の標準テレビジョン・データ放送」により既定される方式により、テレビ映像信号に任意のデータ信号を多重することが可能である。特に、「Ｂｉｔ Ｃａｓｔ」（参考：日経マルチメディア、Ｎｏ．２８、１９９７．１０、Ｐ．５２〜Ｐ．５７）と称されるシステム等では、アナログテレビ映像信号に多重されたデータ信号を利用して、放送コンテンツに同期した関連情報提示等の機能を実現している。
【００１５】
また、ＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）においては、所定のホームページのコンテンツを、テレビ、ラジオ等の放送コンテンツに同期して逐次更新することがなされている。インターネットに接続されるクライアントが、その所定のホームページをアクセスすることで、放送コンテンツにある程度同期した情報提示等を享受することができる。
【００１６】
しかしながら、放送に多重されたデータ信号を利用して放送コンテンツに同期した処理を行うためには、その処理を行う端末が、放送に多重されたデータ信号を取得する必要がある。即ち、端末自身が放送を受信する機能を有するか、又は放送受信装置に接続され且つ該放送受信装置から放送に多重されたデータ信号を取得する機能を有しなければならないという課題がある。
【００１７】
また、そのような機能を有することなく、端末がネットワークを介して放送に多重されたデータ信号を取得する場合、イベント発生からそれに対応するアクションの実行までに、ネットワークにおけるデータ信号の遅延時間が生じるという課題がある。
【００１８】
更に、放送される映像音声に関連する情報を提供する場合、ＵＲＬ等を当該映像音声と同時に送信する方法等では、放送情報にＵＲＬ等の情報をそれぞれ付加して放送する必要がある。例えば、ＣＭ等繰り返し放送される放送情報等についても、逐次、その放送毎に対応したＵＲＬ等の情報を付加する処理を施す必要がある。
【００１９】
更には、放送映像音声を蓄積して利用する場合にも前記の方法では、何らかの手段を講じることにより、放送映像音声と同時に放送されたＵＲＬ等の情報を関連付けて蓄積しておかなければ蓄積された映像音声の再生視聴時には、関連情報を取得できない問題がある。
【００２０】
同様に、特開平９−１６０８５２「情報提供装置」のように、時刻とＣＨ番号をキーとして関連情報を取得しようとする方法でも、一度蓄積した放送情報を視聴する際には視聴時刻が放送時刻と異なるために関連情報と対応させることができなくなり、関連情報を取得できなくなる問題がある。
【００２１】
更に、従来技術においては、視聴されている放送番組映像の画像フレームの切り替わりを極めて正確に把握できないという問題がある。
【００２２】
上述したように、従来の技術においては、放送情報又は記録情報の視聴者がネットワークに接続されたサーバ等から放送情報又は記録情報に関連した情報又はコンテンツを取得することは容易でないという問題がある。
【発明が解決しようとする課題】
本発明は上記の点に鑑みてなされたものであり、放送情報又は記録情報の視聴者がネットワークに接続されたサーバ等から放送情報又は記録情報に関連した情報又はコンテンツを容易に取得することができるようにすることを目的とする。より詳細には、本発明では次に示す第１〜第５の目的を達成することにより、上記の目的を達成している。
【００２３】
本発明の第１の目的は、上記（１）の従来技術の問題点の解決を図るものであり、情報を一方向から一方的に与える放送メディアに載せきれなかった関連する情報を、多種多様な通信アクセス系、端末を前提に、放送コンテンツに連動、連携して、コンテンツ提供者が個々の視聴者に対して視聴者の希望に応じたスタイルで多種多様なサービスを公平に提供できるようにすること、また、視聴者が所望するサービスを捕り漏らしなく受けられる環境と、視聴中、視聴後に関連コンテンツを入手するサービスを受ける際の煩わしさに関する課題を解決した環境を提供することである。
【００２４】
本発明の第２の目的は、上記（２）の従来技術の問題点の解決を図るものであり、視聴者が映像情報を視聴しながら興味を持った被写体に関連した情報を時間の制約等を受けることなく容易に参照できるようにすること、また、視聴者の動的に変化する興味情報に適合する放送情報を自動選択し一視聴者が入手できるようにすること、また、多様かつ的確な関連情報を参照することを可能にし、きめ細かな映像情報の自動選択を可能にすることである。
【００２５】
本発明の第３〜第５の目的は、上記（３）の従来技術の問題点の解決を図るものであり、より詳細には、本発明の第３の目的は、視聴者装置が放送に多重されたデータ信号を取得することなく、放送される所定チャネルの放送コンテンツに同期したイベントに対する処理を、素早く実行するための技術を提供することである。また、本発明の第４の目的は、放送情報に対して関連情報を提供するために必要な情報を付加する等の特別な処理を行う必要がなく、かつ、放送情報を一時蓄積して再生視聴する際にもネットワークを介して該放送情報に関する関連情報提供サービスを可能とすることである。更に、本発明の第５の目的は、放送受信装置と独立な、すなわち、放送受信装置とデジタル信号通信を行うため通信回線等の通信手段を有さない視聴者装置が、利用者が視聴中の放送番組内容を、１／３０秒（テレビ放送映像の１画像フレーム単位相当）以上の極めて短時間の時間分解能で、個々に識別可能とし、正確に放送内容に同期したサービスの提供を可能とすることである。
【００２６】
【課題を解決するための手段】
上記の第１の目的を達成するために、本発明は次のように構成することができる。
【００２７】
本発明は、視聴者装置と映像又は音声に関係したサービスを提供するコンテンツ提供サーバとがネットワークを介して接続されたシステムにおいて、視聴者装置が前記サービスの提供を受けるための方法であって、視聴者装置がサービス提供を要求する際に関連情報提供サーバに必要なサービス提供要求情報を送信して映像に関連する提供可能なサービスの情報を要求し、関連情報提供サーバが前記サービス提供要求情報に基づいて視聴者装置に前記提供可能なサービスの情報を送信し、視聴者装置が前記提供可能なサービスの情報を受信し、視聴者装置が前記提供可能なサービスの中から選択したサービスの提供をコンテンツ提供サーバに要求し、 前記コンテンツ提供サーバからサービスの提供を受けるように構成される。
【００２８】
前記方法において、視聴者装置が視聴者情報を記憶保持するステップを更に有し、前記サービス提供要求情報は該視聴者情報を含むようにしてもよい。
【００２９】
また、本発明は、放送を視聴する視聴者の視聴者装置と、放送に関連するコンテンツを提供するコンテンツ提供サーバとがネットワークを介して接続されるシステムであって、前記視聴者装置は、放送コンテンツに連動もしくは連携して、前記コンテンツ提供サーバに対し、サービス提供を要求する際に必要な情報を送信して放送コンテンツに関連する提供可能なサービスの情報を要求する手段と、前記コンテンツ提供サーバから受信した提供可能なサービスの情報を選択可能な形態で可視化して表示する手段と、可視化して表示されたサービスの情報からサービスを選択して前記コンテンツ提供サーバに対しサービスを要求する手段と、前記サービスの要求に対し前記コンテンツ提供サーバが提供するサービスを受信して利用する手段とを備え、前記コンテンツ提供サーバは、前記視聴者装置から受信した提供可能なサービスの情報の要求に対し、前記視聴者装置の情報をもとに提供可能なサービスを選別する手段と、選別した提供可能なサービスの情報を前記視聴者装置へ送信する手段と、前記視聴者装置からのサービスの要求を受信し、そのサービスを要求元の視聴者装置へ送信する手段とを備えるように構成する。
【００３０】
上記システムにおいて、前記視聴者装置はイベント情報を受信する手段を更に有し、前記視聴者装置におけるサービスの情報を要求する手段は、該イベント情報に基き視聴者が予め設定したタイミングで自動的に要求を出すようにしてもよい。
【００３１】
また、前記コンテンツ提供サーバは、前記視聴者装置からサービスの要求を受信したときに、当該コンテンツ提供サーバと視聴者装置間のアクセス系の状態を推定又は検出する手段と、推定又は検出したアクセス系の状態と前記視聴者装置の情報とをもとに、前記視聴者装置へ送信するサービスに係るコンテンツを変換して最適化する手段とを備えるようにしてもよい。
【００３２】
また、本発明は、ネットワークを介して放送に関連するコンテンツを提供する提供者のコンテンツ提供サーバに接続される、放送を視聴する視聴者の視聴者装置であって、放送コンテンツに連動もしくは連携して、前記コンテンツ提供サーバに対し、サービス提供を要求する際に必要な情報を送信して放送コンテンツに関連する提供可能なサービスの情報を、視聴者からの入力により又は予め設定されたタイミングで自動的に要求する手段と、前記コンテンツ提供サーバから受信した提供可能なサービスの情報を選択可能な形態で可視化して表示する手段と、可視化して表示されたサービスの情報からサービスを選択して前記コンテンツ提供サーバに対しサービスを要求する手段と、前記サービスの要求に対し前記コンテンツ提供サーバが提供するサービスを受信して利用する手段とを備えるように構成する。
【００３３】
また、本発明は、ネットワークを介して放送を視聴する視聴者の視聴者装置に接続される、放送に関連するコンテンツを提供する提供者のコンテンツ提供サーバであって、前記視聴者装置から受信した提供可能なサービスの情報の要求に対し、前記視聴者装置の情報をもとに提供可能なサービスを選別する手段と、選別した提供可能なサービスの情報を前記視聴者装置へ送信する手段と、前記視聴者装置からサービスの要求を受信したときに、当該コンテンツ提供サーバと視聴者装置間のアクセス系の状態を推定又は検出する手段と、推定又は検出したアクセス系の状態をもとに前記視聴者装置へ送信するサービスに係るコンテンツを変換して最適化する手段と、最適化したコンテンツを要求元の視聴者装置へ送信し、サービスを提供する手段とを備えるように構成する。
【００３４】
また、本発明の目的を達成するために、本発明は次のように構成することができる。
【００３５】
本発明は、視聴者装置と映像又は音声に関係したコンテンツ情報を提供するコンテンツ提供サーバとがネットワークを介して接続されたシステムにおいて、視聴者装置が前記コンテンツ情報を取得するための方法であって、視聴者装置が前記コンテンツ情報を取得するために必要な関連情報を入手し、前記コンテンツ提供サーバに関連情報を送信して前記コンテンツ情報の送信を要求し、前記コンテンツ提供サーバから送信される前記コンテンツ情報を取得するように構成する。
【００３６】
特に、第２の目的を達成するために、本発明は上記構成において、前記視聴者装置は、映像と共に放送される関連情報、あるいは映像と共に記録されている関連情報を、視聴者装置が前記映像から分離することによって前記関連情報を入手し、該関連情報は、映像中に含まれている複数の被写体の各々に対応して、少なくとも一つの情報資源識別情報と、被写体を説明する被写体属性情報を含むように構成することができる。
【００３７】
また、第２の目的を達成するために、本発明は次のように構成することができる。
【００３８】
本発明は、少なくとも映像を含む映像情報と、該映像情報に関連した関連情報とを含む放送情報を受信する視聴者装置であって、前記関連情報は、前記映像情報中に含まれている複数の被写体の各々に対応して、少なくとも一つの情報資源識別情報と、被写体を説明する被写体属性情報とを含み、前記視聴者装置は、前記放送情報を受信する放送受信部と、映像表示部と、映像表示制御部と、第１のポインティング手段と、被写体関連情報表示部と、関連情報表示制御部と、第２のポインティング手段と、被写体属性情報蓄積部と、関連情報アクセス部と、関連情報蓄積部とを備え、前記映像表示制御部は、前記放送受信部が受信した前記放送情報の中の映像情報を前記映像表示部に表示し、前記映像表示部において表示された複数の被写体の中で前記第１のポインティング手段によりポインティングされた被写体を識別し、前記関連情報表示制御部は、前記映像表示制御部が識別した被写体を代表する文字、記号又は図形を前記被写体関連情報表示部に表示するとともに、前記被写体関連情報表示部において前記第２のポインティング手段によりポインティングされた文字、記号又は図形によって代表される被写体に対応する情報資源識別情報を識別し、その情報資源識別情報を前記関連情報アクセス部に送り、前記関連情報アクセス部は、前記情報資源識別情報に対応して前記関連情報蓄積部又は通信網に接続された情報源にアクセスしてコンテンツ情報を入手し、前記関連情報表示制御部は、前記関連情報アクセス部によって入手したコンテンツ情報を前記被写体関連情報表示部に表示するように構成する。
【００３９】
また、前記視聴者装置は更に興味情報抽出部を備え、前記関連情報表示制御部が、前記第２のポインティング手段によりポインティングされた文字、記号又は図形によって代表される被写体に対応する情報資源識別情報と、被写体属性情報と、前記情報源から入手したコンテンツ情報と、前記コンテンツ情報が被写体関連情報表示部に表示された時間に関する表示時間情報のうちのいずれか複数もしくは全てを前記興味情報抽出部に送信し、前記興味情報抽出部は、前記情報資源識別情報、前記被写体属性情報、前記コンテンツ情報、前記表示時間情報のうちいずれか複数もしくは全てを参照し興味情報を作成して保持するとともに、前記放送情報を受信した時刻とは異なる時刻に前記放送受信部から受信した放送情報を、当該興味情報に基づいて選択するようにしてもよい。
【００４０】
また、前記視聴者装置において、映像蓄積部を具備し、前記興味情報抽出部によって選択された放送情報を該映像蓄積部に蓄積するようにしてもよい。
【００４１】
また、前記視聴者装置において、前記関連情報表示制御部は、前記第２のポインティング手段又は他の入力手段により前記被写体関連情報表示部に表示されている被写体を代表する文字、記号又は図形を移動又は削除する手段を持ち、前記被写体を代表する文字、記号又は図形の移動又は削除の操作が発生した場合に、当該操作の内容を示す操作情報を前記興味情報抽出部に送信し、前記興味情報抽出部は、前記操作情報に基づいて前記興味情報を更新するようにしてもよい。
【００４２】
更に、前記視聴者装置において、前記関連情報は、前記映像情報中に含まれている複数の被写体の各々に対応づけられ、前記映像表示部において表示される際の被写体座標値を含み、該被写体座標値の点を含む領域を前記第１のポインティング手段がポインティングすることにより被写体を識別するようにしてもよい。
【００４３】
本発明の第３の目的を達成するために、本発明は次のように構成することができる。
【００４４】
視聴者装置と映像又は音声に関係したコンテンツ情報を提供するコンテンツ提供サーバとがネットワークを介して接続されたシステムにおいて、視聴者装置が前記コンテンツ情報を取得するための方法であって、視聴者装置が前記コンテンツ情報を取得するために必要な関連情報を入手し、前記コンテンツ提供サーバに関連情報を送信して前記コンテンツ情報の送信を要求し、前記コンテンツ提供サーバから送信される前記コンテンツ情報を取得する構成において、前記システムは関連情報提供サーバを含み、該関連情報提供サーバが映像の放送時間と同期して指定される有効期間毎に、有効なイベントを示すイベント識別子、及びそれに対応した動作を指定するアクションテーブルを構成し、関連情報提供サーバが視聴者装置へアクションテーブルを送信し、視聴者装置が関連情報提供サーバからアクションテーブルを受信し、視聴者装置が発生したイベントからイベント識別子を導出して、受信した前記アクションテーブルを用いて前記イベント識別子に対応した動作を行うことによって、前記コンテンツ情報を取得するために必要な関連情報を入手するようにする。
【００４５】
また、本発明は、放送局又は放送情報蓄積サーバから送信される放送コンテンツに関する情報を収集するサーバと、該サーバとネットワークを介して通信する視聴者装置とを有する放送コンテンツと同期するイベントを処理するシステムであって、前記サーバは、前記放送コンテンツの放送時間と同期して指定される有効期間毎に、有効なイベントを示すイベント識別子、及びそれに対応して実行される処理を示すアクション内容情報を指定するアクションテーブルを構成するアクションテーブル構成手段と、該アクションテーブルを前記視聴者装置ヘ送信するアクションテーブル提供手段とを有し、前記視聴者装置は、発生したイベントからイベント識別子を導出するイベント管理手段と、前記サーバから受信した前記アクションテーブルをその有効期間だけ参照し、該テーブルを用いて前記イベント識別子に対応するアクション内容情報を導出するアクションテーブル管理手段と、該アクション内容情報を実行するアクション実行手段とを有するように構成する。
【００４６】
また、上記システムにおいて、前記視聴者装置の前記アクションテーブル管理手段は、前記イベント管理手段で導出された前記イベント識別子を前記サーバヘ送信し、前記サーバは、前記視聴者装置から受信した前記イベント識別子を前記視聴者装置毎に管理する視聴者装置情報管理手段を更に有し、前記サーバの前記アクションテーブル構成手段は、前記視聴者装置毎に管理された前記イベント識別子に基づいて、前記視聴者装置毎に前記アクションテーブルを構成するようにしてもよい。これにより、同じイベントに対しても、クライアント毎に適切な異なるアクション内容が実行される。
【００４７】
また、上記システムにおいて、前記視聴者装置の前記アクションテーブル管理手段は、現在参照しているアクションテーブルの有効期間が終了すると共に、次の有効期間に相当するアクションテーブルを参照することができるように、予め先の有効期間のアクションテーブルを前記サーバヘ要求するようにしてもよい。これにより、視聴者装置（クライアント）の都合で、アクションテーブルを必要とする時に、要求することが可能となり、無駄なアクションテーブルの配信を防ぐことができる。
【００４８】
また、上記システムにおいて、前記サーバの前記アクションテーブル提供手段は、前記アクションテーブル構成手段が新しいアクションテーブルを構成すると直ぐに、複数の前記視聴者装置ヘ該新しいアクションテーブルを能動的に配信するようにしてもよい。これにより、視聴者装置は、アクションテーブルを要求する必要がなく、その手順を単純化できる。
【００４９】
また、本発明は次のように構成することもできる。
【００５０】
本発明は、放送局又は放送情報蓄積サーバから送信される放送コンテンツに関する情報を収集するサーバと、該サーバとネットワークを介して通信する視聴者装置とを有するシステムで用いられる放送コンテンツと同期するイベントを処理する方法であって、前記サーバが、前記放送コンテンツの放送時間と同期して指定される有効期間毎に、有効なイベントを示すイベント識別子、及びそれに対応して実行される処理を示すアクション内容情報を指定するアクションテーブルを構成する第１の段階と、前記サーバが、前記アクションテーブルを前記視聴者装置ヘ送信する第２の段階と、前記視聴者装置が、発生したイベントからイベント識別子を導出する第３の段階と、前記視聴者装置が、前記サーバから受信した前記アクションテーブルを用いて前記イベント識別子に対応するアクション内容情報を導出する第４の段階と、 前記視聴者装置が、前記アクション内容情報を実行する第５の段階とを有し、前記視聴者装置は、前記サーバから受信した前記アクションテーブルをその有効期間だけ参照するようにする。
【００５１】
上記方法において、前記第３の段階は、前記視聴者装置が導出した前記イベント識別子を前記サーバヘ送信し、前記サーバが、前記視聴者装置から受信した前記イベント識別子を前記視聴者装置毎に管理する第６の段階を更に有し、前記第１の段階は、前記サーバが、前記視聴者装置毎に管理された前記イベント識別子に基づいて、前記視聴者装置毎に前記アクションテーブルを構成するようにしてもよい。
【００５２】
また、上記方法において、前記視聴者装置は、現在参照しているアクションテーブルの有効期間が終了すると共に、次の有効期間に相当するアクションテーブルを参照することができるように、予め先の有効期間のアクションテーブルを前記サーバヘ要求する段階を更に有するようにしてもよい。
【００５３】
また、上記方法において、前記サーバが、前記第１の段階で新しいアクションテーブルを構成すると直ぐに、複数の前記視聴者装置ヘ該新しいアクションテーブルを能動的に配信する段階を有するようにしてもよい。
【００５４】
また、本発明は、放送局又は放送情報蓄積サーバから送信される放送コンテンツに関する情報を収集し、放送コンテンツと同期するイベントを処理するサーバであり、前記放送コンテンツの放送時間と同期して指定される有効期間毎に、有効なイベントを示すイベント識別子、及びそれに対応して実行される処理を示すアクション内容情報を指定するアクションテーブルを構成するアクションテーブル構成手段と、該アクションテーブルを視聴者装置ヘ送信するアクションテーブル提供手段とを有するように構成する。
【００５５】
上記サーバにおいて、前記視聴者装置から受信したイベント識別子を前記視聴者装置毎に管理する視聴者装置情報管理手段を更に有し、前記アクションテーブル構成手段は、前記視聴者装置毎に管理された前記イベント識別子に基づいて、前記視聴者装置毎に前記アクションテーブルを構成するようにしてもよい。
【００５６】
また、上記サーバにおいて、前記アクションテーブル提供手段は、前記アクションテーブル構成手段が新しいアクションテーブルが構成されると直ぐに、複数の前記視聴者装置ヘ該新しいアクションテーブルを能動的に配信するようにしてもよい。
【００５７】
また、本発明は、放送局又は放送情報蓄積サーバから送信される放送コンテンツに関する情報を収集するサーバと、該サーバとネットワークを介して通信する視聴者装置とを有するシステムにおける視聴者装置であり、前記放送コンテンツの放送時間と同期して指定される有効期間毎に、有効なイベントを示すイベント識別子、及びそれに対応して実行される処理を示すアクション内容情報を指定するアクションテーブルを前記サーバから受信する手段と、発生したイベントからイベント識別子を導出するイベント管理手段と、前記アクションテーブルをその有効期間だけ参照し、該テーブルを用いて前記イベント識別子に対応するアクション内容情報を導出するアクションテーブル管理手段と、該アクション内容情報を実行するアクション実行手段と、前記イベント識別子を前記サーバヘ送信する手段とを有するよう構成する。
【００５８】
上記視聴者装置において、前記アクションテーブル管理手段は、現在参照しているアクションテーブルの有効期間が終了すると共に、次の有効期間に相当するアクションテーブルを参照することができるように、予め先の有効期間のアクションテーブルを前記サーバヘ要求する手段を有するようにしてもよい。
【００５９】
本発明の第４、第５の目的を達成するために、本発明は次のように構成することができる。
【００６０】
本発明は、視聴者装置と、放送情報に関連する情報である関連情報を提供する関連情報提供サーバとがネットワークを介して接続されたシステムにおいて、視聴者装置が前記関連情報を取得するための方法であって、視聴者装置が、前記放送情報から抽出した所定の情報を関連情報提供サーバに送信し、関連情報提供サーバが、該所定の情報を用いて該放送情報に関連する関連情報を取得し、前記視聴者装置に送信するように構成する。
【００６１】
上記方法において、更に前記関連情報提供サーバは該関連情報の提供対象となり得る視聴者の特性を示す視聴者情報、及び関連情報の提供対象となる端末の特性を示す視聴者装置情報を格納し、視聴者装置は前記所定の情報に加えて該視聴者装置固有の視聴者情報又は視聴者装置情報を前記関連情報提供サーバに送信し、該関連情報提供サーバは、関連情報を取得した後、該視聴者装置固有の視聴者情報又は視聴者装置情報に基づいて関連情報を選別し、視聴者装置に送信するようにしてもよい。
【００６２】
特に、本発明の第４の目的を達成するために、本発明は次のように構成することができる。
【００６３】
本発明は、視聴者装置と映像又は音声に関係したコンテンツ情報を提供するコンテンツ提供サーバとがネットワークを介して接続されたシステムにおいて、視聴者装置が前記コンテンツ情報を取得するための方法であって、視聴者装置が前記コンテンツ情報を取得するために必要な関連情報を入手し、前記コンテンツ提供サーバに関連情報を送信して前記コンテンツ情報の送信を要求し、前記コンテンツ提供サーバから送信される前記コンテンツ情報を取得する構成において、前記システムは関連情報提供サーバを含み、該関連情報提供サーバのデータベースに映像とその関連情報を記録し、視聴者装置が映像又は該映像を変換して得られた特徴量情報である部分映像情報を関連情報提供サーバに送信し、関連情報提供サーバが受信した映像又は部分映像情報によって前記データベースを検索し、その結果取得された関連情報を視聴者装置に送信し、視聴者装置が前記コンテンツ情報を取得するために必要な関連情報を入手するよう構成する。
【００６４】
上記方法において、 更に前記関連情報のデータベースに該関連情報の提供対象となり得る視聴者の特性を示す視聴者情報、及び関連情報の提供対象となる端末の特性を示す視聴者装置情報を記録し、視聴者装置は前記部分映像情報に加えて該視聴者装置固有の視聴者情報又は視聴者装置情報を前記関連情報提供サーバに送信し、該関連情報提供サーバは、関連情報を取得した後、該視聴者装置固有の視聴者情報又は視聴者装置情報に基づいて関連情報を選別し、視聴者装置に送信するようにしてもよい。
【００６５】
また、本発明は、放送情報に関連する情報である関連情報を取得し、視聴者に提供する関連情報提供方法であって、放送情報を放送情報データベースに蓄積しておき、各放送情報の関連情報を関連情報データベースに蓄積しておき、視聴者が視聴中の放送情報又は該放送情報を変換して得られた特徴量情報である部分放送情報に対応する放送情報を前記放送情報データベースより検索し、更に該放送情報で前記関連情報データベースを検索することにより、該放送情報の関連情報を取得し、視聴者に提供するように構成することができる。
【００６６】
また、本発明は、蓄積された放送情報に関連する情報である関連情報を取得し、視聴者に提供する関連情報提供方法において、放送情報を放送情報データベースに蓄積しておき、各放送情報の関連情報を関連情報データベースに蓄積しておき、視聴者が再生視聴中の、放送情報蓄積装置に蓄積された放送情報又は該放送情報を変換して得られた特徴量情報である部分放送情報に対応する放送情報を前記放送情報データベースより検索し、更に該放送情報で前記関連情報データベースを検索することにより、該放送情報の関連情報を取得し、視聴者に提供するよう構成することもできる。
【００６７】
上記方法において、前記部分放送情報は、視聴者による関連情報取得指示が入力された時点を含む一定期間に視聴された放送情報又は該放送情報を変換して得られた特徴量情報であるとしてもよい。
【００６８】
また、上記方法において、前記放送情報データベースは各放送情報を、当該放送情報を識別するための情報である放送情報識別情報で管理し、前記関連情報データベースは前記放送識別情報と、当該放送情報に対応する関連情報を対応させて管理し、前記放送情報データベースを検索することにより前記部分放送情報に対応する放送情報の放送情報識別情報を特定し、前記関連情報データベースを参照し前記放送情報識別情報に対応する関連情報を得、視聴者に提供するようにしてもよい。
【００６９】
また、上記方法において、前記関連情報データベースは、前記関連情報に加えてその提供対象となり得る視聴者の特性を示す視聴者情報、及び関連情報の提供対象となる端末の特性を示す視聴者装置情報を管理し、関連情報を特定した後、該視聴者固有の視聴者情報又は視聴者装置情報に基づいて関連情報を選別し、視聴者に提供するようにしてもよい。
【００７０】
また、本発明は、映像音声を含む放送情報を受信し、視聴者に提供する手段と、視聴者の関連情報取得指示により該指示が入力された時点で前記視聴者が視聴中の放送情報又は該放送情報を変換して得られた特徴量情報である部分放送情報を所定のネットワークを介して送信し、また前記ネットワークを介して送信されてきた関連情報を取得する手段を有する１台以上の視聴者装置と、前記ネットワークに接続され、各放送情報を、当該放送情報を識別するための情報である放送情報識別情報に対応させて管理する放送情報データベースと、前記放送情報データベースに蓄積されている放送情報識別情報と、当該放送情報に対応する関連情報を対応させて管理する関連情報データベースと、前記視聴者装置が送信した前記部分放送情報と対応する放送情報を前記放送情報データベース中より検索することにより前記部分放送情報に対応する放送情報の放送情報識別情報を特定する手段と、前記関連情報データベースを参照し、前記特定された放送情報識別情報に対応する関連情報を得、前記視聴者装置に送信する手段を含む関連情報提供サーバとを有するシステムとして構成することができる。
【００７１】
また、本発明の視聴者装置は、放送情報を受信する放送受信手段と、前記放送受信手段で受信された放送情報を復調復号する放送情報復調復号手段と、関連情報取得指示を含む各種指示を視聴者が入力するための入力手段と、所定のネットワークを介して、各放送情報に対応する関連情報を蓄積している関連情報提供サーバと通信するためのネットワーク通信手段と、前記入力手段より関連情報取得指示が入力されると、該指示が入力された時点で前記放送情報復調復号手段より出力された放送情報又は該放送情報を変換して得られた特徴量情報である部分放送情報を前記ネットワーク通信手段を介して前記ネットワークに送信し、その後前記ネットワークを介して前記関連情報提供サーバから送信されてきた、前記部分放送情報に対応する関連情報を前記ネットワーク通信手段を介して受け取る関連情報取得手段と、前記放送情報復調復号手段から出力された放送情報および前記関連情報取得手段で受け取られた関連情報を表示再生する表示再生手段とを有するように構成できる。
【００７２】
上記視聴者装置において、前記放送情報復調復号手段から出力された放送情報を蓄積する放送情報蓄積手段を更に有し、前記関連情報取得手段は、視聴者が前記放送情報蓄積手段に蓄積されている放送情報を再生視聴中に、前記入力手段より関連情報取得指示が入力されると、該指示が入力された時点で再生視聴中の放送情報又は該放送情報を変換して得られた特徴量情報である部分放送情報を前記ネットワーク通信手段を介して前記ネットワークに送信するように構成してもよい。
【００７３】
また、上記視聴者装置はブックマーク用ボタンを更に有し、視聴者が前記ブックマーク用ボタンを操作しブックマークした時点の部分放送情報をメモリに蓄積しておき、前記関連情報取得手段は、視聴者が関連情報取得指示を入力した時点で前記関連情報提供サーバにアクセスし、前記メモリに蓄積された部分放送情報を前記関連情報提供サーバに通知するようにしてもよい。
【００７４】
また、本発明の関連情報提供サーバは、所定のネットワークに接続され、各放送情報を、当該放送情報を識別するための情報である放送情報識別情報に対応させて管理する放送情報データベースと、前記放送情報データベースに蓄積されている放送情報識別情報と、当該放送情報に対応する関連情報を対応させて管理する関連情報データベースと、視聴者装置が前記ネットワークを介して送信した部分放送情報と対応する放送情報を前記放送情報データベース中より検索することにより前記部分放送情報に対応する放送情報の放送情報識別情報を特定する手段と、前記関連情報データベースを参照し、前記特定された放送情報識別情報に対応する関連情報を得、前記視聴者装置に送信する手段を有し、前記部分放送情報は、視聴者が任意の時点に視聴中の放送情報又は再生視聴中の、放送情報蓄積装置に蓄積された放送情報又はこれら放送情報を変換して得られた特徴量情報であるように構成することができる。
【００７５】
本発明の第５の目的を達成するために、本発明は次のように構成することができる。
【００７６】
本発明は、視聴者装置と映像又は音声に関係したコンテンツ情報を提供するコンテンツ提供サーバとがネットワークを介して接続されたシステムにおいて、視聴者装置が前記コンテンツ情報を取得するための方法であって、視聴者装置が前記コンテンツ情報を取得するために必要な関連情報を入手し、前記コンテンツ提供サーバに関連情報を送信して前記コンテンツ情報の送信を要求し、前記コンテンツ提供サーバから送信される前記コンテンツ情報を取得する構成において、放送局又は放送情報蓄積サーバが、所定のデータ信号を音声に重畳して送信し、放送受信装置がスピーカより放送音声を出力し、視聴者装置が該放送音声をマイクロホンで集音して電気信号に変換し、該電気信号に重畳されている前記データ信号を逐次連続的に抽出して、該データ信号を用いて関連情報を入手するようにする。
【００７７】
また、上記方法において、前記システムは関連情報提供サーバを含み、前記視聴者装置が前記データ信号を関連情報提供サーバに送信し、関連情報提供サーバが受信した該データ信号を用いて関連情報を取得し、該関連情報を視聴者装置に送信し、視聴者装置が該関連情報を入手するようにしてもよい。
【００７８】
更に、上記方法において、更に前記関連情報提供サーバは前記関連情報の提供対象となり得る視聴者の特性を示す視聴者情報、及び関連情報の提供対象となる端末の特性を示す視聴者装置情報を格納し、視聴者装置は前記データ信号に加えて該視聴者装置固有の視聴者情報又は視聴者装置情報を前記関連情報提供サーバに送信し、該関連情報提供サーバは、関連情報を特定した後、該視聴者装置固有の視聴者情報又は視聴者装置情報に基づいて関連情報を選別し、視聴者装置に送信するようにしてもよい。
【００７９】
また、本発明は、音声又は音声と映像を送信する放送局又は放送情報蓄積サーバ側が、音声に、各放送チャネルに対して一意に割り当てられたチャネル識別子と、映像中の各画像フレームに対して一意に割り当てられた画像フレーム識別子、又は音声中の各音声フレームに対して一意に割り当てられた音声フレーム識別子とを含むデータ信号を重畳して送信し、受信側において、視聴者装置が、放送受信装置のスピーカより出力される放送音声をマイクロホンで集音して電気信号に変換し、該電気信号に重畳されている前記データ信号を逐次、連続的に抽出して、該データ信号からチャネル識別子及び、画像フレーム識別子又は音声フレーム識別子を抽出し、これらのチャネル識別子及び、画像フレーム識別子又は音声フレーム識別子に対応する関連情報をネットワークを介して取得することを特徴とする放送同期型サービス提供方法として構成することができる。
【００８０】
上記方法において、放送局又は放送情報蓄積サーバ側が、画像フレーム識別子又は音声フレーム識別子を、時系列に連続する数字として送信し、視聴者装置が、放送受信装置のスピーカより出力された音声から該者声に重畳されているデータ信号を、逐次、運続的に抽出する際に、音声からデータ信号が正しく抽出され、画像フレーム識別子又は音声フレーム識別子が確認された場合には、該画像フレーム識別子又は音声フレーム識別子を、放送受信装置において現在再生されている画像の画像フレーム識別子又は音声フレーム識別子として用い、音声からデータ信号が正しく抽出されず、画像フレーム識別子又は音声フレーム識別子が確認されなかった場合には、最近に確認された画像フレーム識別子又は音声フレーム識別子の値と、該最近に確認された画像フレーム識別子又は音声フレーム識別子が確認された時刻と現在時刻の差分に基づいて、画像フレーム識別子又は音声フレーム識別子を生成して用いるようにしてもよい。
【００８１】
また、上記方法において、視聴者装置がネットワークから取得する関連情報は、該ネットワークに接続されている関連情報提供サーバが管理する放送情報データベースに、チャネル識別子及び画像フレーム識別子又は音声フレーム識別子と対応付けて保持されている関連情報を、前記関連情報提供サーバを経由して得るようにしてもよい。
【００８２】
また、本発明は、音声又は音声と映像を送信する放送局又は放送情報蓄積サーバ側に、音声に、各放送チャネルに対して一意に割り当てられたチャネル識別子と、映像中の各画像フレームに対して一意に割り当てられた画像フレーム識別子、又は音声中の各音声フレームに対して一意に割り当てられた音声フレーム識別子とを含むデータ信号を重畳して送信する手段を設け、受信側の視聴者装置に、放送受信装置のスピーカより出力される放送音声を集音して電気信号に変換するマイクロホンと、該電気信号に重畳されている前記データ信号を、逐次、連続的に抽出すると共に、該データ信号からチャネル識別子及び、画像フレーム識別子又は音声フレーム識別子を抽出するデータ信号抽出手段と、抽出したチャネル識別子及び、画像フレーム識別子又は音声フレーム識別子に対応する関連情報をネットワークを介して取得する手段を設けたことを特徴とする放送同期型サービス提供システムとして構成することができる。
【００８３】
また、本発明は、放送局又は放送情報蓄積サーバから送信される音声又は音声と映像を受信する放送受信装置より出力される音声を受信する視聴者装置であって、前記音声には、各放送チャネルに対して一意に割り当てられたチャネル識別子と、映像中の各画像フレームに対して一意に割り当てられた画像フレーム識別子、又は音声中の各音声フレームに対して一意に割り当てられた音声フレーム識別子とを含むデータ信号が重畳され、該視聴者装置は、放送受信装置のスピーカより出力される放送音声を集音して電気信号に変換するマイクロホンと、該電気信号に重畳されている前記データ信号を、逐次、連続的に抽出すると共に、該データ信号からチャネル識別子及び、画像フレーム識別子又は音声フレーム識別子を抽出するデータ信号抽出手段と、抽出したチャネル識別子及び、画像フレーム識別子又は音声フレーム識別子に対応する関連情報をネットワークを介して取得する手段を設けて構成することができる。
【００８４】
上記視聴者装置において、前記視聴者装置が、前記ネットワークに接続されている関連情報提供サーバに前記チャネル識別子及び、画像フレーム識別子又は音声フレーム識別子に加えて該視聴者装置固有の視聴者情報又は視聴者装置情報を送信し、該関連情報提供サーバが該視聴者装置固有の視聴者情報又は視聴者装置情報に適合した前記関連情報を選択し、視聴者装置は該関連情報を前記ネットワークを介して取得するようにしてもよい。
【００８５】
【発明の実施の形態】
以下、第１〜第５の目的に対応した第１〜第５の実施の形態について説明する。なお、第１〜第５の実施の形態に係る各々の発明により、放送情報又は記録情報の視聴者がネットワークに接続されたサーバ等から放送情報又は記録情報に関連した情報又はコンテンツを容易に取得することができるようになり、本発明の目的が達成される。次に、各実施の形態の概要について説明する。
【００８６】
第１の実施の形態では、放送局から配信される放送を視聴する放送受信装置と、放送に関連した関連情報を得る装置とが一体となった視聴者装置が、関連情報とその関連情報に対応したコンテンツを提供する関連情報コンテンツ提供サーバにサービスを要求することにより、関連情報の取得等を行う。また、イベント情報を視聴者装置が取得し、そのイベント情報に基づき視聴者装置がサービスを要求する。
【００８７】
第２の実施の形態では、上記関連情報コンテンツ提供サーバが提供する関連情報に相当する情報（ＵＲＬ等）を含む放送情報を、放送局から視聴者装置に送るようにする。当該情報は被写体単位でフレーム毎に付加され、視聴者が興味を持った被写体をポインティング等することにより関連情報を取得する。また、視聴者のポインティングに基づき、興味情報を取得し、視聴者の興味に合ったコンテンツを自動的に取得する。これにより、第１の実施例と同様、放送情報等に関連した情報を容易に取得できるようになる。
【００８８】
第３〜第５の実施の形態に関しては、基本的な構成については第１の実施の形態と同様であり、放送情報等に関連した情報を容易に取得できるようにすることを目的とするが、関連情報を取得するための構成に違いがある。
【００８９】
すなわち、第３の実施の形態では、関連情報提供サーバが視聴者装置に、放送内容に関連したアクションテーブルを提供し、放送を視聴する視聴者がそのアクションテーブルに示されたイベントを発生させることにより、そのイベントに対応したアクションが実行され、関連情報の取得等を行う。
【００９０】
第４の実施の形態では、視聴者装置が部分放送情報を関連情報提供サーバに送信し、関連情報提供サーバがその部分放送情報に基づき放送に関連する関連情報を視聴者装置に送信する。
【００９１】
第５の実施の形態では、放送の中の音声にフレームＩＤ等が重畳され、視聴者装置で当該フレームＩＤ等を抽出し、当該フレームＩＤ等を用いて関連情報コンテンツ提供サーバに関連情報を要求する。
【００９２】
また、上記の各実施の形態において、視聴者プロファイル等の視聴者情報や端末情報に関連した関連情報を視聴者装置が取得することが可能である。更に、各実施の形態において、放送局からの放送情報を受信しながら関連情報を取得するのみならず、例えば図１８に示すように、放送情報を蓄積した放送情報蓄積サーバから、例えばインターネット等のネットワークを介して放送情報を受信しながら、その放送情報に関連する関連情報を視聴者装置が取得することが可能である。
【００９３】
以下、各実施の形態について詳細に説明する。
【００９４】
［第１の実施の形態］
以下、第１の目的に対応する第１の実施の形態について詳細に説明する。
【００９５】
図１は、本発明の第１の実施の形態の基本的な構成例を示す図である。図中、１００１は放送を視聴する視聴者の視聴者装置、１００２は放送に関連する情報とその情報に対応するコンテンツを提供する提供者の関連情報コンテンツ提供サーバ、１００３は一方向から一方的に放送コンテンツを送信する放送局、１００４はイベント情報を提供するイベント情報提供サーバを表す。
【００９６】
視聴者装置１００１の提供可能サービス要求手段１０１１は、視聴者が放送局１００３からの放送を視聴しているとき、視聴者からの指示によって、関連情報コンテンツ提供サーバ１００２に対し、サービス提供を要求する際に必要な視聴者情報や端末情報、又は視聴者装置１００１のＩＤを送信して放送コンテンツに関連する提供可能なサービスの情報を要求する。
【００９７】
関連情報コンテンツ提供サーバ１００２の提供可能サービス選別手段１０２１は、視聴者装置１００１から受信した提供可能なサービスの情報の要求に対し、視聴者装置１００１の情報をもとに提供可能なサービスを選別する。提供可能サービス情報送信手段１０２２は、選別した提供可能なサービスの情報を視聴者装置１００１へ送信する。
【００９８】
視聴者装置１００１の提供可能サービス情報可視化表示手段１０１２は、関連情報コンテンツ提供サーバ１００２から受信した提供可能なサービスの情報をアイコン化して表示し、サービス選択・要求手段１０１３は、アイコンの一つがポインティングデバイスによって選択されると、そのアイコンが示すサービスを関連情報コンテンツ提供サーバ１００２へ要求する。
【００９９】
関連情報コンテンツ提供サーバ１００２のサービス要求受信手段１０２３は、そのサービス要求を受信すると、アクセス系状態検出手段１０２４を起動する。アクセス系状態検出手段１０２４は、関連情報コンテンツ提供サーバ１００２から視聴者装置１００１へ予め定めた量の情報パケットを流し、視聴者装置１００１から返ってくるまでの時間を測定することにより、関連情報コンテンツ提供サーバ１００２と視聴者装置１００１間のアクセス系の状態を推定する。
【０１００】
サービスコンテンツ最適化手段１０２５は、視聴者装置１００１の情報とアクセス系の状態をもとに視聴者装置１００１へ送信するサービスに係るコンテンツの画面サイズ、解像度等を変換して最適化する。サービス提供手段１０２６は、最適化したコンテンツを視聴者装置１００１へ送り、要求されたサービスを提供する。
【０１０１】
視聴者装置１００１のサービス利用手段１０１４は、関連情報コンテンツ提供サーバ１００２が提供するサービスのコンテンツを受信し、そのコンテンツを蓄積、表示、出力する等して、要求したサービスの利用を図る。
【０１０２】
図２は、図１に示す本発明の機能を実現するためのシステムの構成図である。視聴者装置１００１と関連情報コンテンツ提供サーバ１００２とは、ネットワーク１００５を介して接続される。視聴者装置１００１は、入力部１１１０、表示部１１２０、制御部１１３０、処理部１１４０、センサー部１１５０、蓄積・管理部１１６０、通信部１１７０を備える。また、関連情報コンテンツ提供サーバ１００２は、入力部１２１０、表示部１２２０、制御部１２３０、処理部１２４０、蓄積・管理部１２５０、通信部１２６０を備える。
【０１０３】
図３は、視聴者装置１００１の構成例を示す図である。視聴者装置１００１の入力部１１１０は、操作入力手段１１１１、音声入力手段１１１２、画像・映像入力手段１１１３、アイコン操作入力手段１１１４、設定操作入力手段１１１５、コンテンツ操作手段１１１６からなる。表示部１１２０は、受信情報可視化手段１１２１、サービス情報表示手段１１２２、イベント情報表示手段１１２３、設定画面表示手段１１２４、コンテンツ表示手段１１２５からなる。
【０１０４】
処理部１１４０は、音声情報認識手段１１４１、画像・映像認識手段１１４２、配信イベント情報条件マッチ判断手段１１４３、アイコン操作手段１１４４からなる。蓄積・管理部１１６０は、視聴者情報蓄積・管理手段１１６１、端末情報蓄積・管理手段１１６２からなる。センサー部１１５０は、ユーザ環境感知手段１１５１からなる。通信部１１７０は、情報送信手段１１７１、情報受信手段１１７２、イベント情報受信手段１１７３からなる。また、視聴者装置１００１は、メモリー部１１８０を持ち、メモリー部１１８０には、情報一時格納手段１１８１が設けられている。
【０１０５】
図４は、関連情報コンテンツ提供サーバ１００２の構成例を示す。関連情報コンテンツ提供サーバ１００２の入力部１２１０は、情報入力手段１２１１からなり、表示部１２２０は、情報表示手段１２２１からなる。処理部１２４０は、提供可能サービス選別手段１２４１、コンテンツ間リンク手段１２４２、コンテンツ変換手段１２４３、アクセス系状態検出手段１２４４からなる。蓄積・管理部１２５０は、視聴者情報蓄積・管理手段１２５１、端末情報蓄積・管理手段１２５２、視聴者環境情報蓄積・管理手段１２５３、コンテンツイベント情報蓄積・管理手段１２５４、放送情報蓄積・管理手段１２５５、コンテンツ蓄積・管理手段１２５６からなる。通信部１２６０は、情報受信手段１２６１、放送情報受信手段１２６２、情報送信手段１２６３からなる。また、関連情報コンテンツ提供サーバ１００２は、メモリー部１２７０を持ち、メモリー部１２７０には、情報一時格納手段１２７１が設けられている。
【０１０６】
図５は、視聴者装置１００１と関連情報コンテンツ提供サーバ１００２間の情報の流れを示す。以下、図５に従って図２〜図４に示す装置の動作について詳細に説明する。なお、番組情報等の放送情報は、事前に放送業者から関連情報コンテンツ提供サーバ１００２へ送られ、イベント情報は、イベント情報提供者から事前に又は放送時に視聴者装置１００１へ送られる。
（１）サービス提供要求入力
まず、視聴者装置１００１において、視聴者が一方向に配信された放送コンテンツを視聴していて、放送されているコンテンツに関連する関連コンテンツに関するサービスを受けたいと思った時、その要求を入力部１１１０で入力する。この視聴者の要求を入力する手段として、ボタン等による操作入力手段１１１１、マイク等による音声入力手段１１１２、カメラ等により撮影したジェスチャー等の画像・映像入力手段１１１３がある。
【０１０７】
操作入力手段１１１１で入力された情報（オン／オフ情報）は、制御部１１３０を介してメモリー部１１８０に格納される。音声入力手段１１１２により入力された音声情報、及び画像・映像入力手段１１１３により入力された画像・映像情報は、制御部１１３０を経由して、それぞれ処理部１１４０の音声情報認識手段１１４１、画像・映像認識手段１１４２に送られる。これらによって、視聴者が要求を入力したことを認識し、結果（オン／オフ情報）を制御部１１３０を介してメモリー部１１８０に格納する。
（２）サービス提供要求情報
制御部１１３０では、メモリー部１１８０に要求入力情報が格納された場合、蓄積・管理部１１６０の視聴者情報蓄積・管理手段１１６１で蓄積、管理されている視聴者情報（視聴者プロファイル）を蓄積・管理部１１６０へ要求し、取得した視聴者情報をメモリー部１１８０に格納する。同様に、蓄積・管理部１１６０の端末情報蓄積・管理手段１１６２で蓄積、管理されている端末情報（メーカ名、型番、スペック等）を蓄積・管理部１１６０へ要求し、取得した端末情報をメモリー部１１８０に格納する。
【０１０８】
また、制御部１１３０は、センサー部１１５０のユーザ環境感知手段１１５１で感知されている視聴者環境情報をセンサー部１１５０へ要求し、取得した視聴者環境情報をメモリー部１１８０に格納する。
【０１０９】
上記の視聴者情報とは、視聴者に関する情報であり、例えば、名前、性別、年齢、職業、住所、郵便番号、家族構成、住居に関する情報（マンション、一戸建て、等）、趣味、興味を有する情報ジャンル（政治、経済、ニュース、コンピュータ、書籍、スポーツ、旅行、等）、年収、各種サービスの会員であるか否かという情報及び会員番号あるいはクレジットカードＩＤ、各種資格（運転免許、等）保有の有無、体形に関する情報（体重、身長、衣類のサイズ等）、能力に関する情報（視力、聴力、等）、等のいずれか複数を含むものである。
【０１１０】
端末情報とは、視聴者装置の表示装置の解像度、表示可能色数、ＷＷＷ情報閲覧手段の性能（Ｊａｖａ機能利用可否、映像音声コンテンツ再生機能の有無、映像音声コンテンツで再生できる符号化フォーマット情報、等）等の情報である。
【０１１１】
また、視聴者環境情報は、視聴者が一方向に配信された放送コンテンツを視聴している時の環境状態、視聴者状態を表す情報であり、視聴している時の環境状態の情報とは、どこで視聴しているか（ＧＰＳ〔Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ〕等で得られる場所情報）、いつ視聴しているか（装置内タイマーやＧＰＳ等で得られる時間情報）、何を視聴しているか（テレビ操作リモコン等の赤外線通信をモニターすることで得られる放送チャンネルや番組等の情報）等の情報である。
【０１１２】
視聴者状態を表す情報は、視聴者の視聴姿勢（座っているのか、立っているのか等）や、視聴時の精神状態（ドキドキしているのか、冷静か、楽しい、悲しい等）の情報である。視聴姿勢は、端末の床からの高さ情報から判断できる。また、精神状態は、心拍数、発汗の様子、動き情報から判断できる。高さ情報、心拍数、発汗の様子、動き情報等は、センサーで感知可能な情報である。視聴者情報、端末情報、視聴者環境情報に関して必ずしもすべての情報が揃わなくてもよいとする。
【０１１３】
視聴者情報に関しては、既に情報が関連情報コンテンツ提供サーバ１００２へ送られていて、関連情報コンテンツ提供サーバ１００２の蓄積・管理部１２５０の視聴者情報蓄積・管理手段１２５１で蓄積、管理されている場合、関連情報コンテンツ提供サーバ１００２側で視聴者情報を特定できる情報としてもよい。この情報は、事前に関連情報コンテンツ提供サーバ１００２に視聴者プロファイルを登録し、関連情報コンテンツ提供サーバ１００２から払い出されたＩＤ（識別子）等である。
【０１１４】
すなわち、視聴者装置が提供可能サービスを要求するときの視聴者装置の情報等は、予め関連情報コンテンツ提供サーバ１００２に登録しておき、視聴者装置のＩＤのみを送る構成でもよいし、すべての情報を要求時に毎回送る構成でもよい。
【０１１５】
制御部１１３０を介してメモリー部１１８０に格納された視聴者情報、端末情報、視聴者環境情報は、サービス提供要求情報として通信部１１７０の情報送信手段１１７１で関連情報コンテンツ提供サーバ１００２へ送信される。制御部１１３０は、送信と同時に送信したことの情報を表示部１１２０へ送り、その情報を可視化する手段で表示することで、視聴者の入力操作（アクション）に対するリアクションを示す。
（３）提供可能サービスの選別
関連情報コンテンツ提供サーバ１００２は、視聴者装置１００１から送信された視聴者情報、端末情報、視聴者環境情報を、通信部１２６０の情報受信手段１２６１で受け取り、制御部１２３０を介してメモリー部１２７０に格納し、同時に視聴者情報を蓄積・管理部１２５０の視聴者情報蓄積・管理手段１２５１で蓄積、管理する。同様に端末情報を端末情報蓄積・管理手段１２５２で、視聴者環境情報を視聴者環境情報蓄積・管理手段１２５３でそれぞれ蓄積、管理する。
【０１１６】
制御部１２３０は、蓄積・管理部１２５０に要求を出し、コンテンツイベント情報蓄積・管理手段１２５４で管理されているイベント情報をメモリー部１２７０に格納する。同様に放送情報蓄積・管理手段１２５５で管理されている放送情報をメモリー部１２７０に格納する。一方向に配信された放送コンテンツ（映像、音声、データの少なくともどれか一つ）の関連コンテンツは、コンテンツ蓄積・管理手段１２５６で蓄積、管理されている。
【０１１７】
イベント情報は、個々の関連コンテンツを特定するための情報（コンテンツＩＤ等）、関連コンテンツに関するサービスの種類情報、放送コンテンツとのリンク情報、コンテンツセキュリティー情報等である。放送情報は、コンテンツの放送スケジュール情報、放送コンテンツに関するイベント情報である。この情報を取得する方法として、放送業者から提供されたものを直接受信する方法と、放送コンテンツに埋め込んである場合に放送コンテンツから抽出する方法とがある。
【０１１８】
放送コンテンツ（映像、音声、データの少なくともどれか一つ）に放送情報を埋め込んである場合、放送情報受信手段１２６２により受け取り、制御部１２３０を経由して蓄積・管理部１２５０へ送り、放送情報蓄積・管理手段１２５５によってライブに管理される。放送情報が放送コンテンツ（映像、音声、データの少なくともどれか一つ）に埋め込まれていない場合、放送の内容と蓄積・管理部１２５０で蓄積、管理している関連コンテンツとのリンク付けを行う。そのため、放送情報受信手段１２６２により放送コンテンツ（映像、音声、データの少なくともどれか一つ）そのものを受け取り、制御部１２３０を介して、処理部１２４０へ送る。
【０１１９】
処理部１２４０では、コンテンツ間リンク手段１２４２で自動又は半自動的に放送コンテンツと関連コンテンツのリンク付けを行い、放送情報に相当する情報を算出し、制御部１２３０を介して、蓄積・管理部１２５０へ送る。これにより、放送情報蓄積・管理手段１２５５によって管理される。
【０１２０】
コンテンツ間リンク手段１２４２は、画像・映像認識技術、音声認識技術を用いて、物理量の距離を用いたリンクから意味量の距離を用いたリンクまで段階的に行う方法を用いる。メモリー部１２７０に格納した視聴者情報、端末情報、視聴者環境情報、コンテンツイベント情報、放送情報を処理部１２４０に転送する。転送された情報に基づき処理部１２４０の提供可能サービス選別手段１２４１で視聴者に適応した提供可能サービスの選択を行う。
【０１２１】
図６に、イベント情報、放送情報とサービスの関連を表す概念図を示す。例えば、コンテンツＡに対しては、視聴者情報、端末情報、視聴者環境情報に応じて、サービスＡ、Ｄ、Ｆ、Ｉの中からの選別が行われ、コンテンツＢに対しては、サービスＡ、Ｃ、Ｆの中からの選別が行われる。提供可能なサービスは、同じコンテンツであっても、放送時間によって違ってくることがある。
【０１２２】
受信した視聴者情報、端末情報、視聴者環境情報に応じて、どのようにサービスと関連コンテンツが選択されるかをその手順に沿って説明する。図７に、その手順を示す。視聴者情報、端末情報、視聴者環境情報を入力すると、まずステップＳ１では、視聴者環境情報に含まれる放送時間、放送局情報で放送コンテンツ（映像、音声、データの少なくともどれか一つ）に関連付けられている関連コンテンツを、放送情報に基づき検索する。関連コンテンツが検索されなかった場合、提供できる関連コンテンツもサービスもないという情報を戻して、選別処理は終了する。
【０１２３】
関連コンテンツが検索された場合、ステップＳ２へ進み、視聴者情報、視聴者環境情報に基づき視聴者に提供できるコンテンツかどうかを判断する。ここでの判断では、例えば、視聴者が未成年であった場合や地域限定であった場合、検索された関連コンテンツに年齢制限の規定はあるのかどうかを見て提供できるかどうかを判断する。また、視聴者が台所等の場所にいて関連コンテンツの提供を希望する場合、検索された関連コンテンツに視聴者の場所に応じた制限やお勧めがあるのかどうかを判断する。提供可能なコンテンツがないと判断された場合、提供できる関連コンテンツもサービスもないという情報を戻して、選別処理は終了する。
【０１２４】
提供可能なコンテンツと判断された関連コンテンツがあった場合、ステップＳ３へ進み、コンテンツイベント情報に基づき関連コンテンツにリンクされたサービスを検索する。サービスが検索されなかった場合、提供できる関連コンテンツもサービスもないという情報を戻して、選別処理は終了する。
【０１２５】
サービスが検索された場合、ステップＳ４へ進み、端末情報に基づき提供可能なサービスかどうかを判断する。端末のスペックによっては、受けられないサービスもあるための判断である。提供可能なサービスと判断された場合、その関連コンテンツとサービスに関する情報を戻して、選別処理は終了する。
（４）提供可能サービス情報
制御部１２３０を介して、選択された関連コンテンツとサービスに関する情報をメモリー部１２７０に格納する。関連コンテンツとサービスに関する情報とは、関連コンテンツ、サービスの名前、関連コンテンツの存在場所、サービスに必要なツールの存在場所、使用期限、関連コンテンツとサービスを表すアイコン等の情報である。メモリー部１２７０に格納された情報は、提供可能サービス情報として、通信部１２６０の情報送信手段１２６３で視聴者装置１００１へ送信される。
（５）提供可能サービスの表示
視聴者装置１００１では、関連情報コンテンツ提供サーバ１００２から送信された情報が、制御部１１３０を介してメモリー部１１８０に格納されると共に、表示部１１２０へ送られる。送られてきた情報は、サービス情報表示手段１１２２によって可視化される。この表示の例を図８に示す。図８において、１０５０は番組オブジェクト、１０５１は番組アイコン画像、１０５２はサービスアイコン画像、１０５３はサービスオブジェクト、１０５４はアプリケーションアイコン、１０５５はお知らせ設定等の条件設定画面、１０５６はゴミ箱のアイコンである。なお、アプリケーションアイコン１０５４、条件設定画面１０５５については後述する。
【０１２６】
送られてきたアイコン情報には、番組オブジェクト１０５０のような放送コンテンツに関するものと、サービスオブジェクト１０５３のようなサービスに関するものからなる。これらは予め定めた大きさの画像アイコンとしてそれぞれ表示（番組アイコン画像１０５１、サービスアイコン画像１０５２）される。番組アイコンは、サービスアイコンを子供にもつ構造であり、サービスアイコンの持つ機能として、アイコン情報以外の情報を手がかりにサービスツールを起動する機能がある。サービスとして、例えばコンテンツの購入、コンテンツの視聴、コンテンツの加工等があり、サービスツールは、これらを実行するアプリケーションプログラムである。
【０１２７】
サービスアイコンの選択によりサービスツールが起動し、視聴者は、所望のサービスの提供を受けることになる。サービスアイコンに画像として表現されるものは、関連コンテンツの中身と共にサービスの内容である。視聴者は、アイコンを一目見ただけで、どのようなコンテンツをどのようなサービスで受けられるかを理解できるように表現されている。また、アイコンは、それ自身一つの単位のオブジェクトとしてメモリー部１１８０で管理されているため、入力部１１１０のアイコン操作入力手段１１１４で入力された情報を制御部１１３０へ送り、処理部１１４０のアイコン操作手段１１４４により、ディスプレイの画面上を視聴者の所望する位置へ移動することも可能であり、加えて消去すること（ゴミ箱１０５６への移動）も可能である。
【０１２８】
アイコン位置を変更することは、表示部１１２０へ送るアイコン表示位置パラメーターを変更することであり、アイコンを消去することは、メモリー部１１８０内の対象オブジェクトデータを消去することである。視聴者の必要に応じてサービスアイコンを非表示にすることも可能である。当然、アイコンオブジェクトが持つ情報をインデクスとして、キーを与えることで、アイコンを検索することも可能である。例えば、番組名で検索することもできるし、サービス名で検索することも可能である。
【０１２９】
以上の説明では、視聴者が一方向に配信された放送コンテンツを視聴していて、放送されているコンテンツに関連する関連コンテンツに関するサービスを受けたいと思った時、その要求を視聴者がポジティブに装置に入力した場合の例を説明した。
【０１３０】
その要求を視聴者がポジティブに装置に入力しなくても、視聴者が予め設定したタイミングでアプリケーションにより自動的に要求が出されるようにすることもできる。次に、その例について説明する。すなわち、一方向に配信された放送コンテンツを視聴している時に、放送されているコンテンツに関連する関連コンテンツに関するサービスを事前に装置に設定し、サービスを予約することやサービスが受けられるタイミングになったら通知してくれる機能を実現する手順について説明する。
【０１３１】
まず、視聴者装置１００１において、放送コンテンツのイベント情報を表示する機能、サービスを予約したり、サービスが受けられるタイミングになったら視聴者に通知してくれる機能を持つアプリケーションを動作させる。このアプリケーションは、視聴者が事前に予約等を行いたいときに起動してもよいし、放送のチャネルに応じて自動的に視聴者装置１００１が起動するようにしてもよい。このアプリケーションは、関連情報コンテンツ提供サーバ１００２から視聴者装置１００１へ送信され、視聴者装置１００１がそれを受信し起動する。
【０１３２】
視聴者装置１００１においてこのアプリケーションが動作すると、図８のアプリケーションアイコン１０５４が画面に表示され、視聴者にアプリケーションが動作していることを知らせる。アプリケーションアイコン１０５４は、受信した放送コンテンツのイベント情報を可視化してアイコン中に表示するための機能と、予約画面やお知らせ設定画面等の条件設定画面１０５５を呼び出すための機能を持つ。
【０１３３】
図９に、条件設定画面１０５５の一つであるお知らせ設定画面の例を示す。アプリケーションアイコン１０５４中の「お知らせ設定」のボタンをクリックすることにより、図９の条件設定画面１０５５を表示させることができる。この画面は、放送視聴中にイベント情報と設定された条件とが一致したときに、その旨を視聴者に通知することを設定する画面である。
【０１３４】
お知らせのタイミングになったときの視聴者への通知方法として、表示画面の点滅や音を選択することができる。また、映像を自動的に表示するように起動設定することもできる。図９の例は、野球中継に関するお知らせ設定の画面であり、例えば得点が入ったとき、３回になったとき、打順がある打者になったとき等に視聴者に通知することを、この画面であらかじめ設定することができる。
【０１３５】
予約の設定画面でも、お知らせ設定画面と同様に、ある設定した予約時間になったときとか、例えばある特定のタレントが画面に現れたときというように、要求を出すタイミングを設定し、設定したタイミングで自動的にサービス提供要求が出されるようにすることができる。
【０１３６】
アプリケーションは、イベント情報提供者から配信される放送コンテンツのイベント情報を表示部１１２０でアプリケーションアイコン１０５４に表示し、予約の設定画面、お知らせ設定画面等の条件設定画面で設定したタイミングで自動的に視聴者の要求を装置に入力する。なお、予約の場合には、設定したタイミングになったときに、視聴者に確認することなくサービス提供要求を出すが、お知らせ設定の場合には視聴者にアイコンの点滅や音で設定したタイミングを知らせ、事前の指定に応じて視聴者に確認をとった後にサービス提供要求を出す。
【０１３７】
次にこの予約やお知らせ設定等の一連の手順を詳細に説明する。イベント情報提供者から放送コンテンツのイベント情報が配信されてきているとする。このイベント情報を通信部１１７０のイベント情報受信手段１１７３で受け取り、制御部１１３０を介して送られてくる順にメモリー部１１８０に逐次格納する。それと同時に、その情報を処理部１１４０と表示部１１２０へ送り、イベント情報表示手段１１２３でアイコン（アプリケーションアイコン１０５４）として放送コンテンツのイベント情報を表示する。このアイコンの機能としては、前述のように視聴者が所望するサービスの条件を設定できる機能がある。
【０１３８】
設定画面の表示は、入力部１１１０の設定操作入力手段１１１５で表示要求を入力し、入力情報を制御部１１３０へ送り、これをもとに表示部１１２０の設定画面表示手段１１２４が行う。条件設定の入力では、入力部１１１０の設定操作入力手段１１１５で設定情報を入力し、制御部１１３０を介してメモリー部１１８０に格納する。
【０１３９】
その後、メモリー部１１８０に格納された条件を処理部１１４０へ送り、配信イベント情報条件マッチ判断手段１１４３は、その条件と配信されたイベント情報とのマッチングを行う。配信イベント情報条件マッチ判断手段１１４３では、条件とイベント情報の意味的な距離を算出し、それを類似度とし、予め与えた閾値と比べて近いものを条件が一致したと判断する。条件が一致したと判断された場合、一致したことを制御部１１３０へ伝える。一致情報が制御部１１３０を介してメモリー部１１８０に格納され、それ以降の流れは、一方向に配信された放送コンテンツを視聴していて、放送されているコンテンツに関連する関連コンテンツに関するサービスを受けたいと思った時、その要求をポジティブに入力し、メモリー部１１８０に要求入力情報が格納された場合にそれ以降行う流れと同様である。
【０１４０】
ここで、視聴者の放送コンテンツを受ける際のチャンネリングとサービス要求を出した際の各操作に関して表示部１１２０で表示される情報の遷移について説明しておく。
【０１４１】
ある放送コンテンツを視聴していてサービス要求を出した場合、図８で示したアイコンが表示される。チャンネルを変更し、異なる放送コンテンツを視聴していてサービス要求を出した場合、先の放送コンテンツに関連するサービスアイコンは非表示となり、番組アイコンのみの表示となる。続いて関連情報コンテンツ提供サーバ１００２から新たに送信された情報を受け取り、新たな番組アイコンとサービスアイコンが表示される。続いて先に視聴していた放送コンテンツにチャンネルを変更し、サービス要求を出した場合、非表示になっていたサービスアイコンが表示されると共に、新たに要求したサービスアイコンが追加表示される。
（６）サービスの選択、（７）サービスの要求
次に、表示部１１２０で表示されているサービスアイコンを選択し、サービスの提供を受ける手順に関して説明する。視聴者装置１００１の入力部１１１０のアイコン操作入力手段１１１４によりサービスアイコンの選択入力を行う。この選択入力情報に基づき、制御部１１３０を介してメモリー部１１８０に格納されている選択されたアイコンに対応する提供可能サービス情報（関連コンテンツの存在場所、サービスに必要なツールの存在場所、使用期限等）を、通信部１１７０の情報送信手段１１７１により関連情報コンテンツ提供サーバ１００２に送信する。
（８）サービスコンテンツの最適化
関連情報コンテンツ提供サーバ１００２では、視聴者装置１００１から送られてくるサービス、コンテンツに関する情報を通信部１２６０の情報受信手段１２６１により受信し、制御部１２３０を介してメモリー部１２７０に格納する。情報受信手段１２６１では、どこの視聴者装置１００１からの送信情報を受信したかを判断し、先の情報と共に判断した視聴者装置情報を制御部１２３０へ送る。
【０１４２】
サービス、コンテンツに関する情報と視聴者装置情報が制御部１２３０を介してメモリー部１２７０に格納されると、制御部１２３０は、処理部１２４０内のアクセス系状態検出手段１２４４によってアクセス系状態を検出する。ここで検出するアクセス系状態とは、ネットワークの状態であり、例えば通信速度である。通信速度は、ネットワークの混み具合（流れているデータの量）に応じてダイナミックに変化している。アクセス系状態検出手段１２４４では、視聴者装置情報に基づき視聴者装置１００１へ予め定めた量の情報パケットを流し、視聴者装置１００１から返ってくるまでの時間でアクセス系の状態を推定する。視聴者装置１００１の通信部１１７０では、この情報パケットを受信した場合、それを情報受信手段１１７２から情報送信手段１１７１へ直接転送し、情報パケットを送信した関連情報コンテンツ提供サーバ１００２へ送り返してやることを行う。推定したアクセス系の状態情報は、制御部１２３０を介してメモリー部１２７０に格納する。
【０１４３】
制御部１２３０を介してメモリー部１２７０に格納されているサービス、コンテンツに関する情報に基づき、蓄積・管理部１２５０のコンテンツ蓄積・管理手段１２５６で蓄積、管理されている関連コンテンツとサービスツールを検索し、関連コンテンツとサービスツールをメモリー部１２７０に格納する。同時に蓄積・管理部１２５０で管理されている端末情報も視聴者装置情報に基づき検索し、制御部１２３０を介してメモリー部１２７０に格納する。メモリー部１２７０に格納されている関連コンテンツとアクセス系の状態情報、端末情報を処理部１２４０へ転送する。
【０１４４】
コンテンツ変換手段１２４３では、関連コンテンツをアクセス系の状態情報、端末情報（端末スペック）に基づき最適なコンテンツに変換する。この変換は、次のような場合に行う。
【０１４５】
１）関連コンテンツがハイスペックな端末、ハイリッチなアクセス系の状態用に作成されている場合で、端末スペックとアクセス系の状態がそれに合わないとき、最適のコンテンツに変換することを行う。
【０１４６】
２）また、一つのコンテンツで複数のサービスに用いる場合にもサービスに応じた最適のコンテンツに変換することを行う。
【０１４７】
上記１）の場合のコンテンツ変換手段１２４３では、データ量の削減を行う。データ圧縮技術を用いた物理的なデータ量の削減から、要約等の意味を考慮したデータ量の削減まで行う。テキスト情報は、形態素解析や辞書、コーパスを用いて意味レベルの要約を行う。画像やＭＰＥＧ１、ＭＰＥＧ２等の映像は、圧縮率を変えたり、ＭＰＥＧ４でオブジェクト符号化された映像は、オブジェクト単位での選択的な符号化を行ったりする。ＭＰＥＧ７で記述された映像は、テキスト記述を処理することで意味レベルの要約を行う。ハイパーリンクが張られたコンテンツに等に関しては、リンクにぶら下る情報に視聴者プロファイルに基づく重みを付け、その重みに従って選択的にリンク情報を削減することを行う。
【０１４８】
上記２）の場合のコンテンツ変換手段１２４３では、視聴者が所望する言語に翻訳することを行う。画像からテキストヘの変換、映像から画像への変換、音声からテキストへの変換、画像から音声への変換、映像から音声への変換等、表現メディア間の変換処理も行う。
（９）サービス提供
コンテンツ変換手段１２４３により最適に変換されたコンテンツは、メモリー部１２７０に格納され、既に格納されているサービスツールと共に通信部１２６０の情報送信手段１２６３により、視聴者装置１００１へ送信される。視聴者装置１００１では、関連情報コンテンツ提供サーバ１００２から送信されるサービスツールと関連コンテンツをメモリー部１１８０に格納する。サービスツールは、入力部１１１０のコンテンツ操作入力手段１１１６と表示部１１２０のコンテンツ表示手段１１２５を用いて、関連コンテンツに関するサービスを視聴者装置１００１上で提供する。関連コンテンツの購入サービス等は、購入に関する視聴者のトランザクションを通信部１１７０の情報送信手段１１７１により、トランザクション処理センター（図示省略）に送信することで行う。
（効果）
以上説明したように、本実施の形態によれば、多種多様な通信アクセス系、端末を前提に、一方向に配信された放送コンテンツに連動、連携して、個々の視聴者がそれぞれの嗜好から希望する関連コンテンツを提供する多種多様なサービスに応えること、またそのサービスを公平に提供することができるようになる。また、視聴者が所望するサービスを捕り滴らしなく受けられる環境と、視聴中、視聴後に関連コンテンツを入手するサービスを受ける際の煩わしさに関する課題を解決した環境を提供することができるようになる。
【０１４９】
このため、視聴者にとっては、一方向に配信された放送コンテンツに連動、連携して、多種多様なサービスを自分の端末に最適なコンテンツで受けることができ、しかもサービスを捕り漏らしなく受けられること、関連コンテンツを入手するサービスを受ける際の煩わしさがないことのメリットある。コンテンツ提供者にとっては、一方向に配信された放送コンテンツに連動、連携して、個々の視聴者がそれぞれの嗜好から希望する関連コンテンツを提供する多種多様なサービスに応えることができるというメリットがある。
【０１５０】
［第２の実施の形態］
次に、第２の実施の形態について実施例２−１〜実施例２−４を用いて説明する。第２の実施の形態では、映像情報の中で視聴者が関心を持つ被写体に対してポインティング操作を行った場合に、被写体に関連して付加されている情報に基づいて、前記ポインティング操作が行われた被写体に関連した関連情報を入手して視聴者が参照することを可能にし、更には視聴者が関心を持つ被写体に関する情報を蓄積しておき、この蓄積された情報に基づいて受信した放送情報を選別し、選別した放送情報を蓄積する。
【０１５１】
〔実施例２−１〕
図１０は本発明の第２の実施の形態による視聴者装置の実施例２−１を示すシステム構成図である。図１０において、２０１０は映像情報２０１１とこれに付加された関連情報２０１２とを含む放送情報である。映像情報２０１１は少なくとも映像を含んでおり、映像の他に音声をも含んだ通常の意味での映像番組の場合も該当する。
【０１５２】
ディジタル放送においては、映像の放送チャネル内において番組配列情報として映像に関する付加的な情報を放送できる。あるいは、テキストや静止画像等のデータのみを放送するデータチャネルにおいて他の放送チャネルで放送される映像の関連情報を放送できる。付加的な情報としては、例えば映像中の番組のタイトルやジャンル、放送日時等が考えられている。
【０１５３】
本発明では、付加的な情報には少なくとも映像情報２０１１に登場する表示単位としての被写体に関する情報を含めるものとし、被写体に関する付加的な情報（以下では関連情報と呼ぶ）は少なくとも、被写体を説明する被写体属性情報と、その被写体座標値と、その被写体に対応した関連情報のアドレス識別情報として少なくとも一つのＲＦＣ２３９６等で規定されるＵＲＩ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｉｄｅｎｔｉｆｉｅｒ）情報とを含んでいる。この場合、ＵＲＩは、通信網２００３に接続された情報提供装置のＩＰアドレスやＵＲＬを含んでいる。
【０１５４】
また、被写体座標値は、表示画面における被写体の存在領域を表す座標値である。被写体は時刻とともに登場し、あるいは退場し、また登場している最中にも画面内を移動する。このために被写体座標値は、映像情報２０１１のフレーム毎に定義するか、又は時刻単位で定義することが必要である。
【０１５５】
また、関連情報２０１２は、１個以上の被写体の各々について定義される。図１１は本発明における関連情報の例を示す。関連情報２０１２は、フレーム番号２１２１、被写体座標値２１２２、被写体属性情報２１２３、及びＵＲＩ情報２１２４を含んでいる。図１１に示す関連情報２０１２では、フレーム番号２１２１がＮの場合には、被写体属性情報２１２３がＯＢ−Ａ、ＯＢ−Ｂ等の被写体が、それぞれ被写体座標値２１２２である（ＸＡ、ＹＡ）、（ＸＢ、ＹＢ）等に表示されること、それらに対してはＵＲＩ−Ａ、ＵＲＩ−Ｂ等のＵＲＩ情報２１２４が対応して定義されていることを示している。このような情報は、Ｎ以外のフレーム番号のフレームについても付加されており、フレームによって定義される被写体は異なり、また同一の被写体であっても異なるＵＲＩが定義され得る。また、一つの被写体について複数のＵＲＩが定義されてもよい。
【０１５６】
上述の関連情報及び映像情報を含む放送情報の構成について以下に述べる。
【０１５７】
第一の構成方法として、映像情報中の各映像フレーム情報の先頭に、ヘッダー情報として図１１に示すような関連情報を挿入する場合がある。例えば、ＭＰＥＧ２映像ストリームの場合であれば、ピクチャ階層のヘッダすなわちピクチャヘッダのユーザデータ領域に関連情報を挿入することが考えられる。
【０１５８】
また、第２の構成方法として、映像情報と、関連情報を別々に構成し、関連情報には図１１に示すように対応する映像フレームを識別するためのフレーム番号を含むように構成する場合がある。
【０１５９】
第２の構成方法の場合、映像情報は映像の放送チャネルで送信し、関連情報はデータチャネルで送信することができる。あるいは、ＢＳデジタル放送やＣＳデジタル放送等のシステムにおいては、ＡＲＩＢ ＳＴＤ−Ｂ１０「デジタル放送に使用する番組配列情報」で規定される番組配列情報の一部として、ＭＰＥＧ２Ｓｙｓｔｅｍ（ＩＴＵ−Ｔ Ｈ．２２２．０，ＩＳＯ／ＩＥＣ １３８１８−１）で規定されるセクション形式のデータ構造を用いて関連情報を伝送する場合もある。
【０１６０】
なお、第２の構成方法の場合、関連情報は、対応する映像フレームと同時かそれ以前に視聴者装置に入力されるように、放送情報を構成する。
【０１６１】
図１０において、２００２は本実施の形態に係る視聴者装置あって、以下に述べる要素から構成されている。
【０１６２】
放送受信部２２０１は、前記した映像情報２０１１及び関連情報２０１２を含む放送情報２０１０を受信して映像表示制御部２２０２に送信する。
【０１６３】
映像表示制御部２２０２は、放送受信部２２０１より受信した映像情報２０１１を表示するための表示制御信号を映像表示部２２０３に送信する。また映像表示制御部２２０２は、映像表示部２２０３において視聴者がポインティングを行った画面内の座標値を受信して、これを関連情報２０１２の中の被写体座標値２１２２と照合し、ポインティングを行った画面内座標値と一致する被写体座標値２１２２を有する被写体に対応したＵＲＩ情報２１２４と被写体属性情報２１２３とを関連情報表示制御部２２０５に送信する。
【０１６４】
映像表示部２２０３は、映像表示制御部２２０２から受信した表示制御信号に基づいて表示画面に映像を表示する。図１０に示す場合では被写体として自動車が登場している。また第１のポインティングデバイス２２０４によりポインティングされた座標値を検出してその値を映像表示制御部２２０２に送信する。
【０１６５】
第１のポインティングデバイス２２０４は、例えば映像表示制御部２２０２に接続されており、映像表示部２２０３の画面内で表示したカーソルを移動させ、所望のヵーソル位置でポインティング操作を行うためのもので、いわゆるマウス等の汎用デバイスを使用することができる。
【０１６６】
関連情報表示制御部２２０５は、映像表示制御部２２０２から受信した被写体属性情報２１２３を代表するものとしての文字、記号又は図形等（以下では被写体代表図形等と呼ぶ）を後述する被写体関連情報表示部２２０６に表示するための制御信号を被写体関連情報表示部２２０６に送信し、また被写体属性情報２１２３を被写体属性情報蓄積部２２０９に送信する。関連情報表示制御部２２０５はまた、被写体関連情報表示部２２０６において第２のポインティングデバイス２２０７によりポインティングされた被写体代表図形等を受信し、これにより代表されている被写体に対応するＵＲＩ情報２１２４を後述する関連情報アクセス部２２１０に送信し、これに基づいて関連情報アクセス部２２１０が後述する関連情報蓄積部２２１１又は通信網２００３にアクセスして、入手した関連情報を被写体関連情報表示部２２０６に表示する。
【０１６７】
関連情報アクセス部２２１０は、関連情報表示制御部２２０５から受信したＵＲＩ情報２１２４が後述する関連情報蓄積部２２１１に対応したものであれば関連情報蓄積部２２１１にアクセスし、またインターネット等の通信網２００３に接続された情報源に対応したものであれば通信網２００３を介して当該情報源にアクセスし、それぞれ関連情報を入手して関連情報表示制御部２２０５に返送する。
【０１６８】
被写体関連情報表示部２２０６は、関連情報表示制御部２２０５から上記の被写体代表図形等、又は被写体の関連情報を表示するための制御信号を受信してそれらを表示する。また被写体関連情報表示部２２０６は、前述のように第２のポインティングデバイス２２０７を具備しているが、その動作は第１のポインティングデバイス２２０４と同様にして、例えば関連情報表示制御部２２０５に接続されており、映像表示部２２０３の画面内で表示したカーソルを移動させ、所望のカーソル位置でポインティング操作を行うためのもので、いわゆるタッチパネルやマウス等の汎用デバイスを使用することができる。
【０１６９】
入力デバイス２２０８は、本システムを操作するためのキーボードその他の入力装置である。被写体属性情報蓄積部２２０９は、関連情報表示制御部２２０５から送信された被写体属性情報２１２３を受信し、蓄積する。
【０１７０】
関連情報蓄積部２２１１は、被写体に関連した情報を蓄積し、この情報は関連情報アクセス部２２１０がアクセスして入手することが可能である。また、蓄積する情報は、図示しない装置を用いて必要に応じて追加、更新あるいは削除を行うことができる。
【０１７１】
以上の構成の実施例２−１に係る本システムの動作を以下に説明する。映像情報２０１１と図１１に示した関連情報２０１２とを含む放送情報２０１０は、放送局より放送されて放送受信部２２０１により受信され、復調された後、映像表示制御部２２０２に送られる。映像表示制御部２２０２においては、放送受信部２２０１から受信した映像情報２０１１と関連情報２０１２のうち、映像情報２０１１を表示するための制御信号が生成され、これは映像表示部２２０３に送られる。関連情報２０１２は映像表示制御部２２０２において一時的に保存される。
【０１７２】
映像表示部２２０３において被写体がポインティングされた場合には、映像表示制御部２２０２はポインティングの座標値を映像表示部２２０３から受け取るとともに、受け取った座標値と図１１に示す被写体座標値２１２２との照合を行い、ポインティングの座標値に一致する被写体座標値２１２２が定義された被写体を見出す。そして、このようにして見出された被写体に対応した被写体属性情報２１２３及びＵＲＩ情報２１２４は、関連情報表示制御部２２０５に送られる。
【０１７３】
関連情報表示制御部２２０５では、映像表示制御部２２０２から受信した被写体属性情報２１２３及びＵＲＩ情報２１２４に基づいた処理が行われる。まず被写体属性情報２１２３は、被写体属性情報蓄積部２２０９に送信されて蓄積される。また関連情報表示制御部２２０５では、受信した被写体属性情報２１２３を代表する被写体代表図形等を表示するための制御信号が生成されて被写体関連情報表示部２２０６に送られる。
【０１７４】
図１２は、映像表示部２２０３において第１のポインティングデバイス２２０４によりポインティングされた被写体２０４１に対応して被写体関連情報表示部２２０６に、その被写体２０４１の被写体代表図形等２０４２が表示される例を表している。
【０１７５】
なお、映像表示部２２０３と被写体関連情報表示部２２０６とは、異なるディスプレイ装置を用いるほうが望ましい。例えば、映像表示部２２０３をＣＲＴディスプレイ装置、被写体関連情報表示部２２０６を液晶ディスプレイ装置を用いて構成することが考えられる。この場合、第１のポインティングデバイス２２０４としてマウス、第２のポインティングデバイス２２０７としてタッチパネル等の利用も考えられる。しかし、映像表示部２２０３と被写体関連情報表示部２２０６とを、１台のディスプレイ装置を用いて構成することも可能であり、１台のディスプレイ装置を共用する場合には、異なるウィンドウ又は画面分割した表示領域のそれぞれに映像表示部２２０３と被写体関連情報表示部２２０６とを設ける。この場合、第１のポインティングデバイス２２０４及び第２のポインティングデバイス２２０７についても、同じハードウェアで実現することができ、１個のマウス等を共用することができる。
【０１７６】
図１３は、被写体関連情報表示部２２０６に関するより詳細な例を示しており、この例では、被写体関連情報表示部２２０６は、被写体代表図形等２０４２を表示するための被写体表示領域２２６１と、被写体関連情報を表示するための関連情報表示領域２２６２と、操作パネル部２２６３とを有する。操作パネル部２２６３は、例えばタッチパネルを利用する場合に入力デバイス２２０８の代わりに用いることができる。
【０１７７】
また、被写体表示領域２２６１には、被写体代表図形等２０４２が複数個表示されている。この例では、ＯＢ−Ａ、ＯＢ−Ｂ、ＯＢ−Ｃ及びＯＢ−Ｄ等の文字がそれぞれの被写体代表図形等２０４２である。これらは映像の進行とともに、被写体２０４１が次々とポインティングされた場合に、それらの被写体２０４１に対応した被写体属性情報２１２３及びＵＲＩ情報２１２４が順次関連情報表示制御部２２０５に送り込まれてきた結果を示している。
【０１７８】
次に、視聴者が被写体関連情報表示部２２０６に表示された被写体代表図形等２０４２を第２のポインティングデバイス２２０７でポインティングすると、ポインティングされた被写体代表図形等２０４２を識別する情報が被写体関連情報表示部２２０６から関連情報表示制御部２２０５に送り込まれ、これに対応して関連情報表示制御部２２０５では、被写体代表図形等２０４２を識別する情報が示す被写体２０４１に対応したＵＲＩ情報２１２４が抽出される。抽出されたＵＲＩ情報２１２４は、関連情報アクセス部２２１０に送信され、関連情報アクセス部２２１０は、送信されたＵＲＩ情報２１２４が、関連情報蓄積部２２１１に対応していれば関連情報蓄積部２２１１にアクセスして関連情報を入手して、これを関連情報表示制御部２２０５に返送する。
【０１７９】
また、送信されたＵＲＩ情報２１２４が通信網２００３に接続された情報源のものであれば、関連情報アクセス部２２１０は、通信網２００３を通じて当該情報源から関連情報を入手し、これを関連情報表示制御部２２０５に返送する。
【０１８０】
関連情報表示制御部２２０５では返送された情報を受信した後に、これらを被写体関連情報表示部２２０６の関連情報表示領域２２６２に表示する。
【０１８１】
以上の動作において、視聴者が被写体代表図形等２０４２をポインティングするタイミングは、放送受信中と放送受信後とのどちらでも任意である。したがって参照する情報が多い場合には、放送受信後の都合の良いときに順次関連情報を参照することもできる。
【０１８２】
〔実施例２−２〕
次に、実施例２−２として映像のフィルタリング蓄積機能を有する視聴者装置について説明する。図１４は、実施例２−２を示すシステム構成図である。実施例２−２に係るシステムの構成は、図１０に示す実施例２−１のシステムの構成に興味情報抽出部２２１２を加えるとともに、その機能を利用して放送情報２０１０を自動的に選別して蓄積する機能を備えたものであり、以下に詳しく説明する。
【０１８３】
図１４において、関連情報表示制御部２２０５は、実施例２−１で述べた機能に加えて、視聴者が被写体関連情報表示部２２０６において、被写体代表図形等２０４２をポインティングした被写体について、少なくともその被写体に関するＵＲＩ情報２１２４と、被写体属性情報２１２３と、情報源から入手された関連情報と、この関連情報が被写体関連情報表示部２２０６に表示された時間に関する表示時間情報のうちのいずれか複数を興味情報抽出部２２１２に送信する機能を有する。
【０１８４】
また、興味情報抽出部２２１２は、ＵＲＩ情報２１２４、被写体属性情報２１２３、前記関連情報、前記表示時間情報のうちいずれか複数もしくは全てを参照して、関連情報に対する視聴者の興味を示す情報としての興味情報を抽出し、これを蓄積する。更に、興味情報抽出部２２１２は、放送受信部２２０１から映像情報２０１１と関連情報２０１２とを含む放送情報２０１０を受信して、関連情報２０１２の中の少なくともその被写体属性情報２１２３又はＵＲＩ情報２１２４を、蓄積した興味情報に照らし合わせて、視聴者の興味情報に適合していると判断された放送情報２０１０を優先的に選択する。選択された放送情報２０１０は必要に応じて放送情報蓄積部２２１３に蓄積することができる。
【０１８５】
なお、本発明では、特に被写体関連情報表示部２２０６において視聴者が表示されている被写体代表図形等２０４２を移動又は削除できる機能を具備し、これらの操作があった場合に、興味情報抽出部２２１２に蓄積しておいた興味情報を減ずるようにすることができる。これによって、例えば削除した被写体代表図形等２０４２により代表される被写体属性情報２１２３、又はこれに対応したＵＲＩ情報２１２４に対する視聴者の関心度が低くなったことが興味情報の抽出に反映される。
【０１８６】
次に、実施例２−２における本システムの動作を説明する。放送局より放送された映像情報２０１１とその関連情報２０１２とを含む放送情報２０１０は、放送受信部２２０１により受信され、復調された後、映像表示制御部２２０２に送られる。関連情報２０１２は、実施例２−１と同様にして例えば図１１に示すように構成されている。図１１については実施例２−１について説明したので、ここでの説明は省略する。
【０１８７】
映像表示制御部２２０２においては、放送受信部２２０１から受信した映像情報２０１１と関連情報２０１２のうち、映像情報２０１１を表示するための制御信号が生成され、これは映像表示部２２０３に送られる。関連情報２０１２は、映像表示制御部２２０２において一時的に保存される。
【０１８８】
映像表示部２２０３において、被写体２０４１がポインティングされた場合に、映像表示制御部２２０２はポインティングの座標値を映像表示部２２０３から受け取るとともに、受け取った座標値と図１１に示す被写体座標値２１２２との照合を行い、ポインティングの座標値に一致する被写体座標値２１２２が定義された被写体を見出す。そして、このようにして見出された被写体２０４１の被写体属性情報２１２３及びＵＲＩ情報２１２４は、関連情報表示制御部２２０５に送られる。
【０１８９】
関連情報表示制御部２２０５では、映像表示制御部２２０２から受信した被写体属性情報２１２３及びＵＲＩ情報２１２４に基づいた処理が行われる。まず、被写体属性情報２１２３が被写体属性情報蓄積部２２０９に送られ、ここに蓄積される。また受信した被写体属性情報２１２３については、これを代表する被写体代表図形等２０４２を表示するための制御信号が生成されて被写体関連情報表示部２２０６に送られる。この場合の被写体関連情報表示部２２０６の表示は前述した図１２又は図１３を用いて説明したとおりである。
【０１９０】
視聴者が被写体関連情報表示部２２０６に表示された被写体代表図形等２０４２を第２のポインティングデバイス２２０７でポインティングすると、ポインティングされた被写体代表図形等２０４２に代表される被写体属性情報２１２３に対応した関連情報が入手され、入手された関連情報は被写体関連情報表示部２２０６の関連情報表示領域２２６２に表示される。この点ついては実施例２−１と同様であるので、これ以上の説明は省略する。
【０１９１】
以下に、実施例２−２における本システムの動作が実施例２−１のそれと異なっている点を中心に説明する。
【０１９２】
実施例２−２においては、関連情報表示制御部２２０５は、実施例２−１で述べた機能に加えて、視聴者が被写体関連情報表示部２２０６において、被写体代表図形等２０４２をポインティングした被写体について、少なくともその被写体２０４１に関するＵＲＩ情報２１２４と、被写体属性情報２１２３と、情報源から入手された関連情報と、この関連情報が被写体関連情報表示部２２０６に表示された時間に関する表示時間情報のうちのいずれか複数を興味情報抽出部２２１２に送信する。
【０１９３】
表示された時間は、関連情報が被写体関連情報表示部２２０６に表示された際の表示の開始時刻及び終了時刻に基づくものであり、これらは被写体関連情報表示部２２０６を参照する視聴者による第２のポインティングデバイス２２０７の操作時刻情報にも関係しており、開始時刻としては被写体代表図形等２０４２のポインティングされた時刻や、その後入手された関連情報が被写体関連情報表示部２２０６に表示されたその開始時刻としてもよく、また終了時刻としては視聴者により表示を終了するための操作がなされた時刻、又は次の被写体代表図形等２０４２がポインティングされた時刻とすることができる。
【０１９４】
興味情報抽出部２２１２は、関連情報表示制御部２２０５から受信したＵＲＩ情報２１２４、被写体属性情報２１２３、関連情報、表示時間情報のうちいずれか複数もしくは全てを参照し、興味情報を抽出し、これを蓄積する。興味情報は、どのような情報に視聴者が興味を示しているかを表す情報であって、一般には表示時間情報やポインティングの回数を統計的に処理して生成することができる。例えば、被写体属性情報別又はＵＲＩ情報別のポインティング回数であり、あるいは、被写体属性情報別、ＵＲＩ情報別、又は関連情報別の表示時間もしくはその積算値である。また、被写体属性情報２１２３と、ＵＲＩ情報２１２４と、関連情報との少なくとも二つの組み合わせ別の、ポインティング回数あるいは表示時間又はその積算値とすることもできる。
【０１９５】
更には、被写体属性情報２１２３、関連情報に含まれるテキストをキーワードに分解し、各キーワードについて当該キーワードを含む被写体属性情報２１２３、関連情報の視聴回数が多い場合や表示時間が長い場合に、前記キーワードが興味を示すと仮定し、興味を示すキーワードの群を抽出し、これを興味情報とすることもできる。
【０１９６】
また、被写体関連情報表示部２２０６に表示されている被写体代表図形等２０４２に対して視聴者が移動又は削除した場合についても、その情報が関連情報表示制御部２２０５から興味情報抽出部２２１２に送られるようにし、興味情報抽出処理に反映することができる。例えば、視聴者が被写体代表図形等２０４２を削除した場合、削除された被写体代表図形等２０４２により代表される被写体属性情報２１２３又はこれに対応したＵＲＩ情報２１２４に対する視聴者の関心度が低くなったものとして、興味情報から減じる等の処理を行って興味情報抽出処理に反映する。
【０１９７】
更に興味情報抽出部２２１２は、放送受信部２２０１から関連情報２０１２を含む放送情報２０１０を受信し、関連情報２０１２の中のＵＲＩ情報２１２４を上記の興味情報と照合し、視聴者の興味に適合している放送情報２０１０を選択するフィルタリング処理を行う。このようにしてフィルタリングされた放送情報２０１０は、必要に応じて放送情報蓄積部２２１３に蓄積される。この場合の適合の有無は、ポインティングの回数、あるいは表示時間又はその積算値が大きい値を示した、被写体属性情報２１２３、又はＵＲＩ情報２１２４、又は関連情報、又はそれらの組み合わせを関連情報が含んでいるか否かにより決められる。被写体属性情報２１２３やＵＲＩ情報２１２４そのものを使用する代わりに、それらを予めジャンル別に分類しておくことによってジャンル別の回数又は参照時間に変換したものを使用してもよい。
【０１９８】
次に、興味情報抽出部の具体的な一例について説明する。
【０１９９】
以下の説明にあたり、本実施例における関連情報には、ＵＲＩおよび、当該ＵＲＩのコンテンツ内容を示すキーワード群を含むものとする。例えば、被写体として映像中に登場する自動車に関連付けられた関連情報には、その自動車の映像中の出現位置と、その自動車の仕様情報ホームページのＵＲＬアドレスと、キーワードとして、｛自動車｝が付与されている。このような関連情報の具体的な記載例を以下に示す。
【０２００】
<frame no="N">
<object>
<location>(XA,YA)-(XB,YB)</location>
<uri>url:www.automobile.com/car_A/spec.html<uri>
<keyword>自動車</keyword>
</object>
</frame>
上記の例はフレーム番号"N"の映像フレーム内に被写体として自動車のみが存在する場合に対応する。<frame no="N">...</frame>間には、フレーム番号"N"の映像フレームに関する情報を記載する。<object>...</object>間には、一つの被写体に関する情報を記載する。この場合、その自動車の映像中の出現位置と、その自動車の仕様情報ホームページのＵＲＬアドレスと、キーワードとして、｛自動車｝が記載されている。被写体が複数存在すれば、<frame no="N">...</frame>間には、複数の<object>...</object>が存在することになる。なお、関連情報は、上述したようにＸＭＬ形式である必要はなく、図１１に示したようなテーブル型の構成でも良い。
【０２０１】
この例における興味情報抽出部は、視聴者の興味情報としてキーワード群と各キーワードの重みを含む利用者プロファイルを保持する。利用者プロファイルの一例を以下に示す。
【０２０２】
｛自動車：１、パンダ：２、ステテコ：１、なまこ：１｝
上述の例は、“キーワード：そのキーワードの重み”の組みを複数持つ集合として、利用者プロファイルを記述している。
【０２０３】
ここで、視聴者が、視聴中の映像の被写体として登場した自動車をポインティングした場合には、興味情報抽出部は、キーワード“自動車”の重みを１増加する。もし、自動車をポインティングした時点でキーワード“自動車”が利用者プロファイル中に存在しない場合には、キーワード“自動車”を利用者プロファイルに追加し、重みを１とする。
【０２０４】
従って、視聴中の映像の被写体として１０回それぞれ自動車が登場した場合に、視聴者が全ての自動者に対してポインティングした場合には、利用者プロファイルは上述の状態から、
｛自動車：１１、パンダ：２、ステテコ：１、なまこ：１｝
になる。
【０２０５】
また、視聴者が、被写体関連情報表示部２２０６に表示されている被写体代表図形等２０４２を削除した場合には、該被写体に対応する関連情報に含まれるキーワードの重みを１減らし、利用者プロファイルを更新する。例えば、利用者プロファイルが、
｛自動車：１１、パンダ：２、ステテコ：１、なまこ：１｝
であった時に、視聴者が、キーワード｛自動者｝を含む関連情報が対応付けられた被写体の被写体代表図形等２０４２を一つ被写体関連情報表示部２２０６より削除した場合、利用者プロファイルは、
｛自動車：１０、パンダ：２、ステテコ：１、なまこ：１｝
に更新される。
【０２０６】
また、視聴者が、被写体関連情報表示部２２０６に表示されている被写体代表図形等２０４２をポインティングして、関連情報を参照した場合、その関連情報の参照時間に応じて、該被写体代表図形等２０４２に対応する関連情報に含まれるキーワードの重みを増加し、利用者プロファイルを更新する。例えば、関連情報を１分参照するごとに対応する被写体の関連情報に含まれるキーワードの重みを１増加するものとする。利用者プロファイルが、
｛自動車：１０、パンダ：２、ステテコ：１、なまこ：１｝
であった時に、視聴者が、キーワード｛自動車｝を含む関連情報が対応付けられた被写体の被写体代表図形等２０４２をポインティングし、当該関連情報を１０分間参照した場合、利用者プロファイルは、
｛自動車：２０、パンダ：２、ステテコ：１、なまこ：１｝
に更新される。
【０２０７】
更に、興味情報抽出部は、放送情報をフィルタリングする際に、以下の規則に従って処理を行う。
【０２０８】
受信された映像中に被写体に関連付けられた関連情報に含まれるキーワードが、利用者プロファイルに含まれる場合、そのキーワードの重みをその被写体への興味度とする。利用者プロファイルに含まれるキーワードが複数ある場合には、それぞれのキーワードの重みの和をその被写体への興味度とする。そして、興味度が一定値Ｋ以上である場合、該被写体に視聴者が興味を持つもとみなし、自動的に該被写体をポインティングしたのと同等の処理を実施する。例えば、Ｋ＝１０で、利用者プロファイルは
｛自動車：２０、パンダ：２、ステテコ：１、なまこ：１｝
である場合に、キーワード｛自動車｝を含む関連情報が受信された場合には、対応する被写体への興味度は２０でありＫ＝１０以上を満たすので、自動的に視聴者が対応する被写体をポインティングしたのと同等の処理を実行する。つまり、被写体関連情報表示部に、該被写体に対応する被写体代表図形を表示する等の処理を行う。
【０２０９】
なお、上述したものは、興味情報抽出部の処理の一例であり、上記以外に種々のキーワードの重み付け等の規則、キーワードの利用の規則等を使用することが可能である。
【０２１０】
〔実施例２−３〕
次に、実施例２−３について説明する。
【０２１１】
図１５は、本発明の実施例２−３を示すシステム構成図である。実施例２−３は、以上までに説明した視聴者装置２００２に、放送局２００４を加えた放送情報送受信システムであって、放送局２００４は、図１１に示したような関連情報２０１２を含む放送情報２０１０を放送する機能を有している。
【０２１２】
なお、前記放送局は、ＢＳデジタル放送、ＣＳデジタル放送、地上波デジタル放送等、衛星放送システムや地上波放送システムに接続され、前記放送インフラを介した放送を行うための放送局である場合や、図１６に示すように、インターネットや放送用ケーブル等の所定のネットワークに接続されるサーバを用い、前記所定のネットワークを介して、いわゆるインターネット放送やケーブルテレビ放送といったネットワーク放送を行う放送局である場合がある。
【０２１３】
〔実施例２−４〕
次に、実施例２−４について説明する。
【０２１４】
図１７は、本発明の実施例２−４を示すシステム構成図である。実施例２−４は、以上までに説明した視聴者装置に、映像蓄積媒体再生装置２００６を加えた放送情報送受信システムである。映像蓄積媒体とは、ＤＶＤやＤ−ＶＨＳビデオテープ等であり、図１１に示した関連情報を含む放送情報２０１０が記録された媒体である。映像蓄積媒体再生装置２００６とは、ＤＶＤプレーヤーや、ＶＣＲ等であり、一般に、放送により受信された映像を主とする放送情報を前記映像蓄積媒体に記録蓄積する機能を有する。更に、記録した放送情報を再生する機能を有する。利用される映像蓄積媒体は、事前に放送インフラより取得される放送情報を記録したものである場合や、映画やドラマ等の映像情報を含む放送情報が事前に記録された状態で、該映像蓄積媒体の小売店やレンタルショップ等から利用者が入手するものである場合がある。
【０２１５】
実施例２−４では、所定の映像蓄積媒体を再生する映像蓄積媒体再生装置２００６より、図１１に示した関連情報を含む放送情報２０１０が、視聴者装置２００２に入力される。
【０２１６】
なお、第２の実施例においても、視聴者情報及び端末情報に関連した関連情報を取得することが可能である。例えば、映像情報とともに、視聴者情報や端末情報に対応した複数のＵＲＩを関連情報として視聴者装置に送信し、視聴者装置では、当該視聴者装置に予め入力等しておいた視聴者情報や端末情報に適合したＵＲＩを選択するようにする。付加する関連情報としては、例えば、後述する第４の実施例における関連情報例１〜５のような形式を用いることができる。
【０２１７】
（効果）
本実施の形態による視聴者装置及び放送情報送受信システムでは、映像に登場する表示単位としての被写体毎に、その関連情報の所在を示すＵＲＩ情報が定義された関連情報を付加された放送情報を受信し、視聴者が映像表示画面に表示されている被写体をポインティングした場合に、その被写体を代表する文字、図形等を画面に表示し、次にこれら文字、図形等に対するポインティング操作に対応して、関連する情報が対応するＵＲＩ情報から読み出されて画面に表示されるようにした。これによって、視聴者は映像情報を視聴しながら興味を持った被写体に関連した情報を放送情報以外の情報源から入手して参照することができる。
【０２１８】
また、視聴者が複数の被写体を次々にポインティングした場合には、それぞれを代表する文字、図形等が順次画面に追加して表示されるようにした。これによって視聴者が参照したいと感じた関連情報が多い場合でも、放送情報視聴の後に時間の制約を受けることなく参照することができる。
【０２１９】
更に、視聴者がポインティングした被写体のポインティング回数や、それに関連して参照した関連情報の表示時間情報を考慮した興味情報が抽出・保持され、利用者が視聴していない時間に放送されている放送情報から、興味情報に適合する放送情報を自動選択し、これを蓄積できるようにした。これによって視聴者は自分が過去に参照した関連情報のジャンルに適合する放送情報を時間の制約なく入手することができる。
【０２２０】
特に、本発明では表示されている被写体代表図形等を視聴者が削除した場合には、当該ＵＲＩ情報に対する興味が失われたものとし、蓄積した興味情報を減ずるようにして、興味情報抽出処理に反映されるようにしたので、視聴者が十分に関連情報を参照した時点以後、視聴者の動的な興味の変化に従って、そのジャンルの情報の入手を停止することができる。
【０２２１】
また、被写体の単位で関連情報を入手することができるので、様々な場面で登場する被写体に対して関連情報を定義することができ、その結果、従来の映像番組を単位とするよりも、きめ細かな関連情報の参照が可能となる。例えば、同一の被写体であっても、それが登場する場面によりその意味合いは一般には変わると考えられるが、関連情報をフレーム別に定義することによって、多様かつ的確な関連情報を参照することが可能となり、また、よりきめ細かな映像情報の自動選択が可能となる。
【０２２２】
例えば、同一の被写体であっても、それが登場する場面によりその意味合いは一般には変わると考えられるが、関連情報をフレーム別に定義することによって、多様かつ的確な関連情報を参照することが可能となり、また、よりきめ細かな映像情報の自動選択が可能となる。また、ポインティングされた被写体に対する文字・図形は画面に追加して表示されるために、視聴者は時間的制約を受けることなく関連情報を参照することができる。
【０２２３】
更に、視聴者が関心ある被写体をポインティングすることによって関心のある関連情報のみを的確に閲覧できる仕組みにしたことにより、前記視聴者の被写体のポインティング操作等から、視聴者がどのような情報に関心があるのかを示唆する情報を入手することが可能となる。
【０２２４】
［第３の実施の形態］
次に、本発明の第３の実施の形態について説明する。本実施の形態では、テレビ、ラジオ等の放送コンテンツと同期して、パーソナルコンピュータ等の端末からのイベントを処理することにより関連情報を取得する。ここで、放送コンテンツに同期したイベントの処理とは、視聴者装置において、ボタンの押下操作等のイベントが発生した時に、これに対応して実行されるアクションの内容を放送コンテンツに対応して随時変化させる処理のことである。具体的な例としては、テレビ放送の所定チャネルにおいて、ＣＭ１、ＣＭ２及びＣＭ３が連続的に放映される場合に、ＣＭ１が放映されている時点で、視聴者装置のボタンを使用者が押下すると、ＣＭ１に関する情報へのリンクが視聴者装置に接続された表示装置に提示されるという処理がある。同様に、ＣＭ２が放映されている時点で、視聴者装置のボタンを使用者が押下すると、ＣＭ２に関する情報へのリンクが提示され、ＣＭ３が放映されている時点で、視聴者装置のボタンを使用者が押下すると、ＣＭ３に関する情報へのリンクが提示される。
【０２２５】
図１８は、本発明の第３の実施の形態におけるシステムの構成図である。図１８のシステムは、関連情報提供サーバ３００１（以下「サーバ３００１」という）と、該サーバ３００１とネットワーク３００６を介して通信する視聴者装置３００２（クライアント）と、放送コンテンツを放送する放送局３００３と、視聴者装置３００２に接続された入出力装置３００４とを有する。放送局３００３から放送される放送コンテンツは、放送受信装置３００５で受信できる。その放送コンテンツに同期して各種のアクションが、視聴者装置３００２で実行される。また、視聴者装置３００２で発生するイベントに応答して実行されるアクションの内容が、放送コンテンツに同期して変化する。
【０２２６】
なお、放送受信装置３００５が放送局３００３からの放送コンテンツを受信する他、インターネット等のネットワークに接続された放送情報蓄積サーバ３００３’から放送受信装置３００５が放送コンテンツを受信する場合でも、本実施の形態における同期処理を実現することが可能である。
【０２２７】
ここで、視聴者装置３００２で発生するイベントとは、入出力装置４に対するユーザの各種の操作である。例えば、視聴者装置３００２がキーボードを有する場合、該キーボード上の所定のボタンが押されたという信号である。また、視聴者装置３００２がマウス等のポインティングデバイスを有する場合、該ポインティングデバイスによって、視聴者装置３００２に接続される表示装置に表示された画面上の所定の位置がクリックされたという信号である。更に、イベントとは、あるアクションが発生してから、所定の時間が経過したということ、又は時刻が所定の時刻になったというタイムアウトの事象でもある。
【０２２８】
どのような操作又は事象の発生をイベントとするかは、本発明のシステムを用いてどのようなアプリケーションを実現するかによって異なる。例えば、テレビでドラマ映像を視聴中に、ドラマ映像中の被写体又はＢＧＭ等に視聴者が興味を持った場合、視聴者装置３００２のいわゆるブックマークのためのボタンを押すと、当該関連情報ヘアクセスするためのアイコンが、表示装置上の画面に追加されるというようなアプリケーションでは、イベントとは、視聴者（使用者）がブックマークボタンを押したということであり、ブックマークボタンが押された時点で、アイコンを追加するというアクションが実行される。また、例えば、テレビで教育番組を視聴中に、視聴者装置３００２の表示装置画面上に番組の進行に合わせて、教育番組の内容に関連する情報ページが表示されるというようなアプリケーションでは、イベントとは、所定の時刻、即ち番組内容が切り替わる時刻になったということに対応し、当該イベントが発生した時点で、新しい情報ページに更新するというアクションを実行する。
【０２２９】
視聴者装置３００２で実行されるアクションとは、視聴者装置３００２で実行され得るアプリケーションプログラムによる各種処理であり、本発明のシステムを用いて実現するサービスアプリケーションにより様々である。前述した例では、「関連情報にアクセスするためのアイコンを追加する」とか、「新しい情報ページに更新する」等という処理がこれに該当する。
【０２３０】
また、本発明のシステムの視聴者装置３００２が、ＭＳ−ＷｉｎｄｏｗｓのＯＳを搭載するパーソナルコンピュータ上に実装されている場合、アクションとは、Ｗｉｎｄｏｗｓ上で実行し得るソフトウェアプログラムによる処理である。
【０２３１】
また、サーバ３００１は、放送コンテンツを管理する機関、例えば放送局から、アクションテーブルを構成する場合に参照する情報であるアクションテーブルリソースデータを取得する。
【０２３２】
図１９は、本発明によるサーバ３００１と視聴者装置３００２の構成図である。
【０２３３】
サーバ３００１は、ネットワーク３００６を介して複数の視聴者装置３００２と通信する通信手段３０１３と、サーバ３００１にアクセスする視聴者装置３００２を識別するクライアント識別手段３０１４と、視聴者装置３００２毎に既に発生したイベントのイベント識別子のリストであるクライアント発生イベントリストを保持するクライアント情報管理手段３０１５と、アクションテーブルを構成する際に参照されるアクションテーブルリソースデータ３０１２と、アクションテーブルを同期対象となる事象に同期して逐次構成更新するとともに、構成するそれぞれのアクションテーブルの有効期間を決定しアクションテーブルに付与するアクションテーブル構成手段３０１１と、ネットワーク３００６を介してアクションテーブルを提供するアクションテーブル提供手段３０１０とを有する。
【０２３４】
視聴者装置３００２は、サーバ３００１と通信する通信手段３０２４と、サーバ３００１からアクションテーブルを取得しこれを保持するアクションテーブル管理手段３０２２と、イベントの発生を監視し、発生したイベントのイベント識別子をアクションテーブル管理手段３０２２に通知するイベント管理手段３０２１と、アクションテーブル管理手段３０２２から通知されたアクション内容情報に記載されているアクションを即座に実行するアクション実行手段３０２３と、入力インタフェース３０２６と、出力インタフェース３０２５とを有する。
【０２３５】
図２０は、本実施の形態による方法のシーケンス図である。サーバのアクションテーブルリソースデータ３０１２は、放送局３００３が放送する放送情報を収集している。最初に、サーバ３００１が、放送コンテンツの放送時間と同期して指定される有効期間ＸＸ〜ＸＸ毎に、有効なイベントを示すイベント識別子、及びそれに対応して実行される処理を示すアクション内容情報とを指定するアクションテーブルを構成する（ステップＳ１）。次に、サーバ３００１が、そのアクションテーブルを視聴者装置３００２へ送信する（ステップＳ２）。次に、視聴者装置３００２は、受信したアクションテーブルを保持し、発生したイベント、例えば使用者によって押下ボタンが押下されたことのイベント識別子ＹＹを導出する（ステップＳ３）。次に、視聴者装置３００２が、サーバ３００１から受信したアクションテーブルを用いてイベント識別子ＹＹに対応するアクション内容情報ＺＺを導出する（ステップＳ４）。最後に、視聴者装置３００２が、アクション内容情報ＺＺを実行する（ステップＳ５）。このとき、視聴者装置３００２が、イベント識別子ＹＹをサーバ３００１へ送信するものであってもよい（ステップＳ６）。これにより、サーバ３００１は、クライアント情報管理手段３０１５において、発生イベントリストを作成し、当該視聴者装置３００２に適したアクションテーブルを構成することが可能となる。
【０２３６】
図２１は、本発明によるアクションテーブルの一例を示し、図２２は、本発明によるクライアント発生イベントリストの一例を示している。
【０２３７】
以下に、本実施形態による具体的な動作について説明する。
【０２３８】
視聴者装置３００２が起動する際に、アクションテーブル管理手段３０２２が、サーバ３００１から、アクションテーブルを取得する。アクションテーブル管理手段３０２２は、取得されたアクションテーブルに記載されている有効期間を確認し、有効期間内である間、当該取得されたアクションテーブルを参照対象とする。
【０２３９】
アクションテーブル管理手段３０２２は、現在、参照対象となっているアクションテーブルの有効期間が終了する前に、サーバ３００１から新しいアクションテーブルを取得する。参照対象となっているアクションテーブルの有効期間終了と同時に、その新しいアクションテーブルを参照対象とする。
【０２４０】
以降、アクションテーブル管理手段３０２２は、現在、参照対象となっているアクションテーブルの有効期間を確認しつつ、前述した操作を繰り返し、逐次、アクションテーブルを更新する。
【０２４１】
更に、クライアント操作又はアクション実行に伴って、イベントが発生した場合、イベント管理手段３０２１は、発生したイベントのイベント識別子をアクションテーブル管理手段３０２２へ送信する。アクションテーブル管理手段３０２２は、現在参照対象となっているアクションテーブルを参照して、そのイベント識別子に対応するアクション内容情報をアクション実行手段３０２３へ送信する。更に、アクション実行手段３０２３は、そのアクション内容情報に従ってアクションを実行する。
【０２４２】
更に、視聴者装置３００２のアクションテーブル管理手段３０２２は、イベント管理手段３０２１から受信したイベント識別子を、サーバ３００１へ送信する。サーバ３００１は、視聴者装置３００２からイベント識別子を受信した場合、先ず、クライアント識別手段３０１４が視聴者装置３００２を識別し、次に、クライアント情報管理手段３０１５が、そのクライアント（視聴者装置）に対応するクライアント発生イベントリストに当該イベント識別子を追加する。
【０２４３】
更に、サーバ３００１は、視聴者装置３００２からアクションテーブルの要求がされた場合、クライアント識別手段３０１４が視聴者装置３００２を識別し、アクションテーブル構成手段３０１１が、識別された視聴者装置３００２に対応するクライアント発生イベントリストを参照してアクションテーブルを構成し、アクションテーブル提供手段３０１０が、当該視聴者装置３００２へそのアクションテーブルを送信する。
【０２４４】
更に、サーバ３００１は、アクションテーブル構成手段３０１１が新しいアクションテーブルを構成した時点で、アクションテーブル提供手段３０１０によって、視聴者装置３００２へ該新しいアクションテーブルを能動的に配信する。
【０２４５】
視聴者装置３００２は、アクションテーブル管理手段３０２２によって、受信された新しいアクションテーブルを保持し、現在参照しているアクションテーブルの有効期間が終了する時点で、現在参照しているアクションテーブルを新しいアクションテーブルヘ変更する。
【０２４６】
（実施例３−１）
次に、本発明によるシステムをテレビ放送に適用した、具体例を実施例３−１として説明する。
【０２４７】
実施例３−１は、テレビでドラマ映像を視聴中に、ドラマ映像音声中の被写体、背景又はＢＧＭ等に視聴者が興味を持った場合に、視聴者装置３００２のいわゆるブックマークのためのボタンを押すと、当該関連情報ヘアクセスするためのアイコン（又はＵＲＬ等）が、表示装置上の画面に追加されるというようなアプリケーションである。視聴者装置３００２に、入力デバイスとして３つのブックマークボタンがあるものとする。それぞれのボタンのシステム内での識別子は、（０、０）、（１、０）及び（２、０）であるとする。これら３つのブックマークボタンは、例えば、第１のボタンは被写体に関して興味を有したことを示し、第２のボタンは背景について興味を有したことを示し、第３のボタンはＢＧＭについて興味を有したことを示す等の機能分担を有すること等が考えられる。更に、場合によっては、それぞれのブックマークボタンが映像中の何に興味を有したことを示すかは動的に変化するものであってもよい。即ち、ある時点においては、ボタン（１、０）が被写体に関して興味を有したことを示し、ボタン（２、０）が背景について興味を有したことを示し、更にボタン（３、０）がＢＧＭについて興味を有したことを示しているが、別の時点においては、映像中に２つの被写体（例えばタレント）等が存在するので、ボタン（１、０）が第１の被写体に関して興味を有したことを示し、ボタン（２、０）が第２の被写体について興味を有したことを示し、更にボタン（３、０）がＢＧＭについて興味を有したことを示す等ということである。また、各視聴者装置３００２において、ボタン操作の意味が異なる、即ち、ボタン操作に応じて発生するアクションが異なるものであってもよい。
【０２４８】
図２３は、本発明によるアクションテーブルの一例である。このアクションテーブルは、有効期間が時刻０から時刻９９９までである。入力デバイスは、３つのボタンから構成され、それぞれのボタンのシステム内での識別子は（０、０）、（１、０）及び（２、０）である。イベント識別子は、時刻情報及びボタン識別子から構成される。イベント識別子［（０、４９９）、（０、０）］は、時刻０から時刻４９９の間に、識別子（０、０）のボタンが押されたというイベントを意味する。当該イベント識別子に対応して、アイコンＡを画面に追加表示するというアクション「ａｄｄ ｉｃｏｎ＿Ａ」が記述されている。
【０２４９】
図２３のアクションテーブルによれば、時刻０から時刻４９９の間に識別子（０、０）のボタンが押下されれば「ａｄｄ ｉｃｏｎ＿Ａ」を実行する。以下同様に、時刻０から時刻４９９の間に識別子（１、０）のボタンが押下されれば、「ａｄｄ ｉｃｏｎ＿Ｂ」を実行し、時刻０から時刻４９９の間に識別子（２、０）のボタンが押下されれば「ａｄｄ ｉｃｏｎ＿Ｃ」を実行し、時刻５００から時刻９９９の間に識別子（０、０）のボタンが押下されれば「ａｄｄ ｉｃｏｎ＿Ｄ」を実行し、時刻５００から時刻９９９の間に識別子（１、０）のボタンが押下されれば「ａｄｄ ｉｃｏｎ−Ｅ」を実行し、時刻５００から時刻９９９の間に識別子（２、０）のボタンが押下されれば「ａｄｄ ｉｃｏｎ＿Ｆ」を実行する。
【０２５０】
視聴者装置３００２は、時刻０から時刻９９９までの間、図２３のアクションテーブルを参照対象とする。そして、時刻０から時刻９９９までの間に視聴者装置３００２のいずれかのボタンが押されてイベントが発生すると、即座に、アクションテーブルに基づいて決定されるアクションを実行する。
【０２５１】
図２４は、次に取得されたアクションテーブルの一例である。次の有効期間のアクションテーブルを取得するために、視聴者装置３００２は、時刻０から時刻９９９までの間に、サーバ３００１ヘアクセスする。有効期間１０００〜１９９９は、図２３のアクションテーブルを参照対象として処理を行う。有効期間０〜９９９に、どのイベントが発生しても発生しなくても、次にサーバ３００１から取得されるアクションテーブルは全ての視聴者装置３００２において同じである。
【０２５２】
各クライアント（視聴者装置）において、有効期間０〜９９９に発生したイベントの種類及び、イベント発生の有無により、取得される有効期間１０００〜１９９９のアクションテーブルの内容が異なることも特徴である。
【０２５３】
図２５及び図２６は、内容が異なるアクションテーブルの一例である。本発明によるシステムの中に複数の視聴者装置３００２が存在する場合、第１の視聴者装置においては、時刻０〜９９９の間に全くイベントが発生せず、視聴者装置Ｂにおいては、時刻０〜４９９の間に識別子（０、０）のボタンが押され「ａｄｄｉｃｏｎ＿Ａ」が実行されたとする。この場合、第１の視聴者装置は、新しいアクションテーブルとして図２５のテーブルをサーバ３００１から取得する。一方、時刻０〜４９９の間に識別子（０、０）のボタンが押されなかった場合、第１の視聴者装置は、新しいアクションテーブルとして図２６のテーブルをサーバ３００１から取得する。
【０２５４】
このように、各視聴者装置３００２におけるイベント発生の有無、又は発生したイベント種別によって、取得されるアクションテーブルの内容が異なる。この結果、ボタン操作に伴って実行されるアクションを、以前に行ったボタン操作に依存して、各視聴者装置において変化させることができる。
【０２５５】
（実施例３−２）
次に、本発明によるシステムをテレビ放送に適用した、実施例３−２について説明する。
【０２５６】
この実施例３−２は、テレビで教育番組等を視聴中に、視聴者装置３００２の表示装置３００４の画面上に番組に進行に合わせて、番組の内容に関連する所定の情報ページ、即ちインターネット上の所定のホームページが表示されるというようなアプリケーションである。このアプリケーションにおいて、イベントとは、所定の時刻、即ち番組内容が切り替わる時刻になったということに対応し、当該イベントが発生した時点で、新しい情報ページに更新するというアクションを実行する。
【０２５７】
図２７は、実施例３−２におけるアクションテーブルの一例である。図２７によれば、ＵＲＬがｈｔｔｐ：／／ｐａｇｅ１であるホームページを画面に追加表示するというアクションを「ｏｐｅｎ ｈｔｔｐ：／／ｐａｇｅ１」と記述している。視聴者装置が、ＭＳ−ＷｉｎｄｏｗｓのＯＳを搭載するパーソナルコンピュータ上に実装されている場合、「ｏｐｅｎ ｈｔｔｐ：／／ｐａｇｅ１」というアクションの実行は、ＭＳ−Ｗｉｎｄｏｗｓ上のインターネットブラウザプログラム「ｉｅｘｐｌｏｒｅ．ｅｘｅ」等の機能を利用して、当該ＵＲＬで指定されるホームページを開くことである。
【０２５８】
この動作は、先ず、視聴者装置３００２が、同期処理の対象となる番組の放送に先立ち起動され、図２７に示すアクションテーブルをサーバ３００１から取得する。次に、視聴者装置３００２において、時刻が、００／０９／０４／１９：００：００になった時点で、イベント識別子［００／０９／０４／１９：００：００］のイベントが発生したとみなされ、対応するアクション「ｏｐｅｎ ｈｔｔｐ：／／ｐａｇｅ１」が実行され、ｈｔｔｐ：／／ｐａｇｅ１で示されるホームページが表示される。次に、時刻が、００／０９／０４／１９：０４：００になった時点で、イベント識別子［００／０９／０４／１９：０４：００］のイベントが発生したとみなされ、対応するアクション“ｏｐｅｎ ｈｔｔｐ：／／ｐａｇｅ２”が実行される。次に、時刻が、００／０９／０４／１９：０９：１５になった時点で、イベント識別子［００／０９／０４／１９：０９：１５］のイベントが発生したとみなされ、対応するアクション「ｏｐｅｎ ｈｔｔｐ：／／ｐａｇｅ３」が実行される。以降同様に、イベント識別子で指定される時刻になった時点で、当該イベントが発生したとみなして、対応するアクションを実行して行く。
【０２５９】
更に、図２７に示すアクションテーブルの有効期限は００／０９／０４／１９：１５：００までなので、００／０９／０４／１９：１５：００になった時点で、現在参照している図２７に示すアクションテーブルは、新しく取得されたアクションテーブルに更新され、その後、更新されたアクションテーブルのイベント識別子で指定される時刻おきにアクションを実行していく。
【０２６０】
（実施例３−３）
次に、本発明によるシステムをテレビ映像放送に適用した、実施例３−３について説明する。
【０２６１】
この実施例３−３では、図２８に示すように、視聴者装置３００２の出力装置３００６は、放送映像を受像する放送受信装置と一体になっている。あるいは、両者が接続されている。視聴者装置３００２には、入力デバイスとしてマウス等のポインティングデバイスが具備される。ポインティングデバイスとして、タッチパネルディスプレイを用いても良い。この場合、出力デバイスである放送受信装置に表示される放送映像の各映像フレーム中の被写体を、前記ポインティングデバイスを用いてポインティングすることが可能である。
【０２６２】
放送映像を受信する放送受信装置と、視聴者装置の出力デバイスが一体になっている場合、前記放送受信装置および出力デバイス一体化装置の情報表示領域（ディスプレイ画面）は、図２９に示すような構成をとることができる。
【０２６３】
本実施例では、上述の環境において、視聴者が、視聴者装置に接続されるポインティングデバイスにより、放送映像の各映像フレーム中の被写体をポインティングした際に、ポインティングされた被写体に対応するアクションを実行するものである。実行されるアクションとしては、ポインティングされた被写体に関連するホームページを提示する、ポインティングされた被写体に関連するホームページをブックマークに追加する、等、様々な処理が考えられる。本実施例では、ポインティングされた被写体に対応するアイコンイメージを画面上に追加表示するアクションを実行する場合について説明する。
【０２６４】
この場合に、関連情報提供サーバ３００１より提供されるアクションテーブルの一例を図３０に示す。図３０に示すアクションテーブルは、有効時間が時刻０から時刻９９９までである。イベント識別子は、時刻情報（ｔ１，ｔ２）および当該時刻に放送映像表示領域中の被写体存在領域に対応する長方形領域の左上隅の座標（ｘａ，ｙａ）、および、右上隅の座標（ｘｂ，ｙｂ）から構成されており、［（ｔ１，ｔ２），（ｘａ，ｙａ）−（ｘｂ，ｙｂ）］というように記述されている。放送映像表示領域が図３１に示すように、６４０ｘ４８０（ＶＧＡ）の解像度であるとした場合、イベント識別子［（０，２９９），（１００，１００）−（２００，２００）］は、時刻０から時刻２９９の間に左上隅座標を（０，０）として座標（１００，１００）、（２００，２００）を対角線とする長方形領域内がポインティングされたというイベントを意味する。ここで、通常、前記長方形領域内には、時刻０から時刻２９９の間、ポインティングの対象となる被写体Ａが存在する。図３０に示したアクションテーブルでは、当該イベント識別子［（０，２９９），（１００，１００）−（２００，２００）］に対応して、アイコンＡを画面に追加表示するというアクション「ａｄｄ ｉｃｏｎ＿Ａ」が記載されている。
【０２６５】
図３０のアクションテーブルによれば、時刻０から時刻２９９の間に、座標（１００，１００）、（２００，２００）を対角線とする長方形領域内がポインティングされた場合、「ａｄｄ ｉｃｏｎ＿Ａ」が実行される。以下同様に、時刻０から時刻２９９の間に、座標（３００，３００）、（４００，４００）を対角線とする長方形領域内がポインティングされた場合、アイコンＢを画面に追加表示するというアクション「ａｄｄ ｉｃｏｎ＿Ｂ」が実行される。時刻３００から時刻５９９の間に、座標（２００，１００）、（３００，２００）を対角線とする長方形領域内がポインティングされた場合、「ａｄｄ ｉｃｏｎ＿Ａ」が実行される。時刻３００から時刻５９９の間に、座標（２００，３００）、（３００，４００）を対角線とする長方形領域内がポインティングされた場合、「ａｄｄ ｉｃｏｎ＿Ｂ」が実行される。時刻６００から時刻９９９の間に、座標（３００，１００）、（４００，２００）を対角線とする長方形領域内がポインティングされた場合、「ａｄｄ ｉｃｏｎ＿Ａ」が実行される。時刻６００から時刻９９９の間に、座標（１００，３００）、（２００，４００）を対角線とする長方形領域内がポインティングされた場合、「ａｄｄ ｉｃｏｎ＿Ｂ」が実行される。
【０２６６】
通常、放送映像表示領域のポインティング対象となる長方形領域内にはポインティングの対象となる被写体が存在する。例えば、時刻０から時刻２９９の時点では、放送映像領域内には、図３１に示すように被写体Ａおよび被写体Ｂが存在する。したがって、上述の例では、視聴者が放送映像視聴中、時刻０から時刻２９９までに間に被写体Ａをポインティングすると、図３２に示すように被写体Ａに対応するアイコンＡが視聴者装置出力情報表示領域に追加表示される。
【０２６７】
なお、以上まで各実施例の説明において、“ａｄｄ ｉｃｏｎ＿Ｘ”で記述されるアクションは、更に拡張して、“ａｄｄ ｉｃｏｎ＿Ｘ ＵＲＬ”と記述できる。具体的には、「ａｄｄ ｉｃｏｎ＿Ａ ｗｗｗ．ｎｔｔ．ｃｏ．ｊｐ」という記述である。この例では、該アクションは、アイコンＡを追加表示し、かつ、以後、任意時点で、アイコンＡが視聴者により選択された場合には、ＵＲＬアドレス“ｗｗｗ．ｎｔｔ．ｃｏ．ｊｐ”の情報を提示するという処理に対応する。
【０２６８】
前述したように、本実施の形態によれば、視聴者装置におけるイベントを様々な形態で定義することが可能である。例えば、各種ボタン操作発生時、マウス等のポインティングデバイスによる操作発生時、又は視聴者装置に接続されたマイクからの音声入力時がある。また、視聴者装置が音声認識のためのシステムを具備する場合には、マイクから所定の単語が入力された時がある。更に、絶対時刻が所定の時刻になった時、任意のイベント発生後、所定の時間が経過した時、又はこれらの複数が同時に発生した時、等がある。
【０２６９】
また、本実施の形態によれば、前述したようなイベントを識別するためのイベント識別子を、事前に定義しておく。イベント識別子は、適用するサービス毎に定義が異なる場合もある。これにより、具体的な実施形態として前述したように、テレビ放送に連動した情報提供サービスを様々な形で提供できる。
【０２７０】
なお、本実施の形態においても、視聴者情報及び端末情報に関連した関連情報を取得することが可能である。例えば、視聴者装置から関連情報提供サーバに予め視聴者情報及び端末情報を送信しておき、関連情報提供サーバが各視聴者装置毎のアクションテーブルを作成する際に、当該視聴者情報や端末情報を考慮するようにする。
【０２７１】
（効果）
以上、本実施の形態によるシステム、方法及び制御プログラムを記録した記録媒体によれば、視聴者装置が、放送に多重されたデータ信号を取得することなく、放送される所定チャネルの放送コンテンツに同期したイベントに対する処理を、素早く実行することができる。従って、視聴者装置が、放送受信装置から放送に多重されたデータ信号を取得する機能を有する必要もない。また、視聴者装置がボタン操作等を行った際に、既にアクションテーブル管理手段３０に保持されているアクションテーブルを参照して、即座に発生したイベントに対応するアクションが実行されるので、遅延時間が極めて短くなり、クライアント操作に対するレスポンスが遅いことによる操作性の低下を防ぐことができる。更に、本発明では、イベント識別子とアクションとの対応関係を記述したテーブル毎に有効期間が明示されているので、同期対象となる放送コンテンツの放送時刻や番組構成の動的な変化に対応できる。例えば、番組構成が常に変化するライブ番組等にも適用できる。アクションテーブルの有効期間は、同期対象となる放送コンテンツの提供者の意図により設定できる。有効期間を効果的に用いることにより、ライブ放送番組等と同期したイベント処理もある程度実現可能と考えられる。
【０２７２】
また、本実施の形態によれば、サーバに視聴者装置毎のイベント識別子が管理されるので、同じイベントに対しても、視聴者装置毎に適切な異なるアクション内容が実行される。
【０２７３】
［第４の実施の形態］
次に、本発明の第４の実施の形態について実施例４−１及び実施例４−２を用いて説明する。本実施の形態では、視聴者装置から関連情報提供サーバに部分放送情報を送信し、関連情報提供サーバは当該部分放送情報に基づき関連情報を検索し、視聴者装置に送信する。
【０２７４】
（実施例４−１）
図３３を参照すると、本発明の第４の実施の形態における関連情報提供機能付放送受信システムは、放送局４００６より映像音声を含む放送情報を受信するとともに、入力部４０１２からの視聴者の関連情報取得指示により、視聴者が視聴中の放送情報又は該放送情報を変換して得られた特徴量情報である部分放送情報を送信し、関連情報を取得、視聴者に提供する関連情報取得部４０１１を有する視聴者装置４００１と、インターネット等のネットワーク４００５に接続され、放送情報と、放送情報の関連情報を蓄積し、視聴者装置４００１からの部分放送情報に対応する関連情報を視聴者装置４００１に送信する関連情報提供サーバ４００２と、視聴者装置４００１で受信された放送情報を蓄積する、ＶＴＲ等の放送情報蓄積装置４００３と、視聴者装置４００１からのアクセスに対して関連情報ホームページを視聴者装置４００１に送信するコンテンツ提供サーバ４００４で構成されている。なお、視聴者装置４００１は便宜上１台しか図示されていないが、実際には多数存在する。
【０２７５】
視聴者装置４００１は、ＢＳデジタル放送、ＣＳデジタル放送、地上波デジタル放送、ケーブルテレビ放送、ＩＰネットワーク（インターネット）を介したネットワーク放送等の放送信号を受信し、音声映像等の放送情報を復号、再生し、視聴者に提示する機能を有する装置であり、テレビ放送であれば、放送受信アンテナ装置、チューナー装置あるいはＳＴＢ（Ｓｅｔ Ｔｏｐ Ｂｏｘ）、テレビ等から構成される装置である。図３３では、視聴者装置４００１は、上述の機器が一体化された装置として図示しているが、視聴者装置４００１は、放送受信アンテナ、放送信号から映像音声等の放送情報を復号する処理等を行う装置、映像音声等を表示再生する装置等が分離されており、必要な装置間が有線通信路もしくは無線通信路により接続されている構成でもよい。また、更に、視聴者装置４００１は、ＩＳＤＮやアナログ電話、その他の通信回線を介してインターネット等に接続し通信を行うためモデム等の通信装置を含んで構成される。更には、視聴者装置４００１は、図３３に示したように、ＶＴＲ等の、受信される放送情報を蓄積するための放送情報蓄積装置４００３を具備し、蓄積された放送情報を適時再生視聴するための機能を有する。なお、視聴者装置４００１の内部構成は後で説明する。
【０２７６】
関連情報とは、特定の放送情報に関連する情報であって、テキスト、画像、音声、音楽、映像等から構成されるマルチメディア情報である。放送情報として、例えば、映画が提供された場合には、関連情報とは、ＨＴＭＬで記述されたその映画中の登場人物のプロフィール情報、ＢＧＭのタイトル、作曲者の情報等で、放送情報がＣＭ映像である場合には、そのＣＭの宣伝する商品の詳細情報、ＣＭのＢＧＭの情報等である。あるいは、関連情報とは前記のマルチメディア情報コンテンツヘアクセスするためのアドレス情報、すなわち、当該コンテンツへのＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒｓ）である場合もある。
【０２７７】
関連情報が、任意の放送情報に関連するマルチメディア情報コンテンツへのＵＲＬである場合、視聴者装置４００１は、関連情報提供サーバ４００２にアクセスし、通知した放送情報識別情報に対応する関連情報であるＵＲＬを取得した後、インターネット４００５を介して当該ＵＲＬにアクセスし、コンテンツ提供サーバ４００４よりホームページ等の情報コンテンツを取得し、これを視聴者に提示する。視聴者装置４００１は、この処理を実施するための手段として、コンテンツ情報閲覧部４０１３を備えている。
【０２７８】
関連情報提供サーバ４００２は放送情報データベース４０２１と関連情報データベース４０２２と放送情報マッチング部４０２３と関連情報提供部４０２４を有している。なお、関連情報提供サーバ４００２は、インターネット４００５に接続されるＷＷＷサーバとして実現される場合がある。
【０２７９】
放送情報データベース４０２１は、各放送情報を、当該放送情報を識別するための情報である放送情報識別情報に対応させて管理している。すなわち、図３３に示したように、蓄積される放送情報である放送番組映像音声群を、例えば、それぞれＶｉｄｅｏ ０１、Ｖｉｄｅｏ ０２、Ｖｉｄｅｏ ０３、‥・という名前のファイルとして管理する。この場合、ファイル名が放送情報識別情報に相当する。更に、各映像音声ファイル中の映像フレーム番号を指定することで各映像音声ファイル中の一映像フレームまで特定することができる。この場合には、ファイル名及び映像フレーム番号が放送情報識別情報に相当する。更に、放送情報データベース４０２１内には、放送情報マッチング部４０２３が放送情報をマッチング検索する際の処理の高速化のために、検索処理に必要なメディア変換、あるいは特徴量抽出処理を施すことにより得られる情報（例えば、音声信号より抽出される特徴ベクトル情報等）が保持される場合がある。関連情報データベース４０２２は、放送情報データべース４０２１に蓄積された放送情報識別情報と当該放送情報に対応する関連情報とを対応させた、図３４に示すようなテーブルを含む。図３４に示した例において、関連情報は、関連する情報を含むホームページのＵＲＬとなっている。
【０２８０】
放送情報マッチング部４０２３は、視聴者装置４００１より受信した部分放送情報と対応する放送情報を放送情報データベース４０２１中より検索することにより該部分放送情報に対応する放送情報の放送情報識別情報を特定する。関連情報提供部４０２４は関連情報データベース４０２２を参照し、特定された放送情報識別情報に対応する関連情報を取得し、視聴者装置４００１に送信する。
【０２８１】
図３５に示すように、視聴者装置４００１は関連情報取得部４０１１と入力部４０１２とコンテンツ情報閲覧部４０１３と放送受信部４０１４と放送情報復調複号部４０１５と表示再生部４０１６とネットワーク通信部４０１７と部分放送情報バッファ４０１９で構成されている。
【０２８２】
放送受信部４０１４はアンテナで、放送局４００６からの放送情報を受信する。放送情報復調復号部４０１５は放送受信部４０１４で受信された放送情報を復調復号し、表示再生部４０１６と、関連情報取得部４０１１と、放送情報を蓄積する場合には更に放送情報蓄積装置４００３に出力し、また放送情報蓄積装置４００３から蓄積された放送情報を入力し、再生する。入力部４０１２は関連情報取得指示ボタン１８及びその他不図示の各種ボタンを有している。関連情報取得部４０１１は、前述したように、視聴者が関連情報取得指示ボタン４０１８を操作すると、視聴者が視聴している放送情報より部分放送情報を生成し、ネットワーク通信部４０１７よりネットワーク４００５を経て関連情報提供サーバ４００２に送信し、関連情報提供サーバ４００２から送信されネットワーク４００５を経てネットワーク通信部４０１７で受信された関連情報を取得し、それに含まれるＵＲＬをコンテンツ情報閲覧部４０１３に出力する。コンテンツ情報閲覧部４０１３はＵＲＬによりネットワーク通信部４０１７、ネットワーク４００５を経てコンテンツ提供サーバ４００４にアクセスし、コンテンツ提供サーバ４００４から送信されてきた関連情報ホームページをネットワーク通信部４０１７を介して受け取り、表示再生部４０１６に出力する。表示再生部４０１６はＣＲＴ、ＬＣＤ等の表示手段と、表示回路からなり、放送情報である映像音声や関連情報ホームページ等を表示する。部分放送情報バッファ４０１９は視聴された映像音声を一時的に記憶する。
【０２８３】
次に、本実施形態の関連情報提供機能付放送受信システムの動作を説明する。
【０２８４】
視聴者が放送情報を視聴中に関連情報取得指示ボタン４０１８を操作すると、関連情報取得部４０１１は視聴中の放送情報、又は該放送情報を変換して得られた特徴量情報を部分放送情報として関連情報提供サーバ４００２に送信する。なお、視聴者が任意の時点に再生視聴中の、放送情報蓄積装置４００３に蓄積された放送情報に対応する関連情報を取得する場合は、前記任意の時点に再生視聴中の、放送情報蓄積装置４００３に蓄積された放送情報、もしくは前記任意の時点に再生視聴中の放送情報蓄積装置４００３に蓄積された放送情報を変換して得られる特徴量情報を部分放送情報として関連情報提供サーバ４００２に送信する。ここで、関連情報は、実際に放送情報に関連した情報を提供するホームページ等へのＵＲＬであるものとしている。関連情報提供サーバ４００２では、部分放送情報が視聴者装置４００１から通知されると、放送情報マッチング部４０２３が放送情報データベース４０２１を検索することにより該部分放送情報に対応する放送情報の放送情報識別情報を特定し、関連情報提供部４０２４が、図３４に示すようなテーブルを参照して該放送情報識別情報に対応付けられた関連情報（すなわちＵＲＬ）群を取得し、これを視聴者装置４００１へ通知する。視聴者装置４００１の関連情報取得部４０１１は取得された関連情報を視聴者に提示する。
【０２８５】
ここで、関連情報取得部４０１１の実現例として、視聴者装置４００１に具備される関連情報取得指示ボタン４０１８等の入力手段が視聴者によって操作され、関連情報取得が指示された時点で関連情報提供サーバ４００２にアクセスし、部分放送情報を関連情報提供サーバ４００２に通知し、関連情報データベース４０２２から該部分放送情報に対応する放送情報識別情報に関連付けられた関連情報を取得し、視聴者に提示する以外に、（１）逐次連続的に関連情報提供サーバ４００２にアクセスし、視聴者が視聴中又は再生視聴中の放送情報に関する全ての関連情報を逐次関連情報管理データベース４０２２より取得し、視聴者に提示する、（２）視聴者装置４００１がいわゆるブックマーク用ボタンと、関連情報取得指示ボタン４０１８、及びメモリ（記憶装置）を具備し、視聴者がブックマーク用ボタンを操作しブックマークした時点の部分放送情報をメモリに蓄積しておき、視聴者が、関連情報取得指示ボタン４０１８を操作し関連情報取得が指示された時点で関連情報提供サーバ４００２にアクセスし、メモリに蓄積された部分放送情報を関連情報提供サーバ４００２に通知し、関連情報データベース４０２２から該部分情報に対応する放送情報識別情報群に関連付けられた関連情報群を取得し、視聴者に提示する等が考えられる。
【０２８６】
また、放送情報マッチング部４０２３が、視聴者装置４００１より受信した部分放送情報と対応する放送情報を放送情報データベース４０２１中より検索することにより該部分放送情報に対応する放送情報の放送情報識別情報を特定する際には、Ｋ・Ｋａｓｈｉｎｏ、Ｇ．Ｓｍｉｔｈ ａｎｄ Ｈ．Ｍｕｒａｓｅ：“Ｔｉｍｅ−Ｓｅｒｉｅｓ ａｃｔｉｖｅ ｓｅａｒｃｈ ｆｏｒ ｑｕｉｃｋ ｒｅｔｒｉｅｖａｌ ｏｆ ａｕｄｉｏ ａｎｄ ｖｉｄｅｏ”、Ｐｒｏｃ．ｏｆＩＣＡＳＳＰ−９９、Ｖｏｌ．６、PP．２９９３−２９９６、Ｍａｒ．１９９９、もしくは、柏野邦夫、村瀬洋、“音や映像を瞬時に探す時系列アクティブ探索法”、ＮＴＴＲ＆Ｄ、Ｖｏｌ．４９、Ｎｏ．７、２０００、ＰＰ．４０７−４１３に記載の手法を使用するものとしている。前記の手法は、放送等の長時間の音声もしくは放送中から、特定の番組タイトルやＣＭ等、目的とする音や映像の有無及び対応位置を高速に検出する手法で、音声を検索する場合、検索対象となる音声全体、及び検索する音声の特徴ベクトルのヒストグラムに基づいて検索を行うものである。これらの手法を用いる場合には、部分放送情報は、関連情報の取得の対象となる時点を含む一定時間に視聴された映像音声中の音声データあるいは、該音声信号から抽出される特徴ベクトルに相当する。視聴者装置４００１に具備される関連情報取得部４０１１が特徴ベクトルを部分放送情報として関連情報提供サーバ４００２に送信する場合には、関連情報取得部４０１１は、音声信号から特徴ベクトルを抽出する機能をも有する。
【０２８７】
部分放送情報としては、上述した音声信号もしくは音声信号から抽出される特徴ベクトル以外に、映像フレームデータ、映像シーケンスデータ（一連の連続するフレームデータ）、色ヒストグラム等の映像信号より抽出される各種特徴量が考えられる。
【０２８８】
次に、本実施形態において、視聴者が視聴中に放送に関連する情報を取得する際のシステムの具体的動作について説明する。
【０２８９】
まず、視聴者装置４００１を用いて視聴者が、放送中の放送映像音声、もしくは、放送情報蓄積装置４００３に蓄積された放送映像音声を再生視聴中に、関連情報取得部４０１１は常に、部分放送情報バッファ４０１９にａ時間前までの視聴された映像音声をバッファリングしている。ここで、視聴者が視聴中の映像音声の内容に興味をもち関連情報取得指示ボタン４０１８を操作したとする。この結果、関連情報取得部４０１１は、関連情報取得指示ボタン４０１８が操作された時点ｔよりａ時間前から時刻ｔまでの期間、すなわち、時刻ｔ−ａから時刻ｔまでの時間に視聴された放送映像音声の音声信号を部分放送情報として、ネットワーク通信部４０１７を介して関連情報管理サーバ４００２に送信する。
【０２９０】
関連情報提供サーバ４００２の関連情報提供部４０２４は、受信された部分放送情報を放送情報マッチング部４０２３に送信する。放送情報マッチング部４０２３は、受信された部分放送情報、すなわち音声信号を利用して、放送情報データベース４０２１から該部分放送情報に対応する放送情報を検索する。検索の結果、例えば、映像ファイルＶｉｄｅｏ ０１のフレーム１番からフレーム３番までの映像シーケンスが受信された部分放送情報に適合したとする。ここで、受信された部分放送情報は、視聴者が関連情報取得指示ボタン４０１８を操作した時点ｔよりａ時間前から時刻ｔまでの期間、すなわち、時刻ｔ−ａから時刻ｔまでの時間に視聴された放送映像音声の音声信号に相当するので、適合した映像シーケンス中の最後の時刻に相当する映像フレームが、視聴者が関連情報取得指示ボタン４０１８を操作した時点ｔに視聴中の映像フレームに相当する。放送情報マッチング部４０２３は、前述のような判断を行い、結果として、放送情報識別情報として“ファイル名：Ｖｉｄｅｏ ０１、フレーム番号：００２”という情報を関連情報提供部４０２４に通知する。関連情報提供部４０２４は、図３４に示す関連情報データベース４０２２を参照し、受信された放送情報識別情報“フィル名：Ｖｉｄｅｏ ０１、フレーム番号：００２”に対応する関連情報として、ｈｔｔｐ：／／ｗｗｗ．ａａａ．ｃｏ．ｊｐ．／ｐｒｏｇｒａｍ ｉｎｆｏｒｍａｔｉｏｎ．ｈｔｍｌというＵＲＬを関連情報として視聴者装置４００１へ返信する。
【０２９１】
視聴者装置４００１では、受信されたＵＲＬをコンテンツ情報閲覧部４０１３に送り、コンテンツ情報閲覧部４０１３は、該ＵＲＬアドレスで指定されるコンテンツ提供サーバ４００４にアクセスし、関連情報ホームページを取得し、これを表示再生部４０１６により視聴者へ提供する。
【０２９２】
（実施例４−２）
以上までに述べた例においては、基本的に、視聴者が任意の放送情報を指定した場合に提供される関連情報は、視聴者の属性によらず、同一の放送情報に対応しては、全視聴者に同一の関連情報が提供されるものであった。
【０２９３】
本実施の形態においても、上述した各実施の形態と同様に、視聴者情報や、視聴者装置の端末情報に基づいて、視聴者及び視聴者装置毎に異なる関連情報を提供することが可能である。本実施の形態では、視聴者及び視聴者装置毎に異なる関連情報を提供する構成について、実施例４−２として詳細に説明する。
【０２９４】
第１の実施の形態と同様、視聴者情報とは、視聴者に関する情報であり、名前、性別、年齢、職業、住所、郵便番号、家族構成、住居に関する情報（マンション、一戸建て、等）、趣味、興味を有する情報ジャンル（政治、経済、ニュース、コンピュータ、書籍、スポーツ、旅行、等）、年収、各種サービスの会員であるか否かという情報及び会員番号あるいはクレジットカードＩＤ、各種資格（運転免許、等）保有の有無、体形に関する情報（体重、身長、衣類のサイズ等）、能力に関する情報（視力、聴力、等）、等のいずれか複数を含むものである。
【０２９５】
端末情報とは、視聴者装置の表示装置の解像度、表示可能色数、ＷＷＷ情報閲覧手段の性能（Ｊａｖａ機能利用可否、映像音声コンテンツ再生機能の有無、映像音声コンテンツで再生できる符号化フォーマット情報、等）等の情報である。
【０２９６】
以下に、視聴者情報や、視聴者装置の端末情報に基づいて、視聴者及び視聴者装置毎に異なる関連情報を提供する場合について、実施例４−１と異なる点について、図３６、図３７を参照して説明する。
【０２９７】
本実施例においては、図３７に示すように、視聴者情報及び端末情報を記憶保持するための記憶部４０３０が、視聴者装置に具備されている。また、入力部４０１２は、視聴者情報を入力するための機能を視聴者に提供する。視聴者は、事前に、入力部４０１２を介して、各種視聴者情報を入力し、入力された視聴者情報が、記憶部４０３０に保持される。
【０２９８】
また、端末情報は、端末製造時に記憶部４０３０に保持されるか、表示再生部４０１６が接続された時点で、表示再生部４０１６より記憶部４０３０に通知され保持される。
【０２９９】
また、本実施例において、関連情報データベース４０２２に保持される関連情報は、ＵＲＬ等の関連情報本体とその属性情報から構成される。属性情報とは、当該関連情報の提供対象となり得る視聴者の特性、すなわち、性別、年齢、体形特性、能力特性、職業、地区、郵便番号群、家族構成特性、住居特性、年収、及び、当該関連情報の属する情報ジャンル、当該関連情報を利用するのに必要なサービス利用権利及び資格に関する情報と、提供対象となる端末の特性、すなわち、表示装置の解像度特性、表示可能色数、コンテンツ情報閲覧部４０１３の性能、等である。
【０３００】
関連情報本体がＵＲＬであった場合の関連情報は、例えば、
関連情報例１：「ＵＲＬ１，（女性用），（対象年齢２０以上），（１０２４ｘ８００以上），（２５６色以上）」
関連情報例２：「ＵＲＬ２，（衣類サイズＭ），（Ｊａｖａ機能必要）」
関連情報例３：「ＵＲＬ３，（職業：主婦），（東京都）」
関連情報例４：「ＵＲＬ４，（女性用），（視力０．８以下）」
関連情報例５：「ＵＲＬ５，（ジャンル：スポーツ）」
というようなものになる。
【０３０１】
この例において実際の関連情報は、関連情報例１では女性向けのタバコの広告情報であり、２０歳未満、もしくは、男性には不向きなコンテンツである場合等に当たる。関連情報例２は衣類の広告情報、また、関連情報例３は東京都内のスーパーマーケットの商品情報、関連情報例４は、女性用眼鏡の広告情報、等である場合が考えられる。また、関連情報５はスポーツ用品の広告等である場合が考えられる。
【０３０２】
視聴者装置の４００１関連情報取得部４０１１は、図３６に示すように、関連情報提供サーバ４００２にこれまでに述べた実施例において、部分放送情報を送信する際に、視聴者情報及び端末情報、もしくは、前記いずれかの情報を、部分放送情報とともに送信する。
【０３０３】
関連情報提供サーバ４００２の関連情報提供部４０２４は、前述の実施例において述べた手順に従って部分放送情報から放送情報識別情報を特定し、更に対応する関連情報を特定する。その後、対応する関連情報に付与された、視聴者情報及び端末情報を参照し、これらに基づいて関連情報を選別し、視聴者装置に送信する。
【０３０４】
具体的には、視聴者装置４００１より、関連情報提供サーバ４００２に受信された部分放送情報から特定された放送情報識別情報に対応付けられた関連情報が上記の関連情報例１〜４に示したものであり、視聴者情報が（女性）であり、端末情報が、（解像度８００ｘ６００）、（Ｊａｖａ利用不可）であった場合には、関連情報提供部４０２４は、解像度が１０２４ｘ８００以上必要ということが条件である関連情報例１と、Ｊａｖａ機能必要が条件である関連情報例２を除外し、残りのＵＲＬ３、ＵＲＬ４、ＵＲＬ５を視聴者装置４００１に送信する。
【０３０５】
また、前記視聴者情報が、（女性）、（京都府）、（視力１．５）（興味ジャンル：書籍）であり、前記端末情報は、（解像度１０２４ｘ８００）、（Ｊａｖａ利用可）であった場合には、関連情報提供部４０２４は、対象地区が東京都である関連情報例３と、対象視聴者の視力が０．８以下である関連情報例４と、ジャンルが指定してあってかつそのジャンルが書籍以外である関連情報例５を除外し、残りのＵＲＬ１、ＵＲＬ２を視聴者装置４００１に送信する。
【０３０６】
上述の例以外に、属性情報として、（Ａサービス会員のみ利用可）という情報が関連情報に付与されており、視聴者情報としてＡサービス会員番号が含まれる場合に、該関連情報を視聴者装置４００１に送信する場合がある。また、属性情報として、（自動車免許必要）という情報が関連情報に付与されており、視聴者情報として（自動車免許有）が含まれる場合に、該関連情報を視聴者装置４００１に送信する場合等がある。
【０３０７】
また、属性情報として、（ｍｐｅｇ２形式）という情報が関連情報に付与されており、端末情報として（再生可能符号化方式：ｍｐｅｇ２）が含まれる場合に、該関連情報を視聴者装置に送信する場合等がある。
【０３０８】
このように上記の実施例４−２においては、視聴者情報、端末情報を利用することにより、視聴者にとって必要性のない関連情報、及び、視聴者の利用する視聴者装置において利用できない関連情報は送信されず、視聴者にとって必要と考えられる情報、あるいは、利用可能な情報のみを視聴者に提供する。
【０３０９】
（効果）
以上説明したように、本実施の形態によれば、放送映像音声に対して関連情報を提供するために必要な情報を付加する等の特別な処理を行う必要がなく、かつ、放送映像音声を一時蓄積して再生視聴する際にも、ネットワークを介して放送映像音声に関する関連情報の提供サービスが可能となる。
【０３１０】
［第５の実施の形態］
次に、本発明の第５の実施の形態について説明する。本実施の形態では、放送音声に重畳されたフレームＩＤ等を利用することにより、放送画像フレームに正確に同期したサービスを実現する。
【０３１１】
そのようなサービスとしては、例えば、テレビ放送を視聴中に、利用者が手元の視聴者装置上のボタンを押しておくと、ボタンが押された時点でテレビに映し出されていた映像の内容に関連する関連情報がネットワークを介して取得され、視聴者装置において利用できるといったサービスがある。
【０３１２】
また、教育番組等の視聴中において、視聴者装置の表示装置には、当該教育香組において説明に用いられるテキストブック等が表示され、番組の進行に合わせてページが捲られる、下線がひかれる、解説の対象となっている箇所を示すポインターが表示される、等のアクションが発生するというようなサービスも可能である。
【０３１３】
上述したようなサービスを実現するためには、視聴者装置が、任意の時点で、利用者が視聴している放送の内容を把握できる必要がある。すなわち、本実施の形態では、視聴者装置は、常に、利用者がテレビのどのチャンネルを視聴中であるか、現在、テレビにはどの映像が映っているか等の情報を、音声に重畳されたフレームＩＤ等を利用して把握する。従って、例えば、視聴者装置においてボタンが押された時点で、視聴中の映像に関連する関連情報を取得するサービスにおいて、テレビに映っている映像シーンが切り替わって、その内容が変わった時点で、瞬時に、取得対象となる関連情報を切り替えることができる。
【０３１４】
なお、本実施の形態における“関連情報”の用語は、放送情報に関連するコンテンツを取得するための情報を指す場合に使用する他、放送情報に関連するコンテンツ自身を指す場合についても使用する。
【０３１５】
図３８は本発明の第５の実施の形態における放送同期型サービス提供システム全体の構成の例を示す図であって、数字符号５００１は放送局、５００２は送信手段、５００３は信号付加手段、５００４は映像、５００５は音声、５００６は放送、５００７は放送受信装置、５００８は映像・音声記録装置、５００９は視聴者装置、５０１０はマイクロホン（ＭＩＣ）、５０１１はデータ信号抽出手段、５０１２は出力手段、５０１３は入力手段、５０１４はネットワークヘの接続線を表している。
【０３１６】
同図に示す放送同期型サービス提供システムは、音声や映像を放送する放送局側において、少なくともチャネルＩＤと、画像フレームＩＤ又は音声フレームＩＤの両者を含むデジタルデータ信号を放送波のアナログ音声波に重畳する信号付加手段５００３を具備している。
【０３１７】
音声波へのデータ信号の重畳は、例えば放送する映像のフレームレートが３０フレーム／秒の場合、１／３０秒毎に逐次データ信号を重畳する等の方法を採ることができる。このような、信号付加手段が音声にデータ信号を重畳する方法としては、例えば、データハイディング技術（日経エレクトロニクス、Ｎｏ．６８３（１９９７）、ｐｐ．９９〜１２５、１４９〜１６２参照）を用いることができる。
【０３１８】
音声信号にデータ信号を重畳する方法の例として、送信側で、２値化したデータ信号の“０”、“１”に対応させて音声信号の特定の周波数成分（帯域）を削除して送信し、受信側では、該音声信号から削除されている周波数成分を検出して２値データ列を再生する方法や、送信側で、２値化したデータ信号の“０”、“１”に対応させた特定の周波数成分を音声信号の帯域外で送信し、受信側では、該音声信号の帯域外に付加されている周波数成分を検出して２値データ列を再生する方法等がある。
【０３１９】
図３８において、放送受信側は、放送された音声及び映像を再生する放送受信装置と、前記放送受信装置５００７と通信回線等の通信手段を有さない視聴者装置５００９から構成されている。
【０３２０】
図３９は視聴者装置の構成の例を示す図である。視聴者装置５００９は、放送受信装置のスピーカより再生される放送情報の音声を集音するためのマイクロホン１０と、該マイクロホンより入力された音声から重畳されている信号を抽出し、チャネルＩＤと画像フレームＩＤを確認するデータ信号抽出手段５０１１と、ネットワーク上の関連情報コンテンツ提供サーバと通信するための通信手段５０１５とを有する。
【０３２１】
また、各処理に必要なデータを記憶しておくための記憶手段５０１６と、利用時にネットワーク上のサーバから提供された関連情報等をユーザに表示するためのディスプレイ等の出力手段５０１２と、ユーザが端末の操作に必要な情報を入力するためのマウスやキーボードといった入力手段５０１３と、それらを制御するための制御手段５０１７とを有する。
【０３２２】
本実施の形態における放送同期型サービス提供システムでは、図３９に示すように放送局側において、放送情報の音声に前述のようにデータ信号を重畳し、放送情報の映像とともに放送する。一方、視聴者装置は、図３９の中に示したデータ信号抽出手段（チャネルＩＤと画像フレームの識別手段）により、放送情報のアナログ音声波に重畳されたデータ信号を抽出することによって、現在、ユーザが視聴している放送情報の状態、つまり、どの放送チャネルのどのような場面を見ているかを正確に把握することができる。
【０３２３】
従って、前記視聴者装置は、ネットワーク上等に存在する前記放送情報に関連する関連情報を提供するサーバと通信することで、ユーザに対して放送同期型サービスを提供することができる。ここで、前述したように、放送同期型サービスとは、例えば、視聴中の番組進行（実際には、音声や画像フレームの変化）に同期して変化する関連情報を逐次ユーザに提供する、あるいは、ユーザが興味を持ったシーンにおいてボタン等を押すことで前記シーンにおける関連情報をマークし、後で閲覧する、といったようなサービスをあげることができる。
【０３２４】
更に、上述のシステムのうち放送受信装置に、放送情報が記録及び再生できる手段を接続し利用することによって、ユーザは今現在放送されている放送番組だけでなく、一度記録した放送番組に対して、いつでも自由に前述のようなサービスを利用することができる。以下に、本放送同期型サービス提供システムの動作について説明する。
【０３２５】
図４０に第５の実施の形態における実施例の構成図を示す。同図において数字符号５００１は放送局、５００７は放送受信装置、５００８は映像・音声記録装置、５００９は視聴者装置、５０１０はマイクロホン（ＭＩＣ）、５０１１はデータ信号抽出手段、５０１８は出力デバイス、５０１９は入力デバイス、５０１４はネットワークへの接続線、５０２０は放送情報データベース、５０２１は放送情報関連情報付与装置、５０２２は放送情報データベース構築装置、５０２３ａ〜５０２３ｄは関連情報コンテンツ提供サーバ（ａ）〜（ｄ）を表している。
【０３２６】
本発明の放送同期型サービス提供システムでは、製作された放送情報は番組として、一般ユーザに向け放送局側の放送手段により放送される。この際、前記放送情報のうち音声には、放送チャネルが一意に識別可能なチャネルＩＤと画像フレームが一意に識別可能な画像フレームＩＤを含むデータ信号を信号付加手段により重畳する。
【０３２７】
以上の処理を放送同期型サービスの対象とするすべての放送情報に対して行う。これによって、前記サービスの対象となるすべての放送情報は重畳されたデータ信号を抽出することによって、現在、視聴している放送チャネルと画像フレームを一意に識別することができる。
【０３２８】
一方、放送受信側においては、テレビ等の放送受信装置５００７を利用することで放送された放送情報を従来どおり視聴することができる。そして、ユーザは視聴者装置５００９を起動させることによって放送同期型サービスを受けることができる。該視聴者装置５００９は起動すると、放送受信装置５００７のスピーカより出力される音声をマイクロホン１０で集音する。
【０３２９】
集音した音声からデータ信号抽出手段によりチャネルＩＤと画像フレームＩＤを確認する。このとき、確認されたチャネルＩＤに基づき視聴者装置はネットワーク上に点在する各放送チャネルの放送情報毎に関連する関連情報コンテンツ提供サーバから、現在、視聴している放送チャネルの放送情報に関連する関連情報コンテンツ提供サーバを特定した後、ネットワークを介し前記関連情報コンテンツ提供サーバにアクセスし画像フレームＩＤを送信する。
【０３３０】
関連情報コンテンツ提供サーバは、放送情報のデータベース構築装置５０２２や関連情報付加装置５０２１等によって構築された放送情報データベースを管理している。該放送情報データベースには、各画像フレームＩＤに音声や映像や文字やサービス端末への実行命令といった各種の関連情報が関連付けられたテーブルが用意されており、画像フレームＩＤを指定することによつて容易に関連する関連情報のセットを指定できる。
【０３３１】
従って、関連情報コンテンツ提供サーバは、クライアントに当たるユーザ側の視聴者装置より送信された画像フレームＩＤの情報を受信することによつて、今現在ユーザが視聴しているシーンを正確に把握できるので、シーンに応じた関連情報を前記視聴者装置に送信することができる。上述の操作を逐次繰り返すことによって、ユーザは現在視聴している放送情報に正確に同期した関連情報の提供を受けることができる。これによって、放送同期型サービスを実現することができる。
【０３３２】
また、本発明の放送同期型サービス提供方法では、上述の放送同期型サービス提供システムの動作を基本とし、更に、画像フレームＩＤの形式を指定することでユーザが、現在、視聴している放送情報を視聴者装置が把握する際の信頼性を向上させる。
【０３３３】
図４１にはチャネルＩＤと画像フレームＩＤを含むデータ構造を示す。チャネルＩＤと画像フレームＩＤは上述したように放送チャネルと画像フレームが一意に識別可能なものとするが、中でも画像フレームＩＤは時系列的に連続な数字とする。視聴者装置では前述のように放送受信装置のスピーカから再生された音声をマイクにより集音しデータ信号抽出手段によりチャネルＩＤと画像フレームＩＤを逐次識別する。
【０３３４】
図４２は前記二つのＩＤを確認する際の実際の処理フローを示す。視聴者装置は、起動されると“最後のチャネルＩＤ”と“最後の画像フレームＩＤ”の二つの値を初期値にセットする。このときセットする初期値は、例えば、“最後のチャネルＩＤ”の値であれば、前回、視聴し終了させる直前にみていたチャネルＩＤ、もしくは、予め定めたチャネルＩＤ等が考えられ、“最後の画像フレームＩＤ”の値であれば、“０”等の値が考えられる。
【０３３５】
前記視聴者装置は、音声から逐次データ信号を抽出しチャネルＩＤと画像フレームＩＤの識別（ステップＳ１）を行うが、正確に前記二つのＩＤが確認されたかどうかに基づき以下のような処理に従う。まず、チャネルＩＤが正確に確認された場合は、前記チャネルＩＤを現在再生されている放送チャネルのチャネルＩＤとして利用し（ステップＳ２）、音声からデータ信号が正しく抽出されず、チャネルＩＤが確認されなかった場合には、“最後のチャネルＩＤ”の値を現在再生されている放送チャネルのチャネルＩＤと見なし利用する（ステップＳ３）。そして、現在のチャネルフレームＩＤを記録する（ステップＳ４）。
【０３３６】
一方、画像フレームＩＤの認識（ステップＳ５）については、正確に画像フレームＩＤが確認された場合は、チャネルＩＤと同様に前記画像フレームＩＤを現在再生されている画像の画像フレームＩＤとして利用する（ステップＳ６）。一方、確認されなかった場合には、前述したように画像フレームＩＤが時系列的に連続な数字であることから、“最後の画像フレームＩＤ”の値に１を加算した値を現在再生している画像の画像フレームＩＤと見なし利用する（ステップＳ７）。そして規在の画像フレームＩＤを記録する（ステップＳ８）。
【０３３７】
チャネルＩＤ、画像フレームＩＤともに現在の値として利用した後は、それぞれ、“最後のチャネルＩＤ”の値、“最後の画像フレームＩＤ”の値にセットする（ステップＳ９）。そして、次の区間の音声からデータ信号を抽出する（ステップＳ１０）。このようにして逐次行われる処理の流れにおいて常に最新に利用した値を保持し利用することができる。上記のように画像フレームＩＤを決定し、処理フローに従うことによって、同一番組視聴中において音声からデータ信号が正しく抽出されなかった場合においても画像フレームＩＤを補間することができるからサービスの提供を維持できる。
【０３３８】
本放送同期型サービス提供方法をテレビ放送に適用した場合の具体的な実施例として、あるテレビ番組を例にとり説明する。このテレビ番組を放送する放送局にはあらかじめ音声にデータ信号を重畳する手段が具備されているものとし、前記放送局のチャンネルＩＤとして“ａ”が与えられているものとし、画像フレームＤは“１”から始まるものとする。
【０３３９】
また、ここでは視聴者装置起動後におけるデータ信号抽出手段の結果によるチャネルＩＤと画像フレームＩＤの確認結果を図４３のように想定し、“最後のチャネルＩＤ”の値を格納する変数を“ＬＡＳＴ−ＣＨ−ＩＤ”、“最後の画像フレームＩＤ”の値を格納する変数を“ＬＡＳＴ−ＦＲＡＭＥ−ＩＤ”、“現在のチャネルＩＤ”の値を格納する変数を“ＣＨ−ＩＤ”、“現在の画像フレームＩＤ”を格納する変数を“ＦＲＡＭＥ−ＩＤ”とする。
【０３４０】
まず、このテレビ番組を視聴している際、視聴者装置を起動させると、初期値として例えば、“ＬＡＳＴ−ＣＨ−ＩＤ”には“ｚ”、“ＬＡＳＴ−ＦＲＡＭＥ−ＩＤ”には“０”がセットされたとする。次に、初めて前記サービス端末がデータ信号抽出手段を用いて識別を行った結果は図４３から、チャネルＩＤは“ａ”、画像フレームＩＤは“１０００”と正確に確認された（ｓｔｅｐ１）ことにより“ＣＨ−ＩＤ”に“ａ”、“ＦＲＡＭＥ−ＩＤ”に“１０００”がセットされ、更に、“ＬＡＳＴ−ＣＨ−ＩＤ”に“ａ”、“ＬＡＳＴ−ＦＲＡＭＥ−ＩＤ”に“１０００”がセットされる。
【０３４１】
しかし、更に次のデータ信号抽出手段による結果では図４３から、チャネルＩＤと画像フレームＩＤともに“不明”となっている（ｓｔｅｐ２）。従って、前述した図４２の処理フローに従い、“ＣＨ−ＩＤ”は“ＬＡＳＴ−ＣＨ−ＩＤ”を参照することで“ａ”を、“ＦＲＡＭＥ−ＩＤ”は“ＬＡＳＴ−ＦＲＡＭＥ−ＩＤ”を参照し１を足すことで“１００１”をセットし、それぞれの値を新しい“ＬＡＳＴ−ＣＨ−ＩＤ”、“ＬＡＳＴ−ＦＲＡＭＥ−ＩＤの値とする。
【０３４２】
このような手順に従い図４３のデータ信号抽出処理結果に対して得られた各変数の値を図４４に示す。一方で、視聴者装置は処理フローの結果得られた“ＣＨ−ＩＤ”の値に基づき放送内容に関連する関連情報コンテンツ提供サーバにネットワークを介してアクセスし、逐次“ＦＲＡＭＥ−ＩＤ”を送信する。
【０３４３】
関連情報コンテンツ提供サーバは受信した“ＦＲＡＭＥ−ＩＤ”にあらかじめ関連付けられた、文字データ、音声データ、画像データ、あるいは関連情報の存在するＵＲＬ等をサービス端末に送信し、サービス端末で、それらのデータの表示、再生、描画をしたり、あるいはＵＲＬをブラウザで開いたりする。
【０３４４】
例えば、番組内容が英会話であれば、放送情報中の人物の発音する文章に合わせて、テキストとして文字データが表示され、更に重要な文章には下線が引かれるといった関連情報の変化を例に挙げることができる。
【０３４５】
なお、以上の説明では、テレビ放送のように映像と音声が同時に放送される場合について記述しているが、本発明は、音声と映像が同時に放送される場合だけではなく、ラジオのように音声のみの放送に対しても有効である。この場合は画像フレームが存在しないので、画像フレームＩＤの代わりに音声フレームＩＤを用いる。音声フレームＩＤは一定の時間刻みで区切られた音声の各区間に一意に割り当てられた識別子である。
【０３４６】
また、これまでの説明では、テレビ受像機等の放送受信装置のスピーカからの音声出力を、視聴者装置がマイクロホンで受けて電気信号に変換し、該電気信号から画像フレームＩＤや音声フレームＩＤをデータ信号として抽出する構成について述べているが、テレビ受像機等の放送受信装置から音声電気信号が直接取り出せる場合には、マイクロホンを介在させることなく、直接該音声電気信号から重畳されているデータ信号を抽出する構成とすることもできる。
【０３４７】
なお、本実施の形態においても、視聴者情報や視聴者装置の端末情報に基づいて、視聴者及び視聴者装置毎に異なる関連情報を提供することが可能である。例えば、実施例４−２で説明した方法と同様にして、視聴者装置が関連情報コンテンツ提供サーバに関連情報を要求する際に、フレームＩＤ等と共に視聴者情報や端末情報を送信し、関連情報コンテンツ提供サーバでは、当該視聴者情報や端末情報に関連した関連情報を選択して視聴者装置に提供するようにすればよい。
【０３４８】
（効果）
本実施の形態に係る発明によれば、テレビ受像機やラジオ等の放送受信装置と、デジタル信号通信を行うための通信回線等の通信手段を有さない視聴者装置においても、放送情報の音声に重畳されたデータ信号を抽出し、チャネルＩＤと画像フレームＩＤや音声フレームＩＤを確認することによって、現在、視聴している放送チャネルと画像フレームを認識することが可能となり、放送内容とネットワーク上等にある関連する情報コンテンツとの同期を正確にとることが必要なサービスを実現できる。
【０３４９】
更に、放送情報の記録及び再生できる手段を接続することによって、リアルタイムに視聴しない場合、つまり、あらかじめ放送音声映像を記録しておき自分の好きなときに視聴するように構成した系においても、前記手段により映像及び音声を再生することによつて、放送チャネルと画像フレームや音声フレームＩＤを認識することが可能となり、リアルタイムに視聴する際と同様なサービスの提供を受けることができる。
【０３５０】
また、視聴者装置において、放送受信装置から再生された音声をマイクより集音する際、雑音等の影響によって、音声から正しくデータ信号を抽出することができず、画像フレームＩＤが一時的に確認できなかった場合においても、欠落した画像フレームＩＤや音声フレームＩＤを補間することができるので、同一放送番組視聴中において前述の放送情報と関連情報との正確な同期が必要なサービスの提供を途中で中断することなく維持し続けることができる。
【０３５１】
すなわち、以上説明したように、本実施の形態によれば、放送映像視聴装置とは別に設けられ、放送受信装置から放送に多重されたデータ信号等を直接取得できる機能がない視聴者装置において、今現在、視聴中の放送番組内容の変化に正確に同期する関連情報のサービスを提供することが可能となる。すなわち、ユーザが放送映像に合わせて操作しなくても、自動的に且つタイミングよく関連情報を更新することができ、放送同期型サービスの操作性を向上させることができる。
【０３５２】
更に、本実施の形態の放送同期型サービス提供方法によれば、画像フレームＩＤを連続的な数字とすることにより、視聴者装置において、音声からの画像フレームＩＤの抽出に失敗しても、時間的な差分から画像フレームＩＤを補間し利用することができる。また、記録装置によって一度蓄積された記録映像であっても音声も同時に記録されていることを利用するとユーザの好みの時間に前述の放送同期型サービスの提供を受けることができる。
【０３５３】
なお、上記各実施の形態における本発明の視聴者装置及び関連情報提供サーバ等は各々、ＣＰＵ、メモリ、ハードディスク、ＣＤ―ＲＯＭ等を有するコンピュータを用いて構成することができ、視聴者装置及び関連情報提供サーバ等の各々における機能は、各装置又はサーバに搭載されるプログラムによって実現することができる。当該プログラムは、ＣＤ−ＲＯＭ等の記録媒体からコンピュータにインストールすることもできるし、ネットワークを介してコンピュータにダウンロードする形態をとることもできる。
【０３５４】
本発明は、上記の実施例に限定されることなく、特許請求の範囲内で種々変更・応用が可能である。
【０３５５】
【発明の効果】
これまでに説明したように、本発明によれば、放送情報又は記録情報の視聴者がネットワークに接続されたサーバ等から当該放送情報又は記録情報に関連した情報又はコンテンツを容易に取得することができるようになる。
【０３５６】
【図面の簡単な説明】
【図１】本発明の第１の実施の形態における基本的な構成例を示す図である。
【図２】第１の実施の形態におけるシステムの構成図である。
【図３】視聴者装置の構成例を示す図である。
【図４】関連情報コンテンツ提供サーバの構成例を示す図である。
【図５】視聴者装置と関連情報コンテンツ提供サーバ間の情報の流れを示す図である。
【図６】イベント情報、放送情報とサービスの関連を表す概念図である。
【図７】サービスと関連コンテンツを選択する手順を示す図である。
【図８】サービス情報の表示画面の例を示す図である。
【図９】お知らせ設定（条件設定）画面の例を示す図である。
【図１０】本発明の第２の実施の形態におけるシステム構成図である（実施例２−１）。
【図１１】第２の実施の形態における関連情報の例を示す図である。
【図１２】映像表示部の被写体と被写体関連情報表示部の被写体代表図形等の関係を説明するための図である。
【図１３】被写体関連情報表示部における表示例を示す図である。
【図１４】本発明の第２の実施の形態におけるシステム構成図である（実施例２−２）。
【図１５】本発明の第２の実施の形態におけるシステム構成図である（実施例２−３）。
【図１６】実施例２−３における他の例を示す図である。
【図１７】本発明の第２の実施の形態におけるシステム構成図である（実施例２−４）。
【図１８】本発明の第３の実施の形態におけるシステム構成図である。
【図１９】図１８の関連情報提供サーバ及び視聴者装置の構成図である。
【図２０】第３の実施の形態における方法のシーケンス図である。
【図２１】第３の実施の形態におけるアクションテーブルの一例である。
【図２２】第３の実施の形態におけるクライアント発生イベントリストの一例である。
【図２３】実施例３−１における、最初に取得されたアクションテーブルの一例である
【図２４】図２３の次に取得されたアクションテーブルの一例である。
【図２５】実施例３−１におけるアクションテーブルの一例である。
【図２６】図２５のアクションテーブルとアクション内容情報が異なるアクションテーブルの一例である。
【図２７】実施例３−２における、アクションテーブルである。
【図２８】実施例３−３におけるシステム構成図である。
【図２９】放送映像を受信する放送受信装置と、視聴者装置の出力デバイスが一体になっている場合の情報表示領域の一例である。
【図３０】実施例３−３におけるアクションテーブルの一例を示す図である。
【図３１】放送映像表示領域を示す図である。
【図３２】視聴者装置出力情報表示領域にアイコンＡが追加表示されることを説明するための図である。
【図３３】本発明の第４の実施の形態におけるシステムの全体の構成の例を示す図である（実施例４−１）。
【図３４】関連情報データベース４０２２が有するテーブルの例を示す図である。
【図３５】実施例４−１における視聴者装置の一構成例を示す図である。
【図３６】本発明の第４の実施の形態におけるシステムの全体の構成の例を示す図である（実施例４−２）。
【図３７】実施例４−２における視聴者装置の一構成例を示す図である。
【図３８】本発明の第５の実施の形態における放送同期型サービス提供システムの全体の構成の例を示す図である。
【図３９】第５の実施の形態における視聴者装置の構成の例を示す図である。
【図４０】本発明の第５の実施の形態における放送同期型サービス提供システムの全体の構成の詳細例を示す図である。
【図４１】音声に重畳するデータ信号と音声データの構成の例を示す図である。
【図４２】音声から抽出したデータ信号から実際に用いるチャンネルＩＤ及び画像フレームＩＤ決定までの処理を示す流れ図である。
【図４３】視聴者装置起動後におけるデータ信号抽出手段の結果によるチャネルＩＤと画像フレームＩＤの確認結果例である。
【図４４】図４３のデータ信号抽出処理結果に対して得られた各変数の値である。
【符号の説明】
１００１ 視聴者装置
１００２ 関連情報コンテンツ提供サーバ
１００３ 放送局
１００４ イベント情報提供サーバ
１０１１ 提供可能サービス要求手段
１０１２ 提供可能サービス情報可視化表示手段
１０１３ サービス選択・要求手段
１０１４ サービス利用手段
１０２１ 提供可能サービス選別手段
１０２２ 提供可能サービス情報送信手段
１０２３ サービス要求受信手段
１０２４ アクセス系状態検出手段
１０２５ サービスコンテンツ最適化手段
１０２６ サービス提供手段
２０１０ 放送情報
２０１１ 映像情報
２０１２ 関連情報
２００２ 視聴者装置
２２０１ 放送受信部
２２０２ 映像表示制御部
２２０３ 映像表示部
２２０４ 第１のポインティングデバイス
２２０５ 関連情報表示制御部
２２０６ 被写体関連情報表示部
２２０７ 第２のポインティングデバイス
２２０８ 入力デバイス
２２０９ 被写体属性情報蓄積部
２２１０ 関連情報アクセス部
２２１１ 関連情報蓄積部
２２１２ 興味情報抽出部
２２１３ 放送情報蓄積部
２００３ 通信網
２００４ 放送局
３００１ 関連情報提供サーバ
３００２ 視聴者装置
３００３ 放送局
３００３’ 放送情報蓄積サーバ
３００４ 入出力装置
３００５ 放送受信装置
３００６ ネットワーク
３０１０ アクションテーブル提供手段
３０１１ アクションテーブル構成手段
３０１２ アクションテーブルリソースデータ
３０１３ 通信手段
３０１４ クライアント識別手段
３０１５ クライアント情報管理手段
３０２１ イベント管理手段
３０２２ アクションテーブル管理手段
３０２３ アクション実行手段
３０２４ 通信手段
３０２５ 出力インタフェース
３０２６ 入力インタフェース
４００１ 視聴者装置
４００２ 関連情報提供サーバ
４００３ 放送情報蓄積装置
４００４ コンテンツ提供サーバ
４００５ ネットワーク（インターネット）
４００６ 放送局
４０１１ 関連情報取得部
４０１２ 入力部
４０１３ コンテンツ情報閲覧部
４０１４ 放送受信部
４０１５ 放送情報変調復号部
４０１６ 表示再生部
４０１７ ネットワーク通信部
４０１８ 関連情報取得指示ボタン
４０１９ 部分放送情報バッファ
４０２１ 放送情報データベース
４０２２ 関連情報データベース
４０２３ 放送情報マッチング部
４０２４ 関連情報提供部
４０３０ 記憶部
５００１ 放送局
５００２ 送信手段
５００３ 信号付加手段
５００４ 映像
５００５ 音声
５００６ 放送
５００７ 放送受信装置
５００８ 映像・音声記録装置
５００９ 視聴者装置
５０１０ マイクロホン（ＭＩＣ）
５０１１ データ信号抽出手段
５０１２ 出力手段
５０１３ 入力手段
５０１４ ネットワークへの接続線
５０１５ 通信手段
５０１６ 記憶手段
５０１７ 制御手段
５０１８ 出力デバイス
５０１９ 入力デバイス
５０２０ 放送情報データベース
５０２１ 放送情報関連情報付与装置
５０２２ 放送情報データベース構築装置
５０２３（ａ）〜（ｄ） 関連情報コンテンツ提供サーバ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a technique in which a viewer acquires information related to broadcast information or recorded information from a server or the like connected to a network.
[0002]
[Prior art]
Digital satellite broadcasting and data broadcasting have also begun, and they are highly expected as new mass media in addition to various broadcasting services. In the field of communications, many access systems such as ISDN, DSL, FTTL, IMT-2000, etc. have been established. Popularization is expected. The Internet is also showing great potential as a mass media. In the near future, digital broadcasting and broadband communication will be closely integrated, and it is expected that more diverse services will bloom with interactive as a keyword.
[0003]
The greatest benefit for viewers that interactive brings is the personalized enjoyment of personalized information (information that suits the person). Tools (terminals) for enjoying information are also becoming increasingly diverse and widespread that are suitable for the type and amount of information received, the purpose and environment of use, the ease of operation of information, etc. Yes.
[0004]
Against this background, the prior art and its problems in the above technical field will be described from the following three viewpoints.
(1) Information given unilaterally from one direction, such as a television or radio, does not feel annoying because it does not involve a strong positive operation for obtaining the information. There is a limit to the information that can be put there. There is no problem if viewers are satisfied with the information selected and produced by the information provider, but each viewer can provide information such as dissatisfaction with the amount of information from each preference, broadcast time, broadcast area, etc. If you feel dissatisfied with the method, you cannot solve the dissatisfaction with analog media such as analog TV and analog radio. Even if the broadcast media is digitized from analog and the information that can be physically put on it is increased, or even if the viewer is given pseudo-interactiveness by the information distribution by the carousel method, the dissatisfaction is essentially solved. It is not.
[0005]
Services that distribute information that could not be put on broadcast media and related information using the Internet have also been started, but because they are simply providing information through multiple media (multimedia), the usage scene of viewers In view of the user interface, the linkage and linkage between information distributed in different media (multimedia) is not solved from the viewpoint of the user interface.
[0006]
The inventions of JP-A-9-160852 and JP-A-2000-183835 provide an apparatus for easily obtaining music and video broadcast on radio and television from a network. This solves the problem related to the troublesomeness of obtaining broadcasted music and video after viewing. Additional information (related information) for identifying them together with music and video is placed on the media and distributed to the viewer, and when the music and video desired by the viewer are distributed, the request is input to the receiving device. The additional information is recorded. This is a mechanism for identifying and obtaining desired music or video via a network using the recorded additional information as a key.
[0007]
However, on the premise of the current wide variety of communication access systems and terminals, responding to a wide variety of services that provide related content that individual viewers want from their preferences, linked and linked to broadcast content, In principle, the content provider cannot provide the service in a fair manner.
[0008]
That is, the following problems are not solved by the conventional technology. It is not configured in a distribution device that can provide a wide variety of services. Distribution of related content in consideration of the receiving environment (terminal specifications, etc.) of the viewer is not possible. The status of the access system during distribution cannot be grasped. In addition, the conventional technology is configured such that a service can be received only when a request for a service to be provided (recording of related information necessary for receiving the service) is input when a song or video desired by the viewer is distributed. . Therefore, it is not possible to make reservations and notifications for services linked to and linked to broadcasting. When a viewer wants to receive a desired service without omission, the conventional apparatus configuration forces the viewer to constantly record related information.
(2) On the other hand, in digital broadcasting such as BS digital broadcasting and CS digital broadcasting, various related information is provided together with video and audio, and it is possible for the viewer to refer to the related information while viewing the video. Yes.
[0009]
However, in a television receiver that is generally used as a digital broadcast receiver, when browsing related information, the related information is displayed on a part of the video display unit, or the related information is displayed on the entire video display unit. Therefore, when browsing related information, it is necessary to reduce the size of the video, hide a part of the video, or temporarily stop viewing the video. In addition, when the amount of related information is large, it is difficult for the viewer to fully understand the content of the related information while watching the video, and when the viewer wants only the related information after the program ends. It is desirable to be able to watch slowly. In the conventional digital broadcast receiving apparatus, when browsing related information, the received related information is uniformly displayed on the screen, so that related information that is not of interest to the viewer is displayed. .
[0010]
In addition, the digital broadcast receiver automatically uses the related information and EPG (Electric Program Guide) information to automatically display the broadcast program and related information that the viewer is interested in while the viewer is not watching the TV broadcast. It has been studied to select and store them in the apparatus. At this time, it becomes a problem to acquire information indicating the viewer's interest. Conventionally, a method has been proposed in which interest information is acquired by directly inputting a keyword in which the viewer is interested, or the interest information is estimated from related information of a program viewed by the viewer.
[0011]
Here, a method of automatically selecting broadcast programs that are of interest to viewers is described in the following document, for example. [References]: Yuichi Yagawa, Hiromi Ukai, Tetsuo Tanaka, Masahiro Shibata, Maki Kinjo, “Examination of an agent that automatically organizes TV programs that suit individual tastes”, IEICE Technical Report, AI 98-55, PP. 9-16, December 1998.
[0012]
Further, a method for estimating the interest information from the related information of the program viewed by the viewer is described in Japanese Patent Application Laid-Open No. 11-134345 “Preference Information Selection Device”.
[0013]
However, it is not always easy for the viewer to consciously input keywords of interest. In addition, the method of estimating the interest information from the related information of the program leaves essentially the same problem as displaying the related information that is not of interest.
(3) As described above, in digital broadcasting, it is possible to multiplex and broadcast data signals as arbitrary related information to television broadcasting or radio broadcasting. Therefore, in a digital broadcast receiving apparatus or a terminal connected to the receiving apparatus, processing synchronized with broadcast content can be performed by using a data signal multiplexed in the broadcast. For example, it is possible to distribute related information regarding a broadcast television program or radio program simultaneously with the program.
[0014]
Similarly, in analog television broadcasting, an arbitrary data signal is multiplexed on a television video signal by a method defined by ARIB STD-B5 “standard television data broadcasting of transmission method using vertical blanking interval”. It is possible. In particular, a system called “Bit Cast” (reference: Nikkei Multimedia, No. 28, 1997.10, P.52-P.57) uses a data signal multiplexed with an analog TV video signal. Thus, functions such as related information presentation synchronized with broadcast contents are realized.
[0015]
In WWW (World Wide Web), content on a predetermined home page is sequentially updated in synchronization with broadcast content such as television and radio. A client connected to the Internet can enjoy information presentation and the like synchronized to some extent with broadcast content by accessing the predetermined home page.
[0016]
However, in order to perform processing synchronized with broadcast content using a data signal multiplexed in broadcasting, it is necessary for a terminal that performs the processing to acquire a data signal multiplexed in broadcasting. That is, there is a problem that the terminal itself must have a function of receiving a broadcast, or a function of acquiring a data signal that is connected to the broadcast receiving apparatus and multiplexed from the broadcast receiving apparatus.
[0017]
In addition, when a terminal acquires a data signal multiplexed in broadcasting via a network without having such a function, a delay time of the data signal in the network occurs from the event occurrence to the execution of the corresponding action. There is a problem.
[0018]
Further, when providing information related to video and audio to be broadcast, in a method of transmitting a URL or the like simultaneously with the video and audio, it is necessary to add the information such as URL to the broadcast information and broadcast it. For example, for broadcast information that is repeatedly broadcast such as CM, it is necessary to sequentially perform processing for adding information such as URL corresponding to each broadcast.
[0019]
Furthermore, even when the broadcast video / audio is stored and used, the above-described method can be stored unless information such as a URL broadcast simultaneously with the broadcast video / audio is stored by associating with some means. However, there is a problem that related information cannot be obtained during playback / viewing of video / audio.
[0020]
Similarly, in the method of acquiring related information using time and CH number as keys as in Japanese Patent Laid-Open No. 9-160852 “Information Providing Device”, when viewing broadcast information once stored, the viewing time is the broadcast time. Therefore, there is a problem that the related information cannot be acquired because it cannot be associated with the related information.
[0021]
Further, the conventional technique has a problem that it is impossible to grasp the switching of the image frame of the broadcast program video being viewed very accurately.
[0022]
As described above, in the related art, there is a problem that it is not easy for a viewer of broadcast information or recorded information to acquire information or content related to broadcast information or recorded information from a server or the like connected to the network. .
[Problems to be solved by the invention]
The present invention has been made in view of the above points, and a viewer of broadcast information or recorded information can easily acquire information or content related to broadcast information or recorded information from a server or the like connected to a network. The purpose is to be able to. More specifically, the present invention achieves the above object by achieving the following first to fifth objects.
[0023]
The first object of the present invention is to solve the problem of the prior art (1) above, and a variety of related information that could not be put on a broadcast medium that unilaterally provides information from one direction. Assuming a new communication access system and terminal, the content provider can provide a wide variety of services in a fair manner to individual viewers in a style according to the viewer's wishes, linked and linked to the broadcast content. It is another object of the present invention to provide an environment in which a service desired by a viewer can be received without omission, and an annoyance related to the troublesomeness of receiving a service for obtaining related content after viewing during viewing.
[0024]
The second object of the present invention is to solve the problem of the prior art (2) above, and information related to the subject that the viewer is interested in while viewing the video information is limited in time. To make it easy to browse without receiving broadcasts, to automatically select broadcast information that matches the dynamically changing interest information of the viewer, and to make it available to one viewer. It is possible to refer to related information and to enable automatic selection of detailed video information.
[0025]
The third to fifth objects of the present invention are intended to solve the problems of the prior art (3) above. More specifically, the third object of the present invention is to enable the viewer apparatus to broadcast. It is to provide a technique for quickly executing a process for an event synchronized with broadcast content of a predetermined channel to be broadcast without acquiring a multiplexed data signal. The fourth object of the present invention is that there is no need to perform special processing such as adding information necessary for providing related information to broadcast information, and broadcast information is temporarily stored and reproduced. It is also possible to provide a related information providing service regarding the broadcast information through the network even when viewing. Furthermore, a fifth object of the present invention is that a viewer apparatus that is independent of the broadcast receiving apparatus, that is, has no communication means such as a communication line for performing digital signal communication with the broadcast receiving apparatus, is being viewed by the user. The broadcast program content can be individually identified with an extremely short time resolution of 1/30 seconds (corresponding to one image frame unit of a television broadcast video) or more, and it is possible to provide a service that is accurately synchronized with the broadcast content It is to be.
[0026]
[Means for Solving the Problems]
In order to achieve the first object, the present invention can be configured as follows.
[0027]
The present invention is a method for a viewer apparatus to receive provision of the service in a system in which a viewer apparatus and a content providing server that provides a service related to video or audio are connected via a network, When the viewer apparatus requests service provision, the viewer apparatus transmits necessary service provision request information to the related information provision server to request information on services that can be provided related to video, and the related information provision server sends the service provision request information. Information on the service that can be provided is transmitted to the viewer device based on the information, the viewer device receives the information on the service that can be provided, and the viewer device provides the service selected from the services that can be provided Is requested from the content providing server, and service is provided from the content providing server.
[0028]
In the method, the viewer apparatus may further include a step of storing and holding viewer information, and the service provision request information may include the viewer information.
[0029]
In addition, the present invention is a system in which a viewer device for a viewer who views a broadcast and a content providing server that provides content related to the broadcast are connected via a network, Means for transmitting information necessary for requesting service provision to the content providing server in conjunction with or cooperating with the content and requesting information on a service that can be provided related to the broadcast content; and the content providing server Means for visualizing and displaying the information of the service that can be provided received from the server in a selectable form; and means for requesting the service from the content providing server by selecting a service from the information of the service displayed by visualization. Receiving and using a service provided by the content providing server in response to the service request The content providing server selects a service that can be provided based on the information of the viewer device in response to a request for information on the service that can be provided received from the viewer device; And a means for transmitting service information to the viewer apparatus, and a means for receiving a service request from the viewer apparatus and transmitting the service to the requesting viewer apparatus.
[0030]
In the system, the viewer apparatus further includes means for receiving event information, and the means for requesting service information in the viewer apparatus is automatically set at a timing preset by the viewer based on the event information. A request may be issued.
[0031]
In addition, when the content providing server receives a service request from the viewer device, the content providing server estimates or detects the state of the access system between the content providing server and the viewer device, and the estimated or detected access system And a means for converting and optimizing the content related to the service to be transmitted to the viewer device based on the state and the information of the viewer device.
[0032]
The present invention is also a viewer device for a viewer who watches a broadcast connected to a content providing server of a provider who provides content related to the broadcast via a network, and is linked or linked to the broadcast content. Then, information necessary for providing a service provision is transmitted to the content providing server, and information on a service that can be provided related to the broadcast content is automatically input by a viewer or at a preset timing. Requesting means, means for visualizing and displaying the information of the service that can be provided received from the content providing server in a selectable form, and selecting the service from the information of the service displayed by visualization Means for requesting a service from the content providing server; and the content providing server provides a request for the service. To be configured to and a means for utilizing receiving the service.
[0033]
In addition, the present invention is a content providing server of a provider that provides content related to broadcasting, which is connected to a viewer device of a viewer who views a broadcast via a network, received from the viewer device In response to a request for information on services that can be provided, means for selecting services that can be provided based on information on the viewer device; means for transmitting information on the services that can be provided to the viewer device; Means for estimating or detecting the status of the access system between the content providing server and the viewer device when receiving a service request from the viewer device, and the viewing based on the status of the access system estimated or detected Means for converting and optimizing content related to the service to be transmitted to the viewer device, and providing the service by transmitting the optimized content to the requesting viewer device Configured to include and.
[0034]
In order to achieve the object of the present invention, the present invention can be configured as follows.
[0035]
The present invention is a method for a viewer apparatus to acquire the content information in a system in which the viewer apparatus and a content providing server that provides content information related to video or audio are connected via a network. The viewer apparatus obtains related information necessary for acquiring the content information, transmits the related information to the content providing server, requests transmission of the content information, and is transmitted from the content providing server. Configure to obtain content information.
[0036]
In particular, in order to achieve the second object, in the above-mentioned configuration, the present invention provides the viewer device with related information broadcast together with video or related information recorded with video, and The related information is obtained by separating from at least one information resource identification information corresponding to each of a plurality of subjects included in the video, and subject attribute information describing the subject It can comprise so that it may contain.
[0037]
In order to achieve the second object, the present invention can be configured as follows.
[0038]
The present invention is a viewer apparatus that receives broadcast information including at least video information including video and related information related to the video information, and the related information includes a plurality of pieces of the related information included in the video information. Corresponding to each of the subjects, including at least one information resource identification information and subject attribute information describing the subject, wherein the viewer device includes a broadcast receiving unit that receives the broadcast information, a video display unit, A video display control unit, a first pointing unit, a subject related information display unit, a related information display control unit, a second pointing unit, a subject attribute information storage unit, a related information access unit, and related information A storage unit, wherein the video display control unit displays video information in the broadcast information received by the broadcast receiving unit on the video display unit, and a plurality of subjects displayed on the video display unit A subject pointed by the first pointing means, and the related information display control unit displays characters, symbols or figures representing the subject identified by the video display control unit in the subject related information display unit. And displaying information resource identification information corresponding to the subject represented by the character, symbol, or figure pointed by the second pointing means in the subject related information display unit, and displaying the information resource identification information as the related information The related information access unit accesses the information source connected to the related information storage unit or the communication network corresponding to the information resource identification information to obtain content information, and displays the related information display The control unit displays the content information obtained by the related information access unit in the subject related information table. Configured to display the part.
[0039]
The viewer apparatus further includes an interest information extraction unit, and the related information display control unit is information resource identification information corresponding to a subject represented by a character, symbol, or figure pointed by the second pointing means. Any one or more of the subject attribute information, the content information obtained from the information source, and the display time information related to the time when the content information is displayed on the subject-related information display unit. The interest information extraction unit refers to any or all of the information resource identification information, the subject attribute information, the content information, and the display time information, creates and holds the interest information, and Broadcast information received from the broadcast receiving unit at a time different from the time at which the broadcast information is received is determined based on the interest information. It may be selected to have.
[0040]
The viewer apparatus may further include a video storage unit, and the broadcast information selected by the interest information extraction unit may be stored in the video storage unit.
[0041]
In the viewer apparatus, the related information display control unit moves a character, a symbol, or a graphic representing the subject displayed on the subject related information display unit by the second pointing unit or another input unit. Or when there is an operation for moving or deleting a character, symbol, or figure representing the subject, operation information indicating the content of the operation is transmitted to the interest information extraction unit, and the interest information The extraction unit may update the interest information based on the operation information.
[0042]
Further, in the viewer apparatus, the related information is associated with each of a plurality of subjects included in the video information and includes subject coordinate values when displayed on the video display unit. The subject may be identified by the first pointing means pointing to a region including the coordinate value point.
[0043]
In order to achieve the third object of the present invention, the present invention can be configured as follows.
[0044]
In a system in which a viewer device and a content providing server that provides content information related to video or audio are connected via a network, the viewer device obtains the content information, the viewer device comprising: Obtains related information necessary for acquiring the content information, transmits the related information to the content providing server, requests transmission of the content information, and acquires the content information transmitted from the content providing server In this configuration, the system includes a related information providing server, and the related information providing server includes an event identifier indicating a valid event and an operation corresponding to the event identifier for each valid period designated in synchronization with the broadcast time of the video. Configure the specified action table, and the related information providing server will take action The viewer device receives an action table from the related information providing server, derives an event identifier from the event generated by the viewer device, and uses the received action table to operate corresponding to the event identifier The related information necessary for acquiring the content information is obtained.
[0045]
In addition, the present invention processes an event synchronized with broadcast content including a server that collects information related to broadcast content transmitted from a broadcast station or a broadcast information storage server, and a viewer device that communicates with the server via a network. The server includes an event identifier indicating a valid event and action content information indicating a process executed correspondingly for each valid period specified in synchronization with a broadcast time of the broadcast content. Action table configuring means for configuring an action table for designating and an action table providing means for transmitting the action table to the viewer apparatus, wherein the viewer apparatus derives an event identifier from the event that has occurred. Management means and the action table received from the server Referring only that lifetime, configured to have the action table managing means for deriving the action content information corresponding to the event identifier with reference to the table, and action execution means for executing said action contents information.
[0046]
In the system, the action table management unit of the viewer device transmits the event identifier derived by the event management unit to the server, and the server receives the event identifier received from the viewer device. And further comprising viewer device information management means for managing each viewer device, wherein the action table configuration means of the server is configured for each viewer device based on the event identifier managed for each viewer device. The action table may be configured as follows. As a result, different action contents appropriate for each client are executed for the same event.
[0047]
In the above system, the action table managing means of the viewer apparatus can refer to the action table corresponding to the next effective period while the effective period of the currently referred action table ends. In addition, an action table for the previous valid period may be requested to the server in advance. Thereby, it becomes possible to request when an action table is required for the convenience of the viewer apparatus (client), and it is possible to prevent useless distribution of the action table.
[0048]
Further, in the above system, the action table providing means of the server actively distributes the new action table to the plurality of viewer devices as soon as the action table forming means forms a new action table. Also good. Thereby, the viewer apparatus does not need to request | require an action table, and can simplify the procedure.
[0049]
The present invention can also be configured as follows.
[0050]
The present invention relates to an event synchronized with broadcast content used in a system including a server that collects information about broadcast content transmitted from a broadcast station or a broadcast information storage server, and a viewer apparatus that communicates with the server via a network. For each valid period specified in synchronization with the broadcast time of the broadcast content, and an action indicating a process executed corresponding to the event identifier. A first stage constituting an action table for specifying content information; a second stage in which the server transmits the action table to the viewer apparatus; and the viewer apparatus determines an event identifier from the event that has occurred. A third stage of deriving and the action table received by the viewer device from the server And a fourth stage of deriving action content information corresponding to the event identifier, and a fifth stage in which the viewer device executes the action content information. The viewer device includes the server The action table received from is referred to only during its validity period.
[0051]
In the above method, in the third step, the event identifier derived by the viewer device is transmitted to the server, and the server manages the event identifier received from the viewer device for each viewer device. The method further comprises a sixth step, wherein the server configures the action table for each viewer device based on the event identifier managed for each viewer device. May be.
[0052]
Further, in the above method, the viewer apparatus previously refers to the previous valid period so that the valid period of the currently referred action table ends and the action table corresponding to the next valid period can be referred to. The method may further include a step of requesting the server for the action table.
[0053]
In the above method, the server may include a step of actively distributing the new action table to the plurality of viewer devices as soon as the server forms a new action table in the first step.
[0054]
Further, the present invention is a server that collects information related to broadcast content transmitted from a broadcast station or a broadcast information storage server and processes an event synchronized with the broadcast content, and is specified in synchronization with the broadcast time of the broadcast content. Action table configuring means for configuring an action table for designating an event identifier indicating a valid event and action content information indicating processing executed corresponding to the event identifier for each valid period, and the action table to the viewer device. And an action table providing means for transmitting.
[0055]
The server further includes viewer device information management means for managing the event identifier received from the viewer device for each viewer device, wherein the action table configuration means is managed for each viewer device. The action table may be configured for each viewer apparatus based on the event identifier.
[0056]
In the server, the action table providing unit may actively distribute the new action table to the plurality of viewer devices as soon as the action table configuring unit configures a new action table. Good.
[0057]
Further, the present invention is a viewer device in a system having a server that collects information about broadcast content transmitted from a broadcast station or a broadcast information storage server, and a viewer device that communicates with the server via a network, For each effective period specified in synchronization with the broadcast time of the broadcast content, an action table specifying an event identifier indicating a valid event and action content information indicating processing executed correspondingly is received from the server. Means for deriving an event identifier from an event that has occurred, action table management means for referring to the action table only during its validity period and deriving action content information corresponding to the event identifier using the table And an action for executing the action content information And line unit, the event identifier configured to have a means for transmitting the document transfer requests.
[0058]
In the viewer apparatus, the action table management means may be configured so that the valid period of the currently referred action table ends and the previous valid period can be referred to so that the action table corresponding to the next valid period can be referred to. You may make it have a means to request | require the action table of a period from the said server.
[0059]
In order to achieve the fourth and fifth objects of the present invention, the present invention can be configured as follows.
[0060]
The present invention provides a viewer device for acquiring the related information in a system in which a viewer device and a related information providing server that provides related information that is information related to broadcast information are connected via a network. The viewer device transmits predetermined information extracted from the broadcast information to a related information providing server, and the related information providing server uses the predetermined information to extract related information related to the broadcast information. Acquire and transmit to the viewer device.
[0061]
In the above method, the related information providing server further stores viewer information indicating characteristics of a viewer that can be a target for providing the related information, and viewer apparatus information indicating characteristics of a terminal that is a target for providing the related information, The viewer device transmits viewer information unique to the viewer device or viewer device information to the related information providing server in addition to the predetermined information, and the related information providing server acquires the related information, The related information may be selected based on the viewer information unique to the viewer device or the viewer device information, and transmitted to the viewer device.
[0062]
In particular, in order to achieve the fourth object of the present invention, the present invention can be configured as follows.
[0063]
The present invention is a method for a viewer apparatus to acquire the content information in a system in which the viewer apparatus and a content providing server that provides content information related to video or audio are connected via a network. The viewer apparatus obtains related information necessary for acquiring the content information, transmits the related information to the content providing server, requests transmission of the content information, and is transmitted from the content providing server. In the configuration for acquiring content information, the system includes a related information providing server, records the video and the related information in a database of the related information providing server, and is obtained by converting the video or the video by the viewer apparatus. Video that is sent to the related information providing server and received by the related information providing server. Searches the database by the partial video information, the results obtained related information transmitted to the viewer apparatus is configured such that the viewer apparatus obtains related information necessary for obtaining the content information.
[0064]
In the above method, further, viewer information indicating the characteristics of a viewer who can be a target for providing the related information and viewer apparatus information indicating the characteristics of a terminal for which the related information is provided are recorded in the database of the related information, The viewer device transmits viewer information specific to the viewer device or viewer device information to the related information providing server in addition to the partial video information, and the related information providing server acquires the related information, The related information may be selected based on the viewer information unique to the viewer device or the viewer device information, and transmitted to the viewer device.
[0065]
The present invention also relates to a related information providing method for acquiring related information, which is information related to broadcast information, and providing the information to a viewer, storing the broadcast information in a broadcast information database, Information is stored in a related information database, and broadcast information corresponding to partial broadcast information, which is feature information obtained by converting broadcast information being viewed or viewed by the viewer, is searched from the broadcast information database. Further, by searching the related information database with the broadcast information, the related information of the broadcast information can be acquired and provided to the viewer.
[0066]
Further, the present invention acquires related information, which is information related to accumulated broadcast information, and stores the broadcast information in a broadcast information database in a related information providing method provided to a viewer. The related information is stored in the related information database, and the broadcast information stored in the broadcast information storage device being reproduced and viewed by the viewer or the partial broadcast information that is the feature amount information obtained by converting the broadcast information is stored. The corresponding broadcast information can be searched from the broadcast information database, and the related information database can be searched using the broadcast information, whereby the related information of the broadcast information can be acquired and provided to the viewer.
[0067]
In the above method, the partial broadcast information may be broadcast information viewed for a certain period including a point in time when a related information acquisition instruction by a viewer is input, or feature amount information obtained by converting the broadcast information. Good.
[0068]
In the above method, the broadcast information database manages each piece of broadcast information with broadcast information identification information that is information for identifying the broadcast information, and the related information database includes the broadcast identification information and the broadcast information. Corresponding related information is managed in correspondence, the broadcast information identification information of the broadcast information corresponding to the partial broadcast information is specified by searching the broadcast information database, and the broadcast information identification information is referred to the related information database It is also possible to obtain related information corresponding to and provide it to the viewer.
[0069]
In the above method, the related information database includes viewer information indicating characteristics of a viewer who can be provided in addition to the related information, and viewer apparatus information indicating characteristics of a terminal as a target for providing related information. May be managed and the related information may be specified, and then the related information may be selected based on the viewer information unique to the viewer or the viewer device information and provided to the viewer.
[0070]
The present invention also provides means for receiving broadcast information including video and audio and providing it to the viewer, and broadcast information being viewed by the viewer at the time when the instruction is input by the viewer's related information acquisition instruction or One or more units having means for transmitting partial broadcast information, which is characteristic amount information obtained by converting the broadcast information, via a predetermined network and acquiring related information transmitted via the network A viewer apparatus, a broadcast information database that is connected to the network and manages each piece of broadcast information in association with broadcast information identification information that is information for identifying the broadcast information, and stored in the broadcast information database Corresponding to the broadcast information identification information, the related information database managing the related information corresponding to the broadcast information, and the partial broadcast information transmitted by the viewer device Means for identifying broadcast information identification information of broadcast information corresponding to the partial broadcast information by searching for broadcast information in the broadcast information database, and by referring to the related information database, the identified broadcast information identification information Can be configured as a system having a related information providing server including means for acquiring related information corresponding to the above and transmitting the information to the viewer apparatus.
[0071]
In addition, the viewer apparatus of the present invention provides broadcast receiving means for receiving broadcast information, broadcast information demodulating / decoding means for demodulating and decoding broadcast information received by the broadcast receiving means, and various instructions including related information acquisition instructions. An input means for a viewer to input, a network communication means for communicating with a related information providing server that stores related information corresponding to each broadcast information via a predetermined network, and more related to the input means When an information acquisition instruction is input, the broadcast information output from the broadcast information demodulation / decoding means at the time when the instruction is input, or the partial broadcast information that is the feature amount information obtained by converting the broadcast information is Corresponding to the partial broadcast information transmitted to the network via the network communication means and then transmitted from the related information providing server via the network Related information acquisition means for receiving continuous information via the network communication means; and display reproduction means for displaying and reproducing the broadcast information output from the broadcast information demodulation and decoding means and the related information received by the related information acquisition means. It can be configured to have.
[0072]
The viewer apparatus further includes broadcast information storage means for storing the broadcast information output from the broadcast information demodulation / decoding means, and the related information acquisition means has the viewer stored in the broadcast information storage means. When a related information acquisition instruction is input from the input means during reproduction / viewing of broadcast information, broadcast information being reproduced / viewed at the time the instruction is input or feature amount information obtained by converting the broadcast information The partial broadcast information may be transmitted to the network via the network communication means.
[0073]
Further, the viewer device further includes a bookmark button, the partial broadcast information when the viewer operates the bookmark button and bookmarks is stored in a memory, and the related information acquisition means is When the related information acquisition instruction is input, the related information providing server may be accessed to notify the related information providing server of the partial broadcast information stored in the memory.
[0074]
The related information providing server of the present invention is connected to a predetermined network, and manages each broadcast information in association with broadcast information identification information that is information for identifying the broadcast information, Corresponding to the broadcast information identification information stored in the broadcast information database, the related information database for managing the related information corresponding to the broadcast information, and the partial broadcast information transmitted from the viewer apparatus via the network. Means for identifying broadcast information identification information of broadcast information corresponding to the partial broadcast information by searching for broadcast information in the broadcast information database; and referring to the related information database; Means for obtaining corresponding related information and transmitting it to the viewer device, and the partial broadcast information is stored at any time by the viewer; May be configured such that broadcast information or playing view, the characteristic amount information obtained by converting the broadcast information, or their broadcast information stored in the broadcast information storing apparatus being viewed in.
[0075]
In order to achieve the fifth object of the present invention, the present invention can be configured as follows.
[0076]
The present invention is a method for a viewer apparatus to acquire the content information in a system in which the viewer apparatus and a content providing server that provides content information related to video or audio are connected via a network. The viewer apparatus obtains related information necessary for acquiring the content information, transmits the related information to the content providing server, requests transmission of the content information, and is transmitted from the content providing server. In a configuration for acquiring content information, a broadcast station or a broadcast information storage server transmits a predetermined data signal superimposed on audio, a broadcast receiving device outputs broadcast audio from a speaker, and a viewer device outputs the broadcast audio. Sound is collected by a microphone and converted into an electrical signal, and the data signal superimposed on the electrical signal is sequentially and continuously extracted. Te, so as to obtain related information by using the data signal.
[0077]
Further, in the above method, the system includes a related information providing server, the viewer apparatus transmits the data signal to the related information providing server, and acquires the related information using the data signal received by the related information providing server. Then, the related information may be transmitted to the viewer apparatus so that the viewer apparatus obtains the related information.
[0078]
Further, in the above method, the related information providing server further stores viewer information indicating characteristics of a viewer who can be provided with the related information, and viewer apparatus information indicating characteristics of a terminal as a target for providing the related information. Then, the viewer device transmits viewer information unique to the viewer device or viewer device information to the related information providing server in addition to the data signal, and the related information providing server specifies the related information, The related information may be selected based on the viewer information unique to the viewer device or the viewer device information, and transmitted to the viewer device.
[0079]
In the present invention, the broadcast station or the broadcast information storage server side that transmits audio or audio and video has a channel identifier uniquely assigned to the audio for each broadcast channel and an image frame in the video. A data signal including a uniquely assigned image frame identifier or a voice frame identifier uniquely assigned to each voice frame in the voice is superimposed and transmitted. On the receiving side, the viewer apparatus receives the broadcast. Broadcast audio output from a speaker of the apparatus is collected by a microphone and converted into an electrical signal, and the data signal superimposed on the electrical signal is sequentially and continuously extracted from the data signal, and a channel identifier and Extract image frame identifier or audio frame identifier and correspond to these channel identifier and image frame identifier or audio frame identifier That the related information can be configured as a broadcast synchronization type service providing method and obtaining through a network.
[0080]
In the above method, the broadcast station or the broadcast information storage server side transmits the image frame identifier or the audio frame identifier as a time-series consecutive number, and the viewer apparatus receives the person from the sound output from the speaker of the broadcast receiving apparatus. When the data signal superimposed on the voice is sequentially and continuously extracted, when the data signal is correctly extracted from the sound and the image frame identifier or the sound frame identifier is confirmed, the image frame identifier or When an audio frame identifier is used as an image frame identifier or an audio frame identifier of an image that is currently reproduced in the broadcast receiving apparatus, and the data signal is not correctly extracted from the audio, and the image frame identifier or the audio frame identifier is not confirmed. The most recently confirmed image frame identifier or audio frame identifier value and the latest Based on the difference between the confirmed image frame identifier or the voice frame identifier is confirmed the time and the current time in, it may be used to generate an image frame identifier or the voice frame identifier.
[0081]
In the above method, the related information acquired from the network by the viewer apparatus is associated with the channel identifier and the image frame identifier or the audio frame identifier in the broadcast information database managed by the related information providing server connected to the network. The related information held in this way may be obtained via the related information providing server.
[0082]
In addition, the present invention provides a channel identifier uniquely assigned to each broadcast channel to the broadcast station or broadcast information storage server side that transmits audio or audio and video, and each image frame in the video. Means for superimposing and transmitting a data signal including an image frame identifier uniquely assigned to each voice frame or a voice frame identifier uniquely assigned to each voice frame in the voice; A microphone that collects broadcast sound output from a speaker of the broadcast receiving apparatus and converts it into an electrical signal; and the data signal superimposed on the electrical signal is sequentially and continuously extracted, and the data signal A data signal extracting means for extracting a channel identifier and an image frame identifier or an audio frame identifier from the channel identifier and an image frame It is possible to configure the related information corresponding to the identifier or the voice frame identifier as a broadcast synchronization type service providing system characterized in that a means to get through the network.
[0083]
The present invention is also a viewer device that receives audio transmitted from a broadcast station or a broadcast information storage server, or audio output from a broadcast receiving device that receives audio and video. A channel identifier uniquely assigned to a channel, an image frame identifier uniquely assigned to each image frame in the video, or an audio frame identifier uniquely assigned to each audio frame in audio The viewer device collects the broadcast sound output from the speaker of the broadcast receiving device and converts it into an electrical signal, and the data signal superimposed on the electrical signal. And a data signal for extracting a channel identifier and an image frame identifier or an audio frame identifier from the data signal, sequentially and continuously. Means out, extracted channel identifier and to the related information corresponding to the image frame identifier or the voice frame identifier may be constructed by providing a means to get through the network.
[0084]
In the viewer apparatus, the viewer apparatus transmits to the related information providing server connected to the network, viewer information or viewing unique to the viewer apparatus in addition to the channel identifier and the image frame identifier or the audio frame identifier. And the related information providing server selects the viewer information unique to the viewer device or the related information that matches the viewer device information, and the viewer device transmits the related information via the network. You may make it acquire.
[0085]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, first to fifth embodiments corresponding to the first to fifth objects will be described. In addition, according to each of the inventions according to the first to fifth embodiments, broadcast information or recorded information viewers can easily acquire information or contents related to the broadcast information or recorded information from a server or the like connected to the network. And the object of the present invention is achieved. Next, the outline of each embodiment will be described.
[0086]
In the first embodiment, a viewer device in which a broadcast receiving device for viewing a broadcast distributed from a broadcasting station and a device for obtaining related information related to the broadcast are integrated into the related information and the related information. Related information that provides corresponding content Requests a service from a content providing server to acquire related information. Also, the event information is acquired by the viewer device, and the viewer device requests a service based on the event information.
[0087]
In the second embodiment, broadcast information including information (URL or the like) corresponding to the related information provided by the related information content providing server is sent from the broadcast station to the viewer apparatus. The information is added for each frame on a subject basis, and related information is acquired by pointing a subject that the viewer is interested in. In addition, based on the viewer's pointing, interest information is acquired, and content that matches the viewer's interest is automatically acquired. As a result, as in the first embodiment, information related to broadcast information and the like can be easily acquired.
[0088]
Regarding the third to fifth embodiments, the basic configuration is the same as that of the first embodiment, and it is intended to make it easy to obtain information related to broadcast information and the like. There is a difference in the configuration for acquiring related information.
[0089]
That is, in the third embodiment, the related information providing server provides the viewer device with an action table related to the broadcast content, and the viewer viewing the broadcast generates an event shown in the action table. Thus, an action corresponding to the event is executed, and related information is acquired.
[0090]
In the fourth embodiment, the viewer device transmits partial broadcast information to the related information providing server, and the related information providing server transmits related information related to broadcasting to the viewer device based on the partial broadcast information.
[0091]
In the fifth embodiment, a frame ID or the like is superimposed on the audio in the broadcast, the viewer device extracts the frame ID or the like, and requests related information from the related information content providing server using the frame ID or the like. To do.
[0092]
In each of the above-described embodiments, the viewer apparatus can acquire related information related to viewer information such as a viewer profile and terminal information. Further, in each embodiment, not only the related information is acquired while receiving broadcast information from the broadcast station, but also, for example, as shown in FIG. While receiving broadcast information via a network, the viewer apparatus can acquire related information related to the broadcast information.
[0093]
Hereinafter, each embodiment will be described in detail.
[0094]
[First Embodiment]
Hereinafter, the first embodiment corresponding to the first object will be described in detail.
[0095]
FIG. 1 is a diagram showing a basic configuration example of the first embodiment of the present invention. In the figure,
[0096]
When the viewer is watching a broadcast from the
[0097]
The available
[0098]
The provideable service information
[0099]
When the service request receiving unit 1023 of the related information
[0100]
The service
[0101]
The
[0102]
FIG. 2 is a block diagram of a system for realizing the functions of the present invention shown in FIG. The
[0103]
FIG. 3 is a diagram illustrating a configuration example of the
[0104]
The
[0105]
FIG. 4 shows a configuration example of the related information
[0106]
FIG. 5 shows a flow of information between the
(1) Service provision request input
First, in the
[0107]
Information (on / off information) input by the operation input unit 1111 is stored in the
(2) Service provision request information
When the request input information is stored in the
[0108]
The
[0109]
The above viewer information is information about the viewer, for example, name, gender, age, occupation, address, postal code, family structure, housing information (apartment, detached house, etc.), hobby, and information of interest. Genre (politics, economy, news, computer, books, sports, travel, etc.), annual income, information on whether or not you are a member of various services, membership number or credit card ID, possession of various qualifications (driving license, etc.) Information on presence / absence, body shape (weight, height, clothing size, etc.), information on ability (sight, hearing, etc.), etc. are included.
[0110]
The terminal information is the resolution of the display device of the viewer device, the number of displayable colors, the performance of the WWW information browsing means (whether the Java function can be used, the presence / absence of the video / audio content playback function, the encoded format information that can be played back by the video / audio content, Etc.).
[0111]
The viewer environment information is information representing the environmental state and the viewer state when the viewer is viewing the broadcast content distributed in one direction. What is the environmental state information when viewing the viewer environment information? , Where you are viewing (location information obtained by GPS [Global Positioning System], etc.), when you are viewing (time information obtained by in-device timer, GPS, etc.), what you are viewing (TV operation remote control Information on broadcast channels and programs obtained by monitoring infrared communication such as
[0112]
Information indicating the viewer state is information on the viewer's viewing posture (sitting or standing, etc.) and mental state at the time of viewing (whether it is pounding, cool, fun, sad, etc.) is there. The viewing posture can be determined from the height information from the floor of the terminal. The mental state can be determined from the heart rate, the state of sweating, and the movement information. Height information, heart rate, state of sweating, movement information, and the like are information that can be sensed by a sensor. It is assumed that not all information regarding the viewer information, the terminal information, and the viewer environment information need be collected.
[0113]
Regarding viewer information, when the information has already been sent to the related information
[0114]
That is, the viewer device information when the viewer device requests a service that can be provided may be registered in the related information
[0115]
Viewer information, terminal information, and viewer environment information stored in the
(3) Selection of available services
The related information
[0116]
The
[0117]
The event information includes information for identifying individual related content (content ID and the like), service type information related to the related content, link information with broadcast content, content security information, and the like. Broadcast information is content broadcast schedule information and event information related to broadcast content. As a method of acquiring this information, there are a method of directly receiving information provided by a broadcaster and a method of extracting from broadcast content when it is embedded in the broadcast content.
[0118]
When broadcast information is embedded in broadcast content (at least one of video, audio, and data), the broadcast information is received by the broadcast
[0119]
The
[0120]
The inter-content link means 1242 uses a method of performing stepwise from a link using a physical quantity distance to a link using a semantic quantity distance using an image / video recognition technique and a voice recognition technique. The viewer information, terminal information, viewer environment information, content event information, and broadcast information stored in the
[0121]
FIG. 6 is a conceptual diagram showing the relationship between event information, broadcast information, and services. For example, content A is selected from services A, D, F, and I according to viewer information, terminal information, and viewer environment information. , C, and F are selected. Services that can be provided may differ depending on the broadcast time even for the same content.
[0122]
How the service and the related content are selected according to the received viewer information, terminal information, and viewer environment information will be described in accordance with the procedure. FIG. 7 shows the procedure. When viewer information, terminal information, and viewer environment information are input, first, in step S1, the broadcast content (at least one of video, audio, and data) is transmitted with broadcast time and broadcast station information included in the viewer environment information. The related content that is related is searched based on the broadcast information. When the related content is not searched, information indicating that there is no related content or service that can be provided is returned, and the selection process ends.
[0123]
When the related content is searched, the process proceeds to step S2 to determine whether the content can be provided to the viewer based on the viewer information and the viewer environment information. In this determination, for example, when the viewer is a minor or is limited to a region, it is determined whether or not the retrieved related content can be provided by checking whether there is an age limitation rule. Further, when the viewer is in a place such as a kitchen and desires to provide related content, it is determined whether the searched related content has restrictions or recommendations according to the location of the viewer. When it is determined that there is no content that can be provided, information indicating that there is no related content or service that can be provided is returned, and the selection process ends.
[0124]
If there is related content determined to be content that can be provided, the process proceeds to step S3, and a service linked to the related content is searched based on the content event information. If the service is not searched, information indicating that there is no related content or service that can be provided is returned, and the selection process ends.
[0125]
When the service is searched, the process proceeds to step S4, and it is determined whether the service can be provided based on the terminal information. This is because some services cannot be received depending on the specifications of the terminal. If it is determined that the service can be provided, the related content and information about the service are returned, and the selection process ends.
(4) Available service information
Information related to the selected related content and service is stored in the
(5) Display of available services
In the
[0126]
The sent icon information includes information related to broadcast contents such as the
[0127]
The service tool is activated by selecting the service icon, and the viewer is provided with a desired service. What is represented as an image on the service icon is the content of the service together with the contents of the related content. It is expressed so that the viewer can understand what kind of content can be received with what service at a glance. Further, since the icon itself is managed by the
[0128]
Changing the icon position is changing an icon display position parameter sent to the display unit 1120, and deleting the icon is deleting target object data in the
[0129]
In the above explanation, when a viewer is watching broadcast content distributed in one direction and wants to receive a service related to related content related to the broadcast content, the viewer makes positive the request. The example in the case of inputting to the apparatus has been described.
[0130]
Even if the viewer does not positively input the request to the apparatus, the request can be automatically issued by the application at a timing preset by the viewer. Next, an example will be described. That is, when viewing broadcast content distributed in one direction, a service related to related content related to the content being broadcast is set in the device in advance, and it is time to reserve the service or receive the service. The procedure for realizing the notification function will be described.
[0131]
First, in the
[0132]
When this application operates in the
[0133]
FIG. 9 shows an example of a notification setting screen that is one of the condition setting screens 1055. By clicking the “notification setting” button in the application icon 1054, the
[0134]
As a notification method to the viewer when the notification timing comes, it is possible to select blinking or sound of the display screen. It is also possible to set the activation so that the video is automatically displayed. The example in FIG. 9 is a screen for setting notification regarding the baseball broadcast. For example, this screen is used to notify the viewer when a score is entered, when the score is three times, or when the batter has a batting order, etc. Can be set in advance.
[0135]
In the reservation setting screen, as with the notification setting screen, the timing for issuing a request is set, such as when a certain reserved time is reached, or when a specific talent appears on the screen, and the set timing The service provision request can be automatically issued.
[0136]
The application displays the event information of the broadcast content distributed from the event information provider on the application icon 1054 on the display unit 1120, and is automatically viewed at the timing set on the condition setting screen such as the reservation setting screen or the notification setting screen. The user's request to the device. In the case of a reservation, when the set timing is reached, a service provision request is issued without confirming to the viewer. In the case of notification setting, the viewer sets the timing set by flashing icons or sounds. Inform the viewer according to the prior designation and issue a service provision request.
[0137]
Next, a series of procedures such as reservation and notification setting will be described in detail. Assume that event information of broadcast content is distributed from an event information provider. The event information is received by the event
[0138]
Display of the setting screen is performed by the setting screen display unit 1124 of the display unit 1120 based on the input request sent to the
[0139]
Thereafter, the condition stored in the
[0140]
Here, transition of information displayed on the display unit 1120 regarding channeling when receiving the broadcast content of the viewer and each operation when issuing a service request will be described.
[0141]
When viewing a certain broadcast content and issuing a service request, the icon shown in FIG. 8 is displayed. When a service request is issued while changing the channel and viewing different broadcast content, the service icon related to the previous broadcast content is not displayed, and only the program icon is displayed. Subsequently, information newly transmitted from the related information
(6) Service selection, (7) Service request
Next, a procedure for selecting a service icon displayed on the display unit 1120 and receiving service provision will be described. The service icon selection input is performed by the icon
(8) Service content optimization
In the related information
[0142]
When the information regarding the service and the content and the viewer apparatus information are stored in the
[0143]
Based on the information related to the service and content stored in the
[0144]
The content conversion means 1243 converts the related content into the optimum content based on the access status information and terminal information (terminal specifications). This conversion is performed in the following cases.
[0145]
1) When the related content is created for a high-spec terminal and a high-rich access state, when the terminal spec and the access state do not match, the content is converted to the optimum content.
[0146]
2) Also, even when one content is used for a plurality of services, it is converted to the optimum content according to the service.
[0147]
The content conversion means 1243 in the case of 1) reduces the amount of data. We perform everything from reducing the amount of physical data using data compression technology to reducing the amount of data considering the meaning of summaries. Text information is summarized by semantic level using morphological analysis, dictionary, and corpus. The compression rate of images and videos such as MPEG1 and MPEG2 is changed, and video that is object-encoded with MPEG4 is selectively encoded on an object basis. The video described in MPEG7 summarizes the semantic level by processing the text description. For content with hyperlinks, etc., a weight based on the viewer profile is given to the information hanging on the link, and the link information is selectively reduced according to the weight.
[0148]
In the case of the above 2), the content conversion means 1243 performs translation into a language desired by the viewer. Conversion processing between expression media such as conversion from image to text, conversion from video to image, conversion from audio to text, conversion from image to audio, conversion from video to audio, etc. is also performed.
(9) Service provision
The content optimally converted by the content conversion unit 1243 is stored in the
(effect)
As described above, according to the present embodiment, on the premise of various communication access systems and terminals, individual viewers can interact with and cooperate with broadcast content distributed in one direction from their respective preferences. It will be possible to respond to a wide variety of services that provide the desired related content, and to provide the services fairly. In addition, it is possible to provide an environment in which a viewer can receive a desired service without catching it, and an environment that solves a problem related to annoyance when receiving a service for obtaining related content during viewing after viewing. .
[0149]
For this reason, viewers can receive and receive a wide variety of services with the most suitable content for their own terminals, linked to and linked to broadcast content distributed in one direction, and without being caught. There is a merit that there is no trouble when receiving a service for obtaining related contents. For content providers, there is a merit that individual viewers can respond to a wide variety of services that provide related content that each viewer desires according to their preferences, linked and linked to broadcast content distributed in one direction. .
[0150]
[Second Embodiment]
Next, a second embodiment will be described using Example 2-1 to Example 2-4. In the second embodiment, when a pointing operation is performed on a subject in which the viewer is interested in the video information, the pointing operation is performed based on information added in relation to the subject. It is possible for viewers to obtain related information related to the subject that has been dismissed, and to accumulate information on the subject that the viewer is interested in, and to receive broadcasts based on this accumulated information. Select information and store selected broadcast information.
[0151]
[Example 2-1]
FIG. 10 is a system configuration diagram showing Example 2-1 of the viewer apparatus according to the second embodiment of the present invention. In FIG. 10, 2010 is broadcast information including
[0152]
In digital broadcasting, additional information related to video can be broadcast as program arrangement information in a video broadcasting channel. Alternatively, in a data channel that broadcasts only data such as text and still images, it is possible to broadcast related information of video broadcast on other broadcast channels. As additional information, for example, the title and genre of the program in the video, the broadcast date and time, and the like are considered.
[0153]
In the present invention, the additional information includes at least information on the subject as a display unit appearing in the
[0154]
The subject coordinate value is a coordinate value that represents a region where the subject exists on the display screen. The subject appears or leaves with the time, and moves within the screen while it appears. For this reason, the subject coordinate values must be defined for each frame of the
[0155]
The
[0156]
The configuration of broadcast information including the related information and video information described above will be described below.
[0157]
As a first configuration method, there is a case where related information as shown in FIG. 11 is inserted as header information at the head of each video frame information in the video information. For example, in the case of an MPEG2 video stream, it is conceivable to insert related information into the header of the picture hierarchy, that is, the user data area of the picture header.
[0158]
Further, as a second configuration method, there is a case where video information and related information are configured separately, and the related information includes a frame number for identifying a corresponding video frame as shown in FIG. is there.
[0159]
In the case of the second configuration method, the video information can be transmitted on the video broadcast channel, and the related information can be transmitted on the data channel. Alternatively, in systems such as BS digital broadcasting and CS digital broadcasting, MPEG2 System (ITU-T H.222.) Is used as a part of program arrangement information defined by ARIB STD-B10 “program arrangement information used for digital broadcasting”. 0, ISO / IEC 13818-1) may be used to transmit related information using a data structure in a section format defined by ISO / IEC 13818-1.
[0160]
In the case of the second configuration method, the broadcast information is configured so that the related information is input to the viewer apparatus at the same time as or before the corresponding video frame.
[0161]
In FIG. 10, 2002 is a viewer apparatus according to the present embodiment, and is composed of the elements described below.
[0162]
The
[0163]
The video
[0164]
The
[0165]
The
[0166]
The related information
[0167]
The related
[0168]
The subject related
[0169]
An input device 2208 is a keyboard or other input device for operating the system. The subject attribute
[0170]
The related
[0171]
The operation of the system according to Example 2-1 having the above configuration will be described below.
[0172]
When the subject is pointed on the
[0173]
The related information
[0174]
FIG. 12 illustrates an example in which the subject representative graphic 2042 of the subject 2041 is displayed on the subject related
[0175]
Note that it is preferable to use different display devices for the
[0176]
FIG. 13 shows a more detailed example related to the subject related
[0177]
In the
[0178]
Next, when the viewer points the subject representative graphic etc. 2042 displayed on the subject related
[0179]
If the transmitted
[0180]
The related information
[0181]
In the above operation, the timing at which the viewer points to the subject representative graphic 2042 is arbitrary during the broadcast reception or after the broadcast reception. Therefore, when there is a lot of information to be referred to, it is possible to refer to the related information sequentially at a convenient time after receiving the broadcast.
[0182]
[Example 2-2]
Next, a viewer apparatus having a video filtering accumulation function will be described as Example 2-2. FIG. 14 is a system configuration diagram illustrating Example 2-2. The system configuration according to the embodiment 2-2 adds an interest
[0183]
In FIG. 14, in addition to the functions described in the embodiment 2-1, the related information
[0184]
Further, the interest
[0185]
Note that the present invention includes a function that can move or delete the subject representative graphic or the like 2042 displayed by the viewer in the subject related
[0186]
Next, the operation of this system in Example 2-2 will be described.
[0187]
The video
[0188]
When the subject 2041 is pointed at the
[0189]
The related information
[0190]
When the viewer points the subject representative graphic etc. 2042 displayed on the subject related
[0191]
Below, it demonstrates centering on the point from which the operation | movement of this system in Example 2-2 differs from that of Example 2-1.
[0192]
In Example 2-2, in addition to the functions described in Example 2-1, the related information
[0193]
The displayed time is based on the display start time and end time when the related information is displayed on the subject related
[0194]
The interest
[0195]
Furthermore, the text included in the
[0196]
Further, even when the viewer moves or deletes the subject representative graphic or the like 2042 displayed on the subject related
[0197]
Further, the interest
[0198]
Next, a specific example of the interest information extraction unit will be described.
[0199]
In the following description, it is assumed that the related information in this embodiment includes a URI and a keyword group indicating the content content of the URI. For example, related information related to a car appearing in a video as a subject is given the appearance position in the video of the car, the URL address of the specification information homepage of the car, and {car} as keywords. Yes. A specific description example of such related information is shown below.
[0200]
<frame no = "N">
<object>
<location> (XA, YA)-(XB, YB) </ location>
<uri> url: www.automobile.com/car_A/spec.html <uri>
<keyword> Auto </ keyword>
</ object>
</ frame>
The above example corresponds to the case where only the automobile is present as the subject in the video frame with the frame number “N”. <frame no = "N"> ... Between the </ frame>, information about the video frame with the frame number “N” is described. <object> ... Information about one subject is described between </ object>. In this case, {automobile} is described as the appearance position in the video of the automobile, the URL address of the specification information homepage of the automobile, and the keyword. If there are multiple subjects, <frame no = "N"> ... </ frame><object> ... </ object> exists. The related information need not be in the XML format as described above, and may have a table type configuration as shown in FIG.
[0201]
The interest information extraction unit in this example holds a user profile including a keyword group and the weight of each keyword as viewer interest information. An example of a user profile is shown below.
[0202]
{Automobile: 1, Panda: 2, Steco: 1, Namako: 1}
In the above example, the user profile is described as a set having a plurality of combinations of “keyword: weight of the keyword”.
[0203]
Here, when the viewer points to a car that has appeared as the subject of the video being viewed, the interest information extraction unit increments the weight of the keyword “car” by one. If the keyword “car” does not exist in the user profile when the car is pointed, the keyword “car” is added to the user profile and the weight is set to 1.
[0204]
Therefore, when a car appears 10 times as the subject of the video being viewed, and the viewer points to all the automated persons, the user profile is
{Automobile: 11, Panda: 2, Steteco: 1, Namako: 1}
become.
[0205]
When the viewer deletes the subject representative graphic 2042 displayed on the subject related
{Automobile: 11, Panda: 2, Steteco: 1, Namako: 1}
When the viewer deletes from the subject related
{Automobile: 10, Panda: 2, Steteco: 1, Namako: 1}
Updated to
[0206]
When the viewer points to the subject representative graphic 2042 displayed on the subject related
{Automobile: 10, Panda: 2, Steteco: 1, Namako: 1}
When the viewer points to the subject representative figure 2042 of the subject associated with the related information including the keyword {car} and refers to the related information for 10 minutes, the user profile is
{Automobile: 20, Panda: 2, Steteco: 1, Namako: 1}
Updated to
[0207]
Furthermore, the interest information extraction unit performs processing according to the following rules when filtering broadcast information.
[0208]
When a keyword included in related information associated with a subject in the received video is included in the user profile, the weight of the keyword is set as the degree of interest in the subject. When there are a plurality of keywords included in the user profile, the sum of the weights of the keywords is set as the degree of interest in the subject. If the degree of interest is greater than or equal to a certain value K, it is assumed that the viewer is interested in the subject, and processing equivalent to that for automatically pointing the subject is performed. For example, if K = 10, the user profile is
{Automobile: 20, Panda: 2, Steteco: 1, Namako: 1}
If the related information including the keyword {car} is received, the degree of interest in the corresponding subject is 20 and satisfies K = 10 or more, so that the viewer automatically selects the corresponding subject. Executes the same processing as pointing. That is, processing such as displaying a subject representative figure corresponding to the subject on the subject related information display unit is performed.
[0209]
Note that what has been described above is an example of processing of the interest information extraction unit, and in addition to the above, rules such as weighting of various keywords, rules for using keywords, and the like can be used.
[0210]
[Example 2-3]
Next, Example 2-3 will be described.
[0211]
FIG. 15 is a system configuration diagram showing Embodiment 2-3 of the present invention. The embodiment 2-3 is a broadcast information transmission / reception system in which a
[0212]
The broadcast station is a broadcast station connected to a satellite broadcast system or a terrestrial broadcast system such as BS digital broadcast, CS digital broadcast, terrestrial digital broadcast, and the like, and performing broadcast via the broadcast infrastructure. As shown in FIG. 16, this is a broadcasting station that uses a server connected to a predetermined network such as the Internet or a broadcasting cable, and performs network broadcasting such as so-called Internet broadcasting or cable television broadcasting via the predetermined network. There is a case.
[0213]
[Example 2-4]
Next, Example 2-4 will be described.
[0214]
FIG. 17 is a system configuration diagram showing Embodiment 2-4 of the present invention. Example 2-4 is a broadcast information transmission / reception system in which a video storage
[0215]
In Example 2-4,
[0216]
Also in the second embodiment, it is possible to acquire related information related to the viewer information and the terminal information. For example, together with video information, a plurality of URIs corresponding to viewer information and terminal information are transmitted as related information to the viewer apparatus, and the viewer apparatus receives the viewer information or the like previously input to the viewer apparatus. A URI that matches the terminal information is selected. As the related information to be added, for example, formats such as related information examples 1 to 5 in the fourth embodiment described later can be used.
[0217]
(effect)
In the viewer apparatus and the broadcast information transmission / reception system according to the present embodiment, for each subject as a display unit appearing in the video, broadcast information to which related information in which URI information indicating the location of the related information is defined is added is received. Then, when the viewer points to the subject displayed on the video display screen, characters, figures, etc. representing the subject are displayed on the screen, and then corresponding to the pointing operation on these characters, figures, etc. The related information is read from the corresponding URI information and displayed on the screen. Thereby, the viewer can obtain and refer to information related to the subject that is interested while viewing the video information from an information source other than the broadcast information.
[0218]
In addition, when the viewer points to a plurality of subjects one after another, characters, figures, etc. representing each of them are sequentially added and displayed on the screen. As a result, even when there is a lot of related information that the viewer wants to refer to, it can be referred to without being restricted by time after viewing the broadcast information.
[0219]
In addition, interest information that takes into account the number of times the subject is pointed to by the viewer and the display time information of related information referenced in relation to the number of points of interest is extracted and retained, and broadcasted during times when the user is not viewing Broadcast information that matches interest information is automatically selected from the information and can be stored. As a result, the viewer can obtain broadcast information suitable for the genre of related information that he / she referred to in the past without time restrictions.
[0220]
In particular, in the present invention, when the viewer deletes the displayed subject representative graphic or the like, it is assumed that the interest in the URI information has been lost, and the interest information that has been accumulated is reduced so that the interest information is extracted. Since it is reflected, after the viewer sufficiently refers to the related information, the acquisition of the information of the genre can be stopped according to the dynamic change of the viewer's interest.
[0221]
In addition, since related information can be obtained in units of subjects, it is possible to define related information for subjects appearing in various scenes, and as a result, it is more detailed than in units of conventional video programs. It is possible to refer to related information. For example, even if it is the same subject, its meaning will generally change depending on the scene in which it appears, but by defining related information for each frame, it is possible to refer to diverse and accurate related information. In addition, more detailed video information can be automatically selected.
[0222]
For example, even if it is the same subject, its meaning will generally change depending on the scene in which it appears, but by defining related information for each frame, it is possible to refer to diverse and accurate related information. In addition, more detailed video information can be automatically selected. In addition, since characters / graphics with respect to the pointed subject are additionally displayed on the screen, the viewer can refer to related information without being restricted by time.
[0223]
In addition, since the viewer can point to the subject of interest, only relevant information of interest can be browsed accurately, so that the viewer is interested in what kind of information from the pointing operation of the subject. It is possible to obtain information that suggests whether or not there is.
[0224]
[Third Embodiment]
Next, a third embodiment of the present invention will be described. In the present embodiment, related information is acquired by processing an event from a terminal such as a personal computer in synchronization with broadcast content such as television and radio. Here, the event processing synchronized with the broadcast content means that when an event such as a button pressing operation occurs in the viewer device, the content of the action executed in response to the event corresponds to the broadcast content as needed. It is a process to change. As a specific example, when CM1, CM2, and CM3 are continuously broadcast on a predetermined TV broadcast channel, when the user presses the button on the viewer device when CM1 is broadcast, There is a process in which a link to information on CM1 is presented on a display device connected to the viewer device. Similarly, when the user presses the button on the viewer device when CM2 is broadcast, a link to information on CM2 is presented, and when the CM3 is broadcast, the button on the viewer device is used. When the user presses, a link to information on CM3 is presented.
[0225]
FIG. 18 is a configuration diagram of a system according to the third embodiment of the present invention. 18 includes a related information providing server 3001 (hereinafter referred to as “
[0226]
In addition, the
[0227]
Here, the events that occur in the
[0228]
What operation or occurrence of an event is an event depends on what application is realized using the system of the present invention. For example, when a viewer is interested in a subject or BGM in a drama video while watching a drama video on a television, when the user presses a so-called bookmark button on the
[0229]
The actions executed by the
[0230]
Further, when the
[0231]
Further, the
[0232]
FIG. 19 is a configuration diagram of the
[0233]
The
[0234]
The
[0235]
FIG. 20 is a sequence diagram of the method according to the present embodiment. The server action
[0236]
FIG. 21 shows an example of an action table according to the present invention, and FIG. 22 shows an example of a client occurrence event list according to the present invention.
[0237]
The specific operation according to the present embodiment will be described below.
[0238]
When the
[0239]
The action
[0240]
Thereafter, the action
[0241]
Further, when an event occurs in response to a client operation or action execution, the
[0242]
Further, the action
[0243]
Further, in the
[0244]
Further, the
[0245]
The
[0246]
(Example 3-1)
Next, a specific example in which the system according to the present invention is applied to television broadcasting will be described as Example 3-1.
[0247]
In Example 3-1, when a viewer is interested in a subject, background, BGM or the like in a drama video sound while watching a drama video on a television, a button for a so-called bookmark of the
[0248]
FIG. 23 is an example of an action table according to the present invention. This action table has a valid period from
[0249]
According to the action table of FIG. 23, if the button of the identifier (0, 0) is pressed between
[0250]
The
[0251]
FIG. 24 is an example of the action table acquired next. In order to acquire the action table for the next valid period, the
[0252]
Each client (viewer device) is also characterized in that the content of the action table for the
[0253]
25 and 26 are examples of action tables having different contents. When there are a plurality of
[0254]
Thus, the content of the action table to be acquired differs depending on whether or not an event has occurred in each
[0255]
(Example 3-2)
Next, Example 3-2 in which the system according to the present invention is applied to television broadcasting will be described.
[0256]
In Example 3-2, while viewing an educational program or the like on a television, a predetermined information page related to the contents of the program, that is, the Internet, is displayed in accordance with the progress of the program on the screen of the
[0257]
FIG. 27 is an example of an action table in Example 3-2. According to FIG. 27, the action of additionally displaying a homepage whose URL is http: // page1 on the screen is described as “open http: // page1”. When the viewer apparatus is mounted on a personal computer on which an OS of MS-Windows is installed, the execution of the action “open http: // page1” is executed on the Internet browser program “iexplore.exe” on MS-Windows. The homepage specified by the URL is opened using a function such as.
[0258]
In this operation, first, the
[0259]
Furthermore, since the expiration date of the action table shown in FIG. 27 is 00/09/04/19: 15: 00, when it becomes 00/09/04/19: 15: 00, FIG. The action table is updated to the newly acquired action table, and thereafter, the action is executed every time specified by the event identifier of the updated action table.
[0260]
(Example 3-3)
Next, Example 3-3 in which the system according to the present invention is applied to television video broadcasting will be described.
[0261]
In Example 3-3, as shown in FIG. 28, the
[0262]
When the broadcast receiving apparatus that receives the broadcast video and the output device of the viewer apparatus are integrated, the information display area (display screen) of the broadcast receiving apparatus and the output device integrated apparatus is as shown in FIG. Configuration can be taken.
[0263]
In the present embodiment, in the above-described environment, when a viewer points to a subject in each video frame of a broadcast video with a pointing device connected to the viewer device, an action corresponding to the pointed subject is executed. To do. As the action to be executed, various processes such as presenting a homepage related to the pointed subject and adding a homepage related to the pointed subject to the bookmark can be considered. In the present embodiment, a case will be described in which an action of additionally displaying an icon image corresponding to the pointed subject on the screen is executed.
[0264]
In this case, an example of the action table provided from the related
[0265]
According to the action table of FIG. 30, when the inside of a rectangular area having coordinates (100, 100) and (200, 200) as a diagonal line is pointed between
[0266]
Usually, a subject to be pointed exists in a rectangular area to be a pointing target in the broadcast video display area. For example, from
[0267]
In the description of each embodiment, the action described by “add icon_X” can be further expanded and described as “add icon_X URL”. Specifically, the description is “add icon_A www.ntt.co.jp”. In this example, the action additionally displays the icon A, and when the icon A is selected by the viewer at an arbitrary time, information on the URL address “www.ntt.co.jp” is displayed. It corresponds to the process of presenting.
[0268]
As described above, according to the present embodiment, it is possible to define events in the viewer apparatus in various forms. For example, when various button operations occur, when an operation with a pointing device such as a mouse occurs, or when voice is input from a microphone connected to the viewer apparatus. When the viewer apparatus has a system for speech recognition, a predetermined word may be input from the microphone. Furthermore, when the absolute time reaches a predetermined time, when a predetermined time elapses after an arbitrary event occurs, or when a plurality of these events occur simultaneously.
[0269]
Further, according to the present embodiment, the event identifier for identifying the event as described above is defined in advance. The event identifier may have a different definition for each service to be applied. Accordingly, as described above as a specific embodiment, an information providing service linked to television broadcasting can be provided in various forms.
[0270]
Also in the present embodiment, it is possible to acquire related information related to viewer information and terminal information. For example, when viewer information and terminal information are transmitted in advance from the viewer device to the related information providing server, and the related information providing server creates an action table for each viewer device, the viewer information and terminal information To take into account.
[0271]
(effect)
As described above, according to the recording medium in which the system, method, and control program according to the present embodiment are recorded, the viewer apparatus can synchronize with the broadcast content of the predetermined channel to be broadcast without acquiring the data signal multiplexed in the broadcast. It is possible to quickly execute the processing for the event. Therefore, it is not necessary for the viewer apparatus to have a function of acquiring the data signal multiplexed in the broadcast from the broadcast receiving apparatus. In addition, when the viewer device performs a button operation or the like, the action table corresponding to the event that has occurred immediately is executed with reference to the action table already held in the action
[0272]
In addition, according to the present embodiment, since the event identifier for each viewer device is managed in the server, appropriate different action contents are executed for each viewer device for the same event.
[0273]
[Fourth Embodiment]
Next, the 4th Embodiment of this invention is described using Example 4-1 and Example 4-2. In the present embodiment, the partial broadcast information is transmitted from the viewer device to the related information providing server, and the related information providing server searches for the related information based on the partial broadcast information and transmits it to the viewer device.
[0274]
(Example 4-1)
Referring to FIG. 33, the broadcast receiving system with a related information providing function in the fourth embodiment of the present invention receives broadcast information including video and audio from the
[0275]
The
[0276]
The related information is information related to specific broadcast information, and is multimedia information composed of text, images, sound, music, video, and the like. For example, when a movie is provided as broadcast information, the related information is profile information of characters in the movie described in HTML, BGM title, composer information, and the like. In the case of a video, it is detailed information on a product advertised by the CM, information on the BGM of the CM, and the like. Alternatively, the related information may be address information for accessing the multimedia information content, that is, URL (Uniform Resource Locators) to the content.
[0277]
When the related information is a URL to multimedia information content related to arbitrary broadcast information, the
[0278]
The related
[0279]
The
[0280]
The broadcast
[0281]
As shown in FIG. 35, the
[0282]
The
[0283]
Next, the operation of the broadcast receiving system with a related information providing function of this embodiment will be described.
[0284]
When the viewer operates the related information acquisition instruction button 4018 while viewing the broadcast information, the related
[0285]
Here, as an implementation example of the related
[0286]
In addition, the broadcast
[0287]
As the partial broadcast information, in addition to the above-described audio signal or feature vector extracted from the audio signal, various features extracted from the video signal such as video frame data, video sequence data (a series of continuous frame data), and a color histogram. The amount is considered.
[0288]
Next, in this embodiment, a specific operation of the system when the viewer acquires information related to broadcasting during viewing will be described.
[0289]
First, the related
[0290]
The related
[0291]
The
[0292]
(Example 4-2)
In the examples described above, basically, the related information provided when the viewer designates arbitrary broadcast information does not depend on the attributes of the viewer, and corresponds to the same broadcast information, The same related information was provided to all viewers.
[0293]
Also in this embodiment, similar to each of the above-described embodiments, it is possible to provide different related information for each viewer and viewer device based on the viewer information and the terminal information of the viewer device. is there. In the present embodiment, a configuration for providing different related information for each viewer and viewer device will be described in detail as Example 4-2.
[0294]
As in the first embodiment, the viewer information is information about the viewer, such as name, gender, age, occupation, address, zip code, family structure, residence information (apartment, detached house, etc.), hobby Interest genre (politics, economy, news, computer, books, sports, travel, etc.), annual income, information on whether or not you are a member of various services, membership number or credit card ID, various qualifications (driver's license ), Etc., including information on presence / absence, information on body shape (weight, height, clothing size, etc.), information on ability (sight, hearing, etc.), and the like.
[0295]
The terminal information is the resolution of the display device of the viewer device, the number of displayable colors, the performance of the WWW information browsing means (whether the Java function can be used, the presence / absence of the video / audio content playback function, the encoded format information that can be played back by the video / audio content, Etc.).
[0296]
In the following, with respect to the case of providing different related information for each viewer and viewer apparatus based on the viewer information and the terminal information of the viewer apparatus, the differences from the embodiment 4-1 will be described with reference to FIGS. Will be described with reference to FIG.
[0297]
In the present embodiment, as shown in FIG. 37, the viewer apparatus includes a
[0298]
The terminal information is stored in the
[0299]
In the present embodiment, the related information held in the
[0300]
The related information when the related information body is a URL is, for example,
Related information example 1: “URL1, (for women), (target age 20 and above), (1024x800 and above), (256 colors and above)”
Related information example 2: “URL2, (clothing size M), (Java function required)”
Related Information Example 3: “URL3, (Occupation: Housewife), (Tokyo)”
Related information example 4: “URL4, (for women), (sight below 0.8)”
Related information example 5: “URL5, (genre: sports)”
It becomes something like that.
[0301]
In this example, the actual related information is advertisement information of cigarettes for women in the related information example 1, and corresponds to a case where the content is less than 20 years old or unsuitable for men. The related information example 2 may be clothing advertisement information, the related information example 3 may be product information of a supermarket in Tokyo, the related information example 4 may be advertising information for female glasses, and the like. The
[0302]
As shown in FIG. 36, the 4001 related
[0303]
The related
[0304]
Specifically, the related information associated with the broadcast information identification information identified from the partial broadcast information received by the related
[0305]
The viewer information is (female), (Kyoto), (sight 1.5) (interesting genre: book), and the terminal information is (resolution 1024x800), (Java available). In this case, the related
[0306]
In addition to the above-described example, when the related information includes the information (available only to A service members) as the attribute information and the A service member number is included as the viewer information, the related information is used as the viewer device. 4001 may be transmitted. Also, when the attribute information includes information (requires a car license) is included in the related information, and the viewer information includes (car licensed), the related information is transmitted to the
[0307]
In addition, when the information (mpeg2 format) is added to the related information as the attribute information and the terminal information includes (reproducible encoding method: mpeg2), the related information is transmitted to the viewer apparatus. Etc.
[0308]
As described above, in the above Example 4-2, by using the viewer information and the terminal information, related information that is unnecessary for the viewer and related information that cannot be used in the viewer device used by the viewer. Is not transmitted, and only the information considered necessary or available to the viewer is provided to the viewer.
[0309]
(effect)
As described above, according to this embodiment, it is not necessary to perform special processing such as adding information necessary for providing related information to broadcast video and audio, and broadcast video and audio Even when temporarily accumulating and reproducing and viewing, it is possible to provide related information related to broadcast video and audio via the network.
[0310]
[Fifth Embodiment]
Next, a fifth embodiment of the present invention will be described. In the present embodiment, a service that is accurately synchronized with a broadcast image frame is realized by using a frame ID or the like superimposed on the broadcast audio.
[0311]
As such a service, for example, when a user presses a button on the viewer device at hand while watching a television broadcast, the service is related to the content of the video displayed on the TV at the time the button is pressed. There is a service in which relevant information is acquired via a network and can be used in a viewer apparatus.
[0312]
In addition, while viewing an educational program or the like, a text book or the like used for explanation in the educational incense group is displayed on the display device of the viewer device, and a page is turned as the program progresses, and an underline is drawn. A service in which an action such as displaying a pointer indicating a part to be explained is also possible.
[0313]
In order to realize the service described above, it is necessary for the viewer apparatus to be able to grasp the content of the broadcast being viewed by the user at an arbitrary time. In other words, in the present embodiment, the viewer apparatus always superimposes information such as which channel the user is watching on the TV, what video is currently displayed on the TV, and the like on the audio. Grasp using frame ID etc. Thus, for example, when a button is pressed on the viewer device, in a service that acquires related information related to the video being viewed, when the video scene shown on the television is switched and the content changes, The relevant information to be acquired can be switched instantaneously.
[0314]
The term “related information” in the present embodiment is used when referring to information for acquiring content related to broadcast information, and also when referring to content itself related to broadcast information.
[0315]
FIG. 38 is a diagram showing an example of the configuration of the entire broadcast synchronous service providing system according to the fifth embodiment of the present invention, where
[0316]
In the broadcast synchronization type service providing system shown in the figure, a digital data signal including at least a channel ID and an image frame ID or an audio frame ID is converted into an analog audio wave of a broadcast wave on the broadcast station side that broadcasts audio and video. Superimposing signal adding means 5003 is provided.
[0317]
For example, when the frame rate of the video to be broadcast is 30 frames / second, the data signal can be superimposed on the audio wave by sequentially superimposing the data signal every 1/30 seconds. As a method for superimposing the data signal on the voice, the signal adding means uses, for example, a data hiding technique (see Nikkei Electronics, No. 683 (1997), pp. 99 to 125, 149 to 162). Can do.
[0318]
As an example of a method of superimposing a data signal on an audio signal, the transmission side deletes a specific frequency component (band) of the audio signal in correspondence with “0” and “1” of the binarized data signal and transmits On the receiving side, the frequency component deleted from the audio signal is detected and the binary data string is reproduced. On the transmitting side, the binary data signal “0” or “1” is supported. There is a method of transmitting the specified frequency component outside the audio signal band and reproducing the binary data sequence by detecting the frequency component added outside the audio signal band on the receiving side.
[0319]
In FIG. 38, the broadcast receiving side includes a broadcast receiving apparatus that reproduces broadcast audio and video, and a
[0320]
FIG. 39 is a diagram illustrating an example of a configuration of a viewer apparatus. The
[0321]
Further, storage means 5016 for storing data necessary for each process, output means 5012 such as a display for displaying related information provided from a server on the network at the time of use to the user, It has input means 5013 such as a mouse and a keyboard for inputting information necessary for operating the terminal, and a control means 5017 for controlling them.
[0322]
In the broadcast-synchronized service providing system in the present embodiment, as shown in FIG. 39, on the broadcast station side, the data signal is superimposed on the audio of the broadcast information as described above, and broadcast together with the video of the broadcast information. On the other hand, the viewer apparatus extracts the data signal superimposed on the analog audio wave of the broadcast information by the data signal extraction means (channel ID and image frame identification means) shown in FIG. It is possible to accurately grasp the state of broadcast information that the user is viewing, that is, what kind of scene of which broadcast channel is being viewed.
[0323]
Therefore, the viewer apparatus can provide a broadcast synchronous service to the user by communicating with a server that provides related information related to the broadcast information existing on a network or the like. Here, as described above, the broadcast-synchronized service refers to, for example, sequentially providing related information that changes in synchronization with the progress of a program being watched (actually, changes in audio and image frames) to the user, or A service such as marking related information in the scene by pressing a button or the like in a scene in which the user is interested, and browsing the information later can be provided.
[0324]
Furthermore, by connecting and using means capable of recording and reproducing broadcast information to the broadcast receiving apparatus in the above-mentioned system, the user can not only broadcast the currently broadcast program but also the once recorded broadcast program. You can use the services as described above at any time. The operation of the broadcast synchronization service providing system will be described below.
[0325]
FIG. 40 shows a configuration diagram of an example in the fifth embodiment. In the figure,
[0326]
In the broadcast synchronization service providing system of the present invention, the produced broadcast information is broadcast as a program by a broadcasting means on the broadcast station side for general users. At this time, a data signal including a channel ID capable of uniquely identifying a broadcast channel and an image frame ID capable of uniquely identifying an image frame is superimposed on the sound of the broadcast information by a signal adding unit.
[0327]
The above processing is performed for all broadcast information targeted for the broadcast synchronous service. As a result, the broadcast channel currently being viewed and the image frame can be uniquely identified by extracting the data signal superimposed on all the broadcast information to be serviced.
[0328]
On the other hand, on the broadcast receiving side, broadcast information broadcast by using a
[0329]
The channel ID and the image frame ID are confirmed from the collected sound by the data signal extracting means. At this time, based on the confirmed channel ID, the viewer apparatus relates to the broadcast information of the currently viewed broadcast channel from the related information content providing server related to each broadcast information of each broadcast channel scattered on the network. After the related information content providing server is identified, the related information content providing server is accessed via the network and the image frame ID is transmitted.
[0330]
The related information content providing server manages a broadcast information database constructed by a broadcast information
[0331]
Therefore, the related information content providing server can accurately grasp the scene currently being viewed by the user by receiving the information of the image frame ID transmitted from the viewer apparatus on the user side corresponding to the client. The related information according to the scene can be transmitted to the viewer apparatus. By sequentially repeating the above-described operation, the user can be provided with related information accurately synchronized with the broadcast information currently being viewed. Thereby, a broadcast synchronous service can be realized.
[0332]
In the broadcast synchronization service providing method of the present invention, the broadcast synchronization service providing system is based on the operation of the broadcast synchronization service providing system described above, and the broadcast information that the user is currently viewing by specifying the format of the image frame ID. To improve the reliability when the viewer apparatus grasps the above.
[0333]
FIG. 41 shows a data structure including a channel ID and an image frame ID. As described above, the channel ID and the image frame ID are such that the broadcast channel and the image frame can be uniquely identified. In particular, the image frame ID is a continuous number in time series. In the viewer apparatus, as described above, the sound reproduced from the speaker of the broadcast receiving apparatus is collected by the microphone, and the channel ID and the image frame ID are sequentially identified by the data signal extracting means.
[0334]
FIG. 42 shows an actual processing flow when the two IDs are confirmed. When the viewer apparatus is activated, it sets two values of “last channel ID” and “last image frame ID” as initial values. The initial value to be set at this time is, for example, the value of “Last Channel ID”, which may be the channel ID that was viewed immediately before the last viewing and termination, or a predetermined channel ID, etc. If the value is “image frame ID”, a value such as “0” may be considered.
[0335]
The viewer apparatus sequentially extracts a data signal from the sound and identifies the channel ID and the image frame ID (step S1). The viewer apparatus follows the following process based on whether or not the two IDs are correctly confirmed. First, when the channel ID is confirmed correctly, the channel ID is used as the channel ID of the currently reproduced broadcast channel (step S2), and the data signal is not correctly extracted from the sound, and the channel ID is confirmed. If not, the value of “last channel ID” is used as the channel ID of the currently reproduced broadcast channel (step S3). Then, the current channel frame ID is recorded (step S4).
[0336]
On the other hand, regarding the recognition of the image frame ID (step S5), when the image frame ID is correctly confirmed, the image frame ID is used as the image frame ID of the currently reproduced image in the same manner as the channel ID ( Step S6). On the other hand, if the image frame ID is not confirmed, the image frame ID is a continuous number in time series as described above, so that a value obtained by adding 1 to the value of the “last image frame ID” is currently reproduced. It is used as an image frame ID of the existing image (step S7). Then, the existing image frame ID is recorded (step S8).
[0337]
After both the channel ID and the image frame ID are used as the current values, the “last channel ID” value and the “last image frame ID” value are set (step S9), respectively. And a data signal is extracted from the audio | voice of the following area (step S10). In this way, it is possible to always hold and use the most recently used value in the processing flow sequentially performed. By determining the image frame ID as described above and following the processing flow, it is possible to interpolate the image frame ID even when the data signal is not correctly extracted from the sound during viewing of the same program, so that service provision is maintained. it can.
[0338]
A specific example of a case where the present broadcast synchronous service providing method is applied to a television broadcast will be described by taking a certain television program as an example. It is assumed that a broadcasting station that broadcasts the television program is provided with means for superimposing a data signal on sound in advance, “a” is given as the channel ID of the broadcasting station, and the image frame D is “ It starts with 1 ”.
[0339]
Here, the confirmation result of the channel ID and the image frame ID as a result of the data signal extraction means after the viewer apparatus is activated is assumed as shown in FIG. 43, and the variable for storing the value of “last channel ID” is set to “LAST”. -CH-ID ", the variable storing the value of" last image frame ID "is" LAST-FRAME-ID ", the variable storing the value of" current channel ID "is" CH-ID "," current A variable for storing “image frame ID” is assumed to be “FRAME-ID”.
[0340]
First, when the viewer apparatus is activated while watching this TV program, for example, “z” is set as “LAST-CH-ID” and “0” is set as “LAST-FRAME-ID”. Is set. Next, for the first time, the result of identification by the service terminal using the data signal extracting means is that the channel ID is “a” and the image frame ID is “1000” accurately confirmed from FIG. 43 (step 1). “CH” is set to “a”, “FRAME-ID” is set to “1000”, “LAST-CH-ID” is set to “a”, and “LAST-FRAME-ID” is set to “1000”. Is done.
[0341]
However, in the result of the next data signal extraction means, both the channel ID and the image frame ID are “unknown” from FIG. 43 (step 2). Therefore, in accordance with the processing flow of FIG. 42 described above, “CH-ID” refers to “LAST-CH-ID” and “FRAME-ID” refers to “LAST-FRAME-ID”. By adding 1, “1001” is set, and the respective values are set as new “LAST-CH-ID” and “LAST-FRAME-ID” values.
[0342]
FIG. 44 shows the values of the variables obtained for the data signal extraction processing result of FIG. 43 according to such a procedure. On the other hand, the viewer apparatus accesses the related information content providing server related to the broadcast content via the network based on the value of “CH-ID” obtained as a result of the processing flow, and sequentially transmits “FRAME-ID”. .
[0343]
The related information content providing server transmits the character data, voice data, image data, or the URL where the related information exists in advance to the received “FRAME-ID” to the service terminal. Is displayed, reproduced, drawn, or the URL is opened in a browser.
[0344]
For example, if the content of the program is English conversation, a change in related information such as character data is displayed as text in accordance with a sentence pronounced by a person in broadcast information, and more important sentences are underlined. be able to.
[0345]
In the above description, the case where video and audio are broadcast at the same time as in television broadcasting is described. However, the present invention is not limited to the case where audio and video are broadcast at the same time. It is also effective for broadcasting only. In this case, since there is no image frame, an audio frame ID is used instead of the image frame ID. The voice frame ID is an identifier uniquely assigned to each section of the voice divided by a certain time interval.
[0346]
In the description so far, the audio output from the speaker of the broadcast receiving apparatus such as a television receiver is received by the viewer apparatus with a microphone and converted into an electric signal, and the image frame ID and the audio frame ID are converted from the electric signal. Although a configuration for extracting as a data signal is described, when an audio electrical signal can be directly extracted from a broadcast receiver such as a television receiver, a data signal directly superimposed from the audio electrical signal without interposing a microphone It can also be set as the structure which extracts.
[0347]
Also in the present embodiment, it is possible to provide different related information for each viewer and viewer device based on the viewer information and the terminal information of the viewer device. For example, in the same manner as the method described in the embodiment 4-2, when the viewer apparatus requests related information from the related information content providing server, the viewer information and the terminal information are transmitted together with the frame ID and the like. The content providing server may select related information related to the viewer information or terminal information and provide it to the viewer apparatus.
[0348]
(effect)
According to the invention according to the present embodiment, even in a broadcast receiver such as a television receiver and a radio and a viewer apparatus that does not have a communication means such as a communication line for performing digital signal communication, the audio of the broadcast information By extracting the data signal superimposed on and confirming the channel ID, the image frame ID, and the audio frame ID, it is possible to recognize the currently viewed broadcast channel and image frame, and the broadcast contents and network It is possible to realize a service that needs to be accurately synchronized with related information contents.
[0349]
Further, by connecting means capable of recording and reproducing broadcast information, when not viewing in real time, that is, in a system configured to record broadcast audio-video in advance and view it when desired. By reproducing the video and audio by the means, it becomes possible to recognize the broadcast channel, the image frame, and the audio frame ID, and to receive the same service as when viewing in real time.
[0350]
Also, in the viewer device, when the sound reproduced from the broadcast receiving device is collected from the microphone, the data signal cannot be correctly extracted from the sound due to the influence of noise or the like, and the image frame ID is temporarily confirmed. Even if it is not possible, it is possible to interpolate the missing image frame ID and audio frame ID, so during the viewing of the same broadcast program, provision of a service that requires accurate synchronization between the broadcast information and the related information is in progress. Can continue to maintain without interruption.
[0351]
That is, as described above, according to the present embodiment, in the viewer apparatus that is provided separately from the broadcast video viewing apparatus and does not have a function that can directly acquire a data signal or the like multiplexed in the broadcast from the broadcast receiving apparatus, Currently, it is possible to provide a service of related information that is accurately synchronized with changes in the contents of a broadcast program being viewed. That is, even if the user does not operate according to the broadcast video, the related information can be updated automatically and in a timely manner, and the operability of the broadcast synchronous service can be improved.
[0352]
Furthermore, according to the broadcast synchronization type service providing method of the present embodiment, by setting the image frame ID as a continuous number, even if the viewer device fails to extract the image frame ID from the sound, the time The image frame ID can be interpolated from the difference and used. Further, even if the recorded video once accumulated by the recording device is used, it is possible to receive the broadcast synchronous service at the user's preferred time by utilizing the fact that the audio is simultaneously recorded.
[0353]
Note that the viewer apparatus and related information providing server of the present invention in each of the above embodiments can each be configured using a computer having a CPU, memory, hard disk, CD-ROM, etc. Functions in each of the information providing servers and the like can be realized by programs installed in each device or server. The program can be installed in a computer from a recording medium such as a CD-ROM, or can be downloaded to the computer via a network.
[0354]
The present invention is not limited to the above-described embodiments, and various modifications and applications can be made within the scope of the claims.
[0355]
【The invention's effect】
As described above, according to the present invention, a viewer of broadcast information or recorded information can easily acquire information or content related to the broadcast information or recorded information from a server or the like connected to the network. become able to.
[0356]
[Brief description of the drawings]
FIG. 1 is a diagram illustrating a basic configuration example according to a first embodiment of the present invention.
FIG. 2 is a configuration diagram of a system in the first embodiment.
FIG. 3 is a diagram illustrating a configuration example of a viewer apparatus.
FIG. 4 is a diagram illustrating a configuration example of a related information content providing server.
FIG. 5 is a diagram illustrating a flow of information between a viewer apparatus and a related information content providing server.
FIG. 6 is a conceptual diagram showing the relationship between event information, broadcast information, and services.
FIG. 7 is a diagram illustrating a procedure for selecting a service and related content.
FIG. 8 is a diagram illustrating an example of a service information display screen.
FIG. 9 is a diagram illustrating an example of a notification setting (condition setting) screen.
FIG. 10 is a system configuration diagram according to the second embodiment of the present invention (Example 2-1);
FIG. 11 is a diagram illustrating an example of related information in the second embodiment.
FIG. 12 is a diagram for explaining a relationship between a subject on a video display unit and a subject representative figure on a subject related information display unit.
FIG. 13 is a diagram illustrating a display example in a subject-related information display unit.
FIG. 14 is a system configuration diagram according to the second embodiment of the present invention (Example 2-2);
FIG. 15 is a system configuration diagram according to the second embodiment of the present invention (Example 2-3);
FIG. 16 is a diagram illustrating another example in Example 2-3.
FIG. 17 is a system configuration diagram according to the second embodiment of the present invention (Example 2-4);
FIG. 18 is a system configuration diagram according to a third embodiment of the present invention.
19 is a configuration diagram of the related information providing server and the viewer apparatus of FIG. 18;
FIG. 20 is a sequence diagram of a method in the third embodiment.
FIG. 21 is an example of an action table according to the third embodiment.
FIG. 22 is an example of a client occurrence event list according to the third embodiment.
FIG. 23 is an example of an action table acquired first in Example 3-1.
FIG. 24 is an example of an action table acquired after FIG. 23;
FIG. 25 is an example of an action table in Example 3-1.
FIG. 26 is an example of an action table having different action content information from the action table of FIG.
FIG. 27 is an action table in Example 3-2;
28 is a system configuration diagram according to Embodiment 3-3. FIG.
FIG. 29 is an example of an information display area when a broadcast receiving apparatus that receives broadcast video and an output device of a viewer apparatus are integrated.
30 is a diagram showing an example of an action table in Example 3-3. FIG.
FIG. 31 is a diagram showing a broadcast video display area.
FIG. 32 is a diagram for explaining that an icon A is additionally displayed in the viewer apparatus output information display area.
FIG. 33 is a diagram illustrating an example of the overall configuration of a system according to a fourth embodiment of the present invention (Example 4-1);
34 is a diagram showing an example of a table included in the
FIG. 35 is a diagram illustrating a configuration example of a viewer apparatus in Example 4-1.
FIG. 36 is a diagram illustrating an example of the overall configuration of a system according to a fourth embodiment of the present invention (Example 4-2);
FIG. 37 is a diagram illustrating a configuration example of a viewer apparatus in Example 4-2.
FIG. 38 is a diagram illustrating an example of the overall configuration of a broadcast synchronization type service providing system according to a fifth embodiment of the present invention.
FIG. 39 is a diagram illustrating an example of a configuration of a viewer apparatus according to a fifth embodiment.
FIG. 40 is a diagram illustrating a detailed example of the overall configuration of a broadcast synchronization type service providing system according to a fifth embodiment of the present invention.
FIG. 41 is a diagram illustrating an example of a configuration of a data signal and audio data to be superimposed on audio.
FIG. 42 is a flowchart showing processing from a data signal extracted from sound to determination of a channel ID and an image frame ID that are actually used.
FIG. 43 is an example of a confirmation result of a channel ID and an image frame ID based on the result of the data signal extraction unit after the viewer apparatus is activated.
44 is a value of each variable obtained for the data signal extraction processing result of FIG. 43.
[Explanation of symbols]
1001 Viewer device
1002 Related information content providing server
1003 Broadcasting station
1004 Event information providing server
1011 Service request means that can be provided
1012 Service information visualization display means
1013 Service selection / request means
1014 Service utilization means
1021 Available service selection means
1022 Providable service information transmission means
1023 Service request receiving means
1024 Access system state detection means
1025 Service content optimization means
1026 Service providing means
2010 Broadcast information
2011 video information
2012 Related Information
2002 Viewer device
2201 Broadcast receiver
2202 Video display controller
2203 Video display section
2204 First pointing device
2205 Related information display control unit
2206 Subject related information display section
2207 Second pointing device
2208 Input devices
2209 Subject attribute information storage unit
2210 Related Information Access Department
2211 Related Information Storage Unit
2212 Interest information extraction unit
2213 Broadcast information storage unit
2003 communication network
2004 broadcasting station
3001 Related Information Providing Server
3002 Viewer device
3003 Broadcasting station
3003 'Broadcast information storage server
3004 I / O device
3005 Broadcast receiving apparatus
3006 network
3010 Action table providing means
3011 Action table construction means
3012 Action table resource data
3013 Communication means
3014 Client identification means
3015 Client information management means
3021 Event management means
3022 Action table management means
3023 Action execution means
3024 communication means
3025 Output interface
3026 Input interface
4001 Viewer device
4002 Related information providing server
4003 Broadcast information storage device
4004 Content providing server
4005 Network (Internet)
4006 Broadcasting station
4011 related information acquisition unit
4012 Input section
4013 Content information browsing section
4014 Broadcast receiver
4015 Broadcast information modulation and decoding unit
4016 Display playback unit
4017 Network Communication Department
4018 Related information acquisition instruction button
4019 Partial broadcast information buffer
4021 Broadcast information database
4022 Related Information Database
4023 Broadcast information matching section
4024 Related Information Department
4030 storage unit
5001 Broadcasting station
5002 Transmission means
5003 Signal adding means
5004 videos
5005 voice
5006 Broadcast
5007 Broadcast receiving apparatus
5008 Video / audio recording device
5009 Viewer device
5010 Microphone (MIC)
5011 Data signal extraction means
5012 Output means
5013 Input means
5014 Connection line to network
5015 Communication means
5016 Storage means
5017 Control means
5018 Output device
5019 Input device
5020 Broadcast information database
5021 Broadcast information related information assigning device
5022 Broadcast information database construction device
5023 (a) to (d) Related information content providing server
Claims (1)
前記放送情報中の関連情報として、前記映像情報中に含まれている複数の被写体の各々に対応して、映像フレームまたは時刻毎の表示画面上の被写体の存在領域を表す被写体座標値と、少なくとも一つの情報資源識別情報と、被写体を説明する被写体属性情報とを含む放送情報を送信する放送局と、前記放送情報を受信する視聴者装置とを有し、
該視聴者装置は、
前記放送情報を受信する放送受信部と、映像表示部と、映像表示制御部と、第１のポインティング手段と、被写体関連情報表示部と、関連情報表示制御部と、第２のポインティング手段と、被写体属性情報蓄積部と、関連情報アクセス部と、関連情報蓄積部とを備え、
前記映像表示制御部は、前記放送受信部が受信した前記放送情報の中の映像情報を前記映像表示部に表示し、前記映像表示部において表示された複数の被写体の中で前記第１のポインティング手段によりポインティングされた座標値を、前記関連情報中の前記被写体座標値と照合することにより被写体を識別し、前記識別した被写体に対応する前記関連情報中の被写体属性情報および情報資源識別情報を識別し、
前記関連情報表示制御部は、前記映像表示制御部が識別した被写体に対応する被写体属性情報を代表する文字、記号又は図形を前記被写体関連情報表示部に表示するとともに、前記被写体関連情報表示部において前記第２のポインティング手段によりポインティングされた文字、記号又は図形が示す被写体に対応する情報資源識別情報を識別し、その情報資源識別情報を前記関連情報アクセス部に送り、
前記関連情報アクセス部は、前記情報資源識別情報に対応して前記関連情報蓄積部又は通信網に接続された情報源にアクセスしてコンテンツ情報を入手し、
前記関連情報表示制御部は、前記関連情報アクセス部によって入手したコンテンツ情報を前記被写体関連情報表示部に表示し、
前記視聴者装置は更に興味情報抽出部を備え、
前記関連情報表示制御部が、前記第２のポインティング手段によりポインティングされた文字、記号又は図形が示す被写体に対応する情報資源識別情報と、被写体属性情報と、前記情報源から入手したコンテンツ情報と、前記コンテンツ情報が被写体関連情報表示部に表示された時間に関する表示時間情報のうちのいずれか複数もしくは全てを前記興味情報抽出部に送信し、
前記興味情報抽出部は、前記情報資源識別情報、前記被写体属性情報、前記コンテンツ情報、前記表示時間情報のうちいずれか複数もしくは全てを参照し興味情報を作成して保持するとともに、前記放送情報を受信した時刻とは異なる時刻に前記放送受信部から受信した放送情報に含まれる被写体を、当該興味情報に基づいて選択する
ことを特徴とする放送情報送受信システム。A broadcast information transmission / reception system for transmitting / receiving broadcast information including at least video information including video and related information related to the video information,
As the related information in the broadcast information, corresponding to each of a plurality of subjects included in the video information, subject coordinate values representing subject areas on the display screen for each video frame or time, and at least A broadcast station that transmits broadcast information including one piece of information resource identification information and subject attribute information that describes the subject, and a viewer device that receives the broadcast information,
The viewer device is:
A broadcast receiving unit that receives the broadcast information, a video display unit, a video display control unit, a first pointing means, a subject related information display unit, a related information display control unit, and a second pointing means; A subject attribute information storage unit, a related information access unit, and a related information storage unit;
The video display control unit displays video information in the broadcast information received by the broadcast receiving unit on the video display unit, and the first pointing is performed among a plurality of subjects displayed on the video display unit. The coordinate value pointed by the means is compared with the subject coordinate value in the related information to identify the subject, and the subject attribute information and the information resource identification information in the related information corresponding to the identified subject are identified. And
The related information display control unit displays characters, symbols, or figures representing subject attribute information corresponding to the subject identified by the video display control unit on the subject related information display unit, and in the subject related information display unit Identifying information resource identification information corresponding to the subject indicated by the character, symbol or graphic pointed by the second pointing means, and sending the information resource identification information to the related information access unit;
The related information access unit obtains content information by accessing an information source connected to the related information storage unit or a communication network corresponding to the information resource identification information,
The related information display control unit displays content information obtained by the related information access unit on the subject related information display unit ,
The viewer device further includes an interest information extraction unit,
The related information display control unit, information resource identification information corresponding to the subject indicated by the character, symbol or figure pointed by the second pointing means, subject attribute information, content information obtained from the information source, Any one or more of the display time information regarding the time when the content information is displayed on the subject-related information display unit is transmitted to the interest information extraction unit;
The interest information extraction unit creates and holds interest information by referring to any or more of the information resource identification information, the subject attribute information, the content information, and the display time information, and stores the broadcast information. A broadcast information transmitting / receiving system , wherein a subject included in broadcast information received from the broadcast receiving unit at a time different from the received time is selected based on the interest information .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001115997A JP3994682B2 (en) | 2000-04-14 | 2001-04-13 | Broadcast information transmission / reception system |
Applications Claiming Priority (11)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000-112805 | 2000-04-14 | ||
| JP2000112805 | 2000-04-14 | ||
| JP2000-298179 | 2000-09-29 | ||
| JP2000-297846 | 2000-09-29 | ||
| JP2000299714 | 2000-09-29 | ||
| JP2000297846 | 2000-09-29 | ||
| JP2000298179 | 2000-09-29 | ||
| JP2000-299714 | 2000-09-29 | ||
| JP2000342032 | 2000-11-09 | ||
| JP2000-342032 | 2000-11-09 | ||
| JP2001115997A JP3994682B2 (en) | 2000-04-14 | 2001-04-13 | Broadcast information transmission / reception system |
Related Child Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006295002A Division JP2007116718A (en) | 2000-04-14 | 2006-10-30 | Method, system, and apparatus for acquiring information related to broadcast information |
| JP2006295001A Division JP4597110B2 (en) | 2000-04-14 | 2006-10-30 | Method, system and apparatus for acquiring information related to broadcast information |
| JP2006295003A Division JP4494389B2 (en) | 2000-04-14 | 2006-10-30 | Method, system and apparatus for acquiring information related to broadcast information |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002209204A JP2002209204A (en) | 2002-07-26 |
| JP3994682B2 true JP3994682B2 (en) | 2007-10-24 |
Family
ID=27554764
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001115997A Expired - Lifetime JP3994682B2 (en) | 2000-04-14 | 2001-04-13 | Broadcast information transmission / reception system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3994682B2 (en) |
Families Citing this family (64)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002244970A (en) * | 2001-02-21 | 2002-08-30 | Mitsubishi Electric Corp | Communication network system |
| EP1450351A4 (en) * | 2001-09-27 | 2006-05-17 | Matsushita Electric Ind Co Ltd | Dialogue apparatus, dialogue parent apparatus, dialogue child apparatus, dialogue control method, and dialogue control program |
| CN1742487B (en) * | 2003-01-28 | 2010-09-29 | 夏普株式会社 | Information server apparatus, client terminal apparatus, |
| JP4344185B2 (en) | 2003-01-28 | 2009-10-14 | シャープ株式会社 | Client terminal device, information processing method, sub-client terminal device, computer-executable program, and recording medium |
| JP2004304430A (en) * | 2003-03-31 | 2004-10-28 | Sanyo Electric Co Ltd | Program digest video image viewing method and system thereof |
| JP5046471B2 (en) * | 2003-05-30 | 2012-10-10 | ソニー株式会社 | Information processing apparatus, information processing method, and computer program |
| US20070110397A1 (en) * | 2003-09-25 | 2007-05-17 | Kentaro Tanikawa | Playback apparatus and bookmark system |
| JP2005159743A (en) * | 2003-11-26 | 2005-06-16 | Sharp Corp | Video display apparatus, video display program, information distribution apparatus, and information communication system |
| US8407752B2 (en) | 2004-03-18 | 2013-03-26 | Digimarc Corporation | Synchronizing broadcast content with corresponding network content |
| JP4304108B2 (en) * | 2004-03-31 | 2009-07-29 | 株式会社東芝 | METADATA DISTRIBUTION DEVICE, VIDEO REPRODUCTION DEVICE, AND VIDEO REPRODUCTION SYSTEM |
| JP2006014266A (en) * | 2004-11-10 | 2006-01-12 | Uncut Technology:Kk | Terminal apparatus for vod, data reproducing program, contents data distributing system, and server apparatus |
| CN101077007B (en) * | 2004-12-09 | 2011-04-13 | 松下电器产业株式会社 | Content viewing system |
| JP3854297B1 (en) * | 2005-06-10 | 2006-12-06 | オープンインタフェース株式会社 | Content synchronized playback system and method |
| JP4688592B2 (en) * | 2005-07-11 | 2011-05-25 | 株式会社シバソク | Signal generator |
| WO2007064640A2 (en) | 2005-11-29 | 2007-06-07 | Google Inc. | Detecting repeating content in broadcast media |
| JP2007192988A (en) * | 2006-01-18 | 2007-08-02 | Asv:Kk | Object enhancement display system in video reproduction system and object locus overlay display system, and player device and server device used for the display systems |
| US8411977B1 (en) | 2006-08-29 | 2013-04-02 | Google Inc. | Audio identification using wavelet-based signatures |
| JPWO2008093632A1 (en) * | 2007-01-29 | 2010-05-20 | 株式会社Ａｃｃｅｓｓ | Movie processing method, movie processing program, and movie processing apparatus |
| JP4937795B2 (en) * | 2007-03-06 | 2012-05-23 | 日本電信電話株式会社 | Content-associated information display method, content-associated information display device, program thereof, and recording medium |
| JP2009038793A (en) * | 2007-07-11 | 2009-02-19 | Panasonic Corp | Information processing server, program reception terminal, program-associated information providing method, and program-associated information plotting method |
| WO2009145233A1 (en) * | 2008-05-28 | 2009-12-03 | 京セラ株式会社 | Communication terminal, search server, and communication system |
| JP2009302891A (en) | 2008-06-13 | 2009-12-24 | Sony Corp | Information processing device |
| JP2010098730A (en) * | 2008-09-22 | 2010-04-30 | Toshihiko Okabe | Link information providing apparatus, display device, system, method, program, recording medium, and link information transmitting/receiving system |
| JP5428697B2 (en) * | 2009-09-16 | 2014-02-26 | ソニー株式会社 | Receiving device, receiving method, transmitting device, and computer program |
| KR101512354B1 (en) | 2011-01-07 | 2015-04-16 | 야마하 가부시키가이샤 | Information-providing system, portable terminal device, server, and program |
| JP2012155706A (en) * | 2011-01-07 | 2012-08-16 | Yamaha Corp | Information provision system, portable terminal device, identification information solution server, and program |
| JP2012161030A (en) * | 2011-02-02 | 2012-08-23 | Nippon Telegr & Teleph Corp <Ntt> | Associated content retrieval device, system, method, and program |
| KR101211098B1 (en) | 2011-04-25 | 2012-12-11 | (주)엔써즈 | System and method for providing advertisement related informatiion included in broadcasting to client terminal through network |
| EP2712182A4 (en) * | 2011-05-19 | 2014-11-26 | Japan Broadcasting Corp | Integrated broadcast/communication reception device |
| JP5903783B2 (en) | 2011-06-30 | 2016-04-13 | ソニー株式会社 | Server apparatus and information processing apparatus |
| JP5859245B2 (en) * | 2011-08-11 | 2016-02-10 | 株式会社ビデオリサーチ | Information display system and method, survey system and method |
| JP6071184B2 (en) * | 2011-10-26 | 2017-02-01 | サターン ライセンシング エルエルシーＳａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ | Receiving apparatus, receiving method, program, and information processing system |
| JPWO2013088604A1 (en) | 2011-12-15 | 2015-04-27 | パナソニックＩｐマネジメント株式会社 | Information display device, information display method, and information display system |
| US9854276B2 (en) | 2012-05-23 | 2017-12-26 | Saturn Licensing Llc | Information processing device, information processing method, and program |
| JP5306560B1 (en) | 2012-05-30 | 2013-10-02 | パナソニック株式会社 | Program information display device, program information output device, and program information display method |
| US9456245B2 (en) * | 2012-07-05 | 2016-09-27 | Sony Corporation | Receiving device, receiving method, transmitting device, and transmitting method for controlling applications |
| IN2014MN02572A (en) | 2012-07-12 | 2015-07-24 | Sony Corp | |
| KR102110623B1 (en) * | 2012-07-12 | 2020-05-13 | 소니 주식회사 | Transmission device, information processing method, program, reception device, and application linking system |
| KR101978743B1 (en) * | 2012-10-19 | 2019-08-29 | 삼성전자주식회사 | Display device, remote controlling device for controlling the display device and method for controlling a display device, server and remote controlling device |
| KR102120771B1 (en) * | 2013-02-13 | 2020-06-09 | 삼성전자주식회사 | Display apparatus, server and control method thereof |
| JP6063300B2 (en) * | 2013-02-28 | 2017-01-18 | 株式会社ビデオリサーチ | Information display system, method, apparatus, and program |
| JP5838351B2 (en) * | 2013-03-26 | 2016-01-06 | パナソニックＩｐマネジメント株式会社 | Video receiving apparatus and image recognition method for received video |
| JP5820986B2 (en) | 2013-03-26 | 2015-11-24 | パナソニックＩｐマネジメント株式会社 | Video receiving apparatus and image recognition method for received video |
| JP6281126B2 (en) * | 2013-07-26 | 2018-02-21 | パナソニックＩｐマネジメント株式会社 | Video receiving apparatus, additional information display method, and additional information display system |
| US9762951B2 (en) | 2013-07-30 | 2017-09-12 | Panasonic Intellectual Property Management Co., Ltd. | Video reception device, added-information display method, and added-information display system |
| JP2014027666A (en) * | 2013-09-03 | 2014-02-06 | Olympus Corp | Camera, detailed picture reception method, and detailed picture reception program |
| US9906843B2 (en) | 2013-09-04 | 2018-02-27 | Panasonic Intellectual Property Management Co., Ltd. | Video reception device, video recognition method, and display system for providing additional information to be superimposed on displayed image |
| WO2015033501A1 (en) * | 2013-09-04 | 2015-03-12 | パナソニックＩｐマネジメント株式会社 | Video reception device, video recognition method, and additional information display system |
| JP5574556B1 (en) * | 2013-09-26 | 2014-08-20 | 株式会社電通 | Viewing program identification system, method and program |
| EP3125567B1 (en) | 2014-03-26 | 2019-09-04 | Panasonic Intellectual Property Management Co., Ltd. | Video receiving device, video recognition method, and supplementary information display system |
| JP6340558B2 (en) * | 2014-03-26 | 2018-06-13 | パナソニックＩｐマネジメント株式会社 | Video receiving apparatus, video recognition method, and additional information display system |
| CN105850149B (en) | 2014-03-28 | 2018-12-14 | 松下知识产权经营株式会社 | Video receiver, parameter setting method and additional information display system |
| CN104159159B (en) * | 2014-05-30 | 2015-10-07 | 腾讯科技（深圳）有限公司 | Based on the exchange method of video, terminal, server and system |
| CN104113786A (en) * | 2014-06-26 | 2014-10-22 | 小米科技有限责任公司 | Information acquisition method and device |
| WO2016009637A1 (en) | 2014-07-17 | 2016-01-21 | パナソニックＩｐマネジメント株式会社 | Recognition data generation device, image recognition device, and recognition data generation method |
| JP6432047B2 (en) | 2014-08-21 | 2018-12-05 | パナソニックＩｐマネジメント株式会社 | Content recognition apparatus and content recognition method |
| JP5811426B1 (en) * | 2014-12-26 | 2015-11-11 | ダブルウィンシステム株式会社 | Audio data transmission / reception system |
| JP2017011494A (en) * | 2015-06-22 | 2017-01-12 | 株式会社アステム | Terminal device, server, output method of content and additional information, and program |
| JP6232632B1 (en) * | 2016-08-09 | 2017-11-22 | パロニム株式会社 | Video playback program, video playback device, video playback method, video distribution system, and metadata creation method |
| JP6261787B2 (en) * | 2017-02-22 | 2018-01-17 | 株式会社 ディー・エヌ・エー | System, method, and program for supporting sales of products |
| JP2018026801A (en) * | 2017-06-12 | 2018-02-15 | パロニム株式会社 | Video replay program, video replay device, video replay method and video delivery system |
| JP2018026799A (en) * | 2017-06-12 | 2018-02-15 | パロニム株式会社 | Video replay program, video replay device, video replay method, video delivery system and metadata creation method |
| JP6270086B1 (en) * | 2017-06-12 | 2018-01-31 | パロニム株式会社 | Video playback program, video playback device, video playback method, and video distribution system |
| JP7210939B2 (en) * | 2018-08-31 | 2023-01-24 | ヤマハ株式会社 | INFORMATION PROVIDING METHOD, TERMINAL DEVICE OPERATING METHOD, DISTRIBUTION SYSTEM AND PROGRAM |
-
2001
- 2001-04-13 JP JP2001115997A patent/JP3994682B2/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002209204A (en) | 2002-07-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3994682B2 (en) | Broadcast information transmission / reception system | |
| JP4494389B2 (en) | Method, system and apparatus for acquiring information related to broadcast information | |
| EP1286541B1 (en) | Method, system, and apparatus for acquiring information concerning broadcast information | |
| US7712123B2 (en) | Method, system, and apparatus for acquiring information concerning broadcast information | |
| JP3810268B2 (en) | Audio visual system | |
| JP4107811B2 (en) | How to use Audio Visual System | |
| JP4661047B2 (en) | Information processing apparatus, information processing method, and computer program | |
| JP4408768B2 (en) | Description data generation device, audio visual device using description data | |
| US9038104B2 (en) | System and method for providing an interactive program guide for past, current, and future programming | |
| JP3579263B2 (en) | Program data selection method and program viewing system | |
| KR101006335B1 (en) | Information processing apparatus, information processing method, and recording medium | |
| US8402487B2 (en) | Program selection support device | |
| JP2007116718A (en) | Method, system, and apparatus for acquiring information related to broadcast information | |
| US20030093790A1 (en) | Audio and video program recording, editing and playback systems using metadata | |
| JP2001142906A (en) | Multimedia user profile information structure and method for retrieving and browsing multimedia utilizing the same | |
| JP2005522112A (en) | Method and system for providing supplemental information for video programs | |
| JP4329521B2 (en) | Information processing apparatus, information processing method, and computer program | |
| JP4597110B2 (en) | Method, system and apparatus for acquiring information related to broadcast information | |
| EP1100268A2 (en) | Audivisual information management system | |
| JP3766280B2 (en) | Content mediation apparatus and content mediation processing method | |
| CA2507785C (en) | Method, system and apparatus for obtaining information related to broadcast information | |
| JP2001326925A (en) | Video recording method and video recording system for program video |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040227 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060829 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061030 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061128 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070126 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070710 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070723 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100810 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3994682 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100810 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100810 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110810 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120810 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130810 Year of fee payment: 6 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |