JPWO2013035834A1 - 通信端末、映像表示システム、通信端末の処理実行方法及びプログラム - Google Patents

Abstract

放送波による映像に対する付加情報を送信するに際し、放送波自体に手を加える必要がなく、また汎用性のある仕組みを提供する。
通信端末は、通信網を介して、ユーザ情報を送信し（Ｓａ１）、ユーザ情報に応じた付加情報を受信する（Ｓａ２）。続いて、通信端末は、放送波の受信を開始する（Ｓａ３）。つまり、通信端末は、放送波とは異なる通信経路を介して付加情報を受信する。付加情報は、放送波に対応する映像（主映像）に重畳される付加映像を表すデータを含んでいる。通信端末は、放送波と付加情報とに基づき、主映像と付加映像とを合成した重畳映像を第１表示領域に表示し（Ｓａ４）、ユーザが第１表示領域の所定の位置を指定すると（Ｓａ５：ＹＥＳ）、指定された位置に応じた処理として、当該位置に関連する画像又は映像を第２表示領域に表示する。

Description

本発明は、放送に対して情報を付加するための技術に関する。

放送波により送られる映像に対して、当該映像と異なる別の情報を付加する技術がある。このような技術は、付加的な情報（付加情報）を放送波に重畳して送信しようとするものが一般的である。例えば、特許文献１に記載された技術は、テレビ番組コンテンツとデータ放送コンテンツとを含む放送波を放送するものである。

特開２００２−３３０４２２号公報

放送波を使用した放送は、不特定多数のユーザを対象にした情報の送信である。したがって、放送波に付加情報を重畳した場合、ユーザが受け取る付加情報は画一的なものにならざるを得ない。また、放送波に付加情報を重畳した場合には、情報を受信する装置には、付加情報を分離するための専用のハードウェアが必要となる。
そこで、本発明は、放送波により送られる映像に対する付加情報を送信するに際し、放送波自体に手を加える必要がなく、また汎用性のある仕組みを提供することを目的とする。

本発明の一態様に係る通信端末は、映像を送る放送波を受信する受信部と、前記受信部により受信される放送波により表示される映像に対して付加される情報であって、当該映像の時刻に対応付けられた当該映像内の位置を表す座標情報を含む付加情報を、サーバ装置から通信網を介して受信する通信部と、前記受信部により受信された放送波により映像を表示領域に表示する表示部と、ユーザによる前記表示領域の位置の指定を受け付ける受付部と、前記表示部により前記表示領域に映像が表示されているときに前記受付部により前記指定が受け付けられた位置と、前記通信部により受信された座標情報が表す位置のうちの当該表示されている映像に対応する位置との比較結果に応じた処理を実行する処理実行部とを備える構成を有する。

好ましい態様において、前記サーバ装置は、前記通信端末又はそのユーザを識別し、前記通信部は、自端末又はそのユーザに応じた前記付加情報を受信する。
別の好ましい態様において、前記付加情報は、前記処理実行部により実行される処理に対応する処理情報を含み、前記処理実行部は、前記処理情報に基づいて処理を実行する。
さらに別の好ましい態様において、前記通信端末は、前記受信部により受信された放送波により表示される映像に前記通信部により受信された付加情報に対応する映像を重畳した重畳映像を生成する重畳部を備え、前記表示部は、前記重畳部により生成された重畳映像を前記表示領域に表示する。
さらに別の好ましい態様において、前記通信端末は、前記受付部により前記指定が受け付けられたときに、その指定された位置と当該指定が行われた時刻とを記録する記録部を備え、前記処理実行部は、前記記録部により記録された位置及び時刻を参照し、当該位置と前記座標情報が表す位置とを比較する。
さらに別の好ましい態様において、前記通信部は、前記受付部により前記指定が受け付けられた位置に応じたフィードバック情報を前記サーバ装置に送信し、当該通信端末を含む複数の通信端末により送信された前記フィードバック情報が反映された前記付加情報を受信する。

本発明の他の態様に係る映像表示システムは、前記通信端末と、少なくとも前記付加情報を送信するサーバ装置とを備える構成を有する。
本発明の他の態様に係る通信端末の処理実行方法は、映像を送る放送波を受信する第１ステップと、前記第１ステップにて受信される放送波により表示される映像に対して付加される情報であって、当該映像の時刻に対応付けられた当該映像内の位置を表す座標情報を含む付加情報を、サーバ装置から通信網を介して受信する第２ステップと、前記第１ステップにて受信された放送波により映像を表示領域に表示する第３ステップと、前記第３ステップにて前記表示領域に映像が表示されているときに、ユーザによる前記表示領域の位置の指定を受け付ける第４ステップと、前記第４ステップにて、前記表示領域に映像が表示されているときに前記位置の指定が受け付けられると、当該位置と、前記第２ステップにより受信された座標情報が表す位置のうちの当該表示されているときの映像に対応する位置との比較結果に応じた処理を実行する第５ステップとを実行するものである。
本発明の他の態様に係るプログラムは、コンピュータに、映像を送る放送波を受信する第１ステップと、前記第１ステップにて受信される放送波により表示される映像に対して付加される情報であって、当該映像の時刻に対応付けられた当該映像内の位置を表す座標情報を含む付加情報を、サーバ装置から通信網を介して受信する第２ステップと、前記第１ステップにて受信された放送波により映像を表示領域に表示する第３ステップと、前記第３ステップにて前記表示領域に映像が表示されているときに、ユーザによる前記表示領域の位置の指定を受け付ける第４ステップと、前記第４ステップにて、前記表示領域に映像が表示されているときに前記位置の指定が受け付けられると、当該位置と、前記第２ステップにより受信された座標情報が表す位置のうちの当該表示されているときの映像に対応する位置との比較結果に応じた処理を実行する第５ステップとを実行させるためのものである。

本発明によれば、放送波により送られる映像に対する付加情報を送信するに際し、放送波自体に手を加える必要がなく、また汎用性のある仕組みを提供することが可能である。

映像表示システムの全体構成を示すブロック図 通信端末のハードウェア構成を示すブロック図 サーバ装置のハードウェア構成を示すブロック図 通信端末が実現する機能的構成を示すブロック図 通信端末が映像を表示するときに実行する処理を示すフローチャート タッチスクリーン部に表示される画像の一例を示す図 タッチスクリーン部に表示される画像の一例を示す図 タッチスクリーン部に表示される画像の一例を示す図 通信端末が映像を表示するときに実行する処理を示すフローチャート 通信端末が実現する機能的構成を示すブロック図 タッチスクリーン部に表示される画像の一例を示す図 通信端末が映像を表示するときに実行する処理を示すフローチャート タッチスクリーン部に表示される画像の一例を示す図

１０…映像表示システム、１００…放送局、２００…通信端末、２１０…受信部、２２０…通信部、２３０…タッチスクリーン部、２３１…表示部、２３２…受付部、２４０…音声出力部、２５０…記憶部、２６０…制御部、２６１…データ取得部、２６２…重畳部、２６３…処理実行部、２６４…記録部、３００…サーバ装置、３１０…通信部、３２０…記憶部、３３０…制御部、４００…ネットワーク

［第１実施形態］
図１は、本発明の一実施形態である映像表示システム１０の全体構成を示すブロック図である。映像表示システム１０は、放送波と通信網とを組み合わせて用いて映像を表示するためのシステムである。映像表示システム１０は、放送局１００と、複数の通信端末２００と、サーバ装置３００と、ネットワーク４００とを備える。

放送局１００は、放送波を送信するための無線通信設備である。ここにおいて、放送波とは、公衆送信のために用いられる電波をいう。つまり、ここでいう放送波は、特定のユーザに受信されることを目的とするものではなく、不特定多数のユーザに受信されることを目的とするものである。放送波の周波数や送信方法は、通信端末２００が受信可能なものであれば、特に限定されない。例えば、放送波の送信は、人工衛星によって行われてもよい。ただし、本実施形態の放送波は、地上デジタルテレビ放送によって送信されるものであるとする。この放送波は、いわゆるワンセグ放送（携帯電話・移動体端末向けの１セグメント部分受信サービス）の放送波であってもよい。また、放送波は、少なくとも映像を送るためのものであるが、音声も同時に送るものであってもよい。

通信端末２００は、放送波を使用した放送をユーザが視聴するための電子機器である。通信端末２００は、放送波を受信する機能に加え、ネットワーク４００を介してサーバ装置３００からデータを受信する機能を有する。つまり、通信端末２００は、複数の異なる通信経路を介して情報を受信することができる。通信端末２００は、例えば、携帯電話機（スマートフォンを含む。）、タブレット端末、ＰＤＡ（Personal Digital Assistant）といった無線通信端末である。通信端末２００は、ネットワーク４００を介した通信を無線で行う。

なお、ネットワーク４００は、ここでは無線の通信網を少なくとも含むネットワークである。ここでいう無線の通信網は、例えばＩＭＴ（International Mobile Telecommunication）−２０００規格やＬＴＥ（Long Term Evolution）規格に準拠した移動体通信網であるが、無線ＬＡＮ（Local Area Network）などであってもよい。また、ネットワーク４００は、移動体通信網とインターネットを相互に接続したような複合的なネットワークであってもよい。

図２は、通信端末２００のハードウェア構成を示すブロック図である。通信端末２００は、受信部２１０と、通信部２２０と、タッチスクリーン部２３０と、音声出力部２４０と、記憶部２５０と、制御部２６０とを備える。なお、通信端末２００は、図２に示す構成のほかに、ユーザに情報を報知する手段として、発光ダイオードなどの照明やバイブレータを備えていてもよい。

受信部２１０は、放送波を受信する手段である。一方、通信部２２０は、ネットワーク４００を介してデータを送受信する手段である。受信部２１０及び通信部２２０は、それぞれ、対応する電波を受信するためのアンテナや、受信した電波をデコードするデコーダを含んで構成される。受信部２１０は、受信した放送波が表す映像に対応する映像データを制御部２６０に供給する。

タッチスクリーン部２３０は、画像（映像を含む。）を表示するとともに、ユーザの操作を受け付ける手段である。ユーザの操作は、位置を指定することにより行われる。タッチスクリーン部２３０は、より詳細には、表示部２３１と受付部２３２とを備える。

表示部２３１は、画像を表示する手段であり、液晶素子や有機ＥＬ（electroluminescence）素子により画像を表示する表示パネルやその駆動回路を備える。受付部２３２は、表示部２３１により画像が表示される表示領域に対するユーザの操作を感知して当該操作を受け付ける手段であり、例えば、表示領域に重ねて設けられた面状のセンサである。受付部２３２は、ユーザの指が表示領域に接触したことを圧力や静電容量によって感知するものであってもよいし、専用の器具（スタイラス）の接触を感知するものであってもよい。また、受付部２３２が感知する操作は、表示領域に対する接触である必要はなく、上述した指や器具が表示領域に接近したことであってもよい。受付部２３２は、ユーザが操作によって指定した位置を表す座標情報を制御部２６０に供給する。座標情報は、表示領域の横方向（水平方向）にＸ軸を設定し、縦方向（垂直方向）にＹ軸を設定した２次元直交座標系のＸ座標とＹ座標とによって記述される。

音声出力部２４０は、音声を出力する手段である。音声出力部２４０は、スピーカを備える構成であってもよいが、外部のスピーカやイヤホンを接続するための端子までを備える構成であってもよい。

記憶部２５０は、制御部２６０が用いるデータを記憶する手段である。記憶部２５０は、例えば、ハードディスクやフラッシュメモリによって構成される。記憶部２５０は、制御部２６０により実行されるプログラムや、後述する付加情報やユーザ情報などを記憶することができる。なお、記憶部２５０は、いわゆるメモリカードのような着脱可能な記憶媒体を含んでもよく、当該記憶媒体はＵＩＭ（User Identity Module）カードのようなユーザ（通信端末２００の加入者）を識別するための記憶媒体であってもよい。

ユーザ情報は、通信端末２００又はそのユーザを識別するための情報である。ユーザ情報は、ＩＤのようなデータであってもよいが、ユーザの属性（年齢、性別、居住地、職業、趣味、嗜好、特定サービスへの加入の有無など）を表すデータを含んでもよい。すなわち、ユーザ情報は、通信端末２００毎、あるいはユーザ毎に異なり得るものである。

制御部２６０は、通信端末２００の動作を制御する手段である。制御部２６０は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）などの演算処理回路やメモリを備え、プログラムに従って処理を実行することによってデータの受信や映像の表示を実現する。

サーバ装置３００は、通信端末２００に付加情報を提供するためのサーバ装置である。ここにおいて、付加情報とは、放送波により表示される映像に関連付けられる付加的な情報をいう。付加情報は、映像内の位置を表す座標情報を含んでいる。この座標情報は、受付部２３２によって供給される座標情報と同様に、２次元直交座標系のＸ座標とＹ座標とによって記述される。この座標情報は、放送波により表示される映像と時系列に対応付けられ、どの座標がどの時点の映像に対応しているのかが識別できるようになっている。具体的には、それぞれの座標情報は、時刻情報を対応付けることによってこれを実現する。時刻情報は、その座標情報に対応付けられる日時を記述した情報である。時刻情報は、標準時（例えば日本標準時）で記述されてもよいが、番組の開始時刻を基準としてもよい。つまり、時刻情報は、映像と座標情報を同期することが可能であれば、時刻の記述形式は特に限定されない。

図３は、サーバ装置３００のハードウェア構成を示すブロック図である。サーバ装置３００は、通信部３１０と、記憶部３２０と、制御部３３０とを備える。通信部３１０は、データを送信する手段であり、ネットワーク４００を介して通信端末２００に付加情報などを送信する。記憶部３２０は、データを記憶する手段であり、本実施形態においては付加情報をあらかじめ記憶している。制御部３３０は、サーバ装置３００の動作を制御する手段であり、付加情報の記憶や送信などを行う。

なお、サーバ装置３００は、同一の番組や広告について、ユーザの属性毎に異なる付加情報を用意し、これを記憶部３２０に記憶していてもよい。例えば、サーバ装置３００は、男性用の付加情報と女性用の付加情報とを記憶したり、年齢層別の付加情報を記憶したり、ユーザの趣味や嗜好に特化した付加情報を記憶したりすることも可能である。

映像表示システム１０の構成は、以上のとおりである。この構成のもと、放送局１００は、あらかじめ決められたスケジュールに従って放送波を送信する。放送波により送信される映像は、ニュース、ドラマ、アニメなど、さまざまな番組である。また、放送波により送信される映像には、番組以外の広告が含まれてもよい。

サーバ装置３００によるサービスの提供者（以下「サービス事業者」という。）は、番組や広告に対応する付加情報を入手することができる。サーバ装置３００は、このようにして得られた付加情報を番組や広告と対応付けて記憶部３２０に記憶し、必要に応じて通信端末２００に送信する。

通信端末２００は、ユーザの操作に応じて放送波を受信し、映像を表示する。ユーザは、同時に視聴可能なチャンネルが複数ある場合には、所望のチャンネルを選択する。放送波を受信する通信端末２００は、視聴する番組や広告に対応する付加情報をあわせて受信する。本実施形態において、通信端末２００は、番組又は広告の開始前か、あるいは番組又は広告の進行に並行して付加情報を受信する。なお、ここにおいて想定される番組は、あらかじめ収録された番組であって、各時刻に表示される映像が事前に明らかになっているものであるとする。つまり、本実施形態の以下の説明における番組には、スポーツ中継の生放送のような、その後の展開（すなわち、その後に表示される映像）が誰にも予測できないような番組は含まれないものとする。

本実施形態において、通信端末２００は、付加情報に含まれる座標情報が表す位置を示す画像を、放送波の映像に重ねて表示する。以下においては、放送波によって送られてくる映像のことを「主映像」といい、付加情報に基づいて主映像に付加される映像のことを「付加映像」という。なお、付加映像は、いわゆる動画である必要はなく、静止画が一定時間表示されるだけのものであってもよい。

図４は、本実施形態において通信端末２００が実現する機能的構成を示すブロック図である。通信端末２００の制御部２６０は、プログラムを実行することにより、データ取得部２６１と、重畳部２６２と、処理実行部２６３に相当する機能を実現する。データ取得部２６１は、データを取得する手段である。データ取得部２６１は、受信部２１０から映像データ、通信部２２０又は記憶部２４０から付加情報、受付部２３２から座標情報を、それぞれ取得する。

重畳部２６２は、主映像に付加映像を重畳する手段である。重畳部２６２は、映像データと付加情報とに基づいて、主映像の上に付加映像が重なるようにこれらの映像を合成し、合成した映像を表示部２３１に表示させる。重畳部２６２により重畳されて新たに生成される映像のことを、以下においては「重畳映像」という。付加映像は、例えば、これを示す画像情報が付加情報に含まれており、この画像情報に基づいて表示される。あるいは、付加映像は、座標情報が表す位置を点や線（枠）によって表示するものであってもよく、この場合には画像情報を付加情報に含めなくてもよい。

処理実行部２６３は、放送波に応じた映像が表示されている場合において、ユーザの操作が受け付けられたときに、その操作に応じた処理を実行する手段である。処理実行部２６３は、より詳細には、受付部２３２から供給された座標情報が表す位置（すなわち、ユーザにより指定された位置）と、付加情報に含まれる座標情報が表す位置とを比較し、これらが一致する場合としない場合とで異なる処理を実行する。

なお、付加情報は、処理実行部２６３が実行すべき処理に対応する処理情報を含んでいてもよい。この場合、処理実行部２６３は、処理情報に基づいて処理を実行する。また、付加情報に含まれる座標情報が表す位置が複数ある場合、処理実行部２６３は、これら複数の位置のそれぞれが指定されたときに互いに異なる処理を実行するように構成されていてもよい。

図５は、通信端末２００が映像を表示するときに実行する処理を示すフローチャートである。この処理において、通信端末２００は、まず、ユーザ情報を記憶部２５０から読み出し、これをサーバ装置３００に送信する（ステップＳａ１）。ユーザ情報の送信は、映像の視聴とは無関係に（例えば通信端末２００の電源投入時などに）行われてもよい。すなわち、通信端末２００は、ユーザが映像を視聴する当日に限らず、それより前の日にユーザ情報をあらかじめ送信していてもよい。

次に、通信端末２００は、付加情報と放送波の受信をそれぞれ開始する（ステップＳａ２、Ｓａ３）。通信端末２００は、付加情報を放送波よりも先に受信することが望ましいが、これらをほぼ同時に並行して受信してもよい。このとき、サーバ装置３００は、通信端末２００のユーザ情報に基づき、通信端末２００又はそのユーザに応じた付加情報を送信することができる。通信端末２００は、付加情報と放送波とをそれぞれ受信すると、放送波に対応する主映像と付加情報に対応する付加映像とを合成し、これを重畳映像としてタッチスクリーン部２３０に表示する（ステップＳａ４）。

図６は、タッチスクリーン部２３０に表示される画像の一例を示す図である。この例において、表示部２３１の表示領域は、第１表示領域Ａ１と第２表示領域Ａ２とを含んで構成されている。第１表示領域Ａ１は、重畳映像を表示するための表示領域であり、第２表示領域Ａ２は、重畳映像に関連する画像又は映像を表示する表示領域である。この例において、第１表示領域Ａ１には、衣装をまとった女優が映し出されており、その手には携帯電話機の新製品が所持されているとする。また、この女優の背後には、テレビ（受像機）の新製品が映し出されているとする。

図６（ａ）に示す画像は、ユーザが女性である場合に表示されるものである。この場合、通信端末２００は、付加映像Ｉ１、Ｉ２を表示する。付加映像Ｉ１は、女優の顔を囲うように表示される線（枠）である。また、付加映像Ｉ２は、この女優が着用している衣装を囲うように表示される線（枠）である。なお、付加映像Ｉ２は、例えば、女優が着用している服と宝飾品（ネックレス、指輪など）とを区別して表示する、といった具合に、さらに細分化されていてもよい。また、付加映像Ｉ１及びＩ２は、それが付加映像であることをユーザに容易に認識させるように、点滅して表示されるものであってもよい。

一方、図６（ｂ）に示す画像は、ユーザが男性である場合に表示されるものである。この場合、通信端末２００は、付加映像Ｉ１に加え、付加映像Ｉ３、Ｉ４を表示する。付加映像Ｉ１は、図６（ａ）と同様のものである。これに対し、付加映像Ｉ３、Ｉ４は、ユーザが女性である場合には表示されていなかったものである。付加映像Ｉ３は、女優が所持している携帯電話機を囲うように表示される線（枠）であり、付加映像Ｉ４は、テレビを囲うように表示される線（枠）である。

このように、通信端末２００は、通信端末２００毎（あるいはユーザ毎）に異なる付加映像を表示することが可能である。また、通信端末２００は、相異なる付加映像を表示する場合であっても、図６に示す付加映像Ｉ１のように、部分的に共通する付加映像を表示することも可能である。

通信端末２００は、重畳映像を表示しながら、ユーザの操作を待機する。より詳細には、通信端末２００は、タッチスクリーン部２３０から座標情報が供給されたか否かを判断することにより、ユーザによる位置の指定が受け付けられたか否かを判断する（ステップＳａ５）。このとき、通信端末２００は、ユーザによって指定された位置に付加映像が表示されているか否かをあわせて判断する。例えば、図６を例にすると、通信端末２００は、付加映像として表示される枠内の領域をユーザが指定したか否かを判断する。

ユーザによって指定された位置に付加映像が表示されている場合、すなわち、付加情報に含まれる座標情報が示す位置（領域）とタッチスクリーン部２３０から供給された座標情報が示す位置とを比較したときにこれらが一致する場合、通信端末２００は、ユーザによって指定された位置にある付加映像に応じた処理を実行する（ステップＳａ６）。本実施形態において、通信端末２００は、指定された付加映像に関連する画像又は映像を第２表示領域Ａ２に表示する。このとき、通信端末２００は、ステップＳａ６の処理を実行することをユーザに報知するために、バイブレータを振動させたり照明を点滅させたりしてもよい。その後、通信端末２００は、ユーザによる指定を再度待機し、指定がある毎にステップＳａ６の処理を実行する。

図７は、第２表示領域Ａ２に表示される画像又は映像を例示する図である。図７（ａ）は、図６（ｂ）に示す付加映像Ｉ３がユーザに指定された場合を示す図である。このとき、通信端末２００は、第１表示領域Ａ１に表示されていた携帯電話機の商品情報を第２表示領域Ａ２に表示する。ここにおいて、商品情報は、当該商品を紹介するWebページであって、そのデータが通信部２２０を介して受信されるものであってもよい。この場合、付加情報には、商品情報のＵＲＬ（Uniform Resource Locator）に相当する情報が処理情報として含まれている。あるいは、付加情報は、商品情報を表すデータそのものを処理情報として含んでいてもよい。商品情報は、当該商品のメーカーが制作した広告目的のものであってもよいし、当該メーカー以外の第三者が制作したものであってもよい。例えば、商品情報は、当該商品を購入するためのオンラインショッピングのWebサイトや、当該商品のレビューや評判を掲載したWebサイトとすることも可能である。なお、ユーザにより指定された位置に表示されていたものが商品以外の人物や施設であった場合も、商品の場合と同様に、その人物や施設に関連する何らかの情報が表示されればよい。

ユーザは、映像を視聴しながら、このような位置の指定を複数回行うことが可能である。この場合、通信端末２００は、第２表示領域Ａ２を順次更新し、新たに指定された位置に関連する画像や映像を表示するようにしてもよいが、これらの画像や映像を一時的に記憶し、ユーザの操作に応じてこれを事後的に確認できるようにしてもよい。このようにすれば、ユーザは、第１表示領域Ａ１に表示されている番組や広告を視聴し終えてから第２表示領域Ａ２の情報を確認することができる。

図７（ｂ）は、第２表示領域Ａ２の他の表示例を示す図である。この例において、通信端末２００は、ユーザに指定された位置に関連する情報（画像又は映像）を表示するとともに、当該情報を表示するためのリンクＩａ、Ｉｂ、Ｉｃ、Ｉｄを表示する。この表示例の画像は、ユーザが位置の指定を４回行った場合に表示されるものであり、１回目の指定がリンクＩａに対応し、２回目の指定がリンクＩｂに対応し、３回目の指定がリンクＩｃに対応し、４回目の指定がリンクＩｄに対応する。このとき、ユーザがリンクＩａ〜Ｉｄのいずれかを指定する操作を行うと、通信端末２００は、指定されたリンクに対応する情報を第２表示領域Ａ２に表示する。通信端末２００は、このような操作が繰り返されると、第２表示領域Ａ２に表示する情報を操作に応じて切り替える。すなわち、リンクＩａ、Ｉｂ、Ｉｃ、Ｉｄは、Webブラウザにおけるブックマークのように機能する。

なお、通信端末２００は、ユーザが付加映像を指定した場合の処理として、そのとき表示されていた重畳映像の画面キャプチャ（スクリーンショット）を第２表示領域Ａ２に表示するようにしてもよい。この場合において、通信端末２００は、重畳映像に代えて主映像を画面キャプチャとして表示してもよい。また、通信端末２００は、このような画面キャプチャをサムネイルとして第２表示領域Ａ２に複数表示してもよい。

さらに、通信端末２００は、このような画面キャプチャを表示するに際して、画面キャプチャを生成した時点の前後の主映像（又は重畳映像）を所定期間だけ録画してもよい。この場合、通信端末２００は、ユーザによって画面キャプチャのサムネイルが指定された場合に、指定されたサムネイルに対応する映像（録画した映像）を再生する。このようにすれば、映像のうちのユーザが気になった部分を事後的に再確認することが可能になる。これらの処理（サムネイルを表示する処理、録画する処理）も、処理実行部２６３が実行する処理の一例に相当するものである。

以上のように、本実施形態の通信端末２００によれば、付加情報を放送波とは別の経路で取得することが可能である。これにより、付加情報を事前に取得したり、通信端末２００やそのユーザに応じて異なる付加情報を取得したりすることを容易にすることができる。また、付加情報に座標情報以外のデータ（商品情報のデータ等）を含むことによって、主映像のみからは得られないより豊富な情報をユーザに提供することも可能であり、これをユーザ毎又は端末毎に変えることも可能である。さらに、付加映像によって座標情報を視認できるように表示することで、映像のどの部分からさらなる情報を得られるのかをユーザに理解しやすくさせることが可能である。

なお、ユーザ情報は、必ずしも用いられなくてもよい。通信端末２００は、ユーザが位置を指定したときの処理や付加映像をユーザ毎（又は端末毎）に変える必要がない場合には、ユーザ情報を送信しなくてもよい。この場合、サーバ装置３００も、ユーザの属性に応じた付加情報を複数記憶する必要がない。

また、付加映像は、必ずしも表示されなくてもよい。なぜならば、付加映像があまりにも多く表示されると、表示が煩雑になり、主映像の視認を阻害するおそれがあるからである。また、付加映像が表示されない場合には、どの位置を指定すれば商品情報等を参照できるのかが一見して明らかではなくなるため、一種の娯楽性を付与する効果も期待できる。

［第２実施形態］
本実施形態に係る映像表示システム１０は、上述した第１実施形態と共通の構成のもと、第１実施形態とは異なるサービスを提供するものである。本実施形態において提供されるサービスは、例えば、放送波の映像をゲームのような娯楽に利用し、ユーザがそのゲームにより積極的に参加できるようにするためのものである。

なお、本実施形態の構成は、第１実施形態の構成と共通するため、その説明が適宜省略される。本実施形態において第１実施形態と同一の符号で説明される構成要素は、第１実施形態のそれと共通の構成を有するものである。

本実施形態の動作は、ユーザによる位置の指定があるまで付加映像が重畳されない点において、第１実施形態と異なる。すなわち、本実施形態における主映像の表示は、座標情報により示される位置がユーザの目には明らかでない点に特徴がある。このような動作になるため、本実施形態の重畳部２６２は、主映像に付加映像を重畳するタイミングが第１実施形態とは異なる。つまり、本実施形態の表示部２３１は、ユーザによる位置の指定がある前から重畳映像を表示するのではなく、ユーザによる位置の指定が行われてから重畳映像を表示する。換言すれば、本実施形態において重畳映像を表示させるように制御する処理は、処理実行部２６３によって実行される処理の一部であるともいえる。
また、本実施形態の動作は、ユーザ情報を必要としない点においても第１実施形態と異なる。

図８は、本実施形態においてタッチスクリーン部２３０に表示される画像の一例を示す図である。この例において、表示部２３１の表示領域には、地図の画像が表示されている。この例において、ユーザは、地図の所定の位置に隠されているアイテムを探し出すという、いわゆる宝探しのようなゲームを行うものとする。表示部２３１の表示領域には、正解に相当する位置と不正解に相当する位置とがあらかじめ定義されている。通信端末２００は、付加情報に含まれる座標情報によってこれらの位置を区別する。すなわち、付加情報に含まれる座標情報は、映像内のどの位置が正解に相当するか（あるいは、映像内のどの位置が不正解に相当するか）を示している。

なお、表示部２３１に表示される映像は、ここでは静止画であるとするが、もちろん動画であってもよい。また、上述した正解に相当する位置は、映像が静止画であるか動画であるかを問わず、時間の経過に伴って時々刻々と変化するようになっていてもよいし、特定のタイミングにおいてのみ存在し、それ以外のタイミングでは存在しない（どこにも正解がない）ようになっていてもよい。

図９は、本実施形態において通信端末２００が実行する処理を示すフローチャートである。この処理において、通信端末２００は、付加情報と放送波の受信をそれぞれ開始する（ステップＳｂ１、Ｓｂ２）。この処理は、第１実施形態のステップＳａ２、Ｓａ３と同様の処理である。続いて、通信端末２００は、放送波に対応する主映像をタッチスクリーン部２３０に表示する（ステップＳｂ３）。

主映像が表示された状態で、通信端末２００は、ユーザの操作を待機する。より詳細には、通信端末２００は、タッチスクリーン部２３０から座標情報が供給されたか否かを判断することにより、ユーザによる位置の指定が受け付けられたか否かを判断する（ステップＳｂ４）。ユーザの操作があった場合、通信端末２００は、付加情報に含まれる座標情報を参照し、これをタッチスクリーン部２３０から供給された座標情報と比較することにより、ユーザによって指定された位置が正解に相当する位置か否かを判断する（ステップＳｂ５）。

ユーザによって指定された位置が正解に相当する位置である場合、通信端末２００は、表示領域の所定の位置に正解である旨を付加映像として表示する（ステップＳｂ６）。一方、ユーザによって指定された位置が不正解に相当する位置である場合、通信端末２００は、表示領域の所定の位置に不正解である旨を付加映像として表示する（ステップＳｂ７）。つまり、ステップＳｂ６、Ｓｂ７において、通信端末２００は、表示する映像を主映像から重畳映像に切り替える。

ステップＳｂ６、Ｓｂ７における表示は、ユーザが指定した位置を問わず、表示領域の特定の位置（例えば表示領域の中央）に表示される態様であってもよいし、ユーザが指定した位置の近傍に表示される態様であってもよい。また、このとき付加映像として表示される文字や画像は、処理情報の一例に相当し、座標情報に対応付けられた形で付加情報に含まれている。なお、通信端末２００は、一定の時間が経過したら、ステップＳｂ６、Ｓｂ７において表示させた付加映像を消去し、主映像のみを表示するようにしてもよい。

以上の例によれば、ユーザは、主映像による正解か否かの結果の表示を待つことなく、ユーザが位置を指定した時点で結果を知ることができる。また、ユーザは、結果を都度表示させる必要がない場合には、タッチスクリーン部２３０に対して操作を行わなければよいので、自らの気分や好みに応じて、映像の視聴方法を複数の方法の中から選択することも可能である。

なお、本実施形態において提供されるサービスは、付加情報に含まれる座標情報がユーザにはわからない状態で存在し、その後、ユーザにより指定された位置に応じた処理が実行されるものであればよく、必ずしもゲームである必要はない。また、本実施形態において、付加映像は、主映像に重畳されなくてもよい。例えば、タッチスクリーン部２３０の表示領域を第１実施形態のように第１表示領域と第２表示領域とに分けるようにした場合、主映像が第１表示領域に表示され、付加映像が第２表示領域に表示されるようになっていてもよい。この場合、重畳部２６２による重畳は不要である。

［第３実施形態］
本実施形態に係る映像表示システム１０は、上述した第１実施形態と共通の構成のもと、第１実施形態、第２実施形態のいずれとも異なるサービスを提供するものである。本実施形態において提供されるサービスは、アンケートなどの統計に関するものであって、例えば、複数のユーザが質問に回答し、その結果をリアルタイムに集計して各ユーザに知らせるためのものである。よって、本実施形態は、第１実施形態と異なり、生放送のようなその後の展開が誰にも予測できない番組にも適用可能である。

なお、本実施形態の構成は、第１実施形態の構成と共通する部分については、その説明が適宜省略される。本実施形態において第１実施形態と同一の符号で説明される構成要素は、第２実施形態の場合と同様に、第１実施形態のそれと共通の構成を有するものである。

図１０は、通信端末２００の制御部２６０の機能的構成を示すブロック図である。制御部２６０は、プログラムによって実現される機能が第１実施形態、第２実施形態と異なるものの、そのハードウェア構成自体は同じである。制御部２６０は、上述した実施形態と同様のデータ取得部２６１、重畳部２６２及び処理実行部２６３に加え、記録部２６４を備える。

記録部２６４は、ユーザによる位置の指定が受け付けられたとき、すなわち、受付部２３２から座標情報が供給されたときに、当該座標情報が表す位置とその時刻とを記録する手段である。すなわち、記録部２６４は、ユーザがどの位置をどの時刻に指定したのかを記録する。記録部２６４は、これらのデータを制御部２６０のメモリに記憶してもよいし、記憶部２５０に記憶してもよい。

図１１は、本実施形態においてタッチスクリーン部２３０に表示される画像の一例を示す図である。この例において、表示部２３１の表示領域には、質問と、その質問に対応する回答の選択肢（「１」〜「３」）とが表示されている。ユーザは、例えば「１」と回答したい場合には、「１」と表示された画像を指定する操作を行う。

図１２は、本実施形態において通信端末２００が実行する処理を示すフローチャートである。この処理において、通信端末２００は、放送波の受信を開始し（ステップＳｃ１）、受信した放送波に応じた映像、すなわち主映像を表示する（ステップＳｃ２）。この状態において、通信端末２００は、ユーザの操作を待機し、ユーザによる位置の指定が受け付けられたか否かを判断する（ステップＳｃ３）。ステップＳｃ３の処理は、第２実施形態のステップＳｂ４と同様の処理である。通信端末２００は、ユーザの操作があるまで、この判断を繰り返す。

ユーザによる位置の指定が受け付けられた場合、通信端末２００は、当該位置と、当該指定が受け付けられた時刻とを記録する（ステップＳｃ４）。続いて、通信端末２００は、座標情報や時刻情報を含んだ付加情報（以下「第１付加情報」という。）を受信したか否かの判断を、第１付加情報を受信するまで繰り返す（ステップＳｃ５）。

本実施形態の第１付加情報は、座標情報により表される位置が上述した選択肢のいずれであるかを示す情報を含んでいる。第１付加情報は、図１１の例でいえば、選択肢「１」に相当する位置と、選択肢「２」に相当する位置と、選択肢「３」に相当する位置を示す情報を含んでいる。また、第１付加情報は、質問が複数ある場合であれば、その質問が何問目であるかを示す情報を含んでもよい。

第１付加情報を受信すると、通信端末２００は、これをステップＳｃ４において記録した情報と比較することによって、ユーザによって指定された位置がいずれの選択肢に相当するのかを特定することができるようになる。ゆえに、通信端末２００は、ステップＳｃ４において記録した情報を読み出して参照し、ユーザの回答を表す情報をサーバ装置３００に送信する（ステップＳｃ６）。ステップＳｃ６において送信される情報のことを、以下においては「フィードバック情報」という。

なお、フィードバック情報は、質問が複数ある場合であれば、その質問が何問目であるかを示す情報を含んでもよいが、これに代えて、ユーザが位置を指定した時刻を表す情報を含んでもよい。サーバ装置３００は、これらの情報のいずれかを取得できれば、質問が複数ある場合であっても、ユーザの回答がどの質問に相当するものであるかを特定することができる。一方、質問が１問のみの場合は、ユーザによって指定された位置のみからユーザが回答した選択肢を特定することが可能である。

サーバ装置３００は、このようなフィードバック情報を複数の通信端末２００から受信する。その後、一定数のフィードバック情報を受信し、又は回答を受け付ける期間が終了すると、サーバ装置３００は、受信した複数のフィードバック情報に基づいて各ユーザの回答を集計する。そして、サーバ装置３００は、集計結果を表す情報を第２付加情報として送信する。そうすると、各ユーザの通信端末２００は、この第２付加情報を受信することができる（ステップＳｃ７）。通信端末２００は、第２付加情報を受信すると、これに基づいて付加映像を表示する（ステップＳｃ８）。

第２付加情報は、複数の通信端末２００から送信されたフィードバック情報が反映された付加情報である。第２付加情報には、例えば、付加映像を表示すべき位置や時刻を表す座標情報や時刻情報に加え、付加映像として表示される文字や画像を表すデータが含まれる。ただし、質問が１問のみである場合の第２付加情報は、時刻情報を含まなくてよい。

図１３は、本実施形態においてタッチスクリーン部２３０に表示される付加映像の一例を示す図である。図１３（ａ）は、付加映像を重畳映像として第１表示領域Ａ１に表示する例を示しており、図１３（ｂ）は、付加映像を重畳映像とせずに第２表示領域Ａ２に表示する例を示している。図１３（ａ）の例において、付加映像は、集計結果を星の数によって表すものである。一方、図１３（ｂ）の例における付加映像は、集計結果を棒グラフによって表すものである。この例の場合の第２付加情報は、座標情報を含まなくてよい。なお、付加映像は、この例に限らず、回答したユーザの人数を数字で表したものであってもよい。

以上のとおり、本実施形態の通信端末２００によれば、ユーザの操作を記録部２６４によって記録することにより、操作時に付加情報（第１付加情報）が受信できていない場合であっても、当該操作と当該付加情報とに基づいた比較を行うことが可能である。すなわち、本実施形態の通信端末２００によれば、視聴時に付加情報が得られない場合であっても、かかる比較を行うことが可能である。

また、本実施形態の通信端末２００によれば、フィードバック情報を送信し、送信したフィードバック情報が反映された付加情報（第２付加情報）を受信することで、よりインタラクティブな映像の視聴が可能である。なお、サーバ装置３００は、回答の集計をユーザの属性毎に行ってもよい。この場合、第２付加情報は、ユーザの属性毎に異なり得る。このようにすれば、ユーザは、男女別の集計結果や年代別の集計結果を知ることができる。

なお、本実施形態は、第１付加情報をユーザの操作の前（すなわちステップＳｃ３）の判断の前に受信するものであってもよい。この場合、通信端末２００は、主映像に代えて、第１付加情報に基づいた重畳映像を操作時に表示することが可能である。この場合の重畳映像は、質問や、その質問に対応する回答の選択肢（図１１の「１」〜「３」）を付加映像として表示することも可能である。

［変形例］
本発明は、上述した実施形態の態様に限らず、他の態様でも実施することが可能である。本発明は、例えば、以下の変形例に示す態様によっても実施可能である。なお、本発明は、これら複数の変形例を組み合わせた態様で実施されてもよい。

（１）上述したタッチスクリーン部２３０は、本発明の受付部を備える構成の一例である。しかし、本発明の受付部は、タッチスクリーン部２３０のような構成に限らず、例えば、表示部とは独立に設けられたボタン（いわゆるハードウェアキー）であってもよいし、マウスなどのポインティングデバイスであってもよい。つまり、本発明の受付部は、表示領域に対する操作（ユーザの指定）を受け付けることができるものであれば、表示部と一体に構成されていなくてもよい。

（２）サーバ装置３００は、ユーザ情報を通信端末２００からではなく、データベースなどの他の外部装置から受信することも可能である。例えば、ユーザ情報にユーザ（又は通信端末２００）のＩＤと当該ユーザの属性情報とが含まれる場合であれば、通信端末２００がＩＤのみを記憶し、データベースがＩＤと属性情報とを対応付けて記憶していればよい。この場合、通信端末２００は、ＩＤのみをサーバ装置３００に送信し、サーバ装置３００は、当該ＩＤに対応する属性情報をデータベースに問い合わせればよい。

（３）本発明は、放送波を受信し、映像をリアルタイムに再生する場合に限らず、当該映像を録画して事後的に再生する場合にも適用可能である。この場合、通信端末２００は、映像を録画したデータと付加情報とを対応付けて記憶しておけばよい。

（４）本発明は、放送波に重畳される付加情報を併用することを妨げるものではない。すなわち、本発明は、放送波に重畳される付加情報と、通信網を介して送信される付加情報とを併用する態様であってもよい。かかる態様としては、例えば、付加映像に各ユーザに共通の映像とユーザ毎に異なり得る映像とが含まれる場合であれば、前者の映像を放送波に重畳される付加情報として送信し、後者の映像を通信網を介して送信される付加情報として送信する、といった態様が考えられる。

（５）本発明は、上述したように、付加映像を表示させたり、あるいは表示させなかったりといった具合に、さまざまな態様で実施することが可能である。通信端末２００は、これらの態様のいずれかのみを実行するものであってもよいし、複数の態様を選択的に実行するものであってもよい。通信端末２００が複数の態様で動作する場合、付加情報は、これらの複数の態様のうちのいずれで動作するかを通信端末２００に指示するためのデータを含んでもよい。かかるデータは、例えば、第１実施形態の場合において付加映像を表示させるか否かを示したり、第３実施形態において付加映像を第１表示領域Ａ１と第２表示領域Ａ２のいずれに表示させるかを示したりするものである。

（６）本発明は、通信端末２００やこれを備える映像表示システム１０としてだけではなく、通信端末２００が実行するプログラムやその処理実行方法として把握することも可能である。また、このプログラムは、光ディスク等の記録媒体に記録した形態や、インターネット等のネットワークを介して、コンピュータにダウンロードさせ、これをインストールして利用可能にする形態などでも提供可能である。また、本発明の構成は、図１に示すようにネットワーク４００に無線の通信網を含む構成ではなく、通信端末２００とサーバ装置３００とが有線接続されるものであってもよい。

Claims (9)

1. 映像を送る放送波を受信する受信部と、
   前記受信部により受信される放送波により表示される映像に対して付加される情報であって、当該映像の時刻に対応付けられた当該映像内の位置を表す座標情報を含む付加情報を、サーバ装置から通信網を介して受信する通信部と、
   前記受信部により受信された放送波により映像を表示領域に表示する表示部と、
   ユーザによる前記表示領域の位置の指定を受け付ける受付部と、
   前記表示部により前記表示領域に映像が表示されているときに前記受付部により前記指定が受け付けられた位置と、前記通信部により受信された座標情報が表す位置のうちの当該表示されている映像に対応する位置との比較結果に応じた処理を実行する処理実行部と
   を備える通信端末。
2. 前記サーバ装置は、前記通信端末又はそのユーザを識別し、
   前記通信部は、自端末又はそのユーザに応じた前記付加情報を受信する
   ことを特徴とする請求項１に記載の通信端末。
3. 前記付加情報は、前記処理実行部により実行される処理に対応する処理情報を含み、
   前記処理実行部は、前記処理情報に基づいて処理を実行する
   ことを特徴とする請求項１又は２に記載の通信端末。
4. 前記受信部により受信された放送波により表示される映像に前記通信部により受信された付加情報に対応する映像を重畳した重畳映像を生成する重畳部を備え、
   前記表示部は、前記重畳部により生成された重畳映像を前記表示領域に表示する
   ことを特徴とする請求項１ないし３のいずれか１項に記載の通信端末。
5. 前記受付部により前記指定が受け付けられたときに、その指定された位置と当該指定が受け付けられた時刻とを記録する記録部を備え、
   前記処理実行部は、前記記録部により記録された位置及び時刻を参照し、当該位置と前記座標情報が表す位置とを比較する
   ことを特徴とする請求項１ないし４のいずれか１項に記載の通信端末。
6. 前記通信部は、
   前記受付部により前記指定が受け付けられた位置に応じたフィードバック情報を前記サーバ装置に送信し、
   当該通信端末を含む複数の通信端末により送信された前記フィードバック情報が反映された前記付加情報を受信する
   ことを特徴とする請求項１ないし５のいずれか１項に記載の通信端末。
7. 請求項１ないし６のいずれか１項に記載の通信端末と、
   少なくとも前記付加情報を送信するサーバ装置と
   を備える映像表示システム。
8. 映像を送る放送波を受信する第１ステップと、
   前記第１ステップにて受信される放送波により表示される映像に対して付加される情報であって、当該映像の時刻に対応付けられた当該映像内の位置を表す座標情報を含む付加情報を、サーバ装置から通信網を介して受信する第２ステップと、
   前記第１ステップにて受信された放送波により映像を表示領域に表示する第３ステップと、
   前記第３ステップにて前記表示領域に映像が表示されているときに、ユーザによる前記表示領域の位置の指定を受け付ける第４ステップと、
   前記第４ステップにて、前記表示領域に映像が表示されているときに前記位置の指定が受け付けられると、当該位置と、前記第２ステップにより受信された座標情報が表す位置のうちの当該表示されている映像に対応する位置との比較結果に応じた処理を実行する第５ステップと
   を実行する通信端末の処理実行方法。
9. コンピュータに、
   映像を送る放送波を受信する第１ステップと、
   前記第１ステップにて受信される放送波により表示される映像に対して付加される情報であって、当該映像の時刻に対応付けられた当該映像内の位置を表す座標情報を含む付加情報を、サーバ装置から通信網を介して受信する第２ステップと、
   前記第１ステップにて受信された放送波により映像を表示領域に表示する第３ステップと、
   前記第３ステップにて前記表示領域に映像が表示されているときに、ユーザによる前記表示領域の位置の指定を受け付ける第４ステップと、
   前記第４ステップにて、前記表示領域に映像が表示されているときに前記位置の指定が受け付けられると、当該位置と、前記第２ステップにより受信された座標情報が表す位置のうちの当該表示されている映像に対応する位置との比較結果に応じた処理を実行する第５ステップと
   を実行させるためのプログラム。

Images