JP4498531B2 - ストリーミング映像再生方法、ストリーミング映像再生装置、及びストリーミング映像再生プログラムを記録した記録媒体 - Google Patents
ストリーミング映像再生方法、ストリーミング映像再生装置、及びストリーミング映像再生プログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP4498531B2 JP4498531B2 JP2000103875A JP2000103875A JP4498531B2 JP 4498531 B2 JP4498531 B2 JP 4498531B2 JP 2000103875 A JP2000103875 A JP 2000103875A JP 2000103875 A JP2000103875 A JP 2000103875A JP 4498531 B2 JP4498531 B2 JP 4498531B2
- Authority
- JP
- Japan
- Prior art keywords
- streaming video
- information
- auxiliary information
- video playback
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Studio Circuits (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、ネットワークを介して映像を再生する際に、関連補助情報を用いて、映像の内容理解を促進する技術に関する。
【０００２】
【従来の技術】
電子的なコンピュータネットワークの広まりと、コンピュータの爆発的な普及と共に、多くの映像が電子ネットワーク上を配信されている。特に、現在もっとも普及しているインターネットと呼ばれるIPネットワーク上で、次々と映像を伝送するためのいくつかのシステムが開発され、利用されている。例えば、SoftwareVision（NTT ）、RealSystem（Real Networks ）、MediaTechnology （MicroSoft ）、QickTime4.0 （Apple ）などがそれらの代表的なものである。
【０００３】
しかし、現在普及しているインターネットと呼ばれるIPネットワークはその構造上、容量が小さくなりやすく、実時間通信が必ずしも保証されていないため、現状では、アナログTV放送の映像品質を満たしていないものがほとんどである。従って、現状のIPネットワーク上を配信する映像クオリティは、やむを得ずTV品質と比較して、時間ないし空間の一方ないし、両方を犠牲にしたものとなってしまい、TV放送品質を満たした映像よりも低い映像情報しか伝達することができないことが一般的である。また、劣悪なネットワーク条件においては、映像の本質的特徴である実時間再生すら不可能な場合も存在する。こうした問題は、現状では一般的であり、今後しばらくは多くの場面において、発生する問題になると考えられる。
【０００４】
また、映像は、その内容を理解するために、その時間長分だけ視聴することが必要であり、内容を瞬時に把握し、必要なところだけ視聴したいという要求を簡単に満たすことが困難なメディアである。これは、映像が視聴者に対して強い時間的拘束を強いるからである。
【０００５】
そこで映像の内容を簡単に把握し、かつ、視聴しやすくするための一つの提案として、映像情報のカメラのON／OFF に対応するカット点（ショットチェンジ）の情報を抽出し、カット点直後の映像を表示し、視聴者の要望に応じて、ショットチェンジ直後の映像に対応する映像区間を任意に再生するなどして、視聴を支援する試みがあげられる。その一例が、Yukinobu Taniguchi 、Yoshinobu Tonomura、「PanoramaExcerpts：Extracting and packing Panoramas for Video Browsing 」（1996 ACM Multimedia 97）である。この方法は、映像の重要な意味を持つと考えられる複数の画像を自動的に検出し、その一覧を視聴者に提示させて、視聴者の映像内容の把握を支援し、視聴者が任意の映像区間を自由に選択して視聴することを可能としている。
【０００６】
また、映像情報を補完するものとして、地図情報を利用したものも提案されている。たとえば、Masatoshi Arikawa, Tetsu Kamiyama, 「Spatial Browsing for Video Databases」（1998、AMCP'98 ）などがあげられる。この方法は、映像情報の中に収められている風景の位置と地図情報を組み合わせたものであり、地図上に映像が配置されており、地図情報に対して繰作を行うと対応する映像を視聴できる。
【０００７】
これら2 つの例は、映像の視聴を支援することが目的であり、補助情報から映像にアクセスし、視聴することが可能となっている。これらは、視聴者による関連補助情報を介した映像再生の操作を受け取ることで、映像を再生することは可能であるが、再生に伴う関連情報が変化することはない。
【０００８】
これは、前述の2 例が、映像は高品位に実時間再生され、十分な情報を伝送することが可能であることを前提としていることによる。映像が高品位であれば、最終的に映像を再生することにより内容を伝達できるため、補助的な情報は再生を行うまでの手がかりとしてのみ使用される。
【０００９】
【発明が解決しようとする課題】
しかしながら、ネットワーク上でのストリーミング映像においては、前述のように劣悪な条件下で映像を再生することが求められるため、時間的空間的解像度の制約をうけやすく、映像が高品位に実時間再生されるということを前提とすることはできない。
【００１０】
従って、上述した従来技術のように補助的な情報を再生を行うまでの手がかりとしてのみ使用しただけではストリーミング映像の内容を十分に伝達することはできない。
【００１１】
本発明は上記の点に鑑みてなされたものであり、ネットワーク上におけるストリーミング映像の劣悪な映像品質でも十分な情報が利用者に伝わるようにし、かつ、ストリーミング映像の内容を瞬時に把握し、容易に見たいところを視聴可能とする枝術を提供することを目的とする。
【００１２】
【課題を解決するための手段】
上記の目的を達成するために本発明は次のように構成される。
【００１３】
請求項１に記載された発明は、ネットワークを介して伝送されたストリーミング映像を再生し、関連補助情報と共に表示するストリーミング映像再生方法であって、ストリーミング映像を受信する受信ステップと、該ストリーミング映像に含まれる所定の情報を抽出する抽出ステップと、該所定の情報に基づき予め与えられたシナリオに従って前記関連補助情報を変化させる変化ステップとを有し、前記所定の情報はストリーミング映像の再生時間情報であり、前記シナリオは、前記関連補助情報において映像再生時に表示する当該再生場面に対応する画像識別名をストリーミング映像の再生時間に対応付けて記述した情報を含み、前記変化ステップは、前記抽出ステップにおいて抽出された再生時間情報に対応する前記画像識別名を前記シナリオから読み取るステップと、前記関連補助情報において、該再生時間情報に対応する場面の非映像再生時に表示された画像を前記画像識別名の画像に切替えるステップとを有することを特徴とするストリーミング映像再生方法である。
【００１５】
上記の発明によれば、所定の情報に基づきシナリオに従って関連補助情報を変化させることとしたため、ストリーミング映像と関連補助情報とは連動し、利用者は、ネットワークを介して得られるストリーミング映像を視聴することに加えて、ストリーミング映像に連動する関連補助情報をあわせて視聴することが可能となり、関連補助情報がストリーミング映像の内容を伝達するため、劣悪な条件に陥りやすいネットワーク上においても十分な情報伝達を行うことが可能となる。
【００１６】
すなわち、映像の視聴を目的として他の情報を用いるのではなく、伝達したい情報の内容を伝えるために、映像と関連する補助的な情報を組み合わせて、情報を提供する。映像を視聴するために、関連補助情報を利用するのではなく、映像と関連する関連補助情報を積極的に利用して、映像だけでは十分に伝わらない情報を補完する目的で積極的に利用することによって、劣悪な条件下でも、十分な情報を伝達することが可能になる。
【００２０】
請求項２に記載された発明は、ネットワークを介して伝送されたストリーミング映像を再生し、関連補助情報と共に表示するストリーミング映像再生装置であって、ストリーミング映像を受信する受信手段と、該ストリーミング映像に含まれる所定の情報を抽出する抽出手段と、該所定の情報に基づき予め与えられたシナリオに従って前記関連補助情報を変化させる変化手段とを有し、前記所定の情報はストリーミング映像の再生時間情報であり、前記シナリオは、前記関連補助情報において映像再生時に表示する当該再生場面に対応する画像識別名をストリーミング映像の再生時間に対応付けて記述した情報を含み、前記変化手段は、前記抽出手段にて抽出された再生時間情報に対応する前記画像識別名を前記シナリオから読み取る手段と、前記関連補助情報において、該再生時間情報に対応する場面の非映像再生時に表示された画像を前記画像識別名の画像に切替える手段とを有することを特徴とするストリーミング映像再生装置である。
【００２４】
請求項２に記載された発明によれば、請求項１に記載のストリーミング映像再生方法に適したストリーミング映像再生装置を提供でき、上記と同様の効果を得ることができる。
【００２５】
請求項３に記載された発明は、ネットワークを介して伝送されたストリーミング映像を再生し、関連補助情報と共に表示する処理をコンピュータに実行させるストリーミング映像再生プログラムを記録した記録媒体であって、ストリーミング映像を受信する受信手順と、該ストリーミング映像に含まれる所定の情報を抽出する抽出手順と、該所定の情報に基づき予め与えられたシナリオに従って前記関連補助情報を変化させる変化手順とをコンピュータに実行させるストリーミング映像再生プログラムを記録した記録媒体であり、前記所定の情報はストリーミング映像の再生時間情報であり、前記シナリオは、前記関連補助情報において映像再生時に表示する当該再生場面に対応する画像識別名をストリーミング映像の再生時間に対応付けて記述した情報を含み、前記変化手順は、前記抽出手順において抽出された再生時間情報に対応する前記画像識別名を前記シナリオから読み取る手順と、前記関連補助情報において、該再生時間情報に対応する場面の非映像再生時に表示された画像を前記画像識別名の画像に切替える手順とを有することを特徴とするストリーミング映像再生プログラムを記録した記録媒体である。
【００２９】
請求項３に記載された発明によれば、請求項１に記載された方法をコンピュータ上で実行するプログラムを記録した記録媒体を提供でき、そのプログラムをコンピュータにインストールすることによって請求項２に記載された装置と同様の作用効果を有するコンピュータを提供することができる。
【００３０】
【発明の実施の形態】
図１に本発明が適用されるシステム構成図を示す。同図に示すように、ストリーミング映像提供装置１がネットワーク３を介してストリーミング映像情報連動再生装置５に映像を供給する。また、シナリオ及び関連補助情報を提供する補助情報提供装置７がネットワークを介してシナリオおよび関連補助情報をストリーミング映像情報連動再生装置５に供給する。なお、ストリーミング映像提供装置１と補助情報提供装置７を同一の装置とすることも可能である。また、シナリオや関連補助情報はストリーミング映像情報連動再生装置５が生成してもよい。なお、ストリーミング映像情報連動再生装置はストリーミング映像再生装置と称してもよい。ここでは、ストリーミング映像の情報を使用して関連補助情報との連動を行うことを明確にするためにストリーミング映像情報連動再生装置と称している。
【００３１】
上記のストリーミング映像提供装置１が供給するストリーミング映像は、再生時間情報などを再生しながら出力することが可能なデジタル映像であり、視聴者が利用している再生表示の手段に対して、ストリーミング映像データを保存することなく、再生するべき区間のみネットワークから伝送することが可能な機能を有することが必要である。すなわち、外部コマンド命令によって指定された時間区間を再生し、指定区間までを終了する機能を実現可能なインタフェースを有することが必要である。上述の従来技術の項で述べたシステムで提供されるストリーミング映像例は、いずれも、この条件を満たしている。
【００３２】
関連補助情報については、ストリーミング映像の一部やそれらを加工して得られる情報であったり、ストリーミング映像に関係が深い地図情報であったり、ストリーミング映像に関連の深い別映像や別画像であったり、関係が深いテキストであっても良い。例えば、従来技術として説明したYukinobu Taniguchi 、Yoshinobu Tonomura、「PanoramaExcerpts：Extracting and packing Panoramas for Video Browsing 」（1996 ACM Multimedia 97）におけるショットチェンジ技術による出力であるショットチェンジ情報とショットチェンジ直後の画像をそれぞれシナリオと関連情報とすることができる。
【００３３】
また、映像上の風景と地図情報とを対応させ、地図上の風景を表示するような場合、シナリオは映像上の風景と地図上の風景との対応をとったものである。これは、例えば、Masatoshi Arikawa, Tetsu Kamiyama, 「Spatial Browsing for Video Databases」（1998、AMCP'98 ）に示されるように、ＧＰＳを利用して生成できる。すなわち、ＧＰＳによれば撮影時刻と撮影した緯度と経度がわかるため、それにより、映像が撮影された場所と時間とを記録することができる。その他、シナリオと関連補助情報は種々の方法で得ることが可能である。
【００３４】
図２に本発明の一実施例におけるストリーミング映像情報連動再生装置５の構成を示す。同図に示すように、本発明のストリーミング映像情報連動再生装置５は、ストリーミング映像の再生及び制御を行うストリーミング映像再生制御手段９、ストリーミング映像の再生表示を行う再生表示手段１１、関連補助情報の制御を行う関連補助情報制御手段１３、関連補助情報の表示を行う関連補助情報表示手段１５、ストリーミング映像再生制御手段９と関連補助情報制御手段１３を連動させるための制御間通信手段１７、関連補助情報に対して操作の指示を与えるための関連補助情報指示手段１９を有する。また、前述したようにストリーミング映像情報連動再生装置５はネットワーク３に接続され、ストリーミング映像、シナリオ、関連補助情報を受信する。
【００３５】
ストリーミング映像は、ストリーミング映像再生制御手段９にて、通常再生および、一時停止、早送りなどのトリックプレイの制御を行われつつ、再生表示手段１１を介して、映像表示を行う。その結果、視聴者４はストリーミング映像を視聴する。
【００３６】
関連補助情報は、関連補助情報制御手段１３を介して、通常の表示や、後述するようにストリーミング映像と連動して変化を加えたものなどの特殊な表示を行う制御がなされ、関連補助情報表示手段１５にて、関連補助情報表示が行われる。
【００３７】
シナリオは、ネットワーク３を介して制御間通信手段１６に与えられている。この制御間通信手段１６は、ストリーミング映像再生制御手段９から得られる映像再生の時間情報を関連補助情報制御手段１３に伝送する。関連補助情報制御手段では、シナリオに記述されたとおりに、与えられる時間情報と共に、関連補助情報に対して、変化を加えていく。結果的に、視聴者は、ストリーミング映像とシナリオにあわせて変化していく関連補助制御情報を受け取る。
【００３８】
これに対し、視聴者は、関連補助情報指示手段１９を介して、関連補助情報制御手段１３に対して、要求を送り、変化を起こさせることも可能である。こうした関連補助情報に与えられる変化がシナリオに記述されていればストリーミング映像に対して、何らかの変化を与える。ストリーミング映像が変化を受けたら、ストリーミング映像再生制御手段９は、先ほどと同様制御間通信手段１７を介して、関連補助情報制御手段１３に情報を伝送し、最終的に変化が与えられたストリーミング映像の表示と、あわせて変化した関連補助情報表示を視聴者に与える。
【００３９】
次に、ストリーミング映像再生制御手段９、関連補助情報制御手段１３、制御間通信手段１７に関する動作について説明する。なお、ここでは概要を説明する。詳細については具体例を用いて後述する。
【００４０】
上述したようにストリーミング映像および関連補助情報は、適宜ストリーミング映像再生制御手段９と、関連補助情報制御手段１３によって制御され、互いに必要な情報を制御間通信手段１７を介して同期を取りつつ、再生表示手段および関連補助情報表示手段１５にて表示され、視聴者の目に触れられる。
【００４１】
この際に、ストリーミング映像再生制御手段９は、時系列情報である映像情報から簡易に抽出できる情報として、例えば再生時間情報を抽出して制御間通信手段１７に送信する。その他、映像中の各画像につけられているテロップ、ショットチェンジ、ストリーミング映像中の画像内容を解析して得られる情報、例えば、人物、物体、色、明度、領域情報といった各種情報を抽出して伝送してもかまわない。
【００４２】
関連補助情報制御手段１３は、ストリーミング映像再生制御手段９から制御間通信手段１７を介して送られてくる複数の情報から関連補助情報の制御に必要な情報のみを抽出し、利用する。同様に、関連補助情報制御手段１３からは、制御間通信手段１７を介してストリーミング映像再生制御手段９に繰作命令を与える。例えば、映像の再生の開始、終了、一時停止、早送り、スロー、逆送り、任意の区間へのジャンプといった特殊再生だけでなく、明度の調節、特定領域の変化といったことに関する操作命令および必要な情報を転送する。
【００４３】
一方、視聴者は関連補助情報表示手段１５にて表示される関連補助情報に対しての操作を行うために、関連補助情報指示手段１９を介して、関連補助情報制御手段１３に要求を与えることが可能である。関連補助情報制御手段１３では、この要求を受け取り、制御間通信手段１７を経てストリーミング映像再生制御手段９に要求を出し、シナリオどおりにストリーミング映像と関連補助情報とが連動し同期した状態を保ちつつ任意の映像区間を再生し表示する。
【００４４】
次に本発明のストリーミング映像情報連動再生装置による画面表示例を図３、図４に示す。
【００４５】
図３はストリーミング映像の一部を関連補助情報として利用している例を示す図である。この例は、前述したショットチェンジ技術を用い、予めストリーミング映像として用いられている映像コンテンツからショットチェンジ直後の画像を配置したものを関連補助情報としている。このショットチェンジ直後の画像は、次のショットチェンジ直後の画像までの映像区間を代表した画像であるものとする。
【００４６】
図３（ｂ）に示すように、ストリーミング映像が再生されると、対応する映像区間を代表する画像が強調表示される。この強調表示は、画像内容が反転しても良いし、周囲を囲っても良いし、他の画像よりも巨大に表示するなど種々の表示が可能である。ここでは、下線が引かれていくものとする。ストリーミング映像の再生が進むと共に、下線部を引かれる画像が順次変化していく。
【００４７】
一方、視聴者は、ストリーミング映像の任意の個所を再生したい場合には、対応する映像区間に対して命令を与えることでこれを実現する。一般には、コンピュータディスプレイでこれらのインタフェースは実現されており、マウス操作で選択することで任意のストリーミング映像を再生する。
【００４８】
次に、別の例を図４に示す。
【００４９】
この例は、ストリーミング映像が撮影している風景と対応する地図情報を関連補助情報に用いている例である。ストリーミング映像の内容は刻々と変化し、地図上のさまざまな個所を撮影しているものとする。図４（ｂ）に示すように、ストリーミング映像の再生に伴い、関連補助情報表示では、映像中に含まれる風景と対応する地図上の位置を強調表示する。この強調表示は、画像内容が反転しても良いし、周囲を囲っても良いし、他の画像よりも巨大に表示されるなどさまざまなことが考えられる。ここでは、地図上の色が変化するものとする。従って、ストリーミング映像の再生と表示に伴い、関連補助情報である地図情報は次々と色が変化しては戻りというプロセスを踏んでいく。
【００５０】
視聴者は、一方で、地図上の特定領域を撮影している映像を見たい場合には、その特定領域をポインティングデバイスなどで、指定し、操作を行うことで、対応する領域を記録しているストリーミング映像の該当区間を再生し、表示する。
上述したようなストリーミング映像再生制御手段９及び関連補助情報制御手段１３間の連動はストリーミング映像再生制御手段９及び関連補助情報制御手段１３の間を取り持つ制御間通信手段１７がシナリオを解釈することによって実現される。制御間通信手段１７は、常に、ストリーミング映像の状態を監視している。一般には、映像が再生中か、停止中か、一時停止中かを把握している。誰が、どこを撮影しているといった画像内部に踏み込んだ情報も可能であれば取得する。
【００５１】
ストリーミング映像が再生中であれば、再生しているストリーミング映像の相対的な再生時間を取得する。シナリオには映像の再生時間に応じて、関連情報を切り替えることが明記されているので、関連補助情報をシナリオ記述にしたがって変化させる。
【００５２】
一方、制御間通信手段１７は、視聴者から関連補助情報に与えられる予め定められた操作についても常に監視している。例えば、画像群上でクリックしたらそれに対応するストリーミング映像区間から再生を開始するというルールによって、マウスクリックの位置を確認し、ストリーミング映像に命令を与える。
【００５３】
以下、関連補助情報として図５に示した例を用いて、本発明の動作の一例をより具体的に説明する。図６に、図５の表示に対応するシナリオの例を示す。
【００５４】
図６中、「場所の名称」は関連補助情報の各場所を示す。「ＳＴＡＲＴ」はストリーム映像において各場所の映像が開始する時刻（映像の開始からの相対時間）を表し、「ＳＴＯＰ」はその場所の映像が終了する時刻を表す。これらの時刻は実際のストリーム映像における各場所の再生時間と対応する。
【００５５】
「基本画像」は関連補助情報の各場所に対応して表示させる画像を示し、この場合は画像ファイル名が示されている。なお、図５には場所の名称とそれに対応する基本画像が示されている。また、「マウスカーソルがのった場合」は、関連補助情報の表示画面の各場所においてマウスカーソルがのった場合に表示する画像のファイル名を示す。これにより、見たい映像の場所を指定する場合にどこを指定しているかを明示できる。具体的には、基本画像の色やトーンを変えた画像等種々の形態の画像を使用できる。「映像を再生中の場合」は、各場所のストリーミング映像を表示中に、関連補助情報の表示における該当する場所に表示する画像を示す。図４の例でも説明した通り、映像を再生中に対応する画像は、画像内容を反転したもの、周囲を囲む、他の画像よりも巨大に表示する、色を変える等種々の形態の画像を使用できる。
【００５６】
図７は映像再生に伴う関連補助情報の変化を時系列で示した図である。図７を用いて前述したストリーミング映像再生制御手段９、制御間通信手段１７及び関連補助情報制御手段１３の動作を詳細に説明する。
【００５７】
同図に示すように、ストリーミング映像再生制御手段９による映像再生が進むにつれ、関連補助情報の中の画像が切り替わる。すなわち、制御間通信手段１７がストリーミング映像の再生時間情報を取得し、図６に示したシナリオに記述された時刻情報と照合することによって該当する画像情報をシナリオから読み取って関連補助情報制御手段１３に通知し、関連補助情報制御手段１３はその画像情報を関連補助情報表示手段１５に表示させる。図７中、例えば、再生時刻が９４００ミリ秒になると、客間の基本画像kyakuma.gif はkyakuma ＿click.gif に切り替わる。
【００５８】
また、食堂の再生の時間部分に示すように、マウスを該当の場所に置くと、映像の状況にかかわらず、ポインタの位置に応じて「マウスカーソルがのった場合」の画像を表示する。食堂の場合であればdining＿over.gifが表示される。その後、映像再生を指示するためにマウスをクリックすると、関連補助情報制御手段１３にその指示の情報が伝えられ、関連補助情報制御手段１３はポインタ位置を制御間通信手段１７に送信し、制御間通信手段１７はそのポインタ位置から場所を把握し、シナリオからその場所に対応する時間区間を読み取ってストリーミング映像再生制御手段９に伝える。ストリーミング映像再生制御手段９はその時間区間に対応する映像の再生命令を用いてストリーミング映像を再生する。なお、シナリオが時間区間に対応したポインタ位置範囲の情報を有するようにしてもよい。
【００５９】
次に本発明のストリーミング映像連動再生プログラムを記録した記録媒体について説明する。
【００６０】
ストリーミング映像連動再生装置の構成は、図２で示した実施例の構成に限定されることなく、各々の構成要素を上記で説明した処理を行う手順を有するソフトウェア（プログラム）で構築し、コンピュータシステムにそのプログラムを実行させることにより一般的なコンピュータシステムを本発明のストリーミング映像連動再生装置とすることが可能である。
【００６１】
図８は上記コンピュータシステムのハードウェア構成の例を示すブロック図である。本コンピュータシステムは、処理を実行するＣＰＵ１００、プログラムやデータを記憶するメモリ１０１、メモリ１０１またはＣＰＵ１００で使用するプログラムやデータを蓄積する外部記憶装置１０２、データを表示するディスプレイ１０３、データまたは命令を入力するキーボード１０４、ネットワークを介して他のコンピュータシステム等と通信を行うための通信処理装置１０５から構成される。上記プログラムはメモリ１０１又は外部記憶装置１０２にインストールされＣＰＵ１００により実行される。
【００６２】
本発明の記録媒体はメモリ１０１又は外部記憶装置１０２に相当する。更に、電子メモリ、ハードディスク、又は、フロッピーディスク、ＣＤ−ＲＯＭ、磁気テープ等の可搬記録媒体等も本発明の記録媒体として使用可能である。本発明のストリーミング映像連動再生プログラム記録媒体に記録されたプログラムを、図８に示すような一般的なコンピュータシステムにローディングすることにより、そのコンピュータ上で本発明のストリーミング映像連動再生を実施することが可能となる。また、上記のプログラムはコンピュータにプレインストールすることもできる。
【００６３】
以上、本発明を実施例に基づき具体的に説明したが、本発明は本実施例に限定されるものではなく、本発明の主旨を逸脱しない範囲において種々変更可能である。
【００６４】
【発明の効果】
本発明によれば、シナリオを用いて関連補助情報をストリーミング映像と連動して表示させることを可能としたため、インターネット上のストリーミング映像のように低品質の映像であっても、関連補助情報の補助によって映像による情報伝達を十分に行うことが可能となる。すなわち、本発明によれば、関連補助情報が欠落した情報を補完し、かつ、任意の映像を自由に視聴することができるので、映像自体の品質が低い場合であっても、映像に含まれる情報を十分に把握することが可能となる。更に、ストリーミング映像の内容を瞬時に把握し、容易に見たいところを視聴可能とすることが可能となる。
【図面の簡単な説明】
【図１】本発明のシステム構成図を示す図である。
【図２】本発明の一実施例におけるストリーミング映像情報連動再生装置の構成を示す図である。
【図３】本発明の一実施例におけるストリーミング映像情報連動再生装置による第１の画面表示例を示す図である。
【図４】本発明の一実施例におけるストリーミング映像情報連動再生装置による第２の画面表示例を示す図である。
【図５】本発明の一実施例における関連補助情報を示す図である。
【図６】図５に対応するシナリオの例を示す図である。
【図７】ストリーミング映像再生に伴う関連補助情報における画像の変化を時系列で示した図である。
【図８】コンピュータの構成例を示す図である。
【符号の説明】
１ ストリーミング映像提供装置
３ ネットワーク
５ ストリーミング映像情報連動再生装置
７ 補助情報提供装置
９ ストリーミング映像再生制御手段
１１ 再生表示手段
１３ 関連補助情報制御手段
１５ 関連補助情報表示手段
１７ 制御間通信手段
１９ 関連補助情報指示手段
１００ ＣＰＵ
１０１ メモリ
１０２ 外部記憶装置
１０３ ディスプレイ
１０４ キーボード
１０５ 通信処理装置
【発明の属する技術分野】
本発明は、ネットワークを介して映像を再生する際に、関連補助情報を用いて、映像の内容理解を促進する技術に関する。
【０００２】
【従来の技術】
電子的なコンピュータネットワークの広まりと、コンピュータの爆発的な普及と共に、多くの映像が電子ネットワーク上を配信されている。特に、現在もっとも普及しているインターネットと呼ばれるIPネットワーク上で、次々と映像を伝送するためのいくつかのシステムが開発され、利用されている。例えば、SoftwareVision（NTT ）、RealSystem（Real Networks ）、MediaTechnology （MicroSoft ）、QickTime4.0 （Apple ）などがそれらの代表的なものである。
【０００３】
しかし、現在普及しているインターネットと呼ばれるIPネットワークはその構造上、容量が小さくなりやすく、実時間通信が必ずしも保証されていないため、現状では、アナログTV放送の映像品質を満たしていないものがほとんどである。従って、現状のIPネットワーク上を配信する映像クオリティは、やむを得ずTV品質と比較して、時間ないし空間の一方ないし、両方を犠牲にしたものとなってしまい、TV放送品質を満たした映像よりも低い映像情報しか伝達することができないことが一般的である。また、劣悪なネットワーク条件においては、映像の本質的特徴である実時間再生すら不可能な場合も存在する。こうした問題は、現状では一般的であり、今後しばらくは多くの場面において、発生する問題になると考えられる。
【０００４】
また、映像は、その内容を理解するために、その時間長分だけ視聴することが必要であり、内容を瞬時に把握し、必要なところだけ視聴したいという要求を簡単に満たすことが困難なメディアである。これは、映像が視聴者に対して強い時間的拘束を強いるからである。
【０００５】
そこで映像の内容を簡単に把握し、かつ、視聴しやすくするための一つの提案として、映像情報のカメラのON／OFF に対応するカット点（ショットチェンジ）の情報を抽出し、カット点直後の映像を表示し、視聴者の要望に応じて、ショットチェンジ直後の映像に対応する映像区間を任意に再生するなどして、視聴を支援する試みがあげられる。その一例が、Yukinobu Taniguchi 、Yoshinobu Tonomura、「PanoramaExcerpts：Extracting and packing Panoramas for Video Browsing 」（1996 ACM Multimedia 97）である。この方法は、映像の重要な意味を持つと考えられる複数の画像を自動的に検出し、その一覧を視聴者に提示させて、視聴者の映像内容の把握を支援し、視聴者が任意の映像区間を自由に選択して視聴することを可能としている。
【０００６】
また、映像情報を補完するものとして、地図情報を利用したものも提案されている。たとえば、Masatoshi Arikawa, Tetsu Kamiyama, 「Spatial Browsing for Video Databases」（1998、AMCP'98 ）などがあげられる。この方法は、映像情報の中に収められている風景の位置と地図情報を組み合わせたものであり、地図上に映像が配置されており、地図情報に対して繰作を行うと対応する映像を視聴できる。
【０００７】
これら2 つの例は、映像の視聴を支援することが目的であり、補助情報から映像にアクセスし、視聴することが可能となっている。これらは、視聴者による関連補助情報を介した映像再生の操作を受け取ることで、映像を再生することは可能であるが、再生に伴う関連情報が変化することはない。
【０００８】
これは、前述の2 例が、映像は高品位に実時間再生され、十分な情報を伝送することが可能であることを前提としていることによる。映像が高品位であれば、最終的に映像を再生することにより内容を伝達できるため、補助的な情報は再生を行うまでの手がかりとしてのみ使用される。
【０００９】
【発明が解決しようとする課題】
しかしながら、ネットワーク上でのストリーミング映像においては、前述のように劣悪な条件下で映像を再生することが求められるため、時間的空間的解像度の制約をうけやすく、映像が高品位に実時間再生されるということを前提とすることはできない。
【００１０】
従って、上述した従来技術のように補助的な情報を再生を行うまでの手がかりとしてのみ使用しただけではストリーミング映像の内容を十分に伝達することはできない。
【００１１】
本発明は上記の点に鑑みてなされたものであり、ネットワーク上におけるストリーミング映像の劣悪な映像品質でも十分な情報が利用者に伝わるようにし、かつ、ストリーミング映像の内容を瞬時に把握し、容易に見たいところを視聴可能とする枝術を提供することを目的とする。
【００１２】
【課題を解決するための手段】
上記の目的を達成するために本発明は次のように構成される。
【００１３】
請求項１に記載された発明は、ネットワークを介して伝送されたストリーミング映像を再生し、関連補助情報と共に表示するストリーミング映像再生方法であって、ストリーミング映像を受信する受信ステップと、該ストリーミング映像に含まれる所定の情報を抽出する抽出ステップと、該所定の情報に基づき予め与えられたシナリオに従って前記関連補助情報を変化させる変化ステップとを有し、前記所定の情報はストリーミング映像の再生時間情報であり、前記シナリオは、前記関連補助情報において映像再生時に表示する当該再生場面に対応する画像識別名をストリーミング映像の再生時間に対応付けて記述した情報を含み、前記変化ステップは、前記抽出ステップにおいて抽出された再生時間情報に対応する前記画像識別名を前記シナリオから読み取るステップと、前記関連補助情報において、該再生時間情報に対応する場面の非映像再生時に表示された画像を前記画像識別名の画像に切替えるステップとを有することを特徴とするストリーミング映像再生方法である。
【００１５】
上記の発明によれば、所定の情報に基づきシナリオに従って関連補助情報を変化させることとしたため、ストリーミング映像と関連補助情報とは連動し、利用者は、ネットワークを介して得られるストリーミング映像を視聴することに加えて、ストリーミング映像に連動する関連補助情報をあわせて視聴することが可能となり、関連補助情報がストリーミング映像の内容を伝達するため、劣悪な条件に陥りやすいネットワーク上においても十分な情報伝達を行うことが可能となる。
【００１６】
すなわち、映像の視聴を目的として他の情報を用いるのではなく、伝達したい情報の内容を伝えるために、映像と関連する補助的な情報を組み合わせて、情報を提供する。映像を視聴するために、関連補助情報を利用するのではなく、映像と関連する関連補助情報を積極的に利用して、映像だけでは十分に伝わらない情報を補完する目的で積極的に利用することによって、劣悪な条件下でも、十分な情報を伝達することが可能になる。
【００２０】
請求項２に記載された発明は、ネットワークを介して伝送されたストリーミング映像を再生し、関連補助情報と共に表示するストリーミング映像再生装置であって、ストリーミング映像を受信する受信手段と、該ストリーミング映像に含まれる所定の情報を抽出する抽出手段と、該所定の情報に基づき予め与えられたシナリオに従って前記関連補助情報を変化させる変化手段とを有し、前記所定の情報はストリーミング映像の再生時間情報であり、前記シナリオは、前記関連補助情報において映像再生時に表示する当該再生場面に対応する画像識別名をストリーミング映像の再生時間に対応付けて記述した情報を含み、前記変化手段は、前記抽出手段にて抽出された再生時間情報に対応する前記画像識別名を前記シナリオから読み取る手段と、前記関連補助情報において、該再生時間情報に対応する場面の非映像再生時に表示された画像を前記画像識別名の画像に切替える手段とを有することを特徴とするストリーミング映像再生装置である。
【００２４】
請求項２に記載された発明によれば、請求項１に記載のストリーミング映像再生方法に適したストリーミング映像再生装置を提供でき、上記と同様の効果を得ることができる。
【００２５】
請求項３に記載された発明は、ネットワークを介して伝送されたストリーミング映像を再生し、関連補助情報と共に表示する処理をコンピュータに実行させるストリーミング映像再生プログラムを記録した記録媒体であって、ストリーミング映像を受信する受信手順と、該ストリーミング映像に含まれる所定の情報を抽出する抽出手順と、該所定の情報に基づき予め与えられたシナリオに従って前記関連補助情報を変化させる変化手順とをコンピュータに実行させるストリーミング映像再生プログラムを記録した記録媒体であり、前記所定の情報はストリーミング映像の再生時間情報であり、前記シナリオは、前記関連補助情報において映像再生時に表示する当該再生場面に対応する画像識別名をストリーミング映像の再生時間に対応付けて記述した情報を含み、前記変化手順は、前記抽出手順において抽出された再生時間情報に対応する前記画像識別名を前記シナリオから読み取る手順と、前記関連補助情報において、該再生時間情報に対応する場面の非映像再生時に表示された画像を前記画像識別名の画像に切替える手順とを有することを特徴とするストリーミング映像再生プログラムを記録した記録媒体である。
【００２９】
請求項３に記載された発明によれば、請求項１に記載された方法をコンピュータ上で実行するプログラムを記録した記録媒体を提供でき、そのプログラムをコンピュータにインストールすることによって請求項２に記載された装置と同様の作用効果を有するコンピュータを提供することができる。
【００３０】
【発明の実施の形態】
図１に本発明が適用されるシステム構成図を示す。同図に示すように、ストリーミング映像提供装置１がネットワーク３を介してストリーミング映像情報連動再生装置５に映像を供給する。また、シナリオ及び関連補助情報を提供する補助情報提供装置７がネットワークを介してシナリオおよび関連補助情報をストリーミング映像情報連動再生装置５に供給する。なお、ストリーミング映像提供装置１と補助情報提供装置７を同一の装置とすることも可能である。また、シナリオや関連補助情報はストリーミング映像情報連動再生装置５が生成してもよい。なお、ストリーミング映像情報連動再生装置はストリーミング映像再生装置と称してもよい。ここでは、ストリーミング映像の情報を使用して関連補助情報との連動を行うことを明確にするためにストリーミング映像情報連動再生装置と称している。
【００３１】
上記のストリーミング映像提供装置１が供給するストリーミング映像は、再生時間情報などを再生しながら出力することが可能なデジタル映像であり、視聴者が利用している再生表示の手段に対して、ストリーミング映像データを保存することなく、再生するべき区間のみネットワークから伝送することが可能な機能を有することが必要である。すなわち、外部コマンド命令によって指定された時間区間を再生し、指定区間までを終了する機能を実現可能なインタフェースを有することが必要である。上述の従来技術の項で述べたシステムで提供されるストリーミング映像例は、いずれも、この条件を満たしている。
【００３２】
関連補助情報については、ストリーミング映像の一部やそれらを加工して得られる情報であったり、ストリーミング映像に関係が深い地図情報であったり、ストリーミング映像に関連の深い別映像や別画像であったり、関係が深いテキストであっても良い。例えば、従来技術として説明したYukinobu Taniguchi 、Yoshinobu Tonomura、「PanoramaExcerpts：Extracting and packing Panoramas for Video Browsing 」（1996 ACM Multimedia 97）におけるショットチェンジ技術による出力であるショットチェンジ情報とショットチェンジ直後の画像をそれぞれシナリオと関連情報とすることができる。
【００３３】
また、映像上の風景と地図情報とを対応させ、地図上の風景を表示するような場合、シナリオは映像上の風景と地図上の風景との対応をとったものである。これは、例えば、Masatoshi Arikawa, Tetsu Kamiyama, 「Spatial Browsing for Video Databases」（1998、AMCP'98 ）に示されるように、ＧＰＳを利用して生成できる。すなわち、ＧＰＳによれば撮影時刻と撮影した緯度と経度がわかるため、それにより、映像が撮影された場所と時間とを記録することができる。その他、シナリオと関連補助情報は種々の方法で得ることが可能である。
【００３４】
図２に本発明の一実施例におけるストリーミング映像情報連動再生装置５の構成を示す。同図に示すように、本発明のストリーミング映像情報連動再生装置５は、ストリーミング映像の再生及び制御を行うストリーミング映像再生制御手段９、ストリーミング映像の再生表示を行う再生表示手段１１、関連補助情報の制御を行う関連補助情報制御手段１３、関連補助情報の表示を行う関連補助情報表示手段１５、ストリーミング映像再生制御手段９と関連補助情報制御手段１３を連動させるための制御間通信手段１７、関連補助情報に対して操作の指示を与えるための関連補助情報指示手段１９を有する。また、前述したようにストリーミング映像情報連動再生装置５はネットワーク３に接続され、ストリーミング映像、シナリオ、関連補助情報を受信する。
【００３５】
ストリーミング映像は、ストリーミング映像再生制御手段９にて、通常再生および、一時停止、早送りなどのトリックプレイの制御を行われつつ、再生表示手段１１を介して、映像表示を行う。その結果、視聴者４はストリーミング映像を視聴する。
【００３６】
関連補助情報は、関連補助情報制御手段１３を介して、通常の表示や、後述するようにストリーミング映像と連動して変化を加えたものなどの特殊な表示を行う制御がなされ、関連補助情報表示手段１５にて、関連補助情報表示が行われる。
【００３７】
シナリオは、ネットワーク３を介して制御間通信手段１６に与えられている。この制御間通信手段１６は、ストリーミング映像再生制御手段９から得られる映像再生の時間情報を関連補助情報制御手段１３に伝送する。関連補助情報制御手段では、シナリオに記述されたとおりに、与えられる時間情報と共に、関連補助情報に対して、変化を加えていく。結果的に、視聴者は、ストリーミング映像とシナリオにあわせて変化していく関連補助制御情報を受け取る。
【００３８】
これに対し、視聴者は、関連補助情報指示手段１９を介して、関連補助情報制御手段１３に対して、要求を送り、変化を起こさせることも可能である。こうした関連補助情報に与えられる変化がシナリオに記述されていればストリーミング映像に対して、何らかの変化を与える。ストリーミング映像が変化を受けたら、ストリーミング映像再生制御手段９は、先ほどと同様制御間通信手段１７を介して、関連補助情報制御手段１３に情報を伝送し、最終的に変化が与えられたストリーミング映像の表示と、あわせて変化した関連補助情報表示を視聴者に与える。
【００３９】
次に、ストリーミング映像再生制御手段９、関連補助情報制御手段１３、制御間通信手段１７に関する動作について説明する。なお、ここでは概要を説明する。詳細については具体例を用いて後述する。
【００４０】
上述したようにストリーミング映像および関連補助情報は、適宜ストリーミング映像再生制御手段９と、関連補助情報制御手段１３によって制御され、互いに必要な情報を制御間通信手段１７を介して同期を取りつつ、再生表示手段および関連補助情報表示手段１５にて表示され、視聴者の目に触れられる。
【００４１】
この際に、ストリーミング映像再生制御手段９は、時系列情報である映像情報から簡易に抽出できる情報として、例えば再生時間情報を抽出して制御間通信手段１７に送信する。その他、映像中の各画像につけられているテロップ、ショットチェンジ、ストリーミング映像中の画像内容を解析して得られる情報、例えば、人物、物体、色、明度、領域情報といった各種情報を抽出して伝送してもかまわない。
【００４２】
関連補助情報制御手段１３は、ストリーミング映像再生制御手段９から制御間通信手段１７を介して送られてくる複数の情報から関連補助情報の制御に必要な情報のみを抽出し、利用する。同様に、関連補助情報制御手段１３からは、制御間通信手段１７を介してストリーミング映像再生制御手段９に繰作命令を与える。例えば、映像の再生の開始、終了、一時停止、早送り、スロー、逆送り、任意の区間へのジャンプといった特殊再生だけでなく、明度の調節、特定領域の変化といったことに関する操作命令および必要な情報を転送する。
【００４３】
一方、視聴者は関連補助情報表示手段１５にて表示される関連補助情報に対しての操作を行うために、関連補助情報指示手段１９を介して、関連補助情報制御手段１３に要求を与えることが可能である。関連補助情報制御手段１３では、この要求を受け取り、制御間通信手段１７を経てストリーミング映像再生制御手段９に要求を出し、シナリオどおりにストリーミング映像と関連補助情報とが連動し同期した状態を保ちつつ任意の映像区間を再生し表示する。
【００４４】
次に本発明のストリーミング映像情報連動再生装置による画面表示例を図３、図４に示す。
【００４５】
図３はストリーミング映像の一部を関連補助情報として利用している例を示す図である。この例は、前述したショットチェンジ技術を用い、予めストリーミング映像として用いられている映像コンテンツからショットチェンジ直後の画像を配置したものを関連補助情報としている。このショットチェンジ直後の画像は、次のショットチェンジ直後の画像までの映像区間を代表した画像であるものとする。
【００４６】
図３（ｂ）に示すように、ストリーミング映像が再生されると、対応する映像区間を代表する画像が強調表示される。この強調表示は、画像内容が反転しても良いし、周囲を囲っても良いし、他の画像よりも巨大に表示するなど種々の表示が可能である。ここでは、下線が引かれていくものとする。ストリーミング映像の再生が進むと共に、下線部を引かれる画像が順次変化していく。
【００４７】
一方、視聴者は、ストリーミング映像の任意の個所を再生したい場合には、対応する映像区間に対して命令を与えることでこれを実現する。一般には、コンピュータディスプレイでこれらのインタフェースは実現されており、マウス操作で選択することで任意のストリーミング映像を再生する。
【００４８】
次に、別の例を図４に示す。
【００４９】
この例は、ストリーミング映像が撮影している風景と対応する地図情報を関連補助情報に用いている例である。ストリーミング映像の内容は刻々と変化し、地図上のさまざまな個所を撮影しているものとする。図４（ｂ）に示すように、ストリーミング映像の再生に伴い、関連補助情報表示では、映像中に含まれる風景と対応する地図上の位置を強調表示する。この強調表示は、画像内容が反転しても良いし、周囲を囲っても良いし、他の画像よりも巨大に表示されるなどさまざまなことが考えられる。ここでは、地図上の色が変化するものとする。従って、ストリーミング映像の再生と表示に伴い、関連補助情報である地図情報は次々と色が変化しては戻りというプロセスを踏んでいく。
【００５０】
視聴者は、一方で、地図上の特定領域を撮影している映像を見たい場合には、その特定領域をポインティングデバイスなどで、指定し、操作を行うことで、対応する領域を記録しているストリーミング映像の該当区間を再生し、表示する。
上述したようなストリーミング映像再生制御手段９及び関連補助情報制御手段１３間の連動はストリーミング映像再生制御手段９及び関連補助情報制御手段１３の間を取り持つ制御間通信手段１７がシナリオを解釈することによって実現される。制御間通信手段１７は、常に、ストリーミング映像の状態を監視している。一般には、映像が再生中か、停止中か、一時停止中かを把握している。誰が、どこを撮影しているといった画像内部に踏み込んだ情報も可能であれば取得する。
【００５１】
ストリーミング映像が再生中であれば、再生しているストリーミング映像の相対的な再生時間を取得する。シナリオには映像の再生時間に応じて、関連情報を切り替えることが明記されているので、関連補助情報をシナリオ記述にしたがって変化させる。
【００５２】
一方、制御間通信手段１７は、視聴者から関連補助情報に与えられる予め定められた操作についても常に監視している。例えば、画像群上でクリックしたらそれに対応するストリーミング映像区間から再生を開始するというルールによって、マウスクリックの位置を確認し、ストリーミング映像に命令を与える。
【００５３】
以下、関連補助情報として図５に示した例を用いて、本発明の動作の一例をより具体的に説明する。図６に、図５の表示に対応するシナリオの例を示す。
【００５４】
図６中、「場所の名称」は関連補助情報の各場所を示す。「ＳＴＡＲＴ」はストリーム映像において各場所の映像が開始する時刻（映像の開始からの相対時間）を表し、「ＳＴＯＰ」はその場所の映像が終了する時刻を表す。これらの時刻は実際のストリーム映像における各場所の再生時間と対応する。
【００５５】
「基本画像」は関連補助情報の各場所に対応して表示させる画像を示し、この場合は画像ファイル名が示されている。なお、図５には場所の名称とそれに対応する基本画像が示されている。また、「マウスカーソルがのった場合」は、関連補助情報の表示画面の各場所においてマウスカーソルがのった場合に表示する画像のファイル名を示す。これにより、見たい映像の場所を指定する場合にどこを指定しているかを明示できる。具体的には、基本画像の色やトーンを変えた画像等種々の形態の画像を使用できる。「映像を再生中の場合」は、各場所のストリーミング映像を表示中に、関連補助情報の表示における該当する場所に表示する画像を示す。図４の例でも説明した通り、映像を再生中に対応する画像は、画像内容を反転したもの、周囲を囲む、他の画像よりも巨大に表示する、色を変える等種々の形態の画像を使用できる。
【００５６】
図７は映像再生に伴う関連補助情報の変化を時系列で示した図である。図７を用いて前述したストリーミング映像再生制御手段９、制御間通信手段１７及び関連補助情報制御手段１３の動作を詳細に説明する。
【００５７】
同図に示すように、ストリーミング映像再生制御手段９による映像再生が進むにつれ、関連補助情報の中の画像が切り替わる。すなわち、制御間通信手段１７がストリーミング映像の再生時間情報を取得し、図６に示したシナリオに記述された時刻情報と照合することによって該当する画像情報をシナリオから読み取って関連補助情報制御手段１３に通知し、関連補助情報制御手段１３はその画像情報を関連補助情報表示手段１５に表示させる。図７中、例えば、再生時刻が９４００ミリ秒になると、客間の基本画像kyakuma.gif はkyakuma ＿click.gif に切り替わる。
【００５８】
また、食堂の再生の時間部分に示すように、マウスを該当の場所に置くと、映像の状況にかかわらず、ポインタの位置に応じて「マウスカーソルがのった場合」の画像を表示する。食堂の場合であればdining＿over.gifが表示される。その後、映像再生を指示するためにマウスをクリックすると、関連補助情報制御手段１３にその指示の情報が伝えられ、関連補助情報制御手段１３はポインタ位置を制御間通信手段１７に送信し、制御間通信手段１７はそのポインタ位置から場所を把握し、シナリオからその場所に対応する時間区間を読み取ってストリーミング映像再生制御手段９に伝える。ストリーミング映像再生制御手段９はその時間区間に対応する映像の再生命令を用いてストリーミング映像を再生する。なお、シナリオが時間区間に対応したポインタ位置範囲の情報を有するようにしてもよい。
【００５９】
次に本発明のストリーミング映像連動再生プログラムを記録した記録媒体について説明する。
【００６０】
ストリーミング映像連動再生装置の構成は、図２で示した実施例の構成に限定されることなく、各々の構成要素を上記で説明した処理を行う手順を有するソフトウェア（プログラム）で構築し、コンピュータシステムにそのプログラムを実行させることにより一般的なコンピュータシステムを本発明のストリーミング映像連動再生装置とすることが可能である。
【００６１】
図８は上記コンピュータシステムのハードウェア構成の例を示すブロック図である。本コンピュータシステムは、処理を実行するＣＰＵ１００、プログラムやデータを記憶するメモリ１０１、メモリ１０１またはＣＰＵ１００で使用するプログラムやデータを蓄積する外部記憶装置１０２、データを表示するディスプレイ１０３、データまたは命令を入力するキーボード１０４、ネットワークを介して他のコンピュータシステム等と通信を行うための通信処理装置１０５から構成される。上記プログラムはメモリ１０１又は外部記憶装置１０２にインストールされＣＰＵ１００により実行される。
【００６２】
本発明の記録媒体はメモリ１０１又は外部記憶装置１０２に相当する。更に、電子メモリ、ハードディスク、又は、フロッピーディスク、ＣＤ−ＲＯＭ、磁気テープ等の可搬記録媒体等も本発明の記録媒体として使用可能である。本発明のストリーミング映像連動再生プログラム記録媒体に記録されたプログラムを、図８に示すような一般的なコンピュータシステムにローディングすることにより、そのコンピュータ上で本発明のストリーミング映像連動再生を実施することが可能となる。また、上記のプログラムはコンピュータにプレインストールすることもできる。
【００６３】
以上、本発明を実施例に基づき具体的に説明したが、本発明は本実施例に限定されるものではなく、本発明の主旨を逸脱しない範囲において種々変更可能である。
【００６４】
【発明の効果】
本発明によれば、シナリオを用いて関連補助情報をストリーミング映像と連動して表示させることを可能としたため、インターネット上のストリーミング映像のように低品質の映像であっても、関連補助情報の補助によって映像による情報伝達を十分に行うことが可能となる。すなわち、本発明によれば、関連補助情報が欠落した情報を補完し、かつ、任意の映像を自由に視聴することができるので、映像自体の品質が低い場合であっても、映像に含まれる情報を十分に把握することが可能となる。更に、ストリーミング映像の内容を瞬時に把握し、容易に見たいところを視聴可能とすることが可能となる。
【図面の簡単な説明】
【図１】本発明のシステム構成図を示す図である。
【図２】本発明の一実施例におけるストリーミング映像情報連動再生装置の構成を示す図である。
【図３】本発明の一実施例におけるストリーミング映像情報連動再生装置による第１の画面表示例を示す図である。
【図４】本発明の一実施例におけるストリーミング映像情報連動再生装置による第２の画面表示例を示す図である。
【図５】本発明の一実施例における関連補助情報を示す図である。
【図６】図５に対応するシナリオの例を示す図である。
【図７】ストリーミング映像再生に伴う関連補助情報における画像の変化を時系列で示した図である。
【図８】コンピュータの構成例を示す図である。
【符号の説明】
１ ストリーミング映像提供装置
３ ネットワーク
５ ストリーミング映像情報連動再生装置
７ 補助情報提供装置
９ ストリーミング映像再生制御手段
１１ 再生表示手段
１３ 関連補助情報制御手段
１５ 関連補助情報表示手段
１７ 制御間通信手段
１９ 関連補助情報指示手段
１００ ＣＰＵ
１０１ メモリ
１０２ 外部記憶装置
１０３ ディスプレイ
１０４ キーボード
１０５ 通信処理装置
Claims (3)
- ネットワークを介して伝送されたストリーミング映像を再生し、関連補助情報と共に表示するストリーミング映像再生方法であって、
ストリーミング映像を受信する受信ステップと、
該ストリーミング映像に含まれる所定の情報を抽出する抽出ステップと、
該所定の情報に基づき予め与えられたシナリオに従って前記関連補助情報を変化させる変化ステップとを有し、
前記所定の情報はストリーミング映像の再生時間情報であり、前記シナリオは、前記関連補助情報において映像再生時に表示する当該再生場面に対応する画像識別名をストリーミング映像の再生時間に対応付けて記述した情報を含み、
前記変化ステップは、
前記抽出ステップにおいて抽出された再生時間情報に対応する前記画像識別名を前記シナリオから読み取るステップと、
前記関連補助情報において、該再生時間情報に対応する場面の非映像再生時に表示された画像を前記画像識別名の画像に切替えるステップとを有する
ことを特徴とするストリーミング映像再生方法。 - ネットワークを介して伝送されたストリーミング映像を再生し、関連補助情報と共に表示するストリーミング映像再生装置であって、
ストリーミング映像を受信する受信手段と、
該ストリーミング映像に含まれる所定の情報を抽出する抽出手段と、
該所定の情報に基づき予め与えられたシナリオに従って前記関連補助情報を変化させる変化手段とを有し、
前記所定の情報はストリーミング映像の再生時間情報であり、前記シナリオは、前記関連補助情報において映像再生時に表示する当該再生場面に対応する画像識別名をストリーミング映像の再生時間に対応付けて記述した情報を含み、
前記変化手段は、
前記抽出手段にて抽出された再生時間情報に対応する前記画像識別名を前記シナリオから読み取る手段と、
前記関連補助情報において、該再生時間情報に対応する場面の非映像再生時に表示された画像を前記画像識別名の画像に切替える手段と
を有することを特徴とするストリーミング映像再生装置。 - ネットワークを介して伝送されたストリーミング映像を再生し、関連補助情報と共に表示する処理をコンピュータに実行させるストリーミング映像再生プログラムを記録した記録媒体であって、
ストリーミング映像を受信する受信手順と、該ストリーミング映像に含まれる所定の情報を抽出する抽出手順と、
該所定の情報に基づき予め与えられたシナリオに従って前記関連補助情報を変化させる変化手順とをコンピュータに実行させるストリーミング映像再生プログラムを記録した記録媒体であり、
前記所定の情報はストリーミング映像の再生時間情報であり、前記シナリオは、前記関連補助情報において映像再生時に表示する当該再生場面に対応する画像識別名をストリーミング映像の再生時間に対応付けて記述した情報を含み、
前記変化手順は、
前記抽出手順において抽出された再生時間情報に対応する前記画像識別名を前記シナリオから読み取る手順と、
前記関連補助情報において、該再生時間情報に対応する場面の非映像再生時に表示された画像を前記画像識別名の画像に切替える手順とを有する
ことを特徴とするストリーミング映像再生プログラムを記録した記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000103875A JP4498531B2 (ja) | 2000-04-05 | 2000-04-05 | ストリーミング映像再生方法、ストリーミング映像再生装置、及びストリーミング映像再生プログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000103875A JP4498531B2 (ja) | 2000-04-05 | 2000-04-05 | ストリーミング映像再生方法、ストリーミング映像再生装置、及びストリーミング映像再生プログラムを記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001292385A JP2001292385A (ja) | 2001-10-19 |
| JP4498531B2 true JP4498531B2 (ja) | 2010-07-07 |
Family
ID=18617508
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000103875A Expired - Lifetime JP4498531B2 (ja) | 2000-04-05 | 2000-04-05 | ストリーミング映像再生方法、ストリーミング映像再生装置、及びストリーミング映像再生プログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4498531B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005333280A (ja) * | 2004-05-19 | 2005-12-02 | Dowango:Kk | 番組連動システム |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09139913A (ja) * | 1995-11-16 | 1997-05-27 | Matsushita Electric Ind Co Ltd | 映像表示方法および映像表示装置 |
| JPH11249951A (ja) * | 1998-03-05 | 1999-09-17 | Fujitsu Ltd | 情報管理システム、ローカルコンピュータ、サーバコンピュータ、情報取得プログラムを記録したコンピュータ読み取り可能な記録媒体及びサーバ用プログラムを記録したコンピュータ読み取り可能な記録媒体 |
| JPH11296995A (ja) * | 1998-04-10 | 1999-10-29 | Sony Corp | 記録媒体及び再生装置 |
| JPH11331305A (ja) * | 1998-05-08 | 1999-11-30 | Sony Corp | 送信装置および送信方法、受信装置および受信方法、並びに提供媒体 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3790871B2 (ja) * | 1996-09-26 | 2006-06-28 | 株式会社ニコン | 画像再生装置 |
| US6020920A (en) * | 1997-06-10 | 2000-02-01 | Flashpoint Technology, Inc. | Method and system for speculative decompression of compressed image data in an image capture unit |
| JPH1127609A (ja) * | 1997-06-30 | 1999-01-29 | Minolta Co Ltd | 画像記録再生システム |
| JPH11205390A (ja) * | 1998-01-14 | 1999-07-30 | Toshiba Corp | 伝送システム、端末装置、サーバ装置及び記録媒体 |
-
2000
- 2000-04-05 JP JP2000103875A patent/JP4498531B2/ja not_active Expired - Lifetime
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09139913A (ja) * | 1995-11-16 | 1997-05-27 | Matsushita Electric Ind Co Ltd | 映像表示方法および映像表示装置 |
| JPH11249951A (ja) * | 1998-03-05 | 1999-09-17 | Fujitsu Ltd | 情報管理システム、ローカルコンピュータ、サーバコンピュータ、情報取得プログラムを記録したコンピュータ読み取り可能な記録媒体及びサーバ用プログラムを記録したコンピュータ読み取り可能な記録媒体 |
| JPH11296995A (ja) * | 1998-04-10 | 1999-10-29 | Sony Corp | 記録媒体及び再生装置 |
| JPH11331305A (ja) * | 1998-05-08 | 1999-11-30 | Sony Corp | 送信装置および送信方法、受信装置および受信方法、並びに提供媒体 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001292385A (ja) | 2001-10-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230360677A1 (en) | Method and system for performing non-standard mode operations | |
| JP4799068B2 (ja) | テレビ受信装置及びその表示制御方法 | |
| CA2738911C (en) | Video branching | |
| KR100372092B1 (ko) | 바탕화면 동영상 매체재생기 및 이를 이용한 바탕화면의동영상 처리방법과 상기 매체재생기 또는 방법을실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수있는 기록매체 | |
| KR100575995B1 (ko) | 수신장치 | |
| EP1855480B1 (en) | Distribution device and reception device | |
| JP2004120440A (ja) | サーバー装置及びクライアント装置 | |
| US20070006262A1 (en) | Automatic content presentation | |
| JP2008311795A (ja) | コンテンツ配信システム、配信サーバ、受信端末及びコンピュータプログラム | |
| JP5214614B2 (ja) | 映像配信装置及び映像配信プログラム | |
| JP3968260B2 (ja) | 映像関連情報提示装置、方法、プログラムおよびこのプログラムを記録した記録媒体 | |
| JP2010010736A (ja) | 映像コンテンツ再生装置 | |
| WO2001018658A1 (en) | Method and apparatus for sending slow motion video-clips from video presentations to end viewers upon request | |
| JP2007074158A (ja) | 再生システム及び同システムを利用した再生方法 | |
| JP2009303062A (ja) | 放送受信端末、放送データ合成方法、プログラムおよび記録媒体 | |
| US7296055B2 (en) | Information providing system, information providing apparatus, information providing method, information processing apparatus, information processing method, and program | |
| JP4498531B2 (ja) | ストリーミング映像再生方法、ストリーミング映像再生装置、及びストリーミング映像再生プログラムを記録した記録媒体 | |
| EP2168379B1 (en) | High-speed programs review | |
| JP2006339980A (ja) | 映像再生装置 | |
| JP4354082B2 (ja) | ストリーミング映像情報連動コンテンツ作成支援方法及び装置及びストリーミング映像情報連動コンテンツ作成支援プログラムを格納した記憶媒体 | |
| KR20160056859A (ko) | 멀티미디어 컨텐츠 재생 장치 및 방법 | |
| JP2005260862A (ja) | 画像再生装置、画像再生システムおよび端末装置 | |
| JP2003061019A (ja) | 番組表示指示装置、リモコン装置、及び番組表示指示プログラム | |
| JP2004304306A (ja) | Ａｖストリーム情報交換装置、ａｖストリーム受信装置およびａｖストリーム格納装置 | |
| JP2006262139A (ja) | コンテンツ配信システム、コンテンツ再生装置、コンテンツ再生方法およびコンテンツ再生プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070316 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090721 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090924 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20091215 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100315 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20100329 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100413 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100414 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130423 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4498531 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140423 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |