JP3906685B2 - ビデオ映像提示システム、ビデオ映像送出装置、ビデオ映像提示装置、ビデオ映像処理プログラム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、ビデオ映像提示システムに関し、特に蓄積されたビデオ映像を提示する場合でも利用者の視野変更要求に応じることが可能なビデオ映像提示システム、ビデオ映像送出装置、ビデオ映像提示装置、ビデオ映像処理プログラムに関する。
【０００２】
【従来の技術】
従来より、街路や建物内に移動経路を設定し、その経路上を移動する様子を、人間が歩行しながら観測した場合や、自動車で移動しながら観測した場合と同じように連続的にビデオ映像に記録しておき、再生にあたっては、記録したビデオ映像の中から利用者の位置に応じたビデオ映像を再生し、あたかも人間が歩行して観測した場合や、自動車で移動した場合と同じような映像を提供するビデオ映像提示装置が知られている。
【０００３】
以下、街路や建物内を移動する様子を記録したビデオ映像を、ウォークスルー映像と呼ぶ。
【０００４】
ウォークスルー映像を提供するビデオ映像提示装置の一例として、「NTT R&D、Vol.49、No.1 PP.25〜30、2000年発行」では、実際の街路や建物内を移動するウォークスルー映像を提供するビデオ映像提示装置の一例が報告されており、また特開平１０−２１４０６９号公報には、３次元コンピュータグラフィックス技術を用いて構築した仮想空間を移動するウォークスルー映像を提供するビデオ映像提示装置の一例が報告されている。
【０００５】
更に、これらビデオ映像提示装置は、ＶＯＤ（Video On Demand：ビデオオンデマンド）システムを利用することで、利用者にネットワーク越しにウォークスルー映像を提供することができる。
【０００６】
ＶＯＤシステムとは、サーバマシンとクライアントマシンがネットワークで結ばれた環境において、サーバマシン内にビデオ映像を格納しておき、クライントマシンからの要求に従ってサーバマシン内に格納したビデオ映像をネットワーク経由で配信し、クライアントマシンでビデオ映像を提示するシステムであり、例えば「ＮＥＣ技報、Vol.51、No.8、（1998年8月）」等に開示されている。
【０００７】
【発明が解決しようとする課題】
しかし、上述した従来の技術では、以下に述べるような問題点があった。
【０００８】
第１に、利用者が経路上を移動するウォークスルー映像の提示を受けている際に、視線方向を上下左右に自由に動かして視野を変更することができないという問題点があった。
【０００９】
これは、予めビデオ映像を記録し、それを再生することで利用者にウォークスルー映像を提示するというシステムの特性に起因する問題点である。
【００１０】
視線方向に自由度を持たせるために、同一経路上を移動する際に様々な方向を観測したビデオ映像を記録しておき、ウォークスルー映像を提示する際には、利用者の要求に従って再生するビデオ映像を切り替えるという方法も考えられる。
【００１１】
しかし、例えば水平方向に１８０度視線方向を移動する場合に１度刻みでの視線移動を実現するためには、１８０個のビデオ映像を準備しなければならないため、ビデオ映像を記録する工数や、ビデオ映像の格納場所などを考えると実現は事実上困難であるといえる。
【００１２】
第２に、例えば、複数の経路を移動する様子をその経路毎に分割してビデオ映像として格納し、利用者の経路選択操作に応じてビデオ映像を切り替えて、ウォークスルー映像を提示するという様に、複数のビデオ映像を組み合わせて利用者に対してサービスを行う場合において、ビデオ映像を切り替える際に、その繋ぎ目で映像が一時停止してしまい、利用者に不自然な印象を与えてしまうという問題点があった。
【００１３】
これは、ビデオ映像を表示開始するまでに、まずビデオ映像の所在を確認し、ビデオ映像を読み込んだ上で、再生を開始する必要があるためである。特に、サーバマシン上に格納したビデオ映像に対して、ストリーミングビデオの形態でネットワークを介してビデオ映像を取得し表示する場合に顕著となる。
【００１４】
これは、ストリーミングビデオ方式においては、一般に１つのビデオ再生について１つの仮想コネクションをサーバとクライアントとの間で確立する必要があるためで、ビデオ映像を切り替える際には、コネクションの廃棄、確立のオーバーヘッドを生じる事、更にストリーミングビデオ方式では、ネットワークの通信状況が変化した場合にも円滑な再生を維持するために５秒程度のバッファリング処理が行われるので、ビデオ映像切り替え時に新たにビデオ再生を開始したとしても実際の再生開始までにはバッファリング時間が経過するのを待つ必要があることに起因している。
【００１５】
本発明の第１の目的は、上記従来技術の欠点を解決し、自由に、かつ滑らかに視線移動を行うことが可能なビデオ映像提示システム、ビデオ映像送出装置、ビデオ映像提示装置、ビデオ映像処理プログラムを提供することにある。
【００１６】
本発明の第２の目的は、上記従来技術の欠点を解決し、特にネットワークを介した場合に顕著になるこれらの問題を解決し、複数のビデオ映像を切り替える際に、利用者にビデオ映像間の繋ぎ目を意識させることなく円滑にビデオ映像を表示可能なビデオ映像提示システム、ビデオ映像送出装置、ビデオ映像提示装置、ビデオ映像処理プログラムを提供することにある。
【００１７】
【課題を解決するための手段】
上記目的を達成するため本発明は、撮影したビデオ映像を提示するビデオ映像提示システムにおいて、ビデオ映像を提示するビデオ映像提示装置と、ビデオ映像提示装置に対してビデオ映像を送出するビデオ映像創出装置とを備え、前記ビデオ映像送出装置が、ビデオ映像を見る利用者の視線方向の指定を受け付ける手段と、前記ビデオ映像中の、前記視線方向に対応する切り出し範囲を算出する手段と、前記ビデオ映像を前記算出した切り出し範囲を切り出すことにより提示用の新たなビデオ映像である提示ビデオ映像を生成し、前記ビデオ映像提示装置に送出する手段と、前記ビデオ映像の送出先の前記ビデオ映像提示装置の台数に基づいて、前記ビデオ映像提示装置に送出する前記提示ビデオ映像の画像のサイズを所定の拡大率に変更することにより、前記ビデオ映像送出装置と前記ビデオ映像提示装置との間の通信帯域以下に、前記提示ビデオ映像の通信量を抑制する手段を有することを特徴とする。
【００５１】
本発明では、ビデオ映像を見る利用者の視線方向の指定に基づいて、前記ビデオ映像から前記視線方向に対応する領域を切り出して提示することにより、視線方向の上下左右への連続的な変更と、その変更に応じたビデオ映像の切り替えができる。
【００５２】
また本発明では、ビデオ映像送出装置において前記ビデオ映像から前記視線方向に対応する領域をブロック単位に大まかに切り出して、前記大まかに切り出されたビデオ映像を映像提示装置が受信して、精密な視線方向に対応する範囲を切り出して表示することができる。
【００５３】
また本発明では、ビデオ映像送出装置と映像提示装置との間のネットワーク帯域に基づいて、ビデオ映像の画像のサイズを制御して配信することができる。
【００５４】
また本発明では、ネットワーク状況の変動により生じたビデオ映像の送信の遅延やそのフレーム欠損などを検知した場合に、それらの状況を緩和するためにビデオ映像送出装置が送出するビデオ映像の画像のサイズを制御することにより、ＱｏＳ制御を実現することができる。
【００５５】
また本発明では、１つのコネクションにおいてビデオ映像の切り換えを行うことにより、円滑な映像切り換えを実現できる。
【００５６】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００５７】
図１は、本発明の第１の実施の形態によるビデオ映像提示システムの構成を示すブロック図である。
【００５８】
図１を参照すると、本実施の形態のビデオ映像提示システムは、ウォークスルー映像を利用者に提示するウォークスルー映像提示装置１（ウォークスルー映像提示クライアント）と、街路や建物内を移動する様子を連続的に記録したビデオ映像を格納するビデオ映像格納装置２と、ビデオ映像格納装置２に格納されているビデオ映像に処理を施し、ウォークスルー映像提示装置１で表示すべきビデオ映像を生成してウォークスルー映像提示装置１に送出するビデオ映像送出装置３（ビデオ映像送出サーバ）を備える。
【００５９】
ウォークスルー映像提示装置１とビデオ映像送出装置３は、図２に示すようにネットワーク１０を介して互いに接続されており、ビデオ映像送出装置３から送出されるウォークスルー映像を各ウォークスルー映像提示装置１で受信して再生する。
【００６０】
本実施の形態のウォークスルー映像提示装置１は、プログラム制御されるＣＰＵ等で実現され、利用者からの入力などに従って再生するビデオ映像を選択するビデオ映像選択部１１と、利用者からの入力などに従って観測する視線方向を決定する視線方向入力部１２と、ビデオ映像送出装置３から受信したビデオ映像をエンコード方式に合わせてデコードするビデオ映像デコード部１３と、ビデオ映像デコード部１３によってデコードされたビデオ映像を利用者に対して表示するビデオ映像表示部１４を備える。
【００６１】
本実施の形態のビデオ映像送出装置３は、プログラム制御されるＣＰＵ等で実現され、ウォークスルー映像提示装置１から受信したビデオ映像名を保持し、ビデオ映像格納装置２から該当するビデオ映像を連続的に読み出すビデオ映像読み出し部３１と、ウォークスルー映像提示装置１から受信した視線方向に従ってビデオ映像中のどの部位を切り出して表示するかを算出する切り出し部位算出部３２と、切り出し部位算出部３２で算出した切り出し部位情報Ｓ３を格納する切り出し部位格納部３３と、切り出し部位格納部３３に格納した切り出し部位に従ってビデオ映像読み出し部３１で読み出したビデオ映像からウォークスルー映像提示装置１で表示すべき部位の切り出しを行うブロック切り出し部３４を備える。
【００６２】
次に、本実施の形態によるビデオ映像提示システムの動作について説明する。
【００６３】
ビデオ映像格納装置２には、３次元コンピュータグラフィックス技術を用いて構築した仮想空間内をウォークスルーする様子を記録したビデオ映像、あるいは実際の街路をウォークスルーする様子を記録したビデオ映像が格納されている。なお、ビデオ映像格納装置２に格納されているビデオ映像は、利用者が視線方向を移動させる上下左右の範囲をも含めた広視野のビデオ映像とする。
【００６４】
まず、ウォークスルー映像表示の流れについてビデオ映像送出装置３の処理を示す図３のフローチャートを参照して説明する。
【００６５】
ビデオ映像選択部１１において、利用者からの指示入力などに従って再生すべきビデオ映像（ビデオ映像名）を決定する。ビデオ映像の決定に際しては、例えば、ビデオ映像名の一覧を提示し、その中からビデオ映像名を選択する決定方法や、ビデオ映像名のＵＲＬを直接指定する決定方法などの実施例が考えられるが、決定の方法は何れでもよい。ビデオ映像選択部１１で選択されたビデオ映像名は、ビデオ映像情報Ｓ１としてビデオ映像送出装置３へと伝えられる。
【００６６】
ビデオ映像送出装置３においては、送られてきたビデオ映像情報Ｓ１がビデオ映像読み出し部３１で保持され、このビデオ映像情報Ｓ１に従ってビデオ映像格納装置２に格納されているビデオ映像をフレーム毎に順次読み出すことにより（ステップ３０１）、ブロック切り出し部３４へと送る。
【００６７】
ウォークスルー映像提示装置１の視線方法入力部１２から利用者の視線方向が入力された場合（ステップ３０２）、入力された視線方向情報Ｓ２（すなわち、利用者の視線の向いている方向）と、ビデオ映像表示部１４から取得したビデオ映像表示領域の形状、サイズを示す表示領域情報Ｓ５とに基づいて、切り出し部位算出部３２により、ビデオ映像のどの部位を切り出してウォークスルー映像として表示するかを指定する切り出し部位情報Ｓ３が算出される（ステップ３０３）。
【００６８】
視線方向入力部１２には、利用者の視線の向いている方向（視線方向）が入力される。視線方向は、利用者がビデオ画像のどの部分を注視しているかを示す値で、その指定方法は何れでもよいが、ビデオ画像の中央からの差分値（横方向、縦方向のピクセル数）として指定する方法が一例として挙げられる。視線方向は、視線方向情報Ｓ２として視線方向入力部１２から切り出し部位算出部３２とへと送られる。
【００６９】
また、視線方向入力部１２としては、例えばウォークスルー映像提示装置１のビデオ映像表示部１４の表示画面上に利用者が操作して視線方向を入力する十字の方向指示キー等を表示することでも実現可能である。
【００７０】
一方、切り出し部位格納部３３には、切り出し部位算出部３２で算出された切り出し部位情報Ｓ３が格納される（ステップ３０４）。
【００７１】
また、視線方法入力部１２から視線方向が入力されない場合（初期状態または視線方向に変更がない場合）（ステップ３０２）、切り出し部位算出部３２において切り出し部位情報は算出されず、初期値として予め切り出し部位格納部３３に格納されている切り出し部位情報、または前回算出されて切り出し部位格納部３３に格納されている切り出し部位情報が、後述するブロック切り出し部３４に送られる。
【００７２】
なお、初期値として切り出し部位格納部３３に格納されている切り出し部位情報としては、例えばビデオ映像の予め決められた範囲（全体または一部）を示す情報とする。
【００７３】
切り出し部位格納部３３に格納する切り出し部位情報Ｓ３としては、切り出すべき部位のビデオ映像中での座標値（ピクセル値）や、切り出すべき部位のビデオ映像中での比率などが考えられるが、切り出し部位を特定できる情報であれば、その他の情報であってもよい。
【００７４】
ブロック切り出し部３４では、ビデオ映像読み出し部３１から送られてくるビデオ映像の各フレームに対して、切り出し部位格納部３３に格納されている切り出し部位情報Ｓ３に従って、表示すべきビデオ映像の切り出し処理を行う（ステップ３０５）。切り出したビデオ映像は、ウォークスルー映像として、ストリーミングビデオの形態でウォークスルー映像提示装置１へと送出される（ステップ３０６）。
【００７５】
ウォークスルー映像提示装置１では、送られてきたウォークスルー映像（ビデオ映像）のエンコード方式に応じて適宜デコードし、ビデオ映像表示部１４へと送る。ビデオ映像表示部１４では、利用者に対してビデオ映像の提示を行う。
【００７６】
図４と図５により、ビデオ映像格納装置２に格納されているビデオ映像と利用者が実際に提示されるウォークスルー映像との関係を示す。
【００７７】
図４に示すビデオ映像１０１は、ビデオ映像格納装置２に格納されているビデオ映像の一場面である。ビデオ映像送出装置３では、利用者の視線方向に従って切り出し範囲１０２（切り出し部位情報）を決定して、図５に示すようにビデオ映像１０３を切り出し、ウォークスルー映像提示装置１へと送る。ウォークウォークスルー映像提示装置１では、ビデオ映像１０３をウォークスルー映像として利用者に提示する。
【００７８】
ここで、ブロック切り出し部３４におけるビデオ映像の切り出し方法の例について、ビデオ映像格納装置２に格納されているビデオ映像の種類毎に説明する。
【００７９】
（１） ビデオ映像格納装置２に格納されているビデオ映像が非圧縮形式である場合は、以下の方法が考えれる。
【００８０】
ビデオ映像読み出し部３１からブロック切り出し部３４へと送られてくる各フレームのデータは、非圧縮のビットマップ画像の列である。この場合、送られてきた各フレームのビットマップ画像から、切り出し部位格納部３３に格納されている部位を切り出す。
【００８１】
（２） ビデオ映像格納装置２に格納されているビデオ映像が、ＭＰＥＧ４ビデオ映像である場合は、以下の方法が考えられる。
【００８２】
ＭＰＥＧ４ビデオ映像は、１６×１６ピクセルのブロック（マクロブロック）単位でエンコードされている。従って、切り出し単位をマクロブロックの単位で切り出すこととすると、各フレーム毎にデコード、切り出し、再エンコードすることなく切り出し処理を行うことが可能である。切り出し時の計算量を軽減するために、ＭＰＥＧ４ビデオ映像の場合には、切り出し処理はマクロブロック単位で行うことを推奨する。なお、ＭＰＥＧ４形式と同様にマクロブロックに分割してエンコードされたビデオ映像には、ＭＰＥＧ２やＨ．２６３などがある。これらのビデオ映像の場合も、ＭＰＥＧ４ビデオ映像と同様の方法で切り出し処理を行う。
【００８３】
（３） ビデオ映像格納装置２に格納されているビデオ映像が、上記（１）、（２）に当てはまらない場合には、ブロック切り出し部３４では、送られてきたビデオ映像をデコードし非圧縮画像としてから切り出しを行い、再度エンコード処理を行う。
【００８４】
次に、切り出し部位を変更する際の手順について説明する。
【００８５】
視線方向入力部１２において、利用者からの指示入力などに従って視線方向の変更が行われると、変更された視線方向情報Ｓ２が、切り出し部位算出部３２へと送られる。切り出し部位算出部３２では、送られてきた視線方向の変更情報に従って切り出し部位情報Ｓ３を算出し、切り出し部位格納部３３に格納している切り出し部位に関する情報を更新する（図３のステップ３０３、３０４）。切り出し部位格納部３３に格納された切り出し部位情報Ｓ３が変更されると、ブロック切り出し部３４でビデオ映像から切り出されるビデオ映像の範囲が変更される。
【００８６】
これにより、ビデオ映像からウォークスルー映像として切り出される映像部位が変更されるため、視線方向を変更したのと同様の視野の変化が得られ、利用者の視線方向の変更に応じたビデオ映像の変更が可能となる。
【００８７】
図６〜８に、切り出し部位を変更した際のウォークスルー映像の変化の様子を示した模式図を示す。ここでは、説明の簡単化のため、ビデオ映像読み出し部３１からは常に同一のビデオ映像がブロック切り出し部３４に送られてくるものとして図式化してある。
【００８８】
図６において、ビデオ映像１１１はビデオ映像読み出し部３１から送られてくるビデオ映像である。今、切り出し部位格納部３３に、部位１１２で示す切り出し部位情報Ｓ３が格納されているとする。このとき、ブロック切り出し部３４により切り出され、ウォークスルー映像提示装置１で表示されるウォークスルー映像は、図７に示すビデオ映像１１３となる。
【００８９】
次に、切り出し部位格納部３３に格納された切り出し部位が部位１１４で示す切り出し部位に変更されたとする。このとき、ブロック切り出し部３４により切り出され、ウォークスルー映像提示装置１で表示されるウォークスルー映像は、図８に示すビデオ映像１１５となる。
【００９０】
ウォークスルー映像提示装置１で提示されるウォークスルー映像が、ビデオ映像１１３からビデオ映像１１５に変化することにより、利用者はあたかも視線方向を右に移動した様な表示を得ることができる。
【００９１】
ここで、切り出し部位算出部３２において切り出し部位格納部３３に格納されている切り出し部位情報Ｓ３を変更する際に、変更前の切り出し部位から変更後の切り出し部位にいきなり変更するのではなく、切り出し部位を段階的に変更する機能を切り出し部位算出部３２に備えることで、利用者に提示するウォークスルー映像を滑らかに移動させることが可能な実施例も考えられる。
【００９２】
図９は、この機能を実装した切り出し部位算出部３２を用いた場合の切り出し部位の変化について説明した模式図である。図９において、最初の状態でビデオ映像１１１に対して切り出し部位が部位１１６が設定されているとする。
【００９３】
このとき、視線方向入力部１２からの信号によって切り出し部位格納部３３に格納されている切り出し部位を部位１１７に変更する際に、切り出し部位算出部３２では、切り出し部位を部位１１８、１１９、１２０、１１７と４段階に順次変更する。すなわち、部位１１７のビデオ映像が提示されるまでに、部位１１８、１１９、１２０のように、少しずつ位置を移動させたビデオ映像が順次提示されるものである。これにより、ウォークスルー映像提示装置１で表示するウォークスルー映像を滑らかにスクロールさせることができる。
【００９４】
なお、この例では、４段階に変更する場合について説明したが、段階数は何段階であっても構わない。
【００９５】
以上説明したように本実施の形態のビデオ映像提示システムでは、ビデオ映像格納装置２に格納するビデオ映像を、利用者が視線移動する上下左右の範囲をも含めた広視野ビデオ映像とし、ビデオ映像送出装置３においては、広視野ビデオ映像の一部領域をウォークスルー映像として切り出して送出すると共に、利用者が視線方向の変更操作を行った場合には、その都度、新たな視線方向を中心とした領域に映像切り出し位置を変更することによって、利用者がウォークスルーすると同時に視線方向の上下左右への連続的な変更が可能である。
【００９６】
次に、本発明の第２の実施の形態について説明する。図１０は、本発明の第２の実施の形態によるビデオ映像提示システムの構成を示すブロック図である。
【００９７】
図１０を参照すると本実施の形態のビデオ映像提示システムは、ウォークスルー映像を利用者に提示するウォークスルー映像提示装置（クライアント）１ａと、街路や建物内を移動する様子を連続的に記録したビデオ映像を格納するビデオ映像格納装置２と、ビデオ映像格納装置２に格納されているビデオ映像に処理を施し、ウォークスルー映像提示装置１ａで表示すべきビデオ映像を生成して、ウォークスルー映像提示装置１ａに送出するビデオ映像送出装置（サーバ）３を備える。この実施の形態においても、ビデオ映像送出装置３とウォークスルー映像提示装置１ａとは、図２に示すようにネットワーク１０を介して互いに接続されている。
【００９８】
本実施の形態のウォークスルー映像提示装置１ａは、利用者からの入力などに従って再生するビデオ映像を選択するビデオ映像選択部１１と、利用者からの入力などに従って観測する視線方向を決定する視線方向入力部１２と、視線方向入力部１２で決定した視線方向に従って表示すべき部位を算出する表示部位算出部１５と、表示部位算出部１５で算出した切り出し部位情報Ｓ３を格納する表示部位格納部１６と、ビデオ映像送出装置３から受信したビデオ映像をエンコード形式に合わせてデコードするビデオ映像デコード部１３と、ビデオ映像デコード部１３によってデコードされたビデオ映像から表示部位格納部１６に格納した表示部位に従って表示すべき部位の切り出しを行う表示部位切り出し部１７と、表示部位切り出し部１７で切り出したビデオ映像を利用者に対して表示するビデオ映像表示部１４を備える。
【００９９】
本実施の形態のビデオ映像送出装置３は、ウォークスルー映像提示装置１ａから受信したビデオ映像情報Ｓ１（ビデオ映像名）を保持しておき、ビデオ映像格納装置２から該当するビデオ映像を連続的に読み出すビデオ映像読み出し部３１と、ウォークスルー映像提示装置１ａで算出した表示部位に従ってウォークスルー映像提示装置１ａに送出する部位を算出する切り出し部位算出部３２と、切り出し部位算出部３２で算出した切り出し部位を格納する切り出し部位格納部３３と、切り出し部位格納部３３に格納した切り出し部位に従ってビデオ映像読み出し部３１で読み出したビデオ映像からウォークスルー映像提示装置１ａに送出すべき部位の切り出しを行うブロック切り出し部３４を備える。
【０１００】
次に、本実施の形態によるビデオ映像提示システムの動作について説明する。
【０１０１】
ビデオ映像格納装置２には、３次元コンピュータグラフィックス技術を用いて構築した仮想空間内をウォークスルーする様子を記録したビデオ映像、あるいは実際の街路をウォークスルーする様子を記録したビデオ映像が格納されている。なお、ビデオ映像格納装置２に格納されているビデオ映像は、利用者が視線方向を移動させる上下左右の範囲をも含めた広視野のビデオ映像とする。
【０１０２】
まず、ウォークスルー映像表示の流れについてビデオ映像送出装置３の処理を示す図１１及びウォークスルー映像提示装置１ａの処理を示す図１２のフローチャートを参照して説明する。
【０１０３】
ビデオ映像選択部１１において、利用者からの指示入力などに従って再生すべきビデオ映像（ビデオ映像名）を決定する。決定に際しては、例えば、第１の実施の形態と同じように、ビデオ映像名の一覧からビデオ映像名を選択する決定方法や、ビデオ映像名のＵＲＬを直接指定する決定方法などが考えられる。ビデオ映像選択部１１で選択されたビデオ映像名は、ビデオ映像情報Ｓ１としてビデオ映像送出装置３へと伝えられる。
【０１０４】
ビデオ映像送出装置３においては、送られてきたビデオ映像情報Ｓ１がビデオ映像読み出し部３１で保持され、このビデオ映像情報Ｓ１に従ってビデオ映像格納装置２に格納されているビデオ映像をフレーム毎に順次読み出すことにより（ステップ１１０１）、ブロック切り出し部３４へと送る。
【０１０５】
一方、ウォークスルー映像提示装置１ａにおいては、視線方向入力部１２で、利用者の視線の向いている方向（視線方向）が入力される（ステップ１２０１）。視線方向は、利用者がビデオ画像のどの部分を注視しているかを示す値で、その指定方法は何れでもよいが、ビデオ画像の中央からの差分値（横方向、縦方向のピクセル数）として表す方法が一例として挙げられる。視線方向は、視線方向情報Ｓ２として視線方向入力部１２から表示部位算出部１５とへと送られる。
【０１０６】
表示部位算出部１５では、視線方向入力部１２から受信した視線方向情報Ｓ２と、ビデオ映像表示部１４から取得したビデオ映像表示領域の形状、サイズを示す表示領域情報Ｓ５とに基づいて、表示部位情報Ｓ４を算出し（ステップ１２０２）、表示部位格納部１６に格納する（ステップ１２０３）。表示部位情報Ｓ４は、視線方向、及びビデオ表示領域の形状、サイズの組で表される。
【０１０７】
これと合わせて、表示部位算出部１５では、表示部位外接矩形情報として表示部位情報の外接矩形を算出し（ステップ１２０２）、表示部位外接矩形情報Ｓ６としてビデオ映像送出装置３の切り出し部位算出部３２へと送る（ステップ１２０３）。この表示部位外接矩形情報Ｓ６は、視線方向と外接矩形の縦横の大きさとから構成される。
【０１０８】
ビデオ映像送出装置３の切り出し部位算出部３２では、表示部位算出部１５から表示部位外接矩形情報Ｓ６が送られてきた場合（ステップ１１０２）、送られてきた表示部位外接矩形情報Ｓ６を予め定められた拡大率に合わせて横方向にα倍、並びに縦方向にβ倍拡大する算出を行い（ステップ１１０３）、切り出し部位情報Ｓ３として切り出し部位格納部３３に格納する（ステップ１１０４）。ここで、拡大率α及びβは１以上の任意の値を設定できるが、それぞれ１．１〜１．５程度の値が望ましい。
【０１０９】
また、表示部位算出部１５から表示部位外接矩形情報Ｓ６が入力されない場合（初期状態または視線方向に変更がない場合）（ステップ１１０２）、切り出し部位算出部３２において切り出し部位情報Ｓ３は算出されず、初期値として予め切り出し部位格納部３３に格納されている切り出し部位情報、または前回算出されて切り出し部位格納部３３に格納されている切り出し部位情報Ｓ３が、後述するブロック切り出し部３４に送られる。
【０１１０】
なお、初期値として切り出し部位格納部３３に格納されている切り出し部位情報としては、例えばビデオ映像の予め決められた範囲（全体または一部）を示す情報とする。
【０１１１】
図１３は、視線方向、表示部位情報、表示部位外接矩形情報、切り出し部位情報の関係についての模式図である。
【０１１２】
図１３の模式図において、点２００は視線方向を表し、領域２０１は表示部位情報を表し、領域２０２は領域２０１の外接矩形である表示部位外接情報を表し、領域２０３は領域２０２を左右方向及び上下方向にそれぞれα倍、β倍した切り出し部位を表している。図１３の模式図では、ビデオ映像表示領域を楕円形状として図示しているが、ビデオ映像表示領域の形状は、矩形など他の形状であっても構わない。
【０１１３】
一方、ビデオ映像送出装置３のブロック切り出し部３４では、ビデオ映像読み出し部３１から送られてくるビデオ映像の各フレームに対して、切り出し部位格納部３３に格納されている切り出し部位情報Ｓ３に従って、表示すべきビデオ映像の切り出し処理を行う（ステップ１１０５）。切り出したビデオ映像は、ウォークスルー映像として、ストリーミングビデオの形態でウォークスルー映像提示装置１ａのビデオ映像デコード部１３へと送出される（ステップ１１０６）。また同時に、切り出し部位情報Ｓ３をブロック切り出し部３４から表示部位切り出し部１７へと送る（ステップ１１０７）。
【０１１４】
ウォークスルー映像提示装置１ａのビデオ映像デコード部１３では、ブロック切り出し部３４からビデオストリームとして次々と送られてくるビデオ映像の各フレームを、そのエンコード形式に合わせてデコードし、デコードしたビデオ映像を表示部位切り出し部１７へと送る。
【０１１５】
表示部位切り出し部１７では、ブロック切り出し部３４から送られてきた切り出し部位情報Ｓ３と、表示部位格納部１６に格納されている表示部位情報Ｓ４とを基に、ビデオ映像デコード部１３から送られてきたビデオ映像の中からどの部位を表示すべきかを算出し（ステップ１２０４）、表示すべきビデオ映像の切り出しを行う（ステップ１２０５）。切り出したビデオ映像は、ビデオ映像表示部１４へと送られる。
【０１１６】
ビデオ映像表示部１４では、ビデオ映像をウォークスルー映像として表示を行う（ステップ１２０６）。
【０１１７】
ここで、上述した表示部位切り出し部１７の処理内容について、図１４のフローチャートを参照して詳細に説明する。
【０１１８】
ビデオ映像デコード部１３からビデオ映像を受信すると（ステップ１４０１）、表示部位格納部１６から表示部位情報Ｓ４を取得しかつブロック切り出し部３４から切り出し部位情報Ｓ３を取得する（ステップ１４０２）。
【０１１９】
次いで、表示部位情報Ｓ４と切り出し部位情報Ｓ３とを比較することにより、切り出し部位情報Ｓ３で示される領域の中に表示部位情報Ｓ４で示される領域が完全に含まれるかどうかを判定する（ステップ１４０３）。
【０１２０】
完全に含まれる場合には、受信したビデオ映像から表示部位情報Ｓ４で示される領域を切り出し（ステップ１４０４）、その切り出したビデオ映像をビデオ映像表示部１４へ送る（ステップ１４０５）。
【０１２１】
ステップ１４０３で切り出し部位情報Ｓ３で示される領域の中に表示部位情報Ｓ４で示される領域が完全に含まれない場合、表示部位情報Ｓ４で示される領域を以下に述べる所定の規則に従って変更し（ステップ１４０６）、変更した表示部位情報に基づいて受信したビデオ映像の切り出しを行う。
【０１２２】
表示部位情報Ｓ４の変更は以下の規則（１）、（２）に従って行われる。
（１）領域の形状及びサイズの変更は行わない。
（２）領域の位置を、切り出し部位情報で示される領域に収まり、かつ表示部位情報で示される領域に最も近くなる位置に変更する。
【０１２３】
図１５〜１７に、ビデオ映像格納装置２に格納されているビデオ映像と、ブロック切り出し部３４からビデオ映像デコード部１３を経て表示部位切り出し部１７へと送られるビデオ映像と、ビデオ映像表示１４上で利用者が実際に観測するウォークスルー映像との関係を示す。
【０１２４】
ビデオ映像２１１は、ビデオ映像格納装置２に格納されているビデオ映像の一場面である。範囲２１２は、表示部位算出部１５において算出された表示部位情報Ｓ４で示される範囲、範囲２１３は、切り出し部位算出部３２において算出された切り出し部位情報Ｓ３で示される範囲である（図１５）。ビデオ映像２１４は、範囲２１３を示す切り出し部位情報Ｓ３に従ってブロック切り出し部３４で切り出されたビデオ映像である（図１６）。
【０１２５】
ブロック切り出し部３４では、範囲２１３に基づいて図１５のビデオ映像２１１から図１６のビデオ映像２１４を切り出す。ビデオ映像２１５は、このビデオ映像２１４が表示部位切り出し部１７によってウォークスルー映像として切り出されたビデオ映像である（図１７）。
【０１２６】
この例においては、表部部位情報Ｓ４の範囲２１２が切り出し部位情報Ｓ３の範囲２１３に完全に含まれているので、表示部位切り出し部１７では、範囲２１２に基づいてビデオ映像２１５を切り出す。このビデオ映像２１５が、ビデオ映像表示部１４によって利用者に提示される。
【０１２７】
ここで、ビデオ映像格納装置２に格納されているビデオ映像がＭＰＥＧ４形式でエンコードされている場合に、ブロック切り出し部３４で行われる切り出しについて説明する。
【０１２８】
ＭＰＥＧ４形式でエンコードされているビデオ映像は、１６ｘ１６ピクセルのブロック（マクロブロックと呼ぶ）単位でエンコードされている。従ってブロック切り出し部３４において切り出しをマクロブロックの単位で切り出すことと規定すると、各フレーム毎にデコード、切り出し、再エンコードすることなく切り出し処理を行うことができ、計算量の軽減、処理の高速化を図ることができる。
【０１２９】
そこで、ＭＰＥＧ４形式のビデオ映像の場合には、ブロック切り出し部３４では、切り出し部位格納部３３に格納されている切り出し部位で示される領域を含むマクロブロックを列挙し、列挙した全てのマクロブロックを切り出すこととする。すなわち、切り出し部位格納部３３に格納されている切り出し部位情報Ｓ３で示される領域よりも若干大きい領域が切り出されることとなる。
【０１３０】
図１８、図１９は、ビデオ画像をマクロブロック単位で切り出した場合の切り出し領域を示す模式図である。
【０１３１】
領域２２１はビデオ映像格納装置２に格納されているビデオ映像のある時刻におけるビデオ映像の領域を示したものである。また、領域２２２は切り出し部位格納部３３に格納された切り出し部位情報Ｓ３の領域を示す。ビデオ映像のマクロブロックと切り出し領域が図１８に示すような関係にある場合、ブロック切り出し部３４が実際に切り出すビデオ映像の領域は、図１９に示す領域２２４となる。すなわち、この例においては、切り出し部位情報Ｓ３の領域２２２を含むマクロブロックＭＢ５、ＭＢ６、ＭＢ７、ＭＢ９、ＭＢ１０、ＭＢ１１で囲まれる領域２２４が切り出される。
【０１３２】
なお、ＭＰＥＧ４形式と同様にマクロブロックに分割してエンコードされたビデオ映像には、Ｈ．２６３などがある。これらのビデオ映像の場合も、ＭＰＥＧ４ビデオ映像と同様の方法で処理を行うことが可能である。ビデオ映像格納装置２に格納するビデオ映像は、この種の形式でエンコードされたものであることが望ましい。
【０１３３】
次に、視線方向入力部１２に入力される視線方向が変更した場合の処理手順について説明する。
【０１３４】
視線方向入力部１２において、利用者からの指示入力などに従って視線方向の変更が行われると、変更された視線方向情報Ｓ２が表示部位算出部１５へと送られる。表示部位算出部１５では、送られてきた視線方向の変更情報に従って前述の手順で表示部位情報Ｓ４、表示部位外接矩形情報Ｓ６を算出し（図１２のステップ１２０２）、それぞれを表示部位格納部１６、切り出し部位算出部３２へと送る（図１２のステップ１２０３）。
【０１３５】
切り出し部位算出部３２では、送られてきた表示部位外接矩形情報Ｓ６に従って、前述の手順で切り出し部位情報Ｓ３を算出し（図１１のステップ１１０３）、切り出し部位の変更を行う。切り出し部位情報Ｓ３が変更されることにより、ブロック切り出し部３４でビデオ映像から切り出されるビデオ映像の範囲が変更される。
【０１３６】
一方、表示部位格納部１６に格納されている表示部位情報Ｓ４が変更されたことに伴い、表示部位切り出し部１７で切り出されるビデオ映像が変更される。これにより、ビデオ映像からウォークスルー映像として切り出される映像部位が変更されるため、視線方向を変更したのと同様の視野の変化が得られることとなり、利用者の視線方向の変更に応じたビデオ映像の変更が可能となる。
【０１３７】
図２１〜図２３に、視線方向を変更した際のウォークスルー映像の変化の様子を示した模式図を示す。ここでは、説明の簡単化のため、ビデオ映像読み出し部３１からは常に同一のビデオ映像がブロック切り出し部３４に送られてくるものとして図式化してある。
【０１３８】
図２１において、ビデオ映像２５１はビデオ映像読み出し部３１から送られてくるビデオ映像である。今、表示部位格納部１６に格納されている表示部位情報Ｓ４で示される部位が部位２５２、切り出し部位格納部３３に格納されている切り出し部位情報Ｓ３で示される部位が部位２５３であったとき、ブロック切り出し部３４、及び表示部位切り出し部１７を経て最終的にビデオ映像表示部１４で表示されるビデオ映像は、図２２に示すビデオ映像２５４となる。
【０１３９】
次に、視線方向入力部１２において視線方向が変更され、図２１に示すように、表示部位格納部１６に格納されている表示部位情報Ｓ４で示される部位がが部位２５５、切り出し部位格納部３３に格納されている切り出し部位情報Ｓ３で示される部位がが部位２５６と変更されたとする。このとき、ブロック切り出し部３４、及び表示部位切り出し部１７を経て最終的にビデオ映像表示部１４で表示されるビデオ映像は、図２３に示すビデオ映像２５７となる。
【０１４０】
最後に、視線方向入力部１２において視線方向が変更され、図２１に示すように、表示部位格納部１６に格納されている表示部位情報Ｓ４で示される部位がが部位２５８、切り出し部位格納部３３に格納されている切り出し部位情報Ｓ３で示される部位がが部位２５９と変更されたとする。このとき、ブロック切り出し部３４、及び表示部位切り出し部１７を経て最終的にビデオ映像表示部１４で表示されるビデオ映像は、図２４に示すビデオ映像２６０となる。
【０１４１】
図２１〜図２４に示すように、ウォークスルー映像提示装置１ａで提示されるウォークスルー映像が、ビデオ映像２５４からビデオ映像２５７、さらにビデオ映像２６０へと変化することにより、利用者はあたかも視線方向を右に移動した様な表示を得ることができる。
【０１４２】
図２５、図２６に、視線方向を変更した際のウォークスルー映像の変化の他例示した模式図を示す。ここでは、説明の簡単化のため、ビデオ映像読み出し部３１からは常に同一のビデオ映像がブロック切り出し部３４に送られてくるものとして図式化してある。
【０１４３】
図２５において、ビデオ映像２５１はビデオ映像読み出し部３１から送られてくるビデオ映像である。今、表示部位格納部１６に格納されている表示部位情報Ｓ４で示される部位が部位２７１、切り出し部位格納部３３に格納されている切り出し部位情報Ｓ３で示される部位が部位２７２であったとする。
【０１４４】
この場合、表示部位情報Ｓ４で示される部位２７１が、切り出し部位情報Ｓ３で示される部位２７２に完全に含まれていないので、表示部位切り出し部１７により前述した規則に従って表示部位情報Ｓ４が変更される。その結果、変更後の表示部位情報Ｓ４で示される部位は、図２５の部位２７３となる。
【０１４５】
これにより、表示部位切り出し部１７を経て最終的にビデオ映像表示部１４で表示されるビデオ映像は、図２６に示すビデオ映像２７４となる。
【０１４６】
図２５、図２６に示すように、ビデオ映像の切り出し部位の更新が遅れた場合においても、ウォークスルー映像提示装置１ａに送られてくるビデオ映像が、表示部位格納部１６に格納されている表示部位よりも大きいサイズであるため、表示部位切り出し部１７での切り出しが遅れることなく視線移動を行なうことができる。
【０１４７】
なお、表示部位算出部１５において表示部位を算出する際に、変更前の表示部位から変更後の表示部位にいきなり変更するのではなく、表示部位を段階的に変更する機能を表示部位算出部１５に備えることで、視線変更に伴うウォークスルー映像の変化を滑らかに移動させることが可能な実施例も考えられる。
【０１４８】
図２０は、この機能を実装した表示部位切り出し部１７を用いた場合の表示部位の変化について説明した模式図である。図２０において、最初の状態でビデオ映像２４１に対して表示部位が部位２４２が設定されているとする。
【０１４９】
このとき、視線方向入力部１２からの信号によって表示部位格納部１６に格納されている表示部位を部位２４３に変更する際に、表示部位算出部１５では、表示部位２４２を部位２４４、２４５、２４６、２４３と４段階に順次変更する。すなわち、部位２４３の映像が提示されるまでに、部位２４４、２４５、２４６のように、少しずつ位置を移動させた映像が順次提示されるものである。これにより、ウォークスルー映像提示装置１ａで表示するウォークスルー映像を滑らかにスクロールさせることができる。なお、この例では、４段階に変更する場合について説明したが、段階数は何段階であっても構わない。
【０１５０】
ここで、本実施の形態のビデオ映像提示システムを実施する際には、ウォークスルー映像提示装置１ａとビデオ映像送出装置３とが、ＬＡＮやＷＡＮなどのネットワークを介して接続されている実施例が考えられる。
【０１５１】
この実施例の場合、サーバマシン上にビデオ映像送出装置３並びにビデオ映像格納装置２を設置し、クライアントマシン上にウォークスルー映像提示装置１ａを設けることで１台のサーバマシンで、複数のクライアントマシンにサービスを提供することが可能となる。
【０１５２】
この様に、ウォークスルー映像提示装置１ａとビデオ映像送出装置３とがネットワークを介して接続している場合、表示部位算出部１５から切り出し部位算出部３２へと表示部位外接矩形情報Ｓ６を伝える際に若干の時間遅延が発生する場合があり、これに起因し、ブロック切り出し部３４から送られてくるビデオ映像の部位が変更されるのが遅れることが予想される。
【０１５３】
つまり、表示部位格納部１６に格納されている表示部位情報Ｓ４は更新されるが、ブロック切り出し部３４から送られてくるビデオ映像の部位が変更前のままという事態が起こり得る。このような事態では、表示部位情報Ｓ４が切り出し部位情報Ｓ３に含まれなくなる可能性が発生するが、その場合表示部位切り出し部１７が図１４で説明したように表示部位情報Ｓ４を変更して切り出しを行う。
【０１５４】
このように送られてくるビデオ映像の部位の更新が遅れた場合においても、本実施の形態によるビデオ映像提示システムでは、ウォークスルー映像提示装置１ａに送られてくるビデオ映像（すなわち、ブロック切り出し部３４で切り出されるビデオ映像）が、表示部位格納部１６に格納されている表示部位よりも大きいサイズであるため、表示部位切り出し部１７での切り出しが遅れることなく視線移動を実現することが可能である。
【０１５５】
以上説明したように本実施の形態によるビデオ映像提示システムは、第１の実施の形態の効果に加えて、１つのビデオ映像送出装置３から複数のウォークスルー映像提示装置１ａに対して、ネットワークを介してビデオ映像を効率よく配信することができる。例えば、サーバマシン上にビデオ映像送出装置３並びにビデオ映像格納装置２を設置し、クライアントマシン上にウォークスルー映像提示装置１ａを設けることで、１台のサーバマシンから複数のクライアントマシンへビデオ映像のサービスを効率よく提供することができる。
【０１５６】
次に、本発明の第３の実施の形態を説明する。図２７は、本発明の第３の実施の形態によるビデオ映像提示システムの構成を示すブロック図である。
【０１５７】
本実施の形態のビデオ映像提示システムは、図１０に示した第２の実施の形態におけるビデオ映像提示システムの構成に加え、切り出し部位算出部３２で表示部位外接矩形情報Ｓ６を拡大するために定められている拡大率を変更する拡大率変更部３５をビデオ映像送出装置３ａの中に新たに備えている。
【０１５８】
拡大率変更部３５は、他のモジュールからの信号などに従って、切り出し部位算出部３２に格納されている表示部位外接矩形情報Ｓ６を拡大するための拡大率の値を変更する。拡大率が変更されると、切り出し部位算出部３２で算出される切り出し部位情報Ｓ３で示される部位の大きさが変更される。そして、ブロック切り出し部３４において切り出されるビデオ映像の大きさが変更される。
【０１５９】
つまり、拡大率変更部３５によって、ビデオ映像送出装置３ａからウォークスルー映像提示装置１ａへと送られるビデオ映像のサイズ、すなわち、ビデオ映像送出装置３ａからウォークスルー映像提示装置１ａへと送られるデータ量を変更することができるので、ビデオ映像提示システムに必要なネットワーク帯域を変更することが可能となる。
【０１６０】
本実施の形態によるビデオ映像提示システムの実施例の１つとして、ビデオ映像送出装置３ａを有する１つのサーバマシンに接続するウォークスルー映像提示装置１ａの台数に応じて、拡大率を変更する実施例が挙げられる。
【０１６１】
この実施例では、ウォークスルー映像提示装置１ａの台数が多い場合には、拡大率を下げて１つのセッションが使用するネットワーク帯域を少なく押さえる。また、セッション数が少ない場合には、拡大率を上げて大きなサイズのビデオ映像をウォークスルー映像提示装置１ａに対して送信し、視線方向入力部１２で受けた視線方向変更要求に即座に反応できるようにする。
【０１６２】
ただし、拡大率を下げる場合でも、第２の実施の形態による効果を有効なものとするためには、できるだけ拡大率の下げ幅を小さくして切り出し部位をより大きく保つことが好ましい。
【０１６３】
以上説明したように本実施の形態では、第１、第２の実施の形態の効果に加えて、拡大率を変更する拡大率変更部３５を設けることで、例えば、ビデオ映像送出装置３ａが稼動しているサーバマシン側で利用できるネットワーク帯域を随時計算してその帯域幅に適合するデータ通信量でビデオ映像を配信することができ、様々な環境下でビデオ映像提示システムを稼動させることができる。
【０１６４】
次に、本発明の第４の実施の形態を説明する。図２８は、本発明の第４の実施の形態によるビデオ映像提示システムの構成を示すブロック図である。
【０１６５】
第４の実施の形態においては、図２７に示した第３の実施の形態におけるビデオ映像提示システムの構成に加え、ウォークスルー映像提示装置１ｂに送信されるビデオ映像の品質や、その処理状況等に基づいて拡大率変更部３５に対し拡大率の変更を要求するＱｏＳ制御部１８を新たに備える構成としている。
【０１６６】
本実施の形態によるビデオ映像提示システムの実施例の１つとして、次の例が挙げられる。
【０１６７】
ＱｏＳ制御部１８が、ビデオ映像送出装置３ａから送られてくるビデオ映像について、データ遅延や、ビデオフレーム欠損等を監視し、データ遅延、ビデオフレーム欠損等がある程度の頻度で発生する場合に、拡大率変更部３５に対して拡大率の低減を指示する。
【０１６８】
これにより、ビデオ映像送出装置３ａからウォークスルー映像提示装置１ｂに送られてくるビデオ映像のサイズが小さくなることで、ビデオ映像送出装置３ａとウォークスルー映像提示装置１ｂとの間でビデオ映像の送受信するのに要するネットワーク帯域が軽減される。すなわち、データ遅延やビデオフレーム欠損を防ぐことが可能になる。
【０１６９】
また、本実施の形態によるビデオ映像提示システムの別の実施例として、次の例が挙げられる。
【０１７０】
ＱｏＳ制御部１８が、表示部位切り出し部１７における処理状況を監視し、表示部位切り出し部１７における処理がビデオ映像のフレームレートを下回る場合に、拡大率変更部３５に対して拡大率の低減を指示する。
【０１７１】
これにより、ビデオ映像送出装置３ａからウォークスルー映像提示装置１ｂに送られてくるビデオ映像のサイズが小さくなることで表示部位切り出し部１７における処理を軽減する。すなわち提示されるビデオ映像のフレームレート低下を防ぐことが可能となる。
【０１７２】
以上説明したように、本実施の形態によるビデオ映像提示システムでは、第１〜第３の実施の形態の効果に加えて、ウォークスルー映像提示装置１ｂにおいて、ネットワーク状況の変動により生じた、サーバからのビデオ映像の遅延やフレーム欠損などを検知した場合に、それらの現象を緩和することを目的に送出するビデオ映像のデータ通信量を制御するいわゆるネットワークのＱｏＳ（Quality of Service）制御が可能となる。つまり、ネットワークの状態に応じた品質で利用者に対してビデオ映像提示システムを提供することが可能となる。
【０１７３】
また更に、受信したビデオ映像に対する処理がウォークスルー映像提示装置１ｂの処理能力を超過した場合にも、同様にして、ビデオ映像の拡大率の低減をビデオ映像送出装置３ａに指示することにより、ビデオ映像を安定して処理することができる。
【０１７４】
次に、本発明の第５の実施の形態を説明する。図２９は、本発明の第５の実施の形態によるビデオ映像提示システムの構成を示すブロック図である。
【０１７５】
本実施の形態のビデオ映像提示システムは、ウォークスルー映像を利用者に提示するウォークスルー映像提示装置１ｃと、街路や建物内を移動する様子を連続的に記録したビデオ映像を格納するビデオ映像格納装置２と、ビデオ映像格納装置２に格納されているビデオ映像に処理を施し、ウォークスルー映像提示装置１ｃで表示すべきビデオ映像を生成して、ウォークスルー映像提示装置１ｃに送出する２つ以上のｎ台のビデオ映像送出装置３−１、３−２、…、３−ｎと、ウォークスルー映像提示装置１ｃとの間に常に１つの仮想コネクションを確立しつつ、２つ以上のｎ台のビデオ映像送出装置３−１、３−２、…、３−ｎからのビデオ映像を選択的に切り替えて同一のコネクションを通してウォークスルー映像提示装置１ｃへと送るビデオ映像切り替え部４と、ｎ台のビデオ映像送出装置３−１、３−２、…、３−ｎで読み出されるビデオ映像の中から表示すべきビデオ映像をビデオ映像切り替え部４に指示するビデオ映像決定部５を備える。
【０１７６】
本実施の形態のウォークスルー映像提示装置１ｃ、ビデオ映像格納装置２、並びにビデオ映像送出装置３−１、３−２、…、３−ｎは、第１、第２、第３、第４の実施の形態の何れかの構成を適用する。
【０１７７】
つまり、本実施の形態のウォークスルー映像提示装置１ｃとして、第１、第２、第３、第４の実施の形態のウォークスルー映像提示装置１、１ａ、１ｂを用いることができ、本実施の形態のビデオ映像送出装置３−１、３−２、…、３−ｎとして、第１、第２、第３、第４の実施の形態のビデオ映像送出装置３、３ａを用いることができる。また、本実施の形態のビデオ映像送出装置３−１、３−２、…、３−ｎの台数ｎは、特に限定する必要はなく、２台以上の任意の台数により実施することができる。
【０１７８】
また、ビデオ映像送出装置３−１、３−２、…、３−ｎとビデオ映像格納装置２がサーバマシン上に設けれ、ウォークスルー映像提示装置１ｃとビデオ映像決定部５がクライアントマシン上に設けられる。ビデオ映像切り替え部４については、サーバ及びクライアントマシンから独立してネットワーク上に位置している。
【０１７９】
次に、本実施の形態によるビデオ映像提示システムの動作について図３０のフローチャートを参照して説明する。
【０１８０】
まず、ビデオ映像決定部５において、ウォークスルー映像提示装置１ｃで表示するビデオ映像の候補を複数決定し、そのビデオ映像名を別々のビデオ映像送出装置３−１、３−２、…、３−ｎへと伝達する（ステップ３００１）。
【０１８１】
ビデオ映像名を受信したビデオ映像送出装置３−１、３−２、…、３−ｎでは、ビデオ映像格納装置２からの該当ビデオ映像の読み出しとブロック切り出し部３４での切り出し処理を含む送出の準備を行う（ステップ３００２）。ビデオ映像送出装置３−１、３−２、…、３−ｎでの動作は、第１、第２、第３、第４の実施の形態で説明したいずれかの方法に従って行なわれる。
【０１８２】
一方、ビデオ映像決定部５では、ビデオ映像の候補の中から最初に表示すべきビデオ映像を決定しビデオ映像切り替え部４に伝達する（ステップ３００３）。ビデオ映像切り替え部４では、ビデオ映像決定部５からの指示に従って該ビデオ映像をウォークスルー映像提示装置１ｃへと伝達する（ステップ３００４）。ウォークスルー映像提示装置１ｃでは、送られてきたビデオ映像を利用者に対して提示する（ステップ３００５）。
【０１８３】
ここで、ビデオ映像決定部５において表示するビデオ映像を変更すると（ステップ３００６）、変更したビデオ映像名がビデオ映像切り替え部４へと伝達される。ビデオ映像決定部５からの信号を受けたビデオ映像切り替え部４では、即座にウォークスルー映像提示装置１ｃへと送信するビデオ映像を該ビデオ映像へと切り替えて送信する（ステップ３００７）。
【０１８４】
なお、本実施の形態によるビデオ映像提示システムでは、切り替え後のビデオ映像は、既に送出準備を終えた状態で待機しているので、ビデオ映像の切り替えを行う際、切り替え前後のビデオ映像を繋ぎ目で途切れることなく連続的に送出することができる。
【０１８５】
また、ビデオ映像決定部５では、その時々の状況に応じて候補となるビデオ映像を随時決定し、ビデオ映像送出装置３−１、３−２、…、３−ｎへとビデオ映像名を伝達し、ビデオ映像の送出準備を指示する。同時に、再生候補から外れたビデオ映像に対しては、ビデオ映像送出装置３−１、３−２、…、３−ｎに準備終了を指示する。
【０１８６】
次に、本実施の形態における具体的な実施例を幾つか挙げる。まず本実施の形態の第１の実施例を説明する。
【０１８７】
本実施例では、ビデオ映像決定部５で候補として決定するビデオ映像を、異なるビットレートで同一の場面を記録したビデオ映像とする。そして、ビデオ映像切り替え部４とウォークスルー映像提示装置１ｃとを結ぶネットワーク環境に応じて、送信に適したビットレートのビデオ映像を選択し表示を行う。
【０１８８】
このようにすることで、本実施例では、ネットワークの利用可能帯域が広い場合には、高ビットレートで詳細なビデオ映像を表示し、ネットワークの利用可能帯域が狭まった場合には、即座に低ビットレートのビデオ映像に切り替えてビデオ映像の表示を行うことができる。
【０１８９】
次に、本実施の形態の第２の実施例を説明する。
【０１９０】
ビデオ映像決定部５で候補として決定するビデオ映像を、同一経路を移動しているが、異なる方向を記録したビデオ映像とする。例えば、同一経路について、前方、後方、左方、右方を記録したビデオ映像を候補として決定する。
【０１９１】
このため本実施例では、利用者の指示入力により、表示するビデオ映像を適宜切り替えることで、利用者が視線方向を更に自由に移動することができる。
【０１９２】
次に、本実施の形態の第３の実施例を説明する。
【０１９３】
図３１は、３次元空間における視点の移動経路を説明する図である。ここでは、経路５１１は、地点５１５において３つの経路、経路５１２、５１３、５１４と接続している。これら、経路５１１、５１２、５１３、５１４を移動する様子を記録したビデオ映像をそれぞれビデオ映像５２１、５２２、５２３、５２４とする。
【０１９４】
このとき、ビデオ映像決定部５では、ビデオ映像５２１、５２２、５２３、５２４の４つのビデオを候補として決定し、そのそれぞれをビデオ映像送出装置３−１、３−２、３−３、３−４に送り、ビデオ映像送出装置３−１、３−２、３−３、３−４では該ビデオ映像を読み出し、送出の準備を行う。
【０１９５】
そして実際に利用者にウォークスルー映像を提示するときには、まず、ビデオ映像決定部５において、ビデオ映像５２１の再生を決定してビデオ映像切り替え部４に伝達し、ウォークスルー映像提示装置１ｃにおいてビデオ映像５２１の再生を行う。つまり、経路５１１を歩いている様子を利用者に対して提示する。
【０１９６】
次に、ビデオ映像５２１の再生が地点５１５に至るまでに、経路５１１の次に通るべき経路を経路５１２、５１３、５１４の中から選択する。
【０１９７】
ここでは、経路５１２が選択されたものとし、次に再生すべきビデオ映像がビデオ映像５２２であるとして説明する。ビデオ映像決定部５において決定されたビデオ映像名は、ビデオ映像切り替え部４へと伝達される。ビデオ映像切り替え部４では、ビデオ映像５２１を最終フレームまで再生後、直ちにビデオ映像５２２の再生を開始する。
【０１９８】
このように、本実施例では、複数の経路を連続的に、かつ選択的に移動する様子を利用者に対して提示することができる。
【０１９９】
以上説明したように本実施の形態のビデオ映像提示システムでは、表示するビデオ映像を適宜切り替えることにより、適切なビットレートによる表示や、利用者が視線方向を更に自由に移動させることや、複数の経路を連続的にかつ選択的に移動する様子を提示することができる。
【０２００】
また本実施の形態を、第１〜第４の各実施の形態と組み合わせることにより（つまり、ウォークスルー映像提示装置１ｃや各ビデオ映像送出装置３−１、３−２、…、３−ｎとして、その第１〜第４の実施の形態のものを用いることにより）、第１〜第４の各実施の形態の効果を合わせて実現することができる。
【０２０１】
なお、上記各実施の形態のビデオ映像提示システムは、ウォークスルー映像提示装置１におけるビデオ映像選択部１１、視線方向入力部１２、ビデオ映像デコード部１３、ビデオ映像表示部１４、表示部位算出部１５、表示部位格納部１６、表示部位切り出し部１７、ＱｏＳ制御部１８の機能や、ビデオ映像送出装置３、３ａ、３−１、３−２、…、３−ｎにおけるビデオ映像読み出し部３１、切り出し部位算出部３２、切り出し部位格納部３３、ブロック切り出し部３４、拡大率変更部３５の機能や、ビデオ映像切り替え部４の機能や、ビデオ映像決定部５の機能や、その他の機能をハードウェア的に実現することは勿論として、各機能を備えるコンピュータプログラムである映像処理プログラム９０、９０ａ、９０ｂ、９０ｃ、９１、９１ａを、コンピュータ処理装置のメモリにロードされることで実現することができる。この映像処理プログラム９０、９０ａ、９０ｂ、９０ｃ、９１、９１ａは、磁気ディスク、半導体メモリその他の記録媒体に格納される。そして、その記録媒体からコンピュータ処理装置にロードされ、コンピュータ処理装置の動作を制御することにより、上述した各機能を実現する。
【０２０２】
以上好ましい実施の形態及び実施例をあげて本発明を説明したが、本発明は必ずしも上記実施の形態及び実施例に限定されるものではなく、その技術的思想の範囲内において様々に変形して実施することができる。
【０２０３】
【発明の効果】
以上説明したように本発明によれば、以下のような効果が達成される。
【０２０４】
第１に、３次元コンピュータグラフィックス技術を用いて構築した仮想空間内をウォークスルーする様子を記録したビデオ映像、あるいは実際の街路をウォークスルーする様子を記録したビデオ映像を再生することで、利用者に対して空間内の移動を提示するシステムにおいて、利用者の自由な、かつ滑らかな視線移動を実現することができる。
【０２０５】
第２に、複数のビデオ映像を組み合わせて利用者に対して空間内の移動を提示するシステムにおいて、利用者にビデオ映像間の繋ぎ目を意識させることなく円滑にビデオ映像を表示することができる。つまり、ビデオ映像間の接続を滑らかにすることで、利用者の自然な空間移動を実現することができる。
【図面の簡単な説明】
【図１】 本発明の第１の実施の形態によるビデオ映像提示システムの構成を示すブロック図である。
【図２】 本発明の第１の実施の形態によるビデオ映像提示システムを適用したネットワーク構成を示すブロック図である。
【図３】 本発明の第１の実施の形態によるビデオ映像提示システムのビデオ映像送出装置の動作を説明するフローチャートである。
【図４】 本発明の第１の実施の形態のビデオ映像の一例を示す模式図である。
【図５】 本発明の第１の実施の形態の図２のビデオ映像による利用者提示映像を示す模式図である。
【図６】 本発明の第１の実施の形態における利用者の視線移動時のビデオ映像変化を示す模式図である。
【図７】 本発明の第１の実施の形態における利用者の視線移動時のビデオ映像変化を示す模式図である。
【図８】 本発明の第１の実施の形態における利用者の視線移動時のビデオ映像変化を示す模式図である。
【図９】 本発明の第１の実施の形態における切り出し部位の変化を示す模式図である。
【図１０】 本発明の第２の実施の形態によるビデオ映像提示システムの構成を示すブロック図である。
【図１１】 本発明の第２の実施の形態におけるビデオ映像送出装置の動作を説明するフローチャートである。
【図１２】 本発明の第２の実施の形態におけるウォークスルー映像提示装置の動作を説明するフローチャートである。
【図１３】 本発明の第２の実施の形態における視線方向、表示部位情報、表示部位外接矩形情報、切り出し部位情報の関係についての模式図である。
【図１４】 本発明の第２の実施の形態における表示部位切り出し部の動作を説明するフローチャートである。
【図１５】 本発明の第２の実施の形態におけるビデオ映像と利用者提示映像を示す模式図である。
【図１６】 本発明の第２の実施の形態におけるビデオ映像と利用者提示映像を示す模式図である。
【図１７】 本発明の第２の実施の形態におけるビデオ映像と利用者提示映像を示す模式図である。
【図１８】 本発明の第２の実施の形態における切り出し部位算出方法を示す模式図である。
【図１９】 本発明の第２の実施の形態における切り出し部位算出方法を示す模式図である。
【図２０】 本発明の第２の実施の形態における切り出し部位の変化を示す模式図である。
【図２１】 本発明の第２の実施の形態における利用者の視線移動時のビデオ映像変化を示す模式図である。
【図２２】 本発明の第２の実施の形態における利用者の視線移動時のビデオ映像変化を示す模式図である。
【図２３】 本発明の第２の実施の形態における利用者の視線移動時のビデオ映像変化を示す模式図である。
【図２４】 本発明の第２の実施の形態における利用者の視線移動時のビデオ映像変化を示す模式図である。
【図２５】 本発明の第２の実施の形態における利用者の視線移動時のビデオ映像変化の他の例を示す模式図である。
【図２６】 本発明の第２の実施の形態における利用者の視線移動時のビデオ映像変化の他の例を示す模式図である。
【図２７】 本発明の第３の実施の形態によるビデオ映像提示システムの構成を示すブロック図である。
【図２８】 本発明の第４の実施の形態によるビデオ映像提示システムの構成を示すブロック図である。
【図２９】 本発明の第５の実施の形態によるビデオ映像提示システムの構成を示すブロック図である。
【図３０】 本発明の第５の実施の形態によるビデオ映像提示システムの動作を説明するフローチャートである。
【図３１】 本発明の第５の実施の形態における３次元空間における視点の移動経路の説明図である。
【符号の説明】
１、１ａ、１ｂ、１ｃ ウォークスルー映像提示装置
１１ ビデオ映像選択部
１２ 視線方向入力部
１３ ビデオ映像デコード部
１４ ビデオ映像表示部
１５ 表示部位算出部
１６ 表示部位格納部
１７ 表示部位切り出し部
１８ ＱｏＳ制御部
２ ビデオ映像格納装置
３、３ａ、３−１、３−２、…、３−ｎ ビデオ映像送出装置
３１ ビデオ映像読み出し部
３２ 切り出し部位算出部
３３ 切り出し部位格納部
３４ ブロック切り出し部
３５ 拡大率変更部
４ ビデオ映像切り替え部
５ ビデオ映像決定部
９０、９０ａ、９０ｂ、９０ｃ、９１、９１ａ 映像処理プログラム
Ｓ１ ビデオ映像情報
Ｓ２ 視線入力情報
Ｓ３ 切り出し部位情報
Ｓ４ 表示部位情報
Ｓ５ 表示領域情報
Ｓ６ 表示部位外接矩形情報

Claims (17)

1. 撮影したビデオ映像を提示するビデオ映像提示システムにおいて、
   ビデオ映像を提示するビデオ映像提示装置と、
   ビデオ映像提示装置に対してビデオ映像を送出するビデオ映像送出装置とを備え、
   前記ビデオ映像送出装置が、
   ビデオ映像を見る利用者の視線方向の指定を受け付ける手段と、
   前記ビデオ映像中の、前記視線方向に対応する切り出し範囲を算出する手段と、
   前記ビデオ映像から前記算出した切り出し範囲を切り出すことにより提示用の新たなビデオ映像である提示ビデオ映像を生成し、前記ビデオ映像提示装置に送出する手段と、
   前記提示ビデオ映像の送出先の前記ビデオ映像提示装置の台数に基づいて、前記ビデオ映像提示装置に送出する前記提示ビデオ映像の画像のサイズを所定の拡大率に変更することにより、前記ビデオ映像送出装置と前記ビデオ映像提示装置との間の通信帯域以下に、前記提示ビデオ映像の通信量を抑制する手段
   を有することを特徴とするビデオ映像提示システム。
2. 前記ビデオ映像送出装置が、
   前記ビデオ映像提示装置に送出する前記ビデオ映像の画像のサイズを、前記ビデオ映像提示装置からの指示に基づいて所定の拡大率に変更することにより、前記ビデオ映像送出装置と前記ビデオ映像提示装置との間の通信帯域以下に、前記ビデオ映像の通信量を抑制する手段を有することを特徴とする請求項１に記載のビデオ映像提示システム。
3. 前記ビデオ映像提示装置が、前記ビデオ映像送出装置に対し、当該ビデオ映像送出装置が送出する前記ビデオ映像の画像のサイズを、前記ビデオ映像の受信状態に基づいて指示する手段を有することを特徴とする請求項２に記載のビデオ映像提示システム。
4. 前記ビデオ映像提示装置が、前記ビデオ映像送出装置に対し、当該ビデオ映像送出装置が送出する前記ビデオ映像の画像のサイズを、受信した前記ビデオ映像の処理状況に基づいて指定する手段を有することを特徴とする請求項２に記載のビデオ映像提示システム。
5. 前記ビデオ映像提示装置から前記ビデオ映像提示装置に、ネットワークを介して前記ビデオ映像を送出する手段を有することを特徴とする請求項１から請求項４のいずれか１つに記載のビデオ映像提示システム。
6. 前記ビデオ映像提示装置が、送出する前記ビデオ映像を圧縮した上で送出する圧縮送信手段と、
   前記ビデオ映像提示装置が、前記ビデオ映像提示装置から受信した前記圧縮送信手段により送信した圧縮されたビデオ映像を復号した上で提示する手段とを有することを特徴とする請求項５に記載のビデオ映像提示システム。
7. 前記ビデオ映像送出装置から同時に複数の切り出した前記ビデオ映像を受信し、各前記ビデオ映像を選択的に切り替えて前記ビデオ映像提示装置に対し、当該ビデオ映像提示装置との間のコネクションを変更することなく送信する切り替え装置を備えることを特徴とする請求項５又は請求項７に記載のビデオ映像提示システム。
8. 前記ビデオ映像が、街路や建物内を移動する様子を記録したウォークスルー映像であることを特徴とする請求項１から請求項７のいずれか１つに記載のビデオ映像提示システム。
9. 前記ビデオ映像が、前記利用者が視線移動する範囲の映像を含む広視野ビデオ映像であることを特徴とする請求項８に記載のビデオ映像提示システム。
10. ビデオ映像提示装置に対してビデオ映像を送出するビデオ映像送出装置において、
    前記ビデオ映像提示装置から通知された前記ビデオ映像を見る利用者の視線方向に対応する前記ビデオ映像中の切り出し範囲を算出する手段と、
    前記ビデオ映像の前記切り出し範囲を新たなビデオ映像として切り出して前記ビデオ映像提示装置に送出する切り出し手段を備え、
    前記ビデオ映像の画面を定められたサイズ毎に分割した各ブロックの内で、前記ビデオ映像中の前記利用者の視線方向に対応して算出した前記切り出し範囲を含む範囲の各前記ブロックの領域を新たなビデオ映像として切り出して前記ビデオ映像提示装置に送出する手段と、
    前記ビデオ映像の送出先の前記ビデオ映像提示装置の台数に基づいて、前記ビデオ映像提示装置に送出する前記ビデオ映像の画像のサイズを所定の拡大率に変更する手段を備えることにより、
    前記ビデオ映像提示装置との間の通信帯域以下に、前記ビデオ映像の通信量を抑制することを特徴とするビデオ映像送出装置。
11. 前記ビデオ映像提示装置に送出する前記ビデオ映像の画像のサイズを、前記ビデオ映像提示装置からの指示に基づいて所定の拡大率に変更する手段を備えることにより、
    前記ビデオ映像提示装置との間の通信帯域以下に、前記ビデオ映像の通信量を抑制することを特徴とする請求項１０に記載のビデオ映像送出装置。
12. 前記ビデオ映像を圧縮した上で送出する手段を備えることを特徴とする請求項１０又は請求項１１に記載のビデオ映像送出装置。
13. ビデオ映像送出装置から送出されるビデオ映像を提示するビデオ映像提示装置において、
    前記ビデオ映像を見る利用者の視線方向の指定を前記ビデオ映像送出装置に指示する手段と、
    前記ビデオ映像送出装置にて前記視線方向に対応した切り出し範囲で前記ビデオ映像から切り出された新たなビデオ映像を受信して提示する手段と、
    前記利用者の視線方向に対応する前記ビデオ映像中の第１の切り出し範囲を算出する手段と、
    前記第１の切り出し範囲に基づいて、前記ビデオ映像送出装置で算出された前記第１の切り出し範囲より大きい範囲の第２の切り出し範囲で切り出された新たなビデオ映像を受け取り、前記新たなビデオ画像を前記第１の切り出し範囲に基づいて切り出して提示する切り出し手段と、
    前記ビデオ映像送出装置に対し、前記ビデオ映像の画像のサイズを、前記ビデオ映像の受信状態に基づいて所定の拡大率に変更する指示を行なう手段を備えることを特徴とするビデオ映像提示装置。
14. 前記ビデオ映像送出装置に対し、前記ビデオ映像の画像のサイズを、受信した前記ビデオ映像の処理状況に基づいて所定の拡大率に変更する指示を行なう手段を備えることを特徴とする請求項１３に記載のビデオ映像提示装置。
15. 前記ビデオ映像送出装置から、ネットワークを介して前記ビデオ映像を受信することを特徴とする請求項１３又は請求項１４に記載のビデオ映像提示装置。
16. 前記ビデオ映像送出装置から同時に複数の前記ビデオ映像を受信し、各前記ビデオ映像を選択的に切り替えて提示する手段を備えることを特徴とする請求項１５に記載のビデオ映像提示装置。
17. 前記ビデオ映像送出装置から圧縮されて送出された前記ビデオ映像を、復号した上で提示することを特徴とする請求項１３から請求項１６のいずれか１つに記載のビデオ映像提示装置。

Images