JPH10322680A

JPH10322680A - 連鎖型多視点映像再生方法

Info

Publication number: JPH10322680A
Application number: JP9126918A
Authority: JP
Inventors: Tatsuo Mori; 達男森; Yuji Oba; 有二大庭; Akio Mizugaki; 章雄水書
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1997-05-16
Filing date: 1997-05-16
Publication date: 1998-12-04

Abstract

(57)【要約】【課題】視点数が非常に多い多視点ＶＯＤシステムの
連鎖型多視点映像再生方法において、伝送効率を考慮し
た高速切り替えを行うことを可能とする。【解決手段】対象物を異なるｎ（ｎ≧２を満足する整
数）個の視点から同期撮影したｎ個の視点映像情報をサ
ーバに蓄積しておき、サーバで、当該各視点映像情報に
基づき、１ブロックが、主映像情報を１個と、当該視点
と関連度の高い上位ｍ個の視点のつなぎ映像情報とから
成る映像情報ブロック列を生成して端末装置に送信し、
端末装置で、サーバから送信される各映像情報ブロック
列内のつなぎ映像情報を、端末装置側のメモリに上書き
記憶し、視点切り替え時に、端末装置側のメモリに記憶
されているつなぎ映像情報群から切り替え先のつなぎ映
像情報を取り出して再生し、端末装置で、当該つなぎ映
像情報の再生を行っている間に、後続の切り替え先の視
点映像情報を、サーバから端末装置に送信する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、連鎖型多視点映像
再生方法に係わり、特に、リクエスト型映像・音声情報
提供システムのセンタ等における、蓄積装置にデジタル
映像情報・音声情報を蓄積し、端末装置側でそのデジタ
ル映像情報・音声情報を再生する映像再生方法に適用し
て有効な技術に関するものである。

【０００２】

【従来の技術】従来のビデオオンデマンド（以下、ＶＯ
Ｄと称する。）システムは、単一視点の映像をオンデマ
ンド出力している。また、ＶＯＤのアプリケーションと
してはウォークスルーのように、映像を幾つものストー
リに分岐させ、ストーリの進行が分岐位置に来たときに
映像を一時停止し、ユーザの選択したストーリに応じた
映像を再生するＶＯＤシステムは開発されている。

【０００３】さらに、本出願人は、異なる視点から同期
撮影した複数映像（視点）情報群をサーバに蓄積してお
き、端末装置側で好きな時に、好きな視点の再生や、別
視点への高速切り替えを行うことが可能な多視点ＶＯＤ
方式を提案している（特願平８−３４１１１４号（多視
点映像再生方法）参照）。

【０００４】この多視点ＶＯＤ方式では、その高速視点
切り替えの方法として、現視点の映像情報に別視点への
つなぎ映像情報を先行組み込みしておき、端末装置側で
は先行組み込みされたつなぎ映像情報を半導体メモリ
（ＲＡＭ）上に一時記憶しておき、視点切り替え時には
半導体メモリ上にあるつなぎ映像情報を再生し、この間
にサーバから後続の該当視点映像情報を読み取り、端末
側に配送してつなぎ映像に継続させて再生するようにし
ている。

【０００５】また、スタンドアロンタイプのデジタル・
ビデオ・ディスク装置（ＤＶＤシステム）では、アプリ
ケーション機能として、異なる角度から同期撮影した映
像情報群（３視点程度）をデジタル・ビデオ・ディスク
（ＤＶＤ）装置に記録しておき、用意された角度（視
点）から１つの視点を自由に選択あるいは切り替えると
いう視点切り替え方法は実現されている。

【０００６】

【発明が解決しようとする課題】しかしながら、従来の
ＶＯＤ技術では、シナリオに沿って映像を選択させるウ
ォークスルーのような技術はあるが、任意の再生位置か
らの視点切り替えをするものではない。

【０００７】また、ＤＶＤシステムのマルチアングル方
法はスタンドアロンタイプであり、通信タイプのもので
はないため通信遅延を考慮した高速視点切り替え技術は
必要としていない。

【０００８】多視点ＶＯＤにおいては、（１）視点切り
替え時間を短くするための高速切り替え技術、（２）視
点が変わっても後続映像が同一時間軸で継続再生させる
同一視点群映像の同期再生制御技術が必要である。

【０００９】この多視点ＶＯＤの高速切り替えの基本技
術は、特願平８−３４１１１４号に開示しているが、こ
の特願平８−３４１１１４号に開示している方法は、視
点数分のつなぎ映像情報を各視点映像情報に付加して先
行配送する方法であるため、視点数が多くなると回線ス
ループットが大となる問題がある。また、視点数分のつ
なぎ映像情報を各視点主映像情報に付加してファイル格
納する場合、全視点に切り替えできるように１視点の映
像ファイルには全つなぎ映像情報を組み込んでいるた
め、蓄積装置（磁気ディスク装置）からの映像情報の読
み取り量が大となる問題がある。

【００１０】本発明は、前記従来技術の問題点を解決す
るためになされたものであり、本発明の目的は、視点数
が非常に多い多視点ビデオオンデマンドシステムの連鎖
型多視点映像再生方法において、伝送効率を考慮した高
速切り替えを行うことが可能となる技術を提供すること
にある。

【００１１】本発明の前記ならびにその他の目的と新規
な特徴は、本明細書の記述及び添付図面によって明らか
にする。

【００１２】

【課題を解決するための手段】本願において開示される
発明のうち、代表的なものの概要を簡単に説明すれば、
下記の通りである。

【００１３】対象物を異なるｎ（ｎ≧２を満足する整
数）個の視点から同期撮影したｎ個の視点映像情報を１
つのグループ映像情報としてサーバに蓄積しておき、サ
ーバで、当該各視点映像情報に基づき、１ブロックが、
主映像情報を１個と、当該視点と関連度の高い上位ｍ個
の視点のつなぎ映像情報とから成る映像情報ブロック列
を生成して端末装置に送信し、端末装置で、サーバから
送信される各映像情報ブロック列内のつなぎ映像情報
を、端末装置側のメモリに上書き記憶し、通常再生時に
は、サーバから送信された各映像情報ブロック内の主映
像情報を再生し、視点切り替え時に、端末装置側のメモ
リに記憶されているつなぎ映像情報群から切り替え先の
つなぎ映像情報を取り出して再生し、端末装置で、当該
つなぎ映像情報の再生を行っている間に、後続の切り替
え先の視点映像情報を、サーバから端末装置に送信し、
端末装置で、当該つなぎ映像情報に後続の主映像情報を
接続して再生する。

【００１４】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を詳細に説明する。

【００１５】なお、実施の形態を説明するための全図に
おいて、同一機能を有するものは同一符号を付け、その
繰り返しの説明は省略する。

【００１６】図１は、本発明の一実施の形態である連鎖
型多視点映像情報再生方法が適用されるＶＯＤシステム
の概略構成を示すブロック図である。

【００１７】同図において、１はサーバ、２は端末装
置、３はサーバ１と端末装置２を結ぶデジタル回線であ
る。ここで、サーバ１は、ＣＰＵ１１、磁気ディスク装
置１２、半導体メモリ（ＲＡＭ）１３およびＦＤＤＩ
（ＦｉｂｅｒＤｉｓｔｒｉｂｕｔｅｄＤａｔａＩ
ｎｔｅｒｆａｃｅ）ボード１４を備える。また、端末装
置２は、ＣＰＵ２１、ＦＤＤＩボード２２、半導体メモ
リ（ＲＡＭ）２３、ＭＰＥＧデコーダ２４およびモニタ
装置２５を備える。

【００１８】図１に示すＶＯＤシステムにおいては、被
写体をｎ個（ｎ≧２を満足する整数）の撮影位置（視
点）から同期撮影した映像情報群を１つの多視点グルー
プとし、サーバ１の磁気ディスク装置（記憶装置）１２
にＭＰＥＧ形式でデジタル圧縮し、蓄積しておく。ここ
で、多視点グループのグループ数はサーバ１内には複数
存在する。

【００１９】端末装置２から多視点グループを選択し、
さらに、多視点グループの構成点から見たい視点を選択
すると、サーバ１は選択された視点の映像情報（ＭＰＥ
Ｇ圧縮データ）を磁気ディスク装置１２より読み出し、
回線３を通して、端末装置２へ送信する。端末装置２で
は、この映像情報をＭＰＥＧデコーダ（復号器）２４へ
送出し、映像情報伸長してモニタ装置２５へ映像情報出
力する。

【００２０】端末装置２は、別視点への切り替え要求時
に、再生中の視点映像情報のＧＯＰ番号を記憶し、サー
バ１に蓄積してある要求視点の視点映像ファイルを前記
ＧＯＰ番号の位置から読み取って継続再生する同期制御
手段２０１を備えている。

【００２１】端末装置２は、再生中に別視点の映像情報
に切り替える場合には、端末装置２から要求視点の視点
番号と、切り替え時の再生位置情報（番組の先頭からの
フレーム番号）をサーバ１に送出する。

【００２２】サーバ１は、映像ファイル情報により、磁
気ディスク装置１２に格納してある要求視点映像情報を
選択し、再生位置情報により、切り替え時のフレーム位
置からの視点映像情報を端末装置２へ配送し、端末装置
２はＭＰＥＧデコーダ２４に通して、ＭＰＥＧ圧縮デー
タを伸長した後、モニタ装置２５へ映像情報出力する。

【００２３】図１に示すＶＯＤシステムでは、多視点グ
ループにおいて、どの視点についても自らの視点と関連
度の強い視点を上位ｍ個選定しておく。そして、どの視
点も自視点の映像情報の他に関連度の強いｍ個の視点へ
のつなぎ映像情報を持つ構成とする。

【００２４】視点切り替え時には、切り替え視点のつな
ぎ映像情報を最初に再生し、このつなぎ映像情報の再生
の間に、サーバ１から後続の主映像情報を端末装置２に
配送し、端末装置２でつなぎ映像情報に後続映像情報を
接続して、映像情報が途切れないようにＭＰＥＧデコー
ダ２４に通してデコード再生する。

【００２５】図２は、本実施の形態における各視点間の
関連度順位表の一例を示す図である。

【００２６】図２に示す例では、視点Ａ、視点Ｂ、視点
Ｃ、視点Ｄ、……視点Ｚの計２６視点を同一グループの
多視点としている。また、各視点映像情報ファイルのブ
ロックは主映像情報とつなぎ映像情報により構成され
る。ここで、視点映像情報ブロックのつなぎ映像情報の
設定個数を５とする。

【００２７】視点Ａの場合は、視点間の関連度順位は、
Ｚ、Ｂ、Ｙ、Ｃの順であり、視点Ａのブロックのつなぎ
映像情報は、つなぎ映像情報ｚ、つなぎ映像情報ｂ、つ
なぎ映像情報ｙ、つなぎ映像情報ｃと切り戻し用のつな
ぎ映像情報ａの５つのつなぎ映像情報を組み込む。同様
に、視点Ｂの場合には、つなぎ映像情報はつなぎ映像情
報ａ、つなぎ映像情報ｃ、つなぎ映像情報ｚ、つなぎ映
像情報ｄと切り戻し用のつなぎ映像情報ｂの５個のつな
ぎ映像情報を組み込む。

【００２８】図３は、本実施の形態における視点映像フ
ァイル格納構成の一例を示す図である。

【００２９】図３に示す視点映像ファイルは、映像情報
の蓄積として、ＭＰＥＧ画像圧縮方式で映像情報圧縮
し、１ＧＯＰ（ＧｒｏｕｐｏｆＰｉｃｔｕｒｅ）は
６フレームで構成し、１秒間分の映像情報は５ＧＯＰで
構成する。

【００３０】１ブロック内では、主映像情報は５ＧＯＰ
分格納され、つなぎ映像情報は視点毎に１ＧＯＰ分格納
されている。また、つなぎ映像情報は主映像情報の先頭
ＧＯＰ番号よりも９ＧＯＰ分未来の映像情報を格納す
る。

【００３１】したがって、図３に示す視点映像ファイル
では、映像情報のコマ数は１秒間に３０フレームの再生
であり、また、つなぎ映像情報は、秒換算で１．８秒先
の未来映像情報が配置される。

【００３２】なお、図中、ＡｉはＡ視点映像情報でＧＯ
Ｐ番号がｉの部分映像情報を示している。さらに、ａｉ
はＡ視点つなぎ映像情報でＧＯＰ番号がｉの部分映像情
報を示す。

【００３３】この視点映像ファイルのつなぎ映像情報
は、つなぎ映像組み込み手段１０１により、主映像情報
の視点と関連度の高さ順に、かつ、主映像情報よりも未
来の映像情報が、各ブロック映像情報に限定数分（ｍ
個）組み込まれる。

【００３４】図４は、端末装置２側の半導体メモリ２３
に格納される、つなぎ映像情報の配置を示す概念図であ
る。

【００３５】各ブロックの映像情報が端末装置２へ配送
された段階で、つなぎ映像先行配置手段２０２により、
つなぎ映像情報は半導体メモリ２３のオーバレイエリア
に先行配置される。同図に示すように、例えば、端末装
置２に送信されたつなぎ映像情報（ａ₁₀、ｂ₁₀、ｃ₁₀、
ｙ₁₀、ｚ₁₀）は、半導体メモリ２３のオーバレイエリア
２３１に一時保存される。さらに、次のつなぎ映像情報
（ａ₁₅、ｂ₁₅、ｃ₁₅、ｙ₁₅、ｚ₁₅）が、半導体メモリ２
３のオーバレイエリア２３２に一時保存される。

【００３６】主映像情報（Ａ₆〜Ａ₁₀）が再生された段
階で、オーバレイエリア２３１は上書きが許可され、次
のつなぎ映像情報（ａ₂₀、ｂ₂₀、ｃ₂₀、ｙ₂₀、ｚ₂₀）が
サーバ１より端末装置２に送信された時点で、オーバレ
イエリア２３１に書き込まれ、つなぎ映像情報（ａ₁₀、
ｂ₁₀、ｃ₁₀、ｙ₁₀、ｚ₁₀）は上書きされ消える。図４
（ｂ）は、図４（ａ）の状態から上書きされた結果を示
す図である。

【００３７】主映像情報（Ａ₆〜Ａ₁₀）の再生中に、Ｂ
視点への切り替え命令が来たときには、つなぎ映像再生
手段２０３により、半導体メモリ２３上のつなぎ映像情
報（ｂ₁₀）を再生し、このつなぎ映像情報（ｂ₁₀）を再
生している間に、サーバ１から視点ＢのＢ₁₁以降の映像
情報を端末装置２に配送し、つなぎ再生手段２０４によ
り、当該つなぎ映像情報（ｂ₁₀）に、サーバ１からの視
点ＢのＢ₁₁以降の映像情報を連結して再生する。

【００３８】図５は、本実施の形態における視点Ａから
視点Ｂへの視点切り替えの一例を説明するための図であ
る。

【００３９】図５では、つなぎ映像情報（ａ₁₀、ｂ₁₀、
ｃ₁₀、ｙ₁₀、ｚ₁₀）は端末装置２に送信されると半導体
メモリ２３のオーバレイエリア２３１に一時保存され、
さらに、次のつなぎ映像情報（ａ₁₅、ｂ₁₅、ｃ₁₅、
ｙ₁₅、ｚ₁₅）が半導体メモリ２３のオーバレイエリア２
３２に一時保存されるものとする。

【００４０】主映像情報（Ａ₇）の再生中に、視点Ｂへ
の切り替え指示が端末装置２よりサーバ１へ指示され、
サーバ１からの了解（ＡＣＫ）の通知を受け取ると、端
末装置２は、主映像情報（Ａ₇）の再生を中断して、オ
ーバレイエリア２３１の視点Ｂへのつなぎ映像情報（ｂ
₁₀）を再生する。このつなぎ映像情報（ｂ₁₀）を再生し
ている間に、サーバ１から後続の映像情報（Ｂ₁₁）以降
を接続して再生する。

【００４１】なお、端末装置２からの切り替え視点番号
が、関連強度が４を超える場合には、つなぎ映像情報は
サーバ１に蓄積されていないことより、切り替え視点の
主映像情報をサーバ１から読みだす。

【００４２】以上説明したように、本実施の形態によれ
ば、被写体を複数の撮影視点から同期撮影した映像情報
群を同期蓄積しておき、ある視点から別視点へ視点を切
り替える時には、現視点と関連性の高い視点への移行を
つなぎ再生技術により高速に切り替え、関連度の低い視
点への切り替えは直接記憶装置（磁気ディスク装置）か
ら切り替え映像情報を読み出して再生する構成としてい
る。

【００４３】このため、多視点の数が大きくなっても、
視点毎に関連度の高い視点のつなぎ映像情報を設定でき
るため、つなぎ映像情報数を少なくすることができ、回
線スループットの低減や蓄積装置からの映像情報データ
アクセス量の軽減、つなぎ映像情報の先行配置処理の軽
減ができる。

【００４４】本実施の形態は、視点数が非常に大きくな
る多視点ＶＯＤシステムに対して有効であり、例えば、
パノラマ映像情報のような連接画面や連鎖画面の場合に
は、視聴画面に近い視点位置は関連度が高いので、つな
ぎ映像情報を優先配置し、視聴画面から離れた部分の視
点は関連度が低いことにより、つなぎ映像情報の優先度
を低く設定することにより、視点数の大きい多視点ＶＯ
Ｄの高速切り替えが可能となる。

【００４５】さらに、本実施の形態は、前記した以外
に、スポーツや舞踊の基本フォームの学習・観賞、商品
紹介等へ用いて有効である。

【００４６】以上、本発明者によってなされた発明を、
前記実施の形態に基づき具体的に説明したが、本発明
は、前記実施の形態に限定されるものではなく、その要
旨を逸脱しない範囲において種々変更可能であることは
勿論である。

【００４７】

【発明の効果】本願において開示される発明のうち代表
的なものによって得られる効果を簡単に説明すれば、下
記の通りである。

【００４８】（１）本発明によれば、被写体を複数の撮
影視点から同期撮影した映像情報群を同期蓄積してお
き、ある視点から別視点へ視点を切り替える時には、現
視点と関連性の高い視点への移行をつなぎ再生技術によ
り高速に切り替え、関連度の低い視点への切り替えは直
接記憶装置から切り替え映像情報を読み出して再生す
る。これにより、多視点の数が大きくなっても、視点毎
に関連度の高い視点のつなぎ映像情報を設定してつなぎ
映像情報数を少なくすることができるので、回線スルー
プットの低減や蓄積装置からの映像情報データアクセス
量の軽減、つなぎ映像情報の先行配置処理の軽減を図る
ことが可能となる。

【図面の簡単な説明】

【図１】本発明の一実施の形態である連鎖型多視点映像
情報再生方法が適用されるＶＯＤシステムの概略構成を
示すブロック図である。

【図２】本実施の形態における各視点間の関連度順位表
の一例を示す図である。

【図３】本実施の形態における視点映像ファイル格納構
成の一例を示す図である。

【図４】図１に示す端末装置側の半導体メモリに格納さ
れる、つなぎ映像情報の配置を示す概念図である。

【図５】本実施の形態における視点Ａから視点Ｂへの視
点切り替えの一例を説明するための図である。

【符号の説明】

１…サーバ、２…端末装置、３…デジタル回線、１１，
２１…ＣＰＵ、１２…磁気ディスク装置、１３，２３…
半導体メモリ（ＲＡＭ）、１４，２２…ＦＤＤＩボー
ド、２４…ＭＰＥＧデコーダ、２５…モニタ装置、１０
１…つなぎ映像組み込み手段、２０１…同期制御手段、
２０２…つなぎ映像先行配置手段、２０３…つなぎ映像
再生手段、２０４…つなぎ再生手段。

Claims

【特許請求の範囲】

【請求項１】対象物を異なるｎ（ｎ≧２を満足する整
数）個の視点から同期撮影したｎ個の視点映像情報を１
つのグループ映像情報としてサーバに蓄積しておき、サーバで、当該各視点映像情報に基づき、１ブロック
が、主映像情報を１個と、当該視点と関連度の高い上位
ｍ個の視点のつなぎ映像情報とから成る映像情報ブロッ
ク列を生成して端末装置に送信し、端末装置で、サーバから送信される各映像情報ブロック
列内のつなぎ映像情報を、端末装置側のメモリに上書き
記憶し、通常再生時には、サーバから送信された各映像
情報ブロック内の主映像情報を再生し、視点切り替え時
に、端末装置側のメモリに記憶されているつなぎ映像情
報群から切り替え先のつなぎ映像情報を取り出して再生
し、端末装置で当該つなぎ映像情報の再生を行っている間
に、後続の切り替え先の視点映像情報を、サーバから端
末装置に送信し、端末装置で、当該つなぎ映像情報に後続の主映像情報を
接続して再生することを特徴とする連鎖型多視点映像再
生方法であって、各映像情報ブロック内の主映像情報の再生量はｐ秒間
で、各ｍ個のつなぎ映像情報の再生量は、視点切り替え
時にサーバから端末装置へ新たな視点の映像情報が到達
するのに要する時間以上のｑ秒間であり、また、各ブロ
ック内において、つなぎ映像情報は主映像情報に対して
ｋ秒未来（ｋ＞ｑ＞０）の映像情報を配置することを特
徴とする連鎖型多視点映像再生方法。