JPH0926966A - 映像再生方法および映像再生装置 - Google Patents

Abstract

(57)【要約】 【目的】視聴者の要求に高度に応じたインタラクティブ
な映像切り替えを可能とし，さらに撮影者あるいは撮影
時の負荷を軽減し，より広範囲の対象世界をシステムで
扱えるようにすることを目的とする。 【構成】映像蓄積部10に蓄積した映像ストリームの一つ
を再生表示しているとき，その中のある被写体が指定さ
れると，被写体情報管理部13によりその被写体の位置を
同定し，その情報に基づいて被写体情報写像部14によっ
て別の映像ストリームに撮影されている被写体の位置情
報に写像し，再生中の映像ストリームを写像された被写
体が撮影されている映像ストリームに切り替えて再生表
示する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は，映像再生装置の実現技
術に関し，特に，映像の再生中に，該映像中に撮影され
ている被写体をキーとして，該被写体が撮影されている
他の映像に切り替えを行うことで，該被写体の再生を中
断することなく複数の映像を切り替えながら再生する映
像再生方法および映像再生装置に関するものである。

【０００２】

【従来の技術】対象世界に存在する複数の対象物の動き
を，的確に視聴者あるいは利用者に伝えるには，対象世
界を撮影した複数の映像を，利用者の要求に応じて切り
替えながら再生できることが望まれている。

【０００３】このような再生を可能とする第１の従来技
術として，特願平５−２４６５１２号「映像再生装置」
が既知である。ここでは，対象世界を時間的に同時にＮ
通りのアングルから撮影したＮ本の映像を，利用者の要
求に応じて切り替え表示する装置の構成が開示されてい
る。

【０００４】この装置では，撮影時刻の連続性に基づい
て映像の切り替えを行っていることから，時間的に同期
したＮ本の映像をあらかじめ用意しておく必要があっ
た。このため，撮影に多大な困難を伴う問題，あるい
は，撮影可能な対象世界が限定されるという問題があっ
た。さらに，上記の撮影上の制約が厳しいことに起因し
て必要な映像を用意できないために，利用者の要求に基
づく切り替えを十分に満たせるシステムが構成できない
といった問題もあった。

【０００５】対象世界に存在する対象物の動きを的確に
利用者に伝えることを狙いとした第２の従来技術とし
て，特願平５−２５１４５９号「動画再生装置」が既知
である。この装置では，対象世界を撮影したＮ本の映像
をあらかじめ用意しておくと共に，撮影対象となる全体
領域の中にある個々の対象物について，該対象物が全体
領域の中で位置している位置情報を検出し格納する位置
情報格納手段を備えることによって，視聴者が選択した
対象物が，画面上の所望の位置，例えば画面中央に表示
されるように映像を切り替えて表示することによって，
視聴者の要求に基づいた映像の切り替えと表示を，一般
の視聴者が利用可能な簡便なシステムにより実現してい
る。

【０００６】しかし，この装置でも，対象物の位置を撮
影対象となる全体領域の中で決定する必要があるため，
撮影可能な対象世界が大幅に限定されていた。即ち，サ
ッカーや野球等の平面であれば，ｘ軸とｙ軸の２軸で対
象物の位置を表現可能であり，選手やボールの位置を検
出し格納管理できるが，山の斜面で行われるスキー大会
の選手の動きや，水中を移動する魚を複数のアングルか
ら撮影した映像では，全体領域での対象物の位置をユニ
ークに決定することは極めて困難である。仮に，複雑な
座標空間を用いることで対象物の位置を特定できるよう
な位置情報を作成できたとしても，映像から対象物を同
定する処理，あるいは，対象物から映像を決定する処理
に多大な演算量が必要となり，十分に応答性の高いシス
テムを構築できなかった。

【０００７】また，サッカーや野球であっても，フィー
ルド全体を撮影した映像から，視聴者の要求に基づいて
特定の選手を追跡するような再生を，十分な品質の映像
として行うためには，極めて大量の高精細な映像をあら
かじめ用意しておく必要があり，映像の撮影者あるいは
システムを提供する者に，過度な負担を強いる問題があ
った。

【０００８】

【発明が解決しようとする課題】本発明の目的は，上述
した従来の第１および第２の従来技術がかかえる問題点
の解決を同時に図り，視聴者の要求に高度に応じたイン
タラクティブな映像切り替えを可能とする映像再生装置
を簡便に提供し，さらに，撮影者あるいは撮影時の負荷
を軽減し，より広範囲の対象世界をシステムで扱えるよ
うにすることにある。

【０００９】

【課題を解決するための手段】上記目的を達成するため
に，本発明の映像再生方法は，複数の映像ストリームを
蓄積してあったとき，ある映像ストリームｉ上の１また
は複数の被写体Ａと，別の映像ストリームｊとの間に被
写体情報を介して関連性を付与しておき，ある映像スト
リームｉを再生表示したときに，前記被写体Ａが指定さ
れると，前記の付与した関連性をたどり，該当する映像
ストリームｊを前記蓄積された映像ストリーム中から検
索し，映像ストリームｊを再生表示する。

【００１０】また，本発明の映像再生装置は，対象世界
を撮影したＮ本の映像ストリームを蓄積する映像蓄積手
段と，該蓄積されたＮ本の映像ストリームの何れか１つ
を選択して読み出す映像アクセス手段と，該読み出した
映像ストリームを再生する映像再生手段とを備えた映像
再生装置において，各映像ストリーム中で撮影されてい
る被写体の位置を該映像ストリーム内で同定するための
被写体情報を管理する被写体情報管理手段と，任意の映
像ストリームｉ（１≦ｉ≦Ｎ）と映像ストリームｊ（１
≦ｊ≦Ｎ）において，映像ストリームｉに撮影されてい
る被写体の位置情報を，映像ストリームｊに撮影されて
いる被写体の位置情報に写像する被写体情報写像手段と
を具備し，前記映像アクセス手段で読み出した映像スト
リームｉを前記映像再生手段を用いて再生中に，該再生
中の映像ストリームｉに撮影されている任意の被写体の
位置を前記被写体情報管理手段を用いて決定し，該決定
した被写体の位置を前記被写体情報写像手段の入力と
し，該被写体情報写像手段で映像ストリームｉ以外の映
像ストリームに撮影されている被写体の位置情報に写像
し，該写像された被写体が撮影されている所望の映像ス
トリームｊに，該再生中の映像ストリームを切り替えて
再生を継続するようにしている。

【００１１】

【作用】以上の手段により，撮影されている対象物の位
置情報は，撮影対象となる全体領域で検出し管理するの
ではなく，該対象物が撮影されている映像ストリーム中
で位置を検出し管理するだけで十分となる。このため，
対象物の位置を検出する処理が大幅に軽減されるととも
に，撮影可能な映像に対する制限も大幅に軽減されるの
で，撮影時の負荷軽減と撮影できる対象世界を広げるこ
とができる。

【００１２】

【実施例】図１は，本発明の実施例を説明するための映
像再生装置の構成図である。映像蓄積部１０は，撮影さ
れた少なくともＮ本（Ｎ≧１）の映像を蓄積しておくた
めの装置であり，例えば映像をデジタル符号化して所望
の容量を持つ磁気ディスク装置に蓄積することで容易に
実現できる。

【００１３】映像アクセス部１１は，映像蓄積部１０に
格納されたＮ本の映像の中の一つを，時間的な前後関係
を保って連続的に再生可能とするように，映像蓄積部１
０に蓄積された映像データを読み出すための回路であ
る。

【００１４】映像再生／指示入力部１２は，映像アクセ
ス部１１が読み出した映像データを用いて利用者に映像
として提示するための映像再生回路と，利用者が提示さ
れた映像を視聴した結果として，映像再生装置に対して
要求する映像の切り替え要求を入力する回路である。利
用者は画面上のポイントを指先で直接指示する，あるい
は，マウス等のポインティングデバイスを用いて，画面
上のポイントに相当する画面内座標を入力する。

【００１５】被写体情報管理部１３は，映像蓄積部１０
に蓄積されたＮ本の映像の各々について，該映像中に撮
影されている被写体の位置情報を映像内の座標系を用い
て管理している。簡便な座標系として，例えば，映像の
先頭から起算したフレーム番号と，該フレーム番号で決
まるフレーム内の左上を原点とするｘとｙの座標とから
なる座標系を用いて被写体の位置情報を管理する。この
ような管理法を用いた場合には，映像を特定するための
映像識別情報と，映像内の先頭からのフレーム番号，フ
レーム内の座標ｘとｙとを，被写体情報管理部１３に入
力することで，被写体情報管理部１３で管理している被
写体の位置情報から撮影されている被写体を同定するこ
とができる。また，被写体を識別する情報，例えば，被
写体識別子を入力することで，該被写体が撮影されてい
る映像を特定する「逆びき」を行うこともできる。

【００１６】被写体情報写像部１４は，上記の被写体情
報管理部１３で管理されている映像毎の被写体の位置情
報を，他の映像における被写体の位置情報に写像するた
めの回路である。この被写体情報写像部１４によって，
映像間の相対的な位置関係が被写体を介して決定され，
利用者の指示に基づいて映像を切り替え表示することが
できる。以下では，具体的な切り替えの動作を図を用い
て詳細に説明する。

【００１７】図２は，映像蓄積部１０に蓄積された２個
の映像，映像Ａと映像Ｂ，の関係を，具体的に例示した
図である。映像Ａは（スキーをしている）選手ａの動き
を追従するように撮影された映像であり，選手ａを中心
とした撮影がなされている。一方の，映像Ｂは選手ｂの
動きを追いかけた映像であり，選手ｂを中心とした撮影
がなされている。

【００１８】利用者は選手ａを中心に撮影した映像Ａを
鑑賞している途中で，映像Ａに撮影された他の選手ｂに
興味が推移したのをきっかけとして，選手ｂを中心に撮
影された映像Ｂへの切り替えを映像再生装置に指示す
る。図の例では，選手ａは時間の進行とともに左から右
に移動しており，選手ｂは時間の進行とともに右から左
に移動している。このため，選手ａを中心に撮影した映
像Ａに，ある時間区間だけ選手ｂが（選手ａと共に）撮
影されている。逆に，選手ｂを中心に撮影した映像Ｂに
も，ある時間区間だけ選手ａが（選手ｂと共に）撮影さ
れている。この部分を時間の進行を横軸として詳細に示
したものが図３であり，この図を用いて映像と被写体の
関係を詳細に説明する。

【００１９】映像中の選手の動きは，それぞれの映像の
中に閉じた形で，被写体の位置情報として上述の被写体
情報管理部１３に格納・管理されている。図３におい
て，選手ａを撮影している映像Ａの時刻ｔ₁ ＋３から時
刻ｔ₁ ＋４の区間に，選手ｂの被写体が撮影されてい
る。一方，選手ｂを撮影している映像Ｂの時刻ｔ₂ ＋１
から時刻ｔ₂ ＋３の区間に，選手ａの被写体が撮影され
ている。このように，２個の映像は，それぞれ独立した
時間系列を持ち，その中に撮影されている被写体の位置
も，独立した座標系で管理している。

【００２０】ここで，映像Ａの時刻ｔ₁ ＋３から時刻ｔ
₁ ＋４の区間を再生中に，利用者が選手ｂを指示するこ
とで，選手ｂを中心に撮影した映像Ｂに映像を切り替え
て表示することを実現する。また，映像Ｂの時刻ｔ₂ ＋
１から時刻ｔ₂ ＋３の区間を再生中に，利用者が選手ａ
を指示することで，選手ａを中心に撮影した映像Ａに映
像を切り替えて表示することを実現する。このための，
映像間で被写体情報を写像する回路が被写体情報写像部
１４である。

【００２１】次に，被写体情報写像部１４の構成および
動作を手順を追って詳細に説明する。図４は，被写体情
報写像部１４の構成例およびその動作手順を示す図であ
る。同図において，被写体識別部４２は，映像再生／指
示入力部１２を介して利用者の切り替え要求を受け取
り，前述した被写体情報管理部１３を用いて利用者が指
示した被写体を同定する回路である。

【００２２】映像検索部４３は，上記被写体識別部４２
で得られた被写体の識別情報を被写体情報管理部１３に
入力し，該被写体を撮影してある映像を検索し，検索し
た映像を前記映像再生／指示入力部１２に対して再生す
るように指示する回路である。この映像検索部４３は，
映像間の時間的な対応関係を管理する時刻対応表を保持
しており，例えば，映像Ａの時刻ｔ₁ と映像Ｂの時刻ｔ
₂ とを一致させることが記述されている。この時刻対応
表によって，映像Ａと映像Ｂのフレーム間で１対１の対
応関係をつくることができる。

【００２３】写像制御部４１は，上記被写体識別部４
２，映像検索部４３を制御して，利用者の出す指示を満
たす映像への切り替えを制御する。以下，映像の切り替
えに関わる動作の流れを図３および図４を参照しながら
詳細に述べる。

【００２４】(1) 利用者の指示に基づく映像の切り替え
要求信号を，映像再生／指示入力部１２から被写体識別
部４２に入力する。切り替え要求信号は，例えば（映像
識別子，時刻，ｘ座標，ｙ座標）の４つ組で構成でき
る。ここでｘｙ座標とは，映像を表示している画面内の
座標であり，画面の左上を原点として横方向をｘ座標，
縦方向をｙ座標として，それぞれ０から１００の値を割
り当てたとする。

【００２５】例えば，図３における映像Ｂすなわち選手
ｂを追跡する映像を再生している過程で，映像Ｂにおけ
る時刻ｔ₂ ＋２で，利用者が画面中の選手ａを指示した
とすると，以下に示す切り替え要求信号が入力される。 （Ｂ，ｔ₂ ＋２，１０，１０） これは，映像Ｂを視聴していた利用者の興味が選手ａに
移ったため，映像Ａへの切り替えを要求したことに相当
する。

【００２６】(2) 被写体識別部４２は，映像再生／指示
入力部１２から入力された切り替え要求信号を被写体情
報管理部１３に渡して，当該信号 （Ｂ，ｔ₂ ＋２，１０，１０） が指示する位置にある被写体を同定する検索要求を被写
体情報管理部１３に出す。

【００２７】被写体情報管理部１３は，個々の映像毎
に，映像内の先頭からのフレーム番号とフレーム内の座
標ｘとｙとからなる位置情報と，当該位置に撮影されて
いる被写体を識別する被写体識別子との対応表を持って
おり，与えられた切り替え要求信号を用いて被写体識別
子を検索することができる。

【００２８】(3) 被写体識別部４２は，被写体情報管理
部１３に与えた検索要求の結果である被写体識別子を受
け取る。本実施例で受け取る被写体識別子は，画面の右
上から左下に向かって滑っている選手ａに付与された識
別子である。

【００２９】(4) 検索結果である被写体識別子を映像検
索部４３に渡す。通常，検索要求を満足する被写体は１
個であるが，仮に，複数の被写体識別子を検索結果とし
て受け取ったとしても，以降の処理を継続することがで
きる。

【００３０】(5) 映像検索部４３は，被写体識別部４２
から入力された被写体識別子を用いて，被写体情報管理
部１３に当該被写体識別子で識別される被写体が撮影さ
れている映像を検索する要求を出す。上記(2) で示した
ように，被写体情報管理部１３は，被写体識別子とフレ
ーム番号等からなる位置情報との対応表を個々の映像毎
に持っていることから，被写体識別子を入力として該被
写体が撮影されている映像を検索することができる。

【００３１】(6) 映像検索部４３は，被写体情報管理部
１３で検索した結果を映像識別子の集合として受け取
る。映像識別子は，所望の映像の再生を開始することが
可能となる情報で構成する。例えば，映像名あるいは映
像番号等の映像を特定するための情報と，特定された映
像の再生開始位置を示す情報（映像の先頭からのフレー
ム番号等）で構成することができる。

【００３２】本実施例で受け取る映像識別子は，映像名
がＡ，再生開始時刻がｔ₁ である。これは，映像Ａが選
手ａを見失うことなく時刻ｔ₁ から連続して撮影してあ
ることによる。

【００３３】なお，手順(4) で複数の被写体識別子が得
られた場合には，手順(5) と(6) を繰り返し実行し，
(6) で得られる映像識別子の集合の和を計算すること
で，最終的な映像識別子の集合を求める。

【００３４】(7) 映像検索部４３は，(6) で得られた映
像識別子の集合に対して，所望の選択を行った後に，映
像再生／指示入力部１２に対して，選択した映像の再生
を指示する。

【００３５】本実施例では，利用者からの要求に含まれ
ていた映像Ｂの時刻情報ｔ₂ ＋２を用いて，映像検索部
４３が持つ時刻対応表によって再生開始時刻ｔ₁ ＋２を
求め，映像再生／指示入力部１２に映像の再生を指示す
る。

【００３６】以上示した本発明の映像再生装置では，複
数の映像を撮影されている被写体に注目して切り替え再
生することに特徴があり，被写体の位置情報を個々の映
像内で管理する機構を設けるとともに，被写体の位置情
報を映像間で写像する被写体情報写像機構を設けた２段
階の操作として映像を切り替える手法に特徴がある。し
たがって，上記の手順(7) で映像の選択が十分行えずに
２個以上の再生候補となる映像が選択結果として残った
場合には，それらの再生を映像再生／指示入力部１２に
指示し，提示された複数の映像を見た利用者に選択をゆ
だねる等の方法，あるいは，利用者が興味を示した対象
物が大きく撮影されている（画面上に占める面積が大き
い）映像を選択する等の方法が考えられるが，いずれの
方法であっても本発明に係る映像再生装置を実現するこ
とができる。

【００３７】実施例では映像Ａと映像Ｂの２本の映像ス
トリーム間での切り替えを詳述したが，１本の映像の時
間的に異なる２箇所の領域間で切り替えを行うことも容
易に実現できる。また，被写体としてスキーをしている
選手，即ち，現実世界で１つの対象物として存在するオ
ブジェクトをピボットとして映像を切り替える手法を開
示したが，仮想的なオブジェクトを介しての映像切り替
えやオブジェクト間の関連を記述したデータベースを介
在させた多段階のピボットを介した映像切り替えも，本
発明の以上の説明に基づいて容易に実現することができ
る。

【００３８】

【発明の効果】本発明の映像再生方法および映像再生装
置は，映像中に現われる被写体を仲介役として映像を切
り替えることに特徴があり，かつ，そのための被写体情
報の作成および管理を容易にすることができる。

【００３９】したがって，本発明の映像再生方法は，個
々の映像ストリームの撮影方法や蓄積方法とは独立した
概念であり，本発明の映像再生方法を，種々の撮影方法
や蓄積方法と組み合わせることで，映像を視聴している
利用者が映像に映し出された被写体を指示する簡便な操
作によって，興味を持った被写体に関連する他の映像に
切り替えて映像再生を継続することができる。関連する
他の映像に対する撮影上の制約は全くなく，全く違う時
間および空間で撮影された映像を本発明の映像再生方法
で組み合わせ，映像中に現われる被写体を介して映像を
切り替えて再生する映像再生装置を実現することもでき
る。

【００４０】例えば，複数の美術品が展示されている美
術館内を撮影した映像に対して，映像中に撮影されてい
る個々の美術品の制作過程を撮影した映像を組み合わせ
ておき，美術館の映像を再生している過程で，利用者が
興味を持った美術品を指示すると，指示された美術品の
制作過程の映像に切り替えて再生を継続するといった応
用も容易に実現できる。

【図面の簡単な説明】

【図１】本発明の実施例を説明するための映像再生装置
の構成図である。

【図２】映像蓄積部に蓄積された２個の映像（映像Ａと
映像Ｂ）の関係を，具体的に例示した図である。

【図３】映像と被写体の関係を詳細に説明するための図
である。

【図４】被写体情報写像部の構成例およびその動作手順
を示す図である。

【符号の説明】

１０ 映像蓄積部 １１ 映像アクセス部 １２ 映像再生／指示入力部 １３ 被写体情報管理部 １４ 被写体情報写像部 ４１ 写像制御部 ４２ 被写体識別部 ４３ 映像検索部

Claims (2)

【特許請求の範囲】
1. 【請求項１】 蓄積された複数の映像ストリームの中か
   ら選択された映像ストリームを再生表示する映像再生方
   法において，ある映像ストリームｉ上の１または複数の
   被写体Ａと，別の映像ストリームｊとの間に被写体情報
   を介して関連性を付与しておき，前記のある映像ストリ
   ームｉを再生表示したときに，前記被写体Ａが指定され
   ると，前記の付与した関連性をたどり，該当する映像ス
   トリームｊを前記蓄積された映像ストリーム中から検索
   し，映像ストリームｊを再生表示することを特徴とする
   映像再生方法。
2. 【請求項２】 対象世界を撮影したＮ本の映像ストリー
   ムを蓄積する映像蓄積手段と，該蓄積されたＮ本の映像
   ストリームの何れか１つを選択して読み出す映像アクセ
   ス手段と，該読み出した映像ストリームを再生する映像
   再生手段とを備えた映像再生装置において，各映像スト
   リーム中で撮影されている被写体の位置を該映像ストリ
   ーム内で同定するための被写体情報を管理する被写体情
   報管理手段と，任意の映像ストリームｉ（１≦ｉ≦Ｎ）
   と映像ストリームｊ（１≦ｊ≦Ｎ）において，映像スト
   リームｉに撮影されている被写体の位置情報を，映像ス
   トリームｊに撮影されている被写体の位置情報に写像す
   る被写体情報写像手段とを具備し，前記映像アクセス手
   段で読み出した映像ストリームｉを前記映像再生手段を
   用いて再生中に，該再生中の映像ストリームｉに撮影さ
   れている任意の被写体の位置を前記被写体情報管理手段
   を用いて決定し，該決定した被写体の位置を前記被写体
   情報写像手段の入力とし，該被写体情報写像手段で映像
   ストリームｉ以外の映像ストリームに撮影されている被
   写体の位置情報に写像し，該写像された被写体が撮影さ
   れている所望の映像ストリームｊに，該再生中の映像ス
   トリームを切り替えて再生を継続するようにしたことを
   特徴とする映像再生装置。