JP3110939B2

JP3110939B2 - 映像アクセス装置

Info

Publication number: JP3110939B2
Application number: JP06071168A
Authority: JP
Inventors: 明人阿久津; 佳伸外村
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1994-04-08
Filing date: 1994-04-08
Publication date: 2000-11-20
Anticipated expiration: 2015-11-20
Also published as: JPH07284049A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、連続撮影して得られた
映像の所望部分を人の感覚に近い形でアクセス可能な映
像アクセス装置に関する。

【０００２】

【従来の技術】映像にアクセスする大きな要因として、
映像を再生することがある。欲しい場面やシーン、ある
瞬間の映像等、アクセスの目的は様々である。映像への
アクセスとは、言い換えると、欲しい場面等のタイムコ
ード（カウンターナンバー等）を得て、映像の持つ時間
へのアクセスであると考えられる。

【０００３】従来、この映像へのアクセスを可能にする
人と映像のインタフェースとしては、一般にビデオ、Ａ
Ｖ機器等の操作パネル又はジョグシャトル等が用いられ
ている。操作パネルは、ボタン形式によって再生、早送
り、巻き戻し、停止等のアクセスを可能とし、ジョグシ
ャトルは、シャトルを回すことで、再生、早送り、巻き
戻し、停止等のアクセスを実現しているものである。

【０００４】

【発明が解決しようとする課題】しかしながら、上記の
従来から実現されているアクセス手段を用いて、欲しい
場面やシーン、ある瞬間の映像等を観察しょうとする
と、その使いがかっての悪さからなかなかアクセス出来
ない。すなわち、ビデオ再生機により早送りして概要を
把握し、さらに目的の映像を探すために、行ったり来た
りの再生をするしかない。また、欲しいシーンが表れる
まで探すための時間は拘束される。この大きな要因は、
映像が時間シーケンスであることにある。

【０００５】一般には、時間的にランダムアクセス不可
能であり、たとえ、ＣＤ−ＲＯＭ、ハードディスク等に
蓄積されていたとしても、何も手がかりなしに時間にラ
ンダムアクセスすることは、映像が時間シーケンスであ
ることの要因で起きる不便さを克服したことにはならな
い。映像が時間シーケンスであると共に、人間は日常生
活で時間へのアクセスという概念で行動をしていない。
人は、物と取る、移動する等、空間にアクセスすること
を行っている。この意味で上記した従来の映像をアクセ
スする操作インタフェースは、人の日常用いている感覚
と違う物となり、結果として使いがっての悪い物となっ
ている。このように従来技術は種々の問題点を抱えてい
る。

【０００６】本発明の目的は、映像へのアクセスに関し
て、時空間的な映像インタフェースを実現することによ
って、時間シーケンス的な映像へのアクセスを人の感覚
に近い形の空間で提供出来る映像アクセス装置を提供す
ることにある。

【０００７】

【課題を解決するための手段】上記の目的を達成するた
めに、本発明では、映像中に含まれる撮影時のカメラ撮
影状態を自動検出し得られる撮影状態パラメータを用い
て、映像を時間軸を含む時空間三次元データに変換する
手段と、該時空間三次元データを記憶する手段と、該記
憶された時間軸を含む時空間三次元データから時間軸お
よび時間軸情報を空間に投影する二次元投影を行い、時
間軸情報を含む空間画像として撮影された実空間を再構
成し表示する手段と、該表示された時空間画像の再生す
る部分を指し示す指示手段とを有し、該映像を時空間的
にアクセスすることを特徴とする。

【０００８】

【作用】映像中の撮影静止対象物体の大きさと位置が各
フレーム間で等しくなるように映像を変換し、該変換画
像を時間軸を含む時空間三次元データとして記憶する。
この記憶された時空間三次元データを二次元投影し、時
空間画像として表示する。この表示された時空間画像の
再生する部分を指し示すことは、該映像を時空間的にア
クセスするすることであり、時間シーケンス的な映像へ
のアクセスを人の感覚に近い形の空間で提供出来る。

【０００９】

【実施例】以下、本発明の一実施例を図面を参照して詳
細に説明する。

【００１０】図１は本発明の映像アクセス装置の一実施
例の構成図で、ビデオカメラ等で連続撮影された映像情
報を入力する映像入力部１０１、入力された映像情報を
一時的に記憶するフレームバッファ１０２、撮影時のカ
メラ撮影状態を検出して得られる撮影状態パラメータを
用いて映像情報を時空間三次元データに変換する映像変
換部１０３、該時空間三次元データを記憶する記憶部１
０４、該記憶部１０４の時空間三次元データを二次元空
間に投影した空間画像に変換する二次元投影変換部１０
５、該空間画像を表示する表示部１０６、該表示部１０
６に表示された空間画像の所望部分を指示するマウス等
の指示入力部１０７から構成される。この構成におい
て、二次元投影変換部１０５は、指示入力部１０７から
の指示に応じて、記憶部１０４から所望部分の時空間三
次元データを読み出して、それを空間画像に変換して表
示部１０６に表示（再生）する。

【００１１】図２は、映像変換部１０３と二次元投影変
換部１０５の全体的な処理フローチャートを示すもので
ある。

【００１２】まず、図３により、本発明装置が提供する
映像アクセスのイメージを説明する。図３において、３
０１が通常の映像フレームである。３０１、３０２の例
は、並んでいる人物を左からカメラを右へ振る操作で撮
影された映像である。この映像から人物Ｃのシーンを再
生したい場合、従来は映像を見ながら再生しなければな
らなかった。しかしながら本発明においては、３０２に
示すように、撮影された空間を後述の画像処理を用いて
自動的に再構成し、映像の再生を、この再構成撮影空間
へのアクセスとして実現するものである。

【００１３】撮影空間再構成のための画像処理のアルゴ
リズムは、撮影時のカメラ状態の自動推定処理と推定さ
れた撮影状態を用いて映像を変換する処理とから構成さ
れる。ここで、変換の意味するところは、撮影状態を映
像から除去（キャンセル）することである。この画像処
理をへて再構成された撮影空間は、当然パノラマ表現に
なっていると同時に映像の時間を空間に展開しているこ
とになっていることになる。このパノラマ画像を用いて
再生したい撮影空間（例えば人物Ｃの部分）をマウス等
の指示デバイスで指定（図３の３０３）することで、そ
の指定された撮影空間に相当する映像の部分が撮影空間
上で再生できる。

【００１４】また、３０４も同様に被写体の車を進行方
向（右方向）にカメラを振って撮影された映像である。
上記の３０２と同様に、３０５に示したパノラマ画像を
作成するが、この例では、被写体の動きをパノラマ画像
の中に透かして表現している。こうすることで被写体の
動きが撮影空間上に軌跡として表現され、被写体や被写
体の動き情報へのアクセスを直感的なものとすることが
できる。この場合も、再生したい撮影空間の位置または
被写体等の動き位置をマウス等の指示デバイスが指定
（図３の３０６）することで、その指定された撮影空間
または被写体に相当する映像の部分が撮影空間上で再生
可能になる。

【００１５】以下、図２のフローチャートを用いて、図
１の映像変換部１０３、二次元投影変換部１０５の処理
を詳述する。なお、図２において、ステップ２０１〜２
０６が映像変換部１０３での処理、ステップ２１１〜２
１５が二次元投影変換部１０５での処理である。

【００１６】〈映像変換部１０３〉ステップ２０１にお
いて映像情報を入力し、ステップ２０２において時空間
投影画像を作成する。ステップ２０３において、この時
空間投影画像を用いて撮影時のカメラ撮影状態の検出を
行い、撮影状態パラメータを求める。ステップ２０４で
カメラの動きの有無を判定し、カメラの動きがある場
合、ステップ２０５において、撮影状態パラメータを用
いて入力映像を相似変換する。この変換の意味するとこ
ろは、撮影時に行われたカメラ操作をキャンセルするこ
とである。このことにより、例えば撮影時にカメラ操作
が行われていた場合、この変換によりカメラ操作の無い
映像となる。ステップ２０５で、この映像を時間軸を含
む三次元データ（時空間三次元データ）として記憶部１
０４に蓄積しておく。

【００１７】図４に、記憶部１０４に蓄積されている時
空間三次元データのイメージを示す。すなわち、４０１
が記憶部１０４に蓄積される三次似データであるが、こ
のデータ４０１は、位置４０２から観察（二次元投影）
した時、４０３のようなパノラマ画像となる。

【００１８】ここで、時空間投影画像の作成と撮影状態
検出について、図５のフローチャート及び図６の具体例
を用いて詳しく説明する。

【００１９】映像入力部１０１より入力された映像情報
は、フレームバッファ１０２に数フレーム蓄積される。
まず、この蓄積された映像情報の並び替えを行う（ステ
ップ５０１）。ここでの並び替え処理は図６の６０１に
示すように、各映像フレームを撮影順に時間軸へ並び替
えることである。ここで、図６の６０１のように並び替
えた画像を時空間画像と称す。

【００２０】次に、この時空間画像７０１について、画
面の法線を含む平面で時空間画像を切断する（ステップ
５０２）。図６では、６０２がこの処理を示している。
ここでは、映像フレームのｘ、ｙ座標軸と垂直をなす方
向を画面の法線方向としている。この切断された時間軸
を含む平面（ｘ−ｔ平面、ｙ−ｔ平面）を一般に時空間
断面画像と呼んでいる。

【００２１】この時空間断面画像の一例としては、コン
ピュータビジョンの分野で用いられているところの、カ
メラの進行方向と画面の法線を含む平面で、時空間画像
を切断した時の切断面（エピポーラ平面画像（Ｅpipola
r Ｐlane Ｉmage）がある。コンピュータビジョンで
は、この時空間切断画像から被写体の三次元位置を推定
している。これは、このエピポーラ平面画像上で、物体
の特徴点の軌跡が直線になり、この直線の傾きが物体特
徴点の動きの大きさになることによっている［Ｒ.Ｃ.Ｂ
olles，Ｈ.Ｂaker，and Ｄ.Ｈ. Ｍarimont,“Ｅpipolar
-plane imageanalysis；Ａn approach to determing st
ructure from motion”，ＩＪＣＶ，l，l，pp７−５
５，june １９８９］。

【００２２】ここでは、時空間画像６０１をｘ、ｔ座標
軸を含むように切断した時空間切断画像を特にｘ−ｔ時
空間画像と呼び、同様にｙ、ｔ座標軸を含む時空間切断
画像をｙ−ｔ時空間画像と呼ぶ。処理５０２では、任意
のｙの値から任意のｘ−ｔ時空間画像を切り出すが、こ
れら複数枚のｘ−ｔ時空間画像をｘ−ｔ時空間画像列と
呼ぶ。ｙ−ｔ時空間画像列も同様である。

【００２３】次に、上記切断された時空間画像の切断面
（時空間断面画像）について、フィルタ処理（第一次微
分、第二次微分等）を施す（ステップ５０３）。この処
理は、エッジまたは線を検出することを目的としてい
る。図６では、６０３がこの処理に相当する。この処理
からエッジまたは線の強度が算出される。すなわち、切
断画像において、切断面にみられる時間軸に沿った流れ
模様は映像中の動きによって生じる。そして、この流れ
の方向が動きの大きさに応じている。エッジ検出は、流
れの方向を表すエッジまたは直線を検出しており、切断
画像から動き情報のみを強調していることになる。複数
の時空間断面画像について、エッジ検出された切断画像
列を時空間エッジ画像列と呼ぶ。

【００２４】次に、時空間エッジ画像列をエッジ画像の
法線方向に加算処理する（ステップ５０４）。図６で
は、６０４の破線方向に加算処理を行う。この処理は、
先のフィルタ処理において強調された動きをより強調す
ることを目的に行う。即ち、もし物体の特徴点の動き
が、グローバルな動きによる場合、加算処理をすること
により強調し合い、顕著に加算処理結果に反映される。
半面、物体の特徴点の動きが、ローカルな動きによる物
の場合、加算処理をすることにより弱小し、加算処理結
果に反映されにくくなる。また、この加算処理は、差分
処理と違いノイズに強い処理であり、ノイズを多く含む
映像からでも動き情報の抽出が可能となることを意味し
ている。

【００２５】この加算処理によって得られる結果の画像
を時空間投影画像と呼ぶ。ｘ−ｔ時空間画像列からは、
ｘ−ｔ時空間投影画像（図６の６０５）が得られ、ｙ−
ｔ時空間画像列からはｙ−ｔ時空間投影画像（図６の６
０６）が得られる。ここで、ｘ−ｔ時空間投影画像６０
５の時間軸に沿った流れ模様の意味するところは、映像
の左右方向の動きを表現し、ｙ−ｔ時空間投影画像６０
６の模様は上下方向の動きを表現している。このことに
より、グローバルな動きが時空間投影（積分）画像上で
は、流れとして視覚化され、グローバルな動きの直感的
視覚化の表現として有効である。

【００２６】次に、算出された時空間投影画像を用いて
撮影状態を検出し、撮影状態パラメータを算出する。こ
こで算出する撮影状態パラメータは、映像の撮影状態の
一つの要素であるカメラ操作である。カメラ操作には、
基本７操作とそれらの組み合わせ操作で構成されてい
る。基本操作には、フィツクス（カメラ固定）、パン
（カメラを左右に振る操作）、ズーム（画角を変化させ
ることにより被写体を拡大、縮小する操作）、チルト
（カメラを上下に振る操作）、トラック（カメラを左右
に移動する操作）、ブーム（カメラを上下に移動する操
作）、ドリー（カメラを前後に移動する操作）がある。
すなわち、フィックスは静止、パン、チルトは、カメラ
投影中心固定の光軸方向の変化、ズームは画角の変化、
トラック、ブーム、ドリーはカメラ投影中心の位置変化
を伴う操作である。カメラ投影中心の位置変化を伴うト
ラック、ブーム、ドリーは被写体の三次元配置情報を映
像の動きの中に含む操作である。このトラック、ブー
ム、ドリーによって撮影された映像の動きは、被写体が
カメラに対して相対的に近い場合、速い動きを示し、逆
に遠い場合、遅い動きを示す。

【００２７】時空間投影画像を用いた上記カメラ操作パ
ラメータすなわち撮影状態パラメータを算出する手法と
して、ここではＨough変換法を用いる。また、ここでは
ｘ−ｔ時空間投影画像から着目するが、ｙ−ｔ時空間投
影画像から着目しても同様である。

【００２８】ここで、処理５０４で得られたｘ−ｔ時空
間投影画像（図６の６０５）をＦ（ｘ，ｔ）で表す。こ
のｘ−ｔ時空間投影画像は空間ｘと時間ｔの関数であ
る。時間ｔ０のｘ−ｔ時空間投影画像の空間分布（図６
の６０７）をＦ（ｘ，ｔ０）で表し、同様にｔ１のｘ−
ｔ時空間投影画像の空間分布（図６の６０８）をＦ
（ｘ，ｔ１）で表す。また、以下で算出するグローバル
な動きパラメータをａ，ｂ，ｃで表す。なお、ａはカメ
ラ操作で言うズームパラメータ、ｂはパンパラメータ、
ｃはチルトパラメータを意味する。もし、得られたｘ−
ｔ時空間投影画像にグローバルな動きが存在していたと
すれば、Ｆ（ｘ，ｔ０）とＦ（ｘ，ｔ１）の間に以下の
関係がある。Ｆ(ｘ′,ｔ1）＝Ｆ（ａｘ＋ｂ,ｔ0) 同様にｙ−ｔ時空間投影画像には、Ｆ(ｙ′,ｔ1）＝Ｆ（ａｙ＋ｃ,ｔ0) の関係がある。

【００２９】まず、上記のｘ′とｘ，ｙ′とｙの対応付
けを行う。図６中の６０５はｘ−ｔ時空間投影画像を表
し、６０７は時間Ｔの空間分布Ｆ（ｘ，Ｔ）、６０８は
時間Ｔ−１の空間分布Ｆ（ｘ，Ｔ−１）をそれぞれ表
す。６０９の座標値を図６に示すように対応付けを行い
対応座標６１０を算出する。この対応付けられた６０９
と６１０は、任意の座標値を示しており、これら座標値
の関係は６１１に示す直線になる。この直線の傾きがズ
ームパラメータａを表しており、切片がパンパラメータ
ｂをそれぞれ表している。

【００３０】次に、直線６１１のａとｂを算出するため
に対応付けられた座標値を用いて、以下の関係式でパラ
メータ空間に射影（投票）して射影空間の最大値（図６
の６１２）を抽出し、パラメータを算出することを行
う。この変換は、一般にＨough変換［Ｐ．Ｖ．Ｃ．Ｈou
gh，“Ｍethod and Ｍeans for Ｒecognizing Ｃomplex
Ｐatterns”，Ｕ．Ｓ．Ｐatent Ｎo.３０６９５４，１
９６２］と呼ばれているものである。対応付けられた任
意の座標をｘ′とｘで表すと、ｂ＝ｘ′cos（a）＋ｘsin（a）となる。Ｈough変換は、一般に複数個の点からそれ等点
の構成を推定する方法として確立している。画像空間の
一つの点が、Ｈough空間（射影空間）では一本の曲線を
表し、射影された複数個の曲線の交点（図６の７１２）
の座標値が抽出すべき直線の傾きと切片を表している。

【００３１】計算機では、直線を射影空間に投票し、最
大の投票数を示す座標値をもって抽出すべき直線の傾き
と切片を算出している。ここでは、対応付けられた複数
組みの座標値から各々射影空間に投票してパラメータを
算出する。同様に、ｙ−ｔ時空間投影画像からチルトパ
ラメータ（ｃ）が算出できる。

【００３２】また、三次元情報を含む操作に対して時空
間投影（積分）画像で見られる特徴は、ミクロ的（部分
的）には、三次元操作を含まない操作に等しいことか
ら、上記処理を部分的（ブロック的）に施すことにより
可能である。

【００３３】カメラ操作以外のグロバルな動きの要因、
カメラのオン／オフ、手ブレの検出は、カメラのオン／
オフについては、時空間投影（積分）画像で見られる不
連続な特徴から検出可能であり、また、手ブレに対して
は、比較的時間的に短い周期的（１０〜２０Ｈz）なパ
ン操作／チルト操作であると考えられ、カメラ操作検出
後、フーリエ変換等の処理により検出可能である。

【００３４】上記のようにして撮影時のカメラ撮影状態
を検出して得られる撮影状態パラメータは、例えば表１
のように表現される。なおＳ₁、Ｓ₂はそれぞれ１フレー
ム目、２フレーム目の画像面積である。

【００３５】

【表１】

【００３６】以上説明したようにして撮影状態が検出さ
れた入力映像に対して、撮影状態パラメータを用いて変
換が加えられ、記憶部１０４に時空間三次元データとし
て蓄積される。変換は、映像中の撮影静止対象物の大き
さと位置が各フレーム間で等しくなるように、入力映像
を時間軸を含む三次元空間に配列しなおすことを意味す
る。したがって、記憶部１０４に蓄積された映像は、撮
影された空間の再現であるとも考えられる。

【００３７】〈二次元投影変換部１０５〉ステップ３１
２によって動き透視パノラマ画像の作成の有無を問い、
もし作成する必要の無い場合（図３の３０２）、ステッ
プ３１３で記憶部１０４に蓄積されている時空間三次元
データを二次元空間に投影した空間画像に変換して表示
部１０６に表示する。投影方法は、時間軸および時間軸
情報を空間に投影する二次元投影方法であり、結果とし
て得られる二次元画像は、映像の撮影時のカメラ撮影状
態をキャンセルした撮影空間を再構成するパナラマ画像
である。このパノラマ画像から、指示入力により再生し
たい部分の座標値を入力する（ステップ３２１）。撮影
状態検出において、パノラマ画像の座標と映像の時間は
対応付いているので、この対応を基に映像の部分的な再
生が可能である。

【００３８】次に、ステップ３１２において動きを透視
するパノラマ画像（図３の３０５）の作成と選択された
場合の透視パノラマ画像作成方法について説明する。

【００３９】基本的時空間に三次元データから二次元投
影画像を得る際に、時間方向にデータ値（輝度値やＲ，
Ｇ，Ｂ値）の平均を取ることで透視画像を得ている。こ
こでは、特に被写体等のローカルな動きの透視を可能に
するために平均する時間方向データに動きに応じた重み
を加える重み付き平均法を用いる。

【００４０】ここで、ローカルな動きを反影した係数を
算出する方法について説明する。この様子を図７に示
す。図７には、フレーム内の座標を示すｘ−ｙ座標系と
フレーム間を示すＸ−Ｙ−Ｔ座標系が存在する。７０１
は、変換後の時空間画像（時空間三次元データ）であ
る。７０２は時間ｔのフレームであり、７０３は時間ｔ
＋ｎのフレームを表す。時空間画像７０１は、Ｘ−Ｙ−
Ｔ座標系でＸ，Ｙ，Ｔの係数Ｆ（Ｘ，Ｙ，Ｔ）と表現で
きる。ステップ３１１において算出する重み係数は、７
０１の各画素（Ｘ，Ｙ，Ｔ）について算出し、Ｗ（Ｘ，
Ｙ，Ｔ）と表現する。７０４は７０２中の任意の画素ｆ
（ｘ０，ｙ０）であり、Ｆ（Ｘ０，Ｙ０，ｔ）である。
また、７０６は７０３中の任意の画素ｆ（ｘ１，ｙ１）
であり、Ｆ（Ｘ１，Ｙ１，ｔ＋ｎ）である。但し、Ｘ１
＝Ｘ０，Ｙ１＝Ｙ０の関係がある。７０５は、７０４と
７０６を結ぶ直線であり、この直線上の画素値の持つ値
（輝度、Ｒ，Ｇ，Ｂ値，ｙ，ｃｂ，ｃｒ値等）で表され
る時間の関数Ｌ（Ｘ０，Ｙ０，Ｔ）である。

【００４１】時空間画像７０１に物体等のローカルな動
きが存在しない場合、Ｌ（Ｘ０，Ｙ０，ｔ）＝Ｌ（Ｘ
０，Ｙ０，ｔ＋１）＝Ｌ（Ｘ０，Ｙ０，ｔ＋２）…Ｌ
（Ｘ０，Ｙ０，ｔ＋ｎ），が成り立つ。Ｌ（Ｘ０，Ｙ
０，Ｔ）の値の変化がローカルな動きによるものであ
り、この関数を用いて重み関数Ｗ（Ｘ，Ｙ，Ｔ）を定義
することによりローカルな動きを反映した関数を算出す
ることが可能となる。重み関数は、関数Ｌ（Ｘ０，Ｙ
０，Ｔ）を用いて一般に以下のように表せる。

【００４２】Ｗ＝ＡＢここで、Ａは関数Ｌ（Ｘ０，Ｙ０，Ｔ）の関数の変形群
を表し、例えば以下のようなものである。Ａ＝Ｌ（Ｘ０，Ｙ０，Ｔ），Ａ＝ｄＬ（Ｘ０，Ｙ０，Ｔ）／ｄＴ，Ａ＝ｄＬ（Ｘ０，Ｙ０，Ｔ）²／ｄ²Ｔ，．．．また、Ｂは定数や時間を変数とする関数群であり、例え
ば以下のようなものである。Ｂ＝Ｉ，Ｂ＝Ｔ，Ｂ＝Ｔ−１，Ｂ＝ｅｘｐ（Ｔ），．．．Ａはローカルな動きを反映した項であり、Ｂは時間を反
映した項である。Ｂによって次に説明する積分過程の結
果得られる静止画像の輝度の濃淡、色等が変化し時間を
これらの変化で表現することが可能となる。例えば、Ｂ
によって過去をセピヤ調にすることも可能である。

【００４３】次に、このようにして算出した重み重数を
用いて、ステップ３１４において変換画像を時間方向に
積分処理を行う。この積分が時空間三次元データの動き
透視二次元射影に相当する。なお、積分結果が画像とし
てＣＲＴに表現可能なように便宜上、重み係数は以下の
ように定義する。ここで積分処理を行う時間幅をｎとす
る。

【００４４】

【数１】

【００４５】ｗ′は正規化された形を表している。変換
画像をＦ（Ｘ，Ｙ，Ｔｉ，ｉ＝ｔ〜ｔ＋ｎ）、重み係数
をｗ′（Ｘ，Ｙ，Ｔｉ，ｉ＝ｔ〜ｔ＋ｎ）とする透視パ
ノラマ画像Ｇ（Ｘ，Ｙ）は、

【００４６】

【数２】

【００４７】のように表せる。

【００４８】以上のようにして作成された動きを透視し
たパノラマ画像が、ステップ３１５において表示部１０
６に表示され、この表示画像から、指示入力により再生
したい部分の座標値を入力する（ステップ３２２）。撮
影状態検出及び重み係数算出において、透視パノラマ画
像の座標と映像の時間は対応付いている。この対応を基
に映像を部分的に再生（透視画像として再生）すること
が可能である。

【００４９】以上のように撮影空間の対構成として表現
された撮影空間または被写体へのアクセスをマウス等の
指示デバイスを用い、再生したい撮影空間または被写体
位置を撮影空間位置として指示することにより、直接、
直感的に映像へアクセスすることが可能である。

【００５０】以上、本発明を一実施例に基づき具体的に
説明したが、本発明は、上記実施例に限定されるもので
はなく、その要旨を逸脱しない範囲において種々の変更
が可能であることは言うまでもない。

【００５１】

【発明の効果】請求項１によれば、連続撮影して得られ
る映像を時空間にアクセスできるため、映像へのアクセ
スに関して、時空間的な映像インタフェースを実現する
ことが可能であり、映像時間へのアクセスを人の感覚に
近い形で提供することができる。

【００５２】請求項２によれば、ノイズを多く含む映像
からでも、撮影時のカメラ撮影状態を正確に反映した撮
影状態パラメータを得ることができる。

【００５３】請求項３によれば、画像から動き情報のみ
を強調して検出することができ、カメラ操作状態を高精
度に撮影状態パラメータに反映させることができる。

【００５４】請求項４によれば、ノイズを多く含む映像
からでも、ズーム、パン、チルト等の各カメラ操作を正
確に反映した撮影状態パラメータを求めることができ
る。

【００５５】請求項５によれば、動きを透視したパノラ
マ画像を作成することができ、映像時間へのアクセス
を、より人の感覚に近い形で提供することができる。

【図面の簡単な説明】

【図１】本発明の映像アクセス装置の全体の構成図であ
る。

【図２】図１の全体の処理フローチャートである。

【図３】本発明のイメージを説明する例である。

【図４】時空間三次元データとパノラマ画像の対応を示
す図である。

【図５】撮影状態パラメータ算出のアルゴリズムの一例
である。

【図６】図５の処理を説明するための具体例を示す図で
ある。

【図７】重み係数算出を説明する図である。

【符号の説明】

１０１映像入力部１０２フレームバッファ１０３映像変換部１０４記憶部１０５二次元投影変換部１０６表示部１０７指示入力部

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 5/765 H04N 5/91 - 5/956 G06F 17/30 G06T 1/60 G06T 7/00,7/20

Claims

(57)【特許請求の範囲】

【請求項１】対象物を連続撮影して得られた映像情報
を再生する映像アクセス装置であって、撮影時のカメラ撮影状態を検出して撮影状態パラメータ
を求め、該撮影状態パラメータを用いて映像情報を時空
間三次元データに変換する映像変換部と、前記時空間三次元データを記憶する記憶部と、前記記憶部の時空間三次元データを二次元空間に投影し
た空間画像に変換する二次元投影変換部と、前記空間画像を表示する表示部と、前記表示された空間画像の再生する部分を指示する指示
入力部と、を有することを特徴とする映像アクセス装
置。
【請求項２】前記映像変換部は、蓄積済みの映像情報
を時間軸を基に並べ替えて時空間画像を作成する手段
と、画面の法線を含む平面で該時空間画像を切断して時
空間断面画像を作成する手段と、該時空間断面画像をフ
ィルタ処理して特徴情報を検出し、該特徴情報を法線方
向に加算して時空間投影画像を作成する手段と、該時空
間投影画像を統計的に解析して撮影状態パラメータを求
める手段を含むことを特徴とする請求項１記載の映像ア
クセス装置。
【請求項３】前記特徴情報がエッジまたは直線からな
ることを特徴とする請求項２記載の映像アクセス装置。
【請求項４】前記時空間投影画像の空間分布を対応付
けることによって撮影状態パラメータを求めることを特
徴とする請求項２または３記載の映像アクセス装置。
【請求項５】前記二次元投影変換部は、前記記憶部の
時空間三次元データから映像の時間的変位の特徴を用い
て前記重み係数を算出する手段と、該重み係数を用いて
時空間三次元データを時間軸方向に積分する手段を含む
ことを特徴とする請求項１、２、３または４記載の映像
アクセス装置。