JP3499729B2 - 複数映像の時空間統合、管理方法及びその装置並びにそのプログラムを記録した記録媒体 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、複数の映像の統合
により新たな映像を作成する技術に関するものであっ
て、特に複数映像の時空間統合，管理方法及びその装置
並びにそのプログラムを記録した記録媒体に関するもの
である。

【０００２】

【従来の技術】コンピュータの高性能化、ハードディス
クの大容量化、ビデオカメラの小型化，デジタル化と、
これらの低価格化に伴い、一般家庭へのそれらの機器の
普及が進んでいる。このような高性能コンピュータ及び
大容量ハードディスクの普及、さらには情報の圧縮技術
の確立により、映像のデジタル化が身近なものとなって
きている。映像をデジタル化することにより、汎用パー
ソナルコンピュータでの映像の扱いが可能になると共
に、高解像度のパーソナルコンピュータ用ディスプレイ
への出力も可能となった。このことは、一般に映像は、
ＴＶモニタ（６４０×４８０画素）のみの出力に限られ
ていたが、ＴＶモニタの解像度以上の解像度での出力も
可能としている。例えば、パーソナルコンピュータ用デ
ィスプレイ上へは、複数の映像を同時に表示すること等
が可能である。

【０００３】映像機器のこのような発展に伴い、映像を
エンハンスする方法が幾つか報告されている。Ｍｉｃｈ
ａｌ Ｉｒａｎｉ ａｍｄ Ｓｈｍｕｅｌ Ｐｅｌｅｇ
は、文献「“Ｍｏｔｉｏｎ ａｎａｌｙｓｉｓ ｆｏｒ
ｉｍａｇｅ ｅｎｈａｎｃｅｍｅｎｔ：Ｒｅｓｏｌｕ
ｔｉｏｎ，Ｏｃｃｌｕｓｉｏｎ ａｎｄ Ｔｒａｎｓｐ
ａｒｅｎｃｙ”，Ｊｏｕｒｎａｌ ｏｆ Ｖｉｓｕａｌ
ｃｏｍｍｕｎｉｃａｔｉｏｎ ａｎｄ ｉｍａｇｅ
ｒｅｐｒｅｓｅｎｔａｔｉｏｎ，Ｖｏｌ．４，Ｎｏ．
４，Ｄｅｃｅｍｂｒ，ｐｐ，３２４−３３５，１９９
３」で、映像中の動き情報を用いて、映像を高解像度に
する方法、被写体などによる背景のいんぺい領域を補間
する方法等を提案している。また、ローラ エイ．テイ
ドシオは、映像から高解像の静止画を作成する方法を報
告している（特開平５−３０４６７５号）。最近では、
ＯＲＡＤ社が、映像に新しい付加価値を付けた映像の再
生を実現したシステム“Ｄｉｇｉｔａｌ Ｒｅｐｌａ
ｙ”を発表している。システムの機能として例えば、被
写体の強調表現，追跡及び拡大機能，並びに図形及びそ
の線分，距離，及び速度等の情報を映像と共に表示する
機能を有している。

【０００４】また、映像の新しいユーザインタフェース
に関する報告もあり、Ｍ．Ｍｉｌｌ他は、文献「“Ａ
Ｍａｇｎｉｆｉｅｒ Ｔｏｏｌ ｆｏｒ Ｖｉｄｅｏ
Ｄａｔａ”，Ｐｒｏｃｅｅｄｉｎｓ ｏｆ ＣＨＩ’９
２，ｐｐ．９３−９８（１９９２）」で、映像のフレー
ムを時間解像度レベルに応じて空間に配置し、粗い時間
解像度から細かい時間解像度へと時間への新しい映像の
見方、アクセススタイルを可能にした報告をしている。
また、Ｅ．Ｅｌｌｉｏｔ ａｎｄ Ａ．Ｗ．Ｄａｖｉｓ
は、文献「“Ｍｏｔｉｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓ
ｓｉｎｇ”，Ｓｔｒｉｋｉｎｇ Ｐｏｓｓｉｂｉｌｉｔ
ｉｅｓ，ＡＤＶＡＮＣＥＤ ＩＭＡＧＩＮＧ，ＡＵＧＵ
ＳＴ（１９９２）」て、映像画像（２次元）＋時間（１
次元）の３次元物体として表現し、映像の時間情報の新
しい表現方法と時間情報への直観的なアクセスの実現を
報告している。

【０００５】ところで、ビデオカメラによる入力が手軽
になり、表示の形態も自由になる環境においては、複数
の映像を扱いたいという要求が生じる。ここでいう「複
数の映像」とは、例えば、オリンピック等のスポーツ競
技場へ複数設置されたカメラによる複数の映像であると
か、一台のカメラで撮影した映像でも、異なる選手の様
子を各々撮影した映像とかである。また、ここで言う
「扱う」とは、複数の映像を同時に鑑賞したり、比較し
たり、検索，編集したりすることである。

【０００６】

【発明が解決しようとする課題】しかしながら、複数の
映像に対しては上記従来の報告等では、解決していない
課題が存在する。上記従来の報告では、一つのショット
に対して、エンハンスすることを実現しているが、複数
の映像に対して複数映像間の関係を用いて複数映像をエ
ンハンスすることは不可能である。加えて、複数映像を
時空間的に統合し、統合的に管理しうるものではない。
ここで言う「複数の映像に対してのエンハンスメント」
とは、もとの複数の映像間で関係付けを行うことであ
り、映像コンテンツ情報（映像内に実際に映し出されて
いる対象の情報、すなわち被写体の情報）を自動抽出
し、視覚的に表現することである。また、複数の映像を
関係付け、映像コンテンツ情報が視覚的に表現された一
つ又は複数の映像を作り出すことである。例えば、異な
る選手の様子を撮影した複数の映像から、各選手を共通
空間でオーバーラップさせた一つの映像を作り出すこと
も一つの例である。また、「時空間的に管理する」と
は、映像の時空間構造に基づいて抽出された情報を統一
的に管理することである。例えば、被写体と背景を分離
し、それぞれを管理すると共に、それらの時間空間の関
係情報も管理することである。上記従来の技術の目的に
は、複数の映像を時空間構造を用いて統一的に管理する
ことは、含まれておらず、単純に従来の技術の組み合わ
せでだけでは、複数映像を時空間的に統一的に管理する
ことを実現するのは不可能である。

【０００７】また、従来、実現されている映像のユーザ
インタフェースに関しては、映像をただ単に表現し直し
たものであり、映像の持つ情報や複数映像間の関係を積
極的に抽出し、映像をエンハンスしたものではない。映
像のコンテントや複数の映像間の関係に関して何も考慮
されていないために、映像や映像間コンテントに対する
直感的な把握や、映像情報、特に時間に関する情報の新
たなエンハンスを可能にするものではない。また、複数
映像が時空間的に管理されていないために、映像のコン
テンツに踏み込んだインタラクションは不可能である。

【０００８】このように従来報告されている映像のエン
ハンスメント、ユーザインタフェース等に関する報告に
は、複数の映像に対して高付加価値を与えるエンハンス
メントできるもの、また時空間的に統一的に管理、表
現、操作を表現しうるものはない。すなわち、上記従来
の技術には問題がある。

【０００９】本発明の目的は、同じ空間を撮影した複数
の映像に対して、ユーザが興味や目的に応じて各自のス
タイルで映像の情報を効率よく取得するために、複数映
像を時空間的に統合して映像をエンハンスすることがで
き、複数映像を時空間的に統一的に管理、表現、操作す
ることができる複数映像の時空間統合，管理方法及びそ
の装置並びにそのプログラムを記録した記録媒体を提供
することにある。

【００１０】

【課題を解決するための手段】上記の目的を達成するた
めに、本発明による複数映像の時空間統合、管理装置
は、複数の映像を時空間統合、管理する装置であって、
映像データを読み込み、データ列として保存する画像デ
ータ列メモリ部と、前記画像データ列メモリ部からデー
タ列を読み出し、カメラオンオフ情報とカメラ操作情報
を含む撮影状態情報を検出する撮影状態検出部と、前記
カメラオンオフ情報に基づいて前記データ列の映像をシ
ョット毎に分割する映像分割部と、前記カメラ操作情報
と物理的な特微量を用いて前記映像のフレーム毎に被写
体と背景を分離する被写体、背景分離部と、前記フレー
ム毎に分離された被写体情報をフレーム間で対応付ける
被写体動き情報抽出部と、前記カメラ操作情報と前記フ
レーム毎に分離された背景から前記映像が撮影された撮
影空間を再合成する撮影空間再合成部と、前記分割され
た複数のショットから前記撮影空間再合成部で各々再合
成された複数の撮影空間の間の空間的なショット間関係
を算出するショット間関係算出部と、前記分離された被
写体の情報、前記対応付けられた被写体の情報、前記撮
影状態情報、前記背景の情報、前記ショット間関係の情
報を管理・蓄積する映像構造情報管理・蓄積部と、を具
備することを特徴とする。

【００１１】また、上記の複数映像の時空間統合、管理
装置において、前記抽出された被写体情報，撮影状態情
報，背景情報，ショット間関係情報及び映像データのす
べて又はその一部を伝送又は受信する映像構造化情報伝
送受信部を、更に具備することを特徴とする。

【００１２】また、上記の複数映像の時空間統合、管理
装置において、予め与えた条件とユーザからの要求のい
ずれか一方又は双方に従って前記映像構造情報管理・蓄
積部に蓄積・管理されている情報を基に一つ又は複数の
撮影空間と一つ又は複数の被写体を再合成する再合成部
と、前記再合成部で再合成された映像を表示する表示部
と、前記表示部で表示されている映像に基づいて再合成
に関する前記ユーザの要求を入力するユーザ入力部と、
を具備するとともに、必要に応じて前記表示部に表示さ
れた映像をデジタル又はアナログ形式で外部装置に出力
する出力部を具備する、ことを特徴とする。

【００１３】同じく、本発明による複数映像の時空間統
合、管理方法は、複数の映像を時空間統合、管理する方
法であって、映像データを読み込み、データ列として保
存する画像データ列保存過程と、前記画像データ列メモ
リ部からデータ列を読み出し、カメラオンオフ情報とカ
メラ操作情報を含む撮影状態情報を検出する撮影状態検
出過程と、前記カメラオンオフ情報に基づいて前記デー
タ列の映像をショット毎に分割する映像分割過程と、前
記カメラ操作情報と物理的な特徴量を用いて前記映像の
フレーム毎に被写体と背景を分離する被写体、背景分離
過程と、前記フレーム毎に分離された被写体情報をフレ
ーム間で対応付ける被写体動き情報を抽出過程と、前記
カメラ操作情報と前記フレーム毎に分離された背景から
前記映像が撮影された撮影空間を再合成する撮影空間再
合成過程と、前記分割された複数のショットから前記撮
影空間再合成過程で各々再合成された複数の撮影空間の
間の空間的なショット間関係を算出するショット間関係
算出過程と、前記分離された被写体の情報、前記対応付
けられた被写体の情報、前記撮影撮影情報、前記背景の
情報、前記ショット間関係の情報を管理・蓄積する映像
構造情報管理・蓄積過程と、を具備することを特徴とす
る。

【００１４】また、上記の複数映像の時空間統合、管理
方法において、前記抽出された被写体情報，撮影状態情
報，背景情報，ショット間関係情報及び映像データのす
べて又はその一部を伝送又は受信する映像構造化情報伝
送受信過程を、更に具備することを特徴とする。

【００１５】また、上記の複数映像の時空間統合、管理
方法において、前記映像構造情報管理・蓄積過程の後
に、予め与えた条件とユーザからの要求のいずれか一方
又は双方に従って前記蓄積・管理されている情報を基に
一つ又は複数の撮影空間と一つ又は複数の被写体を再合
成する再合成過程と、前記再合成過程で再合成された映
像を表示又は出力する表示又は出力過程と、を具備する
ことを特徴とする。

【００１６】同じく、本発明による複数映像の時空間統
合、管理プログラムを記録したコンピュータ読み取り可
能な記録媒体は、複数の映像を時空間統合、管理するプ
ログラムを記録したコンピュータ読み取り可能な記録媒
体であって、映像データを読み込み、データ列として保
存する画像データ列保存過程と、前記画像データ列メモ
リ部からデータ列を読み出し、カメラオンオフ情報とカ
メラ操作情報を含む撮影状態情報を検出する撮影状態検
出過程と、前記カメラオンオフ情報に基づいて前記デー
タ列の映像をショット毎に分割する映像分割過程と、前
記カメラ操作情報と物理的な特徴量を用いて前記映像の
フレーム毎に被写体と背景を分離する被写体，背景分離
過程と、前記フレーム毎に分離された被写体情報をフレ
ーム間で対応付ける被写体動き情報抽出過程と、前記カ
メラ操作情報と前記フレーム毎に分離された背景から前
記映像が撮影された撮影空間を再合成する撮影空間合成
過程と、前記分割された複数にショットから前記撮影空
間再合成過程で各々再合成された複数の撮影空間の空間
的なショット間関係を算出するショット間関係算出過程
と、前記分離された被写体の情報、前記対応付けられた
被写体の情報、前記撮影状態情報、前記背景の情報、前
記ショット間関係の情報を管理・蓄積する映像構造情報
管理・蓄積過程と、を具備することを特徴とする。

【００１７】また、上記の複数映像の時空間統合、管理
プログラムを記録したコンピュータ読み取り可能な記録
媒体において、前記抽出された被写体情報，撮影状態情
報，背景情報，ショット間関係情報及び映像データのす
べて又はその一部を伝送又は受信する映像構造化情報伝
送受信過程を、更に具備することを特徴とする。

【００１８】また、上記の複数映像の時空間統合、管理
プログラムを記録したコンピュータ読み取り可能な記録
媒体において、前記映像構造情報管理・蓄積過程の後
に、予め与えた条件とユーザからの要求のいずれか一方
又は双方に従って前記蓄積・管理されている情報を元に
一つ又は複数の撮影空間と一つ又は複数の被写体を再合
成する再合成過程と、前記再合成過程で再合成された映
像を表示又は出力する表示又は出力過程と、を具備する
ことを特徴とする。

【００１９】本発明では、映像データを読み込み、保存
された画像データ列を読み出し、カメラオンオフ情報と
カメラ操作情報を含む撮影状態情報を検出し、このカメ
ラオンオフ情報に基づいて映像をショット毎に分割し、
カメラ操作情報と物理的な特徴量を用いてフレーム毎に
被写体と背景を分離し、分離された被写体情報をフレー
ム間で対応付けを行って被写体動き情報を抽出し、カメ
ラ操作情報とフレーム毎の背景から撮影空間を再合成
し、複数のショットから各々再合成された複数の撮影空
間の間の空間的なショット間関係を算出し、以上で得ら
れた情報を管理・蓄積することにより、複数映像の時空
間的なエンハンスメント、時空間的、統一的な管理，表
現，操作を可能とする複数映像の時空間統合を実現す
る。

【００２０】また、抽出された被写体情報等のすべて又
はその一部を伝送又は受信することにより、ユーザーが
自由に任意の場所でそれらの情報を選択，検索，取り出
し、また任意の場所の任意のユーザーに送ることができ
る。また、任意のユーザーが任意の場所から、それらの
情報を送り込むことができる。

【００２１】また、上記管理・蓄積されている情報を基
に、予め与えた条件やユーザからの要求に従って、一つ
又は複数の撮影空間と一つ又は複数の被写体を再合成
し、表示又は外部へアナログ、デジタル形式で出力する
ことにより、同じ空間を撮影した複数の映像に対し、従
来は時間的に空間的に同時に情報を取得することが困難
であった課題に対して、ユーザが興味，目的に応じて各
自のスタイルで複数映像の情報を同時に直感的に効率よ
く取得できるようにする。

【００２２】

【発明の実施の形態】以下、本発明の実施形態例を、図
面を参照して詳細に説明する。

【００２３】図１に、本発明の一実施形態例の装置構成
図を示す。以下、構成図に沿って各構成部及び手法を説
明する。

【００２４】図１のビデオ信号入力部１０１から入力さ
れたビデオ信号は、１０２の画像データ列メモリ部に一
時的に蓄積される。次に、蓄積されたビデオ信号を１０
３の撮影状態検出部において映像処理し、カメラのオン
オフ情報とカメラ操作情報を抽出する。

【００２５】撮影状態検出部１０３の構成を図２に示
す。また、図３に撮影状態検出部１０３の２０１から２
０４までの構成要素による処理の流れを示す。これらの
図面を用いて、以下、各構成素毎の構成と処理の流れを
詳細に説明する。

【００２６】１０２の画像データ列メモリ部から読み出
されたビデオ信号の数フレームは、図３に示す３０１で
あり、この３０１を通常、時空間画像と呼んでいる。こ
の時空間画像に対し、２０１の直線成分算出部におい
て、各フレーム画像毎に水平、垂直直線成分を各々算出
する。垂直方向直線算出は、図３では３０２であり、水
平方向直線算出は、図３では３０３である。これらの各
算出で得られた３０４を垂直方向直線成分時空間画像、
３０５を水平方向直線成分時空間画像と呼ぶ。

【００２７】続いて、２０２の画像データ並べ替え部
は、画像データ列再配置手段により、次のフィルター処
理に備えて垂直，水平方向直線成分時空間画像３０４，
３０５の並び替えを行う。ここでの並び替え処理は、図
３では３０６に相当し、画面の法線を含む平面で時空間
画像を切断する処理である。フレーム画像のｘ，ｙ座標
軸と垂直をなす方向を画面の法線方向としている。切断
された時間軸を含む平面を一般に時空間断面画像と呼ん
でいる。この時空間断面画像の一例として、コンピュー
タビジョンの分野で用いられている、カメラの進行方向
と画面の法線を含む平面で、時空間画像を切断した時の
切断面（エピポーラ平面画像（Ｅｐｉｐｏｌａｒ Ｐｌ
ａｎｅ Ｉｍａｇｅ））がある。この時空間断面画像か
ら被写体の三次元位置を推定している。これは、このエ
ピポーラ平面画像上で、物体の特徴点の軌跡が直線にな
り、この直線の傾きが物体特徴点の動きの大きさになる
ことによっている〔Ｒ．Ｃ．Ｂｏｌｌｅｓ，Ｈ．Ｂａｋ
ｅｒ，ａｎｄ Ｄ．Ｈ．Ｍａｒｉｍｏｎｔ，“Ｅｐｉｐ
ｏｌａｒ−ｐｌａｎｅ ｉｍａｇｅ ａｎａｌｙｓｉ
ｓ：Ａｎ ａｐｐｒｏａｃｈ ｔｏ ｄｅｔｅｒｍｉｎ
ｇ ｓｔｒｕｃｔｕｒｅｆｒｏｍ ｍｏｔｉｏｎ”，Ｉ
ＪＣＶ，１，１，ｐｐ７−５５，ｊｕｎｅ １９８
９．〕。時空間画像をｘ，ｙ座標軸を含むように切断し
た時空間切断画像を特にｘ−ｔ時空間画像と呼び、同様
にｙ，ｔ座標軸を含む時空間切断画像をｙ−ｔ時空間画
像と呼ぶ。任意のｙの値から任意のｘ−ｔ時空間画像が
切り出され、これら複数枚のｘ−ｔ時空間画像をｘ−ｔ
時空間画像列と呼ぶ。ｙ−ｔ時空間画像列も同様であ
る。

【００２８】続いて、画像データ並べ替え部２０２にお
いて切断された垂直，水平方向直線成分時空間画像の切
断面を、２０３の映像情報フィルター処理部においてフ
ィルター（第一次微分、第二次微分等）処理を施す。こ
の処理は、線分検出手段により為され、エッジまたは線
を検出することを目的としている。図３では、３０７に
相当する。フィルター処理部２０３によりエッジまたは
線の強度が算出される。切断画像において切断面に見ら
れる時間軸に沿った流れ模様は、映像中の動きによって
生じている。この流れの方向が動きの大きさに対応して
いる。上記まで述べたエッジ検出は、流れの方向を表す
エッジまたは直線を検出しており、画像から動き情報の
みを強調していることになる。上記のエッジ検出された
切断画像列を、垂直、水平方向時空間エッジ画像列と呼
ぶ。

【００２９】続いて、２０４の特徴抽出部において、積
分手段により、垂直、水平方向時空間エッジ画像列をエ
ッジ画像の法線方向に加算処理する。図３では、３０８
に相当し、３０８ａの破線方向に加算処理を行う。この
加算処理は、先のフィルター処理において強調された動
きを、より強調することを目的に行う。即ち、もし物体
の特徴点の動きが、グローバルな動きによる物の場合、
加算処理をすることにより強調しあい、顕著に加算処理
結果に反映される。半面、物体の特徴点の動きが、ロー
カルな動きによるものの場合、加算処理をすることによ
り弱小し、加算処理結果に反映されにくくなる。また、
この加算処理は、差分処理と違いノイズに強い処理であ
り、ノイズを多く含む映像からでも動き情報の抽出が可
能となることを意味している。この加算処理によって得
られる結果の画像を時空間投影画像と呼ぶ。ｘ−ｔ垂直
方向時空間画像列からは、ｘ−ｔ時空間投影画像３０９
が得られ、ｙ−ｔ水平方向時空間画像からｙ−ｔ時空間
投影画像３１０が得られる。ｘ−ｔ時空間投影画像の時
間軸に沿った流れ模様の意味するところは、映像の左右
方向の動きを表現し、ｙ−ｔ時空間画像の模様は上下方
向の動きを表現している。

【００３０】続いて、２０５の特徴統計解析部におい
て、まずカメラオンオフ検出手段により、時間軸と空間
軸とを有する二次元画像として表現された抽出特徴から
時間軸に垂直な直線を検出して、カメラのオンオフ情報
の抽出を行う。具体的には、ｘ−ｔ時空間投影画像をＦ
（ｘ，ｔ）、ｙ−ｔ時空間投影画像をＦ（ｙ，ｔ）で表
す。次式で表した評価式から算出される値Ｃが、予め与
えた閾値以上であれば、その時間ｔでカメラのオンオフ
が存在したとする。

【００３１】

【数１】 Ｃ（ｔ）＝ｓｕｍ（Ｆ（ｘ，ｔ））ｄｘ ＋ｓｕｍ（Ｆ（ｙ，ｔ））ｄｙ …（１） 次に、カメラ操作情報の抽出を行う。抽出するカメラ操
作情報を図４に示す。カメラ操作は、基本７操作とそれ
らの組み合わせ操作で構成されている。基本操作には、
フィックス（カメラ固定），パン４０１（カメラを左右
に振る操作）、ズーム４０２（画角を変化させることに
より被写体を拡大，縮小する操作）、チルト４０３（カ
メラを上下に振る操作）、トラック４０４（カメラを左
右に移動する操作）、ブーム４０５（カメラを上下に移
動する操作）、ドリー４０６（カメラを前後に移動する
操作）がある。すなわち、フイックスは静止、パン，テ
ィルトは、カメラ投影中心固定の光軸方向の変化、ズー
ムは画角の変化、トラック，ブーム，ドリーはカメラ投
影中心の位置変化を伴う操作である。カメラ投影中心の
位置変化に伴い、トラック，ブーム，ドリーは被写体の
三次元配置情報を映像の動きの中に含む操作である。ト
ラック，ブーム，ドリーによって撮影された映像の動き
は、被写体がカメラに対して相対的に近い場合、速い動
きを示し、逆に速い場合、遅い動きを示す。

【００３２】上記の方法で算出されたｘ−ｔ時空間投影
画像をＦ（ｘ，ｔ）で表す。ｘ−ｔ時空間投影画像は、
空間ｘと時間ｔの関数である。時間ｔ₀のｘ−ｔ時空間
投影画像の空間分布をＦ（ｘ，ｔ₀）で表し、同様に時
間ｔ₁のｘ−ｔ時空間投影画像の空間分布Ｆ（ｘ，ｔ₁）
で表す。また、以下で算出するグローバルな動きパラメ
ータをａ，ｂ，ｃで表し、それぞれａはカメラ操作を言
うズームパラメータ、ｂはパンパラメータ、ｃはティル
トパラメータを意味する。以下、このカメラ操作パラメ
ータを求める手法を示す。

【００３３】もし作成されたｘ−ｔ時空間投影画像にグ
ローバルな動きが存在していたとすれば、Ｆ（ｘ，
ｔ₀）とＦ（ｘ，ｔ₁）の間に以下の関係がある。

【００３４】

【数２】Ｆ（ｘ%，ｔ₁）＝Ｆ（ａｘ＋ｂ，ｔ₀） 同様にｙ−ｔ時空間投影画像には、

【数３】Ｆ（ｙ%，ｔ₁）＝Ｆ（ａｙ＋ｂ，ｔ₀） の関係がある。まず、上記のｘ%とｘ、ｙ%とｙの対応付
けを対応付け手段により行う。この様子を図５に示す。

【００３５】図５中の５０１はｘ−ｔ時空間投影画像を
表し、５０２は時間Ｔの空間分布Ｆ（ｘ，Ｔ）、５０３
は時間Ｔ−１の空間分布Ｆ（ｘ，Ｔ−１）をそれぞれ表
す。５０４の座標値を図に示すように対応付けを行い、
対応座標５０５を算出する。この算出方法の他に、微少
な範囲ごとの相関関数を算出し対応付けることも可能で
ある。この対応付けられた５０４と５０５は、任意の座
標値を示しており、これら座標間の関係は５０６に示す
直線になる。この直線の傾きがズームパラメータａを表
しており、切片がパンパラメータｂをそれぞれ表してい
る。

【００３６】続いて、カメラ操作パラメータ算出手段に
より、上記で対応付けられた空間座標値を用いてカメラ
操作パラメータを算出する。具体的には、直線５０６の
ａとｂを算出するために、対応付けられた空間座標値を
用いて以下の関係式でパラメータ空間に射影（投票）し
て射影空間の最大値５０７を抽出し、パラメータａ，ｂ
を算出することを行う。この変換は、一般にＨｏｕｇｈ
変換〔Ｐ．Ｖ．Ｃ．Ｈｏｕｇｈ，“Ｍｅｔｈｏｄ ａｎ
ｄ Ｍｅａｎｓ ｆｏｒ Ｒｅｃｏｇｎｉｚｉｎｇ Ｃ
ｏｍｐｌｅｘ Ｐａｔｔｅｒｎｓ”，Ｕ．Ｓ．Ｐａｔｅ
ｎｔ Ｎｏ．３０６９５４，１９６２〕と呼ばれている
ものである。対応付けられた任意の座標をｘ%とｘで表
すと、ａとｂの関係は下記式のようになる。

【００３７】

【数４】ｂ＝ｘ%・ｃｏｓ（ａ）＋ｘ・ｓｉｎ（ａ） Ｈｏｕｇｈ変換は、一般に複数個の点からそれらの点が
構成する直線を推定する方法として確立されている。画
像空間の一つの点が（射影空間）Ｈｏｕｇｈ空間では一
本の曲線を表し、射影された複数個の曲線の交点５０７
の座標値が抽出すべき直線の傾きと切片を表している。

【００３８】計算機では、直線を射影空間に投票し、最
大の投票数を示す座標値をもって抽出すべき直線の傾き
と切片を算出している。対応付けられた複数組みの座標
値の各々を射影空間に投票してパラメータを算出してい
る。

【００３９】同様にｙ−ｔ時空間投影画像からティルト
パラメータｃが算出できる。また、三次元情報を含むよ
うな操作が行われた場合の時空間投影（積分）画像であ
っても、ミクロ的（部分的）には三次元操作を含まない
操作が行われた場合の画像に等しいことから、かかる画
像であっても上記処理を部分的（ブロック的）に施すこ
とにより処理が可能である。以上が撮影状態検出部１０
３の構成と処理の流れである。

【００４０】次に、図１に戻り、１０４の映像分割部に
おいて、撮影状態検出部１０３で算出したカメラのオン
オフ情報に基づいて映像をショット毎に分割する。この
ようにカメラのオンオフで分割されたショットでは、シ
ョット内の画像は、連続的な同じ空間の情報をもってい
ると考えられる。

【００４１】次に、１０５の被写体，背景分離部におい
て、被写体と背景の分離を行う。被写体，背景分離部１
０５の構成を図６に示す。以下、被写体，背景分離部１
０５の６０１から６０４までの構成要素の構成とそれら
による処理の流れを詳細に説明する。

【００４２】まず、６０１のカメラ操作相殺部におい
て、映像フレーム変形手段により、カメラ操作情報に基
づいて、画像データからカメラ操作をキャンセルするこ
とを行う。隣接する画像データ間でカメラ操作により生
じた変化・変位分だけ画像データ間で変化・変位させ
る。隣接する画像データをＦ（ｘ，ｙ，ｔ）、Ｆ（ｘ，
ｙ，ｔ＋１）とする。カメラ操作Ａは（Ａはマトリク
ス）を用いると、隣接する画像データ間では、次の関係
がある。

【００４３】

【数５】Ｆ（ｘ，ｙ，ｔ＋１）＝ＡＦ（ｘ，ｙ，ｔ） カメラ操作のキャンセルは、次の式で表せる。

【００４４】

【数６】Ｆ（ｘ，ｙ，ｔ）＝Ａ^-1Ｆ（ｘ，ｙ，ｔ＋１） 続いて、６０２の画像データ比較部では、差分処理手段
により、上記でカメラ操作がキャンセルされた隣接する
画像間で比較処理を行う。ここで行う処理は、カメラ操
作をキャンセルした画像どうしの比較処理であり、算出
されるものは画像間の輝度、色等の情報の差分の絶対値
等である。この比較処理により、背景は差し引かれ、被
写体の動きのみの変化分が背景との差分として抽出され
る。

【００４５】続いて、６０３の比較画像データ比較部で
は、隣接する比較画像データ間の比較を行う。ここで行
う処理は、画像間での積や、画像間で比較し小さい方の
値を比較画像の値とする等の比較演算である。これら一
連の処理により、３枚の連続する画像データに基づいて
その真ん中の画像の被写体（移動物体）の領域が強調さ
れる。

【００４６】続いて、６０４の領域抽出部では、先ず、
強調された被写体領域の２値化処理を２値化処理手段に
より行う。予め与えられた閾値Ｓを用いて、次の条件で
２値化処理を行う。比較データ画像をｆ（ｘ，ｙ）と
し、２値化画像をＦ（ｘ，ｙ）とする。

【００４７】

【数７】 Ｆ（ｘ，ｙ）＝１： ｉｆ ｆ（ｘ，ｙ）≧Ｓ Ｆ（ｘ，ｙ）＝０： ｉｆ ｆ（ｘ，ｙ）＜Ｓ 図７に２値化処理の例を示す。７０１が比較データ画像
であり、７０２が２値化画像である。閾値を９とした場
合を想定している。

【００４８】続いて、ラベル付け手段により、２値化画
像Ｆ（ｘ，ｙ）のラベル付けを行う。ラベル付けのアル
ゴリズムを図８に示す。２値化画像Ｆ（ｘ，ｙ）をＦ＝
｛Ｆ_i,j｝、ラベル画像をＬ＝｛ｌ_i,j｝で表す。ｌ_i,j
は各連結成分のラベルを表す正整数である。また、ｌは
連結成分番号を表す変数、Ｔ（ｉ）はラベル表をそれぞ
れ表す。８０１の初期設定においてｌ＝１とし、画素
（２，２）からラベル走査を開始する。現在の画素を
（ｉ，ｊ）とし、８０２において判断する。ｆ_i,j＝１
ならば８０３へ、ｆ_i,j＝０ならｌ_i,j＝０として８０７
へ処理を進める。図９に示した走査方法で、現在の画素
ｘ₀＝（ｉ，ｊ）と、その近傍で操作済みの画素を図１
０に示すように表し、ｘ_pのラベル（画像Ｌの値）をｌ_p
（ｐ＝１，２，３，４）とする。８０３では、｛Ｔ（ｌ
_p），ｌ_pが０でない、ｐ＝１，２，３，４｝中に異なる
正の値がｎ種類あるとし，それらを小さい値から順にＬ
₁，Ｌ₂，…，Ｌ_nとする。ｎ＝０ならば８０４へ、ｎ＝
１ならば８０５へ、ｎ＝２ならば８０６へ処理を進め、
各処理後、８０７へ進む、８０７では全画素について終
了したかどうかを判断し、全画素終了であれば８０８，
８０９の処理をしてラベリングを完了する。

【００４９】次いで、物理的特徴算出手段により、ラベ
リングされた領域に対して物理的な特徴量を算出する。
ここで算出する物理的な特徴は、輝度，色分布，テクス
チャ等である。次いで、照合手段により、予め与えた特
徴量と算出したラベル領域の特徴量とを比較照合し、被
写体領域を決定する。次いで、背景抽出手段により、上
記で抽出した被写体領域をフレーム画像から差し引くこ
とで、背景領域を分離する。

【００５０】以上が被写体，背景分離部１０５の構成と
処理の流れである。

【００５１】次に、図１に戻り、１０６の被写体動き情
報抽出部において、照合手段により、各フレーム画像毎
に抽出された領域で算出した物理的な特徴量を隣接する
フレーム間で比較し、比較量に対して予め与えた条件と
照合し、照合した領域は類似する物理的特徴を持つ領
域、すなわち同一被写体による領域であるとして時間的
な関係付けを行う。この関係付けの情報を被写体の動き
情報とする。

【００５２】一方、１０７の撮影空間再合成部におい
て、空間重ね合わせ手段により、被写体，背景分離部１
０５で分離された背景を、撮影状態検出部１０３で算出
したカメラ操作情報に基づいて画像フレームを変形・変
位させて一つの連続する空間として重ね合わせ、フレー
ムを超える広い撮影空間として再合成しなおす。図１１
に再合成の様子を示す。図１１（ａ）において、１１０
１と１１０２は時間的に連続するフレーム画像であり、
パンのカメラ操作で撮影された映像である場合、１１０
２は１１０１に対して１１０３（フレームあたりのパン
操作量）分だけシフトして合成する。同様にティルトの
場合１１０４（フレームあたりのティルト操作量）分だ
けシフトして合成する。ズーム操作の場合、図１１
（ｂ）に示すように、ズーム量１１０５に応じて画像の
サイズを拡大，縮小し合成する。この合成の方法で作ら
れた背景画像は、一般に言うパノラマ空間であり、パノ
ラマ空間が持つ特有の歪みを持つ。この歪みは、画像を
円柱変換した場合に生じる歪みと等価である。

【００５３】次に、１０８のショット間関係算出部で、
撮影空間変換手段により、再合成された各ショット毎の
撮影空間に対して、撮影空間の間でそれらの大きさと位
置が等しくなるように撮影空間を変換した後、ショット
間関係情報の算出を行う。ここで、算出する情報は、シ
ョットの空間に関する情報である。関係付けを行うショ
ットに記録されているそれぞれの空間の配置関係をショ
ット間関係情報とする。このショット間の関係は、撮影
空間合成部１９７で再合成したパノラマ空間を比較する
ことで算出する。同じ焦点距離で撮影された映像から作
成したパノラマ空間間では、同じ円柱変換の歪みを有す
る。図１２に円柱変換の様子を示す。三次元空間上の線
１２０１は、円柱変換により円柱１２０３上の１２０２
へ変換される。図１２中の点Ｏは、カメラの投影中心で
あり、円柱１２０３上は、画像面である。円柱の大きさ
は、撮影時の焦点距離ｆの大きさで一意で決まる。この
ことにより、同じ焦点距離で撮影された映像から作成し
たパノラマ空間間では、同じ円柱変換の歪みを有する。
同じ焦点距離で撮影された映像から作成したパノラマ空
間間の関係は、それらの画像の空間的な平行移動量を算
出することで可能である。一つのパノラマ画像をテンプ
レートとして相互関数計数を用いてマッチングにより算
出可能である。この算出の際、重なり部分の相関関係と
重なり領域から評価関数を新たに定義することで安定に
マッチングが可能である。焦点距離が異なる画像間の関
係付けには、円柱歪みを考慮してマッチングしなければ
なない。一つの画像を基準として焦点距離ｆを少しづつ
変化させてマッチングすることで関係を算出することが
可能である。カメラ操作が行われずに撮影された映像間
では、画像の大きさを拡大・縮小させてマッチングする
ことで関係を算出することが可能である。

【００５４】算出されたカメラオンオフ情報，カメラ操
作情報，被写体情報，被写体動き情報，再合成した背景
情報，及びショット間関係情報は、複数の映像に関し、
映像構造情報管理・蓄積部１０９に時空間的に管理・蓄
積される。従来においては、映像は、ファイルとして又
はＲＧＢの時間変化の信号として蓄積装置の中で管理さ
れてきた。信号レベルでの管理は、機械的な処理や伝
送，蓄積，表示において有効であった。映像が計算機で
扱えるマルチメディア時代においては、映像に対する扱
いは、従来のただ単に信号の処理，蓄積，表示すること
等から、大量に蓄積された映像データベースからの検
索，編集，加工等の高度な映像の扱いになってきてい
る。このような映像の高度な扱いを可能にするために
は、映像を信号レベルからより映像の中身に突っ込んだ
レベルでの情報で管理しなければならない。上述の抽出
した情報はこのレベルの情報であり、この情報で映像を
表現し管理することで、ＲＧＢの時間変化信号のみで表
現された映像とは全く異なるより高度な扱いが可能とな
る。映像の中身を反映したこの表現は、単なる信号の時
間変化とは異なり映像の時間，空間に関する意味的な表
現であるとも考えられる。この映像の新たな表現を時空
間的に蓄積・管理することで人間にとって直観的で分か
りやすい高度な映像の扱いが実現可能となる。

【００５５】抽出された映像の構造情報，映像データに
対してデータ圧縮して蓄積する。データ圧縮することで
蓄積スペースの効率化や、データのネットワークを介し
た送受信を実現する。映像構造情報の中で時間を変数と
して変化する情報に対しては、ハフマン符号化等の可逆
符号化を用いて圧縮する。空間に関する情報であって画
像に関するもの（例えば、抽出された被写体の画像や再
合成された背景画像等）は、静止画像として非可逆符号
化を用いて圧縮する。非可逆符号化の代表的な手法は、
ＪＰＥＧ符号化である。３２０×２４０の画像でカメラ
を３６０度水平に回して撮影された映像から、本発明を
用いて再合成された画像は、約５メガバイトの情報を有
し、ＪＰＥＧ符号化を用いると１０分の１の圧縮効率が
見込まれて約５００キロバイトのデータに圧縮可能であ
る。現在のインターネット等を用いる場合、約５メガバ
イトの情報では、そのデータ伝送は時間的な制限から不
可能であるが、約５００キロバイトのデータの伝送は実
用的に可能である。また、時間的に変化する被写体の画
像等は、同様に非可逆符号化であるＨ２６１やＭＰＥＧ
等の符号化を用いることで約１０分の１から２０分の１
程度まで圧縮可能である。インターネット等の細い線
（情報伝送レートの低い線）で構造化された映像を送る
場合、静止画像としてＪＰＥＧ圧縮された背景画像と、
同じく時間情報を空間に展開した静止画像（例えば、背
景に被写体を展開したストロボ画像等）としてＪＰＥＧ
圧縮された被写体情報等の、ユーザーの要求に答えるだ
けの最低限の情報を送ることで、ネットワーク使用，時
間の効率化とインタラクションレスポンスの良さを実現
可能としている。

【００５６】次に、１１０１の再合成部では、１１２の
ユーザ入力部からの要求に応じて、もしくは予め与えた
条件に従って、またはユーザの要求と予め与えた条件の
両方に従って、映像構造情報管理・蓄積部１０９に管理
されている情報の再合成を行う。意味的な映像のフィル
ターリングを行うことも可能である。背景のみ、被写体
のみの映像なども作成可能である。時間と空間の映像情
報から情報情報を空間へ展開し空間のみの情報として表
現した画像も作成可能である。この例として、前述のよ
うなパノラマ展開された空間へ被写体をストロボ的に表
現した映像がある。従来技術では、時間的にサンプリン
グされたストロボ表現しか実現できなかったことに加え
て、空間的にサンプリングされたストロボ表現も可能で
ある。

【００５７】図１３に時間、空間サンプリングのストロ
ボ表現の様子を示す。１３０１が再合成されたパノラマ
空間である。１３０２が被写体を表している。１３０３
が空間的サンプリングされたストロボ表現であり、１３
０４が時間的にサンプリングされたストロボ表現であ
る。１３０４は、被写体の配置が被写体の速度も表現し
ており、一方、１３０３は、被写体の空間における変化
を表現している。ショット間関係情報を用いて、異なる
ショットに存在する複数の被写体を一つの背景に合成す
ることも可能である。例えば、ショットＡに撮影されて
いる被写体（選手Ａ）をパノラマ空間上にストロボ表現
し、ショットＢに撮影されている被写体（選手Ｂ）をス
トロボ表現上へオーバーラップして動画として表示する
ことも可能である。ここでのショットＡとショットＢは
空間的に共通の空間を有する。この映像のエンハンスメ
ントは、旨い選出、下手な選手とのフォームの違いなど
を視覚で直感的に把握することをユーザに容易にしてい
る。

【００５８】再合成部１１０では、ユーザ入力部１１２
からのユーザの要求に応じてさまざまな表現が可能とな
る。１１１の表示部において表示された映像からユーザ
は、１１２のユーザ入力部を介してユーザの要求に対す
る表現のフィードバックが可能である。また、１１３の
出力部においては、デジタル，アナログ出力が可能であ
り、デジタル出力は、外部のプリンターやパーソナルコ
ンピュータ等への出力であり、アナログ出力は、モニタ
等への映像信号出力である。なお、出力部１１３は必要
に応じて設けるようにしても良い。

【００５９】以上、本発明を一実施形態例に基づき具体
的に説明したが、本発明は、前記実施形態例に限定され
ることはなく、本発明の要旨を逸脱しない範囲において
種々の変更が可能であることは言うまでもない。

【００６０】

【発明の効果】以上のように、本発明によれば、映像デ
ータを読み込み、保存された画像データ列を読み出し、
カメラオンオフ情報とカメラ操作情報を含む撮影状態情
報を検出し、このカメラオンオフ情報に基づいて映像を
ショット毎に分割し、カメラ操作情報と物理的な特徴量
を用いてフレーム毎に被写体と背景を分離し、分離され
た被写体情報をフレーム間で対応付けを行って被写体動
き情報を抽出し、カメラ操作情報とフレーム毎の背景か
ら撮影空間を再合成し、複数のショットから各々再合成
された複数の撮影空間の間の空間的にショット間関係を
算出し、以上で得られた情報を管理・蓄積するようにし
たので、複数映像の時空間的なエンハンスメント、時空
間的、統一的な管理，表現，操作を可能とする複数映像
の時空間統合が実現可能となる。

【００６１】また、上記管理・蓄積されている情報を基
に、予め与えた条件やユーザからの要求に従って、一つ
又は複数の撮影空間と一つ又は複数の被写体を再合成
し、表示し又は外部へアナログ、デジタル形式で出力す
るようにしたの、同じ空間を撮影した複数の映像に対し
て、ユーザが興味や目的に応じて各自のスタイルで複数
映像の情報を同時に直感的に効率よく取得することか可
能である。

【図面の簡単な説明】

【図１】本発明の一実施形態例の構成と処理の流れを説
明する図である。

【図２】上記実施形態例における撮影状態検出部の構成
と処理の流れを説明する図である。

【図３】上記実施形態例における撮影状態検出部の処理
の流れ図である。

【図４】上記実施形態例におけるカメラ操作情報を説明
する図である。

【図５】上記実施形態例におけるカメラ操作情報の抽出
アルゴリズムを説明する図である。

【図６】上記実施形態例における被写体，背景分離部の
構成と処理の流れを説明する図である。

【図７】上記実施形態例における２値化処理の例を示す
図である。

【図８】上記実施形態例におけるラベリングの処理の流
れ図である。

【図９】上記実施形態例における画像走査順を示す図で
ある。

【図１０】上記実施形態例における対象画素及び走査済
み画素を示す図である。

【図１１】上記実施形態例におけるカメラ走査に基づく
撮影空間の再合成方法を説明する図である。

【図１２】円柱変換を説明する図である。

【図１３】上記実施形態例による時間，空間サンプリン
グによるストロボ表現を説明する図である。

【符号の説明】

１０１ ビデオ信号入力部 １０２ 画像データ列メモリ部 １０３ 撮影状態検出部 １０４ 映像分割部 １０５ 被写体，背景分離部 １０６ 被写体動き情報抽出部 １０７ 撮影空間再合成部 １０８ ショット間関係算出部 １０９ 映像構造情報管理・蓄積部 １１０ 再合成部 １１１ 表示部 １１２ ユーザ入力部 １１３ 出力部 １１４ 映像構造化情報伝送受信部 ２０１ 直線成分算出部 ２０２ 画像データ並べ替え部 ２０３ 映像情報フィルター部 ２０４ 特徴抽出部 ２０５ 特徴統計解析部 ３０１ 時空間画像 ３０２ 垂直方向直線算出 ３０３ 水平方向直線算出 ３０４ 垂直方法直線成分時空間画像 ３０５ 水平方法直線成分時空間画像 ３０６ 並べ替え処理 ３０７ フィルター処理 ３０８ エッジ画像の法線方向の加算処理 ３０９ ｘ−ｔ時空間投影画像 ３１０ ｙ−ｔ時空間投影画像 ６０１ カメラ操作相殺部 ６０２ 画像データ比較部 ６０３ 比較画像データ比較部 ６０４ 領域抽出部

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平５−35874（ＪＰ，Ａ) 特開 平７−193748（ＪＰ，Ａ) 特開 平８−182786（ＪＰ，Ａ) 特表 平８−511409（ＪＰ，Ａ) 特表 平７−502385（ＪＰ，Ａ) 特表 平８−511392（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 5/222 - 5/28 G06T 1/00 G06T 3/00 - 5/50 G06T 7/20 - 7/60

Claims (57)

(57)【特許請求の範囲】
1. 【請求項１】 複数の映像を時空間統合、管理する装置
   であって、 映像データを読み込み、データ列として保存する画像デ
   ータ列メモリ部と、 前記画像データ列メモリ部からデータ列を読み出し、カ
   メラオンオフ情報とカメラ操作情報を含む撮影状態情報
   を検出する撮影状態検出部と、前記カメラオンオフ情報
   に基づいて前記データ列の映像をショット毎に分割する
   映像分割部と、 前記カメラ操作情報と物理的な特徴量を用いて前記映像
   のフレーム毎に被写体と背景を分離する被写体，背景分
   離部と、 前記フレーム毎に分離された被写体情報をフレーム間で
   対応付ける被写体動き情報抽出部と、 前記カメラ操作情報と前記フレーム毎に分離された背景
   から前記映像が撮影された撮影空間を再合成する撮影空
   間再合成部と、 前記分割された複数のショットから前記撮影空間再合成
   部で各々再合成された複数の撮影空間の間の空間的なシ
   ョット間関係を算出するショット間関係算出部と、前記
   分離された被写体の情報、前記対応付けられた被写体の
   情報、前記撮影状態情報、前記背景の情報、前記ショッ
   ト間関係の情報を管理・蓄積する映像構造情報管理・蓄
   積部と、 を具備することを特徴とする複数映像の時空間統合、管
   理装置。
2. 【請求項２】 前記抽出された被写体情報，撮影状態情
   報，背景情報，ショット間関係情報及び映像データのす
   べて又はその一部を伝送又は受信する映像構造化情報伝
   送受信部を、更に具備することを特徴とする請求項１に
   記載の複数映像の時空間統合、管理装置。
3. 【請求項３】 予め与えた条件とユーザからの要求のい
   ずれか一方又は双方に従って前記映像構造情報管理・蓄
   積部に蓄積・管理されている情報を基に一つ又は複数の
   撮影空間と一つ又は複数の被写体を再合成する再合成部
   と、 前記再合成部で再合成された映像を表示する表示部と、 前記表示部で表示されている映像に基づいて再合成に関
   する前記ユーザの要求を入力するユーザ入力部と、具備
   するとともに、 必要に応じて前記表示部に表示された映像をデジタル又
   はアナログ形式で外部装置に出力する出力部を具備す
   る、 ことを特徴とする請求項１又は２に記載の複数映像の時
   空間統合、管理装置。
4. 【請求項４】 前記撮影状態検出部は、 画像データメモリ部から読み出された画像フレームに対
   して水平、垂直方向の直線成分を各々算出する直線成分
   算出部と、 前記算出された水平、垂直直線成分を含む画像が有する
   時間空間配置の並べ替えを行う画像データ配置並べ替え
   部と、 前記並べ替えで得られた画像データにフィルター処理を
   施す映像情報フィルター部と、 前記フィルター処理の結果から特徴を抽出する特徴抽出
   部と、 前記抽出された特徴を統計的に解析してカメラオンオフ
   情報とカメラ操作情報を検出する特徴統計解析部と、 を具備することを特徴とする請求項１、２、又は３に記
   載の複数映像の時空間統合、管理装置。
5. 【請求項５】 前記画像データ並べ替え部は、画像の法
   線と時間軸を含む複数枚の時空間断面画像に画像データ
   列を並べ替える画像データ列再配置手段を具備する、こ
   とを特徴とする請求項４に記載の複数映像の時空間統
   合、管理装置。
6. 【請求項６】 前記映像情報フィルター処理部は、前記
   並べ替えられた画像データの映像情報のエッジまたは線
   を検出する線分検出手段を具備する、ことを特徴とする
   請求項４に記載の複数映像の時空間統合、管理装置。
7. 【請求項７】 前記特徴抽出部は、前記検出されたエッ
   ジまたは線に関する情報を画像の法線方向に加算する積
   分手段を具備する、ことを特徴とする請求項６に記載の
   複数映像の時空間統合、管理装置。
8. 【請求項８】 前記特徴統計解析部は、時間軸と空間軸
   とを有する二次元画像に表現された抽出特徴の時間軸に
   垂直な直線を検出し、カメラオンオフ情報を算出するカ
   メラオンオフ検出手段を具備する、ことを特徴とする請
   求項４に記載の複数映像の時空間統合、管理装置。
9. 【請求項９】 前記特徴統計解析部は、 時間軸と空間軸とを有する二次元画像に表現された抽出
   特徴の任意の２つの時間の空間分布を比較し、空間座標
   の対応付けを行う対応付け手段と、 前記対応付けられた空間座標を統計処理してカメラ操作
   パラメータを算出するカメラ操作パラメータ算出手段
   と、 を具備すると特徴とする請求項４に記載の複数映像の時
   空間統合、管理装置。
10. 【請求項１０】 前記被写体，背景分離部は、 撮影状態検出部で検出されたカメラ操作情報に基づいて
    隣接する画像データ間からカメラ操作を相殺するカメラ
    操作相殺部と、 前記カメラ操作情報が相殺された画像データ間で比較を
    行う画像データ比較部と、 隣接する前記比較画像データ間で比較を行う比較画像デ
    ータ比較部と、 前記比較画像データ比較部から算出される比較データか
    ら被写体領域を抽出する領域抽出部と、 を具備することを特徴とする請求項１、２、又は３に記
    載の複数映像の時空間統合、管理装置。
11. 【請求項１１】 前記カメラ操作相殺部は、カメラ操作
    による変形・変位分を相殺するように前記カメラ操作情
    報に基づいて隣接する画像フレームを変形・変位させる
    映像フレーム変形手段を具備する、ことを特徴とする請
    求項１０に記載の複数映像の時空間統合、管理装置。
12. 【請求項１２】 前記画像データ比較部は、カメラ操作
    が相殺された隣接する画像データ間で輝度、色情報の差
    分処理を行う差分処理手段を具備する、ことを特徴とす
    る請求項１０に記載の複数映像の時空間統合、管理装
    置。
13. 【請求項１３】 前記抽出領域部は、 前記比較データに対して、二値化処理を行う二値化処理
    手段と、 前記二値化処理された二値化データに対してラベル付け
    をするラベル付け手段と、 前記ラベル付けされた領域の物理的な特徴を算出する物
    理的特徴算出手段と、 前記算出された物理的な特徴に対して予め与えた条件と
    照合して被写体領域を抽出する照合手段と、 を具備することを特徴とする請求項１０に記載の複数映
    像の時空間統合、管理装置。
14. 【請求項１４】 前記被写体，背景分離部は、前記領域
    抽出部で抽出されたフレーム毎の被写体領域をフレーム
    画像から差し引いて背景を抽出する背景抽出手段を具備
    する、ことを特徴とする請求項１３に記載の複数映像の
    時空間統合、管理装置。
15. 【請求項１５】 前記被写体動き情報抽出部は、前記領
    域抽出部で抽出されたフレーム毎の被写体領域の時間的
    に隣接する領域の物理的な特徴の比較量に対して予め与
    えた条件と照合してフレーム間の被写体情報を対応付け
    る照合手段を具備する、ことを特徴とする請求項１３に
    記載の複数映像の時空間統合、管理装置。
16. 【請求項１６】 前記撮影空間再合成部は、前記撮影状
    態検出部で検出されたカメラ操作情報に基づいて隣接す
    る画像フレームを変形・変位させ、一つの連続する撮影
    空間として重ね合わせる空間重ね合わせ手段を具備す
    る、ことを特徴とする請求項１、２、又は３に記載の複
    数映像の時空間統合、管理装置。
17. 【請求項１７】 前記ショット間関係算出部は、撮影空
    間再合成部で作成された各ショット毎の撮影空間に対し
    て、撮影空間の間でそれらの大きさと位置が等しくなる
    ように撮影空間を変換する撮影空間変換手段を具備す
    る、ことを特徴とする請求項１、２、又は３に記載の複
    数映像の時空間統合、管理装置。
18. 【請求項１８】 前記映像構造情報管理・蓄積部は、前
    記抽出された被写体情報，撮影状態情報，背景情報，シ
    ョット間関係情報，映像データ、並びに撮影状態情報，
    背景情報，ショット間関係情報，及び映像データを用い
    て再合成された複数映像の撮影空間のすべて又はその一
    部をデータ圧縮し、時間空間的に管理・蓄積する手段を
    具備することを特徴とする請求項１に記載の複数映像の
    時空間統合、管理装置。
19. 【請求項１９】 前記映像構造情報管理・蓄積部は、前
    記抽出された被写体情報を空間に展開し、静止画像とし
    てデータ圧縮する手段と、再合成された複数映像の撮影
    空間を静止画像としてデータ圧縮する手段と、を具備す
    ることを特徴とする請求項１８に記載の複数映像の時空
    間統合、管理装置。
20. 【請求項２０】 複数の映像を時空間統合、管理する方
    法であって、 映像データを読み込み、データ列として保存する画像デ
    ータ列保存過程と、 前記画像データ列メモリ部からデータ列を読み出し、カ
    メラオンオフ情報とカメラ操作情報を含む撮影状態情報
    を検出する撮影状態検出過程と、 前記カメラオンオフ情報に基づいて前記データ列の映像
    をショット毎に分割する映像分割過程と、 前記カメラ操作情報と物理的な特徴量を用いて前記映像
    のフレーム毎に被写体と背景を分離する被写体，背景分
    離過程と、 前記フレーム毎に分離された被写体情報をフレーム間で
    対応付ける被写体動き情報抽出過程と、 前記カメラ操作情報と前記フレーム毎に分離された背景
    から前記映像が撮影された撮影空間を再合成する撮影空
    間合成過程と、 前記分割された複数にショットから前記撮影空間再合成
    過程で各々再合成された複数の撮影空間の空間的なショ
    ット間関係を算出するショット間関係算出過程と、 前記分離された被写体の情報、前記対応付けられた被写
    体の情報、前記撮影状態情報、前記背景の情報、前記シ
    ョット間関係の情報を管理・蓄積する映像構造情報管理
    ・蓄積過程と、 を具備することを特徴とする複数映像の時空間統合、管
    理方法。
21. 【請求項２１】 前記抽出された被写体情報，撮影状態
    情報，背景情報，ショット間関係情報及び映像データの
    すべて又はその一部を伝送又は受信する映像構造化情報
    伝送受信過程を、更に具備することを特徴とする請求項
    ２０に記載の複数映像の時空間統合、管理方法。
22. 【請求項２２】 前記映像構造情報管理・蓄積過程の後
    に、 予め与えた条件とユーザからの要求のいずれか一方又は
    双方に従って前記蓄積・管理されている情報を元に一つ
    又は複数の撮影空間と一つ又は複数の被写体を再合成す
    る再合成過程と、 前記再合成過程で再合成された映像を表示又は出力する
    表示又は出力過程と、 を具備することを特徴とする請求項２０又は２１に記載
    の複数映像の時空間統合、管理方法。
23. 【請求項２３】 前記撮影状態検出過程は、 画像データ列メモリ過程から読み出された画像フレーム
    に対して水平、垂直方向の直線成分を各々算出する直線
    成分算出過程と、 前記水平、垂直直線成分を含む画像が有する時間空間配
    置の並べ替えを行う画像データ配置並べ替え過程と、 前記並べ替えで得られた画像データにフィルター処理を
    施す映像情報フィルター処理過程と、 前記フィルター処理の結果から特徴を抽出する特徴抽出
    過程と、 前記抽出された特徴を統計的に解析してカメラオンオフ
    操作情報とカメラ操作情報を検出する特徴統計解析過程
    と、 を具備することを特徴とする請求項２０、２１、又は２
    ２に記載の複数映像の時空間統合、管理方法。
24. 【請求項２４】 前記画像データ配置並べ替え過程で
    は、画像の法線と時間軸を含む複数枚の時空間断面画像
    に画像データ列を並べ替えて再配置する、ことを特徴と
    する請求項２３に記載の複数映像の時空間統合、管理方
    法。
25. 【請求項２５】 前記映像情報フィルター処理過程で
    は、前記並べ替えで得られた画像データの映像情報のエ
    ッジまたは線を検出する、ことを特徴とする請求項２３
    に記載の複数映像の時空間統合、管理方法。
26. 【請求項２６】 前記特徴抽出過程では、前記検出され
    たエッジまたは線に関する情報を画像の法線方向に加算
    して特徴を抽出する、ことを特徴とする請求項２５に記
    載の複数映像の時空間統合、管理方法。
27. 【請求項２７】 前記特徴統計解析過程では、時間軸と
    空間軸とを有する二次元画像に表現された抽出特徴の時
    間軸に垂直な直線を検出し、カメラオンオフ情報を算出
    する、ことを特徴とする請求項２３に記載の複数映像の
    時空間統合、管理方法。
28. 【請求項２８】 前記特徴統計解析過程は、 時間軸と空間軸とを有する二次元画像に表現された抽出
    特徴の任意の２つの時間の空間分布を比較し、空間座標
    の対応付けを行う対応付け過程と、 前記対応付けられた空間座標を統計処理してカメラ操作
    パラメータを算出するカメラ操作パラメータ算出過程
    と、 を具備することを特徴とする請求項２３に記載の複数映
    像の時空間統合、管理方法。
29. 【請求項２９】 前記被写体，背景分離過程は、 撮影状態検出過程で検出されたカメラ操作情報に基づい
    て隣接する画像データ間からカメラ操作を相殺するカメ
    ラ操作相殺過程と、 前記カメラ操作情報が相殺された画像データ間で比較を
    行う画像データ比較過程と、 隣接する前記比較画像データ間で比較を行う比較画像デ
    ータ比較過程と、 前記比較画像データ比較過程から算出される比較データ
    から被写体領域を抽出する領域抽出過程と、 を具備することを特徴とする請求項２０、２１、又は２
    ２に記載の複数映像の時空間統合、管理方法。
30. 【請求項３０】 前記カメラ操作相殺過程では、カメラ
    操作による変形・変位分を相殺するように前記カメラ操
    作情報に基づいて隣接する画像フレームを変形・変位さ
    せる、ことを特徴とする請求項２９に記載の複数映像の
    時空間統合、管理方法。
31. 【請求項３１】 前記画像データ比較過程では、カメラ
    操作が相殺された隣接する画像データ間で輝度、色情報
    の差分処理を行う、ことを特徴とする請求項２９に記載
    の複数映像の時空間統合、管理方法。
32. 【請求項３２】 前記領域抽出過程は、 前記比較データに対して、二値化処理を行う二値化処理
    過程と、 前記二値化処理された二値化データに対してラベル付け
    をするラベル付け過程と、 前記ラベル付けされた領域の物理的な特徴を算出する物
    理的特徴算出過程と、 前記算出された物理的な特徴に対して予め与えた条件と
    照合して被写体領域を抽出する照合過程と、 を具備することを特徴とする請求項２９に記載の複数映
    像の時空間統合、管理方法。
33. 【請求項３３】 前記被写体，背景分離過程では、前記
    領域抽出過程で抽出されたフレーム毎の被写体領域をフ
    レーム画像から差し引いて背景を抽出する、ことを特徴
    とする請求項３２に記載の複数映像の時空間統合、管理
    方法。
34. 【請求項３４】 前記被写体動き情報抽出過程では、前
    記領域抽出過程で抽出されたフレーム毎の被写体領域の
    時間的に隣接する領域の物理的な特徴の比較量に対して
    予め与えた条件と照合してフレーム間の被写体情報を対
    応付ける、ことを特徴とする請求項３２に記載の複数映
    像の時空間統合、管理方法。
35. 【請求項３５】 前記撮影空間再合成過程では、前記撮
    影状態検出過程で検出されたカメラ操作情報に基づいて
    隣接する画像フレームを変形・変位させ、一つの連続す
    る撮影空間として重ね合わせる、ことを特徴とする請求
    項２０、２１、又は２２に記載の複数映像の時空間統
    合、管理方法。
36. 【請求項３６】 前記ショット間関係算出過程では、前
    記撮影空間再合成過程で作成された各ショット毎の撮影
    空間に対して、撮影空間の間でそれらの大きさと位置が
    等しくなるように撮影空間を変換する、ことを特徴とす
    る請求項２０、２１、又は２２に記載の複数映像の時空
    間統合、管理方法。
37. 【請求項３７】 前記映像構造情報管理・蓄積過程は、
    前記抽出された被写体情報，撮影状態情報，背景情報，
    ショット間関係情報，映像データ、並びに撮影状態情
    報，背景情報，ショット間関係情報，及び映像データを
    用いて再合成された複数映像の撮影空間のすべて又はそ
    の一部をデータ圧縮し、時間空間的に管理・蓄積するこ
    と特徴とする請求項２０に記載の複数映像の時空間統
    合、管理方法。
38. 【請求項３８】 前記映像構造情報管理・蓄積過程は、
    前記抽出された被写体情報を空間に展開し、静止画像と
    してデータ圧縮し、再合成された複数映像の撮影空間を
    静止画像としてデータ圧縮することを特徴とする請求項
    ３７に記載の複数映像の時空間統合、管理方法。
39. 【請求項３９】 複数の映像を時空間統合、管理するプ
    ログラムを記録したコンピュータ読み取り可能な記録媒
    体であって、 映像データを読み込み、データ列として保存する画像デ
    ータ列保存過程と、 前記画像データ列メモリ部からデータ列を読み出し、カ
    メラオンオフ情報とカメラ操作情報を含む撮影状態情報
    を検出する撮影状態検出過程と、 前記カメラオンオフ情報に基づいて前記データ列の映像
    をショット毎に分割する映像分割過程と、 前記カメラ操作情報と物理的な特徴量を用いて前記映像
    のフレーム毎に被写体と背景を分離する被写体，背景分
    離過程と、 前記フレーム毎に分離された被写体情報をフレーム間で
    対応付ける被写体動き情報抽出過程と、 前記カメラ操作情報と前記フレーム毎に分離された背景
    から前記映像が撮影された撮影空間を再合成する撮影空
    間合成過程と、 前記分割された複数にショットから前記撮影空間再合成
    過程で各々再合成された複数の撮影空間の空間的なショ
    ット間関係を算出するショット間関係算出過程と、 前記分離された被写体の情報、前記対応付けられた被写
    体の情報、前記撮影状態情報、前記背景の情報、前記シ
    ョット間関係の情報を管理・蓄積する映像構造情報管理
    ・蓄積過程と、 を具備することを特徴とする複数映像の時空間統合、管
    理プログラムを記録したコンピュータ読み取り可能な記
    録媒体。
40. 【請求項４０】 前記抽出された被写体情報，撮影状態
    情報，背景情報，ショット間関係情報及び映像データの
    すべて又はその一部を伝送又は受信する映像構造化情報
    伝送受信過程を、更に具備することを特徴とする請求項
    ３９に記載の複数映像の時空間統合、管理プログラムを
    記録したコンピュータ読み取り可能な記録媒体。
41. 【請求項４１】 前記映像構造情報管理・蓄積過程の後
    に、 予め与えた条件とユーザからの要求のいずれか一方又は
    双方に従って前記蓄積・管理されている情報を元に一つ
    又は複数の撮影空間と一つ又は複数の被写体を再合成す
    る再合成過程と、 前記再合成過程で再合成された映像を表示又は出力する
    表示又は出力過程と、 を具備することを特徴とする請求項３９又は４０に記載
    の複数映像の時空間統合、管理プログラムを記録したコ
    ンピュータ読み取り可能な記録媒体。
42. 【請求項４２】 前記撮影状態検出過程は、 画像データ列メモリ過程から読み出された画像フレーム
    に対して水平、垂直方向の直線成分を各々算出する直線
    成分算出過程と、 前記水平、垂直直線成分を含む画像が有する時間空間配
    置の並べ替えを行う画像データ配置並べ替え過程と、 前記並べ替えで得られた画像データにフィルター処理を
    施す映像情報フィルター処理過程と、 前記フィルター処理の結果から特徴を抽出する特徴抽出
    過程と、 前記抽出された特徴を統計的に解析してカメラオンオフ
    操作情報とカメラ操作情報を検出する特徴統計解析過程
    と、 を具備することを特徴とする請求項３９、４０、又は４
    １に記載の複数映像の時空間統合、管理プログラムを記
    録したコンピュータ読み取り可能な記録媒体。
43. 【請求項４３】 前記画像データ配置並べ替え過程で
    は、画像の法線と時間軸を含む複数枚の時空間断面画像
    に画像データ列を並べ替えて再配置する、ことを特徴と
    する請求項４２に記載の複数映像の時空間統合、管理プ
    ログラムを記録したコンピュータ読み取り可能な記録媒
    体。
44. 【請求項４４】 前記映像情報フィルター処理過程で
    は、前記並べ替えで得られた画像データの映像情報のエ
    ッジまたは線を検出する、ことを特徴とする請求項４２
    に記載の複数映像の時空間統合、管理プログラムを記録
    したコンピュータ読み取り可能な記録媒体。
45. 【請求項４５】 前記特徴抽出過程では、前記検出され
    たエッジまたは線に関する情報を画像の法線方向に加算
    して特徴を抽出する、ことを特徴とする請求項４４に記
    載の複数映像の時空間統合、管理プログラムを記録した
    コンピュータ読み取り可能な記録媒体。
46. 【請求項４６】 前記特徴統計解析過程では、時間軸と
    空間軸とを有する二次元画像に表現された抽出特徴の時
    間軸に垂直な直線を検出し、カメラオンオフ情報を算出
    する、ことを特徴とする請求項４２に記載の複数映像の
    時空間統合、管理プログラムを記録したコンピュータ読
    み取り可能な記録媒体。
47. 【請求項４７】 前記特徴統計解析過程は、 時間軸と空間軸とを有する二次元画像に表現された抽出
    特徴の任意の２つの時間の空間分布を比較し、空間座標
    の対応付けを行う対応付け過程と、 前記対応付けられた空間座標を統計処理してカメラ操作
    パラメータを算出するカメラ操作パラメータ算出過程
    と、 を具備することを特徴とする請求項４２に記載の複数映
    像の時空間統合、管理プログラムを記録したコンピュー
    タ読み取り可能な記録媒体。
48. 【請求項４８】 前記被写体，背景分離過程は、 撮影状態検出過程で検出されたカメラ操作情報に基づい
    て隣接する画像データ間からカメラ操作を相殺するカメ
    ラ操作相殺過程と、 前記カメラ操作情報が相殺された画像データ間で比較を
    行う画像データ比較過程と、 隣接する前記比較画像データ間で比較を行う比較画像デ
    ータ比較過程と、 前記比較画像データ比較過程から算出される比較データ
    から被写体領域を抽出する領域抽出過程と、 を具備することを特徴とする請求項３９、４０、又は４
    １に記載の複数映像の時空間統合、管理プログラムを記
    録したコンピュータ読み取り可能な記録媒体。
49. 【請求項４９】 前記カメラ操作相殺過程では、カメラ
    操作による変形・変位分を相殺するように前記カメラ操
    作情報に基づいて隣接する画像フレームを変形・変位さ
    せる、ことを特徴とする請求項４８に記載の複数映像の
    時空間統合、管理プログラムを記録したコンピュータ読
    み取り可能な記録媒体。
50. 【請求項５０】 前記画像データ比較過程では、カメラ
    操作が相殺された隣接する画像データ間で輝度、色情報
    の差分処理を行う、ことを特徴とする請求項４８に記載
    の複数映像の時空間統合、管理プログラムを記録したコ
    ンピュータ読み取り可能な記録媒体。
51. 【請求項５１】 前記領域抽出過程は、 前記比較データに対して、二値化処理を行う二値化処理
    過程と、 前記二値化処理された二値化データに対してラベル付け
    をするラベル付け過程と、 前記ラベル付けされた領域の物理的な特徴を算出する物
    理的特徴算出過程と、 前記算出された物理的な特徴に対して予め与えた条件と
    照合して被写体領域を抽出する照合過程と、 を具備することを特徴とする請求項４８に記載の複数映
    像の時空間統合、管理プログラムを記録したコンピュー
    タ読み取り可能な記録媒体。
52. 【請求項５２】 前記被写体，背景分離過程では、前記
    領域抽出過程で抽出されたフレーム毎の被写体領域をフ
    レーム画像から差し引いて背景を抽出する、ことを特徴
    とする請求項５１に記載の複数映像の時空間統合、管理
    プログラムを記録したコンピュータ読み取り可能な記録
    媒体。
53. 【請求項５３】 前記被写体動き情報抽出過程では、前
    記領域抽出過程で抽出されたフレーム毎の被写体領域の
    時間的に隣接する領域の物理的な特徴の比較量に対して
    予め与えた条件と照合してフレーム間の被写体情報を対
    応付ける、ことを特徴とする請求項５１に記載の複数映
    像の時空間統合、管理プログラムを記録したコンピュー
    タ読み取り可能な記録媒体。
54. 【請求項５４】 前記撮影空間再合成過程では、前記撮
    影状態検出過程で検出されたカメラ操作情報に基づいて
    隣接する画像フレームを変形・変位させ、一つの連続す
    る撮影空間として重ね合わせる、ことを特徴とする請求
    項３９、４０、又は４１に記載の複数映像の時空間統
    合、管理プログラムを記録したコンピュータ読み取り可
    能な記録媒体。
55. 【請求項５５】 前記ショット間関係算出過程では、前
    記撮影空間再合成過程で作成された各ショット毎の撮影
    空間に対して、撮影空間の間でそれらの大きさと位置が
    等しくなるように撮影空間を変換する、ことを特徴とす
    る請求項３９、４０、又は４１に記載の複数映像の時空
    間統合、管理プログラムを記録したコンピュータ読み取
    り可能な記録媒体。
56. 【請求項５６】 前記映像構造情報管理・蓄積過程は、
    前記抽出された被写体情報，撮影状態情報，背景情報，
    ショット間関係情報，映像データ、並びに撮影状態情
    報，背景情報，ショット間関係情報，及び映像データを
    用いて再合成された複数映像の撮影空間のすべて又はそ
    の一部をデータ圧縮し、時間空間的に管理・蓄積するこ
    と特徴とする請求項３９に記載の複数映像の時空間統
    合、管理プログラムを記録したコンピュータ読み取り可
    能な記録媒体。
57. 【請求項５７】 前記映像構造情報管理・蓄積過程は、
    前記抽出された被写体情報を空間に展開し、静止画像と
    してデータ圧縮し、再合成された複数映像の撮影空間を
    静止画像としてデータ圧縮することを特徴とする請求項
    ５６に記載の複数映像の時空間統合、管理プログラムを
    記録したコンピュータ読み取り可能な記録媒体。