JPH10224731A - 映像の時空間管理・表示・アクセス方法及び装置 - Google Patents
映像の時空間管理・表示・アクセス方法及び装置Info
- Publication number
- JPH10224731A JPH10224731A JP9021150A JP2115097A JPH10224731A JP H10224731 A JPH10224731 A JP H10224731A JP 9021150 A JP9021150 A JP 9021150A JP 2115097 A JP2115097 A JP 2115097A JP H10224731 A JPH10224731 A JP H10224731A
- Authority
- JP
- Japan
- Prior art keywords
- information
- space
- video
- time
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Studio Circuits (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
(57)【要約】
【課題】 複数映像を、時空間的にシームレスに自由に
見渡せ、効率よく直感的にアクセス、比較、検索、編集
できる方法及び装置を提供する。 【解決手段】 フォーマット識別部１０２は、入力映像
データのフォーマットの種類を識別する。フレーム画像
間空間情報抽出部１０３は、識別されたフォーマットデ
ータからフレーム画像間の空間情報を抽出する。また、
フレーム画像間時間情報抽出部１０４は、そのフォーマ
ットデータからフレーム画像間の時間情報を抽出する。
抽出された時間、空間情報は、情報添付部１０５にてフ
レーム画像に添付される。時空間管理部１０６は、この
添付情報に基づきフレーム画像を予め与えた時空間に統
合し、管理する。映像情報切り出し部１０８は、ユーザ
所望の映像情報に応じた管理空間の時空間情報に基づき
該当映像情報を管理空間から切り出し、映像情報写像部
１０９がその映像情報を２次元モニタに写像する。
見渡せ、効率よく直感的にアクセス、比較、検索、編集
できる方法及び装置を提供する。 【解決手段】 フォーマット識別部１０２は、入力映像
データのフォーマットの種類を識別する。フレーム画像
間空間情報抽出部１０３は、識別されたフォーマットデ
ータからフレーム画像間の空間情報を抽出する。また、
フレーム画像間時間情報抽出部１０４は、そのフォーマ
ットデータからフレーム画像間の時間情報を抽出する。
抽出された時間、空間情報は、情報添付部１０５にてフ
レーム画像に添付される。時空間管理部１０６は、この
添付情報に基づきフレーム画像を予め与えた時空間に統
合し、管理する。映像情報切り出し部１０８は、ユーザ
所望の映像情報に応じた管理空間の時空間情報に基づき
該当映像情報を管理空間から切り出し、映像情報写像部
１０９がその映像情報を２次元モニタに写像する。
Description
【０００１】
【発明の属する技術分野】本発明は、複数の映像の時空
間統合による新たな映像のデータベースとユーザインタ
フェースに関するものであり、特に複数映像の時空間管
理・表示・アクセス方法及び装置に関する。
間統合による新たな映像のデータベースとユーザインタ
フェースに関するものであり、特に複数映像の時空間管
理・表示・アクセス方法及び装置に関する。
【０００２】
【従来の技術】コンピュータの高性能化、ハードディス
クの大容量化、ビデオカメラの小型化とこれらの低価格
化に伴い、一般家庭へのそれらの普及が進んでいる。こ
れらの普及と共に、圧縮技術の確立、標準化により映像
のデジタル化が身近なものとなり、パーソナルコンピュ
ータでの映像の扱いが可能になってきた。ここで言う映
像の扱いとは、映像をデータベースから検索したり、編
集したり、加工したりすることである。本発明で対象と
する映像の扱いは、複数の映像を管理し、ユーザの目的
にかなう映像を、効率よく直感的に検索し、表示、アク
セスすることである。
クの大容量化、ビデオカメラの小型化とこれらの低価格
化に伴い、一般家庭へのそれらの普及が進んでいる。こ
れらの普及と共に、圧縮技術の確立、標準化により映像
のデジタル化が身近なものとなり、パーソナルコンピュ
ータでの映像の扱いが可能になってきた。ここで言う映
像の扱いとは、映像をデータベースから検索したり、編
集したり、加工したりすることである。本発明で対象と
する映像の扱いは、複数の映像を管理し、ユーザの目的
にかなう映像を、効率よく直感的に検索し、表示、アク
セスすることである。
【０００３】従来、映像の管理はテキスト同様にファイ
ルの形式で行われている。例えば、Ｗｉｎｄｏｗｓ９５
では、ＡＶＩフォーマットであり、Ｍａｃｉｎｔｏｓｈ
では、Ｑｕｉｃｋ ｔｉｍｅフォーマット等である。ま
た、ＭＰＥＧ１／２も一つの映像フォーマットであると
考えられる。一般的に映像フォーマットは、映像の属性
情報が含まれるヘッダー部と映像データを含むデータ部
から構成されている。テキストファイルの検索同様、ヘ
ッダーに含まれている属性情報等（作成日、画像サイ
ズ、名前等）で検索することは、従来のファイル管理の
枠組みで実現されている。また最近では、コンテントベ
ース（中身ベース）で映像を管理、検索する技術が多く
提案され、それらの技術をまとめた報告もある〔Ｐｈｉ
ｌｉｐｐｅＡｉｇｒａｉｎ，Ｈｏｎｇｊｉａｎｇ Ｚｈ
ａｎｇ ａｎｄ Ｄｒａｇｕｔｉｎ Ｐｅｔｋｏｖｉ
ｃ，“Ｃｏｎｔｅｎｔ−Ｂａｓｅｄ Ｒｅｐｒｅｓｅｎ
ｔａｔｉｏｎ ａｎｄ Ｒｅｔｒｉｅｖａｌ ｏｆ Ｖ
ｉｓｕａｌ Ｍｅｄｉａ：ＡＳｔａｔｅ−ｏｆ−ｔｈｅ
−Ａｒｔ Ｒｅｖｉｅｗ”，ＭｕｌｔｉｍｅｄｉａＴｏ
ｏｌｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ，Ｖｏｌ．
３，ｐｐ．１７９−２０２（１９９６）．〕。報告され
ている技術の枠組みは、映像・画像を処理し、選られた
特徴量に関して必要に応じて知識を用いてインデクス付
けを行い、付けられたインデクスの記述の抽象度に応じ
たユーザインタフェースで検索を支援するものである。
特に、映像のユーザインタフェースの報告として、Ｍ．
Ｍｉｌｌ他〔“Ａ Ｍａｇｎｉｆｉｅｒ Ｔｏｏｌ ｆ
ｏｒ Ｖｉｄｅｏ Ｄａｔａ”，Ｐｒｏｃｅｅｄｉｎｇ
ｓ ｏｆ ＣＨＩ’９２，ｐｐ．９３−９８（１９９
２）〕は、映像のフレームを時間解像度レベルに応じて
空間に配置し、粗い時間解像度から細かい時間解像度へ
と時間への新しい映像の見方、アクセススタイルを可能
にした報告をしている。また、Ｅ．Ｅｌｌｉｏｔ ａｎ
ｄ Ａ．Ｗ．Ｄａｖｉｓ：“Ｍｏｔｉｏｎ Ｉｍａｇｅ
Ｐｒｏｃｅｓｓｉｎｇ”，Ｓｔｒｉｋｉｎｇ Ｐｏｓ
ｓｉｂｉｌｉｔｉｅｓ，ＡＤＶＡＮＣＥＤ ＩＭＡＧＩ
ＮＧ，ＡＵＧＵＳＴ（１９９２）は、映像を画像（２次
元）＋時間（１次元）の３次元物体として表現し、映像
の時間情報の新しい表現方法の実現と時間情報への直感
的なアクセスを実現している。上記のユーザインタフェ
ースは、映像のブラウジングを実現したものであり、映
像をある手がかりでパラパラ見ることでユーザの欲しい
映像情報を提供するものである。
ルの形式で行われている。例えば、Ｗｉｎｄｏｗｓ９５
では、ＡＶＩフォーマットであり、Ｍａｃｉｎｔｏｓｈ
では、Ｑｕｉｃｋ ｔｉｍｅフォーマット等である。ま
た、ＭＰＥＧ１／２も一つの映像フォーマットであると
考えられる。一般的に映像フォーマットは、映像の属性
情報が含まれるヘッダー部と映像データを含むデータ部
から構成されている。テキストファイルの検索同様、ヘ
ッダーに含まれている属性情報等（作成日、画像サイ
ズ、名前等）で検索することは、従来のファイル管理の
枠組みで実現されている。また最近では、コンテントベ
ース（中身ベース）で映像を管理、検索する技術が多く
提案され、それらの技術をまとめた報告もある〔Ｐｈｉ
ｌｉｐｐｅＡｉｇｒａｉｎ，Ｈｏｎｇｊｉａｎｇ Ｚｈ
ａｎｇ ａｎｄ Ｄｒａｇｕｔｉｎ Ｐｅｔｋｏｖｉ
ｃ，“Ｃｏｎｔｅｎｔ−Ｂａｓｅｄ Ｒｅｐｒｅｓｅｎ
ｔａｔｉｏｎ ａｎｄ Ｒｅｔｒｉｅｖａｌ ｏｆ Ｖ
ｉｓｕａｌ Ｍｅｄｉａ：ＡＳｔａｔｅ−ｏｆ−ｔｈｅ
−Ａｒｔ Ｒｅｖｉｅｗ”，ＭｕｌｔｉｍｅｄｉａＴｏ
ｏｌｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ，Ｖｏｌ．
３，ｐｐ．１７９−２０２（１９９６）．〕。報告され
ている技術の枠組みは、映像・画像を処理し、選られた
特徴量に関して必要に応じて知識を用いてインデクス付
けを行い、付けられたインデクスの記述の抽象度に応じ
たユーザインタフェースで検索を支援するものである。
特に、映像のユーザインタフェースの報告として、Ｍ．
Ｍｉｌｌ他〔“Ａ Ｍａｇｎｉｆｉｅｒ Ｔｏｏｌ ｆ
ｏｒ Ｖｉｄｅｏ Ｄａｔａ”，Ｐｒｏｃｅｅｄｉｎｇ
ｓ ｏｆ ＣＨＩ’９２，ｐｐ．９３−９８（１９９
２）〕は、映像のフレームを時間解像度レベルに応じて
空間に配置し、粗い時間解像度から細かい時間解像度へ
と時間への新しい映像の見方、アクセススタイルを可能
にした報告をしている。また、Ｅ．Ｅｌｌｉｏｔ ａｎ
ｄ Ａ．Ｗ．Ｄａｖｉｓ：“Ｍｏｔｉｏｎ Ｉｍａｇｅ
Ｐｒｏｃｅｓｓｉｎｇ”，Ｓｔｒｉｋｉｎｇ Ｐｏｓ
ｓｉｂｉｌｉｔｉｅｓ，ＡＤＶＡＮＣＥＤ ＩＭＡＧＩ
ＮＧ，ＡＵＧＵＳＴ（１９９２）は、映像を画像（２次
元）＋時間（１次元）の３次元物体として表現し、映像
の時間情報の新しい表現方法の実現と時間情報への直感
的なアクセスを実現している。上記のユーザインタフェ
ースは、映像のブラウジングを実現したものであり、映
像をある手がかりでパラパラ見ることでユーザの欲しい
映像情報を提供するものである。
【０００４】また、空間をベースとした複数静止画像の
ユーザインタフェースとしては、ＡＰＰＬＥ ＣＯＭＰ
ＵＴＥＲがＱｕｉｃｋ Ｔｉｍｅ ＶＲを提案している
〔Ｓｈｅｎｃｈａｎｇ Ｅｒｉｃ Ｃｈｅｎ，“Ｑｕｉ
ｃｋ Ｔｉｍｅ ＶＲ−ＡｎＩｍａｇｅ−Ｂａｓｅｄ
Ａｐｐｒｏｃｈ ｔｏ Ｖｉｒｔｕａｌ Ｅｎｖｉｒｏ
ｎｍｅｎｔ Ｎａｖｉｇａｔｉｏｎ”，Ｃｏｍｐｕｔｅ
ｒ Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｅｄｉｎｇｓ，Ａｎ
ｎｕａｌ Ｃｏｎｆｅｒｅｎｃｅ Ｓｅｒｉｅｓ，ｐ
ｐ．２９−３８（１９９５）〕。複数毎の画像からパノ
ラマ画像を作成し、作成したパノラマ画像を一枚の画像
サイズのビューウィンドを通して、ユーザが自由に見渡
せるユーザインタフェースである。空間的にシームレス
に見渡せることで、直感的に複数枚の画像を把握支援す
ることを実現している。
ユーザインタフェースとしては、ＡＰＰＬＥ ＣＯＭＰ
ＵＴＥＲがＱｕｉｃｋ Ｔｉｍｅ ＶＲを提案している
〔Ｓｈｅｎｃｈａｎｇ Ｅｒｉｃ Ｃｈｅｎ，“Ｑｕｉ
ｃｋ Ｔｉｍｅ ＶＲ−ＡｎＩｍａｇｅ−Ｂａｓｅｄ
Ａｐｐｒｏｃｈ ｔｏ Ｖｉｒｔｕａｌ Ｅｎｖｉｒｏ
ｎｍｅｎｔ Ｎａｖｉｇａｔｉｏｎ”，Ｃｏｍｐｕｔｅ
ｒ Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｅｄｉｎｇｓ，Ａｎ
ｎｕａｌ Ｃｏｎｆｅｒｅｎｃｅ Ｓｅｒｉｅｓ，ｐ
ｐ．２９−３８（１９９５）〕。複数毎の画像からパノ
ラマ画像を作成し、作成したパノラマ画像を一枚の画像
サイズのビューウィンドを通して、ユーザが自由に見渡
せるユーザインタフェースである。空間的にシームレス
に見渡せることで、直感的に複数枚の画像を把握支援す
ることを実現している。
【０００５】
【発明が解決しようとする課題】ビデオカメラによる入
力が手軽になり、ネットワークを介した任意ユーザの映
像発信や、表示の形態も自由になる環境において、複数
の映像を空間、時間で統一的に扱いたいという要求が生
じる。ここでいう複数の映像とは、例えばスポーツ競技
場へ複数設置されたカメラからの複数の映像であると
か、同一イベントを複数の撮影者がそれぞれ撮影した映
像、一台のカメラで撮影した映像でも異なる選手の様子
を各々撮影した映像等である。また、扱うとは、複数の
映像を時空間シームレスで同時に効率よく直感的にアク
セスしたり、比較したり、検索、編集したりすることで
ある。
力が手軽になり、ネットワークを介した任意ユーザの映
像発信や、表示の形態も自由になる環境において、複数
の映像を空間、時間で統一的に扱いたいという要求が生
じる。ここでいう複数の映像とは、例えばスポーツ競技
場へ複数設置されたカメラからの複数の映像であると
か、同一イベントを複数の撮影者がそれぞれ撮影した映
像、一台のカメラで撮影した映像でも異なる選手の様子
を各々撮影した映像等である。また、扱うとは、複数の
映像を時空間シームレスで同時に効率よく直感的にアク
セスしたり、比較したり、検索、編集したりすることで
ある。
【０００６】しかしながら、複数の映像に対しては上記
の従来技術の報告等では、解決していない課題が存在す
る。従来のファイル形式の映像管理やコンテントベース
（中身ベース）での管理では、時空間シームレスで効率
よく直感的にアクセスしたり、比較したり、検索、編集
したりすることは不可能である。映像のコンテント中の
時空間に関する情報を管理していないためである。荒い
撮影場所のインデクスがついているケースも存在する
が、この情報もファイル単位の管理では複数の映像に対
して時空間シームレスな映像のユーザインタフェースは
実現できない。複数映像に跨り存在する撮影されている
もの（被写体）の時空間関係情報と統一的な管理が抜け
ているためである。また、Ｑｕｉｃｋ Ｔｉｍｅ ＶＲ
は、空間的にシームレスに見渡せるインタフェースを提
案しているが、静止画のユーザインタフェースであり、
動画像、複数の映像に関して実現できていない。現Ｑｕ
ｉｃｋ Ｔｉｍｅ ＶＲの技術だけでは、上記要求は実
現不可能である。動くパノラマ空間をシームレスに上下
左右自由な角度大きさで見渡せる複数映像のインタフェ
ースは実現できない。また、従来報告されている技術で
は、フォーマットの異なる複数映像を映像のコンテンツ
ベースで統一的に管理し、扱うことは不可能である。
の従来技術の報告等では、解決していない課題が存在す
る。従来のファイル形式の映像管理やコンテントベース
（中身ベース）での管理では、時空間シームレスで効率
よく直感的にアクセスしたり、比較したり、検索、編集
したりすることは不可能である。映像のコンテント中の
時空間に関する情報を管理していないためである。荒い
撮影場所のインデクスがついているケースも存在する
が、この情報もファイル単位の管理では複数の映像に対
して時空間シームレスな映像のユーザインタフェースは
実現できない。複数映像に跨り存在する撮影されている
もの（被写体）の時空間関係情報と統一的な管理が抜け
ているためである。また、Ｑｕｉｃｋ Ｔｉｍｅ ＶＲ
は、空間的にシームレスに見渡せるインタフェースを提
案しているが、静止画のユーザインタフェースであり、
動画像、複数の映像に関して実現できていない。現Ｑｕ
ｉｃｋ Ｔｉｍｅ ＶＲの技術だけでは、上記要求は実
現不可能である。動くパノラマ空間をシームレスに上下
左右自由な角度大きさで見渡せる複数映像のインタフェ
ースは実現できない。また、従来報告されている技術で
は、フォーマットの異なる複数映像を映像のコンテンツ
ベースで統一的に管理し、扱うことは不可能である。
【０００７】本発明の目的は、複数の映像から時空間情
報を自動抽出し、抽出した情報に基づいて画像のフレー
ム、ファイル、ファイルフォーマットの管理概念を超え
る映像の管理技術を実現することであり、これによる複
数の映像の動くパノラマ空間としての扱いとこの時空間
を用いた複数映像の時空間的にシームレスな上下左右自
由な角度大きさで見渡せ、同時に効率よく直感的に映像
情報へアクセスしたり、比較したり、検索、編集したり
することが可能な複数映像のインタフェースを実現する
複数映像の時空間管理・表示・アクセス方法及び装置を
提供することにある。
報を自動抽出し、抽出した情報に基づいて画像のフレー
ム、ファイル、ファイルフォーマットの管理概念を超え
る映像の管理技術を実現することであり、これによる複
数の映像の動くパノラマ空間としての扱いとこの時空間
を用いた複数映像の時空間的にシームレスな上下左右自
由な角度大きさで見渡せ、同時に効率よく直感的に映像
情報へアクセスしたり、比較したり、検索、編集したり
することが可能な複数映像のインタフェースを実現する
複数映像の時空間管理・表示・アクセス方法及び装置を
提供することにある。
【０００８】
【課題を解決するための手段】上記の目的を達成するた
めに、本発明による複数映像の時空間管理・表示・アク
セス装置は、複数の映像を時間、空間的に管理、表示、
アクセス可能にする装置であって、入力映像データのフ
ォーマットの種類を識別するフォーマット識別部と、前
記識別された映像データ列のフォーマットデータからフ
レーム画像間の空間情報を算出するフレーム画像間空間
情報抽出部と、前記識別された映像データ列のフォーマ
ットデータからフレーム画像間の時間情報を算出するフ
レーム画像間時間情報抽出部と、前記算出された時間、
空間情報を前記映像データ列のフレーム画像に添付する
情報添付部と、前記添付された情報に基づき前記フレー
ム画像を予め与えた時空間に統合し、管理する時空間管
理部と、ユーザの所望する映像情報に応じた前記管理時
空間の時空間情報に基づき該当する映像情報を前記管理
時空間から切り出す映像情報切り出し部と、前記切り出
された映像情報を２次元モニタに写像する映像情報写像
部と、を具備することを特徴とする。
めに、本発明による複数映像の時空間管理・表示・アク
セス装置は、複数の映像を時間、空間的に管理、表示、
アクセス可能にする装置であって、入力映像データのフ
ォーマットの種類を識別するフォーマット識別部と、前
記識別された映像データ列のフォーマットデータからフ
レーム画像間の空間情報を算出するフレーム画像間空間
情報抽出部と、前記識別された映像データ列のフォーマ
ットデータからフレーム画像間の時間情報を算出するフ
レーム画像間時間情報抽出部と、前記算出された時間、
空間情報を前記映像データ列のフレーム画像に添付する
情報添付部と、前記添付された情報に基づき前記フレー
ム画像を予め与えた時空間に統合し、管理する時空間管
理部と、ユーザの所望する映像情報に応じた前記管理時
空間の時空間情報に基づき該当する映像情報を前記管理
時空間から切り出す映像情報切り出し部と、前記切り出
された映像情報を２次元モニタに写像する映像情報写像
部と、を具備することを特徴とする。
【０００９】また、同じく本発明による複数映像の時空
間管理・表示・アクセス方法は、複数の映像を時間、空
間的に管理、表示、アクセス可能にする方法であって、
入力映像データのフォーマットの種類を識別する手順
と、前記識別された映像データ列のフォーマットデータ
からフレーム画像間の空間情報を算出する手順と、前記
識別された映像データ列のフォーマットデータからフレ
ーム画像間の時間情報を算出する手順と、前記算出され
た時間、空間情報を前記映像データ列のフレーム画像に
添付する手順と、前記添付された情報に基づき前記フレ
ーム画像を予め与えた時空間に統合し、管理する手順
と、ユーザの所望する映像情報に応じた前記管理時空間
の時空間情報に基づき該当する映像情報を前記管理時空
間から切り出す手順と、前記切り出された映像情報を２
次元モニタに写像する手順と、を具備することを特徴と
する。
間管理・表示・アクセス方法は、複数の映像を時間、空
間的に管理、表示、アクセス可能にする方法であって、
入力映像データのフォーマットの種類を識別する手順
と、前記識別された映像データ列のフォーマットデータ
からフレーム画像間の空間情報を算出する手順と、前記
識別された映像データ列のフォーマットデータからフレ
ーム画像間の時間情報を算出する手順と、前記算出され
た時間、空間情報を前記映像データ列のフレーム画像に
添付する手順と、前記添付された情報に基づき前記フレ
ーム画像を予め与えた時空間に統合し、管理する手順
と、ユーザの所望する映像情報に応じた前記管理時空間
の時空間情報に基づき該当する映像情報を前記管理時空
間から切り出す手順と、前記切り出された映像情報を２
次元モニタに写像する手順と、を具備することを特徴と
する。
【００１０】上記のような構成とすることで、複数の映
像から時空間情報を自動抽出し、抽出した時空間情報に
基づいて、それらの複数映像を予め与えた時空間に統合
して管理することにより、画像のフレーム、ファイル、
ファイルフォーマットの管理概念を超えた複数映像の管
理技術を実現する。また、この管理された時空間の時空
間情報に基づいてユーザの所望する映像をその時空間か
ら切り出すことにより、複数の映像の動くパノラマ空間
としての扱いと、この時空間を用いた複数映像の時空間
的にシームレスな上下左右自由な角度大きさでの見渡し
とを可能とし、複数の映像情報を、同時に効率よく直感
的にアクセスしたり、比較したり、検索、編集したりす
ることを可能にする。
像から時空間情報を自動抽出し、抽出した時空間情報に
基づいて、それらの複数映像を予め与えた時空間に統合
して管理することにより、画像のフレーム、ファイル、
ファイルフォーマットの管理概念を超えた複数映像の管
理技術を実現する。また、この管理された時空間の時空
間情報に基づいてユーザの所望する映像をその時空間か
ら切り出すことにより、複数の映像の動くパノラマ空間
としての扱いと、この時空間を用いた複数映像の時空間
的にシームレスな上下左右自由な角度大きさでの見渡し
とを可能とし、複数の映像情報を、同時に効率よく直感
的にアクセスしたり、比較したり、検索、編集したりす
ることを可能にする。
【００１１】
【発明の実施の形態】以下、本発明の実施形態例を、図
面を参照して詳細に説明する。
面を参照して詳細に説明する。
【００１２】図１に本発明による装置の一実施形態例の
構成図を、図２にその動作例であって、本発明による方
法の一実施形態例の手順の流れ図を示す。以下、これら
の構成図と流れ図に沿って、本実施形態例の各構成部及
び手法を説明する。
構成図を、図２にその動作例であって、本発明による方
法の一実施形態例の手順の流れ図を示す。以下、これら
の構成図と流れ図に沿って、本実施形態例の各構成部及
び手法を説明する。
【００１３】ビデオ信号はビデオ信号入力部１０１から
入力され（ビデオ信号入力手順２０１）、１０２のフォ
ーマット識別部において映像フォーマットの種類が判別
される（フォーマット識別手順２０２）。ここで判別さ
れる映像のフォーマットは、圧縮と非圧縮フォーマット
に大別できる。非圧縮フォーマットは、一般的にＲＧＢ
等の画像データを非圧縮でもつフォーマットであり、圧
縮フォーマットは、ＭＰＥＧ１／２に代表されるフォー
マットである。
入力され（ビデオ信号入力手順２０１）、１０２のフォ
ーマット識別部において映像フォーマットの種類が判別
される（フォーマット識別手順２０２）。ここで判別さ
れる映像のフォーマットは、圧縮と非圧縮フォーマット
に大別できる。非圧縮フォーマットは、一般的にＲＧＢ
等の画像データを非圧縮でもつフォーマットであり、圧
縮フォーマットは、ＭＰＥＧ１／２に代表されるフォー
マットである。
【００１４】次にフレーム画像間空間情報抽出部１０
３、フレーム画像間時間情報抽出部１０４において、上
記識別されたそれぞれのフォーマットデータから映像の
時空間情報を抽出する。以下、その手順を説明する。
３、フレーム画像間時間情報抽出部１０４において、上
記識別されたそれぞれのフォーマットデータから映像の
時空間情報を抽出する。以下、その手順を説明する。
【００１５】まず、フレーム画像、フレーム画像間の空
間情報の抽出手順を説明する。絶対空間情報照合手順２
０３では、絶対空間情報の照合を行う。絶対空間情報と
は、例えば緯度、経度、地名、都市名等の情報である。
カメラ等の画像入力系のデジタル化が進み、デジタルデ
ータを記録することが可能となってきた。デジタルカメ
ラの場合、画像データと共に露出等のプリントに必要な
データがフィルム面に記録されている。また、ＧＰＳ
（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｎｉｎｇ Ｓｙｓｔｅ
ｍ）の普及により場所の位置が特定可能である。ＧＰＳ
等の情報を含めて多くの情報が映像に付加される兆しが
ある。絶対空間情報照合手順２０３では、これら映像に
付加されている情報が記録されている場合、それらから
空間に関係する情報（緯度、経度等）を抽出し、予め与
えたデータベースの位置、場所のインデクスと照合し、
フレームに絶対空間情報としてインデクシングすること
を行う。同様に１０４のフレーム画像時間情報抽出部の
絶対時間情報照合手順２０７においても時間に関する情
報を抽出し、インデクス付けを行う。
間情報の抽出手順を説明する。絶対空間情報照合手順２
０３では、絶対空間情報の照合を行う。絶対空間情報と
は、例えば緯度、経度、地名、都市名等の情報である。
カメラ等の画像入力系のデジタル化が進み、デジタルデ
ータを記録することが可能となってきた。デジタルカメ
ラの場合、画像データと共に露出等のプリントに必要な
データがフィルム面に記録されている。また、ＧＰＳ
（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｎｉｎｇ Ｓｙｓｔｅ
ｍ）の普及により場所の位置が特定可能である。ＧＰＳ
等の情報を含めて多くの情報が映像に付加される兆しが
ある。絶対空間情報照合手順２０３では、これら映像に
付加されている情報が記録されている場合、それらから
空間に関係する情報（緯度、経度等）を抽出し、予め与
えたデータベースの位置、場所のインデクスと照合し、
フレームに絶対空間情報としてインデクシングすること
を行う。同様に１０４のフレーム画像時間情報抽出部の
絶対時間情報照合手順２０７においても時間に関する情
報を抽出し、インデクス付けを行う。
【００１６】次に、フレーム画像間の空間的な関係付け
情報の算出を行う。２０４の対応算出手順において、フ
レーム画像間で対応付けを行うが、画像間の対応付けと
して、画像の内の点と点を対応付ける方法や、画像内の
小領域と小領域を対応付ける方法等がある。フレーム画
像間から算出した動きベクトルも、一つの対応付けと考
えられる。ＭＰＥＧ１／２に代表される符号化方式で
は、そのアルゴリズムの中に動き補償部が含まれてお
り、この動き補償を行うためにフレーム間の動きベクト
ルを算出している。また、この動きベクトル情報は圧縮
画像データの中に含まれている。１０２のフォーマット
識別部においてＭＰＥＧ１／２等の予測符号化方式によ
る圧縮フォーマットと識別された場合、圧縮データを復
号する過程で動きベクトルが算出可能であり、この動き
ベクトルを持ってフレーム画像間の対応付け情報とする
ことが可能である。ただこの場合、動き補償データから
抽出した動きベクトル情報は、圧縮の為に用いられてい
る情報であるために、真の動きを反映していない部分を
含むと考えられる。このため時間的に連続する複数のフ
レーム間で抽出した動きベクトルにフィルタ処理を施
し、真の動きに反映した動きベクトルを選別することも
行う。このフィルタ処理としては、例えば、“時間的に
連続する動きは滑らかに変化する”の条件を満たす動き
情報を選別する処理等である。
情報の算出を行う。２０４の対応算出手順において、フ
レーム画像間で対応付けを行うが、画像間の対応付けと
して、画像の内の点と点を対応付ける方法や、画像内の
小領域と小領域を対応付ける方法等がある。フレーム画
像間から算出した動きベクトルも、一つの対応付けと考
えられる。ＭＰＥＧ１／２に代表される符号化方式で
は、そのアルゴリズムの中に動き補償部が含まれてお
り、この動き補償を行うためにフレーム間の動きベクト
ルを算出している。また、この動きベクトル情報は圧縮
画像データの中に含まれている。１０２のフォーマット
識別部においてＭＰＥＧ１／２等の予測符号化方式によ
る圧縮フォーマットと識別された場合、圧縮データを復
号する過程で動きベクトルが算出可能であり、この動き
ベクトルを持ってフレーム画像間の対応付け情報とする
ことが可能である。ただこの場合、動き補償データから
抽出した動きベクトル情報は、圧縮の為に用いられてい
る情報であるために、真の動きを反映していない部分を
含むと考えられる。このため時間的に連続する複数のフ
レーム間で抽出した動きベクトルにフィルタ処理を施
し、真の動きに反映した動きベクトルを選別することも
行う。このフィルタ処理としては、例えば、“時間的に
連続する動きは滑らかに変化する”の条件を満たす動き
情報を選別する処理等である。
【００１７】一方、動きベクトル等の情報含まない非圧
縮フォーマットの映像に対して対応付けを行う処理につ
いて説明する。例として、フレーム間の動きベクトルと
して対応付ける方法を説明する。フレーム画像間の点と
点を対応付ける動きベクトルを算出する方法は勾配法と
呼ばれ、Ｈｏｒｎ Ｂ．Ｋ．Ｐ．等によって提案されて
いる〔Ｈｏｒｎ Ｂ．Ｋ．Ｐ．ａｎｄ Ｂ．Ｇ．Ｓｃｈ
ｕｎｋ，“Ｄｅｔｅｒｍｉｎｉｎｇ ｐｒｉｃａｌ ｆ
ｌｏｗ”，ＡＩ Ｍｅｍｏ ５７２，ＡＩ Ｌａｂ．Ｍ
ＩＴ，Ａｐｒｉｌ １９８０〕。時空間的に隣接する画
素の値の差を基にして、前フレーム画像の画素の値との
差を、“動きは時空間的に滑らかである”の拘束条件で
評価し、動きベクトルを算出する方法である。また、フ
レーム画像の小領域（ブロック）での対応付けの動きベ
クトル算出方法としてブロックマッチング法が一般的で
ある。この方法は、例えばＬ×Ｌのブロックをテンプレ
ートとして、似たブロックが前フレーム中にないか適当
な探索範囲の中を動かし、もっとも誤差の小さいときの
ずれを動きベクトルとする方法である。
縮フォーマットの映像に対して対応付けを行う処理につ
いて説明する。例として、フレーム間の動きベクトルと
して対応付ける方法を説明する。フレーム画像間の点と
点を対応付ける動きベクトルを算出する方法は勾配法と
呼ばれ、Ｈｏｒｎ Ｂ．Ｋ．Ｐ．等によって提案されて
いる〔Ｈｏｒｎ Ｂ．Ｋ．Ｐ．ａｎｄ Ｂ．Ｇ．Ｓｃｈ
ｕｎｋ，“Ｄｅｔｅｒｍｉｎｉｎｇ ｐｒｉｃａｌ ｆ
ｌｏｗ”，ＡＩ Ｍｅｍｏ ５７２，ＡＩ Ｌａｂ．Ｍ
ＩＴ，Ａｐｒｉｌ １９８０〕。時空間的に隣接する画
素の値の差を基にして、前フレーム画像の画素の値との
差を、“動きは時空間的に滑らかである”の拘束条件で
評価し、動きベクトルを算出する方法である。また、フ
レーム画像の小領域（ブロック）での対応付けの動きベ
クトル算出方法としてブロックマッチング法が一般的で
ある。この方法は、例えばＬ×Ｌのブロックをテンプレ
ートとして、似たブロックが前フレーム中にないか適当
な探索範囲の中を動かし、もっとも誤差の小さいときの
ずれを動きベクトルとする方法である。
【００１８】フレーム画像から動きベクトルを直接用い
ずにフレーム対応関係を算出する方法として、映像投影
法がある〔阿久津他，“投影法を用いた映像の解析方法
と映像ハンドリングへの応用”，電子情報通信学会論文
詩Ｄ−ＩＩ，Ｖｏｌ．Ｊ７９−Ｄ−ＩＩ，Ｎｏ．５，ｐ
ｐ．６７５−６８６，１９９６〕。２次元の映像を縦横
２つもしくは複数の１次元データへ射影し、１次元情報
としてフレーム間の対応を算出する方法である。この方
法は、時空間のノイズに対してロバストであり、処理コ
ストの軽減の点で優れた方法である。
ずにフレーム対応関係を算出する方法として、映像投影
法がある〔阿久津他，“投影法を用いた映像の解析方法
と映像ハンドリングへの応用”，電子情報通信学会論文
詩Ｄ−ＩＩ，Ｖｏｌ．Ｊ７９−Ｄ−ＩＩ，Ｎｏ．５，ｐ
ｐ．６７５−６８６，１９９６〕。２次元の映像を縦横
２つもしくは複数の１次元データへ射影し、１次元情報
としてフレーム間の対応を算出する方法である。この方
法は、時空間のノイズに対してロバストであり、処理コ
ストの軽減の点で優れた方法である。
【００１９】以上説明した方法で、フレーム画像間の対
応関係を算出できる。フレーム画像間で対応関係を算出
する場合、フレーム画像間で共通の被写体が撮影されて
いる必要性がある。先に照合しインデクス付けをした絶
対空間、絶対時間情報を用いて絶対時空間的に共通する
映像を予め選別し、対応関係を算出することで処理の効
率化が図れる。また、ショット（時空間的に連続するフ
レーム画像群）の特徴を生かすことで対応関係の算出の
高速化も図れる。例えば、ショット内の画像は時空間的
に連続している特徴を有するため、前に求めた動きベク
トルを参考に次に算出する動きベクトルの探索範囲を制
限すること等である。
応関係を算出できる。フレーム画像間で対応関係を算出
する場合、フレーム画像間で共通の被写体が撮影されて
いる必要性がある。先に照合しインデクス付けをした絶
対空間、絶対時間情報を用いて絶対時空間的に共通する
映像を予め選別し、対応関係を算出することで処理の効
率化が図れる。また、ショット（時空間的に連続するフ
レーム画像群）の特徴を生かすことで対応関係の算出の
高速化も図れる。例えば、ショット内の画像は時空間的
に連続している特徴を有するため、前に求めた動きベク
トルを参考に次に算出する動きベクトルの探索範囲を制
限すること等である。
【００２０】次に、２０５の入力系モデルの推定手順を
説明する。先に算出した複数個の動きベクトルを、カメ
ラの入力系のモデルで表す事を試みる。入力系のモデル
とは、カメラ操作による映像中の動きのモデルのことで
あり、以下の式で表す。
説明する。先に算出した複数個の動きベクトルを、カメ
ラの入力系のモデルで表す事を試みる。入力系のモデル
とは、カメラ操作による映像中の動きのモデルのことで
あり、以下の式で表す。
【００２１】ｕ（ｘ’，ｙ’）＝（ａ０＋ａ１ｘ＋ａ２
ｙ）／（ａ６ｘ＋ａ７ｙ＋１）， ｖ（ｘ’，ｙ’）＝（ａ３＋ａ４ｘ＋ａ５ｙ）／（ａ６
ｘ＋ａ７ｙ＋１）。
ｙ）／（ａ６ｘ＋ａ７ｙ＋１）， ｖ（ｘ’，ｙ’）＝（ａ３＋ａ４ｘ＋ａ５ｙ）／（ａ６
ｘ＋ａ７ｙ＋１）。
【００２２】この８つのパラメータで入力モデルを表
す。この式が近似できる入力系のモデル（カメラ操作モ
デル）は、カメラ中心投影位置の移動の無い操作である
（映像中の動き情報に撮影空間の３次元情報を含まない
もの）。すなわち１ショット内のフレーム画像間におい
て近似可能である。上記の式を線形和で近似することで
最小２乗法を用いて比較的容易に複数の対応関係情報か
らパラメータを算出することが可能である。線形和での
近似は、上記式を以下のようにテーラー展開し、高次項
を無視することで実現できる。
す。この式が近似できる入力系のモデル（カメラ操作モ
デル）は、カメラ中心投影位置の移動の無い操作である
（映像中の動き情報に撮影空間の３次元情報を含まない
もの）。すなわち１ショット内のフレーム画像間におい
て近似可能である。上記の式を線形和で近似することで
最小２乗法を用いて比較的容易に複数の対応関係情報か
らパラメータを算出することが可能である。線形和での
近似は、上記式を以下のようにテーラー展開し、高次項
を無視することで実現できる。
【００２３】ｕ（ｘ’，ｙ’）＝ａ０＋ａ１ｘ＋ａ２ｙ
＋ａ３ｘｙ＋ａ４ｘ2＋ａ５ｙ2…， ｖ（ｘ’，ｙ’）＝ｂ０＋ｂ１ｘ＋ｂ２ｙ＋ｂ３ｘｙ＋
ｂ４ｘ2＋ｂ５ｙ2…。
＋ａ３ｘｙ＋ａ４ｘ2＋ａ５ｙ2…， ｖ（ｘ’，ｙ’）＝ｂ０＋ｂ１ｘ＋ｂ２ｙ＋ｂ３ｘｙ＋
ｂ４ｘ2＋ｂ５ｙ2…。
【００２４】上式の２次項を無視することで、以下のバ
イリニアの変換モデルで近似することができる。
イリニアの変換モデルで近似することができる。
【００２５】 ｕ（ｘ’，ｙ’）＝ａ０＋ａ１ｘ＋ａ２ｙ＋ａ３ｘｙ， ｖ（ｘ’，ｙ’）＝ｂ０＋ｂ１ｘ＋ｂ２ｙ＋ｂ３ｘｙ。
【００２６】ここで、Ｙ＝（ｘ’，ｙ’），
【００２７】
【数１】
【００２８】Ａ＝（ａ０，ａ１，ａ２，ａ３，ｂ０，ｂ
１，ｂ２，ｂ３）と表すと、Ｙ＝ＸＡ＋Ｅと上式は書き
直せる。Ｅは誤差である。Ｅ2を最小にするＡが算出す
るパラメータである。Ｅ2をＥtＥと書き換えると、 ＥtＥ＝（Ｙ−ＸＡ）t（Ｙ−ＸＡ）＝ＹtＹ−２ＡtＸt
Ｙ＋ＡtＸtＸＡ、 で表せる。この式をＡで微分し、微分計数を０とおく
と、 ＸtＸＡ−ＸtＹ＝０、 であり、これより、 Ａ＝（ＸtＸ）-1ＸtＹ＝ＸjＹ、 で表せ、Ｘjを算出することでパラメータを推定するこ
とができる。
１，ｂ２，ｂ３）と表すと、Ｙ＝ＸＡ＋Ｅと上式は書き
直せる。Ｅは誤差である。Ｅ2を最小にするＡが算出す
るパラメータである。Ｅ2をＥtＥと書き換えると、 ＥtＥ＝（Ｙ−ＸＡ）t（Ｙ−ＸＡ）＝ＹtＹ−２ＡtＸt
Ｙ＋ＡtＸtＸＡ、 で表せる。この式をＡで微分し、微分計数を０とおく
と、 ＸtＸＡ−ＸtＹ＝０、 であり、これより、 Ａ＝（ＸtＸ）-1ＸtＹ＝ＸjＹ、 で表せ、Ｘjを算出することでパラメータを推定するこ
とができる。
【００２９】また、先に記述した時空間投影法を用い
て、Ｈｏｕｇｈ空間へ対応関係を投票することで、簡単
な入力モデルのパラメータを容易に算出できる。
て、Ｈｏｕｇｈ空間へ対応関係を投票することで、簡単
な入力モデルのパラメータを容易に算出できる。
【００３０】超低ビットレート映像符号化を実現する一
つのアプローチとしてグローバルな動き補償がある。フ
レーム間を補償するときにフレーム全体を覆うグローバ
ルな動き（カメラ操作による動き等）を用いる方法であ
る。この符号化データを入力映像データとした場合、復
号の過程で入力系モデルパラメータの抽出が可能であ
る。フレーム毎に付加せれているパラメータを任意のフ
レーム画像を基準に以下の演算で相対的な入力系モデル
パラメータの算出が可能である。フレーム画像毎の変換
モデルパラメータをＭt,t=0〜nとすると基準をＭ0とし
た場合ｎフレーム目の変換モデルパラメータは、 Ｍn＝Ｍn-1Ｍn-2…Ｍ0、 である。
つのアプローチとしてグローバルな動き補償がある。フ
レーム間を補償するときにフレーム全体を覆うグローバ
ルな動き（カメラ操作による動き等）を用いる方法であ
る。この符号化データを入力映像データとした場合、復
号の過程で入力系モデルパラメータの抽出が可能であ
る。フレーム毎に付加せれているパラメータを任意のフ
レーム画像を基準に以下の演算で相対的な入力系モデル
パラメータの算出が可能である。フレーム画像毎の変換
モデルパラメータをＭt,t=0〜nとすると基準をＭ0とし
た場合ｎフレーム目の変換モデルパラメータは、 Ｍn＝Ｍn-1Ｍn-2…Ｍ0、 である。
【００３１】以上説明した入力モデルは、時間的に連続
なフレーム間（ショット内の隣接するフレーム画像間）
からの算出であった。
なフレーム間（ショット内の隣接するフレーム画像間）
からの算出であった。
【００３２】次に、２０６の被写体モデル推定手順にお
いて被写体の抽出を行う。同じ被写体を違った角度で撮
影した映像間でも、対応算出手順２０４で対応関係情報
が算出される。この対応関係情報には、撮影空間の３次
元情報（被写体位置、構造情報）が含まれている。この
対応関係情報から基本的に三角測量の原理を用いて視差
が算出でき、撮影空間の３次元情報（被写体位置、構造
情報）が算出可能である。算出された３次元情報は、一
つの被写体情報であり、後の情報添付部１０５でフレー
ム画像に添付される情報である。また、フレーム画像か
ら空間的な特徴量（色、テクスチャ、エッジ、線分、動
き３次元情報等）を抽出し、予め与えた被写体の特徴と
照合し抽出も行う。まず色情報は、色差情報のヒストグ
ラム分布等で特徴付けられる。例えば、ＭＰＥＧ１／２
等の離散コサイン変換＋動き補償を基本とする符号化デ
ータは、輝度信号と色差信号とに画素当たりの画像デー
タを分け符号化している。この色差信号のヒストグラム
分布をとることで、色の特徴量とすることができる。ま
た、テクスチャ、エッジ、線分等の特徴量は、離散コサ
イン変換で変換された画像の空間周波数計数で表せる。
入力系モデル推定手順２０５で算出した入力モデルのパ
ラメータを用いて前フレームからの差分を算出すること
で、カメラ操作による動き以外の被写体による動き情報
を算出する。上記のように算出した被写体の特徴量をｎ
次元ベクトルＨで表し、予め与えた被写体の特徴ベクト
ルＨｔとの距離を算出して照合をとる。算出する距離と
しては、ユークリット距離、重み付きユークリット距離
等である。被写体候補として抽出された画像領域を基本
的な図形（円、楕円、四角形、矩形等）で近似表現する
ことで、被写体をモデル化する。近似するための図形と
個数を予め与え、領域を最大限含む図形パラメータとし
て表現する。
いて被写体の抽出を行う。同じ被写体を違った角度で撮
影した映像間でも、対応算出手順２０４で対応関係情報
が算出される。この対応関係情報には、撮影空間の３次
元情報（被写体位置、構造情報）が含まれている。この
対応関係情報から基本的に三角測量の原理を用いて視差
が算出でき、撮影空間の３次元情報（被写体位置、構造
情報）が算出可能である。算出された３次元情報は、一
つの被写体情報であり、後の情報添付部１０５でフレー
ム画像に添付される情報である。また、フレーム画像か
ら空間的な特徴量（色、テクスチャ、エッジ、線分、動
き３次元情報等）を抽出し、予め与えた被写体の特徴と
照合し抽出も行う。まず色情報は、色差情報のヒストグ
ラム分布等で特徴付けられる。例えば、ＭＰＥＧ１／２
等の離散コサイン変換＋動き補償を基本とする符号化デ
ータは、輝度信号と色差信号とに画素当たりの画像デー
タを分け符号化している。この色差信号のヒストグラム
分布をとることで、色の特徴量とすることができる。ま
た、テクスチャ、エッジ、線分等の特徴量は、離散コサ
イン変換で変換された画像の空間周波数計数で表せる。
入力系モデル推定手順２０５で算出した入力モデルのパ
ラメータを用いて前フレームからの差分を算出すること
で、カメラ操作による動き以外の被写体による動き情報
を算出する。上記のように算出した被写体の特徴量をｎ
次元ベクトルＨで表し、予め与えた被写体の特徴ベクト
ルＨｔとの距離を算出して照合をとる。算出する距離と
しては、ユークリット距離、重み付きユークリット距離
等である。被写体候補として抽出された画像領域を基本
的な図形（円、楕円、四角形、矩形等）で近似表現する
ことで、被写体をモデル化する。近似するための図形と
個数を予め与え、領域を最大限含む図形パラメータとし
て表現する。
【００３３】次に、１０４のフレーム画像間時間情報抽
出部の処理手順について説明する。２０８の入力系モデ
ルの時間変化算出手順では、先に入力系モデル推定手順
２０５で算出した入力モデルの時間差分を算出する。こ
の時、絶対時間情報照合手順２０７でインデクシングし
た時間情報等から、時間的に連続するモデルの差分をと
る。すなわち、ショット内での入力モデルパラメータの
時間変化を算出することである。時間的に連続するパラ
メータの差分情報等である。
出部の処理手順について説明する。２０８の入力系モデ
ルの時間変化算出手順では、先に入力系モデル推定手順
２０５で算出した入力モデルの時間差分を算出する。こ
の時、絶対時間情報照合手順２０７でインデクシングし
た時間情報等から、時間的に連続するモデルの差分をと
る。すなわち、ショット内での入力モデルパラメータの
時間変化を算出することである。時間的に連続するパラ
メータの差分情報等である。
【００３４】２０８の入力系モデル時間変化算出手順で
算出された時間変化量を用いて、２０９の多項式近似手
順で時間変化を多項式近似する。上記説明したパラメー
タでは、 Ａ（ｔ）＝（ａ０（ｔ），ａ１（ｔ），ａ２（ｔ），ａ
３（ｔ），ｂ０（ｔ），ｂ１（ｔ），ｂ２（ｔ），ｂ３
（ｔ））、 と表せる。ここで、ａi（ｔ），ｂi（ｔ），（ｉ＝０〜
３）を、 ａi（ｔ）＝Σａikｘk，ｂi（ｔ）＝Σｂikｘk で近似することを行う。多項式での近似は、カメラ操作
が滑らかに行われていることを前提としている。最小２
乗法を用いて容易に近似可能である。被写体モデルの時
間変化の算出手順２１０では、被写体モデルを記述した
基本的な図形パラメータの隣接する時間での変化量を算
出する。
算出された時間変化量を用いて、２０９の多項式近似手
順で時間変化を多項式近似する。上記説明したパラメー
タでは、 Ａ（ｔ）＝（ａ０（ｔ），ａ１（ｔ），ａ２（ｔ），ａ
３（ｔ），ｂ０（ｔ），ｂ１（ｔ），ｂ２（ｔ），ｂ３
（ｔ））、 と表せる。ここで、ａi（ｔ），ｂi（ｔ），（ｉ＝０〜
３）を、 ａi（ｔ）＝Σａikｘk，ｂi（ｔ）＝Σｂikｘk で近似することを行う。多項式での近似は、カメラ操作
が滑らかに行われていることを前提としている。最小２
乗法を用いて容易に近似可能である。被写体モデルの時
間変化の算出手順２１０では、被写体モデルを記述した
基本的な図形パラメータの隣接する時間での変化量を算
出する。
【００３５】１０５の情報添付部では、上記したフレー
ム画像間の空間的な情報と時間的な情報をそれぞれの階
層（解像度）に応じて画素単位、フレーム単位、ショッ
ト単位等で階層的にそれぞれ添付する（情報添付手順２
１１）。例えば、被写体の情報は画素単位で添付され、
入力系のモデルに関する情報はフレーム単位で添付され
る。また、入力モデルの時間変化モデルはショット単位
で添付する。ショットを跨ぐフレーム画像間では、抽出
した情報と共に対象としたお互いのフレームＩＤ等の情
報も同時に添付される。
ム画像間の空間的な情報と時間的な情報をそれぞれの階
層（解像度）に応じて画素単位、フレーム単位、ショッ
ト単位等で階層的にそれぞれ添付する（情報添付手順２
１１）。例えば、被写体の情報は画素単位で添付され、
入力系のモデルに関する情報はフレーム単位で添付され
る。また、入力モデルの時間変化モデルはショット単位
で添付する。ショットを跨ぐフレーム画像間では、抽出
した情報と共に対象としたお互いのフレームＩＤ等の情
報も同時に添付される。
【００３６】抽出された情報が添付されたフレーム画像
の時空間管理に関して次に説明する。複数映像の時間、
空間による管理は、１０６の時空間管理部で行う。時空
間管理部１０６ではまず、ユーザ入力部１０７から入力
されたユーザからの時間、場所等に関する情報を受け取
る。受け取った時間Ｔu、空間の情報Ｓuをキーワードと
してフレーム画像に添付されている絶対時間Ｔ、絶対空
間Ｓのインデクスと照合を行う。照合は、 ｜Ｓ−Ｓu｜＜ｅs，｜Ｔu−Ｔ｜＜ｅt、 で行う。ここで、ｅs、ｅtはユーザが予め与えた定数で
ある。
の時空間管理に関して次に説明する。複数映像の時間、
空間による管理は、１０６の時空間管理部で行う。時空
間管理部１０６ではまず、ユーザ入力部１０７から入力
されたユーザからの時間、場所等に関する情報を受け取
る。受け取った時間Ｔu、空間の情報Ｓuをキーワードと
してフレーム画像に添付されている絶対時間Ｔ、絶対空
間Ｓのインデクスと照合を行う。照合は、 ｜Ｓ−Ｓu｜＜ｅs，｜Ｔu−Ｔ｜＜ｅt、 で行う。ここで、ｅs、ｅtはユーザが予め与えた定数で
ある。
【００３７】次に、２１２の写像手順によって照合され
たフレーム画像に対して、複数のフレーム画像を時空間
的に統合管理する時空間へ写像する。統合管理する空間
としては円柱、球等の空間がある。先に抽出した空間情
報を用いて複数のフレーム画像を円柱面へ投影した例を
図３に示す。３０１が投影する円柱面を上から見た図で
ある。３０２，３０３が写像するフレーム画像である。
円柱の半径が撮影したときの焦点距離ｆで円柱中心ｏが
カメラの投影中心である。図３に示したフレーム画像の
例は、カメラの焦点距離、位置固定でカメラの首を振っ
て（パンニング、チルティングカメラ操作）撮影された
映像である。図中に示すように、円柱面部分３０４，３
０５に、フレーム画像３０２，３０３は写像される。焦
点距離の違うフレーム画像は、円柱の半径の違う円柱へ
写像され、カメラ位置の異なるフレーム画像は、円柱の
中心の異なる円柱へそれぞれ写像される。円柱面の座標
値を（ｘ，ｙ，ｚ）で表すと、円柱面での値Ｓ（ｘ，
ｙ，ｚ）は、写像されたフレームの画像値であり、Ｓ
は、絶対時間の関数である。複数のフレーム画像点が円
柱面の同一点へ写像された場合のＳ値は、写像された画
像値の平均値とする。
たフレーム画像に対して、複数のフレーム画像を時空間
的に統合管理する時空間へ写像する。統合管理する空間
としては円柱、球等の空間がある。先に抽出した空間情
報を用いて複数のフレーム画像を円柱面へ投影した例を
図３に示す。３０１が投影する円柱面を上から見た図で
ある。３０２，３０３が写像するフレーム画像である。
円柱の半径が撮影したときの焦点距離ｆで円柱中心ｏが
カメラの投影中心である。図３に示したフレーム画像の
例は、カメラの焦点距離、位置固定でカメラの首を振っ
て（パンニング、チルティングカメラ操作）撮影された
映像である。図中に示すように、円柱面部分３０４，３
０５に、フレーム画像３０２，３０３は写像される。焦
点距離の違うフレーム画像は、円柱の半径の違う円柱へ
写像され、カメラ位置の異なるフレーム画像は、円柱の
中心の異なる円柱へそれぞれ写像される。円柱面の座標
値を（ｘ，ｙ，ｚ）で表すと、円柱面での値Ｓ（ｘ，
ｙ，ｚ）は、写像されたフレームの画像値であり、Ｓ
は、絶対時間の関数である。複数のフレーム画像点が円
柱面の同一点へ写像された場合のＳ値は、写像された画
像値の平均値とする。
【００３８】次に２１３の内挿手順で、上記写像した時
空間の内挿を行う。この内挿手順２１３は、時間方向へ
の内挿と空間の内挿をそれぞれ行う。内挿したい点の周
辺に写像された点が存在した場合、内挿を行うことが可
能である。内挿方法として、内挿したい点に最も近い写
像点のデータを求めるデータとする最近隣内挿法、内挿
したい点の周囲の写像点４点を用いる供１次内挿法、内
挿したい点の周囲の写像点１６点を用いる３次畳み込み
内挿法等を用いて行う。内挿が完了した時空間の各点に
上記で算出した時空間情報を写像、内挿情報等の画像デ
ータと共に管理する（付加情報管理手順２１４）。
空間の内挿を行う。この内挿手順２１３は、時間方向へ
の内挿と空間の内挿をそれぞれ行う。内挿したい点の周
辺に写像された点が存在した場合、内挿を行うことが可
能である。内挿方法として、内挿したい点に最も近い写
像点のデータを求めるデータとする最近隣内挿法、内挿
したい点の周囲の写像点４点を用いる供１次内挿法、内
挿したい点の周囲の写像点１６点を用いる３次畳み込み
内挿法等を用いて行う。内挿が完了した時空間の各点に
上記で算出した時空間情報を写像、内挿情報等の画像デ
ータと共に管理する（付加情報管理手順２１４）。
【００３９】時空間管理部１０６で管理された時空間か
らユーザの入力に応じて映像情報を出力する方法につい
て次に説明する。図４に映像情報切り出し部１０８と映
像情報写像部１０９での手順の様子を示す。円柱面４０
１に写像されたフレーム画像４０２，４０３に対してユ
ーザは、視野角４０４で映像情報を得る事とする。この
視野角４０４は、映像を表示するモニタ（ウィンド）の
サイズで予め決定されるものである。今、ユーザが円柱
の中心ｏから時空間のフレーム画像を４０４の視野角で
見た場合、時空間から切り出す映像情報の座標値は、そ
の視野角との交点４０５，４０６の座標値である。ユー
ザの視点方向が決定すれば、視野角４０４と焦点距離ｆ
とから一意に算出できる（座標値算出手順２１５）。
らユーザの入力に応じて映像情報を出力する方法につい
て次に説明する。図４に映像情報切り出し部１０８と映
像情報写像部１０９での手順の様子を示す。円柱面４０
１に写像されたフレーム画像４０２，４０３に対してユ
ーザは、視野角４０４で映像情報を得る事とする。この
視野角４０４は、映像を表示するモニタ（ウィンド）の
サイズで予め決定されるものである。今、ユーザが円柱
の中心ｏから時空間のフレーム画像を４０４の視野角で
見た場合、時空間から切り出す映像情報の座標値は、そ
の視野角との交点４０５，４０６の座標値である。ユー
ザの視点方向が決定すれば、視野角４０４と焦点距離ｆ
とから一意に算出できる（座標値算出手順２１５）。
【００４０】図５に映像を管理する時空間に複数の円柱
面が存在した場合の座標値算出手順２１５を示す。図４
の場合と同様にユーザが円柱の中心ｏから時空間のフレ
ーム画像を視野角５０６で見た場合、時空間から切り出
す映像情報の座標値は、円柱面５０１では視野角との交
点５０７，５０８の座標値であり、円柱面５０２では視
野角との交点５０９の座標値である。それぞれのフレー
ム画像は、５０３，５０４，５０５である。ユーザが入
力した空間の範囲５１０で複数の座標値が算出される。
面が存在した場合の座標値算出手順２１５を示す。図４
の場合と同様にユーザが円柱の中心ｏから時空間のフレ
ーム画像を視野角５０６で見た場合、時空間から切り出
す映像情報の座標値は、円柱面５０１では視野角との交
点５０７，５０８の座標値であり、円柱面５０２では視
野角との交点５０９の座標値である。それぞれのフレー
ム画像は、５０３，５０４，５０５である。ユーザが入
力した空間の範囲５１０で複数の座標値が算出される。
【００４１】上記で算出された座標値から次の１０９の
映像情報写像部でモニタ（ウィンド）の２次元座標値を
算出する（２次元座標値算出手順２１７）。この場合、
図６に示した６０４，６０５，６０６が同一の座標値を
有する画像部分である。画像部分６０４ではフレーム画
像６０１と６０３、画像部分６０５ではフレーム画像６
０１，６０２と６０３、画像部分６０６ではフレーム画
像６０１と６０２がそれぞれ重なり合う。２１６の選別
手順は、重なり合う画像データからユーザの要求に応じ
て画像データを選別もしくは合成するものである。選別
方法は、ユーザの空間の指定や時間の指定と照合し選別
し、合成は画像データの平均や重み付き平均等である。
映像情報写像部でモニタ（ウィンド）の２次元座標値を
算出する（２次元座標値算出手順２１７）。この場合、
図６に示した６０４，６０５，６０６が同一の座標値を
有する画像部分である。画像部分６０４ではフレーム画
像６０１と６０３、画像部分６０５ではフレーム画像６
０１，６０２と６０３、画像部分６０６ではフレーム画
像６０１と６０２がそれぞれ重なり合う。２１６の選別
手順は、重なり合う画像データからユーザの要求に応じ
て画像データを選別もしくは合成するものである。選別
方法は、ユーザの空間の指定や時間の指定と照合し選別
し、合成は画像データの平均や重み付き平均等である。
【００４２】座標値算出手順２１５で算出された座標値
を、映像情報写像手順における２次元座標値算出手順２
１７において、図６に示した様な２次元空間へ写像した
座標値を算出する。算出された２次元空間の座標値に基
づいて、表示部１１０は、映像情報表示手順２１８によ
り先の選別手順２１６で選別した画像データを表示す
る。通常２次元空間（モニタ、ウィンド）は一つである
が、複数の２次元空間で表示することも可能である。図
７にこの様子の例を示す。７０１，７０２のそれぞれの
円柱面へ写像されたフレーム画像を、視野角７０３と７
０４でそれぞれ２次元空間へ写像し、２つのモニタで表
示した例である。ユーザの要求に応じて視野方向や視点
位置を変化させて表示するが、それぞれの切り出す位置
を連動させることで被写体の視差を表現した形で２つの
モニタへ写像できる。この視差を含んだ形の写像をユー
ザが左右の目でそれぞれ見た場合、見かけ上３次元時空
間の被写体情報を得ることが可能である。
を、映像情報写像手順における２次元座標値算出手順２
１７において、図６に示した様な２次元空間へ写像した
座標値を算出する。算出された２次元空間の座標値に基
づいて、表示部１１０は、映像情報表示手順２１８によ
り先の選別手順２１６で選別した画像データを表示す
る。通常２次元空間（モニタ、ウィンド）は一つである
が、複数の２次元空間で表示することも可能である。図
７にこの様子の例を示す。７０１，７０２のそれぞれの
円柱面へ写像されたフレーム画像を、視野角７０３と７
０４でそれぞれ２次元空間へ写像し、２つのモニタで表
示した例である。ユーザの要求に応じて視野方向や視点
位置を変化させて表示するが、それぞれの切り出す位置
を連動させることで被写体の視差を表現した形で２つの
モニタへ写像できる。この視差を含んだ形の写像をユー
ザが左右の目でそれぞれ見た場合、見かけ上３次元時空
間の被写体情報を得ることが可能である。
【００４３】以上、本発明を実施形態例に基づき具体的
に説明したが、本発明は、前記実施形態例に限定される
ものではなく、その要旨を逸脱しない範囲において種々
の変更が可能であることは言うまでもない。
に説明したが、本発明は、前記実施形態例に限定される
ものではなく、その要旨を逸脱しない範囲において種々
の変更が可能であることは言うまでもない。
【００４４】
【発明の効果】上記のように、本発明によれば、入力映
像データのフォーマットの種類を識別し、識別された映
像データ列のフォーマットデータからフレーム画像間の
空間情報と、フレーム画像間の時間情報を自動抽出し、
この抽出された時間、空間情報に基づきフレーム画像を
予め与えた時空間に統合し、管理するようにしたので、
画像のフレーム、ファイル、ファイルフォーマットの管
理概念を超える映像の管理技術を実現することが可能で
ある。
像データのフォーマットの種類を識別し、識別された映
像データ列のフォーマットデータからフレーム画像間の
空間情報と、フレーム画像間の時間情報を自動抽出し、
この抽出された時間、空間情報に基づきフレーム画像を
予め与えた時空間に統合し、管理するようにしたので、
画像のフレーム、ファイル、ファイルフォーマットの管
理概念を超える映像の管理技術を実現することが可能で
ある。
【００４５】また、上記のように管理された時空間か
ら、ユーザの所望する映像情報に応じた管理時空間の時
空間情報に基づき該当する映像情報を切り出し、２次元
モニタに写像するようにしたので、複数の映像の動くパ
ノラマ空間としての扱いと、この時空間を用いた複数映
像の時空間的にシームレスな上下左右自由な角度大きさ
での見渡しが可能であり、同時に効率よく直感的に映像
情報へアクセスしたり、比較したり、検索、編集したり
することが可能である複数映像のインタフェースが実現
できる。
ら、ユーザの所望する映像情報に応じた管理時空間の時
空間情報に基づき該当する映像情報を切り出し、２次元
モニタに写像するようにしたので、複数の映像の動くパ
ノラマ空間としての扱いと、この時空間を用いた複数映
像の時空間的にシームレスな上下左右自由な角度大きさ
での見渡しが可能であり、同時に効率よく直感的に映像
情報へアクセスしたり、比較したり、検索、編集したり
することが可能である複数映像のインタフェースが実現
できる。
【図１】本発明の装置の一実施形態例を示す構成図であ
る。
る。
【図２】上記実施形態例の動作例を示す図であって、本
発明の方法の一実施形態例を示す手順の流れ図である。
発明の方法の一実施形態例を示す手順の流れ図である。
【図３】上記実施形態例におけるフレーム画像の円柱面
への写像を示す図である。
への写像を示す図である。
【図４】上記実施形態例における写像面での映像情報切
り出しを示す図である。
り出しを示す図である。
【図５】上記実施形態例における複数写像面での映像情
報切り出しを示す図である。
報切り出しを示す図である。
【図６】上記実施形態例における切り出し映像情報の選
別を示す図である。
別を示す図である。
【図７】（ａ），（ｂ）は、上記実施形態例における上
記実施形態例における複数モニタ（ウィンド）表示を示
す図である。
記実施形態例における複数モニタ（ウィンド）表示を示
す図である。
１０１…ビデオ信号入力部 １０２…フォーマット識別部 １０３…フレーム画像間空間情報抽出部 １０４…フレーム画像間時間情報抽出部 １０５…情報添付部 １０６…時空間管理部 １０７…ユーザ入力部 １０８…映像情報切り出し部 １０９…映像情報写像部 １１０…出力部 ２０１…ビデオ信号入力手順 ２０２…フォーマット識別手順 ２０３…絶対空間情報照合手順 ２０４…対応算出手順 ２０５…入力系モデル推定手順 ２０６…被写体モデル推定手順 ２０７…絶対時間情報照合手順 ２０８…入力系モデル時間変化算出手順 ２０９…多項式近似手順 ２１０…被写体モデル時間変化算出手順 ２１１…情報添付手順 ２１２…写像手順 ２１３…内挿手順 ２１４…付加情報管理手順 ２１５…座標値算出手順 ２１６…選別手順 ２１７…２次元座標値算出手順 ２１８…映像情報表示手順
Claims (20)
- 【請求項１】 複数の映像を時間、空間的に管理、表
示、アクセス可能にする装置であって、 入力映像データのフォーマットの種類を識別するフォー
マット識別部と、 前記識別された映像データ列のフォーマットデータから
フレーム画像間の空間情報を算出するフレーム画像間空
間情報抽出部と、 前記識別された映像データ列のフォーマットデータから
フレーム画像間の時間情報を算出するフレーム画像間時
間情報抽出部と、 前記算出された時間、空間情報を前記映像データ列のフ
レーム画像に添付する情報添付部と、 前記添付された情報に基づき前記フレーム画像を予め与
えた時空間に統合し、管理する時空間管理部と、 ユーザの所望する映像情報に応じた前記管理時空間の時
空間情報に基づき該当する映像情報を前記管理時空間か
ら切り出す映像情報切り出し部と、 前記切り出された映像情報を２次元モニタに写像する映
像情報写像部と、 を具備することを特徴とする映像の時空間管理・表示・
アクセス装置。 - 【請求項２】 前記フレーム画像間空間情報抽出部は、 入力映像データに空間に関する属性として付加されてい
る情報が存在した場合、前記付加されている情報と予め
データベースに存在する実空間の絶対空間情報と照合を
とる絶対空間情報照合部を具備する、 ことを特徴とする請求項１記載の映像の時空間管理・表
示・アクセス装置。 - 【請求項３】 前記フレーム画像間空間情報抽出部は、 フレーム画像間で空間的な構造の対応情報を算出するフ
レーム画像間構造対応部と、 前記算出されたフレーム画像間での対応情報から入力系
モデルを推定する入力系モデル推定部と、 を具備することを特徴とする請求項１記載の映像の時空
間管理・表示・アクセス装置。 - 【請求項４】 前記フレーム画像間空間情報抽出部は、 前記入力系モデル推定部で推定された入力系モデルを前
記入力映像データから差し引いたフレーム画像情報から
予め与えた被写体モデルを推定する被写体推定部を具備
する、 ことを特徴とする請求項３記載の映像の時空間管理・表
示・アクセス装置。 - 【請求項５】 前記フレーム画像間時間情報抽出部は、 入力映像データに時間に関する属性として付加されてい
る情報が存在した場合、前記付加されている情報と予め
データベースに存在する実空間の絶対時間情報と照合を
とる絶対時間情報照合部を具備する、 ことを特徴とする請求項１記載の映像の時空間管理・表
示・アクセス装置。 - 【請求項６】 前記フレーム画像間時間情報抽出部は、 前記入力系モデル推定部でフレーム毎に推定された入力
系モデルの時間変化を算出する入力モデル時間変化算出
部と、 前記算出された時間変化を予め与えた多項式に近似する
多項式近似部と、 を具備することを特徴とする請求項３記載の映像の時空
間管理・表示・アクセス装置。 - 【請求項７】 前記フレーム画像間時間情報抽出部は、 前記多項式近似部で近似された入力系モデルの時間変化
を前記入力映像データから差し引いたフレーム画像情報
の時間変化から予め与えた被写体モデルの時間変化を推
定する被写体時間変化推定部を具備する、 ことを特徴とする請求項６記載の映像の時空間管理・表
示・アクセス装置。 - 【請求項８】 前記時空間管理部は、 前記添付された情報に基づき各フレーム画像毎に予め与
えた統合空間に写像する写像部と、 前記写像されたフレーム画像を前記統合空間の解像度に
合わせて空間的な内挿を行う空間内挿部と、 前記統合空間の各座標点に写像、内挿されたフレーム画
像値の時間変化と共に付加情報を管理する時空間情報管
理部と、 を具備することを特徴とする請求項１記載の映像の時空
間管理・表示・アクセス装置。 - 【請求項９】 前記映像情報切り出し部は、 ユーザの所望する映像情報に応じた前記時空間管理部が
予め与えた統合空間の座標値を算出する統合空間座標値
算出部と、 前記算出された統合空間の座標値のもつ情報をユーザの
所望する情報に応じて選別、フィルタリングする情報選
別部と、 を具備することを特徴とする請求項１または請求項８記
載の映像の時空間管理・表示・アクセス装置。 - 【請求項１０】 前記映像情報写像部は、 前記情報選出部で選出された情報中で空間の写像に関す
る情報を用いて予め与えた２次元モニタへの写像を行い
２次元モニタ上の座標値を算出する座標値算出部と、 前記算出された座標値へ対応する画像データを表示する
表示部と、 を具備することを特徴とする請求項９記載の映像の時空
間管理・表示・アクセス装置。 - 【請求項１１】 複数の映像を時間、空間的に管理、表
示、アクセス可能にする方法であって、 入力映像データのフォーマットの種類を識別する手順
と、 前記識別された映像データ列のフォーマットデータから
フレーム画像間の空間情報を算出する手順と、 前記識別された映像データ列のフォーマットデータから
フレーム画像間の時間情報を算出する手順と、 前記算出された時間、空間情報を前記映像データ列のフ
レーム画像に添付する手順と、 前記添付された情報に基づき前記フレーム画像を予め与
えた時空間に統合し、管理する手順と、 ユーザの所望する映像情報に応じた前記管理時空間の時
空間情報に基づき該当する映像情報を前記管理時空間か
ら切り出す手順と、 前記切り出された映像情報を２次元モニタに写像する手
順と、 を具備することを特徴とする映像の時空間管理・表示・
アクセス方法。 - 【請求項１２】 前記フレーム画像間の空間情報を算出
する手順は、 入力映像データに空間に関する属性として付加されてい
る情報が存在した場合、前記付加されている情報と予め
データベースに存在する実空間の絶対空間情報と照合を
とる手順を具備する、 ことを特徴とする請求項１１記載の映像の時空間管理・
表示・アクセス方法。 - 【請求項１３】 前記フレーム画像間の空間情報を算出
する手順は、 フレーム画像間で空間的な構造の対応を算出する手順
と、 前記算出されたフレーム間での対応情報から入力系モデ
ルを推定する手順と、 を具備することを特徴とする請求項１１記載の映像の時
空間管理・表示・アクセス方法。 - 【請求項１４】 前記フレーム画像間の空間情報を算出
する手順は、 前記入力系モデル推定部で推定された入力系モデルを前
記入力映像データから差し引いたフレーム画像情報から
予め与えた被写体モデルを推定する手順を具備する、 ことを特徴とする請求項１３記載の映像の時空間管理・
表示・アクセス方法。 - 【請求項１５】 前記フレーム画像間の時間情報を算出
する手順は、 入力映像データに時間に関する属性として付加されてい
る情報が存在した場合、前記付加されている情報と予め
データベースに存在する実空間の絶対時間情報と照合を
とる手順を具備する、 ことを特徴とする請求項１１記載の映像の時空間管理・
表示・アクセス方法。 - 【請求項１６】 前記フレーム画像間の時間情報を算出
する手順は、 前記入力系モデルを推定する手順でフレーム毎に推定さ
れた入力系モデルの時間変化を算出する手順と、 前記算出された時間変化を予め与えた多項式に近似する
手順と、 を具備することを特徴とする請求項１３記載の映像の時
空間管理・表示・アクセス方法。 - 【請求項１７】 前記フレーム画像間の時間情報を算出
する手順は、 前記多項式に近似する手順で近似された入力系モデルの
時間変化を入力映像データから差し引いたフレーム画像
情報の時間変化から予め与えた被写体モデルの時間変化
を推定する手順を具備する、 ことを特徴とする請求項１６記載の映像の時空間管理・
表示・アクセス方法。 - 【請求項１８】 前記添付された情報に基づきフレーム
画像を予め与えた時空間に統合し、管理する手順は、 前記添付された情報に基づき各フレーム画像毎に予め与
えた統合空間に写像する手順と、 前記写像されたフレーム画像を統合空間の解像度に合わ
せて空間的な内挿を行う手順と、 前記統合空間の各座標点に写像、内挿されたフレーム画
像値の時間変化と共に付加情報を管理する手順と、 を具備することを特徴とする請求項１１記載の映像の時
空間管理・表示・アクセス方法。 - 【請求項１９】 ユーザの所望する映像情報に応じた前
記管理された時空間の時空間情報に基づき該当する映像
情報を前記管理された時空間から切り出す手順は、 前記ユーザの所望する映像情報に応じた前記時空間を管
理する手順で予め与えられた統合空間の座標値を算出す
る手順と、 前記算出された統合空間の座標値のもつ情報をユーザの
所望する情報に応じて選別、フィルタリングする手順
と、 を具備することを特徴とする請求項１１または請求項１
８記載の映像の時空間管理・表示・アクセス方法。 - 【請求項２０】 前記切り出された映像情報を２次元モ
ニタに写像する手順は、 前記選別、フィルタリングする手順で選出された情報中
で空間の写像に関する情報を用いて予め与えた２次元モ
ニタへの写像を行い前記２次元モニタ上の座標値を算出
する手順と、 前記算出された座標値へ対応する画像データを表示する
手順と、 を具備することを特徴とする請求項１９記載の映像の時
空間管理・表示・アクセス方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2115097A JP3594754B2 (ja) | 1997-02-04 | 1997-02-04 | 映像の時空間管理・表示・アクセス方法及び装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2115097A JP3594754B2 (ja) | 1997-02-04 | 1997-02-04 | 映像の時空間管理・表示・アクセス方法及び装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10224731A true JPH10224731A (ja) | 1998-08-21 |
| JP3594754B2 JP3594754B2 (ja) | 2004-12-02 |
Family
ID=12046890
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2115097A Expired - Lifetime JP3594754B2 (ja) | 1997-02-04 | 1997-02-04 | 映像の時空間管理・表示・アクセス方法及び装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3594754B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000227963A (ja) * | 1999-02-08 | 2000-08-15 | Nippon Telegr & Teleph Corp <Ntt> | 距離情報付き画像作成装置及び方法、並びにこの方法のプログラムを記録した記録媒体 |
| JP2007257100A (ja) * | 2006-03-22 | 2007-10-04 | Nippon Telegr & Teleph Corp <Ntt> | パノラマ画像作成方法 |
-
1997
- 1997-02-04 JP JP2115097A patent/JP3594754B2/ja not_active Expired - Lifetime
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000227963A (ja) * | 1999-02-08 | 2000-08-15 | Nippon Telegr & Teleph Corp <Ntt> | 距離情報付き画像作成装置及び方法、並びにこの方法のプログラムを記録した記録媒体 |
| JP2007257100A (ja) * | 2006-03-22 | 2007-10-04 | Nippon Telegr & Teleph Corp <Ntt> | パノラマ画像作成方法 |
| JP4680104B2 (ja) * | 2006-03-22 | 2011-05-11 | 日本電信電話株式会社 | パノラマ画像作成方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3594754B2 (ja) | 2004-12-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6956573B1 (en) | Method and apparatus for efficiently representing storing and accessing video information | |
| Irani et al. | Video indexing based on mosaic representations | |
| Irani et al. | Efficient representations of video sequences and their applications | |
| US7304649B2 (en) | Object region data describing method and object region data creating apparatus | |
| US9420234B2 (en) | Virtual observer | |
| JP4320141B2 (ja) | 要約映像生成のための方法とシステム | |
| US8818138B2 (en) | System and method for creating, storing and utilizing images of a geographical location | |
| Sun et al. | Region of interest extraction and virtual camera control based on panoramic video capturing | |
| US5999662A (en) | System for automatically aligning images to form a mosaic image | |
| WO1998021688A1 (en) | Method and apparatus for efficiently representing, storing and accessing video information | |
| US7010036B1 (en) | Descriptor for a video sequence and image retrieval system using said descriptor | |
| CN106156199B (zh) | 一种视频监控图像存储检索方法 | |
| EP0866606B1 (en) | Method for temporally and spatially integrating and managing a plurality of videos, device used for the same, and recording medium storing program of the method | |
| EP1081650A2 (en) | Image storage method, image rendering method, image storage apparatus, image processing apparatus, image download method, and computer and storage medium | |
| JP2002056392A (ja) | 物体領域情報記述方法、物体領域情報生成装置、及び物体領域情報記述プログラム | |
| Greenhill et al. | Virtual observers in a mobile surveillance system | |
| JP3594754B2 (ja) | 映像の時空間管理・表示・アクセス方法及び装置 | |
| JP2002259979A (ja) | 画像補間方法と装置、および画像処理方法と装置 | |
| JP2007087049A (ja) | 動画像処理装置 | |
| Vogelgsang et al. | Automatic Image-Based Scene Model Acquisition and Visualization. | |
| JPH10164435A (ja) | 複数映像の時空間統合、管理方法及びその装置並びにそのプログラムを記録した記録媒体 | |
| Anandan et al. | Video representation and manipulations using mosaics | |
| Tan | Digital video analysis and manipulation | |
| CN116320441A (zh) | 一种三维对象的动态点云压缩及解压缩系统 | |
| Nielsen | Plenoptic path and its applications |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040824 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040901 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080910 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080910 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090910 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090910 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100910 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100910 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110910 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120910 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130910 Year of fee payment: 9 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |