JP3594754B2 - 映像の時空間管理・表示・アクセス方法及び装置 - Google Patents
映像の時空間管理・表示・アクセス方法及び装置 Download PDFInfo
- Publication number
- JP3594754B2 JP3594754B2 JP2115097A JP2115097A JP3594754B2 JP 3594754 B2 JP3594754 B2 JP 3594754B2 JP 2115097 A JP2115097 A JP 2115097A JP 2115097 A JP2115097 A JP 2115097A JP 3594754 B2 JP3594754 B2 JP 3594754B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- information
- space
- video
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Studio Circuits (AREA)
- Television Signal Processing For Recording (AREA)
- Processing Or Creating Images (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、複数の映像の時空間統合による新たな映像のデータベースとユーザインタフェースに関するものであり、特に複数映像の時空間管理・表示・アクセス方法及び装置に関する。
【０００２】
【従来の技術】
コンピュータの高性能化、ハードディスクの大容量化、ビデオカメラの小型化とこれらの低価格化に伴い、一般家庭へのそれらの普及が進んでいる。これらの普及と共に、圧縮技術の確立、標準化により映像のデジタル化が身近なものとなり、パーソナルコンピュータでの映像の扱いが可能になってきた。ここで言う映像の扱いとは、映像をデータベースから検索したり、編集したり、加工したりすることである。本発明で対象とする映像の扱いは、複数の映像を管理し、ユーザの目的にかなう映像を、効率よく直感的に検索し、表示、アクセスすることである。
【０００３】
従来、映像の管理はテキスト同様にファイルの形式で行われている。例えば、Ｗｉｎｄｏｗｓ９５では、ＡＶＩフォーマットであり、Ｍａｃｉｎｔｏｓｈでは、Ｑｕｉｃｋ ｔｉｍｅフォーマット等である。また、ＭＰＥＧ１／２も一つの映像フォーマットであると考えられる。一般的に映像フォーマットは、映像の属性情報が含まれるヘッダー部と映像データを含むデータ部から構成されている。テキストファイルの検索同様、ヘッダーに含まれている属性情報等（作成日、画像サイズ、名前等）で検索することは、従来のファイル管理の枠組みで実現されている。また最近では、コンテントベース（中身ベース）で映像を管理、検索する技術が多く提案され、それらの技術をまとめた報告もある〔ＰｈｉｌｉｐｐｅＡｉｇｒａｉｎ，Ｈｏｎｇｊｉａｎｇ Ｚｈａｎｇ ａｎｄ Ｄｒａｇｕｔｉｎ Ｐｅｔｋｏｖｉｃ，“Ｃｏｎｔｅｎｔ−Ｂａｓｅｄ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ａｎｄ Ｒｅｔｒｉｅｖａｌ ｏｆ Ｖｉｓｕａｌ Ｍｅｄｉａ：ＡＳｔａｔｅ−ｏｆ−ｔｈｅ−Ａｒｔ Ｒｅｖｉｅｗ”，ＭｕｌｔｉｍｅｄｉａＴｏｏｌｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ，Ｖｏｌ．３，ｐｐ．１７９−２０２（１９９６）．〕。報告されている技術の枠組みは、映像・画像を処理し、選られた特徴量に関して必要に応じて知識を用いてインデクス付けを行い、付けられたインデクスの記述の抽象度に応じたユーザインタフェースで検索を支援するものである。特に、映像のユーザインタフェースの報告として、Ｍ．Ｍｉｌｌ他〔“Ａ Ｍａｇｎｉｆｉｅｒ Ｔｏｏｌ ｆｏｒ Ｖｉｄｅｏ Ｄａｔａ”，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＣＨＩ’９２，ｐｐ．９３−９８（１９９２）〕は、映像のフレームを時間解像度レベルに応じて空間に配置し、粗い時間解像度から細かい時間解像度へと時間への新しい映像の見方、アクセススタイルを可能にした報告をしている。また、Ｅ．Ｅｌｌｉｏｔ ａｎｄ Ａ．Ｗ．Ｄａｖｉｓ：“Ｍｏｔｉｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ”，Ｓｔｒｉｋｉｎｇ Ｐｏｓｓｉｂｉｌｉｔｉｅｓ，ＡＤＶＡＮＣＥＤ ＩＭＡＧＩＮＧ，ＡＵＧＵＳＴ（１９９２）は、映像を画像（２次元）＋時間（１次元）の３次元物体として表現し、映像の時間情報の新しい表現方法の実現と時間情報への直感的なアクセスを実現している。上記のユーザインタフェースは、映像のブラウジングを実現したものであり、映像をある手がかりでパラパラ見ることでユーザの欲しい映像情報を提供するものである。
【０００４】
また、空間をベースとした複数静止画像のユーザインタフェースとしては、ＡＰＰＬＥ ＣＯＭＰＵＴＥＲがＱｕｉｃｋ Ｔｉｍｅ ＶＲを提案している〔Ｓｈｅｎｃｈａｎｇ Ｅｒｉｃ Ｃｈｅｎ，“Ｑｕｉｃｋ Ｔｉｍｅ ＶＲ−ＡｎＩｍａｇｅ−Ｂａｓｅｄ Ａｐｐｒｏｃｈ ｔｏ Ｖｉｒｔｕａｌ Ｅｎｖｉｒｏｎｍｅｎｔ Ｎａｖｉｇａｔｉｏｎ”，Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｅｄｉｎｇｓ，Ａｎｎｕａｌ Ｃｏｎｆｅｒｅｎｃｅ Ｓｅｒｉｅｓ，ｐｐ．２９−３８（１９９５）〕。複数毎の画像からパノラマ画像を作成し、作成したパノラマ画像を一枚の画像サイズのビューウィンドを通して、ユーザが自由に見渡せるユーザインタフェースである。空間的にシームレスに見渡せることで、直感的に複数枚の画像を把握支援することを実現している。
【０００５】
【発明が解決しようとする課題】
ビデオカメラによる入力が手軽になり、ネットワークを介した任意ユーザの映像発信や、表示の形態も自由になる環境において、複数の映像を空間、時間で統一的に扱いたいという要求が生じる。ここでいう複数の映像とは、例えばスポーツ競技場へ複数設置されたカメラからの複数の映像であるとか、同一イベントを複数の撮影者がそれぞれ撮影した映像、一台のカメラで撮影した映像でも異なる選手の様子を各々撮影した映像等である。また、扱うとは、複数の映像を時空間シームレスで同時に効率よく直感的にアクセスしたり、比較したり、検索、編集したりすることである。
【０００６】
しかしながら、複数の映像に対しては上記の従来技術の報告等では、解決していない課題が存在する。従来のファイル形式の映像管理やコンテントベース（中身ベース）での管理では、時空間シームレスで効率よく直感的にアクセスしたり、比較したり、検索、編集したりすることは不可能である。映像のコンテント中の時空間に関する情報を管理していないためである。粗い撮影場所のインデクスがついているケースも存在するが、この情報もファイル単位の管理では複数の映像に対して時空間シームレスな映像のユーザインタフェースは実現できない。複数映像に跨り存在する撮影されているもの（被写体）の時空間関係情報と統一的な管理が抜けているためである。また、Ｑｕｉｃｋ Ｔｉｍｅ ＶＲは、空間的にシームレスに見渡せるインタフェースを提案しているが、静止画のユーザインタフェースであり、動画像、複数の映像に関して実現できていない。現Ｑｕｉｃｋ Ｔｉｍｅ ＶＲの技術だけでは、上記要求は実現不可能である。動くパノラマ空間をシームレスに上下左右自由な角度大きさで見渡せる複数映像のインタフェースは実現できない。また、従来報告されている技術では、フォーマットの異なる複数映像を映像のコンテンツベースで統一的に管理し、扱うことは不可能である。
【０００７】
本発明の目的は、複数の映像から時空間情報を自動抽出し、抽出した情報に基づいて画像のフレーム、ファイル、ファイルフォーマットの管理概念を超える映像の管理技術を実現することであり、これによる複数の映像の動くパノラマ空間としての扱いとこの時空間を用いた複数映像の時空間的にシームレスな上下左右自由な角度大きさで見渡せ、同時に効率よく直感的に映像情報へアクセスしたり、比較したり、検索、編集したりすることが可能な複数映像のインタフェースを実現する複数映像の時空間管理・表示・アクセス方法及び装置を提供することにある。
【０００８】
【課題を解決するための手段】
上記の目的を達成するために、本発明による複数映像の時空間管理・表示・アクセス装置は、デジタルデータとして入力された複数の映像を統一された空間に写像し、前記空間における任意の位置の映像を表示する映像の時空間管理・表示・アクセス装置であって、
前記入力された映像データに対し、デジタルカメラにより追加情報として記録されるデータ、またはＧＰＳにより映像に付加されている位置情報を含む映像への付加情報から、緯度、経度を含む絶対位置を示す情報を抽出する絶対空間情報抽出部と、
前記入力された映像データの、各映像のフレーム画像間の、画像内の点と点、小領域と小領域との間の対応、または、動きベクトル、映像投影法によるフレーム間の対応に代表されるフレーム画像間の対応関係を算出するフレーム画像間対応算出部と、
前記算出された対応関係を用いて、前記入力された映像データ撮影時の、カメラ中心位置の移動のないカメラ操作のモデルを推定するカメラ操作推定部と、
前記カメラ操作、絶対位置を示す情報に基づき、前記入力された複数の映像を円柱で表される空間に写像する写像部と、
ユーザからの入力に応じて、ユーザの視野角が含む領域と映像された円柱との交点との座標値を求めることによって、前記視野角に含まれる円柱上の映像部分を算出する２次元座標算出部と、
前記算出された円柱上の映像部分を２次元モニタに表示する映像情報表示部とを有することを特徴とする。
【０００９】
また、同じく本発明による複数映像の時空間管理・表示・アクセス方法は、デジタルデータとして入力された複数の映像を統一された空間に写像し、前記空間における任意の位置の映像を表示する映像の時空間管理・表示・アクセス方法であって、
絶対空間情報抽出部が、前記入力された映像データに対し、デジタルカメラにより追加情報として記録されるデータ、またはＧＰＳにより映像に付加されている位置情報を含む映像への付加情報から、緯度、経度を含む絶対位置を示す情報を抽出する手順と、
フレーム画像間対応算出部が、前記入力された映像データの、各映像のフレーム画像間の、画像内の点と点、小領域と小領域との間の対応、または、動きベクトル、映像投影法によるフレーム間の対応に代表されるフレーム画像間の対応関係を算出する手順と、
カメラ操作推定部が、前記算出された対応関係を用いて、前記入力された映像データ撮影時の、カメラ中心位置の移動のないカメラ操作のモデルを推定する手順と、
写像部が、前記カメラ操作、絶対位置を示す情報に基づき、前記入力された複数の映像を円柱で表される空間に写像する手順と、
２次元座標算出部が、ユーザからの入力に応じて、ユーザの視野角が含む領域と映像された円柱との交点との座標値を求めることによって、前記視野角に含まれる円柱上の映像部分を算出する手順と、
映像情報表示部が、前記算出された円柱上の映像部分を２次元モニタに表示する手順とを有することを特徴とする。
【００１０】
上記のような構成とすることで、複数の映像から時空間情報を自動抽出し、抽出した時空間情報に基づいて、それらの複数映像を予め与えた時空間に統合して管理することにより、画像のフレーム、ファイル、ファイルフォーマットの管理概念を超えた複数映像の管理技術を実現する。また、この管理された時空間の時空間情報に基づいてユーザの所望する映像をその時空間から切り出すことにより、複数の映像の動くパノラマ空間としての扱いと、この時空間を用いた複数映像の時空間的にシームレスな上下左右自由な角度大きさでの見渡しとを可能とし、複数の映像情報を、同時に効率よく直感的にアクセスしたり、比較したり、検索、編集したりすることを可能にする。
【００１１】
【発明の実施の形態】
以下、本発明の実施形態例を、図面を参照して詳細に説明する。
【００１２】
図１に本発明による装置の一実施形態例の構成図を、図２にその動作例であって、本発明による方法の一実施形態例の手順の流れ図を示す。以下、これらの構成図と流れ図に沿って、本実施形態例の各構成部及び手法を説明する。
【００１３】
ビデオ信号はビデオ信号入力部１０１から入力され（ビデオ信号入力手順２０１）、１０２のフォーマット識別部において映像フォーマットの種類が判別される（フォーマット識別手順２０２）。ここで判別される映像のフォーマットは、圧縮と非圧縮フォーマットに大別できる。非圧縮フォーマットは、一般的にＲＧＢ等の画像データを非圧縮でもつフォーマットであり、圧縮フォーマットは、ＭＰＥＧ１／２に代表されるフォーマットである。
【００１４】
次にフレーム画像間空間情報抽出部１０３、フレーム画像間時間情報抽出部１０４において、上記識別されたそれぞれのフォーマットデータから映像の時空間情報を抽出する。以下、その手順を説明する。
【００１５】
まず、フレーム画像、フレーム画像間の空間情報の抽出手順を説明する。絶対空間情報照合手順２０３では、絶対空間情報の照合を行う。絶対空間情報とは、例えば緯度、経度、地名、都市名等の情報である。カメラ等の画像入力系のデジタル化が進み、デジタルデータを記録することが可能となってきた。デジタルカメラの場合、画像データと共に露出等のプリントに必要なデータがフィルム面に記録されている。また、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）の普及により場所の位置が特定可能である。ＧＰＳ等の情報を含めて多くの情報が映像に付加される兆しがある。絶対空間情報照合手順２０３では、これら映像に付加されている情報が記録されている場合、それらから空間に関係する情報（緯度、経度等）を抽出し、予め与えたデータベースに記録されている位置、場所のインデクスと照合し、フレームに絶対空間情報としてインデクシングすることを行う。同様に１０４のフレーム画像時間情報抽出部の絶対時間情報照合手順２０７においても時間に関する情報を抽出し、インデクス付けを行う。
【００１６】
次に、フレーム画像間の空間的な関係付け情報の算出を行う。２０４の対応算出手順において、フレーム画像間で対応付けを行うが、画像間の対応付けとして、画像の内の点と点を対応付ける方法や、画像内の小領域と小領域を対応付ける方法等がある。フレーム画像間から算出した動きベクトルも、一つの対応付けと考えられる。ＭＰＥＧ１／２に代表される符号化方式では、そのアルゴリズムの中に動き補償部が含まれており、この動き補償を行うためにフレーム間の動きベクトルを算出している。また、この動きベクトル情報は圧縮画像データの中に含まれている。１０２のフォーマット識別部においてＭＰＥＧ１／２等の予測符号化方式による圧縮フォーマットと識別された場合、圧縮データを復号する過程で動きベクトルが算出可能であり、この動きベクトルを以ってフレーム画像間の対応付け情報とすることが可能である。ただこの場合、動き補償データから抽出した動きベクトル情報は、圧縮の為に用いられている情報であるために、真の動きを反映していない部分を含むと考えられる。このため時間的に連続する複数のフレーム間で抽出した動きベクトルにフィルタ処理を施し、真の動きに反映した動きベクトルを選別することも行う。このフィルタ処理としては、例えば、“時間的に連続する動きは滑らかに変化する”の条件を満たす動き情報を選別する処理等である。
【００１７】
一方、動きベクトル等の情報含まない非圧縮フォーマットの映像に対して対応付けを行う処理について説明する。例として、フレーム間の動きベクトルとして対応付ける方法を説明する。フレーム画像間の点と点を対応付ける動きベクトルを算出する方法は勾配法と呼ばれ、Ｈｏｒｎ Ｂ．Ｋ．Ｐ．等によって提案されている〔Ｈｏｒｎ Ｂ．Ｋ．Ｐ．ａｎｄ Ｂ．Ｇ．Ｓｃｈｕｎｋ，“Ｄｅｔｅｒｍｉｎｉｎｇ ｐｒｉｃａｌ ｆｌｏｗ”，ＡＩ Ｍｅｍｏ ５７２，ＡＩ Ｌａｂ．ＭＩＴ，Ａｐｒｉｌ １９８０〕。時空間的に隣接する画素の値の差を基にして、前フレーム画像の画素の値との差を、“動きは時空間的に滑らかである”の拘束条件で評価し、動きベクトルを算出する方法である。また、フレーム画像の小領域（ブロック）での対応付けの動きベクトル算出方法としてブロックマッチング法が一般的である。この方法は、例えばＬ×Ｌのブロックをテンプレートとして、似たブロックが前フレーム中にないか適当な探索範囲の中を動かし、もっとも誤差の小さいときのずれを動きベクトルとする方法である。
【００１８】
フレーム画像から動きベクトルを直接用いずにフレーム対応関係を算出する方法として、映像投影法がある〔阿久津他，“投影法を用いた映像の解析方法と映像ハンドリングへの応用”，電子情報通信学会論文詩Ｄ−ＩＩ，Ｖｏｌ．Ｊ７９−Ｄ−ＩＩ，Ｎｏ．５，ｐｐ．６７５−６８６，１９９６〕。２次元の映像を縦横２つもしくは複数の１次元データへ射影し、１次元情報としてフレーム間の対応を算出する方法である。この方法は、時空間のノイズに対してロバストであり、処理コストの軽減の点で優れた方法である。
【００１９】
以上説明した方法で、フレーム画像間の対応関係を算出できる。フレーム画像間で対応関係を算出する場合、フレーム画像間で共通の被写体が撮影されている必要性がある。先に照合しインデクス付けをした絶対空間、絶対時間情報を用いて絶対時空間的に共通する映像を予め選別し、対応関係を算出することで処理の効率化が図れる。また、ショット（時空間的に連続するフレーム画像群）の特徴を生かすことで対応関係の算出の高速化も図れる。例えば、ショット内の画像は時空間的に連続している特徴を有するため、前に求めた動きベクトルを参考に次に算出する動きベクトルの探索範囲を制限すること等である。
【００２０】
次に、２０５の入力系モデルの推定手順を説明する。先に算出した複数個の動きベクトルを、カメラの入力系のモデルで表す事を試みる。入力系のモデルとは、カメラ操作による映像中の動きのモデルのことであり、以下の式で表す。
【００２１】
ｕ（ｘ’，ｙ’）＝（ａ０＋ａ１ｘ＋ａ２ｙ）／（ａ６ｘ＋ａ７ｙ＋１），
ｖ（ｘ’，ｙ’）＝（ａ３＋ａ４ｘ＋ａ５ｙ）／（ａ６ｘ＋ａ７ｙ＋１）。
【００２２】
この８つのパラメータで入力モデルを表す。この式が近似できる入力系のモデル（カメラ操作モデル）は、カメラ中心投影位置の移動の無い操作である（映像中の動き情報に撮影空間の３次元情報を含まないもの）。すなわち１ショット内のフレーム画像間において近似可能である。上記の式を線形和で近似することで最小２乗法を用いて比較的容易に複数の対応関係情報からパラメータを算出することが可能である。線形和での近似は、上記式を以下のようにテーラー展開し、高次項を無視することで実現できる。
【００２３】
ｕ（ｘ’，ｙ’）＝ａ０＋ａ１ｘ＋ａ２ｙ＋ａ３ｘｙ＋ａ４ｘ２＋ａ５ｙ２…，
ｖ（ｘ’，ｙ’）＝ｂ０＋ｂ１ｘ＋ｂ２ｙ＋ｂ３ｘｙ＋ｂ４ｘ２＋ｂ５ｙ２…。
【００２４】
上式の２次項を無視することで、以下のバイリニアの変換モデルで近似することができる。
【００２５】
ｕ（ｘ’，ｙ’）＝ａ０＋ａ１ｘ＋ａ２ｙ＋ａ３ｘｙ，
ｖ（ｘ’，ｙ’）＝ｂ０＋ｂ１ｘ＋ｂ２ｙ＋ｂ３ｘｙ。
【００２６】
ここで、Ｙ＝（ｘ’，ｙ’），
【００２７】
【数１】
【００２８】
Ａ＝（ａ０，ａ１，ａ２，ａ３，ｂ０，ｂ１，ｂ２，ｂ３）と表すと、Ｙ＝ＸＡ＋Ｅと上式は書き直せる。Ｅは誤差である。Ｅ2を最小にするＡが算出するパラメータである。Ｅ2をＥtＥと書き換えると、
ＥtＥ＝（Ｙ−ＸＡ）t（Ｙ−ＸＡ）＝ＹtＹ−２ＡtＸtＹ＋ＡtＸtＸＡ、
で表せる。この式をＡで微分し、微分係数を０とおくと、
ＸtＸＡ−ＸtＹ＝０、
であり、これより、
Ａ＝（ＸtＸ）-1ＸtＹ＝Ｘ -1 Ｙ、
で表せ、Ｘ -1 を算出することでパラメータを推定することができる。
【００２９】
また、先に記述した時空間投影法を用いて、Ｈｏｕｇｈ空間へ対応関係を投票することで、簡単な入力モデルのパラメータを容易に算出できる。
【００３０】
超低ビットレート映像符号化を実現する一つのアプローチとしてグローバルな動き補償がある。フレーム間を補償するときにフレーム全体を覆うグローバルな動き（カメラ操作による動き等）を用いる方法である。この符号化データを入力映像データとした場合、復号の過程で入力系モデルパラメータの抽出が可能である。フレーム毎に付加されているパラメータを任意のフレーム画像を基準に以下の演算で相対的な入力系モデルパラメータの算出が可能である。フレーム画像毎の変換モデルパラメータをＭt,t=0〜nとすると基準をＭ0とした場合ｎフレーム目の変換モデルパラメータは、
Ｍn＝Ｍn-1Ｍn-2…Ｍ0、
である。
【００３１】
以上説明した入力モデルは、時間的に連続なフレーム間（ショット内の隣接するフレーム画像間）からの算出であった。
【００３２】
次に、２０６の被写体モデル推定手順において被写体の抽出を行う。同じ被写体を違った角度で撮影した映像間でも、対応算出手順２０４で対応関係情報が算出される。この対応関係情報には、撮影空間の３次元情報（被写体位置、構造情報）が含まれている。この対応関係情報から基本的に三角測量の原理を用いて視差が算出でき、撮影空間の３次元情報（被写体位置、構造情報）が算出可能である。算出された３次元情報は、一つの被写体情報であり、後の情報添付部１０５でフレーム画像に添付される情報である。また、フレーム画像から空間的な特徴量（色、テクスチャ、エッジ、線分、動き３次元情報等）を抽出し、予め与えた被写体の特徴と照合し抽出も行う。まず色情報は、色差情報のヒストグラム分布等で特徴付けられる。例えば、ＭＰＥＧ１／２等の離散コサイン変換＋動き補償を基本とする符号化データは、輝度信号と色差信号とに画素当たりの画像データを分け符号化している。この色差信号のヒストグラム分布をとることで、色の特徴量とすることができる。また、テクスチャ、エッジ、線分等の特徴量は、離散コサイン変換で変換された画像の空間周波数計数で表せる。入力系モデル推定手順２０５で算出した入力モデルのパラメータを用いて前フレームからの差分を算出することで、カメラ操作による動き以外の被写体による動き情報を算出する。上記のように算出した被写体の特徴量をｎ次元ベクトルＨで表し、予め与えた被写体の特徴ベクトルＨｔとの距離を算出して照合を行なう。算出する距離としては、ユークリット距離、重み付きユークリット距離等である。被写体候補として抽出された画像領域を基本的な図形（円、楕円、四角形、矩形等）で近似表現することで、被写体をモデル化する。近似するための図形と個数を予め与え、領域を最大限含む図形パラメータとして表現する。
【００３３】
次に、１０４のフレーム画像間時間情報抽出部の処理手順について説明する。２０８の入力系モデルの時間変化算出手順では、先に入力系モデル推定手順２０５で算出した入力モデルの時間差分を算出する。この時、絶対時間情報照合手順２０７でインデクシングした時間情報等から、時間的に連続するモデルの差分をとる。すなわち、ショット内での入力モデルパラメータの時間変化を算出することである。時間的に連続するパラメータの差分情報等である。
【００３４】
２０８の入力系モデル時間変化算出手順で算出された時間変化量を用いて、２０９の多項式近似手順で時間変化を多項式近似する。上記説明したパラメータでは、
Ａ（ｔ）＝（ａ０（ｔ），ａ１（ｔ），ａ２（ｔ），ａ３（ｔ），ｂ０（ｔ），ｂ１（ｔ），ｂ２（ｔ），ｂ３（ｔ））、
と表せる。ここで、ａi（ｔ），ｂi（ｔ），（ｉ＝０〜３）を、下記数２式で近似することを行う。多項式での近似は、カメラ操作が滑らかに行われていることを前提としている。最小２乗法を用いて容易に近似可能である。被写体モデルの時間変化の算出手順２１０では、被写体モデルを記述した基本的な図形パラメータの隣接する時間での変化量を算出する。
【数２】
【００３５】
１０５の情報添付部では、上記したフレーム画像間の空間的な情報と時間的な情報をそれぞれの階層（解像度）に応じて画素単位、フレーム単位、ショット単位等で階層的にそれぞれ添付する（情報添付手順２１１）。例えば、被写体の情報は画素単位で添付され、入力系のモデルに関する情報はフレーム単位で添付される。また、入力モデルの時間変化モデルはショット単位で添付する。ショットを跨ぐフレーム画像間では、抽出した情報と共に対象としたお互いのフレームＩＤ等の情報も同時に添付される。
【００３６】
抽出された情報が添付されたフレーム画像の時空間管理に関して次に説明する。複数映像の時間、空間による管理は、１０６の時空間管理部で行う。時空間管理部１０６ではまず、ユーザ入力部１０７から入力されたユーザからの時間、場所等に関する情報を受け取る。受け取った時間Ｔｕ、空間の情報Ｓｕをキーワードとしてフレーム画像に添付されている絶対時間Ｔ、絶対空間Ｓのインデクスと照合を行う。照合は、
｜Ｓ−Ｓｕ｜＜ｅｓ，｜Ｔｕ−Ｔ｜＜ｅｔ、
で行う。ここで、ｅｓ、ｅｔはユーザが予め与えた定数である。
【００３７】
次に、２１２の写像手順によって照合されたフレーム画像に対して、複数のフレーム画像を時空間的に統合管理する時空間へ写像する。統合管理する空間としては円柱、球等の空間がある。先に抽出した空間情報を用いて複数のフレーム画像を円柱面へ投影した例を図３に示す。３０１が投影する円柱面を上から見た図である。３０２，３０３が写像するフレーム画像である。円柱の半径が撮影したときの焦点距離ｆで円柱中心ｏがカメラの投影中心である。図３に示したフレーム画像の例は、カメラの焦点距離、位置固定でカメラの首を振って（パンニング、チルティングカメラ操作）撮影された映像である。図中に示すように、円柱面部分３０４，３０５に、フレーム画像３０２，３０３は写像される。焦点距離の違うフレーム画像は、円柱の半径の違う円柱へ写像され、カメラ位置の異なるフレーム画像は、円柱の中心の異なる円柱へそれぞれ写像される。円柱面の座標値を（ｘ，ｙ，ｚ）で表すと、円柱面での値Ｓ（ｘ，ｙ，ｚ）は、写像されたフレームの画像値であり、Ｓは、絶対時間の関数である。複数のフレーム画像点が円柱面の同一点へ写像された場合のＳ値は、写像された画像値の平均値とする。
【００３８】
次に２１３の内挿手順で、上記写像した時空間の内挿を行う。この内挿手順２１３は、時間方向への内挿と空間の内挿をそれぞれ行う。内挿したい点の周辺に写像された点が存在した場合、内挿を行うことが可能である。内挿方法として、内挿したい点に最も近い写像点のデータを求めるデータとする最近隣内挿法、内挿したい点の周囲の写像点４点を用いる供１次内挿法、内挿したい点の周囲の写像点１６点を用いる３次畳み込み内挿法等を用いて行う。内挿が完了した時空間の各点に上記で算出した時空間情報を写像、内挿情報等の画像データと共に管理する（付加情報管理手順２１４）。
【００３９】
時空間管理部１０６で管理された時空間からユーザの入力に応じて映像情報を出力する方法について次に説明する。図４に映像情報切り出し部１０８と映像情報写像部１０９での手順の様子を示す。円柱面４０１に写像されたフレーム画像４０２，４０３に対してユーザは、視野角４０４で映像情報を得る事とする。この視野角４０４は、映像を表示するモニタ（ウィンド）のサイズで予め決定されるものである。今、ユーザが円柱の中心ｏから時空間のフレーム画像を４０４の視野角で見た場合、時空間から切り出す映像情報の座標値は、その視野角との交点４０５，４０６の座標値である。ユーザの視点方向が決定すれば、視野角４０４と焦点距離ｆとから一意に算出できる（座標値算出手順２１５）。
【００４０】
図５に映像を管理する時空間に複数の円柱面が存在した場合の座標値算出手順２１５を示す。図４の場合と同様にユーザが円柱の中心ｏから時空間のフレーム画像を視野角５０６で見た場合、時空間から切り出す映像情報の座標値は、円柱面５０１では視野角との交点５０７，５０８の座標値であり、円柱面５０２では視野角との交点５０９の座標値である。それぞれのフレーム画像は、５０３，５０４，５０５である。ユーザが入力した空間の範囲５１０で複数の座標値が算出される。
【００４１】
上記で算出された座標値から次の１０９の映像情報写像部でモニタ（ウィンド）の２次元座標値を算出する（２次元座標値算出手順２１７）。この場合、図６に示した６０４，６０５，６０６が同一の座標値を有する画像部分である。画像部分６０４ではフレーム画像６０１と６０３、画像部分６０５ではフレーム画像６０１，６０２と６０３、画像部分６０６ではフレーム画像６０１と６０２がそれぞれ重なり合う。２１６の選別手順は、重なり合う画像データからユーザの要求に応じて画像データを選別もしくは合成するものである。選別方法は、ユーザの空間の指定や時間の指定と照合し選別し、合成は画像データの平均や重み付き平均等である。
【００４２】
座標値算出手順２１５で算出された座標値を、映像情報写像手順における２次元座標値算出手順２１７において、図６に示した様な２次元空間へ写像した座標値を算出する。算出された２次元空間の座標値に基づいて、表示部１１０は、映像情報表示手順２１８により先の選別手順２１６で選別した画像データを表示する。通常２次元空間（モニタ、ウィンド）は一つであるが、複数の２次元空間で表示することも可能である。図７にこの様子の例を示す。７０１，７０２のそれぞれの円柱面へ写像されたフレーム画像を、視野角７０３と７０４でそれぞれ２次元空間へ写像し、２つのモニタで表示した例である。ユーザの要求に応じて視野方向や視点位置を変化させて表示するが、それぞれの切り出す位置を連動させることで被写体の視差を表現した形で２つのモニタへ写像できる。この視差を含んだ形の写像をユーザが左右の目でそれぞれ見た場合、見かけ上３次元時空間の被写体情報を得ることが可能である。
【００４３】
以上、本発明を実施形態例に基づき具体的に説明したが、本発明は、前記実施形態例に限定されるものではなく、その要旨を逸脱しない範囲において種々の変更が可能であることは言うまでもない。
【００４４】
【発明の効果】
上記のように、本発明によれば、絶対位置情報が付加された映像からカメラの位置や動きを推定することができ、そのカメラ操作と被写体の絶対空間情報により、異なる位置にあるカメラから異なる被写体を撮影した映像を写像することができる。さらに、２次元モニタに望ましい視野に含まれる映像を表示することができる。したがって、画像のフレーム、ファイル、ファイルフォーマットの管理概念を超える映像の管理技術を実現することが可能となる。
【００４５】
また、上記のように管理された時空間から、ユーザの所望する映像情報に応じた管理時空間の時空間情報に基づき該当する映像情報を切り出し、２次元モニタに写像するようにしたので、複数の映像の動くパノラマ空間としての扱いと、この時空間を用いた複数映像の時空間的にシームレスな上下左右自由な角度大きさでの見渡しが可能であり、同時に効率よく直感的に映像情報へアクセスしたり、比較したり、検索、編集したりすることが可能である複数映像のインタフェースが実現できる。
【図面の簡単な説明】
【図１】本発明の装置の一実施形態例を示す構成図である。
【図２】上記実施形態例の動作例を示す図であって、本発明の方法の一実施形態例を示す手順の流れ図である。
【図３】上記実施形態例におけるフレーム画像の円柱面への写像を示す図である。
【図４】上記実施形態例における写像面での映像情報切り出しを示す図である。
【図５】上記実施形態例における複数写像面での映像情報切り出しを示す図である。
【図６】上記実施形態例における切り出し映像情報の選別を示す図である。
【図７】（ａ），（ｂ）は、上記実施形態例における上記実施形態例における複数モニタ（ウィンド）表示を示す図である。
【符号の説明】
１０１…ビデオ信号入力部
１０２…フォーマット識別部
１０３…フレーム画像間空間情報抽出部
１０４…フレーム画像間時間情報抽出部
１０５…情報添付部
１０６…時空間管理部
１０７…ユーザ入力部
１０８…映像情報切り出し部
１０９…映像情報写像部
１１０…出力部
２０１…ビデオ信号入力手順
２０２…フォーマット識別手順
２０３…絶対空間情報照合手順
２０４…対応算出手順
２０５…入力系モデル推定手順
２０６…被写体モデル推定手順
２０７…絶対時間情報照合手順
２０８…入力系モデル時間変化算出手順
２０９…多項式近似手順
２１０…被写体モデル時間変化算出手順
２１１…情報添付手順
２１２…写像手順
２１３…内挿手順
２１４…付加情報管理手順
２１５…座標値算出手順
２１６…選別手順
２１７…２次元座標値算出手順
２１８…映像情報表示手順
【発明の属する技術分野】
本発明は、複数の映像の時空間統合による新たな映像のデータベースとユーザインタフェースに関するものであり、特に複数映像の時空間管理・表示・アクセス方法及び装置に関する。
【０００２】
【従来の技術】
コンピュータの高性能化、ハードディスクの大容量化、ビデオカメラの小型化とこれらの低価格化に伴い、一般家庭へのそれらの普及が進んでいる。これらの普及と共に、圧縮技術の確立、標準化により映像のデジタル化が身近なものとなり、パーソナルコンピュータでの映像の扱いが可能になってきた。ここで言う映像の扱いとは、映像をデータベースから検索したり、編集したり、加工したりすることである。本発明で対象とする映像の扱いは、複数の映像を管理し、ユーザの目的にかなう映像を、効率よく直感的に検索し、表示、アクセスすることである。
【０００３】
従来、映像の管理はテキスト同様にファイルの形式で行われている。例えば、Ｗｉｎｄｏｗｓ９５では、ＡＶＩフォーマットであり、Ｍａｃｉｎｔｏｓｈでは、Ｑｕｉｃｋ ｔｉｍｅフォーマット等である。また、ＭＰＥＧ１／２も一つの映像フォーマットであると考えられる。一般的に映像フォーマットは、映像の属性情報が含まれるヘッダー部と映像データを含むデータ部から構成されている。テキストファイルの検索同様、ヘッダーに含まれている属性情報等（作成日、画像サイズ、名前等）で検索することは、従来のファイル管理の枠組みで実現されている。また最近では、コンテントベース（中身ベース）で映像を管理、検索する技術が多く提案され、それらの技術をまとめた報告もある〔ＰｈｉｌｉｐｐｅＡｉｇｒａｉｎ，Ｈｏｎｇｊｉａｎｇ Ｚｈａｎｇ ａｎｄ Ｄｒａｇｕｔｉｎ Ｐｅｔｋｏｖｉｃ，“Ｃｏｎｔｅｎｔ−Ｂａｓｅｄ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ａｎｄ Ｒｅｔｒｉｅｖａｌ ｏｆ Ｖｉｓｕａｌ Ｍｅｄｉａ：ＡＳｔａｔｅ−ｏｆ−ｔｈｅ−Ａｒｔ Ｒｅｖｉｅｗ”，ＭｕｌｔｉｍｅｄｉａＴｏｏｌｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ，Ｖｏｌ．３，ｐｐ．１７９−２０２（１９９６）．〕。報告されている技術の枠組みは、映像・画像を処理し、選られた特徴量に関して必要に応じて知識を用いてインデクス付けを行い、付けられたインデクスの記述の抽象度に応じたユーザインタフェースで検索を支援するものである。特に、映像のユーザインタフェースの報告として、Ｍ．Ｍｉｌｌ他〔“Ａ Ｍａｇｎｉｆｉｅｒ Ｔｏｏｌ ｆｏｒ Ｖｉｄｅｏ Ｄａｔａ”，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＣＨＩ’９２，ｐｐ．９３−９８（１９９２）〕は、映像のフレームを時間解像度レベルに応じて空間に配置し、粗い時間解像度から細かい時間解像度へと時間への新しい映像の見方、アクセススタイルを可能にした報告をしている。また、Ｅ．Ｅｌｌｉｏｔ ａｎｄ Ａ．Ｗ．Ｄａｖｉｓ：“Ｍｏｔｉｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ”，Ｓｔｒｉｋｉｎｇ Ｐｏｓｓｉｂｉｌｉｔｉｅｓ，ＡＤＶＡＮＣＥＤ ＩＭＡＧＩＮＧ，ＡＵＧＵＳＴ（１９９２）は、映像を画像（２次元）＋時間（１次元）の３次元物体として表現し、映像の時間情報の新しい表現方法の実現と時間情報への直感的なアクセスを実現している。上記のユーザインタフェースは、映像のブラウジングを実現したものであり、映像をある手がかりでパラパラ見ることでユーザの欲しい映像情報を提供するものである。
【０００４】
また、空間をベースとした複数静止画像のユーザインタフェースとしては、ＡＰＰＬＥ ＣＯＭＰＵＴＥＲがＱｕｉｃｋ Ｔｉｍｅ ＶＲを提案している〔Ｓｈｅｎｃｈａｎｇ Ｅｒｉｃ Ｃｈｅｎ，“Ｑｕｉｃｋ Ｔｉｍｅ ＶＲ−ＡｎＩｍａｇｅ−Ｂａｓｅｄ Ａｐｐｒｏｃｈ ｔｏ Ｖｉｒｔｕａｌ Ｅｎｖｉｒｏｎｍｅｎｔ Ｎａｖｉｇａｔｉｏｎ”，Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｅｄｉｎｇｓ，Ａｎｎｕａｌ Ｃｏｎｆｅｒｅｎｃｅ Ｓｅｒｉｅｓ，ｐｐ．２９−３８（１９９５）〕。複数毎の画像からパノラマ画像を作成し、作成したパノラマ画像を一枚の画像サイズのビューウィンドを通して、ユーザが自由に見渡せるユーザインタフェースである。空間的にシームレスに見渡せることで、直感的に複数枚の画像を把握支援することを実現している。
【０００５】
【発明が解決しようとする課題】
ビデオカメラによる入力が手軽になり、ネットワークを介した任意ユーザの映像発信や、表示の形態も自由になる環境において、複数の映像を空間、時間で統一的に扱いたいという要求が生じる。ここでいう複数の映像とは、例えばスポーツ競技場へ複数設置されたカメラからの複数の映像であるとか、同一イベントを複数の撮影者がそれぞれ撮影した映像、一台のカメラで撮影した映像でも異なる選手の様子を各々撮影した映像等である。また、扱うとは、複数の映像を時空間シームレスで同時に効率よく直感的にアクセスしたり、比較したり、検索、編集したりすることである。
【０００６】
しかしながら、複数の映像に対しては上記の従来技術の報告等では、解決していない課題が存在する。従来のファイル形式の映像管理やコンテントベース（中身ベース）での管理では、時空間シームレスで効率よく直感的にアクセスしたり、比較したり、検索、編集したりすることは不可能である。映像のコンテント中の時空間に関する情報を管理していないためである。粗い撮影場所のインデクスがついているケースも存在するが、この情報もファイル単位の管理では複数の映像に対して時空間シームレスな映像のユーザインタフェースは実現できない。複数映像に跨り存在する撮影されているもの（被写体）の時空間関係情報と統一的な管理が抜けているためである。また、Ｑｕｉｃｋ Ｔｉｍｅ ＶＲは、空間的にシームレスに見渡せるインタフェースを提案しているが、静止画のユーザインタフェースであり、動画像、複数の映像に関して実現できていない。現Ｑｕｉｃｋ Ｔｉｍｅ ＶＲの技術だけでは、上記要求は実現不可能である。動くパノラマ空間をシームレスに上下左右自由な角度大きさで見渡せる複数映像のインタフェースは実現できない。また、従来報告されている技術では、フォーマットの異なる複数映像を映像のコンテンツベースで統一的に管理し、扱うことは不可能である。
【０００７】
本発明の目的は、複数の映像から時空間情報を自動抽出し、抽出した情報に基づいて画像のフレーム、ファイル、ファイルフォーマットの管理概念を超える映像の管理技術を実現することであり、これによる複数の映像の動くパノラマ空間としての扱いとこの時空間を用いた複数映像の時空間的にシームレスな上下左右自由な角度大きさで見渡せ、同時に効率よく直感的に映像情報へアクセスしたり、比較したり、検索、編集したりすることが可能な複数映像のインタフェースを実現する複数映像の時空間管理・表示・アクセス方法及び装置を提供することにある。
【０００８】
【課題を解決するための手段】
上記の目的を達成するために、本発明による複数映像の時空間管理・表示・アクセス装置は、デジタルデータとして入力された複数の映像を統一された空間に写像し、前記空間における任意の位置の映像を表示する映像の時空間管理・表示・アクセス装置であって、
前記入力された映像データに対し、デジタルカメラにより追加情報として記録されるデータ、またはＧＰＳにより映像に付加されている位置情報を含む映像への付加情報から、緯度、経度を含む絶対位置を示す情報を抽出する絶対空間情報抽出部と、
前記入力された映像データの、各映像のフレーム画像間の、画像内の点と点、小領域と小領域との間の対応、または、動きベクトル、映像投影法によるフレーム間の対応に代表されるフレーム画像間の対応関係を算出するフレーム画像間対応算出部と、
前記算出された対応関係を用いて、前記入力された映像データ撮影時の、カメラ中心位置の移動のないカメラ操作のモデルを推定するカメラ操作推定部と、
前記カメラ操作、絶対位置を示す情報に基づき、前記入力された複数の映像を円柱で表される空間に写像する写像部と、
ユーザからの入力に応じて、ユーザの視野角が含む領域と映像された円柱との交点との座標値を求めることによって、前記視野角に含まれる円柱上の映像部分を算出する２次元座標算出部と、
前記算出された円柱上の映像部分を２次元モニタに表示する映像情報表示部とを有することを特徴とする。
【０００９】
また、同じく本発明による複数映像の時空間管理・表示・アクセス方法は、デジタルデータとして入力された複数の映像を統一された空間に写像し、前記空間における任意の位置の映像を表示する映像の時空間管理・表示・アクセス方法であって、
絶対空間情報抽出部が、前記入力された映像データに対し、デジタルカメラにより追加情報として記録されるデータ、またはＧＰＳにより映像に付加されている位置情報を含む映像への付加情報から、緯度、経度を含む絶対位置を示す情報を抽出する手順と、
フレーム画像間対応算出部が、前記入力された映像データの、各映像のフレーム画像間の、画像内の点と点、小領域と小領域との間の対応、または、動きベクトル、映像投影法によるフレーム間の対応に代表されるフレーム画像間の対応関係を算出する手順と、
カメラ操作推定部が、前記算出された対応関係を用いて、前記入力された映像データ撮影時の、カメラ中心位置の移動のないカメラ操作のモデルを推定する手順と、
写像部が、前記カメラ操作、絶対位置を示す情報に基づき、前記入力された複数の映像を円柱で表される空間に写像する手順と、
２次元座標算出部が、ユーザからの入力に応じて、ユーザの視野角が含む領域と映像された円柱との交点との座標値を求めることによって、前記視野角に含まれる円柱上の映像部分を算出する手順と、
映像情報表示部が、前記算出された円柱上の映像部分を２次元モニタに表示する手順とを有することを特徴とする。
【００１０】
上記のような構成とすることで、複数の映像から時空間情報を自動抽出し、抽出した時空間情報に基づいて、それらの複数映像を予め与えた時空間に統合して管理することにより、画像のフレーム、ファイル、ファイルフォーマットの管理概念を超えた複数映像の管理技術を実現する。また、この管理された時空間の時空間情報に基づいてユーザの所望する映像をその時空間から切り出すことにより、複数の映像の動くパノラマ空間としての扱いと、この時空間を用いた複数映像の時空間的にシームレスな上下左右自由な角度大きさでの見渡しとを可能とし、複数の映像情報を、同時に効率よく直感的にアクセスしたり、比較したり、検索、編集したりすることを可能にする。
【００１１】
【発明の実施の形態】
以下、本発明の実施形態例を、図面を参照して詳細に説明する。
【００１２】
図１に本発明による装置の一実施形態例の構成図を、図２にその動作例であって、本発明による方法の一実施形態例の手順の流れ図を示す。以下、これらの構成図と流れ図に沿って、本実施形態例の各構成部及び手法を説明する。
【００１３】
ビデオ信号はビデオ信号入力部１０１から入力され（ビデオ信号入力手順２０１）、１０２のフォーマット識別部において映像フォーマットの種類が判別される（フォーマット識別手順２０２）。ここで判別される映像のフォーマットは、圧縮と非圧縮フォーマットに大別できる。非圧縮フォーマットは、一般的にＲＧＢ等の画像データを非圧縮でもつフォーマットであり、圧縮フォーマットは、ＭＰＥＧ１／２に代表されるフォーマットである。
【００１４】
次にフレーム画像間空間情報抽出部１０３、フレーム画像間時間情報抽出部１０４において、上記識別されたそれぞれのフォーマットデータから映像の時空間情報を抽出する。以下、その手順を説明する。
【００１５】
まず、フレーム画像、フレーム画像間の空間情報の抽出手順を説明する。絶対空間情報照合手順２０３では、絶対空間情報の照合を行う。絶対空間情報とは、例えば緯度、経度、地名、都市名等の情報である。カメラ等の画像入力系のデジタル化が進み、デジタルデータを記録することが可能となってきた。デジタルカメラの場合、画像データと共に露出等のプリントに必要なデータがフィルム面に記録されている。また、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）の普及により場所の位置が特定可能である。ＧＰＳ等の情報を含めて多くの情報が映像に付加される兆しがある。絶対空間情報照合手順２０３では、これら映像に付加されている情報が記録されている場合、それらから空間に関係する情報（緯度、経度等）を抽出し、予め与えたデータベースに記録されている位置、場所のインデクスと照合し、フレームに絶対空間情報としてインデクシングすることを行う。同様に１０４のフレーム画像時間情報抽出部の絶対時間情報照合手順２０７においても時間に関する情報を抽出し、インデクス付けを行う。
【００１６】
次に、フレーム画像間の空間的な関係付け情報の算出を行う。２０４の対応算出手順において、フレーム画像間で対応付けを行うが、画像間の対応付けとして、画像の内の点と点を対応付ける方法や、画像内の小領域と小領域を対応付ける方法等がある。フレーム画像間から算出した動きベクトルも、一つの対応付けと考えられる。ＭＰＥＧ１／２に代表される符号化方式では、そのアルゴリズムの中に動き補償部が含まれており、この動き補償を行うためにフレーム間の動きベクトルを算出している。また、この動きベクトル情報は圧縮画像データの中に含まれている。１０２のフォーマット識別部においてＭＰＥＧ１／２等の予測符号化方式による圧縮フォーマットと識別された場合、圧縮データを復号する過程で動きベクトルが算出可能であり、この動きベクトルを以ってフレーム画像間の対応付け情報とすることが可能である。ただこの場合、動き補償データから抽出した動きベクトル情報は、圧縮の為に用いられている情報であるために、真の動きを反映していない部分を含むと考えられる。このため時間的に連続する複数のフレーム間で抽出した動きベクトルにフィルタ処理を施し、真の動きに反映した動きベクトルを選別することも行う。このフィルタ処理としては、例えば、“時間的に連続する動きは滑らかに変化する”の条件を満たす動き情報を選別する処理等である。
【００１７】
一方、動きベクトル等の情報含まない非圧縮フォーマットの映像に対して対応付けを行う処理について説明する。例として、フレーム間の動きベクトルとして対応付ける方法を説明する。フレーム画像間の点と点を対応付ける動きベクトルを算出する方法は勾配法と呼ばれ、Ｈｏｒｎ Ｂ．Ｋ．Ｐ．等によって提案されている〔Ｈｏｒｎ Ｂ．Ｋ．Ｐ．ａｎｄ Ｂ．Ｇ．Ｓｃｈｕｎｋ，“Ｄｅｔｅｒｍｉｎｉｎｇ ｐｒｉｃａｌ ｆｌｏｗ”，ＡＩ Ｍｅｍｏ ５７２，ＡＩ Ｌａｂ．ＭＩＴ，Ａｐｒｉｌ １９８０〕。時空間的に隣接する画素の値の差を基にして、前フレーム画像の画素の値との差を、“動きは時空間的に滑らかである”の拘束条件で評価し、動きベクトルを算出する方法である。また、フレーム画像の小領域（ブロック）での対応付けの動きベクトル算出方法としてブロックマッチング法が一般的である。この方法は、例えばＬ×Ｌのブロックをテンプレートとして、似たブロックが前フレーム中にないか適当な探索範囲の中を動かし、もっとも誤差の小さいときのずれを動きベクトルとする方法である。
【００１８】
フレーム画像から動きベクトルを直接用いずにフレーム対応関係を算出する方法として、映像投影法がある〔阿久津他，“投影法を用いた映像の解析方法と映像ハンドリングへの応用”，電子情報通信学会論文詩Ｄ−ＩＩ，Ｖｏｌ．Ｊ７９−Ｄ−ＩＩ，Ｎｏ．５，ｐｐ．６７５−６８６，１９９６〕。２次元の映像を縦横２つもしくは複数の１次元データへ射影し、１次元情報としてフレーム間の対応を算出する方法である。この方法は、時空間のノイズに対してロバストであり、処理コストの軽減の点で優れた方法である。
【００１９】
以上説明した方法で、フレーム画像間の対応関係を算出できる。フレーム画像間で対応関係を算出する場合、フレーム画像間で共通の被写体が撮影されている必要性がある。先に照合しインデクス付けをした絶対空間、絶対時間情報を用いて絶対時空間的に共通する映像を予め選別し、対応関係を算出することで処理の効率化が図れる。また、ショット（時空間的に連続するフレーム画像群）の特徴を生かすことで対応関係の算出の高速化も図れる。例えば、ショット内の画像は時空間的に連続している特徴を有するため、前に求めた動きベクトルを参考に次に算出する動きベクトルの探索範囲を制限すること等である。
【００２０】
次に、２０５の入力系モデルの推定手順を説明する。先に算出した複数個の動きベクトルを、カメラの入力系のモデルで表す事を試みる。入力系のモデルとは、カメラ操作による映像中の動きのモデルのことであり、以下の式で表す。
【００２１】
ｕ（ｘ’，ｙ’）＝（ａ０＋ａ１ｘ＋ａ２ｙ）／（ａ６ｘ＋ａ７ｙ＋１），
ｖ（ｘ’，ｙ’）＝（ａ３＋ａ４ｘ＋ａ５ｙ）／（ａ６ｘ＋ａ７ｙ＋１）。
【００２２】
この８つのパラメータで入力モデルを表す。この式が近似できる入力系のモデル（カメラ操作モデル）は、カメラ中心投影位置の移動の無い操作である（映像中の動き情報に撮影空間の３次元情報を含まないもの）。すなわち１ショット内のフレーム画像間において近似可能である。上記の式を線形和で近似することで最小２乗法を用いて比較的容易に複数の対応関係情報からパラメータを算出することが可能である。線形和での近似は、上記式を以下のようにテーラー展開し、高次項を無視することで実現できる。
【００２３】
ｕ（ｘ’，ｙ’）＝ａ０＋ａ１ｘ＋ａ２ｙ＋ａ３ｘｙ＋ａ４ｘ２＋ａ５ｙ２…，
ｖ（ｘ’，ｙ’）＝ｂ０＋ｂ１ｘ＋ｂ２ｙ＋ｂ３ｘｙ＋ｂ４ｘ２＋ｂ５ｙ２…。
【００２４】
上式の２次項を無視することで、以下のバイリニアの変換モデルで近似することができる。
【００２５】
ｕ（ｘ’，ｙ’）＝ａ０＋ａ１ｘ＋ａ２ｙ＋ａ３ｘｙ，
ｖ（ｘ’，ｙ’）＝ｂ０＋ｂ１ｘ＋ｂ２ｙ＋ｂ３ｘｙ。
【００２６】
ここで、Ｙ＝（ｘ’，ｙ’），
【００２７】
【数１】
Ａ＝（ａ０，ａ１，ａ２，ａ３，ｂ０，ｂ１，ｂ２，ｂ３）と表すと、Ｙ＝ＸＡ＋Ｅと上式は書き直せる。Ｅは誤差である。Ｅ2を最小にするＡが算出するパラメータである。Ｅ2をＥtＥと書き換えると、
ＥtＥ＝（Ｙ−ＸＡ）t（Ｙ−ＸＡ）＝ＹtＹ−２ＡtＸtＹ＋ＡtＸtＸＡ、
で表せる。この式をＡで微分し、微分係数を０とおくと、
ＸtＸＡ−ＸtＹ＝０、
であり、これより、
Ａ＝（ＸtＸ）-1ＸtＹ＝Ｘ -1 Ｙ、
で表せ、Ｘ -1 を算出することでパラメータを推定することができる。
【００２９】
また、先に記述した時空間投影法を用いて、Ｈｏｕｇｈ空間へ対応関係を投票することで、簡単な入力モデルのパラメータを容易に算出できる。
【００３０】
超低ビットレート映像符号化を実現する一つのアプローチとしてグローバルな動き補償がある。フレーム間を補償するときにフレーム全体を覆うグローバルな動き（カメラ操作による動き等）を用いる方法である。この符号化データを入力映像データとした場合、復号の過程で入力系モデルパラメータの抽出が可能である。フレーム毎に付加されているパラメータを任意のフレーム画像を基準に以下の演算で相対的な入力系モデルパラメータの算出が可能である。フレーム画像毎の変換モデルパラメータをＭt,t=0〜nとすると基準をＭ0とした場合ｎフレーム目の変換モデルパラメータは、
Ｍn＝Ｍn-1Ｍn-2…Ｍ0、
である。
【００３１】
以上説明した入力モデルは、時間的に連続なフレーム間（ショット内の隣接するフレーム画像間）からの算出であった。
【００３２】
次に、２０６の被写体モデル推定手順において被写体の抽出を行う。同じ被写体を違った角度で撮影した映像間でも、対応算出手順２０４で対応関係情報が算出される。この対応関係情報には、撮影空間の３次元情報（被写体位置、構造情報）が含まれている。この対応関係情報から基本的に三角測量の原理を用いて視差が算出でき、撮影空間の３次元情報（被写体位置、構造情報）が算出可能である。算出された３次元情報は、一つの被写体情報であり、後の情報添付部１０５でフレーム画像に添付される情報である。また、フレーム画像から空間的な特徴量（色、テクスチャ、エッジ、線分、動き３次元情報等）を抽出し、予め与えた被写体の特徴と照合し抽出も行う。まず色情報は、色差情報のヒストグラム分布等で特徴付けられる。例えば、ＭＰＥＧ１／２等の離散コサイン変換＋動き補償を基本とする符号化データは、輝度信号と色差信号とに画素当たりの画像データを分け符号化している。この色差信号のヒストグラム分布をとることで、色の特徴量とすることができる。また、テクスチャ、エッジ、線分等の特徴量は、離散コサイン変換で変換された画像の空間周波数計数で表せる。入力系モデル推定手順２０５で算出した入力モデルのパラメータを用いて前フレームからの差分を算出することで、カメラ操作による動き以外の被写体による動き情報を算出する。上記のように算出した被写体の特徴量をｎ次元ベクトルＨで表し、予め与えた被写体の特徴ベクトルＨｔとの距離を算出して照合を行なう。算出する距離としては、ユークリット距離、重み付きユークリット距離等である。被写体候補として抽出された画像領域を基本的な図形（円、楕円、四角形、矩形等）で近似表現することで、被写体をモデル化する。近似するための図形と個数を予め与え、領域を最大限含む図形パラメータとして表現する。
【００３３】
次に、１０４のフレーム画像間時間情報抽出部の処理手順について説明する。２０８の入力系モデルの時間変化算出手順では、先に入力系モデル推定手順２０５で算出した入力モデルの時間差分を算出する。この時、絶対時間情報照合手順２０７でインデクシングした時間情報等から、時間的に連続するモデルの差分をとる。すなわち、ショット内での入力モデルパラメータの時間変化を算出することである。時間的に連続するパラメータの差分情報等である。
【００３４】
２０８の入力系モデル時間変化算出手順で算出された時間変化量を用いて、２０９の多項式近似手順で時間変化を多項式近似する。上記説明したパラメータでは、
Ａ（ｔ）＝（ａ０（ｔ），ａ１（ｔ），ａ２（ｔ），ａ３（ｔ），ｂ０（ｔ），ｂ１（ｔ），ｂ２（ｔ），ｂ３（ｔ））、
と表せる。ここで、ａi（ｔ），ｂi（ｔ），（ｉ＝０〜３）を、下記数２式で近似することを行う。多項式での近似は、カメラ操作が滑らかに行われていることを前提としている。最小２乗法を用いて容易に近似可能である。被写体モデルの時間変化の算出手順２１０では、被写体モデルを記述した基本的な図形パラメータの隣接する時間での変化量を算出する。
【数２】
１０５の情報添付部では、上記したフレーム画像間の空間的な情報と時間的な情報をそれぞれの階層（解像度）に応じて画素単位、フレーム単位、ショット単位等で階層的にそれぞれ添付する（情報添付手順２１１）。例えば、被写体の情報は画素単位で添付され、入力系のモデルに関する情報はフレーム単位で添付される。また、入力モデルの時間変化モデルはショット単位で添付する。ショットを跨ぐフレーム画像間では、抽出した情報と共に対象としたお互いのフレームＩＤ等の情報も同時に添付される。
【００３６】
抽出された情報が添付されたフレーム画像の時空間管理に関して次に説明する。複数映像の時間、空間による管理は、１０６の時空間管理部で行う。時空間管理部１０６ではまず、ユーザ入力部１０７から入力されたユーザからの時間、場所等に関する情報を受け取る。受け取った時間Ｔｕ、空間の情報Ｓｕをキーワードとしてフレーム画像に添付されている絶対時間Ｔ、絶対空間Ｓのインデクスと照合を行う。照合は、
｜Ｓ−Ｓｕ｜＜ｅｓ，｜Ｔｕ−Ｔ｜＜ｅｔ、
で行う。ここで、ｅｓ、ｅｔはユーザが予め与えた定数である。
【００３７】
次に、２１２の写像手順によって照合されたフレーム画像に対して、複数のフレーム画像を時空間的に統合管理する時空間へ写像する。統合管理する空間としては円柱、球等の空間がある。先に抽出した空間情報を用いて複数のフレーム画像を円柱面へ投影した例を図３に示す。３０１が投影する円柱面を上から見た図である。３０２，３０３が写像するフレーム画像である。円柱の半径が撮影したときの焦点距離ｆで円柱中心ｏがカメラの投影中心である。図３に示したフレーム画像の例は、カメラの焦点距離、位置固定でカメラの首を振って（パンニング、チルティングカメラ操作）撮影された映像である。図中に示すように、円柱面部分３０４，３０５に、フレーム画像３０２，３０３は写像される。焦点距離の違うフレーム画像は、円柱の半径の違う円柱へ写像され、カメラ位置の異なるフレーム画像は、円柱の中心の異なる円柱へそれぞれ写像される。円柱面の座標値を（ｘ，ｙ，ｚ）で表すと、円柱面での値Ｓ（ｘ，ｙ，ｚ）は、写像されたフレームの画像値であり、Ｓは、絶対時間の関数である。複数のフレーム画像点が円柱面の同一点へ写像された場合のＳ値は、写像された画像値の平均値とする。
【００３８】
次に２１３の内挿手順で、上記写像した時空間の内挿を行う。この内挿手順２１３は、時間方向への内挿と空間の内挿をそれぞれ行う。内挿したい点の周辺に写像された点が存在した場合、内挿を行うことが可能である。内挿方法として、内挿したい点に最も近い写像点のデータを求めるデータとする最近隣内挿法、内挿したい点の周囲の写像点４点を用いる供１次内挿法、内挿したい点の周囲の写像点１６点を用いる３次畳み込み内挿法等を用いて行う。内挿が完了した時空間の各点に上記で算出した時空間情報を写像、内挿情報等の画像データと共に管理する（付加情報管理手順２１４）。
【００３９】
時空間管理部１０６で管理された時空間からユーザの入力に応じて映像情報を出力する方法について次に説明する。図４に映像情報切り出し部１０８と映像情報写像部１０９での手順の様子を示す。円柱面４０１に写像されたフレーム画像４０２，４０３に対してユーザは、視野角４０４で映像情報を得る事とする。この視野角４０４は、映像を表示するモニタ（ウィンド）のサイズで予め決定されるものである。今、ユーザが円柱の中心ｏから時空間のフレーム画像を４０４の視野角で見た場合、時空間から切り出す映像情報の座標値は、その視野角との交点４０５，４０６の座標値である。ユーザの視点方向が決定すれば、視野角４０４と焦点距離ｆとから一意に算出できる（座標値算出手順２１５）。
【００４０】
図５に映像を管理する時空間に複数の円柱面が存在した場合の座標値算出手順２１５を示す。図４の場合と同様にユーザが円柱の中心ｏから時空間のフレーム画像を視野角５０６で見た場合、時空間から切り出す映像情報の座標値は、円柱面５０１では視野角との交点５０７，５０８の座標値であり、円柱面５０２では視野角との交点５０９の座標値である。それぞれのフレーム画像は、５０３，５０４，５０５である。ユーザが入力した空間の範囲５１０で複数の座標値が算出される。
【００４１】
上記で算出された座標値から次の１０９の映像情報写像部でモニタ（ウィンド）の２次元座標値を算出する（２次元座標値算出手順２１７）。この場合、図６に示した６０４，６０５，６０６が同一の座標値を有する画像部分である。画像部分６０４ではフレーム画像６０１と６０３、画像部分６０５ではフレーム画像６０１，６０２と６０３、画像部分６０６ではフレーム画像６０１と６０２がそれぞれ重なり合う。２１６の選別手順は、重なり合う画像データからユーザの要求に応じて画像データを選別もしくは合成するものである。選別方法は、ユーザの空間の指定や時間の指定と照合し選別し、合成は画像データの平均や重み付き平均等である。
【００４２】
座標値算出手順２１５で算出された座標値を、映像情報写像手順における２次元座標値算出手順２１７において、図６に示した様な２次元空間へ写像した座標値を算出する。算出された２次元空間の座標値に基づいて、表示部１１０は、映像情報表示手順２１８により先の選別手順２１６で選別した画像データを表示する。通常２次元空間（モニタ、ウィンド）は一つであるが、複数の２次元空間で表示することも可能である。図７にこの様子の例を示す。７０１，７０２のそれぞれの円柱面へ写像されたフレーム画像を、視野角７０３と７０４でそれぞれ２次元空間へ写像し、２つのモニタで表示した例である。ユーザの要求に応じて視野方向や視点位置を変化させて表示するが、それぞれの切り出す位置を連動させることで被写体の視差を表現した形で２つのモニタへ写像できる。この視差を含んだ形の写像をユーザが左右の目でそれぞれ見た場合、見かけ上３次元時空間の被写体情報を得ることが可能である。
【００４３】
以上、本発明を実施形態例に基づき具体的に説明したが、本発明は、前記実施形態例に限定されるものではなく、その要旨を逸脱しない範囲において種々の変更が可能であることは言うまでもない。
【００４４】
【発明の効果】
上記のように、本発明によれば、絶対位置情報が付加された映像からカメラの位置や動きを推定することができ、そのカメラ操作と被写体の絶対空間情報により、異なる位置にあるカメラから異なる被写体を撮影した映像を写像することができる。さらに、２次元モニタに望ましい視野に含まれる映像を表示することができる。したがって、画像のフレーム、ファイル、ファイルフォーマットの管理概念を超える映像の管理技術を実現することが可能となる。
【００４５】
また、上記のように管理された時空間から、ユーザの所望する映像情報に応じた管理時空間の時空間情報に基づき該当する映像情報を切り出し、２次元モニタに写像するようにしたので、複数の映像の動くパノラマ空間としての扱いと、この時空間を用いた複数映像の時空間的にシームレスな上下左右自由な角度大きさでの見渡しが可能であり、同時に効率よく直感的に映像情報へアクセスしたり、比較したり、検索、編集したりすることが可能である複数映像のインタフェースが実現できる。
【図面の簡単な説明】
【図１】本発明の装置の一実施形態例を示す構成図である。
【図２】上記実施形態例の動作例を示す図であって、本発明の方法の一実施形態例を示す手順の流れ図である。
【図３】上記実施形態例におけるフレーム画像の円柱面への写像を示す図である。
【図４】上記実施形態例における写像面での映像情報切り出しを示す図である。
【図５】上記実施形態例における複数写像面での映像情報切り出しを示す図である。
【図６】上記実施形態例における切り出し映像情報の選別を示す図である。
【図７】（ａ），（ｂ）は、上記実施形態例における上記実施形態例における複数モニタ（ウィンド）表示を示す図である。
【符号の説明】
１０１…ビデオ信号入力部
１０２…フォーマット識別部
１０３…フレーム画像間空間情報抽出部
１０４…フレーム画像間時間情報抽出部
１０５…情報添付部
１０６…時空間管理部
１０７…ユーザ入力部
１０８…映像情報切り出し部
１０９…映像情報写像部
１１０…出力部
２０１…ビデオ信号入力手順
２０２…フォーマット識別手順
２０３…絶対空間情報照合手順
２０４…対応算出手順
２０５…入力系モデル推定手順
２０６…被写体モデル推定手順
２０７…絶対時間情報照合手順
２０８…入力系モデル時間変化算出手順
２０９…多項式近似手順
２１０…被写体モデル時間変化算出手順
２１１…情報添付手順
２１２…写像手順
２１３…内挿手順
２１４…付加情報管理手順
２１５…座標値算出手順
２１６…選別手順
２１７…２次元座標値算出手順
２１８…映像情報表示手順
Claims (12)
- デジタルデータとして入力された複数の映像を統一された空間に写像し、前記空間における任意の位置の映像を表示する映像の時空間管理・表示・アクセス装置であって、
前記入力された映像データに対し、デジタルカメラにより追加情報として記録されるデータ、またはＧＰＳにより映像に付加されている位置情報を含む映像への付加情報から、緯度、経度を含む絶対位置を示す情報を抽出する絶対空間情報抽出部と、
前記入力された映像データの、各映像のフレーム画像間の、画像内の点と点、小領域と小領域との間の対応、または、動きベクトル、映像投影法によるフレーム間の対応に代表されるフレーム画像間の対応関係を算出するフレーム画像間対応算出部と、
前記算出された対応関係を用いて、前記入力された映像データ撮影時の、カメラ中心位置の移動のないカメラ操作のモデルを推定するカメラ操作推定部と、
前記カメラ操作、絶対位置を示す情報に基づき、前記入力された複数の映像を円柱で表される空間に写像する写像部と、
ユーザからの入力に応じて、ユーザの視野角が含む領域と映像された円柱との交点との座標値を求めることによって、前記視野角に含まれる円柱上の映像部分を算出する２次元座標算出部と、
前記算出された円柱上の映像部分を２次元モニタに表示する映像情報表示部とを有すること
を特徴とする映像の時空間管理・表示・アクセス装置。 - 前記写像部は、複数の映像を半径がカメラの焦点距離であり、中心軸がカメラ中心を表す位置を通る円柱で表され、円柱の中心軸間の距離がカメラ中心間の距離に相当する円柱で表せる空間に写像する手段を有すること
を特徴とする請求項１記載の映像の時空間管理・表示・アクセス装置。 - カメラ操作推定部は、カメラ操作の時間変化を算出するカメラ操作時間変化算出部を有すること
を特徴とする請求項１または２記載の映像の時空間管理・表示・アクセス装置。 - カメラ操作時間変化算出部は、前記算出されたカメラ操作の時間変化を多項式に近似する多項式近似部を有すること
を特徴とする請求項３記載の映像の時空間管理・表示・アクセス装置。 - 写像部は、前記写像されたフレーム画像を前記円柱で表される空間の解像度に合わせて空間的な内挿を行なう空間内挿部を有すること
を特徴とする請求項１から４のいずれか１項に記載の映像の時空間管理・表示・アクセス装置。 - ２次元座標算出部は、前記算出された座標値のもつ情報をユーザの所望する情報に応じて選別または合成する情報選別部を有すること
を特徴とする請求項１から５のいずれか１項に記載の映像の時空間管理・表示・アクセス装置。 - デジタルデータとして入力された複数の映像を統一された空間に写像し、前記空間における任意の位置の映像を表示する映像の時空間管理・表示・アクセス方法であって、
絶対空間情報抽出部が、前記入力された映像データに対し、デジタルカメラにより追加情報として記録されるデータ、またはＧＰＳにより映像に付加されている位置情報を含む映像への付加情報から、緯度、経度を含む絶対位置を示す情報を抽出する手順と、
フレーム画像間対応算出部が、前記入力された映像データの、各映像のフレーム画像間の、画像内の点と点、小領域と小領域との間の対応、または、動きベクトル、映像投影法によるフレーム間の対応に代表されるフレーム画像間の対応関係を算出する手順と、
カメラ操作推定部が、前記算出された対応関係を用いて、前記入力された映像データ撮影時の、カメラ中心位置の移動のないカメラ操作のモデルを推定する手順と、
写像部が、前記カメラ操作、絶対位置を示す情報に基づき、前記入力された複数の映像 を円柱で表される空間に写像する手順と、
２次元座標算出部が、ユーザからの入力に応じて、ユーザの視野角が含む領域と映像された円柱との交点との座標値を求めることによって、前記視野角に含まれる円柱上の映像部分を算出する手順と、
映像情報表示部が、前記算出された円柱上の映像部分を２次元モニタに表示する手順とを有することを特徴とする映像の時空間管理・表示・アクセス方法。 - 前記写像部が写像する手順においては、
複数の映像を半径がカメラの焦点距離であり、中心軸がカメラ中心を表す位置を通る円柱で表され、円柱の中心軸間の距離がカメラ中心間の距離に相当する円柱で表せる空間に写像する手順を有すること
を特徴とする請求項７記載の映像の時空間管理・表示・アクセス方法。 - 前記カメラ操作推定部が推定する手順においては、
カメラ操作の時間変化を算出する手順を有すること
を特徴とする請求項７または８記載の映像の時空間管理・表示・アクセス方法。 - 前記カメラ操作の時間変化を算出する手順においては、
前記算出されたカメラ操作の時間変化を多項式に近似する手順を有すること
を特徴とする請求項９項に記載の映像の時空間管理・表示・アクセス方法。 - 写像部が写像する手順においては、
前記写像されたフレーム画像を前記円柱で表される空間の解像度に合わせて空間的な内挿を行なう手順を有すること
を特徴とする請求項７から１０のいずれか１項に記載の映像の時空間管理・表示・アクセス方法。 - ２次元座標算出部が算出する手順においては、
算出された座標値のもつ情報をユーザの所望する情報に応じて選別または合成する手順を有すること
を特徴とする請求項７から１１のいずれか１項に記載の映像の時空間管理・表示・アクセス方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2115097A JP3594754B2 (ja) | 1997-02-04 | 1997-02-04 | 映像の時空間管理・表示・アクセス方法及び装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2115097A JP3594754B2 (ja) | 1997-02-04 | 1997-02-04 | 映像の時空間管理・表示・アクセス方法及び装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10224731A JPH10224731A (ja) | 1998-08-21 |
| JP3594754B2 true JP3594754B2 (ja) | 2004-12-02 |
Family
ID=12046890
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2115097A Expired - Lifetime JP3594754B2 (ja) | 1997-02-04 | 1997-02-04 | 映像の時空間管理・表示・アクセス方法及び装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3594754B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000227963A (ja) * | 1999-02-08 | 2000-08-15 | Nippon Telegr & Teleph Corp <Ntt> | 距離情報付き画像作成装置及び方法、並びにこの方法のプログラムを記録した記録媒体 |
| JP4680104B2 (ja) * | 2006-03-22 | 2011-05-11 | 日本電信電話株式会社 | パノラマ画像作成方法 |
-
1997
- 1997-02-04 JP JP2115097A patent/JP3594754B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10224731A (ja) | 1998-08-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6956573B1 (en) | Method and apparatus for efficiently representing storing and accessing video information | |
| US7304649B2 (en) | Object region data describing method and object region data creating apparatus | |
| JP4320141B2 (ja) | 要約映像生成のための方法とシステム | |
| EP2005748B1 (en) | Virtual observer | |
| Irani et al. | Efficient representations of video sequences and their applications | |
| Sun et al. | Region of interest extraction and virtual camera control based on panoramic video capturing | |
| JP4013286B2 (ja) | 画像符号化装置と画像復号化装置 | |
| Lewis et al. | Spatial video and GIS | |
| WO1998021688A1 (en) | Method and apparatus for efficiently representing, storing and accessing video information | |
| JP2002536746A (ja) | 動画シーケンスを表す記述子とその記述子を使用する画像検索システム | |
| CN106156199B (zh) | 一种视频监控图像存储检索方法 | |
| JP4462922B2 (ja) | 動画像検索情報生成装置、動画像要約情報生成装置、および要約情報生成方法 | |
| JP2002056392A (ja) | 物体領域情報記述方法、物体領域情報生成装置、及び物体領域情報記述プログラム | |
| Greenhill et al. | Virtual observers in a mobile surveillance system | |
| JP3594754B2 (ja) | 映像の時空間管理・表示・アクセス方法及び装置 | |
| US6744934B2 (en) | Method, apparatus and recording medium for generating an image file having hierarchical image data representing a plurality of still images having different display dimensions | |
| JP2005004487A (ja) | 捕捉パス上で撮影されたサラウンド画像を処理する装置及び方法 | |
| JP2002259979A (ja) | 画像補間方法と装置、および画像処理方法と装置 | |
| KR100984473B1 (ko) | 토폴로지 이미지 모델 | |
| CN115239763A (zh) | 一种基于中心点检测和图匹配的平面目标跟踪方法 | |
| JP4743601B2 (ja) | 動画像処理装置 | |
| Zeng et al. | Video indexing by motion activity maps | |
| Xiu et al. | Information management and target searching in massive urban video based on video-GIS | |
| JPH10164435A (ja) | 複数映像の時空間統合、管理方法及びその装置並びにそのプログラムを記録した記録媒体 | |
| Yoo et al. | Implementation of convergence P2P information retrieval system from captured video frames |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040824 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040901 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080910 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080910 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090910 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090910 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100910 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100910 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110910 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120910 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130910 Year of fee payment: 9 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |