JP3919163B2 - 映像オブジェクト編集装置及び映像オブジェクト編集プログラム - Google Patents
映像オブジェクト編集装置及び映像オブジェクト編集プログラム Download PDFInfo
- Publication number
- JP3919163B2 JP3919163B2 JP2001355215A JP2001355215A JP3919163B2 JP 3919163 B2 JP3919163 B2 JP 3919163B2 JP 2001355215 A JP2001355215 A JP 2001355215A JP 2001355215 A JP2001355215 A JP 2001355215A JP 3919163 B2 JP3919163 B2 JP 3919163B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- video object
- editing
- information
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Signal Processing For Recording (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、映像コンテンツの制作支援に係わり、例えば映像の見た目を編集したり、映像にメタデータを付加したり、映像を検索したり、映像を管理したり、あるいは映像を表示する映像オブジェクト編集装置及び映像オブジェクト編集プログラムに関する。
【０００２】
【従来の技術】
従来、映像コンテンツの制作は、カメラ、文字スーパー、コンピュータグラフィクス等の時系列情報を、映像のプレビューワ及びタイムライン表示を参照しつつ、編集する手法が行なわれている（参考文献１：ソニー株式会杜、編集システム、特開平１０−１６２５５６号公報）。前記の手法は、タイムラインによる時間軸表示と、プレビューワによる映像表示の連携により、効率的な映像編集を実現する手法である。また、映像検索手法は、色や動きといった映像特徴量やメタデータに基づいて、類似画像を検索する手法などがＭＰＥＧ−７標準化の過程において数多く提案されている（参考文献２：宮崎等、ＭＰＥＧ−７を用いた番組情報検索システムの開発２００１年映像情報メデイア学会年次大会、１６−５、２００１年、ｐ．２３３）（参考文献３：宮原等、ＭＰＥＧ−７利用画像部分検索システムの試作、２００１年映像情報メデイア学会年次大会、５−７、２００１年、ｐ．６７）。
【０００３】
図１５は従来の映像編集装置７０の構成例を示したブロック図である。映像編集装置７０は、外部に接続されたマウス等の入力装置１１から入力信号が入力され、映像編集装置７０内で処理する入力情報（マウスの位置情報等）に変換する入力手段７１と、入力手段７１から入力される入力情報に基づいて映像フレーム単位の映像編集を行なう映像編集制御手段７２と、映像を蓄積する映像蓄積媒体１３にアクセスして映像を蓄積したり、あるいは、映像を読み出す映像蓄積媒体アクセス手段７３と、単数乃至複数の映像シーケンスの映像存在時刻範囲情報に基づいて、映像シーケンス間の演算を可視化するタイムライン描画信号を生成するタイムライン生成手段７４と、映像蓄積媒体アクセス手段７３により読み出された映像信号と映像編集制御手段７２により編集された映像信号を合成した表示信号を生成する映像合成手段７５と、を備えて構成されている。また、前記タイムライン描画信号は、外部に接続されたタイムライン表示装置１４（ＣＲＴ等）によって表示することができる。また、前記表示信号は、外部に接続された映像表示装置１５（ＣＲＴ等）によって表示することができる。
【０００４】
前記のような従来の映像編集装置７０では、映像編集制御手段７２が、映像蓄積媒体アクセス手段７３を通じて映像蓄槓媒体１３から読み出した単独乃至複数の映像フレーム（映像信号）に対して入力装置１１からの所定の情報に基づいて、カット、ディゾルブ、ワイプ等の演算や操作を行なって、映像の見た目を編集する作業が行なわれている。
【０００５】
【発明が解決しようとする課題】
従来技術における映像の編集は、図１５に示した例のように映像フレーム単位で実行されるものが主流である。すなわち、編集の最小単位は映像フレームであり、実現されるカット、ワイプ、フェード、ディゾルブ等の映像編集効果は、ある映像シーケンスの映像フレームと、別の映像シーケンスの映像フレームとの間の演算処理によるものであった。しかも、映像オブジェクトに対する関連データであるメタデータの付与や、複数映像オブジェクトの存在時刻の論理演算によるシーン検索を行なう手法は考えられていない。
【０００６】
また、映像検索手法も、色や動きといった映像特徴量やメタデータに基づいて最適なカットあるいは映像フレームを検索するものが主流であり、映像オブジェクト毎のタイムライン間の論理演算によって該当映像フレームや該当映像オブジェクトを検索し、可視化し、頭出しする手法はなかった。さらに、前記した参考文献３で述べられているような手法は、映像フレーム内の映像オブジェクトを検索するものであるが、これは映像の局所的な特徴量とメタデータとに基づいた手法であり、タイムライン上で論理演算を行なって視覚的にオブジェクト存在時刻範囲を検索する手法ではない。
【０００７】
本発明は、従来の映像編集手法における問題点に鑑みてなされたものであり、映像をオブジェクト単位で扱う際の映像オブジェクトの時空間形状及びメタデータを編集することができる映像オブジェクト編集装置及び映像オブジェクト編集プログラムを提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明では前記課題を解決するために以下の構成に係るものとした。
まず、請求項１に記載の映像オブジェクト編集装置は、蓄積媒体に蓄積された映像の読み込みを行なう映像蓄積媒体アクセス手段と、蓄積媒体に蓄積された少なくともその映像に存在する映像オブジェクトの時刻及び映像オブジェクト形状を含んだオブジェクト情報の読み込み及び書き出しを行なうオブジェクト情報蓄積媒体アクセス手段と、外部入力信号を、映像オブジェクトの編集動作を示す入力情報に変換する入力手段と、この入力情報に基づいて、映像オブジェクト単位の編集制御を行なうオブジェクト編集制御手段と、前記オブジェクト情報に基づいて、前記映像内における前記映像オブジェクトが存在する時刻範囲を表示するタイムラインを生成するタイムライン生成手段と、前記オブジェクト情報に基づいて、前記映像内における前記映像オブジェクトの形状を生成して、前記映像蓄積媒体アクセス手段で読み出された映像と合成する映像合成手段と、を備える構成とした。
【０００９】
かかる構成によれば、映像オブジェクト編集装置は、映像蓄積媒体アクセス手段によって、蓄積媒体に蓄積された映像の読み込みを行ない、オブジェクト情報蓄積媒体アクセス手段によって、蓄積媒体に蓄積された少なくともその映像に存在する映像オブジェクトの時刻及び映像オブジェクト形状を含んだオブジェクト情報の読み込み及び書き出しを行なうことができる。そして、映像オブジェクト編集装置は、入力手段によって、外部入力信号を、映像オブジェクトの編集動作を示す入力情報に変換することで、オブジェクト編集制御手段によって、前記読み込まれたオブジェクト情報に基づいて映像オブジェクト単位の編集制御を行なうことができる。また、映像オブジェクト編集装置は、その編集時に、前記オブジェクト情報に基づいて、タイムライン生成手段によって、前記映像内における前記映像オブジェクトが存在する時刻範囲を表示するタイムラインを生成し、映像合成手段によって、前記映像内における前記映像オブジェクトの形状と前記映像とを合成することができる。
【００１０】
また、請求項２に記載の映像オブジェクト編集装置は、請求項１に記載の映像オブジェクト編集装置において、映像オブジェクト形状を新たに描画することにより作成する、またはオブジェクト情報に基づいて、既存の映像オブジェクト形状の一部を消去も含めて変更する形状描画処理手段を備える構成とした。
【００１１】
かかる構成によれば、映像オブジェクト編集装置は、形状描画処理手段によって、映像オブジェクト形状を、新たに描画することにより、新規に映像オブジェクトを作成したり、オブジェクト情報に基づいて、既存の映像オブジェクト形状の変更を行ない、前記オブジェクト情報を更新する。
【００１２】
さらに、請求項３に記載の映像オブジェクト編集装置は、請求項１または請求項２に記載の映像オブジェクト編集装置において、オブジェクト情報に基づいて、既存の映像オブジェクトの映像オブジェクト形状を分割して複数の映像オブジェクトに再編成する、または既存の複数の映像オブジェクトの映像オブジェクト形状を単一映像オブジェクトの映像オブジェクト形状に併合する空間分割・併合処理手段を備える構成とした。
【００１３】
かかる構成によれば、映像オブジェクト編集装置は、空間分割・併合処理手段によって、オブジェクト情報を変更することで、既存の映像オブジェクトの映像オブジェクト形状を分割して複数の映像オブジェクトに再編成したり、既存の複数の映像オブジェクトの映像オブジェクト形状を単一映像オブジェクトの映像オブジェクト形状に併合し、前記オブジェクト情報を更新する。
【００１４】
また、請求項４に記載の映像オブジェクト編集装置は、請求項１または請求項３のいずれか１項に記載の映像オブジェクト編集装置において、オブジェクト情報に基づいて、既存の映像オブジェクトを指定時刻範囲の内外で分割し、それぞれ別の映像オブジェクトとして再編成する、または複数の時間軸に沿って存在する複数の映像オブジェクトを単一の時間軸に沿って存在するように併合する時間分割・併合処理手段を備える構成とした。
【００１５】
かかる構成によれば、映像オブジェクト編集装置は、時間分割・併合処理手段によって、オブジェクト情報を変更することで、既存の映像オブジェクトを指定時刻範囲の内外で分割し、それぞれ別の映像オブジェクトとして再編成したり、複数の時間軸に沿って存在する複数の映像オブジェクトを単一の時間軸に沿って存在するように併合し、前記オブジェクト情報を更新する。
【００１６】
また、請求項５に記載の映像オブジェクト編集装置は、請求項１または請求項４のいずれか１項に記載の映像オブジェクト編集装置において、オブジェクト情報に、映像オブジェクトの関連情報であるメタデータを付与し、あるいは既存のメタデータの内容を修正するメタデータ処理手段を備える構成とした。
【００１７】
かかる構成によれば、映像オブジェクト編集装置は、メタデータ処理手段によって、入力手段から入力される入力情報に基づいて、オブジェクト情報に新たにメタデータを付与し、あるいは、すでに映像オブジェクト毎に付与されているメタデータの内容を変更する。
【００１８】
さらにまた、請求項６に記載の映像オブジェクト編集装置は、請求項１または請求項５のいずれか１項に記載の映像オブジェクト編集装置において、オブジェクト編集制御手段が、オブジェクト情報の時刻に基づいて、指定された映像オブジェクトの存在する時刻範囲を検索し、または処理対象時刻を前記指定された映像オブジェクトの存在する時刻へ移動する機能を備える構成とした。
【００１９】
かかる構成によれば、映像オブジェクト編集装置は、オブジェクト編集制御手段によって、オブジェクト情報の時刻に基づいて、指定された映像オブジェクトの存在する時刻範囲を検索し、前記時刻範囲内の代表時刻を一つ選択することで、処理対象時刻を前記代表時刻へ変更する。
【００２０】
さらに、請求項７に記載の映像オブジェクト編集装置は、請求項１または請求項６のいずれか１項に記載の映像オブジェクト編集装置において、オブジェクト編集制御手段が、オブジェクト情報に基づいて、映像オブジェクト形状の集合演算、または映像オブジェクトの存在時刻範囲に関する論理演算を行なうことによって、映像オブジェクト単位の編集を行なう構成とした。
【００２１】
かかる構成によれば、映像オブジェクト編集装置は、オブジェクト編集制御手段によって、映像オブジェクト形状毎の和集合や積集合といった集合演算を行ない新たな映像オブジェクト形状を生成したり、前記オブジェクト情報の時刻に基づいて、時間方向の論理和や論理積といった論理演算を行なうことで、映像オブジェクトを時間方向に編集したり、前記論理演算結果に基づいて、該当する時刻に存在する映像オブジェクトを検索する。
【００２２】
また、請求項８に記載の映像オブジェクト編集装置は、請求項１または請求項７のいずれか１項に記載の映像オブジェクト編集装置において、タイムライン生成手段が、平面内の一軸を時間軸の帯としたタイムラインを生成し、前記映像内における前記映像オブジェクトが存在する時刻範囲を前記時間軸の帯の有無、色または模様によって表わす構成とした。
【００２３】
かかる構成によれば、映像オブジェクト編集装置は、タイムライン生成手段によって、指定した時間内の映像内に存在する映像オブジェクトを、その映像オブジェクト単位のタイムラインとして視覚化した、タイムライン描画信号を生成する。
【００２４】
さらに、請求項９に記載の映像オブジェクト編集装置は、請求項１または請求項８のいずれか１項に記載の映像オブジェクト編集装置において、映像合成手段が、オブジェクト形状情報に基づいて、多角形または曲線形状を映像オブジェクトの形状として、映像オブジェクトが存在する映像と合成する構成とした。
【００２５】
かかる構成によれば、映像オブジェクト編集装置は、映像合成手段によって、映像内における映像オブジェクトのオブジェクト形状情報に基づいて、映像オブジェクトの存在領域を視覚化した表示信号を生成する。
【００２６】
さらにまた、請求項１０に記載の映像オブジェクト編集装置は、請求項１または請求項９のいずれか１項に記載の映像オブジェクト編集装置において、外部のハードウェア、ネットワークまたはソフトウェアとの制御信号を送受信するインタフェース手段を備え、この制御信号に基づいて、前記オブジェクト編集制御手段が、映像オブジェクトの編集を行なう構成とした。
【００２７】
かかる構成によれば、映像オブジェクト編集装置は、インタフェース手段によって、外部のハードウェア、ネットワークまたはソフトウェアとの制御信号を送受信することで、入力手段を介さずに直接外部からの制御信号をオブジェクト編集制御手段に通知し、映像オブジェクトの編集を行なう。
【００２８】
また、請求項１１に記載の映像オブジェクト編集プログラムは、蓄積媒体に蓄積された、映像と少なくともその映像に存在する映像オブジェクトの時刻及び映像オブジェクト形状を含んだオブジェクト情報とに基づいて、映像オブジェクトを編集するためにコンピュータを以下の手段により機能させるように構成した。
【００２９】
すなわち、前記映像の読み込みを行なう映像蓄積媒体アクセス手段、前記オブジェクト情報の読み込み及び書き出しを行なうオブジェクト情報蓄積媒体アクセス手段、外部入力信号を、映像オブジェクトの編集動作を示す入力情報に変換する入力手段、この入力情報に基づいて、映像オブジェクト単位の編集制御を行なうオブジェクト編集制御手段、前記オブジェクト情報に基づいて、前記映像内における前記映像オブジェクトが存在する時刻範囲を表示するタイムラインを生成するタイムライン生成手段、前記オブジェクト情報に基づいて、前記映像内における前記映像オブジェクトの形状を生成して、前記映像蓄積媒体アクセス手段で読み出された映像と合成する映像合成手段とした。
【００３０】
かかる構成によれば、映像オブジェクト編集プログラムは、映像蓄積媒体アクセス手段によって、蓄積媒体に蓄積された映像の読み込みを行ない、オブジェクト情報蓄積媒体アクセス手段によって、蓄積媒体に蓄積された少なくともその映像に存在する映像オブジェクトの時刻及び映像オブジェクト形状を含んだオブジェクト情報の読み込み及び書き出しを行なうことができる。そして、映像オブジェクト編集装置は、入力手段によって、外部入力信号を、映像オブジェクトの編集動作を示す入力情報に変換することで、オブジェクト編集制御手段によって、前記読み込まれたオブジェクト情報に基づいて映像オブジェクト単位の編集制御を行なうことができる。また、映像オブジェクト編集装置は、その編集時に、前記オブジェクト情報に基づいて、タイムライン生成手段によって、前記映像内における前記映像オブジェクトが存在する時刻範囲を表示するタイムラインを生成し、映像合成手段によって、前記映像内における前記映像オブジェクトの形状と前記映像とを合成することができる。
【００３１】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。
（第一の実施の形態：映像オブジェクト編集装置の構成）
図１は、本発明の第一の実施の形態に係る映像オブジェクト編集装置の全体構成を示すブロック図である。図１に示すように、映像オブジェクト編集装置１０は、入力手段１と、オブジェクト編集制御手段２と、オブジェクト情報蓄積媒体アクセス手段３と、映像蓄積媒体アクセス手段４と、タイムライン生成手段５と、映像合成手段６とを備えている。
【００３２】
また、映像オブジェクト編集装置１０は、外部に入力装置１１と、オブジェクト情報を蓄積したオブジェクト情報蓄積媒体１２と、映像を蓄積した映像蓄積媒体１３と、タイムラインの表示を行なうタイムライン表示装置１４と、映像を表示する映像表示装置１５とを接続しているものとする。この入力装置１１は、例えば、キーボード、マウス、タブレット、デジタイザ、タッチパネル、トラックボール、ジョイスティック、ダイヤル、ボタン等の入力デバイスの１つ以上により構成されたものである。
【００３３】
入力手段１は、外部に接続された入力装置１１から入力される入力信号を、映像オブジェクト編集装置１０内で処理される入力情報に変換するものである。
この入力情報には、指示情報、座標情報、時刻情報等がある。例えば、キーボード、ボタン等の各キーあるいはボタンに対応させて、どの動作を行なうか（映像再生、映像オブジェクト編集等）を定義しておいて、定義されたキーまたはボタンが押下されたときに、その動作を指示情報として出力する。また、例えば、マウスボタン押下（クリック）時に、マウスカーソルが指し示す画面上の座標を座標情報として出力する。また、例えば、ダイヤルによって表示させる映像フレームの出現時刻を指定する場合、そのダイヤルによって入力される入力信号を時刻情報として出力する。
【００３４】
オブジェクト編集制御手段２は、入力手段１からの入力情報に基づいて、映像オブジェクト、映像オブジェクトの存在時刻範囲及び位置を認識し、その認識した情報に基づいて映像オブジェクト及びメタデータの編集を行なうものである。ここで、オブジェクト編集制御手段２は、オブジェクト情報蓄積媒体アクセス手段３に映像の時刻情報を通知することで、オブジェクト情報蓄積媒体アクセス手段３を介してオブジェクト情報蓄積媒体１２からオブジェクト形状等のオブジェクト情報を取得したり、オブジェクト情報の書き換えを行なう。また、オブジェクト編集制御手段２は、映像蓄積媒体アクセス手段４に映像の時刻情報を通知することで、映像蓄積媒体アクセス手段４を介して映像蓄積媒体１３から映像信号を出力させる。
【００３５】
さらに、オブジェクト編集制御手段２は、映像中の映像オブジェクトが存在する時刻範囲等を示すオブジェクト存在時刻範囲情報をタイムライン生成手段５へ通知する。また、映像オブジェクトの形状や、位置座標等を示すオブジェクト形状情報を映像合成手段６へ通知する。
【００３６】
オブジェクト情報蓄積媒体アクセス手段３は、オブジェクト情報蓄積媒体１２にアクセスしてオブジェクト情報やメタデータの読み出し及び書き込みを行なうものである。
なお、オブジェクト情報蓄積媒体１２は映像オブジェクトの時々刻々と変化する位置、形状情報及びメタデータを時系列形式、時刻情報を付与した表形式、あるいは前記各形式の圧縮形式で蓄積したもので、例えば、固定デイスク、半導体メモリ、磁気テープ、磁気ディスク、光磁気ディスク、及び光ディスク（ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ）のいずれか、またはその組み合わせにより構成されたものである。
【００３７】
映像蓄積媒体アクセス手段４は、映像蓄積媒体１３にアクセスして、映像蓄積媒体１３に蓄積されている映像フレームの画素データあるいは圧縮データを映像信号として読み出し、映像合成手段６へ通知するものである。例えば、前記映像フレームがＭＰＥＧ２等で圧縮されている場合は、その映像フレームの伸張を行なう。
なお、映像蓄積媒体１３は、前記映像フレームの画素データあるいは圧縮データを蓄積したもので、オブジェクト情報蓄積媒体１２と同様の媒体（ＲＯＭ、ＣＤ−ＲＯＭ等の読み出し専用メモリを含む）で構成されている
【００３８】
タイムライン生成手段５は、オブジェクト編集制御手段２から出力されるオブジェクト存在時刻範囲情報に基づいて、各映像オブジェクトの存在時刻範囲を解析して、現在表示されている映像内に存在する映像オブジェクトの存在時刻範囲を帯グラフとして表示するタイムライン描画信号を生成するものである。またこのとき、マウス等の移動に応じて動作するカーソルをタイムライン描画信号に重畳する。このタイムライン描画信号は、外部に接続されたタイムライン表示装置１４に表示される。
このタイムライン表示装置１４は、例えば、ＣＲＴ、ＬＣＤ、ＰＤＰ、ＬＥＤ、ＥＬ、電光表示板、機械式ディスプレイ等の表示デバイスとすることができる。
【００３９】
映像合成手段６は、映像蓄積媒体アクセス手段４から読み出された映像信号と、オブジェクト編集制御手段２から出力されたオブジェクト形状情報とに基づいて、映像蓄積媒体アクセス手段４から読み出された映像信号上に映像オブジェクトの空間存在範囲（映像オブジェクトの形状）を合成した表示信号を生成するものである。この表示信号は、外部に接続された映像表示装置１５に表示される。
【００４０】
また、映像合成手段６は、オブジェクト編集制御手段２からの指示に基づいて画面上に、矢印、十字印、またはアイコンを重畳することで、カーソル表示を行なったり、ボタン、スライダ、ダイヤル、エディットボックス、プルダウンメニュー等の仮想的なコントロールの表示を行なったり、タイムコードをビットマップ化して表示することも可能である。
この映像表示装置１５は、タイムライン表示装置１４と同様の表示デバイスを用いることができる。
【００４１】
なお、本実施の形態では、タイムライン生成手段５及び映像合成手段６には、それぞれ別の表示装置（タイムライン表示装置１４及び映像表示装置１５）を接続する形態であるが、１つの表示装置を共有させて、タイムライン生成手段５及び映像合成手段６の出力をそれぞれ別のウィンドウとして表示させることも可能である。
【００４２】
次に、図１及び図２に基づいて、オブジェクト編集制御手段２について詳細に説明する。図２は図１に示したオブジェクト編集制御手段２の詳細構成例を示したブロック図である。
オブジェクト編集制御手段２は、解析手段２０、ＲＡＭ２１、集合演算処理部２２（集合演算処理手段）、形状描画処理部２３（形状描画処理手段）、空間分割・併合処理部２４（空間分割・併合処理手段）、時間分割・併合処理部２５（時間分割・併合処理手段）、論理演算処理部２６、メタデータ処理部２７（メタデータ処理手段）及び時刻カウンタ２８を含む構成とした。
【００４３】
解析手段２０は、入力手段１からの入力情報を解析して映像、タイムライン、ツールボックス（後記する）のいずれが選択されたかの判定を行なうものである。そして、その選択領域に基づいて、ユーザが指定した各情報（ユーザ指定画像座標、ユーザ指定オブジェクトＩＤ、メタデータ情報、ユーザ指定ツールＩＤ、ユーザ指定時刻、ユーザ指定時刻範囲）をＲＡＭ２１に記憶させる。
【００４４】
ＲＡＭ２１は、各種データを一時的に記憶する形状ＲＡＭ（ランダムアクセスメモリ）２１ａ、画像座標レジスタ２１ｂ、オブジェクトＩＤレジスタ２１ｃ、メタデータレジスタ２１ｄ、ツールＩＤレジスタ２１ｅ、時刻レジスタ２１ｆ、ＩＮ点／ＯＵＴ点レジスタ２１ｇ、タイムテーブル２１ｈを内部に形成している。
【００４５】
ここで、形状ＲＡＭ２１ａは、ある指定時刻における各オブジェクトの形状（ビットマップ等）を一時的に記憶するメモリ領域で、画像座標レジスタ２１ｂは、ユーザの指定する画像座標を一時的に記憶するメモリ領域で、オブジェクトＩＤレジスタ２１ｃは、ユーザの指定する映像オブジェクトのＩＤを一時的に記憶するメモリ領域である。
【００４６】
また、メタデータレジスタ２１ｄは、映像オブジェクトに設定するメタデータ情報を一時的に記憶するメモリ領域であり、ツールＩＤレジスタ２１ｅは、ユーザの指定する編集ツールのＩＤを一時的に記憶するメモリ領域でツールを切り替える切り替え信号として使用される。
【００４７】
また、時刻レジスタ２１ｆは、ユーザの指定する時刻または、時刻カウンタ２８により自動的にカウントアップ／カウントダウンされる処理対象時刻を一時的に記憶するメモリ領域で、ＩＮ点／ＯＵＴ点レジスタ２１ｇは、ユーザの指定する時刻範囲を一時的に記憶するメモリ領域で、タイムテーブル２１ｈは、オブジェクト蓄積媒体アクセス手段５を通じて取得された映像オブジェクト毎の時々刻々の存在／非存在を時刻対映像オブジェクトの表形式で一時的に記憶するメモリ領域である。
【００４８】
集合演算処理部２２は、指定された時刻の映像フレーム内での映像オブジェクト形状に対して、和集合、積集合、またはこれらを組み合わせた集合演算を行なう処理部である。また、形状描画処理部２３は、指定された時刻の映像フレーム内での映像オブジェクト形状の作成や変更等を行なう処理部である。また、空間分割・併合処理部２４は、指定された時刻の映像フレーム内での映像オブジェクト形状を分割あるいは併合する処理部である。
【００４９】
この集合演算処理部２２、形状描画処理部２３及び空間分割・併合処理部２４は、ツールＩＤレジスタ２１ｅに記憶されたユーザ指定ツールＩＤ（ツール切り替え信号）に基づいて、各処理部が切り替えられて起動される。そして前記各処理部で生成される映像オブジェクト（編集後オブジェクト形状）は形状ＲＡＭ２１ａに記憶され、映像合成手段６へオブジェクト形状として通知される。
【００５０】
時間分割・併合処理部２５は、ＩＮ点／ＯＵＴ点レジスタに記憶されている指定時刻範囲に基づいて、映像オブジェクトの時間方向の分割あるいは併合を行なう処理部である。また、論理演算処理部２６は、前記指定時刻範囲に基づいて、映像オブジェクトの時間方向の否定、論理和等の論理演算を行なう処理部である。
この時間分割・併合処理部２５及び論理演算処理部２６は、ツールＩＤレジスタ２１ｅに記憶されたユーザ指定ツールＩＤ（ツール切り替え信号）に基づいて、各処理部が切り替えられて起動される。
【００５１】
メタデータ処理部２７は、ユーザが指定した映像オブジェクトに付加するメタデータレジスタ２１ｄに基づいて、オブジェクト蓄積媒体アクセス手段３へメタデータを通知する。ここで、メタデータとは、映像オブジェクトの属性、特性、関連データ等を表わすデータで、例えば、識別子、名前、画像特徴量、関連する画像データ等をいう。
【００５２】
時刻カウンタ２８は、ＩＮ点／ＯＵＴ点レジスタ２１ｇで指定される指定時刻範囲において、自動的に時刻をカウントアップまたはカウントダウンし、時刻レジスタ２１ｆ内の時刻情報を更新するものである。
【００５３】
ここで、図３及び図４に基づいて、映像オブジェクト及び映像オブジェクト形状について説明する。図３は、映像オブジェクトを時空間領域において視覚的に表わした図である。また、図４は、映像オブジェクト形状の表現の例を視覚的に表わした図である。
【００５４】
図３に示すように、映像オブジェクト３０は、映像シーンに含まれる特定の物体に対応した空間及び時間方向に拡がりを有する領域である。また、映像オブジェクト形状３１とは、ある特定の時刻の映像フレーム内における映像オブジェクト領域の２次元形状である。
【００５５】
図４の例では、映像オブジェクト形状は、図４（１）に示すような映像信号により表現された映像オブジェクト４０に対して、図４（２）に示すような２次元のビットマップ表現４１、あるいは、図４（３）に示すような輪郭の頂点４２ａを結んで形成される多角形表現４２、輪郭の曲線表現（図示せず）、またはこれらの組み合わせにより表現される。なお、映像オブジェクト形状は単連結である必要はなく、複数の連結領域の集合で構成されてもよい。
【００５６】
このビットマップ表現４１は、映像オブジェクトのマスクデータとして映像合成手段６によって、映像信号に重畳されて表示信号として出力される。このマスクデータの重畳方法では、例えば、マスクデータ内外によって映像信号の輝度、色相、彩度を変化させ、マスクデータ内外のいずれか一方を単色またはパターンで塗りつぶし、またはマスク境界線を描画することで実現することができる。
【００５７】
次に、図１０に基づいて、タイムラインについて説明する。図１０は、タイムライン表示装置１４に表示されたタイムラインの一例を視覚的に表わした図である。図１０に示すように、タイムラインとは、各映像オブジェクトが各時刻において存在するか否かを帯グラフにより可視化した図表をいう。この帯グラフの有無によって、タイムコード５２で指定された時間内にどの映像オブジェクトが存在しているかを判断することができる。また、この帯グラフは、色や模様を変えることで映像オブジェクトの時間的重なりや、映像オブジェクトの種類を区別して表示することができる。
【００５８】
図１０の例では、人物名Ａ、人物名Ｂ等のオブジェクト名５１で特定される映像オブジェクトが、映像上のどの時刻（タイムコード５２）に存在するかを帯グラフで表わしている（オブジェクト存在時刻範囲５３）。このように映像オブジェクトは、１つの映像の同じ時刻（タイムコード５２）に複数存在する場合もある。
【００５９】
次に、図１３に基づいて、オブジェクト情報について説明する。図１３は、オブジェクト情報のデータ形式の一例である。図１３（１）は、オブジェクト情報の実体である時刻４１と、その時刻４１の映像フレームに存在する映像オブジェクトを特定する識別子である映像オブジェクト識別子４２及び映像オブジェクトの形状情報を示す映像オブジェクト形状４３を、時系列の表形式で表わしたものである。
【００６０】
また、図１３（２）は、映像オブジェクトの映像オブジェクト識別子４２ごとに、対応するメタデータである映像オブジェクト名４４とＵＲＩ（Uniform Resource Identifiers）４５とを表形式で表わしたものである。
これによって、ある時刻４１の映像オブジェクト識別子４２から、間接的にメタデータである映像オブジェクト名４４やＵＲＩ４５を参照することができる。
【００６１】
（第一の実施の形態：映像オブジェクト編集装置の動作）
次に、図１、図２、図５乃至図７に基づいて、本発明の第一の実施の形態に係る映像オブジェクト編集装置１０の動作について説明する。図５及び図６は、オブジェクト編集制御手段２の動作を示すフローチャートである。図７は映像オブジェクト編集装置１０でどの種類の編集を行なうかを指定するために画面上に表示されるツールボックスの例を示している。
【００６２】
映像オブジェクト編集装置１０、入力装置１としてマウスを用いた場合、ユーザはタイムライン表示装置１４または映像表示装置１５の画面上に表示されているカーソルをマウス操作で移動して、表示画面をクリックすることにより動作を行なう。
【００６３】
ユーザによりマウスが移動されたり、クリックされると、マウス移動、押下信号などのマウスの操作信号が入力信号として入力手段１に入力され、映像オブジェクト編集装置１０で処理を行なう入力情報に変換されて、オブジェクト編集制御手段２へ通知される。
【００６４】
そして、オブジェクト編集制御手段２は、解析手段２０で前記入力信号がマウスクリックかどうかを判断し（ステップＳ１）、クリックされた場合（Ｙｅｓ）はマウス押下座標を取得し（ステップＳ２）、押下された場所はがタイムライン表示装置１４に表示されたタイムライン上かどうかを判断し（ステップＳ３）、タイムライン上である場合（Ｙｅｓ）は、取得したマウス座標に該当するタイムラインのオブジェクトＩＤと時刻に変換し（ステップＳ４）、得られたオブジェクトＩＤをオブジェクトＩＤレジスタ２１ｃへ書き込み（ステップＳ５）、得られた時刻を時刻レジスタ２１ｆへ書き込んで（ステップＳ６）、終了する。これにより、タイムライン表示装置１４に表示されたタイムライン上にある映像オブジェクトと、その映像オブジェクトが存在する時刻情報がオブジェクト編集制御手段２内に記憶される。
【００６５】
また、ステップＳ３で、マウスの押下がタイムライン上でないと判断された場合（Ｎｏ）、ステップＳ７に進み、マウスの押下が映像表示装置１５に表示された映像表示上かどうかを判断し（ステップＳ７）、映像表示上である場合（Ｙｅｓ）は、マウス座標を画像座標に変換し、これを画像座標レジスタ２１ｂに書き込む（ステップＳ８）。そして、ツールＩＤレジスタ２１ｅから、すでにユーザにより選択されたツールＩＤを読み込み（ステップＳ９）、そのツールＩＤに対応したツールを用いて、映像オブジェクトの編集（空間編集）を行ない、その編集結果であるオブジェクト形状に基づいて、形状ＲＡＭ２１ａの画像座標の書き換えを行なう（ステップＳ１０）。
【００６６】
例えば、ツールＩＤレジスタ２１ｅに図７に示したツールボックス１６にある消しゴムのツールＩＤ（４）が記憶され、マウスの形状が消しゴム形状になっていたとすると、消しゴムツール（既存のペイントソフトウェア）により、マウスを移動させることで該当するオブジェクトの形状ＲＡＭ２１ａの内容を書き換えることができる。この形状ＲＡＭ２１ａの内容は、映像合成手段６に通知することで映像表示装置１５の画面上に表示される。なお、この消しゴムによるオブジェクトの消去動作は、マウスボタンがクリックされている状態で、マウスの移動（ドラッグ）信号を占有し、マウスボタンが離された段階で処理を終了する。
なお、このステップＳ１０のオブジェクト空間編集動作の詳細については後記する。
【００６７】
一方、ステップＳ７でマウスの押下が映像表示上でない場合（Ｎｏ）は、図６のステップＳ１９へ進み、マウスの押下がツールボックス上かどうかを判断し、ツールボックス上でない場合（Ｎｏ）は処理を終了する。また、マウスの押下がツールボックス上である場合（Ｙｅｓ）は、マウスの押下部分が図７に示すようなツールボックス上のブラシツールかどうかを判断し（ステップＳ２０）、マウスの押下部がブラシツールでない場合（Ｎｏ）はステップＳ２２に進み、マウスの押下部分がブラシツールである場合（Ｙｅｓ）はステップＳ２１に進んで、ツールＩＤレジスタ２１ｅに「１」を設定して処理を終了する。
【００６８】
また、ステップＳ２２に進んだ場合、マウスの押下部分が前記ツールボックス上の塗りつぶしツールかどうかを判断し、マウスの押下部分が塗りつぶしツールでない場合（Ｎｏ）はステップＳ２４に進み、マウスの押下部分が塗りつぶしツールである場合（Ｙｅｓ）は、ツールＩＤレジスタ２１ｅを「２」に設定して（ステップＳ２３）、処理を終了する。
【００６９】
さらに、ステップＳ２４に進んだ場合、マウスの押下部分が前記ツールボックス上の併合ツールかどうかを判断し、マウスの押下部分が併合ツールでない場合（Ｎｏ）はステップＳ２６に進み、マウスの押下部分が併合ツールである場合（Ｙｅｓ）は、ツールＩＤレジスタ２１ｅを「９」に設定して（ステップＳ２５）、処理を終了する。
【００７０】
また、ステップＳ２６に進んだ場合、マウスの押下部分が前記ツールボックス上のＡＮＤツールかどうかを判断し、マウスの押下部分がＡＮＤツールでない場合（Ｎｏ）は処理を終了する。また、マウスの押下部分がＡＮＤツールである場合（Ｙｅｓ）は、ツールＩＤレジスタ２１ｅを「１６」に設定して（ステップＳ２７）、処理を終了する。
【００７１】
一方、図５のステップＳ１でマウスが押下されたと判断されない場合（Ｎｏ）は、マウスがドラッグ（マウスボタンを押下しながらのマウス移動）されたかどうかを判断し（ステップＳ１１）、ドラッグされない場合（Ｎｏ）は処理を終了し、ドラッグされた場合（Ｙｅｓ）、そのドラッグがタイムライン表示装置１４に表示されたタイムライン上であるかどうかを判断し（ステップＳ１２）、タイムライン上でない場合（Ｎｏ）は処理を終了する。
【００７２】
また、ドラッグがタイムライン上である場合（Ｙｅｓ）は、ドラッグの方向を判断し（ステップＳ１３）、前記方向が横（時刻軸）方向である場合は、マウス座標をタイムライン上の時刻に変換した後（ステップＳ１４）、ドラッグの開始・終了の各点に対応した時刻であるＩＮ点とＯＵＴ点をＩＮ／ＯＵＴ点レジスタ２１ｇに設定して（ステップＳ１５）処理を終了する。
【００７３】
また、ステップＳ１３でドラッグの方向が、縦（オブジェクトＩＤ）方向と判断された場合はドラッグ開始・終了のマウス座標をドラッグ開始のオブジェクトＩＤと、ドラッグ終了のオブジェクトＩＤとの２つのＩＤ対（オブジェクトＩＤ対）に変換し（ステップＳ１６）、ＩＮ／ＯＵＴ点レジスタ２１ｇからＩＮ点とＯＵＴ点を読み込み（ステップＳ１７）、前記したオブジェクトＩＤ対の各タイムラインのＩＮ点／ＯＵＴ点内を統合、交換あるいは分割して（ステップＳ１８）処理を終了する。
なお、このステップＳ１８のオブジェクト時間編集動作の詳細については後記する。
【００７４】
以上の動作によって、映像オブジェクトの作成、修正、追加、削除、空間分割、空間併合、時間分割、時間併合、並びに映像オブジェクトの検索を、ツールボックスの空間編集ツール１６ａ、時間編集ツール１６ｂの各ツールを起動することで実現することができる。
また、メタデータの付与及び修正は、編集された映像オブジェクトに対して、例えばキーボード等からメタデータを入力するものであり、フローチャートとしては図示していない。
【００７５】
なお、本フローチャートでは、代表的なツールが選択された場合について説明を行なったが、実際にはツールボックス１６上の空間編集ツール１６ａ、時間編集ツール１６ｂ、論理、集合演算ツール１６ｃの全てのツールについて、同様に動作させることができる。
【００７６】
また、映像オブジェクト編集装置１０は、コンピュータにおいて、入力手段１、オブジェクト編集制御手段２、オブジェクト情報蓄積媒体アクセス手段３、映像蓄積媒体アクセス手段４、タイムライン生成手段５、及び映像合成手段６の各機能を、プログラムで実現することも可能であり、各機能プログラムを結合して映像オブジェクト編集プログラムとして動作させることも可能である。
【００７７】
（映像オブジェクト編集装置の動作例：空間編集）
次に、映像オブジェクトの空間編集の動作について詳細に説明する。なお、この動作は、図５のステップＳ１０の動作に該当する。また、映像オブジェクトの空間編集とは、ある時刻の映像フレーム内における映像オブジェクトを編集することをいう。
【００７８】
まず、映像オブジェクトの作成及び修正は、映像オブジェクト形状のビットマップ表現を、既存のぺイントソフトウェアであるブラシツールや消しゴムツールによって、描画し、修正し、または消去することで実現することができる。また、映像オブジェクト形状の作成及び修正は、多角形または曲線による映像オブジェクト形状の輪郭表現の頂点または制御点を、追加し、移動し、または削除することでも実現することができる。
【００７９】
また、映像オブジェクトの追加及び削除は、映像に対して、新規に映像オブジェクトを設定したり、すでに存在する映像オブジェクトを削除したりする。例えば、映像オブジェクトの追加は、映像オブジェクト形状として、空の新規ビットマップや空の新規頂点・制御点集合を割り当てることで実現することができる。また、映像オブジェクトの削除は、すでに存在する映像オブジェクト形状のビットマップまたは頂点・制御点集合を破棄することで実現することができる。
【００８０】
さらに、映像オブジェクトの空間分割及び併合は、すでに存在する複数の映像オブジェクトを１つの映像オブジェクト形状に併合し、１つの映像オブジェクトの映像オブジェクト形状として再編成したり、すでに存在する映像オブジェクトをある指定時刻範囲の内外で分割し、それぞれ別の映像オブジェクトとして再編成することによって実現することができる。
【００８１】
ここで、図１、図２及び図８に基づいて、映像オブジェクトの空間分割について説明する。
図８は、映像オブジェクトの空間分割の一例を視覚的に表わした図である。また、図８（１）は、映像表示装置１５上に表示されたある時刻での映像オブジェクト形状をビットマップ表現した内容を表わしており、図８（２）は、映像オブジェクトを分割した状態を表わしている。この例では、図８（１）の映像オブジェクトＡは「人」と「車」が一体化したオブジェクトとなっているが、「人」と「車」の境に、例えば既存の描画ツールを用いて、線描画を行なうことで、領域を分割する。
【００８２】
このように、映像オブジェクトを分割後、映像オブジェクト形状に基づいて、複数のビットマップに再編成することができる。また、分割後の各映像オブジェクト形状は、互いに交わりをもつこともできるし、分割前に映像オブジェクト形状内に含まれていた部分領域が、分割後のいずれの映像オブジェクトにも含まれない場合も許される。
【００８３】
次に、図９に基づいて、映像オブジェクトの空間併合について説明する。
図９は、映像オブジェクトの空間分割の一例を視覚的に表わした図である。そして、図９（１）は、映像表示装置１５上に表示されたある時刻での映像フレームの内容をビットマップ表現した内容を表わしており、図９（２）は、映像オブジェクトを併合した状態を表わしている。この例では、図１０（１）の「車」が２つの映像オブジェクトＡ及び映像オブジェクトＢに分割されたオブジェクトとなっているが、図９（２）では、映像オブジェクトＡ及び映像オブジェクトＢを併合して映像オブジェクトＣとしている。
【００８４】
この映像オブジェクトの空間併合は、集合演算処理部２２において行なわれる。すなわち、映像オブジェクト形状間の和集合を求めることで、映像オブジェクトの併合を行なう。
なお、併合後の映像オブジェクト形状は、必ずしも単連結となる必要はなく、複数の連結領域の集合となってもよい。
【００８５】
以上説明した映像オブジェクトの空間編集は、オブジェクト編集制御手段２によって、ユーザが指定した映像オブジェクトのオブジェクトＩＤ（オブジェクトＩＤレジスタ２１ｃに一時記憶）と、ユーザが指定し、変更を行なった映像オブジェクトの画像座標（画像座標レジスタ２１ｂに一時記憶）に基づいて、形状ＲＡＭ２１ａに記憶されているオブジェクト形状が変更され、このオブジェクト形状が映像合成手段６に通知される。
【００８６】
そして、映像合成手段６が、オブジェクト編集制御手段２から通知されるオブジェクト形状と、映像蓄積媒体アクセス手段４から通知される映像情報とに基づいて、映像オブジェクトの空間存在範囲を合成した表示信号を生成する。
【００８７】
（映像オブジェクト編集装置の動作例：時間編集）
次に、映像オブジェクトの時間編集の動作について詳細に説明する。なお、この動作は図５のステップＳ１８の動作に該当する。また、映像オブジェクトの時間編集とは、時系列の映像フレームに出現する映像オブジェクトを時刻によって編集することをいう。
【００８８】
まず、映像オブジェクトの時間分割及び併合は、すでに存在する映像オブジェクトをある指定時刻範囲の内外で分割し、それぞれ別の映像オブジェクトとして再編成したり、すでに存在する複数の映像オブジェクトを指定時刻範囲で１つの映像オブジェクトヘ統合することで実現することができる。
【００８９】
ここで、図１、図２及び図１１に基づいて、映像オブジェクトの時間分割について説明する。
図１１は、映像オブジェクトの時間分割の一例を視覚的に表わした図である。また、図１１（１）は、タイムライン表示装置１４上に表示されたある時刻範囲における映像オブジェクトのタイムラインを表わしており、図１１（２）は、映像オブジェクトを時間分割した後のタイムラインを表わしている。この例では、ユーザが入力装置１１によって、時間分割を行なう対象映像オブジェクトである小道具Ａと分割時刻範囲５５とを指定する。そして、対象映像オブジェクトである小道具Ａのオブジェクト存在時刻範囲（分割前）５３ａを分割時刻範囲５５の内外で分割し、図１１（２）に示すように、オブジェクト存在時刻範囲（分割後）５３ｂを有する小道具Ｂ、オブジェクト存在時刻範囲（分割後）５３ｃを有する小道具Ｃの２つの異なる映像オブジェクトとして再編成する。
【００９０】
また、例えば、対象映像オブジェクト（小道具Ａ）のオブジェクト存在時刻範囲（分割前）５３ａを分割時刻範囲５５の内外で分割し、一方を小道具Ａとして残し、他方を新規に生成した別の映像オブジェクトとして再編成してもよい。
【００９１】
次に、図１２に基づいて、映像オブジェクトの時間併合について説明する。
図１２は、映像オブジェクトの時間併合の一例を視覚的に表わした図である。また、図１２（１）は、タイムライン表示装置１４上に表示されたある時刻範囲における映像オブジェクトのタイムラインを表わしており、図１２（２）は、映像オブジェクトを時間併合した後のタイムラインを表わしている。この例では、ユーザが入力装置１１によって、時間併合を行ないたい対象オブジェクトである小道具Ｂと、小道具Ｃを指定する。そして、対象映像オブジェクトである小道具Ｂのオブジェクト存在時刻範囲（併合前）５３ｄと、小道具Ｃのオブジェクト存在時刻範囲（併合前）５３ｅとを併合し、図１２（２）に示すように、オブジェクト存在時刻範囲（併合後）５３ｆとなる小道具Ａを映像オブジェクトとして再編成する。
【００９２】
この映像オブジェクトの時間併合は、論理演算処理部２６において行なわれる。すなわち、映像オブジェクトの時空間存在領域の和集合を求めることで、映像オブジェクトの時間併合を行なう。あるいは、時間併合前の対象映像オブジェクトである小道具Ｂ、小道具Ｃに対して同一の識別子を付与し、これらを同一視することによって仮想的に時間併合を行ない、小道具Ａとして映像オブジェクトを再編成する形態であっても構わない。
【００９３】
また、映像オブジェクトの検索は、ユーザが指定する映像オブジェクトの存在する時刻を表示したり、指定時刻に存在する映像オブジェクトのタイムラインを表示させる。
【００９４】
ここで、図１、図２及び図１０に基づいて、映像オブジェクトの検索について説明する。
図１０は、タイムラインによる映像オブジェクトの検索例を示した図である。この例では、まず、ユーザが入力装置１１によって、検索を行ないたい映像オブジェクトのオブジェクト名５１（例えば人物Ａと人物Ｂ）をチェックボックス５４によって指定し、検索を実行する。そして、オブジェクト編集制御手段２内の論理演算処理部２６が、映像オブジェクトの存在時刻範囲に関する論理積演算（例えば論理積）を行ない、人物Ａと人物Ｂとのオブジェクト存在時刻範囲５３が共通となる時刻範囲を知る。そして、そのオブジェクト存在時刻範囲５３をタイムラインとして表示させることで、処理対象時刻を移動することができる。これによって、複数映像オブジェクトが同時に出現する時刻を検索することができる。
【００９５】
以上説明した映像オブジェクトの時間編集は、オブジェクト編集制御手段２によって、時刻レジスタ２１ｆに記憶されている処理対象となる時刻情報と、ＩＮ点／ＯＵＴ点レジスタ２１ｇに記憶されているユーザが指定した時刻範囲と、タイムテーブル２１ｈに記憶されているオブジェクト存在時刻範囲とが、タイムライン生成手段５に通知される。
【００９６】
そして、タイムライン生成手段５が、オブジェクト編集制御手段２から通知されるオブジェクト存在時刻範囲等に基づいて、映像オブジェクトの存在時刻範囲を図表形式に変換したタイムライン描画信号を生成する
【００９７】
（映像オブジェクト編集装置の動作例：メタデータ編集）
次に、図１、図２及び図１３に基づいて、映像オブジェクトのメタデータ編集の動作について詳細に説明する。
ここで、映像オブジェクトのメタデータ編集とは、すでに存在する映像オブジェクトに対し、メタデータを付与し、またその内容を編集するこという。
【００９８】
このメタデータの付与及び修正は、メタデータ編集ウィンドウを生成して各種メタデータのユーザ入力を促すことで編集を行なう。なお、このメタデータ編集ウィンドウは、図１３（２）に示したオブジェクト情報蓄積媒体１２に蓄積されたオブジェクト情報のメタデータに基づいて生成され、映像合成手段６を介して映像表示手段１５に表示される。
【００９９】
例えば、ユーザは、キーボード（入力装置１１）から映像オブジェクトの映像オブジェクト識別子４２、映像オブジェクト名４４、またはＵＲＩ４５等のメタデータのうち必要な情報を入力する。入力されたメタデータは、オブジェクト編集制御手段２のメタデータレジスタ２１ｄに一時記憶される。そして、オブジェクト編集制御手段２は、メタデータレジスタ２１ｄのメタデータの情報に基づいて、オブジェクト情報蓄積媒体アクセス手段３を介してオブジェクト情報蓄積媒体１２への書き込み、追加・修正、または削除を行なう。
【０１００】
（第二の実施の形態：映像オブジェクト編集装置の構成）
図１４は、本発明の第二の実施の形態に係る映像オブジェクト編集装置の全体構成を示すブロック図である。図１４に示すように、映像オブジェクト編集装置１０Ｂは、図１に示した映像オブジェクト編集装置１０にインタフェース手段７が付与されて構成されている。インタフェース手段７以外の構成は図１に示したものと同一の符号を付し、その説明は省略する。また、外部にプラグイン１６を接続しているものとする。
【０１０１】
インタフェース手段７（７1，７2，…，７n）は、外部システムであるプラグイン１６との接続口である。
例えば、インタフェース手段７の一部あるいは全部をコネクタ、プラグ等の物理的な接続口とすることができる。この場合、物理的な接続口であるインタフェース手段７には、ハードウェア機器のプラグイン１６を接続することができる。
【０１０２】
また、例えば、インタフェース手段７の一部あるいは全部をアプリケーションブログラムインタフェースとすることができる。この場合、該アプリケーションプログラムインタフェースに接続されるプラグイン１６は、ソフトウェアプラグインとすることができる。
【０１０３】
プラグイン１６（１６1，１６2，…，１６n）は、映像オブジェクト編集装置１０Ｂに接続される外部のハードウェア、またはソフトウェアである。例えば、プラグイン１６は、映像オブジェクト編集における映像オブジェクト描画を自動化するためのハードウェアまたはソフトウェアとすることができる。この場合、例えば、映像オブジェクトの自動抽出手法や自動追跡手法をプラグインすることができる。
【０１０４】
前記映像オブジェクトの自動抽出手法または自動追跡手法であるプラグイン１６は、入力装置１１からの入力信号に基づいて、オブジェクト編集制御手段２及びインタフェース手段７を介して、起動される。そして、映像オブジェクトの自動抽出手法または自動追跡手法であるプラグイン１６は、映像蓄積媒体１３から、映像蓄積媒体アクセス手段４、オブジェクト編集制御手段２、及びインタフェース手段７を介して、映像情報を読み出し、その映像情報（色情報、輝度情報等）に基づいて映像オブジェクト領域を抽出または追跡し、その抽出または追跡の結果を、インタフェース手段７を介してオブジェクト編集制御手段２へ返す。
【０１０５】
以上の一連の動作により、図１に示した第一の実施の形態である映像オブジェクト編集装置１０においては、手動によって実行される映像オブジェクト形状の描画を、図１４に示した第二の実施の形態である映像オブジェクト編集装置１０Ｂでは，自動的に実行することができる。
【０１０６】
なお、前記映像オブジェクトの自動抽出手法または自動追跡手法であるプラグイン１６は、例えば、情報融合による抽出・追跡手法（三須等、複数情報の融合によるサッカー選手のロバストな追跡法、信学技報、IE2001-4７、pp.23-30、２001）を利用することができる。
【０１０７】
以上、一実施形態に基づいて本発明を説明したが、本発明はこれに限定されるものではない。例えば、インタフェース手段７（７1，７2，…，７n）をネットワークに接続するためのポートとし、プラグイン１６はネットワークに接続された外部機器と接続し、例えばＴＣＰ／ＩＰ等による、通信によってリモート運転を行なうことができる。また、例えば、ルータ等を介して、遠隔地からの制御を行なうことも可能である。
【０１０８】
【発明の効果】
以上説明したとおり、本発明に係る映像オブジェクト編集装置及びプログラムでは、以下に示す優れた効果を奏する。
【０１０９】
請求項１に記載の発明によれば、映像オブジェクト編集装置は、映像表示と、その映像内に存在する映像オブジェクトの存在時間を表示したタイムライン表示を参照することができるので、効率的に映像オブジェクトの編集や検索を行なうことができる。これによって、今までは実現されていなかった映像オブジェクト単位での編集を行なうことができ、例えば、デジタル放送における映像コンテンツ制作を効率的に行なうことができる。
【０１１０】
請求項２乃至請求項４に記載の発明によれば、映像オブジェクト編集装置は、映像内における映像オブジェクトを個々に作成、変更、映像オブジェクトの分割・併合、並びに時間軸に沿った映像オブジェクトの分割・併合を行ない、その領域を映像オブジェクトとして設定することができるので、例えば、映像コンテンツ製作者の意図する領域を自由に映像コンテンツとすることができる。
【０１１１】
請求項５に記載の発明によれば、映像オブジェクト編集装置は、映像オブジェクト毎のメタデータの付与、あるいはメタデータの変更を行なうことができるので、映像オブジェクトに対して必要な情報を関連付けて記憶させることができる。これによって、映像オブジェクトを指定する方法が容易になり、映像コンテンツの編集及び検索の作業効率を高めることができる。
【０１１２】
請求項６に記載の発明によれば、映像オブジェクト編集装置は、指定した時刻範囲によって、映像オブジェクトを検索することができ、また、その映像オブジェクトの存在時刻へ処理対象時刻を移動させることができる。また、効率的に短時間で映像オブジェクトの編集作業を行なうことができる。
【０１１３】
請求項７に記載の発明によれば、映像オブジェクト編集装置は、映像オブジェクト形状を複数の集合演算によって、編集することができる。また、時間軸上の映像オブジェクトの検索において、複数の論理演算によって映像オブジェクトの検索を行なうことができる。これによって、映像オブジェクトの編集作業を効率的に行なうことができる。
【０１１４】
請求項８に記載の発明によれば、映像オブジェクト編集装置は、映像内における映像オブジェクトの存在時間をタイムラインで視覚化することができるので、映像オブジェクトの編集時にそのタイムラインを参照することで、映像オブジェクトの存在時間を容易に把握することができる。
【０１１５】
請求項９に記載の発明によれば、映像オブジェクト編集装置は、映像と映像オブジェクト形状とを合成して表示するので、映像内における映像オブジェクトの存在領域を視覚的に確認することができる。これによって、映像オブジェクトの編集において、映像コンテンツ製作者は、実際の映像オブジェクトを参照することで、正確に編集を行なうことができる。
【０１１６】
請求項１０に記載の発明によれば、映像オブジェクト編集装置は、外部のハードウェア、ネットワークまたはソフトウェアとの制御信号を送受信することができるので、例えば、外部の映像オブジェクト検出装置や、映像オブジェクト検出プログラムとの間で制御信号を送受信することで、映像オブジェクトの編集作業を自動化させることができる。
【０１１７】
請求項１１に記載の発明によれば、映像オブジェクト編集プログラムは、映像表示と、その映像内に存在する映像オブジェクトの存在時間を表示したタイムライン表示を参照することができるので、効率的に映像オブジェクトの編集や検索を行なうことができる。これによって、今までは実現されていなかった映像オブジェクト単位での編集を行なうことができ、例えば、デジタル放送における映像コンテンツ制作を効率的に行なうことができる。
【図面の簡単な説明】
【図１】本発明の第一の実施の形態に係る映像オブジェクト編集装置の全体構成を示すブロック図である。
【図２】図１に示したオブジェクト編集制御手段の詳細例を示したブロック図である。
【図３】映像オブジェクトを時空間領域において視覚的に表わした模式図である。
【図４】映像オブジェクト形状の表現の例を視覚的に表わした模式図である。
【図５】本発明の第一の実施形態の映像オブジェクト編集装置の編集動作（１／２）を示したフローチャートである。
【図６】本発明の第一の実施形態の映像オブジェクト編集装置の編集動作（２／２）を示したフローチャートである。
【図７】編集情報を入力するためのツールボックスの構成例を示した模式図である。
【図８】映像オブジェクトの空間分割の一例を視覚的に表わした模式図である。
【図９】映像オブジェクトの空間併合の一例を視覚的に表わした模式図である。
【図１０】タイムライン表示の一例を視覚的に表わした模式図である。
【図１１】タイムラインの時間分割の一例を視覚的に表わした模式図である。
【図１２】タイムラインの時間併合の一例を視覚的に表わした模式図である。
【図１３】オブジェクト情報蓄積媒体に蓄積する映像オブジェクト情報の形式を視覚的に表わした模式図である。
【図１４】本発明の第二の実施の形態に係る映像オブジェクト編集装置の構成例を示したブロック図である。
【図１５】従来の映像編集装置の構成例を示したブロック図である。
【符号の説明】
１…入力手段
２…オブジェクト編集制御手段
３…オブジェクト情報蓄積媒体アクセス手段
４…映像蓄積媒体アクセス手段
５…タイムライン生成手段
６…映像合成手段
７…インタフェース手段
１０…映像オブジェクト編集装置
１１…入力装置
１２…オブジェクト情報蓄積媒体
１３…映像蓄積媒体
１４…タイムライン表示装置
１５…映像表示装置
１６…プラグイン
２０…解析手段
２１…ＲＡＭ
２２…集合演算処理部
２３…形状描画処理部
２４…空間分割・併合処理部
２５…時間分割・併合処理部
２６…論理演算処理部
【発明の属する技術分野】
本発明は、映像コンテンツの制作支援に係わり、例えば映像の見た目を編集したり、映像にメタデータを付加したり、映像を検索したり、映像を管理したり、あるいは映像を表示する映像オブジェクト編集装置及び映像オブジェクト編集プログラムに関する。
【０００２】
【従来の技術】
従来、映像コンテンツの制作は、カメラ、文字スーパー、コンピュータグラフィクス等の時系列情報を、映像のプレビューワ及びタイムライン表示を参照しつつ、編集する手法が行なわれている（参考文献１：ソニー株式会杜、編集システム、特開平１０−１６２５５６号公報）。前記の手法は、タイムラインによる時間軸表示と、プレビューワによる映像表示の連携により、効率的な映像編集を実現する手法である。また、映像検索手法は、色や動きといった映像特徴量やメタデータに基づいて、類似画像を検索する手法などがＭＰＥＧ−７標準化の過程において数多く提案されている（参考文献２：宮崎等、ＭＰＥＧ−７を用いた番組情報検索システムの開発２００１年映像情報メデイア学会年次大会、１６−５、２００１年、ｐ．２３３）（参考文献３：宮原等、ＭＰＥＧ−７利用画像部分検索システムの試作、２００１年映像情報メデイア学会年次大会、５−７、２００１年、ｐ．６７）。
【０００３】
図１５は従来の映像編集装置７０の構成例を示したブロック図である。映像編集装置７０は、外部に接続されたマウス等の入力装置１１から入力信号が入力され、映像編集装置７０内で処理する入力情報（マウスの位置情報等）に変換する入力手段７１と、入力手段７１から入力される入力情報に基づいて映像フレーム単位の映像編集を行なう映像編集制御手段７２と、映像を蓄積する映像蓄積媒体１３にアクセスして映像を蓄積したり、あるいは、映像を読み出す映像蓄積媒体アクセス手段７３と、単数乃至複数の映像シーケンスの映像存在時刻範囲情報に基づいて、映像シーケンス間の演算を可視化するタイムライン描画信号を生成するタイムライン生成手段７４と、映像蓄積媒体アクセス手段７３により読み出された映像信号と映像編集制御手段７２により編集された映像信号を合成した表示信号を生成する映像合成手段７５と、を備えて構成されている。また、前記タイムライン描画信号は、外部に接続されたタイムライン表示装置１４（ＣＲＴ等）によって表示することができる。また、前記表示信号は、外部に接続された映像表示装置１５（ＣＲＴ等）によって表示することができる。
【０００４】
前記のような従来の映像編集装置７０では、映像編集制御手段７２が、映像蓄積媒体アクセス手段７３を通じて映像蓄槓媒体１３から読み出した単独乃至複数の映像フレーム（映像信号）に対して入力装置１１からの所定の情報に基づいて、カット、ディゾルブ、ワイプ等の演算や操作を行なって、映像の見た目を編集する作業が行なわれている。
【０００５】
【発明が解決しようとする課題】
従来技術における映像の編集は、図１５に示した例のように映像フレーム単位で実行されるものが主流である。すなわち、編集の最小単位は映像フレームであり、実現されるカット、ワイプ、フェード、ディゾルブ等の映像編集効果は、ある映像シーケンスの映像フレームと、別の映像シーケンスの映像フレームとの間の演算処理によるものであった。しかも、映像オブジェクトに対する関連データであるメタデータの付与や、複数映像オブジェクトの存在時刻の論理演算によるシーン検索を行なう手法は考えられていない。
【０００６】
また、映像検索手法も、色や動きといった映像特徴量やメタデータに基づいて最適なカットあるいは映像フレームを検索するものが主流であり、映像オブジェクト毎のタイムライン間の論理演算によって該当映像フレームや該当映像オブジェクトを検索し、可視化し、頭出しする手法はなかった。さらに、前記した参考文献３で述べられているような手法は、映像フレーム内の映像オブジェクトを検索するものであるが、これは映像の局所的な特徴量とメタデータとに基づいた手法であり、タイムライン上で論理演算を行なって視覚的にオブジェクト存在時刻範囲を検索する手法ではない。
【０００７】
本発明は、従来の映像編集手法における問題点に鑑みてなされたものであり、映像をオブジェクト単位で扱う際の映像オブジェクトの時空間形状及びメタデータを編集することができる映像オブジェクト編集装置及び映像オブジェクト編集プログラムを提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明では前記課題を解決するために以下の構成に係るものとした。
まず、請求項１に記載の映像オブジェクト編集装置は、蓄積媒体に蓄積された映像の読み込みを行なう映像蓄積媒体アクセス手段と、蓄積媒体に蓄積された少なくともその映像に存在する映像オブジェクトの時刻及び映像オブジェクト形状を含んだオブジェクト情報の読み込み及び書き出しを行なうオブジェクト情報蓄積媒体アクセス手段と、外部入力信号を、映像オブジェクトの編集動作を示す入力情報に変換する入力手段と、この入力情報に基づいて、映像オブジェクト単位の編集制御を行なうオブジェクト編集制御手段と、前記オブジェクト情報に基づいて、前記映像内における前記映像オブジェクトが存在する時刻範囲を表示するタイムラインを生成するタイムライン生成手段と、前記オブジェクト情報に基づいて、前記映像内における前記映像オブジェクトの形状を生成して、前記映像蓄積媒体アクセス手段で読み出された映像と合成する映像合成手段と、を備える構成とした。
【０００９】
かかる構成によれば、映像オブジェクト編集装置は、映像蓄積媒体アクセス手段によって、蓄積媒体に蓄積された映像の読み込みを行ない、オブジェクト情報蓄積媒体アクセス手段によって、蓄積媒体に蓄積された少なくともその映像に存在する映像オブジェクトの時刻及び映像オブジェクト形状を含んだオブジェクト情報の読み込み及び書き出しを行なうことができる。そして、映像オブジェクト編集装置は、入力手段によって、外部入力信号を、映像オブジェクトの編集動作を示す入力情報に変換することで、オブジェクト編集制御手段によって、前記読み込まれたオブジェクト情報に基づいて映像オブジェクト単位の編集制御を行なうことができる。また、映像オブジェクト編集装置は、その編集時に、前記オブジェクト情報に基づいて、タイムライン生成手段によって、前記映像内における前記映像オブジェクトが存在する時刻範囲を表示するタイムラインを生成し、映像合成手段によって、前記映像内における前記映像オブジェクトの形状と前記映像とを合成することができる。
【００１０】
また、請求項２に記載の映像オブジェクト編集装置は、請求項１に記載の映像オブジェクト編集装置において、映像オブジェクト形状を新たに描画することにより作成する、またはオブジェクト情報に基づいて、既存の映像オブジェクト形状の一部を消去も含めて変更する形状描画処理手段を備える構成とした。
【００１１】
かかる構成によれば、映像オブジェクト編集装置は、形状描画処理手段によって、映像オブジェクト形状を、新たに描画することにより、新規に映像オブジェクトを作成したり、オブジェクト情報に基づいて、既存の映像オブジェクト形状の変更を行ない、前記オブジェクト情報を更新する。
【００１２】
さらに、請求項３に記載の映像オブジェクト編集装置は、請求項１または請求項２に記載の映像オブジェクト編集装置において、オブジェクト情報に基づいて、既存の映像オブジェクトの映像オブジェクト形状を分割して複数の映像オブジェクトに再編成する、または既存の複数の映像オブジェクトの映像オブジェクト形状を単一映像オブジェクトの映像オブジェクト形状に併合する空間分割・併合処理手段を備える構成とした。
【００１３】
かかる構成によれば、映像オブジェクト編集装置は、空間分割・併合処理手段によって、オブジェクト情報を変更することで、既存の映像オブジェクトの映像オブジェクト形状を分割して複数の映像オブジェクトに再編成したり、既存の複数の映像オブジェクトの映像オブジェクト形状を単一映像オブジェクトの映像オブジェクト形状に併合し、前記オブジェクト情報を更新する。
【００１４】
また、請求項４に記載の映像オブジェクト編集装置は、請求項１または請求項３のいずれか１項に記載の映像オブジェクト編集装置において、オブジェクト情報に基づいて、既存の映像オブジェクトを指定時刻範囲の内外で分割し、それぞれ別の映像オブジェクトとして再編成する、または複数の時間軸に沿って存在する複数の映像オブジェクトを単一の時間軸に沿って存在するように併合する時間分割・併合処理手段を備える構成とした。
【００１５】
かかる構成によれば、映像オブジェクト編集装置は、時間分割・併合処理手段によって、オブジェクト情報を変更することで、既存の映像オブジェクトを指定時刻範囲の内外で分割し、それぞれ別の映像オブジェクトとして再編成したり、複数の時間軸に沿って存在する複数の映像オブジェクトを単一の時間軸に沿って存在するように併合し、前記オブジェクト情報を更新する。
【００１６】
また、請求項５に記載の映像オブジェクト編集装置は、請求項１または請求項４のいずれか１項に記載の映像オブジェクト編集装置において、オブジェクト情報に、映像オブジェクトの関連情報であるメタデータを付与し、あるいは既存のメタデータの内容を修正するメタデータ処理手段を備える構成とした。
【００１７】
かかる構成によれば、映像オブジェクト編集装置は、メタデータ処理手段によって、入力手段から入力される入力情報に基づいて、オブジェクト情報に新たにメタデータを付与し、あるいは、すでに映像オブジェクト毎に付与されているメタデータの内容を変更する。
【００１８】
さらにまた、請求項６に記載の映像オブジェクト編集装置は、請求項１または請求項５のいずれか１項に記載の映像オブジェクト編集装置において、オブジェクト編集制御手段が、オブジェクト情報の時刻に基づいて、指定された映像オブジェクトの存在する時刻範囲を検索し、または処理対象時刻を前記指定された映像オブジェクトの存在する時刻へ移動する機能を備える構成とした。
【００１９】
かかる構成によれば、映像オブジェクト編集装置は、オブジェクト編集制御手段によって、オブジェクト情報の時刻に基づいて、指定された映像オブジェクトの存在する時刻範囲を検索し、前記時刻範囲内の代表時刻を一つ選択することで、処理対象時刻を前記代表時刻へ変更する。
【００２０】
さらに、請求項７に記載の映像オブジェクト編集装置は、請求項１または請求項６のいずれか１項に記載の映像オブジェクト編集装置において、オブジェクト編集制御手段が、オブジェクト情報に基づいて、映像オブジェクト形状の集合演算、または映像オブジェクトの存在時刻範囲に関する論理演算を行なうことによって、映像オブジェクト単位の編集を行なう構成とした。
【００２１】
かかる構成によれば、映像オブジェクト編集装置は、オブジェクト編集制御手段によって、映像オブジェクト形状毎の和集合や積集合といった集合演算を行ない新たな映像オブジェクト形状を生成したり、前記オブジェクト情報の時刻に基づいて、時間方向の論理和や論理積といった論理演算を行なうことで、映像オブジェクトを時間方向に編集したり、前記論理演算結果に基づいて、該当する時刻に存在する映像オブジェクトを検索する。
【００２２】
また、請求項８に記載の映像オブジェクト編集装置は、請求項１または請求項７のいずれか１項に記載の映像オブジェクト編集装置において、タイムライン生成手段が、平面内の一軸を時間軸の帯としたタイムラインを生成し、前記映像内における前記映像オブジェクトが存在する時刻範囲を前記時間軸の帯の有無、色または模様によって表わす構成とした。
【００２３】
かかる構成によれば、映像オブジェクト編集装置は、タイムライン生成手段によって、指定した時間内の映像内に存在する映像オブジェクトを、その映像オブジェクト単位のタイムラインとして視覚化した、タイムライン描画信号を生成する。
【００２４】
さらに、請求項９に記載の映像オブジェクト編集装置は、請求項１または請求項８のいずれか１項に記載の映像オブジェクト編集装置において、映像合成手段が、オブジェクト形状情報に基づいて、多角形または曲線形状を映像オブジェクトの形状として、映像オブジェクトが存在する映像と合成する構成とした。
【００２５】
かかる構成によれば、映像オブジェクト編集装置は、映像合成手段によって、映像内における映像オブジェクトのオブジェクト形状情報に基づいて、映像オブジェクトの存在領域を視覚化した表示信号を生成する。
【００２６】
さらにまた、請求項１０に記載の映像オブジェクト編集装置は、請求項１または請求項９のいずれか１項に記載の映像オブジェクト編集装置において、外部のハードウェア、ネットワークまたはソフトウェアとの制御信号を送受信するインタフェース手段を備え、この制御信号に基づいて、前記オブジェクト編集制御手段が、映像オブジェクトの編集を行なう構成とした。
【００２７】
かかる構成によれば、映像オブジェクト編集装置は、インタフェース手段によって、外部のハードウェア、ネットワークまたはソフトウェアとの制御信号を送受信することで、入力手段を介さずに直接外部からの制御信号をオブジェクト編集制御手段に通知し、映像オブジェクトの編集を行なう。
【００２８】
また、請求項１１に記載の映像オブジェクト編集プログラムは、蓄積媒体に蓄積された、映像と少なくともその映像に存在する映像オブジェクトの時刻及び映像オブジェクト形状を含んだオブジェクト情報とに基づいて、映像オブジェクトを編集するためにコンピュータを以下の手段により機能させるように構成した。
【００２９】
すなわち、前記映像の読み込みを行なう映像蓄積媒体アクセス手段、前記オブジェクト情報の読み込み及び書き出しを行なうオブジェクト情報蓄積媒体アクセス手段、外部入力信号を、映像オブジェクトの編集動作を示す入力情報に変換する入力手段、この入力情報に基づいて、映像オブジェクト単位の編集制御を行なうオブジェクト編集制御手段、前記オブジェクト情報に基づいて、前記映像内における前記映像オブジェクトが存在する時刻範囲を表示するタイムラインを生成するタイムライン生成手段、前記オブジェクト情報に基づいて、前記映像内における前記映像オブジェクトの形状を生成して、前記映像蓄積媒体アクセス手段で読み出された映像と合成する映像合成手段とした。
【００３０】
かかる構成によれば、映像オブジェクト編集プログラムは、映像蓄積媒体アクセス手段によって、蓄積媒体に蓄積された映像の読み込みを行ない、オブジェクト情報蓄積媒体アクセス手段によって、蓄積媒体に蓄積された少なくともその映像に存在する映像オブジェクトの時刻及び映像オブジェクト形状を含んだオブジェクト情報の読み込み及び書き出しを行なうことができる。そして、映像オブジェクト編集装置は、入力手段によって、外部入力信号を、映像オブジェクトの編集動作を示す入力情報に変換することで、オブジェクト編集制御手段によって、前記読み込まれたオブジェクト情報に基づいて映像オブジェクト単位の編集制御を行なうことができる。また、映像オブジェクト編集装置は、その編集時に、前記オブジェクト情報に基づいて、タイムライン生成手段によって、前記映像内における前記映像オブジェクトが存在する時刻範囲を表示するタイムラインを生成し、映像合成手段によって、前記映像内における前記映像オブジェクトの形状と前記映像とを合成することができる。
【００３１】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。
（第一の実施の形態：映像オブジェクト編集装置の構成）
図１は、本発明の第一の実施の形態に係る映像オブジェクト編集装置の全体構成を示すブロック図である。図１に示すように、映像オブジェクト編集装置１０は、入力手段１と、オブジェクト編集制御手段２と、オブジェクト情報蓄積媒体アクセス手段３と、映像蓄積媒体アクセス手段４と、タイムライン生成手段５と、映像合成手段６とを備えている。
【００３２】
また、映像オブジェクト編集装置１０は、外部に入力装置１１と、オブジェクト情報を蓄積したオブジェクト情報蓄積媒体１２と、映像を蓄積した映像蓄積媒体１３と、タイムラインの表示を行なうタイムライン表示装置１４と、映像を表示する映像表示装置１５とを接続しているものとする。この入力装置１１は、例えば、キーボード、マウス、タブレット、デジタイザ、タッチパネル、トラックボール、ジョイスティック、ダイヤル、ボタン等の入力デバイスの１つ以上により構成されたものである。
【００３３】
入力手段１は、外部に接続された入力装置１１から入力される入力信号を、映像オブジェクト編集装置１０内で処理される入力情報に変換するものである。
この入力情報には、指示情報、座標情報、時刻情報等がある。例えば、キーボード、ボタン等の各キーあるいはボタンに対応させて、どの動作を行なうか（映像再生、映像オブジェクト編集等）を定義しておいて、定義されたキーまたはボタンが押下されたときに、その動作を指示情報として出力する。また、例えば、マウスボタン押下（クリック）時に、マウスカーソルが指し示す画面上の座標を座標情報として出力する。また、例えば、ダイヤルによって表示させる映像フレームの出現時刻を指定する場合、そのダイヤルによって入力される入力信号を時刻情報として出力する。
【００３４】
オブジェクト編集制御手段２は、入力手段１からの入力情報に基づいて、映像オブジェクト、映像オブジェクトの存在時刻範囲及び位置を認識し、その認識した情報に基づいて映像オブジェクト及びメタデータの編集を行なうものである。ここで、オブジェクト編集制御手段２は、オブジェクト情報蓄積媒体アクセス手段３に映像の時刻情報を通知することで、オブジェクト情報蓄積媒体アクセス手段３を介してオブジェクト情報蓄積媒体１２からオブジェクト形状等のオブジェクト情報を取得したり、オブジェクト情報の書き換えを行なう。また、オブジェクト編集制御手段２は、映像蓄積媒体アクセス手段４に映像の時刻情報を通知することで、映像蓄積媒体アクセス手段４を介して映像蓄積媒体１３から映像信号を出力させる。
【００３５】
さらに、オブジェクト編集制御手段２は、映像中の映像オブジェクトが存在する時刻範囲等を示すオブジェクト存在時刻範囲情報をタイムライン生成手段５へ通知する。また、映像オブジェクトの形状や、位置座標等を示すオブジェクト形状情報を映像合成手段６へ通知する。
【００３６】
オブジェクト情報蓄積媒体アクセス手段３は、オブジェクト情報蓄積媒体１２にアクセスしてオブジェクト情報やメタデータの読み出し及び書き込みを行なうものである。
なお、オブジェクト情報蓄積媒体１２は映像オブジェクトの時々刻々と変化する位置、形状情報及びメタデータを時系列形式、時刻情報を付与した表形式、あるいは前記各形式の圧縮形式で蓄積したもので、例えば、固定デイスク、半導体メモリ、磁気テープ、磁気ディスク、光磁気ディスク、及び光ディスク（ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ）のいずれか、またはその組み合わせにより構成されたものである。
【００３７】
映像蓄積媒体アクセス手段４は、映像蓄積媒体１３にアクセスして、映像蓄積媒体１３に蓄積されている映像フレームの画素データあるいは圧縮データを映像信号として読み出し、映像合成手段６へ通知するものである。例えば、前記映像フレームがＭＰＥＧ２等で圧縮されている場合は、その映像フレームの伸張を行なう。
なお、映像蓄積媒体１３は、前記映像フレームの画素データあるいは圧縮データを蓄積したもので、オブジェクト情報蓄積媒体１２と同様の媒体（ＲＯＭ、ＣＤ−ＲＯＭ等の読み出し専用メモリを含む）で構成されている
【００３８】
タイムライン生成手段５は、オブジェクト編集制御手段２から出力されるオブジェクト存在時刻範囲情報に基づいて、各映像オブジェクトの存在時刻範囲を解析して、現在表示されている映像内に存在する映像オブジェクトの存在時刻範囲を帯グラフとして表示するタイムライン描画信号を生成するものである。またこのとき、マウス等の移動に応じて動作するカーソルをタイムライン描画信号に重畳する。このタイムライン描画信号は、外部に接続されたタイムライン表示装置１４に表示される。
このタイムライン表示装置１４は、例えば、ＣＲＴ、ＬＣＤ、ＰＤＰ、ＬＥＤ、ＥＬ、電光表示板、機械式ディスプレイ等の表示デバイスとすることができる。
【００３９】
映像合成手段６は、映像蓄積媒体アクセス手段４から読み出された映像信号と、オブジェクト編集制御手段２から出力されたオブジェクト形状情報とに基づいて、映像蓄積媒体アクセス手段４から読み出された映像信号上に映像オブジェクトの空間存在範囲（映像オブジェクトの形状）を合成した表示信号を生成するものである。この表示信号は、外部に接続された映像表示装置１５に表示される。
【００４０】
また、映像合成手段６は、オブジェクト編集制御手段２からの指示に基づいて画面上に、矢印、十字印、またはアイコンを重畳することで、カーソル表示を行なったり、ボタン、スライダ、ダイヤル、エディットボックス、プルダウンメニュー等の仮想的なコントロールの表示を行なったり、タイムコードをビットマップ化して表示することも可能である。
この映像表示装置１５は、タイムライン表示装置１４と同様の表示デバイスを用いることができる。
【００４１】
なお、本実施の形態では、タイムライン生成手段５及び映像合成手段６には、それぞれ別の表示装置（タイムライン表示装置１４及び映像表示装置１５）を接続する形態であるが、１つの表示装置を共有させて、タイムライン生成手段５及び映像合成手段６の出力をそれぞれ別のウィンドウとして表示させることも可能である。
【００４２】
次に、図１及び図２に基づいて、オブジェクト編集制御手段２について詳細に説明する。図２は図１に示したオブジェクト編集制御手段２の詳細構成例を示したブロック図である。
オブジェクト編集制御手段２は、解析手段２０、ＲＡＭ２１、集合演算処理部２２（集合演算処理手段）、形状描画処理部２３（形状描画処理手段）、空間分割・併合処理部２４（空間分割・併合処理手段）、時間分割・併合処理部２５（時間分割・併合処理手段）、論理演算処理部２６、メタデータ処理部２７（メタデータ処理手段）及び時刻カウンタ２８を含む構成とした。
【００４３】
解析手段２０は、入力手段１からの入力情報を解析して映像、タイムライン、ツールボックス（後記する）のいずれが選択されたかの判定を行なうものである。そして、その選択領域に基づいて、ユーザが指定した各情報（ユーザ指定画像座標、ユーザ指定オブジェクトＩＤ、メタデータ情報、ユーザ指定ツールＩＤ、ユーザ指定時刻、ユーザ指定時刻範囲）をＲＡＭ２１に記憶させる。
【００４４】
ＲＡＭ２１は、各種データを一時的に記憶する形状ＲＡＭ（ランダムアクセスメモリ）２１ａ、画像座標レジスタ２１ｂ、オブジェクトＩＤレジスタ２１ｃ、メタデータレジスタ２１ｄ、ツールＩＤレジスタ２１ｅ、時刻レジスタ２１ｆ、ＩＮ点／ＯＵＴ点レジスタ２１ｇ、タイムテーブル２１ｈを内部に形成している。
【００４５】
ここで、形状ＲＡＭ２１ａは、ある指定時刻における各オブジェクトの形状（ビットマップ等）を一時的に記憶するメモリ領域で、画像座標レジスタ２１ｂは、ユーザの指定する画像座標を一時的に記憶するメモリ領域で、オブジェクトＩＤレジスタ２１ｃは、ユーザの指定する映像オブジェクトのＩＤを一時的に記憶するメモリ領域である。
【００４６】
また、メタデータレジスタ２１ｄは、映像オブジェクトに設定するメタデータ情報を一時的に記憶するメモリ領域であり、ツールＩＤレジスタ２１ｅは、ユーザの指定する編集ツールのＩＤを一時的に記憶するメモリ領域でツールを切り替える切り替え信号として使用される。
【００４７】
また、時刻レジスタ２１ｆは、ユーザの指定する時刻または、時刻カウンタ２８により自動的にカウントアップ／カウントダウンされる処理対象時刻を一時的に記憶するメモリ領域で、ＩＮ点／ＯＵＴ点レジスタ２１ｇは、ユーザの指定する時刻範囲を一時的に記憶するメモリ領域で、タイムテーブル２１ｈは、オブジェクト蓄積媒体アクセス手段５を通じて取得された映像オブジェクト毎の時々刻々の存在／非存在を時刻対映像オブジェクトの表形式で一時的に記憶するメモリ領域である。
【００４８】
集合演算処理部２２は、指定された時刻の映像フレーム内での映像オブジェクト形状に対して、和集合、積集合、またはこれらを組み合わせた集合演算を行なう処理部である。また、形状描画処理部２３は、指定された時刻の映像フレーム内での映像オブジェクト形状の作成や変更等を行なう処理部である。また、空間分割・併合処理部２４は、指定された時刻の映像フレーム内での映像オブジェクト形状を分割あるいは併合する処理部である。
【００４９】
この集合演算処理部２２、形状描画処理部２３及び空間分割・併合処理部２４は、ツールＩＤレジスタ２１ｅに記憶されたユーザ指定ツールＩＤ（ツール切り替え信号）に基づいて、各処理部が切り替えられて起動される。そして前記各処理部で生成される映像オブジェクト（編集後オブジェクト形状）は形状ＲＡＭ２１ａに記憶され、映像合成手段６へオブジェクト形状として通知される。
【００５０】
時間分割・併合処理部２５は、ＩＮ点／ＯＵＴ点レジスタに記憶されている指定時刻範囲に基づいて、映像オブジェクトの時間方向の分割あるいは併合を行なう処理部である。また、論理演算処理部２６は、前記指定時刻範囲に基づいて、映像オブジェクトの時間方向の否定、論理和等の論理演算を行なう処理部である。
この時間分割・併合処理部２５及び論理演算処理部２６は、ツールＩＤレジスタ２１ｅに記憶されたユーザ指定ツールＩＤ（ツール切り替え信号）に基づいて、各処理部が切り替えられて起動される。
【００５１】
メタデータ処理部２７は、ユーザが指定した映像オブジェクトに付加するメタデータレジスタ２１ｄに基づいて、オブジェクト蓄積媒体アクセス手段３へメタデータを通知する。ここで、メタデータとは、映像オブジェクトの属性、特性、関連データ等を表わすデータで、例えば、識別子、名前、画像特徴量、関連する画像データ等をいう。
【００５２】
時刻カウンタ２８は、ＩＮ点／ＯＵＴ点レジスタ２１ｇで指定される指定時刻範囲において、自動的に時刻をカウントアップまたはカウントダウンし、時刻レジスタ２１ｆ内の時刻情報を更新するものである。
【００５３】
ここで、図３及び図４に基づいて、映像オブジェクト及び映像オブジェクト形状について説明する。図３は、映像オブジェクトを時空間領域において視覚的に表わした図である。また、図４は、映像オブジェクト形状の表現の例を視覚的に表わした図である。
【００５４】
図３に示すように、映像オブジェクト３０は、映像シーンに含まれる特定の物体に対応した空間及び時間方向に拡がりを有する領域である。また、映像オブジェクト形状３１とは、ある特定の時刻の映像フレーム内における映像オブジェクト領域の２次元形状である。
【００５５】
図４の例では、映像オブジェクト形状は、図４（１）に示すような映像信号により表現された映像オブジェクト４０に対して、図４（２）に示すような２次元のビットマップ表現４１、あるいは、図４（３）に示すような輪郭の頂点４２ａを結んで形成される多角形表現４２、輪郭の曲線表現（図示せず）、またはこれらの組み合わせにより表現される。なお、映像オブジェクト形状は単連結である必要はなく、複数の連結領域の集合で構成されてもよい。
【００５６】
このビットマップ表現４１は、映像オブジェクトのマスクデータとして映像合成手段６によって、映像信号に重畳されて表示信号として出力される。このマスクデータの重畳方法では、例えば、マスクデータ内外によって映像信号の輝度、色相、彩度を変化させ、マスクデータ内外のいずれか一方を単色またはパターンで塗りつぶし、またはマスク境界線を描画することで実現することができる。
【００５７】
次に、図１０に基づいて、タイムラインについて説明する。図１０は、タイムライン表示装置１４に表示されたタイムラインの一例を視覚的に表わした図である。図１０に示すように、タイムラインとは、各映像オブジェクトが各時刻において存在するか否かを帯グラフにより可視化した図表をいう。この帯グラフの有無によって、タイムコード５２で指定された時間内にどの映像オブジェクトが存在しているかを判断することができる。また、この帯グラフは、色や模様を変えることで映像オブジェクトの時間的重なりや、映像オブジェクトの種類を区別して表示することができる。
【００５８】
図１０の例では、人物名Ａ、人物名Ｂ等のオブジェクト名５１で特定される映像オブジェクトが、映像上のどの時刻（タイムコード５２）に存在するかを帯グラフで表わしている（オブジェクト存在時刻範囲５３）。このように映像オブジェクトは、１つの映像の同じ時刻（タイムコード５２）に複数存在する場合もある。
【００５９】
次に、図１３に基づいて、オブジェクト情報について説明する。図１３は、オブジェクト情報のデータ形式の一例である。図１３（１）は、オブジェクト情報の実体である時刻４１と、その時刻４１の映像フレームに存在する映像オブジェクトを特定する識別子である映像オブジェクト識別子４２及び映像オブジェクトの形状情報を示す映像オブジェクト形状４３を、時系列の表形式で表わしたものである。
【００６０】
また、図１３（２）は、映像オブジェクトの映像オブジェクト識別子４２ごとに、対応するメタデータである映像オブジェクト名４４とＵＲＩ（Uniform Resource Identifiers）４５とを表形式で表わしたものである。
これによって、ある時刻４１の映像オブジェクト識別子４２から、間接的にメタデータである映像オブジェクト名４４やＵＲＩ４５を参照することができる。
【００６１】
（第一の実施の形態：映像オブジェクト編集装置の動作）
次に、図１、図２、図５乃至図７に基づいて、本発明の第一の実施の形態に係る映像オブジェクト編集装置１０の動作について説明する。図５及び図６は、オブジェクト編集制御手段２の動作を示すフローチャートである。図７は映像オブジェクト編集装置１０でどの種類の編集を行なうかを指定するために画面上に表示されるツールボックスの例を示している。
【００６２】
映像オブジェクト編集装置１０、入力装置１としてマウスを用いた場合、ユーザはタイムライン表示装置１４または映像表示装置１５の画面上に表示されているカーソルをマウス操作で移動して、表示画面をクリックすることにより動作を行なう。
【００６３】
ユーザによりマウスが移動されたり、クリックされると、マウス移動、押下信号などのマウスの操作信号が入力信号として入力手段１に入力され、映像オブジェクト編集装置１０で処理を行なう入力情報に変換されて、オブジェクト編集制御手段２へ通知される。
【００６４】
そして、オブジェクト編集制御手段２は、解析手段２０で前記入力信号がマウスクリックかどうかを判断し（ステップＳ１）、クリックされた場合（Ｙｅｓ）はマウス押下座標を取得し（ステップＳ２）、押下された場所はがタイムライン表示装置１４に表示されたタイムライン上かどうかを判断し（ステップＳ３）、タイムライン上である場合（Ｙｅｓ）は、取得したマウス座標に該当するタイムラインのオブジェクトＩＤと時刻に変換し（ステップＳ４）、得られたオブジェクトＩＤをオブジェクトＩＤレジスタ２１ｃへ書き込み（ステップＳ５）、得られた時刻を時刻レジスタ２１ｆへ書き込んで（ステップＳ６）、終了する。これにより、タイムライン表示装置１４に表示されたタイムライン上にある映像オブジェクトと、その映像オブジェクトが存在する時刻情報がオブジェクト編集制御手段２内に記憶される。
【００６５】
また、ステップＳ３で、マウスの押下がタイムライン上でないと判断された場合（Ｎｏ）、ステップＳ７に進み、マウスの押下が映像表示装置１５に表示された映像表示上かどうかを判断し（ステップＳ７）、映像表示上である場合（Ｙｅｓ）は、マウス座標を画像座標に変換し、これを画像座標レジスタ２１ｂに書き込む（ステップＳ８）。そして、ツールＩＤレジスタ２１ｅから、すでにユーザにより選択されたツールＩＤを読み込み（ステップＳ９）、そのツールＩＤに対応したツールを用いて、映像オブジェクトの編集（空間編集）を行ない、その編集結果であるオブジェクト形状に基づいて、形状ＲＡＭ２１ａの画像座標の書き換えを行なう（ステップＳ１０）。
【００６６】
例えば、ツールＩＤレジスタ２１ｅに図７に示したツールボックス１６にある消しゴムのツールＩＤ（４）が記憶され、マウスの形状が消しゴム形状になっていたとすると、消しゴムツール（既存のペイントソフトウェア）により、マウスを移動させることで該当するオブジェクトの形状ＲＡＭ２１ａの内容を書き換えることができる。この形状ＲＡＭ２１ａの内容は、映像合成手段６に通知することで映像表示装置１５の画面上に表示される。なお、この消しゴムによるオブジェクトの消去動作は、マウスボタンがクリックされている状態で、マウスの移動（ドラッグ）信号を占有し、マウスボタンが離された段階で処理を終了する。
なお、このステップＳ１０のオブジェクト空間編集動作の詳細については後記する。
【００６７】
一方、ステップＳ７でマウスの押下が映像表示上でない場合（Ｎｏ）は、図６のステップＳ１９へ進み、マウスの押下がツールボックス上かどうかを判断し、ツールボックス上でない場合（Ｎｏ）は処理を終了する。また、マウスの押下がツールボックス上である場合（Ｙｅｓ）は、マウスの押下部分が図７に示すようなツールボックス上のブラシツールかどうかを判断し（ステップＳ２０）、マウスの押下部がブラシツールでない場合（Ｎｏ）はステップＳ２２に進み、マウスの押下部分がブラシツールである場合（Ｙｅｓ）はステップＳ２１に進んで、ツールＩＤレジスタ２１ｅに「１」を設定して処理を終了する。
【００６８】
また、ステップＳ２２に進んだ場合、マウスの押下部分が前記ツールボックス上の塗りつぶしツールかどうかを判断し、マウスの押下部分が塗りつぶしツールでない場合（Ｎｏ）はステップＳ２４に進み、マウスの押下部分が塗りつぶしツールである場合（Ｙｅｓ）は、ツールＩＤレジスタ２１ｅを「２」に設定して（ステップＳ２３）、処理を終了する。
【００６９】
さらに、ステップＳ２４に進んだ場合、マウスの押下部分が前記ツールボックス上の併合ツールかどうかを判断し、マウスの押下部分が併合ツールでない場合（Ｎｏ）はステップＳ２６に進み、マウスの押下部分が併合ツールである場合（Ｙｅｓ）は、ツールＩＤレジスタ２１ｅを「９」に設定して（ステップＳ２５）、処理を終了する。
【００７０】
また、ステップＳ２６に進んだ場合、マウスの押下部分が前記ツールボックス上のＡＮＤツールかどうかを判断し、マウスの押下部分がＡＮＤツールでない場合（Ｎｏ）は処理を終了する。また、マウスの押下部分がＡＮＤツールである場合（Ｙｅｓ）は、ツールＩＤレジスタ２１ｅを「１６」に設定して（ステップＳ２７）、処理を終了する。
【００７１】
一方、図５のステップＳ１でマウスが押下されたと判断されない場合（Ｎｏ）は、マウスがドラッグ（マウスボタンを押下しながらのマウス移動）されたかどうかを判断し（ステップＳ１１）、ドラッグされない場合（Ｎｏ）は処理を終了し、ドラッグされた場合（Ｙｅｓ）、そのドラッグがタイムライン表示装置１４に表示されたタイムライン上であるかどうかを判断し（ステップＳ１２）、タイムライン上でない場合（Ｎｏ）は処理を終了する。
【００７２】
また、ドラッグがタイムライン上である場合（Ｙｅｓ）は、ドラッグの方向を判断し（ステップＳ１３）、前記方向が横（時刻軸）方向である場合は、マウス座標をタイムライン上の時刻に変換した後（ステップＳ１４）、ドラッグの開始・終了の各点に対応した時刻であるＩＮ点とＯＵＴ点をＩＮ／ＯＵＴ点レジスタ２１ｇに設定して（ステップＳ１５）処理を終了する。
【００７３】
また、ステップＳ１３でドラッグの方向が、縦（オブジェクトＩＤ）方向と判断された場合はドラッグ開始・終了のマウス座標をドラッグ開始のオブジェクトＩＤと、ドラッグ終了のオブジェクトＩＤとの２つのＩＤ対（オブジェクトＩＤ対）に変換し（ステップＳ１６）、ＩＮ／ＯＵＴ点レジスタ２１ｇからＩＮ点とＯＵＴ点を読み込み（ステップＳ１７）、前記したオブジェクトＩＤ対の各タイムラインのＩＮ点／ＯＵＴ点内を統合、交換あるいは分割して（ステップＳ１８）処理を終了する。
なお、このステップＳ１８のオブジェクト時間編集動作の詳細については後記する。
【００７４】
以上の動作によって、映像オブジェクトの作成、修正、追加、削除、空間分割、空間併合、時間分割、時間併合、並びに映像オブジェクトの検索を、ツールボックスの空間編集ツール１６ａ、時間編集ツール１６ｂの各ツールを起動することで実現することができる。
また、メタデータの付与及び修正は、編集された映像オブジェクトに対して、例えばキーボード等からメタデータを入力するものであり、フローチャートとしては図示していない。
【００７５】
なお、本フローチャートでは、代表的なツールが選択された場合について説明を行なったが、実際にはツールボックス１６上の空間編集ツール１６ａ、時間編集ツール１６ｂ、論理、集合演算ツール１６ｃの全てのツールについて、同様に動作させることができる。
【００７６】
また、映像オブジェクト編集装置１０は、コンピュータにおいて、入力手段１、オブジェクト編集制御手段２、オブジェクト情報蓄積媒体アクセス手段３、映像蓄積媒体アクセス手段４、タイムライン生成手段５、及び映像合成手段６の各機能を、プログラムで実現することも可能であり、各機能プログラムを結合して映像オブジェクト編集プログラムとして動作させることも可能である。
【００７７】
（映像オブジェクト編集装置の動作例：空間編集）
次に、映像オブジェクトの空間編集の動作について詳細に説明する。なお、この動作は、図５のステップＳ１０の動作に該当する。また、映像オブジェクトの空間編集とは、ある時刻の映像フレーム内における映像オブジェクトを編集することをいう。
【００７８】
まず、映像オブジェクトの作成及び修正は、映像オブジェクト形状のビットマップ表現を、既存のぺイントソフトウェアであるブラシツールや消しゴムツールによって、描画し、修正し、または消去することで実現することができる。また、映像オブジェクト形状の作成及び修正は、多角形または曲線による映像オブジェクト形状の輪郭表現の頂点または制御点を、追加し、移動し、または削除することでも実現することができる。
【００７９】
また、映像オブジェクトの追加及び削除は、映像に対して、新規に映像オブジェクトを設定したり、すでに存在する映像オブジェクトを削除したりする。例えば、映像オブジェクトの追加は、映像オブジェクト形状として、空の新規ビットマップや空の新規頂点・制御点集合を割り当てることで実現することができる。また、映像オブジェクトの削除は、すでに存在する映像オブジェクト形状のビットマップまたは頂点・制御点集合を破棄することで実現することができる。
【００８０】
さらに、映像オブジェクトの空間分割及び併合は、すでに存在する複数の映像オブジェクトを１つの映像オブジェクト形状に併合し、１つの映像オブジェクトの映像オブジェクト形状として再編成したり、すでに存在する映像オブジェクトをある指定時刻範囲の内外で分割し、それぞれ別の映像オブジェクトとして再編成することによって実現することができる。
【００８１】
ここで、図１、図２及び図８に基づいて、映像オブジェクトの空間分割について説明する。
図８は、映像オブジェクトの空間分割の一例を視覚的に表わした図である。また、図８（１）は、映像表示装置１５上に表示されたある時刻での映像オブジェクト形状をビットマップ表現した内容を表わしており、図８（２）は、映像オブジェクトを分割した状態を表わしている。この例では、図８（１）の映像オブジェクトＡは「人」と「車」が一体化したオブジェクトとなっているが、「人」と「車」の境に、例えば既存の描画ツールを用いて、線描画を行なうことで、領域を分割する。
【００８２】
このように、映像オブジェクトを分割後、映像オブジェクト形状に基づいて、複数のビットマップに再編成することができる。また、分割後の各映像オブジェクト形状は、互いに交わりをもつこともできるし、分割前に映像オブジェクト形状内に含まれていた部分領域が、分割後のいずれの映像オブジェクトにも含まれない場合も許される。
【００８３】
次に、図９に基づいて、映像オブジェクトの空間併合について説明する。
図９は、映像オブジェクトの空間分割の一例を視覚的に表わした図である。そして、図９（１）は、映像表示装置１５上に表示されたある時刻での映像フレームの内容をビットマップ表現した内容を表わしており、図９（２）は、映像オブジェクトを併合した状態を表わしている。この例では、図１０（１）の「車」が２つの映像オブジェクトＡ及び映像オブジェクトＢに分割されたオブジェクトとなっているが、図９（２）では、映像オブジェクトＡ及び映像オブジェクトＢを併合して映像オブジェクトＣとしている。
【００８４】
この映像オブジェクトの空間併合は、集合演算処理部２２において行なわれる。すなわち、映像オブジェクト形状間の和集合を求めることで、映像オブジェクトの併合を行なう。
なお、併合後の映像オブジェクト形状は、必ずしも単連結となる必要はなく、複数の連結領域の集合となってもよい。
【００８５】
以上説明した映像オブジェクトの空間編集は、オブジェクト編集制御手段２によって、ユーザが指定した映像オブジェクトのオブジェクトＩＤ（オブジェクトＩＤレジスタ２１ｃに一時記憶）と、ユーザが指定し、変更を行なった映像オブジェクトの画像座標（画像座標レジスタ２１ｂに一時記憶）に基づいて、形状ＲＡＭ２１ａに記憶されているオブジェクト形状が変更され、このオブジェクト形状が映像合成手段６に通知される。
【００８６】
そして、映像合成手段６が、オブジェクト編集制御手段２から通知されるオブジェクト形状と、映像蓄積媒体アクセス手段４から通知される映像情報とに基づいて、映像オブジェクトの空間存在範囲を合成した表示信号を生成する。
【００８７】
（映像オブジェクト編集装置の動作例：時間編集）
次に、映像オブジェクトの時間編集の動作について詳細に説明する。なお、この動作は図５のステップＳ１８の動作に該当する。また、映像オブジェクトの時間編集とは、時系列の映像フレームに出現する映像オブジェクトを時刻によって編集することをいう。
【００８８】
まず、映像オブジェクトの時間分割及び併合は、すでに存在する映像オブジェクトをある指定時刻範囲の内外で分割し、それぞれ別の映像オブジェクトとして再編成したり、すでに存在する複数の映像オブジェクトを指定時刻範囲で１つの映像オブジェクトヘ統合することで実現することができる。
【００８９】
ここで、図１、図２及び図１１に基づいて、映像オブジェクトの時間分割について説明する。
図１１は、映像オブジェクトの時間分割の一例を視覚的に表わした図である。また、図１１（１）は、タイムライン表示装置１４上に表示されたある時刻範囲における映像オブジェクトのタイムラインを表わしており、図１１（２）は、映像オブジェクトを時間分割した後のタイムラインを表わしている。この例では、ユーザが入力装置１１によって、時間分割を行なう対象映像オブジェクトである小道具Ａと分割時刻範囲５５とを指定する。そして、対象映像オブジェクトである小道具Ａのオブジェクト存在時刻範囲（分割前）５３ａを分割時刻範囲５５の内外で分割し、図１１（２）に示すように、オブジェクト存在時刻範囲（分割後）５３ｂを有する小道具Ｂ、オブジェクト存在時刻範囲（分割後）５３ｃを有する小道具Ｃの２つの異なる映像オブジェクトとして再編成する。
【００９０】
また、例えば、対象映像オブジェクト（小道具Ａ）のオブジェクト存在時刻範囲（分割前）５３ａを分割時刻範囲５５の内外で分割し、一方を小道具Ａとして残し、他方を新規に生成した別の映像オブジェクトとして再編成してもよい。
【００９１】
次に、図１２に基づいて、映像オブジェクトの時間併合について説明する。
図１２は、映像オブジェクトの時間併合の一例を視覚的に表わした図である。また、図１２（１）は、タイムライン表示装置１４上に表示されたある時刻範囲における映像オブジェクトのタイムラインを表わしており、図１２（２）は、映像オブジェクトを時間併合した後のタイムラインを表わしている。この例では、ユーザが入力装置１１によって、時間併合を行ないたい対象オブジェクトである小道具Ｂと、小道具Ｃを指定する。そして、対象映像オブジェクトである小道具Ｂのオブジェクト存在時刻範囲（併合前）５３ｄと、小道具Ｃのオブジェクト存在時刻範囲（併合前）５３ｅとを併合し、図１２（２）に示すように、オブジェクト存在時刻範囲（併合後）５３ｆとなる小道具Ａを映像オブジェクトとして再編成する。
【００９２】
この映像オブジェクトの時間併合は、論理演算処理部２６において行なわれる。すなわち、映像オブジェクトの時空間存在領域の和集合を求めることで、映像オブジェクトの時間併合を行なう。あるいは、時間併合前の対象映像オブジェクトである小道具Ｂ、小道具Ｃに対して同一の識別子を付与し、これらを同一視することによって仮想的に時間併合を行ない、小道具Ａとして映像オブジェクトを再編成する形態であっても構わない。
【００９３】
また、映像オブジェクトの検索は、ユーザが指定する映像オブジェクトの存在する時刻を表示したり、指定時刻に存在する映像オブジェクトのタイムラインを表示させる。
【００９４】
ここで、図１、図２及び図１０に基づいて、映像オブジェクトの検索について説明する。
図１０は、タイムラインによる映像オブジェクトの検索例を示した図である。この例では、まず、ユーザが入力装置１１によって、検索を行ないたい映像オブジェクトのオブジェクト名５１（例えば人物Ａと人物Ｂ）をチェックボックス５４によって指定し、検索を実行する。そして、オブジェクト編集制御手段２内の論理演算処理部２６が、映像オブジェクトの存在時刻範囲に関する論理積演算（例えば論理積）を行ない、人物Ａと人物Ｂとのオブジェクト存在時刻範囲５３が共通となる時刻範囲を知る。そして、そのオブジェクト存在時刻範囲５３をタイムラインとして表示させることで、処理対象時刻を移動することができる。これによって、複数映像オブジェクトが同時に出現する時刻を検索することができる。
【００９５】
以上説明した映像オブジェクトの時間編集は、オブジェクト編集制御手段２によって、時刻レジスタ２１ｆに記憶されている処理対象となる時刻情報と、ＩＮ点／ＯＵＴ点レジスタ２１ｇに記憶されているユーザが指定した時刻範囲と、タイムテーブル２１ｈに記憶されているオブジェクト存在時刻範囲とが、タイムライン生成手段５に通知される。
【００９６】
そして、タイムライン生成手段５が、オブジェクト編集制御手段２から通知されるオブジェクト存在時刻範囲等に基づいて、映像オブジェクトの存在時刻範囲を図表形式に変換したタイムライン描画信号を生成する
【００９７】
（映像オブジェクト編集装置の動作例：メタデータ編集）
次に、図１、図２及び図１３に基づいて、映像オブジェクトのメタデータ編集の動作について詳細に説明する。
ここで、映像オブジェクトのメタデータ編集とは、すでに存在する映像オブジェクトに対し、メタデータを付与し、またその内容を編集するこという。
【００９８】
このメタデータの付与及び修正は、メタデータ編集ウィンドウを生成して各種メタデータのユーザ入力を促すことで編集を行なう。なお、このメタデータ編集ウィンドウは、図１３（２）に示したオブジェクト情報蓄積媒体１２に蓄積されたオブジェクト情報のメタデータに基づいて生成され、映像合成手段６を介して映像表示手段１５に表示される。
【００９９】
例えば、ユーザは、キーボード（入力装置１１）から映像オブジェクトの映像オブジェクト識別子４２、映像オブジェクト名４４、またはＵＲＩ４５等のメタデータのうち必要な情報を入力する。入力されたメタデータは、オブジェクト編集制御手段２のメタデータレジスタ２１ｄに一時記憶される。そして、オブジェクト編集制御手段２は、メタデータレジスタ２１ｄのメタデータの情報に基づいて、オブジェクト情報蓄積媒体アクセス手段３を介してオブジェクト情報蓄積媒体１２への書き込み、追加・修正、または削除を行なう。
【０１００】
（第二の実施の形態：映像オブジェクト編集装置の構成）
図１４は、本発明の第二の実施の形態に係る映像オブジェクト編集装置の全体構成を示すブロック図である。図１４に示すように、映像オブジェクト編集装置１０Ｂは、図１に示した映像オブジェクト編集装置１０にインタフェース手段７が付与されて構成されている。インタフェース手段７以外の構成は図１に示したものと同一の符号を付し、その説明は省略する。また、外部にプラグイン１６を接続しているものとする。
【０１０１】
インタフェース手段７（７1，７2，…，７n）は、外部システムであるプラグイン１６との接続口である。
例えば、インタフェース手段７の一部あるいは全部をコネクタ、プラグ等の物理的な接続口とすることができる。この場合、物理的な接続口であるインタフェース手段７には、ハードウェア機器のプラグイン１６を接続することができる。
【０１０２】
また、例えば、インタフェース手段７の一部あるいは全部をアプリケーションブログラムインタフェースとすることができる。この場合、該アプリケーションプログラムインタフェースに接続されるプラグイン１６は、ソフトウェアプラグインとすることができる。
【０１０３】
プラグイン１６（１６1，１６2，…，１６n）は、映像オブジェクト編集装置１０Ｂに接続される外部のハードウェア、またはソフトウェアである。例えば、プラグイン１６は、映像オブジェクト編集における映像オブジェクト描画を自動化するためのハードウェアまたはソフトウェアとすることができる。この場合、例えば、映像オブジェクトの自動抽出手法や自動追跡手法をプラグインすることができる。
【０１０４】
前記映像オブジェクトの自動抽出手法または自動追跡手法であるプラグイン１６は、入力装置１１からの入力信号に基づいて、オブジェクト編集制御手段２及びインタフェース手段７を介して、起動される。そして、映像オブジェクトの自動抽出手法または自動追跡手法であるプラグイン１６は、映像蓄積媒体１３から、映像蓄積媒体アクセス手段４、オブジェクト編集制御手段２、及びインタフェース手段７を介して、映像情報を読み出し、その映像情報（色情報、輝度情報等）に基づいて映像オブジェクト領域を抽出または追跡し、その抽出または追跡の結果を、インタフェース手段７を介してオブジェクト編集制御手段２へ返す。
【０１０５】
以上の一連の動作により、図１に示した第一の実施の形態である映像オブジェクト編集装置１０においては、手動によって実行される映像オブジェクト形状の描画を、図１４に示した第二の実施の形態である映像オブジェクト編集装置１０Ｂでは，自動的に実行することができる。
【０１０６】
なお、前記映像オブジェクトの自動抽出手法または自動追跡手法であるプラグイン１６は、例えば、情報融合による抽出・追跡手法（三須等、複数情報の融合によるサッカー選手のロバストな追跡法、信学技報、IE2001-4７、pp.23-30、２001）を利用することができる。
【０１０７】
以上、一実施形態に基づいて本発明を説明したが、本発明はこれに限定されるものではない。例えば、インタフェース手段７（７1，７2，…，７n）をネットワークに接続するためのポートとし、プラグイン１６はネットワークに接続された外部機器と接続し、例えばＴＣＰ／ＩＰ等による、通信によってリモート運転を行なうことができる。また、例えば、ルータ等を介して、遠隔地からの制御を行なうことも可能である。
【０１０８】
【発明の効果】
以上説明したとおり、本発明に係る映像オブジェクト編集装置及びプログラムでは、以下に示す優れた効果を奏する。
【０１０９】
請求項１に記載の発明によれば、映像オブジェクト編集装置は、映像表示と、その映像内に存在する映像オブジェクトの存在時間を表示したタイムライン表示を参照することができるので、効率的に映像オブジェクトの編集や検索を行なうことができる。これによって、今までは実現されていなかった映像オブジェクト単位での編集を行なうことができ、例えば、デジタル放送における映像コンテンツ制作を効率的に行なうことができる。
【０１１０】
請求項２乃至請求項４に記載の発明によれば、映像オブジェクト編集装置は、映像内における映像オブジェクトを個々に作成、変更、映像オブジェクトの分割・併合、並びに時間軸に沿った映像オブジェクトの分割・併合を行ない、その領域を映像オブジェクトとして設定することができるので、例えば、映像コンテンツ製作者の意図する領域を自由に映像コンテンツとすることができる。
【０１１１】
請求項５に記載の発明によれば、映像オブジェクト編集装置は、映像オブジェクト毎のメタデータの付与、あるいはメタデータの変更を行なうことができるので、映像オブジェクトに対して必要な情報を関連付けて記憶させることができる。これによって、映像オブジェクトを指定する方法が容易になり、映像コンテンツの編集及び検索の作業効率を高めることができる。
【０１１２】
請求項６に記載の発明によれば、映像オブジェクト編集装置は、指定した時刻範囲によって、映像オブジェクトを検索することができ、また、その映像オブジェクトの存在時刻へ処理対象時刻を移動させることができる。また、効率的に短時間で映像オブジェクトの編集作業を行なうことができる。
【０１１３】
請求項７に記載の発明によれば、映像オブジェクト編集装置は、映像オブジェクト形状を複数の集合演算によって、編集することができる。また、時間軸上の映像オブジェクトの検索において、複数の論理演算によって映像オブジェクトの検索を行なうことができる。これによって、映像オブジェクトの編集作業を効率的に行なうことができる。
【０１１４】
請求項８に記載の発明によれば、映像オブジェクト編集装置は、映像内における映像オブジェクトの存在時間をタイムラインで視覚化することができるので、映像オブジェクトの編集時にそのタイムラインを参照することで、映像オブジェクトの存在時間を容易に把握することができる。
【０１１５】
請求項９に記載の発明によれば、映像オブジェクト編集装置は、映像と映像オブジェクト形状とを合成して表示するので、映像内における映像オブジェクトの存在領域を視覚的に確認することができる。これによって、映像オブジェクトの編集において、映像コンテンツ製作者は、実際の映像オブジェクトを参照することで、正確に編集を行なうことができる。
【０１１６】
請求項１０に記載の発明によれば、映像オブジェクト編集装置は、外部のハードウェア、ネットワークまたはソフトウェアとの制御信号を送受信することができるので、例えば、外部の映像オブジェクト検出装置や、映像オブジェクト検出プログラムとの間で制御信号を送受信することで、映像オブジェクトの編集作業を自動化させることができる。
【０１１７】
請求項１１に記載の発明によれば、映像オブジェクト編集プログラムは、映像表示と、その映像内に存在する映像オブジェクトの存在時間を表示したタイムライン表示を参照することができるので、効率的に映像オブジェクトの編集や検索を行なうことができる。これによって、今までは実現されていなかった映像オブジェクト単位での編集を行なうことができ、例えば、デジタル放送における映像コンテンツ制作を効率的に行なうことができる。
【図面の簡単な説明】
【図１】本発明の第一の実施の形態に係る映像オブジェクト編集装置の全体構成を示すブロック図である。
【図２】図１に示したオブジェクト編集制御手段の詳細例を示したブロック図である。
【図３】映像オブジェクトを時空間領域において視覚的に表わした模式図である。
【図４】映像オブジェクト形状の表現の例を視覚的に表わした模式図である。
【図５】本発明の第一の実施形態の映像オブジェクト編集装置の編集動作（１／２）を示したフローチャートである。
【図６】本発明の第一の実施形態の映像オブジェクト編集装置の編集動作（２／２）を示したフローチャートである。
【図７】編集情報を入力するためのツールボックスの構成例を示した模式図である。
【図８】映像オブジェクトの空間分割の一例を視覚的に表わした模式図である。
【図９】映像オブジェクトの空間併合の一例を視覚的に表わした模式図である。
【図１０】タイムライン表示の一例を視覚的に表わした模式図である。
【図１１】タイムラインの時間分割の一例を視覚的に表わした模式図である。
【図１２】タイムラインの時間併合の一例を視覚的に表わした模式図である。
【図１３】オブジェクト情報蓄積媒体に蓄積する映像オブジェクト情報の形式を視覚的に表わした模式図である。
【図１４】本発明の第二の実施の形態に係る映像オブジェクト編集装置の構成例を示したブロック図である。
【図１５】従来の映像編集装置の構成例を示したブロック図である。
【符号の説明】
１…入力手段
２…オブジェクト編集制御手段
３…オブジェクト情報蓄積媒体アクセス手段
４…映像蓄積媒体アクセス手段
５…タイムライン生成手段
６…映像合成手段
７…インタフェース手段
１０…映像オブジェクト編集装置
１１…入力装置
１２…オブジェクト情報蓄積媒体
１３…映像蓄積媒体
１４…タイムライン表示装置
１５…映像表示装置
１６…プラグイン
２０…解析手段
２１…ＲＡＭ
２２…集合演算処理部
２３…形状描画処理部
２４…空間分割・併合処理部
２５…時間分割・併合処理部
２６…論理演算処理部
Claims (11)
- 蓄積媒体に蓄積された、映像と少なくともその映像に存在する映像オブジェクトの時刻及び映像オブジェクト形状を含んだオブジェクト情報とに基づいて、映像オブジェクトを編集する映像オブジェクト編集装置であって、
前記蓄積媒体の映像の読み込みを行なう映像蓄積媒体アクセス手段と、
前記蓄積媒体のオブジェクト情報の読み込み及び書き出しを行なうオブジェクト情報蓄積媒体アクセス手段と、
外部入力信号を、映像オブジェクトの編集動作を示す入力情報に変換する入力手段と、
この入力情報に基づいて、映像オブジェクト単位の編集制御を行なうオブジェクト編集制御手段と、
前記オブジェクト情報に基づいて、前記映像内における前記映像オブジェクトが存在する時刻範囲を表示するタイムラインを生成するタイムライン生成手段と、
前記オブジェクト情報に基づいて、前記映像内における前記映像オブジェクトの領域形状を生成して、前記映像蓄積媒体アクセス手段で読み出された映像と合成する映像合成手段と、
を備えたことを特徴とする映像オブジェクト編集装置。 - 映像オブジェクト形状を新たに描画することにより作成する、または前記オブジェクト情報に基づいて、既存の映像オブジェクト形状の一部を消去も含めて変更する形状描画処理手段を備えたことを特徴とする請求項１に記載の映像オブジェクト編集装置。
- 前記オブジェクト情報に基づいて、既存の映像オブジェクトの映像オブジェクト形状を分割して複数の映像オブジェクトに再編成する、または既存の複数の映像オブジェクトの映像オブジェクト形状を単一映像オブジェクトの映像オブジェクト形状に併合する空間分割・併合処理手段を備えたことを特徴とする請求項１または請求項２に記載の映像オブジェクト編集装置。
- 前記オブジェクト情報に基づいて、既存の映像オブジェクトを指定時刻範囲の内外で分割し、それぞれ別の映像オブジェクトとして再編成する、または複数の時間軸に沿って存在する複数の映像オブジェクトを単一の時間軸に沿って存在するように併合する時間分割・併合処理手段を備えたことを特徴とする請求項１乃至請求項３のいずれか１項に記載の映像オブジェクト編集装置。
- 前記オブジェクト情報に、映像オブジェクトの関連情報であるメタデータを付与し、あるいは既存のメタデータの内容を修正するメタデータ処理手段を備えたことを特徴とする請求項１乃至請求項４のいずれか１項に記載の映像オブジェクト編集装置。
- 前記オブジェクト編集制御手段は、前記オブジェクト情報の時刻に基づいて、指定された映像オブジェクトの存在する時刻範囲を検索し、または処理対象時刻を前記指定された映像オブジェクトの存在する時刻へ移動する機能を備えたことを特徴とする請求項１乃至請求項５のいずれか１項に記載の映像オブジェクト編集装置。
- 前記オブジェクト編集制御手段は、前記オブジェクト情報に基づいて、映像オブジェクト形状の集合演算、または映像オブジェクトの存在時刻範囲に関する論理演算を行なうことによって、映像オブジェクト単位の編集を行なうことを特徴とする請求項１乃至請求項６のいずれか１項に記載の映像オブジェクト編集装置。
- 前記タイムライン生成手段は、平面内の一軸を時間軸の帯としたタイムラインを生成し、前記映像内における前記映像オブジェクトが存在する時刻範囲を前記時間軸の帯の有無、色または模様によって表わすことを特徴とする請求項１乃至請求項７のいずれか１項に記載の映像オブジェクト編集装置。
- 前記映像合成手段は、前記オブジェクト形状情報に基づいて、多角形または曲線形状を映像オブジェクトの形状として、前記映像オブジェクトが存在する前記映像と合成することを特徴とする請求項１乃至請求項８のいずれか１項に記載の映像オブジェクト編集装置。
- 外部のハードウェア、ネットワークまたはソフトウェアとの制御信号を送受信するインタフェース手段を備え、
この制御信号に基づいて、前記オブジェクト編集制御手段が、映像オブジェクトの編集を行なうことを特徴とする請求項１乃至請求項９のいずれか１項に記載の映像オブジェクト編集装置。 - 蓄積媒体に蓄積された、映像と少なくともその映像に存在する映像オブジェクトの時刻及び映像オブジェクト形状を含んだオブジェクト情報とに基づいて、映像オブジェクトを編集するためにコンピュータを、
前記蓄積媒体の映像の読み込みを行なう映像蓄積媒体アクセス手段、
前記蓄積媒体のオブジェクト情報の読み込み及び書き出しを行なうオブジェクト情報蓄積媒体アクセス手段、
外部入力信号を、映像オブジェクトの編集動作を示す入力情報に変換する入力手段、
この入力情報に基づいて、映像オブジェクト単位の編集制御を行なうオブジェクト編集制御手段、
前記オブジェクト情報に基づいて、前記映像内における前記映像オブジェクトが存在する時刻範囲を表示するタイムラインを生成するタイムライン生成手段、
前記オブジェクト情報に基づいて、前記映像内における前記映像オブジェクトの領域形状を生成して、前記映像蓄積媒体アクセス手段で読み出された映像と合成する映像合成手段、
として機能させることを特徴とする映像オブジェクト編集プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001355215A JP3919163B2 (ja) | 2001-11-20 | 2001-11-20 | 映像オブジェクト編集装置及び映像オブジェクト編集プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001355215A JP3919163B2 (ja) | 2001-11-20 | 2001-11-20 | 映像オブジェクト編集装置及び映像オブジェクト編集プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003158710A JP2003158710A (ja) | 2003-05-30 |
| JP3919163B2 true JP3919163B2 (ja) | 2007-05-23 |
Family
ID=19166952
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001355215A Expired - Fee Related JP3919163B2 (ja) | 2001-11-20 | 2001-11-20 | 映像オブジェクト編集装置及び映像オブジェクト編集プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3919163B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4304108B2 (ja) * | 2004-03-31 | 2009-07-29 | 株式会社東芝 | メタデータ配信装置、動画再生装置および動画再生システム |
| JP4933354B2 (ja) | 2007-06-08 | 2012-05-16 | キヤノン株式会社 | 情報処理装置、及び情報処理方法 |
| JP5104289B2 (ja) * | 2007-12-25 | 2012-12-19 | 富士ゼロックス株式会社 | 行動履歴表示システム、行動履歴表示プログラム |
| JP4670923B2 (ja) * | 2008-09-22 | 2011-04-13 | ソニー株式会社 | 表示制御装置、表示制御方法、およびプログラム |
| JP5612457B2 (ja) * | 2010-12-21 | 2014-10-22 | 日本電信電話株式会社 | 動画像表示装置と動画像オブジェクト探索システムと動画像表示方法とプログラム |
| JP6706977B2 (ja) * | 2016-06-20 | 2020-06-10 | ヤフー株式会社 | 情報表示プログラム、情報表示装置、情報表示方法および配信装置 |
-
2001
- 2001-11-20 JP JP2001355215A patent/JP3919163B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003158710A (ja) | 2003-05-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8874525B2 (en) | Hierarchical display and navigation of document revision histories | |
| US6873344B2 (en) | Media production system using flowgraph representation of operations | |
| US8533595B2 (en) | Hierarchical display and navigation of document revision histories | |
| US8533594B2 (en) | Hierarchical display and navigation of document revision histories | |
| US8701002B2 (en) | Hierarchical display and navigation of document revision histories | |
| US6912726B1 (en) | Method and apparatus for integrating hyperlinks in video | |
| EP0636971B1 (en) | Method and apparatus for producing a composite second image in the spatial context of a first image | |
| JP3165815B2 (ja) | コンピュータ表示システム | |
| US5058042A (en) | Method for employing a hierarchical display list in global rendering | |
| CN109656654B (zh) | 大屏场景的编辑方法及计算机可读存储介质 | |
| US6983420B1 (en) | Motion picture information displaying method and apparatus | |
| US20110102424A1 (en) | Storyboard generation method and system | |
| JPH06503663A (ja) | 動画作成装置 | |
| JPH0816820A (ja) | ３次元アニメーション作成装置 | |
| US20040012621A1 (en) | Hyper-media information providing method, hyper-media information providing program and hyper-media information providing apparatus | |
| US20030132938A1 (en) | Animation producing method and device, and recorded medium on which program is recorded | |
| JP2727974B2 (ja) | 映像提示装置 | |
| JP3919163B2 (ja) | 映像オブジェクト編集装置及び映像オブジェクト編集プログラム | |
| JP4404172B2 (ja) | メディアシーン情報表示編集装置、方法、および該方法に係るプログラムを記憶した記憶媒体 | |
| US20210241539A1 (en) | Broker For Instancing | |
| JPH08329281A (ja) | 画像表示方法 | |
| US20110298809A1 (en) | Animation editing device, animation playback device and animation editing method | |
| JP2000149046A (ja) | 曲線生成装置及び方法、プログラムを格納した記録媒体、並びに対応点設定方法 | |
| CN115691772A (zh) | 运营可视化系统及相应计算机设备和存储介质 | |
| JP2001076181A (ja) | 視点位置設定方法、コンピュータ、三次元画像編集装置、およびプログラム記憶媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040409 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070129 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070207 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070209 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110223 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120223 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130223 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140223 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |