JP2765270B2 - 動画像提示方法 - Google Patents

動画像提示方法

Info

Publication number
JP2765270B2
JP2765270B2 JP3124359A JP12435991A JP2765270B2 JP 2765270 B2 JP2765270 B2 JP 2765270B2 JP 3124359 A JP3124359 A JP 3124359A JP 12435991 A JP12435991 A JP 12435991A JP 2765270 B2 JP2765270 B2 JP 2765270B2
Authority
JP
Japan
Prior art keywords
moving image
time
moving object
moving
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP3124359A
Other languages
English (en)
Other versions
JPH04352076A (ja
Inventor
元 ▲高▼野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
Nippon Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Electric Co Ltd filed Critical Nippon Electric Co Ltd
Priority to JP3124359A priority Critical patent/JP2765270B2/ja
Publication of JPH04352076A publication Critical patent/JPH04352076A/ja
Application granted granted Critical
Publication of JP2765270B2 publication Critical patent/JP2765270B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、動画像を使用する情報
表現システムにおいて、動物体の動きに基づいた動画像
提示方法に関するものである。
【0002】
【従来の技術】従来、動画像は時間軸上のある区間(シ
ーンと呼ばれる)を切り出し、これを編集することで提
示される。また、動画像を用いた対話型アプリケーショ
ンにおけるユーザの操作対象は、提示されているシーン
全体、あるいは静止したアイコンに限られていた。
【0003】またシーンの検索は、利用のための判断の
基準となり得る時間軸上のある一点の画像(フレームと
呼ばれる)を様々なユーザ・インターフェースを用いて
提示し対話的に行われていた。または、あらかじめ対話
的にシーンに付加されたキーワード情報をもとに行われ
ていた。
【0004】
【発明が解決しようとする課題】しかしながら、上に述
べたような時間軸上のみの利用方法は、次に述べるよう
な問題点がある。
【0005】例えば、何人かの人が動き回っている風景
のシーンを考えてみる。ある人物Aを強調して提示する
ため、人物Aの動きに合わせて動く矢印を合成したい場
合、動画像自体は人物Aの位置情報を持たないため1フ
レームごとに手作業で矢印を書き込んでいかなければな
らない。また、矢印の形を変更する場合には、また1フ
レームごとに矢印を描き直す作業が必要になり非効率的
である。
【0006】さらに、このシーンを人物Aの動きにより
キーワード検索しようとしても、動きを表すキーワード
は人によってさまざまなために適切な問い合わせ処理が
実現できない。
【0007】本発明の目的は、従来の時間軸に依存した
動画像の提示方法だけではなく、画像上の位置および形
状と時間の情報を併せ持つ動物体の動きのデータ管理方
法を提示し、これに基づいた動画像提示の方法を提供す
ることにある。
【0008】
【課題を解決するための手段】第1の発明は、動画の再
生を制御する動画制御部と、動物体の時間位置と画面位
置の組を記録する位置記憶部と、あらかじめ設定された
処理を行う計算処理部と、動画表示を行う動画提示部と
から構成される動画像を利用する情報表現システムの動
画像提示方法において、前記動画制御部から動画の時間
位置を読み出すステップと、前記ステップで読み出した
時間位置に基づいて前記位置記憶部から画面上の位置を
読み出してくるステップと、前記ステップで選ばれた画
面位置に基づいて処理を行うステップと、前記ステップ
の処理結果を前記動画提示部に出力するステップとを含
むことを特徴とする。
【0009】第2の発明は、第1の発明において、動き
の特徴をよく表す時間位置と画面位置の組のみを格納す
る位置記憶部から、時間位置が与えられた場合には、近
似曲線または近似直線を時間関数として位置を算出する
ステップを含むことを特徴とする。
【0010】第3の発明は、第1の発明において、時間
位置と画面位置だけではなく動物体の形状も組にして記
録する位置記憶部から、時間位置に基づいて位置記憶部
から画面上の位置だけでなく動物体の形状を読み出して
くるステップとを含むことを特徴とする。
【0011】第4の発明は、第2の発明において、動き
の特徴をよく表す時間位置と画面位置だけではなく動物
体の形状を近似した矩形を組にして記録する位置記憶部
から、時間位置が与えられた場合には、近似曲線または
近似直線を時間関数として位置を算出するだけではなく
動物体の形状も近似矩形を算出するステップを含むこと
を特徴とする。
【0012】
【作用】動画像は静止画像(フレーム)の周期的(NT
SC方式では毎秒30フレーム)な連続表示によって実
現されるため、動物体の動きに基づいた動画像提示のた
めには、各フレームにおける動物体の位置の特定という
作業が必要になる。また、物体の動きに形状変化が伴う
場合には、動物体の位置の特定に加えて形状の特定作業
が必要になる。この作業は人間が実際に目で見て行う
か、あるいは画像処理アルゴリズムを用いて行われる
が、前者はフレームの切替え時間内に処理を終えること
は不可能であり、また後者は技術的に解決されていない
課題がいまだ大変多く、一般的な利用には不適切であ
る。そこで、あらかじめ位置を時間の関数とした時空間
表現として記録し、これに基づいて動画像提示を行う方
法が考えられる。
【0013】第1の発明は、この動物体の時空間情報を
用いた動画像提示の方法を提供するものである。これに
よってフレーム切替え時間内に動物体の位置を特定で
き、例えばCGとの合成を行うことにより、動物体の動
きに合わせてCGが移動していくといった動画像提示が
可能になる。また、動物体の位置を含むある領域をハイ
パーテキストにおけるボタンととらえれば、動物体をボ
タンとすることが可能となる。
【0014】しかし、動物体の位置を時間ごとに細かく
記録していたのでは、記憶容量が膨大になり実用的では
ない。第2の発明は、動物体の時空間情報を提供するも
のであり、記憶容量を削減する作用を有する。
【0015】第1の発明がもたらす作用は、カメラワー
クのズーミングやパニングなどの操作による物体の大き
さの変化や、あるいは物体そのものの形状の変化に基づ
いた提示には対応できない。そこで、位置に加えて形状
を時間の関数とした時空間情報として表現すれば、前述
の効果が得られる。
【0016】第3の発明は、この動物体の位置と形状を
含んだ時空間情報を提供するものである。これによって
フレームの切替え時間内に動物体の位置および形状を特
定でき、カメラワークや形状の変化に合わせた動物体と
CGの合成や、動物体をハイパーテキストのボタンとす
ることが可能となる。
【0017】しかし、動物体の位置並びに形状を時間ご
とに細かく記録していたのでは、記憶容量が膨大になり
実用的ではない。第4の発明は、動物体の時空間情報を
提供するものであり、記憶容量を削減する作用を有す
る。
【0018】また、第2または第4の発明は、数学的に
は3次元空間における軌跡と見なせるので、簡単な数学
的処理によって、2次元平面上に動きベクトル情報とし
て表現することが可能である。よって、画面上でのグラ
フィック・ユーザ・インターフェースを実現するのが容
易となる。
【0019】
【実施例】図1は、第1の発明におけるフローチャート
を示すものである。ここで、図中のstep11〜17
はフローチャートの各ステップを示す。
【0020】本実施例の動画像提示処理は、例えば1フ
レームに一度あるいはnフレームに一度実行される。ビ
デオ等の動画像の再生中に、これと同期してstep1
1で処理を開始し、step12で現在のフレーム時間
Tfを動画像再生装置から読み出す。次に、step1
3であらかじめ作成されている時間から位置への関数F
(t)にフレーム時間Tfを与え、画面上の位置P
(x,y)を算出する。この結果を用いてstep14
では、P(x,y)をもとにユーザが所望する処理を加
え、step15でこの結果を画面出力する。step
16においては、次のフレームでも処理が要求されてい
るかを判定し、要求があればstep12以降を繰り返
し、なければstep17で終了となる。
【0021】ここで、step14における処理がCG
の描き込みであれば、結果として動物体に連動してCG
が動く効果を得ることができる。また、あらかじめ行わ
れたマウス入力結果がP(x,y)あるいはP(x,
y)を含む領域に含まれるかどうかの判定を行えば、動
物体そのものをハイパーテキストのボタンとすることが
でき、動物体からのリンクづけが可能になる。
【0022】step14における処理はこの他にも考
えられるが、本動画像提示方法を用いる限りstep1
4で適用する処理によらず本発明の範疇である。
【0023】図2は、第2の発明の一実施例を説明する
ための図である。図示するように画面を意味するX−Y
平面とフレーム時間Tを意味する時間軸によって時空間
1が構成されており、この空間内に動物体の動きの軌跡
2が描かれている。動物体の動きを含む時空間を、開始
時間T1による開始フレーム3、終了時間T4における
終了フレーム4、および適当な参照時間T2,T3にお
ける参照フレーム5で分割し、これにより規定される各
区間の関数をそれぞれ直線あるいは曲線によって近似し
た、時間に対する関数として表現している。
【0024】本実施例においては、図3に示すように動
物体の動きの軌跡が表現されており、フレーム時間Tf
が与えられれば、その値に応じてf(t)またはg
(t)に代入して、画面上の動物体の位置P(x,y)
を得ることができる。
【0025】図4は、第3の発明におけるフローチャー
トを示すものである。ここで、図中のstep21〜2
7はフローチャートの各ステップを示す。
【0026】本実施例の動画像提示処理は、例えば1フ
レームに一度あるいはnフレームに一度実行される。ビ
デオ等の動画像の再生中に、これと同期してstep2
1で処理を開始し、step22で現在のフレーム時間
Tfを動画像再生装置から読み出す。次に、step2
3であらかじめ作成されている時間から位置および形状
への関数G(t)にフレーム時間Tfを与え、画面上の
位置P(x,y)ならびに形状Figを算出する。この
結果を用いてstep24では、PおよびFigをもと
にユーザが所望する処理を加え、step25でこの結
果を画面出力する。step26においては、次のフレ
ームでも処理が要求されているかを判定し、要求があれ
ばstep22以降を繰り返し、なければstep27
で終了となる。
【0027】ここで、step24における処理がCG
の描き込みであれば、結果として動物体に連動してCG
が動く効果を得ることができる。また、あらかじめ行わ
れたマウス入力結果がP(x,y)あるいはP(x,
y)を含む領域に含まれるかどうかの判定を行えば、動
物体そのものをハイパーテキストのボタンとすることが
でき、動物体からのリンクづけが可能になる。
【0028】図5は、第4の発明を説明するための図で
ある。図2と同様な時空間6が構成されており、この空
間内に時間に対する動物体の位置と形状の軌跡7が描か
れている。動物体の動きを含む時空間を、開始時間T1
による開始フレーム8、終了時間T3による終了フレー
ム10、および適当な参照時間T2による参照フレーム
9で分割し、これにより規定される各区間の時間に対す
る位置の関数をそれぞれ直線あるいは曲線によって近似
し、時間に対する位置の軌跡として表現している。ま
た、開始,終了,参照の各フレームごとに動物体の形状
を近似した矩形11の情報を持たせておく。これによ
り、任意のフレームにおける動物体の近似矩形の算出
は、単純な計算を行うことで可能である。
【0029】図6は、本発明を利用した一実施例を説明
するための図である。これは、時空間において動物体の
軌跡を表す式から、時間を消去することによって得られ
るX−Y平面上の軌跡を、動物体の動きを示す検索キー
13,14,15,16として各シーンごとに用いる。
一方、動画像を見ているユーザの目には動物体の動きは
画面(X−Y平面)上での軌跡と映るため、ユーザの記
憶している動物体の動きの軌跡12をポインティングデ
バイスによって入力し、前出の動きを示す検索キーとマ
ッチングをとることで動きに基づいたシーン検索が可能
である。
【0030】本実施例においては、検索キー14が入力
した動きの軌跡とマッチングし、動き記述17を含むシ
ーンを検索している。
【0031】また、キーワードなどによる従来技術を用
いたシーンの検索方法と本実施例との併用が可能である
ことは自明であり、これも本発明の範囲内である。
【0032】
【発明の効果】以上説明した通りに、本発明によれば、
動物体の時空間記述を用いることによって動きに基づい
た画像の加工などの処理を自動化できる。これにより、
プレゼンテーションなどにおいて動物体を強調して表示
したい場合などに、プレゼンテーション準備にかかる時
間を削減できる。また、動物体をハイパーテキストにお
けるボタンとすることが可能になるので、動画像を用い
たアプリケーションの応用範囲を拡げることが可能にな
る。
【0033】また本発明は、動物体の動きを時間から位
置への関数とするデータ管理方法を提供するもので、す
べてのフレーム時間における動物体の位置あるいは形状
を保持する場合に比べて記憶容量を大幅に削減すること
が可能である。
【図面の簡単な説明】
【図1】第1の発明におけるフローチャートである。
【図2】第2の発明にかかるデータ管理方法の一実施例
を示す図である。
【図3】図2の実施例を説明するための図である。
【図4】第3の発明におけるフローチャートである。
【図5】第4の発明にかかるデータ管理方法の一実施例
を説明するための図である。
【図6】本発明を利用した一実施例を説明するための図
である。
【符号の説明】
1 時空間 2 軌跡 3 開始フレーム 4 終了フレーム 5 参照フレーム 6 時空間 7 軌跡 8 開始フレーム 9 参照フレーム 10 終了フレーム 11 近似矩形 12 動きの軌跡入力 13,14,15,16 動きを示す検索キー 17 検索されたシーンにおける時空間記述
フロントページの続き (58)調査した分野(Int.Cl.6,DB名) G06T 13/00 JICSTファイル(JOIS)

Claims (1)

    (57)【特許請求の範囲】
  1. 【請求項1】動画の再生を制御する動画制御部と、動物
    体の時間位置と画面位置の組を記録する位置記憶部と、
    あらかじめ設定された処理を行う計算処理部と、動画表
    示を行う動画提示部とから構成される動画像を利用する
    情報表現システムの動画像提示方法において、 前記動画制御部から動画の時間位置を読み出すステップ
    と、 前記位置記憶部に、動きの特徴をよく表す時間位置と画
    面位置の組を記憶しておくだけでなく、動物体の形状を
    近似した矩形を組にして記憶しておき、時間位置が与え
    られた場合には、前記位置記憶部から、近似曲線または
    近似直線を時間関数として位置を算出するだけでなく動
    物体の形状も近似矩形を算出するステップと、 前記ステップで選ばれた画面位置に基づいて処理を行う
    ステップと、 前記ステップの処理結果を前記動画提示部に出力するス
    テップとを含むことを特徴とする動画像提示方法。
JP3124359A 1991-05-29 1991-05-29 動画像提示方法 Expired - Lifetime JP2765270B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP3124359A JP2765270B2 (ja) 1991-05-29 1991-05-29 動画像提示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP3124359A JP2765270B2 (ja) 1991-05-29 1991-05-29 動画像提示方法

Publications (2)

Publication Number Publication Date
JPH04352076A JPH04352076A (ja) 1992-12-07
JP2765270B2 true JP2765270B2 (ja) 1998-06-11

Family

ID=14883451

Family Applications (1)

Application Number Title Priority Date Filing Date
JP3124359A Expired - Lifetime JP2765270B2 (ja) 1991-05-29 1991-05-29 動画像提示方法

Country Status (1)

Country Link
JP (1) JP2765270B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3300798B2 (ja) * 1994-01-07 2002-07-08 富士通株式会社 映像生成装置
JP3380937B2 (ja) * 1994-08-12 2003-02-24 日本電信電話株式会社 動画像内の物体の同定方法及び動画像内の物体の同定装置
JP3022330B2 (ja) * 1996-07-09 2000-03-21 日本電気株式会社 動画像認識装置および動画像認識方法
JP4226730B2 (ja) 1999-01-28 2009-02-18 株式会社東芝 物体領域情報生成方法及び物体領域情報生成装置並びに映像情報処理方法及び情報処理装置
JP3735552B2 (ja) * 2001-09-28 2006-01-18 株式会社東芝 時空間領域情報の処理方法
US8588583B2 (en) * 2007-08-22 2013-11-19 Adobe Systems Incorporated Systems and methods for interactive video frame selection

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6446167A (en) * 1982-07-30 1989-02-20 Honeywell Inc Mapping of digital input video on screen
JPH01241679A (ja) * 1988-03-24 1989-09-26 Matsushita Electric Ind Co Ltd アニメーション編集装置
JPH02130682A (ja) * 1988-11-11 1990-05-18 Nec Corp アニメーショングラフィックデータの管理方式
JPH02312377A (ja) * 1989-05-29 1990-12-27 Nippon Hoso Kyokai <Nhk> 画像ファイルシステム
JPH0373999A (ja) * 1989-08-14 1991-03-28 Nec Corp 動画表示方式

Also Published As

Publication number Publication date
JPH04352076A (ja) 1992-12-07

Similar Documents

Publication Publication Date Title
JP3718472B2 (ja) 画像表示方法および装置
JP3171744B2 (ja) 音声及び動画の検索装置
EP0886245B1 (en) Display of moving object on background image
US8224087B2 (en) Method and apparatus for video digest generation
US6803925B2 (en) Assembling verbal narration for digital display images
JP3927608B2 (ja) 動画像表示装置及び動画像記憶装置
US6851091B1 (en) Image display apparatus and method
JP2002359777A (ja) 時空間領域情報処理方法及び時空間領域情報処理システム
JP2000512410A (ja) 参照モデルを用いて画像情報を索引付けをする方法
US7770117B1 (en) Morphing between views of data
US8832554B2 (en) Morphing between views of data
US7890866B2 (en) Assistant editing display method for media clips
US7483619B2 (en) System for authoring and viewing detail on demand video
JP4124421B2 (ja) 画像表示制御装置
CN110636365A (zh) 视频字符添加方法和装置
JPH1028250A (ja) インテリジェントビデオカメラ及びインテリジェントスチルカメラ
JP2765270B2 (ja) 動画像提示方法
JPH06124313A (ja) 画像表示方法
JP4137923B2 (ja) 画像表示方法および装置
US5986660A (en) Motion capture data system and display
US6337916B1 (en) Modifying image data
US6934423B1 (en) Incorporating camera effects into existing video sequences
KR102078479B1 (ko) 영상 편집 방법 및 영상 편집 장치
JP2870819B2 (ja) データ編集方法とその装置
JP3523784B2 (ja) 対話型画像操作表示装置および方法並びにプログラム格納媒体