JP3175760B2 - 動画像アンカー作成システム - Google Patents
動画像アンカー作成システムInfo
- Publication number
- JP3175760B2 JP3175760B2 JP00087398A JP87398A JP3175760B2 JP 3175760 B2 JP3175760 B2 JP 3175760B2 JP 00087398 A JP00087398 A JP 00087398A JP 87398 A JP87398 A JP 87398A JP 3175760 B2 JP3175760 B2 JP 3175760B2
- Authority
- JP
- Japan
- Prior art keywords
- anchor
- moving image
- area
- feature
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
れる動画上での物体(以下、表示物体または単に物体と
呼ぶ)と、様々なメディアとを関係づけるハイパーメデ
ィア・システムに関し、特に表示物体に対して簡単にア
ンカーを作成することができる画像アンカー作成システ
ムに関する。
音声など、様々なメディア間を結ぶハイパーメディア・
システムが知られている。
ゲーション方式」(高野・的場・原、第8回ヒューマン
インターフェースシンポジウム、1994年12月)(以下、
文献1と呼ぶ)では、動画像には様々な表示物体が撮影
されていることに注目して、画像上の表示物体毎にアン
カー/リンクを持つハイパーメディア・システムが提案
されている。ここで、「アンカー」とは、別途用意した
オブジェクトから表示画面上の表示物体への関連づける
という意味で用いている。すなわち、「表示画面上の表
示物体へと碇をおろす」ということである。
中を複数の魚:魚2〜4が泳いでいるシーンから構成さ
れている動画像信号1を示す。魚2〜4に対して、それ
ぞれ、点線矩形で示したアンカー5〜7を作成する。各
アンカー5〜7から、対応する魚を説明する音声や文章
などへリンクをはることによって、柔軟で動画像の特性
を生かしたハイパーメディアを構成することができる。
動き回り、画像上での位置や大きさが変わる、また、表
示物体は現われたり消えたりするために、動画像の全シ
ーンに渡って表示物体毎にアンカー/リンクの作成を行
なうには、非常に多くの作業工数を費やさねばならな
い。しかし、上記文献1では、アンカー・リンク作成作
業の効率化は解決れていない。
作成システムの一例が、特開平8−123816号公報
「動画ハイパーメディア処理装置」(以下、文献2と呼
ぶ)が開示されており、以下、文献2に基づいて簡単に
説明する。
アンカーの形や動きをユーザがあらかじめマウス等のポ
インティング・デバイスで指定することが挙げられてい
る。他に表示画面を単純にメッシュ状に分割し、各部分
画像をアンカー対象領域とする方法が挙げられている。
この場合、アンカーとしては、表示物体を含む部分画像
を選択するだけであるので、作業工数は少なくなるが、
アンカーは必ずしも表示物体だけを含むようにはできな
くなる。
認しながら、別に用意したオブジェクトとの間でリンク
を生成してゆくとしている。
ィア・コンテンツを利用する際に、以下の工夫がこらし
てあるため、リンク先の検索が容易となっているとして
いる。
マウスがフレームインしたときやマウスをクリックした
ときに、再生速度がスローとなる。
付近でマウスをクリックしたときやマウスがある決まっ
た動きをしたとき、再生速度がスローとなる。
難しいとき、動画内でマウスをクリックすると、マウス
の指定領域が拡大表示される。
画の再生を止め、ユーザの入力を促す選択のダイアログ
を表示する。
テムの一例が、「動画像解析を応用した対話型ビデオ制
作システム」(脇本・神田・阿倍・田中、第3回画像セ
ンシングシンポジウム、1997年6 月)(以下、文献3と
呼ぶ)が開示されており、以下、文献3に基づいて簡単
に説明する。
(1)〜(6))から構成されている。
開始フレームと終了フレームを設定する。同時に両フレ
ームにおけるアンカーの位置と大きさを設定する。
ム上のアンカーをテンプレートとして利用し、以下の画
像処理を終了フレームに行き着くまで、繰り返し行なっ
てアンカーの追跡を行なう。
レーム上で、前フレームのテンプレートに最も近い部分
画像領域を探す。
ンプレートとする。
部分画像領域の位置と、ユーザが設定した終了フレーム
上でのアンカーの位置とが一致したとき、追跡終了とし
て下記の処理(5)へゆく。
ム上でのアンカーをテンプレートとして利用し、上記処
理(2)で述べた画像処理を、逆方向に行なってアンカ
ーを追跡する。追跡中、上記処理(2)の追跡結果と一
致したら追跡を打ち切る。
なるべく少ない数の中間点で近似する。中間点間は、直
線近似によりアンカーを与える。
処理結果を画面上で確認し、必要に応じて中間点の削除
や追加、また位置修正を行ない、アンカー位置を修正す
る。このときユーザの修正作業は、画像上に表示された
アンカー位置を適宜確認しながら行なう。
より少ない中間点を用いて近似しているのは、上記処理
(6)でユーザが編集すべき点の数を減らすことで作業
工数を減らすことを目的としている。
例を、上記文献3に基づきキーポイントだけ抜き出して
図3に例示する。アンカー編集画面15上には、動画像
信号1とフレーム位置制御バー12、編集補助バー14
が表示されており、動画像信号1上に表示されている魚
3のアンカー6を編集しているとする。フレーム位置制
御バー12と編集補助バー14の左端は動画像の第一フ
レームを、右端は終了フレームをそれぞれ指している。
フレーム位置制御バー12上にはフレーム位置制御ボタ
ン13があり、マウスで該ボタン13を左右へと移動す
ることにより、表示される画像のフレームを制御するこ
とができる。
6に対する開始フレーム9と終了フレーム10が示され
ている。両フレーム間中で、自動アンカー生成処理によ
って得られた中間点群11が、対応するフレーム位置へ
と△印で示されている。ユーザはフレーム位置制御ボタ
ン13を動かしながらアンカーの位置を確認し、必要に
応じて中間点におけるアンカー位置を画面上で修正した
り、中間点を削除もしくは追加することで、適切なアン
カーを作成してゆく。
た先行技術には次に述べるような問題がある。
されている場合には、画面を確認しながら容易にリンク
を生成することが可能である。しかしながら、アンカー
作成作業は、結局フレーム毎に設定をしてゆかねばなら
なく圧倒的に大きかった。
マッチングする部分画像を探索する手法を利用すること
により、アンカー生成作業を削減しようとしている。し
かしながら、このテンプレートマッチング手法は単純で
あるために、開始/終了フレームで初期設定するアンカ
ー(テンプレート)に依存して、追跡性能が異なってく
る。
カー6は、背景に海草8を含んでいるが、このように背
景が一様でない場合には、アンカーをどう設定するかに
依存して、アンカー追跡の性能が大きく変化することが
ある。この場合、十分良い結果が得られるまで初期アン
カーの与え方を変えたり、多くの中間点に対して多くの
編集を加えないとならない。
ユーザはアンカーの追跡結果を見渡すことができない。
そのため、アンカー追跡結果に満足できないときに、ど
のフレームへと中間点を追加すれば良いか・削除すれば
良いかが直感的にわからず、結果的に試行錯誤の作業を
避けられない。
時間的な連なりにおける、単一のアンカーを編集する目
的で作成されている。例えばサッカー中継動画像で、選
手毎にアンカーを設定することを考える。カメラはボー
ルの動きに合わせてパン・チルトを繰り返すため、アン
カーの対象となる選手は画面上で頻繁に消えたり現われ
たりするために、該文献3の手法では一連のアンカー作
成作業を繰り返さなければならない。
作成作業を大幅に軽減するアンカー生成システムを提供
することにある。
を入力する工程と、ユーザが検出対象となる表示物体を
いくつか指示して、該入力動画像中に含まれる指示され
た表示物体と同じ特徴を持つ領域の位置を検出領域とし
て検出する物体検出工程と、該検出領域を追跡する物体
追跡工程と、該入力動画像上に、該追跡した領域の軌跡
を重ねて表示して、ユーザが該検出領域の軌跡を編集す
ることにより、アンカーを作成するアンカー編集工程と
を含むことを特徴とする動画像アンカー作成方法が得ら
れる。
て、ユーザによって指示された検出対象となるいくつか
の表示物体に対して、該入力動画像中に含まれる指示さ
れた表示物体と同じ特徴を持つ領域の位置を検出領域と
して検出する物体検出手段と、該検出領域を追跡する物
体追跡手段と、前記入力動画像上に、前記追跡した領域
の軌跡を重ねて表示して、ユーザが該検出領域の軌跡を
編集することにより、アンカーを作成するアンカー編集
手段とから構成された動画像アンカー作成装置が得られ
る。
して、ユーザによって指示された検出対象となるいくつ
かの表示物体に対して、該入力動画像中に含まれる指示
された表示物体と同じ特徴を持つ領域の位置を検出領域
として検出する物体検出手続きと、該検出領域を追跡す
る物体追跡手続きと、前記入力動画像上に、前記追跡し
た領域の軌跡を重ねて表示して、ユーザが該検出領域の
軌跡を編集することにより、アンカーを作成するアンカ
ー編集手続きとをコンピュータに実行させるためのプロ
グラムを記録した動画像アンカー作成用記録媒体が得ら
れる。
て図面に基づいて詳細に説明する。
像アンカー作成システムの構成を示すブロック図であ
る。ここでは、図2に示したような動画像信号1が入力
されるものとして説明する。尚、図1に示す動画像アン
カー作成システムを実現するプログラムは、記録媒体
(図示せず)に記録されていても良い。ここで、「記録
媒体」とは、プログラムを記録したコンピュータ読み取
り可能な記録媒体のことをいい、具体的には、CD−R
OM、フロッピーディスクなどの磁気ディスク、半導体
メモリなどを含む。さらに、記録媒体はプログラムを記
録した紙や紙テープでも良い。記録媒体が紙である場合
には、コンピュータはOCR(光学的文字読取装置)の
ような読取装置と、この読取装置で読み取った文字(コ
ード)をコンピュータが認識できる機械言語に翻訳する
コンパイラとを備えていれば良い。
まかに、物体検出手段16、物体追跡手段17、および
アンカー編集手段18の3つに分けることができる。物
体検出手段16は、動画像を入力として、ユーザによっ
て指示された検出対象となるいくつかの表示物体に対し
て、その入力動画像中に含まれる指示された表示物体と
同じ特徴を持つ領域を検出領域として検出する。物体追
跡手段17は、その検出領域を追跡する。アンカー編集
手段18は、入力動画像上に、追跡した領域の軌跡を重
ねて表示して、ユーザがその検出領域の軌跡を編集する
ことにより、アンカーを作成する。
段50と、サンプル学習手段51と、背景学習手段52
と、閾値生成手段53と、閾値記憶手段54と、閾値処
理手段55と、領域特徴計算手段56と、動画記憶・再
生手段61とから構成されている。
とサンプル指示信号20とを入力とし、検出対象となる
表示物体を動画像の中から指示して、サンプル画像信号
24を出力する。
面例を示す。サンプル画像選択手段50では、動画像信
号1から、適当な時間間隔などで間引いた画像を取得し
ておいて表示する。今、魚3を、アンカー名「魚A」と
してサンプルを与えるとする。ユーザはアンカー名入力
欄40に「魚A」として入力するとともに、動画像信号
1上で魚3を囲むようにして切り出し矩形信号41を設
定する。切り出された画像は補助編集画面信号37とし
て表示されるので、更にユーザは切り出し曲線信号42
に沿って魚3の輪郭を詳細に切り出す。最終的に切り出
した結果は、物体切り出し画面信号38として確認のた
めに表示するとともに、サンプル画像信号24として出
力される。
24を入力として、サンプル画像の色や輝度を積分した
サンプル特徴を生成し、このサンプル特徴を示すサンプ
ル特徴信号25を出力する。また、背景学習手段52
は、動画像信号1を入力として、画面全体での色や輝度
を積分した背景特徴を生成し、この背景特徴を示す背景
特徴信号26を出力する。閾値生成手段53は、サンプ
ル特徴信号25と背景特徴信号26とを入力とし、両方
の特徴の積分値の比を計算して、この比を示す閾値信号
27を出力する。
ル学習手段51では、図4により切り出した魚3のサン
プル画像を利用して、図5の左上に示した輝度値の出現
頻度ヒストグラムを作成する。同様に背景学習手段52
では、図5の右上に示した動画像信号1の輝度値の出現
頻度ヒストグラムを作成する。それぞれのヒストグラム
は、表示物体と背景における輝度値の出現頻度であるこ
とから、ある輝度値を持つ画素が、表示物体らしいか背
景らしいかの判定に使えることがわかる。そこで閾値生
成手段53では、各輝度値における魚3と背景との出現
頻度の比を、輝度値毎の魚3らしさとして計算し、図5
の下の尤度ヒストグラムとして求めた後、あらかじめ与
えておいた閾値により二値化して閾値信号27として出
力する。
して閾値を記憶しておき、適宜、閾値を示す閾値信号2
8を出力する。動画記憶・再生手段61は、動画像信号
1と再生指示信号21とを入力として、動画像信号1を
記憶しておくとともに、再生指示が届くと、記憶した信
号を再生し動画像信号35として出力する。閾値処理手
段55は、動画像信号35と閾値信号28とを入力と
し、画素毎に閾値処理を施して検出対象物体を検出し、
この検出対象物体を示す領域画像信号29を出力する。
領域特徴計算手段56は、検出した画像上の領域の重心
位置や面積、形状特徴を計算し、これら特徴を示す領域
特徴信号30を出力する。
す。魚2〜4にそれぞれ対応する検出領域43〜45
と、検出したい対象ではないが間違って検出されてしま
った検出領域46とが画像上に示されている。領域特徴
計算手段56はこれら検出領域43〜46の重心位置や
面積などの領域特徴を計算して出力する。
せるとともに、輪郭内の輝度・色をヒストグラムに積分
した特徴により閾値処理によって、物体検出を行なって
いる。これらにより従来の検出性能が、背景などの影響
で初期設定したアンカーに大きく依存する問題点を解消
している。また動画像シーケンスにおいて、適宜、ユー
ザに表示物体を指示させることで、初期アンカーをどの
フレームに対して与えるのかをユーザに選ばせる必要が
なくなっている。上記の例では動画像全体に対して適用
するヒストグラムを各表示物体に対して一つづつ作成す
ることとしたが、時系列で異なるヒストグラムを作成し
ておくことで、更に適応的な物体検出手段16を構築す
ることも可能である。
段57と、領域特徴予測手段58と、フレーム遅延手段
59と、最適領域軌跡選択手段60とから構成されてい
る。
0と、後述する物体軌跡信号34とを入力とし、これま
での各領域の特徴の変化から、次のフレームでの特徴を
予測して、この予測した次のフレームの特徴を示す領域
特徴予測信号31を出力する。フレーム遅延手段59
は、領域特徴予測信号31を入力とし、1フレーム分信
号を遅延させて、遅延領域特徴予測信号32を出力す
る。領域特徴差分評価手段57は、領域特徴信号30
と、遅延領域特徴予測信号32とを入力とし、現フレー
ムでの領域特徴と、前フレームまでの軌跡から予測した
領域特徴との差分を計算して、この差分を示す領域特徴
評価信号33を出力する。最適領域軌跡選択手段60
は、領域特徴評価信号33を入力として、予測軌跡に一
番尤もらしい領域を選択して新しい軌跡とし、この新し
い軌跡を示す物体軌跡信号34を出力する。
徴予測手段58では領域軌跡47に基き、次のフレーム
での領域の位置を、予測位置48と予測する。予測の方
法はフレーム間の位置変位(動き)を、あらかじめ与え
ておいたフレーム数だけ遡り平均したり、「応用カルマ
ンフィルタ」(片山徹、朝倉書店、1983年)(以下、文
献4と呼ぶ)に記載されているような、ウィーナフィル
タやカルマンフィルタなどを用いることができる。他に
も検出領域の面積や形状の特徴なども同様に予測するこ
とも可能である。領域特徴差分評価手段57では、前フ
レームまでの軌跡から予測した位置48と、現フレーム
での各領域中心位置80〜83との差分を計算する。最
適領域軌跡選択手段60では、差分が最も小さく、一番
尤もらしい領域中心位置81を、これまでの軌跡に連な
る領域の位置であると判定する。
してきたが、複数の軌跡についても同様な処理を行なう
ことが可能である。また複数軌跡の追跡として、例えば
「AnEfficient Implementation of Reid's Multiple Hy
pothesis Tracking Algorithm and Its Evaluation for
the Purpose of Visual Tracking」(I.J. Cox andS. H
ingorani, IEEE Transactions on Pattern Analysis an
d Machine Intelligence, Vol.18 (2) pp.138-150 (199
6))(以下、文献5と呼ぶ)に記載されている方式を利
用することができる。
再生手段62と、動画像・領域軌跡合成表示手段63
と、アンカー記憶手段64と構成されている。
信号34と再生指示信号21と記録指示信号49とを入
力とし、記録指示が到着すると表示物体の軌跡を随時記
憶し、再生指示が到着すると記録した表示物体の軌跡を
再生し、この再生した表示物体の軌跡を示す物体軌跡信
号36を出力する。動画像・領域軌跡合成表示手段63
は、動画像信号35と物体軌跡信号36とアンカー位置
・軌跡編集信号22と後述するアンカー位置・軌跡信号
84とを入力とし、動画像信号の上に表示物体の軌跡を
重ねて表示するとともに、ビジュアルにアンカー位置や
軌跡の編集を行ない、編集後のアンカー位置や軌跡を示
すアンカー位置・軌跡信号85を出力する。アンカー記
憶手段64は、アンカー位置・軌跡編集信号22とアン
カー位置・軌跡信号85とを入力とし、アンカー位置・
軌跡信号84を出力し、画面上で編集したアンカー位置
と軌跡を動画像・領域軌跡合成表示手段63とやりとり
しながら正しいアンカー位置を記憶し、最終的なアンカ
ー位置を示すアンカー出力信号23を出力する。
には動画像信号35と、検出した表示物体のアンカー軌
跡86〜90までがともに表示されている。従来のアン
カー作成システムでは、フレームごとに該フレームでの
単一の表示物体のアンカーを表示するだけであった。こ
れに対して、本発明では、複数の表示物体の軌跡の一定
時間内の履歴を一度に表示・編集可能とすることで、ア
ンカー作成の作業工数を大幅に削減している。
置制御ボタン13をあやつり、画像上の表示物体のアン
カー軌跡を確認しながら、アンカー軌跡とアンカー名と
の間の関係づけを行なってゆく。例えば魚2はアンカー
軌跡86と示されたように、画像処理による検出がたや
すいところを泳いでいる。この場合、一度アンカー名選
択ボックス91の中からアンカー名と、アンカー軌跡8
6との間を関連付けてやれば、後はシーンを通じて確認
作業を行なうだけでアンカー作成作業は終了する。同様
に魚3についてのアンカー軌跡87も簡単な関連付けを
行なうだけでアンー作成作業を終了することができる。
関連付けした軌跡は、アンカー名ごとに色づけ表示する
などの工夫をすることにより、確認作業工数を大幅に削
減することが可能となる。
がともに対応することになる。従来技術ではこのように
途中で見えなくなるような状況には対応できなかった
が、本発明の実施の形態では軌跡がそれぞれ検出可能で
あるので、あとからまとめてアンー名と対応づけを行な
うだけで、簡単にアンカー作成が可能となる。
たまたま現われた軌跡である。これはアンカー名との間
の関係づけを行なわない(何もしない)ことで簡単に除
去できる。
では、ユーザによって指示された検出対象となるいくつ
かの表示物体に対して、入力動画像中に含まれれる指示
された表示物体と同じ特徴をもつ領域の位置を検出し、
この検出した領域を追跡し、入力動画像上に、この追跡
した領域の軌跡を重ねて表示して、ユーザがこの領域の
軌跡を編集することにより、アンカーを作成しているの
で、動画像上の表示物体に対して容易にアンカーを生成
できるという効果を奏する。
成システムの構成を示すブロック図である。
像の一例を示す図である。
である。
説明図である。
ブル生成手順の説明図である。
Claims (16)
- 【請求項1】 動画像を入力する工程と、 ユーザが検出対象となる表示物体をいくつか指示して、
該入力動画像中に含まれる指示された表示物体と同じ特
徴を持つ領域の位置を検出領域として検出する物体検出
工程と、 該検出領域を追跡する物体追跡工程と、 該入力動画像上に、該追跡した領域の軌跡を重ねて表示
して、ユーザが該検出領域の軌跡を編集することによ
り、アンカーを作成するアンカー編集工程とを含むこと
を特徴とする動画像アンカー作成方法。 - 【請求項2】 上記入力動画像と、検出した表示物体の
軌跡とを表示する際に、編集の際に前記アンカーに名づ
けたアンカー名毎に色付けして表示することを特徴とす
る、請求項1に記載の動画像アンカー作成方法。 - 【請求項3】 前記物体検出工程は、 ユーザから検出対象の指示を受け、検出対象のサンプル
画像を作るサブ工程と、 該検出対象のサンプル画像からサンプルの特徴を学習す
るサブ工程と、 該動画像から背景となる画像の特徴を学習するサブ工程
と、 該サンプル特徴と該背景特徴とから、検出対象を取り出
す閾値を計算するサブ工程と、 該閾値をもとにして表示物体であると思われる領域を検
出するサブ工程と、 該検出した領域おのおのについて、特徴を計算するサブ
工程とを含む、請求項1に記載の動画像アンカー作成方
法。 - 【請求項4】 前記物体追跡工程は、 これまでの検出した領域の特徴を入力として次のフレー
ムでの領域の特徴を予測するサブ工程と、 予測した領域の特徴と、実際に検出した領域の特徴とを
比較するサブ工程と、 予測に尤もマッチングする領域を選択して、領域の軌跡
を決定するサブ工程とを含む、請求項3に記載の動画像
アンカー作成方法。 - 【請求項5】 前記アンカー編集工程は、 入力動画像と、検出した物体の軌跡、これまでの編集で
得られたアンカー位置とを同時に合成して表示するサブ
工程と、 ユーザの操作に応じてアンカーの位置を削除・追加など
編集作業を行なうサブ工程とを含む、請求項4に記載の
動画像アンカー作成方法。 - 【請求項6】 前記アンカー編集工程は、上記入力動画
像と、検出した表示物体の軌跡とを表示する際に、編集
の際に前記アンカーに名づけたアンカー名毎に色付けし
て表示するサブ工程を更に含む、請求項5に記載の動画
像アンカー作成方法。 - 【請求項7】 動画像を入力として、ユーザによって指
示された検出対象となるいくつかの表示物体に対して、
該入力動画像中に含まれる指示された表示物体と同じ特
徴を持つ領域の位置を検出領域として検出する物体検出
手段と、 該検出領域を追跡する物体追跡手段と、 前記入力動画像上に、前記追跡した領域の軌跡を重ねて
表示して、ユーザが該検出領域の軌跡を編集することに
より、アンカーを作成するアンカー編集手段とから構成
された動画像アンカー作成装置。 - 【請求項8】 物体検出手段は、 前記動画像を入力として記録し、要求に応じて再生する
動画記録・再生手段と、 前記動画像と、ユーザから検出対象の指示とを受け、検
出対象のサンプル画像を出力するサンプル画像選択手段
と、 検出対象のサンプルとして提示された画像からサンプル
の特徴を学習して出力するサンプル学習手段と、 該動画像を入力として背景となる画像の特徴を学習して
出力する背景学習段と、 検出対象のサンプルの特徴と背景の特徴を入力とし、検
出対象を取り出す閾値を生成して出力する閾値生成手段
と、 生成した閾値を記憶して出力する閾値記憶手段と、 生成した閾値をもとにして表示物体であると思われる領
域を検出して出力する閾値処理手段と、 検出した領域を入力として、各領域の特徴を計算する領
域特徴計算手段とから構成されている、請求項7に記載
の動画像アンカー作成装置。 - 【請求項9】 物体追跡手段は、 これまでの検出した領域の特徴を入力として次のフレー
ムの領域の特徴を予測する領域特徴予測手段と、 予測した領域の特徴をあらかじめ定めたフレーム分だけ
遅延させるフレーム延手段と、 遅延させた領域の予測特徴と、検出した領域の特徴との
差分を計算して出力る領域特徴差分評価手段と、 特徴の差分を入力として、予測に尤もマッチングする領
域を選択し、領域の軌跡を決定して出力する最適領域軌
跡選択手段とから構成されている、請求項8に記載の動
画像アンカー作成装置。 - 【請求項10】 アンカー編集手段は、 物体の軌跡を入力として記録し、要求に応じて再生する
領域軌跡記憶・再生手段と、 再生された動画像と物体の軌跡、これまでの編集で得ら
れたアンカー位置とを同時に合成して表示し、ユーザの
操作に応じてアンカーの位置を削除・追加など編集作業
を行なう動画像・領域軌跡合成表示手段と、 編集したアンカー位置や軌跡を入力として記憶してお
き、必要に応じて出力すると共に、編集終了後に編集済
みアンカーとして出力するアンカー記憶手段とから構成
されている、請求項9に記載の動画像アンカー作成装
置。 - 【請求項11】 上記動画像・領域軌跡合成表示手段
は、編集の際に前記アンカーに名づけたアンカー名毎に
色付けして表示することを特徴とする、請求項10に記
載の動画像アンカー作成装置。 - 【請求項12】 動画像を入力として、ユーザによって
指示された検出対象となるいくつかの表示物体に対し
て、該入力動画像中に含まれる指示された表示物体と同
じ特徴を持つ領域の位置を検出領域として検出する物体
検出手続きと、 該検出領域を追跡する物体追跡手続きと、 前記入力動画像上に、前記追跡した領域の軌跡を重ねて
表示して、ユーザが該検出領域の軌跡を編集することに
より、アンカーを作成するアンカー編集手続きとをコン
ピュータに実行させるためのプログラムを記録した動画
像アンカー作成用記録媒体。 - 【請求項13】 前記物体検出手続きは、 ユーザから検出対象の指示を受け、検出対象のサンプル
画像を作るサブ手続きと、 該検出対象のサンプル画像からサンプルの特徴を学習す
るサブ手続きと、 該動画像から背景となる画像の特徴を学習するサブ手続
きと、 該サンプル特徴と該背景特徴とから、検出対象を取り出
す閾値を計算するサブ手続きと、 該閾値をもとにして物体であると思われる領域を検出す
るサブ手続きと、 該検出した領域おのおのについて、特徴を計算するサブ
手続きとを含む、請求項12に記載の動画像アンカー作
成用記録媒体。 - 【請求項14】 前記物体追跡手続きは、 これまでの検出した領域の特徴を入力として次のフレー
ムでの領域の特徴を予測するサブ手続きと、 予測した領域の特徴と、実際に検出した領域の特徴とを
比較するサブ手続きと、 予測に尤もマッチングする領域を選択して、領域の軌跡
を決定するサブ手続きとを含む、請求項13に記載の動
画像アンカー作成用記録媒体。 - 【請求項15】 前記アンカー編集手続きは、 入力動画像と、検出した物体の軌跡と、これまでの編集
で得られたアンカー位置とを同時に合成して表示するサ
ブ手続きと、 ユーザの操作に応じてアンカーの位置を削除・追加など
編集作業を行なうサブ手続きとを含む、請求項13に記
載の動画像アンカー作成用記録媒体。 - 【請求項16】 前記アンカー編集手続きは、編集の際
に前記アンカーに名づけたアンカー名毎に色付けして表
示するサブ手続きをさらに含む、請求項15記載の動画
像アンカー作成用記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP00087398A JP3175760B2 (ja) | 1998-01-06 | 1998-01-06 | 動画像アンカー作成システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP00087398A JP3175760B2 (ja) | 1998-01-06 | 1998-01-06 | 動画像アンカー作成システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH11195042A JPH11195042A (ja) | 1999-07-21 |
JP3175760B2 true JP3175760B2 (ja) | 2001-06-11 |
Family
ID=11485799
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP00087398A Expired - Fee Related JP3175760B2 (ja) | 1998-01-06 | 1998-01-06 | 動画像アンカー作成システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3175760B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001134761A (ja) * | 1999-11-04 | 2001-05-18 | Nippon Telegr & Teleph Corp <Ntt> | 動画像内被写体の関連アクション提供方法および装置並びにこの方法のプログラムを記録した記録媒体 |
JP2002207774A (ja) * | 2001-01-10 | 2002-07-26 | Nec Corp | インターネット動画リンクシステム |
US11232768B2 (en) | 2005-04-12 | 2022-01-25 | Douglas G. Richardson | Embedding animation in electronic mail, text messages and websites |
US12051391B2 (en) | 2005-04-12 | 2024-07-30 | Douglas G. Richardson | Embedding animation in electronic mail, text messages and websites |
US8969827B2 (en) * | 2012-07-09 | 2015-03-03 | Materials Analysis Technology (Us) Corp. | Specimen preparation for transmission electron microscopy |
US9483812B2 (en) * | 2013-03-25 | 2016-11-01 | Imax Corporation | Enhancing motion pictures with accurate motion information |
-
1998
- 1998-01-06 JP JP00087398A patent/JP3175760B2/ja not_active Expired - Fee Related
Non-Patent Citations (7)
Title |
---|
伊藤真也、田中譲、「ビデオ画像に対する一連処理のステージパッドによるコーディネーション」,情報処理学会研究報告Vol.94,No75(94−IM−18)(平成6年9月9日),pp.9−16 |
平田恭二、川崎成人、高野元、原良憲、「ネットワーク環境下における動画ハイパーメディア実装方式」,アドバンスト・データベースシステムシンポジウム’94本会議(平成6年12月7日),pp.165−173 |
神田準史郎、脇本浩司、阿倍博伸、田中聡、「動画ハイパーメディアシステムにおけるアンカー自動設定方法とその評価」,電子情報通信学会技術研究報告Vol.96,No.492(PRMU96−146)(平成9年1月24日),pp.41−46 |
紺谷精一、三浦史光、佐藤哲司、片岡良治、「マルチメディア情報システムにおける動画像オブジェクトの管理モデル」,情報処理学会第49回(平成6年後期)全国大会講演論文集(3)(平成6年9月28日),pp.331−332 |
脇本浩司、神田準史郎、阿倍博伸、田中聡、「動画像解析を応用した対話型ビデオ制作システム」,第3回画像センシングシンポジウム講演論文集(平成9年6月11日),pp.47−52 |
高野元、的場ひろし、原良憲、「ビデオ・ハイパーメディアのナビゲーション方式」,第8回ヒューマン・インタフェース・シンポジウム論文集(平成4年10月21日),pp.607−612 |
高野元、的場ひろし、原良憲、「ビデオデータ中に現れる物体をノードとするハイパーメディア構成方式」,第7回ヒューマン・インターフェース・シンポジウム論文集 和文編(平成3年10月23日),pp.301−306 |
Also Published As
Publication number | Publication date |
---|---|
JPH11195042A (ja) | 1999-07-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10902676B2 (en) | System and method of controlling a virtual camera | |
US11758082B2 (en) | System for automatic video reframing | |
US8204312B2 (en) | Moving image editing apparatus | |
JP3171744B2 (ja) | 音声及び動画の検索装置 | |
US20070147700A1 (en) | Method and apparatus for editing images using contour-extracting algorithm | |
JP2003517786A (ja) | ビデオ制作システムおよび方法 | |
JP2002084488A (ja) | ビデオ生成システム及びカスタムビデオ生成方法 | |
EP1296289A1 (en) | Animation producing method and device, and recorded medium on which program is recorded | |
KR101484844B1 (ko) | 실시간 영상에 프라이버시 마스킹 툴을 제공하는 장치 및 방법 | |
US10685679B1 (en) | System and method of determining a virtual camera path | |
JP3175760B2 (ja) | 動画像アンカー作成システム | |
JP5838791B2 (ja) | プログラム、画像処理装置及び画像処理方法 | |
CN101374206B (zh) | 用于交互式视频帧选择的系统和方法 | |
US6272279B1 (en) | Editing method of moving images, editing apparatus and storage medium storing its editing method program | |
JP3802322B2 (ja) | 動画像内オブジェクト抽出方法及び装置 | |
JP3907344B2 (ja) | 動画アンカー設定装置 | |
US20050213817A1 (en) | Image recognition apparatus and image recognition program | |
JP2000149046A (ja) | 曲線生成装置及び方法、プログラムを格納した記録媒体、並びに対応点設定方法 | |
JP3341574B2 (ja) | 映像信号記録/再生装置 | |
JP3468404B2 (ja) | 映像字幕挿入方法および装置並びに該映像字幕挿入方法を記録した記録媒体 | |
JPH09322061A (ja) | 画像合成装置 | |
JPH10187759A (ja) | 動画アンカー表示、選択、設定装置および動画アンカーを用いた動画ハイパーメディア装置と動画提供システム | |
JP2006127530A (ja) | 動画像内オブジェクト抽出方法及び装置 | |
JP3523784B2 (ja) | 対話型画像操作表示装置および方法並びにプログラム格納媒体 | |
JP2005167822A (ja) | 情報再生装置及び情報再生方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20010307 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080406 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090406 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100406 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110406 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120406 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120406 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130406 Year of fee payment: 12 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130406 Year of fee payment: 12 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140406 Year of fee payment: 13 |
|
LAPS | Cancellation because of no payment of annual fees |