JPH11328433A

JPH11328433A - 動画アンカ―設定装置およびその装置を用いた動画ハイパ―メディア装置と動画提供システム

Info

Publication number: JPH11328433A
Application number: JP11108235A
Authority: JP
Inventors: Hironobu Abe; 博信阿倍; Jiyunshiro Kanda; 準史郎神田; Koji Wakimoto; 浩司脇本; Satoshi Tanaka; 聡田中
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 1996-01-31
Filing date: 1999-04-15
Publication date: 1999-11-30
Anticipated expiration: 2017-01-29
Also published as: JP3907344B2

Abstract

(57)【要約】【課題】動画中のターゲットにアンカーを設定する
際、フレームごとに設定作業を要した。【解決手段】アンカーとリンクの設定に関するデータ
操作を行うデータ操作部１、これらのデータを記憶する
データ記憶部２、表示を制御する表示部３、編集コマン
ドを入力するユーザ操作部４を持つ。アンカー設定部１
１で最初と最後のフレームに対してのみアンカーを設定
すると、アンカー推定部１２が補間計算によって他のフ
レームのアンカー情報を推定する。このため、アンカー
の設定作業工数が大幅に減る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、動画アンカー設
定装置およびこの装置を用いた動画ハイパーメディア装
置に関する。この発明は特に、動画を入力し、これに含
まれるターゲット等にアンカーを設定するための装置、
この装置によって設定されたアンカーに関連情報をリン
クして所期の検索等を行う動画ハイパーメディア装置、
この装置をサーバクライアントシステムとして利用する
動画提供システムに関する。

【０００２】

【従来の技術】従来一般的なハイパーメディア装置にお
ける情報の検索は、主にテキストや静止画像に対して情
報リンクのための論理単位を設定し、この論理単位に対
して関連情報を予めリンクし、ユーザがこの論理単位を
クリックしたときに前記関連情報が表示される形態をと
っていた。しかし、例えば動画像の符号化および復号に
関するＭＰＥＧに代表されるように、ここ数年、静止画
像のみならず動画像を処理の対象にする各種技術が提案
されている。動画像を扱うことにより、上記ハイパーメ
ディア装置にも、ＣＡＩ、各種プレゼンテーション、電
子カタログなど、コンテンツ作成の用途が開ける。動画
像の編集は、従来放送局等ある程度限られた産業分野で
利用されてきたが、今後はパーソナルコンピュータをベ
ースとする個人用システムとして急速に普及していくも
のと考えられる。

【０００３】特開平４−１６３５８９号公報には、動画
について論理単位（その明細書ではノードと呼ぶ）を設
定することの可能な画像処理装置が開示されている。こ
の装置は、静止画像におけるノードの設定が単に表示範
囲の指定のみで可能である点に対して、動画像では
（１）表示範囲、（２）時間、の両面からそれぞれノー
ドの有効継続期間とその領域範囲を指定すればよい点に
着目し、これらの指定を可能とするものである。すなわ
ち、（１）については、動画像に登場する被写体などを
囲む領域をマウス等で指示することにより、その時間に
おけるノードの設定を行い、一方、（２）については、
動画像の出力開始時刻からの経過時間によってそのノー
ドの有効継続時間を指定する。従って、このノードは前
記領域と前記経過時間の２つの内容によって一意的に定
まり、各ノードに対して関連情報をリンクすることがで
きる。リンクの後、実際に動画像を再生する際、ユーザ
がマウス等で画面上のある領域をクリックすれば、その
位置と時刻によってノードが特定され、関連情報が表示
される。

【０００４】

【発明が解決しようとする課題】上記の装置では、論理
単位の領域設定を手作業で行うことにしていた。しか
し、当然ながら動画像には、静止画像と違って多数のフ
レームが存在し、被写体の位置や形状が刻々変化する。
ＮＴＳＣ方式の場合、１秒間に３０枚のフレームが必要
であるから、単純に計算しても、１秒の動画像を処理す
るとき１論理単位当たり３０回の設定作業が必要とな
る。例えば５分間のコンテンツを作成するとき、１フレ
ームに５個の論理単位を設定するとすれば、設定回数は
４５０００回に及ぶ。

【０００５】本発明はこの課題に鑑みてなされたもの
で、その目的は、論理単位（本明細書ではアンカーと呼
ぶ）の設定作業の省力化、簡易化を可能とする装置、よ
り具体的には、フレームごとに行う必要のあったアンカ
ー情報を自動算出または自動設定するアンカー設定装置
の提供にある。本発明の別の目的は、そのアンカー設定
装置を用いた動画ハイパーメディア装置および動画提供
システムの提供にある。

【課題を解決するための手段】本発明の動画アンカー設
定装置は、動画を入力し、これにアンカーを設定する装
置である。この装置は、入力された動画を構成する複数
のフレームからアンカーを設定すべき設定対象期間の開
始フレームおよび終了フレームを決定するフレーム決定
手段と、設定対象期間内にとられた基準フレームに対し
て領域が指定されたとき、これをアンカー領域とするア
ンカー情報をその基準フレームに対して設定するアンカ
ー設定手段と、基準フレームに対して設定されたアンカ
ー情報をもとに非基準フレームにおけるアンカー情報を
推定するアンカー推定手段とを含むものである。

【０００６】本発明のある態様では、前記フレーム決定
手段は、設定対象期間に複数の基準フレームがとられた
とき、それらのうち時間的に最も早いものを開始フレー
ム、最も遅いものを終了フレームと決める。

【０００７】本発明の別の態様では、フレーム決定手段
は、基準フレームの前後において、その基準フレームに
含まれるターゲットが出現したフレームと消失したフレ
ームを検出し、これらをそれぞれ開始フレームと終了フ
レームと決める。

【０００８】本発明のある態様では、前記アンカー推定
手段は、基準フレームが複数存在するとき、それらに対
して設定されたアンカー情報を補間することにより、非
基準フレームにおけるアンカー情報を推定する。

【０００９】このとき、本発明のある態様では、前記ア
ンカー推定手段は以下の手順で補間を行う。まず、隣接
するふたつの基準フレームに対して設定されたアンカー
間の対応情報の変化量を算出し、つぎに一方の基準フレ
ームからある非基準フレームまでの経過時間とその非基
準フレームから他方の基準フレームまでの経過時間の比
を算出する。この後、この比で前記変化量を分割する。

【００１０】本発明のある態様では、前記アンカー推定
手段は基準フレームによって区分される設定対象期間の
各区間において、その区間の両端に位置する基準フレー
ム間でアンカー情報の補間計算を行い、その区間に含ま
れる非基準フレームにおけるアンカー情報を推定する。

【００１１】本発明のある態様は、非基準フレームに対
して推定されたアンカー情報に修正を加えるアンカー情
報編集手段を含む。このとき前記アンカー推定手段は、
アンカー情報が修正された非基準フレームを基準フレー
ムに昇格させる。

【００１２】本発明のある態様では、前記アンカー情報
編集手段は、アンカー情報の推定にもとづいてアンカー
の軌跡を三次元的に表示する。

【００１３】本発明のある態様では、前記アンカー情報
編集手段は、アンカー情報の推定にもとづいてアンカー
の軌跡を計算し、この軌跡に沿う動画の断面図をアンカ
ーの軌跡とともに表示する。

【００１４】本発明のある態様では、前記アンカー情報
編集手段は、開始フレームと終了フレームの間に含まれ
るフレームを選択し、そのフレームの画像にアンカー情
報を重ねてアンカー情報表示画像を作成する。しかる
後、そのアンカー情報表示画像を時系列で表示するもの
である。

【００１５】本発明のある態様では、前記アンカー情報
編集手段は、動画再生手段と、アンカー情報補正手段と
を含む。この動画再生手段は動画を画面上に再生し、ア
ンカー情報補正手段は、動画再生中にアンカー情報補正
操作が行われた場合、その操作が行われた時刻に再生し
ていたフレームを特定し、そのフレームが非基準フレー
ムであれば基準フレームに昇格させるとともに、そのフ
レームにおけるアンカー情報を前記操作に基づいて補正
する。

【００１６】本発明のある態様では、前記アンカー推定
手段は、アンカー自動設定手段を含む。このアンカー自
動設定手段は、隣接する基準フレーム間から任意の枚数
のフレームを選定してこれらを新たな基準フレームとし
たうえでアンカーを追跡し、これら新たな基準フレーム
に対してアンカー情報を設定する。

【００１７】本発明のある態様では、前記アンカー自動
設定手段は、ターゲットの輪郭の動きを手がかりにアン
カーを追跡する。

【００１８】本発明のある態様では、前記アンカー自動
設定手段は、ターゲットの動きベクトルを手がかりにア
ンカーを追跡する。

【００１９】本発明のある態様では、基準フレームによ
って区分される設定対象期間の各区間を単位判定期間と
定義するとき、前記アンカー自動設定手段は、前記アン
カーが設定対象期間で辿り得る各経路ついて、その経路
とアンカーの動きベクトルの一致度を単位判定期間ごと
に判定する。この判定結果を設定対象期間全般に渡って
総合する。最後に、その総合結果において最も一致度が
高かった経路をもって前記アンカーの移動経路とみな
す。

【００２０】本発明のある態様では、前記経路と前記動
きベクトルのなす角度の関数であって、前記角度が０゜
から１８０゜の範囲で極値を持たない関数によって前記
一致度を判定し、その関数の各単位判定期間ごとの値の
総和を計算して前記総合結果を得る。この関数は角度が
０゜から１８０゜に変化するとき、関数値が徐々に増加
または減少する。そこで、この値の単純和によって一致
度を評価する。

【００２１】本発明のある態様では、前記アンカー自動
設定手段は、自動設定信頼度判定手段と自動設定信頼度
表示手段を含む。自動設定信頼度判定手段は、前記アン
カー設定手段によって設定されたアンカー情報と前記ア
ンカー自動設定手段によって設定されたアンカー情報と
を比較することにより自動設定の信頼度を判定する。自
動設定信頼度表示手段はその信頼度を表示する。

【００２２】本発明のある態様では、前記アンカー自動
設定手段は、アンカー情報がすでに設定されている基準
フレームのアンカー領域の画像をモデルとして新たな基
準フレームとの画像マッチングをとることにより、アン
カーの位置を追跡する。

【００２３】本発明のある態様では、画像マッチングを
とる際、類似する画像が前記新たな基準フレームの中に
見つからなかった場合、アンカー自動設定手段は隣接す
る基準フレーム間をさらに分割して新たな基準フレーム
を設け、基準フレームの間隔を狭めたうえで画像マッチ
ングをとり直す。

【００２４】本発明のある態様では、前記アンカー自動
設定手段は、前記アンカー情報がすでに設定されている
基準フレームとして、前記新たな基準フレームに近接す
る基準フレームおよびある程度時間距離の離れた基準フ
レームの少なくとも２枚を選定する。その後、選定され
た基準フレームを用いたマッチング結果をもとにアンカ
ーの位置を追跡するものである。

【００２５】本発明のある態様では、前記アンカー自動
設定手段は、前記アンカー設定手段によって設定された
アンカー情報と前記アンカー自動設定手段によって設定
されたアンカー情報とを比較して自動設定の信頼度を判
定する自動設定信頼度判定手段を含む。第１の基準フレ
ームを出発点とする追跡によってアンカー情報が設定さ
れた後に前記自動設定信頼度判定手段によって判定され
た信頼度が低い場合、第２の基準フレームを出発点とす
る追跡によってアンカー情報が再設定されるものであ
る。

【００２６】このとき、第２の基準フレームを出発点と
する追跡がなされる間、ある基準フレームに設定された
アンカー領域と、第１の基準フレームを出発点とする追
跡によってその基準フレームに設定されたアンカー領域
との重複の度合いが所定の割合以上であれば、第２の基
準フレームを出発点とする追跡を終了する。

【００２７】または、第２の基準フレームを出発点とし
た追跡において、予め指定した基準フレームに到達した
とき追跡を打ち切る。

【００２８】本発明のある態様では、前記アンカー自動
設定手段は、動画再生手段と、アンカー情報表示手段
と、アンカー情報補正手段とを含む。動画再生手段は、
動画を画面上に再生する。アンカー情報表示手段は、表
示されるフレームについて逐次とられていく画像マッチ
ングの結果得られるアンカー情報を表示する。アンカー
情報補正手段は、動画再生中にアンカー情報補正操作が
行われた場合、その操作が行われたフレームのアンカー
情報を補正するとともに、そのフレームよりも前の所定
フレームにおけるアンカー自動設定結果を無効化する。

【００２９】本発明のある態様では、前記アンカー設定
手段はテキストアンカー設定手段を含む。このテキスト
アンカー設定手段は、基準フレームに対してテキストが
指定されたとき、その基準フレームに対してそのテキス
トを内容とするアンカーを設定する。

【００３０】本発明のある態様では、カーソルが任意の
アンカー領域に入ったとき、そのカーソルの表示状態を
変更するカーソル変更手段をさらに含む。

【００３１】このとき本発明のある態様では、前記カー
ソル変更手段はカーソルが入ったアンカー領域の識別情
報の表示を伴うよう、前記カーソルの表示状態が変更さ
れる。

【００３２】本発明のある態様では、前記アンカー設定
手段は、複数のアンカーからなるグループを単位として
アンカー情報を設定する。

【００３３】本発明のある態様はさらに、アンカー情報
のうちアンカーの動きの特徴をもとにアンカーの検索を
行うアンカー検索手段を含む。

【００３４】本発明のある態様はさらに、アンカーの識
別をもとにアンカーの検索を行うアンカー検索手段を含
む。

【００３５】一方、本発明の動画ハイパーメディア装置
は、まず入力された動画を構成する複数のフレームから
アンカーを設定すべき設定対象期間の開始フレームおよ
び終了フレームを決定するフレーム決定手段と、設定対
象期間内にとられた基準フレームに対して領域が指定さ
れたとき、これをアンカー領域とするアンカー情報をそ
の基準フレームに対して設定するアンカー設定手段と、
設定されたアンカー情報をもとに非基準フレームにおけ
るアンカー情報を推定するアンカー推定手段とを含む。
以上が動画アンカー設定装置に相当する。本装置はさら
に、設定または推定されたアンカー情報と任意の関連デ
ータとをリンクするリンク設定手段と、任意のアンカー
から、そのアンカーにリンクされた関連データを検索す
るリンク検索手段とを備える。

【００３６】本発明のある態様では、前記動画ハイパー
メディア装置の処理する動画はビデオ教材を構成し、前
記関連データは所望の設定対象期間においてビデオ教材
の所望のアンカーに関連づけられた付加情報であり、該
装置を対話型ビデオ教材の制作に用いる。

【００３７】他方、本発明の動画提供システムはサーバ
とクライアントからなる。サーバは、動画と、その動画
の基準フレームに対して設定されたアンカー情報と、そ
のアンカー情報にリンクされた関連データとを記憶する
手段と、基準フレームに設定されたアンカー情報をもと
に非基準フレームにおけるアンカー情報を推定する手段
と、任意のアンカーから、そのアンカーにリンクされた
関連データを検索する手段とを備える。またクライアン
トは、ユーザが動画中の対象をクリックしたとき、いず
れのアンカー領域がクリックされたかを判定する手段を
備える。

【００３８】

【発明の実施の形態】以下、本発明の動画ハイパーメデ
ィア装置の好適な実施の形態を説明する。この装置に
は、本発明の動画アンカー設定装置が組み込まれてい
る。本装置によれば、例えば水族館の水槽を写した動画
を素材とし、泳いでいる任意の魚をクリックしたとき
に、その魚の名前、補足説明等を表示することのできる
対話型のＣＡＩソフトを容易かつ効率的に作成すること
ができる。以下の実施の形態で「ユーザ」とは、主にこ
うしたコンテンツの作成者をいうが、これは当然なが
ら、自ら撮影したビデオテープを個人的に編集する者な
どであってもよい。

【００３９】実施の形態１．この実施の形態では、ユー
ザが開始フレームと終了フレームを明示的に指定し、こ
れら２枚のフレームを最初の基準フレームとしてアンカ
ーを設定する。「フレーム」とは画像の表示単位であ
り、ＭＰＥＧでいうピクチャなどを含む。本装置は、基
準フレームに対して設定されたアンカーから、補間計算
によって他のフレームにおけるアンカー領域の位置、形
状、色などのアンカー情報を自動的に算出する。「アン
カー情報」とは、例えばアンカー領域の位置や形状、ア
ンカー領域を明示的に表示するときはその色などをい
う。なお、最初の基準フレームは１枚でも本発明は成立
するが、その例は後述する。

【００４０】本実施の形態の動画ハイパーメディア装置
を含むシステム全体の構成は、アンカーおよびリンク設
定処理を制御するパーソナルコンピュータ（以下、Ｐ
Ｃ）と、このＰＣに動画を提供するビデオ再生装置であ
る。ＰＣには、ビデオ再生装置から提供された画像を捕
捉してデジタル化するビデオキャプチャボードが内蔵さ
れる。ビデオ再生装置は、通常の再生開始、停止、早送
り、コマ送り等の他に、指定したフレームまたは時刻か
ら再生を行うなどの機能がある。こうしたビデオ再生装
置は放送業務等で広く使用されるものであるが、当然そ
れに限る必要はない。ビデオ再生装置の各種機能の制御
は、ＰＣ上に展開されるユーザインタフェイス（以下、
ＵＩ）、例えば画面に表示される「再生ボタン」などを
介して行われる。この場合、ユーザがそのボタンをクリ
ックすれば、そのアクションが信号ケーブルを経由して
ＰＣからビデオ再生装置に伝送される。ビデオ再生装置
自体は、動画ハイパーメディア装置の必須構成ではない
が、ここではこれも含めたシステムとして説明する。図
１は本実施の形態に係る動画ハイパーメディア装置を含
むシステムの構成図である。

【００４１】本装置は大別して、アンカー情報およびリ
ンク情報に関するデータを操作するデータ操作部１、こ
れらのデータを記憶するデータ記憶部２、これらのデー
タを意味のある形で表示する表示部３、ユーザ操作の受
付と管理を行うユーザ操作部４、ビデオ再生装置５で再
生された動画を入力する動画入力部６からなる。

【００４２】（１）データ操作部１ユーザからデータ操作部１への指示は、後述するＵＩに
よって行われる。すなわち、以下の内部構成はソフトウ
エアモジュールである。

【００４３】フレーム決定部１０は開始フレームと終了
フレームを決定する。本実施の形態では、ユーザが指定
したフレームがそのまま開始フレームおよび終了フレー
ムとなる。開始フレームと終了フレームの例は、前述の
水族館の映像のうち、水槽を写しているシーンの先頭と
末尾のフレームである。仮にシーンが水族館の入り口の
映像に移れば、それ以降、魚にアンカーを設定する必要
がないため、シーンの移行前に終了フレームを指定して
おく。

【００４４】アンカー設定部１１は、開始フレームと終
了フレームの間で実際にアンカーを設定する。例えば、
ある魚にアンカーを設定する場合、まず開始フレームに
おいてその魚を囲む矩形をマウスによって表示させ、こ
れをアンカー領域として登録する。このとき、動画は停
止モードにある。つづいて終了フレームまで動画を進
め、同じ魚を再度囲んでアンカー領域を登録する。開始
フレームと終了フレームの間に魚は移動したり、方向を
変えたりするため、通常はその位置も形状も変化する。
開始フレームで登録されたアンカー領域の形状および位
置と終了フレームで登録されたものの形状および位置は
一般に一致しない。なお、アンカー設定部１１は、後述
のアンカー修正の際に使用するアンカー情報編集部１１
０と、文字列等テキストに対してアンカーを設定するテ
キストアンカー設定部１１１を含む。

【００４５】アンカー推定部１２は、開始フレームと終
了フレームに設定されたアンカー情報をもとに補間計算
を行い、任意のフレーム（非基準フレーム）におけるア
ンカーの位置及び大きさの推定を行う。この処理は後に
詳述する。

【００４６】アンカー検索部１５は、アンカー情報のう
ちアンカーの動きの特徴、またはアンカーの識別情報を
もとにアンカーの検索を行う。識別情報とは、そのアン
カーを他のアンカーと識別する手がかりとなる情報をい
い、例えばアンカーの名称、アンカーの設定対象、アン
カー設定日時などがある。

【００４７】ハイパーリンク設定部１３は、設定された
アンカーにハイパーリンクの設定を行い、設定に関する
データ構造をテーブルの形態で作成する。ハイパーリン
ク検索部１４は、設定されたリンク情報の検索を行う。
上記の例の場合、魚のアンカーとその魚の名前を示すテ
キストデータ等がハイパーリンクによって関連づけられ
る。

【００４８】（２）データ記憶部２データ記憶部２は、データベースでもよいし、各種ファ
イル装置、メモリ装置でもよい。この部分は主にハード
ウエアである。

【００４９】動画データ記憶部２０は、動画入力部でキ
ャプチャされ、デジタル化された動画データを記憶す
る。アンカー情報記憶部２１、リンク情報記憶部２２は
それぞれ、設定されたアンカー情報、リンク情報を記憶
する。

【００５０】（３）表示部３表示制御部３０は、ＵＩや編集中の動画など各種画像の
表示を統括的に制御する表示系のシステムプログラム、
ＶＧＡコントローラなどの表示回路、およびこのドライ
バを含む。この表示制御部３０はカーソル変更部３００
を持つ。カーソル変更部３００は、カーソルがアンカー
領域に入ったとき、カーソルの表示状態を変更する。表
示制御部３０の出力データはＰＣのモニタ等の表示装置
３１に与えられ、所期の表示が行われる。

【００５１】（４）ユーザ操作部４ユーザによるコマンド入力を可能とするもので、キーボ
ード、マウス、各種ポインティングデバイス等のハード
ウエア、およびコマンドデスパッチャからなる。コマン
ドの例に、アンカーの設定、アンカー領域の修正、リン
ク、リンク検索などがある。

【００５２】（５）動画入力部６ビデオキャプチャボードに相当するハードウエアで、Ａ
Ｄコンバータとフレームメモリ（図示せず）を持ち、入
力された動画をディジタル化する。この後、データを前
記動画データ記憶部２０に提供する。

【００５３】以上の構成をもとに、まずアンカー、リン
クの設定の手順を説明し、後にアンカー設定のＵＩの様
子を説明する。

【００５４】［１］アンカーの設定図２は本実施の形態によるアンカーの設定および修正手
順を示すフローチャート、図３は設定されたアンカー情
報のテーブルを示す図である。図２のごとく、まずハー
ドウエア等に対する各種初期化処理を行い（Ｓ２１）、
動画データ記憶部２０に記憶されている動画データの読
み込み（Ｓ２２）を行う。読み込まれた動画データの先
頭フレームは表示装置３１に、まず静止画像として表示
される。つぎに、その動画データに対してすでに設定さ
れているアンカー情報をアンカー情報記憶部２１から読
み込む（Ｓ２３）。アンカー情報が存在すれば、そのア
ンカー領域を実際に画面上に表示する（以降、アンカー
領域が画面に表示されるモードを「アンカー表示モー
ド」、表示されないモードを「アンカー非表示モード」
という）。

【００５５】つづいて、今回新たにアンカーを設定した
い期間の開始フレームまで動画データを進め（Ｓ２
４）、所望のフレームが現れたら、画面上の「開始フレ
ーム」ボタンを押して開始フレームを登録する。この状
態で、このフレームにおけるアンカー領域の設定待ち状
態になり、ユーザは例えば別の魚を取り囲むようにマウ
スのクリックによって矩形領域を設ける。矩形領域が決
まれば、その左上点（ｘ１，ｙ１）と右下点（ｘ２，ｙ
２）の座標が取得され、これが開始フレームのフレーム
番号（動画の先頭フレームからの通し番号）とともにそ
の魚のアンカー情報として記録される（Ｓ２５）。

【００５６】この後、再び動画データを進め、所望の終
了フレームが現れたところで止めて（Ｓ２６）、同じ魚
を取り囲むよう矩形領域を設ける。ここで終了フレーム
におけるアンカーの設定が完了する（Ｓ２７）。図３の
「ａｎｃｈｏｒ１」はこの魚を示すアンカーＩＤであ
る。ここでは開始フレームと終了フレームのフレーム番
号（それぞれフレーム１と１００）と、アンカー領域の
座標情報がテーブルに格納されている。

【００５７】こうして両端基準フレームにおけるアンカ
ー情報が確定すれば、この間のフレーム（非基準フレー
ム）のアンカー情報を補間計算によって求める（Ｓ２
８）。図４はアンカー情報の補間計算方法を示す図であ
る。ここで、・開始フレーム（時刻ｔ０）におけるアンカー情報をＡ
（ｔ０）・終了フレーム（時刻ｔ１）におけるアンカー情報をＡ
（ｔ１）・時刻ｔにおけるアンカー情報をＡ（ｔ）・ｔ１−ｔ０＝Δｔとおけば、 A(t) = {A(t1) −A(t0)}t/Δt + {A(t0)t1−A(t1)t0}/ Δt （式１）とかける。このＡとして、順次前記ｘ１、ｙ１、ｘ２、
ｙ２を代入すれば任意の時刻におけるアンカー領域の外
形が判明する。アンカー領域の重心座標を代入すればア
ンカー領域のおおまかな動きが判明する。Ａに色番号を
代入すれば、アンカー領域の色の変化を追跡できる。こ
れ以外にも、数値表現が可能な情報は同様に式１を用い
た内分計算により、補間することができる。補間によっ
て求められた非基準フレームのアンカー情報は、図３の
テーブルの「ａｎｃｈｏｒ１」に追加していってもよ
いし、図３のテーブルはそのままとし、フレームの表示
が指示されるたびにそのフレームについて式１の計算を
逐次行ってもよい。本実施の形態では、以降、逐次計算
を仮定する。

【００５８】Ｓ２８が完了すると、実際にアンカー情報
を表示して内容を確認する（Ｓ２９）。このとき、開始
フレームに戻って動画データが再生され、各フレームで
アンカー領域が矩形で表示される。この矩形領域は計算
結果に従って連続的に移動していく。

【００５９】「ａｎｃｈｏｒ１」の場合、魚が等速直線
運動をすれば結果は極めて良好となるが、途中で泳ぐ方
向を変更した場合には、中途のフレームで魚からアンカ
ー領域がずれる。そこでアンカー情報を修正する（Ｓ３
０）。ユーザはまず、ずれの大きなフレームまで動画デ
ータを進め、ここで画像を止める。次に、画面に表示さ
れているアンカー領域の端部をクリックし、マウスによ
って領域の形状または位置を変更する。アンカー推定部
１２は、こうして修正されたフレームを基準フレームに
格上げし（以下、昇格して基準フレームになったものを
「中間基準フレーム」ともよぶ）、このアンカー情報を
図３のテーブルに追加する。図５は図３に中間基準フレ
ームのアンカー情報を追加して得られるテーブルを示し
ている。一方、図６は中間基準フレームと両端基準フレ
ームの３つのフレームをもとに補間計算を行う方法を示
す図である。推定の対象である非基準フレームが開始フ
レームと中間基準フレームの間に存在すればそれらのフ
レーム間で補間計算を行い、非基準フレームが中間基準
フレームと終了フレームの間に存在すればそれらのフレ
ーム間で補間計算を行う（Ｓ２８）。以降、Ｓ２９によ
る表示、Ｓ３０による再修正を経て、良好なアンカー情
報が得られたときに（Ｓ３１のＹ）これを保存し（Ｓ３
２）、アンカー設定処理を終える。Ｓ３０で別のフレー
ムのアンカーが修正されれば、当然このフレームも中間
基準フレームとなる。なお、Ｓ２５において同一フレー
ムに２個以上のアンカーを設定するときは、設定順に装
置内部でアンカーＩＤを自動的に変更しながら付与する
とともに、これらのアンカー領域の矩形表示を異なる色
で行う等の対処をなせばよい。

【００６０】以上の手順によれば、以下の効果が得られ
る。１．両端基準フレームにおけるアンカーの設定を行うだ
けで、その間に存在する多数のフレームに対する設定作
業が不要となる。２．補間計算でアンカーの位置にずれが生じた場合、こ
のずれを確認することができる。従って、修正すべきフ
レームの認識が容易であり、一旦修正されたフレームは
自動的に中間基準フレームに昇格されるため、ユーザは
基準フレームにすべきかどうかなどに注意を払う必要が
ない。３．例えば、アンカーが設定された魚が弧を描いて泳ぐ
ような場合でも、両端基準フレームに加えて、高々数フ
レームで修正を行えば、十分に良好なアンカー情報を得
ることができる。以上が本実施の形態の動画ハイパーメディア装置のう
ち、特に動画アンカー設定装置の概要である。

【００６１】［２］リンクの設定つづいて、設定されたアンカーに対するリンクの設定を
行う。図７は本実施の形態によるリンクの設定および検
索手順を示すフローチャート、図８は設定されたリンク
情報のテーブルを示す図である。

【００６２】図７は、アンカーの設定とリンクの設定を
全く独立して行う場合の処理手順を示しており、図２同
様、まず各種初期化処理（Ｓ４０）、動画データの読み
込み（Ｓ４１）を行う。つづいて、［１］で設定された
アンカー情報をアンカー情報記憶部２１から読み込む
（Ｓ４２）とともに、すでに設定されているリンク情報
をリンク情報記憶部２２から読み込む。

【００６３】つぎに、両端基準フレームおよび中間基準
フレームのアンカー情報をもとに他のフレームのアンカ
ー情報を補間計算で求めながら（Ｓ４４）、動画の再生
に合わせて連続的にアンカー情報の表示を行う（Ｓ４
５）。この状態でユーザ操作部４においてユーザからの
入力待ち状態となる（Ｓ４６）。

【００６４】ここでユーザが、動画上またはその動画を
一旦停止した上で、あるアンカー領域をクリックし、
「リンク作成・変更」ボタンを押せば、そのアンカーに
対してリンク情報の作成が行われる（Ｓ４７）。例え
ば、水槽内のある魚がクリックされると、その魚にリン
クさせるべきテキスト、イメージ等の候補が画面に現
れ、ユーザが選択したテキスト等がその魚のアンカー
（より正確には、そのアンカーに含まれる魚というオブ
ジェクト）にリンクされる。候補がない場合は、ユーザ
が自ら文字列を入力し、これをリンクすることも可能で
ある。図８は、「ａｎｃｈｏｒ１」にテキスト形式の情
報「ａｎｃｈｏｒ１．ｔｘｔ」、同様に「ａｎｃｈｏｒ
２」のアンカーにビットマップイメージ「ａｎｃｈｏｒ
２．ｂｍｐ」がリンクされた状態が示されている。こう
してリンク情報が確定すれば、リンクの内容をリンク情
報記憶部２２に保存し、再度ユーザの入力待ちとなる。

【００６５】一方、Ｓ４６においてユーザが「リンク検
索」ボタンを押してアンカーを指定すれば、そのアンカ
ーに対応するリンク情報が検索され、表示される（Ｓ４
９）。図８の場合、例えばａｎｃｈｏｒ１の魚に対し
て、魚の名前や体長、特徴などが文字列で表示され、ａ
ｎｃｈｏｒ２の魚については、その魚が実際に棲息して
いる海の写真などが表示される。この表示によってリン
ク動作が確認できるため、ユーザはこの時点でコンテン
ツ作成を完了することができる。コンテンツは、例えば
ＣＤ−ＲＯＭのような記録媒体に保存することにより、
商品化することもできる。商品として出荷する場合、一
般的には、アンカー領域を表示しないアンカー非表示モ
ードに変更しておく。

【００６６】なお、ここではアンカーとリンクの設定を
独立の処理として説明したが、例えばリンク設定中の画
面に「アンカー設定に戻る」というボタンを設ければ、
両者の行き来が自由になり、さらに編集が容易になる。

【００６７】［３］アンカー設定のためのＵＩ図９はアンカー設定のためのＵＩ画面例を示す図であ
る。同図中、画像表示領域５０には、処理の対象となる
動画が表示される。上欄の黒塗りのボタン群５２はビデ
オの再生、停止等を直接指示するオブジェクトボタンで
ある。その隣には、画像表示領域に表示されたフレーム
に対してアンカー領域を設定するための矩形ボタン５
４、同様に、表示されているフレームを開始フレームま
たは終了フレームとして指定するための開始フレーム指
定ボタン５６、終了フレーム指定ボタン５８が設けられ
ている。同図では、１匹の魚に対してアンカー領域６０
が設定されている。

【００６８】画面中央右側には、設定または修正しよう
とするアンカーの名称、ＩＤ、開始フレーム番号、終了
フレーム番号を示すアンカー関連ボックス群６２があ
る。画像表示領域５０の下には、現在表示中のフレーム
が含まれるシーンの番号と、そのフレームのそのシーン
における通し番号を示すシーン関連ボックス群６４があ
る。さらにその下には、編集のために動画を微少量だけ
進め、または戻すためのボックス６６がある。この右端
のボタンを押せば動画は進み、左端を押せば戻る。現在
表示しているフレームのそのシーンにおける位置は同ボ
ックス６６のなかで、縦線７０で示されている。このボ
ックスの下には、そのシーン中の開始フレームと終了フ
レームの位置を示すボックス６８がある。開始フレーム
と終了フレームの位置はそれぞれ二重縦線７２、７４に
よって示され、その間の中間基準フレームの位置が三角
形の記号７６で示されている。

【００６９】同図において、まずユーザはシーン番号を
手がかりとして、アンカー設定を望むシーンの先頭まで
ビデオテープを進める。この場合、例えば複数のシーン
からなる水族館の映像のうち、シーン番号「５」の水槽
の映像に進んでいる。ここでユーザは、ボックス６６の
右端のボタンを押し、１フレームづつ動画を進めてい
く。アンカーを設定しようとする最初のフレームが現れ
れば、ユーザは開始フレーム指定ボタン５６を押し、こ
れを登録する。このとき、ボックス６６の対応する個所
に、開始フレームの位置を示す二重縦線７２が現れる。
ここで矩形ボタン５４を押し、画像表示領域５０中、設
定すべきアンカー領域の左上点と右下点をマウスでクリ
ックする。これで開始フレームのアンカー設定が終わ
る。つづいて動画を進め、同様に終了フレームの登録と
アンカー設定を行う。

【００７０】両端基準フレームにおける設定が完了した
ことを検出すると、本装置のアンカー推定部１２は自動
的にアンカー情報を式１に代入し、計算を開始する。こ
こでユーザが、例えば開始フレームまで戻って動画を１
フレームづつ進めていくと、アンカー推定部１２は、現
在表示中のフレームに対応する時刻を求め、この時刻に
対応する推定結果をもとにアンカー領域を表示する。表
示されたアンカー領域がずれていれば、ユーザは再度矩
形ボタン５４を押し、領域の修正を行う。修正後、その
フレームに対応する個所に三角形の記号７６が現れる。
このＵＩによれば、実際に動画データ上にアンカー情報
を表示させるため、編集結果がリアルタイムで確認で
き、また容易にその修正を行うことができる。

【００７１】以上が本実施の形態の概要である。なお、
本実施の形態については、以下の改良、変形等が考えら
れる。

【００７２】（１）テキストアンカーの設定図１のテキストアンカー設定部１１１によって行う。ま
ず、画面上でテキストデータを編集してこれを動画上に
重ね、アンカーを設定する。通常のアンカー設定との違
いは、再生された画像の一部領域を指定するのではな
く、作成したテキストを一旦画像に乗せ、しかる後にこ
のテキストを囲むようにアンカー領域を設定する点にあ
る。従来、例えばビデオ映像にアノテーションを直接入
れる方法が一般的だったが、その場合は後でアノテーシ
ョンを削除するなど、再編集の際に不都合である。本実
施の形態はこれを解消する。

【００７３】テキストアンカーが設定されたとき、その
アンカー情報もアンカー情報テーブルに記憶される。た
だし、図３に示すテーブルにおいて、「フレーム」の個
所が「テキスト」となり、その欄にテキスト名が入る。

【００７４】テキストアンカーについても関連情報のリ
ンクが可能である。例えば図９の水槽のシーンに対して
「南海の魚たち」というテキストを貼り付け、このテキ
ストに対して「南の海には鮮やかな色の魚がたくさんい
ます…」というようなテキストをリンクさせることがで
きる。

【００７５】（２）カーソルの表示状態の変更図１のカーソル変更部３００によって行う。この機能は
特に、アンカー非表示モード、例えばコンテンツが市場
で使用されるときに有用である。この機能のため、カー
ソル変更部３００は、カーソルの位置を常時取得する位
置取得プログラムと、取得された位置がいずれかのアン
カー領域に含まれるかどうかを判定する判定プログラム
と、カーソルがあるアンカー領域に入ったとき、カーソ
ルの表示状態をどのように変更するか決定し、その決定
に従って実際にカーソルの形状等を変更する変更プログ
ラムを持つ。

【００７６】カーソルの変更については、アンカーごと
に変更内容を変えない場合と変える場合がある。前者の
場合、例えば通常は＋記号であるカーソルを◎に変更し
たり、カーソルの輝度を高める方法がある。この態様に
よれば、特に、ターゲットの動きや形の変化が速く、ア
ンカー領域の変化が激しいときに利益がある。

【００７７】一方、後者の場合は、前記変更プログラム
から、カーソルが入ったアンカー領域のアンカーＩＤを
検索し、これをそのままカーソルの代わりにカーソルの
位置に表示することが考えられる。例えば、カーソルが
ある魚のアンカー領域に入ったとき、このカーソルを
「鮫」などのように、そのアンカーのターゲットの内容
を示せばよい。この態様によれば、ユーザはわざわざ魚
をクリックするまでもなく、その魚の名前を知ることが
できる。

【００７８】（３）中間基準フレームの明示的な指定本実施の形態では、最初に両端基準フレームのみを決め
ることにしたが、ターゲットの動きが不規則な場合な
ど、修正の必要が予想できる場合もある。その場合は、
当初から開始フレーム、終了フレーム以外のフレームで
もアンカー領域の指定を受け付けるものとする。例えば
図９のＵＩにおいて、開始フレーム指定ボタン５６、終
了フレーム指定ボタン５８に加え、中間フレーム指定ボ
タンを設けて対応する。このフレームは当初より基準フ
レームとして利用されるため、補間計算が図６の状態か
ら開始されると考えればよい。

【００７９】（４）矩形以外のアンカー領域アンカー領域を矩形に限る必要はない。例えば円または
楕円の場合、長径、短径および中心の３点の座標によっ
て領域を指定すればよい。多角形なら各頂点の座標でよ
い。ターゲットの外周自体をアンカー領域とした場合
は、外周上の一点の座標と、その点から表現したチェー
ンコードにより、領域を特定することもできる。

【００８０】（５）非線形補間の採用本実施の形態では、最も単純に線形補間を利用したが、
これは当然、非線形補間でもよい。補間に用いる式は、
処理すべき動画の特徴に合わせて実験等によって決める
ことができる。

【００８１】（６）開始、終了フレームの決定本実施の形態ではこれらのフレームをユーザが明示的に
指定したが、以下の方法もある。１．ユーザは開始、終了フレームを意識することなく、
単にフレームを指定してアンカーを設定する。指定され
たフレームが基準フレームとなる。フレーム決定部１０
は、ユーザがアンカーを設定したフレームのうちフレー
ム番号が最小のものを開始フレーム、最大のものを終了
フレームと決める。この場合、図９の開始フレーム指定
ボタン５６、終了フレーム指定ボタン５８が不要とな
る。

【００８２】２．ユーザは１枚のフレームを指定し、こ
れにアンカーを設定するとともに、アンカー設定の対象
となったターゲットを指定する。このフレームが基準フ
レームとなる。フレーム決定部１０は、その基準フレー
ムの前後のフレームを調べることにより、そのターゲッ
トが出現するフレームと消失するフレームを検出し、こ
れらをそれぞれ開始フレーム、終了フレームとする。

【００８３】ターゲットの存否は、画像のマッチングを
とることで判断する。つまり、基準フレームで指定され
たターゲットをモデルとして前後のフレームに対してマ
ッチング処理を行う。マッチングがとれる限り探索の対
象フレームを前後に広げていく。最終的にマッチングが
とれなくなれば開始、終了フレームが判明する。この方
法によれば、当初設けるべき基準フレームが１枚でよ
い。

【００８４】（７）アンカー領域の三次元表示アンカー設定部１１に、設定されたアンカー領域を画面
の縦横であるｘ、ｙ方向、および時間ｔ方向に展開して
三次元表示する機能を設ける。これはアンカーの編集中
に図４がそのまま画面に表示されると考えればよい。こ
の表示の結果、ユーザはアンカーの全体的な把握を視覚
的に行うことができる。

【００８５】なお、この技術の応用として、三次元表示
されたアンカー情報に対して直接編集可能としてもよ
い。例えば図４の中間基準フレームにおけるアンカー領
域を画面上で左に移動すれば、図６のような表示がなさ
れる。ユーザは編集の効果をリアルタイムに把握するこ
とができる。

【００８６】（８）動画の断面表示アンカー設定部１１に、開始フレームから終了フレーム
までのアンカー領域の軌跡の横方向の断面図（図１０
（ａ））および縦方向の断面図（図１０（ｂ））を作成
し、これをアンカーの軌跡とともに表示する機能を付加
する。まず基準フレームのアンカー情報からアンカー領
域の重心Ｇのｘ、ｙ座標を求める。図１０（ａ）の場
合、重心からｘ軸に平行な直線をフレーム上に引く。隣
接する基準フレーム間で、これらの直線を含む平面（図
中斜線部）を設ける。つぎにこの平面で動画を切断す
る。得られた断面図をｘ−ｔ平面（図中点画部）に投影
する。図１０（ｂ）の場合はｘとｙを入れ換えて同じ処
理をする。アンカーの軌跡が正しく計算されていると
き、すなわち非基準フレームにおけるアンカー情報の推
定精度が十分に高いとき、２つの投影図にはアンカーの
移動経路が現れるはずである。例えば、赤いボールをア
ンカー設定の対象とすれば、動画の断面に赤い筋状の移
動経路が現れる。鉛筆を縦に割れば芯が直線状に現れる
のと同じである。この移動経路が途中で切れたり太くな
っていれば、その箇所におけるアンカーの位置を修正す
ればよい。

【００８７】（９）アンカーのグループ化アンカー情報編集部１１０に、別々に設定されたアンカ
ー情報をグループ化し、仮想的にひとつのアンカーとし
て扱う機能を付加する。例えば、人物ＡがフレームＮ１
〜Ｎ２とフレームＮ３〜Ｎ４では画面内に存在し、フレ
ームＮ２〜Ｎ３では存在しないとき、フレームＮ１〜Ｎ
２およびフレームＮ３〜Ｎ４における人物Ａに関するア
ンカーをひとつのものとして扱う。この結果、アンカー
情報を設定したり修正する作業が軽減される。この他、
同じフレームに登場する人物Ａと人物Ｂをグループ化す
ることもできる。

【００８８】（１０）アンカー情報の一覧表示アンカー情報編集部１１０に、現在処理中の動画に対し
て設定されたアンカー情報の一覧表示機能を設ける。例
えば動画のタイトル「ＡＱＵＡＲＩＵＭ」とともに、
「ＦＩＳＨ１」「ＦＩＳＨ２」…などのアンカー名称を
画面に一覧表示する。内容を確認したいアンカー名称を
ユーザが選択したとき、そのアンカーの開始フレームま
で戻って動画を再生する構成としてもよい。

【００８９】（１１）アンカーの検索アンカー情報の検索ＵＩを設ける。検索したいアンカー
情報の名称などの文字情報をキーワードとして入力する
と、アンカー検索部１５がアンカー情報記憶部２１から
そのキーワードを持つものを検索して表示する。その
他、アンカー領域の動きを検索キーにしてもよい。例え
ば、右に動くオブジェクトを見つけたいとき、ユーザは
検索ＵＩにおいて例えば「→」のボタンを押す。アンカ
ー検索部１５は各アンカー領域の軌跡を計算し、右に移
動するオブジェクトを含むアンカーを検索して表示す
る。

【００９０】（１２）アンカー情報表示画像の一覧表示アンカー情報編集部１１０に、開始フレームと終了フレ
ームの間に含まれるフレーム（基準フレーム、非基準フ
レームのいずれでも可）と、アンカー設定部１１によっ
て設定されたアンカー情報、またはアンカー推定部１２
によって推定されたアンカー情報を重ね合わせてアンカ
ー情報表示画像を作成し、時系列で一覧表示する機能を
設ける。例えば図１１に示すように、まず開始フレーム
８１と終了フレーム８２を両端に配置し、フレーム間隔
Δｔでフレームを選択する。つづいて、これらの各フレ
ームにアンカー情報８０を重ねてアンカー情報表示画像
を作成し、これらを表示時刻の早いほうから並べて表示
する。この構成により、アンカー設定の適否を一目で見
渡すことができる。このため図９のボックス６６による
位置決定作業が省略でき、アンカーの修正が容易にな
る。なお、フレームは一定間隔で選択する必要はなく、
例えば基準フレームのみを選択してもよい。また、表示
されたアンカー情報表示画像において、アンカー領域を
マウスでドラッグするなどして直接編集可能としてもよ
い。

【００９１】（１３）アンカー情報の動画再生中の補正図１２のごとく、アンカー情報編集部１１０に、動画を
画面上に再生する動画再生部１１８と、表示中のフレー
ムに関するアンカー情報を表示するアンカー情報表示部
１２０と、動画再生中の一時刻または複数の時刻におい
てアンカー情報補正操作が行われた場合、各アンカー情
報補正操作が行われた時刻に再生していたフレームを特
定し、それらのフレームが非基準フレームであれば基準
フレームに昇格させるとともに、それらのフレームにお
けるアンカー情報を各アンカー情報補正操作に基づいて
補正するアンカー情報補正部１１９を設ける。この構成
にて、まず動画再生部１１８により、図９の画像表示領
域５０に動画を表示する。このとき同時に、アンカー情
報表示部１２０により、表示中のフレームにおけるアン
カー情報をアンカー領域６０として表示する。ユーザ
は、アンカー領域６０がターゲットとずれているフレー
ムを見つけたとき、動画中のターゲットの中心をマウス
でクリックする。このアクションにより、アンカー情報
補正部１１９はクリックの行われた時刻に表示していた
フレームを特定し、クリックされた点を中心とするアン
カー情報を生成することにより、アンカー情報を補正す
る。新たに設定されるアンカー領域のサイズは、例えば
もとのアンカー領域と同一でもよい。以降、このフレー
ムは基準フレームとして扱われる。この構成によって、
動画の再生中にターゲットの位置を逐次指定できるの
で、後に確認して修正する手間が省ける。

【００９２】実施の形態２．実施の形態１では、主に補
間によってアンカー情報の自動計算を行い、修正を手作
業で行った。本実施の形態では、動画の解析をもとに予
めある程度の枚数のフレームを基準フレームとしてアン
カーを自動設定し、これらの基準フレーム間に実施の形
態１の補間方法を用いる。この態様の場合、実施の形態
１の中間基準フレームに相当するフレームが最初から存
在するため、手作業による修正の労力が軽減される。

【００９３】図１３は本実施の形態に係る動画ハイパー
メディア装置のアンカー設定部１１の構成図である。ア
ンカー設定部１１以外の構成は図１同等である。図１３
において、アンカー自動設定部１１２は近接フレーム抽
出部１１７をもつ。近接フレーム抽出部１１７は隣接す
る基準フレーム間において一定間隔で非基準フレームを
抽出し、これらを基準フレームに昇格させる。アンカー
自動設定部１１２はまた、動きベクトル利用設定部１１
３、輪郭情報利用設定部１１４およびパターンマッチン
グ利用設定部１１６を有する。これら３つの設定部は、
本来いずれかひとつを実装すればよいが、本実施の形態
ではすべてを実装し、状況に応じてそのうちひとつを選
択する。

【００９４】基準フレーム削除部１１５は、後述のよう
に、アンカー自動設定部１１２によって設定された基準
フレームのうち冗長なものを非基準フレームに戻す。以
下、この構成による動作を説明する。

【００９５】［１］動きベクトルの利用によるアンカー
の自動設定この処理の特徴は、一旦開始フレームから終了フレーム
までアンカーの動きベクトルを求め、しかる後、アンカ
ーの仮想的な移動経路と動きベクトルの一致度を判定す
ることによってアンカーの追跡精度を高める二段階の構
成にある。

【００９６】１．動きベクトルの取得開始フレーム、終了フレームの時刻をそれぞれｔ０、ｔ
１とする。これらの他に、近接フレーム抽出部１１７に
より、まず非基準フレームのいくつかを基準フレームに
変更する。ここでは単純に５フレームおきに変更するも
のとし、以降簡単のため基準フレーム間の経過時間を１
と正規化する。開始フレームから終了フレームまでの期
間における特定アンカーの動きベクトルを求めるため
に、アンカーの重心付近の画像領域をブロックとして、
ブロックマッチングを行う。なお、任意の時刻ｔに対応
するフレームをフレーム（ｔ）と表記する。

【００９７】図１４は本実施の形態における動きベクト
ルの取得手順を示すフローチャートである。同図のごと
く、まず時刻カウンタｔをｔ０に設定する（Ｓ１０
０）。つぎに、開始フレームにおいて設定されたアンカ
ーのうち、動きベクトルを取得すべきアンカーを指定す
る。動きベクトル利用設定部１１３は指定されたアンカ
ーの重心を含む領域をブロックマッチングの際に使用す
るブロック（以下「アンカーブロック」という）として
記憶する（Ｓ１０１）。つづいて、フレーム（ｔ）の画
像データＩ（ｔ）と、フレーム（ｔ＋１）のＩ（ｔ＋
１）を取得する（Ｓ１０２）。Ｉ（ｔ）はフレームに含
まれる各画素の画素値ｐの集合データである。

【００９８】この後、アンカーブロックをフレーム（ｔ
＋１）内で動かしながら、最適マッチングを探索する
（Ｓ１０３）。アンカーブロック自身の各画素値はＩ
（ｔ）から判明するため、アンカーブロックをフレーム
（ｔ＋１）の任意の個所に配置し、重なり合う画素どう
しで画素値の２乗誤差を計算し、これをアンカーブロッ
ク全域で積算する。アンカーブロックを少しづつ移動さ
せながらこの積算を行い、積算値が最小になる位置をも
って、アンカーブロックの移動先であると判断する。

【００９９】移動先が判明すれば、フレーム（ｔ）にお
けるアンカーブロックからフレーム（ｔ＋１）における
アンカーブロックへの移動量と移動方向が確定するた
め、これを動きベクトルＶ（ｔ）として取得する（Ｓ１
０４）。ここで、ｔ＋１が終了フレームの時刻ｔ１に到
達したかどうかを判定し（Ｓ１０５）、到達していなけ
ればｔをインクリメントして（Ｓ１０６）、動きベクト
ルを繰り返し取得する。ｔ＋１がｔ１に等しくなれば、
いままで取得したＶ（ｔ）を保存した後（Ｓ１０７）、
処理を終える。

【０１００】図１５はｔ０＝０、ｔ１＝３とした場合に
得られた動きベクトルＶ（０）〜Ｖ（２）の例を示す図
である。同図に示すごとく、Ｖ（ｔ）は画面上の縦横で
定まるｘ、ｙ、および時間方向で定まるｔにより、
（ｘ，ｙ，ｔ）の３成分で表現することができる。

【０１０１】２．一致度の判定動きベクトルの際に設けたアンカーブロックと同等の大
きさのブロックによって各フレームを分割し、アンカー
が辿った可能性のある全経路を見い出す。図１６はそう
した経路のうちの１つを示す図である。同図では、フレ
ームが１６のブロックに分割され、開始フレームにおけ
る経路の起点と、終了フレームにおける経路の終点が図
１４のアンカーブロックと一致している。この条件下で
は、全経路は１６×１６通りとなる。つづいて、この経
路（以下「仮想経路」という）の各区間に、図１６に示
すベクトル（以下「経路ベクトル」という）ｖ（ｔ）を
定義する。経路ベクトルはあるフレームから次のフレー
ムまで仮想経路を辿るとき、その方向で決まる。ｖ
（ｔ）も（ｘ，ｙ，ｔ）の３成分で記述される。

【０１０２】ここで、各区間においてＶ（ｔ）とｖ
（ｔ）のなす角度をθｔとおき、内積を用いた次の式に
よってｆ（ｔ）＝ｃｏｓθｔを計算する。

【０１０３】ｆ（ｔ）＝（ V(t) , v(t) ）／|V(t)|・|v(t)| （式２）図１７は図１６のｖ（ｔ）に対し、図１５のＶ（ｔ）を
追加して表示した図で、θｔの意味を示している。式２
のｆ（ｔ）が大きいほど、その区間における仮想経路と
動きベクトルの一致度は高いが、ある区間で一致度が最
大になっても、他の区間の一致度が非常に低ければ、全
体としての一致度は低いとみる必要がある。そこで、各
区間の一致度を加味しつつ、全体としての一致度を評価
するために、次の評価式を導入する。

【０１０４】ｇ（ｔ）＝ｍａｘ｛ｆ（ｔ−１）＋ｇ（ｔ−１）｝（式３）式３を再帰的に計算していくことにより、常にその時刻
まで最も一致度の高かった仮想経路が判明する。この計
算を終了フレームまで行えば、全体を通して最も一致度
の高い仮想経路が判明するため、この経路をもってアン
カーの移動経路とみなす。後は、この移動経路と各基準
フレームの交差する個所にその時刻におけるアンカーが
存在するものとして、アンカーの自動設定を行う。設定
されたアンカー情報は、図３に示すアンカー情報テーブ
ルに追加していけばよい。なお、基準フレーム以外のフ
レームについては、実施の形態１同様の方法により、補
間計算からアンカー情報を逐次計算して求めればよい。

【０１０５】［２］輪郭情報の利用によるアンカーの自
動設定アンカー自動設定の別の方法として、ターゲットの輪郭
の移動をもとにアンカーの追跡を行う方法がある。輪郭
情報利用設定部１１４では、図１４同様の繰り返し処理
により、各フレームについて輪郭画像を生成する。輪郭
画像は、輪郭線上が１その他が０となる２値化画像であ
り、画像にコンパス・グラディエント（Compass-gradie
nt）型フィルタなどをかけることで生成可能である。輪
郭画像が求まれば、以降、アンカーがターゲットと全く
同じ移動をするものとしてアンカーの追跡を行えばよ
い。

【０１０６】［３］マッチングを利用したアンカーの自
動設定アンカー自動設定のさらに別の方法として、図１８に示
すパターンマッチングによるアンカーの追跡がある。こ
の方法の場合も、まず近接フレーム抽出部１１７によ
り、予めある程度の基準フレームを設ける。つぎに、開
始フレーム１３０において設定されたアンカー領域１３
２からパターンマッチング用のモデル１３４を作成し、
隣接する基準フレーム１３６の中で最も一致度の高い領
域１３８を求める。パターンマッチングの方法として、
モデルの画像データをそのまま重ね合わせるテンプレー
トマッチング法と、画像から抽出された特徴点の位置関
係をもとに重ね合わせを行う構造マッチング法などがあ
る。パターンマッチングはモデルの近傍を中心に行う。

【０１０７】こうして２枚目の基準フレームで領域１３
８が見い出されれば、この領域１３８を新しいモデルと
して同様の処理を繰り返し、アンカー領域を追跡してい
く。なお、ターゲットの動きや変形が激しい場合や基準
フレームの設定間隔が広すぎるときには良好なマッチン
グがとれない場合もある。そのようなとき、近接フレー
ム抽出部１１７は基準フレームの間隔を狭めてさらに多
くの基準フレームを設けたうえでマッチング処理をやり
なおすものとする。

【０１０８】［４］不要な基準フレームの削除上述の例では、５フレームごとに基準フレームを設け
た。しかし、例えばターゲットが等速直線運動をするよ
うな場合、基準フレームは開始フレームと終了フレーム
だけで十分である。ターゲットが開始フレームから終了
フレームまで、すべて等速直線運動をしていない場合で
あっても、そのような運動をしている期間については、
その期間の両端の基準フレームだけがあればよい。基準
フレームが減るたびに計算の負荷も軽くなる。［１］の
場合、仮想経路が激減するため、特に効果的である。

【０１０９】この観点から、基準フレーム削除部１１５
は不要な基準フレームの削除を行う。図１９〜２１は基
準フレームを削除していく様子を示す図である。これら
の図の横軸は時間、縦軸はフレーム上に設けられたｘ−
ｙ座標の原点からの距離を示している。また、各図中の
○は、アンカー領域を模式的に示すものである。削除は
以下の手順による。

【０１１０】［図１９］当初、基準フレームは両端基準
フレームを含めて６個設けられている。ここで開始フレ
ームのアンカーと終了フレームのアンカーを直線で結
び、この直線と各アンカーの距離を計算する。距離が所
定値以下になったアンカーがあれば、その時刻の基準フ
レームを削除する。同図では削除されるアンカーはなか
ったものとする。つぎに、直線から最も遠いアンカー
（以下、最遠アンカーとよぶ）を見つける。ここでは、
ｔ＝３のアンカーが最遠アンカーである。［図２０］前記の直線を消去し、開始フレームのアンカ
ー、最遠アンカー、終了フレームのアンカーをこの順に
折れ線で結び、再びこの折れ線と各アンカーの距離を求
める。距離が前記所定値以下になったｔ＝４のアンカー
が削除される。最遠アンカーはｔ＝２のアンカーに変更
される。［図２１］新たな最遠アンカーを通るよう、折れ線を修
正する。ここで、新たな折れ線との距離が前記所定値以
下になったｔ＝１の基準フレームが削除される。これで
処理が終了する。

【０１１１】この例では、２つの基準フレームが削除さ
れたことになる。最初の基準フレームが多いときは、
１．所定値以下の基準フレームの削除、２．最遠アンカ
ーの探索、３．折れ線の修正、を繰り返せばよい。

【０１１２】以上が本実施の形態の概要である。なお、
本実施の形態については以下のような改良または変形が
考えられる。（１）式２の変更式２ではｆ（ｔ）＝ｃｏｓθｔを採用したが、当然これ
は別の関数でもよい。θｔと増減をともにする関数はｆ
（ｔ）の候補になり得る。（２）ブロックのとりかた図１５では、アンカー領域の重心付近を含むようにアン
カーブロックを決めたが、これは別の決め方でもよい。
例えば、アンカー領域をそのままアンカーブロックとし
てもよい。同様に図１６でも、アンカーブロックの大き
さと関係なくブロックを決めてもよい。

【０１１３】（３）上述［３］の別方法（その１）上述のマッチングによるアンカー自動設定の別態様を挙
げる。あるフレームの領域をモデルとして次々にマッチ
ングをとっていく場合、誤差が積もって次第にターゲッ
トから外れていくおそれがある。このため、近接フレー
ムからのマッチングだけでなく、ある程度時間的に離れ
たフレームからのマッチング結果を加味して判断する。

【０１１４】図２２に示すように、ここでは時間距離の
離れた基準フレームとして開始フレームと終了フレーム
を採用する。いま、アンカーの位置を特定すべき新たな
基準フレーム４０４が時刻ｔ＋Δｔのものとする。一
方、開始フレームのアンカー領域のモデルＡ４００、終
了フレームのアンカー領域のモデルＢ４０１、時刻ｔの
基準フレーム４０２のアンカー領域のモデルＣ４０３が
すべて既知である。そこで、これら３枚の基準フレーム
と時刻ｔ＋Δｔの基準フレーム４０４との間でそれぞれ
マッチングをとる。このとき、すべてのマッチング結果
が一致すれば、その領域の追跡結果は信頼できる。一
方、マッチング結果が一致しない場合、例えば以下の方
法でアンカー位置を決める。１．３回のマッチングの結
果時刻ｔ＋Δｔの基準フレーム４０４上に得られる３つ
の領域を重ね合わせ、重複部分の中心を中心とする、も
との領域と同一サイズのアンカー領域を作成する。

【０１１５】２．ひとつのモデルであるモデルＣ４０３
について複数のマッチング結果を求め、マッチング結果
の上位から順に、その領域内にモデルＡ４００、モデル
Ｂ４０１のマッチング結果から得られる領域が含まれる
か否かを判定していく。一定の割合以上で含まれる場
合、マッチング結果から得られる領域どうしの重複部分
の中心を中心とする、もとの領域と同一サイズのアンカ
ー領域を作成する。なお、ここでは近接する基準フレー
ムのほかに開始フレームおよび終了フレームを考慮した
が、組合せには自由度がある。たとえば、近接する基準
フレームおよび一定の時間距離だけ隔たった任意数の基
準フレームを採用してもよい。

【０１１６】（４）上述［３］の別方法（その２）図２３のごとく、アンカー自動設定部１１２に自動設定
信頼度判定部１３３と自動設定信頼度表示部１３１を設
ける。自動設定信頼度判定部１３３は、最終フレームま
で順方向でマッチングを行って得られたアンカー領域
と、終了フレームで指定されているアンカー領域との重
複の程度により、追跡の信頼度を判定する。例えば、重
複部分の面積が７０％以上なら追跡結果は信頼でき、５
０％以下なら信頼できないと判定する。自動設定信頼度
表示部１３１は追跡の信頼度（信頼ができるか否か、ま
たはその％）を表示する。

【０１１７】例えば図２４に示すように、ターゲットの
本来の軌跡１４０に対してマッチングによる追跡結果１
４１が反れたとき、重複の程度が低いため、追跡は信頼
できないと判定される。そこで、今度は終了フレームの
アンカー領域をモデルにして逆方向に画像のマッチング
をとり、アンカー位置を追跡しなおす。この際、各基準
フレームにおいて、先に順方向のマッチングで設定され
たアンカー領域と今回の逆方向マッチングによって得ら
れたアンカー領域を比較し、両者が所定の割合以上で重
なっていれば追跡を終了する。このとき別の方法とし
て、指定されたフレームで追跡を打ち切ってもよい。追
跡を終了すべきフレームは、開始フレームおよび終了フ
レームからの距離の比などで決めてもよい。重複を判定
する方法と追跡を終了すべきフレームを指定する方法を
併用してもよい。

【０１１８】以上、この方法によれば、追跡の途中で誤
りが発生した場合でも、以降の追跡結果の悪化を回避す
ることができ、最終的な修正作業が軽減される。また、
重複の度合いを見て逆方向のマッチングを終了する場
合、必要な部分だけが修正されるため、処理時間の短縮
につながる。

【０１１９】なお、信頼度が低い場合であっても、逆方
向のマッチングを自動的に開始するのではなく、単に信
頼度を表示するにとどめてもよい。その場合、ユーザは
逆方向のマッチングを実行させてもよいし、自ら望む修
正を施してもよい。いずれにせよ、自動設定信頼度表示
部１３１によってユーザは追跡の良否を知ることがで
き、適切な対処が可能になる。

【０１２０】（５）上述［３］の別方法（その３）図１２の各構成、すなわち動画再生部１１８、アンカー
情報表示部１２０、アンカー情報補正部１１９をアンカ
ー自動設定部１１２の中に設ける。ここでは、動画再生
部１１８は動画を構成する各フレームを時系列に従い、
適当な時間間隔で表示する。アンカー情報補正部１１９
は、動画再生中の任意の時刻にアンカー情報補正操作が
行われたとき、その時刻に表示されていたフレームのア
ンカー情報を補正する。それとともに、そのフレームの
直前の所定枚数または所定期間に表示されたフレームの
アンカー自動設定結果を無効化する。

【０１２１】この構成における動作を説明する。ここで
は、動画像の再生に従い、開始フレームから逐次順方向
でマッチングをとりながら表示していくとする。この動
作の場合、既述のごとく、いったんマッチングが良好で
なくなると、以降アンカー情報が次第に外れていくおそ
れがある。ユーザは、再生される動画像とアンカー情報
を見ながら、アンカー領域がターゲットから外れたとき
画面をクリックする。この時点で再生が停止する。ここ
で、たとえばユーザがターゲットの中心をクリックすれ
ば、その点が中心になるようアンカー位置が修正され
る。以降のマッチングは修正されたアンカー情報をもと
に行われるため、良好となる。

【０１２２】この方法では、動画像の再生中にユーザが
画面をクリックするため、アクションの遅延を考える必
要がある。すなわち、アンカー領域がターゲットから外
れたことを認識してクリックしたときには、すでに数フ
レームにわたってそうした現象が徐々に進行していたと
考えられる。そこでアンカー情報補正部１１９は、アン
カー情報が修正されたフレームの前に存在する所定の複
数フレームについて自動設定されたアンカー情報を無効
化する。

【０１２３】図２５は、ターゲットの本来の軌跡とマッ
チングによって得られた追跡結果の関係、およびアンカ
ー情報補正部１１９の動作を示す図である。同図の実線
１５０はターゲットの軌跡と追跡結果が一致している
間、破線１５１は、追跡結果が軌跡から外れている間を
示している。同図のごとく、時刻ｔ０〜ｔ１は追跡結果
が信頼できるが、時刻ｔ１で外れだす。ユーザはこのこ
とに気付き、時刻ｔ２で画面をクリックする。この結
果、時刻ｔ２〜ｔ３の間でまた正しい追跡が行われる。
時刻ｔ１〜ｔ２は正しくない追跡結果が残るため、これ
が無効化される。無効化された部分については、同図の
ごとく、時刻ｔ１、ｔ２におけるアンカー情報を線形補
間することにより、欠けた追跡結果を補うことができ
る。なお、アンカー情報を無効化するフレーム数は予め
指定してもよいし、修正を行う時点で指定してもよい。

【０１２４】実施の形態３．実施の形態１、２の動画ハ
イパーメディア装置を応用し、以下の装置またはシステ
ムを構築することができる。

【０１２５】１．対話型ビデオ教材制作装置本発明に係る動画ハイパーメディア装置はＣＡＩコンテ
ンツの制作にも最適である。すなわち、本装置でビデオ
教材にアンカーを設定し、必要な付加情報をリンクさせ
る。図２６はこの装置によって制作されたビデオ教材を
示す図である。同図のごとく、アンカーＡに対して説明
Ａ、アンカーＢに対して説明Ｂなどがリンクされてい
る。生徒はビデオを再生しながら、より詳しい説明が欲
しいオブジェクトを画面上でクリックする。クリックさ
れたオブジェクトがアンカーＡに関連していれば、説明
Ａが画面に表示される。

【０１２６】２．対話型ビデオサーバシステム本発明に係る動画ハイパーメディア装置はビデオサーバ
システムにも最適である。図２７はこのビデオサーバシ
ステムの構成図である。同図のごとく、このシステム
は、図１の構成をほぼ分け合う形のサーバ２００とクラ
イアント２５０からなる。

【０１２７】サーバ２００は、動画とそのアンカー情
報、およびアンカーにリンクされた関連データを記憶す
るデータ記憶部２０４、アンカー推定部２０６、任意の
アンカーにリンクされた関連データを検索するハイパー
リンク検索部２０８を備える。アンカー推定部２０６は
非基準フレームにおけるアンカー情報を推定する。

【０１２８】一方、クライアント２５０は、ユーザが動
画中の対象をクリックしたとき、いずれのアンカー領域
がクリックされたかを判定するアンカー判定部２５２を
備える。

【０１２９】この構成において、クライアント２５０で
ユーザが画面上のあるオブジェクトをクリックすると、
アンカー判定部２５２がクリックされたアンカーを特定
する。この情報はサーバ２００に送られる。サーバ２０
０のハイパーリンク検索部２０８はデータ記憶部２０４
からそのアンカーにリンクされた関連データを検索し、
これをクライアント２５０に送る。

【０１３０】以上、このシステムによれば、動画データ
やアンカー情報をサーバ２００の側に一括して蓄積して
おき、多数のユーザから必要な動画とそれにリンクされ
た情報を見ることができる。

【０１３１】

【発明の効果】本発明の動画アンカー設定装置によれ
ば、基準フレームのみに対してアンカー情報を設定する
ことで非基準フレーム、すなわち基準フレーム以外のフ
レームのアンカー情報を推定することができるため、非
基準フレームに対するアンカー情報の設定が不要とな
る。この結果、アンカー設定作業を省力化することがで
きる。

【０１３２】複数の基準フレームがとられたとき、フレ
ーム決定手段がそれらのうち時間的に最も早いものを開
始フレーム、最も遅いものを終了フレームと決める場合
は、ユーザがアンカーを設定すべき期間を意識する必要
がなく、作業効率を改善することができる。

【０１３３】フレーム決定手段が、ターゲットが出現し
たフレームと消失したフレームを検出してこれらをそれ
ぞれ開始フレームと終了フレームと決める場合は、基準
フレームは最低１枚とすることができ、さらに省力化を
進めることができる。

【０１３４】アンカー推定手段がアンカー情報を補間し
て非基準フレームにおけるアンカー情報を推定する場合
は、軽い計算負荷で非基準フレームのアンカー情報を得
ることができる。

【０１３５】アンカー推定手段が、基準フレームに設定
されたアンカー間の対応情報の変化量をその間の経過時
間に従って分割する場合は、非常に簡単な内挿補間計算
によって非基準フレームのアンカー情報を得ることがで
きる。

【０１３６】アンカー推定手段が、設定対象期間の各区
間の両端の基準フレーム間でアンカー情報の補間計算を
行う場合は、近い位置にある基準フレームを用いて非基
準フレームの対するアンカーの推定がなされるため、推
定の精度を高めることができる。

【０１３７】推定されたアンカー情報に修正を加えるア
ンカー情報編集手段を含む場合は、修正の結果、正確な
アンカー情報をもっている中間基準フレームを用いた補
間計算が行われるため、非基準フレームに関するアンカ
ー情報の精度を高めることができる。

【０１３８】アンカー情報編集手段がアンカー情報の推
定にもとづいてアンカーの軌跡を三次元的に表示する場
合は、編集結果をその場で確認することができる。

【０１３９】アンカー情報編集手段がアンカーの軌跡を
計算し、この軌跡に沿う動画の断面図をアンカーの軌跡
とともに表示する場合は、この断面図を参照することに
より、非基準フレームにおいて推定されたアンカー情報
の精度を確認し、必要に応じて修正することができる。

【０１４０】アンカー情報編集手段がアンカー情報表示
画像を時系列で表示する場合は、アンカー設定の適否を
一目で把握することができる。このため、アンカー情報
の確認作業が容易になる。

【０１４１】アンカー情報編集手段が動画再生手段とア
ンカー情報補正手段とを含む場合、動画を再生しながら
ターゲットの適切な位置を指定できるため、再生終了時
には望ましいアンカー情報が設定されている。この結
果、後の確認、編集作業の労力を低減することができ
る。

【０１４２】アンカー推定手段がアンカー自動設定手段
を含む場合は、当初アンカー情報を設定すべき基準フレ
ームは少なくてよいため、設定作業を軽減することがで
きる。

【０１４３】アンカー自動設定手段がターゲットの輪郭
の動きを手がかりにアンカーを追跡する場合は、アンカ
ー追跡の精度を高めることができる。

【０１４４】アンカー自動設定手段がターゲットの動き
ベクトルを手がかりにアンカーを追跡する場合も同様で
ある。またこの場合、動画の種類によっては、符号化の
際にフレームごとに動きベクトルが記述されている場合
もあり、好都合である。

【０１４５】アンカー自動設定手段は、アンカーが設定
対象期間で辿り得る各経路について、その経路とアンカ
ーの動きベクトルの一致度を判定してアンカーの移動経
路を探索する場合は、動きベクトルに伴う誤差の影響を
低減することができる。すなわち、単位判定期間ごとに
動きベクトルには誤差が含まれるはずであるが、経路判
定をすべての単位判定期間にわたって行うため、最終的
に得られる経路の確度が高まる。

【０１４６】前記経路と前記動きベクトルのなす角度の
関数によって前記一致度を判定する場合は、一致度を数
値評価することができ、比較的簡単な計算で確度の高い
経路を見い出すことができる。

【０１４７】アンカー自動設定手段が自動設定信頼度判
定手段と自動設定信頼度表示手段を含む場合、ユーザは
自動設定の良否を知ることができ、適切な対応をとるこ
とができる。

【０１４８】アンカー自動設定手段が、アンカー情報が
すでに設定されている基準フレームのアンカー領域の画
像をモデルとして新たな基準フレームとの画像マッチン
グをとる場合は、アンカー追跡の精度を高めることがで
きる。

【０１４９】類似する画像が前記新たな基準フレームの
中に見つからず、アンカー自動設定手段が隣接する基準
フレーム間をさらに分割して新たな基準フレームを設け
て画像マッチングをとり直す場合は、画像のマッチング
の精度が高まる。また、必要な箇所に限って新たな基準
フレームが設けられるため、計算負荷の増大を抑えつつ
追跡精度を改善することができる。

【０１５０】アンカー自動設定手段が、近接する基準フ
レームおよびある程度時間距離の離れた基準フレームの
マッチング結果をもとにアンカーの位置を追跡する場
合、たとえばマッチング結果が徐々にずれていく状況を
改善しやすくなり、アンカー修正の手間が省ける。

【０１５１】アンカー自動設定手段が自動設定信頼度判
定手段を含む場合は、追跡が途中から外れるような場合
でも、外れた部分のアンカー情報を修正できる。

【０１５２】自動設定信頼度判定手段で追跡をやり直す
際、もとの追跡と今回の追跡で得られるアンカー領域の
重複の度合いを見て追跡を終了する場合は、不必要に長
い時間再追跡をしなくてよく、処理時間が短縮できる。

【０１５３】再追跡を打ち切るべきフレームを指定する
場合は、簡易的な処理で相応の成果を挙げることができ
る。

【０１５４】アンカー情報補正手段が、アンカー情報の
修正されたフレームよりも前の所定フレームのアンカー
自動設定結果を無効化する場合は、追跡結果が悪化した
時点で修正ができるため、後に改めて確認する必要がな
い。また、マッチングが良好な間は修正をする必要がな
いため、確認作業を省力化することができる。

【０１５５】カーソル変更手段がさらに含まれる場合
は、アンカー領域が不可視的に設定されている場合で
も、容易に所望のアンカー領域の存在とその位置を知る
ことができる。

【０１５６】カーソルが入ったアンカー領域の識別情報
の表示を伴うよう、前記カーソルの表示状態が変更され
る場合は、クリック動作なしにある程度の関連情報を知
ることができる。

【０１５７】アンカー設定手段は、複数のアンカーから
なるグループを単位としてアンカー情報を設定する場合
は、例えば同一のターゲットに対して何度もアンカー情
報を設定する労力を省くことができる。

【０１５８】アンカーの動きの特徴をもとにアンカーの
検索を行うアンカー検索手段が含まれる場合は、多数の
オブジェクトのうち、右に動くものだけを知りたいなど
の場合に検索の労力を大幅に低減することができる。

【０１５９】アンカーの識別情報をもとにアンカーの検
索を行うアンカー検索手段が含まれる場合は、検索効率
を改善することができる。

【０１６０】一方、本発明の動画ハイパーメディア装置
によれば、本発明の動画アンカー設定手段の利点を活か
しつつ、アンカーに必要なデータをリンクし、かつリン
クされたデータを検索することができる。

【０１６１】また、この動画ハイパーメディア装置を対
話型ビデオ教材の制作に用いる場合は、例えば、画面上
で該当オブジェクトをクリックして付加情報が得られる
ような対話型ビデオ教材を制作することができる。

【０１６２】他方、本発明の動画提供システムによれ
ば、多数のユーザから必要な動画とそれにリンクされた
情報を見ることができる。

【図面の簡単な説明】

【図１】実施の形態１に係る動画ハイパーメディア装
置を含むシステムの構成図である。

【図２】実施の形態１によるアンカーの設定および修
正手順を示すフローチャートである。

【図３】実施の形態１で設定されたアンカー情報のテ
ーブルを示す図である。

【図４】実施の形態１によるアンカー情報の補間計算
方法を示す図である。

【図５】図３に中間基準フレームのアンカー情報を追
加して得られるテーブルを示す図である。

【図６】実施の形態１において中間基準フレームと両
端基準フレームの３つのフレームをもとに補間計算を行
う方法を示す図である。

【図７】実施の形態１によるリンクの設定および検索
手順を示すフローチャートである。

【図８】実施の形態１で設定されたリンク情報のテー
ブルを示す図である。

【図９】アンカー設定のためのＵＩ画面例を示す図で
ある。

【図１０】図１０（ａ）は開始フレームから終了フレ
ームまでのアンカー領域の軌跡の横方向の断面図、図１
０（ｂ）は同様に縦方向の断面図である。

【図１１】実施の形態１において、アンカー情報編集
部によって時系列に表示されたアンカー情報表示画像を
示す図である。

【図１２】実施の形態１に係る動画ハイパーメディア
装置のアンカー情報編集部の内部構成例を示す図であ
る。

【図１３】実施の形態２に係る動画ハイパーメディア
装置のアンカー設定部の構成図である。

【図１４】実施の形態２における動きベクトルの取得
手順を示すフローチャートである。

【図１５】図１４においてｔ０＝０、ｔ１＝３とした
場合に得られた動きベクトルＶ（０）〜Ｖ（２）の例を
示す図である。

【図１６】アンカーが辿った可能性のある経路のうち
の１つを示す図である。

【図１７】図１６のｖ（ｔ）に対し、図１５のＶ
（ｔ）を追加して表示した図である。

【図１８】実施の形態２においてパターンマッチング
に基づくアンカーの自動設定方法を示す図である。

【図１９】実施の形態２において基準フレームを削除
していく様子を示す図である。

【図２０】実施の形態２において基準フレームを削除
していく様子を示す図である。

【図２１】実施の形態２において基準フレームを削除
していく様子を示す図である。

【図２２】実施の形態２で、近接する基準フレームの
ほかに、ある程度時間距離の離れた基準フレームを用い
てマッチングをとる方法を示す図である。

【図２３】実施の形態２に係る動画ハイパーメディア
装置のアンカー自動設定部の構成例を示す図である。

【図２４】図２３の構成による効果を説明するため
に、その構成がなければ生じる可能性のある、誤った追
跡結果を示す図である。

【図２５】ターゲットの本来の軌跡とマッチングによ
って得られた追跡結果の関係、およびアンカー情報補正
部の動作を示す図である。

【図２６】実施の形態３の対話型ビデオ教材制作装置
の構成を示す図である。

【図２７】実施の形態３の対話型ビデオサーバシステ
ムの構成を示す図である。

【符号の説明】

１データ操作部、２データ記憶部、３表示部、４
ユーザ操作部、６動画入力部、１０フレーム決定
部、１１アンカー設定部、１２アンカー推定部、１
３ハイパーリンク設定部、１４ハイパーリンク検索
部、１５アンカー検索部、２０動画データ記憶部、
２１アンカー情報記憶部、２２リンク情報記憶部、
３０表示制御部、３１表示装置、５０画像表示領
域、５２ボタン群、５４矩形ボタン、５６開始フレ
ーム指定ボタン、５８終了フレーム指定ボタン、６０
アンカー領域、６２アンカー関連ボックス群、６４
シーン関連ボックス群、６６，６８ボックス、８０
アンカー情報、８１開始フレーム、８２終了フレー
ム、１１０アンカー情報編集部、１１１テキストア
ンカー設定部、１１２アンカー自動設定部、１１３
動きベクトル利用設定部、１１４輪郭情報利用設定
部、１１５基準フレーム削除部、１１６パターンマッ
チング利用設定部、１１７近接フレーム抽出部、１１
８動画再生部、１１９アンカー情報補正部、１２０
アンカー情報表示部、１３１自動設定信頼度表示部、
１３３自動設定信頼度判定部、１４０ターゲットの
本来の軌跡、１４１マッチングによる追跡結果、２０
０サーバ、２０４データ記憶部、２０６アンカー
推定部、２０８ハイパーリンク検索部、２５０クライ
アント、２５２アンカー判定部、３００カーソル変
更部、４００モデルＡ、４０１モデルＢ、４０２時
刻ｔの基準フレーム、４０３モデルＣ、４０４時刻
ｔ＋Δｔの基準フレーム。

───────────────────────────────────────────────────── フロントページの続き (72)発明者田中聡東京都千代田区丸の内二丁目２番３号三菱電機株式会社内

Claims

【特許請求の範囲】

【請求項１】動画を入力し、これにアンカーを設定す
る装置であって、入力された動画を構成する複数のフレームから、アンカ
ーを設定すべき設定対象期間の開始フレームおよび終了
フレームを決定するフレーム決定手段と、設定対象期間内にとられた基準フレームにおいて領域が
指定されたとき、これをアンカー領域とするアンカー情
報をその基準フレームに対して設定するアンカー設定手
段と、基準フレームに対して設定されたアンカー情報をもとに
非基準フレームにおけるアンカー情報を推定するアンカ
ー推定手段と、を含むことを特徴とする動画アンカー設定装置。
【請求項２】前記フレーム決定手段は、設定対象期間
に複数の基準フレームがとられたとき、それらのうち時
間的に最も早いものを開始フレーム、最も遅いものを終
了フレームと決める請求項１に記載の装置。
【請求項３】前記フレーム決定手段は、基準フレーム
の前後において、その基準フレームに含まれるターゲッ
トが出現したフレームと消失したフレームを検出し、こ
れらをそれぞれ開始フレームと終了フレームと決める請
求項１に記載の装置。
【請求項４】前記アンカー推定手段は、基準フレーム
が複数存在するとき、それらに対して設定されたアンカ
ー情報を補間することにより、非基準フレームにおける
アンカー情報を推定する請求項１〜３のいずれかに記載
の装置。
【請求項５】前記アンカー推定手段は、隣接するふた
つの基準フレームに対して設定されたアンカー間の対応
情報の変化量を算出し、一方の基準フレームからある非
基準フレームまでの経過時間とその非基準フレームから
他方の基準フレームまでの経過時間の比を算出し、この
比で前記変化量を分割することにより補間を行う請求項
４に記載の装置。
【請求項６】前記アンカー推定手段は、基準フレーム
によって区分される設定対象期間の各区間について、そ
の区間の両端の基準フレーム間でアンカー情報の補間計
算を行い、その区間に含まれる非基準フレームにおける
アンカー情報を推定する請求項４、５のいずれかに記載
の装置。
【請求項７】非基準フレームに対して推定されたアン
カー情報に修正を加えるアンカー情報編集手段をさらに
含み、前記アンカー推定手段は、アンカー情報が修正された非
基準フレームを新たに基準フレームに昇格させ、以降他
のフレームにおけるアンカー情報を推定する際、新たな
基準フレームも含め、隣接する基準フレーム間で前記補
間を行う請求項４〜６のいずれかに記載の装置。
【請求項８】前記アンカー情報編集手段は、アンカー
情報の推定にもとづいてアンカーの軌跡を計算し、これ
を三次元的に表示する請求項７に記載の装置。
【請求項９】前記アンカー情報編集手段は、アンカー
情報の推定にもとづいてアンカーの軌跡を計算し、この
軌跡に沿う動画の断面図をアンカーの軌跡とともに表示
する請求項７に記載の装置。
【請求項１０】前記アンカー情報編集手段は、開始フ
レームと終了フレームの間に含まれるフレームを選択
し、そのフレームの画像にアンカー情報を重ねてアンカ
ー情報表示画像を作成し、そのアンカー情報表示画像を
時系列で表示する請求項７に記載の装置。
【請求項１１】前記アンカー情報編集手段は、動画再
生手段と、アンカー情報補正手段とを含み、動画再生手段は動画を画面上に再生し、アンカー情報補正手段は、動画再生中にアンカー情報補
正操作が行われた場合、その操作が行われた時刻に再生
していたフレームを特定し、そのフレームが非基準フレ
ームであれば基準フレームに昇格させるとともに、その
フレームにおけるアンカー情報を前記操作に基づいて補
正する請求項７に記載の装置。
【請求項１２】前記アンカー推定手段はアンカー自動
設定手段を含み、このアンカー自動設定手段は、隣接する基準フレーム間
から任意の枚数のフレームを選定してこれらを新たな基
準フレームとしたうえで、これら新たな基準フレームに
おけるアンカーを追跡し、これら新たな基準フレームに
対してアンカー情報を設定する請求項１〜１１のいずれ
かに記載の装置。
【請求項１３】前記アンカー自動設定手段は、ターゲ
ットの輪郭の動きを手がかりにアンカーを追跡する請求
項１２に記載の装置。
【請求項１４】前記アンカー自動設定手段は、ターゲ
ットの動きベクトルを手がかりにアンカーを追跡する請
求項１２に記載の装置。
【請求項１５】基準フレームによって区分される設定
対象期間の各区間を単位判定期間と定義するとき、前記アンカー自動設定手段は、前記アンカーが設定対象
期間で辿り得る各経路ついて、その経路とアンカーの動
きベクトルの一致度を単位判定期間ごとに判定し、この
判定結果を設定対象期間全般に渡って総合し、その総合
結果において最も一致度が高かった経路をもって前記ア
ンカーの移動経路とみなす請求項１４に記載の装置。
【請求項１６】前記経路と前記動きベクトルのなす角
度の関数であって、前記角度が０゜から１８０゜の範囲
で極値を持たない関数によって前記一致度を判定し、そ
の関数の各単位判定期間ごとの値の総和を計算して前記
総合結果を得る請求項１５に記載の装置。
【請求項１７】前記アンカー自動設定手段は、自動設
定信頼度判定手段と自動設定信頼度表示手段を含み、自動設定信頼度判定手段は、前記アンカー設定手段によ
って設定されたアンカー情報と前記アンカー自動設定手
段によって設定されたアンカー情報とを比較することに
より自動設定の信頼度を判定し、自動設定信頼度表示手
段はその信頼度を表示する請求項１２〜１６に記載の装
置。
【請求項１８】前記アンカー自動設定手段は、アンカ
ー情報がすでに設定されている基準フレームのアンカー
領域の画像をモデルとして新たな基準フレームとの画像
マッチングをとることにより、アンカーの位置を追跡す
る請求項１２に記載の装置。
【請求項１９】画像マッチングをとる際、類似する画
像が前記新たな基準フレームの中に見つからなかった場
合、前記アンカー自動設定手段は隣接するフレーム間を
さらに分割して新たな基準フレームを設け、基準フレー
ムの間隔を狭めたうえで画像マッチングをとり直す請求
項１８に記載の装置。
【請求項２０】前記アンカー自動設定手段は、前記ア
ンカー情報がすでに設定されている基準フレームとし
て、前記新たな基準フレームに近接する基準フレームお
よびある程度時間距離の離れた基準フレームの少なくと
も２枚を選定し、選定された基準フレームを用いたマッ
チング結果をもとにアンカーの位置を追跡する請求項１
８に記載の装置。
【請求項２１】前記アンカー自動設定手段は、前記ア
ンカー設定手段によって設定されたアンカー情報と前記
アンカー自動設定手段によって設定されたアンカー情報
とを比較して自動設定の信頼度を判定する自動設定信頼
度判定手段を含み、第１の基準フレームを出発点とする追跡によってアンカ
ー情報が設定された後に前記自動設定信頼度判定手段に
よって判定された信頼度が低い場合、第２の基準フレー
ムを出発点とする追跡によってアンカー情報が再設定さ
れる請求項１８〜２０に記載の装置。
【請求項２２】前記第２の基準フレームを出発点とす
る追跡がなされる間、ある基準フレームに設定されるア
ンカー領域と、第１の基準フレームを出発点とする追跡
によってその基準フレームに先に設定されたアンカー領
域との重複の度合いが所定の割合以上であれば、第２の
基準フレームを出発点とする追跡を終了する請求項２１
に記載の装置。
【請求項２３】前記第２の基準フレームを出発点とし
た追跡において、予め指定した基準フレームに到達した
とき追跡を打ち切る請求項２１に記載の装置。
【請求項２４】前記アンカー自動設定手段は、動画再
生手段と、アンカー情報表示手段と、アンカー情報補正
手段とを含み、動画再生手段は、動画を画面上に再生し、アンカー情報表示手段は、表示されるフレームについて
逐次行われる画像マッチングの結果得られるアンカー情
報を表示し、アンカー情報補正手段は、動画再生中にアンカー情報補
正操作が行われた場合、その操作が行われたフレームの
アンカー情報を補正するとともに、そのフレームよりも
前の所定フレームにおけるアンカー自動設定結果を無効
化する請求項１８に記載の装置。
【請求項２５】前記アンカー設定手段は、テキストア
ンカー設定手段を含み、そのテキストアンカー設定手段は、基準フレームに対し
てテキストが指定されたとき、その基準フレームに対し
てそのテキストを内容とするアンカーを設定する請求項
１〜２４のいずれかに記載の装置。
【請求項２６】カーソルが任意のアンカー領域に入っ
たとき、そのカーソルの表示状態を変更するカーソル変
更手段をさらに含む請求項１〜２５のいずれかに記載の
装置。
【請求項２７】前記カーソル変更手段は、カーソルが
入ったアンカー領域に関する識別情報の表示を伴うよう
前記カーソルの表示状態を変更する請求項２６に記載の
装置。
【請求項２８】前記アンカー設定手段は、複数のアン
カーからなるグループを単位としてアンカー情報を設定
する請求項１〜２７のいずれかに記載の装置。
【請求項２９】アンカー情報のうちアンカーの動きの
特徴をもとにアンカーの検索を行うアンカー検索手段を
さらに含む請求項１〜２８のいずれかに記載の装置。
【請求項３０】前記アンカー情報編集手段は、アンカ
ーの識別情報の一覧表示を行う請求項１〜２９のいずれ
かに記載の装置。
【請求項３１】入力された動画を構成する複数のフレ
ームから、アンカーを設定すべき設定対象期間の開始フ
レームおよび終了フレームを決定するフレーム決定手段
と、設定対象期間内にとられた基準フレームに対して領域が
指定されたとき、これをアンカー領域とするアンカー情
報をその基準フレームに対して設定するアンカー設定手
段と、設定されたアンカー情報をもとに非基準フレームにおけ
るアンカー情報を推定するアンカー推定手段と、設定または推定されたアンカー情報と任意の関連データ
とをリンクするリンク設定手段と、任意のアンカーから、そのアンカーにリンクされた関連
データを検索するリンク検索手段と、を備える動画ハイパーメディア装置。
【請求項３２】前記動画はビデオ教材を構成し、前記
関連データは所望の設定対象期間においてビデオ教材の
所望のアンカーに関連づけられた付加情報であり、該装
置を対話型ビデオ教材の制作に用いる請求項３１に記載
の装置。
【請求項３３】サーバおよびクライアントからなる動
画提供システムにおいて、サーバは、動画と、その動画の基準フレームに対して設定されたア
ンカー情報と、そのアンカー情報にリンクされた関連デ
ータとを記憶する手段と、基準フレームに設定されたアンカー情報をもとに非基準
フレームにおけるアンカー情報を推定する手段と、任意のアンカーから、そのアンカーにリンクされた関連
データを検索する手段とを備え、クライアントは、ユーザが動画中の対象をクリックした
とき、いずれのアンカー領域がクリックされたかを判定
する手段を備え、クライアントがクリックされたアンカーをサーバに通知
したとき、サーバはそのアンカーにリンクされた関連デ
ータを検索してこれをクライアントに送ることを特徴と
する動画提供システム。