JP4901040B2 - ビデオストリームにおける移動物体のマーキング - Google Patents

Description

【０００１】
（技術分野）
本出願は、ビデオストリームにおける物体のマーキングに関する。
【０００２】
（背景技術）
インタラクティブリンクを用いてビデオストリームにおける物体に注釈付けすること即ち「マークする」ことは、当技術分野では周知である。例えば、自動車レースのビデオプログラムを見て、コースを回りながら走行する何台ものレーシング・カーが表示されていることを想定する。また、これらの車はインタラクティブリンクでマークされていたとする。このことは、それらの車の１台の画像にカーソルを置き、該画像をクリックできることを意味する。このことにより、ビデオ画面を制御しているシステムは、その画像にリンクされている情報を表示することができる。このリンクはＵＲＬ形式をとることができ、該システムはクリックされた車又はドライバーに関する情報を示すウェブページを表示する。
【０００３】
物体を「マークする」と、「活動領域（インタラクティブ領域）」として、その物体を取り巻く（又はその物体付近に）ビデオ画面の領域が設定される。観察者が次に該活動領域をクリックすると、リンクが呼び出される。上述の例を再度参照すると、レーシング・カーの１台がマークされたならば、そのレーシング・カーの画像を取り巻いて、又はその画像付近に活動領域ができる。観察者がカーソルをその「活動領域」に動かし、その活動領域をクリックすると、上述のリンクが呼び出される。
【０００４】
レーシング・カーのビデオの中で、その車は常に動いており、ビデオ画面上のその位置は常に変わる。従って、その車に対応している活動領域は常に変化し、その車に「ついていく」必要がある。このため、ビデオの各フレームは、その車に対する適切な活動領域でマークされなくてはならない。多くの場合、これは画像認識により達成される。換言すると、編集処理中に、その車がビデオ画面の右側から左側に移動したかどうかをビデオ編集装置が認識する。この移動が起きると、編集装置は、車が画面の左側にあるビデオフレームにおいて画面の左側にその車についての新たな活動領域を設定する。残念なことに、画像認識には幾つかの問題がある。例えば、画像認識システムは通常、物体の色を利用してその位置を追跡する。例えば物体に影が投げかけられているため光線の当たり方が変化している領域に該物体が移動した場合には、それは、正確な画像認識を妨げる恐れがある。更に、画像認識は、その他に物体のマーキング処理に誤差を誘発させる可能性のある問題がある。
【０００５】
画像認識は当技術分野では周知であり、Ｊ．Ｐ．ルイスによる「高速正規化相関関係（Ｆａｓｔ Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ−Ｃｏｒｒｅｌａｔｉｏｎ）、ｈｔｔｐ：／／ｗｗｗ．ｉｄｉｏｍ．ｃｏｍ／―ｚｉｌｌａ／Ｐａｐｅｒｓ／ｎｖｉｓｉｏｎＩｎｔｅｒｆａｃｅ／ｎｉｐ．ｈｔｍ、 ワルチ等の米国特許第５、２６７、３３２号、 ネトラヴァリ等の米国特許第４、６１１、３４７号、 ワトソンIII世の米国特許第４、８６８、８７１号、 １９７３年にＪｏｈｎ Ｗｉｌｅｙ ａｎｄ Ｓｏｎｓから出版されたＲ．Ｏ．デューダ等の「図形分類及び場面分析（Ｐａｔｔｅｒｎ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｎｄ Ｓｃｅｎｅ Ａｎａｌｙｓｉｓ）」、及び１９９２年にＡｄｄｉｓｏｎ−Ｗｅｓｌｅｙから出版されたＲ．Ｃ．ゴンザレツ等の「デジタル画像処理（Ｄｉｇｉｔａｌ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ）」第３版の中で論じられている。ルイス、ワルチ、ネトラヴァリ、ワトソン、デューダ及びゴンザレツは、引用によりここに組み入れる。
【０００６】
画像認識装置を用いる代わりに、ビデオの各フレームを手動によりマークすることもできる。しかし、ビデオの各フレームをマークすることは、非常に退屈で多くの時間がかかるものである。必要なことは、移動物体のマーキングに関し、求められる人的介入の程度を削減する新たな方法である。
【０００７】
（発明の開示）
本発明による方法は、リンクを用いてビデオクリップに注釈付けするステップを含む。（ビデオクリップは、アニメーションでもよく、ここでは、「ビデオ」はアニメーションを含む。）リンクは、ウェブページ又はその他の情報源へのリンク、又はアプリケーション・ソフトウェアへのリンクでもよい。一つの実施形態において、ビデオクリップ内のフレームの第１セットは、例えばビデオ編集装置を用いて注釈付けされる。この注釈付けステップ中に、各注釈付けフレームの一部が「活動領域」として指定される。このことは、該活動領域にカーソルを移動し、該活動領域内においてクリックした場合には、該活動領域と関連したリンクが実行されることを意味する。
【０００８】
活動領域は、具体的には、例えばコースを回りながらレースをする車、ある場面の俳優、コマーシャルに表示される商品、漫画キャラクター、又はその他の人物や物など、一つの物体の画像と関連する。従って、フレームへの注釈付けの間に、ビデオクリップに注釈付けをする者は、その物体と関連する活動領域の位置を設定する。（活動領域は、具体的には、問題となっている物体を取り囲む四角形又は円形の区画である。）
【０００９】
この方法において、ビデオクリップのすべてのフレームに注釈付けをすることは極めて厄介なことである。そのため、本発明では、フレームのサブセット（例えば、１０番目のフレーム毎）にのみ注釈付けをする。その他のフレームの活動領域の位置は補間によって設定される。該位置は、直線補間技術によって設定できる。もう一つの選択肢として、該位置はスプライン曲線補間技術など、曲線を作り出す補間技術によっても設定できる。
【００１０】
本発明による方法の別の実施形態において、フレームのサブセットは、例えば、一連のしたフレーム関し最初と最後のフレームのような２つのフレームが、手動により注釈付けされる。次に、ビデオ編集システムは、補間アルゴリズムに基づいてこれら一連の手動注釈付けフレーム間の各フレームに対して、活動領域の位置を計算する。引き続き、該システムはフレーム毎に、補間された活動領域の位置と、該活動領域が関連する物体の位置との間のズレを判定する。この計算は画像認識に基づくものである。画像認識は画像認識ソフトウェアによって実行可能である。或いは、画像認識はハードウェア及びソフトウェアの組み合わせによっても実行できる。（画像認識は又、ハードウェアによる実行も可能である。ハードウェアとソフトウェアとの間の分離は種々の方法で実行できる。）その後、該システムは、システムが最も大きな誤差を示していると判断したフレームを強調表示する。換言すると、該システムは、活動領域と該活動領域に関連する物体との間の距離が最大となるフレームを強調表示する。当業者であれば、選択した領域と該物体内の点との間の最大、最小、又は平均距離に基づいて、活動領域と該物体との間の距離を決めることができる。
【００１１】
一つの実施形態において、該システムは最大の誤差をともなうフレームにフラグを立てる。別の実施形態において、そのシステムは、ｎを整数としたとき、ｎ番目までの最大誤差をともなうｎ個のフレームにフラグを立てる。別の実施形態において、該システムは、誤差が一定の限界を超えているフレームのすべてにフラグを立てる。
【００１２】
その後で、ビデオクリップに注釈付けをする者は、フラグが立てられたフレームを確認し、それらフレームに手動による注釈付けを望むかどうかを決める。ビデオクリップに注釈付けをする者には、補間の再計算という選択肢もある。補間の再計算後にユーザは、手動注釈付けが求められるその他のフレームにフラグが立てられているかどうかを確認できる。
フラグ立ては、表示上にフラグが立てられたフレームを強調表示することにより、又は、その他の形式の出力インジケータを設けることにより達成することができる。
【００１３】
本発明の別の態様によれば、一つ又はそれ以上の観察者がビデオ信号を観察できるように、ビデオ信号は、一つ又はそれ以上のビデオ表示システムに送られる。ビデオ信号は多数の観察者に配信できる。ビデオ信号のフレームの幾つかについては、ビデオ信号に関連した一つ又はそれ以上の活動領域の位置が、一つ又はそれ以上のビデオ表示システムに通信されるが、ビデオ信号のその他のフレームについては通信されない。一つ又はそれ以上のビデオ表示システムは、補間によって、その他のフレームについて一つ又はそれ以上の活動領域の位置を判定する。このように、各々のフレームについて活動領域位置に関するデータをビデオ表示システムに提供する代わりに、このデータは、選択されたフレームについてのみ提供され、更に、ビデオ表示システムは、例えば直線補間技術又はスプライン曲線補間技術を用いた補間により、その他のフレームの活動領域がどこにあるべきかを計算する。ビデオ信号源が信号の各フレームに対して活動領域情報を提供する必要がないため、この情報を通信するための帯域幅条件は緩和される。
一つの実施形態において、活動領域の位置がこのようにして通信されるだけでなく、活動領域の大きさも又、この方法で同様に通信される。
【００１４】
本発明の別の態様によると、一組のフレームを含むビデオ信号が、フレームの幾つかについての活動領域の位置と共に通信され、それ以外のフレームについては通信されない。該活動領域は、それらフレームに表示された物体に対応する。該物体は、製品、人物、漫画キャラクター、又はビデオで表示することができるものなら何でも良い。上述したように、物体は、上記他のフレームに表示されているが、該他のフレームについては活動領域は通信されない。受信システムは、フレームの前記幾つかについての活動領域の位置に基づく補間によって、活動領域の位置を計算する。こうして、活動領域の位置を通信するための帯域幅条件が緩和される。
【００１５】
（発明を実施するための最良の形態）
図１は、編集機能をマークするための一般的なグラフィカル・ユーザ・インターフェース（「ＧＵＩ」）を図示した表示画面１００を示す。このようなインターフェースは、本発明による方法の実施に用いることができる。画面１００は、編集領域にある一連のいわゆるキーフレーム１０１ａないし１０１ｐを示す。当業界では周知のように、ビデオ画像は一連のフレームを含む。デジタルビデオの場合には、各フレームは画素配列に相当する。各画素は、フレームの小領域の色、輝度及び彩度に相当するデータ値である。ある種のビデオ圧縮又は暗号化方式においては、画素配列の全てをフレーム全てについて格納するのに代えて、ある「キー」フレームについてのみ画素配列全体を格納する。その他のフレームと先のキーフレームとの間における画像の相違を表わすだけのデータが、その他のフレームのために格納される。この方式を用いる圧縮技術の例はＭＰＥＧ−２（動画専門グループ標準２）である。
【００１６】
圧縮又は暗号化されていない線形的にデジタル化されたアナログビデオの場合には、ｎ番目毎のフレーム（例えば１０番目毎のフレーム）を（場面変化に対応するフレームと共に）キーフレームとして選択することができる。上述したように、画面１００は、一連のキーフレーム１０１ａないし１０１ｐを図示する。
矢印１０４ａないし１０４ｄは、画面１００に図示されるわけではない。むしろ、単に一連のフレームに時間的順序を象徴するために、矢印１０４ａないし１０４ｄが図１に含まれている。
【００１７】
画面１００は、キーフレーム１０１ａないし１０１ｐの一つを図示する区画１０６を含む。区画１０６の画像は、画面上の他の場所にあるキーフレーム１０１ａないし１０１ｐの図と比べて拡大されており、現在編集中のフレームを示す。図１の例では、キーフレーム１０１ｇが編集中である。このことは、フレーム１０１ｇに置かれたアイコン即ちマーク１０１ｇ’の存在によって示される。
通常、画面１００は、早送り、早戻し、新規ファイル等の機能のためのナビゲーションバー及びツールバーも示している。ディスプレイ１００を駆動するシステムは、ナビゲーションバー及びツールバーを維持するソフトウェアの駆動部を含む。これらナビゲーションバー及びツールバーは、簡略化のために図１には示されていない。
【００１８】
さらに画面１００には、物体の周りにある活動領域の形をユーザに選択させ、観察者がクリックできるようにするメニューボックス１０８が示される。図１には、その一部しか示されていないが、ボックス１０８は、編集機能に、活動領域について多数の異なる形の中から選択できるようにしている。上述したように、活動領域は、興味の物体（例えば自動車又は人物）が示されている画面上の位置である。その物体又は人物と関連する活動領域内でクリックすることにより、観察者が実際にその物体又は人物をクリックすることになる。
【００１９】
（観察者が最終的にビデオクリップを見るときは、活動領域が表示されていても、或いは表示されていなくてもよい。例えば、ビデオが表示されるシステムは、活動領域を強調表示してもよい。或いは、ビデオが表示される他のシステムは、活動領域を強調表示しなくてもよい。更に別のシステムにおいては、観察者が活動領域を強調表示するかどうかを決める選択権を有してもよい。）
【００２０】
図１を再び参照すると、ボックス１１０は、編集機能がリンク、具体的にはＵＲＬのようなリンクを画像に導入できるようにするメニューボックスである。しかし、所望のアプリケーション・ソフトウェアを起動する専用リンクを含む他の形式のリンクを設けることもできる。
図１から明らかなように、区画１０６は、頭部１１３が正方形１１４によってマークされ、リンクＬ１にリンクされた人物１１２を図示している。（正方形の形はメニューボックス１０８で選択され、リンクＬ１はメニューボックス１１０で選択されたものである。）正方形１１４は活動領域を表わす。ビデオ場面の動作中に、物体（例えば人物の頭部）は通常、制限された、急激な動きとならないように動く。（映画、テレビ番組又はその他のビデオを撮影中の適切なカメラ操作は通常、画面上の興味のどんな物体の急激な動きをも最小にすることを含む。又、急激な動きをする小さな物体は、たとえ近接しながら追随しても、注釈付きビデオを見るときに観察者が照準を合わせるのは難しい。）
【００２１】
正方形１１４は、人物１１２にリンクされた情報にアクセスしたい場合に、観察者がクリックするビデオ画面の活動領域を示す。例えば、ビデオがメロドラマであり、人物１１２によって演じられる役柄について更に詳しい情報を得たい場合には、観察者は、人物１１２をクリックし、具体的には、正方形１１４によって示される活動領域内にカーソルを置く。
ビデオ中は、人物１１２は通常、セットを動き回る。従って、活動領域１１４を画面のあちこちに動かすことが必要である。このことが必要となるのは、人物１１２がビデオ画面の左側から右側まで歩き、観察者が更に、人物１１２についてもっと見たいと思う場合に、人物１１２の現在の位置をクリックしたいと思うためである。
【００２２】
基本的に、人がビデオの各フレームに注釈付けを行い、活動領域１１４がどこに位置付けされるべきかを判断することはできるが、このことは極めて退屈で時間のかかる作業である。従って、この作業を簡素化することが望ましい。本発明によれば、フレームの幾つかは、適切な位置に活動領域１１４を置くことにより注釈付けがなされる。（このことは手動又は他の技術手段を介して実行できる。）その他のフレームは、下記の補間方法によって注釈付けされる。
【００２３】
図２は、開始フレームＡから終了フレームＤまでの一連のフレームの中の各フレームについて、ｙ方向に沿ったビデオ内の頭部１１３の位置を示す。点２０３は、場面開始時における頭部１１３の開始位置を表し、点２０４は、その場面の終了時における頭部１１３の終了位置を表す。線２０６は、その場面が進行するときに点２０３及び２０４間で頭部１１３が動く位置を追跡する。（ビデオ中に、例えば人物１１２がセットを動き回るときに、頭部１１３は位置を変える。）
線２０８は、２０３及び２０４の２点間に直線を設けることによって生じる直接的直線補間を示している。換言すると、手動により各フレームに注釈付けをするのではなく、活動領域１１４の位置は、２０３及び２０４の２点間で直線補間を実行することによって自動的に各フレームに挿入される。明らかなように、これは、必ずしもフレームの注釈付けの最も正確な方法というわけではない。手動による注釈付けが行なわれるフレームの数を多くし、手動による注釈付けが行われる各フレームの間で直線補間をすることによって、直線補間の精度を改善することができる。
【００２４】
図２は又、中間点２１６、２１８を示し、それぞれフレームＢ及びＣにおける頭部１１３の位置を示す。一つの実施形態において、活動領域１１４の位置は、例えばフレームＡ、Ｂ、Ｃ、Ｄのような一組のフレームについて（例えば目で見て）手動により挿入される。活動領域１１４の位置は、手動により活動領域１１４の位置に注釈付けされた各点間の直線補間によって設定される。このように、図２の線２２４、２２６及び２２８は、それぞれ点２０３と２１６間、点２１６と２１８間、及び点２１８と２０４間で、直線補間を行った結果である。
【００２５】
補間をより正確に行う方法は、フレームからフレームへの物体の位置を表す曲線を生成させる補間技術を用いる方法である。こうした技術の一例としてスプライン曲線補間がある。スプライン曲線補間を実行する際には、通常は、終了点及び１箇所又は２箇所の中間点だけが必要であり、スプライン曲線補間技術により正確にその物体を追跡することになる。スプライン曲線は、動作を滑らかにし、画像認識に見られがちなブレを排除する。
物体の位置をｙ方向に設定する必要があるだけでなく、ｘ方向にも設定する必要があることが分かるであろう。このように、本発明による方法の実施においては、活動領域の位置は、ｙ及びｘの両方向に対する補間によって設定されることになる。さらに、活動領域と関連する物体は、例えば、それがカメラに近づいたり、カメラから離れたりするため、ビデオ場面の進行中に拡大又は縮小することになる。従って、一つの実施形態において、活動領域１１４の大きさも１場面中の幾つかのフレームに対して手動の註釈付けがなされ、引き続いて、活動領域の大きさは、その物体の位置と同様の方法で補間される。
【００２６】
図３は、本発明の第１実施形態による方法を説明するブロック図である。図３を参照すると、その方法は、一群のビデオフレームをメモリーにロードすることから始まる（ステップ３０１）。メモリーは、磁気メモリー（例えば磁気ディスク、磁気テープ又は光磁気ディスク）とすることができる。メモリーは又、光ディスク又はＤＲＡＭ、ＳＲＡＭ、ＥＰＲＯＭ等の半導体メモリー、又は他の形式のメモリーでもよい。ビデオ情報は、アナログ方式又はデジタル方式のどちらでもよい。
【００２７】
その後、手動により、これらフレームの一部の組に註釈付けをする（ステップ３０２）。この手動註釈付けステップの間は、一連のフレームは通常、画面１００の区画１０１ａないし１０１ｐに表示され、一度に、それらのフレームの一つが、註釈付けのために選択可能である。選択されたフレームは、画面１００の区画１０６に表示される。活動領域の位置、大きさ及び形状は、註釈付けがされるフレーム内において設定され、次いで、該活動領域と関連するリンクが設定される。手動の註釈付けは、マウス、タッチパッド、ジョイスティック、トラックボール、カーソル・コントロール・キー、又はビデオ編集システムのその他の入力装置を用いて実行できる。このステップの間に、註釈に関する情報は、例えば下記で説明するように、メモリーに格納される。
【００２８】
手動により注釈付けがされないフレームについて、註釈付けは、補間によって行われる（ステップ３０３）。これは、以下のステップのいずれかによって行うことができる。
ａ）活動領域の位置に関する直線補間及び活動領域の大きさに関する直線補間、
ｂ）活動領域の大きさに変化のない活動領域の位置に関する直線補間、
ｃ）活動領域の位置に関するスプライン曲線補間及び活動領域の大きさに関するスプライン曲線補間、又は
ｄ）活動領域の大きさに変化のない活動領域の位置に関するスプライン曲線補間。
直線又はスプライン曲線補間の代わりに、その他の補間技術が使用可能である。例として、補間は以下の場合に可能である。
ａ）ビデオクリップにおける開始フレームと終了フレームとの間、又は
ｂ）手動により註釈付けされた各フレームから手動により註釈付けされた次のフレームへの補間。（具体的には、該クリップの開始及び終了フレームは、手動により註釈付けされるフレーム中にある。）
【００２９】
ブロック３０４を参照すると、補間が活動領域の位置に誤差を生む可能性がある。換言すると、物体の位置及び該物体に関連する活動領域の位置の間に差異が生じることがある。補間後、ビデオクリップに註釈付けした者は、画面１００の区画１０１ａないし１０１ｐの様々なフレームに関する活動領域の位置を目で確認することができる。フレームの一つが物体１１３の位置及び活動領域１１４間に大きな相違を示す場合には、ビデオクリップを編集する者は、そのフレームに手動により註釈付けを行い、更に手動により註釈付けを行っていないフレームに関しては、活動領域の全位置を編集システムに（例えば補間によって）再計算させる。
【００３０】
活動領域１１４の位置の設定後にビデオクリップに註釈付けする者は、ユーザ向けに提示されたリンク形式を選択する。ボックス型、円、楕円又はその他の形状のものを用いる代わりに、活動領域は、ロゴ（例えばＧＩＦファイル）、アニメ−ションの一つ（例えばアニメ化されたＧＩＦファイル）又はその他のビデオストリーム断片で表すことが可能である。（ＧＩＦはグラフィックス・インターチェンジ・フォーマットの頭文字である。）上述したように、活動領域は、註釈付けされたビデオクリップを後で確認するとき、任意に、目で見て示すことができる。
ブロック３０６を参照すると、補間の前後のいずれかで、ＵＲＬへのリンクを各活動領域に関連させることができる。このように、観察者が該活動領域をクリックすると、該ＵＲＬが呼び出される。上述したように、該リンクはＵＲＬに対するものである必要はない。それは、アプリケーション・ソフトウェア、又は特定のアドレスに格納された情報源へのリンクでもよい。
【００３１】
図４は、ビデオクリップをマークするために用いられるビデオ編集機能／プレーヤの一実施形態を図解するデータ・アーキテクチャである。このようなビデオ編集機能／プレーヤは、多数のビデオクリップを収納する大容量データ記憶装置４０６を含む。大容量データ記憶装置は、磁気ディスク、光磁気ディスク、光ディスク、半導体メモリー又はその他の形式のメモリー記憶装置でもよい。
一つ以上のビデオクリップ及び註釈ファイルが記憶装置４０６に格納されているが、簡略化のために図４においては、一つのビデオクリップ４２０ａだけが、一つの対応する註釈ファイル４２１ａと共に示されている。一つのビデオクリップにつき一つ以上の註釈ファイルが存在してもよい。註釈ファイルは、（公式として、又は予め決められたスプライン曲線型のセットに関連するものとして、いずれかの）スプライン曲線及びその関連パラメータ、リンク自体、及び活動領域のマーカの色や大きさ等のものを含んでいる。要素４５０は、テーブル又はデータベースであり、一連のフレームの各ビデオに関連する全ラベルを含み、かくしてビデオ提供用ディレクトリとして役立つ。そこには当然、映写に関する幾つかのデータベース及び註釈ファイルがあってもよく、階層構造において可能な限り体系化され、行われる編集によっては、それらはファイル４２０又は４２１の一部を共有してもよい。
【００３２】
一つの実施形態において、註釈付けの間に、データは、フレーム番号、活動領域の位置、その形状、その大きさ及び該活動領域に関連するＵＲＬ又はその他のリンクに対応するメモリーにロードされる。該データは、通常独立したファイルにあって、ビデオ信号と共に観察者に提供される。この情報は独立したデータ・ストリームとして観察者に提供可能である。観察者のビデオ表示システムは、フレーム番号を追跡し、各フレームについてそのフレームに対して設定された活動領域の一つの中に、カーソルが位置付けられているかどうかを判断する。
別の実施形態において、活動領域の位置、その形状、大きさ、及びリンクに関する情報が、ビデオ信号の一部として通信され、組み込まれる。この情報は、該信号の一つの空白時間の間に、又は通常使用されない信号がその他の区画にある間に、提供される。
【００３３】
（補間誤差が最小化又は修正化される実施形態）
図２に明らかなように、補間を用いてビデオ画面に活動領域を設定する場合には、マークされた物体の位置と該活動領域の位置との間に誤差が存在することがある。本発明の別の実施形態によると、こうした誤差は、下記の技術により減少即ち最小化することができる。
１．ビデオフレームの一群がメモリーにロードされる（図３のステップ３０１）。
２．ｎ個のフレームの第１の組が手動により註釈付けられる。但し、ｎは２よりも大きいか又は等しい（図３ステップ３０２）。ｎ個のフレームは、ビデオ配列において開始フレーム及び終了フレームとすることができる。
３．手動により註釈付けされていないビデオ順列内にあるフレームについて、活動領域の計測位置を設定するために補間が実行される（図３のステップ３０３）。補間は、直線補間により実行可能である。或いは、補間はスプライン曲線技術など、結果として曲線にする技術によることが可能である。上述したように、線又は曲線を生成するために幾つかの補間技術を用いることができ、ビデオクリップに註釈付けをする者が、その内から選択することができる。
４．手動による註釈付けがされていない各フレームについて、ビデオシステムは、活動領域と該活動領域が関連する物体との間の距離を計算する。（活動領域の位置は補間によって設定される。物体の位置は、例えば上述したような自動化された画像認識技術によって設定される。上で指摘したように、画像認識は正確な場合も、そうではない場合もある。）
５．システムは、活動領域１１４と該活動領域が関連する物体１１３とのの間の距離が最大であるフレームにフラグを立てる。システムは、こうした距離を示すフレーム（例えば一つ又はそれ以上のフレーム１０１ａないし１０１ｐ）を強調表示すること及びそれらのフレームにアイコン又はその他のマーカをつけることができ、又はユーザに対してこれらフレームを識別するための他の技術を用いることができる。ユーザは、これらのフレームを見て、活動領域が、実際に、その関連する物体から容認できない距離にあるかどうかを確認することができる。
６．ユーザがこの距離は容認できないと考える場合には、容認できない誤差を示しているフレームに手動により註釈付けすることができる（図３のステップ３０４）。
７．容認できない誤差を示しているフレームに手動により註釈付けをした後に、ユーザは、システムに、新たな手動註釈を含むデータに基づいて活動領域の位置を（例えば再び補間によって）再計算させることができる。
８．任意に、ユーザは、システムに新たに補間された活動領域の位置を取らせ、最大誤差を有するフレームのリストを別に設定させることができる。ユーザがこれら誤差を容認でき、又は画像認識誤差に関する単なる間違いの結果であると気付いた場合には、それらを無視することができる。
９．次に、活動領域の形状（及び任意に、視覚インジケータ）及びリンクを活動領域に関連付ける。
【００３４】
上述したように、図３のステップ３０４の間に、ユーザは、システムに、活動領域及び該活動領域と関連する物体の間の距離を計算させ、画面１００の区画１０１ａないし１０１ｐに示された容認できない誤差を有するフレームにフラグを立てさせることができる。該ユーザは、上述したように容認できない誤差を示しているフレームに手動により註釈付けすることができる。（この手順は、活動領域の（ｘ及びｙの両軸に沿った）位置及び大きさの両方を調整するために用いることができる。）
【００３５】
（活動領域に関する情報のテレビ観察者への通信）
ビデオフレームが活動領域に関する情報によりマークされた後に、その情報を観察者のビデオシステムに通信する必要がある。図５は、送信されるべきビデオプログラムを格納する区画５２０を内蔵する大容量データ格納装置５０６を含んだビデオ送信システム５００を図解している。該ビデオプログラムは、スポーツ競技、メロドラマ、教育番組、漫画及びその他のアニメーションなど、どのような形式の番組でもよい。又、大容量記憶装置５０６内には、註釈情報を有する区画５２１が含まれる。この註釈情報には、ａ）ビデオプログラムの様々なフレームに関連した幾つかの活動領域の位置、ｂ）それら活動領域の大きさ、及びｃ）それらの活動領域が関連するリンク、が含まれる。（該リンクはＵＲＬ方式でよい。）換言すると、註釈情報は、ビデオプログラムの特定のフレームにおいては、ビデオフレームの左上方部に位置する第１活動領域があり、その活動領域は、ある大きさを有するということを指示している場合がある。観察者がその活動領域をクリックしたならば、それにより、特定のウェブページへのリンクが起動されることになる。
【００３６】
大容量記憶装置５０６は、磁気ディスク、磁気テープ、光又は光磁気媒体、又はその他のデータ格納構造等、いかなる形式の大容量記憶装置でもよい。
大容量記憶装置５０６からの情報は、ビデオ信号を抽出し、そのビデオ信号を従来型送信装置５０４に送るデータ分離回路５０５に送信される。（データ分離回路５０５は通常、サーバである。）テレビシステム５０１は、ビデオ信号を受信する受信機５１１を含む。図５は、ビデオ信号が従来のテレビ無線信号として送受信されることを示す記号を含み、該ビデオ信号は、例えば電気ケーブル、光ケーブル、マイクロ波衛星通信、電話回線、インターネット、又はその他の信号通信技術等のその他手段により通信することができる。
【００３７】
註釈情報（例えば活動領域に関連するＵＲＬ情報を伴う該活動領域の位置及び大きさ）は、該ビデオ信号を通信する媒体と同じ、又は異なる通信媒体５０３を経由してテレビシステム５０１に通信される。このような通信媒体５０３は、従来型無線信号、電気ケーブル、光ケーブル、マイクロ波、衛星通信、電話回線、インターネット、又はその他の信号通信技術でもよい。
【００３８】
註釈情報は、前処理装置５１２によって受信される。前処理装置５１２は、そのデータが送信システム５００により提供されないそれらのフレームについて、補間技術を介して各フレームのそれぞれの活動領域の位置を計算する。一つの実施形態において、補間技術は、例えば図２に関して上述したように直線補間技術である。例えば、送信システム５００が、１０番目のフレーム毎に、活動領域のための位置を提供すると仮定する。図６は、それぞれ、点６００、６０１、６０２及び６０３で示されるフレーム０、１０、２０及び３０の活動領域のｙ座標の値を表している。直線補間技術を用いる場合に、活動領域のｙ座標は、線６０４、６０５及び６０６により設定されると仮定される。特定の点間に直線に代わって曲線を生成する技術など、その他の補間技術が使用可能である。例えばスプライン曲線補間技術を用いることができる。スプライン曲線計算パラメータによるスプライン曲線補間技術が用いられる場合には、活動領域のｙ座標は曲線６０７に沿ったものになると仮定される。
【００３９】
図６は、フレーム番号に対する活動領域のｙ座標を表している。同様の計算が活動領域のｘ座標、及び活動領域の大きさに対して実行される。（活動領域の大きさは、例えば活動領域と関連する該物体がカメラに向かってくるか、又はカメラから遠ざかって行くかによって、拡大又は縮小させることができる。）
【００４０】
図５を再び参照すると、前処理装置５１２は、ビデオ信号をビデオ表示装置５１４に送ることが分かる。前処理装置５１２は、ユーザ・インターフェースに接続されている。ユーザ・インターフェース５１３は、ユーザに、例えば活動領域の位置を示すマーカが画面上に表示されるかどうかなど、表示装置５１４に表示される画像に関する機能を操作できるようにする。ユーザ・インターフェース５１３は、次に、ユーザに様々な活動領域をクリックさせ、それと関連するリンクを起動させることができるようにする。
【００４１】
ユーザ・インターフェース５１３は通常、トラックボール、マウス、タッチパッド又はジョイスティック等の適切な操作手段を有する。このインターフェースは、観察者がどの物体をクリックしようとしているのかが分かるようにビデオ表示装置５１４上に目に見えるカーソルを位置付けるために用いられる。前処理装置５１２は、カーソルが活動領域上に位置付けられたかどうかを判定する。一つの実施形態において、前処理装置５１２はマイクロ・プロセッサ・システムを含む。
【００４２】
上述したように、本発明の一つの実施形態において、選択されたフレームの活動領域は、例えば手動による註釈システムを用いて設定される。活動領域は、ビデオフレームに表示される物体に関連する。この方法の実施中に、各活動領域の位置、大きさ及び形状は、ビデオクリップのフレームの一部（全部ではない）に対して設定される。ビデオクリップのその他のフレームについては、活動領域の位置及び大きさは、補間することによりフレーム間で設定される。一つの実施形態において、手動により註釈付けされたフレームの活動領域の位置及び大きさがビデオシステム５０１に通信される。その他の実施形態においては、現在位置及び大きさが通信されるフレームは、他の基準に基づいて選択される。例えば、１０番目毎のフレームについての活動領域の位置及び大きさを、受信ビデオシステム５０１に通信することができる。或いは、ビデオクリップのいわゆる「キーフレーム」に対してのみ活動領域の位置及び大きさを通信することができる。（上述したように、ある種のビデオ圧縮アルゴリズムは、ある種のキーフレームに対してのみ画素配列全体を通信する。その他のフレームについては、一つのフレーム及びその次のフレームの間の変化に対応する情報のみが通信される。キーフレームは、画素配列全体が通信されるフレームである。）
【００４３】
図５を再び参照すると、一つの実施形態において、ワーク・ステーション５５０が、ビデオ送信システム５００に接続できる。ワーク・ステーション５５０は、パーソナル・コンピュータ（「ＰＣ」）５５１及びローカルメモリー記憶装置５５２（例えばディスク）又は編集ソフトウェア５５３を内蔵するその他の非ローカル記憶装置（例えばサーバ）を含む。ワーク・ステーション５５０は、ビデオクリップに註釈付けするために用いられる。この例では、ワーク・ステーション５５０は通信回線５５４を経由してサーバ５０５に連結されているが、ワーク・ステーション５５０をサーバ５０５にネットワーク接続するために他の多くの方法を用いることができる。幾つかの実施形態においては、編集ソフトウェア５５３はサーバ５０５で動作できる。その他の実施形態において、ファイル（ビデオ及び註釈ファイルの両方）はローカルメモリー５５２に属することができる。
【００４４】
本発明は具体的な実施形態に関して説明してきたが、当業者であれば、本発明の趣旨及び範囲から逸脱することなく、変更が適切かつ詳細になし得ることが理解されるであろう。例えば、ビデオフレームの画素は、ＲＧＢ値によって格納できる。（ＲＧＢは、画素と関連する赤、青及び緑色の素子の値を指す。）或いは、画素値が、色、彩度及び輝度によって格納できる。画面１００及び／又はビデオ表示装置５１４は、ＣＲＴ画面及びＬＣＤ、プロジェクションディスプレイ、又はその他の適切な表示技術でもよい。様々な形式のビデオ編集／註釈付けシステムを用いて本発明の方法を実施することができる。補間は、マイクロプロセッサ又はシステム内にあるその他の計算装置によって実行できる。
【００４５】
本発明の方法は、ビデオクリップに一つそれ以上の活動領域を設け、又は受信するために用いることができる。
手動による補間を行うフレームは、異なる方法により選択することができる。例えば、一つの実施形態において、ｎ番目毎のフレームが手動により註釈付けされる、但しｎは整数である（例えば１０）。
補間及び編集を行うために選択される装置は、ビデオ編集及び／又は画像認識ソフトウェア・プログラムを実行する、表示画面を備えたマイクロ・プロセッサ・ベースのシステムでもよい。
【００４６】
一つの実施形態において、最初及び最後のフレームは、手動により註釈付けがされない。従って、このような実施形態においては、活動領域の位置及び大きさは外挿される。
ビデオ信号が観察者に送信されると、ビデオ及び註釈情報が共に、独立した信号として受信システム５０１に送られても、又は、それらは合成信号の一部として通信されてもよい。合成信号は、送信装置５０４によって、放送媒体を経由して提供可能である。或いは、合成信号は、例えば光、ケーブル、マイクロ波伝送、衛星伝送等の上記の通信媒体のいずれかを経由して提供可能である。
【００４７】
本発明の様々な態様は、互いに独立して実施できる。例えば、図１の註釈装置は、図５の信号通信装置を用いることなく使用できる。同様に、図５の通信装置は、図１から図４までに関する上記の方法以外の方法を用いて註釈付けされたビデオクリップと通信するために使用できる。従って、こうした変更の全ては、本発明の特許請求の範囲に含まれる。
【図面の簡単な説明】
【図１】 本発明によるビデオクリップに注釈付けするために用いられるビデオ編集機能／プレーヤの表示画面である。
【図２】 ビデオクリップの一連のフレームのフレーム番号に対するｙ方向に沿ったビデオ画面上の物体の位置を示す。
【図３】 本発明の第１実施形態による方法を説明するフロー図である。
【図４】 本発明によるビデオクリップをマークするために用いられるビデオ編集機能／プレーヤのデータ・アーキテクチャを示す。
【図５】 本発明の別の実施形態による信号送信システム及び受信表示システムのブロック図である。
【図６】 ビデオクリップの番号に対するｙ軸に沿った活動領域の位置を示す。

Claims (29)

1. ビデオ画像源からビデオ画像を前記ビデオ画像源から遠隔の位置で受信するステップと、
   一連のフレームとして前記ビデオ画像を、前記ビデオ画像源の位置から遠隔の位置にある表示装置上に表示するステップと、
   前記フレームの幾つかについて少なくとも一つのインタラクティブ領域の位置に対応する情報を、前記ビデオ画像源の位置から遠隔であり、前記少なくとも一つのインタラクティブ領域の位置に対応する前記情報の情報源からも遠隔である位置において受信し、前記フレームのうちの他のフレームについては受信しないステップと、
   前記ビデオ画像源の位置から遠隔の前記位置において、前記他のフレームのための前記少なくとも一つのインタラクティブ領域の位置をスプライン曲線補間により決定するステップと、を含むことを特徴とする方法。
2. 前記の決定するステップが直線補間によってさらに実行されることを特徴とする請求項１に記載の方法。
3. 前記少なくとも一つのインタラクティブ領域の大きさに対応する情報が、前記フレームの前記幾つかについて受信され、前記他のフレームについては受信されず、前記他のフレームについて前記少なくとも一つのインタラクティブ領域の大きさを決定するステップをさらに含むことを特徴とする請求項１に記載の方法。
4. 前記インタラクティブ領域がリンクと関連しており、前記リンクを起動させるステップをさらに含むことを特徴とする請求項１に記載の方法。
5. 前記リンクはインターネット・ページへのリンクであることを特徴とする請求項４に記載の方法。
6. 前記の表示するステップが表示画面に前記ビデオ画像を表示することを含み、前記の起動させることが前記表示画面の前記少なくとも一つのインタラクティブ領域をクリックすることを含むことを特徴とする請求項７に記載の方法。
7. 前記の前記ビデオ画像を受信するステップは、放送ビデオ画像を受信することを含み、前記表示するステップは、エンドユーザのビデオシステムによって実行され、前記決定するステップは前記エンドユーザのビデオシステムによって実行されることを特徴とする請求項１に記載の方法。
8. 前記フレームの幾つかについて受信し、前記フレームの他のものについて受信しない、前記少なくとも一つのインタラクティブ領域の位置に対応する前記情報は放送されるものであり、
   前記フレームの幾つかについて受信し、前記フレームの他のものについて受信しない、前記少なくとも一つのインタラクティブ領域の位置に対応する前記情報を受信する前記ステップは、前記放送を受信することを含むことを特徴とする請求項７に記載の方法。
9. 一組のビデオフレームを含み、前記一組のビデオフレームのうちの幾つかのフレームが、前記ビデオフレームのうちの前記幾つかのフレームについてインタラクティブ領域が設定されたという注釈付けがされているビデオクリップを第１の位置から、前記第１の位置から遠隔の第２の位置に通信するステップと、
   前記一組のビデオフレームのうち、前記幾つかのビデオフレームについて前記インタラクティブ領域の位置を前記第１の位置から前記第２の位置に通信し、前記一組のビデオフレームのうちの前記フレームの他のものについては通信しないステップと、
   前記一組のビデオフレームのうち、前記ビデオフレームの幾つかについて、前記ビデオクリップ及び前記インタラクティブ領域の位置を前記第２の位置で受信し、前記フレームの前記他のものについては受信しないステップと、
   前記ビデオフレームの前記他のものの内の前記インタラクティブ領域の位置を、前記第２の位置で、スプライン曲線補間により設定するステップと、
   を含むことを特徴とする方法。
10. 前記ビデオクリップは、前記第１の位置から前記第２の位置に第１通信媒体によって通信され、さらに前記インタラクティブ領域の前記位置は、前記第１の位置から前記第２の位置に前記第１通信媒体とは異なる第２通信媒体によって通信されることを特徴とする請求項９に記載の方法。
11. 前記インタラクティブ領域が、前記一組のビデオフレーム内の前記ビデオフレームの各々に示されている物体と関連していることを特徴とする請求項９に記載の方法。
12. 前記ビデオクリップを通信する前記ステップは、前記ビデオクリップを放送することを含み、前記一組のビデオフレームの内の前記ビデオフレームの前記幾つかについてであるが、前記一組のビデオフレームの内の前記ビデオフレームの他のものについてではない、前記インタラクティブ領域の位置を通信する前記ステップは、前記ビデオフレームの前記幾つかについて受信し、前記ビデオフレームの他のものについて受信しない、前記インタラクティブ領域の前記位置を放送することを含むことを特徴とする請求項９に記載の方法。
13. 前記ビデオクリップを通信するステップは、前記ビデオクリップをエンドユーザに通信することを含み、
    前記一組のビデオフレームの内の、前記ビデオフレームの幾つかについて受信し、前記ビデオフレームの他のものについて受信しない、前記インタラクティブ領域の位置の前記通信は、前記ビデオフレームの幾つかについて受信し、前記ビデオフレームの他のものについて受信しない、前記インタラクティブ領域の位置を前記エンドユーザに通信することを含むことを特徴とする請求項９に記載の方法。
14. ビデオ信号源からビデオ信号を受信するための受信機と、
    前記ビデオ信号に対応し、一組のフレームを含むビデオ画像を表示するための、前記受信機に接続されたディスプレイと、
    前記フレームの幾つかについて少なくとも一つのインタラクティブ領域の位置を示す情報を受信し、前記フレームのうちの他のフレームについては受信しない回路であって、前記フレームの前記幾つかについての前記少なくとも一つのインタラクティブ領域の位置に基づくスプライン曲線補間により、前記フレームの前記他のものについての前記少なくとも一つのインタラクティブ領域の位置を判定する回路と、を含み、
    前記受信機、前記ディスプレイ、及び前記回路は、前記ビデオ信号源及び前記情報の情報源から遠隔にあることを特徴とするシステム。
15. 前記ビデオ信号源から前記受信機、前記ディスプレイ、及び前記回路の位置に、前記フレームのうちの前記いくつかについて、前記ビデオ信号及び前記少なくとも一つのインタラクティブ領域の位置に対応する前記情報を送信し、前記フレームのうちの前記他のものについては送信しない送信システムをさらに含むことを特徴とする請求項１４に記載のシステム。
16. 前記受信機は、ビデオ放送を受信し、情報を受信する前記回路によって受信される前記情報は放送されることを特徴とする請求項１４に記載のシステム。
17. 前記システムはエンドユーザシステムであることを特徴とする請求項１４に記載のシステム。
18. 一組のフレームを含むビデオ信号を格納する記憶格納装置と、
    前記フレームのうちの幾つかについてはインタラクティブ領域の位置を格納し、前記フレームの他のものについてはそれを記憶しない記憶格納装置と、
    前記フレームのうちの前記幾つかについて前記ビデオ信号及び前記インタラクティブ領域の前記位置を送信し、前記フレームのうちの前記他のものについては送信せず、それによって、前記ビデオ信号及び前記フレームのうちの前記幾つかについての前記インタラクティブ領域の前記位置を、前記送信機を介して受信する、送信機から遠隔にあるシステムが、スプライン曲線補間により、前記フレームのうちの前記他のものについて前記インタラクティブ領域の位置を確定できるような前記送信機と、を含むことを特徴とする装置。
19. 前記送信機は、前記ビデオ信号、及び前記フレームの前記幾つかについてであるが、及び前記フレームの前記他のものについてではない、前記インタラクティブ領域の前記位置を放送することを特徴とする請求項１８に記載のシステム。
20. 前記装置から遠隔にある前記システムは、エンドユーザシステムであることを特徴とする請求項１８に記載のシステム。
21. ビデオクリップを格納する記憶装置と、
    前記ビデオクリップのフレームのうちの幾つかについてインタラクティブ領域の位置を設定し、前記ビデオクリップの他のフレームについては設定しない構成と、
    前記ビデオクリップの前記幾つかのフレームについて前記ビデオクリップ及び前記インタラクティブ領域の位置を遠隔の受信機へと送信し、前記ビデオクリップの前記他のフレームについては送信しない送信システムと、
    前記ビデオクリップを受信して表示し、前記他のフレームについて前記インタラクティブ領域の位置をスプライン曲線補間によって設定する受信装置と、を含むことを特徴とする装置。
22. 前記送信システムは、前記ビデオ信号及び前記インタラクティブ領域の前記位置を、前記フレームの前記幾つかについて放送し、前記フレームの他のものについては放送しないことを特徴とする請求項２１に記載の装置。
23. 前記送信システムは、エンドユーザに送信することを特徴とする請求項２１に記載の装置。
24. ビデオ画像を第１の位置で受信するステップと、
    一連のフレームとして前記ビデオ画像を、前記第１の位置にある表示装置上に表示するステップと、
    前記フレームの幾つかについて少なくとも一つのインタラクティブ領域の位置に対応する情報を、前記情報の情報源から遠隔である第１の位置において受信し、前記フレームのうちの他のものについては受信しないステップと、
    前記第１の位置において、前記フレームのうちの前記他のもののための前記インタラクティブ領域の位置をスプライン曲線補間により決定するステップと、を含むことを特徴とする方法。
25. 一組のビデオフレームを含むビデオクリップを第１の位置に通信するステップと、
    前記一組のビデオフレームのうち、前記幾つかのビデオフレームについてインタラクティブ領域の位置を前記第１の位置から遠隔にある第２の位置から前記第１の位置に通信し、前記一組のビデオフレームのうちの前記フレームの他のものについては通信しないステップであって、前記ビデオフレームの前記他のものについて前記インタラクティブ領域の位置を、前記第１の位置で、スプライン曲線補間により設定するものであるステップと、
    を含むことを特徴とする方法。
26. ビデオ信号源からビデオ信号を受信するための受信機と、
    前記ビデオ信号に対応し、一組のフレームを含むビデオ画像を表示するための、前記受信機に接続されたディスプレイと、
    前記フレームの幾つかについて少なくとも一つのインタラクティブ領域の位置を示す情報を受信し、前記フレームのうちの他のフレームについては受信しない回路であって、前記フレームの前記幾つかについての前記インタラクティブ領域の位置に基づくスプライン曲線補間により、前記フレームの前記他のものについての前記インタラクティブ領域の位置を判定する回路と、を含み、
    前記受信機、前記ディスプレイ、及び前記回路は、前記情報の情報源から遠隔にあることを特徴とするシステム。
27. 一組のフレームに対応するビデオ信号を格納する記憶格納装置と、
    前記フレームのうちの幾つかについてはインタラクティブ領域の位置を格納し、前記フレームの他のものについてはそれを記憶しない記憶格納装置と、
    前記ビデオ信号を送信する送信機と、
    前記フレームのうちの前記幾つかについて前記ビデオ信号及び前記インタラクティブ領域の前記位置を送信し、前記フレームのうちの前記他のものについては送信せず、それによって、前記ビデオ信号及び前記フレームのうちの前記幾つかについての前記インタラクティブ領域の前記位置を、送信機から遠隔にあるシステムが、スプライン曲線補間により、前記フレームのうちの前記他のものについて前記インタラクティブ領域の位置を確定できるような前記送信機と、を含むことを特徴とする装置。
28. 前記インタラクティブ領域の前記位置を送信するための前記送信機は、無線信号、電気ケーブル、光ケーブル、マイクロ波、衛星、電話線、又はインターネットによって前記位置を送信することを特徴とする請求項２７に記載の装置。
29. ビデオ信号を記憶するための前記記憶装置は、大容量データ記憶装置の第１の部分を含み、前記フレームの幾つかのものについてであるが、前記フレームの他のものについてではない、前記インタラクティブ領域の位置を記憶するための前記記憶装置は、前記大容量データ記憶装置の第２の部分であることを特徴とする請求項２７に記載の装置。

Images