JPH11509025A - 直流および動きの記号を用いた圧縮ｍｐｅｇ系列のビデオ検索 - Google Patents

Abstract

(57)【要約】 ＭＰＥＧもしくは動きＪＰＥＧの符号化切り抜きビデオからの記号は、輝度、色度および動きベクトルの各値に基づいて抽出される。かかる記号は、対応する位置、寸法および時間長の情報に沿ってデータベースに蓄積される。ＭＰＥＧもしくは動きＪＰＥＧの様式で符号化された問題の切り抜きビデオの記号が抽出される。この問題の切り抜きビデオの記号は、識別した問題の切り抜きビデオの記号に類似の記号を有する切り抜きビデオの共用データベースに蓄積した記号と比較される。ついで、その切り抜きビデオは、検索され、使用者の選択に応じて表示される。

Description

【発明の詳細な説明】 直流および動きの記号を用いた圧縮ＭＰＥＧ系列の ビデオ検索本発明の背景 本発明は、動き画像専門家集団（ＭＰＥＧ）符号化標準もしくは動き継目写真 専門家集団（ＪＰＥＧ）符号化標準を用いて符号化したビデオ画像の蓄積および 膨大なディジタル・ビデオ記録からの検索、特に、ＭＰＥＧもしくは動きＪＰＥ Ｇ圧縮ビデオからのビデオ系列記号の、直流係数および動きベクトルに基づいた 抽出および抽出した記号に基づくビデオの検索に関するものである。 ＭＰＥＧビデオ圧縮標準は、フイリップ・イー・マッチソン、ジョン・ワイリ ー等共著Ｃ番組例付実用ディジタル・ビデオ１９９６年、第１１章、３７３乃至 ３９３ページ、および、デイデイエル・レ・ギャル著ＡＣＭの通信１９９１年４ 月、第３４巻、第４号、４７乃至５８ページによる「ＭＰＥＧ：多媒質実施用ビ デオ圧縮標準（ＡＣＭ）」に記載されており、ＪＰＥＧビデオ圧縮標準は、クレ ゴリ・ケイ・ワレイス著ＡＣＭの通信１９９１年４月、第３４巻、第４号、３１ 乃至４４ページによる「ＪＰＥＧ静止画像圧縮標準」に記載されている。 動きＪＰＥＧ標準を用いて符号化したビデオ映像にも適用可能である本発明を 、ここでは、ＭＰＥＧ標準を用いて符号化したビデオ映像について説明する。 ＭＰＥＧは、情報処理産業で使用するための動き画像をディジタル的に符号化 するのに用いられる。この標準によれば、ビデオ映像をＣＤ−ＲＯＭ、磁気的蓄 積器およびランダム・アクセス・メモリ（ＲＡＭおよびＲＯＭ）に蓄積すること ができる。ＭＰＥＧ標準は、ビデオ映像を、ＩＳＤＮ、広域ネットワーク、局地 ネットワーク、インターネット、イントラネット等のネットワークを介して伝送 し得るようにする。 切抜きビデオもしくはビデオ流は、任意個数のビデオフレームもくしはビデオ 映像の系列である。切抜きビデオの一例は、テレビジョン・ニュースショウから 切抜いた映像群である。ＭＰＥＧビデオとして符号化され、もしくはＭＰＥＧ組 織層符号化を用いたＭＰＥＧ切抜きビデオは、本発明により抽出可能の記号を有 している。 ＭＰＥＧ標準では、色彩表現はＹＣｒＣｂ、すなわち、輝度と色度とを分離し た色彩方法である。Ｙは色彩の輝度成分であり、ＣｒＣｂは色彩の二つの色度成 分である。輝度の４画素毎に、Ｃｒの１画素とＣｂの１画素とが存在する。ＭＰ ＥＧ標準では、水平・垂直両方向ともに、輝度率の半分の割合で色度情報を副標 本化し、輝度画素の２×２ブロック毎にＣｒの１値とＣｂの１値とを与える。色 度画素群と輝度画素群とは、８×８画素ブロック（もしくはブロック）に構成さ れる。画素ブロックは、不連続余弦波（ＤＣＴ）処理を用いて周波数領域に変形 され、画素ブロックに対応した直流成分と交流成分とになる。 ＭＰＥＧ標準では、系列中の映像が、Ｉフレーム、Ｐフレーム、Ｂフレームも しくはＤフレームの４種類で表わされる。各映像は、各切片が若干のマクロブロ ックからなる切片群に分割される。切片は、典型的には隣接したマクロブロック 群である。 マクロブロックは、輝度画素の８×８ブロック４個と２色度（色）成分の８× ８ブロック各１個とを備えている。したがって、マクロブロックは、輝度画素の ８×８ブロック４個と２種類の色度係数画素毎の８×８ブロック１個とに対する ＤＣＴ係数を備えている。あるいは、マクロブロックは、ＢフレームもしくはＰ フレームについてのみ、前方動きベクトルもしくは後方動きベクトルを用いて符 号化することができる。あるフレームの前方動きベクトルは先行フレームに対す る動きに基づくのに対し、あるフレームの後方動きベクトルは後続フレームに対 する動きに基づいている。 映像切抜きビデオ内では、直流係数の値は先行直流係数に対して符号化され、 輝度に対する直流値は他の輝度値に対して符号化され、色度に対する直流値は他 の色度値に対して符号化される。 ＭＰＥＧ標準は、ＭＰＥＧ−ビデオ、ＭＰＥＧ−オーデイオおよび（ＭＰＥＧ −ビデオ、ＭＰＥＧ−オーデイオおよびこの二つが如何に相互作用しているかに 関する情報を合体させる）ＭＰＥＧ組織層符号化を備えて、価格効率のよいメモ によって動きビデオが扱われるようにする。 切抜きビデオを効率よく蓄積し、検索し、取扱い、伝送させる膨大なビデオ記 録の構築は、ビデオ解析、内容認知、ビデオ注釈および拾い読みなどの種々の技 術を必要とする。使用者にとって、最も重要な能力は、切抜きビデオの内容に基 づく効率のよい検索である。内容に基づく現在の検索方法は、主に、キーフレー ムの抽出もしくは本文の注釈に頼っている。 本文に頼るビデオ拾い読み方式は、キーワード注釈によってビデオ系列を検索 する。通常個別に蓄積される本文注釈は、全文検索方法もしくは自然語処理方法 を用いて索引を付けることができる。 ビデオ系列を表わすのにキーフレームを用いる拾い読み方式は、場面の境界を 検出して、あるフレームをキーフレームとして選ぶ、という考えに頼っている。 場面は、物語の一部を伝える少ない個数のビデオフレーム群である。最近の映画 は千個以上のカット（カットは場面間の変り目）を含んでおり、映画毎に数千フ レームを処理するのに判り易いビデオ検索プログラムを必要とする。当該ビデオ 内にあるものを知るには、使用者は、上述した拾い読み方式ではキーフレーム群 を試写しなければならない。 さらに、上述した拾い読み方式は、質問として切抜きビデオ全体を提示した際 に、切抜きビデオを表わすキーフレーム群の系列は問題とせず、切抜きビデオを 探すのに個々のキーフレームおよび動きを用いる。 拾い読みに替る検索方法は、ビデオ系列中の特別のフレームを表示することに より、使用者に特別のビデオ系列を眺めて選択させることである。この代替方法 は時間がかかる。発明の概要 したがって、本発明の目的は、本文の注釈に頼ることなく、ビデオ系列を検索 することである。 他の目的は、フレーム間の動きを考慮して、代表的フレームの記号を用いるこ とにより、ビデオ系列を検索することである。 他の目的は、ＤＣＴ係数の直流成分と動きベクトルとに基づき（本発明により 抽出した記号はＤＣ＋Ｍ記号と呼ぶ）、ＭＰＥＧ符号化標準を用いて、ディジタ ル符号化した切抜きビデオから記号を抽出することである。 他の目的は、ビデオ単位の膨大なデータベースから急速、高効率で切抜きビデ オを検索することである。 他の目的は、データベース切抜きビデオと問題の切抜きビデオとの記号群を用 いて、問題の切抜きビデオに類似した切抜きビデオを局地もしくは遠隔地のデー タベースから検索することである。 さらに他の目的は、動きＪＰＥＧ圧縮ビデオおよびＭＰＥＧ圧縮ビデオの切抜 きビデオを記録することである。 付加的目的は、動きＪＰＥＧもしくはＭＰＥＧ以外の符号化標準を用いて、以 前に符号化した切抜きビデオを動きＪＰＥＧ乃至ＭＰＥＧの様式に再符号化し、 それから記号群を抽出して蓄積することである。 他の目的は、切抜きビデオを問題として取上げ、類似内容の切抜きを求めてデ ータベースを探査し、編集、放送ニュース検索および著作権侵害判定の目的で、 長文のビデオからの切抜きの検索を容易にする検索方法である。 本発明においては、動きＪＰＥＧを用いて符号化した切抜きビデオは、全フレ ームが内部符号化したフレームである（ＰフレームもしくはＢフレームは含まれ ず、全フレームがＩフレームである）ＭＰＥＧビデオ流と考えられる。ＭＰＥＧ 符号化標準を用いて符号化した切抜きビデオでは、型通りに直流成分および動き ベクトルが判定される。動きＪＰＥＧの場合には、問題の切抜きは、一連のＪＰ ＥＧフレームである。本発明において、動きＪＰＥＧを用いて符号化した切抜き ビデオでは、上述した記号は、動き情報を用いることなく、直流色情報（ＤＣＴ 係数の直流成分）のみを用いている。直流色情報は型通りに判定される。 さらに、切抜きビデオの記号（以後切抜きビデオ記号と呼ぶ）は、当該切抜き ビデオ内の代表的ＭＰＥＧフレームから抽出した記号の系列（以後フレーム記号 と呼ぶ）によって表わされる。フレーム記号は、各フレーム内の一対の窓に対応 した直流成分および動きベクトル成分を備えている。したがって、抽出された記 号は、ＤＣ＋Ｍ記号と呼ばれる。ＤＣ＋Ｍ記号抽出方法では、各切抜きビデオは 、一連のフレーム記号によって表わされ、そのフレーム記号は、符号化されたビ デオ対象物もしくは切抜きよりも蓄積場所を要しない。このＤＣ＋Ｍ方法は、Ｍ ＰＥＧフレームからの直流係数および動きベクトルがＭＰＥＧフレームを完全に 復 号することなく抽出されるので、迅速である。記号が実時間で抽出されるのに対 して、切抜きビデオは、ＭＰＥＧ様式に符号化されつつあり、もしくは、ＭＰＥ Ｇ符号化された切抜きビデオは少なくとも部分的に復号されつつある。 切抜きビデオの記号が抽出されてしまうと、ビデオ検索は、切抜きビデオ（問 題の切抜きビデオ）の記号を切抜きビデオ群（データベースの切抜きビデオ群） のデータベースに蓄積した記号と比較する。２種類の切抜きビデオは、記号の系 列として比較される。この比較は、切抜きビデオ・データベース内の各切抜きビ デオについて行なわれ、問題の切抜きビデオの記号とデータベース切抜きビデオ の記号との整合もしくは類似性の程度について記録もしくは得点が保持される。 その類似性は、２種類の切抜きビデオの記号相互間のハミングによる距離尺度に 基づいている。 したがって、使用者は、その得点に従って見るべき切抜きビデオの何れか、も しくは全部を選択することができる。系列内における記号の順位は、切抜きビデ オ内のフレームの順位に基づいている。記号の順位は、本発明におけるビデオの 時間的性質を表わす基礎として用いられる。 かかる目的および利点は、引続いて明らかになるものとともに、つぎのように 同一部分には同じ番号を付してその一部をなす添付図面を参照して以下に説明し 、請求する構成および作用の詳細に存する。図面の簡単な説明 図１は、記号抽出の概観である。 図２は、記号比較の概観である。 図３は、ビデオ検索用システム構成のブロック線図である。 図４は、ビデオフレーム内の窓の対からの記号抽出の線図である。 図５は、マクロブロックの構成を示す線図である。 図６は、記号内のビット群の取出しを説明する線図である。 図７は、記号ビット群の構成を示す線図である。 図８（Ａ）および８（Ｂ）は異なる寸法の映像における窓の位置を示す詳細線 図である。 図９は、窓の位置を示し、直流を計算するためのフローチャートである。 図１０は、記号抽出および記録保存を示すフローチャートである。 図１１（Ａ）、１１（Ｂ）、１１（Ｃ）および１１（Ｄ）は、検索過程におけ るデータベース切抜きビデオ内のフレーム群と問題の切抜きビデオ内のフレーム 群との比較の例をそれぞれ示す。 図１２は、使用者インターフェース上に表示されたとおり検索された問題の切 抜きビデオとデータベース切抜きビデオとの実例を示す表示である。好適実施例の説明 本発明には、つぎの二つの主要面がある。 （１）記録および記号の抽出、および （２）記号を用いた切抜きビデオの検索。 記録および記号抽出は、切抜きビデオの記号を抽出し、ビデオ系列の抽出した 記号をデータベースに蓄積することを指す。検索は、（他の類似の切抜きビデオ が識別されるべき切抜きビデオと使用者によって指示された切抜きビデオである ）問題の切抜きビデオから記号を抽出し、ついで、その問題切抜きビデオ記号を データベースからの切抜きビデオ群を表わす記号と比較することを指す。 記号を抽出すべき切抜きビデオは、少なくとも部分的にＭＰＥＧもしくは動き ＪＰＥＧ標準を用いて符号化されなければならない。かかる符号化は、（切抜き ビデオがＭＰＥＧ符号化を施されている場合には）量子化、ランレングス符号化 およびホフマン符号化を行なうことなく、少なくとも直流係数および動きベクト ルを有するレベルになければならない。さらに、切抜きビデオは、ホフマン復号 を施され、ランレングス復号を施され、量子化復元を施され、（ＭＰＥＧ符号化 を施されている場合には）ＤＣＴ係数および動きベクトルを有していることを意 味して、少なくとも部分的には復号されていなければならない。動きベクトルは 、少なくとも部分的にＭＰＥＧ符号化標準を用いて符号化され、もしくは、復号 された切抜きビデオ内にのみ存在する。少なくとも部分的に動きＪＰＥＧ符号化 標準を用いて符号化もしくは復号された切抜きビデオについては、動きベクトル は存在しない。 図１は、切抜きビデオからの代表的フレーム群の記号の抽出の概観のフローチ ャートを示すものである。図１を参照すると、データベースに蓄積された切抜き ビデオ記号系列のすべてについて一定している選択された窓対の位置および寸法 は、ステップ１００で入力される。各フレーム内の窓対の正確な位置は、予定さ れており、記号が抽出されつつある切抜きビデオ内の各フレームに対して固定さ れている。 ステップ１０１では、切抜きビデオが受信され、その切抜きビデオの始点およ び終点が決められる。ステップ１０２は、切抜きビデオが、少なくとも部分的に ＭＰＥＧもしくは動きＪＰＥＧの符号化標準を用いて符号化されているか、全然 符号化されていないか、他の符号化標準を用いて符号化されているかを判定する 。切抜きビデオが、全然符号化されていないか、非ＭＰＥＧ符号化標準を用いて 復号化されている場合には、その切抜きビデオが、ステップ１０４で、少なくと も部分的にＭＰＥＧ標準を用いて符号化される。 記号が抽出されるべきフレームは、ステップ１０３で判定される。記号は必ず しもフレーム群全部から抽出されるものではない。 記号が抽出されるべきフレーム群が一旦決定されると、選択された窓位置で選 択されたフレーム群に対する直流係数および動きベクトルがステップ１０５で抽 出される。 ステップ１０６では、直流係数の値相互間の質的差に対応するビット群と、窓 対の各窓相互間の動きベクトル（ＤＣ＋Ｍ記号）相互間の質的差を示すビット群 とが決定される。ステップ１０７では、フレーム内の各窓対に対する前述のＤＣ ＋Ｍ記号のそれぞれを連鎖させることにより、フレームの記号が形成される。ス テップ１０８では、切抜きビデオの記号（切抜きビデオ記号）が、代表的フレー ム群の記号の系列によって表わされる。 切抜きビデオの記号が一旦抽出されると、その記号は、他の切抜きビデオの記 号群を含んだデータベースに蓄積される。フレーム内の窓の配置によって複数の 記号が特定の切抜きビデオから抽出されることがある。したがって、そのデータ ベース内の他の記号と同じ構成配置に位置した窓を有する記号をそれぞれ蓄積す る複数の記号データベースもあり得る。 問題の切抜きビデオの記号が抽出された後に、上述のようにして得た記号を蓄 積したデータベースは、問題の切抜きビデオに類似した切抜きビデオの位置をそ の記号に基づいて探索される。その探索方法は、類似の程度に応じ、切抜きビデ オの位置を求めて検索するように調整することができる。 図２は、問題の切抜きビデオの記号と他の切抜きビデオの記号との整合の判定 の概観を示したものである。 まず、ステップ２０１では、問題の切抜きビデオが判定され、少なくとも部分 的にＭＰＥＧ符号化標準を用いて符号化される。問題の切抜きビデオの記号は、 図１の過程に従って抽出される。 ステップ２０２では、データベース切抜きビデオに対応する記号が、問題の切 抜きビデオの記号との比較のために選択される。したがって、局部データベース に蓄積された任意の代表的フレームの記号が比較のための最初の記号となること がある。 ステップ２０３では、可変の最小得点がフレーム記号＋１から始まる。本発明 の好適実施例におけるフレーム記号の長さは１２８である。したがって、最小得 点の値は１２９の値から始まり、この値は、問題の切抜きビデオから抽出した記 号系列とデータベース切抜きビデオから抽出した記号系列との間のハミング距離 尺度に対して可能な最大値よりも大きい。以下のステップ２０８に示すように、 問題の切抜きビデオ記号系列と所定のデータベースについて計算したデータベー ス切抜きビデオ記号系列との間の最小総合ハミング距離尺度の値を最小得点が蓄 積する。 ステップ２０４では、問題の切抜きビデオの代表的フレーム記号と、問題の切 抜きビデオに比較される切抜きビデオからの代表的フレーム記号との間のハミン グ距離尺度の全体を蓄積する変数が始まる。ステップ２０４では、問題の切抜き ビデオのフレーム記号とデータベース切抜きビデオのフレーム記号との間でなさ れる比較の数を計数する変数も始まる。 ステップ２０５では、代表的フレームのフレーム記号である問題の切抜きビデ オ記号からの参加は、データベース切抜きビデオ記号からの参加に対応して配置 される。かかる参加は、代表的フレームのフレーム記号となる。さらに、各切抜 きビデオからの参加の系列は、まとめて、切抜きビデオに対する記号系列と呼ば れる。 問題の切抜きビデオ記号からの最初の参加は、データベース切抜きビデオ記号 からの最初の参加に対応して配置される。さらに、問題の切抜きビデオ記号とデ ータベース切抜きビデオ記号とのそれぞれからの参加は互いに対応して配置され る。記号系列内のフレーム記号の位置は、フレーム記号が抽出される切抜きビデ オ内のフレームの位置とは、必ずしも同じではない。 ステップ２０６では、問題の切抜きビデオ記号系列内の任意のフレーム記号と 問題の切抜きビデオ系列からの任意のフレーム記号に対応するデータベース切抜 きビデオ記号系列内の３個までのフレーム記号との間で比較が行なわれる。切抜 きビデオにおける前方向と後方向とのいずれかでの、問題の切抜きビデオ記号系 列とデータベース切抜きビデオ記号系列との参加相互間の食い違いもしくはずれ を考慮して、（任意数のうち）１フレームの距離が比較の際に許されるのが好適 である。前方向もしくは後方向における１フレームより大きい距離が選択された 場合には、問題の切抜きビデオ・フレーム記号が３個以上のフレーム記号と比較 されることもあり得る。 ステップ２０７では、問題の切抜きビデオの記号から、データベース切抜きビ デオ内の対応するフレームの記号までのハミングによる距離尺度が、ステップ２ ０４乃至２１０の現下の繰返しによって決定される。この距離変数は、したがっ て、行なわれる比較の回数に伴って更新される。ずれ毎に、比較されるフレーム 相互間の全ハミング距離尺度の「得点」が１回記録される。 したがって、ステップ２０８では、「得点」の値が最小得点の値より低い場合 に、「得点」の値が最小得点に蓄積される。 データベースは、典型的には、問題の切抜きビデオ記号以上の参加を含んでい る。したがって、問題の切抜きビデオからの記号系列は、切抜きビデオ毎にフレ ーム群の系列を保持して、データベース切抜きビデオからの参加の各系列と比較 される。これは、まず、記号系列毎に最初の参加を互いに対応させて配置し、つ いで、比較を行なうことによって達成される。したがって、問題の切抜きビデオ におけるフレーム記号の全系列が一参加だけずれ、かかる比較が繰返される。こ のずれは、問題の切抜きビデオ記号系列からのフレーム記号の系列が、データベ ースにおける参加の対応する系列と比較されるまで繰返される。 ステップ２０９では、問題の切抜きビデオ記号系列が、選択されたデータベー ス切抜きビデオ記号に対する各データベース・ビデオ記号系列と比較されている か否かが判定される。しからざる場合には、ステップ２１０で、問題のビデオ記 号系列が、データベース・ビデオ記号系列に対して１参加分だけずれて、次の繰 返しに対するステップ２０４に制御が戻される。 ステップ２０９では、問題のビデオ記号系列が、選択されたデータベース切抜 きビデオ記号に対する各データベース記号系列と比較されている場合に、ステッ プ２１１を実行する。 ステップ２１１では、最小得点に蓄積された値が、各データベース切抜きに対 応する最小得点の参加を蓄積する得点表に挿入される。 データベースに蓄積されたデータベース切抜きビデオ記号系列が、全て、問題 の切抜きビデオ記号系列と比較されたか否かが、ステップ２１２で判定される。 しからざる場合には、ステップ２１３で、次のデータベース切抜きビデオ系列 が選択され、ステップ２０３乃至２１２が繰返される。 データベース切抜きビデオ記号系列が全て比較されてしまうと、図２の処理が 完結する。 問題の切抜きビデオ記号とデータベース切抜きビデオ記号との類似性は、かか る切抜きビデオ記号相互間のハミング距離尺度を差引いた記号内のビット数とし て判定される。 ハミング距離が小さい場合には、２種類の切抜きビデオ記号相互間の類似性は 高い。したがって、データベース切抜きビデオ記号が問題の切抜きビデオ記号に 対する類似性にそれぞれ基づいて順位づけされる場合には、データベース切抜き ビデオ記号は、類似性の減少する順に配置される。２種類の切抜きビデオ相互間 の類似性が高いほど、かかる２種類の切抜きビデオが外見上近接していることが 示される。 他方、データベース切抜きビデオ記号が問題の切抜きビデオ記号からのハミン グ距離にそれぞれ基づいて順位づけされる場合には、データベース切抜きビデオ 記号は、ハミング距離の増大順に配列される。ハミング距離が小さいほど、外見 上近接していることが示される。 図３に示すビデオ記号抽出・蓄積系８は、サン作業場やペンチウム台パーソナ ル・コンピュータなどのコンピュータによって構成するのが好適である。この抽 出蓄積系８は、ビデオ源１０、ビデオ情報検索系１８および使用者インターフェ ース３２を含んでいる。 ビデオ源１０は、種々の信号源からの切抜きビデオを受取ることができる。切 抜きビデオは、ＭＰＥＧビデオ奉仕器１２により、ＭＰＥＧもしくは動きＪＰＥ Ｇの様式ですでにディジタル符号化されている。さらに、切抜きビデオは生ビデ オ源１４が提供する生ビデオから提供され、ＭＰＥＧもしくは動きＪＰＥＧの様 式、もしくは、ネットワーク信号源１６が提供するＭＰＥＧ以外の様式で符号化 される。 各信号源１２，１４および１６は、切抜きビデオを提供するが、図３には示し てない他の信号源にそれぞれ対面することがある。ＭＰＥＧビデオ奉仕器１２に 対面する代表的信号源はインターネットであり、ｆｔｐ領域に沿ってユニックス 作動系を駆動するコンピュータ上のｆｔｐ位置、もしくは、ｈｔｍｌ文書要求を 待つｈｔｔｐ奉仕器を駆動する種々のＷｅｂ位置に切抜きビデオを蓄積する。 ビデオ源１０は、ビデオ情報検索系１８に切抜きビデオを供給し、切抜きビデ オがＭＰＥＧビデオ奉仕器１２からの場合には、さらなる符号化は不必要である 。 生ビデオ源１４が切抜きビデオを提供する場合には、記号系列が抽出される前 に、ＭＰＥＧ符号化標準を用いて切抜きビデオを圧縮しなければならない。 切抜きビデオがネットワーク源１６によって提供される場合には、切抜きビデ オがＭＰＥＧ様式以外の様式で符号化されていることもあり、したがって、記号 系列の抽出が起る前に、例えばビデオブリッジにより、ＭＰＥＧ符号化標準を用 いて部分的に再符号化されなければならない。符号化には、従来のコンピュータ のハードウエアおよびソフトウエアを用い得る。 ビデオ情報検索系１８においては、本文・記号抽出処理２０が各切抜きビデオ の記号を抽出する。 そのうえに、処理２０は、ＭＰＥＧビデオ奉仕器１２から受信した切抜きビデ オの抽出したＤＣ＋Ｍ記号を共同データベース２２に蓄積する。共同データベー ス２２は、他のデータ（すなわち、切抜きビデオの記号および他の説明的データ ） を表わすデータが蓄積されるので、「共同データベース」と呼ばれる。処理２０ は、任意のユニックス台コンピュータ、パーソナル・コンピュータ、もしくは、 他の台上にソフトウエアにより設けることができる。処理２０は、ＭＰＥＧ符号 化器もしくはＭＰＥＧ復号器のハードウエア装填台の一部とすることもできる。 他方、処理２０が生ビデオ源１４から生ビデオを受信した場合には、処理２０ は、従来のようにして、ＭＰＥＧ符号化標準を用いて生ビデオを圧縮もしくは部 分器に圧縮し、圧縮したＭＰＥＧ切抜きビデオからＤＣ＋Ｍ記号を抽出し、さら に、抽出した記号を共同データベース２２に蓄積する。ネットワーク源１６が切 抜きビデオを伝送した場合には、処理２０は、切抜きビデオをＭＰＥＧ様式に再 符号化し、再符号化したＭＰＥＧ切抜きビデオからＤＣ＋Ｍ記号を抽出し、その 記号を共同データベース２２に蓄積する。 切抜きビデオの（フレーム記号を備えた）抽出記号に沿って、本文記号抽出処 理２０は、対応する切抜きビデオを蓄積する位置、バイトで表わす切抜きビデオ の寸法、切抜きビデオの時間長および切抜きビデオの表題などの他の識別情報を 共同データベースに蓄積する。フレーム記号を抽出するフレーム群は、代表的フ レームと呼ばれる。 図３では、副検索系２４が、類似の切抜きビデオの記号、について共同データ ベース２２を探査するために、問題の切抜きビデオから抽出した記号を用いる。 副検索系２４は、類似性計算処理２６、順位処理２８および送達表示処理３０を 含んでいる。 類似性計算処理２６は、問題の切抜きビデオの記号と共同データベース２２に 蓄積した切抜きビデオの記号との「類似性」を判定する。順位処理２８は、記号 が共同データベース２２に蓄積されている切抜きビデオの順位を判定する。これ には「類似性」尺度を用いる。 送達表示処理３０は、記号が共同データベース２２に蓄積されている切抜きビ デオを表示するための指針を含んでいる。切抜きビデオがインターネット上の遠 隔Ｗｅｄ位置に蓄積されている場合には、送達表示処理３０は、切抜きビデオの インターネット節点および遠隔ファイル系上の位置を追跡する。 処理２６、処理２８および送達表示処理３０は、それぞれ、ソフトウエア・プ ログラムもしくはハードウアもしくはファームウエアとすることができる。 使用者インターフェース３２は先端ソフトウエアであり、使用者が切抜きビデ オを提出して、探査結果を表示し得るようにした、ＶＩＳＵＡＬＣ＋＋やＶＩＳ ＵＡＬ ＢＡＳＩＣのような展開キットを用いて書き表わすことができる。本発 明の使用者インターフェース３２の一例が図１２に示されている。 記号系列の抽出はつぎのとおりである。 各フレーム記号は、ＭＰＥＧ符号化された切抜きビデオから抽出された記号に ついて１２８ビットで表わされるのが好ましい。（動きＪＰＥＧ符号化された切 抜きビデオから抽出した記号については、以下に説明するように、各フレーム記 号を９６ビットで表わす。）しかしながら、かかるビット数は、切抜きビデオの 記号に望ましい分解能もしくは感度に応じて、使用者により変えられる。そのう えに、記号は、切抜きビデオの各フレーム、切抜きビデオの他の各フレーム等に 対して１２８ビットを含み得る。 切抜きビデオは、ビデオフレームの系列、すなわち、｛ｉ₀，…，ｉ_n｝と考え ることができる。切抜きビデオは、かかるフレーム｛ｉ₀，…，ｉ_n｝の副組によ っても表わすことができる。記号を抽出するフレームである代表的なフレームは 、ＭＰＥＧフレーム・パターンに基づき、もしくは、光景変換から抽出したキー フレームを用いて選択することができる。各フレームは、窓対の直流係数および 動きベクトルに基づく記号を用いて表わされる。 本発明においては、切抜きビデオは、つぎのようにして索引をつけることがで きる。 １．ＤＣ＋Ｍ記号を取出すのにＩフレームを用いる。この方法は、キーフレー ムの抽出を必要としない。しかしながら、発生した索引は大きくなり、検索時間 は長くなる。もしくは、 ２．基本的にキーフレームを用いる。長い光景をもったビデオ長の場合には、 この方法で処理するフレーム数が少なくなる。 ＤＣ＋Ｍ記号は、局地的なＤＣ＋Ｍ記号が全体的ＤＣ＋Ｍ記号となる。局地的 ＤＣ＋Ｍ記号は、フレーム記号とも呼ばれ、特殊なフレームおよび近傍のフレー ム群から、その特殊なフレームが属するフレーム群の前後の関係の増大を考慮す ることなく取出した記号である。 局地的ＤＣ＋Ｍ記号および全体的ＤＣ＋Ｍ記号については、フレーム記号の直 流成分が同様にして抽出される。しかしながら、記号の動きビット群が、局地的 ＤＣ＋Ｍ記号と全体的ＤＣ＋Ｍ記号との間で相違している。動きビット群は、フ レームに組合わされた動きベクトルが零であるか、非零であるかを表わす。代表 的フレームの局地的ＤＣ＋Ｍ記号については、これは、代表的フレームとその代 表的フレームを直接に取囲むフレーム群との間の動きに適用される。しかしなが ら、代表的フレームの全体的ＤＣ＋Ｍ記号については、動きビット群は、代表的 フレームとその代表的フレームから数フレーム離れたフレーム群との間の動きに ついて、動きベクトルが零であるか、非零であるかを示す。動き記号は、典型的 には、局地的ＤＣ＋Ｍ記号内の窓対毎の２ビットによって表わされる。 また、キーフレーム位置は、記号を抽出するための代表的フレームとして用い 得る。記号の発生は、キーフレームの位置に懸っている。 １．キーフレームがＩフレームであれば、直流係数は、そのＩフレームから取 られるとともに、余分の処理を要せずに、引続くＢもしくはＰのフレームからの 対応する動きベクトルからも取られる。 ２．キーフレームがＢフレームであれば、記述フレームはＤＣＴ係数を得るも のと考えられる。直流係数は、先行するＩもしくはＰフレーム、あるいは、将来 のＩもしくはＰフレームにおけるそれぞれのマクロブロックから抽出される。現 下のフレームにおける動きベクトルは動きベクトルを取出すのに用いられる。さ らに、 ３．Ｐフレームについては記号抽出処理が１フレーム先行する。先行フレーム 内の輝度ブロックおよび色度ブロックの多くは、内部符号化され（すなわち、ブ ロック群が含まれるマクロブロックに関する全情報がそこに含まれていて、動き ベクトルを用いることなく、ＤＣＴ係数のみによって表わされ）、直流係数の抽 出を単純化する。直流係数を抽出するには、先行基準フレーム（Ｉフレームもし くはＰフレームとなる）のそれぞれのマクロブロックからの直流係数が設定され る。フレーム記号の動きビット群を得るには、Ｂフレームからの動きベクトルが 用いられる。次のフレームがＩフレームであれば、最近の将来のＢもしくはＰフ レームからの動きベクトルが動き記号に対して用いられる。したがって、キーフ レームがＰフレームであれば、フレーム記号は、直流係数および上述のフレーム 群に組合わせた動きベクトルから抽出される。 キーフレームの位置が予め知られていない場合には、記号抽出には切抜きビデ オ内のＩフレームを用いることになる。 全体的ＤＣ＋Ｍ記号は、フレーム記号とも呼ばれ、ＭＰＥＧ標準で符号化され たビデオ場面内もしくはフレームパターン内の一連のフレーム群について、フレ ームから抽出される。全体的ＤＣ＋Ｍ記号については、記号の直流成分が、以下 に詳述するように、局地的ＤＣ＋Ｍ記号の場合と同様にして抽出される。記号の 動き部分は、次のＩフレームに達するまで、もしくは、切抜きビデオ内の多数の フレーム群の副組に亘って窓対に対応するマクロブロックを追跡することによっ て決定される。ついで、窓対の相対的動きに対する質的説明が計算される。この 場合、動き記号は、窓対毎の２ビットより長くなり得る。動き記号は、切抜きビ デオ内の多数のフレーム群の副組に亘って窓対の各窓相互間の関係を反映してい る。 本発明における記号は、図４に示すように、窓対相互間の関係から取出される 。各映像フレーム４０について、各窓対が記号の一部にそれぞれ対応する多数の 窓対が選択される。したがって、窓対の個数が記号の長さを決定する。画像フレ ーム内の多数のマクロブロックを覆う領域である１マクロブロックに窓対の各窓 が対応している。 ＭＰＥＧフレーム内のマクロブロックは、図５に示すように、１６×１６画素 の領域に対応している。色度および輝度の各標本は、８×８画素のブロックに構 成されている。マクロブロックは、輝度画素群の８×８ブロック４個と２種類の 色度（もしくは色）成分の８×８ブロックのそれぞれ１個とを、図５に示すよう に含んでいる。 窓対の記号は、つぎのようにして取出すことができる。 （ａ）（動きＪＰＥＧを用いて符号化した場合のように） Ｉフレームのみを含むビデオ系列について：各Ｉフレームにつき、６４ビット が輝度平面から取出され、１６ビットの２組が２色度平面のそれぞれから取出さ れ、直流成分については合計９６ビットが取出される。動きベクトルからの寄与 は存在しない（排他的に動きＪＰＥＧによって符号化された切抜きビデオを用い た場合の引続く整合に対しては、かかる９６ビットのみが用いられる）。 （ｂ）（ＭＰＥＧを用いたビデオ系列に対するように）Ｉ，ＢおよびＰの各フレ ームを含むビデオ系列について：（キーとも呼ばれる）１２８ビットの記号が取 出され、そのうち、９６ビットが直流係数から取出され、３２ビットがＭＰＥＧ データ流で利用し得る動き情報から取出される。引続く整合に対しては、Ｉ，Ｂ およびＰの各フレームから抽出された記号を用いて、前述の１２８ビット全体が 用いられる。 図６に示すように、フレーム４０は、ｗ１とｗ１′，ｗ２とｗ２′およびｗ３ とｗ３′の窓対の３例を含んでいる。窓対の位置は、あからじめ選択されている が、記号群の全共同データベース２２および問題の切抜きビデオの記号に対して は固定されている。したがって、単一の切抜きビデオは、複合共同データベース ２２に蓄積された複合記号を有することができる。例えば、一つの共同データベ ース２２に蓄積され、フレーム群の真中に集中している一組の記号群が望ましい 場合には、整合用窓は、それ相応に選定される。他方、他の共同データベース２ ２に蓄積された記号群が背景領域に相当するように意図されている場合には、窓 の位置がそれ相応に選定される。この実施例では、フレーム毎に１６対の窓が存 在する。 図４に示したフレーム４０内の窓対ｗ１とｗ１′，ｗ２とｗ２′およびｗ３と ｗ３′の各組から記号４２が抽出される。図４では、記号４２が、窓対ｗ１とｗ １′に対応する記号からの窓記号Ｓｗ１、窓対ｗ２とｗ２′に対応する記号から の窓記号Ｓｗ２および窓対ｗ３とｗ３′に対応する記号からの窓記号Ｓｗ３を含 んでいる。 つぎのものは、前述した窓対のそれぞれに対する窓記号がどのように決定され るかの一例である。図６における各窓もしくはマクロブロックについて、図５に おける輝度ブロックおよび２色度ブロックのそれぞれに対する直流係数が抽出さ れる。図５では、輝度平面内の４ブロックおよび色度平面内の２ブロックが記号 抽出に用いられる。輝度ブロックおよび色度ブロックの直流成分は、従来のよう にして決定される。 一例として窓対ｗ１とｗ１′を用いると、図６に示すように、窓対の各窓は６ 直流係数（ＤＣｉ）を有している。好適な実施例では、６記号ビットＳ１乃至Ｓ ６が、つぎの式に基づいて各窓対につき抽出される。 Ｓｉ＝１ ｜ＤＣｉ−ＤＣｉ′｜＜＝閾値（１） Ｓｉ＝０ ｜ＤＣｉ−ＤＣｉ′｜＞閾値（２） 図６に示した各窓対に対して組合わされた６直流成分の抽出の結果、図４に示 した記号４２となる。記号４２は、窓対ｗ１とｗ１′，ｗ２とｗ２′およびｗ３ とｗ３′に対応する記号ＳＷ₁，ＳＷ₂，ＳＷ₃のそれぞれに対する６ビットを含 んでいる。そのうえに、記号が抽出されつつある切抜きビデオがＭＰＥＧ標準を 用いて符号化されている場合には、（図４に示されていない）動きビットも記号 ４２に寄与する。 好適な実施例では、上述した式（１）および（２）に基づく上述した直流係数 の対を用いて記号Ｓ₁のビットが計算される。しかしながら、この記号は、ＭＰ ＥＧ符号化された切抜きビデオのＤＣＴ係数の他の係数を用い、例えば、直流成 分を交流成分に加えて、任意の数で割ることによっても計算することができる。 コンピュータが２値数を２ⁿの群に最も効率よく蓄積し、無符号の整数が、典 型的には、多数のＣ語編集器などの多数のソフトウエア編集器内の３２ビットに 蓄積されるので、１６窓対を有することは好ましい。１マクロブロックには６ブ ロックが存在し、ブロック当り１６ビットが存在し、それからつぎの直流成分が 取出される。 ４輝度ブロック×１６ビット＝６４ビット、および 色度に対して２×１６ビット＝３２ビットを与える２色度（ＣｒとＣｂ）のそ れぞれに対する１ブッロク。 窓対における窓相互間の動きは、動きの２ビットを用いて、つぎのように質的 に書き表わすことができる。 １．両窓が動き零を呈する場合（すなわち動きベクトルが零の場合）には、ビッ ト群を００に設定する。 ２．第１窓が静止（動きベクトルが零）であるが、第２窓が動いた（動きベクト ルが零でない）場合には、ビット群を０１に設定する。 ３．第１窓が動いた（動きベクトルが零でない）が、第２窓が静止であった（動 きベクトルが零である）場合には、ビット群を１０に設定する。 ４．両窓が動きを呈する（両動きベクトルが零でない）場合には、ビット群を１ １に設定する。 切抜きビデオが動きＪＰＥＧ様式を用いて符号化されている場合には、動きビ ットからの寄与は存在しない。 図７は、あるフレームの窓対に対する記号の一例を示したものである。図７に 示す記号４４は、長さ１２８ビットで、１６窓対当り８ビットの群に構成されて いる。例えば、図７に示す記号内の最初の８ビットのうち、ビットＬ１１乃至Ｌ １４は、窓対ｗ１およびｗ１′に対する上述の輝度ビットであり、ビットＣｒ１ およびＣｂ１は、窓対ｗ１およびｗ１′に対する色度ビットであり、さらに、ビ ットＭ１１乃至Ｍ１２は、窓対ｗ１およびｗ１′に対する動きビット（もしあれ ば）である。窓対ｗ２とｗ２′乃至ｗ１６とｗ１６′のそれぞれに対する８ビッ トは、図７に示すとおりに構成される。 図８（Ａ）および８（Ｂ）に示すように、窓の寸法および位置は、映像寸法に 対して相対的である。ある場合には、窓は、図８（Ａ）に示すように、唯一のマ クロブロックを覆っている。他の場合には、窓は、図８（Ｂ）に示すように、複 数マクロブロックを、なるべく多数のマクロブロックそれぞれの部分を覆う。後 者の場合に、直流値は、窓で覆われたマクロブロックの直流値の荷重和として計 算される。その場合に、荷重は、窓で覆われたマクロブロックの相対面積である 。 上述のように窓寸法を正規化するには、窓が複数マクロブロックを覆う場合に は、図９に示す過程により、窓を標準寸法の窓に描く。 図９は、本発明において、窓を描いて直流係数を計算するためのフローチャー トである。ステップ３０１では、標準寸法の映像において、ｉを１乃至４として Ｗｘｉ，Ｗｙｉで決まる窓の座標が、予め使用者によって選択される。また、ス テップ３０１では、新たな映像寸法が入力として提供される。ステップ３０２で は、標準映像における窓の各座標が、新たな映像の寸法に対応して描かれる。ス テップ３０３では、ステップ３０１で決められた窓の各座標について、新たな映 像内の窓の全面積の一部として窓により覆われたマクロブロックの部分的面積に 基づいて荷重が計算される。ついで、ステップ３０４では、図８（Ｂ）を参照し て論じたように、窓によって覆われたマクロブロックの直流値の荷重和として直 流値が計算される。 図１０は、記号記録処理におけるフレーム記号抽出を示すフローチャートであ る。ステップ４０１では、記号が抽出されるフレームにおけるいずれかの窓対を 示す指数ｊが値「１」で始まる。ステップ４０２では、図１０に示す過程が、映 像の直流係数と動きベクトルＭｗｊおよびＭｗｊ′を有する窓対ＷｊおよびＷｊ ′について始まる。ステップ４０３では、直流成分のいずれかが計算されつつあ るかを示す指数ｉが値「１」で始まる。ステップ４０４では、窓からｉ番目の、 ＤＣｉで示す直流係数が各窓Ｗｊについて計算され、窓からｉ番目の、ＤＣｉ′ で示す直流係数が、図６に従い、各窓Ｗｊ′について計算される。ステップ４０ ５では、ＤＣｉとＤＣｉ′との差の絶対値が、使用者によって選択された任意の 閾値量と比較される。前述の差が閾値量より小さい場合には、ｉ番目の記号ビッ トＳｉが、ステップ４０６で示すように、１に等しく設定される。他方、前述の 差が任意の閾値量より大きいか、等しい場合には、ｉ番目の記号ビットＳｉがス テップ４０７に示すように、零に等しく設定される。 ステップ４０６および４０７のそれぞれからは、ｉ番目の記号ビットがその記 号のすでに生じているビット群と連鎖して、ステップ４０８に示すように、記号 Ｓの更新版を形成する。ステップ４０９では、ｉが６（本発明におけるマクロブ ッロク内のブロックの個数（輝度ブロックの４に２色度ブロックの１ずつを加え た値）に等しい）より小さい場合には、ステップ４１０でｉを１だけ歩進させ、 ｉの新しい値に対してＤＣｉおよびＤＣｉ′を計算する。 他方、ｉがステップ４０９における６より大きいか、等しい場合には、ステッ プ４１１で、動きベクトルＭｗｊの絶対値を零と比較して、動きベクトルが零で あるか、非零であるかを判定する。動きベクトルの絶対値が零でない場合には、 ステップ４１２で、動きビットｍｊを１に等しく設定する。他方、動きベクトル Ｍｗｊの絶対値が零に等しい場合には、ステップ４１３で、動きビットｍｊを零 に等しく設定する。ついで、ステップ４１４では、記号Ｓの新しい値が、記号Ｓ を動きビットｍｊの値と連鎖させることによってさらに形成される。 ステップ４１５では、動きベクトルＭｗｊ′の絶対値が零と比較される。動き ベクトルＭｗｊ′の絶対値が零より大きい場合には、ステップ４１６で、動きビ ットｍｊ′を１に等しく設定する。しかしながら、動きベクトルＭｗｊ′の絶対 値が零に等しい場合には、ステップ４１７で、動きビットｍｊ′の値を零に等し く設定する。ステップ４１８では、記号Ｓおよび動きベクトルｍｊ′の値が連鎖 して、記号Ｓにつき新しい値を形成する。 ステップ４１９で、窓指数ｊの値が切抜きビデオのフレームにおける窓対の個 数より小さい場合には、ステップ４１２で、ｊの値を１だけ歩進させて、ステッ プ４０２乃至４２０の記号抽出処理を繰返す。しかしながら、指数ｊの値が切抜 きビデオのフレームにおける窓の個数より大きいか等しい場合には、切抜きビデ オの１フレームからの記号抽出が完結する。 切抜きビデオは、それぞれの記号を用いて検索される。各切抜きビデオは一連 の記号群として表されるので、かかる記号群は、ハミング距離尺度により切抜き ビデオを相互比較するのに用いられる。 ビデオ検索のゴールは、問題の切抜きビデオを識別し、その問題の切抜きビデ オの記号を抽出し、ついで、局地もしくは遠隔、あるいは、その組合わせのデー タベースから、そのデータベースに蓄積した切抜きビデオの記号に基づくように して、問題の切抜きビデオに類似の他の切抜きビデオを検索することである。 検索処理の第１段階は、問題の切抜きビデオから記号を抽出することである。 ついで、問題の切抜きビデオの記号をデータベースに蓄積した切抜きビデオを表 す記号と比較する。その整合は、通常のハミング距離を測定することによって行 なわれる。例えば、０１０１と１０１１との間のハミング距離尺度は、０１０１ と１０１１との差のビデオ数が３であるから、３である。 ２フレーム相互間のハミング距離は、コンピュータにより、ビット風「排他的 オア」動作の結果で得られる「１」に設定されたビット群の和として計算される 。 かかるハミング距離計算は、問題の切抜きビデオまでの最短距離であるデータ ベース全体から切抜きビデオの切片群をもたらす。 ＭＰＥＧ符号化標準を用いて符号化された切抜きビデオについては、動き情報 も検索処理に用いられる。符号化パターンがＩフレームのみ含んでいる場合には 、動きＪＰＥＧ符号化標準を用いて符号化された切抜きビデオの場合と同様に、 問題の記号とデータベース記号との整合が直流記号を用いてコンピュータにより 行なわれる。 切抜きビデオのフレーム群の類似性は、保存されている系列におけるフレーム 群の順位付けによって験される。例えば、本発明においては、問題の切抜きビデ オの第１の代表的フレームの記号が、データベース切抜きビデオの第１の代表的 フレームの記号と比較される。同様に、問題の切抜きビデオの第２の代表的フレ ームの記号は、その問題の切抜きビデオの第２の代表的フレームとデータベース 切抜きビデオの代表的フレームとの間に対応が存在する場合に、そのデータベー スの代表的フレームの記号と比較される。 問題の切抜きビデオとデータベース切抜きビデオとのフレーム相互間のずれの フレーム数を考慮して、データベース切抜きビデオ・フレーム記号が抽出された データベース切抜きビデオの代表的フレームが、問題の切抜きビデオのフレーム 記号が抽出された問題の切抜きビデオの代表的フレームと同じデータベース切抜 きビデオ内のフレーム位置（もしくは１フレーム以内）に在る場合には、問題の 切抜きビデオとデータベース切抜きビデオとの代表的フレーム相互間の対応が生 ずる。 かかるずれは、図１１（Ａ）乃至１１（Ｄ）を参照して以下に論ずる。 つぎに、データベース切抜きビデオからの第２フレーム記号と比較されている 問題の切抜きビデオからの第１フレーム記号に対して、フレーム記号は１フレー ム記号分だけ相互にずれている。 フレーム記号相互の比較を１フレーム記号分だけずらす上述の処理過程は、問 題の切抜きビデオ系列の記号がデータベース内のフレーム記号の全系列と比較さ れてしまうまで繰り返される。問題の切抜きビデオと切抜きビデオ・データベー スに蓄積された切抜きビデオとの間に期待される類似性は、本発明において対応 するフレーム記号相互間の全ハミング距離を１２８から差し引くことによって計 算される。したがって、各データベース切抜きビデオについて最高の類似性の得 点が蓄積される。 本発明における切抜きビデオの検索の一例は、つぎの偽似符号を参照して論じ られる。これは、問題の切抜きビデオの記号とデータベース切抜きビデオの記号 との間のハミング距離尺度を計算する。 問題の切抜きに対する記号系列Ｑが｛ｑ₁，…，ｑ_n｝であり、データベース切 抜きに対する記号系列Ｄが｛ｄ₁，…，ｄ_n｝であると、仮定する。つぎの偽似符 号は、問題の切抜き記号とデータベース切抜き記号との間のハミング距離得点を 提供する。 Ｓ＝１，…，データベース内切抜きビデオの個数に対して Ｑ＝｛ｑ＿₁，…，ｑ＿_n｝，Ｑ＜＞空セットとする。 ＴｅｍｐＱ＝Ｑ Ｄ_s＝｛ｄ＿₁，…，ｄ＿_n｝，ｍはＤ_s内の代表的フレームの個数 Ｄ_s＜＞空セット ｊ＝１，ｍ−ｎに対して 最小得点＝フレーム記号の長さ＋１ ｉ＝１，ｎに対して 和＿ｊ＝０ 計数＿ｊ＝０ Ｋ＜−最近フレーム（Ｄ，ｑ＿ｉ） ／^*Ｋは最大３要素をもち得る^*／ 和＿ｊ＝和＿ｊ＋Σハミング（ｓｉｇ（ｑ＿ｉ），ｓｉｇ（ｄ＿ｋ）ｋεＫ 計数＿ｊ＝計数＿ｊ＋｜ｋ｜ ｅｎｄｆｏｒ ｉ 得点＿ｊ＝和＿ｊ／計数＿ｊ 得点＿ｊ＜最小得点ならば、最小得点＝得点＿ｊ ＴｅｍｐＱ＝｛ｑ＿ｐ｜ｑ＿ｐ＜−ｑ＿ｐ＋ｄ＿ｊ＋｜−ｄ＿ｊ，ｐ＝１，ｎ に対し｝ ｅｎｄｆｏｒ ｊ 得点＜−（最小得点，ｓ）挿入 ｅｎｄｆｏｒ ｓ 問題の切抜きビデオの記号とデータベース切抜きビデオとの記号との間の全ハ ミング距離が全データベース切抜きビデオに対して計算される。記号は各切抜き ビデオのフレームに対応するが、問題の系列においてそれぞれの記号が抽出され たフレーム相互間の距離と各データベース系列においてそれぞれの記号が抽出さ れたフレーム相互間の距離とは必ずしも等しくなく、かかる距離は任意に選択す ることができる。例えば、フレーム記号は、問題の切抜きビデオのフレーム１， ２および７のそれぞれに対しては抽出されているが、データベース切抜きビデオ のフレーム１，５，１１および１５に対しては、前述の各フレームのそれぞれが 切抜きビデオの代表であれば、抽出されていない。他方、各第５番目（例えば、 もしくは第２番目、もしくは、第３番目、等）のフレームは、切抜きビデオにお ける記号抽出用に任意に選択されることがある。 上述の偽似符号において、Ｑは「ｎ」参加を含む組であり、問題の切抜きビデ オから抽出した記号系列を備えている。Ｄ_nは、「ｍ」参加を含む組であり、デ ータベース切抜きビデオ「ｓ」から抽出した記号系列を備えている。切抜きビデ オ記号系列データベースに蓄積された各データベース切抜きビデオ「ｓ」に対し 、「ｆｏｒ」ｊループが繰り返される。 問題の切抜きビデオ記号系列と各データベース切抜きビデオ記号系列との比較 の始点では、問題の切抜きビデオ記号系列Ｑを保存するために、ＴｅｍｐＱがＱ で始まる。したがってＴｅｍｐＱは、問題の切抜きビデオ記号系列とデータベー ス切抜きビデオ記号系列「ｓ」との比較の期間中、巧みに取り扱われる。したが って、可変の最小得点は、フレーム記号の長さ＋１の値で始まる。 偽似符号では、問題の切抜きビデオの記号とデータベース切抜きビデオの記号 との比較の反復の回数を決定する指数ｊが始まる。指数ｊは、図に示すように、 前述の切抜きビデオのそれぞれにおけるフレーム記号の個数に基づいている。問 題の切抜きビデオの記号と反復ｊに対するデータベース切抜きビデオの記号との 比較のためのハミング距離を示す変数和＿ｊおよび上述の切抜きビデオに対する フレーム記号相互の比較の回数である計数＿ｊも始められる。指数ｉは、問題の 切抜きビデオ記号系列における代表的フレーム記号の個数を示すものである。指 数ｋは、フレーム間の任意のずれや喰い違いを考慮しても、問題の切抜きビデオ における代表的フレームの１フレーム以内にあるデータベース切抜きビデオのフ レーム数を示すものである。 偽似符号では、問題の切抜きビデオ記号の各フレーム記号が、データベース切 抜きビデオ記号の対応するフレーム記号と比較される。そのうえに、問題の切抜 きビデオ記号の各フレーム記号は、（以上に詳述したような）対応が存在する場 合には、データベース切抜きビデオ記号の先行もしくは後続のフレーム記号と比 較される。したがって、問題の切抜きビデオの記号が抽出されている各代表的フ レームは、問題の系列のフレーム群と切抜きビデオのフレーム群との相対始動位 置を考慮して、問題の切抜きビデオからの対応するフレームのいずれかのフレー ム方向において（任意の個数に先定し得るが、好ましくは）１フレームに相当す るか、１フレーム以内のデータベース系列切抜きビデオの各代表的フレームと比 較される。 （上述したとおりの）問題の切抜きビデオ・フレームの上述した基準に適合す る（「ｋ」で示される）１，２もしくは３フレームのそれぞれについて、フレー ム相互を比較するための、切抜きビデオの記号とデータベース切抜きとの間のハ ミング距離が判定され、和＿ｊおよび計数＿ｊはそれ相応に更新される。 前述の偽似符号では、問題の切抜きビデオ・フレームから１フレーム以内にあ る１，２もしくは３フレームのそれぞれについてハミング距離が計算される。 問題の切抜きビデオの記号とデータベース切抜きビデオの記号との比較が、問 題の切抜きビデオ記号系列とデータベース切抜きビデオ記号系列との参加相互間 の現下の喰違いに対して完了した後では、問題の代表的フレームの記号と対応す る代表的フレームの記号とのハミング距離の和を計算したハミング距離の個数で 割算することにより平均（得点＿ｊ）が計算される。 問題の切抜きビデオから抽出した記号系列とデータベース切抜きビデオから抽 出した記号系列との間の最小ハミング距離尺度を最小得点が蓄積するので、問題 の切抜きビデオ記号系列とデータベース切抜きビデオ記号系列との参加相互間の 現下の喰違いについて計算したハミング距離尺度が任意の先行喰違いにおける同 じデータベース切抜きビデオ記号系列について計算したハミング距離尺度より小 さい場合には、最小得点の値が、得点ｊの値によって置換される。 データベース切抜きビデオにおけるフレームの個数は問題の切抜きビデオにお けるフレームの個数より大きいと仮定されるので、各切抜きビデオ内のフレーム 記号の系列を保留して（すなわち切抜きビデオ・フレーム記号を同じ順に保持し て）、問題の切抜きビデオ内のフレーム記号の系列が存在し得るデータベース切 抜きビデオ内のフレーム記号の系列の個数に等しい回数だけ、問題の切抜きビデ オとデータベース切抜きビデオとの記号相互の比較が繰り返される。指数ｊは、 上述した基準がいつ適合されるかを判定する。 問題の切抜きビデオ記号とデータベース切抜きビデオ記号との引き続く各比較 については、問題の切抜きビデオ記号が、データベース切抜きビデオ記号に対し て代表的１フレーム分だけずれている。上述の偽似符号 ＴｅｍｐＱ＝｛ｑ＿ｐ｜ｑ＿ｐ＜−ｑ＿ｐ＋ｄ＿ｊ＋｜−ｄ＿ｊ，ｐ＝１，ｎ として｝ が問題の切抜きビデオ系列の参加をずらしているので、問題の切抜きビデオにお ける第１の代表的フレームは、データベース切抜きビデオ記号系列における次の 参加に対応してずれている。データベース切抜きビデオ記号系列における次の参 加は、「ｆｏｒ」ｊループの先行反復において、問題の切抜きビデオ記号系列中 の第１の代表的フレームから抽出した記号が対応するデータベース切抜きビデオ 記号系列における参加の直後のデータベース切抜きビデオ記号系列における参加 である。 データベースにおける現下のデータベース切抜記号系列「ｓ」用「ｆｏｒ」ｊ ループの完結に当たって、最小得点の値および対応する「ｓ」の現在値は得点表 に挿入される。得点は、本発明により問題の切抜きビデオ記号系列が比較された 各データベース切抜きビデオ用ハミング距離尺度の最低値を蓄積する。 この得点表は、好適な実施例では、比較的低い得点に基づいて類別された関連 表である。この得点表に蓄積された最低得点は、問題の切抜きビデオ記号系列と データベース切抜きビデオ記号系列の最良の「整合」を示す。 問題の切抜きビデオと各データベース切抜きビデオとの記号相互間の類似性が データベース切抜きビデオを類別する基礎として用いられる場合には、データベ ース切抜きビデオは、類似性が減る順に配列される。 本発明の上述した偽似符号を用いれば、探索は、データベース中の任意の記号 によって開始することができる。 好適な実施例では、二つの切抜きビデオの記号相互間の距離の尺度を計算する 場合に、比較されるフレーム記号の全得点の平均が用いられる。しかしながら、 類似性の尺度は、二つの切抜きビデオ相互間の局部的類似のような他の基準に基 づくこともできる。つぎのものは、本発明におけるビデオ類似性尺度を決定する ためのフレーム・レベルの方法である。 １．（上述の偽似符号に示された）整合フレームの平均総合得点の使用 ２．整合フレームの最高得点の平均超過部分の使用、 もしくは、 ３．最高の類似性をもたらす代表的フレームの記号相互間の類似性の平均が用い られる若干の局部最大値の近傍における局部得点群に亘る平均の使用。 本発明に対しては、フレーム・レベル以外のレベルでの方法を採用することも できる。 上述した類似性の尺度は、それぞれの切抜きビデオの空間的および動的な特徴 の直線的な外観を考慮に入れて、二つの切抜きビデオ相互の全体的な類似性をも たらす。かかる方法は、二つの切抜きビデオ相互間の類似性が、それぞれの切抜 きビデオにおける光景の直線的な配置に関係している場合に有用である。しかし ながら、ビデオにおける光景の配置には無関係に、二つの切抜きビデオの副切片 相互の全体的な類似性が必要な（例えば、問題の切抜きビデオの始端フレームが データベース切抜きビデオの終端フレームと整合し得る、および、その逆の）場 合には、類似した共通副切片の最高得点の平均を用いなければならない。 さらに、本発明においては、使用者は、問題の切抜きビデオの種々の部分に、 空間的および動きの面のようなビデオ表現の種々の面に重要性を加えることがで きる。使用者はつぎのことをすることができる。 １．一連のフレーム群に重要性を加える： ２．切抜きビデオの輝度、色度および動き成分などの特徴に重要性を加える： ３．探索処理に用うべき代表的フレームの系列における代表的フレームの密度を 選択する：および ４．探索処理で重要なビデオ・フレームを選択する。 問題の切抜きビデオの記号と上述した偽似符号と矛盾しないデータベース切抜 きビデオの記号との比較の一例は、図１１（Ａ）乃至１１（Ｄ）に示されている 。図１１（Ａ）乃至１１（Ｄ）では、ｍ＝１３およびｎ＝４である。したがって 、上述した記号系列相互間の比較のｍ−ｎ＝４回の繰り返しが行なわれる。 検索過程では、問題の切抜きビデオからのフレーム群の記号は、各データベー ス切抜きビデオからのフレーム群の記号と比較される。図１１（Ａ）乃至１１（ Ｄ）は、問題の切抜きビデオとデータベース切抜きビデオとのそれぞれからのど のフレーム番号が互いに比較されるかを「Ｒ」によって示している。上述の偽似 符号および基準に従って比較されるフレーム群は矢印によって示してある。 図１１（Ａ）では、記号が抽出されているフレームである代表的フレーム群は 、問題の切抜きビデオおよびデータベース切抜きビデオのそれぞれについて「Ｒ 」で表されている。代表的フレーム群は、無秩序にもしくは整然とした間隔で、 あるいは、各フレーム毎に、任意のフレーム位置に配置することができる。代表 的なフレーム群さえ、不規則なパターンで配置されていることもある。 図１１（Ａ）に示すように、問題の切抜きビデオのフレーム１は、データベー ス切抜きビデオのフレーム１と比較される。そこで、記号を有するデータベース 切抜きビデオの次のフレームは、フレーム４であるから、問題の切抜きビデオの フレーム１とデータベース切抜きビデオのフレーム４との間の距離は大き過ぎる （すなわち、任意に選択した１フレームの距離を超える）。したがって、問題の 切抜きビデオのフレーム１は、データベース切抜きビデオのフレーム１とだけ比 較される。 問題の切抜きビデオの代表的フレームのフレーム番号とデータベース切抜きビ デオからの代表的フレームのフレーム番号との間の対応のための距離は、任意に 選択される。図１１（Ａ）乃至１１（Ｄ）の例の場合には、そのパラメータが任 意に１として選ばれる。したがって、問題の切抜きビデオの代表的フレームがフ レーム番号６である場合には、問題の切抜きビデオのフレーム番号６から抽出し た記号は、データベース切抜きビデオからのフレーム番号５，６もしくは７に対 して存在する記号群とだけ比較される。したがって、図１１（Ａ）の例では、デ ータベース切抜きビデオのフレーム番号４に対する記号が存在するにも拘らず、 １フレームの距離に選ばれたパラメータに基づけば、データベース切抜きビデオ からのフレーム番号４の記号と比較されるに適した問題の切抜きビデオからのフ レームは存在しないことになる。 図１１（Ａ）では、問題の切抜きビデオのフレーム６は、その記号がデータベ ース切抜きビデオからのフレーム７のための記号と比較される代表的フレームで あり、問題の切抜きビデオのフレーム６から１フレーム以内にある代表的フレー ムでもある。図１１（Ａ）に示すように、問題の切抜きビデオのフレーム８が代 表的フレームであり、データベース切抜きビデオのフレーム７も代表的フレーム であって、問題の切抜きビデオからのフレーム８から１フレーム以内にあるにも 拘らず、問題の切抜きビデオからのフレーム８は、データベース切抜きビデオの フレーム７が、すでに、問題の切抜きビデオからのフレーム６と比較されている ので、データベース切抜きビデオのフレーム７と比較されることはない。 本発明においては、データベース切抜きビデオからの代表的フレームからの記 号が問題の切抜きビデオからの代表的フレームからの記号と一旦比較されると、 そのデータベース切抜きビデオからの代表的フレームの記号は、問題の切抜きビ デオ記号系列における参加がデータベース切抜きビデオ記号系列における参加に 対して喰い違うまでは、問題の切抜きビデオからの他の代表的フレームからの記 号と比較されることはない。しかしながら、データベース切抜きビデオからの代 表的フレームからの記号を第２の比較には用いない、という制約は除去すること もできる。 図１１（Ａ）は、また、問題の切抜きビデオ・フレーム１１，１３，１５およ び１７からのフレーム記号が、上述した説明に従い、それぞれのデータベース切 抜きビデオ・フレームからのフレーム記号と比較されることを示している。問題 の切抜きビデオからの代表的フレーム２０および２４からのそれぞれの記号は、 データベース切抜きビデオからの２フレームからのそれぞれのフレーム記号とそ れぞれ比較される。データベース切抜きビデオの上述した代表的２フレームは、 それぞれ、対応する代表的問題の切抜きビデオ・フレームから１フレーム以内に 納まる。したがって、問題の切抜きビデオからの代表的フレーム２０および２４ に対する二つの「得点」が得られる。その場合、二つのそれぞれの「得点」は、 前述した偽似符号に示されているように、代表的な問題の切抜きビデオ・フレー ム２０および２４のそれぞれについて平均される。 図１１（Ｂ）では、図１１（Ａ）に示したのと同様の問題の切抜きビデオが、 上述した偽似符号に従い、データベース切抜きビデオからの第２の代表的フレー ム記号に対してずらされる。 図１１（Ｂ）に示すように、問題の切抜きビデオからの代表的フレーム１から 抽出した記号は、データベース切抜きビデオからの代表的フレーム４から抽出し た記号と比較される。したがって、データベース切抜きビデオからの第２の代表 的フレームは、二つのそれぞれの切抜きビデオの位置ずれを考慮すれば、問題の 切抜きビデオからの代表的フレームから１フレーム以内にないので、問題の切抜 きビデオからのフレーム１は、データベース切抜きビデオからの任意の他のフレ ームと比較されることはない。同様に、問題の切抜きビデオからの代表的フレー ム６は、データベース切抜きビデオからの代表的フレームには対応せず、また、 上述の位置ずれを考慮したデータベース切抜きビデオから１フレーム以内にもな いことになる。したがって、問題の切抜きビデオからの代表的フレーム６から抽 出した記号は、データベース切抜きビデオからの任意のフレームから抽出した記 号群と比較されることはない。 図１１（Ｂ）では、問題の切抜きビデオからの代表的フレーム８から抽出した 記号は、データベース切抜きビデオからの代表的フレーム１１から抽出した記号 と比較される。問題の切抜きビデオからの代表的フレーム８は、問題の切抜きビ デオ・フレームとデータベース切抜きビデオ・フレームとの間のずれを考慮すれ ば、データベース切抜きビデオからの代表的フレーム１１と対応する。同様に、 問題の切抜きビデオからの代表的フレーム１１から抽出した記号は、データベー ス切抜きビデオからの代表的フレーム１４から抽出した記号と比較される。問題 の切抜きビデオからの代表的フレーム１３，１５，１７，２０および２４から抽 出したそれぞれの記号は、データベース切抜きビデオからの対応する代表的フレ ームから抽出したそれぞれの記号と比較される。 図１１（Ｃ）では、問題の切抜きビデオからの代表的フレーム１から抽出した 記号が、データベース切抜きビデオからの代表的フレーム７から抽出した記号と 比較され、代表的フレーム７は、問題の切抜きビデオからの代表的フレーム１が ずれている次の代表的フレームである。同様に、問題の切抜きビデオからの代表 的フレーム６から抽出した記号は、データベース切抜きビデオからの代表的フレ ーム１１から抽出した記号と比較され、以下同様である。 図１１（Ｄ）では、問題の切抜きビデオからの代表的フレーム１から抽出した 記号が、データベース切抜きビデオからの代表的フレーム１１から抽出した記号 と比較され、代表的フレーム１１は、問題の切抜きビデオからの代表的フレーム １がずれている次の代表的フレームである。同様に問題の切抜きビデオからの代 表的フレーム６から抽出した記号は、データベース切抜きビデオからの代表的フ レーム１５および１７から抽出した記号と比較され、以下同様である。 図１１（Ａ）乃至１１（Ｄ）の例では、問題の切抜きビデオからの第１の代表 的フレームと、問題の切抜きビデオからの代表的フレームが比較されるデータベ ース切抜きビデオからの代表的フレームとの間のフレーム群の個数の差が、問題 の切抜きビデオとデータベース切抜きビデオとの各フレーム記号比較のために保 存される。 図１２は、図３を参照して上述した使用者インターフェース３２の構成配置の 一例を示したものである。図１２に示す使用者インターフェース４６は、「エッ クス ウインドウズ」台上を移動するＴＣＫ／ＴＫ道具一式を用いて構成されて いる。使用者が、「ビデオによる探索」４８、「ニュース」５０のような話題、 および問題の切抜きビデオ５２（検索領域作業面５４の左上端像として示す）を 選択すると、（図３を参照して上述した）共同データベース２２から抽出した記 号を本発明が探査する。結果の切抜きビデオは、問題の切抜きビデオに対する類 似性のレベルに従い、各行の左から右へ、各列の上から下へ配列される。スクリ ーン窓５６は、選択されたビデオの寸描（一部分の拡大像）を表示する。 本発明は、実施例の変形も包括している。 本発明の多数の特徴および利点は詳細説明から明らかであり、本発明の真意お よび範囲内に収まる本発明の特徴および利点をすべて包含するのが、添付した請 求の範囲の意図するところである。さらに、幾多の修正および変更が当業者には 容易に生ずるので、以下に記載して説明した厳密な構成および作用に本発明を限 定することは望まれず、したがって、適切な修正および等価物は、すべて、本発 明の範囲に入るものと認められる。

Claims (1)

1. 【特許請求の範囲】 １．それぞれの切り抜きビデオと問題の切り抜きビデオとの記号の抽出、 問題の切り抜きビデオの記号に対する当該切り抜きビデオそれぞれの記号の 類似性の得点の判定、および、 当該判定に基づく切り抜きビデオの配列 を行って、コンピュータにより問題の切り抜きビデオに類似の切り抜きビデオ を識別するビデオ検索方法。 ２．記号間のハミングによる距離尺度を計算して前記得点を判定する請求の範囲 １記載のビデオ検索方法。 ３．前記得点に基づいて切り抜きビデオの表示をさらに行う請求の範囲１または ２記載のビデオ検索方法。 ４．切り抜きビデオがＭＰＥＧ様式でデイジタル符号化する段階をさらに備えた 請求の範囲１、２または３記載のビデオ検索方法。 ５．問題の切り抜きビデオの記号を抽出し、 問題の切り抜きビデオの記号をデータベース内の切り抜きビデオの記号と比 較し、 さらに、その比較に応じて切り抜きビデオを検索する 各段階を備えたビデオ検索方法。 ６．各記号に対応する切り抜きビデオの位置、寸法および時間長をデータベース に蓄積した請求の範囲５記載のビデオ検索方法。 ７．切り抜きビデオを供給するビデオ源と、 その切り抜きビデオから記号を抽出するとともに、問題の切り抜きビデオか ら記号を抽出し、問題の切り抜きビデオの記号を当該切り抜きビデオの記号と比 較して問題の切り抜きビデオに類似した切り抜きビデオを識別し、問題の切り抜 きビデオに類似した切り抜きビデオを前記ビデオ源から検索する情報検索系と を備えたビデオ検索系。 ８．切り抜きビデオおよび切り抜きビデオ記号を供給するビデオ源と、 問題の切り抜きビデオから問題の記号を抽出し、問題の記号を切り抜きビデ オの切り抜きビデオ記号と比較して、その比較に応じ切り抜きビデオを前記ビデ オ源かち検索する情報検索系と を備えたビデオ検索装置。 ９．前記ビデオ情報検索系が問題の切り抜きビデオの記号と前記切り抜きビデオ の記号との類似性を判定する副検索系をさらに備えた請求の範囲８記載のビデオ 検索装置。 １０．記号を蓄積するデータベースをさらに備えた請求の範囲８または９記載の ビデオ検索装置。 １１．前記データベースが記号のそれぞれに対応した切り抜きビデオの位置、寸 法および時間長を蓄積している請求の範囲８、９または１０記載のビデオ検索装 置。 １２．切り抜きビデオを供給するビデオ源と、 切り抜きビデオからの記号および問題の切り抜きビデオからの記号を抽出し 、 問題の切り抜きビデオの記号を前記切り抜きビデオの記号と比較して、問題 の切り抜きビデオに類似した切り抜きビデオを前記ビデオ源から検索する情報検 索系と、 問題の切り抜きビデオに類似した切り抜きビデオを表示する表示器と を備えて問題の切り器ビデオに類似したビデオ源からの切り抜きビデオを検索 して表示するコンピュータ。 １３．切り抜きビデオを供給するビデオ源と、 問題の切り抜きビデオおよび前記切り抜きビデオがＭＰＥＧ様式でない場合 には問題の切り抜きビデオおよび前記切り抜きビデオをそれぞれＭＰＥＧ様式に 符号化して、問題の切り抜きビデオおよび前記切り器ビデオの記号を抽出する文 書記号抽出部、 切り抜きビデオの記号を蓄積するデータベース、並びに、 問題の切り抜きビデオの記号を前記切り抜きビデオの記号と比較して、問題 の切り抜きビデオに類似した切り抜きビデオを識別する副検索系 を備えた情報検索系と、 問題の切り抜きビデオに類似した切り抜きビデオを表示する表示器と を備えて、問題の切り抜きビデオに類似したビデオ源からの切り抜きビデオを 検索して表示するビデオ検索装置。 １４．それぞれの記号に対応する切り抜きビデオの位置、寸法および時間長を前 記データベースに蓄積してある請求の範囲１３記載のビデオ検索装置。 １５．前記切り抜きビデオの記号と問題の切り抜きビデオの記号との類似性をハ ミングによる距離尺度によって判定する請求の範囲６記載のビデオ検索方法。 １６．問題の切り抜きビデオの各記号フレームとデータベース切り抜きビデオの 一つの若干の記号フレームとの間のハミングによる距離尺度を判定する請求の範 囲１５記載のビデオ検索方法。 １７．切り抜きビデオが動きＪＰＥＧ様式で符号化されていない場合に、切り抜 きビデオを動きＪＰＥＧ様式にデイジタル符号化する段階をさらに備えた請求の 範囲１記載のビデオ検索方法。 １８．ＭＰＥＧ符号化標準を用いて切り抜きビデオを提供するＭＰＥＧビデオ奉 仕器、 切り抜きビデオを提供する活性ビデオ源、および、 ＭＰＥＧ符号化標準以外の符号化標準を用いて符号化した切り抜きビデオを 提供するネットワーク・ビデオ源 を備えて切り抜きビデオを提供するビデオ源と、 切り抜きビデオがＭＰＥＧ符号化標準を用いて切り抜きビデオを符号化乃至 一部再符号化するとともに、切り抜きビデオがＭＰＥＧ符号化標準を用いて符号 化されている場合には切り抜きビデオから記号を抽出する本文および記号抽出器 、 その本文および記号抽出器に結合して、記号に対応するそれぞれの切り抜き ビデオのデータを識別しながら記号を蓄積するデータベース、並びに、 類似性を計算する類似性計算器、 その類似性計算器に結合し、類似性に基づいて記号を配列する配列ユニット 、および、 記号に対応する切り抜きビデオを検索するためにその配列ユニットに結合し た取り出し表示ユニット を備えて、前記データベースに結合し、問題の切り抜きビデオの記号をデータ ベース内に蓄積した記号と比較して、問題の切り抜きビデオの記号とデータベー ス内に蓄積した記号のそれぞれとの類似性を判定する副検索系 を備えて、前記ビデオ源に結合し、切り抜きビデオから記号を抽出して、その 記号と問題の切り抜きビデオから抽出した記号とを比較するビデオ情報検索系と 、 ビデオ副検索系に結合して、切り抜きビデオを表示する使用者インターフェ ースと を備えたビデオ検索装置。