JP4770875B2 - 画像特徴データ生成装置、画像特徴判定装置および画像検索システム - Google Patents
画像特徴データ生成装置、画像特徴判定装置および画像検索システム Download PDFInfo
- Publication number
- JP4770875B2 JP4770875B2 JP2008130870A JP2008130870A JP4770875B2 JP 4770875 B2 JP4770875 B2 JP 4770875B2 JP 2008130870 A JP2008130870 A JP 2008130870A JP 2008130870 A JP2008130870 A JP 2008130870A JP 4770875 B2 JP4770875 B2 JP 4770875B2
- Authority
- JP
- Japan
- Prior art keywords
- search
- image
- feature
- video
- feature descriptor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 claims description 119
- 238000012545 processing Methods 0.000 claims description 110
- 230000033001 locomotion Effects 0.000 claims description 92
- 230000008569 process Effects 0.000 claims description 85
- 238000000605 extraction Methods 0.000 claims description 32
- 238000003860 storage Methods 0.000 claims description 32
- 239000013598 vector Substances 0.000 claims description 32
- 238000009826 distribution Methods 0.000 claims description 21
- 238000007405 data analysis Methods 0.000 claims description 12
- 239000000284 extract Substances 0.000 claims description 12
- 230000005540 biological transmission Effects 0.000 description 16
- 230000008859 change Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000012935 Averaging Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 230000002123 temporal effect Effects 0.000 description 5
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 238000010606 normalization Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/71—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
- G06F16/785—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using colour or luminescence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
- G06F16/7857—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
- G06F16/786—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using motion, e.g. object motion or camera motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Library & Information Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Television Signal Processing For Recording (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
本実施の形態1では、ネットワーク上に散在する複数、すなわち1つ以上のデータベースに蓄積された画像データからユーザが所望の画像データを検索して利用することができる画像検索システムについて説明する。画像データは利用方法によって、圧縮静止画像(JPEG画像等)、圧縮動画像(MPEG画像等)、非圧縮画像いずれでもよく、画像フォーマットについては特に限定しない。本実施の形態1では、本発明の一例として、インターネット上のWWW(World Wide Web)により、画像情報の発信や収集を行うことを想定するが、本発明はこれに限るものではなく、有線または無線通信によるサービスや、放送網によるサービス等に本システムを適用することもできる。
(1)画像データベース生成部1の処理
図2に、画像データベース生成部1の処理をフローチャートにより示す。
[n]の各値は、抽出処理開始時にゼロにリセットしておく。
(2)画像検索部8の処理
次に画像検索部8の処理について説明する。
(1)複数の特徴記述子をどのように適合判定に利用するかを記述する。例えば、一括検索か、カスケード検索か等である。
(2)一括検索処理を行うにあたっての各特徴記述子の重要度に応じた重み係数を与える。
(3)一括検索を行うにあたって、各特徴記述子の正規化方法を与える。
(4)記述子を検索に使用する順序を与える。
(5)カスケード接続による検索の場合に、各特徴記述子によって得られる検索候補の数を与える。
(6)各特徴記述子の記述の精度(どれくらい正確に特徴を記述しているか)を示す値を与える。
(7)各特徴記述子のマッチングによって得られる検索候補を、それぞれANDして出力するか、ORして出力するかの判断基準を与える
これらの適合判定処理手順の記述子は、アプリケーション固有の固定的な記述であってもよいし、アプリケーションが許容する範囲においてユーザによるカスタマイズが可能となるよう構成することもできる。例えば、ユーザは検索利用可能な特徴記述子の種類をシステムから知らされ、それらの性質に応じて自らの好みを反映した独自の適合判定処理を記述子として更新できるようになれば、ユーザにとってより柔軟な検索処理を行うことができるようになる。このような検索システムのカスタマイズはある程度アプリケーション独自に実装することができるが、共通の標準的な記述フォーマットを用意することにより、広範なシステムの実装が容易になるほか、検索に利用可能なデータを異なるアプリケーション間で共有することも可能である。
実施の形態2.
本実施の形態2では、特に動画像データに関して、動きや明るさ、色など、複数の種類の特徴記述子を組み合わせて特徴記述子セットを構成し、これらを検索のキーとして用いて、ユーザの意図する検索方針の反映等を可能にした画像検索システムおよび画像検索方法の具体例について説明する。尚、上記実施の形態1では、検索処理部10をサーバ側に設けて説明したが、本実施の形態2の画像検索システムでは、検索処理部10をサーバ側とクライアント側とに分けて、サーバ側とクライアント側とを2つのネットワークA,Bを介し接続したことを特徴の一つとするものである。
(1)検索用記述データファイル210の生成(S30〜S33)
はじめに、検索用記述データを付加しようとする入力画像データとしての圧縮ビデオデータ201に対し、以下に述べる処理を行うことにより、検索用記述データファイル210の生成を行う。以下では、検索用記述データを生成する対象となる圧縮ビデオデータ201をビデオセグメントと呼ぶ。ビデオセグメントは、実施の形態1にも述べたように、任意の数のフレーム群から構成される単位ビデオデータを示す。したがって、ビデオセグメントは、たとえば1本のテレビプログラムやビデオソフトを示す場合もあるし(以下、このような場合を「ビデオプログラム」と呼ぶ)、テレビプログラム中の特定の意味内容に応じて分類されるシーン(以下、「ビデオシーン」と呼ぶ)や、シーンを構成する個々のカメラショット(以下、「ビデオショット」と呼ぶ)などを示す場合もある。これらはフレーム数の観点から言えば、異なるフレーム数を持つビデオセグメントである。
(1-1)検索用記述データの構成
図18に、本実施の形態2における検索用記述データファイル210を構成する検索用記述データの構造の記述例を示す。具体的には、検索用記述データは、ビデオプログラム240を最上位階層とし、ビデオプログラム240を構成するビデオシーン(図では、「シーン」と略す)243群を次の階層とし、さらに各シーン243を構成するビデオショット(図では、「ショット」と略す)244群を最下位階層として構成される。尚、図上では、ビデオセグメント(ビデオプログラム240、ビデオシーン243、ビデオショット244)、サーチプライオリティ241、および信頼度242は“□”で示している一方、各ビデオセグメント、特にビデオショットを記述する特徴記述子245〜249群を“○”で示している。本システムでは、ビデオショット244に関する以下の特徴記述子245〜249のセットを生成する。
・動き量245
ビデオセグメント中の動きベクトルの大きさに関する特徴記述子である。
・動き方向246
ビデオセグメント中の動きベクトルの方向に関する特徴記述子である。
・動き分布247
ビデオセグメント中の動きベクトルの画面内分布に関する特徴記述子である。
・明るさ248
ビデオセグメント中の平均的な明るさに関する特徴記述子である。
・代表色249
ビデオセグメント中の代表色に関する特徴記述子である。
(1-2)検索用記述データ生成処理
(1-2-1)特徴記述子の生成処理(S30)
個々の特徴記述子の生成は、まず、特徴抽出部3が特徴記述子の生成に必要な動きベクトルやDC成分値などの画像特徴量を圧縮ビデオデータ201中から抽出し、これらに基づいて特徴記述子生成部202が各特徴記述子の生成を行う(S30)。以下、各特徴記述子の生成方法の詳細について述べる。
(a)動き量に関する特徴記述子245
ビデオセグメント中のk番目のインターフレーム(P-frame)に対し、下式に従い、フレーム内のすべてのマクロブロック(1≦n≦N;Nはフレーム内マクロブロック総数)の動きベクトルMVk[n]の大きさCk[n]を抽出する。
(b)動き方向に関する特徴記述子246
各インターフレームにおいて、動きベクトルMVk[n]の角度Ak[n]を下式で求める。角度はDegree表記とする。
(a)においてインターフレームkについて求めた各動きベクトルCk[n]に対して、以下の閾値処理を施す。
(d)明るさに関する特徴記述子248
イントラフレームの輝度信号成分に含まれる各マクロブロックの直流(DC)成分のヒストグラムを用いる。DC成分は0〜255の範囲の値とし、その範囲を16個のサンプルへ量子化し、各サンプルに対してヒストグラムを求める。イントラフレームごとに求めたヒストグラムを各サンプルごとにビデオセグメント中の全イントラフレーム数で平均する。最後に、下式により、全イントラフレーム(N枚)の平均をとる。
イントラフレームの輝度および色差信号成分に含まれる各マクロブロックの直流(DC)成分のヒストグラムを用いる。DC成分は0〜255の範囲の値とし、その範囲を16個のサンプルへ量子化し、各サンプルに対してヒストグラムを求める。イントラフレームごとに求めたヒストグラムを各サンプルごとにビデオセグメント中の全イントラフレーム数で平均する。最後に、下式により、全イントラフレーム(N枚)の平均をとる。
次いで、特徴記述子信頼度算出部204において、S30で求めた各特徴記述子245〜249に対する特徴記述子信頼度242(図15における特徴記述子信頼度205と等価)を算出する(S31)。各特徴記述子ごとの算出方法を以下に述べる。
(a)動き量245に関する特徴記述子
ビデオセグメント内の全インターフレームについて(Ck avg,σk 2)の抽出を行った後、個々の要素に対して、最終的に得られるビデオセグメントとしての値と各フレームの値との差分絶対値をとり、ビデオセグメント中の最大値を0、最小値を100として正規化した各フレームの差分絶対値を、全フレームに渡って加算平均することによって算出する。これはフレームの記述精度を基準とするビデオセグメントの記述精度を示す値となる。特徴記述子としての信頼度は、(Ck avg,σk 2)に対する各信頼度の平均値とする。
(b) 動き方向246に関する特徴記述子
ビデオセグメント内の全インターフレームについてAk avgの抽出を行った後、最終的に得られるビデオセグメントとしての値と各フレームの値との差分絶対値をとり、ビデオセグメント中の最大値を0、最小値を100として正規化した各フレームの差分絶対値を、全フレームに渡って加算平均することによって算出する。これはフレームの記述精度に対するビデオセグメントの記述精度を示す値となる。
(c) 動き分布247に関する特徴記述子
ビデオセグメント内の全インターフレームについて(SRk,MRk,LRk)の抽出を行った後、最終的に得られるビデオセグメントとしての値と各フレームの値との差分絶対値をとり、ビデオセグメント中の最大値を0、最小値を100として正規化した各フレームの差分絶対値を、全フレームに渡って加算平均することによって算出する。これはフレームの記述精度に対するビデオセグメントの記述精度を示す値となる。特徴記述子としての信頼度は、(SRk,MRk,LRk)に対する各信頼度の平均値とする。
(d) 明るさ248に関する特徴記述子
各ヒストグラムサンプルごとに、最終的に得られるビデオセグメントとしての値と各フレームの値との間の差分絶対値をとり、ビデオセグメント中の最大値を0、最小値を100として正規化した各フレームの差分絶対値を、全フレームに渡って加算平均することによって算出する。これはフレームの記述精度に対するビデオセグメントの記述精度を示す値となる。特徴記述子としての信頼度は、各ヒストグラムサンプルに対する信頼度の平均値とする。
(e) 代表色249に関する特徴記述子
各色空間の各ヒストグラムサンプルごとに、最終的に得られるビデオセグメントとしてのヒストグラムと各フレームのヒストグラムとの間の差分絶対値をとり、ビデオセグメント中の最大値を0、最小値を100として正規化した各フレームの差分絶対値を、全フレームに渡って加算平均することによって算出する。これはフレームの記述精度に対するビデオセグメントの記述精度を示す値となる。特徴記述子としての信頼度は、各ヒストグラムサンプルに対する各信頼度の平均値とする。
(1-2-3)サーチプライオリティ241の設定処理(S32)
ビデオプログラム240中に含まれるすべてのビデオショット244に対して特徴記述子245〜249および信頼度242の算出が終了した後、特徴記述子検索使用順序決定部206において、ビデオプログラム240に対するサーチプライオリティ241の初期設定を行う(S32)。初期設定方法はシステムの設計に応じて自由に規定することが可能であるが、本実施の形態2では、ビデオプログラム240中の全特徴記述子の信頼度242Aに基づいて決定する。ビデオプログラム240の各特徴記述子の信頼度242Aをk、ビデオシーンmの各特徴記述子の信頼度242Bをk(m)、ビデオシーンm中のビデオショットnの各特徴記述子の信頼度242Cをk(m,n)とすると、これらk、k(m)、k(m,n)の間には、下式の関係が成立することにとなる。
(1-2-4) 検索用記述データファイル210の書き出し(S33)
以上の処理過程を経て、最後に検索用記述データ生成部209において、図18の構造に従って圧縮ビデオデータ201の時空間構造に関連付けて、ビデオプログラム、ビデオシーン、ビデオショットの全特徴記述子ならびにサーチプライオリティ、信頼度を、XMLファイルなどの形式に書き下すことにより検索用記述データファイル210を生成し、生成した検索用記述データファイル210を画像情報蓄積部5へ出力して格納する(S33)。なお、この過程では、生成された検索用記述データファイル210がどのビデオデータを記述するものかを参照できるようにするため、圧縮ビデオデータ格納位置情報208も一緒にファイル化して検索用記述データファイル210として画像情報蓄積部5へ出力することにより、ファイルを解析することにより記述対象となったビデオデータの所在を特定できるようにしている。
(2) 検索処理
次に、クライアント側からユーザが指定するクエリー(検索元ビデオショット)に対して行う検索処理について詳述する。検索処理は、図15に示す検索処理部10A、および図16に示す検索処理部10Bによって実行される。
(2-1)クエリーの特定と検索用記述データの解析(S34〜S36)
ユーザは、まず、ユーザインタフェース部229上に提示されたクエリーリストなどから検索元となるクエリーを選定する(S34)。クエリーリストとしては、あらかじめサーバ側の画像情報蓄積部5から、クエリー候補のビデオセグメントを代表するキーフレームなどのデータをユーザインタフェース部29に提示しておく形式などを想定する。
(2-2) 検索ルールの決定および適合判定処理(S37〜S38)
適合判定処理は、検索処理部10Aの適合判定処理部213にて行われ、その動作は大きく分けると、検索ルールの決定と、各特徴記述子による適合判定処理に分類される。
(2-2-1)検索ルールの決定
適合判定処理部213は、検索用記述データ解析部211より受け取ったビデオプログラムのサーチプライオリティ241と、ビデオシーンの信頼度242Bのデータとに基づき、検索ルールおよび検索のためのパラメータを設定する(S37)。本実施の形態2では、後述する図19に示すようにサーチプライオリティ241に基づいて各特徴記述子を検索に使用する順序を検索ルールとして決定し、その次に、信頼度に基づいて、以下の検索パラメータを決定する。
(a)各特徴記述子による検索ステップにおける検索候補数
まず、検索結果としてユーザに返信する最終検索結果数Tを定める。これはシステムがデフォルト値としてもっていてもよいし、ユーザ要求としてユーザインタフェース部229→検索処理部10B→検索処理部10Aという順に受け渡されて設定されるようにしてもよい。検索エンジンは、各ビデオシーンについてT個以下の検索結果を求め、検索候補となった全ビデオシーン中の全ビデオショットのうち、適合判定結果の上位T個のビデオショットを最終的な結果としてユーザに返すものとする。
(b)閾値処理に基づく検索スキップ判定
各ビデオショットの適合判定処理の際、下式の条件を満たすビデオショット、すなわちサーチプライオリティの最も高い特徴記述子の信頼度が極端に低いビデオショットは、検索条件に見合わないものとして適合判定処理の候補から外すものとする。信頼度は0に近いほど信頼性が低く、100に近いほど信頼性が高いとみなすので、下式のTHは適当に小さな値を設定しておけばよい。
(2-2-2)各特徴記述子の適合判定処理
以下の基準に基づいて、各検索ステップにおいてサーチプライオリティ241によって定められる特徴記述子の適合判定処理を行う。(S38)
(a)動き量に関する特徴記述子
個々のデータ間のユークリッド距離をすべて加算する。各データ要素の値域の違いを吸収するため、正規化処理を行う。クエリーをSq、検索先ビデオショットをSとし、SqとSとの間のマッチング評価尺度D(Sq,S)を下式で定める。このD(Sq,S)が小さいものほど類似度が高く、適合するものと判定する。
クエリーSq、検索先ビデオショットSの間のマッチング評価尺度D(Sq,S)を下式で定める。このD(Sq,S)が小さいものほど類似度が高く、適合するものと判定する。
クエリーSq、検索先ビデオショットSの間のマッチング評価尺度D(Sq,S)を下式で定める。このD(Sq,S)が小さいものほど類似度が高く、適合するものと判定する。
クエリーSq、検索先ビデオショットSの間のマッチング評価尺度D(Sq,S)を下式で定める。ただし、Hi(S)をI番目のサンプルのヒストグラム値とする。このD(Sq,S)が小さいものほど類似度が高く、適合するものと判定する。
クエリーSq、テストSの間のマッチング評価尺度D(Sq,S)を下式で定める。ただし、[Hi Y(S),Hi U(S),Hi V(S)]をi番目のサンプルのヒストグラム値とする。このD(Sq,S)が小さいものほど類似度が高く、適合するものと判定する。
(2-3)検索結果の提示とユーザフィードバックに基づく再検索(S39〜S41)
以上の検索ルールと適合判定処理に基づいて選択されたT個の検索結果のビデオショットに関して、その情報をユーザインターフェース部229によりユーザ232に提示する(S39)。提示の方法は任意であるが、本実施の形態2では、例えば、最初にクエリーリストを提示したように、検索結果のビデオショットを代表するキーフレームデータやビデオショットの属性情報(ビデオショット内の被写体の名前など)を所定のルールに基づいて符号化して検索結果情報217としてクライアント側の検索処理部10Bに送信し、検索処理部10Bの検索結果受信・表示部228がサーバ側から送信されるキーフレームデータや属性情報を符号化した検索結果情報217を受信して、ユーザインタフェース部229に表示可能な形式に変換してユーザインタフェース部229に引き渡す。以上の処理を経ることによって、ユーザ232は、検索結果をユーザインタフェース部229上に見ることができる。
(3)ビデオショット再生処理
以上述べた動作により、ユーザは所望の検索結果をユーザインタフェース部229上に引き出すことが可能となる。しかし、一般に検索結果は複数の検索候補を提示するものであり、それらをすべてビデオデータとして表示するにはサーバ側からクライアント側へ多量の情報伝送が必要となる。そこで、上述したように、ユーザインタフェース部229としては、ビデオショットを代表するキーフレームのようなデータを提示して、そこから選択的に映像再生が可能となるよう構成することにより、トータルの情報伝送量を効果的に削減することが可能である。そのようなシステム構成とするため、本実施の形態2では、図15および図16に示すビデオ再生サーバ218、ビデオ復号・再生部239、再生制御部235等を導入したものである。ユーザ232は、本機能を選択したビデオショットやビデオプログラムを再生するために利用する。
Claims (6)
- 入力画像データにおける画像フレーム内のマクロブロックの動きベクトルを抽出する特徴抽出部と、
この特徴抽出部で抽出された動きベクトルに基づき前記画像フレーム内の平均動き量を算出し、前記平均動き量より小さい動きベクトルをゼロとする閾値処理を施し、閾値処理を施した動きベクトルを各画像フレームごとにスキャンして得られるゼロランの数に基づき、複数の画像フレームをまとめたビデオセグメントの単位で特徴記述子を生成する特徴記述子セット生成部とを備えたことを特徴とする画像特徴データ生成装置。 - 入力画像データに対して複数の画像フレームをまとめたビデオセグメントの単位に対応する動きに関する特徴記述子が配列された特徴記述子ファイルを入力とし、この特徴記述子ファイルから、指定されたビデオセグメントの特徴記述子を抽出する特徴記述データ解析部と、
この特徴記述データ解析部により抽出された特徴記述子を入力し、入力された特徴記述子と要求された特徴記述子との類似度を判定する判定処理部とを備え、
前記動きに関する特徴記述子は、画像フレーム内のマクロブロックの動きベクトルに基づき前記画像フレーム内の平均動き量を算出し、前記平均動き量より小さい動きベクトルをゼロとする閾値処理を施し、閾値処理を施した動きベクトルを各画像フレームごとにスキャンして得られるゼロランの数に基づき生成されたものであることを特徴とする画像特徴判定装置。 - 入力画像データにおける画像フレーム内のマクロブロックの動きベクトルに基づき前記画像フレーム内の平均動き量を算出し、前記平均動き量より小さい動きベクトルをゼロとする閾値処理を施し、閾値処理を施した動きベクトルを各画像フレームごとにスキャンして得られるゼロランの数に基づき特徴記述子を生成する特徴記述子生成部と、
この特徴記述子生成部において生成された特徴記述子を入力し、入力画像データと対応づけて蓄積する画像情報蓄積部と、
入力画像データに付随して入力する属性情報に基づいて属性リストを生成する属性リスト生成部と、
属性情報に関する検索条件が入力されると前記属性リストを検索して当該検索条件に適合する属性情報を出力すると共に、特徴記述子に関する検索条件が入力されると前記画像情報蓄積部を検索して当該検索条件に適合する画像データを出力する画像検索部と、
を備えることを特徴とする画像検索システム。 - 前記特徴記述子はフレーム内の水平画素数の1/3未満の長さをもつゼロランの数と、フレーム内の水平画素数の1/3以上2/3未満の長さをもつゼロランの数と、フレーム内の水平画素数の2/3以上の長さをもつゼロランの数に基づき入力画像データの動きの分布を示すものであることを特徴とする請求項1記載の画像特徴データ生成装置。
- 前記特徴記述子はフレーム内の水平画素数の1/3未満の長さをもつゼロランの数と、フレーム内の水平画素数の1/3以上2/3未満の長さをもつゼロランの数と、フレーム内の水平画素数の2/3以上の長さをもつゼロランの数に基づき入力画像データの動きの分布を示すものであることを特徴とする請求項2記載の画像特徴判定装置。
- 前記特徴記述子はフレーム内の水平画素数の1/3未満の長さをもつゼロランの数と、フレーム内の水平画素数の1/3以上2/3未満の長さをもつゼロランの数と、フレーム内の水平画素数の2/3以上の長さをもつゼロランの数に基づき入力画像データの動きの分布を示すものであることを特徴とする請求項3記載の画像検索システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008130870A JP4770875B2 (ja) | 1999-09-27 | 2008-05-19 | 画像特徴データ生成装置、画像特徴判定装置および画像検索システム |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP1999272183 | 1999-09-27 | ||
JP27218399 | 1999-09-27 | ||
JP2008130870A JP4770875B2 (ja) | 1999-09-27 | 2008-05-19 | 画像特徴データ生成装置、画像特徴判定装置および画像検索システム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005186635A Division JP2006018831A (ja) | 1999-09-27 | 2005-06-27 | 画像検索システムおよび画像検索方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008269628A JP2008269628A (ja) | 2008-11-06 |
JP4770875B2 true JP4770875B2 (ja) | 2011-09-14 |
Family
ID=40048952
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008130870A Expired - Fee Related JP4770875B2 (ja) | 1999-09-27 | 2008-05-19 | 画像特徴データ生成装置、画像特徴判定装置および画像検索システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4770875B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9135277B2 (en) | 2009-08-07 | 2015-09-15 | Google Inc. | Architecture for responding to a visual query |
US9443147B2 (en) * | 2010-04-26 | 2016-09-13 | Microsoft Technology Licensing, Llc | Enriching online videos by content detection, searching, and information aggregation |
WO2012102038A1 (ja) | 2011-01-25 | 2012-08-02 | パナソニック株式会社 | コンテンツ通知システムおよび方法ならびにユーザ端末装置 |
JP6857983B2 (ja) * | 2016-08-25 | 2021-04-14 | Jcc株式会社 | メタデータ生成システム |
JP6811645B2 (ja) * | 2017-02-28 | 2021-01-13 | 株式会社日立製作所 | 画像検索装置及び画像検索方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2521145B2 (ja) * | 1989-02-20 | 1996-07-31 | 日本ビクター株式会社 | 動き補償予測符号化復号化方式 |
JP2516082B2 (ja) * | 1990-03-19 | 1996-07-10 | 日本ビクター株式会社 | デ―タ圧縮装置 |
JP3534368B2 (ja) * | 1996-04-03 | 2004-06-07 | 株式会社東芝 | 動画像処理方法及び動画像処理装置 |
JP3780623B2 (ja) * | 1997-05-16 | 2006-05-31 | 株式会社日立製作所 | 動画像の記述方法 |
-
2008
- 2008-05-19 JP JP2008130870A patent/JP4770875B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2008269628A (ja) | 2008-11-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3738631B2 (ja) | 画像検索システムおよび画像検索方法 | |
Chang et al. | Video adaptation: concepts, technologies, and open issues | |
KR100515542B1 (ko) | 콘텐츠 검색 분배 장치 및 콘텐츠 검색 분배 방법 | |
US7174055B2 (en) | Image information describing method, video retrieval method, video reproducing method, and video reproducing apparatus | |
US20040246376A1 (en) | Video content transmission device and method, video content storage device, video content reproduction device and method, meta data generation device, and video content management method | |
JP2004526372A (ja) | ストリーミング映像ブックマーク | |
KR20030021558A (ko) | 영상 데이터 제공 시스템 및 방법 | |
JP2004247844A (ja) | メタデータ選別処理方法、メタデータ選択統合処理方法、メタデータ選択統合処理プログラム、映像再生方法、コンテンツ購入処理方法、コンテンツ購入処理サーバ、コンテンツ配信サーバ | |
JP2001526859A (ja) | ワールドワイドウェブ上の圧縮映像の指示及び編集方法及びアーキテクチュア | |
JP4770875B2 (ja) | 画像特徴データ生成装置、画像特徴判定装置および画像検索システム | |
EP1162844A2 (en) | Dynamic feature extraction from compressed digital video signals for content-based retrieval in a video playback system | |
CN109168020A (zh) | 基于直播的视频处理方法、装置、计算设备和存储介质 | |
Divakaran et al. | Video browsing system based on compressed domain feature extraction | |
JP4574771B2 (ja) | 画像情報記述方法 | |
JP2006018831A (ja) | 画像検索システムおよび画像検索方法 | |
JP3581085B2 (ja) | 二次コンテンツ生成システム及びその方法並びに二次コンテンツ生成プログラムを記録した記録媒体 | |
JP2006139682A (ja) | 映像検索システム、映像検索方法及びプログラム | |
KR100772788B1 (ko) | 동영상의 움직임 활동 특징 기술 방법 및 장치 | |
KR20190091215A (ko) | 메타 데이터를 이용한 인코딩 없는 편집 동영상을 제공하는 방법 및 장치 | |
JP5753999B2 (ja) | 端末装置、データ処理プログラム、及びデータ管理システム | |
Meessen et al. | Content browsing and semantic context viewing through JPEG 2000-based scalable video summary | |
Gurrin et al. | Addressing the challenge of managing large-scale digital multimedia libraries | |
Tseng et al. | Video personalization for usage environment | |
Angelides et al. | Implementing the MPEG-21 adaptation quality of service in dynamic environments | |
Xie | Spatial data structure indexing for video databases |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100914 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101105 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20101124 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110218 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20110228 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110524 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110606 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140701 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140701 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |