WO2004051574A1 - 映像システム - Google Patents

Abstract

映像記述システムでは、特徴量抽出部は、映像シーケンスの各フレームからレイアウト特徴量を抽出する。代表特徴量算出部は、特徴量抽出部により抽出されたレイアウト特徴量群から、映像シーケンスを代表するレイアウト特徴量を算出する。

Description

明細 映像システム 技術分野

本発 明 は 、 映像 シ ス テ ム お よ び映像識別 シ ス テ ム に 関 す る 。 背景技術

従来 、 映像 シ一ケ ン ス 己 ¾ シ ス テ ム は、 類似す る 映像 シ

―ケ ン ス ( 映像 に含 ま れ る フ レ ー ム の 集合） を検索す る た め の特徴 を 目己述す る 巨 的で用 い ら れ て い る 映像 シ ケ ン ス t5 ¾ シ ス 丁 ム を 用 い る 第 1 従来例 の 映像 シ ―ケ ン ス 検 索 シ ス テ ム が 、 A . Muf i t F e r m a n e t al よ り

"GROUP-OF-FRAME/PICTURE COLOR HISTOGRAM

DESCRIPTORS FOR MULTIMEDIA APPLICATIONS " ,

( I c : E P 2000 )！ ； ベ ら れて い る 図 1 は 、 の 第 1 従来例 に 述ベ ら れ た 映像 シ一ケ ン ス 検幸 シ ス テム ¾r 示 し て い る 図 1 を 参照 し て 、 映像 シ一ケ ン ス 検 索 シ ス テ ム は 、 ヒ ス グ ラ ム 生成部 1 1 と 、 代表 ヒ ス 卜 グ ラ ム 生成部 1 2 と 、 記述 フ ァ ィ ル生成部 1 3 と 、 代表 ヒ ス グ ラ ム 蓄積部 1 4 と 、 ヒ ス グ ラ ム 生成部 1 5 と 、 代表 ヒ ス 卜 グ ラ ム 生 成部

1 6 と 、 類似度算 出 部 1 7 と 、 類似度 ソ一 卜 部 1 8 と 、 類 似 映像表示部 1 9 と 備 え て い る

ヒ ス グ ラ ム 生 成部 1 1 は 、 夕 ベ ス に 録 さ れ る 対象映像 シ ―ケ ン ス の 各 フ レ一ム か ら 力 ラ一 ヒ ス グ ラ ム を抽 出す る 代表 ヒ ス 卜 グ ラ ム 生 成部 1 2 は 、 ヒ ス 卜 グ ラ ム 生成部 1 1 に よ り 抽 出 さ れた 全て の フ レ ム に つ い て の 力 ラ ヒ ス グ ラ ム の各 ビ ン の 平均値 を 算 出す る 記述 フ ァ ィ ル生成部 1 3 は 算 出 さ れ た 平均値 を 所定 の 式 に 基づさ pd述 し 代表 ヒ ス h グ ラ ム 記憶部 1 4 に記憶す る ヒ ス 卜 グ ラ ム 生成部 1 5 は 問 α せ 映像 と し て 与 え ら れ た 映像 シ ケ ン ス の 各 フ レ ム か ら 力 ラ ― ヒ ス グ ラ ム を irh 出 す る 代表 ヒ ス 卜 グ ラ ム 生成部 1 6 は ヒ ス グ ラ ム 生成部 1 5 に よ り 抽 出 さ れ た全て の フ レ ム に つ い て の 力 ラ ヒ ス 卜 グ ラ ム の 各 ビ ン の 平均値 を 代表 ヒ ス V グ ラ ム と し て算 出 す る 類似度算 出部 1 7 は 代表 ヒ ス V グ ラ ム 生 成部 1 6 に Ό 生成 さ れた 代表 ヒ ス 卜 グ ラ ム と 代表 ヒ ス h グ ラ ム 蓄 剖 ； 1 4 に ： 蓄積 さ れ た 各 代 表 ヒ ス h グ ラ ム の 々

各. と 0 類似 を 算 出 す る 類似 ノ 卜 部 1 8 は 類似 度 の 高 い 順番 に ヌき録 さ れて い る 映像 を 並ベ替 え る 類似 映像表示部 1 9 は 、 類似度 の高 い 順番 に 映像 を表示す る 別 の 代表的 な 映像 B 別 シ ス テ ム (第 2 従来例 ) が特 1开] 2

0 0 0 ― 2 5 9 8 3 2 号公報 に 開 示 さ れて い る 図 2 は の 第 2 従来例 の 映像 シ ケ ン ス 検索 シ ス テ ム を 示す 図

2 を 参照 し て 映像 シ ケ ン ス 識別 シ ス テ ム は 特徴虽抽 出 フ レ一ム 選定部 2 1 と 力 ラ レ ィ ァ ヴ 卜 群生成部 2 2 と 記述 フ ァ ィ ル生成部 2 3 と 力 ラ レ ィ ァ ク 群記憶 部 2. 4 と 特徴里 フ レ ム 定部 2 5 と 力 ラ ― レ ィ ァ ゥ 群生成部 2 6 と 、 映像識別部 2 7 と を 備 え て い る 特徵里 出 フ レ ム 選定部 2 1 は 丁 タ ベ ス に 録 さ れ る 対象映像 シ ケ ン ス か ら 特徴里 を抽 出 す る 対象 フ レ ム 群 を .定す る 。 力 ラ レ ィ ァ ゥ 卜 群生成部 2 2 は 択 さ れ た フ レ ム の 各 々 か ら 画像 の 力 ラ レ ィ ァ ゥ 卜 特徴 を示す特徴里 を抽 出す る 記述フ ァ ィ ル生成部 2 3 は 出 さ れた特徵里群 を所定の 式 に基づさ記述 し 力 ラ レ ィ ァ ク 卜 群記 部 2 4 に記 Ί舎する

特徵 抽 出 フ レ ム選定部 2 5 は 問 □ せ映像 と し て与 え ら れた映像 シ ケ ンス か ら 特徴里 を 出す る 対象フ レ ム群を選定す る 力 ラ レィ ァ ゥ 群生成部 2 6 は 選択 さ れた フ レ ム の各 か ら 画像の 力 ラ レィ ァ ク 特徵 を 示す特徴里 を抽 出す る 映像識別部 2 7 は 力 ラ レィ ァ ゥ 卜 群生成部 2 6 に よ り 生成 さ れた力 ラ レィ ァ ゥ 群 と 代表力 ラ ― レィ ァ ゥ 群 2 4 に蓄恨 さ れた力 ラ レィ ァ ゥ 群 を各 フ レ ム毎 に順に 比較す る と に よ Ό 問 σ せ映 像 シ ケ ンス が力 ラ レィ ァ ヴ 群記情部 に記 さ れた 映 像 シ ―ケ ン ス の どれ と 致 し て い る と みなせ る か ま た い ずれで も な いか を判定 し 識別 '1(口果 と し て 出力す る

し か し なが ら 上述 の従来の シス テ ム で は 次 の よ Ό な 問 があ る

第 1 従来例 の シス テムで は 映像 シ ケ ンス を代表す る 力 ラ ヒ ス グ ラ ム 1 つ の みが比較さ れる の で 比較回数 を 少な < 抑 え る と に Ό 高速な検索処理 を実現でき る し か し なが ら 映像 シ ケ ンス を 別する の に十分な性能 が得 ら れな い ま た 力 ラ ―ヒ ス h グ ラ ム は レィ ァ ゥ 構 造が考慮 さ れて い な い ため 向 じ 色 を 持 が構図 の異な る 映像 を も誤 て検索 し て し ま Ό と が め る

ま た 第 2 従来例で は フ レ ム単位で特徴里が比較 さ れ る ので 十分な 別性能が得 ら れる し か しなが ら フ レ ム単位で特徴虽が比較 さ れる ので 照 口 回数が多 < 処 理 ス 卜 がかか る 上記説明 と 連 し て 特開平 7 ― 7 9 2 0 6 号公報 に は、

C M 動識別 シス テ ム が開示さ れて い る o の従来例 の C

M 白 動識別装置は 各 Τ V 放送 X リ ァ と に備え ら れた C

M抽 出装置 と 複数 の C M抽出お置 と 通信路 を介 し て通信 可能 に接続 さ れた C Μ 別装置 と を備 えて い る C M抽 装 mは 複数の C Μ ス キ ャ ナ と C M抽 出制御壮 を備 え て い る 複数の C Μ ス キ ャ ナ の各々 は 所定 の T V放送 X ァ 内 に お け る C Μ識別対象局 と に備 え ら れ 対応す る 局 の放送 を受信 し て C Μ 尸 ―タ を検出す る C M抽 出制 御装置は 複数の C Μス キ ャ ナで検出 さ れた C M 尸 ァ 夕 C Mが放送 さ れた局名 C Mが放送さ れた時刻及び C

M の放送秒数 を含む C Μ 了 夕 を 通信路 を介 し て C M装 置 に送信する ο C Μ Β哉別装置は C M 準丁 タ 記憶部 と 、

C M記録 フ ァ ィ ル と 比較部 と を備え て い る C M基 ァ

―タ 記 '|音部は 各 Τ V放送 X U ァ に対応 し て PXけ ら れて い る C M基準丁 夕 記憶部 に は 放送予定の C M の比較用 尸 丁 夕 及び放送予定 C M の識別 ― を含む付加 タ を有す る C Μ基準丁 夕 が各 C M識別対象局 と に登録 さ れて い る C Μ記録 フ ァ ィ ルは 各 T V放送ェ ァ の 各

C M i別対象局 と に 口又 け ら れて い る 比較部は 各 Y V 放送ェ U ァ の C Μ抽 出壮置か ら 受信 さ れた C M タ 中 の

C M 尸 丁 夕 を 対応す る T V 放送ェ U ァ用 の C M基準 丁 タ 記 Ι 部 に格納 さ れた対応す る 局 の C M基準ァ 夕 中 の 比較用 尸 丁 夕 と 比較 し 致す る と に よ り そ の

C M某準ァ 夕 中 の 付加丁 夕 及びそ の C M τ 夕 中 の C

M放送時刻 タ を対応す る C M記録 フ ァ ィ ル に記録す る o ま た 高速信 探索壮

3¾置が特 2 0 0 1 ― 9 2 4 8 6 に 開示 さ れて い る の従来例では 入力信号か ら 予 め登 録 さ れた参照信号 に類似 し た部分が探幸 さ れる 参照信号 か ら 参照特徵里系列が導かれる 入力 信号か ら 入力 特徵量 系列が導かれ そ の入力特徴量系列 に対 し て注 目 が設定 さ れる 参照特徴里系列 と 注 内 の入力 特徴 系列 と の類似度が計算 さ れ 計算 さ れた類似度 に基づい て 注 目 窓 のス キ 、つ プ幅が計算 さ れ そ の ス キ V プ幅だけ注 巨 窓が 移動 さ せ ら れる 移動 さ れた注 窓位置 にお いて 得 ら れ た類似度 に基づい て 記移動 さ れた注 巨 窓 を時間 の逆方 向 に戻す必要があ る か否かが判定 さ れ る 類似度計算過程、 ス キ ッ プ幅計算過 及びバ ッ ク 卜 ラ ッ ク 必要性判定過程が 繰 返 さ れ 入力 信号 の複数 固所 につ いて 参照信号 と の 似度が計算 さ れ そ の類似度 と 予 め設定 さ れた 百 標類 似度 と が比較 さ れ 参 BE信号が 入力 信号の 当 該箇所 に存 在する か否かが決定 さ れる

ま た 映像構造化衣置が特開 2 0 0 1 ― 1 0 1 2 0 5 に 開示 さ れて い る の従来例 の映像構 化装置は 映像記 録装置 と 画像の特徴 を抽出する 画像特徴 抽 出装置 と 、 抽 出 さ れた特徴 を 丁 ィ ン 夕 ル画像 と に記録す る 構造記 録媒体 と を備 えて い る 記録 さ れた画像は 力 ヅ 卜 • シ ョ ッ 卜 変化 占記録装置 に よ てセ グメ ン に さ れ 代表 フ レ ム抽 出装置 力 メ ラ 情報記録装置 環境情報記録装置 に よ り 取得 さ れた情報が情報付加装置 に よ つ て付加 さ れ 、 管 理 さ れる

ま た C M m査装置が特開 2 0 0 1 ― 3 5 9 1 2 5 に 開 示 さ れて い る の従来例 の C M fj¾査装置は 家庭 に さ れ そ の家庭で視聴 さ れた Π マ シ ャ ル に 関す る デ ― 夕 は C M 周査用 ァ 夕 と して C M 周査セ ン 夕 へ送信 さ れ

C M調査装置は 各放送局 の放送出力 丁 ―夕 の ち 調査 対象 マ シ ャ ル映像部分の 丁 夕 虽 を 特定ァル ゴ ズ ム を用 い て縮小 し た C M縮小了 夕 を 受信す る 受信部 と 受信 さ れたそ の C M縮小丁 ―夕 を 貝する 受信丁 タ 記 'f音 部 と を備 え て い る 出力 了 夕 記憶は 放送受信機 に お い て実際 に視聴 さ れた放送出 力 丁 夕 の 丁 夕 里を 特定ァ ルゴ U ズム を用 いて縮小 さ れた 出 力縮小 T一夕 を記録 し 出力縮小 ―タ と C M縮小テ 夕 と が比較さ れ視聴 さ れた マ シ ャ ルが決定 さ れる そ の決定が C M 査セ ン 夕 へ送信 さ れ る

ま た 画像検索装置が特開 2 0 0 2 ― 1 1 7 0 3 7 に 開 示 さ れて い る の従来例 の画像検奉衣置は 検索対象動 画像の 中 か ら 所定の 問 い □ わせ画像 に類似す る 画像が検索 さ れる の画像検索衣置で は フ レ ム特徴里抽 出部は、 検索対象動画像 に含 ま れる 少な < と も 部の フ レ ム の特 徵里 を 出 し フ レ ム特徴里 と して 出力す る フ レ ―ム 特徴里蓄恨部は フ レ ム特徴 i 出部か ら 出力 さ れた フ レ ム特徵里を 積す る 画像特徵里 im 出部 は 問 い 口 わ せ画像の特徴鱼 を抽 出 し 画像特徴 と し て 出力 す る 類 似度算出部 は フ レ ム特徴里 部 に蓄積 さ れた フ レ ― ム特徴里 と 画像特徵里抽 出部か ら 出力 さ れた画像特徵里 と を 比較 し て両者の類似度 を算出す る フ レ ム特徴里 部は フ レ ―ム特徵里 恨部 に蓄 さ れた フ レ ム特徴里 の Ό ち 類似度が予 め定め た条件 を満 たす フ レ ム特徴里 を少な < と 1 の グル プに す る 類似画像 m定部 は フ レ ム特徴虽統 □ 部 にお い て統 さ れた グル プ内 で最 類似度の高 い フ レ ム特徴里を 少な く と ¾ 1 つ 選択 す る こ う し て 、 類似画像 定部 に よ り 選択 さ れた フ レ ム特徵量を有す る 画像が検索結果 と し て提示 さ れる

ま た 、 動画 Π ンテ ン ッ の検索情報抽 出 シス テム が特 開 2

0 0 2 一 3 3 5 4 7 3 に 開示さ れて い る し の従来例 で は、 動画 ンテ ン V は 、 動画 ンテ ン ッ の 各 シ ン毎 に分割 さ れる 画像サム ネィ ル部は 、 各 シ ン毎の代表静止画 を 定す る Ό し て 、 各 シ ―ン毎の代表静止画が動画 ンテ ンッ のス 卜 U 展開 に沿 つ て動画検索情報丁 ―夕 ベ一ス に 保存 さ れる

ま た 、 マルチ メ 丁 ィ ァ • ァ 力 ィ ブの記 ス キ ム が特 表 2 0 0 2 ― 5 3 7 5 9 1 に 开] 示 さ れて い る こ の従来例 では 、 ディ ジ 夕 ル記憶サブシス テム はマルチ メ デ ィ ァ 記 ス キ ム に従 てマルチメ ァ ィ ァ • レ Π ― ドヽ 及び該 レ

の記 を記憶す る ン ピ ュ 夕 処理装置は 、 レ

の記述 に ァ ク セ ス し 、 丁 ィ ジ夕 ル記 '1意サブシス テム 内 の 少 な < と も 二つ の レ を レ の 己 の属性 に基づい て関 付け る 少な < と も つ の ク ラ ス 夕 を有 し 、 少な < と も の ク ラ ス タ にィ ン丁 ッ ク ス を与 え る 集 □ 体構 記 ス キ ム を有す る ァ 力 ィ ブ記述 を 生成す る こ ラ し て 、 ン ピ ュ ― タ 処理装置は 、 ァ ィ ジ 夕 ル目 1 サ ブシス テ ム に 操作可能な状態で接 さ れて い る ァ ―力 ィ ブ 記 衣 置は 、 ァ 力 ィ ブ記述 レ ― を記 '1音す る た め に コ ン ピ ュ 夕 処理装置 に ί栄作可能な状態で接 さ れて い

ま た 、 向速信 探索方法が 曰 本国特許第 3 0 6 5 3 1 4 に 開 さ れて い る こ の従来例では 、 予 め 録 さ れた立 曰 m信号で あ る 参照信号 につ いて特徴里系列が生成 さ れ る 入力 さ れた立

曰 信号で あ る 入力 信号に対 し て 定時間 の 入力信号注 巨 がき口又&定 さ れる 入力 信号注 巨 内 の入力 信号 につ い て特徵里系列が生成 さ れる 生成 さ れた特徴 系列 と 生成 さ れた特徵里系列 と の類似度 を示す入力 信号類 似値が計算 さ れ 計算 さ れた入力 信号類似値 に づい て 入力 信号注 百 窓 を移動でさ る 里 を示す移動可能 が計算 さ れ る 計算 さ れた移動可能里に基づい て 入力信号注 目 窓 の位置が決定 さ れ そ の位置 に該入力 信号注 巨 が設定 さ れる し て 上記 の動作が繰 Ό 返 さ れて入力 信号注 S の各位置 について 入力 信号類似値が計算 さ れ 入力 信 号類似値 と 予め 口又定 さ れた 閾値 と の比較結果 に基づい て 入力 信号上 にお いて入力信号注 窓が現在示す位置 に参照 信号が存在する か否かが判定 さ れる 発明の 開示

従つ て 本発明 の 百 的は フ レ ム 単位の 照 □ が必要な 映像 シ ケ ンス を選定でさ る よ に映像 シ ケ ン ス 記述 を 行 Ό と に よ り 映像 シ ―ケ ンス の識別不冃度 を落 と す と な < 別処理 の高速化 を実現す る と がで さ る 映像 シ ス テ ム と 映像記述 シス テム を提供す る と に あ る

本発明 の観ハ占、、で は 映像記述 シス テ ム は 映像 シ ケ ン ス の各 フ レ ム か ら レィ ァ ゥ 特徵里 を抽 出する 特徵里 出部 と 刖 記特徴里抽 出部 に よ り 抽 出 さ れた レィ ァゥ 卜 特 徵 群か ら 映像 シ ケ ンス を代表す る レィ ァ ク 卜 特徵量 を算出す る 代表特徴里算出部 と を 产する

ま た 本発明 の他の観 占で は 映像記述 シス テム は 映 像 シ ケ ン ス の各 フ レ ―ム か ら レィ ァ ク 卜 特徵里 を抽 出す る 特徴 抽 出部 と 刖記特徵里抽 出部 に よ り 抽出 さ れた レ ィ ァ ゥ 卜 特徴 群か ら 映像 シ ケ ンス を代表す る レィ ァ ゥ 卜 特徴里 を算出す る 代表特徴量算出部 と 前記代表特徴 里算出部 り 算出 さ れた代表 レィ ァ ク 特徴 を記 す る 代表 レィ ァ ゥ 特徵 記情部 と を a.備す る

ま た 本発 明 の他 の観ハ占、、で は 映像記述 シス テム は 映 像シ ケ ン ス の各 フ レ ム か ら レィ ァ ク 卜 特徴里 を抽 出す る 特徵 烟 出部 と 刖記特徵 抽 出部 に よ り iftl 出 さ れた レ ィ ァゥ 卜 特徵里群か ら 映像シ ケ ン ス を代表す る レィ ァ ゥ 卜 特徵里 を算出す る 代表特徴里算出部 と 刖記代表特徴 里算 出部 よ り 算出 さ れた代表 レィ ァ ヴ 特徵量を記情す る 代表 レィ ァ ゥ 特徴 記憶部 と 目 U記特徵 抽 出部よ Ό 算 出 さ れた レィ ァ ク 卜 特徴 群 を記 | 、す る レィ ァ ゥ 卜 特徵里 群記 部 と を 備す る

上記 にお い て、 前記代表特徴量算出部は、 前記特徴量抽 出部 に よ り 抽 出 さ れた レイ ァ ゥ ト 特徴量の各要素 の平均値 を求め代表特徴量 とす る こ と が好 ま し い 。

ま た 、 前記代表特徴量算出部は、 前記特徴量抽 出部 に よ り 抽出 さ れた レイ ア ウ ト 特徴量のそれぞれの要素 に つ い て、 そ の値 を昇順 ま た は降順に な ら べか え 、 メ ジア ン を算 出 し 、 代表特徴量 と する こ と が好 ま し い 。

記 レィ ァ ゥ 特徵里が 力 ラ レィ ァゥ h 情報で め つ ても い し ェ ッ ジ ヒ ス 卜 グ ラ ム 情報で あ てもよ い

ま た 刖記代表特徵里が 代表特徴 と し て C o 1 o r L a y o U t お よ び E d g e H i s t o g r a m を 少 な く と 含む複数 の特徵里か ら 1 つ が選択可能で あ り 代表特 徴里算 出方法 と し て A V e . r a g e M e d i a n I n t e r s e c t i Ο Π を少な < と も含むネ¾ の方法よ り 1 つが選択可能で あ る 記述ス キ ム に基づき記述 さ れる と が好 ま し い

ま た 本発 明 の他 の ハ、ヽで は 計算機 に よ り 実行可能な 映像記述 ソ フ ゥ ェ ァ プ 口 ダク h は 、 映像 シ ―ケ ンス の 各 フ レ ム よ り レィ ァ ゥ 卜 特徴里 を抽 出す る 特徵 im 出機能 と 刖記特徴里 ίίΰ 出機能に よ Ό 抽 出 さ れた レィ ァ ゥ 卜 特徴 群よ り 映像シ ケ ンス を代表す る レィ ァ ゥ 卜 特徴里 を 算出す る 代表特徵里算 出機能 と を実現す る

ま た 本発 明 の他 の観ハ占、、 で は 映像記 方法は 映像 シ ケ ンス の各 フ レ ム よ り レィ ァゥ 卜 特徵里 を抽 出す る 特 徵 抽 出 ス テ ッ プ と 刖記特徴 Ms

里 im 出ス テ ッ プに よ り抽 出 さ れた レィ ァ ゥ 卜 特徴里群 よ り 映像 シ ケ ンス を代表す る レィ ァ ゥ 特徴里 を算出す る 代表特徵里算 出ス テ ッ プ と を 備す る

ま た 本発 明 の他 の観ハ占、ヽで は 映像 π δ別 シス テム は 映 像 シ ケ ンス を代表す る レィ ァゥ 卜 特徴里 を代表 レィ ァ ヴ 卜 特徵 と し て記憶す る 代表 レィ ァ ゥ 卜 特徴里記憶部 と 代表 レィ ァゥ 卜 特徴 記憶部 に記憶 さ れた 問 □ せ映像 シ ケ ンス の代表 レイ ァゥ h 特徵里 と 登録 さ れて い る 映像 シ ケ ンス の代表 レィ ァゥ h 特徵里 と を 比較 し 問ムせ映像 シ ケ ン ス と類似す る 映像シ ケ ン ス を選定す る 映像シ ケ ンス 選 部 と を 目 /|"产す る

ま た 本発明 の他 の観ハ占、、で は 映像識別 シス テム は 映 像 シ ケ ンス を代表す る レィ ァゥ 卜 特徵 を代表 レィ ァ ク 卜 特徵 と し て記 す る 代表 レィ ァ ゥ 卜 特徵 記 '|'音部 と 問 □ せ映像 シ ケ ン ス の各 フ レ ム よ り レィ ァゥ 卜 特徵量 を抽出す る 特徴里抽 出部 と HU flfl特徴量抽 出部 に よ り 抽 出 さ れた レィ ァ ク 卜 特徴量群か ら 、 問合せ映像 シ — ゲ ン ス を 代表す る レィ ァ ゥ ト 特徴量 を算出す る 代表特徴量算 出部 と 代表特徵里算出部 に よ り 算 出 さ れた代表 レイ ァ ゥ 卜 特徴量 と 代表 レィ ァ ゥ ト 特 記憶部 D 'I思 れた代表 レ イ ァ ゥ 特徴 と を 比較 し 合せ映 シ ケ ンス と 類似す る シ ―ケ ン ス ^選定する 映像 シーケ ン ス 選定部 と を具備す る せ代代記徵代ス映るシよとレ

ま た 本発明 の他の観点 は、 映像識別 ンス ァ は シ ―ケ ンス を代表す る ァ 卜 特 量を代表 ィ ァ 卜 特徵里 と し て記憶す る

レイ対記ウゥ ァゥ 特徵 記 部 と 映像 シ ケ ンス の各 フ レ —ム ： 応算代憶ケれるょ、ゥンとト す レィ ァ ゥ 特徴 を記 す る レィ ァ ゥ 卜 特徴 部徵徵抽部特似ス記るれとにレレト 問 □ せ 像 シ ケ ン ス の 各 フ レ ムか ら レ ァ 特 を抽出 る 特 里 dm 出部 と 、 刖記特徴 抽

部 り 出 さ れた ィ ァ ゥ 卜 特徵 群カゝ ら 問合 映 シ ン を代表す レィ ァ ムす映特代特ケ陰るケレレ卜 ゥ 卜 特徴里 を算 出す る 特徴 出 と 代 徴 算 出部 に よ 算出 さ れた レィ ァ 徴里 と レィ ァ ゥ 特徴量記憶部 に さ れた ィ ァ ゥ 徴 と を 比較 し 問合せ映像 ケ ンス す る シ ン ス を 選 Εする 映像 シ ケ ン 部 と 映像 シ ン ス 選 定部 に よ り 選定 さ れた シー ケ ス つ い て 記 レイ ァ ク 卜 特徵量抽 出部 に り 抽 出 さ た ィ ァ ゥ 特徴量群 と 前記 レィ ァ ゥ ト 特 群 に記 さ た レィ ゥ ト 特徴 と を 照 α す る 照合部 を具備す

上記 に お い て 刖 目己 特徴量 出部は、 刖記特徴量抽 出部 に り 抽出 さ れた ィ ァ ゥ ト 特徵里 の各要素 の平均値 を求め代表特徵里 と す と が こ の ま し レ ま た 刖記代表特徴里 出部は 刖 特徴里抽 出部 に り 抽出 さ れた レィ ァ ゥ 特徵里のそれぞれ の要 につ い て 昇順 ま た は降順 にな ら ベか え メ ジァ ン を 算 出 し 、 代 特 徴量 と し て よ い

ま た 刖記 レィ ァ ゥ 卜 特徵量が、 カ ラ ー レイ ア ウ ト 情報 で あ て も よ い し ェ ッ ン ヒ ス ト グ ラ ム 情報で あ っ て も よ い

ま た 前 代表特徵里が 代 特徴里 と し て C o 1 o r

L a y o U t お よ び E d g e H i s t o g r a m を 少な < と も含む複数の特徵量よ り 1 が選択可能で あ り 代表特 徴里算 出方法 と して A V e r a g e M e d i a n I n t e r S e C t i o n を少な < と も 今む複数 の方法よ り 1 つが 択可能で あ る 記述ス キ ム に づさ 記述 さ れ る と が好 ま し い

ま た 本発明 の他 の観 占 で は 計算機 に り 実行可能な 映像識別 ソ フ ゥ X ァ プ π ダク は 映像 シ ―ケ ン ス を代 表す る レィ ァ ゥ 卜 特徴 を代表 レ ィ ァ ヴ 卜 特徴里 と し て

、 記 ン ピ ュ 夕 の記憶機能 に記 す る 記 機能 と 刖 記記 憶機能 に つ て記憶 さ れた 問 α せ映像 シ ケ ンス の代表 レ ィ ァ ゥ 特徴 と 録 さ れて い る 映像 シ 一 ケ ン ス の代表 レ ィ ァ ゥ 卜 特徵 と を 比較 し て 問 α せ映像 シ ケ ン ス と 類似 する 映像 シ ケ ンス を選定す る m定機能 と を実現す る

ま た ま た 本発明 の他 の観 占 で は 映像 別方法は 映像 シ ケ ンス を代表する レィ ァ ゥ 卜 特徴 を代表 レィ ァ ゥ 特徵里 と し て記 '|音する 記 ス テ ッ プ と 前記 憶ス テ ヅ プに よ つ て記 '|音 さ れた問 □ せ映像 シ ケ ンス の代表 yィ ァ ゥ 特徴 と 容録 さ れて い る 映像シ ケ ンス の代 レィ ァゥ 特徵里 と を 比 し て 問合せ映像 シー ケ ンス と 類似す る 映像 シ ケ ンス を選定す る 映像 シー ケ ンス 選定ス テ ッ プ と を 備す る

ま た ま た 本発明 の他の la 占 では 述ス キ ム は 映像 シ ケ ンス の特徴里 述す る記述ス キ ム で あ つ て 代表特徴里 と して C o 1 0 r L a y o U t あ び E d g e

H i s t o g r a m を少な く と 含む複数 の特徴里 り 1 つが m択可能で あ Ό 代表特徵里算出方法 と し て A V e r a g e M e d i a n I n t e r S e C t i o n を 少な

< と も含む複数の方法よ り 1 つ が選択可能で あ る

上 し た に 本発明 に れば 代表 レィ ァ ゥ 特徴 と 比較 さ れる 時 占 で同一内容で あ る 可能性がな い と 判定 さ れた 録映像 シ ―ケ ンス につ い て 処理 ス 卜 を必要 と す る レィ ァ ゥ 卜 特徵里群の フ レ ―ム単位の 比較処理 を 全て ス キ ッ プす る と がで き る 。 の た め el 別 度 を落 と す と な < 照 □ 処理 ス ト を大幅 に削減で き る

ま た 映像 シ ―ケ ンス の代表 レィ ァ ヴ 特徴里が生成 さ れ記 さ れて り 少な い コ ス で 同 内容 の可能性の あ る 録映像 シ ―ケ ンス を選定す る た め の †害報 を 提供す る と がで さ る

さ ら に 通の記述ス キー マ を ベ ¹ ~ ス に代表 レィ ァ ク 卜 特徴 が記述 さ れ 複数の シス テムで代表 レィ ァ ゥ 卜 特徵 里が交 ]奥 さ れ 複数 の 口 D IS ¾¾ よ り 代 レィ ァ ク 特徴里 が呼び出 さ れる と がで き る 図面の簡単な説明

図 1 は 第 1 従来例 の シス テム を示す図で め り 図 2 は、 第 2 従来例 の シス テム を示す図で あ Ό 、 図 3 は 、 発明 の第 1 実施例 に る 構成 を示す ブ π ッ ク 図で あ り 、

図 4 は 、 第 1 実施例 にお け る 平均 に よ る 代表 レィ ァ ゥ 卜 特徵里の生成手順 を示す流れ図で め る

、

図 5 は 、 第 1 実施例 にお け る メ ンァ ン取得 に よ る 代表 レ ィ ァ ゥ 卜 特徵 の生成手順 を示す流れ図で あ り 、

図 6 は 、 1 実施例 に お け る 平均化 に よ る 力 ラ レィ ァ ゥ 値の一例 を示す図で あ Ό 、

、、ヽ

図 7 は 、 第 1 実施例 にお け る メ ン ァ ン取得 に る 力 ラ レィ ァ ゥ ト 値の一例 を示す 図で あ Ό 、

図 8 は 、 1 施例 にお け る 記述ス キ一 ム を示す図で あ 実

V)

V

図 9 は 、 第 1 実施例 の映像識別手順 を示す流れ図で め り 図 1 0 本発明 の第 2 施例 の 成 を示す ブ ッ ク 図で あ 実

)

V 、

図 1 1 は、 本発明 の第 3 の実施例 の構成 を示す ブ 口 ッ ク 図で あ り 、

図 1 2 は、 本発明 の第 4 の実施例 の構成 を示す ブ Π ッ ク 図で あ り 、

図 1 3 は、 本 明 の第 5 の実施例 の 成 を示すブ Π ッ ク 図で あ り 、

図 1 4 は、 第 1 実施例 に お け る 各特徴量 に つ い て使用 で き る ァ グ リ ゲー シ ョ ン方法 を示す図で あ り 、

図 1 5 は、 第 1 実施例 に お け る バイ ナ リ 記述 シ ン タ ッ ク ス を示す図で あ り 、

図 1 6 は、 第 1 実施例 に お け る ァ グ リ ゲー シ ヨ ン方法 の ハ、ィ ナ U 現記述の 例 を示す図で あ Ό

図 1 7 は 第 1 実施例 に お け る 他 の 述ス 十 ム を示す 図で あ る 発明 を実施するため の最良の形態

次 に 本発明 の映像識別 シス テム に つ い て添付 図面 を参 照 し て詳細 に 説明す る

(第 1 実施例 )

図 3 は 本発明 の第 1 実施例 に係 る 映像識別 シ ス テム の 構成例 を示すブ ロ ッ ク 図で め る 。

図 3 に示 さ れる よ う に、 本実施例 に係 る 映像識別 シス テ ム は 記述部 3 1 と 、 pL恤部 3 2 と 、 識別部 3 3 と を備 え て い る 記述部 3 1 は 、 映像 シ ケ ン ス よ り 特徴里 を jab 出 し 生成す る と に よ り 映像の信号特徴 を 述する 特徵里 記 '陴部 3 2 は 登録 さ れる ベ き 映像の特徴量 を 口 L '1 す る 識別部 3 3 は 問合せ映像 シ ケ ンス を識別す る

記述部 3 1 は 、 レィ ァ ゥ 卜 特徴量抽 出部 1 0 1 と 代表 レィ ァゥ 卜 特徴昼 暂 Ψ

里 弁 to部 1 0 2 と を備 え て い る

レィ ァ ク 卜 特徵量抽 出部 1 0 1 は、 容録 さ れる ベさ 映像 シ ケ ンス の各 フ レー ム よ り 、 レィ ァゥ ト 特徴 を抽 出す る 力 ラ ヒ ス 卜 ダ ラ ム で は 、 問合せ画像 と 比ベて色が異 な る が 同 内容の画像 を識別す る こ と は困難で る 同 内容 の 映像同士'で は， 色がずれ る こ と が あ っ て 画像 の 構図が変わ る と は ほ と ん どな い の た め 、 映像 を 別 す る た め に は 画像の お ¾ ま か な構図 を表現す る レィ ァゥ 卜 特徴 を用 い る こ と が有効で あ る と考 え ら れる 従 つ て、 レィ ァゥ 卜 特徴量が利用 さ れ る 。 レィ ァ ゥ ト 特徵里 と し て は さ ま ざま な も のが考 え ら れ る が a 際 準規格 I S ο

/ I E C 1 5 8 3 8 ― 3 Μ Ρ Ε G ― 7 V I S U A L で定め ら れてお り 、 色 の レィ ァ ゥ ト 構 Jo. を 表す c o L O R

L A Y 0 U T D E S C R I Ρ Τ 〇 R ま た はェ ッ ジ の レ ィ ァ ク h 構造 を現す E D G Ε Η I S T 0 G R A M D E S

C R I P T o R が用 い ら れ る □

代表 レィ ァ ゥ 卜 特徴 算 出部 1 0 2 は レィ ァ ゥ ト 特徴 抽出部 1 0 1 に よ り Mr出 さ れた レィ ァ ゥ 卜 特徴里群か ら 登録 さ れる ベさ 映像 シ ケ ンス を代表す る 代表 レ ィ ァ ゥ 卜 特徴 を算 出す る 。 代表 レ ィ ァ ゥ 卜 特徴里 を算出す る 方法 と し て は さ ま ざま な方法が考 え ら れる が レィ ァ ゥ 卜 特徴 里群の平均化 に よ る 方法 メ ンァ ン を利用 す る 方法が用 い ら れる 図 4 図 5 は れ ら の方法 にお け る フ チ ャ 卜 を示す

図 4 は 平均化 に よ る 代表 レィ ァ ゥ 卜 特徵量の 生成手順 を示す フ U チ ャ ― 卜 で あ る レィ ァ ヴ 特徵里 と し て輝 度 6 係数 色差各 3 係数ずつ を特徵 と し て持つ C Ο L O

R L A Y 0 U T を例 に し て手順 を示す 図 6 は 各 フ レ ム の C o L 0 R L A Y Ο U Τ の各要素 の値 を 示 し た も の で あ る Y D C は輝度直流成分 C b D C , C r D C は 色差直流成分 Y A C [ n ] は η 番 百 の輝度交流成分 C b A C [ n ] C r A C [ n ] は η 番 巨 の色差交流成分 を示 す

まず レィ ァ ゥ ト 特徴里の 各要 の α 計値が 0 に U セ ッ さ れる (ス テ ッ プ A 1 ) 次 に レィ ァ ゥ 卜 特徴里抽 出 部 1 0 1 に よ り 抽出 さ れた フ レ ―ム の レィ ァ ゥ 卜 特徵量が フ レ ム毎 に 57Cみ込 ま れる □ 3冗み込 ま れた フ レ ム特徴量 の 各要 素 の 持 つ 値 は全 て ) フ レ - ム に つ い て 力 []算 さ れ る

(ス 丁 ッ プ A 2 〜 A 4 例 え ば 、 図 6 の表の要 Y D C

(輝度直流成分 ) に着 目 す る と 、 Π 計値 は 3 1 + 1 1 + 1

5 + 2 1 + 3 2 = 1 1 0 と な る 。 全 フ レー ム の レィ ァ ゥ 卜 特徵里の各要 ヾ毎の □ 計値は フ レ ム 数で正規化 さ れ、 平 均値が算出 さ れる (ス テ ッ プ A 5 ) 。 図 6 の表の要素 Y D

C (輝度直流成分 ) に着 目 す る と 、 平均値 は 1 1 0 ÷ 5 =

2 2 と な る 算 出 さ れた平均値 の集合が代表 レィ ァ ゥ ト 特 徴里 と さ れ る (ス テ ッ プ A 6 ) 図 6 の表の例で は 、 A V

E R A G E レ に示さ れた値が代表 レイ ァ ク 特徴量 と な る

図 5 は 、 メ ン ァ ン に よ る 代表 レィ ア ウ ト 特徴里 の 生成手 順 を示す フ P チ ャ 卜 で あ る 。 レィ ア ウ ト 特徴量 と し て 輝度 6 係数 、 色差各 3 係数ずつ を特徵量 と し て持 C 0 L

0 R L A Y 0 U T を例 に し て手順が示 さ れて い る 。 図 5 は 、 各 フ レ ム の C O L O R L A Y O U T の各要素 の値 を示す □ Y D C は輝度直流成分， C b D C , C r D C は色 差直流成分 、 Y A C [ n ] は n 番 巨 の輝度交流成分 、 C b

A C [ n ] C r A C [ n ] は n 番 巨 の色差交流成分 を示す まず 、 レィ ァ ゥ h 特徴量の各要素 の合計値が 0 に リ セ ッ 卜 さ れ る (ス テ ッ プ B 1 ) 。 次 に 、 レイ ァ ゥ 卜 特徴量抽 出 部 に り 抽 出 さ れた全 フ レ —ム の レィ ア ウ ト 特徴量力 S読み 込 ま れ る み込 ま れた全 フ レーム特徴量の要素 の値 は要 毎に昇順 に並ベ替え ら れ る （ス テ ッ プ B 2 〜 B 3 ) 。 例 え ば 、 図 7 の表の要 Y D C (輝度直流成分） に着 目 す る と 並ベ替 え た «士

、 果は 3 2 、 3 1 2 1 , 1 5 1 1 と な る 全 フ レ ム の レィ ァ ゥ ト 特徴量の各要素毎に 昇順 に並 -

た 字列か ら 中央値が取得 さ れ メ ン ァ ン が求 め ら れる (ス テ ッ プ B 4 ) 図 7 の表の要素 Y D C (輝度直流 成分 ) に着 する と メ ン ァ ン は 2 1 と な る 算 出 さ れた メ ン ァ ン の集 が代表 レィ ァ ゥ 卜 特徵里 と さ れる (ス テ V プ B 5 ) 図 7 の表 の例で は M E D I A N レ に示 さ れる 値が代表 レィ ァ ゥ 特徵里であ る

の ほか に 各要 が昇順 に並ベ替え ら れた の ち に メ ン ァ ン を求め る か わ り に各要素 の最小値 の みが 択 さ れ る 方法 考 え ら れる

抽 出 さ れた代表特徴里は 所定の記述ス キ ム に基づい て記述 さ れ る 記述ス キ ム が予め定義 さ れ 末間で丑 有 さ れ る と に よ り 記 さ れた 丁 夕 が他顺末 と交換 さ れ ネ复 の端末の 間で し て利用 さ れる と が可能 と な ス

記述ス キ一ム と し て は さ ま ざま な も の を用 い る と が で さ る 図 8 は 記述ス キ ム の 例 を示す 代表 レ ィ ァ ゥ h 特徵 と し て C o 1 O r L a y 0 u t と E d g e H i s t o g r a mの い ずれか 方が選択 さ れ 代表 レィ ァ ゥ 特徵量 を 生成す る 方法 ( a g g r e g ' a . t i c * n ) と し て 平 均化 ( ： A ■ V e r ■ a g e ; メ ：ジ ' 7 ン ( M e d i a n ) 最小値 ( I n t e r s e c t i o n ) の い ずれか 1 が選択さ れる よ う に定義 さ れる

ま た ，己 ス キ ム を ベ ス に記述す る かわ り に パィ ナ U に よ り 特徵里記述する と も で さ る 図 1 5 は ィ ナ U 表現 に よ る 特徴里記述の シ ン 夕 V ク ス の 例 を示 す バィ ナ U 表現 に よ る特徵里 §己 ¾ に あ た て は ま ず代 表 レ ィ ァ ゥ 特徴里 を 生成す る 方法 ( a g r e g a t i o n )が規定 さ れて い る か 否か が記述 さ れ る 。 ァ グ リ ゲー シ ン を記述す る 場合 に は 1 が、 そ でな い ·¾ 口 は 0 が割 り 当 て ら れ る 。 次 に 、 ァ グ リ ゲ シ a ン を記述す る 場 α 代表 レィ ァ ゥ 卜 特徴量の生成方法が記述 さ れ る 平均 ( A

V e r a g e ) の 場 合 は 0 0 1 、 メ ジ ァ ン ( M e d i a n ) の 場合 は 0 1 0 最 小 値 （ I n t e r s e c t i o n ) の場合 は 0 1 1 が割 り あ て ら れる 。 そ の後、 代表 レィ ァ ゥ 特徵量 と し て選択 さ れた特徴虽 を表す識別子が割 り 当 て ら れ C o 1 0 r L a y o u t の 場 合 に は ； 4 が ，

E d g e H i s t o g r a m の場合に は 8 が割 り 当 て ら れ る さ ら に 、 選択 さ れた特徴量の 中 身 をバィ ナ リ 表現 し た のが < 。 バイ ナ リ 表現方法 と し I S O / I E C 1 5 9

3 8 ― 3 に よ り 定義 さ れたバイ ナ リ 表現方法が用 い ら れる 図 8 にお け る 目己述ス 十 ¹ ~ JA お よ び図 1 5 に示 さ れ る バ ィ ナ U シ ン 夕 ッ ク ス にお け る セ マ ンテ ィ ク ス は以下の と お り で あ る □

• D e s c r i t o r I D

の フ ィ ル ド は代表特徴量の種類 を特定す る た め の識 別子であ る C o l o r L a y o u t の場 Π は 4 が割 り 当 て ら れ E d g e H i s t o g r a m の場 Π は 8 が割 り 当 て ら れ る 。 他の値は禁止 さ れて い る

• D e S c r i p t o r

の フ ル ド は国際標準規格 I S 〇 / I E C 1 5 8 3

8 ― 3 で定め ら れて い る 記述 ツ ール を用 い て生成 さ れた 特徴里 を表す 。 使用 可能な ッ ル は c o 1 o r L a y 0 u t お よ び E d g e H i s t o g r a mで あ る

• A g r e g a t i o n F 1 a g の フ ィ ル ド、 に はァ グ リ ゲ ン 3 ンが規 Ε さ れて い る か を表す 1 が 1

割 Ό て ら れて い る 場 口 ァ グ V ゲ シ a ン の s性は以下の と お り で め る

• a g g r e g a t i o n

の ォ プシ a ナル フ ィ ―ル ド で は フ レ ム /画像 の グ ル プか ら 代 特徴里を 生成す る た め の ァ グ U ゲ シ a ン方法が指定 さ れ る ァ グ リ ゲ シ a ン は フ レ ―ム や画 像 の グル プに含 ま れ る要素全体 に対 し て行われ る 以下 の 3 種類の Ό ち の いずれか を適用 で き る

• A V e r a g e

平均 に よ る ァ グ U ゲ シ ョ ン と は 各 フ レ ―ム 画像 の 特徵里各要素 を逐次加算 し て い さ フ レ ム /画像数で正 規化する と に よ り 特徴里 を構成す る 各 が 出 さ れ る と を 味す る

• M e d i a n

メ ジ ァ ン に る ァ グ U ゲ シ a ン と は 各 フ レ ム Z画 像の特徴里各要 の値 を昇順 に並ベ替え た ス 卜 を 生成 し の リ ス よ り メ ン ァ ン を取得 し て代 値 と する と を 味す る

• I n t e r s e c t ί ο η

ィ ン 夕 セ ク シ 3 ン に る ァ グ U ゲ シ 3 ン と は 代表 特徵量 を構成す る 各要 が 、 全 フ レ ム /画像に含ま れ る 特徴里か ら 各要素 に つ い て の最低値 を 出す る と に よ り 取得 さ れ る と を 味す る

な 部の ァ グ リ ゲ シ ョ ン方法 の使用 は じ ら れて い る 各特徵里 につ い て使用 で さ る ァ グ U ゲ シ 3 ン方法 は 1 4 に いて Y マ ク に よ り 指定 さ れて い る 力 ラ レィ ァ ゥ h X ッ ン ヒ ス 卜 グ ラ ム の双方 に つ い て ァ グ リ ゲ一 シ 3 ン方法 と し て A V e r a g e と M e d i a n を適用 でき る と を示す

ァ グ V ゲ シ 3 ン 方法 （ A g g r e g a t i 0 n T y P e )の ノ イ ナ ；リ 表現記述 に し て は 図 1 6 の テ一 ブルが 使用 さ れる 具体的 に は 平均 ( A V e r a g e ) の場 □ は 0 0 1 メ ン ァ ン （ M e d i a n ) の場 □ は 0 1 0 展 小値 ( I n t e r s e c t i o n ) の 場 α は 0 1 1 が割 り あ て ら れる

図 1 7 は 別 の ス キ ム例 を示す 代表特徴 と し て C o 1 o r L a y o U t も し ぐ は E d g e H i s t o g r a mだけでな < M P E G ― 7 で規定 さ れて い る あ ら る 画像特徵 の う ち 1 つ も し < は複数がィ ン ス 夕 ンス 化 さ れ る と ができ る 。 なお P ί c t u r e T y P e と は 静止画像特徵里 を ひ と ま と め に し た記 ス キ ム で あ る ま た ァ グ リ ゲ シ a ン方法は必ず し 親定 さ れた の であ る 必要はな < 、 未定義 ( u n s P e c i f i e d ) を 選択する と も で さ る 未定義 と し て お < と に よ り シ ス テム 固有 の ァ グ リ ゲ シ 3 ン方法 を 定め て利用 す る と ができ る

の よ Ό に 共通 の記述ス キ ム を ベ ス に代表 レィ ァ ゥ 卜 特徵里 を記述す る と で 複数の シス テム で代表 レィ ァ ゥ h 特徵 を交換 し た り 複数の記憶装置 り 代表 レィ ァ ゥ h 特徴 を 呼び出す と がで さ る

ま た ィ ナ V 表現 シ ン 夕 ッ ク ス が定め ら れ れ を ベ ス に代表 レィ ァ ゥ 卜 特徵里 を ィ ナ V 記述する と に よ

Ό 記述ス キ ム を ベ ス に記述す る に 比ベて特徴 を大幅 に少な い情報量で 己述す る と がで さ る 記 部 3 2 は 代表 レィ ァ ヴ ト 特徴 記憶部 1 0 3 と 、 レィ ァゥ 卜 特徴量群記 '1 1音部 1 0 4 と を備 えて い る

代表 レィ ァ ゥ 卜 特徵里記 '1音部 1 0 3 は 代表 レィ ァ ゥ 卜 特徴 算 出部 1 0 2 に り 算出 さ れた代表 レィ ァ ゥ 卜 特徴 量 を記 す る ま た、 レィ ァゥ ト 特徴里群記憶部は レィ ァゥ 特徵 抽 出部 1 0 1 に り 抽 出 さ れた各 フ レ ―ム の レィ ァ ク 特徵 己 '|'音す る

識別部 3 3 は レィ ァ ヴ h 特著 抽 出部 1 0 5 と 代表 レィ ァゥ 特徴里算出部 1 0 6 と 映像シ一ケ ン ス τά定部

1 0 7 と 映像シ ケ ンス 別部 1 0 8 と を備 えて い る

レィ ァ ク 卜 特徵量抽 出部 1 0 5 は 入力 さ れた 問合せ映 像 シ ケ ンス の各 フ レ ム か ら レィ ァ ゥ 卜 特徴里を抽 出 す る Vb 出方法は レィ ァ ク 特徴里算 出部 1 0 1 と 同様で の る

代表 レィ ァ ゥ 卜 特徴里算出部 1 0 6 は レ ァゥ 卜 特徵 里抽出部 1 0 5 に よ り 抽出 さ れた レィ ァ ゥ 特徴里群カゝ ら 問 Π せ映像 シ ケ ンス を代表す る 代表 レィ ァゥ 卜 特徵量 を 算出する 算出方法は代表 レィ ァゥ 卜 特徵里算出部 1 0 2 と 同様で あ る

映像 シ ケ ンス 選定部 1 0 7 は 代表 レィ ァ ゥ 卜 特徴量 算 出部 1 0 6 よ り 生成 さ れた 問 □ せ映像 シ ケ ン ス の代表 レィ ァ ク h 特徵里 と 、 代表 レィ ァ ゥ 特徴里記 '|音部 1 0 3 に記 さ れた 録映像 シ ―ケ ンス の代表 レィ ァ ゥ 特徴量 を 比較 し て類似性 を評価 し 問 □ せ映像 シ ケ ンス と 同 内容で あ る 可能性が あ る と判定 さ れた登録映像シ ケ ン ス の み を選定す る 映 ί象 ン ケ ンス 別部 1 0 8 は 映ィ象 シ ケ ンス m定部

1 0 7 に り 選定 さ れた容録映像 シ ―ケ ンス につい て レ ィ ァゥ 特徴里算 出部 1 0 5 よ り 生成 さ れた 問 □ せ映像 シ ケ ンス の レィ ァゥ 卜 特徴里群 と レ ィ ァ ヴ 卜 特徵 群記 部 1 0 4 に記憶 さ れた登録映像 シ ケ ンス の レィ ァゥ 特徴量群 を 比較す る 。 比較に よ り 類似性 を評価 し 問合せ 映像 シ ケ ンス と 内容で あ る か否 か を判定 し 同 内 容の 録映像が存在 し た場 に 内容の 登録映像 シ ケ ンス の識別子を 出力する

図 3 お よ び図 9 を参照 し て映像 シ ―ケ ンス 識別手順 につ い て 説明す る 図 9 は、 本実施例 にお け る 映像シ ケ ンス 別手順 を示す フ D ―チ ャ ― で あ る ま ず 代表 レィ ァ ゥ 卜 特徴里記憶部 1 0 3 に あ ら か じ め登録映像 シ ケ ン ス 全て に つ いて の代表 レィ ァ ゥ 特徴里 を 映像 を表す識 別子 と と も に記 し てお < ま た レ ィ ァ ゥ 特徴 記 部 1 0 4 に あ ら か じ め容録映像 シ ケ ンス 全て に い て の レィ ァ ク 特徴里群 を 映像 を表す識別子 と と も に記 し てお < (ス テ ッ プ C 1 )

与え ら れた 問 せ映像 シ ケ ンス か ら レィ ァ ゥ 卜 特徵 里抽 出部 1 0 5 お よ び代表 レィ ァ ゥ 特徵 算 出部 1 0

6 に り レィ ァ ゥ 卜 特徵 お よ び代表 レィ ァ ゥ 特徴里が 抽 出 さ れ る (ス テ ッ プ C 2 C 3 )

いて 映像シ ―ケ ンス選定部 1 0 7 は 登録映像 シ ケ ンス の代表 レィ ァ ゥ 卜 特徴里 を 1 つ み込み み込 ま れた代表 レィ ァゥ 特徴里 と 問 □ せ映像 シ ケ ン ス の代表 レィ ァゥ 卜 特徵里 と を フ レ ム単位で 比較す る (ス テ ッ プ

C 4 C 5 ) □ 問 α せ映 f象 シ ケ ンス の代 レィ ァ ゥ 特 徴 と み出 さ れた移 映 象 シ ケ ノス の代 レィ ァ ゥ 特徴虽 と の距離 を算出 し 算 出 さ れた距離が所定の しき い値以下で め る か ど Ό か判定する (ス テ ッ プ C 6 ) 算 出 さ れた距離が所定の しきい値以下で あ つ た場合 問 □ せ映 像 シ ケ ンス と 登録映像 シ ケ ンス は 内容で あ る 可能 性が あ る と判定 さ れ 該当 する 登録映像 シ ケ ン ス の識別 子が出力 さ れる (ス テ V プ C 6 の Y E S )

映像 シ ケ ン ス 識別部 1 0 8 は 同 内容で あ る 可能性 があ る と判定 さ れた映像 シ ケ ンス の 識別子 に対応す る レ ィ ァゥ 特徵里群 を み込む (ス テ ッ プ C 7 ) B冗み込 ま れた レィ ァ ゥ 卜 特徴里群 と 問 い □ わせ特徴里群の レィ ァ ゥ 特徴里群が比較 さ れる (ス テ 、リ プ C 8 ) レィ ァ ゥ 卜 特徴里 の時系列 τ 夕 の比較方法 と し て 例 え ば特開 2 0

0 0 ― 2 5 9 8 3 2 号公報 (第 2 従来例 ) に記載 さ れて い る 方法 を用 い る と ができ れ に よ り 高速 に 比較す る と がでさ る 比較の結果 問 せ映像 シ ―ケ ンス と 登録映 像シ ―ケ ンス が同 内容で め る と 判定 さ れた場 □ に は 録映像シ ―ケ ン ス の 別子が出力 さ れ る (ス テ ッ プ C 9

C 1 0 )

上述 し た よ う に 第 1 実施例では 映像 シ ―ケ ンス 選定 部 1 0 7 お よ び映像 シ ケ ン ス 別部 1 0 8 が設 け ら れ

一

代表 レィ ァゥ 卜 特徴里 を比較 し た時 占 で 同 内容で あ る 可 能性 の な い と 判定 さ れた登録映像 シ ケ ンス に い て 処 理 ス を必要 と す る レィ ァゥ h 特徵里群の フ レ ム 早位 の 比較処理 を全てス キ ッ プす る と がで さ る の た め 識別 m度 を落 と す と な < 照 □ 処理 ス を大幅 に削減で きる ま た 代表 レィ ァ ゥ 卜 特徵 出部 1 0 2 に よ り 映像シ

―ケ ンス の代表 レィ ァ ゥ 特徴 が生成 さ れ 代表 レィ ァ ゥ 特徴里記憶部 1 0 4 に記 '1き さ れて い る れ に よ り 少な い Π ス 卜 で 同 内容の 可能性の あ る 録映像 シ ケ ン ス を選定する と ができる'

(第 2 実施例 )

本発明 の第 2 実施例 に よ る 映像識別 シス テム は 図 1 0 に示 さ れ る よ う に レィ ァ ゥ h 特徴里 iptl 出部 1 0 5 お よ び 代表 レィ ァ ク 特徵 算出部 1 0 6 の代わ り に 問 せ映 像シ ケ ンス の代表 レィ ァ ゥ 卜 特徴里お よ び レィ ァゥ 特 徵 群が あ ら か じ め 出 さ れ 代表 レィ ァ ク 卜 特徵里記憶 部 1 0 3 お よ び レィ ァ ヴ 卜 特徴 記 部 1 0 4 に記憶 さ れて い る

映像 シ ケ ンス 選定部 1 0 7 は 代表 レィ ァ ク 卜 特徴里 記憶部 1 0 3 に記 †音 さ れた 問 □ せ映像 シ ケ ンス の代表 レ ィ ァ ク h 特徴 と 録映像 シ ケ ンス の代表 レィ ァ ゥ 卜 特 徵 と を 比較 し て類似性を 評価 し 問 Π せ映像 シ ケ ン ス と | j 内容で あ る 可能性が あ る と 判定 さ れた登録映像 シ ケ ンス の み を選定す る

映像 シ ―ケ ンス Ϊ5Θ¾別部 1 0 8 は 映像 シ一ケ ンス 選定部

1 0 7 に り m定さ れた登録映像 シ ケ ンス につ いて レ ィ ァ ク 特徴里群記 '|眘部 1 0 4 に記 '1音 さ れた 問 O せ映像 シ ケ ン ス の レィ ァ ゥ 卜 特徴里群 と 登録映像 シ ケ ンス の レ ィ ァ ゥ 特徵里群 を 比較 し て類似性 を評価 し 問合せ映像 シ ケ ン ス と 同 内容で る か否か を判定 し 同 内容 の 登録映像が存在 し た場 □ に登録映像 シ ケ ンス の 別子が 出力 さ れ る 特徴里算 出演算がな < な る と で高速処理が 可能 と な る 。

第 2 実施例で は 映像 シ ケ ンス 選定部 1 0 7 お よ び映 像 シ ケ ン ス 別部 1 0 8 が設 け ら れ 代表 レィ ァ ゥ 特 徴里 を比較 し た時 占 で 同 ―内容で あ る 可能性のな い と 判定 さ れたヌ 録映像 シ ケ ンス につ い て 処理 ス 卜 を 必要 と す る レィ ァ ゥ 卜 特徵里群の 比較を全て ス キ V プす る と が で さ る 従 て 識別相 を 洛 と す と な < 照合処理 ス h を大幅 に削減で さ る

(第 3 実施例 )

図 1 1 は、 本発明 の第 3 実施例 に よ る 映像識別 シス テ ム を示す。 図 1 1 に示 さ れる よ う に 、 第 3 実施例 の 映像識別 シス テム は、 映像 シー ケ ンス よ り 特徴量を抽 出 し て 映像 の 信号特徴 を 記述す る 記述部 3 1 と さ れる ベ き 映 の 特徵里を記 す る 記憶部 3 5 と 問 □ せ映像 シ ―ケ ン ス の た め の選定部 3 6 と を備え て い る

記述部 3 1 は 第 1 実施例 と |pj様で め る

記憶部 3 5 は 代表 レィ ァ ゥ h 特徵里記 部 1 0 3 を備 え て い る o 代表 レィ ァ ク 卜 特徴里記 '1'き部 1 0 3 は 記述部

3 1 に よ り 生成 さ れた代表 レィ ァ ク 卜 特徵里 を記 す る o ΒΒ

m定部 3 6 は レィ ァ ゥ h 特徴里 i idms 出部 1 0 5 と 代表 レィ ァ ゥ 卜 特徴 算 出部 1 0 6 と 映像シ ケ ン ス 定部

1 0 7 と を備 えて い る レィ ァ ゥ h 特徴里抽 出部 1 0 5 と 代表 レィ ァ ゥ 卜 特徵里算出部 1 0 6 と 映像 シ ケ ンス 選 定部 1 0 7 の機能は 第 1 実施例 と 同様で あ る o

第 3 実施例で は 映像 シ ケ ンス 選定部 1 0 7 が X け ら れ 同 内容で あ る 可能性の な い 登録映像 シ ケ ン ス が 定 さ れる と がで さ る o ま た 代表 レ ィ ァ ゥ 卜 特徴里算 出 部 1 0 2 に よ Ό 映像 シ ケ ンス の代 レィ ァ ゥ 卜 特徴量が 生成 さ れ 代表 レィ ァ ゥ h 特徴里記 '1 部 1 0 4 に記やき さ れ る れ に よ り 少な い ス で 同 内容の可能性の あ る 登録映像シ ケ ンス を選定す る と ができる

(第 4 実施例 )

図 1 2 は 本発明 の第 4 実施例 に よ る 映像 別 シス テ ム を 示す 図 1 2 に示 さ れる よ う に 第 3 実施例で e又 け ら れ て い た レィ ァ ヴ h 特徴里抽 出部 1 0 5 お よ び代表 レィ ァ ゥ 特徴里算 出部 1 0 6 の代わ り に 問 □ せ映像シ ケ ンス の代表 レィ ァゥ h 特徵 があ ら か じ め算出 さ れ 代表 レィ ァ ゥ 卜 特徵 記憶部 1 0 3 に記 †音 さ れて い る

第 4 実施例では 映像 シ ケ ンス 選定部 1 0 7 が け ら れ 同 内容で あ る 可能性の な い登録映像 シ ケ ンス が選 定 さ れる と ができ る ま た 代表 レ ィ ァゥ 特徴 算 出 部 1 0 2 に よ り 映像 シ ケ ンス の代表 レィ ァ ゥ 卜 特徴量が 生成 さ れ 代表 レィ ァ ゥ 特徴量記 部 1 0 4 に記憶 さ れ、 少な い コ ス で 同 内容の可能性 の あ る 登録映像 シ ケ ン ス を 定す る と ができる

(第 5 実施例 )

図 1 3 は 本発 明 の第 5 実施例 に よ る 映像 別 シス ァム を示す 図 1 3 に示 さ れる よ に 本実施例 に係 る 映像記 述 シス テム は 映像 シ ケ ンス よ り 特 Ms

里 を 出 し 生成す る と に よ Ό 映像 の信号特徴 を記述す る 記述部 3 1 と 、 登 録 さ れる ベさ 映像の特徵里 を記 '|きす る 部 3 5 と を備 え て い る 記述部 3 1 と 記 '['音部 3 5 の作用 は 3 施例 と 同 実

様で あ る

第 5 実施例で は 代表 レィ ァゥ 特徴里算 出部 1 0 2 に よ り 映像 ン ケ ンス の代表 レィ ァ ゥ h 特徴里が生成 さ れ 代表 レィ ァゥ 卜 特徵里記倚部 1 0 4 に さ れ 少な い ス 卜 で同 内容 の可能性の あ る 登録映像 シ ケ ンス を選定 す る ため の情報が 供 さ れる と がでさ る

次 に具体的な例 に いて §兌明する

映像 と し て コ マ シ ャ ル ( C M ) を利用 し た マ シ ャ ル識別 シス テム を示す 本シス テム で は 受信 さ れた放送 映像か ら 力 ラ レィ ァゥ 卜 記述子が生成 さ れ 丁 夕 ベ ス に登録 さ れた各 C M と逐 照 □ さ れ 放送中 の C M が何 で め る かが識別 さ れ る 識別結果は放送調查 レポ h と し て ザに通知 さ れる

は じ め に 1 5 秒の C Μ映像が登録 さ れる C M 映像 の 各 フ レ ム か ら 力 ラ ― レィ ァゥ が 出 さ れ dm 出 さ れた 力 ラ レィ ァ ゥ 群か ら 各 C M 映像 を代表す る 力 ラ レ ィ ァ ゥ が算 出 さ れ る 算出 さ れた代表力 ラ ―レィ ァ ゥ と 抽出 さ れた 力 ラ レィ ァ ゥ 群が c Μ 夕 ベ ス に 予め記 さ れ る

次 に 放送波か ら 取得 さ れた画像の 力 ラ ― レィ ァゥ 卜 配 列 と あ ら か じ め 録 さ れて い る 各 c M の 力 ラ レィ ァゥ 配列の 照 □ が行われ る 放送映像か ら 1 5 秒の 間 に含 ま れる フ レ ム が逐次問 □ せ映像 シ ケ ンス と し て入力 さ れ る 問 口 せ映像 シ ケ ンス か ら 力 ラ レィ ァゥ が i 出 さ れ 抽出 さ れた力 ラ レィ ァゥ 卜 群か ら 代表力 ラ レィ ァ ゥ が生成 さ れる

代表力 ラ ― レィ ァ ク 卜 の比較 に り 問 せ映像 シ ケ ンス で あ る 在放送 さ れて い る 映 ί象 と 同 内容で あ る 可能 性 の あ る C Mが 定 さ れる その後 選定 さ れた C Μ と 問 α せ映 象シ ケ ンス 内 に今 ま れる 全 フ レ ム の 力 ラ レィ ァゥ が比較 さ れ る 全て の sa

m定 さ れた C M と の距離計算 に る 検索の結果 最 類 似 し て い る と 判定 さ れた C Μ と の特徴里距離が め 定め た 閾値以下 の場 α 放送中 の ビ了ォ シ ン はそ の C M で あ る と 判定 さ れる ァル夕 ィ ム検知 の た め に は 入力 画像 のサ ン プ U ン グ間隔以内 に検索処理 を 終了す る と が要求 さ れ る 識別結果は放送調査 レ ポ と し て ザ に 通知 さ れ る

なお 本実施例 にね いて 代表力 ラ レィ ァゥ の 比較 ェ程 を含む場 □ お よ び代表力 ラ レ ィ ァ ゥ 卜 の 比較ェ程 を含 まず全て の C Μ につい て 問 α せ映像 シ ―ケ ンス 内 に含 ま れ る 全 フ レ ム の力 ラ レィ ァ ヴ を 照 □ し た場 α の 照 α 回数の 比較が行われた 識別相度 を 全 < 洛 とす と な < 照 回数 を 1 0 % 程度 に削減す る と ができた

尚 上述の 実施例 は本発明 の 好適な実施の 例で あ る 本発明 は れ に 限定 さ れる も の で はな < 本発明 の 旨 を 逸脱 し な い範囲 内 にお いて種々 変形実施が可能 あ る

以上詳細 に 説明 し た う に 、 本発明 に よ れば 代表 レィ ァゥ 特徵里 を 比較 し た時 占で 同 内容で あ る 可能性 の な い と 判定 さ れた登録映像 シ ケ ン ス に いて 処理 ス 卜 を必要 と す る レィ ァ ヴ 卜 特徴量群 の フ レ ―ム 単位 の 比較処 理が全てス キ V プさ れ る こ の た め 別 冃度 を落 と す こ と な < Π 処理 Π ス 卜 を大幅 に 削減で さ る

ま た 映像 シ ケ ンス の代表 レィ ァ ゥ h 特徴 が生成 さ れ予 め記 '|き さ れる こ れに よ り 少な い ス で 同一内容 の可能性の あ る 登録映像シ ケ ン ス を 定す る た め の 情報 を提供する と がで さ る

さ ら に 丑通の記述ス キ マ を ベ一ス に代表 レィ ァ ヴ 卜 特徴里が記述 さ れ 複数の シス テ ム で代表 レィ ァ ゥ 卜 特徴 量 を交 奥 し 複数の記憶 置よ Ό 代表 レィ ァ ク 特徴里 を 呼び出す こ と がで さ る

尚 上記実施例 にお け る 種々 の 動作 を実現す る 部は 八

― ド ク ェ ァ と し て実現 さ れて も い し ソ フ ゥ X ァ と し て実現 さ れて も い その場 □ は 周知 の ン ピ ュ 夕 シ ス テム 内 の C P U ( 図示せず ) が メ モ U ( 図示せず ) に格 納 さ れた ソ フ 卜 ヴ ェ ァ を実行する と に よ り 各部の機能 を実現する

Claims

請求の範囲

1 • 映 象 シ ケ ンス の各 フ レ ム か ら レィ ァ ゥ 卜 特徵量 を in 出す る特徵里 im 出部 と

刖記特徴里抽出部 に よ り 抽 出 さ れた レィ ァ ゥ ト 特徵直群 か ら 映像 シ ケ ンス を代表す る レィ ァ ゥ 特徵 を 算 出 す る 代表特徴 算出部 と

を 備す る 映 記述 シス テム

2 映像 シ ケ ンス の各 フ レ ム か ら レィ ァ ゥ 卜 特徴量 を抽 出す る 特徴 抽 出部 と

前記特徴里 dm 出部 に り 出 さ れた レィ ァ ゥ 卜 特徴量群 か ら 映像 シ ―ケ ンス を代表す る レィ ァ ゥ 卜 特徵里 を 算 出 す る 代表特徴里算出部 と

刖記代表特徴里算 出部よ り 算 出 さ れた代表 レィ ァ ゥ ト 特 徴里を記 Isする 代表 レィ ァ ゥ 卜 特徴 記憶部 と

を 目 備す る 映 ί象記述シス テム

3 映像 シ ケ ン ス の各 フ レ ム か ら レィ ァ ゥ 特徵量 を抽 出す る 特徴 抽 出部 と

刖記特徴里抽 出部 に よ り 抽 出 さ れた レィ ァ ゥ 卜 特徵量群 か ら 映像 シ ケ ンス を代表す る レィ ァゥ 卜 特徴 を 算 出 す る 代表特徵里算出部 と

刖記代表特徵里算 出部よ Ό 算 出 さ れた代表 レィ ァ ゥ ト 特 徵里 を記 laする 代表 レィ ァ ゥ 特徵里記 部 と 、

記特徴里抽出部よ 算 出 さ れた レィ ァ ヴ 卜 特徴里群 を 記 する レィ ァゥ 卜 特徵虽 肝記 Ί*部 と

を 備す る 映像記述シス テム

4 . 請求項 1 乃至 3 の いずれか 1 項 に記載の映像記述 シ ス テム にお い て、

前記代表特徴量算出部は、

前記特徴量抽出部 に よ り 抽 出 さ れた レイ ア ウ ト 特徴量の 各要素 の平均値を求め代表特徴量 とす る

映像記述 シス テム 。

5 全

B冃 求項 1 乃至 3 の いずれか 1 項 に記載 の 映像記述 シ ス テム にお い て 、 刖記代表特徵 .曰-算出部は、

、

刖記特徵里抽出部 に り 抽 出 さ れた レイ ァ ゥ ト 特徴量の それぞれの要 に い て、 そ の値 を昇順 ま た は降順 に な ら

、

ベか え 、 メ ン ァ ン を算出 し 、 代表特徴量 と す る ' 映 記述 シス テム

像

6 求項 1 乃至 5 の いずれか 1 項 に記載の映像記述 シ ス テム にお い て 、 刖記 レィ ァ ゥ 特徵里が、 カ ラ 一 レイ ア ウ ト 情報で あ る 映 記述 シス テム

像

7 • 求項 1 乃至 5 の いずれか 1 項 に記載の映像記述 シ ス テム にお い て 、

前記 レィ ァ ゥ 卜 特徵里が、 エ ッ ジ ヒ ス ト グ ラ ム 情報 'で あ る

映像記述 シス テム 8 δ冃 求項 1 乃至 7 の いずれか 1 項 に記載 の 映像 述 ン ス テム に お い て

前記代表特徴里が 代表特徴量 と し て C 0 1 o r L a y

〇 u t お よ び Ε d g e H i s t o g r a m を 少な < と も 含 む複数の特徴里か ら 1 が選択可能で め り

代表特徵里算出方法 と し て A V e r a g e と M e d i a n を少な < と も含む複数の方法よ り 1 つが選択可能で あ る 記述ス キ ム に基づき記述 さ れる

映 f象記述 シス テム

9 映像 シ ケ ン ス の各 フ レー ム Ό レィ ァ ゥ 卜 特徵量 を抽出す る 特徴里 畑 出機能 と 、

刖記特徴 出機能 に よ り 抽 出 さ れた レィ ァ ゥ 卜 特徵量 群 り 映像 シ ケ ンス を代表す る レィ ァ ゥ 卜 特徴里 を算 出する 代表特徴里算出機能 と

を実現す る た め の 計算機 に よ り 実行可能な 映像記述 ソ フ 卜 ク ェァ プ ダク 卜

1 0 映像 シ ケ ン ス の各 フ レ ム よ レィ ァ ゥ 卜 特徴 里を抽 出す る 特徵星 出ス テ ツ フ と

刖記特徴 抽 出ス テ 、リ プに よ り 抽 出 さ れた レィ ァ ゥ ト 特 徵里群 よ り 映像シ ケ ン ス を代表す る レィ ァ ヴ 卜 特徵量 を算出す る 代表特徵里算出ス テ ツ プ と

を m 備す る 映 記述方法

像

1 1 映像 シ ケ ンス を代表す る レィ ァ ゥ 卜 特徴里 を代 レィ ァ ゥ 卜 特徴里 と して記憶す る 代表 レ ィ ァゥ 特徴量 記憶部 と 、

代 レィ ァ ゥ 特徴里記 部 に記 さ れた 問 □ せ映 象 シ ケ ンス の代表 レィ ァゥ h 特徴里 と登録 さ れて い る 映像 シ ケ ンス の代表 レィ ァ ク 特徴 と を 比較 し 問 □ せ映像 シ ケ ンス と 類似す る 映像 シ ケ ンス を選定する 映像 シ ― ケ ン ス選定部 と

を具備す る 映 ί象 別 シス テム

1 2 映像 シ ケ ン ス を代表す る レィ ァ ゥ 卜 特徴 を 代 表 レィ ァ ゥ 卜 特徴 と し て記憶す る 代表 レィ ァ ヴ 卜 特徵里 目し fe、 ロ|5 と 、

問 □ せ映像シ ケ ン ス の各 フ レ ム よ り レィ ァ ゥ h 特徵 里を抽 出す る 特徴 抽出部 と

冃 記特徵里 dptl 出部 に Ό Jftl 出 さ れた レィ ァ ゥ 卜 特徵 群 か ら 問 1=1 せ映像 シ ケ ン ス を代表す る レィ ァゥ 特徴里 を算 出す る 代表特徴里算出部 と

代表特徴里算出部 に よ り 算 出 さ れた代表 レィ ァ ゥ 卜 特徴 と 代表 レィ ァ ゥ 卜 特徵 記憶部 に記憶 さ れた代表 レィ ァ ゥ 卜 特徵里 と を 比較 し 問 口 せ映像 シ ケ ンス と 類似す る シ ケ ンス を選定する 映像 シ ―ケ ンス選定部 と

を亘備す る 映 f象 別 シス テム

1 3 映像 シ ケ ン ス を代表す る レ ァゥ 卜 特徵 を代 一

表 レィ ァ ゥ 特徴里 と し て記 '1'音す る 代表 レィ ァ ゥ h 特徴 記憶部 と 、

映像 シー ケ ンス の各 フ レー ム に対応す る レイ ァ ゥ ト 特徴 を記憶す る レイ ァ ゥ ト 特徴量群記憶部 と 、 問 α せ映像ン ' ケ ンス の各 フ レ ム か ら レィ ァ ゥ 特徵 を抽 出す る 特徵里抽 出部 と

記特徴里 出部 に よ Ό 抽 出 さ れた レィ ァゥ 特徵 群 か ら 問 口 せ映像シ一ケ ンス を代表す る レィ ァ ゥ 卜 特徴里 を算出す る代表特徵里算出部 と

代表特徵 算出部 に よ り 算 出 さ れた代表 レィ ァ ゥ 特徵 里 と 代表 レィ ァ ゥ 卜 特徴里記 '|音部に記慢 さ れた代表 レィ ァゥ 特徵 と を 比較 し 問 □ せ映像 シ ケ ンス と 類似す る シ ケ ンス を 定す る 映像 シ ケ ンス選定部 と

刖記映像 シ ケ ンス 選定部 に よ り 選定 さ れた 映像 シ ケ ンス につ いて 記 レィ ァ ゥ 特徵里抽出部 に よ り 抽 出 さ れた レィ ァ ゥ 卜 特徴 群 と 刖記 レィ ァ ゥ 卜 特徴里群 に記 憶 さ れた レィ ァゥ 卜 特徴里 と を照 α す る 照 部 と

を 備す る 映像 別 シス テム

1 4 . 請求項 1 2 ま た は 1 3 に記載 の 映像識別 シス テ ム にお い て 、

前記代表特徴量算出部は、

前記特徴量抽 出部 に よ り 抽 出 さ れた レイ ア ウ ト 特徴量 の 各要素 の平均 を求め代表特 と す る

映像識別 ン ス ア ム

5 . 請求項 1 2 ま た は 1 3 に記載 の 映像識別 シス テ ム お い て、

前記代表特徴量算 出部は、

前記特徴量抽出部 に よ り 抽 出 さ れた レイ ア ウ ト 特徴量 れぞれの要素 につ い て昇順 ま た は降順 に な ら ベか え 、 ジ ア ン を算出 し 、 代表特徴量 とする

映像識別 シス テム 。

1 6 . 請求項 1 1 乃至 1 5 の いずれカゝ 1 項 に記載 の 映像 識別 シス テム にお いて 、

前記 レイ ア ウ ト 特徴量が、 カ ラ ー レ イ ア ウ ト 情報で あ る

1 7 • δ冃 求項 1 1 乃至 1 6 の いずれか 1 項 に記 の 映 識別 シス テム にお い て 、

前記 レィ ァ ク h 特徵 が、 エ ッ ジ ヒ ス h グ ラ ム 情報で る

映像識別 シス テム 。

1 8 さ虫 全

P冃 求項 1 1 か ら P冃 求項 1 7 の いずれか 1 項 に記 の 映像識別 シス テム に お い て 、

- 刖記代表特徵里が 、 代表特徴 と し て C o 1 o r L a o u t お よ び E d g e H i s t 0 g r a m を 少な < と も む複数の特徴里よ り 1 つが 択可能で あ り 、

代表特徴里算出方法 と し て A V e r a g e と M e d i n を少な < と も含む複数の方法 り 1 つ が 択可能で あ 記述ス キ ―ム に基づき記述 さ れる

映像識別 シス テム

1 9 . 映像 シー ケ ン ス を代表す る レイ ア ウ ト 特徴量 を代 表 レイ ァ ゥ ト 特徴量 と し て前記 コ ン ピ ュ ー タ の記憶機能 に 記憶す る 記憶機能 と 、 刖記記 能 に よ ゥ て記憶 さ れた 問 □ せ映像ン ケ ン ス の 代表 レィ ァ ゥ 特徵 と登録 さ れて い る 映像シ ケ ンス の 代表 レィ ァ ゥ 卜 特徵虽 と を 比較 し て 問 α せ映像シ ケ ン ス と類似す る 映像 シ ケ ンス を選定す る 選定機能 と を実現す る た め の 計算 に よ り 行可能な 映 別 ソ フ m 像

h ゥ X ァ プ P ダク

2 0 • 映像シ ケ ン ス を代表す る レ ィ ァ ゥ 卜 特徴里 を代

一

表 レィ ァ ゥ 特徵 と し て記情す る 記憶ス テ ッ プ と

記記憶ス テ ッ プに つ て記憶 さ れた 問合せ映像 シ ケ ン ス の代表 レィ ァ ゥ 卜 特徴 と登録 さ れて い る 映像シ ケ ンス の代表 レィ ァ ゥ 特徵里 と を 比較 し て 問合せ映像 シ ケ ンス と 類似す る 映像 シ ケ ンス を選定す る 映 シ ケ ン 像

ス 選定ス テ ッ プ と

を 目.備す る 映 別方法

2 1 • 映像 シ ケ ン ス の特徴量 を記述す る ci述ス キ一ム で あ て

代表特徵里 と し て C o 1 o r L a y o U t お よ び E d g e H i s t o g r a m を少な < と も含むネ复数 の特徴里よ り

1 つが 択可能で あ り

代表特徵 算出方法 と し て A V e r a g e と M e d i a n を少な < と も含む複数の方法よ り 1 つ が選択可能で あ る 記述ス キ ム