JP3496559B2 - 画像特徴量生成装置、並びに画像特徴量生成方法 - Google Patents
画像特徴量生成装置、並びに画像特徴量生成方法Info
- Publication number
- JP3496559B2 JP3496559B2 JP05943299A JP5943299A JP3496559B2 JP 3496559 B2 JP3496559 B2 JP 3496559B2 JP 05943299 A JP05943299 A JP 05943299A JP 5943299 A JP5943299 A JP 5943299A JP 3496559 B2 JP3496559 B2 JP 3496559B2
- Authority
- JP
- Japan
- Prior art keywords
- component
- image data
- image
- feature amount
- components
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
- G06F16/532—Query formulation, e.g. graphical querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
- G06F16/7864—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using domain-transform features, e.g. DCT or wavelet transform coefficients
Description
【０００１】
【発明の属する技術分野】本発明は、画像特徴量生成装
置、並びに画像特徴量生成方法に関する。
置、並びに画像特徴量生成方法に関する。
【０００２】
【従来の技術】従来、画像特徴量生成装置、画像検索装
置、並びにその生成方法及び検索方法は一般に、蓄積さ
れた動画像の中からその一部分を検索するために適用さ
れる。
置、並びにその生成方法及び検索方法は一般に、蓄積さ
れた動画像の中からその一部分を検索するために適用さ
れる。
【０００３】従来の参照動画像を利用した圧縮動画像検
索方法の一例が、特開平１０−１３８３２号公報に記載
されている。この公報にて開示された動画像検索方法
は、各ブロックのＤＣＴ係数の少なくとも１つを各画面
の特徴ベクトルとして抽出し、検索キーとなる特定の動
画像パターンに含まれる各フレームの特徴ベクトルの確
率的な状態遷移を学習によりモデル化し、検索対象であ
る一連の動画像に含まれるフレームから抽出された特徴
ベクトルの学習により得られた状態遷移モデルに対する
頻度が高い時間領域を検索結果として出力する。
索方法の一例が、特開平１０−１３８３２号公報に記載
されている。この公報にて開示された動画像検索方法
は、各ブロックのＤＣＴ係数の少なくとも１つを各画面
の特徴ベクトルとして抽出し、検索キーとなる特定の動
画像パターンに含まれる各フレームの特徴ベクトルの確
率的な状態遷移を学習によりモデル化し、検索対象であ
る一連の動画像に含まれるフレームから抽出された特徴
ベクトルの学習により得られた状態遷移モデルに対する
頻度が高い時間領域を検索結果として出力する。
【０００４】また、特開平６−２３１２５４号公報は、
参照画像の特定領域と類似した領域を含む画像を圧縮動
画像データ中から探し出す方法である。参照画像の検索
を行う際に、第１段階として符号化情報に含まれる画素
値の平均値を用いてパターンマッチングを行い候補画像
を選別し、第２段階として参照画面と入力画面において
縮小画像の周波数成分との相関値を算出して検索を行っ
ている。
参照画像の特定領域と類似した領域を含む画像を圧縮動
画像データ中から探し出す方法である。参照画像の検索
を行う際に、第１段階として符号化情報に含まれる画素
値の平均値を用いてパターンマッチングを行い候補画像
を選別し、第２段階として参照画面と入力画面において
縮小画像の周波数成分との相関値を算出して検索を行っ
ている。
【０００５】
【発明が解決しようとする課題】しかしながら、上述し
た従来の方法では、次のような問題がある。第１に特徴
量のサイズが大きいため、特徴量の記憶のための記憶装
置の規模が大きくなる。第２に特徴量のサイズが大きい
ことに起因して、検索速度が低下する。第３にデータベ
ース中の検索対象となる動画像データの各時点に対し、
入力された動画像特徴量の全体とマッチングを行ってい
るため、マッチング時間が膨大となる。特にデータベー
スの規模が大きくなるとこの問題点は顕著になる。
た従来の方法では、次のような問題がある。第１に特徴
量のサイズが大きいため、特徴量の記憶のための記憶装
置の規模が大きくなる。第２に特徴量のサイズが大きい
ことに起因して、検索速度が低下する。第３にデータベ
ース中の検索対象となる動画像データの各時点に対し、
入力された動画像特徴量の全体とマッチングを行ってい
るため、マッチング時間が膨大となる。特にデータベー
スの規模が大きくなるとこの問題点は顕著になる。
【０００６】本発明は、静止画像および動画像データの
中から類似した静止画像および動画像を高速に検索し、
より少ない記憶容量で静止画像および動画像特徴量を生
成する画像特徴量生成装置、画像検索装置、並びにその
生成方法及び検索方法を提供することを目的とする。
中から類似した静止画像および動画像を高速に検索し、
より少ない記憶容量で静止画像および動画像特徴量を生
成する画像特徴量生成装置、画像検索装置、並びにその
生成方法及び検索方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】係る目的を達成するため
に請求項１記載の発明は、第１の画像データを代表する
色情報の集合を用いて生成された第２の画像データに対
して周波数解析を行う周波数解析手段と、当該周波数解
析の結果を用いて輝度成分の直流成分及び一部の交流成
分と、色差成分の直流成分及び一部の交流成分とのいず
れか一方または双方を抽出する直流成分および一部交流
成分抽出手段とを備え、当該抽出した輝度成分の直流成
分及び一部の交流成分と、色差成分の直流成分及び一部
の交流成分とのいずれか一方または双方を用いて第１の
画像データの特徴量を生成することを特徴とする。
に請求項１記載の発明は、第１の画像データを代表する
色情報の集合を用いて生成された第２の画像データに対
して周波数解析を行う周波数解析手段と、当該周波数解
析の結果を用いて輝度成分の直流成分及び一部の交流成
分と、色差成分の直流成分及び一部の交流成分とのいず
れか一方または双方を抽出する直流成分および一部交流
成分抽出手段とを備え、当該抽出した輝度成分の直流成
分及び一部の交流成分と、色差成分の直流成分及び一部
の交流成分とのいずれか一方または双方を用いて第１の
画像データの特徴量を生成することを特徴とする。
【０００８】請求項２記載の発明は、請求項１記載の発
明において、第１の画像データをブロックに分割し、当
該分割した各ブロックから各ブロックを代表する色情報
を取り出し、当該取り出した代表する色情報を用いて第
２の画像データを生成する縮小画像生成手段を備えるこ
とを特徴とする。
明において、第１の画像データをブロックに分割し、当
該分割した各ブロックから各ブロックを代表する色情報
を取り出し、当該取り出した代表する色情報を用いて第
２の画像データを生成する縮小画像生成手段を備えるこ
とを特徴とする。
【０００９】請求項３記載の発明は、第１の画像データ
をブロックに分割し、当該分割した各ブロックから直流
成分を取り出し、当該取り出した直流成分を用いて生成
された第２の画像データに対して周波数解析を行う周波
数解析手段と、当該周波数解析の結果を用いて輝度成分
の直流成分及び一部の交流成分と、色差成分の直流成分
及び一部の交流成分とのいずれか一方または双方を抽出
する直流成分および一部交流成分抽出手段とを備え、当
該抽出した輝度成分の直流成分及び一部の交流成分と、
色差成分の直流成分及び一部の交流成分とのいずれか一
方または双方を用いて第１の画像データの特徴量を生成
することを特徴とする。
をブロックに分割し、当該分割した各ブロックから直流
成分を取り出し、当該取り出した直流成分を用いて生成
された第２の画像データに対して周波数解析を行う周波
数解析手段と、当該周波数解析の結果を用いて輝度成分
の直流成分及び一部の交流成分と、色差成分の直流成分
及び一部の交流成分とのいずれか一方または双方を抽出
する直流成分および一部交流成分抽出手段とを備え、当
該抽出した輝度成分の直流成分及び一部の交流成分と、
色差成分の直流成分及び一部の交流成分とのいずれか一
方または双方を用いて第１の画像データの特徴量を生成
することを特徴とする。
【００１０】請求項４記載の発明は、請求項１〜３に記
載の発明において、第１の画像データが静止画像データ
であって、当該静止画像データの特徴量を生成すること
を特徴とする。
載の発明において、第１の画像データが静止画像データ
であって、当該静止画像データの特徴量を生成すること
を特徴とする。
【００１１】請求項５記載の発明は、請求項１〜４に記
載の発明において、第１の画像データと当該第１の画像
データの特徴量とを記憶する特徴量つき画像記憶部を有
することを特徴とする。
載の発明において、第１の画像データと当該第１の画像
データの特徴量とを記憶する特徴量つき画像記憶部を有
することを特徴とする。
【００１２】請求項６記載の発明は、請求項１〜５に記
載の発明において、第１の画像データが動画像データに
含まれる１または複数のフレームデータであって、当該
１または複数のフレームデータの特徴量を生成すること
により当該動画像データの特徴量を生成することを特徴
とする。
載の発明において、第１の画像データが動画像データに
含まれる１または複数のフレームデータであって、当該
１または複数のフレームデータの特徴量を生成すること
により当該動画像データの特徴量を生成することを特徴
とする。
【００１３】請求項７記載の発明は、請求項６に記載の
発明において、動画像データと当該動画像データの特徴
量とを記憶する特徴量つき画像記憶部を有することを特
徴とする。
発明において、動画像データと当該動画像データの特徴
量とを記憶する特徴量つき画像記憶部を有することを特
徴とする。
【００１４】請求項８記載の発明は、請求項１〜７に記
載の発明において、第２の画像データが８×８の固定サ
イズの画像データであり、周波数解析手段が、当該８×
８の固定サイズの画像データに対して周波数解析を行な
うことを特徴とする。
載の発明において、第２の画像データが８×８の固定サ
イズの画像データであり、周波数解析手段が、当該８×
８の固定サイズの画像データに対して周波数解析を行な
うことを特徴とする。
【００１５】請求項９記載の発明は、第１の画像データ
を８×８の固定サイズの画像データに変換し、当該変換
した８×８の固定サイズの画像データに対して周波数解
析を行なって周波数成分を算出し、当該算出した周波数
成分から少なくとも輝度成分の直流成分と色差成分の直
流成分と一部の交流成分とを抽出して、画像データの特
徴量を生成することを特徴とする。
を８×８の固定サイズの画像データに変換し、当該変換
した８×８の固定サイズの画像データに対して周波数解
析を行なって周波数成分を算出し、当該算出した周波数
成分から少なくとも輝度成分の直流成分と色差成分の直
流成分と一部の交流成分とを抽出して、画像データの特
徴量を生成することを特徴とする。
【００１６】請求項１０記載の発明は、動画像データか
ら全部または一部のフレームに相当するデータを取り出
し処理対象に選定する特徴量抽出対象フレーム選定手段
と、取り出されたフレームそれぞれのデータをブロック
に分割し、当該分割した各ブロックから各ブロックを代
表する色情報を取り出し、当該取り出した代表する色情
報を用いて第１の画像データを生成する縮小画像生成手
段と、生成された第１の画像データの周波数解析を行う
周波数解析手段と、解析の結果を用いて輝度成分の直流
成分及び一部の交流成分と、色差成分の直流成分及び一
部の交流成分とのいずれか一方または双方をフレーム特
徴量として取り出す直流成分および一部交流成分抽出手
段と、直流成分および一部交流成分抽出手段から出力さ
れるフレーム特徴量を集めて動画像特徴量を生成する動
画像特徴量生成手段と、を有することを特徴とする。
ら全部または一部のフレームに相当するデータを取り出
し処理対象に選定する特徴量抽出対象フレーム選定手段
と、取り出されたフレームそれぞれのデータをブロック
に分割し、当該分割した各ブロックから各ブロックを代
表する色情報を取り出し、当該取り出した代表する色情
報を用いて第１の画像データを生成する縮小画像生成手
段と、生成された第１の画像データの周波数解析を行う
周波数解析手段と、解析の結果を用いて輝度成分の直流
成分及び一部の交流成分と、色差成分の直流成分及び一
部の交流成分とのいずれか一方または双方をフレーム特
徴量として取り出す直流成分および一部交流成分抽出手
段と、直流成分および一部交流成分抽出手段から出力さ
れるフレーム特徴量を集めて動画像特徴量を生成する動
画像特徴量生成手段と、を有することを特徴とする。
【００１７】請求項１１記載の発明は、請求項１０に記
載の発明において、画像特徴量生成装置は、動画像デー
タを記憶する動画像データ記憶手段と、動画像データ記
憶手段に記憶された動画像データそれぞれに対して生成
された動画像特徴量を記憶した動画像特徴量記憶手段と
からなる動画像データベースを有することを特徴とす
る。
載の発明において、画像特徴量生成装置は、動画像デー
タを記憶する動画像データ記憶手段と、動画像データ記
憶手段に記憶された動画像データそれぞれに対して生成
された動画像特徴量を記憶した動画像特徴量記憶手段と
からなる動画像データベースを有することを特徴とす
る。
【００１８】請求項１２記載の発明は、入力される画像
データが静止画像であるか動画像であるかを判定する画
像データ判定手段と、画像データ判定手段により静止画
像であると判定された画像データをブロックに分割し、
当該分割した各ブロックから各ブロックを代表する色情
報を取り出し、当該取り出した代表する色情報を用いて
第１の画像データを生成する縮小画像生成手段と、生成
された第１の画像データの周波数解析を行う周波数解析
手段と、解析の結果解析の結果を用いて輝度成分の直流
成分及び一部の交流成分と、色差成分の直流成分及び一
部の交流成分とのいずれか一方または双方をフレーム特
徴量として取り出す直流成分および一部交流成分抽出手
段とを有する静止画像特徴量算出手段と、画像データ判
定手段により動画像であると判定された画像データから
全部または一部のフレームに相当するデータを取り出し
処理対象に選定する特徴量抽出対象フレーム選定手段
と、取り出されたフレームそれぞれのデータをブロック
に分割し、当該分割した各ブロックから各ブロックを代
表する色情報を取り出し、当該取り出した代表する色情
報を用いて第１の画像データを生成する縮小画像生成手
段と、生成された第１の画像データの周波数解析を行う
周波数解析手段と、解析の結果を用いて輝度成分の直流
成分及び一部の交流成分と、色差成分の直流成分及び一
部の交流成分とのいずれか一方または双方をフレーム特
徴量として取り出す直流成分および一部交流成分抽出手
段と、直流成分および一部交流成分抽出手段から出力さ
れるフレーム特徴量を集めて動画像特徴量を生成する動
画像特徴量生成手段とを有する動画像特徴量算出手段
と、を有することを特徴とする。
データが静止画像であるか動画像であるかを判定する画
像データ判定手段と、画像データ判定手段により静止画
像であると判定された画像データをブロックに分割し、
当該分割した各ブロックから各ブロックを代表する色情
報を取り出し、当該取り出した代表する色情報を用いて
第１の画像データを生成する縮小画像生成手段と、生成
された第１の画像データの周波数解析を行う周波数解析
手段と、解析の結果解析の結果を用いて輝度成分の直流
成分及び一部の交流成分と、色差成分の直流成分及び一
部の交流成分とのいずれか一方または双方をフレーム特
徴量として取り出す直流成分および一部交流成分抽出手
段とを有する静止画像特徴量算出手段と、画像データ判
定手段により動画像であると判定された画像データから
全部または一部のフレームに相当するデータを取り出し
処理対象に選定する特徴量抽出対象フレーム選定手段
と、取り出されたフレームそれぞれのデータをブロック
に分割し、当該分割した各ブロックから各ブロックを代
表する色情報を取り出し、当該取り出した代表する色情
報を用いて第１の画像データを生成する縮小画像生成手
段と、生成された第１の画像データの周波数解析を行う
周波数解析手段と、解析の結果を用いて輝度成分の直流
成分及び一部の交流成分と、色差成分の直流成分及び一
部の交流成分とのいずれか一方または双方をフレーム特
徴量として取り出す直流成分および一部交流成分抽出手
段と、直流成分および一部交流成分抽出手段から出力さ
れるフレーム特徴量を集めて動画像特徴量を生成する動
画像特徴量生成手段とを有する動画像特徴量算出手段
と、を有することを特徴とする。
【００１９】請求項１３記載の発明は、請求項１２に記
載の発明において、画像特徴量生成装置は、画像データ
を記憶する画像データ記憶手段と、画像データ記憶手段
に記憶された画像データそれぞれを用いて、静止画像特
徴量生成手段により生成された静止画像特徴量と、動画
像特徴量生成手段により生成された動画像特徴量とを画
像特徴量として記憶する画像特徴量記憶手段とからなる
画像データベースを有することを特徴とする。
載の発明において、画像特徴量生成装置は、画像データ
を記憶する画像データ記憶手段と、画像データ記憶手段
に記憶された画像データそれぞれを用いて、静止画像特
徴量生成手段により生成された静止画像特徴量と、動画
像特徴量生成手段により生成された動画像特徴量とを画
像特徴量として記憶する画像特徴量記憶手段とからなる
画像データベースを有することを特徴とする。
【００２０】請求項１４記載の発明は、第１の画像デー
タを代表する色情報の集合を用いて生成された第２の画
像データに対して周波数解析を行う周波数解析ステップ
と、当該周波数解析の結果を用いて輝度成分の直流成分
及び一部の交流成分と、色差成分の直流成分及び一部の
交流成分とのいずれか一方または双方を抽出する直流成
分および一部交流成分抽出ステップとを備え、当該抽出
した輝度成分の直流成分及び一部の交流成分と、色差成
分の直流成分及び一部の交流成分とのいずれか一方また
は双方を用いて第１の画像データの特徴量を生成するこ
とを特徴とする。
タを代表する色情報の集合を用いて生成された第２の画
像データに対して周波数解析を行う周波数解析ステップ
と、当該周波数解析の結果を用いて輝度成分の直流成分
及び一部の交流成分と、色差成分の直流成分及び一部の
交流成分とのいずれか一方または双方を抽出する直流成
分および一部交流成分抽出ステップとを備え、当該抽出
した輝度成分の直流成分及び一部の交流成分と、色差成
分の直流成分及び一部の交流成分とのいずれか一方また
は双方を用いて第１の画像データの特徴量を生成するこ
とを特徴とする。
【００２１】請求項１５記載の発明は、請求項１４記載
の発明において、第１の画像データをブロックに分割
し、当該分割した各ブロックから各ブロックを代表する
色情報を取り出し、当該取り出した代表する色情報を用
いて第２の画像データを生成する縮小画像生成ステップ
を備えることを特徴とする。
の発明において、第１の画像データをブロックに分割
し、当該分割した各ブロックから各ブロックを代表する
色情報を取り出し、当該取り出した代表する色情報を用
いて第２の画像データを生成する縮小画像生成ステップ
を備えることを特徴とする。
【００２２】請求項１６記載の発明は、第１の画像デー
タをブロックに分割し、当該分割した各ブロックから直
流成分を取り出し、当該取り出した直流成分を用いて生
成された第２の画像データに対して周波数解析を行う周
波数解析ステップと、当該周波数解析の結果を用いて輝
度成分の直流成分及び一部の交流成分と、色差成分の直
流成分及び一部の交流成分とのいずれか一方または双方
を抽出する直流成分および一部交流成分抽出ステップと
を備え、当該抽出した輝度成分の直流成分及び一部の交
流成分と、色差成分の直流成分及び一部の交流成分との
いずれか一方または双方を用いて第１の画像データの特
徴量を生成することを特徴とする。
タをブロックに分割し、当該分割した各ブロックから直
流成分を取り出し、当該取り出した直流成分を用いて生
成された第２の画像データに対して周波数解析を行う周
波数解析ステップと、当該周波数解析の結果を用いて輝
度成分の直流成分及び一部の交流成分と、色差成分の直
流成分及び一部の交流成分とのいずれか一方または双方
を抽出する直流成分および一部交流成分抽出ステップと
を備え、当該抽出した輝度成分の直流成分及び一部の交
流成分と、色差成分の直流成分及び一部の交流成分との
いずれか一方または双方を用いて第１の画像データの特
徴量を生成することを特徴とする。
【００２３】請求項１７記載の発明は、請求項１４〜１
６に記載の発明において、第１の画像データが静止画像
データであって、当該静止画像データの特徴量を生成す
ることを特徴とする。
６に記載の発明において、第１の画像データが静止画像
データであって、当該静止画像データの特徴量を生成す
ることを特徴とする。
【００２４】請求項１８記載の発明は、請求項１４〜１
６に記載の発明において、第１の画像データと当該第１
の画像データの特徴量とを記憶する特徴量つき画像記憶
部を有することを特徴とする。
６に記載の発明において、第１の画像データと当該第１
の画像データの特徴量とを記憶する特徴量つき画像記憶
部を有することを特徴とする。
【００２５】請求項１９記載の発明は、請求項１４〜１
８に記載の発明において、第１の画像データが動画像デ
ータに含まれる１または複数のフレームデータであっ
て、当該１または複数のフレームデータの特徴量を生成
することにより当該動画像データの特徴量を生成するこ
とを特徴とする。
８に記載の発明において、第１の画像データが動画像デ
ータに含まれる１または複数のフレームデータであっ
て、当該１または複数のフレームデータの特徴量を生成
することにより当該動画像データの特徴量を生成するこ
とを特徴とする。
【００２６】請求項２０記載の発明は、請求項１９に記
載の発明において、動画像データと当該動画像データの
特徴量とを記憶する特徴量つき画像記憶部を有すること
を特徴とする。
載の発明において、動画像データと当該動画像データの
特徴量とを記憶する特徴量つき画像記憶部を有すること
を特徴とする。
【００２７】請求項２１記載の発明は、請求項１４〜２
１に記載の発明において、第２の画像データが８×８の
固定サイズの画像データであり、周波数解析ステップ
が、当該８×８の固定サイズの画像データに対して周波
数解析を行なうことを特徴とする。
１に記載の発明において、第２の画像データが８×８の
固定サイズの画像データであり、周波数解析ステップ
が、当該８×８の固定サイズの画像データに対して周波
数解析を行なうことを特徴とする。
【００２８】請求項２２記載の発明は、第１の画像デー
タを８×８の固定サイズの画像データに変換し、当該変
換した８×８の固定サイズの画像データに対して周波数
解析を行なって周波数成分を算出し、当該算出した周波
数成分から少なくとも輝度成分の直流成分と色差成分の
直流成分と一部の交流成分とを抽出して、画像データの
特徴量を生成することを特徴とする。
タを８×８の固定サイズの画像データに変換し、当該変
換した８×８の固定サイズの画像データに対して周波数
解析を行なって周波数成分を算出し、当該算出した周波
数成分から少なくとも輝度成分の直流成分と色差成分の
直流成分と一部の交流成分とを抽出して、画像データの
特徴量を生成することを特徴とする。
【００２９】
【００３０】
【００３１】
【００３２】
【００３３】
【００３４】
【００３５】
【００３６】
【００３７】
【００３８】
【００３９】
【発明の実施の形態】次に、添付図面を参照して本発明
による画像特徴量生成装置、画像検索装置、並びにその
生成方法及び検索方法の実施の形態を詳細に説明する。
図１〜図９を参照すると、本発明の画像特徴量生成装
置、画像検索装置、並びにその生成方法及び検索方法の
実施形態が示されている。
による画像特徴量生成装置、画像検索装置、並びにその
生成方法及び検索方法の実施の形態を詳細に説明する。
図１〜図９を参照すると、本発明の画像特徴量生成装
置、画像検索装置、並びにその生成方法及び検索方法の
実施形態が示されている。
【００４０】まず、図１を参照ながら本発明の画像特徴
量生成装置及び方法に係る第１の実施形態について詳細
に説明する。
量生成装置及び方法に係る第１の実施形態について詳細
に説明する。
【００４１】図１に示された第１の実施形態は、静止画
像データを入力して、その静止画像データの特徴量を生
成する静止画像特徴量生成部２２を有する。静止画像特
徴量生成部２２は、縮小画像生成手段２２１と周波数解
析手段２２２と直流成分および一部交流成分抽出手段２
２３とを有する。
像データを入力して、その静止画像データの特徴量を生
成する静止画像特徴量生成部２２を有する。静止画像特
徴量生成部２２は、縮小画像生成手段２２１と周波数解
析手段２２２と直流成分および一部交流成分抽出手段２
２３とを有する。
【００４２】縮小画像生成手段２２１は、入力された静
止画像データ１１に対して、縮小画像１２の生成を行
う、この時の縮小率は任意である。縮小画像の生成方法
例としては、画像をブロック分割し、各ブロックの代表
する色情報のみを取り出す方法がある。代表する色情報
としては、各ブロック内における平均色、最頻色等が利
用できる。また、画像データがブロック単位で圧縮され
ている場合には、各ブロックの直流成分のみを取り出し
生成することもできる。
止画像データ１１に対して、縮小画像１２の生成を行
う、この時の縮小率は任意である。縮小画像の生成方法
例としては、画像をブロック分割し、各ブロックの代表
する色情報のみを取り出す方法がある。代表する色情報
としては、各ブロック内における平均色、最頻色等が利
用できる。また、画像データがブロック単位で圧縮され
ている場合には、各ブロックの直流成分のみを取り出し
生成することもできる。
【００４３】周波数解析手段２２２は、縮小画像１２の
周波数解析を行い、周波数成分１３を算出する。縮小画
像１２を複数の領域に分割してから周波数解析を行うこ
とも可能である。縮小画像の周波数解析方法としては、
ＤＣＴ変換やウェーブレット変換やフーリエ変換やアダ
マール変換等が利用できる。
周波数解析を行い、周波数成分１３を算出する。縮小画
像１２を複数の領域に分割してから周波数解析を行うこ
とも可能である。縮小画像の周波数解析方法としては、
ＤＣＴ変換やウェーブレット変換やフーリエ変換やアダ
マール変換等が利用できる。
【００４４】直流成分および一部交流成分抽出手段２２
３は、周波数解析手段２２２より算出された周波数成分
１３より直流成分および一部交流成分１４を抽出する。
周波数解析手段２２２および直流成分および一部交流成
分抽出手段２２３の具体例としては、縮小画像サイズ全
体に対する２次元ＤＣＴにより周波数解析手段２２２を
実行して、その直流成分およびｎ個の交流成分を抽出す
る方法等を用いることができる。また、輝度成分のみの
係数、色差成分のみの係数、双方の係数の一部のみを抽
出する方法等も用いることができる。
３は、周波数解析手段２２２より算出された周波数成分
１３より直流成分および一部交流成分１４を抽出する。
周波数解析手段２２２および直流成分および一部交流成
分抽出手段２２３の具体例としては、縮小画像サイズ全
体に対する２次元ＤＣＴにより周波数解析手段２２２を
実行して、その直流成分およびｎ個の交流成分を抽出す
る方法等を用いることができる。また、輝度成分のみの
係数、色差成分のみの係数、双方の係数の一部のみを抽
出する方法等も用いることができる。
【００４５】この画像特徴量生成装置及び方法では、縮
小画像に対して周波数解析を行い、得られる係数の一部
のみを用いているため、必要な記憶容量が少ない画像特
徴量を生成できる。
小画像に対して周波数解析を行い、得られる係数の一部
のみを用いているため、必要な記憶容量が少ない画像特
徴量を生成できる。
【００４６】次に、図２を参照しながら本発明の画像特
徴量生成装置及び方法に係る第２の実施形態を詳細に説
明する。
徴量生成装置及び方法に係る第２の実施形態を詳細に説
明する。
【００４７】図２に示された第２の実施形態は、動画像
データを入力して、その動画像データの特徴量を生成す
る動画像特徴量生成部２を有する。動画像特徴量生成部
２は、特徴量抽出対象フレーム選定手段２１と、静止画
像特徴量生成部２２と、特徴量生成手段２３とを有す
る。また、静止画像特徴量生成部２２は、上述した縮小
画像生成手段２２１と周波数解析手段２２２と、直流成
分および一部交流成分抽出手段２２３とを有する。な
お、動画像とは複数の静止画像からなるものであり、上
述した扱う対象が動画像となっても、第１の実施形態で
用いた静止画像特徴量生成部２２を用いることが出来
る。
データを入力して、その動画像データの特徴量を生成す
る動画像特徴量生成部２を有する。動画像特徴量生成部
２は、特徴量抽出対象フレーム選定手段２１と、静止画
像特徴量生成部２２と、特徴量生成手段２３とを有す
る。また、静止画像特徴量生成部２２は、上述した縮小
画像生成手段２２１と周波数解析手段２２２と、直流成
分および一部交流成分抽出手段２２３とを有する。な
お、動画像とは複数の静止画像からなるものであり、上
述した扱う対象が動画像となっても、第１の実施形態で
用いた静止画像特徴量生成部２２を用いることが出来
る。
【００４８】特徴量生成部２の構成部である特徴量抽出
対象フレーム選定手段２１は、入力された動画像データ
１より特徴量抽出の対象となるフレームデータ１１を選
定する。
対象フレーム選定手段２１は、入力された動画像データ
１より特徴量抽出の対象となるフレームデータ１１を選
定する。
【００４９】特徴量抽出対象フレーム選定手段２１は、
動画像データ中で１フレーム内で圧縮処理が完了してい
るフレーム内符号化フレームに相当する圧縮データのみ
を取り出すことができる。全てのフレーム内符号化フレ
ームを選択することも、一部のフレーム内符号化フレー
ムのみを選択することも可能である。また、フレーム内
で処理が完結していないフレーム間符号化フレームにつ
いても、例えば、文献；Boon-Lock Yeo and Bede Li
u：”On the extraction of DC sequence from MPEG Co
mpressed Video ”、IEEE International Conference o
n Image Processing(1995）記載の方法を用いて、フレ
ーム内符号化フレームを擬似的に生成することができ
る。このため、擬似的にフレーム内符号化フレームを生
成してそれを選択することも可能である。
動画像データ中で１フレーム内で圧縮処理が完了してい
るフレーム内符号化フレームに相当する圧縮データのみ
を取り出すことができる。全てのフレーム内符号化フレ
ームを選択することも、一部のフレーム内符号化フレー
ムのみを選択することも可能である。また、フレーム内
で処理が完結していないフレーム間符号化フレームにつ
いても、例えば、文献；Boon-Lock Yeo and Bede Li
u：”On the extraction of DC sequence from MPEG Co
mpressed Video ”、IEEE International Conference o
n Image Processing(1995）記載の方法を用いて、フレ
ーム内符号化フレームを擬似的に生成することができ
る。このため、擬似的にフレーム内符号化フレームを生
成してそれを選択することも可能である。
【００５０】静止画特徴量抽出部２２を構成する縮小画
像生成手段２２１は、特徴量抽出対象フレーム選定手段
２１で選定された静止画像データ１１より、縮小画像を
生成する。周波数解析手段２２２は、縮小画像１２を周
波数成分１３に分解する。直流成分および一部交流成分
抽出手段２２３は、周波数解析手段２２２より生成され
た周波数成分１３より直流成分および一部交流成分１４
を抽出する。
像生成手段２２１は、特徴量抽出対象フレーム選定手段
２１で選定された静止画像データ１１より、縮小画像を
生成する。周波数解析手段２２２は、縮小画像１２を周
波数成分１３に分解する。直流成分および一部交流成分
抽出手段２２３は、周波数解析手段２２２より生成され
た周波数成分１３より直流成分および一部交流成分１４
を抽出する。
【００５１】特徴量生成手段２３は、静止画特徴量抽出
部２２から与えられる直流成分および一部交流成分１４
を、全選択フレームについて抽出することにより特徴量
１５を生成する。
部２２から与えられる直流成分および一部交流成分１４
を、全選択フレームについて抽出することにより特徴量
１５を生成する。
【００５２】この実施形態においても、縮小画像に対し
て周波数解析を行い、得られる係数の一部のみを用いて
いるため、必要な記憶容量が少ない特徴量を生成するこ
とができる。
て周波数解析を行い、得られる係数の一部のみを用いて
いるため、必要な記憶容量が少ない特徴量を生成するこ
とができる。
【００５３】次に、図３を参照しながら、本発明の画像
特徴量生成装置及び方法に係る第３の実施形態について
説明する。
特徴量生成装置及び方法に係る第３の実施形態について
説明する。
【００５４】図３に示された第３の実施形態は、静止画
像データを入力して、その静止画像データの特徴量を生
成する静止画像特徴量生成部２２と、入力した静止画像
データを記憶する静止画像データ記憶部６１と静止画像
特徴量生成部２２にて生成された静止画像特徴量を記憶
する静止画像特徴量記憶部６２とからなる特徴量付き静
止画像データベース記憶部６とを有する。静止画像特徴
量生成部２２は、縮小画像生成手段２２１と周波数解析
手段２２２と直流成分および一部交流成分抽出手段２２
３とを有する。
像データを入力して、その静止画像データの特徴量を生
成する静止画像特徴量生成部２２と、入力した静止画像
データを記憶する静止画像データ記憶部６１と静止画像
特徴量生成部２２にて生成された静止画像特徴量を記憶
する静止画像特徴量記憶部６２とからなる特徴量付き静
止画像データベース記憶部６とを有する。静止画像特徴
量生成部２２は、縮小画像生成手段２２１と周波数解析
手段２２２と直流成分および一部交流成分抽出手段２２
３とを有する。
【００５５】静止画像特徴量生成部２２は、縮小画像生
成手段２２１が入力された静止画像画像データにより縮
小画像を生成し、周波数解析手段２２２が生成された縮
小画像の周波数解析を行い、解析の結果得られる直流分
および一部交流分を直流成分および一部交流成分抽出手
段２２３が取り出すことにより静止画像特徴量を生成す
る。
成手段２２１が入力された静止画像画像データにより縮
小画像を生成し、周波数解析手段２２２が生成された縮
小画像の周波数解析を行い、解析の結果得られる直流分
および一部交流分を直流成分および一部交流成分抽出手
段２２３が取り出すことにより静止画像特徴量を生成す
る。
【００５６】生成された静止画像特徴量は静止画像特徴
量記憶部６２に記憶され、また、静止画像特徴量の生成
のために使用された静止画像データは静止画像データ記
憶部６１に記憶される。
量記憶部６２に記憶され、また、静止画像特徴量の生成
のために使用された静止画像データは静止画像データ記
憶部６１に記憶される。
【００５７】この実施形態においても、縮小画像に対し
て周波数解析を行い、得られる係数の一部のみを用いて
いるため、必要な記憶容量が少ない特徴量を生成するこ
とができる。
て周波数解析を行い、得られる係数の一部のみを用いて
いるため、必要な記憶容量が少ない特徴量を生成するこ
とができる。
【００５８】図４に示されるように画像特徴量生成装置
及び方法に係る第４の実施形態は、動画像特徴量生成部
２と、特徴量付き動画像データベース記憶部３とを有し
て構成される。なお、動画像特徴量生成部２についての
説明は省略する。
及び方法に係る第４の実施形態は、動画像特徴量生成部
２と、特徴量付き動画像データベース記憶部３とを有し
て構成される。なお、動画像特徴量生成部２についての
説明は省略する。
【００５９】本実施形態は、動画像データ１から特徴量
１５を生成し、両者を特徴量付き動画像データベース記
憶部３に記憶するものである。
１５を生成し、両者を特徴量付き動画像データベース記
憶部３に記憶するものである。
【００６０】特徴量付き動画像データベース記憶部３
は、動画像データ記憶部３１と、動画像特徴量記憶部３
２とで構成されており、さまざまな動画像データ１に対
して、それぞれ動画像データ１と、動画像データ１から
特徴量生成部２により生成された特徴量１５とを記憶す
る。
は、動画像データ記憶部３１と、動画像特徴量記憶部３
２とで構成されており、さまざまな動画像データ１に対
して、それぞれ動画像データ１と、動画像データ１から
特徴量生成部２により生成された特徴量１５とを記憶す
る。
【００６１】特徴量付き動画像データベース記憶部３の
一方の構成部である動画像データ記憶部３１は、動画像
データ１を保持する。また、動画像データ記憶部３１
は、動画像データ１から特徴量生成部２により生成され
た特徴量１５を保持する。
一方の構成部である動画像データ記憶部３１は、動画像
データ１を保持する。また、動画像データ記憶部３１
は、動画像データ１から特徴量生成部２により生成され
た特徴量１５を保持する。
【００６２】上記の各部により構成される画像特徴量生
成装置は、動画像データからフレームの全部または一部
に相当するデータを特徴量抽出対象フレーム選定手段２
１で取り出し、取り出された各フレームに相当するデー
タから縮小画像生成手段２２１が縮小画像を生成し、周
波数解析手段２２２が生成された縮小画像の周波数解析
を行い、解析の結果得られる直流分および一部交流分を
直流成分および一部交流成分抽出手段２２３が取り出
し、それを特徴量生成手段２３が全選択フレームについ
て実行することにより特徴量を生成する。
成装置は、動画像データからフレームの全部または一部
に相当するデータを特徴量抽出対象フレーム選定手段２
１で取り出し、取り出された各フレームに相当するデー
タから縮小画像生成手段２２１が縮小画像を生成し、周
波数解析手段２２２が生成された縮小画像の周波数解析
を行い、解析の結果得られる直流分および一部交流分を
直流成分および一部交流成分抽出手段２２３が取り出
し、それを特徴量生成手段２３が全選択フレームについ
て実行することにより特徴量を生成する。
【００６３】この動画像特徴量生成装置では、一部のフ
レームの縮小画像に対して周波数解析を行い、得られる
係数の一部のみを用いているため、必要な記憶容量が少
ない動画像特徴量を生成できる。
レームの縮小画像に対して周波数解析を行い、得られる
係数の一部のみを用いているため、必要な記憶容量が少
ない動画像特徴量を生成できる。
【００６４】次に、図５を参照しながら、本発明の画像
特徴量生成装置及び方法に係る第５の実施形態について
説明する。
特徴量生成装置及び方法に係る第５の実施形態について
説明する。
【００６５】図５に示された画像特徴量生成装置に係る
第５の実施形態は、画像データ判定部１００と、静止画
像特徴量生成部２２と、動画像特徴量生成部２と、特徴
量付き画像データベース記憶部５とを有して構成され
る。なお、本実施形態が対象とする画像データは動画像
データ及び静止画像データを含むものであり、動画像は
複数の静止画像からなるものとする。
第５の実施形態は、画像データ判定部１００と、静止画
像特徴量生成部２２と、動画像特徴量生成部２と、特徴
量付き画像データベース記憶部５とを有して構成され
る。なお、本実施形態が対象とする画像データは動画像
データ及び静止画像データを含むものであり、動画像は
複数の静止画像からなるものとする。
【００６６】本実施形態に入力される画像データ７は、
画像データ判定部１００によって静止画像であるか動画
像であるかを判定される。画像が静止画像である場合に
は、静止画像特徴量生成部２２に、動画像である場合に
は動画像特徴量生成部２に入力される。
画像データ判定部１００によって静止画像であるか動画
像であるかを判定される。画像が静止画像である場合に
は、静止画像特徴量生成部２２に、動画像である場合に
は動画像特徴量生成部２に入力される。
【００６７】静止画像特徴量生成部２２は、縮小画像生
成手段２２１が入力された静止画像画像データにより縮
小画像を生成し、周波数解析手段２２２が生成された縮
小画像の周波数解析を行い、解析の結果得られる直流分
および一部交流分を直流成分および一部交流成分抽出手
段２２３が取り出し、それを特徴量生成手段２３が全選
択フレームについて実行することにより特徴量を生成す
る。
成手段２２１が入力された静止画像画像データにより縮
小画像を生成し、周波数解析手段２２２が生成された縮
小画像の周波数解析を行い、解析の結果得られる直流分
および一部交流分を直流成分および一部交流成分抽出手
段２２３が取り出し、それを特徴量生成手段２３が全選
択フレームについて実行することにより特徴量を生成す
る。
【００６８】動画像特徴量生成部２は、動画像データか
らフレームの全部または一部に相当するデータを特徴量
抽出対象フレーム選定手段２１で取り出し、取り出され
た各フレームに相当するデータから縮小画像生成手段２
２１が縮小画像を生成し、周波数解析手段２２２が生成
された縮小画像の周波数解析を行い、解析の結果得られ
る直流分および一部交流分を直流成分および一部交流成
分抽出手段２２３が取り出し、それを特徴量生成手段２
３が全選択フレームについて実行することにより特徴量
を生成する。
らフレームの全部または一部に相当するデータを特徴量
抽出対象フレーム選定手段２１で取り出し、取り出され
た各フレームに相当するデータから縮小画像生成手段２
２１が縮小画像を生成し、周波数解析手段２２２が生成
された縮小画像の周波数解析を行い、解析の結果得られ
る直流分および一部交流分を直流成分および一部交流成
分抽出手段２２３が取り出し、それを特徴量生成手段２
３が全選択フレームについて実行することにより特徴量
を生成する。
【００６９】上述した処理により生成された各特徴量１
４、１５は特徴量付き画像データベース記憶部５の画像
特徴量記憶部５２に記憶される。また、動画像及び静止
画像とからなる画像データは、画像データ記憶部５１に
記憶される。
４、１５は特徴量付き画像データベース記憶部５の画像
特徴量記憶部５２に記憶される。また、動画像及び静止
画像とからなる画像データは、画像データ記憶部５１に
記憶される。
【００７０】このように静止画像が入力された場合に
は、縮小画像に対して周波数解析を行い、得られる係数
の一部のみを用いて特徴量を生成し、また、動画像が入
力された場合には、一部のフレームの縮小画像に対して
周波数解析を行い、得られる係数の一部のみを用いて特
徴量を生成しているため、必要な記憶容量が少ない静止
画像及び動画像特徴量を生成できる。
は、縮小画像に対して周波数解析を行い、得られる係数
の一部のみを用いて特徴量を生成し、また、動画像が入
力された場合には、一部のフレームの縮小画像に対して
周波数解析を行い、得られる係数の一部のみを用いて特
徴量を生成しているため、必要な記憶容量が少ない静止
画像及び動画像特徴量を生成できる。
【００７１】次に、図６を参照しながら本発明の画像検
索装置及び方法に係る第１の実施形態について説明す
る。
索装置及び方法に係る第１の実施形態について説明す
る。
【００７２】図６に示されるように本実施形態は、静止
画像データを入力して、その静止画像データの特徴量を
生成する静止画像特徴量生成部２２と、静止画像データ
に対して静止画像特徴量生成部２２で予め生成された静
止画像特徴量を記憶した静止画像特徴量記憶部６２と静
止画像データを記憶した静止画像データ記憶部６１とか
らなる特徴量付き静止画像データベース記憶部６と、入
力された静止画像データにより静止画像特徴量生成部２
２で生成された静止画像特徴量と、特徴量付き静止画像
データベース記憶部６に記憶された静止画像特徴量との
相関値を算出する静止画像相関測定部４１とを有して構
成される。
画像データを入力して、その静止画像データの特徴量を
生成する静止画像特徴量生成部２２と、静止画像データ
に対して静止画像特徴量生成部２２で予め生成された静
止画像特徴量を記憶した静止画像特徴量記憶部６２と静
止画像データを記憶した静止画像データ記憶部６１とか
らなる特徴量付き静止画像データベース記憶部６と、入
力された静止画像データにより静止画像特徴量生成部２
２で生成された静止画像特徴量と、特徴量付き静止画像
データベース記憶部６に記憶された静止画像特徴量との
相関値を算出する静止画像相関測定部４１とを有して構
成される。
【００７３】静止画像特徴量生成部２２は、縮小画像生
成手段２２１が入力された静止画像画像データにより縮
小画像を生成し、周波数解析手段２２２が生成された縮
小画像の周波数解析を行い、解析の結果得られる直流分
および一部交流分を直流成分および一部交流成分抽出手
段２２３が取り出することにより入力静止画像データ１
１に対する静止画像特徴量１４を生成する。
成手段２２１が入力された静止画像画像データにより縮
小画像を生成し、周波数解析手段２２２が生成された縮
小画像の周波数解析を行い、解析の結果得られる直流分
および一部交流分を直流成分および一部交流成分抽出手
段２２３が取り出することにより入力静止画像データ１
１に対する静止画像特徴量１４を生成する。
【００７４】また、特徴量付き静止画像データベース記
憶部６には、上述した画像特徴量生成装置に係る第３の
実施形態にて説明した手順により静止画像が静止画像デ
ータ記憶部６１に、静止画像データ記憶部６１に記憶さ
れた静止画像を用いて静止画像特徴量生成部２２に算出
された静止画像特徴量が静止画像特徴量記憶部６２に記
憶されている。
憶部６には、上述した画像特徴量生成装置に係る第３の
実施形態にて説明した手順により静止画像が静止画像デ
ータ記憶部６１に、静止画像データ記憶部６１に記憶さ
れた静止画像を用いて静止画像特徴量生成部２２に算出
された静止画像特徴量が静止画像特徴量記憶部６２に記
憶されている。
【００７５】静止画像相関測定部４１は、入力された静
止画像データにより生成された特徴量１４と、画像デー
タベースに含まれる画像により生成された特徴量との相
関値を計算し、相関値の高いデータベース中の静止画像
を類似する静止画像の候補として検出する。
止画像データにより生成された特徴量１４と、画像デー
タベースに含まれる画像により生成された特徴量との相
関値を計算し、相関値の高いデータベース中の静止画像
を類似する静止画像の候補として検出する。
【００７６】次に、図７及び図８を参照しながら本発明
の画像検索装置及び方法係る第２の実施形態について説
明する。なお、図７は画像検索装置及び方法に係る第１
の実施形態の構成を示すブロック図であり、図８は、画
像検索方法の相関測定手順を示す流れ図である。
の画像検索装置及び方法係る第２の実施形態について説
明する。なお、図７は画像検索装置及び方法に係る第１
の実施形態の構成を示すブロック図であり、図８は、画
像検索方法の相関測定手順を示す流れ図である。
【００７７】図７に示された画像検索装置及び方法に係
る第２の実施形態は、特徴量生成部２、特徴量付き動画
像データベース記憶部３、動画像データベース中の特徴
量１７と入力された動画像データ１に対して特徴量生成
部２で生成した特徴量１５との相関値を計算する相関測
定部４を含む。
る第２の実施形態は、特徴量生成部２、特徴量付き動画
像データベース記憶部３、動画像データベース中の特徴
量１７と入力された動画像データ１に対して特徴量生成
部２で生成した特徴量１５との相関値を計算する相関測
定部４を含む。
【００７８】まず、検索に用いる動画像データ１を入力
し、特徴量生成部２より特徴量１５を生成する。検索を
行う際には参照する動画像から特徴量生成部２が生成さ
れ、相関測定部４に入力される。
し、特徴量生成部２より特徴量１５を生成する。検索を
行う際には参照する動画像から特徴量生成部２が生成さ
れ、相関測定部４に入力される。
【００７９】動画像データベース中の特徴量１７と、入
力された動画像データ１に対して特徴量生成部２で生成
した特徴量１５との相関値の算出を相関測定部４で行
い、検索された部分動画像の格納位置情報１８を検索結
果として出力する。
力された動画像データ１に対して特徴量生成部２で生成
した特徴量１５との相関値の算出を相関測定部４で行
い、検索された部分動画像の格納位置情報１８を検索結
果として出力する。
【００８０】動画像相関測定部４の動作を図８で詳細に
説明する。本発明による画像検索方法は、入力された動
画像データより生成された特徴量と、動画像データベー
スに含まれる動画像より生成された特徴量の一部との相
関を求める処理工程として、入力された動画像より生成
された特徴量を分割し、分割した各部分ごとに順次部分
的相関を算出し、部分的な相関が予め定めた閾値より低
ければその特徴量を持つデータベース中の動画像を候補
から取り除くステップを有する。このような方法を採用
することにより、指定動画像区間全体に対して総当たり
でマッチングを行う場合に比べ、検索結果となる候補を
少ないマッチング回数で絞ることができ、動画像の検索
を行うための処理時間を短縮できる。この処理手順を以
下に詳述する。
説明する。本発明による画像検索方法は、入力された動
画像データより生成された特徴量と、動画像データベー
スに含まれる動画像より生成された特徴量の一部との相
関を求める処理工程として、入力された動画像より生成
された特徴量を分割し、分割した各部分ごとに順次部分
的相関を算出し、部分的な相関が予め定めた閾値より低
ければその特徴量を持つデータベース中の動画像を候補
から取り除くステップを有する。このような方法を採用
することにより、指定動画像区間全体に対して総当たり
でマッチングを行う場合に比べ、検索結果となる候補を
少ないマッチング回数で絞ることができ、動画像の検索
を行うための処理時間を短縮できる。この処理手順を以
下に詳述する。
【００８１】まず、初期設定として、検索対象となる動
画像特徴量を呼び出すための識別子番号を初期化してお
く（ステップＳ１）。ここで、識別子とは、動画像デー
タベースを生成する際に、各動画像データに対してユニ
ークに付与されるものとする。また特徴量１５も予め取
得しておくものとする。
画像特徴量を呼び出すための識別子番号を初期化してお
く（ステップＳ１）。ここで、識別子とは、動画像デー
タベースを生成する際に、各動画像データに対してユニ
ークに付与されるものとする。また特徴量１５も予め取
得しておくものとする。
【００８２】次に識別子に対応した検索対象となる動画
像特徴量を取得し、検索対象となる部分特徴量（以降、
対象部分特徴量と呼ぶ）の取得位置を示すポインタを先
頭に合わせておく（ステップＳ２）。
像特徴量を取得し、検索対象となる部分特徴量（以降、
対象部分特徴量と呼ぶ）の取得位置を示すポインタを先
頭に合わせておく（ステップＳ２）。
【００８３】先頭の参照部分特徴量から予め定めた時間
幅の特徴量を取得する。このデータを参照部分特徴量と
呼ぶ。また、取得位置を示すポインタで示された箇所よ
り対象部分特徴量を取得する（ステップＳ３）。
幅の特徴量を取得する。このデータを参照部分特徴量と
呼ぶ。また、取得位置を示すポインタで示された箇所よ
り対象部分特徴量を取得する（ステップＳ３）。
【００８４】ステップＳ３で得られた参照部分特徴量と
対象部分特徴量との相関を求める（ステップＳ４）。
対象部分特徴量との相関を求める（ステップＳ４）。
【００８５】予め定めた閾値より相関値が低い場合（以
降、ミスマッチ判定と呼ぶ）は、ステップＳ５で次に取
得するための対象部分特徴量の存在の有無を調べ、存在
する場合には対象部分特徴量の取得位置ポインタを予め
定めた値だけずらし（ステップＳ６）、ステップＳ３に
戻る。また次の対象部分特徴量が存在しない場合は、識
別子を一つ増やし、次の動画像特徴量に対して同様の処
理を行う（ステップＳ１３）。ただしデータベース中の
動画像特徴全てに対してマッチングを行った場合は、処
理を終了する（ステップＳ１２）。
降、ミスマッチ判定と呼ぶ）は、ステップＳ５で次に取
得するための対象部分特徴量の存在の有無を調べ、存在
する場合には対象部分特徴量の取得位置ポインタを予め
定めた値だけずらし（ステップＳ６）、ステップＳ３に
戻る。また次の対象部分特徴量が存在しない場合は、識
別子を一つ増やし、次の動画像特徴量に対して同様の処
理を行う（ステップＳ１３）。ただしデータベース中の
動画像特徴全てに対してマッチングを行った場合は、処
理を終了する（ステップＳ１２）。
【００８６】ステップＳ４で相関値が予め定めた閾値よ
り高い場合は、取得位置から時間的に続く次の対象部分
特徴量および参照部分特徴量を取得し（ステップＳ
７）、相関を求める（ステップＳ８）。以降、ミスマッ
チ判定されるまで同様にマッチングをくり返し、参照部
分特徴量を全てマッチングした場合（ステップＳ９）、
検索結果として出力する（ステップＳ１０）。
り高い場合は、取得位置から時間的に続く次の対象部分
特徴量および参照部分特徴量を取得し（ステップＳ
７）、相関を求める（ステップＳ８）。以降、ミスマッ
チ判定されるまで同様にマッチングをくり返し、参照部
分特徴量を全てマッチングした場合（ステップＳ９）、
検索結果として出力する（ステップＳ１０）。
【００８７】検索結果を含む動画像データ識別子番号
と、動画像データ内における開始位置または終了位置等
を出力することができる。これに加えて相関値等も出力
することができる。
と、動画像データ内における開始位置または終了位置等
を出力することができる。これに加えて相関値等も出力
することができる。
【００８８】ミスマッチと判定された場合、ミスマッチ
判定が別途設定された一定の回数もしくは時間を超えた
かどうかの判定を行う（ステップＳ１１）。超えていな
い場合はステップＳ７に戻る。超えている場合はステッ
プＳ５に戻る。ステップＳ１１は、フレーム内符号化さ
れるフレームの選択位置の違い、カメラワークの違い、
画面ノイズによる特徴量の変化等による一時的なミスマ
ッチを、回数もしくは時間を適切に定めることによりカ
バーすることができる。また、回数もしくは時間を
“０”に定めることはステップＳ１１を省くことと等価
であり、回路設計を軽くすることもできる。
判定が別途設定された一定の回数もしくは時間を超えた
かどうかの判定を行う（ステップＳ１１）。超えていな
い場合はステップＳ７に戻る。超えている場合はステッ
プＳ５に戻る。ステップＳ１１は、フレーム内符号化さ
れるフレームの選択位置の違い、カメラワークの違い、
画面ノイズによる特徴量の変化等による一時的なミスマ
ッチを、回数もしくは時間を適切に定めることによりカ
バーすることができる。また、回数もしくは時間を
“０”に定めることはステップＳ１１を省くことと等価
であり、回路設計を軽くすることもできる。
【００８９】一方、参照部分特徴量を取得する際の時間
幅を参照特徴量全体として、検索部分特徴量との相関を
一度に比較することにより検索を行うこともできる。
幅を参照特徴量全体として、検索部分特徴量との相関を
一度に比較することにより検索を行うこともできる。
【００９０】次に図９を参照しながら本発明の画像検索
装置及び方法に係る第３の実施形態について詳細に説明
する。
装置及び方法に係る第３の実施形態について詳細に説明
する。
【００９１】図９に示された実施形態は、画像特徴量生
成部１０と、静止画像と動画像とが記憶される画像デー
タ記憶部５１と、画像データ記憶部に記憶された画像デ
ータに対して画像特徴量生成部１０で予め生成された静
止画像特徴量及び動画像特徴量が記憶された画像特徴量
記憶部５２とからなる特徴量付き画像データベース記憶
部５と、画像データベース中の特徴量１７と入力された
動画像データ１に対して特徴量生成部２で生成した特徴
量１５との相関値を計算する動画像相関値測定部４と、
画像データベース中の特徴量１７と入力された静止画像
データ１１に対して画像特徴量生成部１０で生成された
特徴量との相関値を計算する静止画像相関値測定部４１
とを含む。
成部１０と、静止画像と動画像とが記憶される画像デー
タ記憶部５１と、画像データ記憶部に記憶された画像デ
ータに対して画像特徴量生成部１０で予め生成された静
止画像特徴量及び動画像特徴量が記憶された画像特徴量
記憶部５２とからなる特徴量付き画像データベース記憶
部５と、画像データベース中の特徴量１７と入力された
動画像データ１に対して特徴量生成部２で生成した特徴
量１５との相関値を計算する動画像相関値測定部４と、
画像データベース中の特徴量１７と入力された静止画像
データ１１に対して画像特徴量生成部１０で生成された
特徴量との相関値を計算する静止画像相関値測定部４１
とを含む。
【００９２】まず、検索に用いる画像データ１を入力
し、特徴量生成部２より特徴量１５を生成する。参照す
る画像データが動画像である場合には、動画像から特徴
量生成部１０により特徴量が生成され、動画像特徴量相
関測定部４に入力される。また、静止画像である場合に
は、静止画像から特徴量生成部１０により特徴量が生成
され、静止画像特徴量相関測定部１９に入力される。
し、特徴量生成部２より特徴量１５を生成する。参照す
る画像データが動画像である場合には、動画像から特徴
量生成部１０により特徴量が生成され、動画像特徴量相
関測定部４に入力される。また、静止画像である場合に
は、静止画像から特徴量生成部１０により特徴量が生成
され、静止画像特徴量相関測定部１９に入力される。
【００９３】動画像相関測定部４は、動画像データベー
ス中の特徴量１７と、入力された動画像データ１に対し
て特徴量生成部２で生成した特徴量１５との相関値の算
出を相関測定部４で行い、検索された部分動画像の格納
位置情報１８を検索結果として出力する。なお、この処
理動作についての説明は、上述した動画像特徴量生成装
置に係る第２の実施形態の説明において既に説明してい
るので省略する。
ス中の特徴量１７と、入力された動画像データ１に対し
て特徴量生成部２で生成した特徴量１５との相関値の算
出を相関測定部４で行い、検索された部分動画像の格納
位置情報１８を検索結果として出力する。なお、この処
理動作についての説明は、上述した動画像特徴量生成装
置に係る第２の実施形態の説明において既に説明してい
るので省略する。
【００９４】静止画像相関測定部４１は、入力された静
止画像データにより生成された特徴量１４と、画像デー
タベースに含まれる画像により生成された特徴量との相
関値を計算し、相関値の高いデータベース中の静止画像
を類似する静止画像の候補として検出する。
止画像データにより生成された特徴量１４と、画像デー
タベースに含まれる画像により生成された特徴量との相
関値を計算し、相関値の高いデータベース中の静止画像
を類似する静止画像の候補として検出する。
【００９５】（実施例）次に、本発明の実施例について
説明する。ＭＰＥＧ−１、２符号化された映像データ約
２０時間分を利用し、ある特定記事、ＣＭ、番組のオー
プニングに相当する映像区間を指定し、同一と思われる
映像区間を検出する実験を行った。
説明する。ＭＰＥＧ−１、２符号化された映像データ約
２０時間分を利用し、ある特定記事、ＣＭ、番組のオー
プニングに相当する映像区間を指定し、同一と思われる
映像区間を検出する実験を行った。
【００９６】検索対象となるこの動画像全体における各
フレーム内符号化されたフレームに対してタイムコー
ド、直流成分を抽出する。ここでは直流成分を抽出して
生成した縮小画像をさらに８×８の固定サイズに縮小し
たうえでＤＣＴをかけて得られる輝度成分、色差成分の
３つの直流成分（ＤＣ＿Ｙ、ＤＣ＿Ｃｂ、ＤＣ＿Ｃｒと
呼ぶ）、および輝度成分に対する２つの低周波成分（Ａ
Ｃ１、ＡＣ２と呼ぶ）を、［０、２５５］の範囲に正規
化したうえでそれぞれタイムコードとともに保存してお
く。各フレーム内符号化フレームにつき特徴量５バイ
ト、タイムコード４バイトの合わせて９バイトで済む。
このため、０．５秒間隔でフレーム内符号化フレームが
存在する場合には、１日分の映像に相当する特徴量のデ
ータサイズも１．５メガバイト程度に収まることにな
る。
フレーム内符号化されたフレームに対してタイムコー
ド、直流成分を抽出する。ここでは直流成分を抽出して
生成した縮小画像をさらに８×８の固定サイズに縮小し
たうえでＤＣＴをかけて得られる輝度成分、色差成分の
３つの直流成分（ＤＣ＿Ｙ、ＤＣ＿Ｃｂ、ＤＣ＿Ｃｒと
呼ぶ）、および輝度成分に対する２つの低周波成分（Ａ
Ｃ１、ＡＣ２と呼ぶ）を、［０、２５５］の範囲に正規
化したうえでそれぞれタイムコードとともに保存してお
く。各フレーム内符号化フレームにつき特徴量５バイ
ト、タイムコード４バイトの合わせて９バイトで済む。
このため、０．５秒間隔でフレーム内符号化フレームが
存在する場合には、１日分の映像に相当する特徴量のデ
ータサイズも１．５メガバイト程度に収まることにな
る。
【００９７】参照動画像の先頭フレームの特徴量を、検
索対象動画像の特徴量とフレーム内符号化フレーム単位
でマッチングを行う。ＤＣ＿Ｙ、ＤＣ＿Ｃｂ、ＤＣ＿Ｃ
ｒの差分値（以降、ＤＣ差分値と呼ぶ）、ＡＣ１、ＡＣ
２の差分値が、それぞれある指定条件（閾値）以内を満
たすものを目的動画像の候補とする。
索対象動画像の特徴量とフレーム内符号化フレーム単位
でマッチングを行う。ＤＣ＿Ｙ、ＤＣ＿Ｃｂ、ＤＣ＿Ｃ
ｒの差分値（以降、ＤＣ差分値と呼ぶ）、ＡＣ１、ＡＣ
２の差分値が、それぞれある指定条件（閾値）以内を満
たすものを目的動画像の候補とする。
【００９８】目的動画像候補と見なされた場合、その先
のフレームについて時系列に調べる。目的映像候補と見
なされない場合は、次のフレームについて同様の手順を
繰り返す。以降はＤＣ差分値が指定条件を満たすものを
マッチするものとし、順次調べていく。マッチング回数
を減らす目的で以降はＡＣ１、ＡＣ２は用いなくてもよ
い。
のフレームについて時系列に調べる。目的映像候補と見
なされない場合は、次のフレームについて同様の手順を
繰り返す。以降はＤＣ差分値が指定条件を満たすものを
マッチするものとし、順次調べていく。マッチング回数
を減らす目的で以降はＡＣ１、ＡＣ２は用いなくてもよ
い。
【００９９】サンプル位置による誤差を考慮し、３フレ
ーム連続してミスマッチの場合は、候補から外す。指定
した動画像区間に相当する長さに対して特徴量の差分が
指定条件（閾値）を満たした場合には目的動画像とみな
し、その開始点および終了点のタイムコードを検索結果
として出力する。また、目的動画像区間を検出した場
合、次回探索の始点を検出された区間の終点の次のフレ
ームから開始してもよい。
ーム連続してミスマッチの場合は、候補から外す。指定
した動画像区間に相当する長さに対して特徴量の差分が
指定条件（閾値）を満たした場合には目的動画像とみな
し、その開始点および終了点のタイムコードを検索結果
として出力する。また、目的動画像区間を検出した場
合、次回探索の始点を検出された区間の終点の次のフレ
ームから開始してもよい。
【０１００】この手順により、指定動画像区間全体に対
して総当たりでマッチングを行う場合に比べ、処理量を
大幅に減らすことが可能となる。
して総当たりでマッチングを行う場合に比べ、処理量を
大幅に減らすことが可能となる。
【０１０１】１１個の同一と思われる動画像区間の組に
対して実験を行った結果、１１個全てについて片方指定
することによりもう一方が得られることが解った。ま
た、目的動画像区間の長さを１０秒以上とした場合に
は、過剰検出も見受けられなかった。
対して実験を行った結果、１１個全てについて片方指定
することによりもう一方が得られることが解った。ま
た、目的動画像区間の長さを１０秒以上とした場合に
は、過剰検出も見受けられなかった。
【０１０２】尚、上述の実施形態は本発明の好適な実施
の一例である。但し、これに限定されるものではなく、
本発明の要旨を逸脱しない範囲内において種々変形実施
が可能である。さらにいずれの実施例においても、条件
に合わないものを候補から取り除くかわりに特徴量間の
距離を定義し用いることにより類似動画像検索への拡張
も容易である。
の一例である。但し、これに限定されるものではなく、
本発明の要旨を逸脱しない範囲内において種々変形実施
が可能である。さらにいずれの実施例においても、条件
に合わないものを候補から取り除くかわりに特徴量間の
距離を定義し用いることにより類似動画像検索への拡張
も容易である。
【０１０３】
【発明の効果】以上の説明より明らかなように、本発明
の画像特徴量生成装置及び方法は、画像データから縮小
画像を生成し、生成された縮小画像の周波数解析を行
い、解析の結果得られる直流分および一部交流分を取り
出すことにより特徴量を生成する。また、本発明の画像
検索装置及び方法は、画像データからフレームの全部ま
たは一部に相当するデータを取り出し、取り出された各
フレームに相当するデータから縮小画像を生成する。生
成された縮小画像の周波数解析を行い、解析の結果得ら
れる直流分および一部交流分を取り出し、取り出しを全
選択フレームについて実行する。
の画像特徴量生成装置及び方法は、画像データから縮小
画像を生成し、生成された縮小画像の周波数解析を行
い、解析の結果得られる直流分および一部交流分を取り
出すことにより特徴量を生成する。また、本発明の画像
検索装置及び方法は、画像データからフレームの全部ま
たは一部に相当するデータを取り出し、取り出された各
フレームに相当するデータから縮小画像を生成する。生
成された縮小画像の周波数解析を行い、解析の結果得ら
れる直流分および一部交流分を取り出し、取り出しを全
選択フレームについて実行する。
【０１０４】本発明の画像検索装置及び方法は相関算出
過程で類似映像候補になりえないと判断した時点で候補
から取り除くこともできる。よって、指定動画像区間全
体に対して総当たりでマッチングを行う場合に比べ、検
索結果となる候補を少ないマッチング回数で絞ることが
でき、処理量を大幅に減らすことが可能となる。このた
め、動画像の検索を行うための処理時間が短縮できる。
過程で類似映像候補になりえないと判断した時点で候補
から取り除くこともできる。よって、指定動画像区間全
体に対して総当たりでマッチングを行う場合に比べ、検
索結果となる候補を少ないマッチング回数で絞ることが
でき、処理量を大幅に減らすことが可能となる。このた
め、動画像の検索を行うための処理時間が短縮できる。
【０１０５】また、一部のフレームの縮小画像に対して
周波数解析を行うことによって得られる係数のみを用い
ている。このため、必要な記憶容量が少ない画像特徴量
を生成できる。
周波数解析を行うことによって得られる係数のみを用い
ている。このため、必要な記憶容量が少ない画像特徴量
を生成できる。
【０１０６】本発明は、コマーシャル映像、ニュースの
特定記事、番組のオープニング等、特定の映像の放送回
数の調査、放送情報の統計、傾向分析等に広く適用が可
能である。
特定記事、番組のオープニング等、特定の映像の放送回
数の調査、放送情報の統計、傾向分析等に広く適用が可
能である。
【０１０７】本発明は、蓄積された画像の中から参照す
る動画像と色、周波数分布の類似した一部分を検索する
類似映像検索等への適用が可能である。
る動画像と色、周波数分布の類似した一部分を検索する
類似映像検索等への適用が可能である。
【図１】本発明の画像特徴量生成装置および方法が適用
される実施形態の構成例を示すブロック図である。
される実施形態の構成例を示すブロック図である。
【図２】本発明の画像特徴量生成装置および方法が適用
される実施形態の構成例を示すブロック図である。
される実施形態の構成例を示すブロック図である。
【図３】本発明の画像特徴量生成装置および方法が適用
される実施形態の構成例を示すブロック図である。
される実施形態の構成例を示すブロック図である。
【図４】本発明の画像特徴量生成装置および方法が適用
される実施形態の構成例を示すブロック図である。
される実施形態の構成例を示すブロック図である。
【図５】本発明の画像特徴量生成装置および方法が適用
される実施形態の構成例を示すブロック図である。
される実施形態の構成例を示すブロック図である。
【図６】本発明の画像検索装置および方法が適用される
実施形態の構成例を示すブロック図である。
実施形態の構成例を示すブロック図である。
【図７】本発明の画像検索装置および方法が適用される
実施形態の構成例を示すブロック図である。
実施形態の構成例を示すブロック図である。
【図８】画像検索方法の処理手順例を示すフローチャー
トである。
トである。
【図９】本発明の画像検索装置および方法が適用される
実施形態の構成例を示すブロック図である。
実施形態の構成例を示すブロック図である。
１ 動画像データ
２ 特徴量生成部
３ 特徴量付き動画像データベース記憶部
４ 相関測定部
５ 特徴量付き動画像データベース記憶部
６ 特徴量付き静止画像データベース記憶部
７ 画像データ
１０ 画像特徴量生成部
１１ 静止画像データ
１２ 縮小画像
１３ 周波数成分
１４ 直流成分および一部交流成分
１５ 特徴量
１６ 動画像データ識別子
１７ 検索対象動画像特徴量
１８ 検索された部分動画像の格納位置情報
１９ 検索された静止画像の格納位置情報
２１ 特徴量抽出対象フレーム選定手段
２２ 静止画像特徴量抽出部
２３ 特徴量生成手段
３１ 動画像データ記憶部
３２ 動画像特徴量記憶部
４１ 静止画像相関測定部
５１ 画像データ記憶部
５２ 動画像特徴量記憶部
６１ 静止画像データ記憶部
６２ 静止画像特徴量記憶部
１００ 画像データ判定部
２２１ 縮小画像生成手段
２２２ 周波数解析手段
２２３ 直流成分および一部交流成分抽出手段
フロントページの続き
(56)参考文献 特開 平６−231254（ＪＰ，Ａ)
特開 平４−333991（ＪＰ，Ａ)
特開 昭61−201373（ＪＰ，Ａ)
97−ＡＶＭ−17−５ 圧縮映像中のバ
ラメータを利用した高速照合とその検索
方式の提案，情報処理学会研究報告，日
本，1997年 ６月 ６日，Ｖｏｌ．97
Ｎｏ．58，ｐｐ．25−32
(58)調査した分野(Int.Cl.7，ＤＢ名)
G06T 7/00 - 7/60
G06F 17/15
G06F 17/30
Claims (22)
- 【請求項１】 第１の画像データを代表する色情報の集
合を用いて生成された第２の画像データに対して周波数
解析を行う周波数解析手段と、 当該周波数解析の結果を用いて輝度成分の直流成分及び
一部の交流成分と、色差成分の直流成分及び一部の交流
成分とのいずれか一方または双方を抽出する直流成分お
よび一部交流成分抽出手段とを備え、 当該抽出した輝度成分の直流成分及び一部の交流成分
と、色差成分の直流成分及び一部の交流成分とのいずれ
か一方または双方を用いて前記第１の画像データの特徴
量を生成することを特徴とする画像特徴量生成装置。 - 【請求項２】 前記第１の画像データをブロックに分割
し、当該分割した各ブロックから各ブロックを代表する
色情報を取り出し、当該取り出した代表する色情報を用
いて前記第２の画像データを生成する縮小画像生成手段
を備えることを特徴とする請求項１に記載の画像特徴量
生成装置。 - 【請求項３】 第１の画像データをブロックに分割し、
当該分割した各ブロックから直流成分を取り出し、当該
取り出した直流成分を用いて生成された第２の画像デー
タに対して周波数解析を行う周波数解析手段と、 当該周波数解析の結果を用いて輝度成分の直流成分及び
一部の交流成分と、色差成分の直流成分及び一部の交流
成分とのいずれか一方または双方を抽出する直流成分お
よび一部交流成分抽出手段とを備え、 当該抽出した輝度成分の直流成分及び一部の交流成分
と、色差成分の直流成分及び一部の交流成分とのいずれ
か一方または双方を用いて前記第１の画像データの特徴
量を生成することを特徴とする画像特徴量生成装置。 - 【請求項４】 前記第１の画像データが静止画像データ
であって、当該静止画像データの特徴量を生成すること
を特徴とする請求項１〜３に記載の画像特徴量生成装
置。 - 【請求項５】 前記第１の画像データと当該第１の画像
データの特徴量とを記憶する特徴量つき画像記憶部を有
することを特徴とする請求項１〜４に記載の画像特徴量
生成装置。 - 【請求項６】 前記第１の画像データが動画像データに
含まれる１または複 数のフレームデータであって、当該
１または複数のフレームデータの特徴量を生成すること
により当該動画像データの特徴量を生成することを特徴
とする請求項１〜５に記載の画像特徴量生成装置。 - 【請求項７】 前記動画像データと当該動画像データの
特徴量とを記憶する特徴量つき画像記憶部を有すること
を特徴とする請求項６に記載の画像特徴量生成装置。 - 【請求項８】 前記第２の画像データが８×８の固定サ
イズの画像データであり、 前記周波数解析手段が、当該８×８の固定サイズの画像
データに対して周波数解析を行なうことを特徴とする請
求項１〜７に記載の画像特徴量生成装置。 - 【請求項９】 第１の画像データを８×８の固定サイズ
の画像データに変換し、 当該変換した８×８の固定サイズの画像データに対して
周波数解析を行なって周波数成分を算出し、 当該算出した周波数成分から少なくとも輝度成分の直流
成分と色差成分の直流成分と一部の交流成分とを抽出し
て、前記画像データの特徴量を生成することを特徴とす
る画像特徴量生成装置。 - 【請求項１０】 動画像データから全部または一部のフ
レームに相当するデータを取り出し処理対象に選定する
特徴量抽出対象フレーム選定手段と、 取り出されたフレームそれぞれのデータをブロックに分
割し、当該分割した各ブロックから各ブロックを代表す
る色情報を取り出し、当該取り出した代表する色情報を
用いて前記第１の画像データを生成する縮小画像生成手
段と、 生成された前記第１の画像データの周波数解析を行う周
波数解析手段と、 解析の結果を用いて輝度成分の直流成分及び一部の交流
成分と、色差成分の直流成分及び一部の交流成分とのい
ずれか一方または双方をフレーム特徴量として取り出す
直流成分および一部交流成分抽出手段と、 前記直流成分および一部交流成分抽出手段から出力され
る前記フレーム特徴量を集めて動画像特徴量を生成する
動画像特徴量生成手段と、 を有することを特徴とする画像特徴量生成装置。 - 【請求項１１】 前記画像特徴量生成装置は、 前記動画像データを記憶する動画像データ記憶手段と、 前記動画像データ記憶手段に記憶された動画像データそ
れぞれに対して生成された前記動画像特徴量を記憶した
動画像特徴量記憶手段とからなる動画像データベースを
有することを特徴とする請求項１０に記載の画像特徴量
生成装置。 - 【請求項１２】 入力される画像データが静止画像であ
るか動画像であるかを判定する画像データ判定手段と、 前記画像データ判定手段により静止画像であると判定さ
れた画像データをブロックに分割し、当該分割した各ブ
ロックから各ブロックを代表する色情報を取り出し、当
該取り出した代表する色情報を用いて前記第１の画像デ
ータを生成する縮小画像生成手段と、 生成された前記第１の画像データの周波数解析を行う周
波数解析手段と、 解析の結果解析の結果を用いて輝度成分の直流成分及び
一部の交流成分と、色差成分の直流成分及び一部の交流
成分とのいずれか一方または双方をフレーム特徴量とし
て取り出す直流成分および一部交流成分抽出手段とを有
する静止画像特徴量算出手段と、 前記画像データ判定手段により動画像であると判定され
た画像データから全部または一部のフレームに相当する
データを取り出し処理対象に選定する特徴量抽出対象フ
レーム選定手段と、 取り出されたフレームそれぞれのデータをブロックに分
割し、当該分割した各ブロックから各ブロックを代表す
る色情報を取り出し、当該取り出した代表する色情報を
用いて前記第１の画像データを生成する縮小画像生成手
段と、 生成された前記第１の画像データの周波数解析を行う周
波数解析手段と、 解析の結果を用いて輝度成分の直流成分及び一部の交流
成分と、色差成分の直流成分及び一部の交流成分とのい
ずれか一方または双方をフレーム特徴量として取り出す
直流成分および一部交流成分抽出手段と、 前記直流成分および一部交流成分抽出手段から出力され
るフレーム特徴量を集めて動画像特徴量を生成する動画
像特徴量生成手段とを有する動画像特徴量算出手段と、 を有することを特徴とする画像特徴量生成装置。 - 【請求項１３】 前記画像特徴量生成装置は、 前記画像データを記憶する画像データ記憶手段と、 前記画像データ記憶手段に記憶された画像データそれぞ
れを用いて、前記静止画像特徴量生成手段により生成さ
れた静止画像特徴量と、前記動画像特徴量生成手段によ
り生成された動画像特徴量とを画像特徴量として記憶す
る画像特徴量記憶手段とからなる画像データベースを有
することを特徴とする請求項１２に記載の画像特徴量生
成装置。 - 【請求項１４】 第１の画像データを代表する色情報の
集合を用いて生成された第２の画像データに対して周波
数解析を行う周波数解析ステップと、 当該周波数解析の結果を用いて輝度成分の直流成分及び
一部の交流成分と、色差成分の直流成分及び一部の交流
成分とのいずれか一方または双方を抽出する直流成分お
よび一部交流成分抽出ステップとを備え、 当該抽出した輝度成分の直流成分及び一部の交流成分
と、色差成分の直流成分及び一部の交流成分とのいずれ
か一方または双方を用いて前記第１の画像データの特徴
量を生成することを特徴とする画像特徴量生成方法。 - 【請求項１５】 前記第１の画像データをブロックに分
割し、当該分割した各ブロックから各ブロックを代表す
る色情報を取り出し、当該取り出した代表する色情報を
用いて前記第２の画像データを生成する縮小画像生成ス
テップを備えることを特徴とする請求項１４に記載の画
像特徴量生成方法。 - 【請求項１６】 第１の画像データをブロックに分割
し、当該分割した各ブロックから直流成分を取り出し、
当該取り出した直流成分を用いて生成された第２の画像
データに対して周波数解析を行う周波数解析ステップ
と、 当該周波数解析の結果を用いて輝度成分の直流成分及び
一部の交流成分と、色差成分の直流成分及び一部の交流
成分とのいずれか一方または双方を抽出する直流成分お
よび一部交流成分抽出ステップとを備え、 当該抽出した輝度成分の直流成分及び一部の交流成分
と、色差成分の直流成分及び一部の交流成分とのいずれ
か一方または双方を用いて前記第１の画像データの特徴
量を生成することを特徴とする画像特徴量生成方法。 - 【請求項１７】 前記第１の画像データが静止画像デー
タであって、当該静止画像データの特徴量を生成するこ
とを特徴とする請求項１４〜１６に記載の画像特徴量生
成方法。 - 【請求項１８】 前記第１の画像データと当該第１の画
像データの特徴量とを記憶する特徴量つき画像記憶部を
有することを特徴とする請求項１４〜１６に記載の画像
特徴量生成方法。 - 【請求項１９】 前記第１の画像データが動画像データ
に含まれる１または複数のフレームデータであって、当
該１または複数のフレームデータの特徴量を生成するこ
とにより当該動画像データの特徴量を生成することを特
徴とする請求項１４〜１８に記載の画像特徴量生成方
法。 - 【請求項２０】 前記動画像データと当該動画像データ
の特徴量とを記憶する特徴量つき画像記憶部を有するこ
とを特徴とする請求項１９に記載の画像特徴量生成方
法。 - 【請求項２１】 前記第２の画像データが８×８の固定
サイズの画像データであり、 前記周波数解析ステップが、当該８×８の固定サイズの
画像データに対して周波数解析を行なうことを特徴とす
る請求項１４〜２１に記載の画像特徴量生成方法。 - 【請求項２２】 第１の画像データを８×８の固定サイ
ズの画像データに変換し、 当該変換した８×８の固定サイズの画像データに対して
周波数解析を行なって周波数成分を算出し、 当該算出した周波数成分から少なくとも輝度成分の直流
成分と色差成分の直流成分と一部の交流成分とを抽出し
て、前記画像データの特徴量を生成することを特徴とす
る画像特徴量生成方法。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP05943299A JP3496559B2 (ja) | 1999-01-06 | 1999-03-05 | 画像特徴量生成装置、並びに画像特徴量生成方法 |
| US09/477,088 US6870957B1 (en) | 1999-01-06 | 2000-01-03 | Picture feature extraction device, picture retrieving device, and methods thereof for picture feature extraction and retrieving picture |
| EP00100102A EP1018688A3 (en) | 1999-01-06 | 2000-01-04 | Picture feature extraction device, picture retrieving device, and methods thereof for picture feature extraction and retrieving picture |
| CA002293943A CA2293943C (en) | 1999-01-06 | 2000-01-05 | Picture feature extraction device, picture retrieving device, and methods thereof for picture feature extraction and retrieving picture |
| US10/370,563 US6868182B2 (en) | 1999-01-06 | 2003-02-24 | Picture feature extraction device, picture retrieving device, and methods thereof for picture feature extraction and retrieving picture |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11-1507 | 1999-01-06 | ||
| JP150799 | 1999-01-06 | ||
| JP05943299A JP3496559B2 (ja) | 1999-01-06 | 1999-03-05 | 画像特徴量生成装置、並びに画像特徴量生成方法 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003124404A Division JP4304368B2 (ja) | 1999-01-06 | 2003-04-28 | 画像検索装置、並びに画像検索方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000259832A JP2000259832A (ja) | 2000-09-22 |
| JP3496559B2 true JP3496559B2 (ja) | 2004-02-16 |
Family
ID=26334727
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP05943299A Expired - Fee Related JP3496559B2 (ja) | 1999-01-06 | 1999-03-05 | 画像特徴量生成装置、並びに画像特徴量生成方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (2) | US6870957B1 (ja) |
| EP (1) | EP1018688A3 (ja) |
| JP (1) | JP3496559B2 (ja) |
| CA (1) | CA2293943C (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2075741A2 (en) | 2007-12-17 | 2009-07-01 | Nec Corporation | Image comparing method, apparatus and program |
Families Citing this family (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001326952A (ja) | 2000-05-15 | 2001-11-22 | Nec Corp | 放送確認システム、放送確認方法及び装置、放送確認プログラムを記録した記録媒体 |
| JP3775186B2 (ja) * | 2000-08-10 | 2006-05-17 | 日本電気株式会社 | 放送確認システム、放送確認装置および方法、放送確認プログラムを記録した記録媒体 |
| JP4063486B2 (ja) * | 2000-09-06 | 2008-03-19 | 日本電気株式会社 | 画像検索装置及び方法並びに画像検索プログラムを記録した記憶媒体 |
| JP2002117037A (ja) * | 2000-10-06 | 2002-04-19 | Nec Corp | 画像検索装置、並びに画像検索方法及びこれが書き込まれた記録媒体 |
| JP3684148B2 (ja) * | 2000-10-20 | 2005-08-17 | キヤノン株式会社 | 画像処理方法及びその装置、記憶媒体 |
| JP3658761B2 (ja) * | 2000-12-12 | 2005-06-08 | 日本電気株式会社 | 画像検索システムとその画像検索方法、及び画像検索プログラムを記録した記憶媒体 |
| JP4190739B2 (ja) | 2001-02-19 | 2008-12-03 | 日本電気株式会社 | 画像特徴量生成装置および方法、ならびに画像特徴量生成プログラムを記録した記憶媒体 |
| US7143353B2 (en) * | 2001-03-30 | 2006-11-28 | Koninklijke Philips Electronics, N.V. | Streaming video bookmarks |
| JP4527322B2 (ja) | 2001-07-25 | 2010-08-18 | 日本電気株式会社 | 画像検索装置、画像検索方法、及び画像検索用プログラム |
| JP3948249B2 (ja) | 2001-10-30 | 2007-07-25 | 日本電気株式会社 | 類似性判定装置及び類似性判定方法並びにプログラム |
| US7289594B2 (en) * | 2004-03-31 | 2007-10-30 | Lg.Philips Lcd Co., Ltd. | Shift registrer and driving method thereof |
| JP4637564B2 (ja) * | 2004-12-22 | 2011-02-23 | 株式会社リコー | 状態検知装置、状態検知方法、プログラムおよび記録媒体 |
| KR101035762B1 (ko) * | 2005-01-07 | 2011-05-20 | 삼성전자주식회사 | 개선된 패턴 데이터의 인식 장치 및 방법 |
| KR20070118156A (ko) * | 2005-06-30 | 2007-12-13 | 올림푸스 가부시키가이샤 | 검색 시스템 및 검색 방법 |
| JP4749139B2 (ja) * | 2005-12-05 | 2011-08-17 | 株式会社日立製作所 | 危険映像検出方法、映像相違検出方法及び装置 |
| KR100799686B1 (ko) | 2006-08-04 | 2008-02-01 | 삼성전자주식회사 | 콘트라스트 조정 장치 및 그 방법 |
| JP4281097B2 (ja) * | 2007-09-12 | 2009-06-17 | 香椎子 小舘 | 動画データの照合システム |
| JP5051237B2 (ja) * | 2007-10-19 | 2012-10-17 | 日本電気株式会社 | 不適切コンテンツ検出方法および装置、そのコンピュータプログラム、ならびにコンテンツ公開システム |
| CN102067229B (zh) | 2008-06-26 | 2013-03-20 | 日本电气株式会社 | 内容再现控制系统及其方法和程序 |
| WO2009157340A1 (ja) * | 2008-06-26 | 2009-12-30 | 日本電気株式会社 | 高品質コンテンツ生成システムと、その方法及びプログラム |
| US8768064B2 (en) | 2008-09-01 | 2014-07-01 | Nec Corporation | Image feature extraction device |
| JP4895315B2 (ja) * | 2009-04-24 | 2012-03-14 | Ｋｄｄｉ株式会社 | 動画像のカット点検出装置 |
| US8478053B2 (en) * | 2009-07-15 | 2013-07-02 | Nikon Corporation | Image sorting apparatus |
| US8965103B2 (en) | 2009-07-16 | 2015-02-24 | Olympus Corporation | Image processing apparatus and image processing method |
| US8791998B2 (en) | 2009-07-31 | 2014-07-29 | Olympus Corporation | Image processing apparatus and method for displaying images |
| US8675950B2 (en) | 2009-07-31 | 2014-03-18 | Olympus Corporation | Image processing apparatus and image processing method |
| JP5372675B2 (ja) * | 2009-09-04 | 2013-12-18 | オリンパス株式会社 | 画像処理装置およびプログラム |
| US8392430B2 (en) * | 2009-09-23 | 2013-03-05 | Microsoft Corp. | Concept-structured image search |
| CN113252695B (zh) * | 2021-06-16 | 2021-09-28 | 上海启迪睿视智能科技有限公司 | 一种基于图像处理的塑封薄膜缺陷检测方法及检测装置 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS61201373A (ja) * | 1985-03-04 | 1986-09-06 | Nec Corp | 画像信号の処理方法 |
| JP2875263B2 (ja) | 1988-09-21 | 1999-03-31 | ヤマハ発動機株式会社 | 画像処理方法および装置 |
| US5046121A (en) | 1989-01-31 | 1991-09-03 | Konica Corporation | Image data compression apparatus |
| JPH04333991A (ja) * | 1991-05-10 | 1992-11-20 | Konica Corp | 撮像装置の動き検出装置 |
| JPH06231254A (ja) * | 1993-02-03 | 1994-08-19 | Kokusai Denshin Denwa Co Ltd <Kdd> | 動画像の高速認識検索方法 |
| JP3340532B2 (ja) | 1993-10-20 | 2002-11-05 | 株式会社日立製作所 | ビデオの検索方法および装置 |
| JP3556265B2 (ja) | 1994-03-04 | 2004-08-18 | オリンパス株式会社 | 画像取扱装置及びカメラ |
| EP0770246A4 (en) * | 1994-07-14 | 1998-01-14 | Johnson Grace Company | METHOD AND APPARATUS FOR COMPRESSING IMAGES |
| JP3199976B2 (ja) | 1995-03-14 | 2001-08-20 | 正夫 坂内 | 画像データベース装置 |
| US5949904A (en) * | 1997-11-06 | 1999-09-07 | International Business Machines Corporation | Method, apparatus and computer program product for querying by image colors using JPEG image format |
| US6687411B1 (en) * | 1998-07-03 | 2004-02-03 | Hudson Co., Ltd. | Image coding/decoding method and recording medium having program for this method recorded thereon |
-
1999
- 1999-03-05 JP JP05943299A patent/JP3496559B2/ja not_active Expired - Fee Related
-
2000
- 2000-01-03 US US09/477,088 patent/US6870957B1/en not_active Expired - Lifetime
- 2000-01-04 EP EP00100102A patent/EP1018688A3/en not_active Withdrawn
- 2000-01-05 CA CA002293943A patent/CA2293943C/en not_active Expired - Fee Related
-
2003
- 2003-02-24 US US10/370,563 patent/US6868182B2/en not_active Expired - Lifetime
Non-Patent Citations (1)
| Title |
|---|
| ９７−ＡＶＭ−１７−５ 圧縮映像中のバラメータを利用した高速照合とその検索方式の提案，情報処理学会研究報告，日本，１９９７年 ６月 ６日，Ｖｏｌ．９７ Ｎｏ．５８，ｐｐ．２５−３２ |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2075741A2 (en) | 2007-12-17 | 2009-07-01 | Nec Corporation | Image comparing method, apparatus and program |
| JP2009146245A (ja) * | 2007-12-17 | 2009-07-02 | Nec Corp | 画像照合方法及び画像照合装置並びに画像照合プログラム |
| JP4518141B2 (ja) * | 2007-12-17 | 2010-08-04 | 日本電気株式会社 | 画像照合方法及び画像照合装置並びに画像照合プログラム |
| US8401310B2 (en) | 2007-12-17 | 2013-03-19 | Nec Corporation | Image comparing method, apparatus and program |
Also Published As
| Publication number | Publication date |
|---|---|
| US20030123735A1 (en) | 2003-07-03 |
| JP2000259832A (ja) | 2000-09-22 |
| US6868182B2 (en) | 2005-03-15 |
| CA2293943A1 (en) | 2000-07-06 |
| CA2293943C (en) | 2006-04-25 |
| EP1018688A2 (en) | 2000-07-12 |
| US6870957B1 (en) | 2005-03-22 |
| EP1018688A3 (en) | 2004-04-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3496559B2 (ja) | 画像特徴量生成装置、並びに画像特徴量生成方法 | |
| US7676085B2 (en) | Method and apparatus for representing a group of images | |
| JP4201454B2 (ja) | 動画要約生成方法及び動画要約生成装置 | |
| US6600784B1 (en) | Descriptor for spatial distribution of motion activity in compressed video | |
| US7035775B2 (en) | Similar time series detection method and apparatus, program and recording medium | |
| Ye et al. | No-reference image quality assessment based on visual codebook | |
| JP5116788B2 (ja) | 動画像検索装置 | |
| Moorthy et al. | Efficient motion weighted spatio-temporal video SSIM index | |
| US20030112874A1 (en) | Apparatus and method for detection of scene changes in motion video | |
| US20080313152A1 (en) | Real-Time Digital Video Identification System and Method Using Scene Information | |
| JP2004350283A (ja) | 圧縮ビデオから３次元オブジェクトをセグメント化する方法 | |
| KR100788642B1 (ko) | 디지털 영상 텍스쳐 분석 방법 | |
| JP4304368B2 (ja) | 画像検索装置、並びに画像検索方法 | |
| US20050002569A1 (en) | Method and apparatus for processing images | |
| CN108830829A (zh) | 联合多种边缘检测算子的无参考质量评价算法 | |
| US20060023944A1 (en) | Method and device for measuring similarity between images | |
| CN102298699B (zh) | 图像表示和分析方法 | |
| JP4167245B2 (ja) | デジタル映像処理方法及びその装置 | |
| EP1332472B1 (en) | Image characterisation | |
| Askari Javaran et al. | A No-Reference Blur Metric based on Second-Order Gradients of Image | |
| Hsu et al. | Content-based image retrieval by feature point matching | |
| Li et al. | An image quality assessment algorithm used for JPEG compressed image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20031028 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071128 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081128 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081128 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091128 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091128 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101128 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111128 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111128 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121128 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121128 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131128 Year of fee payment: 10 |
|
| LAPS | Cancellation because of no payment of annual fees |