JP4304368B2

JP4304368B2 - 画像検索装置、並びに画像検索方法

Info

Publication number: JP4304368B2
Application number: JP2003124404A
Authority: JP
Inventors: 英司粕谷
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 1999-01-06
Filing date: 2003-04-28
Publication date: 2009-07-29
Anticipated expiration: 2019-03-05
Also published as: JP2003323602A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像検索装置、並びに画像検索方法に関する。
【０００２】
【従来の技術】
従来、画像特徴量生成装置、画像検索装置、並びにその生成方法及び検索方法は一般に、蓄積された動画像の中からその一部分を検索するために適用される。
【０００３】
従来の参照動画像を利用した圧縮動画像検索方法の一例が、特開平１０−１３８３２号公報に記載されている。この公報にて開示された動画像検索方法は、各ブロックのＤＣＴ係数の少なくとも１つを各画面の特徴ベクトルとして抽出し、検索キーとなる特定の動画像パターンに含まれる各フレームの特徴ベクトルの確率的な状態遷移を学習によりモデル化し、検索対象である一連の動画像に含まれるフレームから抽出された特徴ベクトルの学習により得られた状態遷移モデルに対する頻度が高い時間領域を検索結果として出力する。
【０００４】
また、特開平６−２３１２５４号公報は、参照画像の特定領域と類似した領域を含む画像を圧縮動画像データ中から探し出す方法である。参照画像の検索を行う際に、第１段階として符号化情報に含まれる画素値の平均値を用いてパターンマッチングを行い候補画像を選別し、第２段階として参照画面と入力画面において縮小画像の周波数成分との相関値を算出して検索を行っている。
【０００５】
【発明が解決しようとする課題】
しかしながら、上述した従来の方法では、次のような問題がある。
第１に特徴量のサイズが大きいため、特徴量の記憶のための記憶装置の規模が大きくなる。第２に特徴量のサイズが大きいことに起因して、検索速度が低下する。第３にデータベース中の検索対象となる動画像データの各時点に対し、入力された動画像特徴量の全体とマッチングを行っているため、マッチング時間が膨大となる。特にデータベースの規模が大きくなるとこの問題点は顕著になる。
【０００６】
本発明は、静止画像および動画像データの中から類似した静止画像および動画像を高速に検索し、より少ない記憶容量で静止画像および動画像特徴量を生成する画像特徴量生成装置、画像検索装置、並びにその生成方法及び検索方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
係る目的を達成するために請求項１記載の発明は、画像データから生成される縮小画像サイズ全体に対する周波数解析により得られる周波数成分を算出して、当該算出した周波数成分から直流成分と一部の交流成分とを抽出して、当該抽出した直流成分と一部の交流成分とを用いて生成された画像データの特徴量を用いて、当該画像データの特徴量間の相関値を計算することにより類似する画像データを検索することを特徴とする。
【０００８】
請求項２記載の発明は、画像データから生成される縮小画像サイズ全体に対する周波数解析により得られる周波数成分を算出して、当該算出した周波数成分から直流成分と一部の交流成分とを抽出して、当該抽出した直流成分と一部の交流成分とを用いて生成された画像データの特徴量を画像データと共に記憶する特徴量つき画像記憶部と、入力画像データから生成される縮小画像サイズ全体に対する周波数解析により得られる周波数成分を算出して、当該算出した周波数成分から直流成分と一部の交流成分とを抽出して、当該抽出した直流成分と一部の交流成分とを用いて生成された入力画像データの特徴量を入力し、当該入力画像データの特徴量と特徴量つき画像記憶部に記憶された画像データの特徴量との相関値を算出する画像相関測定部と、を備えることを特徴とする。
【０００９】
請求項３記載の発明は、請求項２に記載の発明において、画像データから生成される縮小画像サイズ全体に対する周波数解析により得られる周波数成分を算出する周波数解析手段と、当該算出した周波数成分から直流成分と一部の交流成分とを抽出する直流成分および一部交流成分抽出手段と、を備えることを特徴とする。
【００１０】
請求項４記載の発明は、請求項２または３に記載の発明において、画像データから縮小画像を生成する縮小画像生成手段を備えることを特徴とする。
【００１１】
請求項５記載の発明は、入力画像データから生成される縮小画像サイズ全体に対する周波数解析により得られる周波数成分を算出する周波数解析手段と、当該算出した周波数成分から直流成分と一部の交流成分とを抽出して、当該当該抽出した直流成分と一部の交流成分とを用いて入力画像データの特徴量を生成する直流成分および一部交流成分抽出手段と、画像データから生成される縮小画像サイズ全体に対する周波数解析により得られる算出周波数成分を算出して、当該算出周波数成分から直流成分と一部の交流成分とを抽出して、当該抽出した直流成分と一部の交流成分とを用いて生成された画像データの特徴量を画像データと共に記憶する特徴量つき画像記憶部に記憶された画像データの特徴量と入力画像データの特徴量との相関値を算出する画像相関測定部と、を備えることを特徴とする。
【００１２】
請求項６記載の発明は、第１の画像データを代表する色情報の集合を用いて生成される第２の画像データサイズ全体に対する周波数解析により得られる周波数成分を算出して、当該算出した周波数成分から直流成分と一部の交流成分とを抽出して、当該抽出した直流成分と一部の交流成分とを用いて生成された第１の画像データの特徴量を第１の画像データと共に記憶する特徴量つき画像記憶部と、入力画像データを代表する色情報の集合を用いて生成される第３の画像データサイズ全体に対する周波数解析により得られる周波数成分を算出して、当該算出した周波数成分から直流成分と一部の交流成分とを抽出して、当該抽出した直流成分と一部の交流成分とを用いて生成された入力画像データの特徴量を入力し、当該入力画像データの特徴量と特徴量つき画像記憶部に記憶された第１の画像データの特徴量との相関値を算出する画像相関測定部と、を備えることを特徴とする。
【００１３】
請求項７記載は、請求項６に記載の発明において、入力画像データを代表する色情報の集合を用いて生成される第３の画像データサイズ全体に対する周波数解析により得られる周波数成分を算出する周波数解析手段と、当該算出した周波数成分から直流成分と一部の交流成分とを抽出し、当該抽出した直流成分と一部の交流成分とを用いて入力画像データの特徴量を生成する直流成分および一部交流成分抽出手段と、を備えることを特徴とする。
【００１４】
請求項８記載の発明は、請求項６または７に記載の発明において、入力画像データをブロックに分割し、当該分割した各ブロックから各ブロックを代表する色情報を取り出し、当該取り出した代表する色情報を用いて第３の画像データを生成する縮小画像生成手段を備えることを特徴とする。
【００１５】
請求項９記載の発明は、入力画像データを代表する色情報の集合を用いて生成される第１の画像データサイズ全体に対する周波数解析により得られる周波数成分を算出する周波数解析手段と、当該算出した周波数成分から直流成分と一部の交流成分とを抽出して、当該当該抽出した直流成分と一部の交流成分とを用いて入力画像データの特徴量を生成する直流成分および一部交流成分抽出手段と、第２の画像データを代表する色情報の集合を用いて生成される第３の画像データサイズ全体に対する周波数解析により得られる周波数成分を算出して、当該算出周波数成分から直流成分と一部の交流成分とを抽出して、当該抽出した直流成分と一部の交流成分とを用いて生成された第２の画像データの特徴量を第２画像データと共に記憶する特徴量つき画像記憶部に記憶された第２の画像データの特徴量と入力画像データの特徴量との相関値を算出する画像相関測定部と、を備えることを特徴とする。
【００１６】
請求項１０記載の発明は、請求項３、５、７または９に記載の発明において、直流成分および一部交流成分抽出手段が、輝度成分の係数の一部または色差成分の係数の一部のいずれか一方または双方を抽出し、当該抽出した輝度成分の係数の一部または色差成分の係数の一部のいずれか一方または双方を用いて画像データの特徴量を生成することを特徴とする。
【００１７】
請求項１１記載の発明は、請求項６〜８に記載の発明において、第２の画像データ及び第３の画像データが、８×８の固定サイズの画像データであることを特徴とする。
【００１８】
請求項１２記載の発明は、請求項９に記載の発明において、第１の画像データ及び第２の画像データが、８×８の固定サイズの画像データであることを特徴とする。
【００１９】
請求項１３記載の発明は、画像データを第１の８×８の固定サイズの画像データに変換し、当該変換した第１の８×８の固定サイズの画像データサイズ全体に対する周波数解析により得られる周波数成分を算出して、当該算出した周波数成分から輝度成分の直流成分と色差成分の直流成分と交流成分の一部とを抽出することにより生成された画像データの特徴量を画像データと共に記憶する特徴量つき画像記憶部と、入力画像データを第２の８×８の固定サイズの画像データに変換し、当該変換した第２の８×８の固定サイズの入力画像データデータサイズ全体に対する周波数解析により得られる、輝度成分の直流成分と色差成分の直流成分と交流成分の一部とを抽出することにより生成された入力画像データの特徴量を入力し、当該入力画像データの特徴量と特徴量つき画像記憶部に記憶された画像データの特徴量との相関値を算出する画像相関測定部と、を備えることを特徴とする。
【００２０】
請求項１４記載の発明は、入力される画像データが静止画像であるか動画像であるかを判定する画像データ判定手段と、画像データ判定手段により静止画像であると判定された画像データから縮小画像を生成する縮小画像生成手段と、生成された縮小画像サイズ全体に対する周波数解析を行う周波数解析手段と、解析の結果得られる直流成分および一部交流成分を静止画像特徴量として取り出す直流成分および一部交流成分抽出手段とを有する静止画像特徴量算出手段と、画像データ判定手段により動画像であると判定された画像データから全部または一部のフレームに相当するデータを取り出し処理対象に選定する特徴量抽出対象フレーム選定手段と、取り出されたフレームそれぞれのデータから縮小画像を生成する縮小画像生成手段と、生成された縮小画像サイズ全体に対する周波数解析を行う周波数解析手段と、解析の結果得られる直流成分および一部交流成分を画像特徴量として取り出す直流成分および一部交流成分抽出手段と、直流成分および一部交流成分抽出手段から出力されるフレーム特徴量を集めて動画像特徴量を生成する動画像特徴量生成手段とを有する動画像特徴量算出手段と、静止画像データに対して静止画像特徴量算出手段により予め算出された静止画像特徴量と、動画像データに対して動画像特徴量算出手段により予め算出された動画像特徴量とを記憶した画像特徴量記憶手段と、静止画像データ及び動画像データを記憶する画像データ記憶手段とからなる画像データベースと、入力された静止画像データにより静止画像特徴量算出手段にて算出された静止画像特徴量と、画像データベースに含まれる画像特徴量との相関値を計算する静止画像特徴量相関測定手段と、入力された動画像データにより動画像特徴量算出手段にて算出された動画像特徴量と、画像データベースに含まれる画像特徴量との相関値を計算する動画像特徴量相関測定手段とを有し、静止画像特徴量相関測定手段は、相関値の高い画像データベース中の静止画像を類似する静止画像の候補として検出し、動画像特徴量相関測定手段は、相関値の高い画像データベース中の動画像区間を類似する動画像区間の候補として検出することを特徴とする。
【００２１】
請求項１５記載の発明は、請求項１４に記載の発明において、動画像特徴量相関測定手段は、入力した動画像データに対して動画像特徴量算出手段により算出された動画像特徴量を分割し、画像データベースに含まれる動画像の動画像特徴量の一部と、分割した各動画像特徴量との部分的相関値を順次算出し、部分的相関値が予め定められた閾値よりも低い時に、その特徴量を持つ画像データベースに含まれる動画像区間を類似する動画像の候補から取り除くことを特徴とする。
【００２２】
請求項１６記載の発明は、請求項１４または１５に記載の発明において、動画像特徴量相関測定手段は、入力した動画像データに対して動画像特徴量算出手段により算出された動画像特徴量を分割し、画像データベースに含まれる動画像の動画像特徴量の一部と、分割した部分動画像特徴量との部分的相関値を順次算出し、部分的相関値が予め定められた閾値よりも低い部分動画像特徴量の数が予め定められた閾値以上となった時点で類似する動画像の候補から取り除くことを特徴とする。
【００２３】
請求項１７記載の発明は、画像データから生成される縮小画像サイズ全体に対する周波数解析により得られる周波数成分を算出して、当該算出した周波数成分から直流成分と一部の交流成分とを抽出して、当該抽出した直流成分と一部の交流成分とを用いて生成された画像データの特徴量を用いて、当該画像データの特徴量間の相関値を計算することにより類似する画像データを検索することを特徴とする。
【００２４】
請求項１８記載の発明は、画像データから生成される縮小画像サイズ全体に対する周波数解析により得られる周波数成分を算出して、当該算出した周波数成分から直流成分と一部の交流成分とを抽出して、当該抽出した直流成分と一部の交流成分とを用いて生成された画像データの特徴量を画像データと共に特徴量つき画像記憶部に記憶するステップと、入力画像データから生成される縮小画像サイズ全体に対する周波数解析により得られる周波数成分を算出して、当該算出した周波数成分から直流成分と一部の交流成分とを抽出して、当該抽出した直流成分と一部の交流成分とを用いて生成された入力画像データの特徴量を入力し、当該入力画像データの特徴量と特徴量つき画像記憶部に記憶された画像データの特徴量との相関値を算出する画像相関測定ステップと、を備えることを特徴とする。
【００２５】
請求項１９記載の発明は、請求項１８に記載の発明において、画像データから生成される縮小画像サイズ全体に対する周波数解析により得られる周波数成分を算出する周波数解析ステップと、当該算出した周波数成分から直流成分と一部の交流成分とを抽出する直流成分および一部交流成分抽出ステップと、を備えることを特徴とする。
【００２６】
請求項２０記載の発明は、請求項１８または１９に記載の発明において、画像データから縮小画像を生成する縮小画像生成ステップを備えることを特徴とする。
【００２７】
請求項２１記載の発明は、入力画像データから生成される縮小画像サイズ全体に対する周波数解析により得られる周波数成分を算出する周波数解析ステップと、当該算出した周波数成分から直流成分と一部の交流成分とを抽出して、当該当該抽出した直流成分と一部の交流成分とを用いて入力画像データの特徴量を生成する直流成分および一部交流成分抽出ステップと、画像データから生成される縮小画像サイズ全体に対する周波数解析により得られる算出周波数成分を算出して、当該算出周波数成分から直流成分と一部の交流成分とを抽出して、当該抽出した直流成分と一部の交流成分とを用いて生成された画像データの特徴量を画像データと共に記憶する特徴量つき画像記憶部に記憶された画像データの特徴量と入力画像データの特徴量との相関値を算出する画像相関測定ステップと、を備えることを特徴とする。
【００２８】
請求項２２記載の発明は、第１の画像データを代表する色情報の集合を用いて生成される第２の画像データサイズ全体に対する周波数解析により得られる周波数成分を算出して、当該算出した周波数成分から直流成分と一部の交流成分とを抽出して、当該抽出した直流成分と一部の交流成分とを用いて生成された第１の画像データの特徴量を第１の画像データと共に特徴量つき画像記憶部に記憶するステップと、入力画像データを代表する色情報の集合を用いて生成される第３の画像データサイズ全体に対する周波数解析により得られる周波数成分を算出して、当該算出した周波数成分から直流成分と一部の交流成分とを抽出して、当該抽出した直流成分と一部の交流成分とを用いて生成された入力画像データの特徴量を入力し、当該入力画像データの特徴量と特徴量つき画像記憶部に記憶された第１の画像データの特徴量との相関値を算出する画像相関測定ステップと、を備えることを特徴とする。
【００２９】
請求項２３記載の発明は、請求項２２記載の発明において、入力画像データを代表する色情報の集合を用いて生成される第３の画像データサイズ全体に対する周波数解析により得られる周波数成分を算出する周波数解析ステップと、当該算出した周波数成分から直流成分と一部の交流成分とを抽出し、当該抽出した直流成分と一部の交流成分とを用いて入力画像データの特徴量を生成する直流成分および一部交流成分抽出ステップと、を備えることを特徴とする。
【００３０】
請求項２４記載の発明は、請求項２２または２３に記載の発明において、入力画像データをブロックに分割し、当該分割した各ブロックから各ブロックを代表する色情報を取り出し、当該取り出した代表する色情報を用いて第３の画像データを生成する縮小画像生成ステップを備えることを特徴とする。
【００３１】
請求項２５記載の発明は、入力画像データを代表する色情報の集合を用いて生成される第１の画像データサイズ全体に対する周波数解析により得られる周波数成分を算出する周波数解析ステップと、当該算出した周波数成分から直流成分と一部の交流成分とを抽出して、当該当該抽出した直流成分と一部の交流成分とを用いて入力画像データの特徴量を生成する直流成分および一部交流成分抽出ステップと、第２の画像データを代表する色情報の集合を用いて生成される第３の画像データサイズ全体に対する周波数解析により得られる周波数成分を算出して、当該算出周波数成分から直流成分と一部の交流成分とを抽出して、当該抽出した直流成分と一部の交流成分とを用いて生成された第２の画像データの特徴量を第２画像データと共に記憶する特徴量つき画像記憶部に記憶された第２の画像データの特徴量と入力画像データの特徴量との相関値を算出する画像相関測定ステップと、を備えることを特徴とする。
【００３２】
請求項２６記載の発明は、請求項１９、２１、２３または２５に記載の発明において、直流成分および一部交流成分抽出ステップにおいて、輝度成分の係数の一部または色差成分の係数の一部のいずれか一方または双方を抽出し、当該抽出した輝度成分の係数の一部または色差成分の係数の一部のいずれか一方または双方を用いて画像データの特徴量を生成することを特徴とする。
【００３３】
請求項２７記載の発明は、請求項２２〜２４に記載の発明において、第２の画像データ及び第３の画像データが、８×８の固定サイズの画像データであることを特徴とする。
【００３４】
請求項２８記載の発明は、請求項２５に記載の発明において、第１の画像データ及び第２の画像データが、８×８の固定サイズの画像データであることを特徴とする。
【００３５】
請求項２９記載の発明は、画像データを第１の８×８の固定サイズの画像データに変換し、当該変換した第１の８×８の固定サイズの画像データサイズ全体に対する周波数解析により得られる周波数成分を算出して、当該算出した周波数成分から輝度成分の直流成分と色差成分の直流成分と交流成分の一部とを抽出することにより生成された画像データの特徴量を画像データと共に特徴量つき画像記憶部に記憶するステップと、入力画像データを第２の８×８の固定サイズの画像データに変換し、当該変換した第２の８×８の固定サイズの入力画像データサイズ全体に対する周波数解析により得られる、輝度成分の直流成分と色差成分の直流成分と交流成分の一部とを抽出することにより生成された入力画像データの特徴量を入力し、当該入力画像データの特徴量と特徴量つき画像記憶部に記憶された画像データの特徴量との相関値を算出する画像相関測定ステップと、を備えることを特徴とする。
【００３６】
【発明の実施の形態】
次に、添付図面を参照して本発明による画像特徴量生成装置、画像検索装置、並びにその生成方法及び検索方法の実施の形態を詳細に説明する。図１〜図９を参照すると、本発明の画像特徴量生成装置、画像検索装置、並びにその生成方法及び検索方法の実施形態が示されている。
【００３７】
まず、図１を参照ながら本発明の画像特徴量生成装置及び方法に係る第１の実施形態について詳細に説明する。
【００３８】
図１に示された第１の実施形態は、静止画像データを入力して、その静止画像データの特徴量を生成する静止画像特徴量生成部２２を有する。静止画像特徴量生成部２２は、縮小画像生成手段２２１と周波数解析手段２２２と直流成分および一部交流成分抽出手段２２３とを有する。
【００３９】
縮小画像生成手段２２１は、入力された静止画像データ１１に対して、縮小画像１２の生成を行う、この時の縮小率は任意である。縮小画像の生成方法例としては、画像をブロック分割し、各ブロックの代表する色情報のみを取り出す方法がある。代表する色情報としては、各ブロック内における平均色、最頻色等が利用できる。また、画像データがブロック単位で圧縮されている場合には、各ブロックの直流成分のみを取り出し生成することもできる。
【００４０】
周波数解析手段２２２は、縮小画像１２の周波数解析を行い、周波数成分１３を算出する。縮小画像１２を複数の領域に分割してから周波数解析を行うことも可能である。縮小画像の周波数解析方法としては、ＤＣＴ変換やウェーブレット変換やフーリエ変換やアダマール変換等が利用できる。
【００４１】
直流成分および一部交流成分抽出手段２２３は、周波数解析手段２２２より算出された周波数成分１３より直流成分および一部交流成分１４を抽出する。周波数解析手段２２２および直流成分および一部交流成分抽出手段２２３の具体例としては、縮小画像サイズ全体に対する２次元ＤＣＴにより周波数解析手段２２２を実行して、その直流成分およびｎ個の交流成分を抽出する方法等を用いることができる。また、輝度成分のみの係数、色差成分のみの係数、双方の係数の一部のみを抽出する方法等も用いることができる。
【００４２】
この画像特徴量生成装置及び方法では、縮小画像に対して周波数解析を行い、得られる係数の一部のみを用いているため、必要な記憶容量が少ない画像特徴量を生成できる。
【００４３】
次に、図２を参照しながら本発明の画像特徴量生成装置及び方法に係る第２の実施形態を詳細に説明する。
【００４４】
図２に示された第２の実施形態は、動画像データを入力して、その動画像データの特徴量を生成する動画像特徴量生成部２を有する。動画像特徴量生成部２は、特徴量抽出対象フレーム選定手段２１と、静止画像特徴量生成部２２と、特徴量生成手段２３とを有する。また、静止画像特徴量生成部２２は、上述した縮小画像生成手段２２１と周波数解析手段２２２と、直流成分および一部交流成分抽出手段２２３とを有する。なお、動画像とは複数の静止画像からなるものであり、上述した扱う対象が動画像となっても、第１の実施形態で用いた静止画像特徴量生成部２２を用いることが出来る。
【００４５】
特徴量生成部２の構成部である特徴量抽出対象フレーム選定手段２１は、入力された動画像データ１より特徴量抽出の対象となるフレームデータ１１を選定する。
【００４６】
特徴量抽出対象フレーム選定手段２１は、動画像データ中で１フレーム内で圧縮処理が完了しているフレーム内符号化フレームに相当する圧縮データのみを取り出すことができる。全てのフレーム内符号化フレームを選択することも、一部のフレーム内符号化フレームのみを選択することも可能である。また、フレーム内で処理が完結していないフレーム間符号化フレームについても、例えば、文献；Boon-Lock Yeo and Bede Liu：”On the extraction of DC sequence from MPEG Compressed Video ”、IEEE International Conference on Image Processing(1995）記載の方法を用いて、フレーム内符号化フレームを擬似的に生成することができる。このため、擬似的にフレーム内符号化フレームを生成してそれを選択することも可能である。
【００４７】
静止画特徴量抽出部２２を構成する縮小画像生成手段２２１は、特徴量抽出対象フレーム選定手段２１で選定された静止画像データ１１より、縮小画像を生成する。周波数解析手段２２２は、縮小画像１２を周波数成分１３に分解する。直流成分および一部交流成分抽出手段２２３は、周波数解析手段２２２より生成された周波数成分１３より直流成分および一部交流成分１４を抽出する。
【００４８】
特徴量生成手段２３は、静止画特徴量抽出部２２から与えられる直流成分および一部交流成分１４を、全選択フレームについて抽出することにより特徴量１５を生成する。
【００４９】
この実施形態においても、縮小画像に対して周波数解析を行い、得られる係数の一部のみを用いているため、必要な記憶容量が少ない特徴量を生成することができる。
【００５０】
次に、図３を参照しながら、本発明の画像特徴量生成装置及び方法に係る第３の実施形態について説明する。
【００５１】
図３に示された第３の実施形態は、静止画像データを入力して、その静止画像データの特徴量を生成する静止画像特徴量生成部２２と、入力した静止画像データを記憶する静止画像データ記憶部６１と静止画像特徴量生成部２２にて生成された静止画像特徴量を記憶する静止画像特徴量記憶部６２とからなる特徴量付き静止画像データベース記憶部６とを有する。静止画像特徴量生成部２２は、縮小画像生成手段２２１と周波数解析手段２２２と直流成分および一部交流成分抽出手段２２３とを有する。
【００５２】
静止画像特徴量生成部２２は、縮小画像生成手段２２１が入力された静止画像画像データにより縮小画像を生成し、周波数解析手段２２２が生成された縮小画像の周波数解析を行い、解析の結果得られる直流分および一部交流分を直流成分および一部交流成分抽出手段２２３が取り出すことにより静止画像特徴量を生成する。
【００５３】
生成された静止画像特徴量は静止画像特徴量記憶部６２に記憶され、また、静止画像特徴量の生成のために使用された静止画像データは静止画像データ記憶部６１に記憶される。
【００５４】
この実施形態においても、縮小画像に対して周波数解析を行い、得られる係数の一部のみを用いているため、必要な記憶容量が少ない特徴量を生成することができる。
【００５５】
図４に示されるように画像特徴量生成装置及び方法に係る第４の実施形態は、動画像特徴量生成部２と、特徴量付き動画像データベース記憶部３とを有して構成される。なお、動画像特徴量生成部２についての説明は省略する。
【００５６】
本実施形態は、動画像データ１から特徴量１５を生成し、両者を特徴量付き動画像データベース記憶部３に記憶するものである。
【００５７】
特徴量付き動画像データベース記憶部３は、動画像データ記憶部３１と、動画像特徴量記憶部３２とで構成されており、さまざまな動画像データ１に対して、それぞれ動画像データ１と、動画像データ１から特徴量生成部２により生成された特徴量１５とを記憶する。
【００５８】
特徴量付き動画像データベース記憶部３の一方の構成部である動画像データ記憶部３１は、動画像データ１を保持する。また、動画像データ記憶部３１は、動画像データ１から特徴量生成部２により生成された特徴量１５を保持する。
【００５９】
上記の各部により構成される画像特徴量生成装置は、動画像データからフレームの全部または一部に相当するデータを特徴量抽出対象フレーム選定手段２１で取り出し、取り出された各フレームに相当するデータから縮小画像生成手段２２１が縮小画像を生成し、周波数解析手段２２２が生成された縮小画像の周波数解析を行い、解析の結果得られる直流分および一部交流分を直流成分および一部交流成分抽出手段２２３が取り出し、それを特徴量生成手段２３が全選択フレームについて実行することにより特徴量を生成する。
【００６０】
この動画像特徴量生成装置では、一部のフレームの縮小画像に対して周波数解析を行い、得られる係数の一部のみを用いているため、必要な記憶容量が少ない動画像特徴量を生成できる。
【００６１】
次に、図５を参照しながら、本発明の画像特徴量生成装置及び方法に係る第５の実施形態について説明する。
【００６２】
図５に示された画像特徴量生成装置に係る第５の実施形態は、画像データ判定部１００と、静止画像特徴量生成部２２と、動画像特徴量生成部２と、特徴量付き画像データベース記憶部５とを有して構成される。なお、本実施形態が対象とする画像データは動画像データ及び静止画像データを含むものであり、動画像は複数の静止画像からなるものとする。
【００６３】
本実施形態に入力される画像データ７は、画像データ判定部１００によって静止画像であるか動画像であるかを判定される。画像が静止画像である場合には、静止画像特徴量生成部２２に、動画像である場合には動画像特徴量生成部２に入力される。
【００６４】
静止画像特徴量生成部２２は、縮小画像生成手段２２１が入力された静止画像画像データにより縮小画像を生成し、周波数解析手段２２２が生成された縮小画像の周波数解析を行い、解析の結果得られる直流分および一部交流分を直流成分および一部交流成分抽出手段２２３が取り出し、それを特徴量生成手段２３が全選択フレームについて実行することにより特徴量を生成する。
【００６５】
動画像特徴量生成部２は、動画像データからフレームの全部または一部に相当するデータを特徴量抽出対象フレーム選定手段２１で取り出し、取り出された各フレームに相当するデータから縮小画像生成手段２２１が縮小画像を生成し、周波数解析手段２２２が生成された縮小画像の周波数解析を行い、解析の結果得られる直流分および一部交流分を直流成分および一部交流成分抽出手段２２３が取り出し、それを特徴量生成手段２３が全選択フレームについて実行することにより特徴量を生成する。
【００６６】
上述した処理により生成された各特徴量１４、１５は特徴量付き画像データベース記憶部５の画像特徴量記憶部５２に記憶される。また、動画像及び静止画像とからなる画像データは、画像データ記憶部５１に記憶される。
【００６７】
このように静止画像が入力された場合には、縮小画像に対して周波数解析を行い、得られる係数の一部のみを用いて特徴量を生成し、また、動画像が入力された場合には、一部のフレームの縮小画像に対して周波数解析を行い、得られる係数の一部のみを用いて特徴量を生成しているため、必要な記憶容量が少ない静止画像及び動画像特徴量を生成できる。
【００６８】
次に、図６を参照しながら本発明の画像検索装置及び方法に係る第１の実施形態について説明する。
【００６９】
図６に示されるように本実施形態は、静止画像データを入力して、その静止画像データの特徴量を生成する静止画像特徴量生成部２２と、静止画像データに対して静止画像特徴量生成部２２で予め生成された静止画像特徴量を記憶した静止画像特徴量記憶部６２と静止画像データを記憶した静止画像データ記憶部６１とからなる特徴量付き静止画像データベース記憶部６と、入力された静止画像データにより静止画像特徴量生成部２２で生成された静止画像特徴量と、特徴量付き静止画像データベース記憶部６に記憶された静止画像特徴量との相関値を算出する静止画像相関測定部４１とを有して構成される。
【００７０】
静止画像特徴量生成部２２は、縮小画像生成手段２２１が入力された静止画像画像データにより縮小画像を生成し、周波数解析手段２２２が生成された縮小画像の周波数解析を行い、解析の結果得られる直流分および一部交流分を直流成分および一部交流成分抽出手段２２３が取り出することにより入力静止画像データ１１に対する静止画像特徴量１４を生成する。
【００７１】
また、特徴量付き静止画像データベース記憶部６には、上述した画像特徴量生成装置に係る第３の実施形態にて説明した手順により静止画像が静止画像データ記憶部６１に、静止画像データ記憶部６１に記憶された静止画像を用いて静止画像特徴量生成部２２に算出された静止画像特徴量が静止画像特徴量記憶部６２に記憶されている。
【００７２】
静止画像相関測定部４１は、入力された静止画像データにより生成された特徴量１４と、画像データベースに含まれる画像により生成された特徴量との相関値を計算し、相関値の高いデータベース中の静止画像を類似する静止画像の候補として検出する。
【００７３】
次に、図７及び図８を参照しながら本発明の画像検索装置及び方法係る第２の実施形態について説明する。なお、図７は画像検索装置及び方法に係る第１の実施形態の構成を示すブロック図であり、図８は、画像検索方法の相関測定手順を示す流れ図である。
【００７４】
図７に示された画像検索装置及び方法に係る第２の実施形態は、特徴量生成部２、特徴量付き動画像データベース記憶部３、動画像データベース中の特徴量１７と入力された動画像データ１に対して特徴量生成部２で生成した特徴量１５との相関値を計算する相関測定部４を含む。
【００７５】
まず、検索に用いる動画像データ１を入力し、特徴量生成部２より特徴量１５を生成する。検索を行う際には参照する動画像から特徴量生成部２が生成され、相関測定部４に入力される。
【００７６】
動画像データベース中の特徴量１７と、入力された動画像データ１に対して特徴量生成部２で生成した特徴量１５との相関値の算出を相関測定部４で行い、検索された部分動画像の格納位置情報１８を検索結果として出力する。
【００７７】
動画像相関測定部４の動作を図８で詳細に説明する。
本発明による画像検索方法は、入力された動画像データより生成された特徴量と、動画像データベースに含まれる動画像より生成された特徴量の一部との相関を求める処理工程として、入力された動画像より生成された特徴量を分割し、分割した各部分ごとに順次部分的相関を算出し、部分的な相関が予め定めた閾値より低ければその特徴量を持つデータベース中の動画像を候補から取り除くステップを有する。このような方法を採用することにより、指定動画像区間全体に対して総当たりでマッチングを行う場合に比べ、検索結果となる候補を少ないマッチング回数で絞ることができ、動画像の検索を行うための処理時間を短縮できる。この処理手順を以下に詳述する。
【００７８】
まず、初期設定として、検索対象となる動画像特徴量を呼び出すための識別子番号を初期化しておく（ステップＳ１）。ここで、識別子とは、動画像データベースを生成する際に、各動画像データに対してユニークに付与されるものとする。また特徴量１５も予め取得しておくものとする。
【００７９】
次に識別子に対応した検索対象となる動画像特徴量を取得し、検索対象となる部分特徴量（以降、対象部分特徴量と呼ぶ）の取得位置を示すポインタを先頭に合わせておく（ステップＳ２）。
【００８０】
先頭の参照部分特徴量から予め定めた時間幅の特徴量を取得する。このデータを参照部分特徴量と呼ぶ。また、取得位置を示すポインタで示された箇所より対象部分特徴量を取得する（ステップＳ３）。
【００８１】
ステップＳ３で得られた参照部分特徴量と対象部分特徴量との相関を求める（ステップＳ４）。
【００８２】
予め定めた閾値より相関値が低い場合（以降、ミスマッチ判定と呼ぶ）は、ステップＳ５で次に取得するための対象部分特徴量の存在の有無を調べ、存在する場合には対象部分特徴量の取得位置ポインタを予め定めた値だけずらし（ステップＳ６）、ステップＳ３に戻る。また次の対象部分特徴量が存在しない場合は、識別子を一つ増やし、次の動画像特徴量に対して同様の処理を行う（ステップＳ１３）。ただしデータベース中の動画像特徴全てに対してマッチングを行った場合は、処理を終了する（ステップＳ１２）。
【００８３】
ステップＳ４で相関値が予め定めた閾値より高い場合は、取得位置から時間的に続く次の対象部分特徴量および参照部分特徴量を取得し（ステップＳ７）、相関を求める（ステップＳ８）。以降、ミスマッチ判定されるまで同様にマッチングをくり返し、参照部分特徴量を全てマッチングした場合（ステップＳ９）、検索結果として出力する（ステップＳ１０）。
【００８４】
検索結果を含む動画像データ識別子番号と、動画像データ内における開始位置または終了位置等を出力することができる。これに加えて相関値等も出力することができる。
【００８５】
ミスマッチと判定された場合、ミスマッチ判定が別途設定された一定の回数もしくは時間を超えたかどうかの判定を行う（ステップＳ１１）。超えていない場合はステップＳ７に戻る。超えている場合はステップＳ５に戻る。ステップＳ１１は、フレーム内符号化されるフレームの選択位置の違い、カメラワークの違い、画面ノイズによる特徴量の変化等による一時的なミスマッチを、回数もしくは時間を適切に定めることによりカバーすることができる。また、回数もしくは時間を“０”に定めることはステップＳ１１を省くことと等価であり、回路設計を軽くすることもできる。
【００８６】
一方、参照部分特徴量を取得する際の時間幅を参照特徴量全体として、検索部分特徴量との相関を一度に比較することにより検索を行うこともできる。
【００８７】
次に図９を参照しながら本発明の画像検索装置及び方法に係る第３の実施形態について詳細に説明する。
【００８８】
図９に示された実施形態は、画像特徴量生成部１０と、静止画像と動画像とが記憶される画像データ記憶部５１と、画像データ記憶部に記憶された画像データに対して画像特徴量生成部１０で予め生成された静止画像特徴量及び動画像特徴量が記憶された画像特徴量記憶部５２とからなる特徴量付き画像データベース記憶部５と、画像データベース中の特徴量１７と入力された動画像データ１に対して特徴量生成部２で生成した特徴量１５との相関値を計算する動画像相関値測定部４と、画像データベース中の特徴量１７と入力された静止画像データ１１に対して画像特徴量生成部１０で生成された特徴量との相関値を計算する静止画像相関値測定部４１とを含む。
【００８９】
まず、検索に用いる画像データ１を入力し、特徴量生成部２より特徴量１５を生成する。参照する画像データが動画像である場合には、動画像から特徴量生成部１０により特徴量が生成され、動画像特徴量相関測定部４に入力される。また、静止画像である場合には、静止画像から特徴量生成部１０により特徴量が生成され、静止画像特徴量相関測定部１９に入力される。
【００９０】
動画像相関測定部４は、動画像データベース中の特徴量１７と、入力された動画像データ１に対して特徴量生成部２で生成した特徴量１５との相関値の算出を相関測定部４で行い、検索された部分動画像の格納位置情報１８を検索結果として出力する。なお、この処理動作についての説明は、上述した動画像特徴量生成装置に係る第２の実施形態の説明において既に説明しているので省略する。
【００９１】
静止画像相関測定部４１は、入力された静止画像データにより生成された特徴量１４と、画像データベースに含まれる画像により生成された特徴量との相関値を計算し、相関値の高いデータベース中の静止画像を類似する静止画像の候補として検出する。
【００９２】
（実施例）
次に、本発明の実施例について説明する。
ＭＰＥＧ−１、２符号化された映像データ約２０時間分を利用し、ある特定記事、ＣＭ、番組のオープニングに相当する映像区間を指定し、同一と思われる映像区間を検出する実験を行った。
【００９３】
検索対象となるこの動画像全体における各フレーム内符号化されたフレームに対してタイムコード、直流成分を抽出する。ここでは直流成分を抽出して生成した縮小画像をさらに８×８の固定サイズに縮小したうえでＤＣＴをかけて得られる輝度成分、色差成分の３つの直流成分（ＤＣ＿Ｙ、ＤＣ＿Ｃｂ、ＤＣ＿Ｃｒと呼ぶ）、および輝度成分に対する２つの低周波成分（ＡＣ１、ＡＣ２と呼ぶ）を、［０、２５５］の範囲に正規化したうえでそれぞれタイムコードとともに保存しておく。各フレーム内符号化フレームにつき特徴量５バイト、タイムコード４バイトの合わせて９バイトで済む。このため、０．５秒間隔でフレーム内符号化フレームが存在する場合には、１日分の映像に相当する特徴量のデータサイズも１．５メガバイト程度に収まることになる。
【００９４】
参照動画像の先頭フレームの特徴量を、検索対象動画像の特徴量とフレーム内符号化フレーム単位でマッチングを行う。ＤＣ＿Ｙ、ＤＣ＿Ｃｂ、ＤＣ＿Ｃｒの差分値（以降、ＤＣ差分値と呼ぶ）、ＡＣ１、ＡＣ２の差分値が、それぞれある指定条件（閾値）以内を満たすものを目的動画像の候補とする。
【００９５】
目的動画像候補と見なされた場合、その先のフレームについて時系列に調べる。目的映像候補と見なされない場合は、次のフレームについて同様の手順を繰り返す。以降はＤＣ差分値が指定条件を満たすものをマッチするものとし、順次調べていく。マッチング回数を減らす目的で以降はＡＣ１、ＡＣ２は用いなくてもよい。
【００９６】
サンプル位置による誤差を考慮し、３フレーム連続してミスマッチの場合は、候補から外す。指定した動画像区間に相当する長さに対して特徴量の差分が指定条件（閾値）を満たした場合には目的動画像とみなし、その開始点および終了点のタイムコードを検索結果として出力する。また、目的動画像区間を検出した場合、次回探索の始点を検出された区間の終点の次のフレームから開始してもよい。
【００９７】
この手順により、指定動画像区間全体に対して総当たりでマッチングを行う場合に比べ、処理量を大幅に減らすことが可能となる。
【００９８】
１１個の同一と思われる動画像区間の組に対して実験を行った結果、１１個全てについて片方指定することによりもう一方が得られることが解った。また、目的動画像区間の長さを１０秒以上とした場合には、過剰検出も見受けられなかった。
【００９９】
尚、上述の実施形態は本発明の好適な実施の一例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施が可能である。さらにいずれの実施例においても、条件に合わないものを候補から取り除くかわりに特徴量間の距離を定義し用いることにより類似動画像検索への拡張も容易である。
【０１００】
【発明の効果】
以上の説明より明らかなように、本発明の画像特徴量生成装置及び方法は、画像データから縮小画像を生成し、生成された縮小画像の周波数解析を行い、解析の結果得られる直流分および一部交流分を取り出すことにより特徴量を生成する。また、本発明の画像検索装置及び方法は、画像データからフレームの全部または一部に相当するデータを取り出し、取り出された各フレームに相当するデータから縮小画像を生成する。生成された縮小画像の周波数解析を行い、解析の結果得られる直流分および一部交流分を取り出し、取り出しを全選択フレームについて実行する。
【０１０１】
本発明の画像検索装置及び方法は相関算出過程で類似映像候補になりえないと判断した時点で候補から取り除くこともできる。よって、指定動画像区間全体に対して総当たりでマッチングを行う場合に比べ、検索結果となる候補を少ないマッチング回数で絞ることができ、処理量を大幅に減らすことが可能となる。このため、動画像の検索を行うための処理時間が短縮できる。
【０１０２】
また、一部のフレームの縮小画像に対して周波数解析を行うことによって得られる係数のみを用いている。このため、必要な記憶容量が少ない画像特徴量を生成できる。
【０１０３】
本発明は、コマーシャル映像、ニュースの特定記事、番組のオープニング等、特定の映像の放送回数の調査、放送情報の統計、傾向分析等に広く適用が可能である。
【０１０４】
本発明は、蓄積された画像の中から参照する動画像と色、周波数分布の類似した一部分を検索する類似映像検索等への適用が可能である。
【図面の簡単な説明】
【図１】本発明の画像特徴量生成装置および方法が適用される実施形態の構成例を示すブロック図である。
【図２】本発明の画像特徴量生成装置および方法が適用される実施形態の構成例を示すブロック図である。
【図３】本発明の画像特徴量生成装置および方法が適用される実施形態の構成例を示すブロック図である。
【図４】本発明の画像特徴量生成装置および方法が適用される実施形態の構成例を示すブロック図である。
【図５】本発明の画像特徴量生成装置および方法が適用される実施形態の構成例を示すブロック図である。
【図６】本発明の画像検索装置および方法が適用される実施形態の構成例を示すブロック図である。
【図７】本発明の画像検索装置および方法が適用される実施形態の構成例を示すブロック図である。
【図８】画像検索方法の処理手順例を示すフローチャートである。
【図９】本発明の画像検索装置および方法が適用される実施形態の構成例を示すブロック図である。
【符号の説明】
１動画像データ
２特徴量生成部
３特徴量付き動画像データベース記憶部
４相関測定部
５特徴量付き動画像データベース記憶部
６特徴量付き静止画像データベース記憶部
７画像データ
１０画像特徴量生成部
１１静止画像データ
１２縮小画像
１３周波数成分
１４直流成分および一部交流成分
１５特徴量
１６動画像データ識別子
１７検索対象動画像特徴量
１８検索された部分動画像の格納位置情報
１９検索された静止画像の格納位置情報
２１特徴量抽出対象フレーム選定手段
２２静止画像特徴量抽出部
２３特徴量生成手段
３１動画像データ記憶部
３２動画像特徴量記憶部
４１静止画像相関測定部
５１画像データ記憶部
５２動画像特徴量記憶部
６１静止画像データ記憶部
６２静止画像特徴量記憶部
１００画像データ判定部
２２１縮小画像生成手段
２２２周波数解析手段
２２３直流成分および一部交流成分抽出手段

Claims

画像データから生成される縮小画像サイズ全体に対する周波数解析により得られる周波数成分を算出して、当該算出した周波数成分から直流成分と一部の交流成分とを抽出して、当該抽出した直流成分と一部の交流成分とを用いて生成された前記画像データの特徴量を用いて、当該画像データの特徴量間の相関値を計算することにより類似する画像データを検索することを特徴とする画像検索装置。
画像データから生成される縮小画像サイズ全体に対する周波数解析により得られる周波数成分を算出して、当該算出した周波数成分から直流成分と一部の交流成分とを抽出して、当該抽出した直流成分と一部の交流成分とを用いて生成された前記画像データの特徴量を前記画像データと共に記憶する特徴量つき画像記憶部と、
入力画像データから生成される縮小画像サイズ全体に対する周波数解析により得られる周波数成分を算出して、当該算出した周波数成分から直流成分と一部の交流成分とを抽出して、当該抽出した直流成分と一部の交流成分とを用いて生成された前記入力画像データの特徴量を入力し、当該入力画像データの特徴量と前記特徴量つき画像記憶部に記憶された前記画像データの特徴量との相関値を算出する画像相関測定部と、
を備えることを特徴とする画像検索装置。
画像データから生成される縮小画像サイズ全体に対する周波数解析により得られる周波数成分を算出する周波数解析手段と、
当該算出した周波数成分から直流成分と一部の交流成分とを抽出する直流成分および一部交流成分抽出手段と、
を備えることを特徴とする請求項２に記載の画像検索装置。
画像データから縮小画像を生成する縮小画像生成手段を備えることを特徴とする請求項２または３に記載の画像検索装置。
入力画像データから生成される縮小画像サイズ全体に対する周波数解析により得られる周波数成分を算出する周波数解析手段と、
当該算出した周波数成分から直流成分と一部の交流成分とを抽出して、当該当該抽出した直流成分と一部の交流成分とを用いて前記入力画像データの特徴量を生成する直流成分および一部交流成分抽出手段と、
画像データから生成される縮小画像サイズ全体に対する周波数解析により得られる算出周波数成分を算出して、当該算出周波数成分から直流成分と一部の交流成分とを抽出して、当該抽出した直流成分と一部の交流成分とを用いて生成された前記画像データの特徴量を前記画像データと共に記憶する特徴量つき画像記憶部に記憶された前記画像データの特徴量と前記入力画像データの特徴量との相関値を算出する画像相関測定部と、
を備えることを特徴とする画像検索装置。
第１の画像データを代表する色情報の集合を用いて生成される第２の画像データサイズ全体に対する周波数解析により得られる周波数成分を算出して、当該算出した前記周波数成分から直流成分と一部の交流成分とを抽出して、当該抽出した直流成分と一部の交流成分とを用いて生成された前記第１の画像データの特徴量を前記第１の画像データと共に記憶する特徴量つき画像記憶部と、
入力画像データを代表する色情報の集合を用いて生成される第３の画像データサイズ全体に対する周波数解析により得られる周波数成分を算出して、当該算出した前記周波数成分から直流成分と一部の交流成分とを抽出して、当該抽出した直流成分と一部の交流成分とを用いて生成された前記入力画像データの特徴量を入力し、当該入力画像データの特徴量と前記特徴量つき画像記憶部に記憶された前記第１の画像データの特徴量との相関値を算出する画像相関測定部と、
を備えることを特徴とする画像検索装置。
前記入力画像データを代表する色情報の集合を用いて生成される前記第３の画像データサイズ全体に対する周波数解析により得られる周波数成分を算出する周波数解析手段と、
当該算出した周波数成分から直流成分と一部の交流成分とを抽出し、当該抽出した直流成分と一部の交流成分とを用いて前記入力画像データの特徴量を生成する直流成分および一部交流成分抽出手段と、
を備えることを特徴とする請求項６に記載の画像検索装置。
前記入力画像データをブロックに分割し、当該分割した各ブロックから各ブロックを代表する色情報を取り出し、当該取り出した代表する色情報を用いて前記第３の画像データを生成する縮小画像生成手段を備えることを特徴とする請求項６または７に記載の画像検索装置。
入力画像データを代表する色情報の集合を用いて生成される第１の画像データサイズ全体に対する周波数解析により得られる周波数成分を算出する周波数解析手段と、
当該算出した周波数成分から直流成分と一部の交流成分とを抽出して、当該当該抽出した直流成分と一部の交流成分とを用いて前記入力画像データの特徴量を生成する直流成分および一部交流成分抽出手段と、
第２の画像データを代表する色情報の集合を用いて生成される第３の画像データサイズ全体に対する周波数解析により得られる周波数成分を算出して、当該算出周波数成分から直流成分と一部の交流成分とを抽出して、当該抽出した直流成分と一部の交流成分とを用いて生成された前記第２の画像データの特徴量を前記第２画像データと共に記憶する特徴量つき画像記憶部に記憶された前記第２の画像データの特徴量と前記入力画像データの特徴量との相関値を算出する画像相関測定部と、
を備えることを特徴とする画像検索装置。
前記直流成分および一部交流成分抽出手段が、輝度成分の係数の一部または色差成分の係数の一部のいずれか一方または双方を抽出し、
当該抽出した輝度成分の係数の一部または色差成分の係数の一部のいずれか一方または双方を用いて前記画像データの特徴量を生成することを特徴とする請求項３、５、７または９に記載の画像検索装置。
前記第２の画像データ及び前記第３の画像データが、８×８の固定サイズの画像データであることを特徴とする請求項６〜８に記載の画像検索装置。
前記第１の画像データ及び前記第２の画像データが、８×８の固定サイズの画像データであることを特徴とする請求項９に記載の画像検索装置。
画像データを第１の８×８の固定サイズの画像データに変換し、当該変換した第１の８×８の固定サイズの画像データ全体に対する周波数解析により得られる周波数成分を算出して、当該算出した周波数成分から輝度成分の直流成分と色差成分の直流成分と交流成分の一部とを抽出することにより生成された前記画像データの特徴量を前記画像データと共に記憶する特徴量つき画像記憶部と、
入力画像データを第２の８×８の固定サイズの画像データに変換し、当該変換した第２の８×８の固定サイズの入力画像データ全体に対する周波数解析により得られる、輝度成分の直流成分と色差成分の直流成分と交流成分の一部とを抽出することにより生成された前記入力画像データの特徴量を入力し、当該入力画像データの特徴量と前記特徴量つき画像記憶部に記憶された前記画像データの特徴量との相関値を算出する画像相関測定部と、
を備えることを特徴とする画像検索装置。
入力される画像データが静止画像であるか動画像であるかを判定する画像データ判定手段と、前記画像データ判定手段により静止画像であると判定された画像データから縮小画像を生成する縮小画像生成手段と、生成された前記縮小画像サイズ全体に対する周波数解析を行う周波数解析手段と、解析の結果得られる直流成分および一部交流成分を静止画像特徴量として取り出す直流成分および一部交流成分抽出手段とを有する静止画像特徴量算出手段と、
前記画像データ判定手段により動画像であると判定された画像データから全部または一部のフレームに相当するデータを取り出し処理対象に選定する特徴量抽出対象フレーム選定手段と、取り出されたフレームそれぞれのデータから縮小画像を生成する縮小画像生成手段と、生成された前記縮小画像サイズ全体に対する周波数解析を行う周波数解析手段と、解析の結果得られる直流成分および一部交流成分を画像特徴量として取り出す直流成分および一部交流成分抽出手段と、前記直流成分および一部交流成分抽出手段から出力されるフレーム特徴量を集めて動画像特徴量を生成する動画像特徴量生成手段とを有する動画像特徴量算出手段と、
静止画像データに対して前記静止画像特徴量算出手段により予め算出された静止画像特徴量と、動画像データに対して前記動画像特徴量算出手段により予め算出された動画像特徴量とを記憶した画像特徴量記憶手段と、前記静止画像データ及び前記動画像データを記憶する画像データ記憶手段とからなる画像データベースと、
入力された静止画像データにより前記静止画像特徴量算出手段にて算出された静止画像特徴量と、前記画像データベースに含まれる画像特徴量との相関値を計算する静止画像特徴量相関測定手段と、
入力された動画像データにより前記動画像特徴量算出手段にて算出された動画像特徴量と、前記画像データベースに含まれる画像特徴量との相関値を計算する動画像特徴量相関測定手段とを有し、
前記静止画像特徴量相関測定手段は、相関値の高い画像データベース中の静止画像を類似する静止画像の候補として検出し、前記動画像特徴量相関測定手段は、相関値の高い画像データベース中の動画像区間を類似する動画像区間の候補として検出することを特徴とする画像検索装置。
前記動画像特徴量相関測定手段は、
前記入力した動画像データに対して前記動画像特徴量算出手段により算出された動画像特徴量を分割し、前記画像データベースに含まれる動画像の動画像特徴量の一部と、分割した各動画像特徴量との部分的相関値を順次算出し、前記部分的相関値が予め定められた閾値よりも低い時に、その特徴量を持つ前記画像データベースに含まれる動画像区間を類似する動画像の候補から取り除くことを特徴とする請求項１４に記載の画像検索装置。
前記動画像特徴量相関測定手段は、
前記入力した動画像データに対して前記動画像特徴量算出手段により算出された動画像特徴量を分割し、前記画像データベースに含まれる動画像の動画像特徴量の一部と、分割した部分動画像特徴量との部分的相関値を順次算出し、前記部分的相関値が予め定められた閾値よりも低い前記部分動画像特徴量の数が予め定められた閾値以上となった時点で類似する動画像の候補から取り除くことを特徴とする請求項１４または１５に記載の画像検索装置。
所定の画像データを検索する装置が行う画像検索方法であって、
画像データから生成される縮小画像サイズ全体に対する周波数解析により得られる周波数成分を算出して、当該算出した周波数成分から直流成分と一部の交流成分とを抽出して、当該抽出した直流成分と一部の交流成分とを用いて生成された前記画像データの特徴量を用いて、当該画像データの特徴量間の相関値を計算することにより類似する画像データを検索することを特徴とする画像検索方法。
所定の画像データを検索する装置が行う画像検索方法であって、
画像データから生成される縮小画像サイズ全体に対する周波数解析により得られる周波数成分を算出して、当該算出した周波数成分から直流成分と一部の交流成分とを抽出して、当該抽出した直流成分と一部の交流成分とを用いて生成された前記画像データの特徴量を前記画像データと共に特徴量つき画像記憶部に記憶するステップと、
入力画像データから生成される縮小画像サイズ全体に対する周波数解析により得られる周波数成分を算出して、当該算出した周波数成分から直流成分と一部の交流成分とを抽出して、当該抽出した直流成分と一部の交流成分とを用いて生成された前記入力画像データの特徴量を入力し、当該入力画像データの特徴量と前記特徴量つき画像記憶部に記憶された前記画像データの特徴量との相関値を算出する画像相関測定ステップと、
を備えることを特徴とする画像検索方法。
画像データから生成される縮小画像サイズ全体に対する周波数解析により得られる周波数成分を算出する周波数解析ステップと、
当該算出した周波数成分から直流成分と一部の交流成分とを抽出する直流成分および一部交流成分抽出ステップと、
を備えることを特徴とする請求項１８に記載の画像検索方法。
画像データから縮小画像を生成する縮小画像生成ステップを備えることを特徴とする請求項１８または１９に記載の画像検索方法。
所定の画像データを検索する装置が行う画像検索方法であって、
入力画像データから生成される縮小画像サイズ全体に対する周波数解析により得られる周波数成分を算出する周波数解析ステップと、
当該算出した周波数成分から直流成分と一部の交流成分とを抽出して、当該当該抽出した直流成分と一部の交流成分とを用いて前記入力画像データの特徴量を生成する直流成分および一部交流成分抽出ステップと、
画像データから生成される縮小画像サイズ全体に対する周波数解析により得られる算出周波数成分を算出して、当該算出周波数成分から直流成分と一部の交流成分とを抽出して、当該抽出した直流成分と一部の交流成分とを用いて生成された前記画像データの特徴量を前記画像データと共に記憶する特徴量つき画像記憶部に記憶された前記画像データの特徴量と前記入力画像データの特徴量との相関値を算出する画像相関測定ステップと、
を備えることを特徴とする画像検索方法。
第１の画像データを代表する色情報の集合を用いて生成される第２の画像データサイズ全体に対する周波数解析により得られる周波数成分を算出して、当該算出した前記周波数成分から直流成分と一部の交流成分とを抽出して、当該抽出した直流成分と一部の交流成分とを用いて生成された前記第１の画像データの特徴量を前記第１の画像データと共に特徴量つき画像記憶部に記憶するステップと、
入力画像データを代表する色情報の集合を用いて生成される第３の画像データサイズ全体に対する周波数解析により得られる周波数成分を算出して、当該算出した前記周波数成分から直流成分と一部の交流成分とを抽出して、当該抽出した直流成分と一部の交流成分とを用いて生成された前記入力画像データの特徴量を入力し、当該入力画像データの特徴量と前記特徴量つき画像記憶部に記憶された前記第１の画像データの特徴量との相関値を算出する画像相関測定ステップと、
を備えることを特徴とする画像検索方法。
前記入力画像データを代表する色情報の集合を用いて生成される前記第３の画像データサイズ全体に対する周波数解析により得られる周波数成分を算出する周波数解析ステップと、
当該算出した周波数成分から直流成分と一部の交流成分とを抽出し、当該抽出した直流成分と一部の交流成分とを用いて前記入力画像データの特徴量を生成する直流成分および一部交流成分抽出ステップと、
を備えることを特徴とする請求項２２に記載の画像検索方法。
前記入力画像データをブロックに分割し、当該分割した各ブロックから各ブロックを代表する色情報を取り出し、当該取り出した代表する色情報を用いて前記第３の画像データを生成する縮小画像生成ステップを備えることを特徴とする請求項２２または２３に記載の画像検索方法。
入力画像データを代表する色情報の集合を用いて生成される第１の画像データサイズ全体に対する周波数解析により得られる周波数成分を算出する周波数解析ステップと、
当該算出した周波数成分から直流成分と一部の交流成分とを抽出して、当該当該抽出した直流成分と一部の交流成分とを用いて前記入力画像データの特徴量を生成する直流成分および一部交流成分抽出ステップと、
第２の画像データを代表する色情報の集合を用いて生成される第３の画像データサイズ全体に対する周波数解析により得られる周波数成分を算出して、当該算出周波数成分から直流成分と一部の交流成分とを抽出して、当該抽出した直流成分と一部の交流成分とを用いて生成された前記第２の画像データの特徴量を前記第２画像データと共に記憶する特徴量つき画像記憶部に記憶された前記第２の画像データの特徴量と前記入力画像データの特徴量との相関値を算出する画像相関測定ステップと、
を備えることを特徴とする画像検索方法。
前記直流成分および一部交流成分抽出ステップにおいて、輝度成分の係数の一部または色差成分の係数の一部のいずれか一方または双方を抽出し、
当該抽出した輝度成分の係数の一部または色差成分の係数の一部のいずれか一方または双方を用いて前記画像データの特徴量を生成することを特徴とする請求項１９、２１、２３または２５に記載の画像検索方法。
前記第２の画像データ及び前記第３の画像データが、８×８の固定サイズの画像データであることを特徴とする請求項２２〜２４に記載の画像検索方法。
前記第１の画像データ及び前記第２の画像データが、８×８の固定サイズの画像データであることを特徴とする請求項２５に記載の画像検索方法。
画像データを第１の８×８の固定サイズの画像データに変換し、当該変換した第１の８×８の固定サイズの画像データサイズ全体に対する周波数解析により得られる周波数成分を算出して、当該算出した周波数成分から輝度成分の直流成分と色差成分の直流成分と交流成分の一部とを抽出することにより生成された前記画像データの特徴量を前記画像データと共に特徴量つき画像記憶部に記憶するステップと、
入力画像データを第２の８×８の固定サイズの画像データに変換し、当該変換した第２の８×８の固定サイズの入力画像データデータサイズ全体に対する周波数解析により得られる、輝度成分の直流成分と色差成分の直流成分と交流成分の一部とを抽出することにより生成された前記入力画像データの特徴量を入力し、当該入力画像データの特徴量と前記特徴量つき画像記憶部に記憶された前記画像データの特徴量との相関値を算出する画像相関測定ステップと、
を備えることを特徴とする画像検索方法。