JP4343120B2 - 画像検索装置及び方法、並びにプログラム及びプログラム記録媒体 - Google Patents

画像検索装置及び方法、並びにプログラム及びプログラム記録媒体 Download PDF

Info

Publication number
JP4343120B2
JP4343120B2 JP2005014750A JP2005014750A JP4343120B2 JP 4343120 B2 JP4343120 B2 JP 4343120B2 JP 2005014750 A JP2005014750 A JP 2005014750A JP 2005014750 A JP2005014750 A JP 2005014750A JP 4343120 B2 JP4343120 B2 JP 4343120B2
Authority
JP
Japan
Prior art keywords
frame
matching
coefficient
specific frame
specific
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005014750A
Other languages
English (en)
Other versions
JP2006202145A (ja
Inventor
隆浩 福原
仁志 貴家
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2005014750A priority Critical patent/JP4343120B2/ja
Priority to US11/335,307 priority patent/US7949042B2/en
Priority to CNB2006100020640A priority patent/CN100433049C/zh
Priority to KR20060006132A priority patent/KR20060085195A/ko
Publication of JP2006202145A publication Critical patent/JP2006202145A/ja
Application granted granted Critical
Publication of JP4343120B2 publication Critical patent/JP4343120B2/ja
Priority to US13/081,552 priority patent/US8467442B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/41—Bandwidth or redundancy reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Description

本発明は、複数のフレームを圧縮符号化した符号化コードストリームの中から特定のフレームと略々一致するフレームを検索する画像検索装置及び方法、並びにプログラム及びプログラム記録媒体に関する。
従来から、例えば映像コンテンツの検索、或いはネットワークコンテンツの管理等の目的のために、特定フレームの画像を検索クエリとして、未知の映像コンテンツの中から特定フレームと略々一致するフレームを検索する技術が必要とされている。例えば下記特許文献１には、映像コンテンツから短時間フレーム毎に特徴量を抽出して特徴ベクトルを構成し、その特徴ベクトルと参照画像の特徴ベクトルとを比較することにより、映像コンテンツの中から特定フレームと略々一致するフレームを検索する技術が提案されている。
特開２００４−４５５６５号公報
ところで、近年、デジタルカメラやカムコーダといった商品の普及に伴い画像のデジタル化が急速に進んでおり、映画やテレビジョン番組等の長時間に亘る映像コンテンツであっても、ＪＰＥＧ（Joint Photographic Experts Group）、ＭＰＥＧ（Moving Picture Experts Group）、或いはＪＰＥＧ２０００といった画像圧縮方式に従って圧縮符号化することにより、ハードディスク等に容易に記録することができる。
そこで、今後は、圧縮符号化された映像コンテンツの中から特定フレームと略々一致するフレームを検索するニーズが一層高まることが予想されるが、特許文献１等の従来の技術では、検索前に符号化コードストリームを復号する必要があるため、処理全体の演算量が多くなるという問題があった。
本発明は、このような従来の実情に鑑みて提案されたものであり、元の画像に復号することなく、符号化コードストリームから特定フレームと略々一致するフレームを検索することが可能な画像検索装置及び方法、並びにプログラム及びプログラム記録媒体を提供することを目的とする。
上述した目的を達成するために、本発明に係る画像検索装置は、複数のフレームを圧縮符号化した検索対象となる符号化コードストリームの中から特定フレームと略々一致するフレームを検索する画像検索装置であって、上記検索対象となる符号化コードストリームを復号してフレーム毎の量子化係数を生成する復号手段と、上記復号手段によって生成されたフレーム毎の量子化係数を逆量子化してフレーム毎の変換係数を生成する逆量子化手段と、上記逆量子化手段によって生成されたフレーム毎の変換係数と上記特定フレームの変換係数とのうち、同一サンプル位置の変換係数同士で正負のマッチングを行うマッチング手段と、上記マッチングの結果に基づいて、上記特定フレームと略々一致するか否かをフレーム毎に判定する判定手段とを備える。
また、この画像検索装置において、上記判定手段は、正負が一致しない量子化係数が現れる毎にカウンタのカウント値を増加させ、フレームの全ての量子化係数のマッチングが終了した時点でカウント値が所定の閾値以下である場合に、当該フレームが上記特定フレームと略々一致するものと判定する。
また、上述した目的を達成するために、本発明に係る画像検索方法は、コンピュータが、複数のフレームを圧縮符号化した検索対象となる符号化コードストリームの中から特定フレームと略々一致するフレームを検索する画像検索方法であって、コンピュータに、上記検索対象となる符号化コードストリームを復号してフレーム毎の量子化係数を生成する復号工程と、上記復号工程にて生成されたフレーム毎の量子化係数を逆量子化してフレーム毎の変換係数を生成する逆量子化工程と、上記逆量子化工程にて生成されたフレーム毎の変換係数と上記特定フレームの変換係数とのうち、同一サンプル位置の変換係数同士で正負のマッチングを行うマッチング工程と、上記マッチングの結果に基づいて、上記特定フレームと略々一致するか否かをフレーム毎に判定する判定工程とを実行させる。
また、この画像検索方法において、上記判定工程では、正負が一致しない量子化係数が現れる毎にカウンタのカウント値を増加させ、フレームの全ての量子化係数のマッチングが終了した時点でカウント値が所定の閾値以下である場合に、当該フレームが上記特定フレームと略々一致するものと判定する。
また、上述した目的を達成するために、本発明に係る画像検索装置は、複数のフレームを圧縮符号化した検索対象となる符号化コードストリームの中から特定フレームと略々一致するフレームを検索する画像検索装置であって、上記検索対象となる符号化コードストリームを生成する際に算出されたフレーム毎の量子化係数と、上記特定フレームの量子化係数とを取得する取得手段と、上記取得手段によって取得されたフレーム毎の量子化係数と上記特定フレームの量子化係数とを逆量子化してフレーム毎の変換係数と上記特定フレームの変換係数とを生成する逆量子化手段と、上記逆量子化手段によって生成されたフレーム毎の変換係数と上記特定フレームの変換係数とのうち、同一サンプル位置の変換係数同士で正負のマッチングを行うマッチング手段と、上記マッチングの結果に基づいて、上記特定フレームと略々一致するか否かをフレーム毎に判定する判定手段とを備える。
また、上述した目的を達成するために、本発明に係る画像検索方法は、コンピュータが、複数のフレームを圧縮符号化した検索対象となる符号化コードストリームの中から特定フレームと略々一致するフレームを検索する画像検索方法であって、コンピュータに、上記検索対象となる符号化コードストリームを生成する際に算出されたフレーム毎の量子化係数と、上記特定フレームの量子化係数とを取得する取得工程と、上記取得工程にて取得されたフレーム毎の量子化係数と上記特定フレームの量子化係数とを逆量子化してフレーム毎の変換係数と上記特定フレームの変換係数とを生成する逆量子化工程と、上記逆量子化工程にて生成されたフレーム毎の変換係数と上記特定フレームの変換係数とのうち、同一サンプル位置の変換係数同士で正負のマッチングを行うマッチング工程と、上記マッチングの結果に基づいて、上記特定フレームと略々一致するか否かをフレーム毎に判定する判定工程とを実行させる。
また、上述した目的を達成するために、本発明に係る画像検索装置は、複数のフレームを圧縮符号化した検索対象となる符号化コードストリームの中から特定フレームと略々一致するフレームを検索する画像検索装置であって、上記特定フレームを符号化する際に算出された該特定フレームの量子化係数を該特定フレームと共に記録媒体に記録する第１の記録手段と、上記検索対象となる符号化コードストリームを生成する際に算出されたフレーム毎の量子化係数を上記検索対象となる符号化コードストリームと共に上記記録媒体に記録する第２の記録手段と、上記フレーム毎の量子化係数と上記特定フレームの量子化係数とを上記記録媒体から取得する取得手段と、上記取得手段によって取得されたフレーム毎の量子化係数と上記特定フレームの量子化係数とを逆量子化してフレーム毎の変換係数と上記特定フレームの変換係数とを生成する逆量子化手段と、上記逆量子化手段によって生成されたフレーム毎の変換係数と上記特定フレームの変換係数とのうち、同一サンプル位置の変換係数同士で正負のマッチングを行うマッチング手段と、上記マッチングの結果に基づいて、上記特定フレームと略々一致するか否かをフレーム毎に判定する判定手段と、上記判定手段によって上記特定フレームと略々一致すると判定されたフレームを復号する復号手段と、上記復号手段によって復号されたフレームの画像を表示手段に出力する出力手段とを備える。
また、上述した目的を達成するために、本発明に係る画像検索方法は、コンピュータが、複数のフレームを圧縮符号化した検索対象となる符号化コードストリームの中から特定フレームと略々一致するフレームを検索する画像検索方法であって、コンピュータに、上記特定フレームを符号化する際に算出された該特定フレームの量子化係数を該特定フレームと共に記録媒体に記録する第１の記録工程と、上記検索対象となる符号化コードストリームを生成する際に算出されたフレーム毎の量子化係数を上記検索対象となる符号化コードストリームと共に上記記録媒体に記録する第２の記録工程と、上記フレーム毎の量子化係数と上記特定フレームの量子化係数とを上記記録媒体から取得する取得工程と、上記取得工程にて取得されたフレーム毎の量子化係数と上記特定フレームの量子化係数とを逆量子化してフレーム毎の変換係数と上記特定フレームの変換係数とを生成する逆量子化工程と、上記逆量子化工程にて生成されたフレーム毎の変換係数と上記特定フレームの変換係数とのうち、同一サンプル位置の変換係数同士で正負のマッチングを行うマッチング工程と、上記マッチングの結果に基づいて、上記特定フレームと略々一致するか否かをフレーム毎に判定する判定工程と、上記判定工程にて上記特定フレームと略々一致すると判定されたフレームを復号する復号工程と、上記復号工程にて復号されたフレームの画像を表示手段に出力する出力工程とを実行させる。
また、本発明に係るプログラムは、上述した画像検索処理をコンピュータに実行させるものであり、本発明に係るプログラム記録媒体は、そのようなプログラムが記録されたコンピュータ読み取り可能なものである。
本発明に係る画像検索装置及び方法、並びにプログラム及びプログラム記録媒体によれば、複数のフレームを圧縮符号化した検索対象となる符号化コードストリームの中から特定フレームと略々一致するフレームを検索する際に、フレーム毎に同一サンプル位置の量子化係数同士又は変換係数同士でマッチングを行い、その結果に基づいて、特定フレームと略々一致するか否かをフレーム毎に判定するため、元の画像に復号してから検索する場合と比較して処理全体の演算量を大幅に低減することができる。特に、マッチングの際に量子化係数又は変換係数の正負のみを比較し、絶対値を考慮しないため、検索対象となる符号化コードストリームの圧縮率によらず対応可能である。
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
（第１の実施の形態）
先ず、第１の実施の形態における画像検索装置の概略構成を図１に示す。図１に示すように、第１の実施の形態における画像検索装置１は、エントロピー復号部１０，１１と、マッチング部１２と、判定部１３とから構成されている。
この画像検索装置１において、エントロピー復号部１０は、検索クエリとしての特定フレームの符号化コードストリームＤ１００を所定のアルゴリズムに従ってエントロピー復号し、特定フレームの量子化係数Ｄ１０１をマッチング部１２に供給する。一方、エントロピー復号部１１は、複数のフレーム画像を圧縮符号化した符号化コードストリーム（フレーム毎の符号化コードストリームの集合）のうち、検索対象となるフレームの符号化コードストリームＤ１０２を所定のアルゴリズムに従ってエントロピー復号し、検索対象フレームの量子化係数Ｄ１０３をマッチング部１２に供給する。なお、特定フレームの量子化係数Ｄ１０１が既に得られている場合には、エントロピー復号部１０の処理を省略することができる。
マッチング部１２は、特定フレームの量子化係数１０１と検索対象フレームの量子化係数Ｄ１０３とのうち、同一サンプル位置の量子化係数同士で正負のマッチングを行い、マッチング結果Ｄ１０４を判定部１３に供給する。縦横４サンプル、計１６個のサンプルがあった場合のマッチングの一例を図２に示す。図２において、ａ，ｄは絶対値が異なるものの正負は一致している。
判定部１３は、マッチング部１２から供給されたマッチング結果Ｄ１０４に基づき、検索対象フレームが特定フレームと略々一致するか否かを判定する。具体的には、正負が一致しなかったサンプルが現れる毎にカウンタのカウント値を１増やし、全てのサンプルのマッチングが終了した時点でカウント値が０であった場合、すなわち全てのサンプルで量子化係数の正負が一致した場合には、検索対象フレームが特定フレームと略々一致するものと判定し、判定結果Ｄ１０５を出力する。
この画像検索装置１の処理手順を図３のフローチャートに示す。先ずステップＳ１において、特定フレームの符号化コードストリームＤ１００及び検索対象フレームの符号化コードストリームＤ１０２をエントロピー復号し、特定フレームの量子化係数Ｄ１０１と検索対象フレームの量子化係数Ｄ１０３とを生成する。
次にステップＳ２において、特定フレームの量子化係数１０１と検索対象フレームの量子化係数Ｄ１０３とのうち、同一サンプル位置の量子化係数同士で正負のマッチングを行い、正負が一致しているか否かを判別する。正負が一致している場合にはステップＳ４に進み、正負が一致していない場合には、ステップＳ３でカウンタのカウント値を１増やした後、ステップＳ４に進む。なお、例えば図２のｂ，ｃのように、量子化係数の何れか一方でも０である場合には、マッチングをスキップすることが好ましい。
続いてステップＳ４において、全てのサンプルについてマッチングが終了したか否かを判別する。終了していない場合にはステップＳ５で次のサンプルに移った後、ステップＳ２に戻り、終了している場合にはステップＳ６に進む。
ステップＳ６では、カウント値が０であるか否かを判別する。カウント値が０でない場合には検索対象フレームが特定フレームと一致しないものと判定し、ステップＳ７において次の検索対象フレームの符号化コードストリームを入力し、ステップＳ８においてカウント値を０にリセットした後、ステップＳ１から同様の処理を行う。一方、カウント値が０である場合には全てのサンプルで正負が一致しているため、ステップＳ９において検索対象フレームが特定フレームと略々一致するものと判定し、終了する。
なお、図３のフローチャートでは、全てのサンプルについてマッチングを行うものとしたが、処理時間の削減のため、カウント値が所定の閾値よりも大きくなった時点で一致しないと判定し、次の検索対象フレームに移るようにしても構わない。特に、上述のように、全てのサンプルのマッチングが終了した時点でカウント値が０であった場合にのみ、検索対象フレームが特定フレームと略々一致すると判定する場合には、カウント値が１になった時点で次の検索対象フレームに移ることで、処理時間を削減することができる。
また、上述の説明では、全てのサンプルのマッチングが終了した時点でカウント値が０であった場合にのみ、検索対象フレームが特定フレームと略々一致するものと判定したが、全てのサンプルのマッチングが終了した時点でカウント値が所定の閾値以下であった場合に、検索対象フレームが特定フレームと略々一致するものと判定しても構わない。この場合、複数の候補フレームが出現する可能性があるが、検出漏れを防止することができる。
以上のように、本実施の形態における画像検索装置１では、同一サンプル位置の量子化係数同士でマッチングを行うことにより特定フレーム画像と略々一致するフレーム画像を検索するため、元のフレーム画像に復号してから検索する場合と比較して処理全体の演算量を大幅に低減することができる。特に、マッチングの際に量子化係数の正負のみを比較し、絶対値を考慮しないため、特定フレームの符号化コードストリームＤ１００と検索対象フレームの符号化コードストリームＤ１０２との圧縮率が異なる場合であっても対応可能である。
（第２の実施の形態）
次に、第２の実施の形態として図４に示す画像検索装置２は、基本構造を図１に示した画像検索装置１と同様とするが、逆量子化部１４，１５を有し、同一サンプル位置の変換係数同士でマッチングを行う点に特徴を有している。したがって、先に図１に示した画像検索装置１と同様の構成については同一符号を付して詳細な説明を省略する。
この画像検索装置２において、逆量子化部１４は、特定フレームの量子化係数Ｄ１０１を逆量子化し、得られた特定フレームの変換係数Ｄ１０６をマッチング部１２に供給する。一方、逆量子化部１５は、検索対象フレームの量子化係数Ｄ１０３を逆量子化し、得られた検索対象フレームの変換係数Ｄ１０７をマッチング部１２に供給する。マッチング部１２は、特定フレームの変換係数Ｄ１０６と検索対象フレームの変換係数Ｄ１０７とのうち、同一サンプル位置の変換係数同士で正負のマッチングを行い、マッチング結果Ｄ１０４を判定部１３に供給する。なお、マッチング手法は、第１の実施の形態と同様である。判定部１３は、マッチング部１２から供給されたマッチング結果Ｄ１０４に基づき、検索対象フレームが特定フレームと略々一致するか否かを判定する。
このように、本実施の形態における画像検索装置２では、同一サンプル位置の変換係数同士でマッチングを行うことにより特定フレーム画像と略々一致するフレーム画像を検索するため、元のフレーム画像に復号してから検索する場合と比較して処理全体の演算量を大幅に低減することができる。特に、マッチングの際に変換係数の正負のみを比較し、絶対値を考慮しないため、特定フレームの符号化コードストリームＤ１００と検索対象フレームの符号化コードストリームＤ１０２との圧縮率が異なる場合であっても適用可能である。
なお、本実施の形態では逆量子化部１４，１５が必要であるため、処理全体の演算量が第１の実施の形態よりも多くなるが、特定フレームの変換係数Ｄ１０６が既に得られていた場合には、本実施の形態が有用である。
（第３の実施の形態）
上述した第１，第２の実施の形態では、判定部１３における判定結果を出力するものとして説明したが、本実施の形態では、特定フレームの画像と、この特定フレームと略々一致すると判定されたフレームの画像とを表示部に表示し、両者を目視により確認可能とする場合について説明する。なお、図５は同一サンプル位置の量子化係数同士でマッチングを行う場合の画像検索装置３の概略構成を示したものであり、図６は同一サンプル位置の変換係数同士でマッチングを行う場合の画像検索装置４の概略構成を示したものである。何れも、先に図１、図４に示した画像検索装置１，２と同様の構成については同一符号を付して詳細な説明を省略する。
先ず、画像検索装置３について説明する。
この画像検索装置３において、エントロピー復号部１０は、特定フレームの符号化コードストリームＤ１００を所定のアルゴリズムに従ってエントロピー復号し、特定フレームの量子化係数Ｄ１０１をマッチング部１２及び逆量子化部１６に供給する。一方、エントロピー復号部１１は、検索対象フレームの符号化コードストリームＤ１０２を所定のアルゴリズムに従ってエントロピー復号し、検索対象フレームの量子化係数Ｄ１０３をマッチング部１２及び逆量子化部１６に供給する。
マッチング部１２は、特定フレームの量子化係数Ｄ１０１と検索対象フレームの量子化係数Ｄ１０３とのうち、同一サンプル位置の量子化係数同士で正負のマッチングを行い、マッチング結果Ｄ１０４を判定部１３に供給する。判定部１３は、マッチング部１２から供給されたマッチング結果Ｄ１０４に基づき、検索対象フレームが特定フレームと略々一致するか否かを判定し、略々一致した場合、すなわち特定フレームの量子化係数Ｄ１０１と検索対象フレームの量子化係数Ｄ１０３との正負が全てのサンプルで一致した場合には、判定結果Ｄ１０５を逆量子化部１６に供給する。
逆量子化部１６は、特定フレームと略々一致するという判定結果Ｄ１０５が判定部１３から供給されると、特定フレームの量子化係数Ｄ１０１と検索対象フレームの量子化係数Ｄ１０３とを逆量子化し、得られた特定フレームの変換係数Ｄ１０６と検索対象フレームの変換係数Ｄ１０７とを逆変換部１７に供給する。逆変換部１７は、特定フレームの変換係数Ｄ１０６と検索対象フレームの変換係数Ｄ１０７とを逆変換し、得られた特定フレームの復号画像Ｄ１０８と検索対象フレームの復号画像Ｄ１０９とをそれぞれ表示部１８，１９に表示させる。
次に、画像検索装置４について説明する。
この画像検索装置４において、逆量子化部１４は、特定フレームの量子化係数Ｄ１０１を逆量子化し、得られた特定フレームの変換係数Ｄ１０６をマッチング部１２及び逆変換部１７に供給する。一方、逆量子化部１５は、検索対象フレームの量子化係数Ｄ１０３を逆量子化し、得られた検索対象フレームの変換係数Ｄ１０７をマッチング部１２及び逆変換部１７に供給する。
マッチング部１２は、特定フレームの変換係数Ｄ１０６と検索対象フレームの変換係数Ｄ１０７とのうち、同一サンプル位置の変換係数同士で正負のマッチングを行い、マッチング結果Ｄ１０４を判定部１３に供給する。判定部１３は、マッチング部１２から供給されたマッチング結果Ｄ１０４に基づき、検索対象フレームが特定フレームと略々一致するか否かを判定し、略々一致した場合、すなわち特定フレームの変換係数Ｄ１０６と検索対象フレームの変換係数Ｄ１０７との正負が全てのサンプルで一致した場合には、判定結果Ｄ１０５を逆変換部１７に供給する。逆変換部１７は、特定フレームの変換係数Ｄ１０６と検索対象フレームの変換係数Ｄ１０７とを逆変換し、得られた特定フレームの復号画像Ｄ１０８と検索対象フレームの復号画像Ｄ１０９とをそれぞれ表示部１８，１９に表示させる。
このように、本実施の形態における画像検索装置３，４では、特定フレーム画像と、この特定フレーム画像と略々一致すると判定されたフレーム画像とをそれぞれ表示部１８，１９に表示するため、一致しているか否かを実際に目視により確認することができる。
なお、以上の説明では、全てのサンプルのマッチングが終了した時点でカウント値が０である場合にのみ、略々一致すると判定されたフレーム画像を表示部１７に表示するものとしたが、カウント値が０であるフレームがなかった場合には、カウント値が最小のフレームを表示部１７に表示するようにしても構わない。
（第４の実施の形態）
上述した第１，第２の実施の形態では、特定フレームの符号化コードストリームＤ１００が既知であるものとして説明したが、本実施の形態では、特定フレームが原画でしか存在しない場合について説明する。
図７は、第１の実施の形態と同様に同一サンプル位置の量子化係数同士でマッチングを行う場合の画像検索装置５の概略構成を示したものである。この画像検索装置５において、変換部２０は、特定フレームの画像Ｄ１１０を所定のアルゴリズムに従って変換し、得られた変換係数Ｄ１１１を量子化部２１に供給する。量子化部２１は、特定フレームの変換係数Ｄ１１１を量子化し、得られた量子化係数Ｄ１１２をマッチング部１２に供給する。以降の処理は第１の実施の形態と同様であるため、説明を省略する。
一方、図８は、第２の実施の形態と同様に同一サンプル位置の変換係数同士でマッチングを行う場合の画像検索装置６の概略構成を示したものである。この画像検索装置６において、変換部２０は、特定フレーム画像Ｄ１１０を所定のアルゴリズムに従って変換し、得られた変換係数Ｄ１１１をマッチング部１２に供給する。以降の処理は第２の実施の形態と同様であるため、説明を省略する。
このように、本実施の形態における画像検索装置５，６によれば、特定フレームが原画でしか存在しない場合であっても、少ない演算量で特定フレーム画像と略々一致するフレーム画像を検索することができる。
（第５の実施の形態）
ところで、上述した第１乃至第４の実施の形態では、エントロピー復号部１０，１１、逆量子化部１４〜１６、逆変換部１７、変換部２０、量子化部２１の具体的なアルゴリズムについては言及しなかった。本実施の形態では、具体的に画像圧縮方式としてＪＰＥＧを用いる場合について説明する。ＪＰＥＧは、現在デジタルカメラやカムコーダの静止画圧縮に最も普及している画像圧縮方式である。
参考のため、ＪＰＥＧ方式に従って入力画像信号を符号化復号する画像符号化復号装置の概略構成を図９に示す。図９に示すように、画像符号化復号装置３０は、ＤＣＴ（Discrete Cosine Transform）部３１と、量子化部３２と、エントロピー符号化部３３と、エントロピー復号部３４と、逆量子化部３５と、逆ＤＣＴ部３６とから構成されている。
この画像符号化復号装置３０において、ＤＣＴ部３１は、入力画像信号Ｄ２００に対してＤＣＴ変換（離散コサイン変換）を施し、ＤＣＴ係数Ｄ２０１を生成する。量子化部３２は、マトリクス状の量子化テーブルを用いてＤＣＴ係数Ｄ２０１を量子化し、量子化係数Ｄ２０２を生成する。この量子化（及び後述する逆量子化）の様子を図１０に示す。ＪＰＥＧでは縦８画素、横８画素の８×８の単位でＤＣＴ変換を行うため、図１０のように８×８のＤＣＴ係数（Ａ）が求まる。その後、このＤＣＴ係数を図示しないＲＯＭ（Read Only Memory）等に記憶・保持されている量子化テーブル（Ｂ）で除算することで、量子化係数（Ｃ＝Ａ／Ｂ）が算出される。エントロピー符号化部３３は、量子化係数Ｄ２０２を符号化して符号化コードストリームＤ２０３を生成し、この符号化コードストリームＤ２０３を通信路・記録媒体に対して送出する。ここで、エントロピー符号化部３３では、可変長テーブルを参照して、出現した量子化係数のランとレベルに相当するコードを求める可変長符号化を行う。可変長テーブルは予め決められたものをメモリに記憶していることが一般的である。
エントロピー復号部３４は、通信路・記録媒体から送出された符号化コードストリームＤ２０３を復号して量子化係数Ｄ２０４を生成する。ここで、エントロピー復号部３４では、エントロピー符号化部３３の逆操作である可変長復号を行う。すなわち、可変長テーブルを参照して、出現コードに対応したランとレベルを求めて量子化係数Ｄ２０４を生成する。逆量子化部３５は、上述した量子化テーブルを用いて量子化係数Ｄ２０４を逆量子化し、変換係数Ｄ２０５を生成する。この逆量子化の様子を図１０に示す。図１０のように、量子化係数（Ｃ）と量子化テーブル（Ｂ）の各係数同士を乗算することで、逆量子化係数（Ｄ＝Ｃ×Ｂ）が算出される。逆ＤＣＴ部３６は、変換係数Ｄ２０５に対して逆ＤＣＴ変換を施し、復号画像信号Ｄ２０６を出力する。
画像圧縮方式としてＪＰＥＧを用いる場合、上述したエントロピー復号部１０，１１は、可変長テーブルを参照して出現コードに対応したランとレベルを求めるエントロピー復号部３４に相当する。また、逆量子化部１４〜１６及び量子化部２１は、それぞれ量子化テーブルを用いる逆量子化部３５、量子化部３２に相当する。また、逆変換部１７及び変換部２０は、それぞれ逆ＤＣＴ変換、ＤＣＴ変換を行う逆ＤＣＴ部３６、ＤＣＴ部３１に相当する。したがって、上述したマッチング部１２においては、同一サンプル位置の量子化係数同士、又はＤＣＴ係数同士でマッチングを行うことになる。
（第６の実施の形態）
上述した第５の実施の形態では、画像圧縮方式としてＪＰＥＧを用いる場合について説明したが、本実施の形態では、画像圧縮方式としてＪＰＥＧ２０００を用いる場合について説明する。ＪＰＥＧ２０００は、ＩＳＯ／ＩＥＣ／ＪＴＣ１の国際委員会で規格化された国際標準の静止画・動画圧縮方式であり、今後ＪＰＥＧに代わって益々普及が期待されている。
参考のため、ＪＰＥＧ２０００方式に従って入力画像信号を符号化復号する画像符号化復号装置の概略構成を図１１に示す。図１１に示すように、画像符号化復号装置４０は、ＤＷＴ（Discrete Wavelet Transform）部４１と、スカラ量子化部４２と、ＥＢＣＯＴ（Embedded Block-based Coding with Optimized Truncation）符号化部４３と、ＥＢＣＯＴ復号部４４と、スカラ逆量子化部４５と、逆ＤＷＴ部４６とから構成されている。
この画像符号化復号装置４０において、ＤＷＴ部４１は、入力画像信号Ｄ３００に対してＤＷＴ変換（離散ウェーブレット変換）を施し、ＤＷＴ係数Ｄ３０１を生成する。ここで、ＤＷＴ変換は、低域フィルタと高域フィルタとから構成されるフィルタバンクによって表現され、２次元信号を持つ画像をＤＷＴ変換すると、図１２に示すように、ＤＷＴ変換の分割段数に応じて帯域分割されたサブバンドが増えていく。図１２は、３回分割した例であり、ＬＬ−３（最低域成分）からＨＨ−１（最高域成分）まで合計１０個のサブバンドが形成されている。また、図１３（Ａ）はテスト画像を１回だけＤＷＴ変換した場合のサブバンドの様子を示したものであり、図１３（Ｂ）は、テスト画像を３回だけＤＷＴ変換した場合のサブバンドの様子を示したものである。
図１１に戻って、スカラ量子化部４２は、ＪＰＥＧ２０００で規定されているスカラ量子化という手法に従ってサブバンド毎のＤＷＴ係数Ｄ３０１を量子化し、サブバンド毎の量子化係数Ｄ３０２を生成する。ＥＢＣＯＴ符号化部４３は、ＪＰＥＧ２０００で規格化されているエントロピー符号化であるＥＢＣＯＴの手法に従って量子化係数Ｄ３０２を符号化して符号化コードストリームＤ３０３を生成し、この符号化コードストリームＤ３０３を通信路・記録媒体に対して送出する。より詳細には、ＥＢＣＯＴ符号化部４３は、図１４に示すようにサブバンドを所定サイズのコードブロックに分割する。コードブロックのサイズとしては３２×３２、又は６４×６４がよく用いられる。そして、コードブロック毎の量子化係数Ｄ３０２を２値（０又は１）の係数ビットの集合であるビットプレーンに展開し、ビットプレーン単位に係数ビットを符号化する。
ＥＢＣＯＴ復号部４４は、通信路・記録媒体から送出された符号化コードストリームＤ３０３をＪＰＥＧ２０００で規格化された手法に従って復号して量子化係数Ｄ３０４を生成する。スカラ逆量子化部４５は、量子化係数Ｄ３０４を逆量子化してＤＷＴ係数Ｄ３０５を生成し、逆ＤＷＴ部４６は、ＤＷＴ係数Ｄ３０５に対して逆ＤＷＴ変換を施し、復号画像信号Ｄ３０６を出力する。
画像圧縮方式としてＪＰＥＧ２０００を用いる場合、上述したエントロピー復号部１０，１１は、ＥＢＣＯＴ復号部４４に相当する。また、逆量子化部１４〜１６及び量子化部２１は、それぞれスカラ逆量子化部４５、スカラ量子化部４２に相当する。また、逆変換部１７及び変換部２０は、それぞれ逆ＤＷＴ変換、ＤＷＴ変換を行う逆ＤＷＴ部４６、ＤＷＴ部４１に相当する。したがって、上述したマッチング部１２においては、同一サンプル位置の量子化係数同士、又はＤＷＴ係数同士でマッチングを行うことになる。
（第７の実施の形態）
第６の実施の形態で説明したように、ＪＰＥＧ２０００ではＤＷＴ変換を用いて入力画像信号をサブバンドに帯域分割するため、各サブバンドには画像の特徴が反映されていることになる。例えば、最低域は画像のエネルギが最も集中している。したがって、量子化係数同士又はＤＷＴ係数同士のマッチングを、帯域分割されたサブバンド毎に行うことが効果的である。ＨＬ−１サブバンドの中の係数同士のマッチングを行っている例を図１５に示す。図１５において、ａ，ｄは絶対値が異なるものの正負は一致しており、ｂ，ｃは係数の何れか一方が０になっている。
ここで、低域のサブバンドの方が画像の類似度が現れやすいため、異なるフレーム画像の場合には正負の違いが低域のサブバンドに現れやすく、また、高域のサブバンドでは低域のサブバンドよりも遥かに多くの０係数が出現しているため、正負の判定ができない場合が多い。そこで、最低域のサブバンドから最高域のサブバンドという順序で、量子化係数同士又はＤＷＴ係数同士のマッチングを行うことが好ましい。例えば、ＤＷＴ変換を３回行っている場合には、図１６に示すように、最低域であるＬＬ−３のサブバンドから始め、ＬＬ−３、ＨＬ−３、ＬＨ−３、ＨＨ−３、ＨＬ−２、ＬＨ−２、ＨＨ−２、ＨＬ−１、ＬＨ−１、ＨＨ−１の順番にマッチングを行うことが好ましい。
なお、原画像が全て正の値を持っていた場合には、ＤＷＴ係数及び量子化係数の最低域成分は必ず全てが正になるため、この場合には、最低域成分のマッチングを除外して、次のサブバンドの係数同士のマッチングから開始すればよい。
サブバンド毎に量子化係数同士のマッチングを行う場合の画像検索装置の処理手順を図１７のフローチャートに示す。先ずステップＳ１１において、特定フレームの符号化コードストリーム及び検索対象フレームの符号化コードストリームをエントロピー復号し、特定フレームの量子化係数と検索対象フレームの量子化係数とを生成する。
次にステップＳ１２において、特定フレームの量子化係数と検索対象フレームの量子化係数とのうち、同一サンプル位置の量子化係数同士で正負のマッチングを行い、正負が一致しているか否かを判別する。正負が一致している場合にはステップＳ１４に進み、正負が一致していない場合には、ステップＳ１３でカウンタのカウント値を１増やした後、ステップＳ１４に進む。ステップＳ１４では、同一のサブバンド内の全てのサンプルについてマッチングが終了したか否かを判別する。終了していない場合にはステップＳ１５で次のサンプルに移った後、ステップＳ１２に戻り、終了している場合にはステップＳ１６に進む。
続いてステップＳ１６において、次のサブバンドがあるか否かを判別し、次のサブバンドがある場合には、ステップＳ１７で次のサブバンドに移った後、ステップＳ１２に戻る。一方、次のサブバンドがない場合にはステップＳ１８に進む。
ステップＳ１８では、カウント値が０であるか否かを判別する。カウント値が０でない場合には検索対象フレームが特定フレームと一致しないものと判定し、ステップＳ１９において次の検索対象フレームの符号化コードストリームを入力し、ステップＳ２０においてカウント値を０にリセットした後、ステップＳ１１から同様の処理を行う。一方、カウント値が０である場合には全てのサンプルで正負が一致しているため、ステップＳ２１において検索対象フレームが特定フレームと略々一致するものと判定し、終了する。
なお、図１７のフローチャートでは、全てのサンプルについてマッチングを行うものとしたが、処理時間の削減のため、カウント値が所定の閾値よりも大きくなった時点で一致しないと判定し、次の検索対象フレームに移るようにしても構わない。特に、全てのサンプルのマッチングが終了した時点でカウント値が０であった場合にのみ、検索対象フレームが特定フレームと略々一致すると判定する場合には、カウント値が１になった時点で次の検索対象フレームに移ることで、処理時間を削減することができる。
カウント値が１になった時点、すなわち正負が一致しない量子化係数が１つでも出現した時点で次の検索対象フレームに移る場合の画像検索装置の処理手順を図１８のフローチャートに示す。先ずステップＳ３１において、特定フレームの符号化コードストリーム及び検索対象フレームの符号化コードストリームをエントロピー復号し、特定フレームの量子化係数と検索対象フレームの量子化係数とを生成する。
次にステップＳ３２において、特定フレームの量子化係数と検索対象フレームの量子化係数とのうち、同一サンプル位置の量子化係数同士で正負のマッチングを行い、正負が一致しているか否かを判別する。正負が一致している場合にはステップＳ３４に進み、正負が一致していない場合には検索対象フレームが特定フレームと一致しないものと判定し、ステップＳ３３において次の検索対象フレームの符号化コードストリームを入力して、ステップＳ３１から同様の処理を行う。
続いてステップＳ３４において、同一のコードブロック内の全てのサンプルについてマッチングが終了したか否かを判別する。終了していない場合にはステップＳ３５で次のサンプルに移った後、ステップＳ３２に戻り、終了している場合にはステップＳ３６に進む。ステップＳ３６では、次のコードブロックがあるか否かを判別し、次のコードブロックがある場合には、ステップＳ３７で次のコードブロックに移った後、ステップＳ３２に戻る。一方、次のコードブロックがない場合には全てのサンプルで正負が一致しているため、ステップＳ３８において検索対象フレームが特定フレームと略々一致するものと判定し、終了する。
また、上述の説明では、全てのサンプルのマッチングが終了した時点でカウント値が０であった場合にのみ、検索対象フレームが特定フレームと略々一致するものと判定したが、全てのサンプルのマッチングが終了した時点でカウント値が所定の閾値以下であった場合に、検索対象フレームが特定フレームと略々一致するものと判定しても構わない。この場合、複数の候補フレームが出現する可能性があるが、検出漏れを防止することができる。
ところで、以上の説明は、正負が一致しない係数が出現しない限り、全てのサンプルについてマッチングを行うことを前提としていたが、処理時間の削減のため、所定のコードブロックまで、或いは所定のサブバンドまででマッチングを打ち切るようにしても構わない。
所定のコードブロックまでで量子化係数同士のマッチングを打ち切り、且つ、正負が一致しない量子化係数が１つでも出現した時点で次の検索対象フレームに移る場合の画像検索装置の処理手順を図１９のフローチャートに示す。先ずステップＳ４１において、特定フレームの符号化コードストリーム及び検索対象フレームの符号化コードストリームをエントロピー復号し、特定フレームの量子化係数と検索対象フレームの量子化係数とを生成する。
次にステップＳ４２において、特定フレームの量子化係数と検索対象フレームの量子化係数とのうち、同一サンプル位置の量子化係数同士で正負のマッチングを行い、正負が一致しているか否かを判別する。正負が一致している場合にはステップＳ４４に進み、正負が一致していない場合には検索対象フレームが特定フレームと一致しないものと判定し、ステップＳ４３において次の検索対象フレームの符号化コードストリームを入力して、ステップＳ４１から同様の処理を行う。
続いてステップＳ４４において、同一のコードブロック内の全てのサンプルについてマッチングが終了したか否かを判別する。終了していない場合にはステップＳ４５で次のサンプルに移った後、ステップＳ４２に戻り、終了している場合にはステップＳ４６に進む。ステップＳ４６では、所定のコードブロックに達したか否かを判別し、達していない場合には、ステップＳ４７で次のコードブロックに移った後、ステップＳ４２に戻る。一方、所定のコードブロックに達している場合には全てのサンプルで正負が一致しているため、ステップＳ４８において検索対象フレームが特定フレームと略々一致するものと判定し、終了する。
ここで、実際にＪＰＥＧ２０００方式で圧縮符号化された符号化コードストリームに対して、不一致が発見された最初のコードブロックを検証した結果を図２０に示す。図２０に示すように、全３００フレーム中、１個目のコードブロックで正負の不一致が発見されたものが２９２フレーム、４個目のコードブロックが３フレーム、９個目のコードブロックが５フレームという結果になっており、殆どのフレーム（９７．３％）において１個目のコードブロックで不一致が発見されている。したがって、このケースでは９個目のコードブロックでマッチングを打ち切っても結果的には問題なかったことになる。但し、種々の画像に対応させるためにはある程度の余裕を持たせる必要があるため、例えば全コードブロック数の１０％に相当する個数番目（今回のケースでは、１６８個×１０％≒１７個）までを、予めマッチングを行う対象コードブロックとすることが有効である。
（第８の実施の形態）
上述した第７の実施の形態では、全てのコードブロックに対してエントロピー復号を行った後、コードブロック内の量子化係数同士でマッチングを行うものとして説明した。しかしながら、上述したように、殆どのフレームにおいては最初のコードブロックで不一致が発見されており、途中のコードブロックまでしかマッチングを行わなくても問題ないことが多い。したがって、本実施の形態では、コードブロック毎のエントロピー復号とマッチングとを並行して進めることにより、処理全体の演算量を低減する。
コードブロック毎のエントロピー復号とマッチングとを並行して進め、且つ、正負が一致しない量子化係数が１つでも出現した時点で次の検索対象フレームに移る場合の画像検索装置の処理手順を図２１のフローチャートに示す。先ずステップＳ５１において、特定フレームの符号化コードストリーム及び検索対象フレームの符号化コードストリームのうち、１コードブロック分をエントロピー復号し、特定フレームのコードブロック毎の量子化係数と検索対象フレームのコードブロック毎の量子化係数とを生成する。
次にステップＳ５２において、特定フレームのコードブロック毎の量子化係数と検索対象フレームのコードブロック毎の量子化係数とのうち、同一サンプル位置の量子化係数同士で正負のマッチングを行い、正負が一致しているか否かを判別する。正負が一致している場合にはステップＳ５４に進み、正負が一致していない場合には検索対象フレームが特定フレームと一致しないものと判定し、ステップＳ５３において次の検索対象フレームの符号化コードストリームを入力して、ステップＳ５１から同様の処理を行う。
続いてステップＳ５４において、同一のコードブロック内の全てのサンプルについてマッチングが終了したか否かを判別する。終了していない場合にはステップＳ５５で次のサンプルに移った後、ステップＳ５２に戻り、終了している場合にはステップＳ５６に進む。ステップＳ５６では、次のコードブロックがあるか否かを判別し、次のコードブロックがある場合には、ステップＳ５７で次のコードブロックに移った後、ステップＳ５１に戻る。一方、次のコードブロックがない場合には全てのサンプルで正負が一致しているため、ステップＳ５８において検索対象フレームが特定フレームと略々一致するものと判定し、終了する。
また、本実施の形態においても、第７の実施の形態と同様に、所定のコードブロックまでで係数同士のマッチングを打ち切るようにしても構わない。
所定のコードブロックまでで量子化係数同士のマッチングを打ち切り、且つ、正負が一致しない量子化係数が１つでも出現した時点で次の検索対象フレームに移る場合の画像検索装置の処理手順を図２２のフローチャートに示す。先ずステップＳ６１において、特定フレームの符号化コードストリーム及び検索対象フレームの符号化コードストリームのうち、１コードブロック分をエントロピー復号し、特定フレームのコードブロック毎の量子化係数と検索対象フレームのコードブロック毎の量子化係数とを生成する。
次にステップＳ６２において、特定フレームのコードブロック毎の量子化係数と検索対象フレームのコードブロック毎の量子化係数とのうち、同一サンプル位置の量子化係数同士で正負のマッチングを行い、正負が一致しているか否かを判別する。正負が一致している場合にはステップＳ６４に進み、正負が一致していない場合には検索対象フレームが特定フレームと一致しないものと判定し、ステップＳ６３において次の検索対象フレームの符号化コードストリームを入力して、ステップＳ６１から同様の処理を行う。
続いてステップＳ６４において、同一のコードブロック内の全てのサンプルについてマッチングが終了したか否かを判別する。終了していない場合にはステップＳ６５で次のサンプルに移った後、ステップＳ６２に戻り、終了している場合にはステップＳ６６に進む。ステップＳ６６では、所定のコードブロックに達したか否かを判別し、達していない場合には、ステップＳ６７で次のコードブロックに移った後、ステップＳ６１に戻る。一方、所定のコードブロックに達している場合には全てのサンプルで正負が一致しているため、ステップＳ６８において検索対象フレームが特定フレームと略々一致するものと判定し、終了する。
（第９の実施の形態）
ところで、上述した第１乃至第８の実施の形態では、特定フレームの符号化コードストリームや検索対象となる符号化コードストリームを生成する側の構成については言及しなかった。本実施の形態では、特定フレームの符号化コードストリームや検索対象となる符号化コードストリームを生成する側の構成を含めて説明する。
先ず、第９の実施の形態における画像検索装置の概略構成を図２３に示す。図２３に示すように、第９の実施の形態における画像検索装置５０は、撮像部５１と、Ａ／Ｄ変換部５２と、符号化部５３，５４と、メモリ５５と、マッチング／判定部５６と、復号部５７，５８と、表示部５９とから構成されている。
この画像検索装置５０において、撮像部５１は、例えばＣＣＤ（Charge Coupled Device）カメラであり、ある被写体を撮像した画像信号Ｄ４００をＡ／Ｄ（Analogue/Digital）変換部５２に供給し、Ａ／Ｄ変換部５２は、この画像信号Ｄ４００をＡ／Ｄ変換し、画像データＤ４０２を符号化部５３に供給する。そして、符号化部５３は、この画像データＤ４０２を所定のアルゴリズムに従って圧縮符号化し、符号化コードストリームＤ４０４を生成する。なお、この符号化コードストリームＤ４０４が上述した特定フレームの符号化コードストリームとなる。符号化部５３は、この符号化コードストリームＤ４０４と共に、圧縮符号化の途中で生成された量子化係数Ｄ４０５をメモリ５５に記録する。
同様に、撮像部５１は、ある被写体を撮像した動画像信号Ｄ４０１をＡ／Ｄ変換部５２に供給し、Ａ／Ｄ変換部５２は、この画像信号Ｄ４０１をＡ／Ｄ変換し、画像データＤ４０３を符号化部５３に供給する。そして、符号化部５３は、この画像データＤ４０３を所定のアルゴリズムに従って圧縮符号化し、符号化コードストリームＤ４０６を生成する。なお、この符号化コードストリームＤ４０６が上述した検索対象の符号化コードストリームとなる。符号化部５３は、この符号化コードストリームＤ４０６と共に、圧縮符号化の途中で生成された量子化係数Ｄ４０７をメモリ５５に記録する。
マッチング／判定部５６は、上述したマッチング部１２及び判定部１３と同様のものであり、検索対象となる符号化コードストリームＤ４０６の中から特定フレームと略々一致するフレームを検索する。特定フレームと略々一致するフレームが存在した場合、マッチング／判定部５６は、判定結果Ｄ４０８を復号部５８に供給し、復号部５８は、この判定結果Ｄ４０８に応じて特定フレームと略々一致するフレームを復号し、復号画像Ｄ４１０を表示部５９に供給して表示させる。また、復号部５７は、特定フレームの符号化コードストリームを復号し、復号画像Ｄ４０９を表示部５９に供給して表示させる。
このように、本実施の形態における画像検索装置５０では、特定フレームの符号化コードストリームＤ４０４及び検索対象となる符号化コードストリームＤ４０６と共に、圧縮符号化の途中で生成された量子化係数Ｄ４０５，Ｄ４０７をメモリ５５に記録するため、例えば第１の実施の形態のように、符号化コードストリームＤ４０４，Ｄ４０６をエントロピー復号することなく、量子化係数同士でマッチングを行うことができる。
なお、上述の説明では、特定フレームと略々一致するフレームを復号した復号画像Ｄ４１０を表示部５９に表示させるものとしたが、これに限定されるものではなく、特定フレームと略々一致するフレームを再生開始フレームとし、この再生開始フレーム以降のフレームを復号して表示部５９に表示させるようにしても構わない。また、特定フレームと略々一致するフレームを再生終了フレームとし、この再生終了フレームまでのフレームを復号して表示部５９に表示させるようにしても構わない。
また、上述の説明では、圧縮符号化の途中で生成された量子化係数Ｄ４０５，Ｄ４０７をメモリ５５に記録し、マッチングに用いるものとしたが、これに限定されるものではなく、変換係数をメモリ５５に記録し、マッチングに用いるようにしても構わない。
（第１０の実施の形態）
上述した第９の実施の形態では、特定フレームの画像と検索対象の動画像との双方が圧縮符号化されていない場合、すなわち特定フレームの符号化コードストリーム及び量子化係数と検索対象の符号化コードストリーム及び量子化係数との双方が存在しない場合について説明したが、本実施の形態では、特定フレームの符号化コードストリーム及び量子化係数と検索対象の符号化コードストリーム及び量子化係数とのうち、少なくとも一方が既に存在する場合について説明する。
図２４は特定フレームの符号化コードストリーム及び量子化係数が既に存在する場合の画像検索装置６０の概略構成を示したものである。この画像検索装置６０において、メモリ５５には記録媒体や外部サーバなどから特定フレームの符号化コードストリームＤ４０４及び量子化係数Ｄ４０５がコピー又はダウンロードされる。また、符号化部５３は、検索対象の画像データＤ４０３を所定のアルゴリズムに従って圧縮符号化し、得られた符号化コードストリームＤ４０６と、圧縮符号化の途中で生成された量子化係数Ｄ４０７とをメモリ５５に記録する。以降の処理は上述した画像検索装置５０と同様であるため、説明を省略する。
一方、図２５は特定フレームの符号化コードストリーム及び量子化係数と検索対象の符号化コードストリーム及び量子化係数との双方が既に存在する場合の画像検索装置７０の概略構成を示したものである。この画像検索装置７０において、メモリ５５には記録媒体や外部サーバなどから特定フレームの符号化コードストリームＤ４０４及び量子化係数Ｄ４０５と検索対象の符号化コードストリームＤ４０６及び量子化係数Ｄ４０７とがコピー又はダウンロードされる。以降の処理は上述した画像検索装置５０と同様であるため、説明を省略する。
このように、本実施の形態における画像検索装置６０，７０では、特定フレームの符号化コードストリーム及び量子化係数と検索対象の符号化コードストリーム及び量子化係数とのうち、少なくとも一方が既に存在するため、それをコピー又はダウンロードしてメモリ５５に記録することで、容易にマッチングに用いることができる。
（第１１の実施の形態）
ここで、第９，第１０の実施の形態で説明したように、メモリ５５には、特定フレームの符号化コードストリーム及び量子化係数と検索対象の符号化コードストリーム及び量子化係数とが記録されている。本実施の形態では、このようにメモリ５５に記録された検索対象の符号化コードストリームを他の記録媒体に記録する際に特定フレームの量子化係数と検索対象の量子化係数とを利用する場合について説明する。
図２６に示す画像検索装置８０は、特定フレームが１枚の場合の例を示したものである。この画像検索装置８０において、マッチング／判定部５６は、特定フレームの量子化係数Ｄ４０５と検索対象の量子化係数Ｄ４０７とを比較し、検索対象となる符号化コードストリームＤ４０６の中から特定フレームと略々一致するフレームを検索する。特定フレームと略々一致するフレームが存在した場合、マッチング／判定部５６は、判定結果Ｄ４０８を記録制御部８１に供給し、記録制御部８１は、この判定結果Ｄ４０８に応じて、検索対象の符号化コードストリームＤ４０６を記録媒体８２に記録する際の記録制御を行う。具体的には、符号化コードストリームＤ４０６を記録媒体８２に記録する際に、特定フレームと略々一致するフレームを再生開始フレームとしてマーキングし、又は特定フレームと略々一致するフレームを再生開始フレームとしてこの再生開始フレーム以降のフレームを記録媒体８２に記録する。なお、特定フレームの符号化コードストリームを記録媒体８２に別途記録するようにしても構わない。
一方、図２７に示す画像検索装置９０は、特定フレームが２枚の場合の例を示したものである。この画像検索装置９０において、マッチング／判定部５６は、第１の特定フレームの量子化係数Ｄ４１１と検索対象の量子化係数Ｄ４０７とを比較し、検索対象となる符号化コードストリームＤ４０６の中から第１の特定フレームと略々一致するフレームを検索する。同様に、マッチング／判定部５６は、第２の特定フレームの量子化係数Ｄ４１２と検索対象の量子化係数Ｄ４０７とを比較し、検索対象となる符号化コードストリームＤ４０６の中から第２の特定フレームと略々一致するフレームを検索する。第１，第２の特定フレームと略々一致するフレームが存在した場合、マッチング／判定部５６は、判定結果Ｄ４０８を記録制御部８１に供給し、記録制御部８１は、この判定結果Ｄ４０８に応じて、検索対象の符号化コードストリームＤ４０６を記録媒体８２に記録する際の記録制御を行う。具体的には、符号化コードストリームＤ４０６を記録媒体８２に記録する際に、第１，第２の特定フレームと略々一致するフレームをそれぞれ再生開始フレーム（ＩＮ点）、再生終了フレーム（ＯＵＴ点）としてマーキングし、又は第１，第２の特定フレームと略々一致するフレームをそれぞれ再生開始フレーム、再生終了フレームとしてこの再生開始フレームから再生終了フレームまでのフレームを記録媒体８２に記録する。なお、第１，第２の特定フレームの符号化コードストリームを記録媒体８２に別途記録するようにしても構わない。また、符号化コードストリームＤ４０６を記録媒体８２に記録し、第１，第２の特定フレームと略々一致するフレームをそれぞれ再生開始フレーム、再生終了フレームとしてマーキングするのみでもよい。
さらに、特定フレームをｎ枚とした場合、第１，第ｎの特定フレームと略々一致するフレームをそれぞれ再生開始フレーム（ＩＮ点）、再生終了フレーム（ＯＵＴ点）としてマーキングし、第２，・・・，第ｎ−１の特定フレームと略々一致するフレームをそれぞれ再生途中開始点（例えば、シーンチェンジ点、チャプタ点）としてマーキングしてもよい。
以上、本発明を実施するための最良の形態について説明したが、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
例えば、上述した実施の形態では、静止画像を検索クエリとして説明したが、動画像を検索クエリとしても構わない。この場合、例えば、検索クエリである動画像を構成する複数フレームの一部を静止画像の検索クエリとして選択して上述と同様の画像検索を行い、一致するフレームが所定枚数（閾値）以上であれば、同一の動画像として検出することができる。
また、上述した実施の形態における一連の処理は、ソフトウェアにより実行することもできる。この場合、そのソフトウェアを構成するプログラムをコンピュータの専用ハードウェア、例えばＲＯＭやハードディスクに予め組み込むようにしてもよく、また、各種プログラムをインストールすることで各種機能を実行することが可能な汎用のパーソナルコンピュータなどに対して、ネットワークやプログラム記録媒体を介してインストールするようにしてもよい。
このプログラム記録媒体及び上述した記録媒体としては、例えば磁気ディスク（フレキシブルディスクを含む）、光ディスク（ＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）及びＤＶＤ（Digital Versatile Disk）を含む）、光磁気ディスク（ＭＤ（Mini-Disk）（商標）を含む）、或いは半導体メモリなどのパッケージメディアが利用可能である。
第１の実施の形態における画像検索装置の概略構成を示す図である。 マッチング部におけるマッチングの一例を示す図である。 同画像検索装置の処理手順を示すフローチャートである。 第２の実施の形態における画像検索装置の概略構成を示す図である。 第３の実施の形態において、量子化係数同士のマッチングを行う場合の画像検索装置の概略構成を示す図である。 第３の実施の形態において、変換係数同士のマッチングを行う場合の画像検索装置の概略構成を示す図である。 第４の実施の形態において、特定フレームが原画でしか存在せず、且つ、量子化係数同士のマッチングを行う場合の画像検索装置の概略構成を示す図である。 第４の実施の形態において、特定フレームが原画でしか存在せず、且つ、変換係数同士のマッチングを行う場合の画像検索装置の概略構成を示す図である。 第５の実施の形態の説明に供する、ＪＰＥＧ方式を用いる画像符号化復号装置の概略構成を示す図である。 ＪＰＥＧ方式における量子化、逆量子化を説明する図である。 第６の実施の形態の説明に供する、ＪＰＥＧ２０００方式を用いる画像符号化復号装置の概略構成を示す図である。 ３回ウェーブレット変換した場合のサブバンドを説明する図である。 テスト画像をウェーブレット変換した場合のサブバンドを説明する図である。 ＪＰＥＧ２０００方式におけるサブバンド、コードブロック及びビットプレーンの関係を示す図である。 第７の実施の形態において、ＨＬ−１サブバンドの中の係数同士のマッチングを行っている例を示す図である。 サブバンド毎に係数同士のマッチングを行う場合におけるサブバンドの選択順序を示す図である。 サブバンド毎に量子化係数同士のマッチングを行う場合の画像検索装置の処理手順を示すフローチャートである。 正負が一致しない量子化係数が１つでも出現した時点で次の検索対象フレームに移る場合の画像検索装置の処理手順を示すフローチャートである。 所定のコードブロックまでで量子化係数同士のマッチングを打ち切り、且つ、正負が一致しない量子化係数が１つでも出現した時点で次の検索対象フレームに移る場合の画像検索装置の処理手順を示すフローチャートである。 実際にＪＰＥＧ２０００方式で圧縮符号化された符号化コードストリームに対して、不一致が発見された最初のコードブロックを検証した結果を示す図である。 第８の実施の形態において、コードブロック毎のエントロピー復号とマッチングとを並行して進め、且つ、正負が一致しない量子化係数が１つでも出現した時点で次の検索対象フレームに移る場合の画像検索装置の処理手順を示すフローチャートである。 第８の実施の形態において、所定のコードブロックまでで量子化係数同士のマッチングを打ち切り、且つ、正負が一致しない量子化係数が１つでも出現した時点で次の検索対象フレームに移る場合の画像検索装置の処理手順を示すフローチャートである。 第９の実施の形態における画像検索装置の概略構成を示す図である。 第１０の実施の形態において、特定フレームの符号化コードストリーム及び量子化係数が既に存在する場合の画像検索装置の概略構成を示す図である。 第１０の実施の形態において、特定フレームの符号化コードストリーム及び量子化係数と検索対象の符号化コードストリーム及び量子化係数との双方が既に存在する場合の画像検索装置の概略構成を示す図である。 第１１の実施の形態において、特定フレームが１枚の場合の画像検索装置の概略構成を示す図である。 第１１の実施の形態において、特定フレームが２枚の場合の画像検索装置の概略構成を示す図である。
符号の説明
１〜６ 画像検索装置、１０，１１ エントロピー復号部、１２ マッチング部、１３ 判定部、１４〜１６ 逆量子化部、１７ 逆変換部、１８，１９ 表示部、２０ 変換部、２１ 量子化部、５０，６０，７０，８０，９０ 画像検索装置

Claims (21)

  1. 複数のフレームを圧縮符号化した検索対象となる符号化コードストリームの中から特定フレームと略々一致するフレームを検索する画像検索装置であって、
    上記検索対象となる符号化コードストリームを復号してフレーム毎の量子化係数を生成する復号手段と、
    上記復号手段によって生成されたフレーム毎の量子化係数を逆量子化してフレーム毎の変換係数を生成する逆量子化手段と、
    上記逆量子化手段によって生成されたフレーム毎の変換係数と上記特定フレームの変換係数とのうち、同一サンプル位置の変換係数同士で正負のマッチングを行うマッチング手段と、
    上記マッチングの結果に基づいて、上記特定フレームと略々一致するか否かをフレーム毎に判定する判定手段と
    を備える画像検索装置。
  2. 上記判定手段は、正負が一致しない変換係数が現れる毎にカウンタのカウント値を増加させ、フレームの全ての変換係数のマッチングが終了した時点でカウント値が所定の閾値以下である場合に、当該フレームが上記特定フレームと略々一致するものと判定する
    請求項１記載の画像検索装置。
  3. 上記マッチング手段は、マッチングを行うべき２つの変換係数の少なくとも一方が０である場合には、マッチングを行わない
    請求項１記載の画像検索装置。
  4. 上記判定手段は、上記カウンタのカウント値が所定の閾値以上になった場合に、当該フレームが上記特定フレームと一致しないものと判定し、
    上記マッチング手段は、当該フレームについての以降のマッチングを中止する
    請求項２記載の画像検索装置。
  5. 上記復号手段は、上記検索対象となる符号化コードストリームを、可変長復号テーブルを参照して復号することにより、フレーム毎の離散コサイン変換係数が量子化テーブルを参照して量子化されたフレーム毎の量子化係数を生成する
    請求項１記載の画像検索装置。
  6. 上記復号手段は、上記検索対象となる符号化コードストリームをＪＰＥＧ２０００規格のＥＢＣＯＴ復号に従って復号することにより、フレーム毎のウェーブレット変換係数がスカラ量子化されたフレーム毎の量子化係数を生成する
    請求項１記載の画像検索装置。
  7. 上記マッチング手段は、帯域分割された複数のサブバンド内のコードブロック毎に変換係数同士のマッチングを行う
    請求項６記載の画像検索装置。
  8. 上記マッチング手段は、最低域のサブバンドから最高域のサブバンドの順番で変換係数同士のマッチングを行う
    請求項７記載の画像検索装置。
  9. 上記マッチング手段は、所定のサブバンド又は所定のコードブロックまでの変換係数についてのみマッチングを行う
    請求項７記載の画像検索装置。
  10. 上記逆量子化手段は、あるコードブロック内の全ての変換係数のマッチングが終了すると、次のコードブロックの変換係数を生成する
    請求項７記載の画像検索装置。
  11. コンピュータが、複数のフレームを圧縮符号化した検索対象となる符号化コードストリームの中から特定フレームと略々一致するフレームを検索する画像検索方法であって、
    コンピュータに、
    上記検索対象となる符号化コードストリームを復号してフレーム毎の量子化係数を生成する復号工程と、
    上記復号工程にて生成されたフレーム毎の量子化係数を逆量子化してフレーム毎の変換係数を生成する逆量子化工程と、
    上記逆量子化工程にて生成されたフレーム毎の変換係数と上記特定フレームの変換係数とのうち、同一サンプル位置の変換係数同士で正負のマッチングを行うマッチング工程と、
    上記マッチングの結果に基づいて、上記特定フレームと略々一致するか否かをフレーム毎に判定する判定工程と
    を実行させる画像検索方法。
  12. 複数のフレームを圧縮符号化した検索対象となる符号化コードストリームの中から特定フレームと略々一致するフレームを検索する画像検索処理をコンピュータに実行させるプログラムであって、
    コンピュータに、
    上記検索対象となる符号化コードストリームをエントロピー復号してフレーム毎の量子化係数を生成する復号工程と、
    上記復号工程にて生成されたフレーム毎の量子化係数を逆量子化してフレーム毎の変換係数を生成する逆量子化工程と、
    上記逆量子化工程にて生成されたフレーム毎の変換係数と上記特定フレームの変換係数とのうち、同一サンプル位置の変換係数同士で正負のマッチングを行うマッチング工程と、
    上記マッチングの結果に基づいて、上記特定フレームと略々一致するか否かをフレーム毎に判定する判定工程と
    を実行させるプログラム。
  13. 複数のフレームを圧縮符号化した検索対象となる符号化コードストリームの中から特定フレームと略々一致するフレームを検索する画像検索処理をコンピュータに実行させるプログラムが記録されたコンピュータ読み取り可能なプログラム記録媒体であって、
    コンピュータに、
    上記検索対象となる符号化コードストリームをエントロピー復号してフレーム毎の量子化係数を生成する復号工程と、
    上記復号工程にて生成されたフレーム毎の量子化係数を逆量子化してフレーム毎の変換係数を生成する逆量子化工程と、
    上記逆量子化工程にて生成されたフレーム毎の変換係数と上記特定フレームの変換係数とのうち、同一サンプル位置の変換係数同士で正負のマッチングを行うマッチング工程と、
    上記マッチングの結果に基づいて、上記特定フレームと略々一致するか否かをフレーム毎に判定する判定工程と
    を実行させるプログラムが記録されたプログラム記録媒体。
  14. 複数のフレームを圧縮符号化した検索対象となる符号化コードストリームの中から特定フレームと略々一致するフレームを検索する画像検索装置であって、
    上記検索対象となる符号化コードストリームを生成する際に算出されたフレーム毎の量子化係数と、上記特定フレームの量子化係数とを取得する取得手段と、
    上記取得手段によって取得されたフレーム毎の量子化係数と上記特定フレームの量子化係数とを逆量子化してフレーム毎の変換係数と上記特定フレームの変換係数とを生成する逆量子化手段と、
    上記逆量子化手段によって生成されたフレーム毎の変換係数と上記特定フレームの変換係数とのうち、同一サンプル位置の変換係数同士で正負のマッチングを行うマッチング手段と、
    上記マッチングの結果に基づいて、上記特定フレームと略々一致するか否かをフレーム毎に判定する判定手段と
    を備える画像検索装置。
  15. コンピュータが、複数のフレームを圧縮符号化した検索対象となる符号化コードストリームの中から特定フレームと略々一致するフレームを検索する画像検索方法であって、
    コンピュータに、
    上記検索対象となる符号化コードストリームを生成する際に算出されたフレーム毎の量子化係数と、上記特定フレームの量子化係数とを取得する取得工程と、
    上記取得工程にて取得されたフレーム毎の量子化係数と上記特定フレームの量子化係数とを逆量子化してフレーム毎の変換係数と上記特定フレームの変換係数とを生成する逆量子化工程と、
    上記逆量子化工程にて生成されたフレーム毎の変換係数と上記特定フレームの変換係数とのうち、同一サンプル位置の変換係数同士で正負のマッチングを行うマッチング工程と、
    上記マッチングの結果に基づいて、上記特定フレームと略々一致するか否かをフレーム毎に判定する判定工程と
    を実行させる画像検索方法。
  16. 複数のフレームを圧縮符号化した検索対象となる符号化コードストリームの中から特定フレームと略々一致するフレームを検索する画像検索処理をコンピュータに実行させるプログラムであって、
    コンピュータに、
    上記検索対象となる符号化コードストリームを生成する際に算出されたフレーム毎の量子化係数と、上記特定フレームの量子化係数とを取得する取得工程と、
    上記取得工程にて取得されたフレーム毎の量子化係数と上記特定フレームの量子化係数とを逆量子化してフレーム毎の変換係数と上記特定フレームの変換係数とを生成する逆量子化工程と、
    上記逆量子化工程にて生成されたフレーム毎の変換係数と上記特定フレームの変換係数とのうち、同一サンプル位置の変換係数同士で正負のマッチングを行うマッチング工程と、
    上記マッチングの結果に基づいて、上記特定フレームと略々一致するか否かをフレーム毎に判定する判定工程と
    を実行させるプログラム。
  17. 複数のフレームを圧縮符号化した検索対象となる符号化コードストリームの中から特定フレームと略々一致するフレームを検索する画像検索処理をコンピュータに実行させるプログラムが記録されたコンピュータ読み取り可能なプログラム記録媒体であって、
    コンピュータに、
    上記検索対象となる符号化コードストリームを生成する際に算出されたフレーム毎の量子化係数と、上記特定フレームの量子化係数とを取得する取得工程と、
    上記取得工程にて取得されたフレーム毎の量子化係数と上記特定フレームの量子化係数とを逆量子化してフレーム毎の変換係数と上記特定フレームの変換係数とを生成する逆量子化工程と、
    上記逆量子化工程にて生成されたフレーム毎の変換係数と上記特定フレームの変換係数とのうち、同一サンプル位置の変換係数同士で正負のマッチングを行うマッチング工程と、
    上記マッチングの結果に基づいて、上記特定フレームと略々一致するか否かをフレーム毎に判定する判定工程と
    を実行させるプログラムが記録されたプログラム記録媒体。
  18. 複数のフレームを圧縮符号化した検索対象となる符号化コードストリームの中から特定フレームと略々一致するフレームを検索する画像検索装置であって、
    上記特定フレームを符号化する際に算出された該特定フレームの量子化係数を該特定フレームと共に記録媒体に記録する第１の記録手段と、
    上記検索対象となる符号化コードストリームを生成する際に算出されたフレーム毎の量子化係数を上記検索対象となる符号化コードストリームと共に上記記録媒体に記録する第２の記録手段と、
    上記フレーム毎の量子化係数と上記特定フレームの量子化係数とを上記記録媒体から取得する取得手段と、
    上記取得手段によって取得されたフレーム毎の量子化係数と上記特定フレームの量子化係数とを逆量子化してフレーム毎の変換係数と上記特定フレームの変換係数とを生成する逆量子化手段と、
    上記逆量子化手段によって生成されたフレーム毎の変換係数と上記特定フレームの変換係数とのうち、同一サンプル位置の変換係数同士で正負のマッチングを行うマッチング手段と、
    上記マッチングの結果に基づいて、上記特定フレームと略々一致するか否かをフレーム毎に判定する判定手段と、
    上記判定手段によって上記特定フレームと略々一致すると判定されたフレームを復号する復号手段と、
    上記復号手段によって復号されたフレームの画像を表示手段に出力する出力手段と
    を備える画像検索装置。
  19. コンピュータが、複数のフレームを圧縮符号化した検索対象となる符号化コードストリームの中から特定フレームと略々一致するフレームを検索する画像検索方法であって、
    コンピュータに、
    上記特定フレームを符号化する際に算出された該特定フレームの量子化係数を該特定フレームと共に記録媒体に記録する第１の記録工程と、
    上記検索対象となる符号化コードストリームを生成する際に算出されたフレーム毎の量子化係数を上記検索対象となる符号化コードストリームと共に上記記録媒体に記録する第２の記録工程と、
    上記フレーム毎の量子化係数と上記特定フレームの量子化係数とを上記記録媒体から取得する取得工程と、
    上記取得工程にて取得されたフレーム毎の量子化係数と上記特定フレームの量子化係数とを逆量子化してフレーム毎の変換係数と上記特定フレームの変換係数とを生成する逆量子化工程と、
    上記逆量子化工程にて生成されたフレーム毎の変換係数と上記特定フレームの変換係数とのうち、同一サンプル位置の変換係数同士で正負のマッチングを行うマッチング工程と、
    上記マッチングの結果に基づいて、上記特定フレームと略々一致するか否かをフレーム毎に判定する判定工程と、
    上記判定工程にて上記特定フレームと略々一致すると判定されたフレームを復号する復号工程と、
    上記復号工程にて復号されたフレームの画像を表示手段に出力する出力工程と
    を実行させる画像検索方法。
  20. 複数のフレームを圧縮符号化した検索対象となる符号化コードストリームの中から特定フレームと略々一致するフレームを検索する画像検索処理をコンピュータに実行させるプログラムであって、
    コンピュータに、
    上記特定フレームを符号化する際に算出された該特定フレームの量子化係数を該特定フレームと共に記録媒体に記録する第１の記録工程と、
    上記検索対象となる符号化コードストリームを生成する際に算出されたフレーム毎の量子化係数を上記検索対象となる符号化コードストリームと共に上記記録媒体に記録する第２の記録工程と、
    上記フレーム毎の量子化係数と上記特定フレームの量子化係数とを上記記録媒体から取得する取得工程と、
    上記取得工程にて取得されたフレーム毎の量子化係数と上記特定フレームの量子化係数とを逆量子化してフレーム毎の変換係数と上記特定フレームの変換係数とを生成する逆量子化工程と、
    上記逆量子化工程にて生成されたフレーム毎の変換係数と上記特定フレームの変換係数とのうち、同一サンプル位置の変換係数同士で正負のマッチングを行うマッチング工程と、
    上記マッチングの結果に基づいて、上記特定フレームと略々一致するか否かをフレーム毎に判定する判定工程と、
    上記判定工程にて上記特定フレームと略々一致すると判定されたフレームを復号する復号工程と、
    上記復号工程にて復号されたフレームの画像を表示手段に出力する出力工程と
    を実行させるプログラム。
  21. 複数のフレームを圧縮符号化した検索対象となる符号化コードストリームの中から特定フレームと略々一致するフレームを検索する画像検索処理をコンピュータに実行させるプログラムが記録されたコンピュータ読み取り可能なプログラム記録媒体であって、
    コンピュータに、
    上記特定フレームを符号化する際に算出された該特定フレームの量子化係数を該特定フレームと共に記録媒体に記録する第１の記録工程と、
    上記検索対象となる符号化コードストリームを生成する際に算出されたフレーム毎の量子化係数を上記検索対象となる符号化コードストリームと共に上記記録媒体に記録する第２の記録工程と、
    上記フレーム毎の量子化係数と上記特定フレームの量子化係数とを上記記録媒体から取得する取得工程と、
    上記取得工程にて取得されたフレーム毎の量子化係数と上記特定フレームの量子化係数とを逆量子化してフレーム毎の変換係数と上記特定フレームの変換係数とを生成する逆量子化工程と、
    上記逆量子化工程にて生成されたフレーム毎の変換係数と上記特定フレームの変換係数とのうち、同一サンプル位置の変換係数同士で正負のマッチングを行うマッチング工程と、
    上記マッチングの結果に基づいて、上記特定フレームと略々一致するか否かをフレーム毎に判定する判定工程と、
    上記判定工程にて上記特定フレームと略々一致すると判定されたフレームを復号する復号工程と、
    上記復号工程にて復号されたフレームの画像を表示手段に出力する出力工程と
    を実行させるプログラムが記録されたプログラム記録媒体。
JP2005014750A 2005-01-21 2005-01-21 画像検索装置及び方法、並びにプログラム及びプログラム記録媒体 Expired - Fee Related JP4343120B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2005014750A JP4343120B2 (ja) 2005-01-21 2005-01-21 画像検索装置及び方法、並びにプログラム及びプログラム記録媒体
US11/335,307 US7949042B2 (en) 2005-01-21 2006-01-19 Image searching device and method, program and program recording medium
CNB2006100020640A CN100433049C (zh) 2005-01-21 2006-01-20 图像检索装置及方法
KR20060006132A KR20060085195A (ko) 2005-01-21 2006-01-20 이미지 검색 디바이스 및 방법, 프로그램 및 프로그램 기록매체
US13/081,552 US8467442B2 (en) 2005-01-21 2011-04-07 Image searching device and method, program and program recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005014750A JP4343120B2 (ja) 2005-01-21 2005-01-21 画像検索装置及び方法、並びにプログラム及びプログラム記録媒体

Publications (2)

Publication Number Publication Date
JP2006202145A JP2006202145A (ja) 2006-08-03
JP4343120B2 true JP4343120B2 (ja) 2009-10-14

Family

ID=36756607

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005014750A Expired - Fee Related JP4343120B2 (ja) 2005-01-21 2005-01-21 画像検索装置及び方法、並びにプログラム及びプログラム記録媒体

Country Status (4)

Country Link
US (2) US7949042B2 (ja)
JP (1) JP4343120B2 (ja)
KR (1) KR20060085195A (ja)
CN (1) CN100433049C (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4697111B2 (ja) * 2006-09-28 2011-06-08 ソニー株式会社 画像比較装置および方法、並びに、画像検索装置および方法
CN101681518B (zh) * 2007-05-21 2012-11-14 三菱电机株式会社 图像差检测方法和装置、场景转换检测方法和装置、以及图像差分检测方法和装置
JP4428424B2 (ja) * 2007-08-20 2010-03-10 ソニー株式会社 情報処理装置、情報処理方法、プログラムおよび記録媒体
JP4420085B2 (ja) 2007-08-20 2010-02-24 ソニー株式会社 データ処理装置、データ処理方法、プログラムおよび記録媒体
GB0721648D0 (en) * 2007-11-05 2007-12-19 Roke Manor Research Internet data processing systems
JP2010250659A (ja) * 2009-04-17 2010-11-04 Seiko Epson Corp 印刷装置、画像処理装置、画像処理方法およびコンピュータープログラム
JP5590133B2 (ja) * 2010-09-30 2014-09-17 富士通株式会社 動画像符号化装置、動画像符号化方法、動画像符号化用コンピュータプログラム、動画像復号装置及び動画像復号方法ならびに動画像復号用コンピュータプログラム
TWI436649B (zh) * 2010-11-12 2014-05-01 Alpha Imaging Technology Corp 處理原始高解析影像資料之影像處理裝置及其影像處理晶片和方法
US9412020B2 (en) 2011-11-09 2016-08-09 Board Of Regents Of The University Of Texas System Geometric coding for billion-scale partial-duplicate image search
CN102595138B (zh) * 2012-02-29 2014-04-23 北京大学 图像压缩的方法及装置、终端
CN103955885A (zh) * 2014-05-06 2014-07-30 北京大学 一种基于图像模板的无水印图识别算法
WO2018017059A1 (en) * 2016-07-19 2018-01-25 Hewlett-Packard Development Company, L.P. Image recognition and retrieval
CN108875535B (zh) * 2018-02-06 2023-01-10 北京旷视科技有限公司 图像检测方法、装置和系统及存储介质
CN113033439B (zh) * 2021-03-31 2023-10-20 北京百度网讯科技有限公司 用于数据处理的方法、装置和电子设备

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01114282A (ja) 1987-10-28 1989-05-02 Canon Inc ベクトル量子化におけるコードブック生成方法
JPH0883348A (ja) 1994-09-09 1996-03-26 Sony Corp 画像信号符号化方法
JP2630923B2 (ja) 1994-12-05 1997-07-16 日本アイ・ビー・エム株式会社 画像認識方法及び装置
US6091777A (en) * 1997-09-18 2000-07-18 Cubic Video Technologies, Inc. Continuously adaptive digital video compression system and method for a web streamer
JP2000134616A (ja) * 1998-10-26 2000-05-12 Sony Corp 近似画像探索装置及び方法
JP4304368B2 (ja) 1999-01-06 2009-07-29 日本電気株式会社 画像検索装置、並びに画像検索方法
US6532541B1 (en) * 1999-01-22 2003-03-11 The Trustees Of Columbia University In The City Of New York Method and apparatus for image authentication
US6618507B1 (en) * 1999-01-25 2003-09-09 Mitsubishi Electric Research Laboratories, Inc Methods of feature extraction of video sequences
JP2001045485A (ja) * 1999-07-30 2001-02-16 Sony Corp 動画像符号化装置及び方法、復号装置及び方法、並びに画像記録再生装置
JP2002007432A (ja) * 2000-06-23 2002-01-11 Ntt Docomo Inc 情報検索システム
JP3960151B2 (ja) * 2002-07-09 2007-08-15 ソニー株式会社 類似時系列検出方法及び装置、並びにプログラム
JP2004328577A (ja) 2003-04-28 2004-11-18 Seiko Epson Corp 画像出力装置およびサムネイル画像出力装置

Also Published As

Publication number Publication date
JP2006202145A (ja) 2006-08-03
CN1808469A (zh) 2006-07-26
CN100433049C (zh) 2008-11-12
US8467442B2 (en) 2013-06-18
US20110182525A1 (en) 2011-07-28
US20060171599A1 (en) 2006-08-03
KR20060085195A (ko) 2006-07-26
US7949042B2 (en) 2011-05-24

Similar Documents

Publication Publication Date Title
JP4343120B2 (ja) 画像検索装置及び方法、並びにプログラム及びプログラム記録媒体
US7869659B2 (en) Image-comparing apparatus, image-comparing method, image-retrieving apparatus and image-retrieving method
Furht et al. Motion estimation algorithms for video compression
US7444026B2 (en) Image processing apparatus and method of motion vector detection in a moving picture, and recording medium used therewith
US20080267290A1 (en) Coding Method Applied to Multimedia Data
JP4656912B2 (ja) 画像符号化装置
KR20140019335A (ko) 장면 타입에 기초한 비디오 스트림 인코딩
Makar et al. Interframe coding of feature descriptors for mobile augmented reality
US6823011B2 (en) Unusual event detection using motion activity descriptors
JP5155210B2 (ja) 画像比較装置及びその方法、画像検索装置、並びにプログラム及び記録媒体
WO1994022108A1 (en) Rapid thumbnail image reconstruction of dct compressed image data
JPH10191360A (ja) 動き推定ベクトルを求める方法および動き推定ベクトルを用いて動画像データを圧縮する方法
KR100420439B1 (ko) 정보 삽입/검출 시스템
US20050157790A1 (en) Apparatus and mehtod of coding moving picture
US9807387B2 (en) Graphics processing unit and graphics processing method
JP2006129248A (ja) 画像符号化方法および装置、ならびに画像復号方法および装置
JPH07152779A (ja) 動画インデックス検出処理方法及び動画インデックス検出処理機能を持つ動画処理装置
JP4749508B2 (ja) 画像復号方法
JP4697111B2 (ja) 画像比較装置および方法、並びに、画像検索装置および方法
JP4667424B2 (ja) 画像復号装置
Fukuhara et al. Accurate identifying method of JPEG2000 images for digital cinema
Tamilselvi et al. Image compression algorithm
JP2007300657A (ja) 画像復号方法および装置
Dahiya et al. A Two Layered DWT Approch To Improve Compression Ratio In Video Data.
Jiang et al. Empirical study of partial decoding for fast browsing of MPEG-2 compressed videos

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060510

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080930

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090317

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090513

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090609

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090708

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120717

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120717

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120717

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130717

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees