JP3997749B2 - 信号処理方法及び装置、信号処理プログラム、並びに記録媒体 - Google Patents
信号処理方法及び装置、信号処理プログラム、並びに記録媒体 Download PDFInfo
- Publication number
- JP3997749B2 JP3997749B2 JP2001324255A JP2001324255A JP3997749B2 JP 3997749 B2 JP3997749 B2 JP 3997749B2 JP 2001324255 A JP2001324255 A JP 2001324255A JP 2001324255 A JP2001324255 A JP 2001324255A JP 3997749 B2 JP3997749 B2 JP 3997749B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- similarity
- similar
- region
- small
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
- G06V10/7515—Shifting the patterns to accommodate for positional errors
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、信号処理方法及び装置に関し、特に、複数の画像データ内に類似するパターンが含まれる場合の類似性を評価する信号処理方法及びその装置、信号処理プログラム、並びに信号処理プログラムの記録された記録媒体に関する。
【０００２】
【従来の技術】
例えば、映像中の類似するシーン（映像中でひとまとまりとなる時区間）の画像や、コマーシャル中の会社名のロゴや、画像中に挿入された所有者を示す文字やパターンなど、異なる画像中に部分的に同一又は類似するパターンが含まれる場合がある。これらは多くの場合、何らかの関連性を有するために類似するパターンが含まれているのであり、このような類似性を検出し評価することができれば、関連のある画像或いは映像シーンの検索、分類又は収集等を行うことができる。
【０００３】
具体例として、異なる画像上に同一のロゴ“ＡＢＥ”が挿入された画像を図９（Ａ）、（Ｂ）に示す。このようなロゴは、例えば、この２枚の画像の所有者やコマーシャル映像中の商品の提供企業等の情報を表すものである。このように、画像中のどこかの位置にほぼ同じロゴが挿入されることがある。しかしながら、このようなロゴが挿入される位置は、通常予め特定することはできず、また、どのようなパターンが挿入されているのかも通常予め知ることはできない。
【０００４】
また、ロゴのようなものに限らず、同一の人物、動物、物体又は背景等が、異なる画像や映像に挿入されている場合もある。
【０００５】
【発明が解決しようとする課題】
ところで、従来、このように類似するパターンの検索手法としては、予めそのパターンを何らかの方法で別途用意し、相関法やヒストグラム比較法等によって、そのパターンの検出を行う手法が用いられている。
【０００６】
例えば、特開２０００−３１２３４３号公報には、予め登録された映像と同一の映像を高速に検索する技術が開示されている。しかし、このためには予め検索したいものと同一の映像を用意する必要があり、また、映像を構成する画像の一部が類似するものの検出には、この技術が適用できないという問題があった。
【０００７】
また、特開平１１−３２８３１１号公報には、予め登録されたパターンと類似するパターンが他の画像中のどこかの位置に存在する場合に、それを相関法を用いて検出する技術が開示されている。しかし、この技術においても類似するパターンを予め登録しておく必要があり、類似するパターンが予め分からないような任意の２つの画像から、部分的な類似性を検出し評価することができないという問題があった。
【０００８】
本発明は、このような従来の実情に鑑みて提案されたものであり、任意の２つ以上の画像に対して、それらの部分的な類似性を評価し、類似する領域を自動的に抽出する信号処理方法及びその装置、信号処理プログラム、並びに信号処理プログラムの記録された記録媒体を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上述した目的を達成するために、本発明に係る信号処理方法は、複数の画像データを入力し、当該画像データのうち、少なくとも１つを複数の小領域に分割する分割工程と、上記小領域を他の画像データと類似するように変換したときの変換パラメータを抽出するパラメータ抽出工程と、上記変換パラメータに基づいて求めた類似の度合いを示す値を集計する集計工程と、当該集計の結果に基づき、上記複数の画像データ間の類似性を評価する類似性評価工程と、上記複数の画像データ間の類似する領域を抽出する類似領域抽出工程とを有し、上記変換パラメータは、上記小領域と上記他の画像データとの上記類似の度合を示す値が少なくとも最大となるところにおける位置差及び／又は輝度比であり、上記類似領域抽出工程では、上記集計の結果が少なくとも最大となるところにおける上記変換パラメータと略等しい変換パラメータの抽出された上記小領域が抽出されることを特徴としている。
【００１０】
ここで、信号処理方法は、上記複数の画像データ間の類似する領域を抽出する類似領域抽出工程をさらに有してもよい。
【００１１】
また、信号処理方法では、相関法を用いて上記変換パラメータを求めることができる。この場合、上記集計工程では、この変換パラメータを軸とする空間に、上記複数の画像データ間の類似の度合いを示す値が集計される。
【００１２】
このような信号処理方法では、入力された複数の画像データの少なくとも１つが複数の小領域に分割され、その小領域毎に他の画像データとの類似性が求められ、それらを集計することによって複数の画像データ間の類似性が評価される。また、その類似性に基づいて、複数の画像データ間の類似する領域が抽出される。
【００１３】
また、上述した目的を達成するために、本発明に係る信号処理方法は、記録手段に記録されている画像データを再生する再生工程と、再生されている上記画像データの中から所望の画像データを指定する指定工程と、上記所望の画像データを複数の小領域に分割する分割工程と、上記小領域を上記記録手段に記録されている検索対象画像データと類似するように変換したときの変換パラメータを抽出するパラメータ抽出工程と、上記変換パラメータに基づいて求めた類似の度合いを示す値を集計する集計工程と、当該集計の結果に基づき、上記所望の画像データと上記検索対象画像データとの類似性を評価する類似性評価工程と、上記所望の画像データと上記検索対象画像データとが類似する領域を検出する類似領域検出工程とを有し、上記変換パラメータは、上記小領域と上記他の画像データとの上記類似の度合を示す値が少なくとも最大となるところにおける位置差及び／又は輝度比であり、上記類似領域検出工程では、上記集計の結果が少なくとも最大となるところにおける上記変換パラメータと略等しい変換パラメータの抽出された上記小領域が抽出されることを特徴としている。
【００１４】
このような信号処理方法では、再生されている画像データの中から所望の画像データが指定されると、その画像データが複数の小領域に分割され、その小領域毎に記録手段に記録されている検索対象画像データとの類似性が求められ、それらを集計することによって複数の画像データ間の類似性が評価され、その類似性に基づいて類似する領域が抽出される。
【００１５】
また、上述した目的を達成するために、本発明に係る信号処理方法は、複数の画像データを入力し、当該複数の画像データのうち、少なくとも１つの画像データを複数の小領域に分割する分割工程と、上記小領域を他の画像データと類似するように変換したときの変換パラメータを抽出するパラメータ抽出工程と、上記変換パラメータに基づいて求めた類似の度合いを示す値を集計する集計工程と、当該集計の結果に基づき、上記複数の画像データ間の類似性を評価する類似性評価工程と、上記複数の画像データ間の類似する領域を検出する類似領域抽出工程と、上記類似領域抽出工程で抽出された上記複数の画像データ間の類似する領域を符号化する第１の符号化工程と、上記類似する領域以外を符号化する第２の符号化工程とを有し、上記変換パラメータは、上記小領域と上記他の画像データとの上記類似の度合を示す値が少なくとも最大となるところにおける位置差及び／又は輝度比であり、上記類似領域抽出工程では、上記集計の結果が少なくとも最大となるところにおける上記変換パラメータと略等しい変換パラメータの抽出された上記小領域が抽出されることを特徴としている。
【００１６】
ここで、上記第１の符号化工程では、例えば上記類似する区間の位置差、輝度比及び当該類似する領域の形状の情報が符号化される。
【００１７】
このような信号処理方法では、入力された複数の画像データの少なくとも１つが複数の小領域に分割され、その小領域毎に他の画像データとの類似性が求められ、それらを集計することによって複数の画像データ間の類似性が評価される。そして、その類似性に基づいて、複数の画像データ間の類似する領域が抽出され、その類似する領域とそれ以外の領域とが別々に符号化される。
【００１８】
また、上述した目的を達成するために、本発明に係る信号処理装置は、複数の画像データを入力し、当該画像データのうち、少なくとも１つを複数の小領域に分割する分割手段と、上記小領域を他の画像データと類似するように変換したときの変換パラメータを抽出するパラメータ抽出手段と、上記変換パラメータに基づいて求めた類似の度合いを示す値を集計する集計手段と、当該集計の結果に基づき、上記複数の画像データ間の類似性を評価する類似性評価手段と、上記複数の画像データ間の類似する領域を抽出する類似領域抽出手段とを備え、上記変換パラメータは、上記小領域と上記他の画像データとの上記類似の度合を示す値が少なくとも最大となるところにおける位置差及び／又は輝度比であり、上記類似領域抽出手段は、上記集計の結果が少なくとも最大となるところにおける上記変換パラメータと略等しい変換パラメータの抽出された上記小領域を抽出することを特徴としている。
【００２１】
このような信号処理装置は、入力された複数の画像データの少なくとも１つを複数の小領域に分割し、その小領域毎に他の画像データとの類似性を求め、それらを集計することによって複数の画像データ間の類似性を評価する。
【００２２】
また、上述した目的を達成するために、本発明に係る信号処理装置は、複数の画像データを記録する記録手段と、上記記録手段に記録されている画像データを再生する再生手段と、再生されている上記画像データの中から所望の画像データを指定する指定手段と、上記所望の画像データを複数の小領域に分割する分割手段と、上記小領域を上記記録手段に記録されている検索対象画像データと類似するように変換したときの変換パラメータを抽出するパラメータ抽出手段と、上記変換パラメータに基づいて求めた類似の度合いを示す値を集計する集計手段と、当該集計の結果に基づき、上記所望の画像データと上記検索対象画像データとの類似性を評価する類似性評価手段と、上記所望の画像データと上記検索対象画像データとが類似する領域を検出する類似領域検出手段を備え、上記変換パラメータは、上記小領域と上記他の画像データとの上記類似の度合を示す値が少なくとも最大となるところにおける位置差及び／又は輝度比であり、上記類似領域検出手段は、上記集計の結果が少なくとも最大となるところにおける上記変換パラメータと略等しい変換パラメータの抽出された上記小領域を抽出することを特徴としている。
【００２３】
このような信号処理装置は、再生されている画像データの中から所望の画像データが指定されると、その画像データを複数の小領域に分割し、その小領域毎に記録手段に記録されている検索対象画像データとの類似性を求め、それらを集計することによって複数の画像データ間の類似性を評価して、その類似性に基づいて類似する領域を抽出する。
【００２４】
また、上述した目的を達成するために、本発明に係る信号処理装置は、複数の画像データを入力し、当該複数の画像データのうち、少なくとも１つの画像データを複数の小領域に分割する分割手段と、上記小領域を他の画像データと類似するように変換したときの変換パラメータを抽出するパラメータ抽出手段と、上記変換パラメータに基づいて求めた類似の度合いを示す値を集計する集計手段と、当該集計の結果に基づき、上記複数の画像データ間の類似性を評価する類似性評価手段と、上記複数の画像データ間の類似する領域を検出する類似領域抽出手段と、上記類似領域抽出手段によって抽出された上記複数の画像データ間の類似する領域を符号化する第１の符号化手段と、上記類似する領域以外を符号化する第２の符号化手段とを備え、上記変換パラメータは、上記小領域と上記他の画像データとの上記類似の度合を示す値が少なくとも最大となるところにおける位置差及び／又は輝度比であり、上記類似領域抽出手段は、上記集計の結果が少なくとも最大となるところにおける上記変換パラメータと略等しい変換パラメータの抽出された上記小領域を抽出することを特徴としている。
【００２６】
このような信号処理装置は、入力された複数の画像データの少なくとも１つを複数の小領域に分割し、その小領域毎に他の画像データとの類似性を求め、それらを集計することによって複数の画像データ間の類似性を評価する。そして、その類似性に基づいて、複数の画像データ間の類似する領域を抽出して、その類似する領域とそれ以外の領域とを別々に符号化する。
【００２７】
また、上述した目的を達成するために、本発明に係る信号処理プログラムは、複数の画像データを入力し、当該画像データのうち、少なくとも１つを複数の小領域に分割する分割工程と、上記小領域を他の画像データと類似するように変換したときの変換パラメータを抽出するパラメータ抽出工程と、上記変換パラメータに基づいて求めた類似の度合いを示す値を集計する集計工程と、当該集計の結果に基づき、上記複数の画像データ間の類似性を評価する類似性評価工程と、上記複数の画像データ間の類似する領域を抽出する類似領域抽出工程とを有し、上記変換パラメータは、上記小領域と上記他の画像データとの上記類似の度合を示す値が少なくとも最大となるところにおける位置差及び／又は輝度比であり、上記類似領域抽出工程では、上記集計の結果が少なくとも最大となるところにおける上記変換パラメータと略等しい変換パラメータの抽出された上記小領域が抽出されることを特徴としている。
【００３０】
このような信号処理プログラムは、入力された複数の画像データの少なくとも１つを複数の小領域に分割し、その小領域毎に他の画像データとの類似性を求め、それらを集計することによって複数の画像データ間の類似性を評価する。
【００３６】
また、上述した目的を達成するために、本発明に係る記録媒体は、複数の画像データを入力し、当該複数の画像データのうち、少なくとも１つを複数の小領域に分割する分割工程と、上記小領域を他の画像データと類似するように変換したときの変換パラメータを抽出するパラメータ抽出工程と、上記変換パラメータに基づいて求めた類似の度合いを示す値を集計する集計工程と、当該集計の結果に基づき、上記複数の画像データ間の類似性を評価する類似性評価工程と、上記複数の画像データ間の類似する領域を抽出する類似領域抽出工程とを有し、上記変換パラメータは、上記小領域と上記他の画像データとの上記類似の度合を示す値が少なくとも最大となるところにおける位置差及び／又は輝度比であり、上記類似領域抽出工程では、上記集計の結果が少なくとも最大となるところにおける上記変換パラメータと略等しい変換パラメータの抽出された上記小領域が抽出されることを特徴とする信号処理プログラムが記録されたコンピュータ制御可能なものである。
【００３９】
このような記録媒体に記録されている信号処理プログラムは、入力された複数の画像データの少なくとも１つを複数の小領域に分割し、その小領域毎に他の画像データとの類似性を求め、それらを集計することによって複数の画像データ間の類似性を評価する。
【００４５】
【発明の実施の形態】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。この実施の形態は、本発明を、任意の２つ以上の画像に対して、それらの部分的な類似性を評価し、類似する領域を自動的に抽出する信号処置装置に適用したものである。なお、以下では、入力される画像は、異なる２枚の画像として説明するが、２枚以上の画像であってもよく、また、映像データから得られる複数の画像や、１枚の画像から得られる複数の部分画像であってもよい。
【００４６】
先ず、本実施の形態における信号処理装置の概略構成を図１に示す。図１に示すように、信号処理装置１０は、第１の前処理部１１と、領域分割部１２と、第２の前処理部１３と、類似度計算部１４と、投票部１５と、類似判定部１６と、類似領域検出部１７とを備えている。
【００４７】
第１の前処理部１１は、比較する２つの画像のうち、第１の画像に対して微分、高次微分等の画像特徴を抽出する公知のフィルタ処理や、減色演算、単色化処理又は２値化処理等の公知の変換処理や、エッジ検出、エッジ密度検出又は局所カラーヒストグラム等の特徴量に基づき以降の処理範囲を限定するような処理を施す。なお、上述した処理を組み合わせた前処理を施すようにしてもよく、また、何も処理を施さず、恒等変換を行ってもよい。
【００４８】
領域分割部１２は、第１の画像を小領域に分割する。例えば、図２（Ａ）に示すように、６３個の小領域に分割する。なお、分割数がこれに限定されないことは勿論であり、任意に設定することができる。但し、小領域のサイズは、想定する類似領域よりも十分細かく設定することが好ましい。例えば、前述した図９の例では、ロゴ“ＡＢＥ”が少なくとも複数個に分割される程度に設定するのがよい。また、図２（Ａ）では、それぞれの小領域が重ならないように分割しているが、重なりを持たせて小領域をとるようにしても構わない。
【００４９】
第２の前処理部１３は、比較する２つの画像のうち、第２の画像に対して、第１の前処理部１１と同様の前処理を施す。なお、第１の画像と同様に、何も処理を施さず、恒等変換を行ってもよい。
【００５０】
類似度計算部１４は、領域分割部１２において分割された小領域のそれぞれについて、第２の画像との間で相関を計算する。相関を計算するには、通常は、図２（Ｂ）に示すように、小領域のそれぞれをテンプレートとし、第２の画像の全範囲について相関演算を行う。そして類似度計算部１４は、得られた相関値の中で最も相関値の高いものを探索し、その相関値ｓ、位置差ｄｘ，ｄｙ及び輝度比ｌを取得する。ここで、位置差とは、この小領域の第１の画像における本来の位置と相関値が最大となる位置との相対的な位置関係を示すパラメータである。また、輝度比とは、相関値が最大となる位置において小領域のパターンと第２の画像のパターンとの輝度が最も一致するような小領域のパターンに対する乗算係数である。例えば、映像データの揺らぎなど、第１の画像及び第２の画像を取得したときの条件の違いにより全体的に画像の輝度が違っている場合には、その違いがこの係数となる。また、類似度には相関値の２乗を用いればよい。なお、上述した位置差ｄｘ，ｄｙ、輝度比ｌ、類似度ｓは、相関法以外の方法で等価な特徴量を求めてもよい。
【００５１】
投票部１５は、得られた位置差ｄｘ，ｄｙ、輝度比ｌ及び類似度ｓを投票空間に投票する。投票空間は、図２（Ｃ）に示すように、位置差ｄｘ，ｄｙと輝度比ｌを変数とし、類似度ｓの積算値を値とする特徴空間であり、小領域から得られる位置差ｄｘ，ｄｙ、輝度比ｌの位置に類似度ｓを積算する。なお、図２（Ｃ）では、位置差ｄｘ，ｄｙを１つの軸で図示したが、一般の画像の場合、水平方向と垂直方向との２つの軸があるため、投票空間の変数は３つとなる。また、演算効率を上げる場合には、いずれかの軸を省略して次元を減らすようにしてもよい。
【００５２】
第１の画像と第２の画像との間に類似する部分が含まれている場合、該当する小領域においては、そのパターンが類似するため、類似度ｓは高く、その位置差ｄｘ，ｄｙ及び輝度比ｌは他の小領域と概ね一致する。
【００５３】
一方、類似しない部分に該当する小領域では、偶然に最も類似する位置にて最大となる類似度が取得されるため、概してその類似度ｓは低く、その位置差ｄｘ，ｄｙ及び輝度比ｌは、他の小領域とは無関係なものとなる。
【００５４】
従って、類似する部分がある場合には、それに対応する複数の小領域の投票が同じ位置に集中するため、有意な大きさのピークを形成することが期待され、類似する部分がない場合には、そもそも類似度が小さく、また、全ての投票が異なる位置に分散するため、有意なピークは形成されない。
そこで類似判定部１６は、全ての小領域に関して投票が行われた後、投票空間中の最大類似度ｓｍを探索し、その最大類似度ｓｍを閾値ｓｔｈｓｄと比較することで、類似判定を行う。
【００５５】
類似領域検出部１７は、類似判定部１６において類似していると判定された場合に、類似している領域を検出する。類似領域検出部１７は、例えば、各小領域の位置差ｄｘ，ｄｙ及び輝度比ｌがピーク位置の位置差ｄｘｍ，ｄｙｍ及び輝度比ｌｍと十分近いもののみを選択することで、類似領域を検出する。
【００５６】
以下、上述したような構成を有する信号処理装置１０の動作について、図３のフローチャートを用いて説明する。先ずステップＳ１０において、第１の画像及び第２の画像に対して上述したような前処理を施す。
【００５７】
次にステップＳ１１において、第１の画像を上述したように小領域に分割し、続くステップＳ１２において、その小領域の中から１つの小領域を選択する。
【００５８】
ステップＳ１３では、ステップＳ１２において選択された小領域について、第２の画像との相関を計算する。すなわち例えば、選択した小領域について、第２の画像の全範囲で相関法を用いることにより、第２の画像との相関を計算する。
【００５９】
ステップＳ１４では、ステップＳ１３において得られた類似度の中で最も大きいものを探索し、その類似度ｓ、位置差ｄｘ，ｄｙ及び輝度比ｌを取得する。
【００６０】
続くステップＳ１５では、ステップＳ１４において得られた類似度ｓ、位置差ｄｘ，ｄｙ及び輝度比ｌを投票空間に投票する。すなわち、小領域から得られる位置差ｄｘ，ｄｙ及び輝度比ｌの位置に類似度ｓを積算する。
【００６１】
ステップＳ１６では、全ての小領域について処理を終えたか否かが判別される。ステップＳ１６において、処理を終えていない小領域がある場合には、ステップＳ１２に戻って、残りの小領域について上述の処理を繰り返し、全ての小領域の処理を終えている場合には、ステップＳ１７に進む。
【００６２】
ステップＳ１７では、投票空間中の最大類似度ｓｍを探索して取得し、続くステップＳ１８では、その最大類似度ｓｍが所定の閾値ｓｔｈｓｄを超えているか否かが判別される。ステップＳ１８において、最大類似度ｓｍが所定の閾値ｓｔｈｓｄを超えていない場合（No）、有意なピークが形成されていないとしてステップＳ２１に進み、第１の画像と第２の画像とは類似しないと判定して終了する。ステップＳ１８において、最大類似度ｓｍが所定の閾値ｓｔｈｓｄを超えている場合（Yes）、有意なピークが形成されているとしてステップＳ１９に進む。
【００６３】
ステップＳ１９では、第１の画像と第２の画像とは類似していると判定し、その位置差ｄｘｍ，ｄｙｍ及び輝度比ｌｍを取得する。また、第１の画像と第２の画像との類似度をｓｍとする。
【００６４】
ステップＳ２０では、類似している領域を検出する。すなわち、各小領域の位置差ｄｘ，ｄｙ及び輝度比ｌがピーク位置の位置差ｄｘｍ，ｄｙｍ及び輝度比ｌｍと十分近いもののみを選択して終了する。
【００６５】
このように、本実施の形態における信号処理装置１０は、類似するパターンが予め分からないような任意の２つの画像に対しても、有意に類似又は非類似の検出、評価が可能とされる。
【００６６】
また、上述したように、信号処理装置１０は、各小領域の位置差ｄｘ，ｄｙ及び輝度比ｌがピーク位置の位置差ｄｘｍ，ｄｙｍ及び輝度比ｌｍと十分近いもののみを選択することで、類似している領域を検出することができる。
【００６７】
なお、上述の説明では、小領域毎に第２の画像との相関が最も高くなる１カ所における類似度ｓ、位置差ｄｘ，ｄｙ及び輝度比ｌを取得して投票するものとして説明したが、これに限定されるものではなく、相関の高い数カ所の類似度ｓ、位置差ｄｘ，ｄｙ及び輝度比ｌを取得して投票するようにしても構わない。
【００６８】
また、上述の説明では、投票空間のピーク位置での最大類似度ｓｍについてのみ閾値sｔｈｓｄと比較し、閾値sｔｈｓｄを超えている場合に、そのピークに投票した小領域を逆に求めたが、これに限定されるものではなく、閾値sｔｈｓｄを超えるピーク全てについて、そのピークに投票した小領域を求めるようにしても構わない。これにより、第２の画像中に第１の画像と類似する部分が複数ある場合にも、それらの全てを抽出することができる。
【００６９】
以上説明した信号処理装置１０は、例えば図４に示すような映像／画像検索装置２０に用いることができる。この映像／画像検索装置２０は、記録された映像若しくは画像等から類似する部分を検索するものである。
【００７０】
図４に示すように、映像／画像検索装置２０は、記録部２１と、再生／表示部２２と、入力部２３と、類似探索部２４とを備えている。ここで、類似探索部２４は、上述した信号処理装置１０に相当するものである。
【００７１】
このような構成を有する映像／画像検索装置２０の動作について、図５のフローチャートを用いて説明する。ここで、記録部２１には、映像データや画像データが記録されている。先ずステップＳ３０において、ユーザは、記録部２１に記録されている信号、或いは実時間で放送されている信号を再生／表示部２２にて再生する。
【００７２】
次にステップＳ３１において、その中で検索したい画像或いはフレームを入力部２３を介して指定する。指定された箇所は、類似探索部２４に通知される。
【００７３】
続いてステップＳ３２において、類似探索部２４は、記録部２１に記録されている検索対象データから類似部分がある映像データ又は画像データを探索する。
【００７４】
なお、検索対象となる映像データ、画像データは、磁気記録媒体等に予め記録されているものに限らず、実時間で放送されている信号やネットワークを介して得られる信号であってもよい。ここで、実時間放送の場合には、受信しながら類似部分がある映像データ又は画像データを待つことになる。
【００７５】
類似部分が発見されると、ステップＳ３３において、それを再生／表示部２２に表示して終了する。
【００７６】
なお、上述の例では、ユーザが再生されている映像データ又は画像データの中で検索したい画像或いはフレームを指定するものとして説明したが、これに限定されるものではなく、例えばユーザが映像データ又は画像データのファイル名等を指定し、指定されたファイル名の映像データ又は画像データに類似する映像データ又は画像データを検索するようにしても構わない。また、上述の例では、ユーザが検索したい画像或いはフレームを直接指定するものとして説明したが、これに限定されるものではなく、例えば他の装置とのインターフェースを介して指定されるようにしても構わない。
【００７７】
このような映像／画像検索装置２０によれば、例えば放送のコマーシャル部分をユーザが指定した場合、通例、同一会社の提供するコマーシャル等の関連の強いコマーシャルには類似する部分が含まれているため、そのような関連の強いコマーシャルを検索することができる。また、ユーザが指定した映像データ又は画像データが類似する放送番組に共通に用いられている場合、そのような類似する放送番組を検索することができる。
【００７８】
また、上述した信号処理装置１０は、図６に示すような画像符号化装置３０に用いることもできる。すなわち、上述した信号処理装置１０を画像符号化装置に設け、複数の画像（１つの画像の異なる部分画像である場合を含む）から予め類似する部分を別途まとめて符号化する前処理を行うことで、符号化効率（圧縮効率）を向上させることができる。
【００７９】
この画像符号化装置３０は、図６に示すように、類似領域検出部３１と、類似成分分離部３２と、類似成分符号化部３３と、類似成分減算部３４と、画像符号化部３５と、統合部３６とを備える。ここで、類似領域検出部３１は、上述した信号処理装置１０に相当するものである。
【００８０】
以上のような構成を有する画像符号化装置３０の動作について、図７のフローチャート及び図８を用いて説明する。先ずステップＳ４０において、類似領域検出部３１は、第１の画像及び第２の画像を入力する。
【００８１】
続いてステップＳ４１において、類似領域検出部３１は、第２の画像の中に第１の画像と類似する部分があるか否かを検出する。ステップＳ４１において、類似する部分がある場合（Yes）にはステップＳ４２に進み、類似する部分がない場合にはステップＳ４３に進む。
【００８２】
ステップＳ４２では、図８（Ａ）に示すように、類似成分分離部３２がその類似領域ａの位置ずれ、輝度比及び領域形状を抽出し、類似成分符号化部３３がこれらを符号化してステップＳ４１に戻り、さらに類似する部分を検出する。これにより、図８（Ｂ）に示すように、類似領域ｂが検出され、この類似領域ｂの位置差、輝度比及び領域形状が符号化される。
【００８３】
類似する区間を全て抽出及び符号化した後、ステップＳ４３では、図８（Ｃ）に示すように、類似成分減算部３４が、第２の画像から第１の画像と類似する部分を減算する。
【００８４】
ステップＳ４４では、画像符号化部３５が第１の画像と類似部分が減算された第２の画像とを符号化する。この符号化には、例えばＤＣＴ（Discrete Cosine Transform）法やWavelet法等の，一般的な画像符号化法を用いることができる。
【００８５】
ステップＳ４５では、統合部３６が、ステップＳ４２で符号化された類似領域の位置差等の情報とステップＳ４４で符号化された第１の画像及び第２の画像とを１つの符号系列として統合して出力して終了する。
【００８６】
この画像符号化装置３０によれば、第１の画像では、一般的な符号化方法がそのまま適用されるため、符号化効率は、一般的な符号化方法によるものと変わらないが、第２の画像では、第１の画像と類似する部分が予め減算されており、情報量が減少する。このため、通常の符号化方法をそのまま適用するよりも符号化効率を向上させることができる。
【００８７】
また、この画像符号化装置３０の手法を、複数画像が連続する動画の圧縮に適用すると、ＭＰＥＧ２（Moving Picture Experts Group 2）等の圧縮方式で用いられている動きベクトルの効果的な検出手法として利用することができる。
【００８８】
以上説明したように、本実施の形態における信号処理装置によれば、入力された複数の画像データの少なくとも１つを小領域に分割し、その小領域毎に他の画像データとの類似性を求め、それらを統合して全体の類似性を評価することにより、従来検出できなかった、部分的に類似するパターンを含む任意の画像データの類似性を評価し、また、類似領域を抽出することができる。
【００８９】
また、信号処理装置を映像／画像検索装置に設けることにより、再生している映像データ或いは画像データのうち所望の映像若しくは画像を指定することで、記録媒体に記録されている映像データ若しくは画像データ、又はネットワーク等を介して取得した映像データ若しくは画像データの中から、当該所望の映像若しくは画像と部分的に類似するパターンを有する映像データ若しくは画像データを検索することができる。
【００９０】
また、この信号処理装置を画像符号化装置に設け、予め類似するパターンを別途まとめて符号化する前処理を行うことにより、符号化効率を向上させることができる。
【００９１】
なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【００９２】
例えば、上述の説明では、最も一般的な類似性評価量である２次誤差エネルギを最小化する手法、すなわち相関法を用いたが、これに限定されるものではなく、他の類似性評価量に対しても適用することができる。
【００９３】
【発明の効果】
以上詳細に説明したように本発明に係る信号処理方法は、複数の画像データを入力し、当該複数の画像データのうち、少なくとも１つを複数の小領域に分割する分割工程と、上記小領域を他の画像データと類似するように変換したときの変換パラメータを抽出するパラメータ抽出工程と、上記変換パラメータに基づいて求めた類似の度合いを示す値を集計する集計工程と、当該集計の結果に基づき、上記複数の画像データ間の類似性を評価する類似性評価工程とを有することを特徴としている。
【００９４】
ここで、信号処理方法は、上記複数の画像データ間の類似する領域を抽出する類似領域抽出工程をさらに有してもよい。
【００９５】
また、信号処理方法では、相関法を用いて上記変換パラメータを求めることができる。この場合、上記変換パラメータは、例えば上記小領域と上記他の画像データとの相関値が最大となるところにおける位置差及び／又は輝度比であり、上記集計工程では、このパラメータを軸とする空間に、上記複数の画像データ間の類似度に基づく値が集計される。
【００９６】
このような信号処理方法では、入力された複数の画像データの少なくとも１つが複数の小領域に分割され、その小領域毎に他の画像データとの類似性が求められ、それらを集計することによって複数の画像データ間の類似性が評価される。また、その類似性に基づいて、複数の画像データ間の類似する領域が抽出される。
【００９７】
これにより、従来検出できなかった、部分的に類似するパターンを含む任意の画像データの類似性を評価し、また、類似領域を抽出することができる。
【００９８】
また、本発明に係る信号処理方法は、記録手段に記録されている画像データを再生する再生工程と、再生されている上記画像データの中から所望の画像データを指定する指定工程と、上記所望の画像データを複数の小領域に分割する分割工程と、上記小領域を上記記録手段に記録されている検索対象画像データと類似するように変換したときの変換パラメータを抽出するパラメータ抽出工程と、上記変換パラメータに基づいて求めた類似の度合いを示す値を集計する集計工程と、当該集計の結果に基づき、上記所望の画像データと上記検索対象画像データとの類似性を評価する類似性評価工程と、上記所望の画像データと上記検索対象画像データとが類似する領域を検出する類似領域検出工程とを有することを特徴としている。
【００９９】
このような信号処理方法では、再生されている画像データの中から所望の画像データが指定されると、その画像データが複数の小領域に分割され、その小領域毎に記録手段に記録されている検索対象画像データとの類似性が求められ、それらを集計することによって複数の画像データ間の類似性が評価され、その類似性に基づいて類似する領域が抽出される。
【０１００】
これにより、再生している画像データのうち所望の画像データを指定することで、記録媒体に記録されている画像データの中から、当該所望の画像データと部分的に類似するパターンを有する画像データを検索することができる。
【０１０１】
また、本発明に係る信号処理方法は、複数の画像データを入力し、当該複数の画像データのうち、少なくとも１つの画像データを複数の小領域に分割する分割工程と、上記小領域を他の画像データと類似するように変換したときの変換パラメータを抽出するパラメータ抽出工程と、上記変換パラメータに基づいて求めた類似の度合いを示す値を集計する集計工程と、当該集計の結果に基づき、上記複数の画像データ間の類似性を評価する類似性評価工程と、上記複数の画像データ間の類似する領域を検出する類似領域抽出工程と、上記類似領域抽出工程で抽出された上記複数の画像データ間の類似する領域を符号化する第１の符号化工程と、上記類似する領域以外を符号化する第２の符号化工程とを有することを特徴としている。
【０１０２】
ここで、上記第１の符号化工程では、例えば上記類似する区間の位置差、輝度比及び当該類似する領域の形状の情報が符号化される。
【０１０３】
このような信号処理方法では、入力された複数の画像データの少なくとも１つが複数の小領域に分割され、その小領域毎に他の画像データとの類似性が求められ、それらを集計することによって複数の画像データ間の類似性が評価される。そして、その類似性に基づいて、複数の画像データ間の類似する領域が抽出され、その類似する領域とそれ以外の領域とが別々に符号化される。
【０１０４】
これにより、通常の符号化方法によって符号化する場合と比較して、符号化効率を向上させることができる。
【０１０５】
また、本発明に係る信号処理装置は、複数の画像データを入力し、当該複数の画像データのうち、少なくとも１つを複数の小領域に分割する分割手段と、上記小領域を他の画像データと類似するように変換したときの変換パラメータを抽出するパラメータ抽出手段と、上記変換パラメータに基づいて求めた類似の度合いを示す値を集計する集計手段と、当該集計の結果に基づき、上記複数の画像データ間の類似性を評価する類似性評価手段とを備えることを特徴としている。
【０１０８】
このような信号処理装置は、入力された複数の画像データの少なくとも１つを複数の小領域に分割し、その小領域毎に他の画像データとの類似性を求め、それらを集計することによって複数の画像データ間の類似性を評価する。
【０１０９】
これにより、従来検出できなかった、部分的に類似するパターンを含む任意の画像データの類似性を評価し、また、類似領域を抽出することができる。
【０１１０】
また、本発明に係る信号処理装置は、複数の画像データを記録する記録手段と、上記記録手段に記録されている画像データを再生する再生手段と、再生されている上記画像データの中から所望の画像データを指定する指定手段と、上記所望の画像データを複数の小領域に分割する分割手段と、上記小領域を上記記録手段に記録されている検索対象画像データと類似するように変換したときの変換パラメータを抽出するパラメータ抽出手段と、上記変換パラメータにに基づいて求めた類似の度合いを示す値を集計する集計手段と、当該集計の結果に基づき、上記所望の画像データと上記検索対象画像データとの類似性を評価する類似性評価手段と、上記所望の画像データと上記検索対象画像データとが類似する領域を検出する類似領域検出手段とを備えることを特徴としている。
【０１１１】
このような信号処理装置は、再生されている画像データの中から所望の画像データが指定されると、その画像データを複数の小領域に分割し、その小領域毎に記録手段に記録されている検索対象画像データとの類似性を求め、それらを集計することによって複数の画像データ間の類似性を評価して、その類似性に基づいて類似する領域を抽出する。
【０１１２】
これにより、再生している画像データのうち所望の画像を指定することで、記録媒体に記録されている画像データの中から、当該所望の画像と部分的に類似するパターンを有する画像データを検索することができる。
【０１１３】
また、本発明に係る信号処理装置は、複数の画像データを入力し、当該複数の画像データのうち、少なくとも１つの画像データを複数の小領域に分割する分割手段と、上記小領域を他の画像データと類似するように変換したときの変換パラメータを抽出するパラメータ抽出手段と、上記変換パラメータに基づいて求めた類似の度合いを示す値を集計する集計手段と、当該集計の結果に基づき、上記複数の画像データ間の類似性を評価する類似性評価手段と、上記複数の画像データ間の類似する領域を検出する類似領域抽出手段と、上記類似領域抽出手段によって抽出された上記複数の画像データ間の類似する領域を符号化する第１の符号化手段と、上記類似する領域以外を符号化する第２の符号化手段とを備えることを特徴としている。
【０１１５】
このような信号処理装置は、入力された複数の画像データの少なくとも１つを複数の小領域に分割し、その小領域毎に他の画像データとの類似性を求め、それらを集計することによって複数の画像データ間の類似性を評価する。そして、その類似性に基づいて、複数の画像データ間の類似する領域を抽出して、その類似する領域とそれ以外の領域とを別々に符号化する。
【０１１６】
これにより、通常の符号化方法によって符号化する場合と比較して、符号化効率を向上させることができる。
【０１１７】
また、本発明に係る信号処理プログラムは、複数の画像データを入力し、当該複数の画像データのうち、少なくとも１つを複数の小領域に分割する分割工程と、上記小領域を他の画像データと類似するように変換したときの変換パラメータを抽出するパラメータ抽出工程と、上記変換パラメータに基づいて求めた類似の度合いを示す値を集計する集計工程と、当該集計の結果に基づき、上記複数の画像データ間の類似性を評価する類似性評価工程とを有することを特徴としている。
【０１２０】
このような信号処理プログラムは、入力された複数の画像データの少なくとも１つを複数の小領域に分割し、その小領域毎に他の画像データとの類似性を求め、それらを集計することによって複数の画像データ間の類似性を評価する。
【０１２１】
これにより、従来検出できなかった、部分的に類似するパターンを含む任意の画像データの類似性を評価し、また、類似領域を抽出することができる。
【０１２９】
また、本発明に係る記録媒体は、複数の画像データを入力し、当該複数の画像データのうち、少なくとも１つを複数の小領域に分割する分割工程と、上記小領域を他の画像データと類似するように変換したときの変換パラメータを抽出するパラメータ抽出工程と、上記変換パラメータに基づいて求めた類似の度合いを示す値を集計する集計工程と、当該集計の結果に基づき、上記複数の画像データ間の類似性を評価する類似性評価工程とを有することを特徴とする信号処理プログラムが記録されたコンピュータ制御可能なものである。
【０１３２】
このような記録媒体に記録されている信号処理プログラムは、入力された複数の画像データの少なくとも１つを複数の小領域に分割し、その小領域毎に他の画像データとの類似性を求め、それらを集計することによって複数の画像データ間の類似性を評価する。
【０１３３】
これにより、従来検出できなかった、部分的に類似するパターンを含む任意の画像データの類似性を評価し、また、類似領域を抽出することができる。
【図面の簡単な説明】
【図１】本実施の形態における信号処理装置の概略構成を説明する図である。
【図２】同信号処理装置の動作を説明する図であり、同図（Ａ）は、第１の画像を小領域に分割する様子を示し、同図（Ｂ）は、第２の画像中で類似する領域を相関法により検出する様子を示し、同図（Ｃ）は、その領域のパラメータを投票空間に投票する様子を示す。
【図３】同信号処理装置の動作を説明するフローチャートである。
【図４】同信号処理装置を適用した映像／画像検索装置の概略構成を説明する図である。
【図５】同映像／画像検索装置の動作を説明するフローチャートである。
【図６】同信号処理装置を適用した画像符号化装置の概略構成を説明する図である。
【図７】同画像符号化装置の動作を説明するフローチャートである。
【図８】同画像符号化装置の動作を説明する図であり、同図（Ａ）は、類似領域ａが検出された様子を示し、同図（Ｂ）は、類似領域ｂが検出された様子を示し、同図（Ｃ）は、第２の画像から類似領域が減算された様子を示す。
【図９】同一のロゴが含まれる画像の例を説明する図である。
【符号の説明】
１０ 信号処理装置、１１ 第１の前処理部、１２ 領域分割部、１３ 第２の前処理部、１４ 類似度計算部、１５ 投票部、１６ 類似判定部、１７ 類似領域検出部、２０ 映像／画像検索装置、２１ 記録部、２２ 再生／表示部、２３ 入力部、２４ 類似探索部、３０ 画像符号化装置、３１ 類似領域検出部、３２ 類似成分分離部、３３ 類似成分符号化部、３４ 類似成分減算部、３５ 画像符号化部、３６ 統合部
【発明の属する技術分野】
本発明は、信号処理方法及び装置に関し、特に、複数の画像データ内に類似するパターンが含まれる場合の類似性を評価する信号処理方法及びその装置、信号処理プログラム、並びに信号処理プログラムの記録された記録媒体に関する。
【０００２】
【従来の技術】
例えば、映像中の類似するシーン（映像中でひとまとまりとなる時区間）の画像や、コマーシャル中の会社名のロゴや、画像中に挿入された所有者を示す文字やパターンなど、異なる画像中に部分的に同一又は類似するパターンが含まれる場合がある。これらは多くの場合、何らかの関連性を有するために類似するパターンが含まれているのであり、このような類似性を検出し評価することができれば、関連のある画像或いは映像シーンの検索、分類又は収集等を行うことができる。
【０００３】
具体例として、異なる画像上に同一のロゴ“ＡＢＥ”が挿入された画像を図９（Ａ）、（Ｂ）に示す。このようなロゴは、例えば、この２枚の画像の所有者やコマーシャル映像中の商品の提供企業等の情報を表すものである。このように、画像中のどこかの位置にほぼ同じロゴが挿入されることがある。しかしながら、このようなロゴが挿入される位置は、通常予め特定することはできず、また、どのようなパターンが挿入されているのかも通常予め知ることはできない。
【０００４】
また、ロゴのようなものに限らず、同一の人物、動物、物体又は背景等が、異なる画像や映像に挿入されている場合もある。
【０００５】
【発明が解決しようとする課題】
ところで、従来、このように類似するパターンの検索手法としては、予めそのパターンを何らかの方法で別途用意し、相関法やヒストグラム比較法等によって、そのパターンの検出を行う手法が用いられている。
【０００６】
例えば、特開２０００−３１２３４３号公報には、予め登録された映像と同一の映像を高速に検索する技術が開示されている。しかし、このためには予め検索したいものと同一の映像を用意する必要があり、また、映像を構成する画像の一部が類似するものの検出には、この技術が適用できないという問題があった。
【０００７】
また、特開平１１−３２８３１１号公報には、予め登録されたパターンと類似するパターンが他の画像中のどこかの位置に存在する場合に、それを相関法を用いて検出する技術が開示されている。しかし、この技術においても類似するパターンを予め登録しておく必要があり、類似するパターンが予め分からないような任意の２つの画像から、部分的な類似性を検出し評価することができないという問題があった。
【０００８】
本発明は、このような従来の実情に鑑みて提案されたものであり、任意の２つ以上の画像に対して、それらの部分的な類似性を評価し、類似する領域を自動的に抽出する信号処理方法及びその装置、信号処理プログラム、並びに信号処理プログラムの記録された記録媒体を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上述した目的を達成するために、本発明に係る信号処理方法は、複数の画像データを入力し、当該画像データのうち、少なくとも１つを複数の小領域に分割する分割工程と、上記小領域を他の画像データと類似するように変換したときの変換パラメータを抽出するパラメータ抽出工程と、上記変換パラメータに基づいて求めた類似の度合いを示す値を集計する集計工程と、当該集計の結果に基づき、上記複数の画像データ間の類似性を評価する類似性評価工程と、上記複数の画像データ間の類似する領域を抽出する類似領域抽出工程とを有し、上記変換パラメータは、上記小領域と上記他の画像データとの上記類似の度合を示す値が少なくとも最大となるところにおける位置差及び／又は輝度比であり、上記類似領域抽出工程では、上記集計の結果が少なくとも最大となるところにおける上記変換パラメータと略等しい変換パラメータの抽出された上記小領域が抽出されることを特徴としている。
【００１０】
ここで、信号処理方法は、上記複数の画像データ間の類似する領域を抽出する類似領域抽出工程をさらに有してもよい。
【００１１】
また、信号処理方法では、相関法を用いて上記変換パラメータを求めることができる。この場合、上記集計工程では、この変換パラメータを軸とする空間に、上記複数の画像データ間の類似の度合いを示す値が集計される。
【００１２】
このような信号処理方法では、入力された複数の画像データの少なくとも１つが複数の小領域に分割され、その小領域毎に他の画像データとの類似性が求められ、それらを集計することによって複数の画像データ間の類似性が評価される。また、その類似性に基づいて、複数の画像データ間の類似する領域が抽出される。
【００１３】
また、上述した目的を達成するために、本発明に係る信号処理方法は、記録手段に記録されている画像データを再生する再生工程と、再生されている上記画像データの中から所望の画像データを指定する指定工程と、上記所望の画像データを複数の小領域に分割する分割工程と、上記小領域を上記記録手段に記録されている検索対象画像データと類似するように変換したときの変換パラメータを抽出するパラメータ抽出工程と、上記変換パラメータに基づいて求めた類似の度合いを示す値を集計する集計工程と、当該集計の結果に基づき、上記所望の画像データと上記検索対象画像データとの類似性を評価する類似性評価工程と、上記所望の画像データと上記検索対象画像データとが類似する領域を検出する類似領域検出工程とを有し、上記変換パラメータは、上記小領域と上記他の画像データとの上記類似の度合を示す値が少なくとも最大となるところにおける位置差及び／又は輝度比であり、上記類似領域検出工程では、上記集計の結果が少なくとも最大となるところにおける上記変換パラメータと略等しい変換パラメータの抽出された上記小領域が抽出されることを特徴としている。
【００１４】
このような信号処理方法では、再生されている画像データの中から所望の画像データが指定されると、その画像データが複数の小領域に分割され、その小領域毎に記録手段に記録されている検索対象画像データとの類似性が求められ、それらを集計することによって複数の画像データ間の類似性が評価され、その類似性に基づいて類似する領域が抽出される。
【００１５】
また、上述した目的を達成するために、本発明に係る信号処理方法は、複数の画像データを入力し、当該複数の画像データのうち、少なくとも１つの画像データを複数の小領域に分割する分割工程と、上記小領域を他の画像データと類似するように変換したときの変換パラメータを抽出するパラメータ抽出工程と、上記変換パラメータに基づいて求めた類似の度合いを示す値を集計する集計工程と、当該集計の結果に基づき、上記複数の画像データ間の類似性を評価する類似性評価工程と、上記複数の画像データ間の類似する領域を検出する類似領域抽出工程と、上記類似領域抽出工程で抽出された上記複数の画像データ間の類似する領域を符号化する第１の符号化工程と、上記類似する領域以外を符号化する第２の符号化工程とを有し、上記変換パラメータは、上記小領域と上記他の画像データとの上記類似の度合を示す値が少なくとも最大となるところにおける位置差及び／又は輝度比であり、上記類似領域抽出工程では、上記集計の結果が少なくとも最大となるところにおける上記変換パラメータと略等しい変換パラメータの抽出された上記小領域が抽出されることを特徴としている。
【００１６】
ここで、上記第１の符号化工程では、例えば上記類似する区間の位置差、輝度比及び当該類似する領域の形状の情報が符号化される。
【００１７】
このような信号処理方法では、入力された複数の画像データの少なくとも１つが複数の小領域に分割され、その小領域毎に他の画像データとの類似性が求められ、それらを集計することによって複数の画像データ間の類似性が評価される。そして、その類似性に基づいて、複数の画像データ間の類似する領域が抽出され、その類似する領域とそれ以外の領域とが別々に符号化される。
【００１８】
また、上述した目的を達成するために、本発明に係る信号処理装置は、複数の画像データを入力し、当該画像データのうち、少なくとも１つを複数の小領域に分割する分割手段と、上記小領域を他の画像データと類似するように変換したときの変換パラメータを抽出するパラメータ抽出手段と、上記変換パラメータに基づいて求めた類似の度合いを示す値を集計する集計手段と、当該集計の結果に基づき、上記複数の画像データ間の類似性を評価する類似性評価手段と、上記複数の画像データ間の類似する領域を抽出する類似領域抽出手段とを備え、上記変換パラメータは、上記小領域と上記他の画像データとの上記類似の度合を示す値が少なくとも最大となるところにおける位置差及び／又は輝度比であり、上記類似領域抽出手段は、上記集計の結果が少なくとも最大となるところにおける上記変換パラメータと略等しい変換パラメータの抽出された上記小領域を抽出することを特徴としている。
【００２１】
このような信号処理装置は、入力された複数の画像データの少なくとも１つを複数の小領域に分割し、その小領域毎に他の画像データとの類似性を求め、それらを集計することによって複数の画像データ間の類似性を評価する。
【００２２】
また、上述した目的を達成するために、本発明に係る信号処理装置は、複数の画像データを記録する記録手段と、上記記録手段に記録されている画像データを再生する再生手段と、再生されている上記画像データの中から所望の画像データを指定する指定手段と、上記所望の画像データを複数の小領域に分割する分割手段と、上記小領域を上記記録手段に記録されている検索対象画像データと類似するように変換したときの変換パラメータを抽出するパラメータ抽出手段と、上記変換パラメータに基づいて求めた類似の度合いを示す値を集計する集計手段と、当該集計の結果に基づき、上記所望の画像データと上記検索対象画像データとの類似性を評価する類似性評価手段と、上記所望の画像データと上記検索対象画像データとが類似する領域を検出する類似領域検出手段を備え、上記変換パラメータは、上記小領域と上記他の画像データとの上記類似の度合を示す値が少なくとも最大となるところにおける位置差及び／又は輝度比であり、上記類似領域検出手段は、上記集計の結果が少なくとも最大となるところにおける上記変換パラメータと略等しい変換パラメータの抽出された上記小領域を抽出することを特徴としている。
【００２３】
このような信号処理装置は、再生されている画像データの中から所望の画像データが指定されると、その画像データを複数の小領域に分割し、その小領域毎に記録手段に記録されている検索対象画像データとの類似性を求め、それらを集計することによって複数の画像データ間の類似性を評価して、その類似性に基づいて類似する領域を抽出する。
【００２４】
また、上述した目的を達成するために、本発明に係る信号処理装置は、複数の画像データを入力し、当該複数の画像データのうち、少なくとも１つの画像データを複数の小領域に分割する分割手段と、上記小領域を他の画像データと類似するように変換したときの変換パラメータを抽出するパラメータ抽出手段と、上記変換パラメータに基づいて求めた類似の度合いを示す値を集計する集計手段と、当該集計の結果に基づき、上記複数の画像データ間の類似性を評価する類似性評価手段と、上記複数の画像データ間の類似する領域を検出する類似領域抽出手段と、上記類似領域抽出手段によって抽出された上記複数の画像データ間の類似する領域を符号化する第１の符号化手段と、上記類似する領域以外を符号化する第２の符号化手段とを備え、上記変換パラメータは、上記小領域と上記他の画像データとの上記類似の度合を示す値が少なくとも最大となるところにおける位置差及び／又は輝度比であり、上記類似領域抽出手段は、上記集計の結果が少なくとも最大となるところにおける上記変換パラメータと略等しい変換パラメータの抽出された上記小領域を抽出することを特徴としている。
【００２６】
このような信号処理装置は、入力された複数の画像データの少なくとも１つを複数の小領域に分割し、その小領域毎に他の画像データとの類似性を求め、それらを集計することによって複数の画像データ間の類似性を評価する。そして、その類似性に基づいて、複数の画像データ間の類似する領域を抽出して、その類似する領域とそれ以外の領域とを別々に符号化する。
【００２７】
また、上述した目的を達成するために、本発明に係る信号処理プログラムは、複数の画像データを入力し、当該画像データのうち、少なくとも１つを複数の小領域に分割する分割工程と、上記小領域を他の画像データと類似するように変換したときの変換パラメータを抽出するパラメータ抽出工程と、上記変換パラメータに基づいて求めた類似の度合いを示す値を集計する集計工程と、当該集計の結果に基づき、上記複数の画像データ間の類似性を評価する類似性評価工程と、上記複数の画像データ間の類似する領域を抽出する類似領域抽出工程とを有し、上記変換パラメータは、上記小領域と上記他の画像データとの上記類似の度合を示す値が少なくとも最大となるところにおける位置差及び／又は輝度比であり、上記類似領域抽出工程では、上記集計の結果が少なくとも最大となるところにおける上記変換パラメータと略等しい変換パラメータの抽出された上記小領域が抽出されることを特徴としている。
【００３０】
このような信号処理プログラムは、入力された複数の画像データの少なくとも１つを複数の小領域に分割し、その小領域毎に他の画像データとの類似性を求め、それらを集計することによって複数の画像データ間の類似性を評価する。
【００３６】
また、上述した目的を達成するために、本発明に係る記録媒体は、複数の画像データを入力し、当該複数の画像データのうち、少なくとも１つを複数の小領域に分割する分割工程と、上記小領域を他の画像データと類似するように変換したときの変換パラメータを抽出するパラメータ抽出工程と、上記変換パラメータに基づいて求めた類似の度合いを示す値を集計する集計工程と、当該集計の結果に基づき、上記複数の画像データ間の類似性を評価する類似性評価工程と、上記複数の画像データ間の類似する領域を抽出する類似領域抽出工程とを有し、上記変換パラメータは、上記小領域と上記他の画像データとの上記類似の度合を示す値が少なくとも最大となるところにおける位置差及び／又は輝度比であり、上記類似領域抽出工程では、上記集計の結果が少なくとも最大となるところにおける上記変換パラメータと略等しい変換パラメータの抽出された上記小領域が抽出されることを特徴とする信号処理プログラムが記録されたコンピュータ制御可能なものである。
【００３９】
このような記録媒体に記録されている信号処理プログラムは、入力された複数の画像データの少なくとも１つを複数の小領域に分割し、その小領域毎に他の画像データとの類似性を求め、それらを集計することによって複数の画像データ間の類似性を評価する。
【００４５】
【発明の実施の形態】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。この実施の形態は、本発明を、任意の２つ以上の画像に対して、それらの部分的な類似性を評価し、類似する領域を自動的に抽出する信号処置装置に適用したものである。なお、以下では、入力される画像は、異なる２枚の画像として説明するが、２枚以上の画像であってもよく、また、映像データから得られる複数の画像や、１枚の画像から得られる複数の部分画像であってもよい。
【００４６】
先ず、本実施の形態における信号処理装置の概略構成を図１に示す。図１に示すように、信号処理装置１０は、第１の前処理部１１と、領域分割部１２と、第２の前処理部１３と、類似度計算部１４と、投票部１５と、類似判定部１６と、類似領域検出部１７とを備えている。
【００４７】
第１の前処理部１１は、比較する２つの画像のうち、第１の画像に対して微分、高次微分等の画像特徴を抽出する公知のフィルタ処理や、減色演算、単色化処理又は２値化処理等の公知の変換処理や、エッジ検出、エッジ密度検出又は局所カラーヒストグラム等の特徴量に基づき以降の処理範囲を限定するような処理を施す。なお、上述した処理を組み合わせた前処理を施すようにしてもよく、また、何も処理を施さず、恒等変換を行ってもよい。
【００４８】
領域分割部１２は、第１の画像を小領域に分割する。例えば、図２（Ａ）に示すように、６３個の小領域に分割する。なお、分割数がこれに限定されないことは勿論であり、任意に設定することができる。但し、小領域のサイズは、想定する類似領域よりも十分細かく設定することが好ましい。例えば、前述した図９の例では、ロゴ“ＡＢＥ”が少なくとも複数個に分割される程度に設定するのがよい。また、図２（Ａ）では、それぞれの小領域が重ならないように分割しているが、重なりを持たせて小領域をとるようにしても構わない。
【００４９】
第２の前処理部１３は、比較する２つの画像のうち、第２の画像に対して、第１の前処理部１１と同様の前処理を施す。なお、第１の画像と同様に、何も処理を施さず、恒等変換を行ってもよい。
【００５０】
類似度計算部１４は、領域分割部１２において分割された小領域のそれぞれについて、第２の画像との間で相関を計算する。相関を計算するには、通常は、図２（Ｂ）に示すように、小領域のそれぞれをテンプレートとし、第２の画像の全範囲について相関演算を行う。そして類似度計算部１４は、得られた相関値の中で最も相関値の高いものを探索し、その相関値ｓ、位置差ｄｘ，ｄｙ及び輝度比ｌを取得する。ここで、位置差とは、この小領域の第１の画像における本来の位置と相関値が最大となる位置との相対的な位置関係を示すパラメータである。また、輝度比とは、相関値が最大となる位置において小領域のパターンと第２の画像のパターンとの輝度が最も一致するような小領域のパターンに対する乗算係数である。例えば、映像データの揺らぎなど、第１の画像及び第２の画像を取得したときの条件の違いにより全体的に画像の輝度が違っている場合には、その違いがこの係数となる。また、類似度には相関値の２乗を用いればよい。なお、上述した位置差ｄｘ，ｄｙ、輝度比ｌ、類似度ｓは、相関法以外の方法で等価な特徴量を求めてもよい。
【００５１】
投票部１５は、得られた位置差ｄｘ，ｄｙ、輝度比ｌ及び類似度ｓを投票空間に投票する。投票空間は、図２（Ｃ）に示すように、位置差ｄｘ，ｄｙと輝度比ｌを変数とし、類似度ｓの積算値を値とする特徴空間であり、小領域から得られる位置差ｄｘ，ｄｙ、輝度比ｌの位置に類似度ｓを積算する。なお、図２（Ｃ）では、位置差ｄｘ，ｄｙを１つの軸で図示したが、一般の画像の場合、水平方向と垂直方向との２つの軸があるため、投票空間の変数は３つとなる。また、演算効率を上げる場合には、いずれかの軸を省略して次元を減らすようにしてもよい。
【００５２】
第１の画像と第２の画像との間に類似する部分が含まれている場合、該当する小領域においては、そのパターンが類似するため、類似度ｓは高く、その位置差ｄｘ，ｄｙ及び輝度比ｌは他の小領域と概ね一致する。
【００５３】
一方、類似しない部分に該当する小領域では、偶然に最も類似する位置にて最大となる類似度が取得されるため、概してその類似度ｓは低く、その位置差ｄｘ，ｄｙ及び輝度比ｌは、他の小領域とは無関係なものとなる。
【００５４】
従って、類似する部分がある場合には、それに対応する複数の小領域の投票が同じ位置に集中するため、有意な大きさのピークを形成することが期待され、類似する部分がない場合には、そもそも類似度が小さく、また、全ての投票が異なる位置に分散するため、有意なピークは形成されない。
そこで類似判定部１６は、全ての小領域に関して投票が行われた後、投票空間中の最大類似度ｓｍを探索し、その最大類似度ｓｍを閾値ｓｔｈｓｄと比較することで、類似判定を行う。
【００５５】
類似領域検出部１７は、類似判定部１６において類似していると判定された場合に、類似している領域を検出する。類似領域検出部１７は、例えば、各小領域の位置差ｄｘ，ｄｙ及び輝度比ｌがピーク位置の位置差ｄｘｍ，ｄｙｍ及び輝度比ｌｍと十分近いもののみを選択することで、類似領域を検出する。
【００５６】
以下、上述したような構成を有する信号処理装置１０の動作について、図３のフローチャートを用いて説明する。先ずステップＳ１０において、第１の画像及び第２の画像に対して上述したような前処理を施す。
【００５７】
次にステップＳ１１において、第１の画像を上述したように小領域に分割し、続くステップＳ１２において、その小領域の中から１つの小領域を選択する。
【００５８】
ステップＳ１３では、ステップＳ１２において選択された小領域について、第２の画像との相関を計算する。すなわち例えば、選択した小領域について、第２の画像の全範囲で相関法を用いることにより、第２の画像との相関を計算する。
【００５９】
ステップＳ１４では、ステップＳ１３において得られた類似度の中で最も大きいものを探索し、その類似度ｓ、位置差ｄｘ，ｄｙ及び輝度比ｌを取得する。
【００６０】
続くステップＳ１５では、ステップＳ１４において得られた類似度ｓ、位置差ｄｘ，ｄｙ及び輝度比ｌを投票空間に投票する。すなわち、小領域から得られる位置差ｄｘ，ｄｙ及び輝度比ｌの位置に類似度ｓを積算する。
【００６１】
ステップＳ１６では、全ての小領域について処理を終えたか否かが判別される。ステップＳ１６において、処理を終えていない小領域がある場合には、ステップＳ１２に戻って、残りの小領域について上述の処理を繰り返し、全ての小領域の処理を終えている場合には、ステップＳ１７に進む。
【００６２】
ステップＳ１７では、投票空間中の最大類似度ｓｍを探索して取得し、続くステップＳ１８では、その最大類似度ｓｍが所定の閾値ｓｔｈｓｄを超えているか否かが判別される。ステップＳ１８において、最大類似度ｓｍが所定の閾値ｓｔｈｓｄを超えていない場合（No）、有意なピークが形成されていないとしてステップＳ２１に進み、第１の画像と第２の画像とは類似しないと判定して終了する。ステップＳ１８において、最大類似度ｓｍが所定の閾値ｓｔｈｓｄを超えている場合（Yes）、有意なピークが形成されているとしてステップＳ１９に進む。
【００６３】
ステップＳ１９では、第１の画像と第２の画像とは類似していると判定し、その位置差ｄｘｍ，ｄｙｍ及び輝度比ｌｍを取得する。また、第１の画像と第２の画像との類似度をｓｍとする。
【００６４】
ステップＳ２０では、類似している領域を検出する。すなわち、各小領域の位置差ｄｘ，ｄｙ及び輝度比ｌがピーク位置の位置差ｄｘｍ，ｄｙｍ及び輝度比ｌｍと十分近いもののみを選択して終了する。
【００６５】
このように、本実施の形態における信号処理装置１０は、類似するパターンが予め分からないような任意の２つの画像に対しても、有意に類似又は非類似の検出、評価が可能とされる。
【００６６】
また、上述したように、信号処理装置１０は、各小領域の位置差ｄｘ，ｄｙ及び輝度比ｌがピーク位置の位置差ｄｘｍ，ｄｙｍ及び輝度比ｌｍと十分近いもののみを選択することで、類似している領域を検出することができる。
【００６７】
なお、上述の説明では、小領域毎に第２の画像との相関が最も高くなる１カ所における類似度ｓ、位置差ｄｘ，ｄｙ及び輝度比ｌを取得して投票するものとして説明したが、これに限定されるものではなく、相関の高い数カ所の類似度ｓ、位置差ｄｘ，ｄｙ及び輝度比ｌを取得して投票するようにしても構わない。
【００６８】
また、上述の説明では、投票空間のピーク位置での最大類似度ｓｍについてのみ閾値sｔｈｓｄと比較し、閾値sｔｈｓｄを超えている場合に、そのピークに投票した小領域を逆に求めたが、これに限定されるものではなく、閾値sｔｈｓｄを超えるピーク全てについて、そのピークに投票した小領域を求めるようにしても構わない。これにより、第２の画像中に第１の画像と類似する部分が複数ある場合にも、それらの全てを抽出することができる。
【００６９】
以上説明した信号処理装置１０は、例えば図４に示すような映像／画像検索装置２０に用いることができる。この映像／画像検索装置２０は、記録された映像若しくは画像等から類似する部分を検索するものである。
【００７０】
図４に示すように、映像／画像検索装置２０は、記録部２１と、再生／表示部２２と、入力部２３と、類似探索部２４とを備えている。ここで、類似探索部２４は、上述した信号処理装置１０に相当するものである。
【００７１】
このような構成を有する映像／画像検索装置２０の動作について、図５のフローチャートを用いて説明する。ここで、記録部２１には、映像データや画像データが記録されている。先ずステップＳ３０において、ユーザは、記録部２１に記録されている信号、或いは実時間で放送されている信号を再生／表示部２２にて再生する。
【００７２】
次にステップＳ３１において、その中で検索したい画像或いはフレームを入力部２３を介して指定する。指定された箇所は、類似探索部２４に通知される。
【００７３】
続いてステップＳ３２において、類似探索部２４は、記録部２１に記録されている検索対象データから類似部分がある映像データ又は画像データを探索する。
【００７４】
なお、検索対象となる映像データ、画像データは、磁気記録媒体等に予め記録されているものに限らず、実時間で放送されている信号やネットワークを介して得られる信号であってもよい。ここで、実時間放送の場合には、受信しながら類似部分がある映像データ又は画像データを待つことになる。
【００７５】
類似部分が発見されると、ステップＳ３３において、それを再生／表示部２２に表示して終了する。
【００７６】
なお、上述の例では、ユーザが再生されている映像データ又は画像データの中で検索したい画像或いはフレームを指定するものとして説明したが、これに限定されるものではなく、例えばユーザが映像データ又は画像データのファイル名等を指定し、指定されたファイル名の映像データ又は画像データに類似する映像データ又は画像データを検索するようにしても構わない。また、上述の例では、ユーザが検索したい画像或いはフレームを直接指定するものとして説明したが、これに限定されるものではなく、例えば他の装置とのインターフェースを介して指定されるようにしても構わない。
【００７７】
このような映像／画像検索装置２０によれば、例えば放送のコマーシャル部分をユーザが指定した場合、通例、同一会社の提供するコマーシャル等の関連の強いコマーシャルには類似する部分が含まれているため、そのような関連の強いコマーシャルを検索することができる。また、ユーザが指定した映像データ又は画像データが類似する放送番組に共通に用いられている場合、そのような類似する放送番組を検索することができる。
【００７８】
また、上述した信号処理装置１０は、図６に示すような画像符号化装置３０に用いることもできる。すなわち、上述した信号処理装置１０を画像符号化装置に設け、複数の画像（１つの画像の異なる部分画像である場合を含む）から予め類似する部分を別途まとめて符号化する前処理を行うことで、符号化効率（圧縮効率）を向上させることができる。
【００７９】
この画像符号化装置３０は、図６に示すように、類似領域検出部３１と、類似成分分離部３２と、類似成分符号化部３３と、類似成分減算部３４と、画像符号化部３５と、統合部３６とを備える。ここで、類似領域検出部３１は、上述した信号処理装置１０に相当するものである。
【００８０】
以上のような構成を有する画像符号化装置３０の動作について、図７のフローチャート及び図８を用いて説明する。先ずステップＳ４０において、類似領域検出部３１は、第１の画像及び第２の画像を入力する。
【００８１】
続いてステップＳ４１において、類似領域検出部３１は、第２の画像の中に第１の画像と類似する部分があるか否かを検出する。ステップＳ４１において、類似する部分がある場合（Yes）にはステップＳ４２に進み、類似する部分がない場合にはステップＳ４３に進む。
【００８２】
ステップＳ４２では、図８（Ａ）に示すように、類似成分分離部３２がその類似領域ａの位置ずれ、輝度比及び領域形状を抽出し、類似成分符号化部３３がこれらを符号化してステップＳ４１に戻り、さらに類似する部分を検出する。これにより、図８（Ｂ）に示すように、類似領域ｂが検出され、この類似領域ｂの位置差、輝度比及び領域形状が符号化される。
【００８３】
類似する区間を全て抽出及び符号化した後、ステップＳ４３では、図８（Ｃ）に示すように、類似成分減算部３４が、第２の画像から第１の画像と類似する部分を減算する。
【００８４】
ステップＳ４４では、画像符号化部３５が第１の画像と類似部分が減算された第２の画像とを符号化する。この符号化には、例えばＤＣＴ（Discrete Cosine Transform）法やWavelet法等の，一般的な画像符号化法を用いることができる。
【００８５】
ステップＳ４５では、統合部３６が、ステップＳ４２で符号化された類似領域の位置差等の情報とステップＳ４４で符号化された第１の画像及び第２の画像とを１つの符号系列として統合して出力して終了する。
【００８６】
この画像符号化装置３０によれば、第１の画像では、一般的な符号化方法がそのまま適用されるため、符号化効率は、一般的な符号化方法によるものと変わらないが、第２の画像では、第１の画像と類似する部分が予め減算されており、情報量が減少する。このため、通常の符号化方法をそのまま適用するよりも符号化効率を向上させることができる。
【００８７】
また、この画像符号化装置３０の手法を、複数画像が連続する動画の圧縮に適用すると、ＭＰＥＧ２（Moving Picture Experts Group 2）等の圧縮方式で用いられている動きベクトルの効果的な検出手法として利用することができる。
【００８８】
以上説明したように、本実施の形態における信号処理装置によれば、入力された複数の画像データの少なくとも１つを小領域に分割し、その小領域毎に他の画像データとの類似性を求め、それらを統合して全体の類似性を評価することにより、従来検出できなかった、部分的に類似するパターンを含む任意の画像データの類似性を評価し、また、類似領域を抽出することができる。
【００８９】
また、信号処理装置を映像／画像検索装置に設けることにより、再生している映像データ或いは画像データのうち所望の映像若しくは画像を指定することで、記録媒体に記録されている映像データ若しくは画像データ、又はネットワーク等を介して取得した映像データ若しくは画像データの中から、当該所望の映像若しくは画像と部分的に類似するパターンを有する映像データ若しくは画像データを検索することができる。
【００９０】
また、この信号処理装置を画像符号化装置に設け、予め類似するパターンを別途まとめて符号化する前処理を行うことにより、符号化効率を向上させることができる。
【００９１】
なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【００９２】
例えば、上述の説明では、最も一般的な類似性評価量である２次誤差エネルギを最小化する手法、すなわち相関法を用いたが、これに限定されるものではなく、他の類似性評価量に対しても適用することができる。
【００９３】
【発明の効果】
以上詳細に説明したように本発明に係る信号処理方法は、複数の画像データを入力し、当該複数の画像データのうち、少なくとも１つを複数の小領域に分割する分割工程と、上記小領域を他の画像データと類似するように変換したときの変換パラメータを抽出するパラメータ抽出工程と、上記変換パラメータに基づいて求めた類似の度合いを示す値を集計する集計工程と、当該集計の結果に基づき、上記複数の画像データ間の類似性を評価する類似性評価工程とを有することを特徴としている。
【００９４】
ここで、信号処理方法は、上記複数の画像データ間の類似する領域を抽出する類似領域抽出工程をさらに有してもよい。
【００９５】
また、信号処理方法では、相関法を用いて上記変換パラメータを求めることができる。この場合、上記変換パラメータは、例えば上記小領域と上記他の画像データとの相関値が最大となるところにおける位置差及び／又は輝度比であり、上記集計工程では、このパラメータを軸とする空間に、上記複数の画像データ間の類似度に基づく値が集計される。
【００９６】
このような信号処理方法では、入力された複数の画像データの少なくとも１つが複数の小領域に分割され、その小領域毎に他の画像データとの類似性が求められ、それらを集計することによって複数の画像データ間の類似性が評価される。また、その類似性に基づいて、複数の画像データ間の類似する領域が抽出される。
【００９７】
これにより、従来検出できなかった、部分的に類似するパターンを含む任意の画像データの類似性を評価し、また、類似領域を抽出することができる。
【００９８】
また、本発明に係る信号処理方法は、記録手段に記録されている画像データを再生する再生工程と、再生されている上記画像データの中から所望の画像データを指定する指定工程と、上記所望の画像データを複数の小領域に分割する分割工程と、上記小領域を上記記録手段に記録されている検索対象画像データと類似するように変換したときの変換パラメータを抽出するパラメータ抽出工程と、上記変換パラメータに基づいて求めた類似の度合いを示す値を集計する集計工程と、当該集計の結果に基づき、上記所望の画像データと上記検索対象画像データとの類似性を評価する類似性評価工程と、上記所望の画像データと上記検索対象画像データとが類似する領域を検出する類似領域検出工程とを有することを特徴としている。
【００９９】
このような信号処理方法では、再生されている画像データの中から所望の画像データが指定されると、その画像データが複数の小領域に分割され、その小領域毎に記録手段に記録されている検索対象画像データとの類似性が求められ、それらを集計することによって複数の画像データ間の類似性が評価され、その類似性に基づいて類似する領域が抽出される。
【０１００】
これにより、再生している画像データのうち所望の画像データを指定することで、記録媒体に記録されている画像データの中から、当該所望の画像データと部分的に類似するパターンを有する画像データを検索することができる。
【０１０１】
また、本発明に係る信号処理方法は、複数の画像データを入力し、当該複数の画像データのうち、少なくとも１つの画像データを複数の小領域に分割する分割工程と、上記小領域を他の画像データと類似するように変換したときの変換パラメータを抽出するパラメータ抽出工程と、上記変換パラメータに基づいて求めた類似の度合いを示す値を集計する集計工程と、当該集計の結果に基づき、上記複数の画像データ間の類似性を評価する類似性評価工程と、上記複数の画像データ間の類似する領域を検出する類似領域抽出工程と、上記類似領域抽出工程で抽出された上記複数の画像データ間の類似する領域を符号化する第１の符号化工程と、上記類似する領域以外を符号化する第２の符号化工程とを有することを特徴としている。
【０１０２】
ここで、上記第１の符号化工程では、例えば上記類似する区間の位置差、輝度比及び当該類似する領域の形状の情報が符号化される。
【０１０３】
このような信号処理方法では、入力された複数の画像データの少なくとも１つが複数の小領域に分割され、その小領域毎に他の画像データとの類似性が求められ、それらを集計することによって複数の画像データ間の類似性が評価される。そして、その類似性に基づいて、複数の画像データ間の類似する領域が抽出され、その類似する領域とそれ以外の領域とが別々に符号化される。
【０１０４】
これにより、通常の符号化方法によって符号化する場合と比較して、符号化効率を向上させることができる。
【０１０５】
また、本発明に係る信号処理装置は、複数の画像データを入力し、当該複数の画像データのうち、少なくとも１つを複数の小領域に分割する分割手段と、上記小領域を他の画像データと類似するように変換したときの変換パラメータを抽出するパラメータ抽出手段と、上記変換パラメータに基づいて求めた類似の度合いを示す値を集計する集計手段と、当該集計の結果に基づき、上記複数の画像データ間の類似性を評価する類似性評価手段とを備えることを特徴としている。
【０１０８】
このような信号処理装置は、入力された複数の画像データの少なくとも１つを複数の小領域に分割し、その小領域毎に他の画像データとの類似性を求め、それらを集計することによって複数の画像データ間の類似性を評価する。
【０１０９】
これにより、従来検出できなかった、部分的に類似するパターンを含む任意の画像データの類似性を評価し、また、類似領域を抽出することができる。
【０１１０】
また、本発明に係る信号処理装置は、複数の画像データを記録する記録手段と、上記記録手段に記録されている画像データを再生する再生手段と、再生されている上記画像データの中から所望の画像データを指定する指定手段と、上記所望の画像データを複数の小領域に分割する分割手段と、上記小領域を上記記録手段に記録されている検索対象画像データと類似するように変換したときの変換パラメータを抽出するパラメータ抽出手段と、上記変換パラメータにに基づいて求めた類似の度合いを示す値を集計する集計手段と、当該集計の結果に基づき、上記所望の画像データと上記検索対象画像データとの類似性を評価する類似性評価手段と、上記所望の画像データと上記検索対象画像データとが類似する領域を検出する類似領域検出手段とを備えることを特徴としている。
【０１１１】
このような信号処理装置は、再生されている画像データの中から所望の画像データが指定されると、その画像データを複数の小領域に分割し、その小領域毎に記録手段に記録されている検索対象画像データとの類似性を求め、それらを集計することによって複数の画像データ間の類似性を評価して、その類似性に基づいて類似する領域を抽出する。
【０１１２】
これにより、再生している画像データのうち所望の画像を指定することで、記録媒体に記録されている画像データの中から、当該所望の画像と部分的に類似するパターンを有する画像データを検索することができる。
【０１１３】
また、本発明に係る信号処理装置は、複数の画像データを入力し、当該複数の画像データのうち、少なくとも１つの画像データを複数の小領域に分割する分割手段と、上記小領域を他の画像データと類似するように変換したときの変換パラメータを抽出するパラメータ抽出手段と、上記変換パラメータに基づいて求めた類似の度合いを示す値を集計する集計手段と、当該集計の結果に基づき、上記複数の画像データ間の類似性を評価する類似性評価手段と、上記複数の画像データ間の類似する領域を検出する類似領域抽出手段と、上記類似領域抽出手段によって抽出された上記複数の画像データ間の類似する領域を符号化する第１の符号化手段と、上記類似する領域以外を符号化する第２の符号化手段とを備えることを特徴としている。
【０１１５】
このような信号処理装置は、入力された複数の画像データの少なくとも１つを複数の小領域に分割し、その小領域毎に他の画像データとの類似性を求め、それらを集計することによって複数の画像データ間の類似性を評価する。そして、その類似性に基づいて、複数の画像データ間の類似する領域を抽出して、その類似する領域とそれ以外の領域とを別々に符号化する。
【０１１６】
これにより、通常の符号化方法によって符号化する場合と比較して、符号化効率を向上させることができる。
【０１１７】
また、本発明に係る信号処理プログラムは、複数の画像データを入力し、当該複数の画像データのうち、少なくとも１つを複数の小領域に分割する分割工程と、上記小領域を他の画像データと類似するように変換したときの変換パラメータを抽出するパラメータ抽出工程と、上記変換パラメータに基づいて求めた類似の度合いを示す値を集計する集計工程と、当該集計の結果に基づき、上記複数の画像データ間の類似性を評価する類似性評価工程とを有することを特徴としている。
【０１２０】
このような信号処理プログラムは、入力された複数の画像データの少なくとも１つを複数の小領域に分割し、その小領域毎に他の画像データとの類似性を求め、それらを集計することによって複数の画像データ間の類似性を評価する。
【０１２１】
これにより、従来検出できなかった、部分的に類似するパターンを含む任意の画像データの類似性を評価し、また、類似領域を抽出することができる。
【０１２９】
また、本発明に係る記録媒体は、複数の画像データを入力し、当該複数の画像データのうち、少なくとも１つを複数の小領域に分割する分割工程と、上記小領域を他の画像データと類似するように変換したときの変換パラメータを抽出するパラメータ抽出工程と、上記変換パラメータに基づいて求めた類似の度合いを示す値を集計する集計工程と、当該集計の結果に基づき、上記複数の画像データ間の類似性を評価する類似性評価工程とを有することを特徴とする信号処理プログラムが記録されたコンピュータ制御可能なものである。
【０１３２】
このような記録媒体に記録されている信号処理プログラムは、入力された複数の画像データの少なくとも１つを複数の小領域に分割し、その小領域毎に他の画像データとの類似性を求め、それらを集計することによって複数の画像データ間の類似性を評価する。
【０１３３】
これにより、従来検出できなかった、部分的に類似するパターンを含む任意の画像データの類似性を評価し、また、類似領域を抽出することができる。
【図面の簡単な説明】
【図１】本実施の形態における信号処理装置の概略構成を説明する図である。
【図２】同信号処理装置の動作を説明する図であり、同図（Ａ）は、第１の画像を小領域に分割する様子を示し、同図（Ｂ）は、第２の画像中で類似する領域を相関法により検出する様子を示し、同図（Ｃ）は、その領域のパラメータを投票空間に投票する様子を示す。
【図３】同信号処理装置の動作を説明するフローチャートである。
【図４】同信号処理装置を適用した映像／画像検索装置の概略構成を説明する図である。
【図５】同映像／画像検索装置の動作を説明するフローチャートである。
【図６】同信号処理装置を適用した画像符号化装置の概略構成を説明する図である。
【図７】同画像符号化装置の動作を説明するフローチャートである。
【図８】同画像符号化装置の動作を説明する図であり、同図（Ａ）は、類似領域ａが検出された様子を示し、同図（Ｂ）は、類似領域ｂが検出された様子を示し、同図（Ｃ）は、第２の画像から類似領域が減算された様子を示す。
【図９】同一のロゴが含まれる画像の例を説明する図である。
【符号の説明】
１０ 信号処理装置、１１ 第１の前処理部、１２ 領域分割部、１３ 第２の前処理部、１４ 類似度計算部、１５ 投票部、１６ 類似判定部、１７ 類似領域検出部、２０ 映像／画像検索装置、２１ 記録部、２２ 再生／表示部、２３ 入力部、２４ 類似探索部、３０ 画像符号化装置、３１ 類似領域検出部、３２ 類似成分分離部、３３ 類似成分符号化部、３４ 類似成分減算部、３５ 画像符号化部、３６ 統合部
Claims (14)
- 複数の画像データを入力し、当該画像データのうち、少なくとも１つを複数の小領域に分割する分割工程と、
上記小領域を他の画像データと類似するように変換したときの変換パラメータを抽出するパラメータ抽出工程と、
上記変換パラメータに基づいて求めた類似の度合いを示す値を集計する集計工程と、
当該集計の結果に基づき、上記複数の画像データ間の類似性を評価する類似性評価工程と、
上記複数の画像データ間の類似する領域を抽出する類似領域抽出工程とを有し、
上記変換パラメータは、上記小領域と上記他の画像データとの上記類似の度合を示す値が少なくとも最大となるところにおける位置差及び／又は輝度比であり、
上記類似領域抽出工程では、上記集計の結果が少なくとも最大となるところにおける上記変換パラメータと略等しい変換パラメータの抽出された上記小領域が抽出されること
を特徴とする信号処理方法。 - 相関法を用いて上記変換パラメータを求めることを特徴とする請求項１記載の信号処理方法。
- 上記所定の変換は、シフト変換及び／又は輝度値の変更であることを特徴とする請求項２記載の信号処理方法。
- 上記集計工程では、上記変換パラメータを軸とする空間に、上記複数の画像データ間の類似の度合いを示す値が集計されることを特徴とする請求項１記載の信号処理方法。
- 上記集計工程における上記類似の度合いを示す値は、上記複数の画像データ間の類似度に比例した値であることを特徴する請求項１記載の信号処理方法。
- 上記類似度として、上記複数の画像データ間の相関値又は当該相関値の自乗を用いることを特徴する請求項５記載の信号処理方法。
- 上記複数の画像データは、一の画像データの異なる部分画像データであることを特徴とする請求項１記載の信号処理方法。
- 記録手段に記録されている画像データを再生する再生工程と、
再生されている上記画像データの中から所望の画像データを指定する指定工程と、
上記所望の画像データを複数の小領域に分割する分割工程と、
上記小領域を上記記録手段に記録されている検索対象画像データと類似するように変換したときの変換パラメータを抽出するパラメータ抽出工程と、
上記変換パラメータに基づいて求めた類似の度合いを示す値を集計する集計工程と、
当該集計の結果に基づき、上記所望の画像データと上記検索対象画像データとの類似性を評価する類似性評価工程と、
上記所望の画像データと上記検索対象画像データとが類似する領域を検出する類似領域検出工程とを有し、
上記変換パラメータは、上記小領域と上記他の画像データとの上記類似の度合を示す値が少なくとも最大となるところにおける位置差及び／又は輝度比であり、
上記類似領域検出工程では、上記集計の結果が少なくとも最大となるところにおける上記変換パラメータと略等しい変換パラメータの抽出された上記小領域が抽出されること
を特徴とする信号処理方法。 - 複数の画像データを入力し、当該複数の画像データのうち、少なくとも１つの画像データを複数の小領域に分割する分割工程と、
上記小領域を他の画像データと類似するように変換したときの変換パラメータを抽出するパラメータ抽出工程と、
上記変換パラメータに基づいて求めた類似の度合いを示す値を集計する集計工程と、
当該集計の結果に基づき、上記複数の画像データ間の類似性を評価する類似性評価工程と、
上記複数の画像データ間の類似する領域を検出する類似領域抽出工程と、
上記類似領域抽出工程で抽出された上記複数の画像データ間の類似する領域を符号化する第１の符号化工程と、
上記類似する領域以外を符号化する第２の符号化工程とを有し、
上記変換パラメータは、上記小領域と上記他の画像データとの上記類似の度合を示す値が少なくとも最大となるところにおける位置差及び／又は輝度比であり、
上記類似領域抽出工程では、上記集計の結果が少なくとも最大となるところにおける上記変換パラメータと略等しい変換パラメータの抽出された上記小領域が抽出されること
を特徴とする信号処理方法。 - 複数の画像データを入力し、当該画像データのうち、少なくとも１つを複数の小領域に分割する分割手段と、
上記小領域を他の画像データと類似するように変換したときの変換パラメータを抽出するパラメータ抽出手段と、
上記変換パラメータに基づいて求めた類似の度合いを示す値を集計する集計手段と、
当該集計の結果に基づき、上記複数の画像データ間の類似性を評価する類似性評価手段と、
上記複数の画像データ間の類似する領域を抽出する類似領域抽出手段とを備え、
上記変換パラメータは、上記小領域と上記他の画像データとの上記類似の度合を示す値が少なくとも最大となるところにおける位置差及び／又は輝度比であり、
上記類似領域抽出手段は、上記集計の結果が少なくとも最大となるところにおける上記変換パラメータと略等しい変換パラメータの抽出された上記小領域を抽出すること
を特徴とする信号処理装置。 - 複数の画像データを記録する記録手段と、
上記記録手段に記録されている画像データを再生する再生手段と、
再生されている上記画像データの中から所望の画像データを指定する指定手段と、
上記所望の画像データを複数の小領域に分割する分割手段と、
上記小領域を上記記録手段に記録されている検索対象画像データと類似するように変換したときの変換パラメータを抽出するパラメータ抽出手段と、
上記変換パラメータに基づいて求めた類似の度合いを示す値を集計する集計手段と、
当該集計の結果に基づき、上記所望の画像データと上記検索対象画像データとの類似性を評価する類似性評価手段と、
上記所望の画像データと上記検索対象画像データとが類似する領域を検出する類似領域検出手段を備え、
上記変換パラメータは、上記小領域と上記他の画像データとの上記類似の度合を示す値が少なくとも最大となるところにおける位置差及び／又は輝度比であり、
上記類似領域検出手段は、上記集計の結果が少なくとも最大となるところにおける上記変換パラメータと略等しい変換パラメータの抽出された上記小領域を抽出すること
を特徴とする信号処理装置。 - 複数の画像データを入力し、当該複数の画像データのうち、少なくとも１つの画像データを複数の小領域に分割する分割手段と、
上記小領域を他の画像データと類似するように変換したときの変換パラメータを抽出するパラメータ抽出手段と、
上記変換パラメータに基づいて求めた類似の度合いを示す値を集計する集計手段と、
当該集計の結果に基づき、上記複数の画像データ間の類似性を評価する類似性評価手段と、
上記複数の画像データ間の類似する領域を検出する類似領域抽出手段と、
上記類似領域抽出手段によって抽出された上記複数の画像データ間の類似する領域を符号化する第１の符号化手段と、
上記類似する領域以外を符号化する第２の符号化手段とを備え、
上記変換パラメータは、上記小領域と上記他の画像データとの上記類似の度合を示す値が少なくとも最大となるところにおける位置差及び／又は輝度比であり、
上記類似領域抽出手段は、上記集計の結果が少なくとも最大となるところにおける上記変換パラメータと略等しい変換パラメータの抽出された上記小領域を抽出すること
を特徴とする信号処理装置。 - 複数の画像データを入力し、当該画像データのうち、少なくとも１つを複数の小領域に分割する分割工程と、
上記小領域を他の画像データと類似するように変換したときの変換パラメータを抽出するパラメータ抽出工程と、
上記変換パラメータに基づいて求めた類似の度合いを示す値を集計する集計工程と、
当該集計の結果に基づき、上記複数の画像データ間の類似性を評価する類似性評価工程と、
上記複数の画像データ間の類似する領域を抽出する類似領域抽出工程とを有し、
上記変換パラメータは、上記小領域と上記他の画像データとの上記類似の度合を示す値が少なくとも最大となるところにおける位置差及び／又は輝度比であり、
上記類似領域抽出工程では、上記集計の結果が少なくとも最大となるところにおける上記変換パラメータと略等しい変換パラメータの抽出された上記小領域が抽出されること
を特徴とする信号処理プログラム。 - 複数の画像データを入力し、当該複数の画像データのうち、少なくとも１つを複数の小領域に分割する分割工程と、
上記小領域を他の画像データと類似するように変換したときの変換パラメータを抽出するパラメータ抽出工程と、
上記変換パラメータに基づいて求めた類似の度合いを示す値を集計する集計工程と、
当該集計の結果に基づき、上記複数の画像データ間の類似性を評価する類似性評価工程と、
上記複数の画像データ間の類似する領域を抽出する類似領域抽出工程とを有し、
上記変換パラメータは、上記小領域と上記他の画像データとの上記類似の度合を示す値が少なくとも最大となるところにおける位置差及び／又は輝度比であり、
上記類似領域抽出工程では、上記集計の結果が少なくとも最大となるところにおける上記変換パラメータと略等しい変換パラメータの抽出された上記小領域が抽出されること
を特徴とする信号処理プログラムが記録されたコンピュータ制御可能な記録媒体。
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001324255A JP3997749B2 (ja) | 2001-10-22 | 2001-10-22 | 信号処理方法及び装置、信号処理プログラム、並びに記録媒体 |
| US10/451,360 US7729545B2 (en) | 2001-10-22 | 2002-10-16 | Signal processing method and method for determining image similarity |
| EP02802019A EP1439491B1 (en) | 2001-10-22 | 2002-10-16 | Signal processing method and processor |
| PCT/JP2002/010749 WO2003036563A1 (fr) | 2001-10-22 | 2002-10-16 | Procede et processeur de traitement de signal |
| DE60239627T DE60239627D1 (de) | 2001-10-22 | 2002-10-16 | Signalverarbeitungsverfahren und prozessor |
| CNB028032691A CN100365661C (zh) | 2001-10-22 | 2002-10-16 | 信号处理方法及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001324255A JP3997749B2 (ja) | 2001-10-22 | 2001-10-22 | 信号処理方法及び装置、信号処理プログラム、並びに記録媒体 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2003132354A JP2003132354A (ja) | 2003-05-09 |
| JP2003132354A5 JP2003132354A5 (ja) | 2005-04-07 |
| JP3997749B2 true JP3997749B2 (ja) | 2007-10-24 |
Family
ID=19141005
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001324255A Expired - Fee Related JP3997749B2 (ja) | 2001-10-22 | 2001-10-22 | 信号処理方法及び装置、信号処理プログラム、並びに記録媒体 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US7729545B2 (ja) |
| EP (1) | EP1439491B1 (ja) |
| JP (1) | JP3997749B2 (ja) |
| CN (1) | CN100365661C (ja) |
| DE (1) | DE60239627D1 (ja) |
| WO (1) | WO2003036563A1 (ja) |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4255239B2 (ja) * | 2002-03-29 | 2009-04-15 | 富士通株式会社 | 文書検索方法 |
| CN101110101A (zh) * | 2006-07-17 | 2008-01-23 | 松下电器产业株式会社 | 识别图像的方法及设备 |
| CN102156869B (zh) * | 2006-07-17 | 2012-10-17 | 松下电器产业株式会社 | 检测由任意线段组合的形状的方法及装置 |
| US8107728B2 (en) | 2006-09-19 | 2012-01-31 | Sharp Kabushiki Kaisha | Image processing apparatus, image forming apparatus, image processing system, computer program and recording medium |
| JP4543067B2 (ja) * | 2006-09-19 | 2010-09-15 | シャープ株式会社 | 画像処理装置、画像形成装置、画像読取装置、画像処理システム、画像処理方法、コンピュータプログラム、及び記録媒体 |
| JP5004743B2 (ja) * | 2007-10-10 | 2012-08-22 | 東芝情報システム株式会社 | データ処理装置 |
| CN102084391A (zh) * | 2008-03-05 | 2011-06-01 | 电子湾有限公司 | 用于图像识别服务的方法和设备 |
| US9495386B2 (en) | 2008-03-05 | 2016-11-15 | Ebay Inc. | Identification of items depicted in images |
| US8086502B2 (en) | 2008-03-31 | 2011-12-27 | Ebay Inc. | Method and system for mobile publication |
| US7991646B2 (en) | 2008-10-30 | 2011-08-02 | Ebay Inc. | Systems and methods for marketplace listings using a camera enabled mobile device |
| US8825660B2 (en) | 2009-03-17 | 2014-09-02 | Ebay Inc. | Image-based indexing in a network-based marketplace |
| US9164577B2 (en) | 2009-12-22 | 2015-10-20 | Ebay Inc. | Augmented reality system, method, and apparatus for displaying an item image in a contextual environment |
| EP2407928A1 (en) * | 2010-07-16 | 2012-01-18 | STMicroelectronics (Grenoble 2) SAS | Fidelity measurement of digital images |
| US10127606B2 (en) | 2010-10-13 | 2018-11-13 | Ebay Inc. | Augmented reality system and method for visualizing an item |
| JP2012133679A (ja) * | 2010-12-22 | 2012-07-12 | Fujitsu Ltd | 画像照合プログラム、画像照合方法、及び画像照合装置 |
| US9449342B2 (en) | 2011-10-27 | 2016-09-20 | Ebay Inc. | System and method for visualization of items in an environment using augmented reality |
| US9240059B2 (en) | 2011-12-29 | 2016-01-19 | Ebay Inc. | Personal augmented reality |
| US9934522B2 (en) | 2012-03-22 | 2018-04-03 | Ebay Inc. | Systems and methods for batch- listing items stored offline on a mobile device |
| US10846766B2 (en) | 2012-06-29 | 2020-11-24 | Ebay Inc. | Contextual menus based on image recognition |
| KR101569622B1 (ko) * | 2014-05-14 | 2015-11-16 | 엘에스산전 주식회사 | 컨버터 및 그 동작 방법 |
| KR101858829B1 (ko) * | 2016-09-12 | 2018-05-18 | 주식회사 포스코 | 편석 분석 장치 및 방법 |
| JP7010004B2 (ja) * | 2018-01-10 | 2022-01-26 | 京セラドキュメントソリューションズ株式会社 | 監視システムおよび撮像装置 |
| KR102560241B1 (ko) | 2022-11-14 | 2023-07-28 | (주)오로스테크놀로지 | 딥러닝 기반 오버레이 키 센터링 시스템 및 그 방법 |
| KR102541500B1 (ko) | 2022-11-14 | 2023-06-13 | (주)오로스테크놀로지 | 상관관계 기반 오버레이 키 센터링 시스템 및 그 방법 |
Family Cites Families (37)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3713100B2 (en) * | 1953-02-10 | 1991-05-07 | Method and apparatus for identifying letters,characters,symbols,and the like | |
| US3576534A (en) * | 1969-08-11 | 1971-04-27 | Compuscan Inc | Image cross correlator |
| JPS5214112B2 (ja) * | 1973-02-22 | 1977-04-19 | ||
| US4110737A (en) * | 1977-08-22 | 1978-08-29 | The Singer Company | Character recognition apparatus for serially comparing an unknown character with a plurality of reference characters |
| US4736437A (en) * | 1982-11-22 | 1988-04-05 | View Engineering, Inc. | High speed pattern recognizer |
| JPH07118784B2 (ja) * | 1984-10-27 | 1995-12-18 | ソニー株式会社 | テレビジヨン信号の動き検出方法 |
| JPH082106B2 (ja) | 1986-11-10 | 1996-01-10 | 国際電信電話株式会社 | 動画像信号のハイブリツド符号化方式 |
| US5406642A (en) * | 1988-12-23 | 1995-04-11 | Nec Corporation | Image matching method using direction sensitivity and vector smoothing functions for correcting matches |
| JP2941846B2 (ja) | 1989-05-26 | 1999-08-30 | キヤノン株式会社 | 符号化及び復号化装置 |
| JPH03260782A (ja) * | 1990-03-09 | 1991-11-20 | Eastman Kodak Japan Kk | パターン認識装置 |
| JP3373008B2 (ja) * | 1993-10-20 | 2003-02-04 | オリンパス光学工業株式会社 | 画像像域分離装置 |
| JPH0879760A (ja) | 1994-09-05 | 1996-03-22 | Oki Electric Ind Co Ltd | 動きベクトル検出回路 |
| KR0154921B1 (ko) * | 1994-12-30 | 1998-11-16 | 배순훈 | 동영상 부호화 장치에 이용하기 위한 움직임 추정기 |
| JP2778567B2 (ja) * | 1995-12-23 | 1998-07-23 | 日本電気株式会社 | 信号符号化装置及び方法 |
| US5809171A (en) * | 1996-01-05 | 1998-09-15 | Mcdonnell Douglas Corporation | Image processing method and apparatus for correlating a test image with a template |
| US5809717A (en) * | 1996-02-15 | 1998-09-22 | Sequoyah Exo Systems, Inc. | Apparatus and method for assembling composite building panels |
| US5845241A (en) * | 1996-09-04 | 1998-12-01 | Hughes Electronics Corporation | High-accuracy, low-distortion time-frequency analysis of signals using rotated-window spectrograms |
| JPH10336593A (ja) | 1997-03-31 | 1998-12-18 | Hitachi Ltd | 同期型映像処理システムおよび方法 |
| EP0869445A3 (en) * | 1997-03-31 | 2002-11-06 | Hitachi, Ltd. | Video signal processing system and method using time code |
| KR100234264B1 (ko) * | 1997-04-15 | 1999-12-15 | 윤종용 | 타겟윈도우 이동을 통한 블록 매칭방법 |
| JP3242864B2 (ja) | 1997-06-12 | 2001-12-25 | アロカ株式会社 | 超音波診断装置および超音波診断用の超音波送受信方法 |
| US6038069A (en) * | 1997-06-18 | 2000-03-14 | Konica Corporation | Real image type zoom finder |
| JPH11328311A (ja) | 1997-08-06 | 1999-11-30 | Nippon Telegr & Teleph Corp <Ntt> | 画像内のパターン抽出方法、画像内のパターン認識方法及び画像異常判定方法並びに記憶媒体 |
| US6438165B2 (en) * | 1998-03-09 | 2002-08-20 | Lg Electronics | Method and apparatus for advanced encoder system |
| JP3065314B1 (ja) | 1998-06-01 | 2000-07-17 | 日本電信電話株式会社 | 高速信号探索方法、装置およびその記録媒体 |
| JP4057147B2 (ja) * | 1998-06-16 | 2008-03-05 | コニカミノルタビジネステクノロジーズ株式会社 | 逆光シーン判定方法、逆光シーン判定方法プログラムを記憶したコンピュータにより読み取り可能な記憶媒体及び逆光シーン判定機能を有する画像処理装置 |
| EP0973336A2 (en) * | 1998-07-15 | 2000-01-19 | Sony Corporation | Motion vector detecting, picture encoding and recording method and apparatus |
| JP2000078589A (ja) | 1998-08-27 | 2000-03-14 | Sony Corp | 動きベクトル算出方法及び動きベクトル算出プログラムを記録した記録媒体 |
| US6226606B1 (en) * | 1998-11-24 | 2001-05-01 | Microsoft Corporation | Method and apparatus for pitch tracking |
| WO2000034919A1 (en) * | 1998-12-04 | 2000-06-15 | Interval Research Corporation | Background estimation and segmentation based on range and color |
| US6330428B1 (en) * | 1998-12-23 | 2001-12-11 | Nortel Networks Limited | Voice quality performance evaluator and method of operation in conjunction with a communication network |
| US6625216B1 (en) * | 1999-01-27 | 2003-09-23 | Matsushita Electic Industrial Co., Ltd. | Motion estimation using orthogonal transform-domain block matching |
| JP2001016447A (ja) * | 1999-06-30 | 2001-01-19 | Minolta Co Ltd | 画像処理装置および画像処理方法、ならびに画像処理プログラムを記録した記録媒体 |
| JP2001228900A (ja) | 1999-12-10 | 2001-08-24 | Ricoh Co Ltd | 音声パラメータ符号化装置およびその装置に用いられる符号化方式およびその符号化アルゴリズムを記載したコンピュータ読み取り可能な記録媒体、および、音声パラメータ量子化装置およびその装置に用いられる量子化方法およびその量子化アルゴリズムを記載したコンピュータ読み取り可能な記録媒体 |
| JP3742279B2 (ja) * | 2000-06-09 | 2006-02-01 | 日本電信電話株式会社 | 画像照合装置、画像照合方法及び画像照合プログラムを記録した記録媒体 |
| US6859552B2 (en) * | 2000-11-07 | 2005-02-22 | Minolta Co., Ltd. | Image retrieving apparatus |
| US6907367B2 (en) * | 2001-08-31 | 2005-06-14 | The United States Of America As Represented By The Secretary Of The Navy | Time-series segmentation |
-
2001
- 2001-10-22 JP JP2001324255A patent/JP3997749B2/ja not_active Expired - Fee Related
-
2002
- 2002-10-16 CN CNB028032691A patent/CN100365661C/zh not_active Expired - Fee Related
- 2002-10-16 US US10/451,360 patent/US7729545B2/en not_active Expired - Fee Related
- 2002-10-16 DE DE60239627T patent/DE60239627D1/de not_active Expired - Lifetime
- 2002-10-16 EP EP02802019A patent/EP1439491B1/en not_active Expired - Fee Related
- 2002-10-16 WO PCT/JP2002/010749 patent/WO2003036563A1/ja active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003132354A (ja) | 2003-05-09 |
| DE60239627D1 (de) | 2011-05-12 |
| EP1439491A4 (en) | 2008-01-23 |
| WO2003036563A1 (fr) | 2003-05-01 |
| EP1439491A1 (en) | 2004-07-21 |
| CN1479910A (zh) | 2004-03-03 |
| US7729545B2 (en) | 2010-06-01 |
| CN100365661C (zh) | 2008-01-30 |
| US20040057627A1 (en) | 2004-03-25 |
| EP1439491B1 (en) | 2011-03-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3997749B2 (ja) | 信号処理方法及び装置、信号処理プログラム、並びに記録媒体 | |
| JP5005154B2 (ja) | 記憶媒体上に記憶された情報信号を再生する装置 | |
| EP2321964B1 (en) | Method and apparatus for detecting near-duplicate videos using perceptual video signatures | |
| Aner et al. | Video summaries through mosaic-based shot and scene clustering | |
| EP1494132B1 (en) | Method and apparatus for representing a group of images | |
| JP4725690B2 (ja) | 映像識別子抽出装置 | |
| CN101013432A (zh) | 图像处理系统、装置、方法、程序及记录介质 | |
| US20040098225A1 (en) | Similar time series detection method and apparatus, program and recording medium | |
| JP4359085B2 (ja) | コンテンツ特徴量抽出装置 | |
| Chatzigiorgaki et al. | Real-time keyframe extraction towards video content identification | |
| JP5644505B2 (ja) | 照合加重情報抽出装置 | |
| JP2003131685A (ja) | 信号処理方法及び装置、信号処理プログラム、並びに記録媒体 | |
| Valdés et al. | On-line video skimming based on histogram similarity | |
| Mao et al. | A robust and fast video fingerprinting based on 3D-DCT and LSH | |
| JP3499729B2 (ja) | 複数映像の時空間統合、管理方法及びその装置並びにそのプログラムを記録した記録媒体 | |
| KR100304370B1 (ko) | 억제 색 히스토그램을 이용한 객체의 대표색과 그의 부가정보추출, 색인화 및 검색 방법 | |
| CN117874289A (zh) | 一种摄像头回放查找的方法、缺陷检测装置和存储介质 | |
| Corvaglia et al. | Copy detection of immersed content in video databases | |
| Dimitrovski et al. | Video Content-Based Retrieval System | |
| Roopalakshmi et al. | Efficient video copy detection using simple and effective extraction of color features |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040428 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040428 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070123 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070326 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070417 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070618 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20070628 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070717 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070730 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100817 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110817 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110817 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120817 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120817 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130817 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |