JP4395933B2 - 画像検索装置、画像検索方法および記録媒体 - Google Patents
画像検索装置、画像検索方法および記録媒体 Download PDFInfo
- Publication number
- JP4395933B2 JP4395933B2 JP24472799A JP24472799A JP4395933B2 JP 4395933 B2 JP4395933 B2 JP 4395933B2 JP 24472799 A JP24472799 A JP 24472799A JP 24472799 A JP24472799 A JP 24472799A JP 4395933 B2 JP4395933 B2 JP 4395933B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- projection data
- image
- angle
- window
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、予め登録された登録画像が入力画像中に存在するか否かの検索を行う画像検索装置および画像検索方法、ならびにその方法を実行する記録媒体に関するものである。
【０００２】
【従来の技術】
従来から、予め登録された画像が画像中に存在するか否かの検索を行うための手法として画像検索方法が提案されている。一般に画像検索方法は、入力画像中から登録画像の検索をリアルタイムに処理することが要求されている。
【０００３】
登録画像の検索において、入力画像中の全画素を注目画素として登録画像のマッチングを行うと、膨大な処理時間がかかる。そこで、従来から、登録画像とマッチングさせる画像の中心点を求める方法として、例えば１文字分の大きさの領域を抽出し、抽出した領域内の画素が存在する幅及び高さから中心点を求める方法、また登録画像が円を有し、円の内側のみにさまざまな模様が描かれている場合は、円周上の複数の点においてエッジの有無により円を抽出し、円の中心点を求める方法など、種々の手法が提案されている。
【０００４】
しかし、入力画像が回転している場合、入力画像を所定角度毎に回転させ、その度に回転処理された画像データと登録画像とのマッチングを行い、全角度のマッチング率により、登録画像であるか否かの判定を行うなど、検索処理が複雑となり、高速に登録画像の検索を行うことが難しくなる。
【０００５】
【発明が解決しようとする課題】
このように、上記従来の画像検索方法では、登録画像の検索に膨大な処理時間がかかり、リアルタイムに処理を行うことが困難になるという問題点を有していた。
【０００６】
この画像検索装置、画像検索方法および記録媒体では、同一方向に対して各列毎の画素数をカウントし、そのカウント数と予め登録しておいた各角度の列毎のテンプレートデータとの比較を行うことにより、入力画像の回転角度を検出し、入力画像の回転角度の補正を行い、登録画像の検索を高速かつ高精度に行うことが要求されている。
【０００７】
本発明は、入力画像の回転角度を高速に検出して入力画像の回転角度の補正を行い、登録画像の検索を高速かつ高精度に行うことができる画像検索装置、および、入力画像の回転角度を高速に検出して入力画像の回転角度の補正を行い、登録画像の検索を高速かつ高精度に行うための画像検索方法、ならびに、その画像検索方法を実行するための記録媒体を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記課題を解決するために本発明の画像検索装置は、画像を入力する画像入力部と、入力画像に対する所定サイズのウィンドウ走査を行ってウィンドウデータを生成するウィンドウデータ生成部と、生成したウィンドウデータから射影データを作成する射影データ作成部と、予め複数の登録画像の各テンプレートデータを登録しておくメモリと、作成した射影データとテンプレートデータとの比較を行う射影データ比較部と、射影データ比較部における比較結果により入力画像の回転角度を検出する角度検出部と、を有し、登録画像が入力画像中に存在するか否かの検索を行う画像検索装置であって、角度検出部で検出した回転角度に応じてウィンドウデータの角度の補正を行う角度補正部を有すると共に、メモリには、各登録画像に対して所定の角度回転された複数の射影データをそれぞれテンプレートデータとして登録しておき、射影データ作成部がウィンドウデータから第１の方向の射影データと第１の方向と９０度異なる第２の方向の射影データとを作成し、射影データ比較部が第１及び第２の方向の射影データとテンプレートデータとを比較して、角度検出部が第１及び第２の方向の射影データとテンプレートデータとがそれぞれ一致したとき第１の方向の射影データの回転角度を入力画像の回転角度として検出し、角度補正部が検出した回転角度に応じてウィンドウデータの回転角度の補正を行う構成を備えている。
【０００９】
これにより、入力画像の回転角度を高速に検出して入力画像の回転角度の補正を行い、登録画像の検索を高速かつ高精度に行うことができる画像検索装置が得られる。
【００１０】
上記課題を解決するために本発明の画像検索方法は、入力画像に対する所定サイズのウィンドウ走査を行ってウィンドウデータを生成するウィンドウデータ生成ステップと、生成したウィンドウデータから射影データを作成する射影データ作成ステップと、作成した射影データと予めメモリに複数登録されている登録画像の各テンプレートデータとの比較を行う射影データ比較ステップと、射影データ比較ステップにおける比較結果によりウィンドウデータの回転角度を検出する角度検出ステップと、を有し、登録画像ごとに所定の角度回転された射影データを複数のテンプレートデータとしてそれぞれ登録しておき、登録画像が入力画像中に存在するか否かの検索を行う画像検索方法であって、登録画像の検索を行う前に、角度検出ステップで検出した回転角度に応じてウィンドウデータの角度の補正を行う角度補正ステップを有し、射影データ作成ステップにおいてウィンドウデータから第１の方向の射影データと第１の方向と９０度異なる第２の方向の射影データとを作成し、射影データ比較ステップにおいて第１及び第２の方向の射影データとテンプレートデータとを比較して、角度検出ステップにおいて第１及び第２の方向の射影データとテンプレートデータとがそれぞれ一致したとき第１の方向の射影データの回転角度を入力画像の回転角度として検出し、角度補正ステップにおいて検出した回転角度に応じてウィンドウデータの回転角度の補正を行い角度補正後の画像を作成する構成を備えている。
【００１１】
これにより、入力画像の回転角度を高速に検出して入力画像の回転角度の補正を行い、登録画像の検索を高速かつ高精度に行うための画像検索方法が得られる。
【００１２】
上記課題を解決するために本発明の記録媒体は、入力画像に対する所定サイズのウィンドウ走査を行ってウィンドウデータを生成するウィンドウデータ生成ステップと、生成したウィンドウデータから射影データを作成する射影データ作成ステップと、作成した射影データと予め複数登録されている登録画像の各テンプレートデータとの比較を行う射影データ比較ステップと、射影データ比較ステップにおける比較結果によりウィンドウデータの回転角度を検出する角度検出ステップと、を有し、登録画像ごとに所定の角度回転された射影データを複数のテンプレートデータとしてそれぞれ登録しておき、登録画像が入力画像中に存在するか否かの検索を行う画像検索方法のプログラムを記録した記録媒体であって、登録画像の検索を行う前に、角度検出ステップで検出した回転角度に応じてウィンドウデータの角度の補正を行う角度補正ステップを有し、射影データ作成ステップにおいてウィンドウデータから第１の方向の射影データと第１の方向と９０度異なる第２の方向の射影データとを作成し、射影データ比較ステップにおいて第１及び第２の方向の射影データとテンプレートデータとを比較して、角度検出ステップにおいて第１及び第２の方向の射影データとテンプレートデータとがそれぞれ一致したとき第１の方向の射影データの回転角度を入力画像の回転角度として検出し、角度補正ステップにおいて検出した回転角度に応じてウィンドウデータの回転角度の補正を行い角度補正後の画像を作成するためのプログラムを記録した構成を備えている。
【００１３】
これにより、上記画像検索方法を実行するための記録媒体が得られる。
【００１４】
【発明の実施の形態】
本発明の請求項１に記載の画像検索装置は、画像を入力する画像入力部と、入力画像に対する所定サイズのウィンドウ走査を行ってウィンドウデータを生成するウィンドウデータ生成部と、生成したウィンドウデータから射影データを作成する射影データ作成部と、予め複数の登録画像の各テンプレートデータを登録しておくメモリと、作成した射影データとテンプレートデータとの比較を行う射影データ比較部と、射影データ比較部における比較結果により入力画像の回転角度を検出する角度検出部と、を有し、登録画像が入力画像中に存在するか否かの検索を行う画像検索装置であって、角度検出部で検出した回転角度に応じてウィンドウデータの角度の補正を行う角度補正部を有すると共に、メモリには、各登録画像に対して所定の角度回転された複数の射影データをそれぞれテンプレートデータとして登録しておき、射影データ作成部がウィンドウデータから第１の方向の射影データと第１の方向と９０度異なる第２の方向の射影データとを作成し、射影データ比較部が第１及び第２の方向の射影データとテンプレートデータとを比較して、角度検出部が第１及び第２の方向の射影データとテンプレートデータとがそれぞれ一致したとき第１の方向の射影データの回転角度を入力画像の回転角度として検出し、角度補正部が検出した回転角度に応じてウィンドウデータの回転角度の補正を行うこととしたものである。
【００１５】
この構成により、射影データと複数のテンプレートデータとの比較に基づいて入力画像の回転角度が検出されるので、入力画像の回転角度の検出が高速化され、その検出回転角度に基づいて入力画像の回転角度の補正を行うことにより、入力画像中に登録画像があるか否かの検索を高速かつ高精度に行うことができるという作用を有する。
【００１６】
請求項２に記載の画像検索方法は、入力画像に対する所定サイズのウィンドウ走査を行ってウィンドウデータを生成するウィンドウデータ生成ステップと、生成したウィンドウデータから射影データを作成する射影データ作成ステップと、作成した射影データと予めメモリに複数登録されている登録画像の各テンプレートデータとの比較を行う射影データ比較ステップと、射影データ比較ステップにおける比較結果によりウィンドウデータの回転角度を検出する角度検出ステップと、を有し、登録画像ごとに所定の角度回転された射影データを複数のテンプレートデータとしてそれぞれ登録しておき、登録画像が入力画像中に存在するか否かの検索を行う画像検索方法であって、登録画像の検索を行う前に、角度検出ステップで検出した回転角度に応じてウィンドウデータの角度の補正を行う角度補正ステップを有し、射影データ作成ステップにおいてウィンドウデータから第１の方向の射影データと第１の方向と９０度異なる第２の方向の射影データとを作成し、射影データ比較ステップにおいて第１及び第２の方向の射影データとテンプレートデータとを比較して、角度検出ステップにおいて第１及び第２の方向の射影データとテンプレートデータとがそれぞれ一致したとき第１の方向の射影データの回転角度を入力画像の回転角度として検出し、角度補正ステップにおいて検出した回転角度に応じてウィンドウデータの回転角度の補正を行い角度補正後の画像を作成することとしたものである。
【００１７】
この構成により、射影データと複数のテンプレートデータとの比較に基づいて入力画像の回転角度が検出されるので、入力画像の回転角度の検出が高速化され、その検出回転角度に基づいて入力画像の回転角度の補正を行うことにより、入力画像中に登録画像があるか否かの検索を高速かつ高精度に行うことができるという作用を有する。
【００２６】
また、この画像検索方法において、射影データ作成ステップにおいては、複数方向に対して画素値を計数することとしたものである。
【００２７】
この構成により、１方向に対する画素値の計数のみでは発生する誤りが防止されるので、入力画像の回転角度を更に正確に検出することができるという作用を有する。
【００２８】
請求項３に記載の画像検索方法は、請求項２に記載の画像検索方法において、射影データ比較ステップにおいては、一つの方向の射影データとテンプレートデータとの比較結果により、他方向の射影データとテンプレートデータとの比較結果を制御することとしたものである。
【００２９】
この構成により、他方向において検索する角度を絞り込むことができるので、入力画像の回転角度を更にいっそう高速に検出することができるという作用を有する。
【００３０】
請求項４に記載の画像検索方法は、請求項２に記載の画像検索方法において、射影データ比較ステップにおいては、最大画素数・最小画素数・標準偏差・平均画素数のいずれかを用いて比較を行うこととしたものである。
【００３１】
この構成により、全列の一致度を求めなくても高速に非登録画像であることを判定することができ、また登録画像の角度を高速に絞り込むことができるという作用を有する。
【００３２】
請求項５に記載の記録媒体は、入力画像に対する所定サイズのウィンドウ走査を行ってウィンドウデータを生成するウィンドウデータ生成ステップと、生成したウィンドウデータから射影データを作成する射影データ作成ステップと、作成した射影データと予め複数登録されている登録画像の各テンプレートデータとの比較を行う射影データ比較ステップと、射影データ比較ステップにおける比較結果によりウィンドウデータの回転角度を検出する角度検出ステップと、を有し、登録画像ごとに所定の角度回転された射影データを複数のテンプレートデータとしてそれぞれ登録しておき、登録画像が入力画像中に存在するか否かの検索を行う画像検索方法のプログラムを記録した記録媒体であって、登録画像の検索を行う前に、角度検出ステップで検出した回転角度に応じてウィンドウデータの角度の補正を行う角度補正ステップを有し、射影データ作成ステップにおいてウィンドウデータから第１の方向の射影データと第１の方向と９０度異なる第２の方向の射影データとを作成し、射影データ比較ステップにおいて第１及び第２の方向の射影データとテンプレートデータとを比較して、角度検出ステップにおいて第１及び第２の方向の射影データとテンプレートデータとがそれぞれ一致したとき第１の方向の射影データの回転角度を入力画像の回転角度として検出し、角度補正ステップにおいて検出した回転角度に応じてウィンドウデータの回転角度の補正を行い角度補正後の画像を作成するためのプログラムを記録することとしたものである。
【００３３】
この構成により、入力画像中に登録画像があるか否かの検索を高速かつ高精度に行うことができる画像検索方法を任意の場所・期間に行うことができるという作用を有する。
【００３４】
以下、本発明の実施の形態について図１〜図１５を参照しながら説明する。
【００３５】
（実施の形態１）
図１は本発明の実施の形態１による画像検索装置を示すブロック図である。
【００３６】
図１において、１は画像データを入力する画像入力部、２は画像入力部１により入力された画像データに対し、或る注目画素を中心としＮ画素×Ｎ画素サイズのウィンドウデータを生成するウィンドウデータ生成部、３はウィンドウデータ生成部２により生成されたウィンドウデータの２値化処理（例えば、画像データの明度を求め、その明度と所定の閾値との比較を行うことによる２値化処理）を行う２値化処理部、４は２値化処理部３により２値化されたウィンドウデータに対し、同一方向（例えば垂直方向）の各列毎に画素数をカウントすることにより射影データを作成する射影データ作成部、５は射影データ作成部４により作成された射影データと予め登録されている各角度のテンプレートデータとの比較を行う射影データ比較部、６は射影データ比較部５により比較された結果により角度を検出する角度検出部、７は角度検出部６により検出された角度に応じて、２値化処理部３により２値化されたウィンドウデータの角度の補正を行う角度補正部、８は角度補正部７により補正された角度補正後のウィンドウデータと予め登録された登録画像との一致度を判定する一致度判定部である。
【００３７】
ここで、図１の構成について図３を用いて説明する。図３は検出すべき登録画像を示す画像図である。図１において、ウィンドウデータ生成部２と２値化処理部３を入れ替え、画像入力部１により入力された画像データに対し、２値化処理部３により２値化処理を行い、２値化処理部３により２値化処理された画像データに対し、ウィンドウデータ生成部２によりある注目画素を中心としＮ画素×Ｎ画素サイズのウィンドウデータを生成してもよい。また、２値化処理を行わず、射影データ作成部４は多値のウィンドウデータ（多値化ウィンドウデータ）に対し、同一方向の各列毎に画素値の総和を求めることにより、射影データを作成してもよい。また上記注目画素は、画像入力部１により入力された画像データの全画素としてもよいが、ここでは図３に示すような、円を有し円の内側のみに模様が存在する登録画像９の検索を例に説明を行うものであり、円の中心画素を検出し、検出した画素を注目画素とする。さらに、角度補正部７は、登録画像を回転させたり、各角度の登録画像を登録させ、検出した角度に応じて登録画像を選択させることもできる。また、ここではウィンドウデータと登録画像との一致度を判定しているが、射影データを作成した前記ウィンドウデータのサイズとは異なる第２のウィンドウを生成し、登録画像との一致度を判定してもよい。
【００３８】
次に、以上のように構成された画像検索装置について、図２、図４〜図７を用いてその動作を説明する。図２は図１の画像検索装置の動作を示すフローチャートであり、図４は登録画像に対する各角度のテンプレートデータを示す角度テンプレート対応図、図５は入力画像に対する所定サイズのウィンドウ内の画像を示す画像図、図６は図５の画像に対する射影データを示すデータ図、図７は図５の画像の角度を補正した後の画像を示す画像図である。
【００３９】
まず、画像入力部１により画像データを入力し（Ｓ１）、画像入力部１により入力された画像データに対し、円の中心画素を検出することにより注目画素の抽出を行う。円の中心画素の検出方法については詳細を後述する。次に、ウィンドウデータ生成部２により前記抽出した或る注目画素を中心とし所定サイズ（例えば２５画素×２５画素）のウィンドウデータを生成し（Ｓ２、ウィンドウデータ生成ステップ）、ウィンドウデータ生成部２により生成されたウィンドウデータに対し、２値化処理部３により２値化処理（例えば、カラー画像信号の明度を求め、その明度と所定の閾値との比較を行うことによる２値化処理）を行う（Ｓ３、２値化処理ステップ）。ここで２値化されたウィンドウデータ（２値化ウィンドウデータ）１１（図５）において、射影データ作成部４により、まず垂直方向の第１列目の画素数をカウントし、次に垂直方向の第２列目の画素数をカウントし、同様にしてウィンドウ内の垂直方向に対し全ての列の画素数をそれぞれ列毎にカウントする（Ｓ４，Ｓ５、射影データ作成ステップ）。以上により求めた垂直方向の列毎のカウント値を射影データ１２（図６）とし、予め登録しておいた各角度のテンプレートデータ１０（図４）との比較を行う。テンプレートデータ１０の作成方法および比較方法については詳細を後述する。ここで射影データ比較部５により、まず上記求めた射影データ１２と予め登録しておいた角度０度のテンプレートデータ１０Ｂ−０との比較を行う（Ｓ６、射影データ比較ステップ）。いま、角度０度のテンプレートデータ１０Ｂ−０のみしか比較を行っていないので、入力画像の回転角度として角度０度を検出する（Ｓ７）。同様にして全ての角度のテンプレートデータ１０Ｂ−０〜１０Ｂ−３５０と比較を行う（Ｓ８）。角度検出部６は、射影データ１２と角度０度〜角度３５０度までのテンプレートデータ１０との比較結果により、比較結果の値が最も小さい（射影データ１２に最も類似した）テンプレートデータの角度（ここでは射影データ１２と７０度のテンプレートデータ１０Ｂ−７０とが最も類似している。）を検出する（Ｓ７、角度検出ステップ）。以上のステップＳ６〜ステップＳ８によりウィンドウデータ１１の傾いた角度（入力画像の回転角度）を検出する。ここで角度補正部７によりウィンドウデータ１１をステップＳ７により検出した角度分（ここでは７０度）だけ角度補正を行う（Ｓ９）。角度補正方法については詳細を後述する。次に、一致度判定部８により、上記ウィンドウデータ１１に対し角度補正された角度補正後の画像１３（図７）と予め登録しておいた登録画像９との一致度（例えば、黒画素と白画素の一致する割合によるマッチング）の判定を行い（Ｓ１０、一致度判定ステップ）、登録画像９に一致するか否かの判定を行う。ある注目画素に対し、ステップＳ２からステップＳ１０までの一連の処理が終了し、次の注目画素が存在すると（Ｓ１１）、注目画素を移動し（Ｓ１２）、次の注目画素に対し、ステップＳ２からステップＳ１０までの処理を繰り返す。同様にして全ての画素に対しステップＳ２からステップＳ１０までの処理を行い、全ての注目画素に対し処理が終了すると（Ｓ１１）、検索処理が終了する。
【００４０】
テンプレートデータ１０の作成方法の詳細を図４を参照し説明する。画像１０Ａ−０は、検出すべき登録画像９を角度０度に回転させたときの画像（全く回転させないときの画像）で、画像１０Ａ−７０は、検出すべき登録画像９を角度７０度に回転させたときの画像で、同様に画像１０Ａ−３５０は、検出すべき登録画像９を角度３５０度に回転させたときの画像である。テンプレートデータ１０Ｂ−０は、画像１０Ａ−０に対し垂直方向に列毎に画素数をカウントした射影データで、テンプレートデータ１０Ｂ−７０は、画像１０Ａ−７０に対し垂直方向に列毎に画素数をカウントした射影データで、同様にテンプレートデータ１０Ｂ−３５０は、画像１０Ａ−３５０に対し垂直方向に列毎に画素数をカウントした射影データである。テンプレートデータをここでは角度１０度おきで作成しているが、例えば角度１度おきにテンプレートデータを作成することにより、入力画像の傾きをより高精度に検出でき、マッチングをより高精度に行うことができる。
【００４１】
射影データ１２とテンプレートデータ１０との比較方法について図４及び図６を参照し説明する。射影データ１２の第ｉ列目（ｉ＝１、２、…、Ｎ）の値をＳｉとし、角度ｋ度（ｋ＝０、１０、…、３５０）のテンプレートデータ１０Ｂ−ｋの第ｉ列目の値をＴｋｉとすると、射影データ１２と角度ｋ度のテンプレートデータ１０Ｂ−ｋとの比較結果Ｒｋは、（１）式の様に求められる。同様にして、他の角度のテンプレートデータと射影データとの比較結果Ｒｋを求め、比較結果Ｒｋが最も小さくなるテンプレートデータに対応する角度ｋ度を求める。
【００４２】
Ｒｋ＝Σ｜Ｓｉ−Ｔｋｉ｜・・・・・・（１）
実際、図５の入力画像のウィンドウデータ１１に対する射影データ１２と図４の各角度のテンプレートデータとを（１）式により比較すると、６０度のテンプレートデータとの比較結果Ｒ６０は４６、７０度のテンプレートデータとの比較結果Ｒ７０は２０、８０度のテンプレートデータとの比較結果Ｒ８０は３０、その他０度〜３５０度のテンプレートデータとの比較結果は上記７０度の比較結果より大きくなり、（１）式により、７０度が求められる。このように各角度のテンプレートデータと入力画像との比較において、各角度のテンプレートデータ間の角度を１０度おきに作成しても入力画像の角度に最も近い角度を検出することができるが、入力画像と登録画像の相対角度を一致させ、マッチングを精度よく行うために、各角度のテンプレートデータ間の最低角度を６度以下にする。
【００４３】
次に、円の中心画素の検出方法について図８を参照しながら説明する。図８は円の中心画素の検出方法の説明図である。図８において、円１４は登録画像の一部であり、注目画素１５は円１４の中心画素であり、円周上の画素１６Ａ−０〜１６Ａ−１１は円１４の円周上に存在する画素であり、円周上の画素１６Ｂ−０〜１６Ｂー１１は円１４の外側で円周上の画素１６Ａ−０〜１６Ａ−１１に隣接する画素である。円周上の画素１６Ａ−ｊおよび１６Ｂ−ｊ（ｊ＝０、１、…、１１）において、（２）式を満たすとき円の内部と円の外部との境界にエッジが存在するものとする。
【００４４】
画素１６Ａ−ｊの値＜画素１６Ｂ−ｊの値・・・・（２）
また、登録画像の特徴色の下限値をＣ０（例として０）、上限値をＣ１（例として５０）とすると、円周上の画素１６Ａ−ｊの値が（３）式を満たすとき、円周上の画素１６Ａ−ｊは、登録画像と色味が一致しているものとする。
【００４５】
Ｃ０（０）≦画素１６Ａ−ｊの値≦Ｃ１（５０）・・・・・（３）
円周上の複数の位置（ここでは１２個所）全てにおいて、（２）式および（３）式を満たすとき、注目画素１５を円１４の中心画素とする。
【００４６】
入力された画像に対し、画素単位に注目画素を画像全体に走査し、注目画素毎に周囲画素１６Ａ−ｊおよび１６Ｂ−ｊ（ｊ＝０、１、…、１１）に対して（２）式および（３）式の処理を行い、注目画素が円の中心画素であるか否かの判定を行う。
【００４７】
角度補正方法について説明する。上記求めた注目画素を中心画素とし、２値化されたウィンドウ内の全黒画素を検出した角度分だけ角度補正を行う。例えば検出した角度が７０度であれば、−７０度だけ中心画素を中心に全黒画素を回転させる。
【００４８】
なお、本実施の形態では、射影データ１２は垂直方向の画素数をカウントすることにより求めているが、同一方向であれば水平方向や斜め方向であってもよい。また複数方向でもよい。これを図９〜図１１を用いて説明する。図９は左右対象の登録画像を示す画像図であり、図１０は角度０度の画像を示す画像図、図１１は図１０の画像に対するテンプレートデータを示すデータ図、図１２は角度１８０度の画像を示す画像図、図１３は図１２の画像に対するテンプレートデータを示すデータ図である。ここで、例えば一方向のみの射影データを用いた場合、図９のような左右対称の画像１７を登録画像として登録した場合には、図１０のような角度０度の画像１８に対するテンプレートデータ１９と図１２のような角度１８０度の画像２０に対するテンプレートデータ２１は等しくなり、正しく角度を検出することが困難となる。そこで、複数方向（例えば、水平方向と垂直方向の両方）に対し各列毎に画素数をカウントすることにより射影データを作成すると、左右対称な画像であっても正確に入力画像の傾きを検出することができる。このとき水平方向の射影データは、入力画像を角度９０度回転させたときの垂直方向の射影データと等しくなるため、垂直方向の射影データと角度Ｋ度のテンプレートデータとを比較するとき、水平方向の射影データは角度Ｋ＋９０度のテンプレートデータと比較を行えばよい。
【００４９】
以上のように本実施の形態によれば、画像を入力する画像入力部１と、入力画像に対する所定サイズのウィンドウ走査を行ってウィンドウデータを生成するウィンドウデータ生成部２と、生成したウィンドウデータを２値化して２値化ウィンドウデータを生成する２値化処理部３と、生成した２値化ウィンドウデータから射影データを作成する射影データ作成部４と、作成した射影データと予め登録しておいた複数のテンプレートデータとの比較を行う射影データ比較部５と、射影データ比較部５における比較結果により入力画像の回転角度を検出する角度検出部６と、検出した回転角度を用いて入力画像の回転角度を補正する角度補正部７と、角度補正された入力画像と登録画像との一致度を判定する一致度判定部８とを設けたことにより、射影データ１２と複数のテンプレートデータ１０との比較に基づいて入力画像の回転角度を検出することができるので、入力画像の回転角度の検出を高速に行うことができ、その検出回転角度に基づいて角度補正された入力画像中に登録画像があるか否かの検索を高速かつ高精度に行うことができる。また、２値化処理部を多値化処理部とすれば、多値化ウィンドウデータから射影データを作成することができるので、入力画像の回転角度の検出を更に高精度に行うことができる。さらに、テンプレートデータの角度を６度よりも小さい角度毎に設定するようにしたことにより、テンプレートデータが高精度化されるので、入力画像の回転角度の検出を更に高精度に行うことができる。さらに、複数方向に対して画素値を計数するようにしたことにおり、１方向に対する画素値の係数のみでは発生するおそれのある誤りを防止することができるので、入力画像の回転角度を更に正確に検出することができる。さらに、一つの方向の射影データとテンプレートデータとの比較結果により、他方向の射影データとテンプレートデータとの比較結果を制御するようにしたことにより、１方向に対する画素値の係数のみでは発生するおそれのある誤りを防止することができるので、入力画像の回転角度を更に正確に検出することができる。さらに、最大画素数・最小画素数・標準偏差・平均画素数のいずれかを用いて比較を行うようにしたことにより、全列の一致度を求めなくても高速に非登録画像であることを判定することができ、また登録画像の角度を高速に絞り込むことができる。
【００５０】
（実施の形態２）
以下、本発明の実施の形態２について図１４、図１５を参照しながら説明する。図１４、図１５は、本発明の実施の形態２による画像検索方法を示すフローチャートである。なお、本実施の形態における画像検索装置の構成は図１と同様の構成であり、実施の形態１とは動作が異なる。
【００５１】
図１４、図１５において、まず、画像データを入力し（Ｓ２１）、入力された画像データに対し、或る注目画素を中心とし所定サイズ（例えば２５画素×２５画素）のウィンドウデータを作成し（Ｓ１１、ウィンドウデータ生成ステップ）、作成されたウィンドウデータに対し、２値化処理（例えば、カラー画像信号の明度を求め、その明度と所定の閾値との比較を行うことによる２値化処理）を行う（Ｓ２３、２値化処理ステップ）。次に、読み出すテンプレートデータを第１番目の角度のテンプレートデータへ移動する（Ｓ２４）。次に、全てのテンプレートデータを読み出して比較したか否かを判定する（Ｓ２５）。最初は全てのテンプレートデータを読み出していないので、上記テンプレートデータおよび２値化処理されたウィンドウデータ（２値化ウィンドウデータ）の第１列目を対象の列とし（Ｓ２６）、２値化処理されたウィンドウデータの第１列目の画素数「Ｓ」をカウントする（Ｓ２７）。このとき上記テンプレートデータの第１列目の値「Ｔ」を読み込む（Ｓ２８）。ここで上記ウィンドウデータの第１列目の画素数「Ｓ」と上記テンプレートデータの第１列目の値「Ｔ」とを比較し、差が或るしきい値以内（ここではしきい値を５とする）であれば（Ｓ２９）、ＳとＴは類似したものと判定し、次に全ての列について処理が行われたか否かを判定し（Ｓ３０）、最初はウィンドウデータ内の全ての列を比較処理していないので、次の列へ移動する（Ｓ３１）。同様にして上記ウィンドウデータの第ｉ列目の画素数「Ｓ」をカウントし（Ｓ２７）、上記テンプレートデータの第ｉ列目の値「Ｔ」を読み込み（Ｓ２８）、ＳとＴが類似していれば（Ｓ２９）、更に次の列の処理を行い、ウィンドウ内の全ての列を比較処理し（Ｓ３０）、全ての列においてＳとＴが類似していれば、そのときの上記テンプレートデータに対応する角度と全列の比較結果の総和とを抽出する（Ｓ３２）。また、列毎にＳとＴとの比較を行い、いずれか１列でもＳとＴとの差がしきい値（５）を超すと（Ｓ２９）、上記テンプレートデータとウィンドウデータとは全く異なるものと判定し、次の角度のテンプレートデータとの比較を行う（Ｓ３３）。同様にして、全ての角度のテンプレートデータとウィンドウデータとの比較を列毎の画素数で比較し、全列で類似したテンプレートデータに対応した角度と全列の比較結果の総和とを求める（Ｓ３２）。全ての角度のテンプレートデータとウィンドウデータとの比較が終了すると（Ｓ２５、射影データ比較ステップ）、上記ステップＳ３２により求めた全比較結果の総和中で最も値が小さくなる（ウィンドウデータと最も類似した）テンプレートデータに対応した角度を抽出する（Ｓ３４、角度検出ステップ）。前記ステップＳ３４により求めた角度に応じてウィンドウデータの角度補正を行い（Ｓ３５）、角度補正後のデータと登録画像とのマッチングを行い（Ｓ３６、一致度判定ステップ）、入力画像が登録画像と一致しているか否かの判定を行う。ある注目画素に対し、ステップＳ２２からステップＳ３６までの一連の処理が終了し、次の注目画素が存在すると（Ｓ３７）、注目画素へ移動し（Ｓ３８）、次の注目画素に対し、ステップＳ２２からステップＳ３６までの処理を繰り返す。同様にして全ての画素に対しステップＳ２２からステップＳ３６までの処理を行い、全ての注目画素に対し処理が終了すると（Ｓ３７）、検索処理が終了する。なお、ステップＳ２４〜Ｓ３１は射影データ作成ステップを構成する。
【００５２】
なお、本実施の形態では、射影データは垂直方向の画素数をカウントすることにより求めているが、同一方向であれば水平方向や斜め方向であってもよい。また複数方向でもよい。例えば一方向のみの射影データを用いた場合、図９のような左右対称の画像１７を登録画像として登録した場合には、図１０の角度０度の画像１８に対するテンプレートデータ１９と図１２の角度１８０度の画像２０に対するテンプレートデータ２１は等しくなり、正しく角度を検出することが困難となる。そこで、複数方向（例えば、水平方向と垂直方向の両方）に対し各列毎に画素数をカウントすることにより射影データを作成すると、左右対称な画像であっても正確に入力画像の傾きを検出することができる。このとき水平方向の射影データは、入力画像を角度９０度回転させたときの垂直方向の射影データと等しくなるため、垂直方向の射影データと角度Ｋ度のテンプレートデータとの比較を行うとき、水平方向の射影データは角度Ｋ＋９０度のテンプレートデータとの比較を行えばよい。
【００５３】
また、本実施の形態では、射影データとテンプレートデータとの比較において、列毎に比較を行っているが、複数の列毎に比較し、射影データに最も類似したテンプレートデータを求めてもよい。また複数方向の画素値をカウントすることにより射影データを作成している場合、角度毎に比較を行うことにより、ある方向での射影データとテンプレートデータとの比較結果により、他の方向の射影データとテンプレートデータとの比較を制御することができる。例えば、垂直方向の射影データを用いて比較結果が小さくなる上位５個のテンプレートデータを抽出することにより角度の絞り込みを行い、次に、水平方向の射影データを用いて、前記求めた上位５個の角度に対し比較処理を行うことにより処理の高速化を図ることができる。
【００５４】
また、ウィンドウデータ内の標準偏差や全画素数、列毎の平均画素数（＝全画素数÷Ｎ列）は、回転角度に依存しないことから、２値化されたウィンドウデータから全画素数を求め、登録画像の全画素数と比較し、（４）式を満たすとき、ウィンドウデータが登録画像の全画素数と一致しているものとし、射影データ比較部５・角度検出部６・角度補正部７・一致度判定部８の各処理を行い、登録画像と一致しているか否かの判定を行う。
【００５５】
Ｈ−ＴＨ＜Ｕ＜Ｈ＋ＴＨ・・・・・（４）
（４）式において、Ｈは登録画像の全画素数であり、Ｕはウィンドウデータ内の全画素数、ＴＨはしきい値（ここでは５０）である。上記画素数の比較が（４）式を満たさないとき、射影データ比較部５・角度検出部６・角度補正部７・一致度判定部８の各処理を行わず、登録画像と一致しないものと判定する。
【００５６】
上記（４）式の比較は全画素数を用いているが、先に説明したように、標準偏差や平均画素数のいずれかを用いてもよい。以上により、登録画像とは異なる画像が入力されたとき、角度補正やマッチングを行うことがなく、処理の高速化を図ることができる。
【００５７】
また、射影データ比較部において、２値化されたウィンドウデータの最大画素数（または最小画素数）が存在する列を求め、各角度のテンプレートデータの中から上記求めた列に最大画素数（または最小画素数）が存在するテンプレートデータを抽出し、上記抽出したテンプレートデータに対してのみ、射影データの全列とテンプレートデータとの比較を行うことにより、テンプレートデータの比較処理の高速化を図ることができる。
【００５８】
以上のように本実施の形態では、最大画素数（または最小画素数）を用いることにより、全角度のテンプレートデータとの比較を行うことがなく、高速に角度の検出が可能となる。
【００５９】
（実施の形態３）
図１６は本発明の実施の形態３による画像検索装置を示すブロック図である。図１６において、３１はＣＰＵ、３２はディスプレイ、３３はメモリ、３４はスキャナ、３５はハードディスク、３６はフロッピーディスクドライブ、３７はＭＯディスクドライブ、３８はＣＤ−ＲＯＭディスクドライブである。
【００６０】
フロッピーディスクドライブ３６、ＭＯディスクドライブ３７またはＣＤ−ＲＯＭディスクドライブ３８などのコンピュータ読み取り可能な記録媒体には、実施の形態１、２で記載した射影データを用いた画像検索方法を実現するプログラムが記録されており、このプログラムをＣＰＵ３１が実行することにより図１の各構成１〜８が実現される。すなわち、スキャナ３４などから画像が入力され、ハードディスク３５などに一時的に格納される。ここで、上記プログラムが実行されると、格納された画像データが読み込まれ、射影データを用いた画像検索処理が実行され、その結果がディスプレイ３２などに出力される。
【００６１】
以上のように本実施の形態によれば、入力画像に対する所定サイズのウィンドウ走査を行ってウィンドウデータを生成するウィンドウデータ生成ステップと、生成したウィンドウデータから射影データを作成する射影データ作成ステップと、作成した射影データと予め登録しておいた複数のテンプレートデータとの比較を行う射影データ比較ステップと、射影データ比較ステップにおける比較結果により入力画像の回転角度を検出する角度検出ステップと、回転角度を用いて入力画像と登録画像との一致度を判定する一致度判定ステップと、を実行させるためのプログラムを記録したことにより、入力画像中に登録画像があるか否かの検索を高速かつ高精度に行うことができる画像検索方法を任意の場所・期間に行うことができる。
【００６２】
【発明の効果】
以上説明したように本発明の請求項１に記載の画像検索装置によれば、画像を入力する画像入力部と、入力画像に対する所定サイズのウィンドウ走査を行ってウィンドウデータを生成するウィンドウデータ生成部と、生成したウィンドウデータから射影データを作成する射影データ作成部と、予め複数の登録画像の各テンプレートデータを登録しておくメモリと、作成した射影データとテンプレートデータとの比較を行う射影データ比較部と、射影データ比較部における比較結果により入力画像の回転角度を検出する角度検出部と、を有し、登録画像が入力画像中に存在するか否かの検索を行う画像検索装置であって、角度検出部で検出した回転角度に応じてウィンドウデータの角度の補正を行う角度補正部を有すると共に、メモリには、各登録画像に対して所定の角度回転された複数の射影データをそれぞれテンプレートデータとして登録しておき、射影データ作成部がウィンドウデータから第１の方向の射影データと第１の方向と９０度異なる第２の方向の射影データとを作成し、射影データ比較部が第１及び第２の方向の射影データとテンプレートデータとを比較して、角度検出部が第１及び第２の方向の射影データとテンプレートデータとがそれぞれ一致したとき第１の方向の射影データの回転角度を入力画像の回転角度として検出し、角度補正部が検出した回転角度に応じてウィンドウデータの回転角度の補正を行うので、入力画像の回転角度の検出を正確かつ高速化することができ、その検出回転角度に基づいて回転角度が補正された入力画像中に登録画像があるか否かの検索を高速かつ高精度に行うことができるという有利な効果が得られる。
【００６３】
請求項２に記載の画像検索方法によれば、入力画像に対する所定サイズのウィンドウ走査を行ってウィンドウデータを生成するウィンドウデータ生成ステップと、生成したウィンドウデータから射影データを作成する射影データ作成ステップと、作成した射影データと予めメモリに複数登録されている登録画像の各テンプレートデータとの比較を行う射影データ比較ステップと、射影データ比較ステップにおける比較結果によりウィンドウデータの回転角度を検出する角度検出ステップと、を有し、登録画像ごとに所定の角度回転された射影データを複数のテンプレートデータとしてそれぞれ登録しておき、登録画像が入力画像中に存在するか否かの検索を行う画像検索方法であって、登録画像の検索を行う前に、角度検出ステップで検出した回転角度に応じてウィンドウデータの角度の補正を行う角度補正ステップを有し、射影データ作成ステップにおいてウィンドウデータから第１の方向の射影データと第１の方向と９０度異なる第２の方向の射影データとを作成し、射影データ比較ステップにおいて第１及び第２の方向の射影データとテンプレートデータとを比較して、角度検出ステップにおいて第１及び第２の方向の射影データとテンプレートデータとがそれぞれ一致したとき第１の方向の射影データの回転角度を入力画像の回転角度として検出し、角度補正ステップにおいて検出した回転角度に応じてウィンドウデータの回転角度の補正を行い角度補正後の画像を作成するので、入力画像の回転角度の検出を正確かつ高速化することができ、その検出回転角度に基づいて回転角度が補正された入力画像中に登録画像があるか否かの検索を高速かつ高精度に行うことができるという有利な効果が得られる。
【００６８】
更に、射影データ作成ステップにおいては、複数方向に対して画素値を計数することにより、１方向に対する画素値の計数のみでは発生するおそれのある誤りが防止されるので、入力画像の回転角度を更に正確に検出することができるという有利な効果が得られる。
【００６９】
請求項３に記載の画像検索方法によれば、請求項２に記載の画像検索方法において、射影データ比較ステップにおいては、一つの方向の射影データとテンプレートデータとの比較結果により、他方向の射影データとテンプレートデータとの比較結果を制御することにより、他方向における検索角度を絞り込むことができるので、入力画像の回転角度を更にいっそう高速に検索することができるという有利な効果が得られる。
【００７０】
請求項４に記載の画像検索方法によれば、請求項２に記載の画像検索方法において、射影データ比較ステップにおいては、最大画素数・最小画素数・標準偏差・平均画素数のいずれかを用いて比較を行うことにより、全列の一致度を求めなくても高速に非登録画像であることを判定することができ、また登録画像の角度を高速に絞り込むことができるという有利な効果が得られる。
【００７１】
請求項５に記載の記録媒体によれば、入力画像に対する所定サイズのウィンドウ走査を行ってウィンドウデータを生成するウィンドウデータ生成ステップと、生成したウィンドウデータから射影データを作成する射影データ作成ステップと、作成した射影データと予め複数登録されている登録画像の各テンプレートデータとの比較を行う射影データ比較ステップと、射影データ比較ステップにおける比較結果によりウィンドウデータの回転角度を検出する角度検出ステップと、を有し、登録画像ごとに所定の角度回転された射影データを複数のテンプレートデータとしてそれぞれ登録しておき、登録画像が入力画像中に存在するか否かの検索を行う画像検索方法のプログラムを記録した記録媒体であって、登録画像の検索を行う前に、角度検出ステップで検出した回転角度に応じてウィンドウデータの角度の補正を行う角度補正ステップを有し、射影データ作成ステップにおいてウィンドウデータから第１の方向の射影データと第１の方向と９０度異なる第２の方向の射影データとを作成し、射影データ比較ステップにおいて第１及び第２の方向の射影データとテンプレートデータとを比較して、角度検出ステップにおいて第１及び第２の方向の射影データとテンプレートデータとがそれぞれ一致したとき第１の方向の射影データの回転角度を入力画像の回転角度として検出し、角度補正ステップにおいて検出した回転角度に応じてウィンドウデータの回転角度の補正を行い角度補正後の画像を作成するためのプログラムを記録したことにより、入力画像中に登録画像があるか否かの検索を高速かつ高精度に行うことができる画像検索方法を任意の場所・期間に行うことができるという有利な効果が得られる。
【図面の簡単な説明】
【図１】本発明の実施の形態１による画像検索装置を示すブロック図
【図２】図１の画像検索装置の動作を示すフローチャート
【図３】検出すべき登録画像を示す画像図
【図４】登録画像に対する各角度のテンプレートデータを示す角度テンプレート対応図
【図５】入力画像に対する所定サイズのウィンドウ内の画像を示す画像図
【図６】図５の画像に対する射影データを示すデータ図
【図７】図５の画像の角度を補正した後の画像を示す画像図
【図８】円の中心画素の検出方法の説明図
【図９】左右対象の登録画像を示す画像図
【図１０】角度０度の画像を示す画像図
【図１１】図１０の画像に対するテンプレートデータを示すデータ図
【図１２】角度１８０度の画像を示す画像図
【図１３】図１２の画像に対するテンプレートデータを示すデータ図
【図１４】本発明の実施の形態２による画像検索方法を示すフローチャート
【図１５】本発明の実施の形態２による画像検索方法を示すフローチャート
【図１６】本発明の実施の形態３による画像検索装置を示すブロック図
【符号の説明】
１ 画像入力部
２ ウィンドウデータ生成部
３ ２値化処理部
４ 射影データ作成部
５ 射影データ比較部
６ 角度検出部
７ 角度補正部
８ 一致度判定部
３１ ＣＰＵ
３２ ディスプレイ
３３ メモリ
３４ スキャナ
３５ ハードディスク
３６ フロッピーディスクドライブ
３７ ＭＯディスクドライブ
３８ ＣＤ−ＲＯＭディスクドライブ
【発明の属する技術分野】
本発明は、予め登録された登録画像が入力画像中に存在するか否かの検索を行う画像検索装置および画像検索方法、ならびにその方法を実行する記録媒体に関するものである。
【０００２】
【従来の技術】
従来から、予め登録された画像が画像中に存在するか否かの検索を行うための手法として画像検索方法が提案されている。一般に画像検索方法は、入力画像中から登録画像の検索をリアルタイムに処理することが要求されている。
【０００３】
登録画像の検索において、入力画像中の全画素を注目画素として登録画像のマッチングを行うと、膨大な処理時間がかかる。そこで、従来から、登録画像とマッチングさせる画像の中心点を求める方法として、例えば１文字分の大きさの領域を抽出し、抽出した領域内の画素が存在する幅及び高さから中心点を求める方法、また登録画像が円を有し、円の内側のみにさまざまな模様が描かれている場合は、円周上の複数の点においてエッジの有無により円を抽出し、円の中心点を求める方法など、種々の手法が提案されている。
【０００４】
しかし、入力画像が回転している場合、入力画像を所定角度毎に回転させ、その度に回転処理された画像データと登録画像とのマッチングを行い、全角度のマッチング率により、登録画像であるか否かの判定を行うなど、検索処理が複雑となり、高速に登録画像の検索を行うことが難しくなる。
【０００５】
【発明が解決しようとする課題】
このように、上記従来の画像検索方法では、登録画像の検索に膨大な処理時間がかかり、リアルタイムに処理を行うことが困難になるという問題点を有していた。
【０００６】
この画像検索装置、画像検索方法および記録媒体では、同一方向に対して各列毎の画素数をカウントし、そのカウント数と予め登録しておいた各角度の列毎のテンプレートデータとの比較を行うことにより、入力画像の回転角度を検出し、入力画像の回転角度の補正を行い、登録画像の検索を高速かつ高精度に行うことが要求されている。
【０００７】
本発明は、入力画像の回転角度を高速に検出して入力画像の回転角度の補正を行い、登録画像の検索を高速かつ高精度に行うことができる画像検索装置、および、入力画像の回転角度を高速に検出して入力画像の回転角度の補正を行い、登録画像の検索を高速かつ高精度に行うための画像検索方法、ならびに、その画像検索方法を実行するための記録媒体を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記課題を解決するために本発明の画像検索装置は、画像を入力する画像入力部と、入力画像に対する所定サイズのウィンドウ走査を行ってウィンドウデータを生成するウィンドウデータ生成部と、生成したウィンドウデータから射影データを作成する射影データ作成部と、予め複数の登録画像の各テンプレートデータを登録しておくメモリと、作成した射影データとテンプレートデータとの比較を行う射影データ比較部と、射影データ比較部における比較結果により入力画像の回転角度を検出する角度検出部と、を有し、登録画像が入力画像中に存在するか否かの検索を行う画像検索装置であって、角度検出部で検出した回転角度に応じてウィンドウデータの角度の補正を行う角度補正部を有すると共に、メモリには、各登録画像に対して所定の角度回転された複数の射影データをそれぞれテンプレートデータとして登録しておき、射影データ作成部がウィンドウデータから第１の方向の射影データと第１の方向と９０度異なる第２の方向の射影データとを作成し、射影データ比較部が第１及び第２の方向の射影データとテンプレートデータとを比較して、角度検出部が第１及び第２の方向の射影データとテンプレートデータとがそれぞれ一致したとき第１の方向の射影データの回転角度を入力画像の回転角度として検出し、角度補正部が検出した回転角度に応じてウィンドウデータの回転角度の補正を行う構成を備えている。
【０００９】
これにより、入力画像の回転角度を高速に検出して入力画像の回転角度の補正を行い、登録画像の検索を高速かつ高精度に行うことができる画像検索装置が得られる。
【００１０】
上記課題を解決するために本発明の画像検索方法は、入力画像に対する所定サイズのウィンドウ走査を行ってウィンドウデータを生成するウィンドウデータ生成ステップと、生成したウィンドウデータから射影データを作成する射影データ作成ステップと、作成した射影データと予めメモリに複数登録されている登録画像の各テンプレートデータとの比較を行う射影データ比較ステップと、射影データ比較ステップにおける比較結果によりウィンドウデータの回転角度を検出する角度検出ステップと、を有し、登録画像ごとに所定の角度回転された射影データを複数のテンプレートデータとしてそれぞれ登録しておき、登録画像が入力画像中に存在するか否かの検索を行う画像検索方法であって、登録画像の検索を行う前に、角度検出ステップで検出した回転角度に応じてウィンドウデータの角度の補正を行う角度補正ステップを有し、射影データ作成ステップにおいてウィンドウデータから第１の方向の射影データと第１の方向と９０度異なる第２の方向の射影データとを作成し、射影データ比較ステップにおいて第１及び第２の方向の射影データとテンプレートデータとを比較して、角度検出ステップにおいて第１及び第２の方向の射影データとテンプレートデータとがそれぞれ一致したとき第１の方向の射影データの回転角度を入力画像の回転角度として検出し、角度補正ステップにおいて検出した回転角度に応じてウィンドウデータの回転角度の補正を行い角度補正後の画像を作成する構成を備えている。
【００１１】
これにより、入力画像の回転角度を高速に検出して入力画像の回転角度の補正を行い、登録画像の検索を高速かつ高精度に行うための画像検索方法が得られる。
【００１２】
上記課題を解決するために本発明の記録媒体は、入力画像に対する所定サイズのウィンドウ走査を行ってウィンドウデータを生成するウィンドウデータ生成ステップと、生成したウィンドウデータから射影データを作成する射影データ作成ステップと、作成した射影データと予め複数登録されている登録画像の各テンプレートデータとの比較を行う射影データ比較ステップと、射影データ比較ステップにおける比較結果によりウィンドウデータの回転角度を検出する角度検出ステップと、を有し、登録画像ごとに所定の角度回転された射影データを複数のテンプレートデータとしてそれぞれ登録しておき、登録画像が入力画像中に存在するか否かの検索を行う画像検索方法のプログラムを記録した記録媒体であって、登録画像の検索を行う前に、角度検出ステップで検出した回転角度に応じてウィンドウデータの角度の補正を行う角度補正ステップを有し、射影データ作成ステップにおいてウィンドウデータから第１の方向の射影データと第１の方向と９０度異なる第２の方向の射影データとを作成し、射影データ比較ステップにおいて第１及び第２の方向の射影データとテンプレートデータとを比較して、角度検出ステップにおいて第１及び第２の方向の射影データとテンプレートデータとがそれぞれ一致したとき第１の方向の射影データの回転角度を入力画像の回転角度として検出し、角度補正ステップにおいて検出した回転角度に応じてウィンドウデータの回転角度の補正を行い角度補正後の画像を作成するためのプログラムを記録した構成を備えている。
【００１３】
これにより、上記画像検索方法を実行するための記録媒体が得られる。
【００１４】
【発明の実施の形態】
本発明の請求項１に記載の画像検索装置は、画像を入力する画像入力部と、入力画像に対する所定サイズのウィンドウ走査を行ってウィンドウデータを生成するウィンドウデータ生成部と、生成したウィンドウデータから射影データを作成する射影データ作成部と、予め複数の登録画像の各テンプレートデータを登録しておくメモリと、作成した射影データとテンプレートデータとの比較を行う射影データ比較部と、射影データ比較部における比較結果により入力画像の回転角度を検出する角度検出部と、を有し、登録画像が入力画像中に存在するか否かの検索を行う画像検索装置であって、角度検出部で検出した回転角度に応じてウィンドウデータの角度の補正を行う角度補正部を有すると共に、メモリには、各登録画像に対して所定の角度回転された複数の射影データをそれぞれテンプレートデータとして登録しておき、射影データ作成部がウィンドウデータから第１の方向の射影データと第１の方向と９０度異なる第２の方向の射影データとを作成し、射影データ比較部が第１及び第２の方向の射影データとテンプレートデータとを比較して、角度検出部が第１及び第２の方向の射影データとテンプレートデータとがそれぞれ一致したとき第１の方向の射影データの回転角度を入力画像の回転角度として検出し、角度補正部が検出した回転角度に応じてウィンドウデータの回転角度の補正を行うこととしたものである。
【００１５】
この構成により、射影データと複数のテンプレートデータとの比較に基づいて入力画像の回転角度が検出されるので、入力画像の回転角度の検出が高速化され、その検出回転角度に基づいて入力画像の回転角度の補正を行うことにより、入力画像中に登録画像があるか否かの検索を高速かつ高精度に行うことができるという作用を有する。
【００１６】
請求項２に記載の画像検索方法は、入力画像に対する所定サイズのウィンドウ走査を行ってウィンドウデータを生成するウィンドウデータ生成ステップと、生成したウィンドウデータから射影データを作成する射影データ作成ステップと、作成した射影データと予めメモリに複数登録されている登録画像の各テンプレートデータとの比較を行う射影データ比較ステップと、射影データ比較ステップにおける比較結果によりウィンドウデータの回転角度を検出する角度検出ステップと、を有し、登録画像ごとに所定の角度回転された射影データを複数のテンプレートデータとしてそれぞれ登録しておき、登録画像が入力画像中に存在するか否かの検索を行う画像検索方法であって、登録画像の検索を行う前に、角度検出ステップで検出した回転角度に応じてウィンドウデータの角度の補正を行う角度補正ステップを有し、射影データ作成ステップにおいてウィンドウデータから第１の方向の射影データと第１の方向と９０度異なる第２の方向の射影データとを作成し、射影データ比較ステップにおいて第１及び第２の方向の射影データとテンプレートデータとを比較して、角度検出ステップにおいて第１及び第２の方向の射影データとテンプレートデータとがそれぞれ一致したとき第１の方向の射影データの回転角度を入力画像の回転角度として検出し、角度補正ステップにおいて検出した回転角度に応じてウィンドウデータの回転角度の補正を行い角度補正後の画像を作成することとしたものである。
【００１７】
この構成により、射影データと複数のテンプレートデータとの比較に基づいて入力画像の回転角度が検出されるので、入力画像の回転角度の検出が高速化され、その検出回転角度に基づいて入力画像の回転角度の補正を行うことにより、入力画像中に登録画像があるか否かの検索を高速かつ高精度に行うことができるという作用を有する。
【００２６】
また、この画像検索方法において、射影データ作成ステップにおいては、複数方向に対して画素値を計数することとしたものである。
【００２７】
この構成により、１方向に対する画素値の計数のみでは発生する誤りが防止されるので、入力画像の回転角度を更に正確に検出することができるという作用を有する。
【００２８】
請求項３に記載の画像検索方法は、請求項２に記載の画像検索方法において、射影データ比較ステップにおいては、一つの方向の射影データとテンプレートデータとの比較結果により、他方向の射影データとテンプレートデータとの比較結果を制御することとしたものである。
【００２９】
この構成により、他方向において検索する角度を絞り込むことができるので、入力画像の回転角度を更にいっそう高速に検出することができるという作用を有する。
【００３０】
請求項４に記載の画像検索方法は、請求項２に記載の画像検索方法において、射影データ比較ステップにおいては、最大画素数・最小画素数・標準偏差・平均画素数のいずれかを用いて比較を行うこととしたものである。
【００３１】
この構成により、全列の一致度を求めなくても高速に非登録画像であることを判定することができ、また登録画像の角度を高速に絞り込むことができるという作用を有する。
【００３２】
請求項５に記載の記録媒体は、入力画像に対する所定サイズのウィンドウ走査を行ってウィンドウデータを生成するウィンドウデータ生成ステップと、生成したウィンドウデータから射影データを作成する射影データ作成ステップと、作成した射影データと予め複数登録されている登録画像の各テンプレートデータとの比較を行う射影データ比較ステップと、射影データ比較ステップにおける比較結果によりウィンドウデータの回転角度を検出する角度検出ステップと、を有し、登録画像ごとに所定の角度回転された射影データを複数のテンプレートデータとしてそれぞれ登録しておき、登録画像が入力画像中に存在するか否かの検索を行う画像検索方法のプログラムを記録した記録媒体であって、登録画像の検索を行う前に、角度検出ステップで検出した回転角度に応じてウィンドウデータの角度の補正を行う角度補正ステップを有し、射影データ作成ステップにおいてウィンドウデータから第１の方向の射影データと第１の方向と９０度異なる第２の方向の射影データとを作成し、射影データ比較ステップにおいて第１及び第２の方向の射影データとテンプレートデータとを比較して、角度検出ステップにおいて第１及び第２の方向の射影データとテンプレートデータとがそれぞれ一致したとき第１の方向の射影データの回転角度を入力画像の回転角度として検出し、角度補正ステップにおいて検出した回転角度に応じてウィンドウデータの回転角度の補正を行い角度補正後の画像を作成するためのプログラムを記録することとしたものである。
【００３３】
この構成により、入力画像中に登録画像があるか否かの検索を高速かつ高精度に行うことができる画像検索方法を任意の場所・期間に行うことができるという作用を有する。
【００３４】
以下、本発明の実施の形態について図１〜図１５を参照しながら説明する。
【００３５】
（実施の形態１）
図１は本発明の実施の形態１による画像検索装置を示すブロック図である。
【００３６】
図１において、１は画像データを入力する画像入力部、２は画像入力部１により入力された画像データに対し、或る注目画素を中心としＮ画素×Ｎ画素サイズのウィンドウデータを生成するウィンドウデータ生成部、３はウィンドウデータ生成部２により生成されたウィンドウデータの２値化処理（例えば、画像データの明度を求め、その明度と所定の閾値との比較を行うことによる２値化処理）を行う２値化処理部、４は２値化処理部３により２値化されたウィンドウデータに対し、同一方向（例えば垂直方向）の各列毎に画素数をカウントすることにより射影データを作成する射影データ作成部、５は射影データ作成部４により作成された射影データと予め登録されている各角度のテンプレートデータとの比較を行う射影データ比較部、６は射影データ比較部５により比較された結果により角度を検出する角度検出部、７は角度検出部６により検出された角度に応じて、２値化処理部３により２値化されたウィンドウデータの角度の補正を行う角度補正部、８は角度補正部７により補正された角度補正後のウィンドウデータと予め登録された登録画像との一致度を判定する一致度判定部である。
【００３７】
ここで、図１の構成について図３を用いて説明する。図３は検出すべき登録画像を示す画像図である。図１において、ウィンドウデータ生成部２と２値化処理部３を入れ替え、画像入力部１により入力された画像データに対し、２値化処理部３により２値化処理を行い、２値化処理部３により２値化処理された画像データに対し、ウィンドウデータ生成部２によりある注目画素を中心としＮ画素×Ｎ画素サイズのウィンドウデータを生成してもよい。また、２値化処理を行わず、射影データ作成部４は多値のウィンドウデータ（多値化ウィンドウデータ）に対し、同一方向の各列毎に画素値の総和を求めることにより、射影データを作成してもよい。また上記注目画素は、画像入力部１により入力された画像データの全画素としてもよいが、ここでは図３に示すような、円を有し円の内側のみに模様が存在する登録画像９の検索を例に説明を行うものであり、円の中心画素を検出し、検出した画素を注目画素とする。さらに、角度補正部７は、登録画像を回転させたり、各角度の登録画像を登録させ、検出した角度に応じて登録画像を選択させることもできる。また、ここではウィンドウデータと登録画像との一致度を判定しているが、射影データを作成した前記ウィンドウデータのサイズとは異なる第２のウィンドウを生成し、登録画像との一致度を判定してもよい。
【００３８】
次に、以上のように構成された画像検索装置について、図２、図４〜図７を用いてその動作を説明する。図２は図１の画像検索装置の動作を示すフローチャートであり、図４は登録画像に対する各角度のテンプレートデータを示す角度テンプレート対応図、図５は入力画像に対する所定サイズのウィンドウ内の画像を示す画像図、図６は図５の画像に対する射影データを示すデータ図、図７は図５の画像の角度を補正した後の画像を示す画像図である。
【００３９】
まず、画像入力部１により画像データを入力し（Ｓ１）、画像入力部１により入力された画像データに対し、円の中心画素を検出することにより注目画素の抽出を行う。円の中心画素の検出方法については詳細を後述する。次に、ウィンドウデータ生成部２により前記抽出した或る注目画素を中心とし所定サイズ（例えば２５画素×２５画素）のウィンドウデータを生成し（Ｓ２、ウィンドウデータ生成ステップ）、ウィンドウデータ生成部２により生成されたウィンドウデータに対し、２値化処理部３により２値化処理（例えば、カラー画像信号の明度を求め、その明度と所定の閾値との比較を行うことによる２値化処理）を行う（Ｓ３、２値化処理ステップ）。ここで２値化されたウィンドウデータ（２値化ウィンドウデータ）１１（図５）において、射影データ作成部４により、まず垂直方向の第１列目の画素数をカウントし、次に垂直方向の第２列目の画素数をカウントし、同様にしてウィンドウ内の垂直方向に対し全ての列の画素数をそれぞれ列毎にカウントする（Ｓ４，Ｓ５、射影データ作成ステップ）。以上により求めた垂直方向の列毎のカウント値を射影データ１２（図６）とし、予め登録しておいた各角度のテンプレートデータ１０（図４）との比較を行う。テンプレートデータ１０の作成方法および比較方法については詳細を後述する。ここで射影データ比較部５により、まず上記求めた射影データ１２と予め登録しておいた角度０度のテンプレートデータ１０Ｂ−０との比較を行う（Ｓ６、射影データ比較ステップ）。いま、角度０度のテンプレートデータ１０Ｂ−０のみしか比較を行っていないので、入力画像の回転角度として角度０度を検出する（Ｓ７）。同様にして全ての角度のテンプレートデータ１０Ｂ−０〜１０Ｂ−３５０と比較を行う（Ｓ８）。角度検出部６は、射影データ１２と角度０度〜角度３５０度までのテンプレートデータ１０との比較結果により、比較結果の値が最も小さい（射影データ１２に最も類似した）テンプレートデータの角度（ここでは射影データ１２と７０度のテンプレートデータ１０Ｂ−７０とが最も類似している。）を検出する（Ｓ７、角度検出ステップ）。以上のステップＳ６〜ステップＳ８によりウィンドウデータ１１の傾いた角度（入力画像の回転角度）を検出する。ここで角度補正部７によりウィンドウデータ１１をステップＳ７により検出した角度分（ここでは７０度）だけ角度補正を行う（Ｓ９）。角度補正方法については詳細を後述する。次に、一致度判定部８により、上記ウィンドウデータ１１に対し角度補正された角度補正後の画像１３（図７）と予め登録しておいた登録画像９との一致度（例えば、黒画素と白画素の一致する割合によるマッチング）の判定を行い（Ｓ１０、一致度判定ステップ）、登録画像９に一致するか否かの判定を行う。ある注目画素に対し、ステップＳ２からステップＳ１０までの一連の処理が終了し、次の注目画素が存在すると（Ｓ１１）、注目画素を移動し（Ｓ１２）、次の注目画素に対し、ステップＳ２からステップＳ１０までの処理を繰り返す。同様にして全ての画素に対しステップＳ２からステップＳ１０までの処理を行い、全ての注目画素に対し処理が終了すると（Ｓ１１）、検索処理が終了する。
【００４０】
テンプレートデータ１０の作成方法の詳細を図４を参照し説明する。画像１０Ａ−０は、検出すべき登録画像９を角度０度に回転させたときの画像（全く回転させないときの画像）で、画像１０Ａ−７０は、検出すべき登録画像９を角度７０度に回転させたときの画像で、同様に画像１０Ａ−３５０は、検出すべき登録画像９を角度３５０度に回転させたときの画像である。テンプレートデータ１０Ｂ−０は、画像１０Ａ−０に対し垂直方向に列毎に画素数をカウントした射影データで、テンプレートデータ１０Ｂ−７０は、画像１０Ａ−７０に対し垂直方向に列毎に画素数をカウントした射影データで、同様にテンプレートデータ１０Ｂ−３５０は、画像１０Ａ−３５０に対し垂直方向に列毎に画素数をカウントした射影データである。テンプレートデータをここでは角度１０度おきで作成しているが、例えば角度１度おきにテンプレートデータを作成することにより、入力画像の傾きをより高精度に検出でき、マッチングをより高精度に行うことができる。
【００４１】
射影データ１２とテンプレートデータ１０との比較方法について図４及び図６を参照し説明する。射影データ１２の第ｉ列目（ｉ＝１、２、…、Ｎ）の値をＳｉとし、角度ｋ度（ｋ＝０、１０、…、３５０）のテンプレートデータ１０Ｂ−ｋの第ｉ列目の値をＴｋｉとすると、射影データ１２と角度ｋ度のテンプレートデータ１０Ｂ−ｋとの比較結果Ｒｋは、（１）式の様に求められる。同様にして、他の角度のテンプレートデータと射影データとの比較結果Ｒｋを求め、比較結果Ｒｋが最も小さくなるテンプレートデータに対応する角度ｋ度を求める。
【００４２】
Ｒｋ＝Σ｜Ｓｉ−Ｔｋｉ｜・・・・・・（１）
実際、図５の入力画像のウィンドウデータ１１に対する射影データ１２と図４の各角度のテンプレートデータとを（１）式により比較すると、６０度のテンプレートデータとの比較結果Ｒ６０は４６、７０度のテンプレートデータとの比較結果Ｒ７０は２０、８０度のテンプレートデータとの比較結果Ｒ８０は３０、その他０度〜３５０度のテンプレートデータとの比較結果は上記７０度の比較結果より大きくなり、（１）式により、７０度が求められる。このように各角度のテンプレートデータと入力画像との比較において、各角度のテンプレートデータ間の角度を１０度おきに作成しても入力画像の角度に最も近い角度を検出することができるが、入力画像と登録画像の相対角度を一致させ、マッチングを精度よく行うために、各角度のテンプレートデータ間の最低角度を６度以下にする。
【００４３】
次に、円の中心画素の検出方法について図８を参照しながら説明する。図８は円の中心画素の検出方法の説明図である。図８において、円１４は登録画像の一部であり、注目画素１５は円１４の中心画素であり、円周上の画素１６Ａ−０〜１６Ａ−１１は円１４の円周上に存在する画素であり、円周上の画素１６Ｂ−０〜１６Ｂー１１は円１４の外側で円周上の画素１６Ａ−０〜１６Ａ−１１に隣接する画素である。円周上の画素１６Ａ−ｊおよび１６Ｂ−ｊ（ｊ＝０、１、…、１１）において、（２）式を満たすとき円の内部と円の外部との境界にエッジが存在するものとする。
【００４４】
画素１６Ａ−ｊの値＜画素１６Ｂ−ｊの値・・・・（２）
また、登録画像の特徴色の下限値をＣ０（例として０）、上限値をＣ１（例として５０）とすると、円周上の画素１６Ａ−ｊの値が（３）式を満たすとき、円周上の画素１６Ａ−ｊは、登録画像と色味が一致しているものとする。
【００４５】
Ｃ０（０）≦画素１６Ａ−ｊの値≦Ｃ１（５０）・・・・・（３）
円周上の複数の位置（ここでは１２個所）全てにおいて、（２）式および（３）式を満たすとき、注目画素１５を円１４の中心画素とする。
【００４６】
入力された画像に対し、画素単位に注目画素を画像全体に走査し、注目画素毎に周囲画素１６Ａ−ｊおよび１６Ｂ−ｊ（ｊ＝０、１、…、１１）に対して（２）式および（３）式の処理を行い、注目画素が円の中心画素であるか否かの判定を行う。
【００４７】
角度補正方法について説明する。上記求めた注目画素を中心画素とし、２値化されたウィンドウ内の全黒画素を検出した角度分だけ角度補正を行う。例えば検出した角度が７０度であれば、−７０度だけ中心画素を中心に全黒画素を回転させる。
【００４８】
なお、本実施の形態では、射影データ１２は垂直方向の画素数をカウントすることにより求めているが、同一方向であれば水平方向や斜め方向であってもよい。また複数方向でもよい。これを図９〜図１１を用いて説明する。図９は左右対象の登録画像を示す画像図であり、図１０は角度０度の画像を示す画像図、図１１は図１０の画像に対するテンプレートデータを示すデータ図、図１２は角度１８０度の画像を示す画像図、図１３は図１２の画像に対するテンプレートデータを示すデータ図である。ここで、例えば一方向のみの射影データを用いた場合、図９のような左右対称の画像１７を登録画像として登録した場合には、図１０のような角度０度の画像１８に対するテンプレートデータ１９と図１２のような角度１８０度の画像２０に対するテンプレートデータ２１は等しくなり、正しく角度を検出することが困難となる。そこで、複数方向（例えば、水平方向と垂直方向の両方）に対し各列毎に画素数をカウントすることにより射影データを作成すると、左右対称な画像であっても正確に入力画像の傾きを検出することができる。このとき水平方向の射影データは、入力画像を角度９０度回転させたときの垂直方向の射影データと等しくなるため、垂直方向の射影データと角度Ｋ度のテンプレートデータとを比較するとき、水平方向の射影データは角度Ｋ＋９０度のテンプレートデータと比較を行えばよい。
【００４９】
以上のように本実施の形態によれば、画像を入力する画像入力部１と、入力画像に対する所定サイズのウィンドウ走査を行ってウィンドウデータを生成するウィンドウデータ生成部２と、生成したウィンドウデータを２値化して２値化ウィンドウデータを生成する２値化処理部３と、生成した２値化ウィンドウデータから射影データを作成する射影データ作成部４と、作成した射影データと予め登録しておいた複数のテンプレートデータとの比較を行う射影データ比較部５と、射影データ比較部５における比較結果により入力画像の回転角度を検出する角度検出部６と、検出した回転角度を用いて入力画像の回転角度を補正する角度補正部７と、角度補正された入力画像と登録画像との一致度を判定する一致度判定部８とを設けたことにより、射影データ１２と複数のテンプレートデータ１０との比較に基づいて入力画像の回転角度を検出することができるので、入力画像の回転角度の検出を高速に行うことができ、その検出回転角度に基づいて角度補正された入力画像中に登録画像があるか否かの検索を高速かつ高精度に行うことができる。また、２値化処理部を多値化処理部とすれば、多値化ウィンドウデータから射影データを作成することができるので、入力画像の回転角度の検出を更に高精度に行うことができる。さらに、テンプレートデータの角度を６度よりも小さい角度毎に設定するようにしたことにより、テンプレートデータが高精度化されるので、入力画像の回転角度の検出を更に高精度に行うことができる。さらに、複数方向に対して画素値を計数するようにしたことにおり、１方向に対する画素値の係数のみでは発生するおそれのある誤りを防止することができるので、入力画像の回転角度を更に正確に検出することができる。さらに、一つの方向の射影データとテンプレートデータとの比較結果により、他方向の射影データとテンプレートデータとの比較結果を制御するようにしたことにより、１方向に対する画素値の係数のみでは発生するおそれのある誤りを防止することができるので、入力画像の回転角度を更に正確に検出することができる。さらに、最大画素数・最小画素数・標準偏差・平均画素数のいずれかを用いて比較を行うようにしたことにより、全列の一致度を求めなくても高速に非登録画像であることを判定することができ、また登録画像の角度を高速に絞り込むことができる。
【００５０】
（実施の形態２）
以下、本発明の実施の形態２について図１４、図１５を参照しながら説明する。図１４、図１５は、本発明の実施の形態２による画像検索方法を示すフローチャートである。なお、本実施の形態における画像検索装置の構成は図１と同様の構成であり、実施の形態１とは動作が異なる。
【００５１】
図１４、図１５において、まず、画像データを入力し（Ｓ２１）、入力された画像データに対し、或る注目画素を中心とし所定サイズ（例えば２５画素×２５画素）のウィンドウデータを作成し（Ｓ１１、ウィンドウデータ生成ステップ）、作成されたウィンドウデータに対し、２値化処理（例えば、カラー画像信号の明度を求め、その明度と所定の閾値との比較を行うことによる２値化処理）を行う（Ｓ２３、２値化処理ステップ）。次に、読み出すテンプレートデータを第１番目の角度のテンプレートデータへ移動する（Ｓ２４）。次に、全てのテンプレートデータを読み出して比較したか否かを判定する（Ｓ２５）。最初は全てのテンプレートデータを読み出していないので、上記テンプレートデータおよび２値化処理されたウィンドウデータ（２値化ウィンドウデータ）の第１列目を対象の列とし（Ｓ２６）、２値化処理されたウィンドウデータの第１列目の画素数「Ｓ」をカウントする（Ｓ２７）。このとき上記テンプレートデータの第１列目の値「Ｔ」を読み込む（Ｓ２８）。ここで上記ウィンドウデータの第１列目の画素数「Ｓ」と上記テンプレートデータの第１列目の値「Ｔ」とを比較し、差が或るしきい値以内（ここではしきい値を５とする）であれば（Ｓ２９）、ＳとＴは類似したものと判定し、次に全ての列について処理が行われたか否かを判定し（Ｓ３０）、最初はウィンドウデータ内の全ての列を比較処理していないので、次の列へ移動する（Ｓ３１）。同様にして上記ウィンドウデータの第ｉ列目の画素数「Ｓ」をカウントし（Ｓ２７）、上記テンプレートデータの第ｉ列目の値「Ｔ」を読み込み（Ｓ２８）、ＳとＴが類似していれば（Ｓ２９）、更に次の列の処理を行い、ウィンドウ内の全ての列を比較処理し（Ｓ３０）、全ての列においてＳとＴが類似していれば、そのときの上記テンプレートデータに対応する角度と全列の比較結果の総和とを抽出する（Ｓ３２）。また、列毎にＳとＴとの比較を行い、いずれか１列でもＳとＴとの差がしきい値（５）を超すと（Ｓ２９）、上記テンプレートデータとウィンドウデータとは全く異なるものと判定し、次の角度のテンプレートデータとの比較を行う（Ｓ３３）。同様にして、全ての角度のテンプレートデータとウィンドウデータとの比較を列毎の画素数で比較し、全列で類似したテンプレートデータに対応した角度と全列の比較結果の総和とを求める（Ｓ３２）。全ての角度のテンプレートデータとウィンドウデータとの比較が終了すると（Ｓ２５、射影データ比較ステップ）、上記ステップＳ３２により求めた全比較結果の総和中で最も値が小さくなる（ウィンドウデータと最も類似した）テンプレートデータに対応した角度を抽出する（Ｓ３４、角度検出ステップ）。前記ステップＳ３４により求めた角度に応じてウィンドウデータの角度補正を行い（Ｓ３５）、角度補正後のデータと登録画像とのマッチングを行い（Ｓ３６、一致度判定ステップ）、入力画像が登録画像と一致しているか否かの判定を行う。ある注目画素に対し、ステップＳ２２からステップＳ３６までの一連の処理が終了し、次の注目画素が存在すると（Ｓ３７）、注目画素へ移動し（Ｓ３８）、次の注目画素に対し、ステップＳ２２からステップＳ３６までの処理を繰り返す。同様にして全ての画素に対しステップＳ２２からステップＳ３６までの処理を行い、全ての注目画素に対し処理が終了すると（Ｓ３７）、検索処理が終了する。なお、ステップＳ２４〜Ｓ３１は射影データ作成ステップを構成する。
【００５２】
なお、本実施の形態では、射影データは垂直方向の画素数をカウントすることにより求めているが、同一方向であれば水平方向や斜め方向であってもよい。また複数方向でもよい。例えば一方向のみの射影データを用いた場合、図９のような左右対称の画像１７を登録画像として登録した場合には、図１０の角度０度の画像１８に対するテンプレートデータ１９と図１２の角度１８０度の画像２０に対するテンプレートデータ２１は等しくなり、正しく角度を検出することが困難となる。そこで、複数方向（例えば、水平方向と垂直方向の両方）に対し各列毎に画素数をカウントすることにより射影データを作成すると、左右対称な画像であっても正確に入力画像の傾きを検出することができる。このとき水平方向の射影データは、入力画像を角度９０度回転させたときの垂直方向の射影データと等しくなるため、垂直方向の射影データと角度Ｋ度のテンプレートデータとの比較を行うとき、水平方向の射影データは角度Ｋ＋９０度のテンプレートデータとの比較を行えばよい。
【００５３】
また、本実施の形態では、射影データとテンプレートデータとの比較において、列毎に比較を行っているが、複数の列毎に比較し、射影データに最も類似したテンプレートデータを求めてもよい。また複数方向の画素値をカウントすることにより射影データを作成している場合、角度毎に比較を行うことにより、ある方向での射影データとテンプレートデータとの比較結果により、他の方向の射影データとテンプレートデータとの比較を制御することができる。例えば、垂直方向の射影データを用いて比較結果が小さくなる上位５個のテンプレートデータを抽出することにより角度の絞り込みを行い、次に、水平方向の射影データを用いて、前記求めた上位５個の角度に対し比較処理を行うことにより処理の高速化を図ることができる。
【００５４】
また、ウィンドウデータ内の標準偏差や全画素数、列毎の平均画素数（＝全画素数÷Ｎ列）は、回転角度に依存しないことから、２値化されたウィンドウデータから全画素数を求め、登録画像の全画素数と比較し、（４）式を満たすとき、ウィンドウデータが登録画像の全画素数と一致しているものとし、射影データ比較部５・角度検出部６・角度補正部７・一致度判定部８の各処理を行い、登録画像と一致しているか否かの判定を行う。
【００５５】
Ｈ−ＴＨ＜Ｕ＜Ｈ＋ＴＨ・・・・・（４）
（４）式において、Ｈは登録画像の全画素数であり、Ｕはウィンドウデータ内の全画素数、ＴＨはしきい値（ここでは５０）である。上記画素数の比較が（４）式を満たさないとき、射影データ比較部５・角度検出部６・角度補正部７・一致度判定部８の各処理を行わず、登録画像と一致しないものと判定する。
【００５６】
上記（４）式の比較は全画素数を用いているが、先に説明したように、標準偏差や平均画素数のいずれかを用いてもよい。以上により、登録画像とは異なる画像が入力されたとき、角度補正やマッチングを行うことがなく、処理の高速化を図ることができる。
【００５７】
また、射影データ比較部において、２値化されたウィンドウデータの最大画素数（または最小画素数）が存在する列を求め、各角度のテンプレートデータの中から上記求めた列に最大画素数（または最小画素数）が存在するテンプレートデータを抽出し、上記抽出したテンプレートデータに対してのみ、射影データの全列とテンプレートデータとの比較を行うことにより、テンプレートデータの比較処理の高速化を図ることができる。
【００５８】
以上のように本実施の形態では、最大画素数（または最小画素数）を用いることにより、全角度のテンプレートデータとの比較を行うことがなく、高速に角度の検出が可能となる。
【００５９】
（実施の形態３）
図１６は本発明の実施の形態３による画像検索装置を示すブロック図である。図１６において、３１はＣＰＵ、３２はディスプレイ、３３はメモリ、３４はスキャナ、３５はハードディスク、３６はフロッピーディスクドライブ、３７はＭＯディスクドライブ、３８はＣＤ−ＲＯＭディスクドライブである。
【００６０】
フロッピーディスクドライブ３６、ＭＯディスクドライブ３７またはＣＤ−ＲＯＭディスクドライブ３８などのコンピュータ読み取り可能な記録媒体には、実施の形態１、２で記載した射影データを用いた画像検索方法を実現するプログラムが記録されており、このプログラムをＣＰＵ３１が実行することにより図１の各構成１〜８が実現される。すなわち、スキャナ３４などから画像が入力され、ハードディスク３５などに一時的に格納される。ここで、上記プログラムが実行されると、格納された画像データが読み込まれ、射影データを用いた画像検索処理が実行され、その結果がディスプレイ３２などに出力される。
【００６１】
以上のように本実施の形態によれば、入力画像に対する所定サイズのウィンドウ走査を行ってウィンドウデータを生成するウィンドウデータ生成ステップと、生成したウィンドウデータから射影データを作成する射影データ作成ステップと、作成した射影データと予め登録しておいた複数のテンプレートデータとの比較を行う射影データ比較ステップと、射影データ比較ステップにおける比較結果により入力画像の回転角度を検出する角度検出ステップと、回転角度を用いて入力画像と登録画像との一致度を判定する一致度判定ステップと、を実行させるためのプログラムを記録したことにより、入力画像中に登録画像があるか否かの検索を高速かつ高精度に行うことができる画像検索方法を任意の場所・期間に行うことができる。
【００６２】
【発明の効果】
以上説明したように本発明の請求項１に記載の画像検索装置によれば、画像を入力する画像入力部と、入力画像に対する所定サイズのウィンドウ走査を行ってウィンドウデータを生成するウィンドウデータ生成部と、生成したウィンドウデータから射影データを作成する射影データ作成部と、予め複数の登録画像の各テンプレートデータを登録しておくメモリと、作成した射影データとテンプレートデータとの比較を行う射影データ比較部と、射影データ比較部における比較結果により入力画像の回転角度を検出する角度検出部と、を有し、登録画像が入力画像中に存在するか否かの検索を行う画像検索装置であって、角度検出部で検出した回転角度に応じてウィンドウデータの角度の補正を行う角度補正部を有すると共に、メモリには、各登録画像に対して所定の角度回転された複数の射影データをそれぞれテンプレートデータとして登録しておき、射影データ作成部がウィンドウデータから第１の方向の射影データと第１の方向と９０度異なる第２の方向の射影データとを作成し、射影データ比較部が第１及び第２の方向の射影データとテンプレートデータとを比較して、角度検出部が第１及び第２の方向の射影データとテンプレートデータとがそれぞれ一致したとき第１の方向の射影データの回転角度を入力画像の回転角度として検出し、角度補正部が検出した回転角度に応じてウィンドウデータの回転角度の補正を行うので、入力画像の回転角度の検出を正確かつ高速化することができ、その検出回転角度に基づいて回転角度が補正された入力画像中に登録画像があるか否かの検索を高速かつ高精度に行うことができるという有利な効果が得られる。
【００６３】
請求項２に記載の画像検索方法によれば、入力画像に対する所定サイズのウィンドウ走査を行ってウィンドウデータを生成するウィンドウデータ生成ステップと、生成したウィンドウデータから射影データを作成する射影データ作成ステップと、作成した射影データと予めメモリに複数登録されている登録画像の各テンプレートデータとの比較を行う射影データ比較ステップと、射影データ比較ステップにおける比較結果によりウィンドウデータの回転角度を検出する角度検出ステップと、を有し、登録画像ごとに所定の角度回転された射影データを複数のテンプレートデータとしてそれぞれ登録しておき、登録画像が入力画像中に存在するか否かの検索を行う画像検索方法であって、登録画像の検索を行う前に、角度検出ステップで検出した回転角度に応じてウィンドウデータの角度の補正を行う角度補正ステップを有し、射影データ作成ステップにおいてウィンドウデータから第１の方向の射影データと第１の方向と９０度異なる第２の方向の射影データとを作成し、射影データ比較ステップにおいて第１及び第２の方向の射影データとテンプレートデータとを比較して、角度検出ステップにおいて第１及び第２の方向の射影データとテンプレートデータとがそれぞれ一致したとき第１の方向の射影データの回転角度を入力画像の回転角度として検出し、角度補正ステップにおいて検出した回転角度に応じてウィンドウデータの回転角度の補正を行い角度補正後の画像を作成するので、入力画像の回転角度の検出を正確かつ高速化することができ、その検出回転角度に基づいて回転角度が補正された入力画像中に登録画像があるか否かの検索を高速かつ高精度に行うことができるという有利な効果が得られる。
【００６８】
更に、射影データ作成ステップにおいては、複数方向に対して画素値を計数することにより、１方向に対する画素値の計数のみでは発生するおそれのある誤りが防止されるので、入力画像の回転角度を更に正確に検出することができるという有利な効果が得られる。
【００６９】
請求項３に記載の画像検索方法によれば、請求項２に記載の画像検索方法において、射影データ比較ステップにおいては、一つの方向の射影データとテンプレートデータとの比較結果により、他方向の射影データとテンプレートデータとの比較結果を制御することにより、他方向における検索角度を絞り込むことができるので、入力画像の回転角度を更にいっそう高速に検索することができるという有利な効果が得られる。
【００７０】
請求項４に記載の画像検索方法によれば、請求項２に記載の画像検索方法において、射影データ比較ステップにおいては、最大画素数・最小画素数・標準偏差・平均画素数のいずれかを用いて比較を行うことにより、全列の一致度を求めなくても高速に非登録画像であることを判定することができ、また登録画像の角度を高速に絞り込むことができるという有利な効果が得られる。
【００７１】
請求項５に記載の記録媒体によれば、入力画像に対する所定サイズのウィンドウ走査を行ってウィンドウデータを生成するウィンドウデータ生成ステップと、生成したウィンドウデータから射影データを作成する射影データ作成ステップと、作成した射影データと予め複数登録されている登録画像の各テンプレートデータとの比較を行う射影データ比較ステップと、射影データ比較ステップにおける比較結果によりウィンドウデータの回転角度を検出する角度検出ステップと、を有し、登録画像ごとに所定の角度回転された射影データを複数のテンプレートデータとしてそれぞれ登録しておき、登録画像が入力画像中に存在するか否かの検索を行う画像検索方法のプログラムを記録した記録媒体であって、登録画像の検索を行う前に、角度検出ステップで検出した回転角度に応じてウィンドウデータの角度の補正を行う角度補正ステップを有し、射影データ作成ステップにおいてウィンドウデータから第１の方向の射影データと第１の方向と９０度異なる第２の方向の射影データとを作成し、射影データ比較ステップにおいて第１及び第２の方向の射影データとテンプレートデータとを比較して、角度検出ステップにおいて第１及び第２の方向の射影データとテンプレートデータとがそれぞれ一致したとき第１の方向の射影データの回転角度を入力画像の回転角度として検出し、角度補正ステップにおいて検出した回転角度に応じてウィンドウデータの回転角度の補正を行い角度補正後の画像を作成するためのプログラムを記録したことにより、入力画像中に登録画像があるか否かの検索を高速かつ高精度に行うことができる画像検索方法を任意の場所・期間に行うことができるという有利な効果が得られる。
【図面の簡単な説明】
【図１】本発明の実施の形態１による画像検索装置を示すブロック図
【図２】図１の画像検索装置の動作を示すフローチャート
【図３】検出すべき登録画像を示す画像図
【図４】登録画像に対する各角度のテンプレートデータを示す角度テンプレート対応図
【図５】入力画像に対する所定サイズのウィンドウ内の画像を示す画像図
【図６】図５の画像に対する射影データを示すデータ図
【図７】図５の画像の角度を補正した後の画像を示す画像図
【図８】円の中心画素の検出方法の説明図
【図９】左右対象の登録画像を示す画像図
【図１０】角度０度の画像を示す画像図
【図１１】図１０の画像に対するテンプレートデータを示すデータ図
【図１２】角度１８０度の画像を示す画像図
【図１３】図１２の画像に対するテンプレートデータを示すデータ図
【図１４】本発明の実施の形態２による画像検索方法を示すフローチャート
【図１５】本発明の実施の形態２による画像検索方法を示すフローチャート
【図１６】本発明の実施の形態３による画像検索装置を示すブロック図
【符号の説明】
１ 画像入力部
２ ウィンドウデータ生成部
３ ２値化処理部
４ 射影データ作成部
５ 射影データ比較部
６ 角度検出部
７ 角度補正部
８ 一致度判定部
３１ ＣＰＵ
３２ ディスプレイ
３３ メモリ
３４ スキャナ
３５ ハードディスク
３６ フロッピーディスクドライブ
３７ ＭＯディスクドライブ
３８ ＣＤ−ＲＯＭディスクドライブ
Claims (5)
- 画像を入力する画像入力部と、前記入力画像に対する所定サイズのウィンドウ走査を行ってウィンドウデータを生成するウィンドウデータ生成部と、前記生成したウィンドウデータから射影データを作成する射影データ作成部と、予め複数の登録画像の各テンプレートデータを登録しておくメモリと、前記作成した射影データと前記テンプレートデータとの比較を行う射影データ比較部と、前記射影データ比較部における比較結果により前記入力画像の回転角度を検出する角度検出部と、を有し、前記登録画像が前記入力画像中に存在するか否かの検索を行う画像検索装置であって、
前記角度検出部で検出した回転角度に応じてウィンドウデータの角度の補正を行う角度補正部を有すると共に、前記メモリには、各登録画像に対して所定の角度回転された複数の射影データをそれぞれテンプレートデータとして登録しておき、前記射影データ作成部が前記ウィンドウデータから第１の方向の射影データと前記第１の方向と９０度異なる第２の方向の射影データとを作成し、前記射影データ比較部が前記第１及び第２の方向の射影データと前記テンプレートデータとを比較して、前記角度検出部が前記第１及び第２の方向の射影データと前記テンプレートデータとがそれぞれ一致したとき前記第１の方向の射影データの回転角度を前記入力画像の回転角度として検出し、前記角度補正部が検出した前記回転角度に応じて前記ウィンドウデータの回転角度の補正を行うことを特徴とする画像検索装置。 - 入力画像に対する所定サイズのウィンドウ走査を行ってウィンドウデータを生成するウィンドウデータ生成ステップと、前記生成したウィンドウデータから射影データを作成する射影データ作成ステップと、前記作成した射影データと予めメモリに複数登録されている登録画像の各テンプレートデータとの比較を行う射影データ比較ステップと、前記射影データ比較ステップにおける比較結果により前記ウィンドウデータの回転角度を検出する角度検出ステップと、を有し、前記登録画像ごとに所定の角度回転された射影データを複数のテンプレートデータとしてそれぞれ登録しておき、前記登録画像が前記入力画像中に存在するか否かの検索を行う画像検索方法であって、
前記登録画像の検索を行う前に、前記角度検出ステップで検出した回転角度に応じてウィンドウデータの角度の補正を行う角度補正ステップを有し、前記射影データ作成ステップにおいて前記ウィンドウデータから第１の方向の射影データと前記第１の方向と９０度異なる第２の方向の射影データとを作成し、前記射影データ比較ステップにおいて前記第１及び第２の方向の射影データと前記テンプレートデータとを比較して、前記角度検出ステップにおいて前記第１及び第２の方向の射影データと前記テンプレートデータとがそれぞれ一致したとき前記第１の方向の射影データの回転角度を前記入力画像の回転角度として検出し、前記角度補正ステップにおいて検出した前記回転角度に応じて前記ウィンドウデータの回転角度の補正を行い角度補正後の画像を作成することを特徴とする画像検索方法。 - 前記射影データ比較ステップにおいて、一つの方向の射影データとテンプレートデータとの比較結果により、他方向の射影データとテンプレートデータとの比較結果を制御することを特徴とする請求項２に記載の画像検索方法。
- 前記射影データ比較ステップにおいて、最大画素数・最小画素数・標準偏差・平均画素数のいずれかを用いて比較を行うことを特徴とする請求項２に記載の画像検索方法。
- 入力画像に対する所定サイズのウィンドウ走査を行ってウィンドウデータを生成するウィンドウデータ生成ステップと、前記生成したウィンドウデータから射影データを作成する射影データ作成ステップと、前記作成した射影データと予め複数登録されている登録画像の各テンプレートデータとの比較を行う射影データ比較ステップと、前記射影データ比較ステップにおける比較結果により前記ウィンドウデータの回転角度を検出する角度検出ステップと、を有し、前記登録画像ごとに所定の角度回転された射影データを複数のテンプレートデータとしてそれぞれ登録しておき、前記登録画像が前記入力画像中に存在するか否かの検索を行う画像検索方法のプログラムを記録した記録媒体であって、
前記登録画像の検索を行う前に、前記角度検出ステップで検出した前記回転角度に応じて前記ウィンドウデータの角度の補正を行う角度補正ステップを有し、前記射影データ作成ステップにおいて前記ウィンドウデータから第１の方向の射影データと前記第１の方向と９０度異なる第２の方向の射影データとを作成し、前記射影データ比較ステップにおいて前記第１及び第２の方向の射影データと前記テンプレートデータとを比較して、前記角度検出ステップにおいて前記第１及び第２の方向の射影データと前記テンプレートデータとがそれぞれ一致したとき前記第１の方向の射影データの回転角度を前記入力画像の回転角度として検出し、前記角度補正ステップにおいて検出した前記回転角度に応じて前記ウィンドウデータの回転角度の補正を行い角度補正後の画像を作成するためのプログラムを記録したことを特徴とする記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24472799A JP4395933B2 (ja) | 1999-08-31 | 1999-08-31 | 画像検索装置、画像検索方法および記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24472799A JP4395933B2 (ja) | 1999-08-31 | 1999-08-31 | 画像検索装置、画像検索方法および記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001067481A JP2001067481A (ja) | 2001-03-16 |
| JP4395933B2 true JP4395933B2 (ja) | 2010-01-13 |
Family
ID=17123008
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP24472799A Expired - Fee Related JP4395933B2 (ja) | 1999-08-31 | 1999-08-31 | 画像検索装置、画像検索方法および記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4395933B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4729205B2 (ja) * | 2001-07-01 | 2011-07-20 | 株式会社アドバンテスト | 位置検出装置、位置検出方法及び電子部品搬送装置 |
| CN102119387B (zh) * | 2008-08-08 | 2014-12-03 | 株式会社尼康 | 检索辅助系统、检索辅助方法以及检索辅助程序 |
| JP4770936B2 (ja) * | 2009-02-04 | 2011-09-14 | ソニー株式会社 | 静脈認証装置およびテンプレート登録方法 |
| JP6832105B2 (ja) * | 2016-09-23 | 2021-02-24 | 株式会社デンソーテン | 水滴検出装置、水滴検出方法および水滴検出プログラム |
| KR102112768B1 (ko) * | 2018-08-06 | 2020-06-04 | 네이버웹툰 주식회사 | 이미지 매칭을 이용한 표식 검출 방법, 장치 및 프로그램 |
-
1999
- 1999-08-31 JP JP24472799A patent/JP4395933B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001067481A (ja) | 2001-03-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4928310B2 (ja) | ナンバープレート認識装置、その制御方法、コンピュータプログラム | |
| US7809173B2 (en) | Face detection method, apparatus, and program | |
| US10235576B2 (en) | Analysis method of lane stripe images, image analysis device, and non-transitory computer readable medium thereof | |
| JP2761467B2 (ja) | 画像切り出し装置及び文字認識装置 | |
| EP4375924A1 (en) | Cell alignment degree measurement method, controller, detection system, and storage medium | |
| JPH11110562A (ja) | パターン認識方法、装置および記録媒体 | |
| CN102831578B (zh) | 图像处理方法和图像处理设备 | |
| JP4395933B2 (ja) | 画像検索装置、画像検索方法および記録媒体 | |
| US20020001095A1 (en) | Image processor for detecting specified pattern | |
| JP3571128B2 (ja) | 図面の寸法数値認識方法及びその装置 | |
| JP3460356B2 (ja) | 円ないし楕円の検出方法およびその装置 | |
| JP2871601B2 (ja) | 文字列検出装置及び方法 | |
| JP5251489B2 (ja) | 画像処理装置及び画像処理プログラム | |
| JP3281469B2 (ja) | 文書画像の傾き検出方法および装置 | |
| JPH1153539A (ja) | 円形パターン判定方法および記録媒体 | |
| JP5636691B2 (ja) | 画像処理装置及び画像処理プログラム | |
| JP4978437B2 (ja) | 画像処理装置及び画像処理プログラム | |
| JP4027689B2 (ja) | 画像の回転角度検出方法、装置および記録媒体 | |
| US6738530B1 (en) | Method of recognizing character in which correction of inclination of character is carried out and apparatus for carrying out this method | |
| JP6003375B2 (ja) | 画像処理装置及び画像処理プログラム | |
| JPH0991376A (ja) | イメージデータ入力処理方法およびその装置 | |
| JP4395932B2 (ja) | 画像検出装置、画像検出方法および記録媒体 | |
| JP3074691B2 (ja) | 文字認識装置 | |
| JPS59200379A (ja) | 画像照合装置 | |
| JP4406974B2 (ja) | 画像検出装置、画像検出方法および記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060825 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20060913 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090608 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090616 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090817 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090929 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091012 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121030 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131030 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |