JP4577392B2 - 画像検索装置 - Google Patents

Description

本発明は、画像検索装置に関する。

監視カメラなどを利用して物体を検出する方法として、時々刻々と入力される撮像画像と同じ位置かつ同じ姿勢で予め撮像された背景画像とで背景差分を行い、その差のある領域を抽出して物体を検出する方法が知られている。しかし、入力画像と背景画像とで撮像時の照明条件（特に、屋外の場合には天候条件、撮像時刻など）が異なると、入力画像と背景画像とで影の出方に差が生じる。その結果、背景差分によって抽出された領域が、影によるものかあるいは新たに現れた物体によるものかを特定できない。そこで、高精度な背景差分を行うためには、様々な照明条件で背景画像を予め撮像し、その様々な照明条件の複数の背景画像の中から入力画像と同じ照明条件の背景画像を検索し、同じ照明条件の入力画像と背景画像で背景差分を行う必要がある。

複数の検索対象画像の中から検索する方法としては、オペレータによって指定あるいは自動で指定された検索キーとなる特徴部分に基づいて、入力画像と同じ特徴部分を持つ画像を検索する方法がある。特許文献１に記載の画像検索装置では、基準画像と複数の各検索対象画像との間で対応する領域の類似性を算出し、類似性の高い一部の領域の特徴量に基づいて類似度を求め、その類似度に基づいて複数の検索対象画像の中から基準画像に類似する画像を抽出する。
特開２００４−２１４３０号公報 特開２０００−１６３５７６号公報 特開平１１−３１２２４８号公報 特開平８−２６３５２２号公報

上記したような画像検索は、適用される用途によってはリアルタイム性が要求される。例えば、車両に搭載される障害物検出装置において入力画像から障害物を検出するために入力画像と同じ照明条件の背景画像を検索することが考えられるが、このように車両で用いられる場合にはリアルタイムで障害物を検出することが必須要件となる。しかし、上記した画像検索装置では、基準画像（例えば、入力画像）と複数の検索対象画像との間で類似度をそれぞれ求める必要があるので、演算コストが増大し、リアルタイム処理に適さない。また、車両では、その都度、オペレータ（運転者）が検索キーあるいは背景画像自体を指定することはできない。

そこで、本発明は、自動的かつリアルタイムで画像検索を行うことができる画像検索装置を提供することを課題とする。

本発明に係る画像検索装置は、複数の検索対象画像の中から入力画像に対応する検索対象画像を検索する画像検索装置であって、複数の検索対象画像間の対応する位置での部分画像の非類似度に基づいて各検索対象画像の特徴部分画像を検出する特徴部分画像検出手段と、特徴部分画像検出手段で検出された各検索対象画像の特徴部分画像と入力画像の部分画像との一致度をそれぞれ算出し、当該一致度に基づいて複数の検索対象画像の中から入力画像に対応する検索対象画像を検索する検索手段とを備え、複数の検索対象画像は、同じ撮像位置から異なる撮像条件で撮像された複数の背景画像であり、特徴部分画像検出手段は、各検索対象画像の中から特徴部分画像の候補を抽出する候補抽出手段と、候補抽出手段で抽出された任意の検索対象画像の特徴部分画像の候補毎に、当該候補の部分画像が他の検索対象画像に出現する回数をカウントする出現回数カウント手段と、出現回数カウント手段でカウントされた出現回数と他の検索対象画像での出現回数が少ない特徴部分画像の候補を判定するための閾値とを比較し、出現回数カウント手段でカウントされた出現回数が閾値よりも少ない候補を特徴部分画像として検出する検出手段とを備えることを特徴とする。

この画像検索装置では、特徴部分画像検出手段により、複数の検索対象画像間において対応する位置（同じ位置）での部分画像をそれぞれ抽出し、異なる検索対象画像の対応する部分画像間の非類似度に基づいて各検索対象画像の特徴部分画像を検出する。つまり、任意の検索対象画像において、他の検索対象画像との間で同じ位置の部分画像を比較し、他の検索対象画像に対して類似していない部分画像（その任意の検索対象画像に特徴的に現れる部分画像）を抽出する。したがって、この特徴部分画像を検索キーとすることにより、他の検索対象画像との判別ができる。複数の検索対象画像について特徴部分画像がそれぞれ検出されている場合、入力画像が入力されると、画像検索装置では、検索手段により、各検索対象画像の特徴部分画像と入力画像の部分画像との一致度をそれぞれ算出し、複数の検索対象画像との各一致度に基づいて複数の検索対象画像の中から入力画像と同じような部分画像を持つ検索対象画像を抽出する。このように、この画像検索装置では、入力画像に関係なく複数の検索対象画像間での非類似度から検索キーとなる特徴部分画像を予め決定しておくことができるので、入力画像が入力された後の処理負荷を軽減でき、自動的かつリアルタイムで画像検索を行うことができる。その結果、リアルタイム性が要求される各種装置に適用することができる。

本発明の上記画像検索装置では、検索手段は、検索対象画像の特徴部分画像と対応する位置での入力画像の部分画像との一致度を算出すると好適である。

この画像検索装置の検索手段では、入力画像の部分画像と各検索対象画像の特徴部分画像間で一致度を算出する際に、入力画像から検索対象画像の特徴部分画像と対応する位置にある部分画像を抽出し、対応する位置の部分画像間で一致度を算出する。このように、画像検索装置では、入力画像の任意の位置での部分画像と一致度を算出するのではなく、画像上で対応する位置（同じ位置）での部分画像間でのみ一致度を算出するので、処理負荷をより軽減することができ、検索速度を更に向上させることができる。

この画像検索装置の特徴部分画像検出手段では、候補抽出手段により、各検索対象画像の中から特徴部分画像の候補となる部分画像を抽出する。そして、特徴部分画像検出手段では、出現回数カウント手段により、任意の検索候補画像の特徴部分画像の各候補について、他の検索候補画像においてその候補の部分画像と同様の部分画像が現れる回数をカウントする。任意の検索候補画像の候補の部分画像と同様の部分画像を持つ検索候補画像の数が多ければ、その候補の部分画像は任意の検索候補画像が特有に持つ画像ではない。一方、任意の検索候補画像の候補の部分画像と同様の部分画像を持つ検索候補画像の数が少なければ（特に、その候補の部分画像を持つ検索候補画像が他に無い場合）、その候補の部分画像は任意の検索候補画像が特有に持つ画像となる。そこで、特徴部分画像検出手段では、検出手段により、カウントされた出現回数が少ない候補の部分画像を検索対象画像の特徴部分画像として検出する。このように、画像検索装置では、他の検索対象画像に現れない部分画像を特徴部分画像とすることにより、検索対象画像の検索キーとして適切な特徴部分画像を決定することができる。この特徴部分画像を用いて画像検索を行うことにより、高精度な画像検索を行うことができる。

本発明は、入力画像に関係なく複数の検索対象画像間での非類似度から検索キーとなる特徴部分画像を予め決定しておくことができるので、自動的かつリアルタイムで画像検索を行うことができる。

以下、図面を参照して、本発明に係る画像検索装置の実施の形態を説明する。

本実施の形態では、本発明に係る画像検索装置を、車両に搭載される装置に適用する。本実施の形態では、前処理を行うキー画像抽出装置（特許請求の範囲に記載の特徴部分画像検出手段に相当）と車両走行中にリアルタイム処理を行う背景画像検索装置（特許請求の範囲に記載の検索手段に相当）又は天候路面状況検索装置からなる。なお、キー画像抽出装置は、背景画像検索装置や天候路面状況検索装置と共に車両に搭載される装置としもよいし、あるいは、別体で構成され、車両に搭載されなくてもよい。

図１及び図２を参照して、本実施の形態に係るキー画像抽出装置１について説明する。図１は、本実施の形態に係るキー画像抽出装置の構成図である。図２は、図１の画像処理部での処理の説明図である。

キー画像抽出装置１は、背景画像又は天候路面状況を検索する際のキー画像を抽出する装置である。キー画像抽出装置１は、パーソナルコンピュータなどの屋内に設けられるコンピュータ上に構成されてもよいし、あるいは、車載の装置として構成されてもよい。キー画像抽出装置１は、背景画像データベース１０及び画像処理部１１（領域抽出部１２、出現回数算出部１３、キー画像判定部１４）を備えている。

なお、本実施の形態では、領域抽出部１２が特許請求の範囲に記載の候補抽出手段に相当し、出現回数算出部１３が特許請求の範囲に記載の出現回数カウント手段に相当し、キー画像判定部１４が特許請求の範囲に記載の検出手段に相当する。

背景画像データベース１０は、ハードディスクやＲＡＭなどの所定の領域に構成される。背景画像データベース１０は、撮像位置毎に、同じ撮像位置から異なる条件で撮像された複数の背景画像と各背景画像に対応付けられる撮像日時、撮像時の天候、撮像時の路面状況などからなるデータを格納するデータベースである。

撮像位置は、車両走行中に車載カメラから撮像する際の各位置（車両の現在位置相当）である。撮像位置としては、車両に搭載されるＧＰＳ[Global Positioning System]受信機での現在位置情報あるいはナビゲーションシステムを搭載した車両の場合にはナビゲーションシステムで求められた現在位置などの情報が利用される。

背景画像は、車両走行中に車載カメラから撮像した場合の背景画像（車両、自転車、歩行者などの移動体及び車両からの落下物などのその場所に通常存在しない物体を除いた画像）である。撮像時の天候としては、晴れ、曇り、雨、雪などがある。撮像時の路面状況としては、ドライ、ウエット、アイスバーン、雪面などがある。同じ撮像位置の複数の背景画像は、撮像時の照明環境（天候、日時）と路面環境が様々な組み合わせの環境条件で撮像した場合の背景画像であり、同じ撮像位置から撮像日時、撮像時の天候、撮像時の路面状況を様々な組み合わせで撮像したときのものとする。

画像処理部１１では、背景画像データベース１０に格納されているデータを用いて、撮像位置毎に、各背景画像について画像検索時の検索キーとなるキー画像（１個又は複数個）をそれぞれ検出する。そのために、画像処理部１１は、領域抽出部１２、出現回数算出部１３及びキー画像判定部１４を有している。

領域抽出部１２では、同じ撮像位置の背景画像毎に、各背景画像のキー画像の候補となり得る領域（部分画像）を抽出する。抽出する領域としては、背景画像の中の特徴的な画像を含む領域でもよいし、あるいは、背景画像を予め決められたメッシュに従って切り出した領域でもよい。特徴的な画像の抽出方法としては、例えば、エッジ点検出などの公知の特徴点抽出技術を利用すればよい。

図２に示す例の場合、同じ撮像位置の背景画像として符号Ｂ_１，・・・，Ｂ_ｎで示す画像があり、背景画像内には壁や歩道、歩道のマンホールなどがある。この例では、背景画像Ｂ_１には影がないが、背景画像Ｂ_ｎには壁の影がある。背景画像Ｂ_１の場合には領域Ａ_１１，Ａ_１２，・・・，Ａ_１ｍが抽出され、背景画像Ｂ_ｎの場合には領域Ａ_ｎ１，Ａ_ｎ２，・・・，Ａ_ｎｍが抽出される。

出現回数算出部１３では、各背景画像から抽出された領域（抽出領域）毎に、その領域の部分画像が他の背景画像に現れる回数（出現回数）をカウントする。同じ撮像位置の背景画像でも、撮像時の天候や撮像日時によって照明条件が異なると、影の出方に差が発生する。また、同じ撮像位置の背景画像でも、路面条件によって、画像の色情報や輝度情報に差が発生する。したがって、同じ撮像位置の背景画像でも、同じ撮像位置の他の背景画像に現れないような特徴的な部分画像を有することになる。そこで、各背景画像の抽出領域の部分画像が、他の背景画像に現れる出現回数を求める。この出現回数が少ないほど（つまり、同じ部分画像を有している他の背景画像の数が少ないほど）、その背景画像に現れる特徴的な画像となる。

具体的な処理としては、出現回数算出部１３では、抽出領域毎に、複数の他の背景画像から抽出領域と同じ位置の領域（部分画像）をそれぞれ抽出し、抽出領域の部分画像と他の各背景画像の同じ位置の領域の部分画像との類似度をそれぞれ算出する。類似度は、値が大きいほど領域間の画像が類似していることを示し、例えば、領域（部分画像）間の正規化相関処理などの公知の相関値を利用すればよい。

そして、出現回数算出部１３では、抽出領域毎に、複数の他の背景画像の中から領域間の類似度が閾値α１以上を持つ他の背景画像を抽出し、閾値α１以上を持つ他の背景画像の数を出現回数としてカウントする。閾値α１は、類似度から領域間の部分画像が同じ画像であるか否かを判定するための閾値であり、予め設定される設計値である。

キー画像判定部１４では、各背景画像の抽出領域毎に、他の背景画像での出現回数に基づいて、キー画像になるか否かを判定する。キー画像は、検索を行う際に検索キーとなる画像であり、他の背景画像との判別を可能とする画像である。そこで、キー画像としては、他の背景画像との類似性が低く、その背景画像に現れる特徴的な画像とし、特に、その背景画像にだけ現れる特徴的な画像が望ましい。

具体的な処理としては、キー画像判定部１４では、抽出領域毎に、他の背景画像での出現回数が閾値β１以下か否かを判定し、出現回数が閾値β１以下の抽出領域をその背景画像のキー画像とする。キー画像判定部１４では、抽出領域をキー画像にすると判定した場合、その背景画像に対応させてそのキー画像を背景画像データベース１０に格納する。閾値β１は、他の背景画像での出現回数が少ない抽出領域を判定するための閾値であり、予め設定される設計値である。閾値β１を０とした場合、出現回数が閾値β１以下の抽出領域の部分画像は他の全ての背景画像に現れないので、その背景画像にしか現れない特有の領域（キー画像）を判定することができる。このような他の全ての背景画像に現れないキー画像を用いて検索を行うことにより、少ない個数のキー画像で高精度な検索が可能となる。

キー画像は、１枚の背景画像について１個又は複数個選択される。キー画像が少ないほど検索時に処理負荷を軽減することができ、キー画像が多いほど検索時に高精度な検索が可能となる。キー画像の個数については、処理負荷と検索精度を考慮して適宜の個数を設定してよい。

図２に示す例の場合、背景画像Ｂ_ｎの領域Ａ_ｎ１などは、他の背景画像Ｂ_１，・・・に現れないので、キー画像となる。

キー画像抽出装置１では、背景画像検索装置２，３に対しては、背景画像データベース１０に格納される撮像日時毎の各背景画像とその背景画像に対応付けられたキー画像を出力する。また、キー画像抽出装置１では、天候路面状況検索装置４に対しては、背景画像データベース１０に格納される撮像日時毎の撮像時の天候と路面状況の各組み合わせとその組み合わせ（背景画像）に対応付けられたキー画像を出力する。

図１及び図２を参照して、キー画像抽出装置１の動作について説明する。特に、画像処理部１１における処理については図３のフローチャートに沿って説明する。図３は、図１の画像処理部での処理の流れを示すフローチャートである。

背景画像データベース１０には、撮像位置毎に、撮像日時、撮像時の天候、撮像時の路面状況が対応付けられた背景画像が複数個格納されている。

画像処理部１１では、背景画像データベース１０から、同じ撮像位置の複数の背景画像を入力する（Ｓ１０）。

画像処理部１１では、同じ撮像位置の背景画像毎に、背景画像からキー画像の候補となる領域を抽出する（Ｓ１１）。そして、画像処理部１１では、抽出した領域毎に、その領域の部分画像が他の背景画像に出現する回数をカウントする（Ｓ１２）。

画像処理部１１では、同じ撮像位置の背景画像毎に、他の背景画像での出現回数が少ない（特に、出現回数が０のものが良い）領域を抽出し、その抽出した領域をキー画像（その背景画像に現れる特徴的な部分画像）として設定する（Ｓ１３）。そして、画像処理部１１では、その設定したキー画像を背景画像に対応付けて背景画像データベース１０に記憶させる。

このキー画像抽出装置１によれば、同じ撮像位置の他の背景画像に出現する回数の少ない領域をキー画像とすることにより、各背景画像について画像検索用の適切なキー画像を設定することができる。このキー画像を用いて検索を行うことにより、複数の背景画像あるいは天候や路面状況の中から入力画像に対応したものを高精度に検索することができる。

また、キー画像抽出装置１によれば、撮像位置の同じ複数の背景画像間で領域（部分画像）の類似度を判定（非類似性を評価）することにより、入力画像に関係なく、キー画像を自動的に抽出することができる。

図４及び図５を参照して、第１の実施の形態に係る背景画像検索装置２について説明する。図４は、第１の実施の形態に係る背景画像検索装置の構成図である。図５は、図４のＥＣＵでの処理の説明図である。

背景画像検索装置２は、入力画像と同じ撮像位置の複数の背景画像の中から入力画像と同じ照明環境（撮像時の天候、撮像時刻など）を持つ背景画像を検索する装置である。背景画像検索装置２は、車載装置として構成され、検索された背景画像を車載の障害物検出装置などに出力する。背景画像検索装置２は、カメラ２０、ＧＰＳ受信機２１及びＥＣＵ[Electronic Control Unit]２２を備えている。

カメラ２０は、ＣＣＤ[Charge Coupled Device]などを用いたステレオカメラあるいは単眼カメラである。カメラ２０は、車両の所定の位置（障害物検出などを行う方向に応じた位置）に取り付けられる。カメラ２０では、車両周辺の所定の方向を撮像し、その撮像したカラー画像（例えば、ＲＧＢ[RedGreen Blue]による画像）を取得する。カメラ２０では、一定時間毎に、その撮像画像のデータを画像信号としてＥＣＵ２２に送信する。なお、カメラはカラーであるが、白黒のカメラでもよい。

ＧＰＳ受信機２１は、ＧＰＳを利用して自車の現在位置などを推定するための装備である。ＧＰＳ受信機２１では、一定時間毎に、ＧＰＳアンテナによってＧＰＳ衛星からのＧＰＳ信号を受信し、そのＧＰＳ信号を復調し、その復調された各ＧＰＳ衛星の位置データに基づいて自車の現在位置（緯度、経度、高度）などを算出する。そして、ＧＰＳ受信機２１では、自車の現在位置情報などをＧＰＳ検出信号としてＥＣＵ２２に送信する。なお、自車の現在位置を検出する手段としては、ナビゲーションシステムでの現在位置検出などの他の手段でもよい。また、ＧＰＳ受信機では主にＧＰＳ信号の受信処理だけを行い、ＧＰＳ信号に基づく現在位置の算出処理をＥＣＵで行ってもよい。

ＥＣＵ２２は、ＣＰＵ[Central ProcessingUnit]、ＲＯＭ[Read Only Memory]、ＲＡＭ[Random Access Memory]などからなる電子制御ユニットであり、背景画像検索装置２を統括制御する。ＥＣＵ２２では、一定時間毎に、カメラ２０からの画像信号やＧＰＳ受信機２１からのＧＰＳ検出信号を受信する。そして、ＥＣＵ２２では、送信された画像信号やＧＰＳ検出信号及びキー画像／背景画像記憶部２３のデータに基づいて部分画像抽出部２４、合致度算出部２５、高合致度背景画像選択部２６での処理を行い、入力画像と同じ照明環境の背景画像を検索する。

キー画像／背景画像記憶部２３は、ＲＡＭの所定の領域に構成される。キー画像／背景画像記憶部２３には、キー画像抽出装置１の背景画像データベース１０に格納されているデータを用いて、撮像位置毎の複数の背景画像と各背景画像に対応付けられたキー画像が予め記憶される。

部分画像抽出部２４では、カメラ２０からの撮像画像が入力される毎に、この撮像画像の特徴的な部分画像を抽出する。特徴的な部分画像の抽出方法としては、例えば、エッジ点検出などの公知の特徴点抽出技術を利用し、この特徴点を中心として矩形領域を抽出する。

図５に示す例の場合、入力画像として符号Ｉで示す画像があり、この入力画像Ｉ内には壁や歩道、歩道のマンホールなどがあり、壁の影も出ている。この入力画像Ｉの場合、マンホールの端部と影の角部を含む特徴的な部分画像Ｐが抽出される。

合致度算出部２５では、キー画像／背景画像記憶部２３に記憶される入力画像と同じ撮像位置の複数の背景画像の各キー画像と入力画像の特徴的な部分画像との合致度（一致度）を算出する。

具体的な処理としては、合致度算出部２５では、ＧＰＳ受信機２１からの現在位置（撮像位置に相当）に基づいて、キー画像／背景画像記憶部２３から入力画像と同じ撮像位置の複数の背景画像とそのキー画像を抽出する。この際、キー画像／背景画像記憶部２３に入力画像と同じ撮像位置のものが無い場合、入力画像に最も近い撮像位置の背景画像とそのキー画像を抽出し、入力画像あるいは背景画像及びそのキー画像のどちらか一方をその撮像位置の相対的な差に基づいて画像変換して同じ撮像位置の画像に相当するものとする。

合致度算出部２５では、抽出した各背景画像のキー画像毎に、入力画像の特徴的な部分画像との合致度を算出する。合致度は、値が大きいほど入力画像の部分画像とキー画像とが合致していることを示し、例えば、類似度を評価する正規化相関処理などの公知の相関値を利用すればよい。

図５に示す例の場合、入力画像Ｉと同じ撮像位置の背景画像として符号Ｂ_１，・・・，Ｂ_ｎで示す画像がある。背景画像Ｂ_１の場合、マンホールの端部を含むキー画像Ｋ_１を有しており、部分画像Ｐとキー画像Ｋ_１との合致度が算出される。背景画像Ｂ_ｎの場合、マンホールの端部及び影の角部を含むキー画像Ｋ_ｎを有しており、部分画像Ｐとキー画像Ｋ_ｎとの合致度が算出される。

高合致度背景画像選択部２６では、入力画像と同じ撮像位置の複数の背景画像の各キー画像と入力画像の特徴的な部分画像との合致度に基づいて、合致度の高いキー画像を持つ背景画像（すなわち、入力画像と同じような照明環境で撮像された背景画像）を選択する。

具体的な処理としては、高合致度背景画像選択部２６では、各背景画像のキー画像毎に、入力画像の部分画像との合致度が閾値α２以上か否かを判定する。閾値α２は、合致度から入力画像の部分画像とキー画像とが同じ画像であるか否かを判定するための閾値であり、予め設定される設計値である。

そして、高合致度背景画像選択部２６では、背景画像毎に、入力画像の部分画像との合致度が閾値α２以上と判定されたキー画像の個数が閾値β２以上か否かを判定し、キー画像の個数が閾値β２以上となる背景画像を選択する。閾値β２は、入力画像と同じ照明環境で撮像された背景画像であるか否かを判定するための閾値であり、予め設定される設計値である。閾値β２は、背景画像が有しているキー画像の個数に応じて設定される。

ここでは、入力画像と同じ照明環境で撮像した背景画像としては、１枚又は複数枚選択される。複数枚選択された場合でも、障害物検出装置などの後処理の装置において適切な背景画像が１枚選択される。

なお、背景画像を１枚だけ絞る場合、合致度が最も高くなる背景画像を選択するかあるいは合致度が閾値α２以上のキー画像の個数が最も多い背景画像を選択すればよい。また、各背景画像にキー画像が１個しか対応付けられていない場合、閾値α２や閾値β２による判定を行わないで、合致度が最も高くなる背景画像を選択すればよい。

図５に示す例の場合、背景画像Ｂ_ｎのキー画像Ｋ_ｎと入力画像Ｉの部分画像Ｐとの合致度が高く、入力画像Ｉの背景画像としてはキー画像Ｋ_ｎを持つ背景画像Ｂ_ｎが選択される。

図４及び図５を参照して、背景画像検索装置２の動作について説明する。特に、ＥＣＵ２２における処理については図６のフローチャートに沿って説明する。図６は、図４のＥＣＵでの処理の流れを示すフローチャートである。

ＥＣＵ２２のキー画像／背景画像記憶部２３には、キー画像抽出装置１の背景画像データベース１０を利用して、撮像位置毎に照明環境の異なる複数の背景画像とそのキー画像が予め記憶される。

カメラ２０では、一定時間毎に、車両の周辺を撮像し、その撮像画像を画像信号としてＥＣＵ２２に送信する。ＥＣＵ２２では、一定時間毎に、画像信号を受信し、入力画像を入力する（Ｓ２０）。

ＧＰＳ受信機２１では、一定時間毎に、ＧＰＳアンテナによってＧＰＳ衛星からのＧＰＳ信号を受信し、各ＧＰＳ信号に基づいて自車の現在位置（緯度、経度、高度）などを算出する。そして、ＧＰＳ受信機２１では、自車の現在位置情報などをＧＰＳ検出信号としてＥＣＵ２２に送信する。ＥＣＵ２２では、一定時間毎に、ＧＰＳ検出信号を受信し、現在位置（撮像位置に相当）を取得する。

入力画像を入力する毎に、ＥＣＵ２２では、入力画像から特徴的な部分画像を抽出する（Ｓ２１）。そして、ＥＣＵ２２では、キー画像／背景画像記憶部２３から入力画像と同じ撮像位置の複数の背景画像及びそのキー画像を抽出し、その複数の背景画像の各キー画像と入力画像の部分画像との合致度をそれぞれ算出する（Ｓ２２）。さらに、ＥＣＵ２２では、複数の背景画像の各キー画像の合致度に基づいて、複数の背景画像の中から高い合致度の背景画像（入力画像と同じ照明環境で撮像された背景画像）を抽出する（Ｓ２３）。そして、ＥＣＵ２２では、その抽出した背景画像を後処理の障害物検出装置などに提供する。

この背景画像検索装置２によれば、キー画像抽出装置１で予め抽出されたキー画像を用いて背景画像検索を行うことにより、入力画像を入力後の処理負荷を軽減でき、入力画像が入力する毎にリアルタイムで検索を行うことができる。その結果、リアルタイム性が要求される障害物検出などに対応することができる。

図７及び図８を参照して、第２の実施の形態に係る背景画像検索装置３について説明する。図７は、第２の実施の形態に係る背景画像検索装置の構成図である。図８は、図７のＥＣＵでの処理の説明図である。

背景画像検索装置３は、第１の実施の形態に係る背景画像検索装置２と同様の装置であり、背景画像検索装置２よりも効率的に背景画像を検索する。背景画像検索装置２では入力画像の特徴的な部分画像に基づいて検索を行ったが、背景画像検索装置３では各背景画像のキー画像に基づいて検索を行う。背景画像検索装置３は、カメラ３０、ＧＰＳ受信機３１及びＥＣＵ３２を備えている。なお、カメラ３０、ＧＰＳ受信機３１は、第１の実施の形態に係る背景画像検索装置２のカメラ２０、ＧＰＳ受信機２１と同様のものなので、その説明を省略する。

ＥＣＵ３２は、ＣＰＵ、ＲＯＭ、ＲＡＭなどからなる電子制御ユニットであり、背景画像検索装置３を統括制御する。ＥＣＵ３２では、一定時間毎に、カメラ３０からの画像信号やＧＰＳ受信機３１からのＧＰＳ検出信号を受信する。そして、ＥＣＵ３２では、送信された画像信号やＧＰＳ検出信号及びキー画像／背景画像記憶部３３のデータに基づいて合致度算出部３４、低合致度背景画像除去部３５での処理を行い、入力画像と同じ照明環境の背景画像を検索する。なお、キー画像／背景画像記憶部３３は、第１の実施の形態に係るＥＣＵ２２のキー画像／背景画像記憶部２３と同様のものなので、その説明を省略する。

合致度算出部３４では、カメラ３０からの撮像画像が入力される毎に、キー画像／背景画像記憶部３３に記憶される入力画像と同じ撮像位置の複数の背景画像の各キー画像と入力画像におけるそのキー画像と対応する位置の領域の部分画像との合致度（一致度）を算出する。

具体的な処理としては、合致度算出部３４では、ＧＰＳ受信機３１からの現在位置に基づいて、キー画像／背景画像記憶部３３から入力画像と同じ撮像位置の複数の背景画像とそのキー画像を抽出する。この際、キー画像／背景画像記憶部３３に入力画像と同じ撮像位置のものが無い場合、第１の実施の形態に係るＥＣＵ２２と同様に、入力画像あるいは背景画像及びそのキー画像のどちらか一方を画像変換する。

合致度算出部３４では、抽出した各背景画像のキー画像毎に、入力画像からそのキー画像と同じ位置の領域を抽出し、その抽出した領域の部分画像とキー画像との合致度を算出する。合致度は、第１の実施の形態に係るＥＣＵ２２における合致度と同様のものである。

図８に示す例の場合、入力画像Ｉと同じ撮像位置の背景画像として符号Ｂ_１，・・・，Ｂ_ｎで示す画像があり、背景画像内には壁や歩道、歩道のマンホールなどがある。背景画像Ｂ_１の場合、マンホールの端部を含むキー画像Ｋ_１を有しており、入力画像Ｉにおけるそのキー画像Ｋ_１と同じ位置の領域の部分画像Ｐとキー画像Ｋ_１との合致度が算出される。背景画像Ｂ_ｎの場合、マンホールの端部及び影の角部を含むキー画像Ｋ_ｎを有しており、入力画像Ｉにおけるそのキー画像Ｋ_ｎと同じ位置の領域の部分画像Ｐとキー画像Ｋ_ｎとの合致度が算出される。

低合致度背景画像除去部３５では、入力画像と同じ撮像位置の複数の背景画像の各キー画像と入力画像における同じ位置の部分画像との合致度に基づいて、合致度の低いキー画像を持つ背景画像（すなわち、入力画像と異なる照明環境で撮像された背景画像）を除去し、最終的に入力画像と同じような照明環境で撮像された背景画像を残す。

具体的な処理としては、低合致度背景画像除去部３５では、各背景画像のキー画像毎に、入力画像の部分画像との合致度が閾値α３以上か否かを判定する。閾値α３は、合致度からキー画像と入力画像の部分画像とが同じ画像であるか否かを判定するための閾値であり、予め設定される設計値である。

そして、低合致度背景画像除去部３５では、背景画像毎に、入力画像の部分画像との合致度が閾値α３以上と判定されたキー画像の個数が閾値β３以下か否かを判定し、キー画像の個数が閾値β３以下となる背景画像を除去する。閾値β３は、入力画像と異なる照明環境で撮像された背景画像であるか否かを判定するための閾値であり、予め設定される設計値である。閾値β３は、背景画像が有しているキー画像の個数に応じて設定される。

入力画像と同じ撮像位置の複数の背景画像から低合致度の背景画像を除去すると、入力画像と同じような照明環境で撮像された背景画像が残る。ここで、残る背景画像の数が多い場合、閾値β３の値を更に厳しくし（β３の値を大きくし）、残った背景画像の中から更に背景画像を除去し、高合致度の背景画像を絞る。

なお、低合致度の背景画像を除去してゆくのではなく、高合致度の背景画像を選択してもよい。この場合、入力画像の部分画像との合致度が閾値α３以上と判定されたキー画像の個数が閾値β３’以上となる背景画像を選択する。

図８に示す例の場合、背景画像Ｂ_１のキー画像Ｋ_１と入力画像Ｉの部分画像Ｐとの合致度が低く、背景画像Ｂ_１などが除去され、背景画像Ｂ_ｎが残る。

図７及び図８を参照して、背景画像検索装置３の動作について説明する。特に、ＥＣＵ３２における処理については図９のフローチャートに沿って説明する。図９は、図７のＥＣＵでの処理の流れを示すフローチャートである。

ＥＣＵ３２のキー画像／背景画像記憶部３３には、キー画像抽出装置１の背景画像データベース１０を利用して、撮像位置毎に照明環境の異なる複数の背景画像とそのキー画像が予め記憶される。

カメラ３０では、一定時間毎に、車両の周辺を撮像し、その撮像画像を画像信号としてＥＣＵ３２に送信する。ＥＣＵ３２では、一定時間毎に、画像信号を受信し、入力画像を入力する（Ｓ３０）。

ＧＰＳ受信機３１では、一定時間毎に、ＧＰＳアンテナによってＧＰＳ衛星からのＧＰＳ信号を受信し、各ＧＰＳ信号に基づいて自車の現在位置（緯度、経度、高度）などを算出する。そして、ＧＰＳ受信機３１では、自車の現在位置情報などをＧＰＳ検出信号としてＥＣＵ３２に送信する。ＥＣＵ３２では、一定時間毎に、ＧＰＳ検出信号を受信し、現在位置（撮像位置に相当）を取得する。

入力画像を入力する毎に、ＥＣＵ３２では、キー画像／背景画像記憶部３３から入力画像と同じ撮像位置の複数の背景画像及びそのキー画像を抽出し、その複数の背景画像の各キー画像と入力画像におけるキー画像と同じ位置の領域の部分画像との合致度をそれぞれ算出する（Ｓ３１）。さらに、ＥＣＵ３２では、複数の背景画像の各キー画像との合致度に基づいて、複数の背景画像の中から低い合致度の背景画像（入力画像と異なる照明環境で撮像された背景画像）を除去し、入力画像と同じ照明環境で撮像された背景画像を残す（Ｓ３２）。そして、ＥＣＵ３２では、その残った背景画像を後処理の障害物検出装置などに提供する。

この背景画像検索装置３によれば、第１の実施の形態に係る背景画像検索装置２と同様の効果を有する上に、以下の効果も有する。背景画像検索装置３によれば、様々な照明環境で撮像された背景画像のキー画像に基づいて、入力画像におけるキー画像と同じ位置の部分画像とだけ合致度を算出して検索を行うので、処理負荷をより軽減でき、高効率な検索を行うことができる。

図１０及び図１１を参照して、本実施の形態に係る天候路面状況検索装置４について説明する。図１０は、本実施の形態に係る天候路面状況検索装置の構成図である。図１１は、図１０のＥＣＵでの処理の説明図である。

天候路面状況検索装置４は、入力画像と同じ撮像位置の複数の背景画像のキー画像に基づいて、その複数の背景画像を撮像したときの天候と路面状況の組み合わせの中から入力画像と同じ天候と路面状況の組み合わせを検索する装置である。天候路面状況検索装置４は、車載装置として構成され、検索された天候と路面状況を各種車両制御装置（例えば、アンチロックブレーキ装置、トラクションコントロール装置、自動運転装置）あるいは天候や路面状況に基づく警報装置などに出力する。天候路面状況検索装置４は、カメラ４０、ＧＰＳ受信機４１及びＥＣＵ４２を備えている。なお、カメラ４０、ＧＰＳ受信機４１は、第１の実施の形態に係る背景画像検索装置２のカメラ２０、ＧＰＳ受信機２１と同様のものなので、その説明を省略する。

ＥＣＵ４２は、ＣＰＵ、ＲＯＭ、ＲＡＭなどからなる電子制御ユニットであり、天候路面状況検索装置４を統括制御する。ＥＣＵ４２では、一定時間毎に、カメラ４０からの画像信号やＧＰＳ受信機４１からのＧＰＳ検出信号を受信する。そして、ＥＣＵ４２では、送信された画像信号やＧＰＳ検出信号及びキー画像／天候・路面状況記憶部４３のデータに基づいて合致度算出部４４、天候・路面状況出力部４５での処理を行い、入力画像と同じ天候と路面状況を検索する。

キー画像／天候・路面状況記憶部４３は、ＲＡＭの所定の領域に構成される。キー画像／天候・路面状況記憶部４３には、キー画像抽出装置１の背景画像データベース１０に格納されているデータを用いて、撮像位置毎の複数の背景画像に対応付けられた撮像時の天候、撮像時の路面状況及びキー画像が予め記憶される。つまり、様々な組み合わせの撮像時の天候と路面状況にキー画像が対応付けられて記憶される。

合致度算出部４４では、カメラ４０からの撮像画像が入力される毎に、キー画像／天候・路面状況記憶部４３に記憶される入力画像と同じ撮像位置の撮像時の天候と路面状況の複数の組み合わせについての各キー画像と入力画像におけるそのキー画像と対応する位置の領域の部分画像との合致度（一致度）を算出する。

具体的な処理としては、合致度算出部４４では、ＧＰＳ受信機４１からの現在位置に基づいて、キー画像／天候・路面状況記憶部４３から入力画像と同じ撮像位置の複数の組み合わせの撮像時の天候と路面状況及びそのキー画像を抽出する。この際、キー画像／天候・路面状況記憶部４３に入力画像と同じ撮像位置のものが無い場合、第１の実施の形態に係るＥＣＵ２２と同様に、入力画像あるいはキー画像のどちらか一方を画像変換する。

合致度算出部４４では、抽出した各組み合わせのキー画像毎に、入力画像からそのキー画像と同じ位置の領域を抽出し、その抽出した領域の部分画像とキー画像との合致度を算出する。合致度は、第１の実施の形態に係るＥＣＵ２２における合致度と同様のものである。

図１１に示す例の場合、入力画像Ｉと同じ撮像位置の撮像時の天候と路面状況の組み合わせとして符号Ｓ_１，・・・，Ｓ_ｎで示す組み合わせがある。組み合わせＳ_１の場合、天候が曇りで路面状況がドライであり、マンホールの端部を含むキー画像Ｋ_１などを有しており、入力画像Ｉにおけるそのキー画像Ｋ_１と同じ位置の領域の部分画像Ｐとキー画像Ｋ_１との合致度が算出される。組み合わせＳ_ｎの場合、天候が晴れで路面状況がドライであり、マンホールの端部及び影の角部を含むキー画像Ｋ_ｎなどを有しており、入力画像Ｉにおけるそのキー画像Ｋ_ｎと同じ位置の領域の部分画像Ｐとキー画像Ｋ_ｎとの合致度が算出される。

天候・路面状況出力部４５では、入力画像と同じ撮像位置の撮像時の天候と路面状況の複数の組み合わせの各キー画像と入力画像におけるキー画像と同じ位置の部分画像との合致度に基づいて、合致度の高い組み合わせの撮像時の天候と路面状況（すなわち、入力画像の撮像時と同じ天候と路面状況）を選択する。

具体的な処理としては、天候・路面状況出力部４５では、各組み合わせのキー画像毎に、入力画像の部分画像との合致度が閾値α４以上か否かを判定する。閾値α４は、合致度からキー画像と入力画像の部分画像とが同じ画像であるか否かを判定するための閾値であり、予め設定される設計値である。

そして、天候・路面状況出力部４５では、組み合わせ毎に、入力画像の部分画像との合致度が閾値α４以上と判定されたキー画像の個数が閾値β４以上か否かを判定し、キー画像の個数が閾値β４以上となる組み合わせを選択する。閾値β４は、入力画像の撮像時と同じ天候と路面状況であるか否かを判定するための閾値であり、予め設定される設計値である。閾値β４は、背景画像が有しているキー画像の個数に応じて設定される。

ここでは、入力画像の撮像時と同じ天候と路面状況の組み合わせとしては、１つの組み合わせ又は複数の組み合わせが選択される。複数の組み合わせが選択された場合でも、車両制御装置などの後処理の装置において適切な組み合わせが１つ選択される。

なお、組み合わせを１つだけに絞る場合、合致度が最も高くなる組み合わせを選択するかあるいは合致度が閾値α４以上のキー画像の個数が最も多い組み合わせを選択すればよい。また、各組み合わせにキー画像が１個しか対応付けられていない場合、閾値α４や閾値β４による判定を行わないで、合致度が最も高くなる組み合わせを選択すればよい。

図１１に示す例の場合、組み合わせＳ_ｎのキー画像Ｋ_ｎと入力画像Ｉの部分画像Ｐとの合致度が高く、入力画像Ｉの撮像時と同じ天候と路面状況の組み合わせとしては組み合わせＳ_ｎ（天候が晴れで路面状況がドライ）が選択される。

図１０及び図１１を参照して、天候路面状況検索装置４の動作について説明する。特に、ＥＣＵ４２における処理については図１２のフローチャートに沿って説明する。図１２は、図１０のＥＣＵでの処理の流れを示すフローチャートである。

ＥＣＵ４２のキー画像／天候・路面状況記憶部４３には、キー画像抽出装置１の背景画像データベース１０を利用して、撮像位置毎に撮像時の天候と路面状況の複数の組み合わせとそのキー画像が予め記憶される。

カメラ４０では、一定時間毎に、車両の周辺を撮像し、その撮像画像を画像信号としてＥＣＵ４２に送信する。ＥＣＵ４２では、一定時間毎に、画像信号を受信し、入力画像を入力する（Ｓ４０）。

ＧＰＳ受信機４１では、一定時間毎に、ＧＰＳアンテナによってＧＰＳ衛星からのＧＰＳ信号を受信し、各ＧＰＳ信号に基づいて自車の現在位置（緯度、経度、高度）などを算出する。そして、ＧＰＳ受信機４１では、自車の現在位置情報などをＧＰＳ検出信号としてＥＣＵ４２に送信する。ＥＣＵ４２では、一定時間毎に、ＧＰＳ検出信号を受信し、現在位置（撮像位置に相当）を取得する。

入力画像を入力する毎に、ＥＣＵ４２では、キー画像／天候・路面状況記憶部４３から入力画像と同じ撮像位置の撮像時の天候と路面状況の複数の組み合わせ及びそのキー画像を抽出し、その複数の組み合わせの各キー画像と入力画像におけるキー画像と同じ位置の領域の部分画像との合致度をそれぞれ算出する（Ｓ４１）。さらに、ＥＣＵ４２では、複数の組み合わせの各キー画像との合致度に基づいて、複数の組み合わせの中から高い合致度の組み合わせの天候と路面状況（入力画像の撮像時と同じ天候と路面状況）を抽出する（Ｓ４２）。そして、ＥＣＵ４２では、その抽出した天候と路面状況の組み合わせを後処理の車両制御装置などに提供する。

この天候路面状況検索装置４によれば、キー画像抽出装置１で予め抽出されたキー画像を用いて天候と路面状況の検索を行うことにより、入力画像を入力後の処理負荷を軽減でき、入力画像が入力する毎にリアルタイムで検索を行うことができる。その結果、リアルタイム性が要求される車両制御などに対応することができる。さらに、天候路面状況検索装置４によれば、様々な天候と路面状況で撮像された場合のキー画像に基づいて、入力画像におけるキー画像と同じ位置の部分画像とだけ合致度を算出して検索を行うので、処理負荷をより軽減でき、高効率な検索を行うことができる。

以上、本発明に係る実施の形態について説明したが、本発明は上記実施の形態に限定されることなく様々な形態で実施される。

例えば、本実施の形態では車載装置に適用した場合について説明したが、監視カメラなどの他の用途にも適用可能である。

また、本実施の形態では検索対象画像として車載カメラから撮像される背景画像を検索する装置に適用したが、他の画像を検索対象画像とする装置にも適用可能である。

また、本実施の形態では天候と路面状況の両方を検索する装置に適用したが、天候と路面状況のいずれか一方を検索する装置にも適用可能である。

本実施の形態に係るキー画像抽出装置の構成図である。 図１の画像処理部での処理の説明図である。 図１の画像処理部での処理の流れを示すフローチャートである。 第１の実施の形態に係る背景画像検索装置の構成図である。 図４のＥＣＵでの処理の説明図である。 図４のＥＣＵでの処理の流れを示すフローチャートである。 第２の実施の形態に係る背景画像検索装置の構成図である。 図７のＥＣＵでの処理の説明図である。 図７のＥＣＵでの処理の流れを示すフローチャートである。 本実施の形態に係る天候路面状況検索装置の構成図である。 図１０のＥＣＵでの処理の説明図である。 図１０のＥＣＵでの処理の流れを示すフローチャートである。

符号の説明

１…キー画像抽出装置、２，３…背景画像検索装置、４…天候路面状況検索装置、１０…背景画像データベース、１１…画像処理部、１２…領域抽出部、１３…出現回数算出部、１４…キー画像判定部、２０，３０，４０…カメラ、２１，３１，４１…ＧＰＳ受信機、２２，３２，４２…ＥＣＵ、２３，３３…キー画像／背景画像記憶部、２４…部分画像抽出部、２５，３４，４４…合致度算出部、２６…高合致度背景画像選択部、３５…低合致度背景画像除去部、４３…キー画像／天候・路面状況記憶部、４５…天候・路面状況出力部

Claims (2)

1. 複数の検索対象画像の中から入力画像に対応する検索対象画像を検索する画像検索装置であって、
   複数の検索対象画像間の対応する位置での部分画像の非類似度に基づいて各検索対象画像の特徴部分画像を検出する特徴部分画像検出手段と、
   前記特徴部分画像検出手段で検出された各検索対象画像の特徴部分画像と入力画像の部分画像との一致度をそれぞれ算出し、当該一致度に基づいて複数の検索対象画像の中から入力画像に対応する検索対象画像を検索する検索手段と
   を備え、
   前記複数の検索対象画像は、同じ撮像位置から異なる撮像条件で撮像された複数の背景画像であり、
   前記特徴部分画像検出手段は、各検索対象画像の中から特徴部分画像の候補を抽出する候補抽出手段と、前記候補抽出手段で抽出された任意の検索対象画像の特徴部分画像の候補毎に、当該候補の部分画像が他の検索対象画像に出現する回数をカウントする出現回数カウント手段と、前記出現回数カウント手段でカウントされた出現回数と他の検索対象画像での出現回数が少ない特徴部分画像の候補を判定するための閾値とを比較し、前記出現回数カウント手段でカウントされた出現回数が前記閾値よりも少ない候補を特徴部分画像として検出する検出手段とを備えることを特徴とする画像検索装置。
2. 前記検索手段は、検索対象画像の特徴部分画像と対応する位置での入力画像の部分画像との一致度を算出することを特徴とする請求項１に記載する画像検索装置。