JP5160160B2 - 車両画像検索方法、そのシステム及びそのプログラム - Google Patents

Description

本願は車両画像検索技術に関するものであり、特に画像式車番認識システムにより撮影された車両画像を、目撃情報に基づいて検索する技術に関するものである。

道路を通行する車両（自動車）に対する旅行時間提供などの目的で車番認識システムの導入が進んでいる。この車番認識システムは通行車両のナンバープレートを含む前部または後部を撮影して、画像処理によってナンバープレート上の文字を認識するのが一般的である。このため、撮影した画像を犯罪捜査などの支援に用いることも可能である。

従来、犯罪捜査などで不正車両検索を行う場合は、撮影場所，撮影日時，認識した車番などによって画像を検索することができた。このような技術が特許文献１に開示されている。

特開２００５−２０９１７７号公報

しかし、特許文献１に示した従来技術では、交通量の多い道路においては撮影場所や日時だけでは車両の絞込みが十分にできないという問題があった。また、車番を使った検索についても、不正車両はナンバープレートを意図的に曲げたり汚すなどの細工を行うことがあるため、検索漏れが生じてしまうという問題があった。

このような問題に対応するため、類似画像検索技術を応用する例も見られるが、仮に類似画像検索技術を用いた場合でも、外観が類似している車両（例えば、ＯＥＭ車＝Original Equipment Manufacturer車や、兄弟車＝同一メーカ内の派生車）が混在してしまうために検索精度が悪く、効率よく車両を特定できないという問題があった。

そこで、本発明では、不正車両検索で用いられる曖昧な目撃情報を元に、車両をキーワード（例えば、車名，メーカ名，車種，サイズ等）及び、画像特徴量を用いて検索することを課題とする。

前記課題を解決するために、本発明による車両画像検索方法において、前記車両画像検索システムは、学習車両データを用いてキーワード識別器を学習させるステップと、前記キーワード識別器を用いて、撮影車両データからキーワード及びその尤度値を示すキーワードデータを生成し記憶手段に記憶させるステップと、前記キーワードデータ及び前記学習車両データの中から、指定されたキーワードに該当する車両を検索してキーワード検索結果データを生成し記憶手段に記憶させるステップと、前記キーワード検索結果データのキーワード検索結果画像をキー画像として前記学習車両データ及び前記撮影車両データから外観類似車両を検索し、前記学習車両データ内の外観類似車両を検索した結果から得られるキーワードを含むＯＥＭ・兄弟車データのキーワードを補完キーワードとして、その補完キーワードに該当する学習車両データの検索を再度実行し、前記外観類似車両とされた撮影車両データに対して前記キーワード識別器を用いて前記補完キーワードの尤度値を算出し、当該尤度値が閾値を超える場合に当該撮影車両データを追加することで拡張検索を行って拡張検索結果データを生成し記憶手段に記憶させるステップと、前記キーワード検索結果データ及び前記拡張検索結果データを参照して、参照した中から選択した前記撮影車両データの車両のキーワードの一つについて、当該キーワードと関連付けられる車両を前記学習車両データ中から抽出し、その抽出した車両に関連付けられる全キーワードを正解セットとし、前記正解セットと同じキーワードの尤度値が前記正解セットと異なるキーワードの尤度値より高く、かつ両キーワードの尤度値が近接していない場合に整合が取れていると判定し、整合が取れている車両と整合が取れていない車両とを区別して、検索結果データを生成し記憶手段に記憶させるステップと、前記検索結果データを表示するステップとを実行することを特徴とするものである。

更に、前記課題を解決するために、本発明による車両画像検索方法は、整合が取れている車両と整合が取れていない車両とを区別して、分類表示することを特徴とするものである。

更に、前記課題を解決するために、本発明による車両画像検索方法は、上述した車両画像検索方法を用いて検索された結果を、ユーザ指定キーワード該当車，推定キーワード類似該当車，外観類似該当車，ＯＥＭ・兄弟車該当車の４つに分類表示することを特徴とするものである。

更に、前記課題を解決するために、本発明による車両画像検索方法は、同一キーワード車同士の外観類似度を計算すると共に、前記類似度を用いて、ユーザ指定キーワードは一致するが外観が異なる画像を分類表示することを特徴とするものである。

また、前記課題を解決するために、本発明による車両画像検索システムにおいて、記憶装置の学習車両データを用いてキーワード識別器を学習させる手段と、前記キーワード識別器を用いて、記憶装置の撮影車両データからキーワード及びその尤度値を示すキーワードデータを生成し記憶装置に記憶させる手段と、前記キーワードデータ及び前記学習車両データの中から、指定されたキーワードに該当する車両を検索してキーワード検索結果データを生成し記憶手段に記憶させる手段と、前記キーワード検索結果データのキーワード検索結果画像をキー画像として前記学習車両データ及び前記撮影車両データから外観類似車両を検索し、前記学習車両データ内の外観類似車両を検索した結果から得られるキーワードを含むＯＥＭ・兄弟車データのキーワードを補完キーワードとして、その補完キーワードに該当する学習車両データの検索を再度実行し、前記外観類似車両とされた撮影車両データに対して前記キーワード識別器を用いて前記補完キーワードの尤度値を算出し、当該尤度値が閾値を超える場合に当該撮影車両データを追加することで拡張検索を行って拡張検索結果データを生成し記憶手段に記憶させる手段と、前記キーワード検索結果データ及び前記拡張検索結果データを参照して、参照した中から選択した前記撮影車両データの車両のキーワードの一つについて、当該キーワードと関連付けられる車両を前記学習車両データ中から抽出し、その抽出した車両に関連付けられる全キーワードを正解セットとし、前記正解セットと同じキーワードの尤度値が前記正解セットと異なるキーワードの尤度値より高く、かつ両キーワードの尤度値が近接していない場合に整合が取れていると判定し、整合が取れている車両と整合が取れていない車両とを区別して、検索結果データを生成し記憶手段に記憶させる手段と、前記検索結果データを表示する手段とを備えたことを特徴とするものである。

更に、前記課題を解決するために、本発明による車両画像検索システムは、整合が取れている車両と整合が取れていない車両とを区別して、分類表示することを特徴とする。

更に、前記課題を解決するために、本発明による車両画像検索システムは、ユーザ指定キーワード該当車，推定キーワード類似該当車，外観類似該当車，ＯＥＭ・兄弟車該当車の４つに分類表示することを特徴とするものである。

更に、前記課題を解決するために、本発明による車両画像検索システムは、同一キーワード車同士の外観類似度を計算すると共に、前記類似度を用いて、ユーザ指定キーワードは一致するが外観が異なる画像を分類表示することを特徴とするものである。

本発明の車両画像検索方法及びシステムによれば、ユーザ指定キーワードに直接該当する車両と、直接該当するかどうか断定が難しい車両を参考車両として分類表示することが実現できる。

また、本発明の車両画像検索方法及びシステムによれば、曖昧な目撃情報を元に設定されるユーザ指定キーワードによって生じやすい検索漏れを、外観上の類似性などに基づいて減らすことが実現できる。

また、本発明の車両画像検索方法及びシステムによれば、検索された結果に含まれる検索ノイズを低減すると共に、ユーザ指定キーワードと関連のある車両を参考車両として分類表示すること実現ができる。

また、本発明の車両画像検索方法及びシステムによれば、検索者が意図して検索した結果であるユーザ指定キーワード該当車両と、検索者が意図していないが参照すべきである参考車両（キーワードが似ている車両，外観が似ている車両，もともと似たものとして設計された車両）を分類表示することが実現できる。

また、本発明の車両画像検索方法及びシステムによれば、ユーザ指定キーワードだけでは分類ができない年式違いの車両を分類表示することが実現できる。

また、本発明の車両画像検索方法及びシステムによれば、ユーザ指定キーワード検索結果車両に対する外観の類似性だけでなく、キーワード類似性も用いて検索範囲を広げることにより、検索漏れをより少なくすることが実現できる。

また、本発明の車両画像検索方法及びシステムによれば、計算機を用いた車両画像検索システムによって、上記第１から第６までの効果を得ることが実現できる。

以下、本発明の実施例を図面を用いて説明する。

本発明による車両画像検索方法及びシステムの一実施例を、図１〜図１４を使って説明する。

まず、図１を使って、本実施例による処理概要を説明する。

本実施例による車両画像検索方法は、車両キーワード学習処理ステップ（以下、ステップを“Ｓ”と称する）Ｓ１１０，車両キーワード推定処理Ｓ１２０，キーワード検索処理Ｓ１３０，拡張検索処理Ｓ１４０，整合性検証処理Ｓ１５０，検索結果表示処理Ｓ１６０の各処理ステップと、学習車両データＤ１１０，撮影車両データＤ１２０，キーワードデータＤ１３０，キーワード検索結果データＤ１４０，ＯＥＭ・兄弟車データＤ１５０，拡張検索結果データＤ１６０，検索結果データＤ１７０の各データによって構成される。

各データの詳細については後述する。

次に、処理手順の概要について説明する。

まず、前処理として、車両キーワード学習処理Ｓ１１０が実行される。この処理では、あらかじめ準備された学習車両データに含まれる車両画像及びキーワードデータを用いて、車両キーワード識別器の事前学習を行う。具体的には、学習車両画像の画像特徴量（例えば、画像中における車両の縦横サイズ，アスペクト比など）と、それに対応付けられるキーワード（例えば、車名，メーカ名，車種，サイズなど）を学習し、後に実行される車両キーワード推定処理Ｓ１２０におけるキーワード推定を行う。

次に、車両キーワード推定処理Ｓ１２０で、随時撮影される撮影車両データの各車両画像に対するキーワード推定を行う。この処理では、画像処理によって求めた画像特徴量を前記の車両キーワード識別器に入力し、出力として車両画像に対応するキーワードを推定する。例えば、本実施例では、キーワードのカテゴリ（車名，メーカ名，車種，サイズなど）を構成する各クラス（車名であればＮｍ１，Ｎｍ２など。サイズであればＬ，Ｍ，Ｓなど）それぞれについて車名Ｎｍ１尤度，車名Ｎｍ２尤度，…サイズＬ尤度，サイズＭ尤度，サイズＳ尤度を求める識別器を学習しておき、撮影車両が１台登録される毎にその画像特徴量から各尤度を算出し、後述するキーワードデータＤ１３０に登録する。

なお、車両キーワード学習処理Ｓ１１０及び車両キーワード推定処理Ｓ１２０におけるキーワード識別器の方式については一般的な方法でよく、特に限定しない。例えば、キーワード該当尤度を目的変数，画像特徴量を説明変数とする重回帰式による識別器などを用いても良い。

次に、キーワード検索処理Ｓ１３０で、検索者１０１から指定されるキーワードに該当する車両をキーワードデータＤ１３０から検索し、結果をキーワード検索結果データＤ１４０に出力する。キーワード検索処理Ｓ１３０の詳細については後述する。

次に、拡張検索処理Ｓ１４０で、学習車両や撮影車両に対して、前記キーワード検索とは別の観点での検索を行い、結果を拡張検索結果データＤ１６０に出力する。拡張検索処理Ｓ１４０の詳細については後述する。

次に、整合性検証処理Ｓ１５０で、キーワード検索結果及び拡張検索結果に対して、意味論的に不整合を起こしている検索結果を除外し、さらに、整合性の合否判断が難しい微妙な検索結果の分類を行い、結果を検索結果データＤ１７０に出力する。整合性検証処理Ｓ１５０の詳細については後述する。

最後に、検索結果表示処理Ｓ１６０で、検索結果データＤ１７０の分類表示を行う。検索結果表示処理Ｓ１６０の詳細については後述する。

次に、図２に、車両画像検索システムの装置構成を示す。

本発明における車両画像検索システム２００は、情報処理装置２１０，入力装置２２０，表示装置２３０，記憶装置２４０，記憶媒体２５０によって構成される。記憶媒体２５０には、実施例に示した処理を行う車両画像検索プログラム１００が記憶される。

車両画像検索プログラム１００は、本発明における車両画像検索プログラムを計算機で実行可能な形式で記録したものであり、車両画像検索システム２００によって読み込み、実行される。

入力装置２２０では、車両画像検索プログラム１００で行われる処理のうち、検索者１０１からの入力に関わる処理を実行する。具体的には、後述する検索結果画面１４００，１７００に対する入力を処理する。

表示装置２３０では、車両画像検索プログラム１００で行われる処理のうち、検索者１０１に対する表示に関わる処理を実行する。具体的には、後述する検索結果画面１４００，１７００の表示を処理する。

記憶装置２４０には、学習車両データＤ１１０，撮影車両データＤ１２０，キーワードデータＤ１３０，キーワード検索結果データＤ１４０，ＯＥＭ・兄弟車データＤ１５０，拡張検索結果データＤ１６０，検索結果データＤ１７０が記憶され、
各データに対して、情報処理装置２１０，入力装置２２０，表示装置２３０での各処理においてそれぞれ処理，入力，表示が実行される。

なお、本発明中では記憶装置２４０と記憶媒体２５０は別の記憶装置として扱っているが、これらは同一の装置でも、別の装置でも構わない。例えば、車両画像検索プログラム１００は記憶装置２４０内に格納されていても良いし、通信回線などでアクセス可能な、本システムとは別の計算機上に格納されていても良い。

また、本発明における記憶装置及び記憶媒体はその実現方式を限定するものではない。例えば、記憶装置及び記憶媒体としてはハードディスクドライブでも構わないし、半導体メモリでも構わない。

さらに、この実施例では単一の計算機による車両画像検索システムを示すが、本発明では上記装置構成は必ずしも単一の計算機により実現される必要はない。例えば、２つの計算機が互いに通信機能を有する場合、ある計算機上の入力装置２２０及び出力装置２３０を利用して入出力処理を実施し、別の計算机上で情報処理装置２１０及び記憶装置２４０を利用してデータ処理及び記憶処理を実施するなどしても構わない。つまり、スタンドアロン型のシステムであっても、Ｗｅｂシステムなどのマルチクライアント型システムであっても構わない。

次に、図３に、本発明で扱う車両の対象画像の例を示す。

本発明で扱う対象画像は主に車番認識システムの撮影画像を対象としており、ナンバープレートを撮影するために車両の前部または後部が撮影されている。図３（ａ）が前部撮影の例、図３（ｂ）が後部撮影の例である。以下、それぞれを前撮り，後撮りと呼ぶ。

なお、本実施例では対象画像例として車番認識システムの撮影画像を挙げたが、本発明における対象画像を限定するものではない。例えば、画像式交通流計測システムや駐車場監視システムなどにおける、車両上面や側面を写した画像でも構わない。

次に、図４に、学習車両データＤ１１０及び、撮影車両データＤ１２０のデータ形式を示す。図４（ａ）が学習車両データＤ１１０、図４（ｂ）が撮影車両データＤ１２０を示す。学習車両データＤ１１０には、車両データと、車両に対応する画像特徴量データ及び学習キーワードが含まれる。車両データには、車両を特定するＩＤと、車両画像データが含まれる。画像特徴量データには、学習車両画像をあらかじめ画像処理して求めた特徴量１〜ｍが含まれる。ここで、特徴量とは画像中における車両の縦横サイズ，アスペクト比などの画像特徴量の総称であるが、本発明における画像特徴量を限定するものではない。例えば、特徴量として、フロントガラスの位置などを特徴量として用いても構わない。

学習キーワードには、各車両に対して、車名，メーカ名，車種，サイズの各カテゴリについてどのキーワードに該当するかが定義されている。ここで、車種とはセダンやミニバンなどの車両種別を指している。なお、本実施例ではカテゴリとして車名，メーカ名，車種，サイズの４カテゴリを例示するが、その他のカテゴリを用いても構わない。例えば、カテゴリとして車体色を用いても構わない。また、本実施例では車両１台に対して車名，メーカ名，車種，サイズが１つずつ定義されているが、複数定義しても構わない。例えば、車両１台に対して、セダンとステーションワゴンの２つのクラスを定義しても構わない。

撮影車両データＤ１２０には、学習車両データＤ１１０と同様に、車両データと画像特徴量データが含まれる。但し、撮影車両データは随時撮影される車両の情報を保持しているため、学習キーワードデータは含まれない。車両データと画像特徴量データの形式については学習車両データＤ１１０と同様である。

次に、図５に、キーワードデータＤ１３０のデータ形式を示す。

キーワードデータＤ１３０には、車両データと、車両に対応する推定キーワードが含まれる。車両データには車両を特定するＩＤが含まれ、撮影車両とそれに対応する推定キーワードを関連付けるキーとなる。

推定キーワードには車名，メーカ名，車種，サイズの各カテゴリについて、撮影車両がどのクラスに属する可能性が高いかを示す尤度（本実施例では０，１の範囲で高いほど良い値）が保持されている。例えば、図５の車両Ｏ１に着目すると、この車両はＮｍ１という車名で、Ｍｋ１というメーカ製で、Ｃｔ１という車種で、Ｍサイズの車両である可能性が高いということを示している。つまり、車両によっては複数のクラスに該当する（例えば、セダンとステーションワゴンの両方に該当する）可能性が高いという結果もありえる。

次に、図６に、キーワード検索処理Ｓ１３０の処理フローを示す。

キーワード検索処理Ｓ１３０では、まず、検索者１０１からの検索キー入力を受け付ける（ステップＳ６００）。例えば、車名がＮｍ１でかつメーカがＭｋ１の車両とか、メーカがＭｋ１でかつ、車種がＣｔ１かＣｔ２のいずれかなどの検索条件を受け付ける。また、後述する撮影車両データ検索の際に用いる尤度閾値や拡張検索の際に用いる外観類似度閾値を指定するようにしても良い。

次に、学習車両データ検索を行う（Ｓ６１０）。このステップでは、検索者１０１が指定した検索キーに直接合致するデータを学習車両データＤ１１０の中から検索し、キーワード検索結果データＤ１４０に出力する。

次に、撮影車両データに対する検索を行う（Ｓ６２０〜Ｓ６６０）。

撮影車両データに対する検索では、まず、キーワードデータＤ１３０内の各カテゴリ、各クラスに対応する識別器を選択し（Ｓ６２０）、選択された識別器が出力した尤度について、閾値を超える（つまり、そのクラスに該当する）かどうかを判定し（Ｓ６４０）、閾値を超える場合は撮影車両データを検索結果に追加する（Ｓ６５０）。ここまでのＳ６３０〜Ｓ６５０を識別器毎に繰り返す。

次に、図７に、キーワード検索結果データＤ１４０のデータ形式を示す。キーワード検索結果データＤ１４０には、学習車両検索結果データＤ１４１と、撮影車両検索結果データＤ１４２が含まれる。

学習車両検索結果データＤ１４１は、学習車両データＤ１１０の各車両からユーザ指定キーワードに該当する車両だけを抜き出したもので、データの形式は学習車両データＤ１１０と同様である。

なお、図７では説明を簡単にするため画像特徴量データを省略して示す。

撮影車両検索結果データＤ１４２は、撮影車両データＤ１２０とキーワードデータＤ１３０を結合した上でユーザ指定キーワードに該当する車両だけを抜き出したもので、データの形式は撮影車両データＤ１２０及びキーワードデータＤ１３０と同様である。

図７では、検索者１０１がユーザ指定キーワードとして車名Ｎｍ１を指定した場合に、尤度閾値０．５と仮定して検索した結果の例を示している。この例では、学習車両からは車名Ｎｍ１に直接該当する車両Ｌ１が、また、撮影車両からはＮｍ１尤度＞０．５を満たす車両Ｏ１，Ｏ２，Ｏｎがそれぞれ検索されたことを示している。

次に、図８に、ＯＥＭ・兄弟車データＤ１５０のデータ形式を示す。

ＯＥＭ・兄弟車データとは、どの車とどの車が似ているかを事前に定義するためのデータで、このデータには、車名とメーカ名の組及び、その組同士をまとめたセット番号が含まれる。

一般的に、兄弟車（または姉妹車）と呼ばれる車両は、設計上ほぼ同じ車両の外観を一部変更して複数の販売系列から販売するものの通称であり、図８では全て同一メーカ（Ｍｋ１）の車両で別名（Ｎｍ１，Ｎｍ２，Ｎｍ５）を持つセット１が兄弟車の例を示している。また、ＯＥＭ車とは、あるメーカから別のメーカに車両をＯＥＭ供給しているものであり、図８では車名，メーカ名共に別名のセット２がＯＥＭ車の例を示している。

次に、図９に、拡張検索処理Ｓ１４０の処理フローを示す。

拡張検索処理Ｓ１４０では、キーワード検索結果画像それぞれに対して以下の処理を行う（Ｓ９００〜９９０）。

まず、選択された画像Ｉをキーにして、学習車両データ内の類似画像検索を行う（Ｓ９１０）。

次に、選択された画像Ｉをキーにして、撮影車両データ内の類似画像検索を行う（Ｓ９２０）。なお、本実施例では、類似画像検索の手法については特に限定しない。例えば、キー画像と検索対象画像のそれぞれに対してＮ個の画像特徴量を求め、各画像特徴量によって構成されるＮ次元ベクトル同士の内積を用いて画像間の類似度を判定し、類似度が高いものを検索結果として返すという方法を用いても良い。また、類似度が高いものだけを結果として返すのではなく、全ての画像に対する類似度を求めておき、後述する検索結果表示処理の段階で表示の絞込みや並び替えを行っても良い。

次に、学習車両データに対して、ＯＥＭ・兄弟車の検索を行う（Ｓ９３０）。具体的には、選択された画像Ｉが有する車名及びメーカ名について、前記のＯＥＭ・兄弟車データＤ１５０内で同一セットに含まれる車両があるかどうかをチェックし、ある場合はその車両の車名とメーカ名を補完キーワードとして再度学習車両のキーワード検索を行う。

続いて、撮影車両データについても、ＯＥＭ・兄弟車検索を行う（Ｓ９４０〜９８０）。撮影車両データに対するＯＥＭ・兄弟車検索ではＳ９３０で得られた補完キーワードについて、キーワード毎の識別器を選択し（Ｓ９５０）、選択された識別器が出力した尤度について、閾値を超える（つまり、そのクラスに該当する）かどうかを判定し（Ｓ９６０）、閾値を超える場合は撮影車両データを検索結果に追加する（Ｓ９７０）。ここまでのＳ９５０〜Ｓ９８０を識別器毎に繰り返す。

次に、図１０に、拡張検索結果データＤ１６０のデータ形式を示す。

拡張検索結果データＤ１６０には、類似画像検索結果データＤ１６１と、ＯＥＭ・兄弟車検索結果データＤ１６２が含まれる。

類似画像検索結果データＤ１６１は学習車両データＤ１１０及び撮影車両データＤ１２０内の各車両から類似画像検索の結果に該当する車両だけを抜き出したもので、データの形式は学習車両データＤ１１０及び撮影車両データＤ１２０と同様である。但し、追加情報としてキー画像との間の類似度（本実施例では０，１の範囲で高いほど良い値）が含まれる。なお、図１０では説明を簡単にするため、学習車両データからの検索結果と、撮影車両データからの検索結果における推定キーワードデータを省略して示す。

ＯＥＭ・兄弟車検索結果データＤ１６２は学習車両データＤ１１０及び撮影車両データＤ１２０内の各車両から、ＯＥＭ・兄弟車検索処理の結果に該当する車両だけを抜き出したもので、データの形式は学習車両データＤ１１０及び撮影車両データＤ１２０と同様である。なお、図１０では説明を簡単にするため、学習車両データからの検索結果と、撮影車両データからの検索結果における画像特徴量データを省略して示す。

図１０（ａ）では、学習車両データ類似画像検索の結果は０件、撮影車両データ類似画像検索の結果として車両Ｏ３，Ｏ４が検索され、さらに、図１０（ｂ）では学習車両データＯＥＭ・兄弟車検索の結果は０件、撮影車両データＯＥＭ・兄弟車検索の結果として車両Ｏ５が検索されたことを示している。

次に、図１１に、整合性検証処理Ｓ１５０の処理フローを示す。

整合性検証処理Ｓ１５０では、撮影車両データからの検索結果に含まれる車両それぞれに対して以下の処理を行う（Ｓ１１００〜Ｓ１１７０）。

まず、選択された車両Ｉに対して、車名を特定する（Ｓ１１１０）。具体的には、車両Ｉの車名尤度群のうち、尤度が最も高いものをその車両の車名とみなす。

次に、特定した車名と同一車名の車両を学習車両データから検索する（Ｓ１１２０）。この処理によって車名，メーカ名，車種，サイズの正解セットが求まる。

次に、選択中の車両Ｉの各尤度について、メーカ名，車種，サイズの各尤度値組合せが整合しているかどうか、前記正解セットを用いて確認する（Ｓ１１３０〜Ｓ１１５０）。
最後に、整合性確認の結果に基づいて検索結果の絞込みまたは分類を行う（Ｓ１１６０）。

例えば、正解セットが（車名＝Ｎｍ１，メーカ名＝Ｍｋ１，車種＝Ｃｔ１，サイズ＝Ｍ）の場合に、図７に示された車両Ｏ２に着目すると、車名尤度はＮｍ１が高いにも関わらずメーカ尤度はＭｋ２、車種尤度はＣｔ２、サイズ尤度はＬがそれぞれ高いため、正解セットとは整合が取れない。従って、車両Ｏ２は検索結果から除外する。また、図７内の車両Ｏｎに着目すると、車名，メーカ名，車種，サイズの全ての尤度で正解セットと整合が取れているが、Ｎｍ２の尤度も高いためにＮｍ１かＮｍ２のいずれかに該当する車両として他の車両とは区別するようにする。

次に、図１２に、検索結果データＤ１７０のデータ形式を示す。

検索結果データＤ１７０には、ユーザ指定結果データと参考データが含まれる。図１２（ａ）はユーザ指定結果データを、また、図１２（ｂ）は参考データをそれぞれ示している。

ユーザ指定結果データには、キーワード検索結果データＤ１４０の内、整合性が保証されたデータ（Ｄ１７１，Ｄ１７２）だけが保持される。従って、データの形式はキーワード検索結果データＤ１４０と同様である。図１２の例では、車名Ｎｍ１をキーとしたキーワード検索の結果、直接車名が一致するＬ１と、車名Ｎｍ１尤度が高いＯ１が保持されている。

参考データには、キーワード検索結果データＤ１４０の内、推定キーワードに似ているものがあって他の車両と区別された車両（Ｄ１７３）と、拡張検索結果に含まれる、類似画像検索の類似度が高い車両（Ｄ１７４）と、ＯＥＭ・兄弟車として検索された車両（Ｄ１７５）が保持される。従って、データの形式はそれぞれキーワード検索結果データＤ１４０と及び拡張検索結果データＤ１６０と同様である。図１２の例では、車名Ｎｍ１をキーとした検索の結果、車名がＮｍ１かＮｍ２の可能性が高い車両Ｏｎと、外観が類似している車両Ｏ３及びＯ４と、兄弟車である車両Ｏ５が保持されている。

次に、図１３に、検索結果表示処理Ｓ１６０の処理フローを示す。

検索結果表示処理Ｓ１６０では、まず、ユーザ指定キーワードに該当する車両を分類して表示する（Ｓ１３００）。

続いて、参考車両を表示する（Ｓ１３１０〜１３３０）。

参考車両の表示では、まず、推定キーワードが類似している（つまり、ユーザ指定キーワードの他にも複数該当する）車両を分類して表示する（Ｓ１３１０）。

次に、類似画像検索の結果に基づき、外観が類似している車両を分類して表示する（Ｓ１３２０）。

次に、ＯＥＭ・兄弟車に該当する車両を分類して表示する（Ｓ１３３０）。

以上のステップで車両の表示が完了する。

続いて、検索者１０１からの画像選択を受け付け（Ｓ１３４０）、選択された場合はその選択車両のプロパティを表示する（Ｓ１３５０）。ここで、プロパティとして表示するデータ及び表示方式は特に限定しない。例えば、選択車両が学習車両データ内のものであれば学習キーワードを表示しても良いし、選択車両が撮影車両データ内のものであれば推定キーワードの尤度を表示しても良い。また、表示方式については検索及び整合性検証の基準となったデータ（図１２の例では色分けした部分）を強調表示しても良い。

次に、図１４に、検索結果画面例を示す。

システムの表示装置２３０の検索結果画面１４００には、ユーザ指定キーワードの該当車両１４１０，１４２０と、参考車両が分類して表示される。

参考車両はさらに、推定キーワードが似ている車両１４３０、外観が似ている車両１４４０，１４５０、ＯＥＭ車または兄弟車１４６０に分類して表示される。

また、車両画像とあわせて車両のＩＤ及び車名が表示される。なお、車両画像とあわせて表示するのは車名以外でも構わない。例えば、メーカ名，車種，サイズなどの表示を切り替えたり、表形式で一覧表示しても構わない。

図１４の例では、ユーザが車名Ｎｍ１を検索キーとして検索した結果、同一車名のＬ１，Ｏ１が検索結果として表示されている。さらに、推定キーワードが似ている（Ｎｍ１もしくはＮｍ２）ものとしてＯｎが、外観が似ているものとしてＯ３とＯ４が、ＯＥＭ車または兄弟車としてＯ５（車名はＮｍ５であってＮｍ１ではないもの）がそれぞれ分類表示することが実現されている。

本発明による車両画像検索プログラム及びシステムの別の実施例を、図１５〜図１７を使って説明する。なお、本実施例では実施例１の機能に加え、ユーザ指定キーワードは一致するが外観が異なる車両（例えば、同一車名の年式違い車）を相違画像として分類表示する実施例である。

まず、図１５に、実施例２におけるキーワード検索処理Ｓ１４０の処理フローを示す。

実施例２におけるキーワード検索処理Ｓ１４０では、Ｓ６００〜６６０については実施例１と同様の処理を行うが、その後、指定された検索キーと同一キーワードの車両同士の間で、外観の類似度を計算しておく（Ｓ１５００）。ここで、類似度計算の方法は実施例１における類似画像検索処理を用いる。

次に、図１６に、実施例２における検索結果表示処理Ｓ１６０の処理フローを示す。

実施例２における検索結果表示処理Ｓ１６０では、Ｓ１３００〜１３５０については実施例１と同様の処理を行うが、その後、Ｓ１３４０で選択された車両と同一キーワードの外観相違車両を表示する（Ｓ１６００）。具体的には、前記キーワード検索処理Ｓ１４０内のＳ１５００で計算しておいた同一キーワード車両間の類似度を用いて、類似度が低い車両を分類表示する。

次に、図１７に、実施例２における検索結果表示画面例を示す。

実施例２における検索結果画面１７００には、実施例１の表示内容に加えて、ユーザ指定キーワードの外観相違車両１７３０，１７４０が分類して表示される。

図１７の例では、ユーザが車名Ｎｍ１を検索キーとして検索した結果、同一車名のＬ１，Ｏ１が検索結果として表示されている。さらに、同じ車名Ｎｍ１でも外観が違うＯ６，Ｏ７が分類表示されている。

本発明による車両画像検索方法及びシステムの別の実施例を、図１８使って説明する。なお、本実施例では実施例１の機能に加え、ユーザ指定キーワードを自動的に拡張して検索漏れを減少させる実施例である。

図１８に、実施例３における拡張検索処理Ｓ１４０の処理フローを示す。

実施例３における拡張検索処理Ｓ１４０では、Ｓ９００〜Ｓ９８０については実施例１と同様の処理を行う。

次に、ステップＳ９１０の学習車両データ類似画像検索の結果から拡張キーワードを抽出し（Ｓ１８００）、この拡張キーワードがユーザ指定キーワードと異なれば（Ｓ１８１０）、拡張キーワードを用いて自動的にキーワード検索処理Ｓ１８２０を実行する。例えば、キーワード検索において車名Ｎｍ１を検索後、Ｓ９１０において車両Ｏ３（車名はＮｍ３）が類似画像検索された場合、車名Ｎｍ１≠車名Ｎｍ３なので、今度は、拡張キーワードＮｍ３を用いてキーワード検索を実行する。

なお、本発明では、本発明による処理を実行する計算機環境において、前記実施例中における任意の一つの処理ステップを二つ以上の処理ステップに分割して実現しても、二つ以上の任意の処理ステップを統合して一つの処理ステップとして実現しても良く、本発明の提供する機能を損なわない限りその実現形態を制約するものではない。

本発明の車両画像検索方法及びシステムによれば、撮影された車両画像を、曖昧な目撃情報に基づいて検索する際においても、直接該当するかどうか断定が難しい車両情報を検索して、表示する車両画像検索方法及びシステムを提供することが実現できる。

本発明による車両画像検索プログラム及びシステムの全体処理概要を示す図。 本発明による車両画像検索システムの装置構成を示す図。 処理対象画像の例を示す図。 学習車両データ及び撮影車両データのデータ形式及び例を示す図。 キーワードデータのデータ形式を示す図。 キーワード検索処理のフローチャート。 キーワード検索結果データのデータ形式及び例を示す図。 ＯＥＭ・兄弟車データのデータ形式及び例を示す図。 拡張検索処理のフローチャート。 拡張検索結果データのデータ形式及び例を示す図。 整合性検証処理のフローチャート。 検索結果データのデータ形式及び例を示す図。 検索結果表示処理のフローチャート。 検索結果画面の例を示す図。 実施例２における、キーワード検索処理のフローチャート。 実施例２における、検索結果表示処理のフローチャート。 実施例２における、検索結果画面の例を示す図。 実施例３における、拡張検索処理のフローチャート。

符号の説明

１００ 車両画像検索プログラム
１０１ 検索者
Ｓ１１０ 車両キーワード学習処理
Ｓ１２０ 車両キーワード推定処理
Ｓ１３０ キーワード検索処理
Ｓ１４０ 拡張検索処理
Ｓ１５０ 整合性検証処理
Ｓ１６０ 検索結果表示処理
Ｄ１１０ 学習車両データ
Ｄ１２０ 撮影車両データ
Ｄ１３０ キーワードデータ
Ｄ１４０ キーワード検索結果データ
Ｄ１５０ ＯＥＭ・兄弟車データ
Ｄ１６０ 拡張検索結果データ
Ｄ１７０ 検索結果データ

Claims (14)

1. 車両画像検索システムの車両画像検索方法であって、
   前記車両画像検索システムは、
   学習車両データを用いてキーワード識別器を学習させるステップと、
   前記キーワード識別器を用いて、撮影車両データからキーワード及びその尤度値を示すキーワードデータを生成し記憶手段に記憶させるステップと、
   前記キーワードデータ及び前記学習車両データの中から、指定されたキーワードに該当する車両を検索してキーワード検索結果データを生成し記憶手段に記憶させるステップと、
   前記キーワード検索結果データのキーワード検索結果画像をキー画像として前記学習車両データ及び前記撮影車両データから外観類似車両を検索し、前記学習車両データ内の外観類似車両を検索した結果から得られるキーワードを含むＯＥＭ・兄弟車データのキーワードを補完キーワードとして、その補完キーワードに該当する学習車両データの検索を再度実行し、前記外観類似車両とされた撮影車両データに対して前記キーワード識別器を用いて前記補完キーワードの尤度値を算出し、当該尤度値が閾値を超える場合に当該撮影車両データを追加することで拡張検索を行って拡張検索結果データを生成し記憶手段に記憶させるステップと、
   前記キーワード検索結果データ及び前記拡張検索結果データを参照して、参照した中から選択した前記撮影車両データの車両のキーワードの一つについて、当該キーワードと関連付けられる車両を前記学習車両データ中から抽出し、その抽出した車両に関連付けられる全キーワードを正解セットとし、前記正解セットと同じキーワードの尤度値が前記正解セットと異なるキーワードの尤度値より高く、かつ両キーワードの尤度値が近接していない場合に整合が取れていると判定し、整合が取れている車両と整合が取れていない車両とを区別して、検索結果データを生成し記憶手段に記憶させるステップと、
   前記検索結果データを表示するステップと
   を実行することを特徴とする車両画像検索方法。
2. 前記学習車両データ、前記撮影車両データ及び前記ＯＥＭ・兄弟車データは、ナンバープレートを撮影するために車両の前部または後部が撮影されている車番認識画像であることを特徴とする請求項１に記載の車両画像検索方法。
3. 請求項１または請求項２に記載の車両画像検索方法であって、
   前記車両画像検索システムは、
   整合が取れている車両と整合が取れていない車両とを区別して、分類表示することを特徴とする車両画像検索方法。
4. 請求項１ないし請求項３のいずれか一項に記載の車両画像検索方法であって、
   前記車両画像検索システムは、
   ユーザ指定キーワード該当車、推定キーワード類似該当車、外観類似該当車、ＯＥＭ・兄弟車該当車の４つに分類表示することを特徴とする車両画像検索方法。
5. 請求項１または請求項２に記載の車両画像検索方法であって、
   前記車両画像検索システムは、
   同一キーワード車同士の外観類似度を計算すると共に、前記類似度を用いて、ユーザ指定キーワードは一致するが外観が異なる画像を分類表示することを特徴とする車両画像検索方法。
6. 請求項１または請求項２に記載の車両画像検索方法であって、
   前記車両画像検索システムは、
   前記キーワード識別器はキーワードの尤度値を出力し、さらに、尤度値に応じて、特定可能車両と特定が困難な車両を分類表示すること、
   キーワード検索結果画像をキー画像として学習車両データ及び撮影車両データから外観類似車両を検索し、さらに、ＯＥＭ・兄弟車データによってキーワードを補完して類似車両を検索し、これらの検索結果をユーザ指定キーワード結果と分類表示すること、
   整合が取れている車両と整合が取れていない車両とを区別して、分類表示すること、
   ユーザ指定キーワード該当車、推定キーワード類似該当車、外観類似該当車、ＯＥＭ・兄弟車該当車の４つに分類表示すること、
   同一キーワード車同士の外観類似度を計算すると共に、前記類似度を用いて、ユーザ指定キーワードは一致するが外観が異なる画像を分類表示すること、
   学習車両データ内の外観類似車両を検索した結果から得られるキーワードを用いて、自動的にキーワードを拡張した上で繰り返しキーワード検索を行うことを特徴とする車両画像検索方法。
7. 請求項１ないし請求項６のいずれか一項に記載の車両画像検索方法を、コンピュータである前記車両画像検索システムに実行させるための車両画像検索プログラム。
8. 車両画像検索システムであって、
   記憶装置の学習車両データを用いてキーワード識別器を学習させる手段と、
   前記キーワード識別器を用いて、記憶装置の撮影車両データからキーワード及びその尤度値を示すキーワードデータを生成し記憶装置に記憶させる手段と、
   前記キーワードデータ及び前記学習車両データの中から、指定されたキーワードに該当する車両を検索してキーワード検索結果データを生成し記憶手段に記憶させる手段と、
   前記キーワード検索結果データのキーワード検索結果画像をキー画像として前記学習車両データ及び前記撮影車両データから外観類似車両を検索し、前記学習車両データ内の外観類似車両を検索した結果から得られるキーワードを含むＯＥＭ・兄弟車データのキーワードを補完キーワードとして、その補完キーワードに該当する学習車両データの検索を再度実行し、前記外観類似車両とされた撮影車両データに対して前記キーワード識別器を用いて前記補完キーワードの尤度値を算出し、当該尤度値が閾値を超える場合に当該撮影車両データを追加することで拡張検索を行って拡張検索結果データを生成し記憶手段に記憶させる手段と、
   前記キーワード検索結果データ及び前記拡張検索結果データを参照して、参照した中から選択した前記撮影車両データの車両のキーワードの一つについて、当該キーワードと関連付けられる車両を前記学習車両データ中から抽出し、その抽出した車両に関連付けられる全キーワードを正解セットとし、前記正解セットと同じキーワードの尤度値が前記正解セットと異なるキーワードの尤度値より高く、かつ両キーワードの尤度値が近接していない場合に整合が取れていると判定し、整合が取れている車両と整合が取れていない車両とを区別して、検索結果データを生成し記憶手段に記憶させる手段と、
   前記検索結果データを表示する手段と、
   を備えたことを特徴とする車両画像検索システム。
9. 前記学習車両データ、前記撮影車両データ及び前記ＯＥＭ・兄弟車データは、ナンバープレートを撮影するために車両の前部または後部が撮影されている車番認識画像であることを特徴とする請求項８に記載の車両画像検索システム。
10. 請求項８または請求項９に記載の車両画像検索システムであって、
    整合が取れている車両と整合が取れていない車両とを区別して、分類表示することを特徴とする車両画像検索システム。
11. 請求項８ないし請求項１０のいずれか一項に記載の車両画像検索システムであって、
    ユーザ指定キーワード該当車、推定キーワード類似該当車、外観類似該当車、ＯＥＭ・兄弟車該当車の４つに分類表示することを特徴とする車両画像検索システム。
12. 請求項８または請求項９に記載の車両画像検索システムであって、
    同一キーワード車同士の外観類似度を計算すると共に、前記類似度を用いて、ユーザ指定キーワードは一致するが外観が異なる画像を分類表示することを特徴とする車両画像検索システム。
13. 請求項８または請求項９に記載の車両画像検索システムであって、
    前記キーワード識別器はキーワードの尤度を出力し、さらに、尤度に応じて、特定可能車両と特定が困難な車両を分類表示すること、
    キーワード検索結果画像をキー画像として学習車両データ及び撮影車両データから外観類似車両を検索し、さらに、ＯＥＭ・兄弟車データによってキーワードを補完して類似車両を検索し、これらの検索結果をユーザ指定キーワード結果と分類表示すること、
    整合が取れている車両と整合が取れていない車両とを区別して、分類表示すること、
    ユーザ指定キーワード該当車、推定キーワード類似該当車、外観類似該当車、ＯＥＭ・兄弟車該当車の４つに分類表示すること、
    同一キーワード車同士の外観類似度を計算すると共に、前記類似度を用いて、ユーザ指定キーワードは一致するが外観が異なる画像を分類表示すること、
    学習車両データ内の外観類似車両を検索した結果から得られるキーワードを用いて、自動的にキーワードを拡張した上で繰り返しキーワード検索を行うことを特徴とする車両画像検索システム。
14. 請求項８または請求項９に記載の車両画像検索システムであって、
    情報処理装置と、表示装置と、入力装置とを備える計算機を備えたことを特徴とする車両画像検索システム。

Images