JP5333080B2 - 画像認識システム - Google Patents

Description

本発明は、本発明は、画像中の物体の認識に用いられる画像認識システムに関するものである。

従来から、画像認識用の辞書を用いて画像中の物体を認識する技術が知られている。例えば、特許文献１には、機械学習手法によって生成した、検出対象物体をモデル化した１つの辞書を用いて、検出対象画像から検出対象物体を検出する技術が開示されている。詳しくは、特許文献１には、予め歩行者について機械学習した辞書（具体的には、矩形の輝度差を特徴とするhaar-like特徴による、cascade of boostedクラス判別器）を用いて、検出対象画像から歩行者を検出する技術が開示されている。

また、非特許文献１では、機械学習手法の１つであるアダブースト（Adaboost）学習法によって生成した辞書を用いて画像中の顔の認識を行う技術が開示されている。アダブースト学習法では、対象画像が所定の対象物を表す画像であるか否かを評価する複数の弱判別器の中からいくつかの弱識別器を選択し、これらの弱判別器の集合によって、判別エラー率の低い強判別器を構築する。そして、カスケード構造をとった複数の強判別器によって画像認識用の辞書を構成する。

特開２００８−２０９５１号公報

Paul Viola、Michael J.Jones、"Rapid Object Detection Using a Boosted Cascade of Simple Features"、IEEE Computer Vision and Pattern Recognition、Vol 1、pp.511-518、2001.12 Michael J.Jones、Paul Viola、"Face Recognition Using Boosted Local Features"、Mitsubishi Electric Research Lab,Technical Report、TR2003−025、2003.

しかしながら、従来の技術では、多様な状況（例えば、異なる場所や異なる時間帯等）にわたって対象物を精度良く判別できる画像認識用の辞書を得ることが非常に困難であるという問題を有していた。詳しくは、ある状況において対象物を精度良く判別できる画像認識用の辞書は、別の状況において対象物を精度良く判別できる画像認識用の辞書とは限らないため、多様な状況における対象物を機械学習することによって、多様な状況にわたって対象物を精度良く判別できる１つの画像認識用の辞書を得ることは非常に困難である。非特許文献１の場合を例に挙げると、多様な状況にわたって対象物を精度良く判別できる１つの画像認識用の辞書を得ようとした場合、強判別器の構築条件に収束せず、目的とする精度の辞書を得ることはできない。

また、多様な状況にわたって対象物を精度良く判別できる１つの画像認識用の辞書を得ることがもし出来たとしても、当該辞書に含まれるデータ量は膨大になってしまい、当該辞書を用いて画像中の対象物を認識しようとした場合に認識処理に要する時間が大幅に増加してしまう。

従って、従来の技術では、多様な状況にわたって対象物を精度良く判別できるだけの認識性能の向上と認識処理に要する時間の増加を抑えることとを両立することができないという問題を有していた。

本発明は、上記従来の問題点に鑑みなされたものであって、その目的は、多様な状況にわたって対象物を精度良く判別できるだけの認識性能の向上を可能とするとともに、認識処理に要する時間の増加をより抑えることを可能にする画像認識システムを提供することにある。

請求項１、２の画像認識システムでは、画像認識用の辞書として、状況別に用意された複数の画像例をもとにこの対象物の特徴を学習して予め当該状況別に各々構築された複数の辞書が、辞書データベース部に格納されている。つまり、請求項１、２の構成によれば、状況別に対象物をそれぞれ精度良く判別できるように特化した辞書が状況別に複数用意されていることになるので、個々の辞書については、多様な状況にわたって対象物を精度良く判別できる１つの画像認識用の辞書に比べて、遥かにデータ量を少なくすることができる。

また、請求項１、２の構成によれば、上述の個々の辞書の中から、撮像手段で画像が得られたときの状況に応じた辞書を選択して、対象物であるか否かの判定を行い、この判定結果に基づいて対象物の認識を行うので、上述の個々の辞書によって、多様な状況にわたって対象物を精度良く判別することが可能になる。

さらに、対象物であるか否かの判定は、上述の個々の辞書の中から選択した辞書を用いて行うので、上述の個々の辞書すべてを用いて対象物であるか否かの判定を行う場合に比べてデータの処理量を低減することができ、対象物であるか否かの判定の処理に要する時間を短く抑えることができる。よって、多様な状況にわたって対象物を精度良く判別できる１つの画像認識用の辞書を用いる場合に比べても、対象物であるか否かの判定の処理に要する時間を短く抑えることができ、認識処理に要する時間の増加をより抑えることが可能になる。

従って、請求項１、２の構成によれば、多様な状況にわたって対象物を精度良く判別できるだけの認識性能の向上が可能となるとともに、認識処理に要する時間の増加をより抑えることが可能となる。

さらに、請求項１、２の構成によれば、画像認識装置では、辞書データベース部に格納されている複数の辞書のうち、選択して取得した辞書を用いて照合や判定の処理を行うので、上述の複数の辞書を画像認識装置側に保存しておく構成に比べ、保存に必要となるメモリ容量を抑えることができ、例えば画像認識装置の車両への搭載等が容易になる。
また、請求項１の構成によれば、表示手段で表示を行った対象物の認識の結果中に対象物の認識の誤りが存在した場合に、その認識の誤りが存在した箇所を含む画像例を、学習データ格納部に格納されている状況別に用意された複数の画像例に統合し、この統合した画像例をもとに対象物の特徴を再学習して辞書を新たに構築するので、同様の認識の誤りを今後行わない辞書を新たに得ることが可能となる。さらに、辞書データベース部に格納されている同一状況についての辞書よりも認識性能が高い旨の評価が行われた場合に、辞書データベース部に格納されている辞書を新たに構築された辞書に更新するので、再学習によって認識性能が向上した場合にのみ更新を行って、認識性能の向上のみを図ることができる。
また、請求項２の構成によれば、同様の認識の誤りを今後行わない辞書を新たに得ることが可能となるとともに、再学習によって認識性能が向上した場合にのみ更新を行って、認識性能の向上のみを図ることができる。さらに、学習データ格納部、未認識・誤認識シーン格納部、再学習用画像抽出手段、辞書再学習手段、および辞書評価手段を画像認識装置でなく、外部装置に備えるので、画像認識装置でのデータの処理量や格納量を低減することができ、画像認識装置での処理の負荷の軽減や必要なメモリ容量の削減が可能になる。よって、画像認識装置の構成の簡略化や小型化を行うことが可能となり、画像認識装置の車載等をより容易にすることが可能になる。
また、請求項３の構成によれば、複数の車両の各々に搭載される複数の画像認識装置の入力受け付け手段で受け付けた未認識・誤認識入力、画像取得手段で取得した画像、状況検出手段で検出した状況をもとに、１つの画像認識装置だけでは得られない未認識や誤認識の事例についても再学習することができるので、さらに認識性能の高い辞書を構築することが可能になる。

また、請求項４のように、撮像手段で画像が得られた場所を、前述の状況として状況検出手段が検出する態様としてもよい。これによれば、例えば市街、郊外、田舎等の明るさの傾向がそれぞれ異なる多様な場所にわたって対象物を精度良く判別できるだけの認識性能の向上が可能となる。

また、請求項５のように、撮像手段で画像が得られた時間帯を、前述の状況として状況検出手段が検出する態様としてもよい。これによれば、例えば昼、夕方、夜等の明るさの傾向がそれぞれ異なる多様な時間帯にわたって対象物を精度良く判別できるだけの認識性能の向上が可能となる。

また、請求項４の構成において、請求項６のように、画像認識装置が車両に搭載され、撮像手段が当該車両の周辺の画像を撮像するとともに、状況検出手段が当該車両の位置の情報をもとに撮像手段で画像が得られた場所を検出する態様としてもよい。

また、請求項５の構成において、請求項７のように、画像認識装置が車両に搭載され、撮像手段が当該車両の周辺の画像を撮像するとともに、状況検出手段が時刻の情報をもとに撮像手段で画像が得られた時間帯を検出する態様としてもよい。

また、請求項８の構成によれば、画像取得手段で取得した画像を解析し、撮像手段で画像が得られた状況を推定するので、位置の情報を得なくても場所を検出したり、時刻の情報を得なくても時間帯を検出したりすることが可能になる。よって、位置の情報や時刻の情報を得るための手段を設けるコストを抑えることが可能になる。

画像認識システム１００の概略的な構成を示すブロック図である。 画像認識装置１の概略的な構成を示すブロック図である。 矩形特徴のパターンの一例を示す図である。 表示装置での表示例を示す図である。 画像認識装置１での動作フローの一例を示すフローチャートである。 自車両の現在位置を示す模式図である。 従来の辞書の認識性能と本発明の辞書の認識性能とを示すグラフである。 収集センタ３の概略的な構成を示すブロック図である。 画像認識システム１００での動作フローの一例を示すフローチャートである。 表示装置での未認識となった対象物を含む表示例を説明する図である。 再学習前の辞書の認識性能と再学習後の辞書の認識性能とを示すグラフである。

以下、本発明の実施形態について図面を用いて説明する。図１は、本発明が適用された画像認識システム１００の概略的な構成を示すブロック図である。図１に示す画像認識システム１００は、画像認識装置１および収集センタ３を含んでいる。また、画像認識装置１は、複数の車両のそれぞれに搭載されているものとする。さらに、各画像認識装置１と収集センタ３とは、携帯電話網やネットワーク等の通信網２を介して情報の送受信を可能なように各々接続されている。

なお、図１では、画像認識システム１００にそれぞれ車両に搭載された画像認識装置１を複数含む構成を示したが、必ずしもこれに限らない。画像認識装置１は、画像認識システム１００に１つ含まれている構成であってもよいし、２つよりも多く含まれている構成であってもよい。

まず、図２を用いて画像認識装置１の概略的な構成について説明を行う。図２は、画像認識装置１の概略的な構成を示すブロック図である。図２に示すように、画像認識装置１は、画像取得部１１、画像抽出部１２、画像記憶部１３、状況検出部１４、装置側通信部１５、辞書選択部１６、選択辞書格納部１７、照合部１８、判定部１９、画像表示部２０、操作入力部２１、および情報収集部２２を備えている。なお、本実施形態では、画像認識装置１で認識対象とする物体（つまり、対象物）を歩行者とした場合の例を挙げて以降の説明を行う。

画像取得部１１は、撮像手段としての撮像装置で得られた画像（以下、撮像画像と呼ぶ）を逐次取得する。よって、画像取得部１１は、請求項の画像取得手段として機能する。また、撮像装置は、画像認識装置１が搭載されている車両の前方や後方等の当該車両の周辺の画像を撮像するものとする。なお、撮像装置は、光学情報をデータ列化することによって画像化するカメラであるものとする。また、本実施形態では、画像認識装置１に撮像装置を含まない構成を示したが、必ずしもこれに限らず、画像認識装置１に撮像装置も含む構成としてもよい。

画像抽出部１２は、撮像画像から対象物らしき物体を含む所定の領域の画像を、この物体の距離に応じた大きさで切り出して抽出する。よって、画像抽出部１２は、請求項の照合用画像抽出手段として機能する。具体的には、近傍にあると推定される物体ほど大きく切り出し、遠方にあると推定される物体ほど小さく切り出す。物体までの距離については、例えば図示しない距離センサなどで検出してもよい。また、画像抽出部１２においては、後述する照合部１８での照合の処理を高速化するために、撮像画像についてのインテグラルイメージも作成するものとする。なお、このインテグラルイメージについては周知の方法で作成されるものとし、本実施形態では、照合部１８での処理時にこのインテグラルイメージを参照することによって処理を高速化するものとする。

画像記憶部１３は、画像取得部１１で取得した過去の一定時間分の撮像画像をメモリに記録する。なお、画像記憶部１３は、画像取得部１１で取得した撮像画像を常に新しく記録していきながらも、古くなったデータから順次消去を行うものとする。

状況検出部１４は、撮像装置で画像が得られた場所や時間帯等の状況を検出する。本実施形態では、一例として、撮像装置で画像が得られた場所（市街、郊外、田舎のうちのいずれか）および時間帯（昼間、夜間のうちのいずれか）を状況検出部１４が検出するものとして以降の説明を続ける。

例えば、状況検出部１４は、画像認識装置１を搭載している車両（つまり、自車両）の、撮像装置で画像が得られたときの現在位置の情報をもとに、撮像装置で画像が得られた場所が市街、郊外、田舎のうちのいずれに該当するかを判断し、撮像装置で画像が得られた場所を検出する。例えば、自車両の現在位置の情報については、自車両に搭載された周知のナビゲーション装置の位置検出器で検出した自車両の現在位置の情報を取得する構成とすればよい。また、自車両の現在位置の情報をもとに、撮像装置で画像が得られた場所が市街、郊外、田舎のうちのいずれに該当するかを判断する方法については、以下のようにすればよい。つまり、上述のナビゲーション装置の地図データのメッシュごとに、各メッシュに対応する地域が市街、郊外、田舎のうちのいずれに該当するかに応じて市街、郊外、田舎のうちのいずれかを示すＩＤ等の識別情報を予め対応付けておき、自車両の現在位置が含まれるメッシュに対応付けられた識別情報をもとに、撮像装置で画像が得られた場所が市街、郊外、田舎のうちのいずれに該当するかを判断すればよい。なお、メッシュとは、地図データを分割する単位であって、経緯線で地域を系統的に多数の正方形などに分割した所定の大きさの区画である。また、本実施形態では、場所の例として市街、郊外、田舎を示したが、必ずしもこれに限らない。ここで言うところの場所としては、後述する判定パターンの特徴量に影響を与える明るさ等の傾向がそれぞれ異なりさえすれば、他の区分けとする構成としてもよい。

また、例えば、状況検出部１４は、撮像装置で画像が得られたときの時刻の情報をもとに、撮像装置で画像が得られた時間帯が昼間、夜間のうちのいずれに該当するかを判断し、撮像装置で画像が得られた時間帯を検出する。よって、状況検出部１４は、請求項の状況検出手段として機能する。例えば、時刻の情報については、前述のナビゲーション装置に備えられている計時手段から取得する構成とすればよい。なお、状況検出部１４に計時手段を備えることによって、この計時手段から時刻の情報を取得する構成としてもよい。また、時刻の情報をもとに、撮像装置で画像が得られた時間帯が昼間、夜間のうちのいずれに該当するかを判断する方法については、日の出から日の入りまでの時刻を昼間に予め対応付けておくとともに、日の入りから日の出までの時刻を夜間に予め対応付けておき、撮像装置で画像が得られた時刻が昼間、夜間のうちのいずれに該当するかを判断すればよい。なお、昼間、夜間にそれぞれ対応付ける時刻は、例えば季節や月数に応じて設定を変更する構成が好ましい。また、本実施形態では、時間帯の例として昼間と夜間とを示したが、必ずしもこれに限らない。ここで言うところの時間帯としては、後述する判定パターンの特徴量に影響を与える明るさ等の傾向がそれぞれ異なりさえすればよく、昼間、朝方・夕方、夜間といった区分けにする構成としてもよいし、朝方、昼間、夕方、夜間といった区分けにする構成としてもよい。

なお、状況検出部１４は、画像取得部１１で取得した撮像画像を解析し、撮像手段で画像が得られた状況（本実施形態の例では場所と時間帯との組み合わせ）を推定することによって、撮像手段で画像が得られた状況を検出する構成としてもよい。例えば、予め状況別の撮像画像ごとに、周波数解析や輝度解析を行った解析結果の傾向をそれぞれ調べておき、当該状況別に解析結果の傾向を対応付けておく。そして、画像取得部１１で取得した撮像画像を周波数解析や輝度解析等によって解析した解析結果が、当該状況別に対応付けられた解析結果の傾向のうちのどの解析結果の傾向に類似しているかによって、撮像手段で画像が得られた状況を推定し、撮像手段で画像が得られた状況を検出する構成とすればよい。これによれば、前述のナビゲーション装置から現在位置の情報や時刻の情報を得なくても場所や時間帯を検出することが可能になるので、前述のナビゲーション装置から現在位置の情報や時刻の情報を得るための手段を設けるコストを抑えることが可能になる。また、状況検出部１４に計時手段を備えなくても時間帯を検出することが可能になるので、この計時手段を備えるコストを抑えることが可能になる。

装置側通信部１５は、通信網２を介して収集センタ３との間で通信を行うものである。詳しくは、装置側通信部１５は、後述の情報収集部２２から送られてきた情報や辞書選択部１６から送られてきた後述の読み出し指示を収集センタ３へ向けて送信したり、収集センタ３から送信されてくる後述の照合用辞書を受信したりする。よって、装置側通信部１５は、請求項の画像認識装置側送信手段として機能する。

ここで、以降の説明の便宜上、収集センタ３の辞書データベース（ＤＢ）部３２（図８参照）についての説明を以下で行う。辞書ＤＢ部３２は、状況別に用意された対象物の複数の画像例をもとにこの対象物の特徴を学習して予め当該状況別に構築された複数種類の判定パターンとこの複数種類の判定パターンに対応する判定閾値とを少なくとも対応付けて格納している。よって、判定パターンは、請求項のパターンに相当する。また、辞書ＤＢ部３２には、状況別に構築された複数種類の判定パターンの各集合が格納されることにもなるので、辞書ＤＢ部３２は、請求項の辞書データベース部として機能する。そして、この複数種類の判定パターンの各集合が、それぞれ請求項の辞書に相当する。以降では、この複数種類の判定パターンの各集合を辞書と呼ぶ。本実施形態の例では、場所が「市街」で時間帯が「昼間」、場所が「市街」で時間帯が「夜間」、場所が「郊外」で時間帯が「昼間」、場所が「郊外」で時間帯が「夜間」、場所が「田舎」で時間帯が「昼間」、場所が「田舎」で時間帯が「夜間」についての、状況別に構築された６種類の辞書が辞書ＤＢ部３２に格納されることになる。また、１つの判定パターンがいわゆる弱判別器に相当し、対象物の複数の画像例をもとにこの対象物の特徴を学習して予め構築された複数種類の判定パターンの集合がいわゆる強判別器に相当する。なお、ここで言うところの学習とは、例えばアダブースト学習法による学習であるものとする。

また、例えば、非特許文献２に開示されている物体検出方法のアルゴリズムにおける矩形特徴とその閾値とを、本実施形態の判定パターンおよび判定閾値として用いることが可能である。なお、非特許文献２に開示されている物体検出手法のアルゴリズムとは、画像中の一定の矩形領域から、矩形特徴（Rectangle Filter）を用いて特徴量（いわゆるHaar-Like特徴量）を抽出し、判別関数を用いてその特徴量を評価することにより、その矩形領域が対象物を表しているものであるか否かを評価するものである。また、矩形特徴とは、図３に示すような白矩形および黒矩形からなる局所領域に含まれる画素の輝度の総和の組み合わせで表されるものであって、矩形特徴の強度は図中の白矩形に含まれる画素の輝度値の平均と図中の黒矩形に含まれる画素の輝度の平均の差として表される。つまり、図中の白矩形の平均輝度から図中の黒矩形の平均輝度を引いた値が矩形特徴の強度となる。なお、矩形特徴としては、互いに隣接する複数個の矩形から構成される様々なものを用いることができ、図３に示したものの他にも、白矩形と黒矩形とからなるパターンが異なるものや大きさ、位置、角度などが異なるものを複数用いることが可能である。また、矩形特徴の閾値とは、矩形特徴ごとに設定される値であって、上述の学習において対象物の判別エラーを最小にする値として求められたものである。以降では、非特許文献２に開示されている物体検出方法のアルゴリズムにおける矩形特徴とその閾値とを、本実施形態の判定パターンおよび判定閾値として用いるものとして説明を続ける。

また、辞書ＤＢ部３２は、前述の複数種類の判定パターンとこの複数種類の判定パターンの判定閾値とに加え、この複数種類の判定パターンに対応する所定の正解得点および所定の不正解得点を対応付けて格納している。なお、所定の正解得点および所定の不正解得点とは、上述の学習によって判定パターンに対して設定されている「重み」である。つまり、辞書ＤＢ部３２には、判定パターンとこの判定パターンに対応する判定閾値とこの判定パターンに対応する正解得点および不正解得点とが判定パターンの種類の数だけ対応付けられて格納されている。

辞書選択部１６は、状況検出部１４で検出した状況に応じた辞書を装置側通信部１５および後述のセンタ側通信部３１を介して収集センタ３の辞書ＤＢ部３２から選択して取得し、選択辞書格納部１７に格納する。よって、辞書選択部１６は、請求項の辞書選択手段として機能する。詳しくは、辞書選択部１６は、状況検出部１４で検出した状況と同じ状況についての辞書を辞書ＤＢ部３２から読み出す指示（つまり、読み出し指示）を装置側通信部１５およびセンタ側通信部３１を介して収集センタ３に送信し、収集センタ３の後述する読み出し部３３によって辞書ＤＢ部３２からこの読み出し指示に従った辞書を読み出させ、読み出した辞書（以下、照合用辞書と呼ぶ）をセンタ側通信部３１および装置側通信部１５を介して取得する。

辞書選択部１６は、例えば状況検出部１４によって場所が「市街」、時間帯が「昼間」と検出された場合には、場所が「市街」で時間帯が「昼間」についての辞書を、辞書ＤＢ部３２に格納されている６種類の辞書のうちから選択して取得し、選択辞書格納部１７に格納する。

選択辞書格納部１７は、辞書選択部１６で取得した辞書を格納する。選択辞書格納部１７としては、例えばＲＡＭ等の一時保存メモリを用いる構成とすればよい。また、選択辞書格納部１７は、新たな辞書が格納された場合に古い辞書を消去する構成とすればよい。

なお、本実施形態では、撮像装置で画像が得られた状況として、場所および時間帯を状況検出部１４が検出する構成を示したが、必ずしもこれに限らない。例えば、撮像装置で画像が得られた状況として、場所のみを状況検出部１４が検出する構成としてもよいし、時間帯のみを状況検出部１４が検出する構成としてもよい。また、撮像装置で画像が得られた状況として、場所および時間帯以外を状況検出部１４が検出する構成としてもよく、例えば撮像装置で画像が得られた状況として、晴天、曇天、雨天等の天候を状況検出部１４が検出する構成としてもよい。なお、天候については、例えばＶＩＣＳ（登録商標）センタ等から配信される気象情報を取得し、この気象情報をもとに検出する構成とすればよい。

また、撮像装置で画像が得られた状況として、場所、時間帯、天候等の種々の組み合わせのいずれを状況検出部１４で検出する構成としてもよい。なお、辞書ＤＢ部３２に格納する辞書については、状況検出部１４で検出する状況の種類に応じて当該状況別に用意する構成とすればよい。

照合部１８は、画像抽出部１２で抽出した画像（以下、照合用抽出画像と呼ぶ）と選択辞書格納部１７に格納されている照合用辞書中の判定パターンの集合（以下、物体認識モデルと呼ぶ）の各判定パターンとを順次照合することによって、照合用抽出画像と各判定パターンとのパターン類似度（つまり、対象物らしさ）を示す評価値を算出する。なお、物体認識モデルの各判定パターンは、照合用辞書中の各判定パターンに対応する判定閾値、正解得点、および不正解得点とＩＤ等の識別子によって紐付けされているものとする。

本実施形態の例では、照合部１８は、物体認識モデル中の判定パターンが表現する照合用抽出画像中の部分領域の輝度明暗の差分値（つまり、前述の矩形特徴の強度）を算出する。そして、照合部１８は、算出した差分値が、この判定パターンに紐付けられている判定閾値以上の場合は、対象物である可能性が高いものとして、この判定パターンに紐付けられている正解得点を評価値として算出する。また、算出した差分値が、この判定パターンに紐付けられている判定閾値未満の場合は、対象物である可能性が高くないものとして、この判定パターンに紐付けられている不正解得点を評価値として算出する。そして、照合部１８は、画像抽出部１２で抽出した照合用抽出画像に対して、物体認識モデルの各判定パターンについて上述の評価値の算出を順次行う。

また、照合部１８は、照合用抽出画像と判定パターンとの照合を行う際に、照合用抽出画像と判定パターンとの大きさを合わせて照合を行うものとする。なお、照合用抽出画像と判定パターンとの大きさを合わせる場合には、照合用抽出画像の大きさを変化させて判定パターンの大きさに合わせる構成であってもよいし、判定パターンの大きさを変化させて照合用抽出画像の大きさに合わせる構成であってもよい。ただし、照合用抽出画像の大きさを変化させて判定パターンの大きさに合わせる構成とした場合には、前述のインテグラルイメージを再度作成しなければならなくなるため、判定パターンの大きさを変化させて照合用抽出画像の大きさに合わせる構成がより好ましい。

判定部１９は、照合部１８で順次算出した評価値をもとに、対象物の適否の判定を行う。例えば、判定部１９は、照合部１８で順次算出した評価値の総和を求め、この総和が所定の閾値以上か否かを判定することによって、対象物の適否の判定を行う。具体的には、所定の閾値以上であると判定した場合には、対象とした照合用抽出画像を、対象物を含む候補画像とし、当該照合用抽出画像について、（対象とした照合用抽出画像に含まれている物体が）対象物である旨の判定を行う。また、所定の閾値未満であると判定した場合には、対象とした照合用抽出画像を、対象物を含まない非候補画像とし、当該照合用抽出画像について、対象物でない旨の判定を行う。そして、対象物である旨の判定が行われた照合用抽出画像に含まれる照合の対象となった物体を対象物として決定し、決定した結果を画像表示部２０に出力して表示させる（つまり、判定部１９での判定結果に基づいて対象物の認識を行った結果を画像表示部２０で表示させる）。よって、照合部１８および判定部１９は、請求項の照合判定手段として機能する。なお、ここで言うところの所定の閾値とは、例えば予め学習によって照合用抽出画像中の対象物の存否の判定のエラーを最小化させるように設定される値である。

画像表示部２０は、画像取得部１１で逐次取得した撮像画像を表示装置に逐次表示するとともに、対象物の認識を行った結果を表示装置に表示させる。よって、画像表示部２０は、請求項の表示手段として機能する。なお、表示装置は、フルカラー表示が可能なものであり、液晶ディスプレイ、有機ＥＬディスプレイ、プラズマディスプレイ等を用いて構成することができる。また、表示装置としては、前述のナビゲーション装置のディスプレイを用いる構成としてもよい。

例えば、画像表示部２０は、撮像画像を表示装置に表示するとともに、当該撮像画像中の対象物を強調する強調表示を行う。なお、強調表示としては、例えば図４に示すように対象物を囲う方形の枠等の表示を行う構成とすればよい。なお、判定部１８で対象物である旨の判定が行われなかった場合には、対象とした照合用抽出画像に含まれている物体については強調表示を行わない。また、一旦対象物として認識された対象物については、対象物を追跡する周知の手法によって追跡を行い、後続する撮像画像中の当該対象物についても強調表示を継続するものとする。

操作入力部２１は、ユーザからの操作入力を受け付けるものであって、例えば上述の画像表示部２０の表示装置と一体になったタッチスイッチもしくはメカニカルなスイッチ等が用いられる。また、操作入力部２１は、画像表示部２０で表示を行った対象物の認識の結果中に対象物の認識の誤りが存在したことを示す入力（つまり、対象物の認識の誤りが存在したことを指摘する入力）をユーザから受け付ける。よって、操作入力部２１は、請求項の入力受け付け手段として機能する。また、対象物の認識の誤りが存在したことを指摘する入力は、請求項の未認識・誤認識指摘入力に相当する。そして、操作入力部２１は、対象物の認識の誤りが存在したことを指摘する入力を受け付けた場合に、対象物の認識の誤りが存在したことを示す信号（以下、誤り指摘信号と呼ぶ）を情報収集部２２に送る。なお、ここで言うところの対象物の認識の誤りとは、対象物でないものを対象物として認識してしまった誤認識や対象物が存在するのにも関わらず対象物を認識できなかった未認識などである。

情報収集部２２は、操作入力部２１から誤り指摘信号が送られてきたことをトリガとして、過去の一定時間（例えば１０秒程度）分の撮像画像を画像記憶部１３から取得するとともに、対象物の認識の誤りが存在したことを指摘された撮像画像が得られた場所および時間帯を状況検出部１４から取得する。そして、情報収集部２２は、取得した撮像画像と場所および時間帯とを装置側通信部１５に送り、装置側通信部１５から送信させる。

続いて、図５を用いて、画像認識装置１での対象物の認識に関連する処理の一例についての説明を行う。図５は、画像認識装置１での動作フローの一例を示すフローチャートである。なお、本フローは、自車両のイグニッションスイッチがオンされたときに開始される。

まず、ステップＳ１では、画像取得部１１が撮像画像を取得し、この撮像画像を画像抽出部１２に送ってステップＳ２に移る。ステップＳ２では、状況検出処理を行ってステップＳ３に移る。状況検出処理では、ステップＳ１で取得した撮像画像が撮像装置で得られた場所および時間帯を、状況検出部１４が検出する。ステップＳ３では、辞書選択処理を行ってステップＳ４に移る。辞書選択処理では、ステップＳ２で検出した場所および時間帯に応じた照合用辞書を、辞書選択部１６が辞書ＤＢ部３２から選択して取得し、選択辞書格納部１７に格納する。

ステップＳ４では、画像抽出処理を行ってステップＳ５に移る。画像抽出処理では、ステップＳ１で取得した撮像画像から対象物らしき物体を含む所定の領域の画像を切り出して照合用抽出画像を抽出する。ステップＳ５では、照合処理を行ってステップＳ６に移る。照合処理では、ステップＳ４で抽出した照合用抽出画像とステップＳ３で選択辞書格納部１７に格納された照合用辞書中の物体認識モデルの各判定パターンとを照合することによって、照合用抽出画像と各判定パターンとのパターン類似度を示す評価値を算出する。

ステップＳ６では、判定処理を行ってステップＳ７に移る。判定処理では、ステップＳ５で順次算出した評価値の総和が所定の閾値以上か否かを判定部１９が判定し、所定の閾値以上であると判定した場合には、対象とした照合用抽出画像を候補画像とする。また、所定の閾値未満であると判定した場合には、対象とした照合用抽出画像を非候補画像とする。

ステップＳ７では、画像抽出部１２で順次抽出されるべき照合用抽出画像の全てについて照合処理および判定処理が終了（つまり、全抽出画像終了）していた場合（ステップＳ７でＹｅｓ）には、ステップＳ８に移る。また、画像抽出部１２で順次抽出されるべき照合用抽出画像の全てについては照合処理および判定処理が終了していなかった場合（ステップＳ７でＮｏ）には、ステップＳ４に戻ってフローを繰り返す。なお、画像抽出部１２で順次抽出されるべき照合用抽出画像の数は、撮像画像中の対象物らしき物体の数によって決まる。

ステップＳ８では、ステップＳ６において候補画像が存在した場合には、対象物あり（ステップＳ８でＹｅｓ）として、ステップＳ９に移る。また、ステップＳ６において候補画像が存在しなかった場合には、対象物なし（ステップＳ８でＮｏ）として、ステップＳ１０に移る。ステップＳ９では、対象物である旨の判定が行われた照合用抽出画像に含まれる照合の対象となった物体を対象物として決定し、決定した結果を画像表示部２０に出力して表示（つまり、結果表示）させて、ステップＳ１０に移る。なお、ステップＳ８で対象物なしであった場合には、画像表示部２０では対象物の強調表示のない撮像画像の表示が行われる。

ステップＳ１０では、自車両のイグニッションスイッチがオフ（つまり、イグニッションオフ）になった場合（ステップＳ１０でＹｅｓ）には、フローを終了する。また、イグニッションオフになっていない場合（ステップＳ１０でＮｏ）には、ステップＳ１に戻ってフローを繰り返す。なお、図５のフローは、アクセサリスイッチがオンになったときに開始し、アクセサリスイッチがオフになったときに終了する構成としてもよい。

以上の構成によれば、場所と時間帯との組み合わせ別（つまり、状況別）に対象物をそれぞれ精度良く判別できるように特化した辞書が場所と時間帯との組み合わせ別に複数用意されていることになるので、個々の辞書については、市街、郊外、田舎といった場所および昼間、夜間といった時間にわたって対象物を精度良く判別できる１つの画像認識用の辞書に比べて、遥かにデータ量を少なくすることができる。また、以上の構成によれば、辞書ＤＢ部３２中の個々の辞書の中から、撮像手段で画像が得られたときの場所と時間帯との組み合わせに応じた照合用辞書を辞書選択部１６で選択して、対象物であるか否かの判定を行い、この判定結果に基づいて対象物の認識を行うので、上述の個々の辞書によって、市街、郊外、田舎といった場所および昼間、夜間といった時間にわたって対象物を精度良く判別することが可能になる。

さらに、対象物であるか否かの判定は、辞書ＤＢ部３２中の個々の辞書の中から辞書選択部１６で選択した照合用辞書を用いて行うので、上述の個々の辞書すべてを用いて対象物であるか否かの判定を行う場合に比べてデータの処理量を低減することができ、対象物であるか否かの判定の処理に要する時間を短く抑えることができる。よって、市街、郊外、田舎といった場所および昼間、夜間といった時間にわたって対象物を精度良く判別できる１つの画像認識用の辞書を用いる場合に比べても、対象物であるか否かの判定の処理に要する時間を短く抑えることができ、認識処理に要する時間の増加をより抑えることが可能になる。従って、以上の構成によれば、多様な状況にわたって対象物を精度良く判別できるだけの認識性能の向上が可能となるとともに、認識処理に要する時間の増加をより抑えることが可能となる。

また、以上の構成によれば、画像認識装置１では、辞書ＤＢ部３２中の個々の辞書のうち、選択して取得した照合用辞書を用いて照合処理や判定処理を行うので、上述の個々の辞書を画像認識装置１側に保存しておく構成（つまり、辞書ＤＢ部３２を画像認識装置１に備える構成）に比べ、保存に必要となるメモリ容量を抑えることができ、画像認識装置１の車両への搭載が容易になる。

ここで、本発明における作用効果について、具体的に図６および図７を用いて説明を行う。図６は、自車両の現在位置を示す模式図である。なお、図６中の円と矢印との組み合わさったシンボルが自車両の現在位置を示している。また、図７は、従来の辞書の認識性能と本発明の辞書の認識性能とを示すグラフである。なお、図７の縦軸は歩行者認識率（％）を表しており、横軸は誤認識率（個／frame）を表している。また、図７中の菱形の点が本発明の辞書による結果を表しており、三角の点が従来の辞書による結果を表している。

本例では、２０：００時に図６に示すように駅周辺を走行している場合、つまり、場所が「市街」で時間帯が「夜間」の状況を想定してシミュレーションを行った結果を示す。詳しくは、場所が「市街」で時間帯が「夜間」の撮像画像をサンプルとして、本発明の場所が「市街」で時間帯が「夜間」についての辞書（以下、本発明の辞書）と従来の辞書とをそれぞれ用いて歩行者の認識を行わせ、システム要求誤認識率を満たす点での、本発明の辞書と従来の辞書とのそれぞれの歩行者認識率を求めて比較する。なお、サンプルとなった撮像画像について正しい対象物の位置（つまり、正解枠）が与えられており、この正確枠にどれだけの割合で一致するかによって歩行者認識率が求められる。また、ここで言うところのシステム要求誤認識率とは、例えば製品として耐え得る範囲内の誤認識率であって、任意に設定可能な値である。本例では、システム要求誤認識率は、誤認識率が４．０個／frame以下の範囲内であるものとする。

ここで、システム要求誤認識率を満たす点として図７中の楕円で囲った点を例に挙げて作用効果の説明を行う。図７に示すように、本発明の辞書の歩行者認識率は従来の辞書による歩行者認識率よりも高い。詳しい値としては、従来の辞書の歩行者認識率が５０．５％であるのに対し、本発明の辞書の歩行者認識率は５４．９％である。また、従来の辞書の判定パターン数が５７４であるのに対し、本発明の辞書は判定パターン数が３０４であり、データ量がより少ない。このように、本発明の構成によれば、認識処理に用いる辞書のデータ量をより抑えて認識処理に要する時間の増加をより抑えながら、認識性能の向上を行うことができる。

次に、図８を用いて、収集センタ３の概略的な構成について説明を行う。図８は、収集センタ３の概略的な構成を示すブロック図である。図８に示すように、収集センタ３は、センタ側通信部３１、辞書ＤＢ部３２、読み出し部３３、未認識・誤認識シーンＤＢ部３４、画像抽出部３５、学習データＤＢ部３６、再学習部３７、および辞書評価部３８を備えている。

センタ側通信部３１は、通信網２を介して画像認識装置１との間で通信を行うものである。詳しくは、画像認識装置１から送信されてくる撮像画像と場所および時間帯とを受信して未認識・誤認識シーンＤＢ部３４に送ったり、画像認識装置１から送信されてくる読み出し指示を受信して読み出し部３３に送ったり、読み出し部３３から送られてくる照合用辞書を画像認識装置１へ向けて送信したりする。

読み出し部３３は、センタ側通信部３１から送られてくる読み出し指示に従った辞書を辞書ＤＢ部３２から読み出し、読み出した辞書（つまり、照合用辞書）をセンタ側通信部３１に送る。読み出し部３３は、例えば場所が「市街」、時間帯が「昼間」の状況についての辞書を読み出す読み出し指示を受けた場合には、場所が「市街」で時間帯が「昼間」についての辞書を、辞書ＤＢ部３２に格納されている６種類の辞書のうちから選択して読み出す。

未認識・誤認識シーンＤＢ部３４は、センタ側通信部３１から送られてきた撮像画像と場所および時間帯とを対応付けて格納する。つまり、未認識・誤認識シーンＤＢ部３４には、対象物の認識の誤りが存在したことを指摘された撮像画像を含む過去１０数秒程度の撮像画像と当該対象物の認識の誤りが存在したことを指摘された撮像画像が得られた場所および時間帯とが対応付けて格納されることになる。よって、未認識・誤認識シーンＤＢ部３４は、請求項の未認識・誤認識シーンデータベース部として機能する。

画像抽出部３５は、未認識・誤認識シーンＤＢ部３４に格納された撮像画像から、対象物の認識の誤りが存在した箇所を含む所定の領域の画像を画像例として抽出する。よって、画像抽出部３５は、請求項の再学習用画像抽出手段として機能する。撮像画像から対象物の認識の誤りが存在した箇所を含む所定の領域の画像を抽出する方法としては、例えば辞書ＤＢ部３２の辞書よりも認識処理の速度が遅い代わりに、辞書ＤＢ部３２の辞書よりもデータ量が多く認識性能がより高い辞書を格納したＤＢを収集センタ３に備え、このＤＢの辞書を用いて正しい対象物を特定することによって、誤りの種類の特定とともに未認識や誤認識した箇所を特定し、対象物の認識の誤りが存在した箇所を含む所定の領域の画像を画像例として抽出する方法がある。なお、ここで言うところの所定の領域とは、任意に設定可能な範囲である。

また、他の方法としては、未認識と誤認識とのうちどちらの誤りが生じているかを示す入力（つまり、誤りの種類を指摘する入力）、および表示装置に表示されている撮像画像中の対象物の認識の誤りが生じている箇所を示す入力（つまり、誤りが生じている箇所を指摘する入力）を操作入力部２１でユーザから受け付け、この入力をもとにして誤りの種類の特定とともに未認識や誤認識した箇所を特定し、対象物の認識の誤りが存在した箇所を含む所定の領域の画像を画像例として抽出する方法を用いてもよい。なお、誤りが生じている箇所を指摘する入力をユーザから受け付ける場合には、タッチスイッチを利用することによって撮像画像中の誤りが生じている箇所を特定する構成とすればよい。この場合、誤りの種類を指摘する入力および誤りが生じている箇所を指摘する入力が請求項の未認識・誤認識指摘入力に相当する。また、操作入力部２１は、誤りの種類を指摘する入力と誤りが生じている箇所を指摘する入力とを受け付けた場合に、誤りの種類を示すＩＤ等の識別情報および誤りが生じている箇所を示す撮像画像中の座標情報を情報収集部２２に送り、情報収集部２２が、取得した撮像画像と場所および時間帯と識別情報と座標情報とを装置側通信部１５に送り、装置側通信部１５からセンタ側通信部３１に送信させる構成とすればよい。そして、未認識・誤認識シーンＤＢ部３４は、センタ側通信部３１で受信した撮像画像と場所および時間帯と識別情報と座標情報とを対応付けて格納し、画像抽出部３５が、未認識・誤認識シーンＤＢ部３４に格納された撮像画像から、当該撮像画像に対応付けられた座標情報をもとに対象物の認識の誤りが存在した箇所を含む所定の領域の画像を画像例として抽出する。また、識別情報については、再学習部３７での後述する再学習時に、対象物の認識の誤りの種類を特定して、認識の誤りの種類に合わせた再学習を行うのに利用する構成とすればよい。

学習データＤＢ部３６は、辞書ＤＢ部３２に格納されている辞書を構築するために用いた状況別（本実施形態の例では、場所と時間帯との組み合わせ別）に用意された対象物の複数の画像例を格納している。よって、学習データＤＢ部３６は、請求項の学習データデータベース部として機能する。

再学習部３７は、画像抽出部３５で抽出した画像例（以下、抽出画像例と呼ぶ）と学習データＤＢ部３６の画像例（以下、学習画像例と呼ぶ）とを統合した画像例をもとに対象物の特徴を再学習して辞書を新たに構築する。詳しくは、抽出画像例を、当該抽出画像例を抽出した撮像画像に未認識・誤認識シーンＤＢ部３４で対応付けられていた状況と同じ状況についての学習画像例と統合した画像例をもとに再学習を行う。よって、再学習部３７は、請求項の辞書再学習手段として機能する。また、再学習についても、アダブースト学習法による学習によって例えば認識の誤りの種類に合わせた再学習を行うものとすればよい。つまり、誤認識した物体を含む所定の領域の画像を画像例として画像抽出部３５で抽出した場合には、この誤認識した物体を含む所定の領域の画像を、対象物を含まない画像例（いわゆる不正解画像）として再学習を行い、同様の誤認識を今後行わないようにすることになる。また、未認識となった対象物を含む所定の領域の画像を画像例として画像抽出部３５で抽出した場合には、この未認識となった対象物を含む所定の領域の画像を、対象物を含む画像例（いわゆる正解画像）として再学習を行い、同様の未認識を今後行わないようにすることになる。そして、再学習部３７では、再学習を行った後、新たに構築された辞書（以下、更新用辞書と呼ぶ）を辞書評価部３８に送る。

辞書評価部３８は、再学習部３７から送られてきた更新用辞書をもとに、当該更新用辞書の、対象物についての認識性能を評価する。よって、辞書評価部３８は、請求項の辞書評価手段として機能する。詳しくは、辞書評価部３８は、再学習部３７から送られてきた更新用辞書をもとに、この更新用辞書（つまり、再学習後の辞書）について前述のシミュレーションと同様のシミュレーションを行って、対象物についての認識性能を求める。また、辞書評価部３８は、当該更新用辞書と同一状況（本実施形態の例では、場所と時間帯との組み合わせ）についての再学習前の辞書を辞書ＤＢ部３２から読み出し、この再学習前の辞書について前述のシミュレーションと同様のシミュレーションを行って、対象物についての認識性能を求める。そして、辞書評価部３８は、シミュレーションによって求めた再学習前の辞書の認識性能と再学習後の辞書の認識性能とを比較し、再学習後の辞書の認識性能が再学習前の辞書の認識性能よりも高いと判定した場合に、当該再学習後の辞書を辞書ＤＢ部３２に格納されている当該再学習前の辞書の代わりに辞書ＤＢ部３２に格納し、辞書ＤＢ部３２に格納されている辞書の更新を行う。

よって、収集センタ３は、請求項の外部装置として機能する。なお、本実施形態では、請求項の外部装置として、１つまたは複数のサーバからなる収集センタ３を想定しているが、必ずしもこれに限らない。例えば、請求項の外部装置として、他車両に搭載されるコンピュータおよび通信端末を用いる構成としてもよい。

続いて、図９を用いて、画像認識システム１００での再学習に関連する処理の一例についての説明を行う。図９は、画像認識システム１００での動作フローの一例を示すフローチャートである。なお、本フローは、自車両のイグニッションスイッチがオンされたときに開始される。

まず、ステップＳ２１では、画像認識装置１で図５のフローに示した処理を行い、対象物の認識結果を画像表示部２０の表示装置に表示し、ステップＳ２２に移る。つまり、対象物が存在すると判定した場合には、その対象物を強調表示した撮像画像を表示し、対象物が存在しないと判定した場合には、強調表示のない撮像画像を表示する。ステップＳ２２では、画像認識装置１の操作入力部２１で対象物の認識の誤りが存在したことを指摘する入力を受け付けた場合（ステップＳ２２でＹｅｓ）には、ステップＳ２３に移る。また、画像認識装置１の操作入力部２１で対象物の認識の誤りが存在したことを指摘する入力を受け付けていない場合（ステップＳ２２でＮｏ）には、ステップＳ２１に戻ってフローを繰り返す。

ステップＳ２３では、画像認識装置１で情報収集処理を行ってステップＳ２４に移る。情報収集処理では、情報収集部２２が、過去の１０秒程度分の撮像画像を画像記憶部１３から取得するとともに、対象物の認識の誤りが存在したことを指摘された撮像画像が得られた場所および時間帯を状況検出部１４から取得する。ステップＳ２４では、ステップＳ２３で取得した撮像画像と場所および時間帯とを装置側通信部１５からセンタ側通信部３１に送信（つまり、収集センタ３へ情報送信）し、ステップＳ２５に移る。ステップＳ２５では、画像認識装置１の装置側通信部１５から送信されてきた撮像画像と場所および時間帯とを収集センタ３のセンタ側通信部３１が受信（つまり、収集センタ３で情報受信）し、ステップＳ２６に移る。なお、センタ側通信部３１から送られてきた撮像画像と場所および時間帯とは、前述したようにお互い対応付けて未認識・誤認識シーンＤＢ部３４に格納する。

ステップＳ２６では、再学習用画像抽出処理を行ってステップＳ２７に移る。再学習用画像抽出処理では、前述したように、収集センタ３の画像抽出部３５が、未認識・誤認識シーンＤＢ部３４に格納された撮像画像から、対象物の認識の誤りが存在した箇所を含む所定の領域の画像を画像例として抽出する。ステップＳ２７では、再学習処理を行ってステップＳ２８に移る。再学習処理では、ステップＳ２７で抽出した画像例と当該抽出画像例を抽出した撮像画像に未認識・誤認識シーンＤＢ部３４で対応付けられていた状況と同じ状況についての学習データＤＢ部３６の画像例とを統合した画像例をもとに、収集センタ３の再学習部３７が前述の再学習を行って更新用辞書を新たに構築する。

ステップＳ２８では、更新用辞書評価処理を行ってステップＳ２９に移る。更新用辞書評価処理では、ステップＳ２７で新たに構築した更新用辞書の、対象物についての認識性能を、収集センタ３の辞書評価部３８が評価する。ステップＳ２９では、再学習後の辞書の認識性能が再学習前の辞書の認識性能よりも高かった（つまり、認識性能が向上した）場合（ステップＳ２９でＹｅｓ）には、ステップＳ３０に移る。また、再学習後の辞書の認識性能が再学習前の辞書の認識性能よりも高くなかった（つまり、認識性能が向上しなかった）場合（ステップＳ２９でＮｏ）には、ステップＳ３１に移る。

ステップＳ３０では、辞書更新処理を行ってステップＳ３１に移る。辞書更新処理では、当該再学習後の辞書を辞書ＤＢ部３２に格納されている当該再学習前の辞書の代わりに辞書ＤＢ部３２に格納し、辞書ＤＢ部３２に格納されている辞書の更新を行う。ステップＳ３１では、自車両のイグニッションスイッチがオフ（つまり、イグニッションオフ）になった場合（ステップＳ３１でＹｅｓ）には、フローを終了する。また、イグニッションオフになっていない場合（ステップＳ３１でＮｏ）には、ステップＳ２１に戻ってフローを繰り返す。なお、図９のフローは、アクセサリスイッチがオンになったときに開始し、アクセサリスイッチがオフになったときに終了する構成としてもよい。

以上の構成によれば、再学習によって、同様の認識の誤りを今後行わない辞書を新たに得ることができるとともに、再学習によって認識性能が向上した場合にのみ更新を行って、認識性能の向上のみを図ることができる。また、以上の構成によれば、未認識・誤認識シーンＤＢ部３４、画像抽出部３５、学習データＤＢ部３６、再学習部３７、および辞書評価部３８を画像認識装置１でなく、収集センタ３に備えているので、画像認識装置１でのデータの処理量や格納量を低減することができ、画像認識装置１での処理の負荷の軽減や必要なメモリ容量の削減を可能にしている。よって、以上の構成によれば、画像認識装置１の構成の簡略化や小型化を行うことが可能であり、画像認識装置１の車載等がより容易になる。

ここで、本発明における再学習の作用効果について、具体的に図１０および図１１を用いて説明を行う。図１０は、表示装置での未認識となった対象物を含む表示例を説明する図である。また、図１０中の破線の円で囲った物体が、未認識となった対象物を示している。なお、この破線の円は、未認識となった対象物の説明のためのものであって、画像表示部２０の表示装置では表示されない。また、図１１は、再学習前の辞書の認識性能と再学習後の辞書の認識性能とを示すグラフである。なお、図１１の縦軸は歩行者認識率（％）を表しており、横軸は誤認識率（個／frame）を表している。また、図１１中の菱形の点が再学習後の辞書による結果を表しており、三角の点が再学習前の辞書による結果を表している。

本例では、前述の図７の説明のときと同様に、場所が「市街」で時間帯が「夜間」の状況を想定してシミュレーションを行った結果を示す。詳しくは、場所が「市街」で時間帯が「夜間」の撮像画像をサンプルとして、場所が「市街」で時間帯が「夜間」についての再学習前の辞書と再学習後の辞書とをそれぞれ用いて歩行者の認識を行わせ、システム要求誤認識率を満たす点での、本発明の辞書と従来の辞書とのそれぞれの歩行者認識率を求めて比較する。なお、本例でも、システム要求誤認識率は、誤認識率が４．０個／frame以下の範囲内であるものとする。また、本例では、認識の誤りとして図１０に示すような未認識が存在した撮像画像中の、未認識となった対象物を含む所定の領域の画像を画像例に新たに加えて再学習を行って得られた再学習後の辞書を用いて上述のシミュレーションを行った結果を示している。

ここで、システム要求誤認識率を満たす点として図１１中の楕円で囲った点を例に挙げて作用効果の説明を行う。図１１に示すように、再学習後の辞書の歩行者認識率は再学習前の辞書による歩行者認識率よりも高い。詳しい値としては、再学習前の辞書の歩行者認識率が７５．９％であるのに対し、再学習後の辞書の歩行者認識率は８５．２％である。また、再学習前の辞書の判定パターン数が３０４であるのに対し、再学習後の辞書は判定パターン数が４５３と増加しているが、前述の従来の辞書の判定パターン数の５７４よりも少なく、従来の辞書よりはデータ量がより少ない。このように、本発明の構成によれば、認識処理に用いる辞書のデータ量をより抑えて認識処理に要する時間の増加をより抑えながら、再学習によって更なる認識性能の向上を図ることができる。

なお、本実施形態では、未認識・誤認識シーンＤＢ部３４、画像抽出部３５、学習データＤＢ部３６、再学習部３７、および辞書評価部３８を収集センタ３に備え、再学習を収集センタ３側で行う構成を示したが、必ずしもこれに限らない。例えば、未認識・誤認識シーンＤＢ部３４、画像抽出部３５、学習データＤＢ部３６、再学習部３７、および辞書評価部３８を画像認識装置１に備え、画像認識装置１側で再学習を行う構成としてもよい。この場合には、情報収集部２２は、取得した撮像画像と場所および時間帯とを装置側通信部１５に送らずに、画像認識装置１に備えられた未認識・誤認識シーンＤＢ部３４に当該撮像画像と当該場所および時間帯とを対応付けて格納する構成とすればよい。

また、本実施形態では、辞書ＤＢ部３２を収集センタ３に備える構成を示したが、必ずしもこれに限らない。例えば、辞書ＤＢ部３２を画像認識装置１に備える構成としてもよい。この場合には、辞書選択部１６は、装置側通信部１５および後述のセンタ側通信部３１を介さずに、画像認識装置１に備えられた辞書ＤＢ部３２から状況検出部１４で検出した状況に応じた辞書を選択して取得する構成とすればよい。

さらに、辞書ＤＢ部３２、未認識・誤認識シーンＤＢ部３４、画像抽出部３５、学習データＤＢ部３６、再学習部３７、および辞書評価部３８を画像認識装置１に備えることによって、対象物の認識や再学習を画像認識装置１で行う構成としてもよい。なお、この場合、画像認識装置１に装置側通信部１５を備えない構成とすればよい。

なお、前述の実施形態では、対象物を人とする構成を示したが、必ずしもこれに限らない。例えば、対象を人以外のもの（例えば車両や犬など）とする構成であってもよい。

また、前述の実施形態では、光学情報をデータ列化して画像化するカメラを撮像装置として用いる構成を示したが、必ずしもこれに限らない。例えば、距離情報をデータ列化して画像化する距離センサ（例えばレーダなど）のアレイ構成等を撮像装置として用いる構成であってもよい。

なお、本発明は、上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

１ 画像認識装置、２ 通信網、３ 収集センタ（外部装置）、１１ 画像取得部（画像取得手段）、１２ 画像抽出部（照合用画像抽出手段）、１３ 画像記憶部、１４ 状況検出部（状況検出手段）、１５ 装置側通信部（画像認識装置側送信手段）、１６ 辞書選択部（辞書選択手段）、１７ 選択辞書格納部、１８ 照合部（照合判定手段）、１９ 判定部（照合判定手段）、２０ 画像表示部（表示手段）、２１ 操作入力部（入力受け付け手段）、２２ 情報収集部、３１ センタ側通信部、３２ 辞書ＤＢ部（辞書データベース部）、３３ 読み出し部、３４ 未認識・誤認識シーンＤＢ部（未認識・誤認識シーンデータベース部）、３５ 画像抽出部（再学習用画像抽出手段）、３６ 学習データＤＢ部（学習データデータベース部）、３７ 再学習部（辞書再学習手段）、３８ 辞書評価部（辞書評価手段）、１００ 画像認識システム

Claims (9)

1. 撮像手段で得られた画像を取得する画像取得手段と、
   前記画像取得手段で取得した画像から、所定の領域の画像を抽出する照合用画像抽出手段と、を備える画像認識装置と、
   前記画像認識装置との間で情報の送受信を行う外部装置と、を含み、
   前記外部装置は、
   状況別に用意された認識対象とする物体である対象物の複数の画像例をもとにこの対象物の特徴を学習して予め当該状況別に各々構築された、複数種類のパターンの集合からなる複数の辞書を格納している辞書データベース部を備え、
   前記画像認識装置は、
   前記撮像手段で画像が得られたときの前記状況を検出する状況検出手段と、
   前記状況検出手段で検出した状況に応じた前記辞書を前記外部装置の前記辞書データベース部から選択して取得する辞書選択手段と、
   前記照合用画像抽出手段で抽出する所定の領域の画像と前記辞書選択手段で選択して取得した辞書中の複数種類のパターンとを順次照合していくことによって、前記対象物であるか否かの判定を行う照合判定手段と、をさらに備え、前記照合判定手段での判定結果に基づいて前記対象物の認識を行うのに加え、
   前記照合判定手段での判定結果に基づいて前記対象物の認識を行った結果を表示する表示手段と、
   前記辞書を構築するために用いた前記状況別に用意された複数の画像例を格納している学習データデータベース部と、
   前記表示手段で表示を行った前記対象物の認識の結果中に前記対象物の認識の誤りが存在したことを示す入力である未認識・誤認識指摘入力をユーザから受け付ける入力受け付け手段と、
   前記入力受け付け手段で前記未認識・誤認識指摘入力を受け付けた場合に、誤った前記対象物の認識のもととなった、前記画像取得手段で取得した画像と前記状況検出手段で検出した状況とが対応付けて格納される未認識・誤認識シーンデータベース部と、
   前記未認識・誤認識シーンデータベース部に格納された前記画像取得手段で取得した画像から、前記認識の誤りが存在した箇所を含む所定の領域の画像を画像例として抽出する再学習用画像抽出手段と、
   当該画像に対応付けられた前記状況検出手段で検出した状況に従って、前記再学習用画像抽出手段で抽出した画像例を、前記学習データデータベース部に格納されている前記状況別に用意された複数の画像例に統合し、この統合した画像例をもとに前記対象物の特徴を再学習して前記辞書を新たに構築する辞書再学習手段と、
   前記辞書再学習手段で新たに構築された辞書の、前記対象物についての認識性能を評価する辞書評価手段と、をさらに備え、
   前記辞書データベース部に格納されている同一状況についての辞書よりも前記認識性能が高い旨の評価を前記辞書評価手段で行った場合に、前記辞書再学習手段で新たに構築された辞書を前記辞書データベース部に格納する新たな前記辞書として更新を行うことを特徴とする画像認識システム。
2. 撮像手段で得られた画像を取得する画像取得手段と、
   前記画像取得手段で取得した画像から、所定の領域の画像を抽出する照合用画像抽出手段と、を備える画像認識装置と、
   前記画像認識装置との間で情報の送受信を行う外部装置と、を含み、
   前記外部装置は、
   状況別に用意された認識対象とする物体である対象物の複数の画像例をもとにこの対象物の特徴を学習して予め当該状況別に各々構築された、複数種類のパターンの集合からなる複数の辞書を格納している辞書データベース部を備え、
   前記画像認識装置は、
   前記撮像手段で画像が得られたときの前記状況を検出する状況検出手段と、
   前記状況検出手段で検出した状況に応じた前記辞書を前記外部装置の前記辞書データベース部から選択して取得する辞書選択手段と、
   前記照合用画像抽出手段で抽出する所定の領域の画像と前記辞書選択手段で選択して取得した辞書中の複数種類のパターンとを順次照合していくことによって、前記対象物であるか否かの判定を行う照合判定手段と、をさらに備え、前記照合判定手段での判定結果に基づいて前記対象物の認識を行うのに加え、
   前記照合判定手段での判定結果に基づいて前記対象物の認識を行った結果を表示する表示手段と、
   前記表示手段で表示を行った前記対象物の認識の結果中に前記対象物の認識の誤りが存在したことを示す入力である未認識・誤認識指摘入力をユーザから受け付ける入力受け付け手段と、
   前記入力受け付け手段で前記未認識・誤認識指摘入力を受け付けた場合に、誤った前記対象物の認識のもととなった、前記画像取得手段で取得した画像と前記状況検出手段で検出した状況とを対応付けて前記外部装置に送信する画像認識装置側送信手段と、をさらに備え、
   前記外部装置は、
   前記辞書を構築するために用いた前記状況別に用意された複数の画像例を格納している学習データデータベース部と、
   前記画像認識装置側送信手段から送信されてきた前記画像取得手段で取得した画像と前記状況検出手段で検出した状況とが対応付けて格納される未認識・誤認識シーンデータベース部と、
   前記未認識・誤認識シーンデータベース部に格納された前記画像取得手段で取得した画像から、前記認識の誤りが存在した箇所を含む所定の領域の画像を画像例として抽出する再学習用画像抽出手段と、
   当該画像に対応付けられた前記状況検出手段で検出した状況に従って、前記再学習用画像抽出手段で抽出した画像例を、前記学習データデータベース部に格納されている前記状況別に用意された複数の画像例に統合し、この統合した画像例をもとに前記対象物の特徴を再学習して前記辞書を新たに構築する辞書再学習手段と、
   前記辞書再学習手段で新たに構築された辞書の、前記対象物についての認識性能を評価する辞書評価手段と、
   前記辞書データベース部に格納されている同一状況についての辞書よりも前記認識性能が高い旨の評価を前記辞書評価手段で行った場合に、前記辞書再学習手段で新たに構築された辞書を前記辞書データベース部に格納する新たな前記辞書として更新を行うことを特徴とする画像認識システム。
3. 複数の車両の各々に搭載される複数の前記画像認識装置を含むことを特徴とする請求項２に記載の画像認識システム。
4. 前記状況検出手段は、前記状況として、前記撮像手段で画像が得られた場所を検出することを特徴とする請求項１〜３のいずれか１項に記載の画像認識システム。
5. 前記状況検出手段は、前記状況として、前記撮像手段で画像が得られた時間帯を検出することを特徴とする請求項１〜４のいずれか１項に記載の画像認識システム。
6. 前記画像認識装置は、車両に搭載され、
   前記撮像手段として、前記車両の周辺の画像を撮像する撮像手段をさらに備えており、
   前記状況検出手段は、前記車両の位置の情報をもとに前記撮像手段で画像が得られた場所を検出することを特徴とする請求項４に記載の画像認識システム。
7. 前記画像認識装置は、車両に搭載され、
   前記撮像手段として、前記車両の周辺の画像を撮像する撮像手段をさらに備えており、
   前記状況検出手段は、時刻の情報をもとに前記撮像手段で画像が得られた時間帯を検出することを特徴とする請求項５に記載の画像認識システム。
8. 前記状況検出手段は、前記画像取得手段で取得した画像を解析し、前記撮像手段で画像が得られた状況を推定することによって、前記撮像手段で画像が得られた状況を検出することを特徴とする請求項４または５に記載の画像認識システム。
9. 前記画像認識装置は、車両に搭載され、
   前記外部装置は、前記画像認識装置との間で通信網を介して情報の送受信を行うことを特徴とする請求項１〜８のいずれか１項に記載の画像認識システム。