JP6635188B2 - 物体認識装置、物体認識方法及び物体認識プログラム - Google Patents

Description

本発明は物体認識装置、物体認識方法及び物体認識プログラムに関する。

車両に搭載したカメラの画像に基づき車両周辺の状況を認識し、運転者に警告を通知する安全支援装置が普及している。そのような安全支援装置は、カメラが撮像した画像に対して複数の認識辞書を用い、自車両周辺の車両や歩行者などを認識するようにしている。

例えば、特許文献１には、画像認識装置において、複数の画像から求めた対象物の移動速度に応じて認識辞書を設定し、自転車、二輪車及びその乗員と、歩行者とを識別することが記載されている。

また、特許文献２には、画像認識装置において、路面との接地部分を除いた候補物体のパターンを複数記憶し、画像内の候補物体と所定の相関関係が得られるパターンを抽出し、候補物体の接地位置を推定し、実際の候補物体との距離を算出することが記載されている。

特開２００７−２４９８４１号公報 特開２００７−１８８４１７号公報

しかしながら、一般に、歩行者と自転車などとが同じような速度で移動している場合も多く、特許文献１に係る画像認識装置では、このような場合に正しい認識辞書を設定して、対象物を識別することが困難になる。また、自転車などをその斜め前方向又は斜め後ろ方向から撮影したときに、自転車であると認識できない、又は、人物であると誤認識してしまうことがある。

また、特許文献２には候補物体が歩行者である場合の実施例が記載されているが、この発明は、候補物体が車両などであっても良いように考えることができる。
しかしながら、実際に、路面との接地部分を除いた車両のパターン、又は、路面との接地部分を含む車両全体のパターンを機械学習させた辞書を用いて、画像内の車両を認識しようとすると、その検出位置が実際の車両画像からずれてしまうことがある。そして、ずれた検出位置、すなわち、ずれた接地位置に基づいて、当該車両との距離を算出すると、運転者に適切なタイミングで警告を通知することができない。

本発明は、このような問題を解決するためになされたものであり、画像から対象物をより正確に検出することができる物体認識装置、物体認識方法及び物体認識プログラムを提供することを目的とする。

そこで、本実施形態は、被写体を撮影した画像を取得する画像取得部と、取得した画像に対して、認識辞書を用いて被写体を認識する認識処理部とを備え、認識処理部は、取得した画像に対して対象物認識辞書を用いて対象物を検出し、検出した対象物の下部に対して車輪認識辞書を用いて車輪を検出し、車輪の検出結果を対象物の検出結果に反映させる、物体認識装置を提供する。

また、本実施形態は、被写体を撮影した画像を取得する画像取得ステップと、取得した画像に対して、認識辞書を用いて被写体を認識する認識処理ステップとを有し、認識処理ステップは、取得した画像に対して対象物認識辞書を用いて対象物を検出し、検出した対象物の下部に対して車輪認識辞書を用いて車輪を検出し、車輪の検出結果を対象物の検出結果に反映させる、物体認識方法を提供する。

本実施形態により、画像から対象物をより正確に検出する物体認識装置、物体認識方法及び物体認識プログラムを提供することができる。

実施の形態１に係る物体認識システム１の概略構成を示すブロック図である。 実施の形態１に係る物体認識方法の処理手順を示すフローチャートである。 実施の形態１に係る認識対象画像の例を示す図である。 実施の形態１に係る人物の検出結果を示す図である。 実施の形態１に係る車輪の認識範囲を示す図である。 実施の形態１に係る車輪の検出結果を示す図である。 実施の形態１に係る自転車の検出結果を示す図である。 実施の形態２に係る物体認識方法の処理手順を示すフローチャートである。 実施の形態２に係る認識対象画像及び車両認識結果を示す図である。 実施の形態２に係る車輪の認識範囲を示す図である。 実施の形態２に係る車輪認識結果を示す図である。 実施の形態２に係る検出矩形及び距離の表示例を示す図である。 実施の形態３に係る物体認識方法の処理手順を示すフローチャートである。 実施の形態４に係る物体認識方法の処理手順を示すフローチャートである。

以下、図面を参照して各実施の形態に係る物体認識システム及び物体認識方法について説明する。
なお、本明細書の「画像」には、静止画像及び動画像が含まれる。
また、本明細書の「車両」には、自動車（自動二輪を含む）、原動機付自転車、軽車両（自転車を含む）、車いす、パーソナルモビリティなどが含まれる。
また、本明細書の「乗員」には、車両などに乗って運転している者（運転者）、車両などに乗っている者（運転者以外）などが含まれる。

（実施の形態１）
本実施の形態１に係る物体認識システム及び物体認識方法は、人物を撮影した画像に対して、人物認識辞書を用いて人物を検出し、検出した人物に対して車輪認識辞書を用いて車輪を検出し、検出した人物が車両の乗員であるか、歩行者であるかを判断するものである。

まず、本実施の形態１に係る物体認識システムの構成について説明する。
図１は、本実施の形態１に係る物体認識システム１の概略構成を示すブロック図である。
物体認識システム１は、主に車両において利用されるシステムであり、前方カメラ１０、物体認識装置２０、辞書データ記憶装置３０、表示装置４０などを備える。

前方カメラ１０は、自車両の進行方向の画像を撮像し、当該画像を物体認識装置２０に入力する。前方カメラ１０は、可視光の画像を撮像するカメラであるが、赤外光も検出可能なカメラであっても良いし、可視光の画像を撮像するカメラと、赤外光を検出するカメラとを組み合わせたものであっても良い。

物体認識装置２０は、前方カメラ１０が撮像した画像を用いて、歩行者、自転車などを認識し、必要に応じて、警告信号を表示装置４０などに出力する。物体認識装置２０は、例えば、前方カメラ１０が撮影した映像のフレーム毎又は数フレーム毎に歩行者、自転車などを認識する。また、物体認識装置２０は、画像において、認識した歩行者、自転車などの接地位置を特定し、自車両と、歩行者、自転車などとの距離を算出する。このために、物体認識装置２０は、画像取得部２１、認識処理部２２、表示制御部２３などを有する。

画像取得部２１は、前方カメラ１０が撮像した画像を入力し、認識処理部２２に出力する。
認識処理部２２は、画像に対して、辞書データ記憶装置３０に記憶した人物認識辞書、自転車認識辞書、車輪認識辞書などを用いて、歩行者、自転車、車輪（タイヤ）などを認識、必要に応じて運転者に警告するように、表示制御部２３に信号を出力する。
表示制御部２３は、表示装置４０で警告画像を表示したり、警告音声を出力したりするための制御を行う。また、表示制御部２３は、認識した歩行者、自転車などの接地位置の、画像における位置から算出した距離情報を、表示装置４０に表示させる制御も行う。

辞書データ記憶装置３０は、人物認識辞書、自転車認識辞書、車輪認識辞書などを記憶する。なお、人物認識辞書、自転車認識辞書、車輪認識辞書は、人物、自転車、車輪をいろいろな角度から撮影した画像又はそれらの切り抜き画像を機械学習して作成したものである。

なお、物体認識システム１は、辞書データ記憶装置３０を備えていなくても良い。このとき、辞書データ記憶装置３０は、物体認識システム１が利用可能な通信インターフェースを用いて接続される外部サーバであれば良い。また、辞書データ記憶装置３０を、辞書データ参照装置として構成しても良い。
表示装置４０は、運転者などの自車両の乗員に対して、自車両の進行方向に歩行者、自転車などが存在する旨の警告を画像又は音声で通知する。また、表示装置４０は、自車両の乗員に対して、認識した歩行者、自転車までの距離を通知する。

なお、物体認識装置２０が実現する各構成要素は、例えば、コンピュータである物体認識装置２０が備える演算装置（図示せず）の制御によって、プログラムを実行させることによって実現できる。より具体的には、物体認識装置２０は、記憶部（図示せず）に格納されたプログラムを主記憶装置（図示せず）にロードし、演算装置の制御によってプログラムを実行して実現する。

また、各構成要素は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組み合わせなどにより実現しても良い。

上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、物体認識装置２０に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。

非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。

また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によって物体認識装置２０に供給されても良い。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバなどの有線通信路又は無線通信路を介して、プログラムを物体認識装置２０に供給できる。

次に、本実施の形態１に係る物体認識システム１の動作、すなわち、物体認識方法について説明する。
図２は、本実施の形態１に係る物体認識方法の処理手順を示すフローチャートである。
物体認識システム１が動作を開始すると、前方カメラ１０が自車両の進行方向の画像を撮像し、画像取得部２１が当該画像を認識対象画像として取得する（ステップＳ１０）。

図３は、本実施の形態１に係る認識対象画像の例を示す図である。
画像には、自車両前方の横断歩道を歩いて横断し始めた人物Ａと、横断歩道を自転車に乗って横断中の人物Ｂと、横断歩道よりも更に向こうの方で自転車に乗って道路を斜めに横断している人物Ｃとが写っている。

次に、認識処理部２２が認識対象画像に対して、辞書データ記憶装置３０に記憶した人物認識辞書を用いて、人物の認識を行う（ステップＳ２０）。このとき、認識処理部２２は、認識対象画像の全域において人物を認識しても良いし、認識対象画像の上下の領域を除いた中央の領域のみにおいて人物を認識しても良い。これにより、認識処理部２２は、図３に示した画像では、人物Ａ〜Ｃを認識して検出する。

図４は、本実施の形態１に係る人物の検出結果を示す図である。
認識処理部２２が人物を検出した結果を示す検出矩形Ａ〜Ｃは、それぞれ人物Ａ〜Ｃを適切に囲んでおり、認識処理部２２が人物を適切に検出できていることを示している。
しかしながら、検出した人物Ａは歩行している状態であり、人物Ｂ、Ｃは自転車に乗車している状態であって、認識処理部２２が検出した人物の形状などに基づいて、自車両（又は、前方カメラ１０）と人物Ａ〜Ｃとの距離をこのまま算出すると、人物Ｂ、Ｃとの距離を間違える可能性がある。この間違いは、特に、画像中の人物の下端位置（接地位置）に基づいて、人物との距離を算出するような場合に顕著になる。また、歩行者と、自転車とでは移動速度が異なるので、歩行者と自転車などとを正しく識別して、運転者に適切なタイミングで衝突防止などの警告をする必要がある。

そこで、認識処理部２２は、次に、ステップＳ２０で人物を検出したかを判定する（ステップＳ３０）。
認識処理部２２は、人物を検出したとき（ステップＳ３０のＹｅｓ）は、ステップＳ２０で検出した人物の検出範囲の下部に、車輪を認識するときの認識範囲を設定する（ステップＳ４０）。ここで、認識範囲を設定する、人物の検出範囲の下部とは、当該人物が自転車などに乗車しているときに、当該自転車などの車輪を認識するための必要十分な範囲を指す。

例えば、図４に示した人物を検出した検出範囲（検出矩形）に対して、検出範囲の縦方向に対して下側５０％の範囲を、車輪を認識する認識範囲とする。また、検出した人物の形状から下半身に該当すると認識された場合は、下半身を含む範囲を、車輪を認識する認識範囲とする。車輪を認識する認識範囲は、人物を検出した範囲の下側を含んでいればよく、人物を検出した範囲の下端よりも更に下方を含んでいても良い。例えば、人物を検出した範囲の縦方向の長さを１００％とした場合に、車輪を認識する認識範囲は、人物を検出した範囲の下端よりも更に２０％から３０％下方を含んでいても良い。

また、車輪を認識する認識範囲は、人物を検出した範囲の幅よりも広い幅を設定しても良い。例えば、人物を検出した範囲の横方向の幅を１００％とした場合に、人物を検出した範囲を中心に２００〜３００％の範囲としても良い。

図５は、本実施の形態１に係る車輪の認識範囲を示す図である。
認識処理部２２は、検出した人物Ａ〜Ｃに対して、その下側を中心として、それぞれ、認識範囲Ａ〜Ｃを設定している。車輪を認識する範囲を、人物を検出した範囲の下側であり、更に、人物を検出した範囲の下端よりも下方の範囲を含み、人物を検出した範囲の左右端よりも横方向の範囲も含むことが適切である。
次に、認識処理部２２は、辞書データ記憶装置３０に記憶した車輪認識辞書を用いて、認識範囲Ａ〜Ｃに対して、自転車の車輪を認識する（ステップＳ５０）。

図６は、本実施の形態１に係る車輪の検出結果を示す図である。
認識処理部２２が車輪を検出した結果を示す検出矩形Ｂ、Ｃは、自転車Ｂの車輪２つと、自転車Ｃの車輪１つとを適切に囲んでおり、認識処理部２２が車輪を適切に検出できていることを示している。一般に、自転車の車輪は乗員（人物Ｂ、Ｃ）の死角に入ることが少なく、認識処理部２２は、多くの場合で車輪を検出することができる。

一方、認識処理部２２は、ステップＳ２０〜Ｓ５０の処理と並行して、辞書データ記憶装置３０に記憶した自転車認識辞書を用いて、自転車を認識する（ステップＳ６０）。
図７は、本実施の形態１に係る自転車の検出結果を示す図である。
自転車Ｂは横方向から撮影されて自転車としての形状が明確であり、認識処理部２２は自転車Ｂを正しく検出できている。一方、自転車Ｃは斜め前方向から撮影されて、乗員（人物Ｃ）と自転車との特徴が似てしまったり、自転車Ｃのフレーム部分がハンドルに取り付けたかごや乗員の死角に入ったりなどして、認識処理部２２は自転車Ｃを正しく検出できていない。

次に、認識処理部２２は、ステップＳ５０で車輪を検出したか判定する（ステップＳ７０）。また、認識処理部２２は、ステップＳ６０で自転車を検出したか判定する（ステップＳ８０）。
ステップＳ５０で車輪を検出したとき（ステップＳ７０のＹｅｓ）、又は、ステップＳ６０で自転車を検出したとき（ステップＳ８０のＹｅｓ）は、認識処理部２２は、自転車（及び、その乗員）を検出したと最終的に決定する（ステップＳ９０）。

これにより、認識処理部２２は、例えば、図７に示した自転車Ｃのように、自転車認識辞書では当該自転車を検出できないような状況（画像）であっても、図６に示した自転車Ｃの車輪のように、車輪認識辞書により当該自転車を検出することができるようになる。
また、認識処理部２２は、ステップＳ５０で車輪を検出したとき（ステップＳ７０のＹｅｓ）に、ステップＳ２０で検出した人物は、自転車の乗員であると決定しても良い。
そして、認識処理部２２は、検出した車輪の下端、又は、検出した自転車の車輪の下端を自転車の接地位置として、自車両（又は、前方カメラ１０）と当該自転車（及び、その乗員）との距離を算出する（ステップＳ１００）。

ここで、距離の算出方法を簡単に説明する。
認識処理部２２は、画像下端から画像中の注目画素までの画素数と、自車両から注目画素における被写体までの実際の距離とを対応付けた距離テーブルをあらかじめ保持している。この距離テーブルは、例えば、カメラの取り付け位置や角度などによりキャリブレーションを行って用意することができる。
そして、認識処理部２２は、車輪の下端（接地位置）の画像上の位置と、距離テーブルとから、当該画像撮像時の自車両から当該自転車までの距離を算出する。

また、ステップＳ５０で車輪を検出しなかったとき（ステップＳ７０のＮｏ）、認識処理部２２は、ステップＳ２０で検出した人物は、歩行者であると決定する（ステップＳ１１０）。
そして、認識処理部２２は、検出した人物の下端、例えば、靴の底又は踵の部分を歩行者の接地位置として、自車両（又は、前方カメラ１０）と歩行者との距離を算出する（ステップＳ１２０）。

次に、認識処理部２２は、自車両と、自転車又は歩行者との距離が所定値よりも小さく、自車両と自転車などとが衝突する可能性があるときに、表示制御部２３が表示装置４０を介して、自転車又は歩行者を接近していることを運転者に警告する（ステップＳ１３０）。
そして、物体認識装置２０は、物体認識方法を終了するか判定し（ステップＳ１４０）、終了すると判定したとき（ステップＳ１４０のＹｅｓ）は、処理を終了する。

また、認識処理部２２が人物を検出しなかったとき（ステップＳ３０のＮｏ）、自転車を検出しなかったとき（ステップＳ８０のＮｏ）、又は、物体認識装置２０が物体認識方法を終了しないと判定したとき（ステップＳ１４０のＮｏ）は、ステップＳ１０（又は、ステップＳ２０、Ｓ６０など）に戻る。

なお、本実施の形態１に係る物体認識システム１又は物体認識方法については、いろいろな修正や変更が可能である。
例えば、認識処理部２２は、ステップＳ６０で自転車を検出したとき（ステップＳ８０のＹｅｓ）に自転車を検出したと最終的に決定する（ステップＳ９０）ようにしたが、検出した自転車に対して、改めて車輪認識辞書を用いて車輪を認識するようにしても良い。すなわち、ステップＳ８０が「Ｙｅｓ」のときに、ステップＳ９０の処理を行わずにステップＳ５０の処理を行うようにしても良い。

このときは、更に、ステップＳ５０で検出した車輪に基づいて、ステップＳ６０で検出した自転車の検出矩形の位置を修正するようにすれば、自車両と自転車との距離の測定精度を向上させることができる。また、このように、自転車を検出した後に、更に車輪を検出するかどうかを自車両の速度などに基づいて決定するようにしても良い。

また、ステップＳ５０で検出した車輪に基づいて、ステップＳ６０で検出した自転車の検出矩形の位置を修正したときに、検出した車輪の下端（接地位置）を用いて自転車との距離を算出する代わりに、修正した自転車の検出矩形の大きさに基づいて、すなわち、検出した車輪の下端（接地位置）に基づいて、当該自転車との距離を算出するようにしても良い。車輪を検出することにより、自転車の検出矩形を従来よりも正確に設定することができ、当該検出矩形を用いて、他車両との距離も従来よりも正確に算出することができる。

また、本実施の形態１に係る物体認識システム１又は物体認識方法では、人物認識辞書、車輪認識辞書、自転車認識辞書の３つの辞書を用いて、歩行者と自転車とを識別するようにしたが、人物認識辞書、車輪認識辞書の２つの辞書を用いて、歩行者と自転車とを識別するようにしても良い。つまり、図２に示した処理手順のフローチャートにおいて、ステップＳ６０及びステップＳ８０に係る処理を省略するようにしても良い。

また、本実施の形態１に係る物体認識システム１又は物体認識方法では、歩行者と自転車とを識別するようにしたが、歩行者と、自動二輪、パーソナルモビリティ、車いすなどとを識別するようにしても良い。

また、本実施の形態１においては、前方カメラ１０が可視光カメラであり、画像取得部２１は認識対象画像として可視光画像を取得することを前提に説明してきたが、前方カメラ１０が、可視光に加えて赤外光も撮像可能なカメラであっても良い。この場合に、画像取得部２１は、取得した画像に対して演算によるフィルタリングを行い、可視光画像及び赤外画像を抽出する。
認識処理部２２は、抽出した赤外画像に対して赤外画像用の人物認識辞書を用いて人物を認識し、人物を検出したときに、同一の画像から抽出した可視光画像に対して、可視光画像用の車輪認識辞書を用いて車輪を認識する。

また、前方カメラ１０を、可視光カメラと赤外カメラとで構成しても良い。この場合に、画像取得部２１は、可視光画像及び赤外画像を取得する。
認識処理部２２は、赤外画像に対して赤外画像用の人物認識辞書を用いて人物を認識し、人物を検出したときに、可視光画像に対して、可視光画像用の車輪認識辞書を用いて車輪を認識する。

一般に、歩行者からは放熱があるために、赤外映像を用いることで、より適切に歩行者を認識することができる。例えば、画像中に人物に類似する又は人物を模した他の物体がある場合でも、当該他の物体と歩行者とを区別することができる。

以上、説明したように、本実施の形態１に係る物体認識装置２０は、被写体を撮影した画像を取得する画像取得部２１と、取得した画像に対して、認識辞書を用いて被写体を認識する認識処理部２２とを備え、認識処理部２２は、取得した画像に対して対象物認識辞書を用いて対象物を検出し、検出した対象物の下部に対して車輪認識辞書を用いて車輪を検出し、車輪の検出結果を対象物の検出結果に反映させるものである。
このような構成により、画像から対象物をより正確に検出することができる。

また、本実施の形態１に係る物体認識装置２０は、認識処理部２２が対象物認識辞書である人物認識辞書を用いて人物を検出し、検出した人物の下部に対して車輪認識辞書を用いて車輪を検出し、車輪を検出したときは検出した人物は車両の乗員であり、車輪を検出しなかったときは検出した人物は歩行者であると判断することも可能である。
このような構成により、画像から歩行者と自転車（又は、その乗員）などとを正確に識別することができる。

また、本実施の形態１に係る物体認識装置２０は、認識処理部２２が検出した車輪の下端又は歩行者と判断した人物の下端と、画像を撮像した撮像部との距離を算出することも可能である。
このような構成により、検出した歩行者、自転車などと自装置などとの距離を正確に算出することができる。

また、本実施の形態１に係る物体認識装置２０は、画像取得部２１が、画像として赤外光画像及び可視光画像を取得し、認識処理部２２が、対象物認識辞書である人物認識辞書を用いて赤外光画像から人物を検出し、検出した人物の下部に対して車輪認識辞書を用いて可視光画像から車輪を検出することも可能である。
このような構成により、画像から歩行者と自転車（又は、その乗員）などとをより正確に識別することができる。

また、本実施の形態１に係る物体認識方法は、被写体を撮影した画像を取得する画像取得ステップＳ１０と、取得した画像に対して、認識辞書を用いて被写体を認識する認識処理ステップＳ２０〜Ｓ９０、Ｓ１１０とを有し、認識処理ステップは、取得した画像に対して対象物認識辞書を用いて対象物を検出し、検出した対象物の下部に対して車輪認識辞書を用いて車輪を検出し、車輪の検出結果を対象物の検出結果に反映させるものである。

また、本実施の形態１に係る物体認識プログラムは、コンピュータに、被写体を撮影した画像を取得する画像取得手順（ステップＳ１０）と、取得した画像に対して、認識辞書を用いて被写体を認識する認識処理手順（ステップＳ２０〜Ｓ９０、Ｓ１１０）とを実行させるためのプログラムであって、認識処理手順（ステップＳ２０〜Ｓ９０、Ｓ１１０）では、取得した画像に対して対象物認識辞書を用いて対象物を検出し、検出した対象物の下部に対して車輪認識辞書を用いて車輪を検出し、車輪の検出結果を対象物の検出結果に反映させるものである。

（実施の形態２）
実施の形態１に係る物体認識システム１及び物体認識方法は、人物を撮影した画像に対して、人物認識辞書を用いて人物を検出し、検出した人物に対して車輪認識辞書を用いて車輪を検出し、検出した人物が車両の乗員であるか、歩行者であるかを判断するものであったが、本実施の形態２に係る物体認識システム及び物体認識方法は、他車両を撮影した画像に対して車両認識辞書を用いて他車両を検出し、検出した他車両に対して車輪認識辞書を用いてその車輪を検出し、当該他車両との距離を早く正確に算出するものである。
なお、本実施の形態２に係る物体認識システムの構成の一部は、実施の形態１に係るものと同様で良く、ここでは、物体認識システムの図示及び同様の構成についての説明を省略する。

物体認識装置２０は、前方カメラ１０が撮像した画像を用いて、他車両及びその車輪を認識し、必要に応じて、警告信号を表示装置４０などに出力する。また、物体認識装置２０は、画像において、認識した他車両の接地位置を特定し、自車両と他車両との距離を算出する。物体認識装置２０は、例えば、前方カメラ１０が撮影した映像のフレーム毎又は数フレーム毎に他車両及びその車輪を認識する。

認識処理部２２は、画像に対して、辞書データ記憶装置３０に記憶した車両認識辞書、車輪認識辞書を用いて、他車両、車輪（タイヤ）を認識し、必要に応じて運転者に警告するように、表示制御部２３に信号を出力する。
表示制御部２３は、表示装置４０で警告画像を表示したり、警告音声を出力したりするための制御を行う。また、表示制御部２３は、認識した他車両の接地位置の、画像における位置から算出した距離情報を、表示装置４０に表示させる制御も行う。

辞書データ記憶装置３０は、車両認識辞書、車輪認識辞書などを記憶する。なお、車両認識辞書、車輪認識辞書は、車両、車輪をいろいろな角度から撮影した画像又はそれらの切り抜き画像を機械学習して作成したものである。
表示装置４０は、運転者などの自車両の乗員に対して、自車両の進行方向に車両が存在する旨の警告を画像又は音声で通知する。また、表示装置４０は、自車両の乗員に対して、認識した他車両までの距離を通知する。

次に、本実施の形態２に係る物体認識システム１の動作、すなわち、物体認識方法について説明する。
図８は、本実施の形態２に係る認識方法の処理手順を示すフローチャートである。
物体認識システム１が動作を開始すると、前方カメラ１０が自車両の進行方向の画像を撮像し、画像取得部２１が当該画像を認識対象画像として取得する（ステップＳ２１０）。

次に、認識処理部２２が認識対象画像に対して、辞書データ記憶装置３０に記憶した車両認識辞書を用いて、他車両の認識を行う（ステップＳ２２０）。このとき、認識処理部２２は、認識対象画像の全域において他車両を認識しても良いし、認識対象画像の上下の領域を除いた中央の領域のみにおいて他車両を認識しても良い。

図９は、本実施の形態２に係る認識対象画像及び車両認識結果の例を示す図である。
認識対象画像には、左の道路から右折しようとして交差点に侵入している他車両が写っている。そして、認識処理部２２が当該他車両を検出した結果を示す検出矩形は、車輪の一部分を除いて当該他車両を囲んでいる。

これは、エッジの検出や辞書の参照などにより他車両を認識する認識処理部２２は、エッジが明瞭なボディ（車体）部分を車両として容易に検出することができるが、光の当たり方次第では陰となってエッジが不明瞭となり、また、路面との境界も不明瞭となる車輪部分を車両として検出し難いことに原因がある。このような検出もれにより生じる検出矩形のずれは、特にトンネルの中や夜間に撮影した画像で発生しやすい。

そして、認識処理部２２は、図９に示したような位置ずれした検出矩形に基づいて検出した他車両の接地位置を算出すると、当該他車両を実際よりも遠くに存在するように算出してしまう。
そこで、認識処理部２２は、次に、ステップＳ２２０で他車両を検出したか判定する（ステップＳ２３０）。

認識処理部２２は、他車両を検出したとき（ステップＳ２３０のＹｅｓ）は、ステップＳ２２０で検出した他車両の検出範囲の下部に車輪を認識するときの認識範囲を設定する（ステップＳ２４０）。ここで、認識範囲を設定する、車両の検出範囲の下部とは、当該車両の車輪を認識するための必要十分な大きさの範囲を指す。

例えば、図９に示した他車両を検出した検出範囲（検出矩形）に対して、検出範囲の下側５０％を含み、検出範囲の下端から更に下方を含む範囲を、車輪を認識する認識範囲とする。このように認識範囲を設定することで、他車両を検出した検出範囲に車輪が含まれている場合でも、車輪の一部又は全部が含まれていない場合でも、車輪の認識を適切に行うことができる。
図１０は、本実施の形態２に係る車輪の認識範囲を示す図である。検出した他車両の下部近傍に認識範囲を設定している。

次に、認識処理部２２は、設定した認識範囲に対して、辞書データ記憶装置３０に記憶した車輪認識辞書を用いて、他車両の車輪を認識する（ステップＳ２５０）。これにより、認識処理部２２は、画像全体に対して車輪を認識するときに比べて、早く正確に車輪を検出することができる。
図１１は、本実施の形態２に係る車輪認識結果を示す図である。
認識処理部２２が車輪を検出した結果を示す検出矩形は、車輪２つを適切に囲んでいる。

次に、認識処理部２２は、ステップＳ２５０で車輪を検出したか判定する（ステップＳ２６０）。
認識処理部２２は、ステップＳ２５０で車輪を検出したとき（ステップＳ２６０のＹｅｓ）は、検出した車輪の下端を他車両の接地位置として、自車両（又は、前方カメラ１０）と当該他車両との距離を算出する（ステップＳ２７０）。
このとき、認識処理部２２は、認識対象画像における検出した車輪の下端の位置（接地位置）と、上述した距離テーブルとから、認識対象画像を撮像したときの自車両と当該他車両との距離を算出する。

なお、ステップＳ２５０で車輪を検出したときに、その検出矩形が一番大きくなった車輪は、自車両に一番近い車輪である可能性が大きい。そこで、認識処理部２２は、検出矩形が一番大きくなった車輪の接地位置に基づいて他車両との距離を算出するようにしても良い。

次に、表示制御部２３が表示装置４０にステップＳ２１０で取得した認識対象画像を表示させるとともに、検出した他車両に対して、検出した車輪も囲むような検出矩形を表示させ、また、自車両と当該他車両との距離を表示させる（ステップＳ２８０）。他車両との距離が所定値よりも小さく、当該他車両と衝突する可能性があるときには、表示制御部２３が表示装置４０により他車両が接近したことを運転者に通知するようにしても良い。表示装置４０に警告を表示させるときに、同時に音声を発生させるようにしても良い。
図１２は、本実施の形態２に係る検出矩形及び距離の表示例を示す図である。この例では、検出した車輪の接地位置（２箇所）も表示している。

一方、認識処理部２２がステップＳ２５０で車輪を検出しなかったとき（ステップＳ２６０のＮｏ）は、表示制御部２３が表示装置４０に、ステップＳ２２０で検出した車両とその検出矩形とを表示させる（ステップＳ２９０）。これは、例えば、図９に示したような画像を表示させれば良い。もちろん、認識処理部２２が検出した車両との距離を算出し、表示制御部２３が表示装置４０に当該距離を表示させたり、警告表示をさせたりしても良い。

そして、物体認識装置２０は、物体認識方法を終了するか判定し（ステップＳ３００）、終了すると判定したとき（ステップＳ３００のＹｅｓ）は、処理を終了する。
また、認識処理部２２が車両を検出しなかったとき（ステップＳ２３０のＮｏ）、又は、物体認識装置２０が物体認識方法を終了しないと判定したとき（ステップＳ３００のＮｏ）は、ステップＳ２１０（又は、ステップＳ２２０）に戻る。

以上、説明したように、本実施の形態２に係る物体認識装置２０は、認識処理部２２が、対象物認識辞書である車両認識辞書を用いて車両を検出し、検出した車両の下部に対して車輪認識辞書を用いて車輪を検出し、検出した車輪の下端位置に基づき、検出した車両までの距離を算出するものである。
このような構成により、画像から他車両との距離を早く正確に算出することができる。

また、本実施の形態２に係る物体認識装置２０は、取得した画像を表示装置４０に表示させる表示制御部２３を更に備え、表示制御部２３は、表示装置４０に、検出した車両を囲む検出矩形を検出した車輪も含めるように表示させることも可能である。
このような構成により、検出した車両の位置を運転者などに正確に示すことができる。

また、本実施の形態２に係る物体認識装置２０は、表示制御部２３が、表示装置４０に、算出した距離も表示させることも可能である。
このような構成により、検出した車両までの距離を運転者などに示すことができる。

（実施の形態３）
実施の形態２に係る物体認識システム又は物体認識方法では、他車両の車輪を検出したときに、運転者に対して表示又は音声で警告をしたが、より早く運転者に対して警告をした方が良いことから、本実施の形態３に係る物体認識システム又は物体認識方法では、他車両を検出したときに警告をするものである。
なお、本実施の形態３に係る物体認識システムは、実施の形態２に係るものと同様で良く、ここでは、その図示及び説明を省略する。

本実施の形態３に係る物体認識システム１の動作、すなわち、物体認識方法について説明する。
図１３は、本実施の形態３に係る物体認識方法の処理手順を示すフローチャートである。
ステップＳ３１０〜Ｓ３３０に係る処理は実施の形態２のステップＳ２１０〜Ｓ２３０に係る処理と同様で良く、ここでは、その説明を省略する。

認識処理部２２は、ステップＳ３２０で他車両を検出したとき（ステップＳ３３０のＹｅｓ）に、表示制御部２３が表示装置４０にステップＳ３１０で取得した認識対象画像を表示させるとともに、ステップＳ３２０で検出した他車両を囲む検出矩形を表示させる（ステップＳ３４０）。ここでは、例えば、図９に示したような画像を表示させる。もちろん、音声も出力するようにしても良い。これにより、運転者に他車両情報をいち早く伝えることができる。

次に、認識処理部２２は、検出した他車両の下部近傍に車輪を認識するときの認識範囲を設定し（ステップＳ３５０）、車輪を認識する（ステップＳ３６０）。
次に、認識処理部２２は、ステップＳ３６０で車輪を検出したか判定する（ステップＳ３７０）。

認識処理部２２は、ステップＳ３６０で車輪を検出したとき（ステップＳ３７０のＹｅｓ）は、検出した車輪の下端を検出した他車両の接地位置として、自車両（又は、前方カメラ１０）と当該他車両との距離を算出する（ステップＳ３８０）。
なお、上記したステップＳ３５０、Ｓ３６０、Ｓ３８０に係る処理も実施の形態２のステップＳ２４０、Ｓ２５０、Ｓ２７０に係る処理と同様のもので良い。

次に、表示制御部２３が表示装置４０にステップＳ３４０で表示させた画像について、検出矩形がステップＳ３６０で検出した車輪も囲むように修正する。また、距離情報も表示する（ステップＳ３９０）。これにより、時間を多少要しても、正確な距離を算出することができる。

そして、物体認識装置２０は、物体認識方法を終了するか判定し（ステップＳ４００）、終了すると判定したとき（ステップＳ４００のＹｅｓ）は、処理を終了する。
なお、認識処理部２２は、ステップＳ３６０で車輪を検出しなかったとき（ステップＳ３７０のＮｏ）は、ステップＳ４００に進む。

また、ステップＳ３２０で車両を検出しなかったとき（ステップＳ３３０のＮｏ）、又は、物体認識装置２０が物体認識方法を終了しないと判定したとき（ステップＳ４００のＮｏ）は、ステップＳ３１０（又は、ステップＳ３２０）に戻る。

なお、実施の形態２、３に係る物体認識システム１又は物体認識方法では、検出した車輪の下端（接地位置）を用いて他車両との距離を算出するようにしたが、距離の算出方法はこれに限るものではなく、例えば、検出矩形の大きさに基づいて、距離を算出するようにしても良い。実施の形態２、３に係る物体認識システム１又は物体認識方法では、車輪を検出することにより、車輪の下端位置に基づいて、他車両の検出矩形を従来よりも正確に設定することができ、当該検出矩形の大きさを用いて、他車両との距離も従来よりも正確に算出することができる。

また、実施の形態２、３に係る物体認識システム１などにおいては、前方カメラ１０が可視光カメラであり、画像取得部２１は認識対象画像として可視光画像を取得することを前提に説明してきたが、前方カメラ１０が、可視光に加えて赤外光も撮像可能なカメラであっても良い。この場合に、車両認識辞書及び車輪認識辞書として、赤外画像用の認識辞書を用いたり、可視光用の認識辞書と赤外画像用の認識辞書とを併用したりしても良い。

認識処理部２２は、赤外画像に対して赤外画像用の車両認識辞書を用いて他車両を検出し、他車両を検出したときに、赤外画像用の車輪認識辞書を用いて車輪を認識する。
これにより、夜間などの可視光の光量が少ない場合にも、実施の形態２、３に係る物体認識システム１などを適用して、可視光の光量が多い場合と同様の効果を得ることができる。また、赤外画像を用いることで、主に走行中の他車両を検出することができ、例えば、交差点にいろいろな方向から侵入してくる他車両の距離を正確に算出することもできる。

以上、説明したように、本実施の形態３に係る物体認識装置２０は、表示制御部２３が、検出矩形を表示させるときに、認識処理部２２が車両を検出したときに、車両を囲む検出矩形を表示させ、認識処理部２２が車輪を検出したときに、車輪も含めるように検出矩形を修正して表示させることも可能である。
このような構成により、検出した車両の位置をより早く運転者などに示すことができ、また、検出した車両の位置を正確に算出することができる。

（実施の形態４）
実施の形態１〜３に係る物体認識システム及び物体認識方法は、人物、他車両などの対象物を撮影した画像に対して、人物認識辞書、車両認識辞書などの対象物認識辞書を用いて対象物を検出し、検出した対象物の下部に対して車輪認識辞書を用いて車輪を検出するものであったが、本実施の形態４に係る物体認識システム及び物体認識方法は、検出した対象物の向きを特定し、特定した対象物の向きに対応する車輪認識辞書を選択して、認識処理の負荷を軽減しつつ、車輪をより精度良く検出するようにするものである。

対象物の向き特定は、例えば、対象物を検出した複数の画像を用い、検出した対象物の追跡（トラッキング）を行うことで、対象物の進行方向を推定し、推定した進行方向から対象物の向きを特定する。
なお、本実施の形態４に係る物体認識システムの構成の一部は、実施の形態１〜３に係るものと同様で良く、ここでは、物体認識システムの図示及び同様の構成についての説明を省略する。

認識処理部２２は、前方カメラ１０が撮像した画像に対して、辞書データ記憶装置３０に記憶した人物認識辞書、車両認識辞書などの対象物認識辞書を用いて人物、他車両などの対象物を認識する。認識処理部２２は、認識した対象物の形状などからその向きを特定することができるのであれば、当該対象物の向きを特定する。また、認識処理部２２は、対象物の向きを特定する他の手法として、複数の画像を用いて検出した対象物のトラッキングを行い、当該対象物の進行方向を推定し、推定した進行方向に基づいて対象物の向きを特定しても良い。
そして、認識処理部２２は、特定した向きに対応する車輪認識辞書を選択して対象物の下部の車輪を認識し、必要に応じて運転者に警告するように、表示制御部２３に信号を出力する。

辞書データ記憶装置３０は、対象物認識辞書、車輪認識辞書などを記憶する。対象物認識辞書、車輪認識辞書は、対象物、車輪をいろいろな角度から撮影した画像又はそれらの切り抜き画像を機械学習して作成したものである。

特に、本実施の形態４に係る辞書データ記憶装置３０は、車輪認識辞書を車輪の向き毎に記憶する。辞書データ記憶装置３０は、車輪認識辞書を対象物の進行方向と対応付けた車輪の向き毎に記憶しても良い。つまり、本実施の形態４に係る車輪認識辞書は、対象物が様々な向きであるときに撮影した車輪の画像若しくはそれらの切り抜き画像を、その向き毎に機械学習して作成したものである。

より具体的には、対象物が前方カメラ１０に対して前向き若しくは後向き、又は、正面向き若しくは背面向きの車輪の画像は、縦方向に長い矩形状か、縦方向に細長い楕円形状になっており、対象物が前方カメラ１０に対して、横向き、つまり、左向き、右向きの車輪の画像は、略円形状になっており、これらの画像を機械学習して、車輪認識辞書を作成している。

次に、本実施の形態４に係る物体認識システム１の動作、すなわち、物体認識方法について説明する。
図１４は、本実施の形態４に係る物体認識方法の処理手順を示すフローチャートである。
物体認識システム１が動作を開始すると、前方カメラ１０が自車両の進行方向の画像を撮像し、画像取得部２１が当該画像を認識対象画像として取得する（ステップＳ４１０）。

次に、認識処理部２２が認識対象画像に対して、辞書データ記憶装置３０に記憶した対象物認識辞書を用いて、対象物の認識を行う（ステップＳ４２０）
そして、認識処理部２２は、ステップＳ４２０で対象物を検出したか判定する（ステップＳ４３０）。

認識処理部２２は、対象物を検出したとき（ステップＳ４３０のＹｅｓ）は、複数の画像を用いて、ステップＳ４２０で検出した対象物の追跡（トラッキング）を行う（ステップＳ４４０）。対象物のトラッキングには、従来技術を用いることができる。
また、認識処理部２２は、対象物を検出しなかったとき（ステップＳ４３０のＮｏ）は、例えば、ステップＳ４１０に戻る。

次に、認識処理部２２は、ステップＳ４４０のトラッキングの結果を用いて、対象物の進行方向を推定し、対象物の向きを特定する（ステップＳ４５０）。対象物の進行方向推定及び進行方向に基づく向き特定も、従来技術を用いることができる。対象物の進行方向は、自車両に対する対象物の相対的な進行方向を、複数の画像における対象物の移動履歴と、自車両の進行方向及び走行速度とから推定する。推定した対象物の進行方向は自車両を基準とした進行方向であるため、自車両から見た対象物の向きを特定することができる。
そして、認識処理部２２は、ステップＳ４５０で特定した対象物の向きに対応する車輪認識辞書を辞書データ記憶装置３０から選択し（ステップＳ４６０）、対象物の車輪を認識する（ステップＳ４７０）。

そして、認識処理部２２は、ステップＳ４７０で車輪を検出したか判定し（ステップＳ４８０）、車輪を検出したとき（ステップＳ４８０のＹｅｓ）は、例えば、自転車検出決定、距離算出などを行う（ステップＳ４９０）。また、認識処理部２２は、車輪を検出しなかったとき（ステップＳ４８０のＮｏ）は、例えば、歩行者検出決定などを行う（ステップＳ５００）。ステップＳ４９０、Ｓ５００で行う処理の内容は、検出する対象物に応じて、予め定めることができる。

そして、物体認識装置２０は、物体認識方法を終了するか判定し（ステップＳ５１０）、終了すると判定したとき（ステップＳ５１０のＹｅｓ）は処理を終了し、終了しないと判定したとき（ステップＳ５１０のＮｏ）は、例えば、ステップＳ４１０に戻る。

以上、説明したように、本実施の形態４に係る物体認識装置２０は、認識処理部２２が検出した対象物の下部に対して車輪認識辞書を用いて車輪を検出するときに、取得した画像を用いて、対象物の向きを検出し、検出した向きに対応する車輪認識辞書を選択し、選択した車輪認識辞書を用いて車輪を検出することも可能である。
このような構成により、認識処理の負荷を軽減しつつ、車輪をより精度良く検出することができる。

また、本実施の形態４に係る物体認識装置２０は、認識処理部２２が、取得した画像を用いて、対象物の向きを検出するときに、複数の取得した画像を用いて対象物を追跡して対象物の進行方向を推定し、推定した進行方向から対象物の向きを検出することも可能である。

なお、実施の形態１〜４に係る物体認識システム１又は物体認識方法では、人物、自転車、車両、車輪などの画像を機械学習して作成した辞書を用いた画像認識を行うようにしたが、例えば、人物、自転車、車両、車輪車などのテンプレートを用いたパターンマッチングなどの画像認識を行うようにしても良い。

また、実施の形態１〜４に係る物体認識システム１の構成は、上記に限られるものではなく、複数の装置、例えば、物体認識装置２０及び辞書データ記憶装置３０を一体化して、辞書データ記憶部を備えた物体認識装置としても良い。また、物体認識システム１の全ての構成を一体化して、前方カメラ、辞書データ記憶部、表示部を備えた物体認識装置としても良い。もちろん、物体認識システム１を、人物認識装置、車両認識装置、車輪認識装置、距離算出装置などとして構成しても良い。

また、実施の形態１〜４に係る物体認識システム１は、車両で利用するものとして説明してきたが、車両での利用には、車両にシステムの一部又は全部が搭載されている形態や、可搬可能又は後付け可能に車両に搭載されている形態があっても良い。また、ヘッドマウントディスプレイ（ＨＭＤ、Head Mounted Display）などのように、人物が装着するような形態があっても良い。

この出願は、２０１６年３月１８日に出願された日本出願特願２０１６−０５４６９１及び日本出願特願２０１６−０５４６９２を基礎とする優先権を主張し、その開示の全てをここに取り込む。

実施の形態１〜４に係る物体認識システム１又は物体認識方法は、例えば、車両に搭載されて、撮影した画像から人物、他車両などの対象物をより正確に検出するもので、産業上の利用可能性を有する。

１ 物体認識システム
１０ 前方カメラ
２０ 物体認識装置
２１ 画像取得部
２２ 認識処理部
２３ 表示制御部
３０ 辞書データ記憶装置
４０ 表示装置

Claims (11)

1. 被写体を撮影した画像を取得する画像取得部と、
   前記取得した画像に対して、認識辞書を用いて前記被写体を認識する認識処理部とを備え、
   前記認識処理部は、
   前記取得した画像に対して対象物認識辞書を用いて対象物を検出し、
   前記取得した画像を用いて、前記対象物の向きを検出し、
   前記検出した向きに対応する車輪認識辞書を選択し、
   前記検出した対象物の下部に対して、前記選択した車輪認識辞書を用いて車輪を検出し、
   前記車輪の検出結果を前記対象物の検出結果に反映させる、
   物体認識装置。
2. 前記認識処理部は、前記取得した画像を用いて、前記対象物の向きを検出するときに、
   複数の前記取得した画像を用いて前記対象物を追跡して前記対象物の進行方向を推定し、
   前記推定した進行方向から前記対象物の向きを検出する
   請求項１記載の物体認識装置。
3. 前記認識処理部は、
   前記対象物認識辞書である人物認識辞書を用いて人物を検出し、
   前記検出した人物の下部に対して前記選択した車輪認識辞書を用いて車輪を検出し、
   車輪を検出したときは前記検出した人物は車両の乗員であり、車輪を検出しなかったときは前記検出した人物は歩行者であると判断する、
   請求項１又は請求項２記載の物体認識装置。
4. 前記認識処理部は、前記検出した車輪の下端又は前記歩行者と判断した人物の下端と、前記画像を撮像した撮像部との距離を算出する、
   請求項３記載の物体認識装置。
5. 前記画像取得部は、前記画像として赤外光画像及び可視光画像を取得し、
   前記認識処理部は、
   前記対象物認識辞書である人物認識辞書を用いて前記赤外光画像から人物を検出し、
   前記検出した人物の下部に対して前記選択した車輪認識辞書を用いて前記可視光画像から車輪を検出する、
   請求項１乃至請求項４のいずれか１項に記載の物体認識装置。
6. 前記認識処理部は、
   前記対象物認識辞書である車両認識辞書を用いて車両を検出し、
   前記検出した車両の下部に対して前記選択した車輪認識辞書を用いて車輪を検出し、
   前記検出した車輪の下端位置に基づき、前記検出した車両までの距離を算出する、
   請求項１乃至請求項５のいずれか１項に記載の物体認識装置。
7. 前記取得した画像を表示部に表示させる表示制御部を更に備え、
   前記表示制御部は、前記表示部に、前記検出した車両を囲む検出矩形を前記検出した車輪も含めるように表示させる、
   請求項６記載の物体認識装置。
8. 前記表示制御部は、前記検出矩形を表示させるときに、
   前記認識処理部が前記車両を検出したときに、前記車両を囲む検出矩形を表示させ、
   前記認識処理部が前記車輪を検出したときに、前記車輪も含めるように検出矩形を修正して表示させる
   請求項７記載の物体認識装置。
9. 前記表示制御部は、前記表示部に、前記算出した距離も表示させる
   請求項７又は請求項８記載の物体認識装置。
10. 被写体を撮影した画像を取得する画像取得ステップと、
    前記取得した画像に対して、認識辞書を用いて前記被写体を認識する認識処理ステップとを有し、
    前記認識処理ステップは、
    前記取得した画像に対して対象物認識辞書を用いて対象物を検出し、
    前記取得した画像を用いて、前記対象物の向きを検出し、
    前記検出した向きに対応する車輪認識辞書を選択し、
    前記検出した対象物の下部に対して、前記選択した車輪認識辞書を用いて車輪を検出し、
    前記車輪の検出結果を前記対象物の検出結果に反映させる、
    物体認識方法。
11. コンピュータに、
    被写体を撮影した画像を取得する画像取得手順と、
    前記取得した画像に対して、認識辞書を用いて前記被写体を認識する認識処理手順とを実行させるためのプログラムであって、
    前記認識処理手順では、
    前記取得した画像に対して対象物認識辞書を用いて対象物を検出し、
    前記取得した画像を用いて、前記対象物の向きを検出し、
    前記検出した向きに対応する車輪認識辞書を選択し、
    前記検出した対象物の下部に対して、前記選択した車輪認識辞書を用いて車輪を検出し、
    前記車輪の検出結果を前記対象物の検出結果に反映させる、
    物体認識プログラム。

Images