JP6965803B2 - 認識装置、認識方法及び認識プログラム - Google Patents

Description

本発明は、認識装置、認識方法及び認識プログラムに関する。

車両に搭載したカメラの画像を用いて車両周辺の状況を認識し、運転者に警告する安全支援装置が普及している。そのような安全支援装置は、カメラが撮影した画像に対して認識辞書などを用いて自車両周辺の対象物を認識する。

例えば、特許文献１には、車両周辺監視装置において、撮像画像から対象物の画像領域を抽出し、当該領域に、異なる方向の幅の比率が所定範囲となる第１の対象物領域と、第１の対象物領域の下方に第１の対象物領域よりも面積が小さい複数の第２の対象物領域とが含まれるときに、当該対象物の種別を人間以外の動物であると判定することが記載されている。

特開２００７−３１０７０５号公報

特許文献１記載の発明は、対象物が人間以外の動物であるときに、当該動物が横向きであるときの特徴（胴体及び前後脚の大きさ、縦横の比率、位置関係など）を用いて、対象物が動物であると判定するものである。一般に、動物が横向きで画像に写っているとき、すなわち、動物がその側面を見せて画像に写っているときは、人間及び動物の特徴が全く異なるため、人間と動物との間で誤検出が生じることは少ない。

しかしながら、人間又は動物がその正面又は背面を見せて画像に写っているときは、人間及び動物の特徴に類似している点が多く、人間と動物との間で誤検出が生じることがある。
本発明は、このような問題を解決するためになされたものであり、画像に人間又は動物がその正面又は背面を見せて写っているときでも、当該画像から人間又は動物を正しく検出することができる認識装置、認識方法及び認識プログラムを提供することを目的とする。

そこで、本発明は、被写体を撮影した画像を取得する画像取得部と、取得した画像に対して人間及び動物の全身認識辞書を用いて人間又は動物を検出した結果、人間であるか動物であるかの判断が明確ではない場合に、検出した人間又は動物の検出範囲に対して動物の頭部、顔部又は臀部を検出するための部分認識辞書を用いて当該検出範囲における人間とは異なる範囲で動物の頭部、顔部又は臀部を検出したときに、当該被写体が動物であることの確信度を大きくすることで動物を検出する認識処理部とを備える認識装置を提供する。

また、本発明は、被写体を撮影した画像を取得するステップと、取得した画像に対して人間及び動物の全身認識辞書を用いて人間又は動物を検出した結果、人間であるか動物であるかの判断が明確ではない場合に、検出した人間又は動物の検出範囲に対して動物の頭部、顔部又は臀部を検出するための部分認識辞書を用いて当該検出範囲における人間とは異なる範囲で動物の頭部、顔部又は臀部を検出したときに、当該被写体が動物であることの確信度を大きくすることで動物を検出するステップとを有する認識方法を提供する。

本発明により、画像に人間又は動物がその正面又は背面を見せて写っているときでも、当該画像から人間又は動物を正しく検出する認識装置、認識方法及び認識プログラムを提供することができる。

実施の形態に係る認識システム１の概略構成を示すブロック図である。 実施の形態に係る歩行者の全身画像の例である。 実施の形態に係る動物の全身画像の例である。 実施の形態に係る認識方法の処理手順を示すフローチャートである。

以下、図面を参照して本実施の形態に係る認識システム及び認識方法について説明する。
なお、本明細書における「画像」には、静止画像及び動画像が含まれる。
また、本明細書における「動物」は、人間以外の動物を指すものとする。

本実施の形態に係る認識システム又は認識方法は、自車両の進行方向を撮影した画像から人間又は動物を検出し、当該人間又は動物を検出した範囲において、動物を検出しようとするもので、人間及び動物を精度良く検出及び判別することができるものである。

まず、本実施の形態に係る認識システムの構成について説明する。
図１は、本実施の形態に係る認識システム１の概略構成を示すブロック図である。
認識システム１は、例えば、車両に搭載されて用いられるシステムであり、前方カメラ１０、認識装置２０、辞書データ記憶装置３０、表示装置４０などを備える。

前方カメラ１０は、自車両の進行方向の画像を撮像し、当該画像を認識装置２０に入力する。前方カメラ１０は、遠赤外光カメラであるが、他の波長領域を用いるカメラ、例えば、可視光カメラと、遠赤外光カメラとを組み合わせたようなものであっても良い。

認識装置２０は、前方カメラ１０が撮像した画像を用いて、人間及び動物を検出し、必要に応じて、警告信号を表示装置４０などに出力する。認識装置２０は、例えば、前方カメラ１０が撮像した画像のフレーム毎又は数フレーム毎に人間及び動物を検出する。このために、認識装置２０は、画像取得部２１、認識処理部２２、表示制御部２３などを有する。

画像取得部２１は、前方カメラ１０が撮像した画像を入力し、当該画像に各種の画像処理を施して、認識処理部２２に出力する。
認識処理部２２は、入力した画像に対して、辞書データ記憶装置３０に記憶した人間認識辞書、動物認識辞書を用いて、人間及び動物を検出し、必要に応じて運転者に警告するように、表示制御部２３に信号を出力する。

表示制御部２３は、表示装置４０で警告画像を表示したり、警告音声を出力したりするための制御を行う。
辞書データ記憶装置３０は、人間認識辞書、動物認識辞書などの様々な認識辞書を記憶する。
人間認識辞書には、人間全身認識辞書などが含まれる。人間全身認識辞書は、歩行者がその正面又は背面を見せて写っている全身画像、及び、歩行者が側面を見せて写っている全身画像、すなわち、歩行者が横向きで写っている全身画像を機械学習して作成したものである。

図２は、本実施の形態に係る歩行者の全身画像の例である。これらは、遠赤外光カメラを用いて夜間に撮影されたものであり、左から順番に、歩行者がその正面、背面、側面を見せて写っている全身画像である。いずれの画像も、肌が露出している領域などの熱放射の大きい部分が、より白くなっている。
人間の画像を機械学習したり、検出したりするときは、人間の全身が入るような矩形の検出範囲を用いる。

また、動物認識辞書には、動物全身認識辞書、動物部分認識辞書などが含まれる。
動物全身認識辞書も、動物がその正面又は背面を見せて写っている全身画像及び動物がその側面を見せて写っている全身画像などを機械学習して作成したものである。

図３は、本実施の形態に係る動物の全身画像の例である。これらも、遠赤外光カメラを用いて夜間に撮影されたものであり、左から順番に、四足歩行の動物がその正面（頭部上）、正面（頭部下）、背面、側面を見せて写っている全身画像である。いずれの画像も、目の領域などの熱放射の大きい部分が、より白くなっている。

動物の画像を機械学習したり、検出したりするときも、動物の全身が入るような矩形の検出範囲を用いる。このため、例えば、動物がその正面又は背面を見せて写っているときは縦長の検出範囲を用い、動物がその側面を見せて写っているときは正方形又は横長の検出範囲を用いる。

また、動物部分認識辞書は、動物の体の一部分が写っている画像、又は、動物の全身画像からその一部を切り出した画像を機械学習して作成したもので、動物部分認識辞書には、動物頭部認識辞書、動物顔部認識辞書、動物臀部認識辞書などが含まれる。

特に、動物の頭部には尖った角やピンと立った耳があり、また、動物の臀部には垂れ下がった尻尾があり、いずれも人間にはないものであって、動物を検出するための重要な特徴となり得る。
表示装置４０は、運転者に対して、自車両の進行方向に人間、動物などが存在する旨の警告を画像、音声などで通知する。

なお、認識装置２０の構成の一部分は、図示しない通信手段を介して接続された他の装置で置き換えられても良い。例えば、認識処理部２２は、通信手段を介して接続された認識サーバで置き換えられても良い。
また、辞書データ記憶装置３０も、通信手段を介して接続されたサーバで置き換えられても良い。

また、認識装置２０が実現する各構成要素は、例えば、コンピュータである認識装置２０が備える演算装置（図示せず）の制御によって、プログラムを実行することによって実現できる。より具体的には、認識装置２０は、記憶部（図示せず）に格納したプログラムを主記憶装置（図示せず）にロードし、演算装置の制御によってプログラムを実行して実現する。

また、各構成要素は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア及びソフトウェアのうちのいずれかの組み合わせなどにより実現しても良い。
上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、認識装置２０に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。

非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。

また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によって認識装置２０に供給されても良い。一時的なコンピュータ可読媒体の例は、電気信号、光信号及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバなどの有線通信路、又は、無線通信路を介して、プログラムを認識装置２０に供給できる。

次に、本実施の形態に係る認識システム１の動作、すなわち、認識方法について説明する。
図４は、本実施の形態に係る認識方法の処理手順を示すフローチャートである。
認識システム１が動作を開始すると、前方カメラ１０が自車両の進行方向の画像を撮影し、画像取得部２１が当該画像を認識対象画像として取得する（ステップＳ１０）。画像取得部２１は、例えば、図２、３に示したような人間又は動物が写っている画像領域を含む撮影画像を取得する。

次に、認識処理部２２が撮影画像全体又は撮影画像の一部を認識対象領域にして、辞書データ記憶装置３０に記憶した人間全身認識辞書及び動物全身認識辞書を用いて、人間及び動物を検出する（ステップＳ２０）。
次に、認識処理部２２がステップＳ２０の検出結果について、人間又は動物のいずれであるかが明確となっているか否かを判定する（ステップＳ３０）。

このステップＳ３０の処理は、ステップＳ２０の検出結果が、例えば、人間全身認識辞書によって人間である確率が４０％であるとされ、動物全身認識辞書によって動物である確率が６０％であるとされた場合のように、人間であるのか動物であるのか明確になっていない場合を判定する。

具体的にどの程度の確率を基準として明確であるか否かを判定するかは任意であるが、例えば、人間又は動物のいずれか一方である確率が８０％以上であり、他方である確率との差が５０％以上であるような場合に、確率の高い一方であることが明確であると判定しても良い。

認識処理部２２は、人間又は動物のいずれかを明確に検出したとき（ステップＳ３０のＹｅｓ）は、ステップＳ６０に移行する。そして、表示制御部２３は、ステップＳ２０の検出処理で明確に検出された人間又は動物について、運転者に警告する。

また、認識処理部２２は、検出結果が人間又は動物のいずれであるか明確ではないとき（ステップＳ３０のＮｏ）は、検出したときの検出枠（検出矩形）全体を認識対象領域にして、辞書データ記憶装置３０に記憶した動物部分認識辞書を用いて、動物の頭部、顔部又は臀部を検出する（ステップＳ４０）。

また、認識処理部２２は、検出結果が人間又は動物のいずれであるのか明確ではないとき（ステップＳ３０のＮｏ）に、検出したときの検出枠が縦に長い形状である場合は、検出枠全体を認識対象領域にして、辞書データ記憶装置３０に記憶した動物部分認識辞書を用いて、動物の頭部、顔部又は臀部を検出するようにしても良い。

これは、ステップＳ２０の処理で人間又は動物が検出されたときに、検出したときの検出枠が正方形または横長形状である場合は、動物を側面から見た場合であることが多く、更に、動物を側面から見た場合は、動物全身認識辞書によって動物である確率が高い検出結果が得られることを考慮したものである。

このとき、認識処理部２２は、認識対象領域の下側の所定の範囲、例えば、認識対象領域の下側半分、認識対象領域の下側３分の１などで動物の頭部又は顔部を検出したときに、動物検出の確信度を大きくする。動物が草を食むときなどは、動物の頭部又は顔部が、認識対象領域の下側の動物の足元又は地面に近いところにあることが多く、これは人間には見られない特徴である。

また、認識処理部２２は、認識対象領域の上側の所定の範囲、例えば、認識対象領域の上側半分、認識対象領域の上側３分の１などで動物の臀部を検出したときに、動物検出の確信度を大きくする。動物が４本足で立った状態で背面を見せているとき、すなわち、後方を見せているときは、動物の臀部が、認識対象領域の上側に近いところにあることが多く、これも人間には見られない特徴である。

そして、認識処理部２２は、ステップＳ２０の人間又は動物の検出結果及びステップＳ４０の動物の検出結果に基づいて、ステップＳ２０で検出したのが、人間なのか動物なのかを判別する（ステップＳ５０）。

例えば、認識処理部２２は、ステップＳ２０で人間である確率が動物である確率より高く、しかしながら、人間であるとまでは明確に判定できないときに、ステップＳ４０の検出で人とは異なる範囲で動物の頭部、顔部又は臀部を検出した場合は、ステップＳ２０で検出したものを動物であると判定する。

また、認識処理部２２は、ステップＳ２０で人間である確率が動物である確率より高く、しかしながら、人間であるとまでは明確に判定できないときに、ステップＳ４０の検出で人とは異なる範囲で動物の頭部、顔部又は臀部を検出しなかった場合は、ステップＳ２０で検出したものを人間であると判定しても良い。

また、ステップＳ２０で動物である確率が人間である確率より高く、しかしながら、動物であるとまでは明確に判定できないときに、ステップＳ４０の検出で人とは異なる範囲で動物の頭部、顔部又は臀部を検出した場合は、ステップＳ２０で検出したものを動物であると判定する。

また、ステップＳ２０で動物である確率が人間である確率より高く、しかしながら、動物であるとまでは明確に判定できない場合に、ステップＳ４０の検出で人とは異なる範囲で動物の頭部、顔部又は臀部を検出しなかったときは、ステップＳ２０で検出したものを人間であると判定しても良い。

そして、認識処理部２２が人間又は動物を検出したときは、表示制御部２３が表示装置４０を介して、運転者に歩行者又は動物を検出したことを通知する。
次に、認識装置２０は、認識方法を終了するか判定し（ステップＳ６０）、終了すると判定したとき（ステップＳ６０のＹｅｓ）は、処理を終了する。

このように、本実施の形態に係る認識システム１又は認識方法は、撮影した画像から人間又は動物を検出し、人間又は動物を検出した範囲において、動物を検出しようと試みるもので、人間及び動物を精度良く検出及び判別することができる

なお、本実施の形態に係る認識システム１又は認識方法では、いろいろな追加、修正又は変更が可能である。
例えば、認識処理部２２は、人間又は動物を検出したときに、画像に写っている人間又は動物を検出した検出枠の画像上の位置や大きさに基づいて、自車両から人間又は動物までの距離や、人間又は動物の大きさを算出し、運転者に通知しても良い。

検出枠の大きさに基づいて人間又は動物までの距離を算出するときは、例えば、人間の身長が１．７ｍ、動物の体長が１．０ｍであると仮定して計算するので、同じ検出枠で検出されたものが人間であったときと動物であったときとでは、算出される距離が１．７倍も変わってくる。このため、本実施の形態に係る認識システム１により人間と動物とを正確に判別することで、検出した人間、動物などまでの距離を、より精度良く算出することができる。

また、表示制御部２３は、歩行者などの人間を検出したときと動物を検出したときとで、運転者に対する報知方法を変えても良い。例えば、動物は群れをなしていたり、飛び出しなどの予測不能な行動をしたりすることがあるので、動物を検出したときは、運転者に早めに報知するようにしても良い。

また、認識方法において、ステップＳ２０で同一領域内又は近傍領域内で人間及び動物を検出したときにだけ、ステップＳ４０以降で動物を検出しようと試みても良い。
また、ステップＳ４０において、動物の部分認識辞書に加えて、人間の部分認識辞書を用いて、人間も検出するように試みても良い。

また、認識システム１の構成は、上記に限られるものではなく、複数の装置、例えば、認識装置２０及び辞書データ記憶装置３０を一体化して、辞書データ記憶部を備えた認識装置としても良い。また、認識システム１の全ての構成を一体化して、前方カメラ、辞書データ記憶部、表示部を備えた認識装置としても良い。もちろん、人間認識システム、動物認識システム、人間動物判別システムなどとして構成しても良い。

また、車両における利用も、車両に一部又は全部が搭載されている形態に加えて、可搬可能又は後付け可能に車両に搭載されている形態であっても良い。
また、車両での利用以外にも、例えば、建物内に設置して、自動ドア前などにカメラを設け、自動ドアの開閉の判断に用いる形態であっても良い。この場合、人間であると判断したときのみ自動ドアを開く、あるいは、動物であると判断したときに自動ドアを閉じるといった判断が可能になる。

また、認識処理部２２は、人間、動物などの画像を機械学習して作成した辞書を用いる画像認識に代えて、又は、機械学習して作成した辞書を用いる画像認識に加えて、例えば、人間、動物などのテンプレートを用いたパターンマッチングなどの別の画像認識を行うようにしても良い。

以上、説明したように、本実施の形態に係る認識装置２０は、被写体を撮影した画像を取得する画像取得部２１と、取得した画像に対して人間及び動物の全身認識辞書を用いて人間又は動物を検出し、検出した人間又は動物の検出範囲に対して動物の頭部、顔部又は臀部を検出するための部分認識辞書を用いて当該検出範囲における人間とは異なる範囲で動物の頭部、顔部又は臀部を検出したときに、当該被写体が動物であることの確信度を大きくすることで動物を検出する認識処理部２２とを備えるものである。
このような構成により、画像から人間又は動物を正しく検出することができる。

また、本実施の形態に係る認識方法は、被写体を撮影した画像を取得するステップＳ１０と、取得した画像に対して人間及び動物の全身認識辞書を用いて人間又は動物を検出し、検出した人間又は動物の検出範囲に対して動物の頭部、顔部又は臀部を検出するための部分認識辞書を用いて当該検出範囲における人間とは異なる範囲で動物の頭部、顔部又は臀部を検出したときに、当該被写体が動物であることの確信度を大きくすることで動物を検出するステップＳ２０〜Ｓ５０とを有するものである。
このような構成により、画像から人間又は動物を正しく検出することができる。

１ 認識システム
１０ 前方カメラ
２０ 認識装置
２１ 画像取得部
２２ 認識処理部
２３ 表示制御部
３０ 辞書データ記憶装置
４０ 表示装置

Claims (6)

1. 被写体を撮影した画像を取得する画像取得部と、
   前記取得した画像に対して人間及び動物の全身認識辞書を用いて人間又は動物を検出した結果、人間であるか動物であるかの判断が明確ではない場合に、前記検出した人間又は動物の検出範囲に対して動物の頭部、顔部又は臀部を検出するための部分認識辞書を用いて前記検出範囲における人間とは異なる範囲で動物の頭部、顔部又は臀部を検出したときに、前記被写体が動物であることの確信度を大きくすることで動物を検出する認識処理部と
   を備える認識装置。
2. 前記認識処理部は、前記検出範囲の下側に動物の頭部又は顔部を検出したときに、前記被写体が動物であることの確信度を大きくすることで動物を検出する
   請求項１記載の認識装置。
3. 前記認識処理部は、前記検出範囲の上側に動物の臀部を検出したときに、前記被写体が動物であることの確信度を大きくすることで動物を検出する
   請求項１又は請求項２記載の認識装置。
4. 前記認識処理部は、前記人間及び動物の全身認識辞書を用いて検出した前記被写体の検出範囲が縦長形状である場合に、動物の頭部、顔部又は臀部を検出するための部分認識辞書を用いた検出を行う
   請求項１乃至請求項３のいずれか１項記載の認識装置。
5. 被写体を撮影した画像を取得するステップと、
   前記取得した画像に対して人間及び動物の全身認識辞書を用いて人間又は動物を検出した結果、人間であるか動物であるかの判断が明確ではない場合に、前記検出した人間又は動物の検出範囲に対して動物の頭部、顔部又は臀部を検出するための部分認識辞書を用いて前記検出範囲における人間とは異なる範囲で動物の頭部、顔部又は臀部を検出したときに、前記被写体が動物であることの確信度を大きくすることで動物を検出するステップと
   を有する認識方法。
6. コンピュータに、
   被写体を撮影した画像を取得する手順と、
   前記取得した画像に対して人間及び動物の全身認識辞書を用いて人間又は動物を検出した結果、人間であるか動物であるかの判断が明確ではない場合に、前記検出した人間又は動物の検出範囲に対して動物の頭部、顔部又は臀部を検出するための部分認識辞書を用いて前記検出範囲における人間とは異なる範囲で動物の頭部、顔部又は臀部を検出したときに、前記被写体が動物であることの確信度を大きくすることで動物を検出する手順と
   を実行させるための認識プログラム。

Images