JP5036611B2

JP5036611B2 - 画像認識装置

Info

Publication number: JP5036611B2
Application number: JP2008083206A
Authority: JP
Inventors: 仁臣滝澤; 軼群王
Original assignee: Daihatsu Motor Co Ltd
Current assignee: Daihatsu Motor Co Ltd
Priority date: 2008-03-27
Filing date: 2008-03-27
Publication date: 2012-09-26
Anticipated expiration: 2028-03-27
Also published as: JP2009237897A

Description

本発明は、カメラ画像中の歩行者を認識する画像認識装置に関する。

従来、車両における前方の歩行者の検知・警報や、入退室管理等においては、カメラ画像を用いて歩行者を自動的に認識することが行われている。

例えば、前者の車両における前方の歩行者の検知・警報の場合、車両（自車）に搭載したステレオカメラにより自車前方を撮影し、そのステレオ撮影画像から自車前方の各種物標の立体像を得、この立体像についての３次元のテンプレートマッチング処理等のステレオ画像認識処理により歩行者を判別して認識することがよく知られているが、ステレオカメラが大型で高価であることから、ステレオカメラに代えて小型で安価な単眼カメラを搭載し、単眼カメラの自車前方の撮影画像（単眼カメラ画像）中の移動する各物標につき、予め用意した移動速度別の複数の２次元のテンプレート画像の辞書の中から、各物体の移動速度に応じた辞書を選択し、選択した辞書を用いたテンプレートマッチングの画像認識処理により自車前方の歩行者を判別して認識することが提案されている（例えば、特許文献１参照）。
特開２００７−２４９８４１号公報（要約書、段落［００２４］−〔００２７〕、図１、図９等）

前記特許文献１に記載の画像認識処理の場合、実際には、歩行者の移動方向によって、カメラに写る歩行者の姿勢（歩く姿）が異なるため、前記辞書に、多数の姿勢のテンプレート画像等を登録しておき、画像認識処理により、カメラ画像と、登録した全ての移動方向のテンプレート画像との照合を行う必要がある。

したがって、画像認識処理の負担が極めて大きく、精度よく迅速に歩行者を認識できない問題がある。なお、前記の入退室管理等における歩行者の認識の場合にも同様の問題がある。

本発明は、カメラ画像中の歩行者を精度よく迅速に認識する画像処理装置を提供することを目的とする。

上記した目的を達成するために、本発明の画像認識装置は、カメラ画像中の移動する物標の画像認識処理により歩行者を認識する画像認識装置であって、前記物標の移動方向を判断する移動方向判断手段と、予め記憶された移動方向別に分類された複数種類の歩行者パターンから、前記移動方向判断手段により判断された移動方向の前記歩行者パターンを選択する選択手段と、前記選択手段により選択された移動方向の前記歩行者パターンと前記物標の画像パターンとを照合して前記画像認識処理を行う認識処理手段とを備えたことを特徴としている（請求項１）。

請求項１の構成によれば、移動方向判断手段の物標の移動方向の判断に基づき、選択手段により、予め記憶された移動方向別に分類された歩行者パターンから、前記移動方向判断手段により判断された移動方向の歩行者パターンが選択され、認識処理手段は、選択された移動方向の歩行者パターンとカメラ画像中の認識対象の物標の画像パターンとを照合し、パターンマッチングにより画像認識処理を行って歩行者を認識する。

この場合、移動方向による歩行者の姿勢の差異を考慮して、認識処理手段のパターンマッチングの画像認識処理により、歩行者を精度よく認識することができる。また、記憶された全移動方向の歩行者パターンとの照合は不要であり、認識対象の物標の画像パターンと、その移動方向の歩行者パターンのみとを照合するため、認識対象の物標の画像パターンと全移動方向の歩行者パターンとを照合する場合に比して画像処理の負担が軽減される。したがって、カメラ画像中の歩行者を精度よく迅速に認識することができる。

つぎに、本発明をより詳細に説明するため、一実施形態について、図１〜図４を参照して詳述する。

本実施形態においては、車両における前方の歩行者の検知・警報の歩行者認識に適用する。図１は自車（車両）１に搭載された本実施形態の画像認識装置のブロック図、図２はカメラ画像中の物標の移動方向の説明図、図３は移動方向別の歩行者画像の説明図、図４は図１の一部の動作説明用のフローチャートである。

図１において、２は自車１の前方を探査するレーダであり、例えば車間距離計測（他の用途）のために自車１に取り付けられたレーザレーダ等からなる。３は自車１の前方を連続的に撮影するカメラであり、例えばステレオカメラに比して小型かつ安価なＣＣＤの単眼カメラからなる。４は自車１の車速を検出する速度センサ、５は自車１の加速度を検出するアクセル開度センサ、６は自車１のブレーキペダルの踏み込み量を検出するブレーキセンサ、７は自車１のステアリングの角度を検出する舵角センサである。

８はレーダ側物標検出部であり、レーザレーダ２の探査出力（受信反射波）から自車１の前方のレーザパルスを反射する車両や路側物（電柱や看板）や歩行者等の物標を検出する。９はカメラ側物標検出部であり、レーザレーダ２とカメラ３とのセンサフュージョンによりカメラ３の撮影画像に含まれる各物標を検出する。

１０は本発明の認識処理手段を形成する認識処理部であり、カメラ３の撮影画像の設定された歩行者検出可能領域内の認識対象の物標にパターンマッチングの画像認識処理を施して歩行者を認識する。

１１は本発明の移動方向判断手段を形成する移動方向判断部であり、例えば、レーダ２の時々刻々の探査結果に基づいて認識対象の物標の移動方向を判断する。１２は歩行者パターン記憶部であり、歩行者の移動方向別に登録されたいくつかの歩行者パターン（プロトタイプ）を予め記憶している。歩行者パターンは移動方向に進む歩行者の姿を表す画像パターンであり、移動方向によって手の振りや顔の向き等が異なる。１３は本発明の選択手段を形成する歩行者パターン選択部であり、移動方向判断部１１により判断された移動方向の歩行者パターンを歩行者パターン記憶部１２から選択し、選択した歩行者パターンと認識対象の物標の画像パターンとの照合を認識処理部１０に指令して認識対象の物標にパターンマッチングの画像認識処理を施す。

１４は警報制御部であり、認識処理部１０の歩行者の認識結果に基づき、必要に応じて（衝突の可能性に応じて）、警報音、シートやステアリングの振動等による警報出力のタイミングを制御する。

そして、本実施形態が最も特徴とするところは、認識処理部１０のパターンマッチングによる画像認識処理を飛躍的に高速化して認識精度を向上するため、歩行者パターン記憶部１２に移動方向別にいくつかの歩行者バターンを予め登録しておき、移動方向判断部１１の移動方向の判断に基づき、その移動方向の歩行者パターンを歩行者パターン記憶部１２から選択し、選択した移動方向の歩行者パターンのみと認識対象の物標の画像パターンとの照合を認識処理部１０に指令して認識対象の物標にパターンマッチングの画像認識処理を施し、歩行者パターン記憶部１２の全移動方向の歩行者パターンでなく、選択した移動方向の歩行者パターンのみと、カメラ画像中の認識対象の物標の画像パターンとのパターンマッチングの照合により歩行者を認識するようにした点であり、このようにすることにより、認識処理部１０は少ない処理負担で迅速かつ精度よく歩行者を認識することができる。

ところで、歩行者パターン記憶部１２に登録する移動方向は、認識処理部１０の処理能力と認識精度の要求との兼ね合い等によって数が決まり、例えば図２に示すように、前時刻（前回）の撮影画像の歩行者Ｗ１が、現時刻（今回）においては、前後、左右、斜めの８方向のいずれかに進む歩行者Ｗ２１〜Ｗ２８になると考え、その８方向にすることが実用的で好ましい。

また、認識処理部１０は、前記照合の画像認識処理手法として、最も単純な周知の主成分分析による認識手法を採用する。

そこで、画像記憶部１２には、例えば図３に示すように、各移動方向の歩行者Ｗ２１〜Ｗ２８の別に、それぞれに属するいくつかの移動姿勢の歩行者パターンの歩行者パターン（プロトタイプ）ｇｓ（ｗ２１）〜ｇｓ（ｗ２８）を辞書登録しておく。なお、図３の軸ｅ１〜ｅｎは主成分ベクトルの軸である。

そして、認識処理部１０は、カメラ３の時々刻々の撮影画像（カメラ画像）の認識対象の物標に対して歩行者パターン選択部１３により選択された移動方向の姿勢の歩行者パターン（歩行者パターンｇｓ（ｗ２１）〜ｇｓ（ｗ２８）のいずれか）と、認識対象の物標の画像パターンとの異同を、主成分分析に基づくパターンマッチングにより照合して判断し、照合結果に基づいて歩行者を認識する。

この場合、移動方向の判断を行わずに歩行者を認識しようとすると、認識対象の物標の画像パターンと、図３の全ての移動方向の多数の歩行者パターンとの照合が必要となるが、移動方向判断部１１の移動方向の判断に基づき、認識対象の物標の画像パターンと、その移動方向の歩行者パターンとのみ照合して歩行者を認識するため、認識処理部１０の画像処理の演算量を、全姿勢の歩行者画像と照合する場合に比して約１／８に低減することができる。そのため、画像認識処理の処理負担を大幅に軽減して処理時間を大幅に短縮できるとともに、歩行者の認識精度を向上することができる。

なお、図１の各部８〜１４は、実際には、マイクロコンピュータのソフトウエアにより実現されている。

そして、認識処理部１０乃至歩行者パターン選択部１３は、概略、図４に示すように動作する。すなわち、図４のステップＳ１により移動方向判別部１１が物標の移動方向を判断し、ステップＳ８により歩行者パターン選択部１３が移動方向の歩行者主成分ベクトルの選択を行って物標の移動方向の歩行者パターンを歩行者パターン記憶部１２から選択する。さらに、ステップ３により、認識処理部１２は、（１）認識対象の物標の画像パターンの主成分を分析し、（２）認識対象の物標の画像パターンの主成分ベクトルと選択された移動方向の歩行者パターンの主成分ベクトルとを照合し、主成分分析法によって認識対象の物標の画像パターンと選択された移動方向の歩行者パターンとを照合し、その照合結果に基づき、ステップＳ４により歩行者らしさを認識する。

したがって、前記実施形態の場合、移動方向判断部１１による物標の移動方向の判断に基づき、歩行者パターン選択部１３により、カメラ画像中の認識対象の物標について、その移動方向の歩行者パターンを選択し、選択した移動方向の歩行者パターンと認識対象の物標の画像パターンとを認識処理部１０より照合し、そのパターマッチングの結果から歩行者を認識することができ、認識処理部１０の処理負担を大幅に軽減して処理時間を大幅に短縮できるとともに、歩行者の認識精度を向上することができ、カメラ画像中の自車前方の歩行者を精度よく迅速に認識することができる。

なお、レーザレーダを既に搭載している車両１の場合、単眼のカメラ３等を追加するだけで、この画像認識装置を構築できる利点もある。

そして、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行なうことが可能であり、例えば、画像認識処理のテンプレートマッチングの認識処理手法は、前記実施形態と異なる手法であってもよい。

また、歩行者の画像の移動方向の分類数は前記実施形態の８分類に限るものではなく、例えば、４分類、１６分類等であってもよい。

さらに、画像認識処の手順等はのようであってもよく、単眼のカメラ３に代えてステレオカメラ等を使用しても、本発明を同様に実施することができる。

そして、本発明は、種々の車両の歩行者認識に適用できるのは勿論、入退室管理等の種々の用途の歩行者認識に適用することができる。

本発明の一実施形態のブロック図である。図１のカメラ画像中の物標の移動方向の説明図である。図１の移動方向別の歩行者画像の説明図である。図１の一部の動作説明のフローチャートである。

符号の説明

３カメラ
１０認識処理部
１１移動方向判断部
１２歩行者パターン記憶部
１３歩行者パターン選択部

Claims

カメラ画像中の移動する物標の画像認識処理により歩行者を認識する画像認識装置であって、
前記物標の移動方向を判断する移動方向判断手段と、
予め記憶された移動方向別に分類された複数種類の歩行者パターンから、前記移動方向判断手段により判断された移動方向の前記歩行者パターンを選択する選択手段と、
前記選択手段により選択された移動方向の前記歩行者パターンと前記物標の画像パターンとを照合して前記画像認識処理を行う認識処理手段とを備えたことを特徴とする画像認識装置。