JP6364189B2 - 歩行者検出方法 - Google Patents

歩行者検出方法 Download PDF

Info

Publication number
JP6364189B2
JP6364189B2 JP2013263586A JP2013263586A JP6364189B2 JP 6364189 B2 JP6364189 B2 JP 6364189B2 JP 2013263586 A JP2013263586 A JP 2013263586A JP 2013263586 A JP2013263586 A JP 2013263586A JP 6364189 B2 JP6364189 B2 JP 6364189B2
Authority
JP
Japan
Prior art keywords
pedestrian
area
image
data array
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013263586A
Other languages
English (en)
Other versions
JP2015118671A (ja
Inventor
貴成 松本
貴成 松本
武彦 清原
武彦 清原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Imasen Electric Industrial Co Ltd
Original Assignee
Imasen Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Imasen Electric Industrial Co Ltd filed Critical Imasen Electric Industrial Co Ltd
Priority to JP2013263586A priority Critical patent/JP6364189B2/ja
Publication of JP2015118671A publication Critical patent/JP2015118671A/ja
Application granted granted Critical
Publication of JP6364189B2 publication Critical patent/JP6364189B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、処理対象の画像に撮像されている歩行者を検出する検出方法と、検出装置に関する。特に、車両に搭載されているカメラによって得られた画像から、迅速かつ高精度に撮像されている歩行者を識別し、人以外の物体が撮像されたものを人であると誤って検出しない検出方法及び検出装置に関する。
車両の安全性は年々向上しているが、歩行者との接触を回避したり、あるいは接触の程度を極力軽減するといった安全技術の向上は、現在も強く求められている。安全性を向上させる対策の一つとして、車両の回りに存在する歩行者を車両側が認識し、接触に至る可能性がある場合には運転者に注意を促したり車両に自動的にブレーキをかけたりすることで、危険を予め回避する技術が注目されている。
目視以外の方法で歩行者を検出する手段として、従来から、ミリ波レーダー、カメラ、ステレオカメラ等が知られている。従来は、検出精度を高めるために、これらの複数の検出手段を組み合わせて用いていることが多く、装置全体が高価なものとなる傾向があった。特許文献1には、遠赤外線カメラで撮像した画像から、歩行者像を含む可能性がある候補領域を抽出する技術が開示されている。特許文献1には、歩行者の体の部位ごとの遠赤外線強度を記憶した歩行者モデルと、画像から切り出された領域とを比較して歩行者を検出している。また特許文献2には、識別の対象となる画像を複数の領域に分割してHOG特徴量(勾配方向ヒストグラム特徴量:Histogram of Oriented Gradients)を算出し、更に特徴相関ベクトルを算出することで、隣接する領域についての共起性を表した高次の画像特徴を用いて物体形状を表現する技術が開示されている。特許文献3には、対称性を有する物体を画像から識別するための、識別用画像の対称性を算出する対称性フィルタと、選択的に使用される第1の識別器及び第2の識別器とを備えている識別装置が開示されている。
種々の特徴量を用いることで画像から歩行者を認識する精度を向上させることができるが、一方で処理内容が複雑になり、処理するデータ量もまた膨大になる。画像処理の精度を維持しつつ歩行者の迅速な検出を行うためには、高速なデータ処理が可能な撮像手段やコンピュータを用いる必要があり、装置全体が高価となるという問題点があった。
特許第4793638号公報 特開2011−53953号公報 特開2013−235137号公報
本発明は上記問題点を鑑みてなされたものであって、画像から歩行者を検出する高い精度と高速な処理速度を有すると同時に、より安価に装置を構成することが可能な歩行者検出方法および歩行者検出装置を提供することを解決すべき課題としてなされたものである。
請求項1にかかる発明は、取得した画像の中に撮像されている歩行者を検出する歩行者検出方法に関する。本発明の歩行者検出方法は、画像の中に複数の矩形領域を設定し、複数の矩形領域の画素データ配列を抽出する矩形領域抽出工程と、抽出した画素データ配列に基づいて、矩形領域に対応する特徴量のデータ配列を算出する特徴量算出工程と、この特徴量のデータ配列を用いて、識別器により矩形領域が歩行者画像を含む可能性を判定し、歩行者画像を含む可能性が認められた矩形領域を候補領域として選択する候補領域判定工程と、を備えている。さらに本発明の歩行者検出方法は、選択した候補領域を縦中心線によって左側領域と右側領域の二つに分割し、左側領域に対応する特徴量のデータ配列から左側特徴量の補助データを作成し、且つ右側領域に対応する特徴量のデータ配列から右側特徴量の補助データを作成する補助特徴量作成工程と、左側特徴量の補助データと右側特徴量の補助データとを識別器によって識別し、左側特徴量の補助データが歩行者画像を含む可能性があり、且つ右側特徴量の補助データが歩行者画像を含む可能性がある場合に、候補領域に歩行者が撮像されていると判定する歩行者判定工程を備えている。歩行者が撮像されていると判定された候補領域は、歩行者検出領域として出力工程で出力される。
本発明の歩行者検出方法においては、候補領域の左側特徴量の補助データが、左側領域に対応する特徴量のデータ配列を縦中心線に対して線対称となるように複製し、複製前の左側の特徴量のデータ配列に結合することで作成されている。また候補領域の右側特徴量の補助データが、右側領域に対応する特徴量のデータ配列を縦中心線に対して線対称となるように複製し、複製前の右側の特徴量のデータ配列に結合することで作成されている。矩形領域抽出工程では、予め縦と横の大きさを画素数によって定義した矩形領域を設定し、水平方向に一回あたり矩形領域の横の長さよりも短く移動させて、移動毎に矩形領域の画素データ配列を抽出することで、隣り合う矩形領域同士で一部が重複したデータ配列を抽出しており、且つ矩形領域は、垂直方向の隣り合う領域同士で一部が重複したデータ配列を抽出するように垂直方向の移動量が設定されていることを特徴とする。
発明者らは、鋭意検討した結果、正面から見た歩行者の左右対称性(左右独立して歩行者としての特徴を有する特性)を利用することのできる新たな特徴量を創出して本発明をなすに至った。歩行者全体の画像が候補領域に正しく捉えられている場合、左右折り返した特徴量もそれぞれ歩行者の特徴量を強く有する可能性が高い。しかしながら歩行者以外の物体でありながら偶然歩行者の特徴量が識別された背景や、候補領域の中心からずれた歩行者は、領域の右側と左側の両方で歩行者としての特徴を示すことは稀である。この知見に基づいて、画像の右側の特徴量と左側の特徴量とをそれぞれ別個に縦中心線から線対称となるように折り返して複製した補助データを二個作成し、この補助データのそれぞれに識別器を適用して歩行者画像の識別を行い、歩行者が撮像されている可能性を判定する工程を実行することによれば、画像の中から歩行者以外のものを誤検出する可能性を低減することが可能となる。
請求項記載の歩行者検出方法においては、歩行者を検出する画像が、車両に搭載したカメラの画像であり、画像から水平線と路肩の白線を検出して路面の位置を特定し、路面から高さ2.5メートルまでの高さを他の部分よりも細かい間隔でスキャンすることを特徴とする。
請求項記載の歩行者検出方法においては、矩形領域の画素データ配列に基づいて算出される特徴量がHOG特徴量であり、候補領域判定工程で用いられる前記識別器と、歩行者判定工程で用いられる識別器とが、同一の学習データを使用する識別器であることを特徴とする。
(削除)
(削除)
本発明に係る歩行者検出方法及び歩行者検出装置によれば、歩行者像が含まれる可能性のある候補領域について、算出された特徴量のデータ配列を検出に用いることに加えて、この特徴量を画像の左右で分割し、縦中心線から線対称となるように折り返して複製し、複製前のデータ配列と結合することで作成した新たな特徴量のデータ配列を補助データとして用いて識別器による判定を行うことによって、より高精度に歩行者を検出することが可能となる。
本発明に係る歩行者検出方法及び歩行者検出装置において、算出される特徴量は一種類であり、この特徴量を再配列して新たな補助データによる判定を行うことが可能となっている。このため、特徴量の算出処理に要する時間が短縮されており、迅速に歩行者を検出することが可能である。
本発明に係る歩行者検出方法及び歩行者検出装置は、特徴量の算出処理の負荷が従来よりも少ないために高速なコンピュータ資源を必要としない。このため、歩行者検出装置全体を安価に構成することが可能である。
本発明に係る歩行者検出方法および歩行者検出装置は、歩行者以外の物体を画像から誤検出する誤検出率を特に低減することができる。ここで、「歩行者以外の物体を画像から誤検出する誤検出率」と「画像の中の歩行者が検出できない未検出率」とは二律背反性を有しているが、誤検出率を低減することによって、歩行者検出の判定のしきい値を下げることができ、歩行者検出の検出率を向上させることが可能となる。
特徴量としてHOG特徴量を用いる場合、画像を撮像するカメラとして通常の単眼の可視光カメラを用いることが可能である。これにより、小型であり、安価であり、しかも耐久性に優れた歩行者検出装置を提供することが可能となる。
本発明の実施形態に従った歩行者検出装置の構成を模式的に示すブロック図である。 本発明の実施形態に従った歩行者検出装置で実行される歩行者検出処理の一例を示すフローチャートである。 本発明の実施形態に従った、識別器を用いる矩形領域の画像の判定方法の手順を模式的に示す図である。 本発明の歩行者検出装置の矩形領域抽出部が可視光画像に設定する矩形領域の一例を示す図である。 図5(a)は、画像から抽出された矩形領域の一例を示す図面代用写真であり、図5(b)は、図5(a)の候補領域に対応するHOG特徴量のデータ配列を二次元データとして可視化して模式的に示した図であり、図5(c)は、図5(a)の左側特徴量の補助データを模式的に示した図であり、図5(d)は、図5(a)の右側特徴量の補助データを模式的に示した図である。 図6(a)は、実施例において歩行者検出領域として出力された矩形領域を示す画像であり、図6(b)は、歩行者検出領域に対応するHOG特徴量のデータ配列を二次元データとして可視化して模式的に示した図であり、図6(c)は、歩行者検出領域の左側特徴量の補助データを模式的に示した図であり、図6(d)は、歩行者検出領域の右側特徴量の補助データを模式的に示した図である。 図7(a)は、実施例において候補領域となったが歩行者が撮像されていないと判定された矩形領域を示す画像であり、図7(b)は、候補領域に対応するHOG特徴量のデータ配列を二次元データとして可視化して模式的に示した図であり、図7(c)は、候補領域の左側特徴量の補助データを模式的に示した図であり、図7(d)は、候補領域の右側特徴量の補助データを模式的に示した図である。 図8(a)は、実施例において歩行者検出領域として出力された矩形領域を示す画像であり、図8(b)は、歩行者検出領域に対応するHOG特徴量のデータ配列を二次元データとして可視化して模式的に示した図であり、図8(c)は、歩行者検出領域の左側特徴量の補助データを模式的に示した図であり、図8(d)は、歩行者検出領域の右側特徴量の補助データを模式的に示した図である。 図9(a)は、実施例において候補領域となったが歩行者が撮像されていないと判定された矩形領域を示す画像であり、図9(b)は、歩行者検出領域に対応するHOG特徴量のデータ配列を二次元データとして可視化して模式的に示した図であり、図9(c)は、歩行者検出領域の左側特徴量の補助データを模式的に示した図であり、図9(d)は、歩行者検出領域の右側特徴量の補助データを模式的に示した図である。
以下、図面を参照しつつ、本発明に係る歩行者検出装置と歩行者検出方法を車両に搭載した車両用歩行者検出装置に適用した場合の実施形態について説明する。
(歩行者検出装置の構成)
図1は、本発明の実施形態である歩行者検出装置10の構成を模式的に示すブロック図である。本実施形態の歩行者検出装置10は、カメラ11及びコンピュータ12を備えている。本実施形態で使用されるカメラ11は、車両に搭載可能な単眼の小型可視光カメラであり、一定の時間間隔で画像を撮像してその画像データをコンピュータ12に送信する。
コンピュータ12は、演算処理部21、記憶部22、及び入出力部23を備えている。このうち入出力部23は、カメラ11の他、使用者に歩行者の存在を音、画像、音声等で報知する報知手段14あるいは車両制御手段13といった外部機器との間で通信可能な入出力インターフェース機能を備えている。入出力部23は、カメラ11から受信した画像データを演算処理部21に送信する。
コンピュータ12の演算処理部21は、CPUとメモリとを備えている。また演算処理部21は、前処理部31、矩形領域抽出部32、特徴量算出部33、候補領域判定部34、補助特徴量作成部35、及び歩行者判定部36を、演算処理部21内のメモリに実行可能に記憶されているプログラムの形態で含むか、もしくはモジュール化されてハードウェアと一体化された形態で含んでいる。演算処理部21のそれぞれの構成要素は、CPUでデータを演算処理することで、画像から歩行者を検出する。
コンピュータ12の記憶部22は、カメラ11から送信された画像データの他、加工された画像データや演算処理部21で歩行者画像の判定に用いられる識別器のデータを記憶することができる。
(歩行者検出方法)
図2に、歩行者検出装置10を用いた歩行者検出処理の一例を示すフローチャートを示す。以下、このフローチャートを参照しつつ、カメラ11で撮像された画像データから歩行者を検出する方法を説明する。
工程S1で、歩行者検出装置10のコンピュータ12は、カメラ11が撮像した可視光画像を取り込む。画像のデータは、画素ごとの輝度、色度を表すデータ配列としてコンピュータ12に送信され、入出力部23を経由して演算処理部21の前処理部31に入力される。前処理部31は、入力された画像のトリミング、平滑化、ノイズ除去等の処理を行って、歩行者の検出に適した画像を出力するが、これらの前処理は入力された画像の内容により省略が可能であり、必須ではない。カメラから入力された画像が処理に適したデータ品質を既に備えている場合、画像のデータを矩形領域抽出部32に直接入力することも可能である。
工程S2で、矩形領域抽出部32は、画像の中に複数の矩形領域を設定し、この複数の矩形領域から画素データ配列を抽出する。図4に、矩形領域抽出部32が画像に設定した矩形領域Rによるデータ抽出の一例を示す。図4に示した矩形領域の設定例では、予め縦と横の大きさを画素数によって定義した矩形領域Rを画像の左下隅に設定し、右方向に等間隔で移動させてスキャンし、画素データを切り出す。水平方向(右方向)への一回あたりの移動量は矩形領域Rの横の長さよりも短く設定されており、移動毎に矩形領域Rの画素データ配列を抽出することで、隣り合う矩形領域同士で一部が重複したデータ配列が抽出されることとなる。矩形領域Rが画像の右下隅に到達した時点で、矩形領域を予め規定された画素数で上方向に移動させて、再び左側端部から右方向に等間隔でスキャンを行う。垂直方向(上方向)への一回当たりの移動量は、矩形領域Rの縦方向の長さよりも短く設定されており、垂直方向の隣り合う領域同士で一部が重複したデータ配列が抽出されることとなる。スキャンによって抽出された領域画像のデータは、画素データの配列として一時保存することができる。また領域のインテグラルイメージを一時保存して、以下の特徴量の算出に使用することができる。
車両に搭載したカメラから撮像した画像の場合、歩行者が撮像される領域は、路面からの高さと高い相関を有する。そこで、画像から水平線と路肩の白線を検出して路面の位置を特定し、路面から一定の高さ(例えば高さ約2.5mまで)を特に細かい間隔でスキャンすることで、より歩行者の検出される可能性を高めることができる。また、歩行者が撮像されない可能性が高い領域(例えば空中など)のスキャンの間隔を粗くすることで、より高速な処理を可能とすることができる。
工程S3で、特徴量算出部33は、抽出した画素データ配列から特徴量を算出する。本実施形態では、特徴量としてHOG特徴量を用いている。HOG特徴量は、抽出された矩形領域の画像をより小さな単位領域に分割して単位領域内の輝度の勾配強度と勾配方向を計算し、さらに勾配強度を勾配方向ごとのヒストグラム化することで得られる特徴ベクトルである。HOG特徴量は、近傍セル内の情報から正規化を行うため、照明の明暗の変化に対して頑健な特徴量であることが知られている。図5(a)に、画像から抽出された矩形領域の一例を示す図面代用写真を示し、図5(b)に、図5(a)の矩形領域から算出したHOG特徴量のベクトルデータを二次元の線図として模式的に示した図を示す。図5(b)のなかで輝度の勾配強度が大きい場合、領域内の線分は太く表示されている。
工程S4で、候補領域判定部34は、算出された特徴量のデータ配列を第一の識別器に入力して識別処理を行う。そして矩形領域が歩行者画像を含む可能性を判定し、歩行者画像を含む可能性が認められた矩形領域を候補領域として選択し、出力する。本実施形態では、工程S3で算出された矩形領域のHOG特徴量を用いて識別処理を行い、得られた判別値の値を判定することで、矩形領域が歩行者画像を含むかどうかの可能性を判定する。ここで使用される第一の識別器は、予め歩行者が撮像されている複数のサンプル画像と、歩行者以外の事象が撮像されている複数のサンプル画像と、これらのサンプル画像がそれぞれ歩行者画像であるか否かを示す教師信号からなる学習データを用い、Adaboostによって学習を行った識別器である。ここで、Adaboostとは弱識別器を結合する事によってより高い識別率をもつ強識別器を構成する統計的手法であり、本実施形態の識別器は、多数(一例として、5000サンプル以上)の画像による学習によって歩行者画像についての高い識別率を有するに至った識別器である。
図3を参照して、本実施形態の識別器の構成と、第一の識別器による処理の内容を説明する。矩形領域の中の単位領域ごとのHOG特徴量は、識別器の複数の弱識別器で識別され、それぞれの学習データに基づいて重み付け演算されることにより、判定値H(x)が算出される。本実施形態の識別器では、個々の弱識別器h(x)(ここでT=20〜300)によって識別を行っており、識別結果を線形結合して算出される判定値H(x)の精度を高めている。出力される判定値は、歩行者画像が含まれている可能性と正の相関を有している。
工程S5において、候補領域判定部34は、算出された判定値H(x)と予め規定したしきい値である閾値λとを比較する。判定値H(x)が閾値λよりも大きい場合、候補領域判定部34は、矩形領域が歩行者画像を含む可能性のある候補領域であると判定し、この候補領域のデータを補助特徴量作成部35に入力する。判定値H(x)が閾値λ以下である場合、候補領域判定部34は、矩形領域が歩行者画像を含まない領域であると判定する。その後、歩行者検出方法の処理は、工程S10でスキャンの必要性を確認した後、新たな矩形領域からデータを切り出すための、指定処理工程S11に移る。
工程S6において、補助特徴量作成部35は、候補領域判定部34から入力された候補領域のデータから、補助データの作成を行う。補助特徴量作成部35は、入力された候補領域を縦中心線によって左側領域と右側領域の二つに分割し、左側領域に対応する特徴量のデータ配列から左側特徴量の補助データを作成し、右側領域に対応する特徴量のデータ配列から右側特徴量の補助データを作成する。ここで、左側特徴量の補助データは、左側領域に対応する特徴量のデータ配列を、画像の縦中心線に対して線対称となるように複製して複製前の特徴量のデータ配列と結合することで作成される。また右側特徴量の補助データは、右側領域に対応する特徴量のデータ配列を画像の縦中心線に対して線対称となるように複製して複製前の特徴量のデータ配列に結合することで作成される。
作成された左側特徴量の補助データは、候補領域の左半分のHOG特徴量を縦中心線で折り返して左右対称に配置したデータ配列となる。同様に、右側特徴量の補助データは、候補領域の右半分のHOG特徴量を縦中心線で折り返して左右対称に配置したデータ配列となる。図5(c)に、図5(a)の矩形領域の左側から作成した左側特徴量の補助データを模式的に示し、図5(d)に、図5(a)の矩形領域の右側から作成した右側特徴量の補助データを模式的に示す。
工程S7において、歩行者判定部36は、工程S6で作成された左側特徴量の補助データと右側特徴量の補助データのそれぞれについて、第二の識別器を用いた識別処理を行い、その処理結果に基づいて歩行者画像が含まれているか否かを判定する。本実施形態において、歩行者判定部36は、第一の識別器と同じ学習データを用いて学習を行った第二の識別器を用いて、左側特徴量の補助データと右側特徴量の補助データについて識別処理を行い、それぞれの判定値H(x)を出力する。
工程S8において、歩行者判定部36が、左側特徴量の補助データと右側特徴量の補助データの判定値H(x)を用いて、候補領域に歩行者画像が含まれているか否かを判定する条件の一例を以下に説明する。本実施形態では、判定用のしきい値として、「閾値2」と「閾値3」の二段階の値を設定する。ここで、(閾値3)>(閾値2)とする。歩行者判定部36は、左側特徴量の補助データの判定値H(x)もしくは右側特徴量の補助データの判定値H(x)のいずれか一方でも閾値2以下である場合には、候補領域に歩行者画像が含まれていないと判定する。さらに、歩行者判定部36は、左側特徴量の補助データの判定値H(x)が閾値3以下であり、且つ右側特徴量の補助データの判定値H(x)が閾値3以下であった場合には、歩行者画像が含まれていないと判定する。このような判定により、歩行者判定部36は、候補領域に歩行者が撮像されているか否かを高精度に判定することができる。言い換えれば、歩行者判定部36は、左側特徴量の補助データと右側特徴量の補助データの判定値H(x)の両方が閾値2より大であり、これに加えていずれか一方の判定値H(x)が閾値3より大である場合に、候補領域に歩行者が撮像されていると判定する。
歩行者判定部36は、歩行者が撮像されていると判定した候補領域を、歩行者検出領域として入出力部23に出力する。候補領域に歩行者画像が含まれておらず、歩行者が撮像されていないと判定された場合、処理は工程S10に進み、スキャンを終了するか否かを判定する。そしてスキャンが継続される場合には処理は工程S11に進み、他の矩形領域のスキャンが開始される。
工程S9において、入出力部は車両制御手段13と歩行者情報を報知手段14に出力する。車両制御部13は、歩行者検出領域の情報に加えて、車両の走行速度、方向指示器の状態、さらにはレーダーの情報等を一元管理して、車両が歩行者との接触する可能性があるか否かを判定し、必要に応じて車両の走行状態を変更することができる。また報知手段14は、表示装置への歩行者位置の表示、ブザーによる警告、音声案内等によって運転者への注意喚起を行うことができる。
同一の学習データを学習した第一の識別器と第二の識別器を用いる歩行者検出処理について説明したが、本実施形態においては、第一の学習器と第二の学習器が同一の学習器であり、候補領域判定部と歩行者判定部とがこの同一の識別器を用いて歩行者検出処理を行うことが可能である。
本実施形態の歩行者検出装置10及び歩行者検出方法は、特徴量を算出して識別器により歩行者が撮像されている可能性があると認められた候補画像について、更に左側特徴量の補助データと右側特徴量の補助データという新たな指標を定めて歩行者の検出を行うことにより、歩行者ではない像を歩行者の撮像であると識別する誤検出を低減することができる。
以下、本発明の実施形態に係ると歩行者検出装置10及び歩行者検出方法を用いた具体的な画像処理の実施例について、図面を参照しつつ説明する。本実施例では、候補領域判定部34が候補領域のHOG特徴量の識別結果を判定するためのしきい値である閾値λを300とし、歩行者領域判定部36が補助データの識別結果を判定する閾値2を100とし、閾値3を200とした場合の歩行者検出結果を示す。
図6(a)は、撮像された画像から抽出された矩形領域の一例を示す図面代用写真である。図6(a)には歩行者画像が含まれることが目視により容易に確認できる。図6(b)は、図6(a)の矩形領域に対応するHOG特徴量のデータ配列を二次元データとして可視化して模式的に示した図である。候補領域判定部34の識別器によって算出されたデータ配列の判定値H(x)は、図6(a)の下部に「スコア」と表示したように360である。このスコア(判定値H(x))が閾値λの値を超えているために、候補領域判定部34によってこの矩形領域は候補領域であると判定されている。図6(c)は、図6(a)の左側特徴量の補助データを模式的に示した図であり、歩行者判定部36の識別器によって算出されたこのデータ配列の判定値H(x)は321である。図6(d)は、図6(a)の右側特徴量の補助データを模式的に示した図であり、歩行者判定部36の識別器によって算出されたこのデータ配列の判定値H(x)は285である。左側特徴量の補助データと右側特徴量の補助データの判定値の両方が閾値2と閾値3の二つのしきい値を超えていることから、歩行者判定部36はこの候補領域に歩行者が撮像されていると正しく判定し、歩行者検出領域であると認定して歩行者情報を出力している。
図7(a)は、撮像された画像から抽出された他の矩形領域の他の例を示す図面代用写真である。図7(a)には歩行者が撮影されておらず、他の車両の画像が含まれることが目視により容易に確認できる。図7(b)は、図7(a)の矩形領域に対応するHOG特徴量を模式的に示した図であるが、この時算出されたデータ配列の判定値H(x)は304であり、閾値λの値を超えているために、候補領域判定部34によってこの矩形領域は候補領域であると判定されている。図7(c)は、図7(a)の左側特徴量の補助データを模式的に示した図であり、このデータ配列の判定値H(x)は213である。図7(d)は、図7(a)の右側特徴量の補助データを模式的に示した図であり、このデータ配列の判定値H(x)は−20である。右側特徴量の補助データの判定値が閾値2を下回ったことから、歩行者判定部36はこの候補領域には歩行者画像が含まれないと判定して、この領域に対する歩行者の検出処理を中止している。
図8(a)は、撮像された画像から抽出された矩形領域の他の例を示す図面代用写真である。図8(a)には歩行者画像が含まれることが目視により容易に確認できる。図6(b)は、図8(a)の矩形領域に対応するHOG特徴量を模式的に示した図であるが、この時算出されたデータ配列の判定値H(x)は419であり、閾値λの値を超えているために、候補領域判定部34によってこの矩形領域は候補領域であると判定されている。図8(c)は、図8(a)の左側特徴量の補助データを模式的に示した図であり、このデータ配列の判定値H(x)は345である。図8(d)は、図8(a)の右側特徴量の補助データを模式的に示した図であり、このデータ配列の判定値H(x)は276である。左側特徴量の補助データと右側特徴量の補助データの判定値の両方が閾値2と閾値3の二つのしきい値を超えていることから、歩行者判定部36はこの候補領域に歩行者が撮像されていると正しく判定し、歩行者検出領域であると認定して歩行者情報を出力している。
図9(a)は、図8(a)と同一の画像の隣り合う矩形領域で抽出された画像を示す図面代用写真である。図9(a)には歩行者画像が含まれるが、左下の歩行者画像が一部途切れていることが目視により確認できる。図9(b)は、図9(a)の矩形領域に対応するHOG特徴量を模式的に示した図であるが、この時算出されたデータ配列の判定値H(x)は311であり、閾値λの値を超えているために、候補領域判定部34によってこの矩形領域は候補領域であると判定されている。図9(c)は、図9(a)の左側特徴量の補助データを模式的に示した図であり、このデータ配列の判定値H(x)は187であり、閾値2は上回っているが閾値3を下回っている。歩行者判定部36は、図9(d)に示す右側特徴量の補助データを使用してさらなる判定を行っているが、右側特徴量の補助データの判定値H(x)は151であって、左側特徴量の補助データと同様に閾値2は上回っているが閾値3を下回っているため、歩行者判定部36はこの候補領域に歩行者画像が含まれないと判定して、この領域に対する歩行者の検出処理を中止している。
以上述べてきたとおり、本発明の歩行者検出装置10と歩行者検出方法では、歩行者全体が画像の候補領域の中に正しく捉えられている場合、非常に精度高く検出することが可能である。図9(a)に示した画像のように歩行者の全身が撮像されなかった場合に識別が困難となる可能性は、矩形領域で抽出する間隔を細かくすることにより容易に解決される。一つの特徴量から補助データを作成し、この補助データに対して識別を行うことで歩行者以外のものを誤検出する可能性を排除するという本発明の独自の構成によって、従来知られている他の技術を用いて誤検出を排除するよりも演算処理の負荷は低減されており、矩形領域で抽出する間隔を細かくしても全体として検出に係る処理時間は短縮される。
本実施例で説明した歩行者検出装置と歩行者検出方法の構成は、適宜変更が可能である。例えば、検出のための画像の特徴量としては、HOG特徴量のほかJoint HOG特徴量その他の特徴量を用いることが可能である。識別器の学習データの蓄積方法としてはReal−Adaboost等の代替的な手法によって精度を高めることができる。また識別器の種類や判定方法についても、他の代替手段、代替方法を利用することが可能である。コンピュータ12のハードウェア、ソフトウェアの構成についても、歩行者検出装置が搭載されるプラットフォームの仕様に合わせて、適宜変更が可能である。
本発明に係る歩行者検出装置と歩行者検出方法は、車両用カメラに好適に搭載されるほか、防犯カメラ等にも適用可能である。
10 歩行者検出装置
11 カメラ
12 コンピュータ
13 車両制御手段
14 報知手段
21 演算処理部
22 記憶部
23 入出力部
31 前処理部
32 矩形領域抽出部
33 特徴量算出部
34 候補領域判定部
35 補助特徴量作成部
36 歩行者判定部
R 矩形領域

Claims (2)

  1. 画像の中に撮像されている歩行者を検出する歩行者検出方法であって、
    前記画像の中に複数の矩形領域を設定して、当該複数の矩形領域の画素データ配列を抽出する矩形領域抽出工程と、
    抽出した前記画素データ配列に基づいて、前記矩形領域に対応する特徴量のデータ配列を算出する特徴量算出工程と、
    前記特徴量のデータ配列を用いて、識別器により前記矩形領域が歩行者画像を含む可能性を判定し、歩行者画像を含む可能性が認められた前記矩形領域を候補領域として選択する候補領域判定工程と、
    選択した前記候補領域を縦中心線によって左側領域と右側領域の二つに分割し、前記左側領域に対応する特徴量のデータ配列から左側特徴量の補助データを作成し、且つ前記右側領域に対応する特徴量のデータ配列から右側特徴量の補助データを作成する特徴量補助データ作成工程と、
    前記左側特徴量の補助データと前記右側特徴量の補助データとを識別器により識別し、前記左側特徴量の補助データが歩行者画像を含む可能性があり且つ前記右側特徴量の補助データが歩行者画像を含む可能性がある場合に、前記候補領域に歩行者が撮像されていると判定する歩行者判定工程と、
    歩行者が撮像されていると判定された前記候補領域を、歩行者検出領域として出力する出力工程と、
    を備えており、
    前記候補領域の前記左側特徴量の補助データは、前記左側領域に対応する特徴量のデータ配列を前記縦中心線に対して線対称となるように複製して複製前の特徴量のデータ配列と結合することで作成されており、且つ前記右側特徴量の補助データは、前記右側領域に対応する特徴量のデータ配列を前記縦中心線に対して線対称となるように複製して複製前の特徴量のデータ配列に結合することで作成されており、
    前記矩形領域抽出工程では、予め縦と横の大きさを画素数によって定義した矩形領域を設定し、水平方向に一回あたり前記矩形領域の横の長さよりも短く移動させて、移動毎に矩形領域の画素データ配列を抽出することで、隣り合う前記矩形領域同士で一部が重複したデータ配列を抽出しており、且つ前記矩形領域は、垂直方向の隣り合う領域同士で一部が重複したデータ配列を抽出するように垂直方向の移動量が設定されており、
    歩行者を検出する前記画像が、車両に搭載したカメラの画像であり、
    前記画像から水平線と路肩の白線を検出して路面の位置を特定し、路面から高さ2.5メートルまでの高さを他の部分よりも細かい間隔でスキャンすることを特徴とする歩行者検出方法。
  2. 前記矩形領域の前記画素データ配列に基づいて算出される特徴量がHOG特徴量であり、
    前記候補領域判定工程で用いられる前記識別器と、前記歩行者判定工程で用いられる前記識別器とが、同一の学習データを使用する識別器であることを特徴とする請求項記載の歩行者検出方法。
JP2013263586A 2013-12-20 2013-12-20 歩行者検出方法 Active JP6364189B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013263586A JP6364189B2 (ja) 2013-12-20 2013-12-20 歩行者検出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013263586A JP6364189B2 (ja) 2013-12-20 2013-12-20 歩行者検出方法

Publications (2)

Publication Number Publication Date
JP2015118671A JP2015118671A (ja) 2015-06-25
JP6364189B2 true JP6364189B2 (ja) 2018-07-25

Family

ID=53531297

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013263586A Active JP6364189B2 (ja) 2013-12-20 2013-12-20 歩行者検出方法

Country Status (1)

Country Link
JP (1) JP6364189B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6764378B2 (ja) 2017-07-26 2020-09-30 株式会社Subaru 車外環境認識装置
JP7322418B2 (ja) * 2018-06-04 2023-08-08 株式会社デンソー 特徴量抽出装置、特徴量抽出方法、および物体認識装置
WO2024157413A1 (ja) * 2023-01-26 2024-08-02 日立Astemo株式会社 環境認識装置及び環境認識方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4482796B2 (ja) * 2004-03-26 2010-06-16 ソニー株式会社 情報処理装置および方法、記録媒体、並びにプログラム
JP2008181423A (ja) * 2007-01-25 2008-08-07 Fujitsu Ten Ltd 歩行者認識装置および歩行者認識方法
JP5020920B2 (ja) * 2008-10-29 2012-09-05 株式会社豊田中央研究所 歩行者検出装置及びプログラム
JP5760696B2 (ja) * 2011-05-27 2015-08-12 株式会社デンソー 画像認識装置

Also Published As

Publication number Publication date
JP2015118671A (ja) 2015-06-25

Similar Documents

Publication Publication Date Title
US10025998B1 (en) Object detection using candidate object alignment
KR101498114B1 (ko) 보행자를 검출하는 영상 처리 장치 및 그 방법
Xu et al. Detection of sudden pedestrian crossings for driving assistance systems
KR101517181B1 (ko) 차선 이탈 경보 시스템 및 방법
JP5376906B2 (ja) 特徴量抽出装置、物体識別装置及び特徴量抽出方法
JP5907593B2 (ja) 画像認識装置、画像認識方法及びプログラム
EP1675066A1 (en) Face image candidate area search method, face image candidate area search system, and face image candidate area search program
EP1553516A2 (en) Pedestrian extracting apparatus
WO2012066785A1 (ja) 人数カウント装置、人数カウント方法及び人数カウントプログラム
JP5916134B2 (ja) 物体の検出方法及びその方法を用いた物体の検出装置
JP2008286725A (ja) 人物検出装置および方法
JP6095817B1 (ja) 物体検出装置
US9197860B2 (en) Color detector for vehicle
JP2005316607A (ja) 画像処理装置及び画像処理方法
JP2007310805A (ja) 物体認識装置
JP5691834B2 (ja) 画像識別装置及びプログラム
CN105893963A (zh) 一种筛选视频中单个行人目标的最佳易识别帧的方法
JP6364189B2 (ja) 歩行者検出方法
CN103530646B (zh) 使用分类器级联的复杂对象检测
JP6255296B2 (ja) 対象識別装置
JP2017224110A (ja) 物体判別装置
TW201520907A (zh) 影像式機踏車與行人偵測系統及其方法
JP6077785B2 (ja) 対象物検出装置及びプログラム
KR101205565B1 (ko) 영상을 이용한 전후방 차량 검출 방법
JP2012048326A (ja) 画像処理装置及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161101

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170831

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170912

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171106

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180320

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180417

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180619

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180702

R150 Certificate of patent or registration of utility model

Ref document number: 6364189

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150