JP5790487B2 - DETECTING DEVICE, DETECTING METHOD, AND VEHICLE - Google Patents
DETECTING DEVICE, DETECTING METHOD, AND VEHICLE Download PDFInfo
- Publication number
- JP5790487B2 JP5790487B2 JP2011286266A JP2011286266A JP5790487B2 JP 5790487 B2 JP5790487 B2 JP 5790487B2 JP 2011286266 A JP2011286266 A JP 2011286266A JP 2011286266 A JP2011286266 A JP 2011286266A JP 5790487 B2 JP5790487 B2 JP 5790487B2
- Authority
- JP
- Japan
- Prior art keywords
- detection target
- image
- target image
- detection
- pedestrian
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title description 61
- 238000001514 detection method Methods 0.000 claims description 246
- 238000010586 diagram Methods 0.000 description 24
- 230000006870 function Effects 0.000 description 21
- 238000003384 imaging method Methods 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 7
- 238000000605 extraction Methods 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 6
- 230000036544 posture Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000036760 body temperature Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
本発明は、検出装置及び検出方法に関する。 The present invention relates to a detection apparatus and a detection method.
夜間における車両の運転において、車両のフロントライトでは歩行者に光源が届かない場合や、闇に紛れる歩行者を見落としてしまったりすることがある。そのため、運転手は夜間走行時には多くの注意を払わなければならない。この問題を解決するために、以下のような手法が考えられている。 When driving a vehicle at night, a light source may not reach the pedestrian with the front light of the vehicle or the pedestrian may be overlooked. Therefore, the driver must pay much attention when driving at night. In order to solve this problem, the following methods are considered.
特許文献１には、可視カメラを左右に設置して撮像したステレオ画像に基づいた視差情報を利用して歩行者（障害物）を検知することが示されている。 Patent Document 1 discloses that a pedestrian (obstacle) is detected using parallax information based on a stereo image captured by installing a visible camera on the left and right.
特許文献２には、予め歩行者の像を模した歩行者テンプレート画像を用意しておき、画像内におけるテンプレートとの類似性が高い部分について、歩行者が存在する可能性が高いとして歩行者の存在を検知している。 In Patent Document 2, a pedestrian template image imitating a pedestrian image is prepared in advance, and it is assumed that a pedestrian is likely to exist in a portion having high similarity to the template in the image. The presence is detected.
しかしながら、特許文献１の手法であると、可視カメラを用いて車両前方を撮像するため、夜間等では街頭などの照明に頼らざるを得ない。また、可視カメラで歩行者を撮影しても、十分な画質を得ることが困難であるため、検知精度は著しく低下してしまうという問題があった。 However, according to the method of Patent Document 1, since the front of the vehicle is imaged using a visible camera, it is necessary to rely on street lighting or the like at night. In addition, even if a pedestrian is photographed with a visible camera, it is difficult to obtain sufficient image quality, so that there is a problem that detection accuracy is significantly lowered.
また、特許文献２の手法であると次のような問題がある。すなわち、実環境下では、歩行者パターンは大きさ、姿勢及び表面温度等の変動が同時に発生する。それに伴いテンプレートの数を増やすと、歩行者以外の建物や信号、街路灯などの構造物の画像が、歩行者の像として検知され、誤検出を招く可能性があるという問題があった。 Further, the method of Patent Document 2 has the following problems. In other words, in a real environment, the pedestrian pattern changes in size, posture, surface temperature and the like simultaneously. Accordingly, when the number of templates is increased, there is a problem that an image of a structure other than a pedestrian, a signal, a structure such as a street light is detected as an image of a pedestrian and may cause a false detection.
したがって、より適切に歩行者等の検出対象物を検出することが望まれる。 Therefore, it is desired to detect a detection target such as a pedestrian more appropriately.
本発明は、このような事情に鑑みてなされたものであり、より適切に検出対象物を検出することを目的とする。 This invention is made | formed in view of such a situation, and it aims at detecting a detection target more appropriately.
上記目的を達成するための主たる発明は、
センサーの出力に対応する検出対象画像を生成する画像生成部と、
前記検出対象画像から検出対象物を検出することに用いる学習済みの検出器であって、前記検出対象画像の特定領域毎に用意されたサブ識別器を有する検出器と、を備え、
前記サブ識別器は、パラメーターと前記特定領域における特徴量とに基づいて前記検出対象画像が前記検出対象物を含むことの度合いを出力し、
前記検出器は、前記検出対象画像のうち前記検出対象物が検出された第１検出対象画像と、該第１検出対象画像の後に生成され前記検出対象物が検出された第２検出対象画像と、の間に生ずる特徴量の変化量を前記特定領域毎に求め、前記特徴量の変化量に応じて前記サブ識別器のパラメーターを変更し、前記パラメーターが変更されたサブ識別器の出力に基づいて、前記第２検出対象画像よりも後に生成された第３検出対象画像における検出対象物の検出を行う、検出装置である。
The main invention for achieving the above object is:
An image generation unit for generating a detection target image corresponding to the output of the sensor;
A learned detector used for detecting a detection target from the detection target image, comprising a sub-classifier prepared for each specific region of the detection target image, and
The sub classifier outputs a degree of the detection target image including the detection target object based on a parameter and a feature amount in the specific region,
The detector includes a first detection target image in which the detection target is detected in the detection target image, and a second detection target image that is generated after the first detection target image and in which the detection target is detected. , A change amount of the feature amount generated between and is determined for each of the specific regions, a parameter of the sub discriminator is changed according to the change amount of the feature amount, and based on an output of the sub discriminator in which the parameter is changed The detection device detects a detection target in a third detection target image generated after the second detection target image.
本発明の他の特徴については、本明細書及び添付図面の記載により明らかにする。 Other features of the present invention will become apparent from the description of the present specification and the accompanying drawings.
本明細書及び添付図面の記載により、少なくとも、以下の事項が明らかとなる。すなわち、
センサーの出力に対応する検出対象画像を生成する画像生成部と、
前記検出対象画像から検出対象物を検出することに用いる学習済みの検出器であって、前記検出対象画像の特定領域毎に用意されたサブ識別器を有する検出器と、を備え、
前記サブ識別器は、パラメーターと前記特定領域における特徴量とに基づいて前記検出対象画像が前記検出対象物を含むことの度合いを出力し、
前記検出器は、前記検出対象画像のうち前記検出対象物が検出された第１検出対象画像と、該第１検出対象画像の後に生成され前記検出対象物が検出された第２検出対象画像と、の間に生ずる特徴量の変化量を前記特定領域毎に求め、前記特徴量の変化量に応じて前記サブ識別器のパラメーターを変更し、前記パラメーターが変更されたサブ識別器の出力に基づいて、前記第２検出対象画像よりも後に生成された第３検出対象画像における検出対象物の検出を行う、検出装置である。
このように、検出対象物の検出を行おうとしている検出対象画像よりも前に生成された検出対象画像の特徴量の変化量に基づいてパラメーターの値を更新する。そして、更新されたパラメーターの値を含むサブ識別器を用いて検出対象画像における検出対象物の検出を行うので、過去の検出対象物の変化に応じて適切に更新されたサブ識別器を用いて検出を行うことができる。そして、より適切に検出対象物を検出することができる。
At least the following matters will become clear from the description of the present specification and the accompanying drawings. That is,
An image generation unit for generating a detection target image corresponding to the output of the sensor;
A learned detector used for detecting a detection target from the detection target image, comprising a sub-classifier prepared for each specific region of the detection target image, and
The sub classifier outputs a degree of the detection target image including the detection target object based on a parameter and a feature amount in the specific region,
The detector includes a first detection target image in which the detection target is detected in the detection target image, and a second detection target image that is generated after the first detection target image and in which the detection target is detected. , A change amount of the feature amount generated between and is determined for each of the specific regions, a parameter of the sub discriminator is changed according to the change amount of the feature amount, and based on an output of the sub discriminator in which the parameter is changed The detection device detects a detection target in a third detection target image generated after the second detection target image.
In this manner, the parameter value is updated based on the amount of change in the feature amount of the detection target image generated before the detection target image for which the detection target is to be detected. And since the detection target in the detection target image is detected using the sub classifier including the updated parameter value, the sub classifier appropriately updated according to the change in the past detection target is used. Detection can be performed. And a detection target object can be detected more appropriately.
かかる検出装置であって、前記検出対象画像は、前記センサーが出力する全体領域の画像から一部がクロッピングされた画像であり、
前記第３検出対象画像は、前記全体領域において前記第２検出対象画像がクロッピングされた位置から所定範囲内の位置においてクロッピングされた画像であることが望ましい。
このようにすることで、全体領域を検出対象物が移動している場合であっても、検出対象物を適切に検出することができる。
In such a detection apparatus, the detection target image is an image obtained by partially cropping an image of the entire region output by the sensor,
The third detection target image may be an image cropped at a position within a predetermined range from a position where the second detection target image is cropped in the entire region.
By doing in this way, even if it is a case where the detection target object is moving the whole area | region, a detection target object can be detected appropriately.
また、前記パラメーターには、前記検出対象物を含むことの度合いに乗じられる係数が含まれることが望ましい。
このようにすることで、検出対象物を含むことの度合いに適切に重み付けをすることができる。
Moreover, it is preferable that the parameter includes a coefficient that is multiplied by the degree of inclusion of the detection object.
In this way, it is possible to appropriately weight the degree of including the detection target.
また、前記特徴量は、前記検出対象画像における特定領域のエッジ強度加算値を含むことが望ましい。
エッジ強度は、環境変動の影響を受けにくい。よって、これらの加算値であるエッジ強度加算値を用いて、環境変動を受けにくくして適切に検出対象物を検出することができる。
The feature amount preferably includes an edge strength addition value of a specific region in the detection target image.
Edge strength is less susceptible to environmental fluctuations. Therefore, it is possible to appropriately detect the detection target by using the edge strength addition value which is the addition value, and making it difficult to receive environmental fluctuations.
また、前記エッジ強度加算値は、複数のセルに分割された前記特定領域のセル毎のエッジ強度の合算値であることが望ましい。
このようにすることで、各セルのエッジ強度の合算値であるエッジ強度加算値を用いて、検出対象画像に検出対象物が含まれるか否かを判定することができる。
The edge strength addition value is preferably a sum of edge strengths for each cell in the specific region divided into a plurality of cells.
By doing in this way, it is possible to determine whether or not the detection target object is included in the detection target image using the edge strength addition value that is the sum of the edge strengths of the cells.
また、複数の学習用画像の前記特定領域毎にエッジ強度加算値を求め、前記特定領域毎にエッジ強度加算値の出現頻度を求め、前記出現頻度に応じてエッジ強度加算値の閾値を求める学習が前記サブ識別器毎に行われ、
前記サブ識別器において、前記検出対象画像の特定領域における前記エッジ強度加算値と前記閾値とに基づいて、前記検出対象物を含むことの度合いが出力され、
前記パラメーターには、前記閾値が含まれることが望ましい。
このようにすることで、各サブ識別器は、特定領域毎のエッジ強度加算値の出現頻度に基づいて、その検出対象画像が検出対象物を含むことの度合いを求めることができる。そして、この閾値を更新することでより適切に検出対象物を検出することができる。
Learning to obtain an edge strength addition value for each specific region of a plurality of learning images, obtain an appearance frequency of the edge strength addition value for each of the specific regions, and obtain a threshold value of the edge strength addition value according to the appearance frequency Is performed for each of the sub classifiers,
In the sub classifier, the degree of inclusion of the detection object is output based on the edge intensity addition value and the threshold value in a specific region of the detection object image,
The parameter may include the threshold value.
By doing in this way, each sub discriminator can obtain | require the degree that the detection target image contains a detection target based on the appearance frequency of the edge strength addition value for every specific area. And a detection target object can be detected more appropriately by updating this threshold value.
また、前記特徴量の変化量が大きいほど、前記サブ識別器のパラメーターが大きく変更されることが望ましい。
このようにすることで、特徴量の変化量に応じて適切にパラメーターの値を更新することができる。
In addition, it is desirable that the parameter of the sub-classifier is largely changed as the change amount of the feature amount is larger.
In this way, the parameter value can be updated appropriately according to the amount of change in the feature amount.
また、本明細書及び添付図面の記載により、少なくとも、以下の事項も明らかとなる。すなわち、
センサーの出力に対応する検出対象画像を生成するステップと、
前記検出対象画像の特定領域毎に用意されたサブ識別器を有する検出器を用いて前記検出対象画像から検出対象物を検出するステップと、を含み、
前記サブ識別器は、パラメーターと前記特定領域における特徴量とに基づいて前記検出対象画像が前記検出対象物を含むことの度合いを出力し、
前記検出器は、前記検出対象画像のうち前記検出対象物が検出された第１検出対象画像と、該第１検出対象画像の後に生成され前記検出対象物が検出された第２検出対象画像と、の間に生ずる特徴量の変化量を前記特定領域毎に求め、前記特徴量の変化量に応じて前記サブ識別器のパラメーターを変更し、前記パラメーターが変更されたサブ識別器の出力に基づいて、前記第２検出対象画像よりも後に生成された第３検出対象画像における検出対象物の検出を行う、検出方法である。
このように、検出対象物の検出を行おうとしている検出対象画像よりも前に生成された検出対象画像の特徴量の変化量に基づいてパラメーターの値を更新する。そして、更新されたパラメーターの値を含むサブ識別器を用いて検出対象画像における検出対象物の検出を行うので、過去の検出対象物の変化に応じて適切に更新されたサブ識別器を用いて検出を行うことができる。そして、より適切に検出対象物を検出することができる。
In addition, at least the following matters will become clear from the description of the present specification and the accompanying drawings. That is,
Generating a detection target image corresponding to the output of the sensor;
Detecting a detection target object from the detection target image using a detector having a sub-identifier prepared for each specific region of the detection target image, and
The sub classifier outputs a degree of the detection target image including the detection target object based on a parameter and a feature amount in the specific region,
The detector includes a first detection target image in which the detection target is detected in the detection target image, and a second detection target image that is generated after the first detection target image and in which the detection target is detected. , A change amount of the feature amount generated between and is determined for each of the specific regions, a parameter of the sub discriminator is changed according to the change amount of the feature amount, and based on an output of the sub discriminator in which the parameter is changed Thus, the detection method includes detecting a detection target in a third detection target image generated after the second detection target image.
In this manner, the parameter value is updated based on the amount of change in the feature amount of the detection target image generated before the detection target image for which the detection target is to be detected. And since the detection target in the detection target image is detected using the sub classifier including the updated parameter value, the sub classifier appropriately updated according to the change in the past detection target is used. Detection can be performed. And a detection target object can be detected more appropriately.
＝＝＝実施形態＝＝＝
図１は、本実施形態における歩行者検出システム１（検出装置）の概略構成を示すブロック図である。本実施形態における検出対象物は歩行者であり、図１には、赤外線カメラ１１０と歩行者検出装置１２０とディスプレイ１３０が示されている。図２は、撮像部の取り付け位置の一例の説明図である。なお、「歩行者」は「人物」と同義であり、「歩いている人物」には限定されない。
=== Embodiment ===
FIG. 1 is a block diagram showing a schematic configuration of a pedestrian detection system 1 (detection device) in the present embodiment. The detection target in the present embodiment is a pedestrian, and FIG. 1 shows an infrared camera 110, a pedestrian detection device 120, and a display 130. FIG. 2 is an explanatory diagram illustrating an example of an attachment position of the imaging unit. Note that “pedestrian” is synonymous with “person” and is not limited to “person walking”.
赤外線カメラ１１０（センサーに相当）は、中赤外線及び遠赤外線の波長をとらえデジタル値の映像信号を歩行者検出装置１２０に送信する。ここで、中赤外線は２．５μｍ〜４μｍの波長、遠赤外線は、４μｍ〜１０００μｍの波長を有する光である。本実施形態では、８〜１４μｍの波長を用いて体温を検出対象とするが、この波長に限られず、温度を検出できる波長であればよい。赤外線カメラ１１０は、車両のフロントグリル部などに搭載される（図２）。そして、自車両（赤外線カメラ１１０を搭載した車両、本実施形態では赤外線カメラ１１０と歩行者検出装置１２０とディスプレイ１３０の全てが搭載されている）から前方方向の環境を撮影する。なお、赤外線カメラ１１０が搭載される位置は、この位置に限られることはなく、他の位置であってもよい。 The infrared camera 110 (corresponding to a sensor) captures the wavelengths of mid-infrared rays and far-infrared rays and transmits a digital video signal to the pedestrian detection device 120. Here, the middle infrared light is light having a wavelength of 2.5 μm to 4 μm, and the far infrared light is light having a wavelength of 4 μm to 1000 μm. In the present embodiment, the body temperature is to be detected using a wavelength of 8 to 14 μm, but is not limited to this wavelength and may be any wavelength that can detect the temperature. The infrared camera 110 is mounted on the front grille of a vehicle or the like (FIG. 2). And the environment of the front direction is image | photographed from the own vehicle (The vehicle which mounts the infrared camera 110, and the infrared camera 110, the pedestrian detection apparatus 120, and all the displays 130 are mounted in this embodiment). The position where the infrared camera 110 is mounted is not limited to this position, and may be another position.
歩行者検出装置１２０は、画像処理ボード１２０１と、中央演算装置（ＣＰＵ）等の処理部１２０２と、ランダムアクセスメモリー（ＲＡＭ）などの記憶部１２０３を含む。そして、後述するような処理により、これら画像処理ボード１２０１と処理部１２０２と記憶部１２０３が協働して動作し、ディスプレイ１３０に表示するデータを生成する。ディスプレイ１３０は、生成されたデータに基づく情報を表示する。 The pedestrian detection device 120 includes an image processing board 1201, a processing unit 1202 such as a central processing unit (CPU), and a storage unit 1203 such as a random access memory (RAM). The image processing board 1201, the processing unit 1202, and the storage unit 1203 operate in cooperation with each other as will be described later, and generate data to be displayed on the display 130. The display 130 displays information based on the generated data.
図３は、本実施形態における歩行者検出システム１における歩行者検出装置１２０及び歩行者学習装置２２０の詳細なブロック図である。赤外線カメラ１１０は、撮像部１１１とアナログデジタル変換部（Ａ／Ｄ変換部）１１２を含む。撮像部１１１は、赤外線カメラの受光素子に対応するものであり、受光素子が受光した赤外領域の光に対応した信号を出力する。Ａ／Ｄ変換部１１２は、撮像部１１１で得られたアナログ信号をデジタル信号に変換する機能を有する。このように赤外線センサー１１１（センサーに相当する）の出力に対応する検出対応画像を生成する赤外線カメラ１１０は、画像生成部に相当する。 FIG. 3 is a detailed block diagram of the pedestrian detection device 120 and the pedestrian learning device 220 in the pedestrian detection system 1 according to this embodiment. The infrared camera 110 includes an imaging unit 111 and an analog / digital conversion unit (A / D conversion unit) 112. The imaging unit 111 corresponds to the light receiving element of the infrared camera, and outputs a signal corresponding to the light in the infrared region received by the light receiving element. The A / D conversion unit 112 has a function of converting an analog signal obtained by the imaging unit 111 into a digital signal. As described above, the infrared camera 110 that generates the detection-corresponding image corresponding to the output of the infrared sensor 111 (corresponding to the sensor) corresponds to an image generation unit.
歩行者検出装置１２０は、画像格納部１２１と、特徴量抽出部１２２と、歩行者判定部１２３と、表示制御部１２４と、歩行者テーブル格納部１２５を含む。歩行者テーブル格納部１２５には、歩行者学習装置によって出力された学習結果が格納される。これらの各部は、上述の画像処理ボード１２０１と、ＣＰＵ１２０２と、ＲＡＭ１２０３により実現されている。 The pedestrian detection device 120 includes an image storage unit 121, a feature amount extraction unit 122, a pedestrian determination unit 123, a display control unit 124, and a pedestrian table storage unit 125. The pedestrian table storage unit 125 stores the learning result output by the pedestrian learning device. These units are realized by the image processing board 1201, the CPU 1202, and the RAM 1203 described above.
画像格納部１２１は、撮像部１１１から得られた映像（例えば、１５ｆｐｓの映像）から、１画像ずつ順次処理するために、赤外線カメラ１１０から取得したデジタル信号を一時的に保管する。特徴量抽出部１２２は、画像格納部１２１に格納されたデジタル信号を順次読み込み、複数の階調値からなる画像（全体画像）へと変換する。そして、この変換画像に基づいて特徴量を抽出する処理を行う。特徴量については、後述する。 The image storage unit 121 temporarily stores digital signals acquired from the infrared camera 110 in order to sequentially process the images one by one from the video (for example, 15 fps video) obtained from the imaging unit 111. The feature amount extraction unit 122 sequentially reads the digital signal stored in the image storage unit 121 and converts it into an image (entire image) composed of a plurality of gradation values. And the process which extracts a feature-value based on this conversion image is performed. The feature amount will be described later.
歩行者判定部１２３は、特徴量抽出部１２２の処理により得られた特徴量と、歩行者テーブルのデータとを比較して、検出対象画像が歩行者を含むか否かについて判定する。検出対象画像は、全体画像からクロッピングされた画像である。判定手法については、後述する。 The pedestrian determination unit 123 compares the feature amount obtained by the processing of the feature amount extraction unit 122 with the data in the pedestrian table, and determines whether or not the detection target image includes a pedestrian. The detection target image is an image cropped from the entire image. The determination method will be described later.
歩行者テーブル格納部１２５は、前述の通り、歩行者判定部１２３で用いられるデータを記憶する。 The pedestrian table storage unit 125 stores data used in the pedestrian determination unit 123 as described above.
表示制御部１２４は、歩行者判定部１２３における判定結果を運転者に伝えるために、表示部１３１への描画画像を作成する。例えば、赤外線画像として得られている自車両前方映像に、歩行者として判定された箇所を、歩行者を含むようにして強調表示させたり、注意を喚起するために表示部１３１をフラッシュさせたりする。 The display control unit 124 creates a drawing image on the display unit 131 in order to inform the driver of the determination result in the pedestrian determination unit 123. For example, in the front image of the host vehicle obtained as an infrared image, a portion determined as a pedestrian is highlighted so as to include the pedestrian, or the display unit 131 is flashed to call attention.
また、図３には、歩行者学習装置２２０と歩行者学習装置２２０に接続された赤外線カメラ２１０が示されている。赤外線カメラ２１０の構成は、歩行者検出装置１２０に接続された赤外線カメラ１１０と同様の構成であるので説明を省略する。また、歩行者学習装置２２０における画像格納部２２１と特徴量抽出部２２２は、それぞれ歩行者検出装置１２０の画像格納部１２１と特徴量抽出部１２２と同様の構成であるので説明を省略する。 FIG. 3 shows a pedestrian learning device 220 and an infrared camera 210 connected to the pedestrian learning device 220. Since the configuration of the infrared camera 210 is the same as that of the infrared camera 110 connected to the pedestrian detection device 120, the description thereof is omitted. In addition, the image storage unit 221 and the feature amount extraction unit 222 in the pedestrian learning device 220 have the same configurations as the image storage unit 121 and the feature amount extraction unit 122 of the pedestrian detection device 120, respectively, and thus description thereof is omitted.
歩行者学習装置２２０の学習部２２８は、歩行者パターンを統計的に扱うことで、歩行者であるか否かの判定に必要なデータを作成する。これらデータの生成については、後述する。 The learning unit 228 of the pedestrian learning device 220 creates data necessary for determining whether or not the person is a pedestrian by statistically handling the pedestrian pattern. The generation of these data will be described later.
図４は、赤外線カメラで撮像した赤外線画像の一例を示す図である。赤外線カメラ１１０によって車両前方を撮像すると、図４に示されるような赤外線画像が得られる。図４には、背景部分に建物が並び、手前左側（歩道）に歩行者が３名撮像されている。図４において、白色に近いほど輝度値が高く、黒色に近いほど輝度値が低い。 FIG. 4 is a diagram illustrating an example of an infrared image captured by an infrared camera. When the front of the vehicle is imaged by the infrared camera 110, an infrared image as shown in FIG. 4 is obtained. In FIG. 4, buildings are arranged in the background, and three pedestrians are captured on the left side (the sidewalk). In FIG. 4, the brightness value is higher as it is closer to white, and the brightness value is lower as it is closer to black.
撮像画像において、階調値と温度には相関関係があり、高温ほど輝度値が高く表示される。図４において、背景部分に比べて、歩行者の表面温度が高いため、歩行者の像が浮かび上がって表示されている。 In the captured image, there is a correlation between the gradation value and the temperature, and the higher the temperature, the higher the luminance value is displayed. In FIG. 4, since the surface temperature of the pedestrian is higher than that of the background portion, the image of the pedestrian is highlighted and displayed.
図５は、赤外線カメラで歩行者を撮像した赤外線画像の一例を示す図である。図５には、歩行者を含む画像であって、所定の縦横比でクロッピングされた画像が示されている。歩行者学習装置２２０では、このように歩行者を含む画像が用いられて学習が行われる。 FIG. 5 is a diagram illustrating an example of an infrared image obtained by imaging a pedestrian with an infrared camera. FIG. 5 shows an image including a pedestrian and cropped at a predetermined aspect ratio. In the pedestrian learning device 220, learning is performed using an image including a pedestrian as described above.
図６は、歩行者の特徴成分を可視化した図である。図６には、エッジ強度が求められ可視化された画像が示されている。図６における（１）の図は、図５の画像の水平成分のエッジ強度を求め可視化した図である。図６における（２）の図は、図５の画像の斜め方向成分（右下がり、左上がり）のエッジ強度を求め可視化した図である。図６における（３）の図は、図５の画像の垂直成分のエッジ強度を求め可視化した図である。図６における（４）の図は、図５の画像の斜め方向成分（左下がり、右上がり）のエッジ強度を求め可視化した図である。エッジ強度の値が大きい程、輝度値が高いことで表現している。 FIG. 6 is a diagram visualizing characteristic components of a pedestrian. FIG. 6 shows an image in which the edge strength is obtained and visualized. The diagram (1) in FIG. 6 is a diagram obtained by visualizing the edge strength of the horizontal component of the image in FIG. FIG. 6 (2) is a diagram obtained by visualizing the edge strength of the diagonal component (lower right, upper left) of the image of FIG. 6 is a diagram obtained by visualizing the edge strength of the vertical component of the image of FIG. FIG. 6 (4) is a diagram obtained by visualizing the edge strength of the diagonal component (lower left, upper right) of the image of FIG. The higher the edge strength value, the higher the luminance value.
このようなエッジ強度は、例えば、次のようにして求めることができる。すなわち、赤外線画像の各画素（ｘ、ｙ）において、注目画素を中心とした矩形領域（例えば、３×３画素）を注目する。この領域の中で特定画素の組み合わせを選択して、階調値の差分を計算する。すなわち、特定方向成分のエッジ強度を算出する。 Such edge strength can be obtained, for example, as follows. That is, in each pixel (x, y) of the infrared image, attention is paid to a rectangular area (for example, 3 × 3 pixels) centered on the target pixel. A combination of specific pixels is selected in this area, and a difference between gradation values is calculated. That is, the edge strength of the specific direction component is calculated.
なお、ここでは３×３画素の矩形領域を例として説明を行ったが、矩形領域のサイズはこれに限定されず、任意のサイズにまで広げることとしてもよい。 Here, a description has been given by taking a rectangular area of 3 × 3 pixels as an example, but the size of the rectangular area is not limited to this, and may be expanded to an arbitrary size.
図７Ａは、歩行者が含まれる複数の画像について垂直方向のエッジ強度が求められた様子を示す図である。前述の図５のような画像に歩行者が含まれているか否かは、特定領域における任意方向のエッジ強度の加算値（エッジ強度加算値）に基づいて判定される。エッジ強度加算値を求める前段階として、歩行者が含まれる複数の画像についてのエッジ強度が前述のようにして求められる。 FIG. 7A is a diagram illustrating a state in which the edge strength in the vertical direction is obtained for a plurality of images including a pedestrian. Whether or not a pedestrian is included in the image as shown in FIG. 5 is determined based on an edge strength addition value (edge strength addition value) in an arbitrary direction in a specific region. As a previous step for obtaining the edge strength addition value, the edge strength for a plurality of images including a pedestrian is obtained as described above.
エッジ強度加算値は、特定領域における任意方向のエッジ強度を加算することにより求められる。図７Ａには、特定領域として、２つの画素位置（左上（ｘ０，ｙ０）、右下（ｘ１，ｙ１）で表現した矩形領域）で囲われる矩形領域が示されている。図７Ａでは、歩行者の上半身（肩から腰）の範囲を特定領域としている。この特定領域は、様々な領域とすることができる。例えば、歩行者の顔の範囲を特定領域としてもよいし、歩行者の下半身の範囲を特定領域としてもよい。 The edge strength addition value is obtained by adding the edge strength in an arbitrary direction in the specific region. FIG. 7A shows a rectangular area surrounded by two pixel positions (rectangular areas represented by upper left (x0, y0) and lower right (x1, y1)) as the specific area. In FIG. 7A, the range of the upper body of the pedestrian (from shoulder to waist) is set as the specific area. This specific area can be various areas. For example, the range of the face of the pedestrian may be set as the specific area, and the range of the lower body of the pedestrian may be set as the specific area.
各画像について、この特定領域の特定の方向のエッジ強度が累積される。たとえば、各画素の垂直方向のエッジ強度（図６の（３））が（ｘ０，ｙ０）から（ｘ１，ｙ１）の範囲で累積される。このようにすることにより、１枚の画像について特定領域の垂直方向のエッジ強度加算値が求められる。このような演算が、歩行者を含む画像及び歩行者以外の画像について行われる。 For each image, the edge strength in a specific direction of this specific region is accumulated. For example, the edge strength ((3) in FIG. 6) of each pixel is accumulated in the range from (x0, y0) to (x1, y1). In this way, the edge strength addition value in the vertical direction of the specific area is obtained for one image. Such calculation is performed on an image including a pedestrian and an image other than the pedestrian.
図７Ｂは、エッジ強度加算値のヒストグラムである。図７Ｂは、上述のようにして特定領域におけるエッジ強度加算値を、複数枚数の学習用画像について算出し、ヒストグラムを作成したものである。図７Ｂにおいて横軸は、エッジ強度加算値であり、縦軸は、そのエッジ強度加算値の出現頻度である。例えば、演算の結果、複数枚数の学習用画像においてエッジ強度加算値「５０」が１００回出現した場合、エッジ強度加算値「５０」の出現頻度は「１００」となる。なお、エッジ強度加算値は、任意の特定領域内でのエッジ強度加算値を用いて正規化した値を利用してもよい。 FIG. 7B is a histogram of added edge strength values. FIG. 7B shows a histogram created by calculating edge strength addition values in a specific region for a plurality of learning images as described above. In FIG. 7B, the horizontal axis represents the edge strength addition value, and the vertical axis represents the appearance frequency of the edge strength addition value. For example, when the edge strength addition value “50” appears 100 times in a plurality of learning images as a result of the calculation, the appearance frequency of the edge strength addition value “50” is “100”. Note that the edge strength addition value may be a value normalized by using the edge strength addition value in an arbitrary specific region.
学習時において用いられる画像は、歩行者を含む画像（歩行者の画像）と歩行者を含まない画像（歩行者以外の画像）である。これらの画像について上記の処理が行われ図７Ｂのようなヒストグラムが生成される。閾値θｔは、実験的または経験的に決まる値であり、ニューラルネットワーク、サポートベクターマシン、ブースティングなどの学習により選び出すことができる。 The images used at the time of learning are an image including a pedestrian (pedestrian image) and an image not including a pedestrian (an image other than the pedestrian). The above processing is performed on these images, and a histogram as shown in FIG. 7B is generated. The threshold θt is a value determined experimentally or empirically, and can be selected by learning such as a neural network, a support vector machine, or boosting.
上記のことを踏まえると、画像に歩行者が含まれるか否かの判別式は以下のように表現できる。
f(k1,k2):k1,k2で特定される特定領域のエッジ強度加算値
k1:任意方向成分のエッジ画像において特定領域を規定する画素位置(x0,y0)
k2:任意方向成分のエッジ画像において特定領域を規定する画素位置(x1,y1)
θｔ：特定領域を特定する変数がｔのときの閾値
Based on the above, the discriminant of whether or not a pedestrian is included in the image can be expressed as follows.
f (k 1 , k 2 ): Addition value of edge strength of specific area specified by k1 and k2
k 1 : Pixel position (x0, y0) that defines a specific area in the edge image of an arbitrary direction component
k 2 : Pixel position (x1, y1) that defines a specific area in the edge image of an arbitrary direction component
θ t : threshold value when the variable specifying the specific region is t
具体的に関数ｆは、エッジ強度加算値の関数であって、ある画像における特定領域でのエッジ強度加算値の関数である。変数ｔは、特定領域を特定するための変数である。よって、特定領域がＴ種類ある場合には、少なくともＴ種類の判別式が存在することになる。 Specifically, the function f is a function of the edge strength addition value, and is a function of the edge strength addition value in a specific region in a certain image. The variable t is a variable for specifying a specific area. Therefore, when there are T types of specific regions, at least T types of discriminants exist.
これによれば、検出対象画像についても、上記のようにしてエッジ強度加算値を求め、式（１）に代入し、閾値θｔとの大小を比較することで、検出対象画像に歩行者が含まれるか否かについて判定することができる。 According to this, also for the detection target image, the edge strength addition value is obtained as described above, substituted into the equation (1), and compared with the threshold value θ t , the pedestrian is included in the detection target image. Whether it is included can be determined.
図７Ｂに示されるヒストグラムによれば、歩行者が含まれる場合にｈｔの値が「１」となり、歩行者が含まれない場合に「−１」となる。なお、特定領域ｔによっては、エッジ強度加算値が低いほど「歩行者が含まれる」という結果となるヒストグラムも生成されうるが、本実施形態では、特定領域毎にヒストグラムの検証がされ、それぞれの関数ｈｔにおいて、「歩行者が含まれる場合」にｈｔの値が「１」となり、歩行者が含まれない場合に「−１」となるように調整がされる。 According to the histogram shown in FIG. 7B, "1" value of h t is the case that contains the pedestrian becomes "-1" in the absence of the pedestrian. Depending on the specific region t, a histogram that results in “the pedestrian is included” can be generated as the edge strength addition value is low. However, in this embodiment, the histogram is verified for each specific region, in function h t, it is the adjustment to be "-1" when the value of h t the "if it contains pedestrians" is not included becomes "1", the pedestrian.
ところで、図７Ｂのヒストグラムと閾値を参照すると、判別式を単独で使用しても誤りを有する判別結果となることがあることも考えられる。そこで、本実施形態では、複数の判別式の集合から正確に判別を行う識別関数を作成することで高精度な判別を実現させる。識別関数は、以下のように判別式の組み合わせで構成される。 By the way, referring to the histogram and the threshold value in FIG. 7B, it may be considered that even if the discriminant is used alone, a discriminant result having an error may be obtained. Therefore, in the present embodiment, highly accurate discrimination is realized by creating a discriminant function that accurately discriminates from a set of a plurality of discriminants. The discriminant function is composed of a combination of discriminants as follows.
式（３）において、判別式の組み合わせ、個数Ｔ、及び、係数αｔは、実験的又は経験的に求めた値を用いることができる。また、判別式の組み合わせ、個数Ｔ、及び、係数αｔは、ニューラルネットワーク、サポートベクターマシン、ブースティングなどの学習アルゴリズムを用いることで、最適となるパラメーターを探索し選び出すこととしてもよい。例えば、ａｄａｂｏｏｓｔを用いた場合、αｔｈｔ（Ｘ）は弱識別器（サブ識別器）であり、Ｈ（Ｘ）は強識別器（識別器）となる（Ｔ種類の特定領域についての弱識別器からなる強識別器が生成される）。αｔｈｔ（Ｘ）は、−１又は＋１のいずれかに係数αｔを乗じた値を返す。つまり、これら個々の弱識別器は、検出対象物を含むことの度合いを求めるものである。 In Equation (3), the values obtained experimentally or empirically can be used for the combination of discriminants, the number T, and the coefficient α t . The combination of discriminants, the number T, and the coefficient α t may be determined by searching for and selecting optimal parameters by using a learning algorithm such as a neural network, a support vector machine, or boosting. For example, when adaboost is used, α t h t (X) is a weak classifier (sub-classifier), and H (X) is a strong classifier (classifier) (weakness for T types of specific regions). A strong classifier consisting of classifiers is generated). α t h t (X) returns a value obtained by multiplying either −1 or +1 by the coefficient α t . That is, each of these weak classifiers determines the degree of inclusion of the detection target.
図８は、学習処理のフローチャートである。以下、本フローチャートを参照しつつ、学習処理の流れを説明する。なお、学習処理が行われる前に、赤外線カメラ２１０で撮像した赤外線画像から、歩行者を含む所定の縦横比で切り抜いた画像を予め多く用意して蓄積されているものとする。このとき、様々な環境で撮影されたもの（季節、天候、場所）が用意されていることが望ましい。また、歩行者を含まない画像も予め多く用意されていることが望ましい。 FIG. 8 is a flowchart of the learning process. Hereinafter, the flow of the learning process will be described with reference to this flowchart. It is assumed that a large number of images cut out at a predetermined aspect ratio including pedestrians from an infrared image captured by the infrared camera 210 are prepared and accumulated before the learning process is performed. At this time, it is desirable to prepare images (season, weather, place) taken in various environments. It is desirable that many images not including pedestrians are prepared in advance.
蓄積した赤外線画像から、学習用画像（学習処理において学習用画像であるが、後述する検出処理では検出対象画像）が１枚分読み込まれる（Ｓ１０２）。次に、特徴量の算出が行われる（Ｓ１０４）。本実施形態において特徴量は、特定領域での特定方向のエッジ強度加算値である。特定領域は、前述のように任意の２つの画素位置［左上（ｘ０，ｙ０）、右下（ｘ１，ｙ１）で表現した矩形領域］で表現される特定領域である。 One learning image (which is a learning image in the learning process but is a detection target image in the detection process described later) is read from the accumulated infrared image (S102). Next, the feature amount is calculated (S104). In the present embodiment, the feature amount is an edge strength addition value in a specific direction in a specific region. The specific area is a specific area expressed by any two pixel positions [rectangular area expressed by upper left (x0, y0), lower right (x1, y1)] as described above.
ステップＳ１０４では、１枚の画像に対し複数の特定領域について特徴量の算出が行われる。なお、２つの画素位置で表現される特定領域は無数に存在していることから、経験的にサイズや範囲に制限をかけて算出することとしてもよい。例えば、前述のように、「上半身」、「下半身」、及び、「頭」のサイズ・範囲などである。 In step S104, feature amounts are calculated for a plurality of specific areas for one image. Since there are an infinite number of specific areas represented by two pixel positions, it may be calculated by limiting the size and range empirically. For example, as described above, the size and range of “upper body”, “lower body”, and “head”.
このようにすることによって、１枚の学習用画像（検出処理において検出対象画像）に対し各特定領域の特徴量が求められることになる。 By doing in this way, the feature-value of each specific area | region is calculated | required with respect to one image for learning (detection target image in a detection process).
そして、全ての学習用画像に対してステップＳ１０４の処理を実施した場合には、ステップＳ１０８に進む（Ｓ１０６）。一方、処理をしていない学習用画像がある場合には、次の学習用画像を読み込むためにステップＳ１０２に進む（Ｓ１０６）。 Then, when the process of step S104 is performed on all the learning images, the process proceeds to step S108 (S106). On the other hand, if there is a learning image that has not been processed, the process proceeds to step S102 to read the next learning image (S106).
次に、学習が行われる（Ｓ１０８）。これまでの処理により、特定領域毎に式（１）の判別式が生成されることになる。そして、式（３）のＨ（Ｘ）を表現するパラメーターα、ｔ、及び、Ｔが算出されて、識別関数が求められる。これらパラメーターの算出は、前述のように経験値であってもよいし、ａｄａｂｏｏｓｔのような学習アルゴリズムが用いられて求められるものであってもよい。 Next, learning is performed (S108). By the processing so far, the discriminant of the formula (1) is generated for each specific area. Then, parameters α, t, and T that express H (X) in Expression (3) are calculated, and an identification function is obtained. The calculation of these parameters may be an empirical value as described above, or may be obtained using a learning algorithm such as adaboost.
次に、ステップＳ１０８で求められた各パラメーターが学習結果として保存される（Ｓ１１０）。学習結果は、歩行者テーブル格納部１２５に保存される。 Next, each parameter calculated | required by step S108 is preserve | saved as a learning result (S110). The learning result is stored in the pedestrian table storage unit 125.
次に、上述の学習結果を用いた検出処理について説明する。
図９は、検出処理のフローチャートである。検出処理では、車両に搭載された赤外線カメラ１１０から赤外線画像が取得される。取得された赤外線画像は画像格納部１２１に保存されている。
Next, the detection process using the above learning result will be described.
FIG. 9 is a flowchart of the detection process. In the detection process, an infrared image is acquired from the infrared camera 110 mounted on the vehicle. The acquired infrared image is stored in the image storage unit 121.
全体画像から検出対象画像の位置及びサイズが選択される（Ｓ２０２）。
図１０は、全体画像を走査する方法を説明する図である。図１０には、赤外線カメラ１１０が撮像した全体画像（左図）と、全体画像が縮小された画像（中央図）と、さらに縮小された縮小画像（右図）が示されている。
The position and size of the detection target image are selected from the entire image (S202).
FIG. 10 is a diagram for explaining a method of scanning the entire image. FIG. 10 shows an entire image (left diagram) captured by the infrared camera 110, an image obtained by reducing the entire image (center diagram), and a further reduced image (right diagram).
全体画像には、赤外線カメラ１１０で車両前方を撮像した赤外線画像において、車道脇に遠距離から近距離の間で合計３名の歩行者が歩いている様子が示されている。全体画像に対して、歩行者判定をする際に用いる検出対象画像の探索窓の一番小さなもの（例えば、歩行者と車両との距離が２００ｍ相当の窓サイズ（７×１４画素））を、左上から右下へと順に移動させて行き、探索窓の検出対象画像毎に歩行者がいるか否かを判定していく。 The overall image shows a state in which a total of three pedestrians are walking on the side of the roadway from a long distance to a short distance in an infrared image obtained by imaging the front of the vehicle with the infrared camera 110. For the entire image, the smallest search window of the detection target image used when pedestrian determination is performed (for example, a window size (7 × 14 pixels) corresponding to a distance between the pedestrian and the vehicle of 200 m), It moves in order from the upper left to the lower right, and it is determined whether or not there is a pedestrian for each detection target image in the search window.
また、一定間隔で全体画像（左図）を縮小させることで、縮小画像（中央図）を作成する。上記と同様に探索窓を左上から右下へと順に移動させていき、歩行者が居るか居ないかを判定していく。 Further, a reduced image (center diagram) is created by reducing the entire image (left diagram) at regular intervals. In the same manner as described above, the search window is sequentially moved from the upper left to the lower right, and it is determined whether there is a pedestrian or not.
また、さらに、縮小画像（右図）を繰り返し作成していくことで、歩行者と車両との距離関係が遠距離から近距離までに対応した検出を実現する。すなわち、探索窓のサイズが固定であっても、縮小画像を繰り返し作成することで遠距離から近距離までの間の歩行者を検出することができる。 Furthermore, by repeatedly creating a reduced image (right figure), detection is realized in which the distance relationship between the pedestrian and the vehicle corresponds from a long distance to a short distance. That is, even if the size of the search window is fixed, a pedestrian between a long distance and a short distance can be detected by repeatedly creating a reduced image.
ステップＳ２０２では、このようにして、読み込まれた画像から歩行者判定を行うための探索窓の位置とサイズに対応する検出対象画像が選択される。 In step S202, the detection target image corresponding to the position and size of the search window for performing pedestrian determination is selected from the image thus read.
次に、ステップＳ２０２で選択された検出対象画像が読み込まれる（Ｓ２０４）。また、検出対象画像の特徴量の算出が行われる（Ｓ２０６）。特徴量の算出は、前述の図８のステップ１０４における処理と同様の手法により行われる。 Next, the detection target image selected in step S202 is read (S204). Further, the feature amount of the detection target image is calculated (S206). The calculation of the feature amount is performed by the same method as the processing in step 104 of FIG.
次に、前述のステップＳ２０６で得られた特徴量に基づいて歩行者検出処理が行われる（Ｓ２０８）。歩行者検出処理では、次のように、複数の識別関数Ｈ（Ｘ）を組み合わせたカスケード構造を構成することで、早期に歩行者を含まない検出対象画像をふるい落とし、検出対象画像一枚あたりの判定時間を短縮させる。なお、１つの識別関数（識別器）を用いて歩行者の検出を行うもの、又は、複数の識別関数（識別器）を用いて歩行者の検出を行うものは検出器に相当する。 Next, a pedestrian detection process is performed based on the feature amount obtained in step S206 described above (S208). In the pedestrian detection process, by configuring a cascade structure combining a plurality of discriminant functions H (X) as follows, a detection target image that does not include a pedestrian is screened out at an early stage. Reduce judgment time. In addition, what detects a pedestrian using one discrimination function (discriminator), or what detects a pedestrian using a some discrimination function (discriminator) is equivalent to a detector.
ここでは、複数段の判別関数が用意される。そして、各段Ｈ（Ｘ）での判定結果において歩行者と判定された検出対象画像だけが、次の段に進むことができ、最終段までに到達した検出対象画像のみが、最終的に歩行者を含む検出対象画像として判定される。それ以外の検出対象画像は、歩行者以外の検出対象画像であると判定される。 Here, a plurality of stages of discriminant functions are prepared. Then, only the detection target image determined as a pedestrian in the determination result at each stage H (X) can proceed to the next stage, and only the detection target image that has reached the final stage is finally walking. It is determined as a detection target image including a person. The other detection target images are determined to be detection target images other than pedestrians.
なお、初期段の識別関数Ｈ（Ｘ）は比較的分類が容易なものを判定するように作られ、段が進むにつれてより複雑で分類が困難なものを判定するように識別関数を組み上げていく。これにより、カスケードの初期Ｈ（Ｘ）で多くの検出対象画像が歩行者以外の検出対象画像であるとされるため、単一の複雑な識別関数Ｈ（Ｘ）で判別を行う場合よりも高速な処理を行うことができる。 Note that the discrimination function H (X) at the initial stage is created so as to determine a class that is relatively easy to classify, and the discrimination function is assembled so that a class that is more complicated and difficult to classify is determined as the stage progresses. . Thereby, since many detection target images are assumed to be detection target images other than pedestrians in the initial stage H (X) of the cascade, it is faster than the case where discrimination is performed with a single complex discrimination function H (X). Can be processed.
具体的な複数段の識別関数は、例えば、以下のように弱識別器の個数を異ならしたものとなる。
Ｈ０（Ｘ）は、ｈ（Ｘ） ｔ＝１・・・８
Ｈ１（Ｘ）は、ｈ’（Ｘ） ｔ＝１・・・１６
Ｈ２（Ｘ）は、ｈ’’（Ｘ） ｔ＝１・・・３２
A specific multi-stage discriminant function is, for example, a different number of weak discriminators as follows.
H 0 (X) is h (X) t = 1... 8
H 1 (X) is h ′ (X) t = 1... 16
H 2 (X) is h ″ (X) t = 1... 32
図１１は、歩行者検出処理のフローチャートである。
最初に、識別関数Ｈ０（Ｘ）が求められる（Ｓ３０２）。次に、Ｈ０（Ｘ）の計算結果による検出対象画像の判定が行われる（Ｓ３０４）。判定方法は、例えば次のようにする。
Ｈ０（Ｘ）≧０ならば判定結果 歩行者
Ｈ０（Ｘ）＜０ならば判定結果 歩行者以外
FIG. 11 is a flowchart of the pedestrian detection process.
First, an identification function H 0 (X) is obtained (S302). Next, the detection target image is determined based on the calculation result of H 0 (X) (S304). For example, the determination method is as follows.
Determination result if H 0 (X) ≧ 0 Pedestrian Determination result if H 0 (X) <0 Other than pedestrian
次に、ステップＳ３０２と同様に識別関数Ｈ１（Ｘ）が求められる（Ｓ３０６）。そして、識別関数Ｈ１（Ｘ）が用いられステップＳ３０４と同様の判定が行われる（Ｓ３０８）。 Next, the discrimination function H 1 (X) is obtained in the same manner as in step S302 (S306). Then, the discrimination function H 1 (X) is used and the same determination as in step S304 is performed (S308).
このようにして、ステップＳ３０２と同様に識別関数Ｈｎ（Ｘ）が求められる（Ｓ３１０）。そして、判別式Ｈｎ（Ｘ）が用いられ、ステップＳ３０４と同様の処理が実施される（Ｓ３１２）。 In this way, the discriminant function H n (X) is obtained as in step S302 (S310). Then, the discriminant H n (X) is used, and the same processing as step S304 is performed (S312).
ステップＳ３０２〜Ｓ３１２の一連の工程において、各段にて歩行者と判定結果を得た検出対象画像については、最終的な判定結果として歩行者を含む検出対象画像であると判定して処理を終了する（Ｓ３１４）。 In a series of steps S302 to S312, the detection target image obtained as a pedestrian at each stage is determined to be a detection target image including a pedestrian as a final determination result, and the process ends. (S314).
一方、ステップＳ３０２〜Ｓ３１２の一連の工程において、途中の判定結果で歩行者以外と判定された段階で、その検出対象画像は歩行者を含まない画像（歩行者以外の画像）として判定して処理を終了する（Ｓ３１６）。 On the other hand, in the series of steps S302 to S312, when it is determined that a person other than a pedestrian is determined as a result of determination on the way, the detection target image is determined as an image not including a pedestrian (an image other than a pedestrian) and processed. Is finished (S316).
このようにして、検出対象画像が歩行者の画像か否かを判定する。歩行者と判定された場合は、その検出対象画像に対応する探索窓の位置とサイズを記憶しておくことで、全体画像における歩行者の位置を得ることができる（Ｓ２０８） In this way, it is determined whether the detection target image is a pedestrian image. When it is determined that the person is a pedestrian, the position and size of the search window corresponding to the detection target image can be stored to obtain the position of the pedestrian in the entire image (S208).
ステップＳ２０２でのすべての領域について全ての検出対象画像を処理（全ての縮小画像に対して、左上から右下まで全て処理）したか、否かを判定する（Ｓ２１０）。全ての検出対象画像について、ステップＳ２０６及びＳ２０８の一連の処理が実施されていれば、ステップＳ２１２へ進む。一方、全て実施されていない場合には、ステップＳ２０２へ戻り、次の検出対象画像の位置及びサイズを設定する（Ｓ２１０）。 It is determined whether or not all detection target images have been processed for all the regions in step S202 (all processing from the upper left to the lower right for all reduced images) (S210). If a series of processes of steps S206 and S208 have been performed for all detection target images, the process proceeds to step S212. On the other hand, if not all are performed, the process returns to step S202, and the position and size of the next detection target image are set (S210).
ステップＳ２１０において、一の歩行者に対して複数重複検出された場合には、検出結果を統合する（Ｓ２１２）。そして、検出結果に応じた運転支援又は視覚補助を行う（Ｓ２１４）。 In step S210, when a plurality of duplicates are detected for one pedestrian, the detection results are integrated (S212). Then, driving assistance or visual assistance according to the detection result is performed (S214).
図１２は、警告画像表示の一例を示す図である。図１２では、検出された歩行者のサイズと位置に基づいて、歩行者を包含する矩形枠が設定され、赤外線カメラから得られた赤外線画像に描画されている。 FIG. 12 is a diagram illustrating an example of warning image display. In FIG. 12, a rectangular frame including a pedestrian is set based on the detected size and position of the pedestrian, and is drawn on an infrared image obtained from an infrared camera.
このとき、歩行者検出結果から歩行者の位置が強調表示するような描画画像が用意される。例えば、赤外線画像として得られている車両前方映像に、歩行者として判定された箇所を矩形で強調表示したり、運転手に危険を警告するためにディスプレイ１３０をフラッシュさせたりする画像を用意する。それ以外にも、運転者に危険を警告する方法などとして、ブレーキを軽くかけるなどの運転支援や、フロントライトの角度を変えたりする視覚補助動作を実施することもできる。 At this time, a drawing image in which the position of the pedestrian is highlighted from the pedestrian detection result is prepared. For example, in the vehicle front image obtained as an infrared image, an image that highlights a portion determined as a pedestrian with a rectangle or flashes the display 130 to warn the driver of danger is prepared. In addition, as a method for warning the driver of danger, driving assistance such as applying a brake lightly or visual assistance operation such as changing the angle of the front light can be performed.
ところで、例えば、仮に、テンプレート手法を用いて検出対象物の検出を行った場合、次のような問題があった。すなわち、実環境下では、歩行者パターンは大きさ、姿勢、表面温度等の変動が同時に発生する。それに伴いテンプレートの数を増やすと、歩行者以外の建物や信号、街路灯などの構造物の画像が、歩行者の像として検出され、誤検出を招く可能性が高くなっていた。これに対して、上述の本手法であると、テンプレートの数の増加による誤検出等が発生せず、適切に歩行者などの検出対象物を検出することができる。 By the way, for example, when the detection target is detected using the template method, there is the following problem. That is, in a real environment, the pedestrian pattern changes simultaneously in the size, posture, surface temperature, and the like. Accordingly, when the number of templates is increased, images of structures other than pedestrians, signals, structures such as street lamps are detected as pedestrian images, and there is a high possibility of causing erroneous detection. On the other hand, with the above-described method, erroneous detection due to an increase in the number of templates does not occur, and a detection target such as a pedestrian can be detected appropriately.
図１３は、赤外線カメラで歩行者を撮像した赤外線画像の一例を示す図である。車両に設置された赤外線カメラで車両前方を撮像したものを、歩行者を含む所定比率（縦横比）で切り抜くことで、このような赤外線画像が得られる。車道環境での歩行者は、向き（正面、背面、側面）の違いや、姿勢（脚を開いた状態、脚を閉じた状態）の違いがあり、見た目の変化が大きい。道路環境でのさまざまな形状変動に対応する方法として、さまざまなテンプレート画像を用意しておくと歩行者以外のものまでが検出されてしまい検出精度が低下する。つまり、学習モデルを予め複数用意すると、選択する際の精度及び速度が課題になる。 FIG. 13 is a diagram illustrating an example of an infrared image obtained by imaging a pedestrian with an infrared camera. Such an infrared image can be obtained by clipping an image taken in front of the vehicle with an infrared camera installed in the vehicle at a predetermined ratio (aspect ratio) including a pedestrian. Pedestrians in a roadway environment have different orientations (front, back, side) and postures (open legs, closed legs), and the appearance changes greatly. If various template images are prepared as a method for dealing with various shape fluctuations in the road environment, objects other than pedestrians are detected, and the detection accuracy decreases. That is, if a plurality of learning models are prepared in advance, the accuracy and speed when selecting them become problems.
そこで、以下のような手法を用いることにより、一度検出できた歩行者を追従することで歩行者検出の精度を維持させる。 Therefore, the accuracy of pedestrian detection is maintained by following a pedestrian that has been detected once by using the following method.
図１４は、学習処理（追跡モデル）のフローチャートである。学習処理（追跡モデル）を実行する前提として、予め、任意フレーム数前の検出対象画像が記憶されているものとする。すなわち、過去に検出処理を行った検出対象画像が記憶されていることになる。 FIG. 14 is a flowchart of the learning process (tracking model). As a premise for executing the learning process (tracking model), it is assumed that the detection target images before an arbitrary number of frames are stored in advance. That is, a detection target image that has been subjected to detection processing in the past is stored.
まず、検出対象画像の読み込みが行われる（Ｓ４０２）。ここでは、前述のように前提として記憶されている過去の検出対象画像が読み込まれる。具体的には、時間変数ｉとしたとき、ｉ−１、ｉ−２、・・・の検出対象画像が読み込まれる（以下、時間変数ｉの検出対象画像を「ｉフレーム」と呼ぶことがある）。 First, the detection target image is read (S402). Here, the past detection target images stored as the premise as described above are read. Specifically, when the time variable i is set, detection target images i-1, i-2,... Are read (hereinafter, the detection target image of the time variable i may be referred to as “i frame”). ).
次に、ステップＳ４０２で読み込んだ検出対象画像の特徴量が求められる（Ｓ４０４）。なお、前述のように、本実施形態において特徴量は、各特定領域のエッジ強度加算値である。 Next, the feature amount of the detection target image read in step S402 is obtained (S404). Note that, as described above, in the present embodiment, the feature amount is an edge strength addition value of each specific region.
次に、特徴量の変化量が求められる（Ｓ４０６）。変化量の算出では、一フレーム前と検出対象画像のエッジ強度加算値を特定領域毎に比較し差分が求められる。例えば、ｉ−１フレーム目とｉ−２フレーム目については、ｆｉ−１（ｋｔ１，ｋｔ２）とｆｉ−２（ｋｔ１，ｋｔ２）で比較し差分が求められ、ｉ−２フレーム目とｉ−３フレーム目については、ｆｉ−２（ｋｔ１，ｋｔ２）とｆｉ−３（ｋｔ１，ｋｔ２）で比較し差分が求められる。 Next, a change amount of the feature amount is obtained (S406). In the calculation of the amount of change, the difference is obtained by comparing the edge intensity addition values of the previous frame and the detection target image for each specific region. For example, for the i-1 frame and the i-2 frame, a difference is obtained by comparing f i-1 (k t1 , k t2 ) and f i-2 (k t1 , k t2 ). As for the frame and i-3 frame, the difference is obtained by comparing f i-2 (k t1 , k t2 ) and f i-3 (k t1 , k t2 ).
次に、学習が行われる（Ｓ４０８）。ここで行われる学習は、過去の学習結果の更新である。ステップＳ４０８では、ステップＳ４０６において求められた変化量に着目し、その変化量が大きいものは、パラメーターであるθｔ、及び、αｔを大きく変更させていく（Ｓ４０８）。一方、変化量が小さいものは、パラメーターθｔ、及び、αｔを小さく変更させていく。また、過去の複数のフレームを用いているため、時間変化ｉに応じて影響度の重みも減少させていく。 Next, learning is performed (S408). The learning performed here is an update of a past learning result. In step S408, paying attention to the amount of change obtained in step S406, those having a large amount of change greatly change the parameters θ t and α t (S408). On the other hand, when the amount of change is small, the parameters θ t and α t are changed to be small. In addition, since a plurality of past frames are used, the influence weight is reduced according to the time change i.
一般式は、以下のようになり、識別関数Ｈｔ（Ｘ）を表現するパラメーターαｔ、及び、θｔが更新されることで、歩行者毎に対応した追跡用の判別式が決定される。
β：学習係数
Ｉ：対象フレーム数
The general formula is as follows, and the parameters α t and θ t representing the discriminant function H t (X) are updated to determine the tracking discriminant corresponding to each pedestrian. .
β: Learning coefficient I: Number of target frames
次に、学習結果が保存される（Ｓ４１０）。具体的には、ステップＳ４０８で更新された各種パラメーターが学習結果として保存される（Ｓ４１０）。また、追従する歩行者が分かるように検出対象画像の位置（ｘ、ｙ）もあわせて記憶される。 Next, the learning result is stored (S410). Specifically, the various parameters updated in step S408 are stored as learning results (S410). Further, the position (x, y) of the detection target image is also stored so that the following pedestrian can be understood.
図１５は、全体画像における追跡走査方法の説明図である。まず、図１５を用いて追跡検出の概略について説明する。図１５には、赤外線カメラで車両前方を撮像した赤外線画像において、２名の歩行者が道路を横断している様子が示されている。映像は、複数のフレーム（全体画像のｉ−２フレーム、ｉ−１フレーム、ｉフレーム）で構成されており、ｉフレーム目の全体画像において歩行者を検出するものとする。 FIG. 15 is an explanatory diagram of the tracking scanning method for the entire image. First, an outline of tracking detection will be described with reference to FIG. FIG. 15 shows a state in which two pedestrians cross the road in an infrared image obtained by imaging the front of the vehicle with an infrared camera. The video is composed of a plurality of frames (i-2 frame, i-1 frame, i frame of the entire image), and a pedestrian is detected in the entire image of the i frame.
図１５に示されるように、歩行者判定をする際に用いる検索窓Ｗを、左上から右下へと順に移動させていき、探索窓Ｗ毎に歩行者が存在するか否かを判定していく。また、一定間隔で全体画像を縮小した縮小画像を繰り返し作成していくことで、歩行者と車両との距離関係が遠距離から近距離までに対応した検出を実現する。 As shown in FIG. 15, the search window W used when determining the pedestrian is moved in order from the upper left to the lower right, and it is determined whether there is a pedestrian for each search window W. Go. In addition, by repeatedly creating a reduced image obtained by reducing the entire image at regular intervals, the distance relationship between the pedestrian and the vehicle can be detected from a long distance to a short distance.
前述のように、ｉフレーム目を検出するために、ｉフレームよりも前の検出結果（図１５では、ｉ−２フレームとｉ−１フレームの２つのフレームの検出結果）に基づいて求められた学習結果（追跡モデル）が用意されている。また、前フレームで検出された検出対象画像の領域を含む周辺領域が追跡領域Ｒとされる。そして、探索窓Ｗが追跡領域Ｒに入った際は、学習結果（追跡モデル）を用いて歩行者判定が行われる。それ以外の領域に探索窓Ｗが入った際は、学習モデル（検出モデル）を用いて歩行者判定が行われる。その後、判定に応じた処理が行われる。 As described above, in order to detect the i-th frame, the detection is performed based on the detection results before the i-frame (in FIG. 15, the detection results of two frames, i-2 frame and i-1 frame). Learning results (tracking model) are prepared. Further, the peripheral region including the region of the detection target image detected in the previous frame is set as the tracking region R. When the search window W enters the tracking region R, pedestrian determination is performed using the learning result (tracking model). When the search window W enters the other area, pedestrian determination is performed using a learning model (detection model). Thereafter, processing according to the determination is performed.
図１６は、追跡検出のフローチャートである。以下、本フローチャートを参照しつつ追跡検出について説明する。
まず、全体画像から検出対象画像の位置及びサイズが選択される（Ｓ５０２）。全体画像から検出対象画像の位置及びサイズが選択される手法については、図９のステップＳ２０２とほぼ同様の処理であるので説明を省略する。
FIG. 16 is a flowchart of tracking detection. Hereinafter, tracking detection will be described with reference to this flowchart.
First, the position and size of the detection target image are selected from the entire image (S502). The method for selecting the position and size of the detection target image from the entire image is substantially the same as step S202 in FIG.
次に、ステップＳ５０２で選択された検出対象画像が読み込まれる（Ｓ５０４）。また、検出対象画像の特徴量の算出が行われる（Ｓ５０６）。特徴量の算出は、前述の図８のステップＳ１０４における処理と同様の手法により行われる。 Next, the detection target image selected in step S502 is read (S504). Further, the feature amount of the detection target image is calculated (S506). The calculation of the feature amount is performed by the same method as the process in step S104 of FIG.
次に、ステップＳ５０２で選択された検出対象画像が、ｉ−１フレームの（歩行者と判定された）検出結果の追跡領域Ｒに含まれている場合は、ステップＳ５１０に進み、含まれていない場合にはステップＳ５１２へ進む（Ｓ５０８）。なお、追跡領域Ｒは、複数の縮小画像に対して適用することが望ましい。車両の移動速度が速い場合は、検出すべき縮小画像が小さくなるし、右左折際には左右に大きく画像が移動するが、このように追跡領域を定義することで追跡もれがないようにすることができる。 Next, when the detection target image selected in step S502 is included in the tracking region R of the detection result (determined to be a pedestrian) in the i-1 frame, the process proceeds to step S510 and is not included. In this case, the process proceeds to step S512 (S508). The tracking region R is preferably applied to a plurality of reduced images. When the moving speed of the vehicle is fast, the reduced image to be detected becomes small, and when turning right or left, the image moves greatly to the left and right, but by defining the tracking area in this way, there is no tracking error can do.
ステップＳ５１０では、歩行者検出処理が行われる。歩行者検出処理は、図１１に示す手法と同様である。但し、ここでは、図１４の学習処理（追跡モデル）において求められた学習結果が用いられ、歩行者検出処理が行われることになる。そして、検出対象画像において、歩行者が検出された場合には、探索窓の位置とサイズを記憶しておくことで、全体画像における歩行者の位置を得ることができる。 In step S510, pedestrian detection processing is performed. The pedestrian detection process is the same as the method shown in FIG. However, here, the learning result obtained in the learning process (tracking model) in FIG. 14 is used, and the pedestrian detection process is performed. When a pedestrian is detected in the detection target image, the position and size of the search window can be stored to obtain the pedestrian position in the entire image.
一方、ステップＳ５１２では、学習処理（検出モデル）において求められた学習結果が用いられ、歩行者検出処理が行われる。学習処理（検出モデル）において求められた学習結果は、図８を用いて説明したものである。そして、ここでも、検出対象画像において、歩行者が検出された場合には、探索窓の位置とサイズを記憶しておく。 On the other hand, in step S512, the learning result obtained in the learning process (detection model) is used, and the pedestrian detection process is performed. The learning result obtained in the learning process (detection model) has been described with reference to FIG. Also here, when a pedestrian is detected in the detection target image, the position and size of the search window are stored.
ステップＳ５０２でのすべての領域について全ての検出対象画像を処理（全ての縮小画像に対して、左上から右下まで全て処理）したか、否かを判定する（Ｓ５１４）。全ての検出対象画像について、Ｓ５０６、Ｓ５１０又はＳ５１２の一連の処理が実施されていれば、ステップＳ５１６へ進む。処理が未実施の場合は、ステップＳ５０２へ戻り、次の検出対象画像の位置及びサイズを設定する（Ｓ５１４）。 It is determined whether or not all detection target images have been processed for all the regions in step S502 (all processing from the upper left to the lower right for all reduced images) (S514). If a series of processes of S506, S510, or S512 has been performed for all the detection target images, the process proceeds to step S516. If the process has not been performed, the process returns to step S502 to set the position and size of the next detection target image (S514).
ステップＳ５１０又はＳ５１２において一の歩行者に対して複数重複検出された場合には、検出結果を統合する（Ｓ５１８）。また、ステップＳ５１０又はＳ５１２において歩行者が検出された場合には、図１４の学習処理（追跡モデル）が実行され、学習結果の更新が行われる。 If a plurality of duplicates are detected for one pedestrian in step S510 or S512, the detection results are integrated (S518). If a pedestrian is detected in step S510 or S512, the learning process (tracking model) in FIG. 14 is executed, and the learning result is updated.
歩行者検知結果から歩行者の位置を強調表示するような描画画像を用意する（Ｓ５１８）。例えば、図１２を用いて説明したように、赤外線画像として得られている車両前方映像に、歩行者として判定された箇所を矩形で強調表示したり（図１２）、運転手に危険を警告するためにディスプレイをフラッシュさせたりする画像を用意することができる。 A drawing image for highlighting the position of the pedestrian is prepared from the pedestrian detection result (S518). For example, as described with reference to FIG. 12, a portion determined as a pedestrian is highlighted in a rectangle on the vehicle front image obtained as an infrared image (FIG. 12), or the driver is warned of danger. Therefore, it is possible to prepare an image for flashing the display.
このように、歩行者の検出を行おうとしている検出対象画像（ｉフレーム）よりも前に生成された検出対象画像（ｉ−２フレームとｉ−１フレーム）の特徴量の変化量に基づいてパラメーターの値を更新する。そして、ｉ−１フレームにおいて歩行者を検出した検出対象画像の周辺（追跡領域Ｒ）でｉフレームの歩行者検出処理を行う場合には、更新されたパラメーターの値を含むサブ識別器を用いて検出対象画像における歩行者の検出を行うので、過去の検出対象物の変化に応じて適したサブ識別器を用いることができ、より適切に検出対象物を検出することができる。 As described above, based on the amount of change in the feature amount of the detection target image (i-2 frame and i-1 frame) generated before the detection target image (i frame) about to detect a pedestrian. Update the parameter value. And when performing the i-frame pedestrian detection process in the periphery (tracking area | region R) of the detection target image which detected the pedestrian in i-1 frame, it uses the sub discriminator containing the value of the updated parameter. Since pedestrians are detected in the detection target image, a suitable sub-classifier can be used in accordance with past changes in the detection target, and the detection target can be detected more appropriately.
上記の実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれることは言うまでもない。 The above-described embodiments are for facilitating the understanding of the present invention, and are not intended to limit the present invention. The present invention can be changed and improved without departing from the gist thereof, and it is needless to say that the present invention includes equivalents thereof.
１ 歩行者検出システム、
１１０ 赤外線カメラ、１１１ 撮像部、１１２ Ａ／Ｄ変換部、
１２０ 歩行者検出装置、
１２１ 画像格納部、１２２ 特徴量抽出部、１２３ 歩行者判定部、
１２４ 表示制御部、１２５ 歩行者テーブル格納部、
１３０ 表示部、
１２０１ 画像処理ボード、１２０２ ＣＰＵ、１２０３ ＲＡＭ、
２１０ 赤外線カメラ、２１１ 撮像部、１１２ Ａ／Ｄ変換部、
２２０ 歩行者学習装置、
２２１ 画像格納部、２２２ 特徴量抽出部、２２８ 学習部
1 pedestrian detection system,
110 infrared camera, 111 imaging unit, 112 A / D conversion unit,
120 pedestrian detection device,
121 image storage unit, 122 feature amount extraction unit, 123 pedestrian determination unit,
124 display control unit, 125 pedestrian table storage unit,
130 display unit,
1201 Image processing board, 1202 CPU, 1203 RAM,
210 Infrared camera, 211 imaging unit, 112 A / D conversion unit,
220 pedestrian learning device,
221 image storage unit, 222 feature amount extraction unit, 228 learning unit
Claims (9)
前記検出対象画像から検出対象物を検出することに用いる学習済みの検出器であって、前記検出対象画像の特定領域毎に用意されたサブ識別器を有する検出器と、を備え、
前記サブ識別器は、パラメーターと前記特定領域における特徴量とに基づいて前記検出対象画像が前記検出対象物を含むことの度合いを出力し、
前記検出器は、前記検出対象画像のうち前記検出対象物が検出された第１検出対象画像と、該第１検出対象画像の後に生成され前記検出対象物が検出された第２検出対象画像と、の間に生ずる特徴量の変化量を前記特定領域毎に求め、前記特徴量の変化量に応じて前記サブ識別器のパラメーターを変更し、前記パラメーターが変更されたサブ識別器の出力に基づいて、前記第２検出対象画像よりも後に生成された第３検出対象画像における検出対象物の検出を行う、検出装置。 An image generation unit for generating a detection target image corresponding to the output of the sensor;
A learned detector used for detecting a detection target from the detection target image, comprising a sub-classifier prepared for each specific region of the detection target image, and
The sub classifier outputs a degree of the detection target image including the detection target object based on a parameter and a feature amount in the specific region,
The detector includes a first detection target image in which the detection target is detected in the detection target image, and a second detection target image that is generated after the first detection target image and in which the detection target is detected. , A change amount of the feature amount generated between and is determined for each of the specific regions, a parameter of the sub discriminator is changed according to the change amount of the feature amount, and based on an output of the sub discriminator in which the parameter is changed A detection device that detects a detection target in a third detection target image generated after the second detection target image.
前記第３検出対象画像は、前記全体領域において前記第２検出対象画像がクロッピングされた位置から所定範囲内の位置においてクロッピングされた画像である、請求項１に記載の検出装置。 The detection target image is an image that is partly cropped from the image of the entire area output by the sensor,
The detection device according to claim 1, wherein the third detection target image is an image that is cropped at a position within a predetermined range from a position where the second detection target image is cropped in the entire region.
前記サブ識別器において、前記検出対象画像の特定領域における前記エッジ強度加算値と前記閾値とに基づいて、前記検出対象物を含むことの度合いが出力され、
前記パラメーターには、前記閾値が含まれる、請求項４又は５に記載の検出装置。 Learning to obtain an edge strength addition value for each specific region of a plurality of learning images, to obtain an appearance frequency of the edge strength addition value for each of the specific regions, and to obtain a threshold value of the edge strength addition value according to the appearance frequency Performed for each sub-classifier,
In the sub classifier, the degree of inclusion of the detection object is output based on the edge intensity addition value and the threshold value in a specific region of the detection object image,
The detection device according to claim 4, wherein the parameter includes the threshold value.
前記検出対象画像の特定領域毎に用意されたサブ識別器を有する検出器を用いて前記検出対象画像から検出対象物を検出するステップと、を含み、
前記サブ識別器は、パラメーターと前記特定領域における特徴量とに基づいて前記検出対象画像が前記検出対象物を含むことの度合いを出力し、
前記検出器は、前記検出対象画像のうち前記検出対象物が検出された第１検出対象画像と、該第１検出対象画像の後に生成され前記検出対象物が検出された第２検出対象画像と、の間に生ずる特徴量の変化量を前記特定領域毎に求め、前記特徴量の変化量に応じて前記サブ識別器のパラメーターを変更し、前記パラメーターが変更されたサブ識別器の出力に基づいて、前記第２検出対象画像よりも後に生成された第３検出対象画像における検出対象物の検出を行う、検出方法。 Generating a detection target image corresponding to the output of the sensor;
Detecting a detection target object from the detection target image using a detector having a sub-identifier prepared for each specific region of the detection target image, and
The sub classifier outputs a degree of the detection target image including the detection target object based on a parameter and a feature amount in the specific region,
The detector includes a first detection target image in which the detection target is detected in the detection target image, and a second detection target image that is generated after the first detection target image and in which the detection target is detected. , A change amount of the feature amount generated between and is determined for each of the specific regions, a parameter of the sub discriminator is changed according to the change amount of the feature amount, and based on an output of the sub discriminator in which the parameter is changed A detection method of detecting a detection target in a third detection target image generated after the second detection target image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011286266A JP5790487B2 (en) | 2011-12-27 | 2011-12-27 | DETECTING DEVICE, DETECTING METHOD, AND VEHICLE |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011286266A JP5790487B2 (en) | 2011-12-27 | 2011-12-27 | DETECTING DEVICE, DETECTING METHOD, AND VEHICLE |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2013134703A JP2013134703A (en) | 2013-07-08 |
| JP2013134703A5 JP2013134703A5 (en) | 2015-01-15 |
| JP5790487B2 true JP5790487B2 (en) | 2015-10-07 |
Family
ID=48911329
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011286266A Expired - Fee Related JP5790487B2 (en) | 2011-12-27 | 2011-12-27 | DETECTING DEVICE, DETECTING METHOD, AND VEHICLE |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5790487B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112424849B (en) * | 2019-01-02 | 2023-08-04 | 松下电器（美国）知识产权公司 | Information processing apparatus, information processing method, and recording medium |
-
2011
- 2011-12-27 JP JP2011286266A patent/JP5790487B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2013134703A (en) | 2013-07-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11144786B2 (en) | Information processing apparatus, method for controlling information processing apparatus, and storage medium | |
| CN109146929B (en) | Object identification and registration method based on event-triggered camera and three-dimensional laser radar fusion system | |
| JP5423631B2 (en) | Image recognition device | |
| US10025998B1 (en) | Object detection using candidate object alignment | |
| CN104378582B (en) | A kind of intelligent video analysis system and method cruised based on Pan/Tilt/Zoom camera | |
| JP4482599B2 (en) | Vehicle periphery monitoring device | |
| CN103902976B (en) | A kind of pedestrian detection method based on infrared image | |
| US8774532B2 (en) | Calibration of video object classification | |
| JP5867807B2 (en) | Vehicle identification device | |
| CN109409186B (en) | Driver assistance system and method for object detection and notification | |
| US20050100192A1 (en) | Moving object detection using low illumination depth capable computer vision | |
| JP2007334751A (en) | Vehicle periphery monitoring device | |
| JP2018063680A (en) | Traffic signal recognition method and traffic signal recognition device | |
| CN104050620A (en) | Object detection apparatus | |
| JP6095817B1 (en) | Object detection device | |
| JP4577153B2 (en) | Environment recognition device | |
| EP2124194B1 (en) | Method of detecting objects | |
| WO2008020544A1 (en) | Vehicle detection device, vehicle detection method, and vehicle detection program | |
| CN111967396A (en) | Processing method, device and equipment for obstacle detection and storage medium | |
| JP2005311691A (en) | Apparatus and method for detecting object | |
| CN115376108A (en) | Obstacle detection method and device in complex weather | |
| US9727780B2 (en) | Pedestrian detecting system | |
| JP5790487B2 (en) | DETECTING DEVICE, DETECTING METHOD, AND VEHICLE | |
| CN108256444B (en) | Target detection method for vehicle-mounted vision system | |
| Mori et al. | Classification of pole-like objects using point clouds and images captured by mobile mapping systems |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141121 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141121 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150629 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150707 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150720 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5790487 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |