JP4842301B2 - Pedestrian detection device and program - Google Patents

Pedestrian detection device and program Download PDF

Info

Publication number
JP4842301B2
JP4842301B2 JP2008172331A JP2008172331A JP4842301B2 JP 4842301 B2 JP4842301 B2 JP 4842301B2 JP 2008172331 A JP2008172331 A JP 2008172331A JP 2008172331 A JP2008172331 A JP 2008172331A JP 4842301 B2 JP4842301 B2 JP 4842301B2
Authority
JP
Japan
Prior art keywords
image
edge
pedestrian
extracted
end region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008172331A
Other languages
Japanese (ja)
Other versions
JP2010015235A (en
Inventor
誠良 平塚
晃一郎 山口
伸征 白木
映夫 深町
祥一 早坂
祥雅 原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Toyota Motor Corp
Toyota Central R&D Labs Inc
Original Assignee
Denso Corp
Toyota Motor Corp
Toyota Central R&D Labs Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp, Toyota Motor Corp, Toyota Central R&D Labs Inc filed Critical Denso Corp
Priority to JP2008172331A priority Critical patent/JP4842301B2/en
Publication of JP2010015235A publication Critical patent/JP2010015235A/en
Application granted granted Critical
Publication of JP4842301B2 publication Critical patent/JP4842301B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、歩行者検出装置及びプログラムに係り、特に、撮像した画像から歩行者を検出する歩行者検出装置及びプログラムに関する。   The present invention relates to a pedestrian detection apparatus and program, and more particularly to a pedestrian detection apparatus and program for detecting a pedestrian from a captured image.

近年、車載カメラで撮像した車両周辺の映像を画像処理し、歩行者などの対象物を検出してドライバに検出結果を提示する対象物検出装置を搭載する車両が増加している。   2. Description of the Related Art In recent years, an increasing number of vehicles are equipped with an object detection device that performs image processing on an image around a vehicle imaged by an in-vehicle camera, detects an object such as a pedestrian, and presents a detection result to a driver.

歩行者を検出する方法として、例えば、撮像画像と歩行者を示すパターン画像とのマッチングを行って歩行者を検出する方法が知られている。この方法では、図12に示すようなガードレールの端部(a)や支柱部(b)を歩行者として誤検出してしまう場合がある。   As a method for detecting a pedestrian, for example, a method for detecting a pedestrian by matching a captured image with a pattern image indicating the pedestrian is known. In this method, the end (a) and the support (b) of the guardrail as shown in FIG. 12 may be erroneously detected as a pedestrian.

そこで、ガードレールを検出する装置として、特許文献1では、車両後方を撮像し、移動物体を認識するときに、全画素の濃度微分値を二値化してエッジパターンからなる二値化画像を形成し、撮像方向の一点に対応する拡大焦点からの放射状のラインに並ぶエッジ列をガードレール候補として、このエッジ列の出現周期からガードレールであるか否かを判断することによりガードレールを検出する対象物検出装置が提案されている。   Therefore, as an apparatus for detecting a guardrail, Patent Document 1 forms a binarized image including an edge pattern by binarizing density differential values of all the pixels when imaging a vehicle rear and recognizing a moving object. An object detection device for detecting a guardrail by determining whether or not it is a guardrail from an appearance cycle of this edge row, using an edge row aligned with a radial line from an enlarged focus corresponding to one point in the imaging direction as a guardrail candidate Has been proposed.

また、特許文献2では、ガードレールなどを車両が走行する道路面から直線上に起立した部位を有する対象物として認識するときに、2台のカメラを用いて異なる時系列的に撮像したときに、一方のカメラで撮像した画像平面で、車両の走行に起因した経時的な変化方向と異なる方向に延在する直線要素を含むエリアを第一の選択領域とし、第一の選択領域が他方のカメラの撮像タイミングにおける移動先として推定される領域を第二の選択領域として、第一の選択領域と第二の選択領域の相関の有無から対象物(ガードレールなど)として判断する対象物検出装置が提案されている。
特開2003−162710号公報 特開2004−013400号公報
Further, in Patent Document 2, when recognizing a guard rail or the like as an object having a portion standing on a straight line from the road surface on which the vehicle travels, when images are taken in different time series using two cameras, An area including a linear element extending in a direction different from the temporal change direction caused by the running of the vehicle on the image plane captured by one camera is set as the first selection area, and the first selection area is the other camera. Proposed an object detection device that uses the area estimated as the movement destination at the imaging timing as the second selection area, and determines the object (such as a guardrail) from the presence or absence of correlation between the first selection area and the second selection area Has been.
JP 2003-162710 A JP 2004-013400 A

しかしながら、特許文献1及び特許文献2の対象物検出装置では、主に、ガードレールを対向車線や追い越し車線を走行する車両と誤検出することを防止することを目的としており、また、時系列処理で入力される複数の画像を必要とするため、処理が複雑になる、という問題がある。   However, the object detection devices of Patent Document 1 and Patent Document 2 are mainly intended to prevent erroneous detection of the guardrail as a vehicle traveling in an oncoming lane or an overtaking lane, and in time series processing. Since a plurality of input images are required, there is a problem that the processing becomes complicated.

本発明は、上述した問題を解決するために提案されたものであり、簡易かつ高速な処理で誤検出を防止して、歩行者を検出する精度を向上させることができる歩行者検出装置及びプログラムを提供することを目的とする。   The present invention has been proposed to solve the above-described problem, and a pedestrian detection apparatus and program capable of improving the accuracy of detecting a pedestrian by preventing erroneous detection through simple and high-speed processing. The purpose is to provide.

上記目的を達成するために本発明の歩行者検出装置は、入力画像から矩形領域の画像を抽出する抽出手段と、前記抽出手段により抽出された抽出画像と歩行者のパターン画像とを照合して、前記抽出画像が歩行者を検出するための候補画像であるか否かを判定する候補画像判定手段と、前記入力画像の消失点を検出する消失点検出手段と、前記候補画像判定手段により候補画像であると判定された抽出画像の前記消失点検出手段で検出された消失点に近い端部領域にエッジが存在するか否かを判定するエッジ判定手段と、前記エッジ判定手段により、前記端部領域にエッジが存在しないと判定された抽出画像を歩行者を示す画像として決定する決定手段と、を含んで構成されている。   In order to achieve the above object, a pedestrian detection apparatus according to the present invention includes an extraction unit that extracts an image of a rectangular area from an input image, and collates the extracted image extracted by the extraction unit with a pedestrian pattern image. Candidate image determination means for determining whether or not the extracted image is a candidate image for detecting a pedestrian, vanishing point detection means for detecting a vanishing point of the input image, and candidate image determination means An edge determination unit that determines whether or not an edge exists in an end region close to the vanishing point detected by the vanishing point detection unit of the extracted image determined to be an image, and the edge determination unit Determining means for determining an extracted image determined to have no edge in the partial area as an image indicating a pedestrian.

本発明の歩行者検出装置によれば、抽出手段が、入力画像から矩形領域の画像を抽出し、候補画像判定手段が、抽出手段により抽出された抽出画像と歩行者のパターン画像とを照合して、抽出画像が歩行者を検出するための候補画像であるか否かを判定する。ここで、明らかに歩行者のパターン画像と一致しないものは候補画像として判定されることはないが、ガードレールの端部や支柱部の画像が候補画像であると判定される場合もある。   According to the pedestrian detection device of the present invention, the extraction unit extracts an image of a rectangular area from the input image, and the candidate image determination unit collates the extracted image extracted by the extraction unit with the pedestrian pattern image. Then, it is determined whether or not the extracted image is a candidate image for detecting a pedestrian. Here, an image that clearly does not match the pattern image of the pedestrian is not determined as a candidate image, but an image of the end portion of the guardrail or the column portion may be determined as a candidate image.

そこで、消失点検出手段が、入力画像の消失点を検出し、エッジ判定手段が、候補画像判定手段により候補画像であると判定された抽出画像の消失点検出手段で検出された消失点に近い端部領域にエッジが存在するか否かを判定する。入力画像中でガードレールのバー部は消失点に向かう直線として表れるため、抽出画像の消失点に近い側の端部領域にエッジが存在する場合には、抽出画像の示す物体はガードレールであると判断することができる。そこで、決定手段が、エッジ判定手段により、端部領域にエッジが存在しないと判定された抽出画像を歩行者を示す画像として決定する。   Therefore, the vanishing point detecting unit detects the vanishing point of the input image, and the edge determining unit is close to the vanishing point detected by the vanishing point detecting unit of the extracted image determined to be a candidate image by the candidate image determining unit. It is determined whether or not an edge exists in the end region. Since the bar portion of the guardrail appears as a straight line toward the vanishing point in the input image, if an edge exists in the end region near the vanishing point of the extracted image, the object indicated by the extracted image is determined to be a guardrail. can do. Therefore, the determining unit determines the extracted image determined by the edge determining unit as having no edge in the end region as an image indicating a pedestrian.

このように、抽出画像の端部領域にエッジが存在するか否かを判定するだけで、歩行者の候補画像の中からガードレールの特徴を示していない候補画像を歩行者を示す画像として決定するため、簡易かつ高速な処理で誤検出を防止して、歩行者を検出する精度を向上させることができる。   As described above, a candidate image not showing the characteristics of the guardrail is determined as an image showing the pedestrian from the candidate images of the pedestrian only by determining whether or not an edge exists in the end region of the extracted image. Therefore, erroneous detection can be prevented by simple and high-speed processing, and the accuracy of detecting a pedestrian can be improved.

また、本発明の歩行者検出装置の前記エッジ判定手段は、前記端部領域に前記消失点の方向に伸びる所定間隔の一対の平行なエッジが抽出された場合に、前記端部領域にエッジが存在すると判定するようにすることができる。このように、ガードレールのバー部を表すものと考えられる消失点の方向に伸びる所定間隔の一対の平行なエッジが抽出された場合に、端部領域にエッジが存在すると判定することにより、ガードレールの特徴をより的確に捉えることができるため、より誤検出を防止して歩行者を検出する精度を向上させることができる。   The edge determination means of the pedestrian detection device of the present invention may be configured such that when a pair of parallel edges with a predetermined interval extending in the direction of the vanishing point is extracted in the end region, the end region has an edge. It can be determined that it exists. Thus, when a pair of parallel edges with a predetermined interval extending in the direction of the vanishing point considered to represent the bar portion of the guard rail is extracted, it is determined that the edge exists in the end region, thereby Since the feature can be captured more accurately, it is possible to improve the accuracy of detecting a pedestrian by preventing erroneous detection.

また、本発明の歩行者検出装置の前記エッジ判定手段は、前記端部領域内の2ヶ所以上の部位でエッジが抽出された場合に、前記端部領域にエッジが存在すると判定するようにすることができる。ガードレールにはバー部が2本以上設けられている場合が多いため、エッジ判定手段が、端部領域内の2ヶ所以上の部位でエッジが抽出された場合に、端部領域にエッジが存在すると判定する。このように、ガードレールの特徴をより的確に捉えることができるため、より誤検出を防止して歩行者を検出する精度を向上させることができる。   Further, the edge determination means of the pedestrian detection device of the present invention determines that an edge exists in the end region when the edge is extracted at two or more sites in the end region. be able to. Since the guard rail is often provided with two or more bar portions, when the edge determination means extracts edges at two or more parts in the end region, there is an edge in the end region. judge. In this way, since the characteristics of the guardrail can be grasped more accurately, the accuracy of detecting a pedestrian can be improved by preventing erroneous detection.

また、本発明の歩行者検出装置の前記エッジ判定手段は、更に、前記抽出画像の前記端部領域の外側の領域にエッジが存在するか否かを判定し、前記端部領域及び前記端部領域の外側の領域にエッジが抽出された場合に、前記端部領域にエッジが存在すると判定するようにすることができる。   In addition, the edge determination unit of the pedestrian detection device of the present invention further determines whether or not an edge exists in a region outside the end region of the extracted image, and the end region and the end portion When an edge is extracted in a region outside the region, it can be determined that an edge exists in the end region.

エッジ判定手段が、抽出画像の端部領域の外側の領域においてもエッジが存在するか否かを判定する。ガードレールのバー部は消失点に向かう直線として表れるため、抽出画像の端部領域の外側にもエッジが存在する場合には、端部領域に存在するエッジが消失点の方向に連続していると判断することができる。このように、ガードレールの特徴をより的確に捉えることができるため、より誤検出を防止して歩行者を検出する精度を向上させることができる。   The edge determination means determines whether or not there is an edge in the region outside the end region of the extracted image. Since the bar portion of the guardrail appears as a straight line toward the vanishing point, if there is an edge outside the end region of the extracted image, the edge existing in the end region is continuous in the direction of the vanishing point. Judgment can be made. In this way, since the characteristics of the guardrail can be grasped more accurately, the accuracy of detecting a pedestrian can be improved by preventing erroneous detection.

また、本発明の歩行者検出装置は、抽出画像内に高輝度領域が存在するか否かを判定する高輝度領域判定手段を更に含み、前記決定手段は、前記エッジ判定手段により、エッジが存在しないと判定され、かつ、前記高輝度領域判定手段により、前記高輝度領域が存在しないと判定された抽出画像を歩行者を示す画像として決定するようにすることができる。   The pedestrian detection apparatus of the present invention further includes a high brightness area determination unit that determines whether or not a high brightness area exists in the extracted image. The extracted image that has been determined not to be determined and determined to have no high brightness region by the high brightness region determination means can be determined as an image showing a pedestrian.

ガードレールにはリフレクタが設けられている場合が多く、リフレクタは入力画像で高い輝度値の画素によって所定範囲を占められた領域として表される。そこで、高輝度領域判定手段が、抽出画像内に所定値以上の輝度値を示す画素が所定範囲以上の大きさを占める高輝度領域が存在するか否かを判定し、決定手段が、エッジ判定手段により、エッジが存在しないと判定され、かつ、高輝度領域判定手段により、高輝度領域が存在しないと判定された抽出画像を歩行者を示す画像として決定することにより、より誤検出を防止して歩行者を検出する精度を向上させることができる。   In many cases, the guardrail is provided with a reflector, and the reflector is represented as an area occupied by a pixel having a high luminance value in the input image. Therefore, the high brightness area determination means determines whether or not there is a high brightness area in which a pixel having a brightness value greater than or equal to a predetermined value occupies a size greater than or equal to a predetermined range in the extracted image. By determining the extracted image determined by the means that the edge does not exist and the high-luminance area determining means determined that the high-luminance area does not exist as an image indicating a pedestrian, the erroneous detection is further prevented. The accuracy of detecting pedestrians can be improved.

また、本発明の歩行者検出プログラムは、コンピュータを、上記歩行者検出装置を構成する各手段として機能させるためのものである。   Moreover, the pedestrian detection program of this invention is for making a computer function as each means which comprises the said pedestrian detection apparatus.

以上説明したように、本発明によれば、誤検出を防止して、歩行者を適切に検出することができる、という効果が得られる。   As described above, according to the present invention, it is possible to prevent erroneous detection and to appropriately detect a pedestrian.

以下、図面を参照して本発明の実施の形態を詳細に説明する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

図1に示すように、第1の実施の形態に係る歩行者検出装置10は、識別対象領域を含む範囲を撮像する撮像装置12と、撮像装置12から出力される撮像画像に基づいて歩行者を検出する歩行者検出処理ルーチンを実行するコンピュータ16と、コンピュータ16での処理結果を表示するための表示装置18とを備えている。   As illustrated in FIG. 1, the pedestrian detection device 10 according to the first embodiment includes an imaging device 12 that captures a range including a region to be identified, and a pedestrian based on a captured image output from the imaging device 12. The computer 16 which performs the pedestrian detection process routine which detects this, and the display apparatus 18 for displaying the process result in the computer 16 are provided.

撮像装置12は、識別対象領域を含む範囲を撮像し、画像信号を生成する撮像部(図示省略)と、撮像部で生成されたアナログ信号である画像信号をデジタル信号に変換するA/D変換部(図示省略)と、A/D変換された画像信号を一時的に格納するための画像メモリ(図示省略)とを備えている。   The imaging device 12 captures an area including an identification target region and generates an image signal (not shown), and A / D conversion that converts an analog image signal generated by the imaging unit into a digital signal And an image memory (not shown) for temporarily storing the A / D converted image signal.

コンピュータ16は、歩行者検出装置10全体の制御を司るCPU、後述する歩行者検出処理ルーチンのプログラムを記憶した記憶媒体としてのROM、ワークエリアとしてデータを一時格納するRAM、及びこれらを接続するバスを含んで構成されている。   The computer 16 includes a CPU that controls the pedestrian detection apparatus 10 as a whole, a ROM as a storage medium that stores a program for a pedestrian detection processing routine, which will be described later, a RAM that temporarily stores data as a work area, and a bus that connects them. It is comprised including.

このコンピュータ16をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図1に示すように、撮像装置12により撮像された撮像画像の消失点を検出する消失点検出部22と、撮像装置12により撮像された撮像画像から所定領域を抽出するウインドウ画像抽出部24と、ウインドウ画像抽出部24で抽出された画像が歩行者を検出するための候補画像となるか否かを判定する候補画像判定部26と、候補画像判定部26により候補画像であると判定されたウインドウ画像の端部領域にエッジが存在するか否かを判定するエッジ判定部28と、ウインドウ画像内にリフレクタを示す画像が存在するか否かを画素の輝度値から判定するリフレクタ判定部30と、エッジ判定部28及びリフレクタ判定部30の判定結果に基づいて、候補画像から歩行者を示すウインドウ画像を決定する歩行者画像決定部32と、撮像装置12によって撮像された撮像画像に歩行者画像決定部32での決定結果を重畳させて表示装置18に表示するよう制御する表示制御部34とを含んだ構成で表すことができる。   If the computer 16 is described with functional blocks divided for each function realizing means determined based on hardware and software, as shown in FIG. 1, the disappearance for detecting the vanishing point of the captured image captured by the imaging device 12 is detected. The point detection unit 22, the window image extraction unit 24 that extracts a predetermined area from the captured image captured by the imaging device 12, and the image extracted by the window image extraction unit 24 are candidate images for detecting a pedestrian. A candidate image determination unit 26 that determines whether or not there is an edge determination unit 28 that determines whether or not an edge exists in the edge region of the window image that is determined to be a candidate image by the candidate image determination unit 26; A reflector determination unit 30 that determines whether or not an image showing a reflector exists in the window image from the luminance value of the pixel, an edge determination unit 28, and a reflector Based on the determination result of the Kuta determination unit 30, a pedestrian image determination unit 32 that determines a window image indicating a pedestrian from candidate images, and a determination by the pedestrian image determination unit 32 on a captured image captured by the imaging device 12 It can be expressed by a configuration including a display control unit 34 that controls to superimpose the results and display them on the display device 18.

消失点検出部22は、入力画像中から3次元空間の平行線群の収束点(交点)である消失点を検出する。消失点は、入力画像から色や位置に基づいて車線や路面領域を推定し、この車線や路面領域の直線を延長した交点として検出することができる。なお、車線や路面領域を検出しなくても、入力画像の2値化等の処理を行って、鉛直方向及び水平方向以外の直線成分を検出して消失点を検出してもよい。   The vanishing point detection unit 22 detects a vanishing point that is a convergence point (intersection point) of parallel lines in the three-dimensional space from the input image. The vanishing point can be detected as an intersection obtained by estimating the lane and the road surface area from the input image based on the color and position and extending the straight line of the lane and road surface area. Note that the vanishing point may be detected by performing processing such as binarization of the input image and detecting linear components other than the vertical direction and the horizontal direction without detecting the lane or the road surface area.

ウインドウ画像抽出部24は、撮像画像から歩行者を検出する際に、入力画像から予め定められたサイズのウインドウ(探索ウインドウと呼称)を1ステップにつき、予め定められた移動量(探索ピッチと呼称)だけ移動させながら画像を切り取り、切り取った画像(ウインドウ画像と称呼)から歩行者を検出する。この移動量は、所定数の画素で定められている。また、ウインドウ画像抽出部24は、抽出したウインドウ画像を予め設定された画素数の画像(例えば横16×縦32画素の画像)に変換する。   When the window image extraction unit 24 detects a pedestrian from the captured image, a window having a predetermined size (referred to as a search window) from the input image is determined for each step, and a predetermined movement amount (referred to as a search pitch). ), And the pedestrian is detected from the cut image (referred to as a window image). The amount of movement is determined by a predetermined number of pixels. In addition, the window image extraction unit 24 converts the extracted window image into an image having a preset number of pixels (for example, an image of 16 horizontal x 32 vertical pixels).

候補画像判定部26は、ウインドウ画像抽出部24により抽出されたウインドウ画像に対してパターンマッチングの画像処理を行って、パターン画像とのマッチングにより、ウインドウ画像が検出対象である歩行者の候補画像であるか否かを判定する。パターン画像は、記憶手段としてのハードディスクドライブ(HDD)やCD−ROM等のような内蔵または外付けの記憶媒体に記憶されている。候補画像判定部26で歩行者の候補画像として判定されたウインドウ画像の中には、図12に示すようなガードレールの画像が含まれる場合もある。   The candidate image determination unit 26 performs pattern matching image processing on the window image extracted by the window image extraction unit 24, and is a candidate image of a pedestrian whose window image is a detection target by matching with the pattern image. It is determined whether or not there is. The pattern image is stored in a built-in or external storage medium such as a hard disk drive (HDD) or a CD-ROM as storage means. The window image determined as the candidate image of the pedestrian by the candidate image determination unit 26 may include a guardrail image as shown in FIG.

エッジ判定部28は、候補画像判定部26で歩行者の候補画像として判定されたウインドウ画像の消失点に近い側の端部領域に複数のエッジが存在するか否かを、Haar特徴を用いて算出した輝度情報に基づいて判定する。ガードレールを示す画像は、消失点に近い側の端部領域にエッジが複数存在し、かつそのエッジがウインドウ画像の外側へも連続しているという特徴を示すため、エッジ判定部28は、複数のエッジが存在した端部領域の外側の領域についてもエッジが存在するか否かを、同様の手法により判定する。   The edge determination unit 28 uses the Haar feature to determine whether or not there are a plurality of edges in the end region near the vanishing point of the window image determined as the candidate image of the pedestrian by the candidate image determination unit 26. The determination is made based on the calculated luminance information. Since the image showing the guardrail has a feature that there are a plurality of edges in the end region near the vanishing point and the edges are continuous to the outside of the window image, the edge determination unit 28 has a plurality of edges. Whether or not there is an edge in the region outside the end region where the edge exists is determined by the same method.

リフレクタ判定部30は、ウインドウ画像内の所定値以上の輝度値の画素が所定範囲以上の大きさを占める高輝度領域が存在するか否かを判定する。ガードレールにはリフレクタが設けられている場合が多く、入力画像でリフレクタは高い輝度値を示すため、ウインドウ画像内に高輝度領域が存在する場合には、その高輝度領域は、ガードレールの特徴であるリフレクタであると判定する。   The reflector determination unit 30 determines whether or not there is a high luminance region in which pixels having a luminance value equal to or greater than a predetermined value in the window image occupy a size equal to or greater than a predetermined range. The guard rail is often provided with a reflector, and the reflector shows a high luminance value in the input image. Therefore, if a high luminance area exists in the window image, the high luminance area is a feature of the guard rail. It is determined that it is a reflector.

歩行者画像決定部32は、エッジ判定部28においてエッジなしと判定され、かつ、リフレクタ判定部30でリフレクタなしと判定されたウインドウ画像を歩行者を示す画像であると決定する。   The pedestrian image determination unit 32 determines that the window image determined by the edge determination unit 28 as having no edge and determined by the reflector determination unit 30 as having no reflector is an image indicating a pedestrian.

次に、図2を参照して、本実施の形態の歩行者検出の処理ルーチンについて説明する。   Next, a processing routine for detecting pedestrians according to the present embodiment will be described with reference to FIG.

ステップ100で、撮像装置12で撮像された画像が入力され、次に、ステップ102で、入力画像から車線及び路面領域を推定し、推定した車線及び路面領域の直線を各々延長させ、延長させた直線の交点を入力画像の消失点として検出する。例えば、図3に示すような入力画像の場合には、中央線36及び路肩側の白線38の延長線の交点Pを消失点として検出する。   In step 100, an image picked up by the image pickup device 12 is input. Next, in step 102, the lane and the road surface area are estimated from the input image, and the straight lines of the estimated lane and road surface area are extended and extended. The intersection of the straight lines is detected as the vanishing point of the input image. For example, in the case of an input image as shown in FIG. 3, the intersection P of the extension line of the center line 36 and the white line 38 on the shoulder side is detected as a vanishing point.

次に、ステップ104で、入力画像に対して例えば16×32画素の探索ウインドウを入力画像の所定領域(例えば、左角の領域)に設定し、設定した探索ウインドウ40を用いて、入力画像から、例えば16×32画素のウインドウ画像44を抽出する。   Next, in step 104, a search window of, for example, 16 × 32 pixels is set as a predetermined area (for example, a left corner area) of the input image with respect to the input image, and from the input image using the set search window 40. For example, a window image 44 of 16 × 32 pixels is extracted.

次に、ステップ106で、抽出されたウインドウ画像44と歩行者のパターン画像とのパターンマッチングを行ってマッチング度を算出し、次のステップ108で、ウインドウ画像44が検出対象である歩行者を示す画像の候補となるか否かを判断する。ステップ106で算出したマッチング度が所定値以上であれば歩行者の候補画像であると判断してステップ110へ進み、マッチング度が所定値未満であると判断した場合には、ステップ112へ進む。   Next, in step 106, pattern matching between the extracted window image 44 and the pedestrian pattern image is performed to calculate a matching degree, and in the next step 108, the window image 44 indicates a pedestrian that is a detection target. It is determined whether or not the image is a candidate. If the degree of matching calculated in step 106 is greater than or equal to a predetermined value, it is determined that the image is a pedestrian candidate image, and the process proceeds to step 110. If it is determined that the matching degree is less than the predetermined value, the process proceeds to step 112.

ステップ110で、後述する歩行者画像決定処理を実行し、次に、ステップ112で、入力画像全体について探索ウインドウ40をスキャンして探索が終了したか否かを判定する。終了していない場合は、ステップ114へ進み、探索ウインドウ40の位置を予め定められた探索ピッチだけ移動させて、ステップ104に戻り、ステップ104〜ステップ112までの処理を繰り返す。画像全体の探索を終了すると、ステップ116へ進む。   In step 110, a pedestrian image determination process, which will be described later, is executed. Next, in step 112, it is determined whether or not the search has been completed by scanning the search window 40 for the entire input image. If not completed, the process proceeds to step 114, the position of the search window 40 is moved by a predetermined search pitch, the process returns to step 104, and the processes from step 104 to step 112 are repeated. When the search for the entire image is completed, the process proceeds to step 116.

なお、探索ウインドウ40は歩行者を検出するためのウインドウ画像を抽出するためのフレームとして用いられているが、探索ウインドウ40のサイズが異なれば、様々なサイズの人物を検出することができる。そこで、様々なサイズの探索ウインドウ40を予め用意しておき、各々の探索ウインドウ40で画像全体を探索するようにしてもよい。   The search window 40 is used as a frame for extracting a window image for detecting a pedestrian. However, if the search window 40 has a different size, people of various sizes can be detected. Therefore, search windows 40 of various sizes may be prepared in advance, and the entire image may be searched for in each search window 40.

ステップ116で、後述する歩行者画像決定処理においてリストに保存した情報を表示制御部34に供給し、表示制御部34は、リストの情報に基づいて、入力画像に対して、検出された歩行者がウインドウで囲まれて表示されるように表示装置18を制御する。   In step 116, the information stored in the list in the pedestrian image determination process described later is supplied to the display control unit 34, and the display control unit 34 detects the pedestrian detected for the input image based on the information in the list. Is controlled so as to be displayed surrounded by a window.

次に、図4を参照して、歩行者画像決定の処理ルーチンについて説明する。   Next, a processing routine for determining a pedestrian image will be described with reference to FIG.

ステップ200で、エッジの有無を判定すべきウインドウ画像44の端部領域46を、入力画像の消失点の位置に基づいて決定する。ウインドウ画像44を消失点より右側の領域で抽出している場合にはウインドウ画像44の左側端部、ウインドウ画像44を消失点より左側の領域で抽出している場合にはウインドウ画像44の右側端部をエッジの有無を判定する端部領域46として決定する。例えば、図3に示す探索ウインドウ40により抽出されたウインドウ画像44の場合は、消失点より左側の領域で抽出されているため、ウインドウ画像の右端部がエッジの有無を判定する端部領域46として決定される。   In step 200, an end region 46 of the window image 44 to be determined whether or not there is an edge is determined based on the position of the vanishing point of the input image. When the window image 44 is extracted in the region on the right side from the vanishing point, the left end portion of the window image 44, and when the window image 44 is extracted in the region on the left side from the vanishing point, the right end of the window image 44 is extracted. Is determined as an end region 46 for determining the presence or absence of an edge. For example, in the case of the window image 44 extracted by the search window 40 shown in FIG. 3, since it is extracted in the region on the left side from the vanishing point, the right end portion of the window image is used as the end region 46 for determining the presence or absence of an edge. It is determined.

次に、ステップ202で、決定したウインドウ画像44の端部領域46から輝度情報を算出する。ここでは、輝度情報としてHaar特徴を用いる。Haar特徴は、単純な矩形パターンの領域に含まれる画素の輝度値を用いた特徴量で、高速な処理が可能となる。具体的には、ガードレールのバー部及びその背景の輝度値の差を特徴とした図5に示すような白領域(A領域)及び黒領域(B領域)からなる矩形領域42を、図6に示すようにウインドウ画像44の端部領域46の1番上に端部領域46と平行に設定し、A領域に含まれる各画素の輝度値の和とB領域に含まれる各画素の輝度値の和との差を輝度情報Diffとして算出する。同様に、矩形領域42を所定範囲分(例えば、1画素ライン分)下にずらしながら、端部領域46の最下部まで移動ピッチ毎に順次、輝度情報Diffを算出する。   Next, in step 202, luminance information is calculated from the end region 46 of the determined window image 44. Here, the Haar feature is used as the luminance information. The Haar feature is a feature amount using a luminance value of a pixel included in a simple rectangular pattern region, and high-speed processing is possible. Specifically, a rectangular area 42 composed of a white area (A area) and a black area (B area) as shown in FIG. 5 characterized by a difference in luminance value between the bar portion of the guardrail and its background is shown in FIG. As shown in the figure, it is set parallel to the edge area 46 on the top of the edge area 46 of the window image 44, and the sum of the luminance values of each pixel included in the A area and the luminance value of each pixel included in the B area The difference from the sum is calculated as luminance information Diff. Similarly, the luminance information Diff is calculated sequentially for each movement pitch to the bottom of the end region 46 while shifting the rectangular region 42 downward by a predetermined range (for example, one pixel line).

次に、ステップ204で、ウインドウ画像44の端部領域46にエッジが複数箇所検出されたか否かを判断する。ステップ202で算出した輝度情報Diffを参照して、輝度情報Diffが大きく変化している箇所がある場合には、エッジ有りと判断する。   Next, at step 204, it is determined whether or not a plurality of edges are detected in the end region 46 of the window image 44. With reference to the luminance information Diff calculated in step 202, if there is a portion where the luminance information Diff has changed significantly, it is determined that there is an edge.

例えば、移動ピッチ毎の輝度情報Diff(n)が、Diff(1)=66、Diff(2)=65、Diff(3)=67、・・・、Diff(6)=65、Diff(7)=117、Diff(8)=115、Diff(9)=64、・・・と算出された場合、Diff(1)とDiff(2)との差は1、Diff(2)とDiff(3)との差は2、及びDiff(7)とDiff(8)との差は2であるのに対し、Diff(6)とDiff(7)との差は52、及びDiff(8)とDiff(9)との差は51と大きな差があるため、このウインドウ画像にはエッジが存在すると判断される。   For example, the luminance information Diff (n) for each movement pitch is Diff (1) = 66, Diff (2) = 65, Diff (3) = 67,..., Diff (6) = 65, Diff (7) = 117, Diff (8) = 115, Diff (9) = 64,..., The difference between Diff (1) and Diff (2) is 1, Diff (2) and Diff (3) And the difference between Diff (7) and Diff (8) is 2, whereas the difference between Diff (6) and Diff (7) is 52, and Diff (8) and Diff (8) Since the difference from 9) is as large as 51, it is determined that an edge exists in this window image.

輝度情報Diffが大きく変化している箇所が2つ以上ない場合は、ステップ218へ進む。2つ以上のエッジが検出された場合は、ステップ206へ進む。   If there are no more than two locations where the luminance information Diff has changed significantly, the process proceeds to step 218. If two or more edges are detected, the process proceeds to step 206.

なお、矩形領域42は、図7に示すように、所定角度傾斜させて設定することにより、よりガードレールのバー部の特徴を捉えることができる。所定角度は、ガードレールの平均的な高さと撮像装置12の設置位置(視線高)との関係などから、適切な値を予め定めておくとよい。   In addition, as shown in FIG. 7, the rectangular region 42 can capture the characteristics of the bar portion of the guardrail more by setting the rectangular region 42 at a predetermined angle. For the predetermined angle, an appropriate value may be determined in advance from the relationship between the average height of the guardrail and the installation position (line-of-sight height) of the imaging device 12.

ステップ206で、ウインドウ画像44の端部領域46の外側の領域48についても、ステップ202の処理と同様に輝度情報Diffを算出する。次に、ステップ208で、端部領域46の外側の領域48にエッジが存在するか否かをステップ206で算出した輝度情報Diffを参照して判断する。端部領域46で算出された輝度情報Diffが大きく変化している箇所に対応した外側の領域48で、同様に輝度情報Diffが大きく変化している箇所がある場合には、ウインドウ画像44の端部領域46のエッジが消失点のある外側に向けて連続していることを表しており、ガードレールのバー部分の特徴として捉えることができる。外側の領域48にエッジが存在しない場合には、ステップ218へ進む。エッジが存在する場合には、ステップ210へ進む。   In step 206, the luminance information Diff is calculated for the region 48 outside the end region 46 of the window image 44 as in the process of step 202. Next, at step 208, it is determined with reference to the luminance information Diff calculated at step 206 whether an edge exists in the region 48 outside the end region 46. When there is a portion where the luminance information Diff is greatly changed in the outer region 48 corresponding to the portion where the luminance information Diff calculated in the end region 46 is greatly changed, the edge of the window image 44 is also displayed. This represents that the edge of the partial region 46 is continuous toward the outside where the vanishing point exists, and can be understood as a feature of the bar portion of the guardrail. If there is no edge in the outer region 48, the process proceeds to step 218. If there is an edge, go to step 210.

ステップ210で、ウインドウ画像44に対して、図8に示すような小ウインドウ50をウインドウ画像44の所定領域(例えば、左角の領域)に設定し、設定した小ウインドウ50内の各画素の輝度値を抽出する。小ウインドウ50のサイズは、ウインドウ画像44のサイズやウインドウ画像の入力画像における抽出位置等に基づいて、ガードレールのリフレクタに対応するサイズに設定する。   In step 210, a small window 50 as shown in FIG. 8 is set as a predetermined area (for example, a left corner area) of the window image 44 with respect to the window image 44, and the brightness of each pixel in the set small window 50 is set. Extract the value. The size of the small window 50 is set to a size corresponding to the guardrail reflector based on the size of the window image 44, the extraction position of the window image in the input image, and the like.

次に、ステップ212で、小ウインドウ50が高輝度領域であるか否かを判断する。小ウインドウ50内の全画素数に対して所定の割合以上(例えば、80%以上)の画素が、所定値以上の輝度値を示す画素である場合には、高輝度領域であると判断する。高輝度領域でない場合には、ステップ214へ進んで、ウインドウ画像44全体について小ウインドウ50をスキャンして輝度値の抽出が終了したか否かを判定する。終了していない場合は、ステップ216へ進み、小ウインドウ50の位置を予め所定画素数で定められた移動ピッチだけ移動させて、ステップ210に戻る。   Next, in step 212, it is determined whether or not the small window 50 is a high luminance area. When pixels of a predetermined ratio or more (for example, 80% or more) with respect to the total number of pixels in the small window 50 are pixels indicating a luminance value of a predetermined value or more, it is determined that the pixel is a high luminance region. If it is not the high luminance region, the process proceeds to step 214, and it is determined whether or not the extraction of the luminance value is completed by scanning the small window 50 for the entire window image 44. If not completed, the process proceeds to step 216, the position of the small window 50 is moved by a movement pitch determined in advance by a predetermined number of pixels, and the process returns to step 210.

ステップ204、ステップ208、及びステップ214で肯定された場合、すなわち、ガードレールの特徴を示さなかったウインドウ画像について、ステップ218で、探索ウインドウの位置及び大きさ等の情報をリストとしてRAMに保存して、リターンする。   If the result in step 204, step 208, and step 214 is affirmative, that is, for the window image that did not show the characteristics of the guardrail, in step 218, information such as the position and size of the search window is saved in the RAM as a list. To return.

以上説明したように、第1の実施の形態における歩行者検出装置では、ウインドウ画像の端部領域と端部領域の外側の領域とのエッジの有無の判定、及び高輝度領域の有無の判定という簡易な処理で、ガードレールの特徴である消失点へ向かうバー部の有無やリフレクタ部の有無を判定して、歩行者の候補画像の中からガードレールの特徴を示さないウインドウ画像を歩行者を示す画像として決定しているため、簡易かつ高速な処理で誤検出を防止して、歩行者を検出する精度を向上させることができる   As described above, in the pedestrian detection apparatus according to the first embodiment, the determination of the presence / absence of an edge between the end region of the window image and the region outside the end region, and the determination of the presence / absence of a high-luminance region. An image showing a pedestrian with a window image that does not show the characteristics of the guardrail among the candidate images of the pedestrian by determining the presence or absence of a bar portion or a reflector portion toward the vanishing point, which is a feature of the guardrail, with simple processing Therefore, it is possible to improve the accuracy of detecting pedestrians by preventing false detection with simple and high-speed processing.

なお、第1の実施の形態では、Haar特徴を用いてエッジの有無を判定する例について説明したが、微分法によるエッジ抽出や、テンプレートマッチングによるエッジ抽出などを用いてエッジの有無を判断してもよい。   In the first embodiment, the example of determining the presence / absence of an edge using the Haar feature has been described. However, the presence / absence of an edge is determined using edge extraction by differentiation or edge extraction by template matching. Also good.

次に、第2の実施の形態に係る歩行者検出装置について説明する。第1の実施の形態では、ウインドウ画像44の端部領域46の輝度情報Diffを用いてエッジが存在するか否かを判定したのに対して、第2の実施の形態では、ガードレールのバー部を示す直線エッジが抽出されるか否かによりエッジの存在の有無を判定する点が異なる。なお、構成については第1の実施の形態と同一であるため、説明を省略する。   Next, a pedestrian detection apparatus according to the second embodiment will be described. In the first embodiment, it is determined whether or not an edge is present using the luminance information Diff of the end region 46 of the window image 44, whereas in the second embodiment, the bar portion of the guardrail is determined. Whether or not there is an edge is different depending on whether or not a straight edge indicating the above is extracted. Since the configuration is the same as that of the first embodiment, description thereof is omitted.

図9を参照して、第2の実施の形態における歩行者画像決定処理ルーチンについて説明する。なお、本処理は、第1の実施の形態と同様、歩行者検出処理ルーチン(図2)のステップ110において実行される処理である。また、第1の実施の形態の歩行者画像決定処理ルーチン(図4)と同一の処理については、同一の符号を付して説明を省略する。   With reference to FIG. 9, the pedestrian image determination process routine in 2nd Embodiment is demonstrated. In addition, this process is a process performed in step 110 of a pedestrian detection process routine (FIG. 2) similarly to 1st Embodiment. Moreover, about the process same as the pedestrian image determination process routine (FIG. 4) of 1st Embodiment, the same code | symbol is attached | subjected and description is abbreviate | omitted.

ステップ200で、ウインドウ画像44の端部領域46を決定し、次に、ステップ300で、ステップ200で決定したウインドウ画像44の端部領域46の各画素の輝度値の差を演算することによりエッジを抽出する。   In step 200, the edge region 46 of the window image 44 is determined. Next, in step 300, the edge value 46 is calculated by calculating the luminance value difference of each pixel in the edge region 46 of the window image 44 determined in step 200. To extract.

次に、ステップ302で、抽出されたエッジに、消失点の方向に伸びる所定間隔の一対の略平行な直線エッジが2組以上存在するか否かを判定する。消失点の方向に伸びるか否かは、直線の傾きにより判断することができる。所定間隔は、ウインドウ画像44のサイズやウインドウ画像44の入力画像における抽出位置等に基づいて、ガードレールのバー部の太さを考慮したサイズに設定する。2組以上の直線エッジが抽出されなかった場合には、ステップ218へ進み、抽出された場合には、ステップ304へ進む。   Next, in step 302, it is determined whether or not there are two or more pairs of substantially parallel straight edges with a predetermined interval extending in the direction of the vanishing point on the extracted edges. Whether it extends in the direction of the vanishing point can be determined by the slope of the straight line. The predetermined interval is set to a size that takes into account the thickness of the bar portion of the guardrail based on the size of the window image 44, the extraction position of the window image 44 in the input image, and the like. If two or more sets of straight edges are not extracted, the process proceeds to step 218. If extracted, the process proceeds to step 304.

ステップ304で、ウインドウ画像44の端部領域46の外側の領域48についても、ステップ300の処理と同様にエッジを抽出する。次に、ステップ306で、外側の領域48から抽出されたエッジに、端部領域46で抽出された直線エッジに連続して消失点の方向に伸びる直線エッジが存在するか否かを判断する。存在しない場合には、ステップ218へ進み、存在する場合には、ステップ210へ進んで、ステップ210〜ステップ216でリフレクタの有無を判定する。   In step 304, edges are extracted from the region 48 outside the end region 46 of the window image 44 in the same manner as in step 300. Next, in step 306, it is determined whether or not a straight edge extending in the direction of the vanishing point exists in the edge extracted from the outer region 48 continuously to the straight edge extracted in the end region 46. If not, the process proceeds to step 218. If present, the process proceeds to step 210, and the presence or absence of the reflector is determined in steps 210 to 216.

以上説明したように、第2の実施の形態における歩行者検出装置では、ウインドウ画像の端部領域におけるエッジの有無の判断を、ガードレールのバー部の特徴を示す消失点の方向に伸びる所定間隔の一対の略平行な直線エッジが抽出されたか否かで行うため、よりガードレールの特徴を的確に捉えることができ、ガードレールを歩行者として誤判定することをより精度よく防止することができる。   As described above, in the pedestrian detection device according to the second embodiment, the presence / absence of an edge in the end region of the window image is determined at a predetermined interval extending in the direction of the vanishing point indicating the feature of the bar portion of the guardrail. Since it is performed based on whether or not a pair of substantially parallel straight edges has been extracted, the characteristics of the guardrail can be captured more accurately, and erroneous determination of the guardrail as a pedestrian can be prevented more accurately.

なお、第2の実施の形態では、端部領域の各画素の輝度値の差に基づいてエッジを抽出する場合について説明したが、第1の実施の形態で用いたHaar特徴によってエッジを抽出してもよい。Haar特徴を用いてエッジを抽出するには、例えば、矩形領域を図10に示すような白領域(C領域)及び黒領域(D領域)からなる矩形パターンで、領域のサイズを第1の実施の形態で用いた矩形パターン(図5)より小さいサイズとする。そして、第1の実施の形態と同様に、矩形領域42を所定範囲分(例えば、1画素ライン分)下にずらしながら、輝度情報Diffを算出し、輝度情報Diffの値が大きくなったときのC領域とD領域の境界をエッジとして抽出することができる。   In the second embodiment, the edge is extracted based on the difference in luminance value of each pixel in the end region. However, the edge is extracted by the Haar feature used in the first embodiment. May be. In order to extract an edge using the Haar feature, for example, the rectangular area is a rectangular pattern composed of a white area (C area) and a black area (D area) as shown in FIG. The size is smaller than the rectangular pattern (FIG. 5) used in the embodiment. Then, as in the first embodiment, the luminance information Diff is calculated while shifting the rectangular area 42 downward by a predetermined range (for example, one pixel line), and the value of the luminance information Diff increases. The boundary between the C region and the D region can be extracted as an edge.

また、第2の実施の形態では、消失点の方向に伸びる所定間隔の一対の略平行な直線エッジが存在するか否かを判断する場合について説明したが、所定間隔の一対の略平行なエッジであれば、直線でなくても湾曲していてもよい。また、略平行には、ウインドウ画像の消失点に近い端部に近づくに従って、すなわち画像の奥行きに対応して、所定間隔が徐々に狭まるような場合も含まれる。   In the second embodiment, a case has been described in which it is determined whether or not there is a pair of substantially parallel straight edges with a predetermined interval extending in the direction of the vanishing point. However, a pair of substantially parallel edges with a predetermined interval has been described. As long as it is not a straight line, it may be curved. Further, the term “substantially parallel” includes a case where the predetermined interval is gradually narrowed toward the end portion close to the vanishing point of the window image, that is, corresponding to the depth of the image.

また、第1及び第2の実施の形態では、入力画像の全領域に対して探索ウインドウをずらしながらウインドウ画像を抽出する場合について説明したが、例えば、図11に示すような構成として、消失点検出部で検出した消失点を利用して、路面などの領域を推定し、この推定された領域に基づいて、ウインドウ画像を抽出するようにしてもよい。これにより、例えば、空領域などには歩行者は存在しないため、歩行者が存在する可能性のある路面領域に沿ってウインドウ画像を抽出することにより、歩行者検出の処理を高速化することができる。   Further, in the first and second embodiments, the case where the window image is extracted while shifting the search window with respect to the entire area of the input image has been described. For example, as a configuration as shown in FIG. An area such as a road surface may be estimated using vanishing points detected at the exit, and a window image may be extracted based on the estimated area. Thereby, for example, since there are no pedestrians in an empty area or the like, it is possible to speed up the pedestrian detection process by extracting window images along a road surface area where pedestrians may exist. it can.

また、第1及び第2の実施の形態では、候補画像からガードレールの特徴を示さない画像を歩行者を示す画像として決定する場合について説明したが、決定した画像をさらに詳細なパターンマッチング等を行って、より精度の高い歩行者検出を行うようにしてもよい。   In the first and second embodiments, the case where an image that does not show the characteristics of the guardrail is determined from the candidate images as an image that indicates a pedestrian, but the determined image is subjected to more detailed pattern matching or the like. Thus, more accurate pedestrian detection may be performed.

第1の実施の形態に係る歩行者検出装置の機能的構成を示すブロック図である。It is a block diagram which shows the functional structure of the pedestrian detection apparatus which concerns on 1st Embodiment. 第1の実施の形態に係る歩行者検出の処理ルーチンを示すフローチャートである。It is a flowchart which shows the processing routine of the pedestrian detection which concerns on 1st Embodiment. 消失点検出を説明するための図である。It is a figure for demonstrating vanishing point detection. 第1の実施の形態に係る歩行者画像決定の処理ルーチンを示すフローチャートである。It is a flowchart which shows the processing routine of the pedestrian image determination which concerns on 1st Embodiment. Haar特徴の矩形領域の一例を示す図である。It is a figure which shows an example of the rectangular area of a Haar feature. エッジの有無判定を説明するための図である。It is a figure for demonstrating the presence or absence determination of an edge. エッジの有無判定を説明するための他の図である。It is another figure for demonstrating the presence or absence of an edge. リフレクタの有無判定を説明するための図である。It is a figure for demonstrating the presence or absence determination of a reflector. 第2の実施の形態に係る歩行者画像決定の処理ルーチンを示すフローチャートである。It is a flowchart which shows the processing routine of the pedestrian image determination which concerns on 2nd Embodiment. Haar特徴の矩形領域の他の一例を示す図である。It is a figure which shows another example of the rectangular area | region of a Haar feature. 第1及び第2の実施の形態に係る歩行者検出装置の機能的構成の他の例を示すブロック図である。It is a block diagram which shows the other example of a functional structure of the pedestrian detection apparatus which concerns on 1st and 2nd embodiment. ガードレールのウインドウ画像の一例である。It is an example of the window image of a guardrail.

符号の説明Explanation of symbols

10 歩行者検出装置
22 消失点検出部
24 ウインドウ画像抽出部
26 候補画像判定部
28 エッジ判定部
30 リフレクタ判定部
32 歩行者画像決定部
34 表示制御部
DESCRIPTION OF SYMBOLS 10 Pedestrian detection apparatus 22 Vanishing point detection part 24 Window image extraction part 26 Candidate image determination part 28 Edge determination part 30 Reflector determination part 32 Pedestrian image determination part 34 Display control part

Claims (7)

入力画像から矩形領域の画像を抽出する抽出手段と、
前記抽出手段により抽出された抽出画像と歩行者のパターン画像とを照合して、前記抽出画像が歩行者を検出するための候補画像であるか否かを判定する候補画像判定手段と、
前記入力画像の消失点を検出する消失点検出手段と、
前記候補画像判定手段により候補画像であると判定された抽出画像の前記消失点検出手段で検出された消失点に近い端部領域にエッジが存在するか否かを判定するエッジ判定手段と、
前記エッジ判定手段により、前記端部領域にエッジが存在しないと判定された抽出画像を歩行者を示す画像として決定する決定手段と、
を含む歩行者検出装置。
Extracting means for extracting an image of a rectangular area from the input image;
A candidate image determination unit that compares the extracted image extracted by the extraction unit with a pedestrian pattern image and determines whether the extracted image is a candidate image for detecting a pedestrian;
Vanishing point detecting means for detecting the vanishing point of the input image;
Edge determination means for determining whether or not an edge exists in an end region close to the vanishing point detected by the vanishing point detection means of the extracted image determined to be a candidate image by the candidate image determination means;
Determining means for determining, as an image showing a pedestrian, an extracted image determined by the edge determining means to have no edge in the end region;
A pedestrian detection device.
前記エッジ判定手段は、前記端部領域に前記消失点の方向に伸びる所定間隔の一対の略平行なエッジが抽出された場合に、前記端部領域にエッジが存在すると判定する請求項1記載の歩行者検出装置。   The edge determination means determines that an edge exists in the end region when a pair of substantially parallel edges with a predetermined interval extending in the direction of the vanishing point are extracted in the end region. Pedestrian detection device. 前記エッジ判定手段は、前記端部領域内の2ヶ所以上の部位でエッジが抽出された場合に、前記端部領域にエッジが存在すると判定する請求項1または請求項2記載の歩行者検出装置。   3. The pedestrian detection device according to claim 1, wherein the edge determination unit determines that an edge is present in the end region when the edge is extracted at two or more sites in the end region. . 前記エッジ判定手段は、更に、前記抽出画像の前記端部領域の外側の領域にエッジが存在するか否かを判定し、前記端部領域及び前記端部領域の外側の領域にエッジが抽出された場合に、前記端部領域にエッジが存在すると判定する請求項1〜請求項3のいずれか1項記載の歩行者検出装置。   The edge determination means further determines whether or not an edge exists in a region outside the end region of the extracted image, and an edge is extracted in the end region and a region outside the end region. The pedestrian detection device according to any one of claims 1 to 3, wherein it is determined that an edge exists in the end region. 抽出画像内に高輝度領域が存在するか否かを判定する高輝度領域判定手段を更に含み、
前記決定手段は、前記エッジ判定手段により、エッジが存在しないと判定され、かつ、前記高輝度領域判定手段により、前記高輝度領域が存在しないと判定された抽出画像を歩行者を示す画像として決定する請求項1〜請求項4のいずれか1項記載の歩行者検出装置。
A high-luminance area determination means for determining whether or not a high-luminance area exists in the extracted image;
The determining means determines the extracted image that is determined by the edge determining means that no edge is present and that has been determined by the high brightness area determining means that the high brightness area is not present as an image indicating a pedestrian. The pedestrian detection device according to any one of claims 1 to 4.
コンピュータを、
入力画像から矩形領域の画像を抽出する抽出手段と、
前記抽出手段により抽出された抽出画像と歩行者のパターン画像とを照合して、前記抽出画像が歩行者を検出するための候補画像であるか否かを判定する候補画像判定手段と、
前記入力画像の消失点を検出する消失点検出手段と、
前記候補画像判定手段により候補画像であると判定された抽出画像の前記消失点検出手段で検出された消失点に近い端部領域にエッジが存在するか否かを判定するエッジ判定手段と、
前記エッジ判定手段により、前記端部領域にエッジが存在しないと判定された抽出画像を歩行者を示す画像として決定する決定手段と、
して機能させるための歩行者検出プログラム。
Computer
Extracting means for extracting an image of a rectangular area from the input image;
A candidate image determination unit that compares the extracted image extracted by the extraction unit with a pedestrian pattern image and determines whether the extracted image is a candidate image for detecting a pedestrian;
Vanishing point detecting means for detecting the vanishing point of the input image;
Edge determination means for determining whether an edge exists in an end region close to the vanishing point detected by the vanishing point detection means of the extracted image determined to be a candidate image by the candidate image determination means;
Determining means for determining, as an image showing a pedestrian, an extracted image determined by the edge determining means to have no edge in the end region;
Pedestrian detection program to make it function.
コンピュータを、請求項1〜請求項5のいずれか1項記載の歩行者検出装置を構成する各手段として機能させるための歩行者検出プログラム。   The pedestrian detection program for functioning a computer as each means which comprises the pedestrian detection apparatus of any one of Claims 1-5.
JP2008172331A 2008-07-01 2008-07-01 Pedestrian detection device and program Expired - Fee Related JP4842301B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008172331A JP4842301B2 (en) 2008-07-01 2008-07-01 Pedestrian detection device and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008172331A JP4842301B2 (en) 2008-07-01 2008-07-01 Pedestrian detection device and program

Publications (2)

Publication Number Publication Date
JP2010015235A JP2010015235A (en) 2010-01-21
JP4842301B2 true JP4842301B2 (en) 2011-12-21

Family

ID=41701320

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008172331A Expired - Fee Related JP4842301B2 (en) 2008-07-01 2008-07-01 Pedestrian detection device and program

Country Status (1)

Country Link
JP (1) JP4842301B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111267766A (en) * 2020-03-06 2020-06-12 大陆汽车电子(连云港)有限公司 Pedestrian protection system, method and vehicle comprising system

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11373076B2 (en) 2017-02-20 2022-06-28 3M Innovative Properties Company Optical articles and systems interacting with the same
WO2019064108A1 (en) 2017-09-27 2019-04-04 3M Innovative Properties Company Personal protective equipment management system using optical patterns for equipment and safety monitoring

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005316607A (en) * 2004-04-27 2005-11-10 Toyota Motor Corp Image processor and image processing method
JP4830604B2 (en) * 2006-04-17 2011-12-07 日産自動車株式会社 Object detection method and object detection apparatus
JP4732985B2 (en) * 2006-09-05 2011-07-27 トヨタ自動車株式会社 Image processing device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111267766A (en) * 2020-03-06 2020-06-12 大陆汽车电子(连云港)有限公司 Pedestrian protection system, method and vehicle comprising system

Also Published As

Publication number Publication date
JP2010015235A (en) 2010-01-21

Similar Documents

Publication Publication Date Title
JP5127182B2 (en) Object detection device
JP4203512B2 (en) Vehicle periphery monitoring device
US8175806B2 (en) Car navigation system
JP5747549B2 (en) Signal detector and program
US20100110193A1 (en) Lane recognition device, vehicle, lane recognition method, and lane recognition program
US10565438B2 (en) Vehicle periphery monitor device
CN107750213B (en) Front vehicle collision warning device and warning method
US9619895B2 (en) Image processing method of vehicle camera and image processing apparatus using the same
JP4568637B2 (en) Road recognition device
US20150367781A1 (en) Lane boundary estimation device and lane boundary estimation method
JP2007179386A (en) Method and apparatus for recognizing white line
JP4937029B2 (en) Object detection apparatus and program
JP6226368B2 (en) Vehicle monitoring apparatus and vehicle monitoring method
US20170151943A1 (en) Method, apparatus, and computer program product for obtaining object
JP2012123626A (en) Object detector and program
JP4864043B2 (en) Image processing apparatus, method, and program
JP3800785B2 (en) White line recognition device
JP5407920B2 (en) Lighting color identification device and program
JP4842301B2 (en) Pedestrian detection device and program
JP2012150595A (en) Stop line detection device and program
JP5189556B2 (en) Lane detection device
JP2010108138A (en) Person detection device and program
JP2010286995A (en) Image processing system for vehicle
JP2006155126A (en) Vehicle number recognition device
JP2014010765A (en) Mobile object detector, image type sensor, and computer program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101201

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110922

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110927

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111005

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4842301

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141014

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313532

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141014

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees