JP4788399B2 - Pedestrian detection method, apparatus, and program - Google Patents

Pedestrian detection method, apparatus, and program Download PDF

Info

Publication number
JP4788399B2
JP4788399B2 JP2006051270A JP2006051270A JP4788399B2 JP 4788399 B2 JP4788399 B2 JP 4788399B2 JP 2006051270 A JP2006051270 A JP 2006051270A JP 2006051270 A JP2006051270 A JP 2006051270A JP 4788399 B2 JP4788399 B2 JP 4788399B2
Authority
JP
Japan
Prior art keywords
dimensional object
pedestrian
information
vertical edge
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006051270A
Other languages
Japanese (ja)
Other versions
JP2007233487A (en
Inventor
達也 白石
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2006051270A priority Critical patent/JP4788399B2/en
Publication of JP2007233487A publication Critical patent/JP2007233487A/en
Application granted granted Critical
Publication of JP4788399B2 publication Critical patent/JP4788399B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、複眼の撮像手段によって撮像した入力画像を用いてその画像に含まれる歩行者の検出を行う歩行者検出方法、装置、およびプログラムに関する。   The present invention relates to a pedestrian detection method, apparatus, and program for detecting a pedestrian included in an image using an input image captured by a compound eye imaging unit.

従来、四輪自動車等の車両が走行中に障害物を検知するための技術として、カメラを搭載して道路上の歩行者を検出する技術が知られている。例えば、下記特許文献１では、ステレオカメラを用いて歩行者のモデル画像とのパターンマッチングを行うことによって歩行者を検出する技術が開示されている。   Conventionally, as a technique for detecting an obstacle while a vehicle such as a four-wheeled vehicle is running, a technique for detecting a pedestrian on a road by mounting a camera is known. For example, Patent Document 1 below discloses a technique for detecting a pedestrian by performing pattern matching with a pedestrian model image using a stereo camera.

特開２００５−１９６５９０号公報JP 2005-196590 A

しかしながら、上述した従来技術では、ステレオカメラでパターンマッチングを行う際の計算負荷が大きく、精度を落とすことなく計算量を削減して歩行者を検出することが困難であった。また、通常のステレオマッチングのみで検出した物標には、車両や看板などの歩行者以外の物標も多く含まれてしまうという問題もあった。   However, in the above-described conventional technology, the calculation load when performing pattern matching with a stereo camera is large, and it has been difficult to detect a pedestrian by reducing the amount of calculation without reducing accuracy. In addition, there is a problem that many targets other than pedestrians such as vehicles and signboards are included in targets detected only by normal stereo matching.

本発明は、上記に鑑みてなされたものであり、ステレオカメラを用いて撮像した画像に含まれる歩行者を、少ない計算量で高精度に検出することができる歩行者検出方法、装置、およびプログラムを提供することを目的とする。   The present invention has been made in view of the above, and a pedestrian detection method, apparatus, and program capable of accurately detecting a pedestrian included in an image captured using a stereo camera with a small amount of calculation. The purpose is to provide.

上述した課題を解決し、目的を達成するために、本発明に係る歩行者検出方法は、所定の視野を撮像する複眼の撮像手段から出力される画像情報を用いて前記視野内を歩行する歩行者を検出する歩行者検出方法であって、前記画像情報に基づいて縦エッジを抽出する縦エッジ抽出ステップと、前記縦エッジ抽出ステップで抽出した縦エッジから３次元情報を算出し、この算出した３次元情報をもとに立体物を検出する立体物検出ステップと、前記立体物検出ステップで検出した立体物の特性を示す立体物情報の時間による変動を算出する変動算出ステップと、前記変動算出ステップで算出した前記立体物情報の変動に基づいて前記立体物情報に対応する立体物が歩行者であるか否かを判定する判定ステップと、を含むことを特徴とする。 In order to solve the above-described problems and achieve the object, the pedestrian detection method according to the present invention is a walking that walks in the visual field using image information output from a compound eye imaging unit that captures a predetermined visual field. A pedestrian detection method for detecting a person, wherein a three-dimensional information is calculated from a vertical edge extraction step of extracting a vertical edge based on the image information, and a vertical edge extracted in the vertical edge extraction step. A three-dimensional object detection step for detecting a three-dimensional object based on three-dimensional information, a fluctuation calculation step for calculating a fluctuation over time of the three-dimensional object information indicating the characteristics of the three-dimensional object detected in the three-dimensional object detection step, and the fluctuation calculation And a determination step of determining whether or not the three-dimensional object corresponding to the three-dimensional object information is a pedestrian based on the fluctuation of the three-dimensional object information calculated in the step.

本発明に係る歩行者検出方法は、上記発明において、前記変動算出ステップは、過去の二つの異なる時間における前記立体物情報と最新の前記立体物情報との差分をそれぞれ算出することを特徴とする。 The pedestrian detection method according to the present invention is characterized in that, in the above invention, the fluctuation calculating step calculates a difference between the three-dimensional object information and the latest three-dimensional object information at two different times in the past. .

本発明に係る歩行者検出方法は、上記発明において、前記立体物検出ステップは、前記縦エッジ抽出ステップで抽出した縦エッジごとの３次元情報を算出して得られる画素点が所定の基準以上存在するような領域を統合することによって前記立体物を検出することを特徴とする。 In the pedestrian detection method according to the present invention, in the above invention, the three-dimensional object detection step includes pixel points obtained by calculating three-dimensional information for each vertical edge extracted in the vertical edge extraction step above a predetermined reference. The solid object is detected by integrating such regions.

本発明に係る歩行者検出方法は、上記発明において、前記立体物情報は、前記立体物の高さ位置、横幅、および高さ幅を含むことを特徴とする。 The pedestrian detection method according to the present invention is characterized in that, in the above invention, the three-dimensional object information includes a height position, a horizontal width, and a height width of the three-dimensional object.

本発明に係る歩行者検出方法は、上記発明において、前記判定ステップで判定した立体物が歩行者である場合、当該歩行者のトラッキング処理を行うトラッキング処理ステップをさらに有することを特徴とする。 The pedestrian detection method according to the present invention is characterized in that, in the above invention, when the three-dimensional object determined in the determination step is a pedestrian, a tracking processing step for performing tracking processing of the pedestrian is further provided.

本発明に係る歩行者検出方法は、上記発明において、電磁波を用いて物体を検出する検出手段で検出した物体検出結果と、前記トラッキング処理ステップで検出した前記歩行者に関する情報とをフュージョン処理するフュージョン処理ステップをさらに有することを特徴とする。 In the pedestrian detection method according to the present invention, in the above-described invention, the fusion detection is performed on the object detection result detected by the detection unit that detects an object using electromagnetic waves and the information on the pedestrian detected in the tracking processing step. It further has a processing step.

本発明に係る歩行者検出装置は、所定の視野を撮像する複眼の撮像手段から出力される画像情報を用いて前記視野内を歩行する歩行者を検出する歩行者検出装置であって、前記画像情報に基づいて縦エッジを抽出する縦エッジ抽出手段と、前記縦エッジ抽出手段で抽出した縦エッジから３次元情報を算出し、この算出した３次元情報をもとに立体物を検出する立体物検出手段と、前記立体物検出手段で検出した立体物の特性を示す立体物情報の時間による変動を算出する変動算出手段と、前記変動算出手段で算出した前記立体物情報の変動に基づいて前記立体物情報に対応する立体物が歩行者であるか否かを判定する判定手段と、を備えたことを特徴とする。 The pedestrian detection apparatus according to the present invention is a pedestrian detection apparatus that detects a pedestrian walking in the visual field using image information output from a compound eye imaging unit that captures a predetermined visual field. A vertical edge extracting means for extracting a vertical edge based on information, a three-dimensional object for calculating three-dimensional information from the vertical edge extracted by the vertical edge extracting means, and detecting a three-dimensional object based on the calculated three-dimensional information Based on the fluctuation of the three-dimensional object information calculated by the detection means, the fluctuation calculation means for calculating the fluctuation of the three-dimensional object information indicating the characteristic of the three-dimensional object detected by the three-dimensional object detection means, and the three-dimensional object information calculated by the fluctuation calculation means Determining means for determining whether or not the three-dimensional object corresponding to the three-dimensional object information is a pedestrian.

本発明に係る歩行者検出装置は、上記発明において、前記変動算出手段は、過去の二つの異なる時間における前記立体物情報と最新の前記立体物情報との差分をそれぞれ算出することを特徴とする。 The pedestrian detection device according to the present invention is characterized in that, in the above invention, the fluctuation calculating means calculates a difference between the three-dimensional object information and the latest three-dimensional object information at two different times in the past. .

本発明に係る歩行者検出装置は、上記発明において、前記立体物検出手段は、前記縦エッジ抽出手段で抽出した縦エッジごとの３次元情報を算出して得られる画素点が所定の基準以上存在するような領域を統合することによって前記立体物を検出することを特徴とする。 In the pedestrian detection device according to the present invention, in the above invention, the three-dimensional object detection means has pixel points obtained by calculating three-dimensional information for each vertical edge extracted by the vertical edge extraction means exceeding a predetermined reference. The solid object is detected by integrating such regions.

本発明に係る歩行者検出装置は、上記発明において、前記立体物情報は、前記立体物の高さ位置、横幅、および高さ幅を含むことを特徴とする。 In the pedestrian detection device according to the present invention, in the above invention, the three-dimensional object information includes a height position, a horizontal width, and a height width of the three-dimensional object.

本発明に係る歩行者検出装置は、上記発明において、前記判定手段で判定した立体物が歩行者である場合、当該歩行者のトラッキング処理を行うトラッキング処理手段をさらに備えたことを特徴とする。 The pedestrian detection device according to the present invention is characterized in that, in the above invention, when the solid object determined by the determination means is a pedestrian, the pedestrian detection apparatus further includes a tracking processing means for performing tracking processing of the pedestrian.

本発明に係る歩行者検出装置は、上記発明において、電磁波を用いて物体を検出する検出手段で検出した物体検出結果と、前記トラッキング処理手段で検出した前記歩行者に関する情報とをフュージョン処理するフュージョン処理手段をさらに備えたことを特徴とする。 Pedestrian detecting apparatus according to the present invention, in the above invention, fusion to fusion processing and object detection result detected by the detection means for detecting an object, and information about the pedestrian detected by the tracking processing unit with electromagnetic waves The apparatus further includes processing means.

本発明に係る歩行者検出プログラムは、上記いずれかの歩行者検出方法をコンピュータに実行させることを特徴とする。 A pedestrian detection program according to the present invention causes a computer to execute any one of the above pedestrian detection methods.

本発明によれば、所定の視野を撮像する複眼の撮像手段から出力される画像情報に基づいて縦エッジを抽出し、その縦エッジから３次元情報を算出し、この算出した３次元情報をもとに立体物を検出し、この検出した立体物の特性を示す立体物情報の時間による変動を算出し、この算出した前記立体物の変動に基づいて該立体物が歩行者であるか否かを判定することにより、ステレオカメラを用いて撮像した画像に含まれる歩行者を、少ない計算量で高精度に検出することが可能となる。   According to the present invention, a vertical edge is extracted based on image information output from a compound eye imaging unit that captures a predetermined visual field, three-dimensional information is calculated from the vertical edge, and the calculated three-dimensional information is also stored. A three-dimensional object is detected, and a three-dimensional object information indicating a characteristic of the detected three-dimensional object is calculated over time, and whether or not the three-dimensional object is a pedestrian based on the calculated three-dimensional object variation. This makes it possible to detect a pedestrian included in an image captured using a stereo camera with high accuracy with a small amount of calculation.

以下、添付図面を参照して本発明を実施するための最良の形態（以後、「実施の形態」と称する）を説明する。   The best mode for carrying out the present invention (hereinafter referred to as “embodiment”) will be described below with reference to the accompanying drawings.

（実施の形態１）
図１は、本発明の実施の形態１に係る歩行者検出装置の機能構成を示すブロック図である。同図に示す歩行者検出装置１は、四輪自動車等の車両に搭載され、車両の周囲の所定の範囲に存在する物標の中から歩行者を検出する装置である。歩行者検出装置１は、所定の視野を撮像する撮像部２と、撮像部２による撮像結果すなわち入力画像に基づいた画像処理を行う画像処理部３と、演算処理プログラムが記録されたＲＯＭ（Read Only Memory）および各種パラメータやデータ等を記憶するＲＡＭ（Random Access Memory）を用いて実現され、画像処理部３における処理結果や各種設定情報等を記憶する記憶部４と、を備える。 (Embodiment 1)
FIG. 1 is a block diagram showing a functional configuration of the pedestrian detection apparatus according to Embodiment 1 of the present invention. A pedestrian detection device 1 shown in FIG. 1 is a device that is mounted on a vehicle such as a four-wheeled vehicle and detects a pedestrian from targets existing in a predetermined range around the vehicle. The pedestrian detection device 1 includes an imaging unit 2 that captures a predetermined field of view, an image processing unit 3 that performs image processing based on an imaging result of the imaging unit 2, that is, an input image, and a ROM (Read Only memory) and a RAM (Random Access Memory) that stores various parameters, data, and the like, and a storage unit 4 that stores processing results in the image processing unit 3, various setting information, and the like.

歩行者検出装置１で検出した歩行者情報は、車両制御装置５に出力される。車両制御装置５では、歩行者検出装置１からの出力に応じて車間距離制御や自動ブレーキ制御等の制御を行う。このように、歩行者検出装置１および車両制御装置５は、全体としてＡＣＣ（自動車間制御装置）、ＰＢＡ（プリクラッシュブレーキアシスト）、ＰＳＢ（プリクラッシュシートベルト）等のシステムを構成する。この意味で、歩行者検出装置１は、前述したシステムにおけるセンサ（画像センサ）としての機能を果たす。   The pedestrian information detected by the pedestrian detection device 1 is output to the vehicle control device 5. The vehicle control device 5 performs control such as inter-vehicle distance control and automatic brake control in accordance with the output from the pedestrian detection device 1. As described above, the pedestrian detection device 1 and the vehicle control device 5 constitute a system such as ACC (inter-car control device), PBA (pre-crash brake assist), PSB (pre-crash seat belt) as a whole. In this sense, the pedestrian detection device 1 functions as a sensor (image sensor) in the above-described system.

以下、歩行者検出装置１の詳細な構成を説明する。撮像部２は、所定の離間距離で配置された一対のカメラ２１Ｌおよび２１Ｒと、カメラ２１Ｌおよび２１Ｒの各々から出力されるアナログ信号をデジタル信号に変換するＡ／Ｄ変換して記憶するフレームメモリ２２Ｌおよび２２Ｒを備えたステレオカメラである。カメラ２１Ｌおよび２２Ｒは、所定の視野角から入射する光を集光するレンズと、このレンズを透過した光を検知してアナログ信号に変換するＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子とを有する。   Hereinafter, the detailed structure of the pedestrian detection apparatus 1 is demonstrated. The imaging unit 2 includes a pair of cameras 21L and 21R arranged at a predetermined separation distance, and a frame memory 22L that stores an analog signal output from each of the cameras 21L and 21R by performing A / D conversion to a digital signal. And 22R. The cameras 21L and 22R include a lens that collects light incident from a predetermined viewing angle, and a CCD (Charge Coupled Device) or CMOS (Complementary Metal Oxide Semiconductor) that detects light transmitted through the lens and converts it into an analog signal. And the like.

図２は、カメラ２１Ｌおよび２１Ｒによる撮像処理を概念的に示す説明図である。同図では、左側に位置するカメラ２１Ｌの光軸ｚLと右側に位置するカメラ２１Ｒの光軸ｚRとが平行な場合を示している。この場合、カメラ２１Ｌ固有の座標系（左カメラ座標系）に対応する左画像領域ＩLの点ＡLに対応する点が、カメラ２１Ｒ固有の座標系（右カメラ座標系）に対応する右画像領域ＩR内の直線ＬE（エピポーラ線）上に存在している。図２において、物標である歩行者Ｐの画素点Ａの座標値（ｘ，ｙ，ｚ）を算出する際には、左右のカメラ座標系における座標値（ｘL，ｙL，ｚL）および（ｘR，ｙR，ｚR）の算出、および座標値間の対応点探索（ステレオマッチング）を行う。 FIG. 2 is an explanatory diagram conceptually showing the imaging processing by the cameras 21L and 21R. In the drawing, the optical axis z L of the camera 21L located on the left side and the optical axis z R of the camera 21R located on the right side are shown in parallel. In this case, the right image point corresponding to the point A L of the left image region I L corresponding to the camera 21L unique coordinate system (left camera coordinate system), corresponding to the camera 21R-specific coordinate system (right camera coordinate system) It exists on a straight line L E (epipolar line) in the region I R. In FIG. 2, when calculating the coordinate value (x, y, z) of the pixel point A of the pedestrian P, which is the target, the coordinate values (x L , y L , z L ) in the left and right camera coordinate systems. And (x R , y R , z R ) and corresponding point search (stereo matching) between coordinate values are performed.

画像処理部３は、撮像部２で撮像した画像情報において縦方向のエッジ（縦エッジ）を抽出する縦エッジ抽出フィルタとしての機能を有する縦エッジ抽出部３１と、縦エッジ抽出部３１で抽出した縦エッジを用いて画像情報に含まれる立体物を検出する立体物検出部３２と、立体物検出部３２で検出した立体物の大きさや形状等の特性を示す立体物情報の時間的な変動を算出する変動算出部３３と、変動算出部３３で算出した立体物の変動に基づいてその立体物情報に対応する立体物が歩行者であるか否かを判定する判定部３４と、判定部３４で判定した立体物が歩行者である場合、その歩行者のトラッキング処理を行うトラッキング処理部３５とを有する。また、画像処理部３は、後述する各種処理を行う上で必要な種々のパラメータを算出する機能や、画像を生成する際に所定の補正を加える機能を備えている。   The image processing unit 3 extracts the vertical edge extraction unit 31 having a function as a vertical edge extraction filter that extracts vertical edges (vertical edges) from the image information captured by the imaging unit 2, and the vertical edge extraction unit 31. A three-dimensional object detection unit 32 that detects a three-dimensional object included in image information using a vertical edge, and a temporal change in three-dimensional object information that indicates characteristics such as the size and shape of the three-dimensional object detected by the three-dimensional object detection unit 32. Based on the fluctuation of the three-dimensional object calculated by the fluctuation calculation unit 33, a determination unit 34 that determines whether the three-dimensional object corresponding to the three-dimensional object information is a pedestrian, and a determination unit 34 When the three-dimensional object determined in (1) is a pedestrian, the tracking processing unit 35 performs a tracking process for the pedestrian. Further, the image processing unit 3 has a function of calculating various parameters necessary for performing various processes described later, and a function of applying a predetermined correction when generating an image.

画像処理部３はＣＰＵ（Central Processing Unit）等を用いて実現され、本実施の形態１に係る歩行者検出プログラムを含む各種演算処理プログラムを記憶部４から読み出すことによってその読み出したプログラムに対応する処理を実行する。   The image processing unit 3 is realized by using a CPU (Central Processing Unit) or the like, and corresponds to the read program by reading various arithmetic processing programs including the pedestrian detection program according to the first embodiment from the storage unit 4. Execute the process.

なお、本実施の形態１に係る歩行者検出プログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等のコンピュータ読取可能な記録媒体に記録して広く流通させることも可能である。   Note that the pedestrian detection program according to the first embodiment can be recorded on a computer-readable recording medium such as a flexible disk, a CD-ROM, a DVD-ROM, and widely distributed.

図３は、本実施の形態１に係る歩行者検出方法の概要を示すフローチャートである。まず、撮像部２において撮像処理を行い、撮像した画像情報を画像処理部３へ出力する（ステップＳ１）。この際には、カメラ２１Ｌおよび２１Ｒで撮像した画像情報を一時的にフレームメモリ２２Ｌおよび２２Ｒで記憶する。図４および図５は、撮像部２で撮像対象となる風景例を示す図である。このうち、図４に示す風景１０１は、自車両の前方の横断歩道Ｈを歩行者Ｐが横断している状態を示している。また、図５に示す風景２０１は、自車両に対して先行する車両Ｃが道路Ｒを走行している状態を示している。以下の説明では、この２つの風景１０１および２０１を撮像部２で撮像した場合を参照しながら説明を行う。   FIG. 3 is a flowchart showing an outline of the pedestrian detection method according to the first embodiment. First, imaging processing is performed in the imaging unit 2, and the captured image information is output to the image processing unit 3 (step S1). At this time, image information captured by the cameras 21L and 21R is temporarily stored in the frame memories 22L and 22R. FIG. 4 and FIG. 5 are diagrams illustrating an example of a landscape to be imaged by the imaging unit 2. Among these, the scenery 101 shown in FIG. 4 has shown the state where the pedestrian P is crossing the pedestrian crossing H ahead of the own vehicle. A landscape 201 shown in FIG. 5 shows a state where the vehicle C preceding the host vehicle is traveling on the road R. In the following description, the description will be given with reference to the case where the two landscapes 101 and 201 are imaged by the imaging unit 2.

画像情報を取得した画像処理部３では、縦エッジ抽出部３１で縦エッジの抽出処理を行う（ステップＳ２）。図６は、風景１０１を撮像した画像情報を用いて縦エッジ抽出処理を行った場合の歩行者Ｐ付近の縦エッジを模式的に示す図である。同図に示すように、歩行者Ｐの場合、縦エッジＥは歩行者Ｐの輪郭と周囲との境界のみならず、歩行者Ｐの内部でも抽出される。これは、例えば歩行者Ｐが着ている服のしわなどが縦に入ったりすることに起因している。他方、図７は、風景２０１を撮像した画像に対して縦エッジ抽出処理を行った場合の車両Ｃ付近の縦エッジを模式的に示す図である。図７に示す場合、車両Ｃの輪郭と周辺部分との境界付近には縦エッジＥが抽出されるが、車両Ｃの中心付近には縦エッジがほとんどない。このように、歩行者Ｐと車両Ｃとでは、抽出された縦エッジの発現の態様が大きく異なる。   In the image processing unit 3 that has acquired the image information, the vertical edge extraction unit 31 performs vertical edge extraction processing (step S2). FIG. 6 is a diagram schematically illustrating a vertical edge in the vicinity of the pedestrian P when a vertical edge extraction process is performed using image information obtained by capturing the landscape 101. As shown in the figure, in the case of the pedestrian P, the vertical edge E is extracted not only in the boundary between the contour of the pedestrian P and the surroundings but also in the pedestrian P. This is because, for example, wrinkles of clothes worn by the pedestrian P enter vertically. On the other hand, FIG. 7 is a diagram schematically showing a vertical edge in the vicinity of the vehicle C when a vertical edge extraction process is performed on an image obtained by capturing a landscape 201. In the case illustrated in FIG. 7, the vertical edge E is extracted near the boundary between the contour of the vehicle C and the peripheral portion, but there is almost no vertical edge near the center of the vehicle C. In this way, the pedestrian P and the vehicle C are greatly different in the manner of expression of the extracted vertical edges.

ステップＳ２に続いて、立体物検出部３２が立体物を検出する（ステップＳ３）。このステップＳ３で、立体物検出部３２は、まず縦エッジまでの距離を含む画像の３次元情報を求める。その際には、上述したように、左右のカメラ座標系における座標値（ｘL，ｙL，ｚL）および（ｘR，ｙR，ｚR）の算出と、座標値間の対応点探索（ステレオマッチング）とを順次行う。対応点探索は、例えばカメラ２１Ｌとカメラ２１Ｒとから得られた画像の相関を所定の定義にしたがって演算し、縦エッジＥの構成点の３次元座標が算出される。このステップＳ３での算出結果は記憶部４に一時的に格納される。 Following step S2, the three-dimensional object detection unit 32 detects a three-dimensional object (step S3). In step S3, the three-dimensional object detection unit 32 first obtains three-dimensional information of an image including the distance to the vertical edge. In that case, as described above, the calculation of the coordinate values (x L , y L , z L ) and (x R , y R , z R ) in the left and right camera coordinate systems and the corresponding point search between the coordinate values are performed. (Stereo matching) is sequentially performed. In the corresponding point search, for example, the correlation between the images obtained from the cameras 21L and 21R is calculated according to a predetermined definition, and the three-dimensional coordinates of the constituent points of the vertical edge E are calculated. The calculation result in step S3 is temporarily stored in the storage unit 4.

図８および図９は、立体物検出部３２で上記の如く算出された画素点を画面上へプロットして視覚化したものであり、自車両よりも遠くに行くほど同数の画素点を収容する領域が小さくなるようにして表示したものである。なお、図８および図９では、歩行者Ｐや車両Ｃに対応する箇所以外でも画素点群が形成されている。このように、ステップＳ３で立体物を検出する段階では、不要な立体物も検出している。   8 and 9 are the pixel points calculated as described above by the three-dimensional object detection unit 32 and visualized by plotting them on the screen, and the same number of pixel points are accommodated as the distance from the host vehicle increases. The area is displayed in a small size. 8 and 9, pixel point groups are also formed at locations other than locations corresponding to pedestrians P and vehicles C. Thus, in the step of detecting a three-dimensional object in step S3, unnecessary three-dimensional objects are also detected.

図８に示す画像１０２は、風景１０１を撮像した場合の３次元情報を視覚化したものである。画像１０２の略中央部には、略一様な密度の画素点群ＳPが生成されている。この画素点群ＳPは、歩行者Ｐに対応した縦エッジＥから得られたものである。立体物検出部３２では、画像１０２の各領域にどれだけの画素点が含まれているかを求め、その画素点の単位領域ごとの密度を求める。 An image 102 illustrated in FIG. 8 is a visualization of the three-dimensional information when the landscape 101 is captured. A substantially central portion of the image 102, the pixel point group S P output substantially uniform density is produced. This pixel point group S P is obtained from the vertical edge E corresponding to the pedestrian P. The three-dimensional object detection unit 32 determines how many pixel points are included in each region of the image 102 and determines the density of each unit region of the pixel points.

図１０は、図８の画像１０２に対して画素点の密度を求めた結果を視覚化した図である。同図に示す画像１０３は、自車両からみて遠方領域Ｆ、中間領域Ｍ、近傍領域Ｎの順に単位領域が大きくなっており、各領域に含まれる画素点の数すなわち画素点の単位領域辺りの密度に応じて領域ごとの濃淡が異なるように表示されている。図１０に示す場合、画像１０３の中間領域Ｍの中央部付近に一連の高密度領域Ｄ1が形成されている。このように複数の単位領域に連続して跨り、一つの領域として統合することが可能な高密度領域がある場合、立体物検出部３２は、その立体物を歩行者であると認識する。 FIG. 10 is a diagram visualizing the result of obtaining the density of pixel points for the image 102 of FIG. In the image 103 shown in the figure, the unit areas increase in the order of the distant area F, the intermediate area M, and the vicinity area N as viewed from the host vehicle, and the number of pixel points included in each area, that is, the unit area around the pixel points. It is displayed so that the shade for each region differs depending on the density. In the case shown in FIG. 10, a series of high-density regions D 1 are formed near the center of the intermediate region M of the image 103. In this way, when there is a high-density region that can continuously span a plurality of unit regions and can be integrated as one region, the three-dimensional object detection unit 32 recognizes the three-dimensional object as a pedestrian.

これに対して図９に示す画像２０２は、風景２０１を撮像した場合の３次元情報を視覚化したものである。画像２０２における単位領域の分割の仕方は、上述した画像１０２の場合と同じである。画像２０２の中間領域Ｍの略中央部には、左右に略対称な画素点群ＳC1およびＳC2が生成されている。これらは本来、車両Ｃに対応した画素点群ＳCの部分集合であるはずのものであるが、一つの画素点群ＳCとしてみた場合、その内部の点密度は一様ではなく、中心付近の密度は外周部分よりも顕著に小さい。このため、画像１０３に対して画素点の密度を求めた結果を視覚化したすると、図１１に示す画像２０３のように、高密度領域がＤ2とＤ3の二つに分離してしまう。したがって、この場合に立体物検出部３２は、設定によってはこれらの高密度領域Ｄ2と高密度領域Ｄ3とが別の立体物に対応する領域であると認識する。 On the other hand, the image 202 shown in FIG. 9 is a visualization of the three-dimensional information when the landscape 201 is captured. The method of dividing the unit area in the image 202 is the same as in the case of the image 102 described above. In substantially the middle portion of the intermediate region M of the image 202, pixel point groups S C1 and S C2 that are substantially symmetrical to the left and right are generated. These are originally supposed to be a subset of the pixel point group S C corresponding to the vehicle C, but when viewed as one pixel point group S C , the internal point density is not uniform and is near the center. The density of is significantly smaller than that of the outer peripheral portion. For this reason, when the result of obtaining the density of pixel points for the image 103 is visualized, the high-density region is separated into two, D 2 and D 3 , as in the image 203 shown in FIG. Accordingly, in this case, the three-dimensional object detection unit 32 recognizes that the high-density region D 2 and the high-density region D 3 are regions corresponding to different three-dimensional objects depending on the setting.

以上説明したステップＳ３の後、変動算出部３３が、立体物の特性を示す立体物情報、具体的には立体物として認識された領域の高さ位置や大きさ（横幅、高さ幅）の時間的な変動を算出する（ステップＳ４）。具体的には、その時点で記憶部４で記憶する画像フレームを読み込んで立体物として認識された領域ごとの立体物情報（高さ位置、横幅、高さ幅）の差分を求めることによって変動を算出する。この際には、最新のフレームから求めた立体物情報と、それよりも１周期前のフレームから求めた立体物情報との差分を求めるだけでなく、最新のフレームから求めた立体物情報と、それよりも２周期前のフレームから求めた立体物情報との差分を求め、これら２つの差分演算結果を合わせて用いることにより、より正確な時間変動を算出することができる。なお、差分を取るフレームとして、前述したフレームよりも時間的に前のフレームを用いてもかまわない。   After step S3 described above, the fluctuation calculation unit 33 sets the three-dimensional object information indicating the characteristics of the three-dimensional object, specifically the height position and size (horizontal width, height width) of the region recognized as the three-dimensional object. Temporal fluctuation is calculated (step S4). Specifically, the variation is obtained by reading the image frame stored in the storage unit 4 at that time and obtaining the difference of the solid object information (height position, horizontal width, height width) for each area recognized as a solid object. calculate. In this case, not only the difference between the three-dimensional object information obtained from the latest frame and the three-dimensional object information obtained from the previous frame, but also the three-dimensional object information obtained from the latest frame, By calculating the difference from the three-dimensional object information obtained from the frame two cycles before that, and using these two difference calculation results together, a more accurate time variation can be calculated. Note that a frame temporally prior to the above-described frame may be used as a frame for obtaining the difference.

判定部３４では、変動算出部３３における算出結果に基づいて、立体物が歩行者であるか否かの判定を行う（ステップＳ５）。ここでは、歩行者に対応する立体物は、その立体物情報の変動が小さいという特徴を利用し、それぞれの値の変動幅が所定の範囲内にあるか否かを判定する。判定の結果、立体物が歩行者である場合（ステップＳ５でＹｅｓ）、トラッキング処理部３５はその立体物（歩行者）のトラッキング処理を行う（ステップＳ６）。ここでのトラッキング処理は、歩行者が車両と比較して動きが十分に遅いことに鑑み、移動速度が所定の値（例えば１ｍ／ｓ）よりも小さい「静止物」と仮定する。この仮定のもとで、自車両の速度等から静止物の動きを予測してトラッキングを行う。   In the determination part 34, based on the calculation result in the fluctuation | variation calculation part 33, it is determined whether a solid object is a pedestrian (step S5). Here, the three-dimensional object corresponding to the pedestrian utilizes the feature that the fluctuation of the three-dimensional object information is small, and determines whether or not the fluctuation range of each value is within a predetermined range. As a result of the determination, if the three-dimensional object is a pedestrian (Yes in step S5), the tracking processing unit 35 performs a tracking process for the three-dimensional object (pedestrian) (step S6). The tracking processing here is assumed to be a “stationary object” in which the moving speed is smaller than a predetermined value (for example, 1 m / s) in view of the fact that the pedestrian moves sufficiently slower than the vehicle. Under this assumption, the movement of the stationary object is predicted from the speed of the host vehicle and the tracking is performed.

最後に、ステップＳ６におけるトラッキング処理の結果を歩行者検出結果として車両制御装置５へ出力する（ステップＳ７）。なお、ステップＳ５では歩行者と認識された立体物があったとしても、静止物であるという仮定に反して高速で移動するような場合もある。このような場合には、ステップＳ６でその立体物をトラッキングすることができず、検出結果が何も得られないため、結局ステップＳ７からは何も出力されない。   Finally, the result of the tracking process in step S6 is output to the vehicle control device 5 as a pedestrian detection result (step S7). Even if there is a three-dimensional object recognized as a pedestrian in step S5, it may move at a high speed against the assumption that it is a stationary object. In such a case, since the three-dimensional object cannot be tracked in step S6 and no detection result is obtained, nothing is output from step S7.

ここまで、ステップＳ５で立体物が歩行者であった場合を説明してきたが、ステップＳ５で立体物が歩行者でないと判定した場合（ステップＳ５でＮｏ）には、その立体物に関する検出データを削除し（ステップＳ８）、一連の処理を終了する。   Up to this point, the case where the three-dimensional object is a pedestrian has been described in step S5. However, when it is determined in step S5 that the three-dimensional object is not a pedestrian (No in step S5), detection data regarding the three-dimensional object is stored. It deletes (step S8), and a series of processes are complete | finished.

以上説明したように、歩行者Ｐに対応する画素点群ＳPは、その横幅、高さ幅、および位置を含む立体物情報の時間的な変動が小さいのに対して、車両Ｃ（等の人工構造物）に対応する画素点群ＳCは、仮に一つの立体物として認識できたとしても、その後の立体物の大きさや位置が時間と共に大きく変動し、場合によっては見かけ上分離してしまうこともある。したがって、本実施の形態１に係る歩行者検出方法によれば、歩行者が他の人工構造物と比較して決定的に異なる性質を有する画素点群を構成することを利用して、歩行者を適確に検出することが可能となる。 As described above, the pixel point group S P corresponding to the pedestrian P has a small temporal variation of the three-dimensional object information including its lateral width, height width, and position, whereas the vehicle C (etc. Even if the pixel point group S C corresponding to the (artificial structure) can be recognized as one solid object, the size and position of the subsequent solid object greatly fluctuate with time, and may be apparently separated in some cases. Sometimes. Therefore, according to the pedestrian detection method according to the first embodiment, a pedestrian is configured using pixel point groups having properties that are decisively different from those of other artificial structures. Can be detected accurately.

また、本実施の形態１においては、従来のステレオカメラにおけるステレオマッチングの手法を適用して歩行者を検出するため、パターンマッチングを適用する場合と比較して計算負荷が少なくて済む。   In the first embodiment, since a pedestrian is detected by applying a stereo matching method in a conventional stereo camera, the calculation load is less than that in the case of applying pattern matching.

以上説明した本発明の実施の形態１によれば、所定の視野を撮像する複眼の撮像手段から出力される画像情報に基づいて縦エッジを抽出し、その縦エッジから３次元情報を算出し、この算出した３次元情報をもとに立体物を検出し、この検出した立体物の特性を示す立体物情報の時間による変動を算出し、この算出した前記立体物の変動に基づいて該立体物が歩行者であるか否かを判定することにより、ステレオカメラを用いて撮像した画像に含まれる歩行者を、少ない計算量で高精度に検出することが可能となる。   According to Embodiment 1 of the present invention described above, a vertical edge is extracted based on image information output from a compound eye imaging unit that images a predetermined visual field, and three-dimensional information is calculated from the vertical edge. Based on the calculated three-dimensional information, a three-dimensional object is detected, a change of the three-dimensional object information indicating the characteristic of the detected three-dimensional object with time is calculated, and the three-dimensional object is based on the calculated change of the three-dimensional object. By determining whether or not is a pedestrian, it is possible to accurately detect a pedestrian included in an image captured using a stereo camera with a small amount of calculation.

（実施の形態２）
本発明の実施の形態２は、ステレオ画像によって得た歩行者情報とミリ波レーダで検出した情報とのフュージョン処理を行うことを特徴とする。図１２は、本実施の形態２に係る歩行者検出装置の機能構成を示すブロック図である。同図に示す歩行者検出装置１１は、撮像部２、画像処理部３に加えて、ミリ波（電磁波の一種）を利用して物体を検出する検出手段であるミリ波レーダ６と、ミリ波レーダ６で検出した受信信号に所定の信号処理を施す信号処理部７と、画像処理部３および信号処理部７の処理に関する各種情報を記憶する記憶部８と、画像処理部３から出力される歩行者情報と信号処理部７から出力されるレーダ検出情報とのフュージョン処理を行うフュージョン処理部９と、を備える。 (Embodiment 2)
The second embodiment of the present invention is characterized in that fusion processing is performed between pedestrian information obtained from stereo images and information detected by a millimeter wave radar. FIG. 12 is a block diagram illustrating a functional configuration of the pedestrian detection device according to the second embodiment. The pedestrian detection device 11 shown in the figure includes a millimeter wave radar 6 which is a detection means for detecting an object using millimeter waves (a kind of electromagnetic waves) in addition to the imaging unit 2 and the image processing unit 3, and a millimeter wave. A signal processing unit 7 that performs predetermined signal processing on the received signal detected by the radar 6, a storage unit 8 that stores various types of information relating to the processing of the image processing unit 3 and the signal processing unit 7, and an output from the image processing unit 3. A fusion processing unit 9 that performs a fusion process between the pedestrian information and the radar detection information output from the signal processing unit 7.

なお、撮像部２および画像処理部３の構成、ならびにそれらを用いた歩行者検出方法については上記実施の形態１と同じである。   The configurations of the imaging unit 2 and the image processing unit 3, and the pedestrian detection method using them are the same as those in the first embodiment.

図１３は、本実施の形態２に係る歩行者検出方法の処理の概要を示すフローチャートである。同図において、ステップＳ１１〜ステップＳ１６の処理は、上記実施の形態１に係る歩行者検出方法のステップＳ１〜ステップＳ６の処理とそれぞれ同じである（図３を参照）。   FIG. 13 is a flowchart showing an outline of processing of the pedestrian detection method according to the second embodiment. In the same figure, the process of step S11-step S16 is the same as the process of step S1-step S6 of the pedestrian detection method which concerns on the said Embodiment 1, respectively (refer FIG. 3).

ステップＳ１６に続くステップＳ１７では、フュージョン処理部９で、画像処理部３から出力された歩行者検出情報（ステレオ画像物標）と信号処理部７から出力されたミリ波物標とを受信してフュージョン処理を行う。ここでのフュージョン処理は、従来から知られている技術を適用することができる。   In step S17 following step S16, the fusion processing unit 9 receives the pedestrian detection information (stereo image target) output from the image processing unit 3 and the millimeter wave target output from the signal processing unit 7. Perform fusion processing. A conventionally known technique can be applied to the fusion process here.

その後、ステップＳ１７で生成されたフュージョン物標を車両制御装置５へ出力する（ステップＳ１８）ことによって一連の処理が修了する。なお、ステップＳ１５で立体物が歩行者でないと判定した場合（ステップＳ１５でＮｏ）には、その立体物に関する検出データを削除し（ステップＳ１９）、一連の処理を終了する。   Then, a series of processing is completed by outputting the fusion target generated at Step S17 to vehicle control device 5 (Step S18). If it is determined in step S15 that the three-dimensional object is not a pedestrian (No in step S15), the detection data relating to the three-dimensional object is deleted (step S19), and the series of processing ends.

本実施の形態２においては、ミリ波レーダ６が歩行者を検出することを目的としているため、例えば車両やガードレール等を検知する場合のように、物標からの反射波の受信レベル（強度）の閾値を高く設定しておくと、反射率が低い歩行者を検出できないので意味がない。また、物標からの反射波の受信レベル（強度）の閾値を低く設定したときに検出できない物標は、少なくとも歩行者ではないため、歩行者を検出する上では意味がない。このように、歩行者を検出する際には、ミリ波レーダ６の反射波の受信レベルの高低２つ閾値の中間域で検出された物標情報にステレオ画像物標情報をフュージョンすることによって信頼度が高い歩行者情報を得ることができる。   In the second embodiment, since the millimeter wave radar 6 is intended to detect a pedestrian, the reception level (intensity) of the reflected wave from the target as in the case of detecting a vehicle, a guardrail, or the like, for example. If the threshold value is set high, it is meaningless because a pedestrian with low reflectance cannot be detected. Moreover, since the target which cannot be detected when the threshold of the reception level (intensity) of the reflected wave from the target is set low is not at least a pedestrian, it is meaningless for detecting the pedestrian. As described above, when detecting a pedestrian, the stereo image target information is trusted by fusing the target information detected in the middle region between the two threshold levels of the reception level of the reflected wave of the millimeter wave radar 6. High-level pedestrian information can be obtained.

以上説明した本発明の実施の形態２によれば、所定の視野を撮像する複眼の撮像手段から出力される画像情報に基づいて縦エッジを抽出し、その縦エッジから３次元情報を算出し、この算出した３次元情報をもとに立体物を検出し、この検出した立体物の特性を示す立体物情報の時間による変動を算出し、この算出した前記立体物の変動に基づいて該立体物が歩行者であるか否かを判定することにより、上記実施の形態１と同様、ステレオカメラを用いて撮像した画像に含まれる歩行者を、少ない計算量で高精度に検出することが可能となる。   According to the second embodiment of the present invention described above, a vertical edge is extracted based on image information output from a compound eye imaging unit that images a predetermined visual field, and three-dimensional information is calculated from the vertical edge. Based on the calculated three-dimensional information, a three-dimensional object is detected, a change of the three-dimensional object information indicating the characteristic of the detected three-dimensional object with time is calculated, and the three-dimensional object is based on the calculated change of the three-dimensional object. By determining whether or not is a pedestrian, it is possible to detect a pedestrian included in an image captured using a stereo camera with a small amount of calculation with high accuracy, as in the first embodiment. Become.

加えて、本実施の形態２によれば、上記実施の形態１と同様に検出したステレオ画像物標としての歩行者情報に対し、ミリ波レーダで検出したミリ波物標をフュージョンすることにより、一段と信頼度の高い歩行者検出を実現することが可能となる。   In addition, according to the second embodiment, by fusion of the millimeter wave target detected by the millimeter wave radar to the pedestrian information as the stereo image target detected as in the first embodiment, Pedestrian detection with higher reliability can be realized.

なお、本実施の形態２において、検出手段としてミリ波レーダの代わりにレーザレーダを用いることも可能である。   In the second embodiment, it is also possible to use a laser radar instead of the millimeter wave radar as the detection means.

（その他の実施の形態）
ここまで、本発明を実施するための最良の形態として、実施の形態１および２を詳述してきたが、本発明はそれら２つの実施の形態によってのみ限定されるべきものではない。すなわち、本発明は、ここでは記載していないさまざまな実施の形態等を含みうるものであり、特許請求の範囲により特定される技術的思想を逸脱しない範囲内において種々の設計変更等を施すことが可能である。 (Other embodiments)
Up to this point, the first and second embodiments have been described in detail as the best mode for carrying out the present invention, but the present invention should not be limited only by these two embodiments. That is, the present invention can include various embodiments and the like not described herein, and various design changes and the like can be made without departing from the technical idea specified by the claims. Is possible.

本発明の実施の形態１に係る歩行者検出装置の機能構成を示すブロック図である。It is a block diagram which shows the function structure of the pedestrian detection apparatus which concerns on Embodiment 1 of this invention. ステレオカメラによる撮像処理を概念的に示す説明図である。It is explanatory drawing which shows notionally the imaging process by a stereo camera. 本実施の形態１に係る歩行者検出方法の概要を示すフローチャートである。It is a flowchart which shows the outline | summary of the pedestrian detection method which concerns on this Embodiment 1. FIG. 撮像部で撮像対象となる風景例（歩行者あり）を示す図である。It is a figure which shows the example of a landscape (with a pedestrian) used as the imaging object in an imaging part. 撮像部で撮像対象となる風景例（歩行者なし）を示す図である。It is a figure which shows the example of a landscape (without a pedestrian) used as an imaging target in an imaging part. 図５の風景を撮像した画像情報を用いて縦エッジ抽出処理を行った場合の歩行者付近の縦エッジを模式的に示す図である。It is a figure which shows typically the vertical edge near a pedestrian at the time of performing a vertical edge extraction process using the image information which imaged the scenery of FIG. 図６の風景を撮像した画像に対して縦エッジ抽出処理を行った場合の車両付近の縦エッジを模式的に示す図である。It is a figure which shows typically the vertical edge of the vehicle vicinity at the time of performing a vertical edge extraction process with respect to the image which imaged the landscape of FIG. 立体物検出部で算出した画素点を画面上へプロットした図（歩行者ありの場合）である。It is the figure (in the case of a pedestrian) which plotted the pixel point calculated in the solid-object detection part on the screen. 立体物検出部で算出した画素点を画面上へプロットした図（歩行者なしの場合）である。It is the figure (when there is no pedestrian) which plotted the pixel point computed in the solid thing detection part on a screen. 図８の画像に対して画素点の密度を求めた結果を視覚化した図である。It is the figure which visualized the result of having calculated | required the density of the pixel point with respect to the image of FIG. 図９の画像に対して画素点の密度を求めた結果を視覚化した図である。It is the figure which visualized the result of having calculated | required the density of the pixel point with respect to the image of FIG. 本発明の実施の形態２に係る歩行者検出装置の機能構成を示すブロック図である。It is a block diagram which shows the function structure of the pedestrian detection apparatus which concerns on Embodiment 2 of this invention. 本実施の形態２に係る歩行者検出方法の概要を示すフローチャートである。It is a flowchart which shows the outline | summary of the pedestrian detection method which concerns on this Embodiment 2. FIG.

符号の説明Explanation of symbols

１、１１ 歩行者検出装置
２ 撮像部
３ 画像処理部
４、８ 記憶部
５ 車両制御装置
６ ミリ波レーダ
７ 信号処理部
９ フュージョン処理部
２１Ｌ、２１Ｒ カメラ
２２Ｌ、２２Ｒ フレームメモリ
３１ 縦エッジ抽出部
３２ 立体物検出部
３３ 変動算出部
３４ 判定部
３５ トラッキング処理部
１０１、２０１ 風景
１０２、１０３、２０２、２０３ 画像
Ｃ 車両
Ｄ1、Ｄ2、Ｄ3 高密度領域
ＩL 左画像領域
ＩR 右画像領域
Ｅ 縦エッジ
Ｆ 遠方領域
Ｈ 横断歩道
ＬE 直線
Ｍ 中間領域
Ｎ 近傍領域
Ｐ 歩行者
Ｒ 道路
ＳC、ＳC1、ＳC2、ＳP 画素点群 DESCRIPTION OF SYMBOLS 1,11 Pedestrian detection apparatus 2 Imaging part 3 Image processing part 4, 8 Storage part 5 Vehicle control apparatus 6 Millimeter wave radar 7 Signal processing part 9 Fusion processing part 21L, 21R Camera 22L, 22R Frame memory 31 Vertical edge extraction part 32 three-dimensional object detection unit 33 variation calculation unit 34 determination unit 35 tracking processing unit 101 and 201 landscape 102,103,202,203 image C vehicle D 1, D 2, D 3 high-density region I L left image area I R right image region E Vertical edge F Far area H Crosswalk L E Line M Middle area N Neighborhood area P Pedestrian R Road S C , S C1 , S C2 , S P pixel point group

Claims (9)

所定の視野を撮像する複眼の撮像手段から出力される画像情報を用いて前記視野内を歩行する歩行者を検出する歩行者検出方法であって、
前記画像情報に基づいて縦エッジを抽出する縦エッジ抽出ステップと、
前記縦エッジ抽出ステップで抽出した縦エッジから該縦エッジまでの距離を含む３次元情報をステレオマッチングによって算出し、前記３次元情報から得られる画素点を含む単位領域のうち、画像の略中央部に位置し、画素点の密度が所定の基準よりも高くかつ互いに連続した複数の単位領域を一つの領域として統合することによって立体物を検出する立体物検出ステップと、
前記立体物検出ステップで検出した立体物の特性を示す立体物情報である立体物の高さ位置、横幅および高さ幅の時間による変動として、異なる時間における前記立体物の高さ位置、横幅および高さ幅の各差分を算出する変動算出ステップと、
前記変動算出ステップで算出した前記変動が所定の範囲内にあるか否かを判定することによって前記立体物情報に対応する立体物が歩行者であるか否かを判定する判定ステップと、
を有することを特徴とする歩行者検出方法。 A pedestrian detection method for detecting a pedestrian walking in the visual field using image information output from a compound eye imaging means for imaging a predetermined visual field,
A vertical edge extraction step of extracting a vertical edge based on the image information;
The three-dimensional information including the distance from the vertical edge extracted in the vertical edge extraction step to the vertical edge is calculated by stereo matching, and the unit region including the pixel point obtained from the three-dimensional information is substantially at the center of the image. A three-dimensional object detection step of detecting a three-dimensional object by integrating a plurality of unit areas that are located at a density of pixel points higher than a predetermined reference and are continuous with each other as one area ;
As the three- dimensional object height position, width, and height width, which are three- dimensional object information indicating the characteristics of the three-dimensional object detected in the three-dimensional object detection step, the height position, width, and width of the three-dimensional object at different times A variation calculating step for calculating each difference in height width ;
A determination step of determining whether or not the three-dimensional object corresponding to the three-dimensional object information is a pedestrian by determining whether or not the fluctuation calculated in the fluctuation calculation step is within a predetermined range ;
A pedestrian detection method characterized by comprising: 前記変動算出ステップは、
過去の二つの異なる時間における前記立体物情報と最新の前記立体物情報との差分をそれぞれ算出することを特徴とする請求項１記載の歩行者検出方法。 The fluctuation calculating step includes:
The pedestrian detection method according to claim 1, wherein the difference between the three-dimensional object information and the latest three-dimensional object information at two different times in the past is calculated. 前記判定ステップで判定した立体物が歩行者である場合、当該歩行者のトラッキング処理を行うトラッキング処理ステップをさらに有することを特徴とする請求項１または２記載の歩行者検出方法。 If three-dimensional object determined in the determining step is a pedestrian, the pedestrian detecting method according to claim 1, wherein further comprising a tracking processing step of performing a tracking process of the walker. 電磁波を用いて物体を検出する検出手段で検出した物体検出結果と、前記トラッキング処理ステップで検出した前記歩行者に関する情報とをフュージョン処理するフュージョン処理ステップをさらに有することを特徴とする請求項３記載の歩行者検出方法。 The object detection result detected by the detecting means for detecting an object by using electromagnetic waves, according to claim 3, characterized by further comprising a fusion processing step of the fusion process and information about the pedestrian detected by the tracking process step Pedestrian detection method. 所定の視野を撮像する複眼の撮像手段から出力される画像情報を用いて前記視野内を歩行する歩行者を検出する歩行者検出装置であって、
前記画像情報に基づいて縦エッジを抽出する縦エッジ抽出手段と、
前記縦エッジ抽出手段で抽出した縦エッジから該縦エッジまでの距離を含む３次元情報をステレオマッチングによって算出し、前記３次元情報から得られる画素点を含む単位領域のうち、画像の略中央部に位置し、画素点の密度が所定の基準よりも高くかつ互いに連続した複数の単位領域を一つの領域として統合することによって立体物を検出する立体物検出手段と、
前記立体物検出手段で検出した立体物の特性を示す立体物情報である立体物の高さ位置、横幅および高さ幅の時間による変動として、異なる時間における前記立体物の高さ位置、横幅および高さ幅の各差分を算出する変動算出手段と、
前記変動算出手段で算出した前記変動が所定の範囲内にあるか否かを判定することによって前記立体物情報に対応する立体物が歩行者であるか否かを判定する判定手段と、
を備えたことを特徴とする歩行者検出装置。 A pedestrian detection device that detects a pedestrian walking in the visual field using image information output from a compound eye imaging unit that captures a predetermined visual field,
Vertical edge extraction means for extracting a vertical edge based on the image information;
The three-dimensional information including the distance from the vertical edge extracted by the vertical edge extracting means to the vertical edge is calculated by stereo matching, and the unit area including the pixel point obtained from the three-dimensional information is substantially at the center of the image. A three-dimensional object detection means for detecting a three-dimensional object by integrating a plurality of unit areas having a pixel point density higher than a predetermined reference and continuous with each other as one area ;
The three- dimensional object height position, width, and height width, which are three- dimensional object information indicating the characteristics of the three-dimensional object detected by the three-dimensional object detection means, vary with time, and the height position, width, and width of the three-dimensional object at different times. A fluctuation calculating means for calculating each difference in height width ;
Determining means for determining whether or not the three-dimensional object corresponding to the three-dimensional object information is a pedestrian by determining whether or not the fluctuation calculated by the fluctuation calculating means is within a predetermined range ;
A pedestrian detection device comprising: 前記変動算出手段は、
過去の二つの異なる時間における前記立体物情報と最新の前記立体物情報との差分をそれぞれ算出することを特徴とする請求項５記載の歩行者検出装置。 The fluctuation calculating means includes
6. The pedestrian detection device according to claim 5 , wherein a difference between the three-dimensional object information and the latest three-dimensional object information at two different times in the past is calculated. 前記判定手段で判定した立体物が歩行者である場合、当該歩行者のトラッキング処理を行うトラッキング処理手段をさらに備えたことを特徴とする請求項５または６記載の歩行者検出装置。 The pedestrian detection device according to claim 5 , further comprising a tracking processing unit that performs tracking processing of the pedestrian when the three-dimensional object determined by the determination unit is a pedestrian. 電磁波を用いて物体を検出する検出手段で検出した物体検出結果と、前記トラッキング処理手段で検出した前記歩行者に関する情報とをフュージョン処理するフュージョン処理手段をさらに備えたことを特徴とする請求項７記載の歩行者検出装置。 8. The apparatus according to claim 7 , further comprising: fusion processing means for performing fusion processing on an object detection result detected by a detection means for detecting an object using electromagnetic waves and information on the pedestrian detected by the tracking processing means. The pedestrian detection device described. 請求項１〜４のいずれか一項に記載の歩行者検出方法をコンピュータに実行させることを特徴とする歩行者検出プログラム。 A pedestrian detection program that causes a computer to execute the pedestrian detection method according to any one of claims 1 to 4 .
JP2006051270A 2006-02-27 2006-02-27 Pedestrian detection method, apparatus, and program Expired - Fee Related JP4788399B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006051270A JP4788399B2 (en) 2006-02-27 2006-02-27 Pedestrian detection method, apparatus, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006051270A JP4788399B2 (en) 2006-02-27 2006-02-27 Pedestrian detection method, apparatus, and program

Publications (2)

Publication Number Publication Date
JP2007233487A JP2007233487A (en) 2007-09-13
JP4788399B2 true JP4788399B2 (en) 2011-10-05

Family

ID=38554053

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006051270A Expired - Fee Related JP4788399B2 (en) 2006-02-27 2006-02-27 Pedestrian detection method, apparatus, and program

Country Status (1)

Country Link
JP (1) JP4788399B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4772622B2 (en) * 2006-08-18 2011-09-14 アルパイン株式会社 Perimeter monitoring system
JP5173991B2 (en) * 2009-11-18 2013-04-03 本田技研工業株式会社 Vehicle periphery monitoring device
JP6996353B2 (en) * 2018-03-06 2022-01-17 トヨタ自動車株式会社 Object recognition device and vehicle travel control system
CN109919033B (en) * 2019-01-31 2022-09-20 中山大学 Self-adaptive city people searching method based on edge calculation

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08313632A (en) * 1995-05-19 1996-11-29 Omron Corp Alarm generator, alarm generating method and vehicle mounting alarm generator
JP2004185363A (en) * 2002-12-04 2004-07-02 Ishikawajima Harima Heavy Ind Co Ltd Object distinction method by area sensor
JP2004192097A (en) * 2002-12-09 2004-07-08 Sekisui Jushi Co Ltd Mobile object detection and notification system
JP4638143B2 (en) * 2003-12-26 2011-02-23 富士重工業株式会社 Vehicle driving support device

Also Published As

Publication number Publication date
JP2007233487A (en) 2007-09-13

Similar Documents

Publication Publication Date Title
CN106663193B (en) System and method for curb detection and pedestrian hazard assessment
JP6274557B2 (en) Moving surface information detection apparatus, moving body device control system using the same, and moving surface information detection program
JP6344638B2 (en) Object detection apparatus, mobile device control system, and object detection program
US7899211B2 (en) Object detecting system and object detecting method
JP6013884B2 (en) Object detection apparatus and object detection method
JP4733756B2 (en) Vehicle periphery monitoring device
JP4872769B2 (en) Road surface discrimination device and road surface discrimination method
US10776637B2 (en) Image processing device, object recognizing device, device control system, image processing method, and computer-readable medium
US20150367781A1 (en) Lane boundary estimation device and lane boundary estimation method
US20120219183A1 (en) 3D Object Detecting Apparatus and 3D Object Detecting Method
Aytekin et al. Increasing driving safety with a multiple vehicle detection and tracking system using ongoing vehicle shadow information
JPH05265547A (en) On-vehicle outside monitoring device
JP2007334751A (en) Vehicle periphery monitoring device
JP2007300181A (en) Periphery monitoring apparatus and periphery monitoring method and program thereof
JP2008168811A (en) Traffic lane recognition device, vehicle, traffic lane recognition method, and traffic lane recognition program
JP2009053818A (en) Image processor and method thereof
JPWO2019202628A1 (en) Road surface detection device, image display device using road surface detection device, obstacle detection device using road surface detection device, road surface detection method, image display method using road surface detection method, and obstacle detection method using road surface detection method
JP2007280132A (en) Travel guide obstacle detector, and controller for vehicle
JP4644273B2 (en) Vehicle periphery monitoring device
JP2008310440A (en) Pedestrian detection device
JP4788399B2 (en) Pedestrian detection method, apparatus, and program
JP2007264717A (en) Lane deviation decision device, lane deviation prevention device and lane follow-up supporting device
JP2006318062A (en) Image processor, image processing method and image processing program
JP6701905B2 (en) Detection device, parallax value derivation device, object recognition device, device control system, and program
KR102003387B1 (en) Method for detecting and locating traffic participants using bird's-eye view image, computer-readerble recording medium storing traffic participants detecting and locating program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110118

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110316

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110621

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110704

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140729

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4788399

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees