JP4611919B2 - Pedestrian recognition device - Google Patents

Pedestrian recognition device Download PDF

Info

Publication number
JP4611919B2
JP4611919B2 JP2006080891A JP2006080891A JP4611919B2 JP 4611919 B2 JP4611919 B2 JP 4611919B2 JP 2006080891 A JP2006080891 A JP 2006080891A JP 2006080891 A JP2006080891 A JP 2006080891A JP 4611919 B2 JP4611919 B2 JP 4611919B2
Authority
JP
Japan
Prior art keywords
pedestrian
means
color information
visible
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006080891A
Other languages
Japanese (ja)
Other versions
JP2007259076A (en
Inventor
弘之 小池
いずみ 近藤
Original Assignee
本田技研工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 本田技研工業株式会社 filed Critical 本田技研工業株式会社
Priority to JP2006080891A priority Critical patent/JP4611919B2/en
Publication of JP2007259076A publication Critical patent/JP2007259076A/en
Application granted granted Critical
Publication of JP4611919B2 publication Critical patent/JP4611919B2/en
Application status is Expired - Fee Related legal-status Critical
Anticipated expiration legal-status Critical

Links

Images

Description

この発明は、歩行者認識装置に関する。 This invention relates to a pedestrian recognition device.

従来、例えば赤外線カメラと可視カメラとを備え、各カメラの撮影により得られた画像に二値化処理を行い、二値化処理後の各画像データ同士の差分により構成される差分画像データに対して、歩行者を対象としたパターンマッチングの認識処理を行うことで、赤外光量が同等の歩行者と歩行者以外の物体とを、特に歩行者以外の物体の自発光量に基づき判別し、夜間時において歩行者を検出する装置が知られている(例えば、特許文献1参照)。 Conventionally, a infrared camera and a visible camera, performs a binarization process on the image obtained by photographing each camera with respect to the difference image data constituted by the difference of the image data with each other after the binarization process Te, pedestrian by performing recognition processing of the target and pattern matching, and the object other than the pedestrian infrared light quantity equivalent pedestrians, particularly discriminated on the basis of the spontaneous light amount of an object other than a pedestrian at night device for detecting is known pedestrian during (e.g., see Patent Document 1).
特開平11−215487号公報 JP 11-215487 discloses

ところで、上記従来技術の一例に係る装置によれば、差分画像データに対するパターンマッチングの認識処理の認識精度は、可視カメラの感度に応じて変化することになり、夜間時であっても、照明等によって相対的に明るい環境下においては、歩行者と歩行者以外の物体とを的確に判別することが困難となり、歩行者を検出することが困難となる虞がある。 Meanwhile, according to the apparatus according to an example of the prior art, the recognition accuracy of the recognition process of the pattern matching for the differential image data is made to vary according to the sensitivity of visible cameras, even at night, lighting, etc. by under relatively bright environment, it is difficult to accurately determine the object other than the pedestrian and the pedestrian, there is a fear that it becomes difficult to detect the pedestrians.
本発明は上記事情に鑑みてなされたもので、歩行者を適切に認識することが可能な歩行者認識装置を提供することを目的としている。 The present invention has been made in view of the above problem and an object thereof is to provide a pedestrian recognition device capable to properly recognize the pedestrian.

上記課題を解決して係る目的を達成するために、請求項1に記載の本発明の歩行者認識装置は、自車両の外界に存在する物体を撮像する赤外線カメラ(例えば、実施の形態での赤外線カメラ11La,11Ra)および可視カメラ(例えば、実施の形態での可視カメラ11Va)と、前記各カメラの撮像により得られた画像から歩行者候補を含む領域を抽出する抽出手段(例えば、実施の形態でのステップS02)と、前記抽出手段により抽出された前記領域において前記歩行者候補を対象としたエッジを検出するエッジ検出手段(例えば、実施の形態でのステップS05)と、前記エッジ検出手段により検出された各前記画像での前記エッジ同士を比較する比較手段(例えば、実施の形態でのステップS05)と、前記比較手段による比較 To achieve the object according to solve the above problems, the pedestrian recognition device of the present invention as set forth in claim 1, an infrared camera for imaging an object that exists outside of the vehicle (e.g., in the embodiment infrared cameras 11La, 11Ra) and visible camera (e.g., a visible camera 11Va) in the embodiment, the extraction means for extracting the area including the pedestrian candidate from image captured by the cameras (e.g., the embodiment and step S02) in the form, the edge detecting means for detecting an edge intended for the pedestrian candidate in the region extracted by the extraction means (for example, step S05 in the embodiment), the edge detecting means and comparing means for comparing said edges to each other in each of said images detected (e.g., step S05 in the embodiment), the comparison by the comparing means 果に基づき、前記可視カメラの撮像により得られた可視画像から抽出された前記歩行者候補を含む領域の色情報を識別する色情報識別手段(例えば、実施の形態でのステップS07)と、前記色情報識別手段により識別された前記色情報に基づき前記歩行者候補が歩行者であるか否かを判定する判定手段(例えば、実施の形態でのステップS06,ステップS08)とを備えることを特徴としている。 Based on results, the identifying color information identification means the color information of a region including the pedestrian candidate extracted from the obtained visible image by the imaging of visible light camera (for example, step S07 in the embodiment) and the characterized in that it comprises a determination means the pedestrian candidate based on the color information which is identified whether or not the pedestrian (e.g., step S06, step S08 in the embodiment) by the color information identification means It is set to.

上記の歩行者認識装置によれば、赤外線カメラおよび可視カメラの撮影により得られた各画像上で検出されたエッジ同士の比較結果に加えて、可視画像上で歩行者候補を含む領域の色情報に基づいて、歩行者候補が歩行者であるか否かを判定することにより、例えば夜間時に照明等によって相対的に明るい環境下においても、歩行者を適切に認識することができる。 According to the pedestrian recognition device, in addition to the comparison result of the edge between detected on the image obtained by photographing the infrared camera and the visible camera, the color information of a region including a pedestrian candidate on a visible image based on, by the pedestrian candidate determining whether a pedestrian, for example, even in a relatively bright environment by lighting or the like at night time, it is possible to properly recognize a pedestrian.

以上説明したように、本発明の歩行者認識装置によれば、赤外線カメラおよび可視カメラの撮影により得られた各画像上で検出されたエッジ同士の比較結果に加えて、可視画像上で歩行者候補を含む領域の色情報に基づいて、歩行者候補が歩行者であるか否かを判定することにより、歩行者を適切に認識することができる。 As described above, according to the pedestrian recognition device of the present invention, in addition to the comparison result of the edge between detected on the image obtained by the photographing of an infrared camera and a visible camera, pedestrians on the visible image based on the color information of the region including the candidate, by the pedestrian candidate determining whether a pedestrian, it is possible to appropriately recognize the pedestrian.

以下、本発明の一実施形態に係る歩行者認識装置について添付図面を参照しながら説明する。 It will be described below with reference to the accompanying drawings pedestrian recognition apparatus according to an embodiment of the present invention.
本実施の形態による歩行者認識装置10は、例えば図1に示すように、外界センサ11と、照度センサ12と、処理装置13と、表示装置14とを備えて構成されている。 Pedestrian recognition apparatus 10 according to this embodiment, for example, as shown in FIG. 1, the external sensor 11, an illuminance sensor 12, the processor 13 is configured by a display device 14.
さらに、処理装置13は、例えば歩行者候補検出部21と、外部照度判定部22と、歩行者検知確定部23とを備えて構成されている。 Further, the processing unit 13, for example, a pedestrian candidate detection unit 21 is configured to include an external illuminance determination unit 22, and a pedestrian detection decision unit 23.

外界センサ11は、例えば赤外線領域にて撮像可能なカメラからなる各1対の赤外線カメラ11La,11Raおよび画像処理部11Lb,11Rbと、例えば可視光領域にて撮像可能なCCDカメラやCMOSカメラ等からなる可視カメラ11Vaおよび画像処理部11Vbとを備えて構成されている。 External sensor 11, for example, each pair of infrared cameras 11La consisting imaging camera capable in the infrared region, 11Ra and the image processing unit 11Lb, and 11rb, for example, from the imaging capable CCD camera or a CMOS camera or the like in a visible light region and a visible camera 11Va and the image processing unit 11Vb is constructed becomes.
そして、各画像処理部11Lb,11Rb,11Vbは、各カメラ11La,11Ra,11Vaにより撮影して得た自車両の進行方向の外界の各画像に対して、例えばフィルタリングや二値化処理等の所定の画像処理を行い、二次元配列の画素からなる各画像データを生成して処理装置13へ出力する。 Then, the image processing unit 11Lb, 11Rb, 11Vb, each camera 11La, 11Ra, for each image of the external world in the traveling direction of the vehicle is acquired by shooting by 11Va, for example filtering or predetermined binarization etc. It performs image processing, and generates and outputs the image data composed of pixels of the two-dimensional array to the processor 13.
照度センサ12は自車両の外界の照度を検出する。 Illuminance sensor 12 detects the illuminance of the outside world of the vehicle.

処理装置13の歩行者候補検出部21は、外界センサ11から入力される画像データに基づき、例えば人体を対象とする所定の認識処理により、自車両の進行方向での1対の赤外線カメラ11La,11Raの各検知エリア内に存在する物体のうち歩行者候補を検出する。 Pedestrian candidate detection unit 21 of the processor 13, based on the image data input from the external sensor 11, for example by predetermined recognition processing intended for the human body, in the traveling direction of the vehicle a pair of infrared cameras 11La, present in each detection area of ​​11Ra detecting a pedestrian candidate of the object. そして、各画像処理部11Lb,11Rbから入力される1対の画像データに対して、車室内に所定間隔を隔てて設置された1対の赤外線カメラ11La,11Ra同士間の距離と、1対の画像データ上において検出された歩行者候補の視差とに基づく三角測量法等により、歩行者候補までの距離を算出する。 Then, the image processing sections 11Lb, relative to a pair of image data input from 11rb, vehicle interior installed at a predetermined distance a pair of infrared cameras 11La, and the distance between each other 11Ra, a pair of the triangulation method or the like based on the parallax of the detected pedestrian candidate on the image data, and calculates the distance to the pedestrian candidate.
外部照度判定部22は、照度センサ12により検出された自車両の外界の照度(外部照度)が所定閾値以上であるか否かを判定する。 External illuminance determination unit 22, the external of the vehicle detected by the illuminance sensor 12 illuminance (external illuminance) is equal to or greater than a predetermined threshold value.

歩行者検知確定部23は、例えば外部照度判定部22による判定結果において、自車両の外界の照度が所定照度未満であると判定された場合、つまり相対的に暗い環境下においては、可視画像の画像データ上における歩行者候補の輝度値が、所定閾値以下であるか否かの判定結果に応じて、歩行者候補が歩行者であるか否かを判定する。 Pedestrian detection decision unit 23, for example, in the determination result by the external illuminance determination unit 22, if the external illuminance of the vehicle is determined to be less than the predetermined illuminance, i.e. Under relatively dark environment, the visible image the luminance value of the pedestrian candidate in the image data, depending on whether or not the determination result is below a predetermined threshold value, determines the pedestrian candidate whether or not the pedestrian.

また、歩行者検知確定部23は、例えば外部照度判定部22による判定結果において、自車両の外界の照度が所定照度以上であると判定された場合、つまり相対的に明るい環境下においては、可視画像の画像データおよび赤外線画像の画像データにおいて歩行者候補を含む領域を抽出し、各領域において歩行者候補を対象としたエッジを検出する。 Moreover, pedestrian detection decision unit 23, for example, in the determination result by the external illuminance determination unit 22, if the external illuminance of the vehicle is determined to be equal to or greater than the predetermined illuminance, i.e. at a relatively bright environment, the visible the image data of the image data and the infrared image of the image extracting an area including a pedestrian candidate, for detecting the edge intended for pedestrian candidate in each region.
そして、各画像データで検出したエッジ同士の差分が所定閾値以下であるか否か、つまり、各画像データ上の歩行者候補の形状が似ているか否かを判定すると共に、可視画像の画像データにおいて抽出した歩行者候補を含む領域の色情報から、例えば同等色の色情報を有する画素により構成される適宜の領域(同等色領域)の面積が、所定面積未満であるか否かを判定する。 Then, whether or not the difference of the edge between detected in each image data is equal to or less than a predetermined threshold value, that is, as to determine whether the shape of the pedestrian candidate on each image data is similar, the image data of the visible image the area of ​​the appropriate region (regions of comparable colors) composed from the color information of a region including the extracted pedestrian candidate, for example, the pixel having the color information of the same color in, determines whether less than a predetermined area . そして、これらの判定結果に応じて、歩行者候補が歩行者であるか否かを判定する。 Then, according to these determination results, the pedestrian candidate determines whether the pedestrian.

本実施の形態による歩行者認識装置10は上記構成を備えており、次に、この歩行者認識装置10の動作について説明する。 Pedestrian recognition apparatus 10 according to this embodiment has the above-described configuration, it will be described operation of the pedestrian recognition device 10.
先ず、図2に示すステップS01においては、外界センサ11から出力される赤外線画像の画像データを取得する。 First, in step S01 shown in FIG. 2, to obtain the image data of the infrared images output from the external sensor 11.
次に、ステップS02においては、取得した赤外線画像上において、例えば人体を対象とする所定の認識処理により、歩行者候補を抽出する。 Next, in step S02, on the obtained infrared images, for example, by predetermined recognition processing intended for the human body, for extracting a pedestrian candidate.

次に、ステップS03においては、外界センサ11から出力される可視画像の画像データを取得する。 Next, in step S03, it acquires the image data of the visible image output from the external sensor 11.
そして、ステップS04においては、照度センサ12により検出された自車両の外界の照度(外部照度)が所定閾値以上であるか否かを判定する。 Then, in step S04, the outside of the vehicle detected by the illuminance sensor 12 illuminance (external illuminance) is equal to or greater than a predetermined threshold value.
この判定結果が「NO」の場合には、後述するステップS09に進む。 When the determination result is "NO", the flow proceeds to step S09 to be described later.
一方、この判定結果が「YES」の場合には、ステップS05に進む。 On the other hand, when the determination result is "YES", the flow proceeds to step S05.

そして、ステップS05においては、可視画像の画像データおよび赤外線画像の画像データにおいて歩行者候補を含む領域を抽出し、各領域において歩行者候補を対象としたエッジを検出する。 Then, in step S05, extracts a region including the pedestrian candidate in the image data of the image data and the infrared image of the visible image, it detects the edge intended for pedestrian candidate in each region. そして、各画像データで検出したエッジ同士の差分(エッジ差分)が所定閾値以下であるか否かを判定する。 The difference of the edge between detected by the image data (edge ​​difference) is equal to or less than a predetermined threshold value.
この判定結果が「NO」の場合には、ステップS06に進み、このステップS06においては、歩行者候補は歩行者ではないと判定して、一連の処理を終了する。 When the determination result is "NO", the operation proceeds to step S06, in step S06, the pedestrian candidate is determined not to be the pedestrian, the series of processing is terminated.
一方、この判定結果が「YES」の場合には、ステップS07に進む。 On the other hand, when the determination result is "YES", the flow proceeds to step S07.

そして、ステップS07においては、可視画像の画像データ上において抽出した歩行者候補を含む領域の色情報から、同等色の色情報を有する画素により構成される適宜の領域(同等色領域)の面積が、所定面積未満であるか否かを判定する。 Then, in step S07, the area from the color information of a region including the pedestrian candidate extracted in the image data of the visible image, the pixels having color information of comparable colors appropriate region formed (regions of comparable colors) determines whether less than a predetermined area.
この判定結果が「NO」の場合には、上述したステップS06に進む。 When the determination result is "NO", the flow proceeds to step S06 described above.
一方、この判定結果が「YES」の場合には、ステップS08に進み、このステップS08においては、歩行者候補は歩行者であると判定して、一連の処理を終了する。 On the other hand, when the determination result is "YES", the operation proceeds to step S08, in step S08, the pedestrian candidate is determined to be a pedestrian, the series of processing is terminated.

また、ステップS09においては、可視画像の画像データ上における歩行者候補の輝度値が、所定閾値以下であるか否かを判定する。 Further, in step S09, the luminance value of the pedestrian candidate in the image data of the visible image is equal to or less than a predetermined threshold value.
この判定結果が「NO」の場合には、ステップS10に進み、このステップS10においては、歩行者候補は歩行者ではないと判定して、一連の処理を終了する。 When the determination result is "NO", the operation proceeds to step S10, in step S10, the pedestrian candidate is determined not to be the pedestrian, the series of processing is terminated.
一方、この判定結果が「YES」の場合には、ステップS11に進み、このステップS11においては、歩行者候補は歩行者であると判定して、一連の処理を終了する。 On the other hand, when the determination result is "YES", the operation proceeds to step S11, in step S11, the pedestrian candidate is determined to be a pedestrian, the series of processing is terminated.

上述したように、本実施の形態による歩行者認識装置10によれば、先ず、照度センサ12により検出される自車両の外界の照度(外部照度)に応じて、歩行者候補は歩行者であるか否かを判定する際の判定処理を切り換えることで、例えば夜間時等における環境下の明るさに拘わらずに、歩行者を適切に認識することができる。 As described above, according to the pedestrian recognition device 10 according to the present embodiment, first, in accordance with the vehicle of the outside illumination (external illuminance) detected by the illuminance sensor 12, the pedestrian candidate is a pedestrian whether by switching the determination processing for determining, for example, regardless of the brightness of the environment at night or the like, can be appropriately recognize the pedestrian.
しかも、例えば夜間時であっても相対的に明るい環境下においては、赤外線カメラ11La,11Raおよび可視カメラ11Vaの撮影により得られた各画像上で検出されたエッジ同士の比較結果に加えて、可視画像上で歩行者候補を含む領域の色情報に基づいて、歩行者候補が歩行者であるか否かを判定することにより、歩行者を適切に認識することができる。 Moreover, for example, in a relatively bright environment even at night, in addition to the infrared camera 11La, 11Ra and the comparison result of the edge between detected on the image obtained by the photographing of a visible camera 11Va, visible on an image based on color information of a region including a pedestrian candidate, by the pedestrian candidate determining whether a pedestrian, it is possible to appropriately recognize the pedestrian.

本発明の実施の形態に係る歩行者認識装置の構成図である。 It is a block diagram of a pedestrian recognition apparatus according to an embodiment of the present invention. 本発明の実施の形態に係る歩行者認識装置の動作を示すフローチャートである。 The operation of the pedestrian recognition apparatus according to an embodiment of the present invention is a flow chart showing.

符号の説明 DESCRIPTION OF SYMBOLS

10 歩行者認識装置11La,11Ra 赤外線カメラ11Va 可視カメラステップS02 抽出手段ステップS05 エッジ検出手段、比較手段ステップS06、ステップS08 判定手段ステップS07 色情報識別手段 10 pedestrian recognition device 11La, 11Ra infrared camera 11Va visible camera Step S02 extracting unit step S05 edge detection means, comparison means step S06, step S08 determining means step S07 color information identification means

Claims (1)

  1. 自車両の外界に存在する物体を撮像する赤外線カメラおよび可視カメラと、 An infrared camera and a visible camera for imaging an object existing outside of the vehicle,
    前記各カメラの撮像により得られた画像から歩行者候補を含む領域を抽出する抽出手段と、 Extraction means for extracting an area including a pedestrian candidate from an image obtained by the imaging of the respective cameras,
    前記抽出手段により抽出された前記領域において前記歩行者候補を対象としたエッジを検出するエッジ検出手段と、 Edge detecting means for detecting the edge intended for the pedestrian candidate in the region extracted by the extraction means,
    前記エッジ検出手段により検出された各前記画像での前記エッジ同士を比較する比較手段と、 Comparing means for comparing said edges to each other in each of said image detected by said edge detection means,
    前記比較手段による比較結果に基づき、前記可視カメラの撮像により得られた可視画像から抽出された前記歩行者候補を含む領域の色情報を識別する色情報識別手段と、 Based on the comparison result by the comparison means, and identifying color information identification means the color information of a region including the pedestrian candidate extracted from the visible image captured by the visible light camera,
    前記色情報識別手段により識別された前記色情報に基づき前記歩行者候補が歩行者であるか否かを判定する判定手段とを備えることを特徴とする歩行者認識装置。 Pedestrian recognition apparatus comprising: a determining means for determining whether or not the pedestrian candidate based on the color information identified by the color information identification means is a pedestrian.

JP2006080891A 2006-03-23 2006-03-23 Pedestrian recognition device Expired - Fee Related JP4611919B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006080891A JP4611919B2 (en) 2006-03-23 2006-03-23 Pedestrian recognition device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006080891A JP4611919B2 (en) 2006-03-23 2006-03-23 Pedestrian recognition device

Publications (2)

Publication Number Publication Date
JP2007259076A JP2007259076A (en) 2007-10-04
JP4611919B2 true JP4611919B2 (en) 2011-01-12

Family

ID=38632864

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006080891A Expired - Fee Related JP4611919B2 (en) 2006-03-23 2006-03-23 Pedestrian recognition device

Country Status (1)

Country Link
JP (1) JP4611919B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10150415B2 (en) 2014-08-25 2018-12-11 Hyundai Motor Company Method and apparatus for detecting a pedestrian by a vehicle during night driving

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9738253B2 (en) 2012-05-15 2017-08-22 Aps Systems, Llc. Sensor system for motor vehicle
JP6273156B2 (en) * 2014-02-20 2018-01-31 株式会社Subaru Pedestrian recognition device

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11215487A (en) * 1998-01-21 1999-08-06 Nissan Motor Co Ltd Pedestrian sensing and alarming system
JP2003016429A (en) * 2001-06-28 2003-01-17 Honda Motor Co Ltd Vehicle periphery monitor device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11215487A (en) * 1998-01-21 1999-08-06 Nissan Motor Co Ltd Pedestrian sensing and alarming system
JP2003016429A (en) * 2001-06-28 2003-01-17 Honda Motor Co Ltd Vehicle periphery monitor device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10150415B2 (en) 2014-08-25 2018-12-11 Hyundai Motor Company Method and apparatus for detecting a pedestrian by a vehicle during night driving

Also Published As

Publication number Publication date
JP2007259076A (en) 2007-10-04

Similar Documents

Publication Publication Date Title
US8798334B2 (en) Methods for performing biometric recognition of a human eye and corroboration of same
JP5761601B2 (en) Object identification device
EP2009611B1 (en) Road division line detector
CA2609526C (en) Vehicle and road sign recognition device
WO2010124497A1 (en) Method, device and system for motion detection
JPH10289393A (en) Event detecting device for monitoring road
JP4359710B2 (en) Vehicle periphery monitoring device, vehicle, vehicle periphery monitoring program, the vehicle periphery monitoring method
JP2007255977A (en) Object detection method and object detector
WO2008065717A1 (en) Pedestrian detecting system, and pedestrian detecting method
US8947508B2 (en) Image processing apparatus
JP4607193B2 (en) Vehicle and lane mark detection device
JP2003098424A (en) Range finder based on image processing
US8391555B2 (en) Lane recognition apparatus for vehicle, vehicle thereof, and lane recognition program for vehicle
US20050157929A1 (en) Pedestrian detection apparatus
JP2007004668A (en) Vehicle and lane recognition device
CN103322974B (en) Multi-lens camera system, a vehicle mounted multi-lens camera system, and a ranging method performed by a multi-lens camera system
CN102314600B (en) Shadow removal in image captured by vehicle-based camera for clear path detection
JP4725391B2 (en) Visibility measuring device for a vehicle, and the driving support device
US20120154588A1 (en) Lane departure warning system and method
JP4389602B2 (en) Object detection apparatus, the object detecting method, a program
JP2010244456A (en) Boundary line recognition apparatus
EP2050042B1 (en) Pedestrian detection device and pedestrian detection method
JP4408095B2 (en) Vehicle and road sign recognition device
JP2007164636A (en) Lane line detection device
JP5437855B2 (en) Obstacle detection device and obstacle detection system having the same, and obstacle detection method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081127

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100906

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101005

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101014

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131022

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees