JP4528320B2 - Object detection device - Google Patents

Object detection device Download PDF

Info

Publication number
JP4528320B2
JP4528320B2 JP2007204401A JP2007204401A JP4528320B2 JP 4528320 B2 JP4528320 B2 JP 4528320B2 JP 2007204401 A JP2007204401 A JP 2007204401A JP 2007204401 A JP2007204401 A JP 2007204401A JP 4528320 B2 JP4528320 B2 JP 4528320B2
Authority
JP
Japan
Prior art keywords
area
road
window
detection
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007204401A
Other languages
Japanese (ja)
Other versions
JP2007299428A (en
Inventor
守道 西垣
雅和 坂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2007204401A priority Critical patent/JP4528320B2/en
Publication of JP2007299428A publication Critical patent/JP2007299428A/en
Application granted granted Critical
Publication of JP4528320B2 publication Critical patent/JP4528320B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

この発明は、走行する車両の外部の物体を検出する光学式の物体検出装置に関する。   The present invention relates to an optical object detection device that detects an object outside a traveling vehicle.

レーザレーダを用いて前方または後方の車両その他の物体を検出する装置が従来より提案されている。例えば、特開平06-150196号公報(特許文献1)には、レーザレーダで前方の移動物体を検出し、記憶装置に検出した移動物体に関する情報を記憶し、追跡走行などの制御を行う装置において、記憶装置に記憶されている移動物体が現在の検出プロセスで検出されないとき、予め決められた回数にわたって不検出を生じるまで、何らかの原因による検出ミスとして記憶装置に当該移動物体の情報を保持し、予め決められた回数当該移動物体が検出されないとき、記憶装置から当該移動物体に関する情報を削除する手法が記載されている。
特開平06-150196号公報
An apparatus for detecting a vehicle or other object ahead or behind using a laser radar has been proposed. For example, in Japanese Patent Laid-Open No. 06-150196 (Patent Document 1), in a device that detects a moving object ahead by a laser radar, stores information on the detected moving object in a storage device, and performs control such as tracking traveling. When the moving object stored in the storage device is not detected in the current detection process, the information on the moving object is held in the storage device as a detection error for some reason until a non-detection occurs for a predetermined number of times. A method is described in which information relating to a moving object is deleted from a storage device when the moving object is not detected a predetermined number of times.
Japanese Unexamined Patent Publication No. 06-150196

しかし、このような手法によると、検出されない物体を記憶装置から削除しないで保持する回数(補間回数)を多くすると、より継続的に外部の物体を認識し続けることができる反面、外部物体が装置の検知エリア外へ移動した場合であっても補間処理により検知エリア内に物体があるかのように誤認を生じることになる。逆に補間回数を少なくすると、装置の検知ミスによって物体の認識が断続的になるという不具合を生じる。   However, according to such a method, it is possible to continue to recognize an external object more continuously if the number of times (the number of interpolations) that an undetected object is held without being deleted from the storage device is increased. Even when the object moves outside the detection area, an error occurs as if there is an object in the detection area by the interpolation process. Conversely, if the number of interpolations is reduced, there is a problem that the recognition of the object becomes intermittent due to a detection error of the apparatus.

このような課題を解決するため、この発明は、車両に搭載される物体検出装置であって、対象物までの距離を計測可能な撮像装置と、撮像装置から入力された画像における道路領域を判定する道路領域判定部と、上記道路領域の前方にあり道路領域と判定されなかった領域の物体を所定周期ごとに検知する物体検知部と、車両前方の検知エリアを複数に分割したブロックごとに予め設定された検知回数の物体検知に基づいて物体を認識する物体認識部と、を備え、上記予め設定された検知回数は、検知エリアの端部のブロックについては、上記検知エリアの中央部のブロックよりも小さく設定されているという構成をとる。   In order to solve such a problem, the present invention is an object detection device mounted on a vehicle, and can determine an imaging device capable of measuring a distance to an object and a road region in an image input from the imaging device. A road area determination unit that detects an object in an area that is in front of the road area and that has not been determined as a road area, and a block that is obtained by dividing the detection area in front of the vehicle into a plurality of blocks in advance. An object recognizing unit for recognizing an object based on object detection of a set number of detection times, and the preset number of detections is a block at the center of the detection area for a block at the end of the detection area. The configuration is set to be smaller.

この発明によると、検知エリアに関係なく一定回数の検知で物体の認定を行う場合に比べ、誤検知による誤認定の頻度が低減し、検知エリアの境界部に侵入してきた物体をすばやく認識することができる。検知エリア内で前方の物体を検出するとき、エリアの中央に物体が突然現れることはありえず、逆に検知エリアの端では移動物体が検知エリア外から検知エリア内に侵入することにより、センサから見ると、突然検知エリア内に物体が現れることがある。このような現実的状況に鑑みて、検知エリアの中央では誤認定を防ぐため、認定までの検知回数を多く設定する。また、検知エリアの端では、移動物体の移動または自車の挙動により物体が突然現れることがあるので、物体認定までの検知回数を少なく設定する。   According to the present invention, the frequency of false recognition due to false detection is reduced and objects that have entered the boundary of the detection area can be recognized quickly compared to the case where the object is recognized by a certain number of detections regardless of the detection area. Can do. When detecting an object in front of the detection area, the object cannot suddenly appear in the center of the area, and conversely, at the end of the detection area, a moving object enters the detection area from outside the detection area. When viewed, an object may suddenly appear in the detection area. In view of such a realistic situation, in order to prevent erroneous recognition at the center of the detection area, a large number of detections until recognition is set. Further, at the end of the detection area, the object may suddenly appear due to the movement of the moving object or the behavior of the own vehicle, so the number of detections until the object recognition is set to be small.

この発明に関連するもう一つの物体検出装置は、車両に搭載される物体検出装置であって、車両外部の物体を認識する物体認識部と、前記物体に関する情報を記憶する物体記憶部と、前記物体認識部が提供する物体の情報により前記物体記憶部に記憶されている情報を更新するに際し、前記物体記憶部に記憶されているが前記物体認識部による現在の認識に含まれない物体に関する情報を、前記物体検出装置の検知エリアにおける前記物体の位置に応じた回数だけ補間する補間制御部と、を備え、前記補間制御部は、前記検知エリアの中央部に位置する物体については、周辺部に位置する物体よりも多い回数、前記補間を実行するという構成をとる。   Another object detection device related to the present invention is an object detection device mounted on a vehicle, an object recognition unit for recognizing an object outside the vehicle, an object storage unit for storing information on the object, Information related to an object stored in the object storage unit but not included in the current recognition by the object recognition unit when updating information stored in the object storage unit with information on an object provided by the object recognition unit An interpolation control unit that interpolates the number of times according to the position of the object in the detection area of the object detection device, and the interpolation control unit includes a peripheral unit for an object located in the center of the detection area. The interpolation is executed a greater number of times than the object located in the position.

上記もう一つの物体検出装置によると、車両の走行状態において、車両外部(典型的には車両の前方または後方)における他の車両などの物体が通常存在が安定している検知エリアの中央部における補間回数を移動物体の出入りを頻繁に生じる可能性のある周辺部より多くするので、検知エリア中央部での物体の欠落を防止すると共に、検知エリア周辺部で存在しない物体を存在すると誤って処理することを低減することができる。   According to the another object detection device, in the running state of the vehicle, in the central portion of the detection area where an object such as another vehicle outside the vehicle (typically in front of or behind the vehicle) is normally stable. Since the number of interpolations is higher than the peripheral parts that frequently cause moving objects to enter and exit, it prevents objects from missing at the center of the detection area and processes erroneously if there is an object that does not exist in the periphery of the detection area Can be reduced.

次に図面を参照してこの発明の実施の形態を説明する。図1は、この発明の一実施例の物体検出装置の全体的なブロック図である。図2は、この実施例で用いる三角計測法による距離の計測原理を説明する図である。先ず図2を参照して1対の撮像装置を用いた距離の測定方法を説明する。   Next, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is an overall block diagram of an object detection apparatus according to an embodiment of the present invention. FIG. 2 is a diagram for explaining the principle of distance measurement by the triangulation method used in this embodiment. First, a distance measuring method using a pair of imaging devices will be described with reference to FIG.

一対の撮像装置の一方を構成するラインセンサ21およびレンズ23は、他方の撮像装置を構成するラインセンサ22およびレンズ24と所定の間隔すなわち基線長Bだけ左右方向または上下方向に間隔をおいて配置されている。ラインセンサ21および22は、典型的には1次元のCCDであり、直線的に配列されたフォトセンサのアレイであってもよい。夜間の使用を考慮すると赤外線を用いた撮像装置にするのがよい。この場合、レンズ23、24の前に赤外線透過性のフィルタを置き、赤外線の光源を用いて対象物20を照射し、対象物20から反射する赤外線をラインセンサ21、22が感知するようにするのがよい。   The line sensor 21 and the lens 23 constituting one of the pair of imaging devices are arranged at a predetermined interval, that is, a base line length B, spaced from the line sensor 22 and the lens 24 constituting the other imaging device in the horizontal direction or the vertical direction. Has been. Line sensors 21 and 22 are typically one-dimensional CCDs and may be an array of linearly arranged photosensors. Considering use at night, it is better to use an imaging device using infrared rays. In this case, an infrared transmissive filter is placed in front of the lenses 23 and 24 so that the object 20 is irradiated using an infrared light source so that the line sensors 21 and 22 detect infrared rays reflected from the object 20. It is good.

ラインセンサ21、22は、それぞれレンズ23、24の焦点距離fに配置されている。レンズ23、24が位置する平面から距離aにある対象物の像が、ラインセンサ21ではレンズ23の光軸からX1ずれた位置に形成され、ラインセンサ22ではレンズ24の光軸からX2だけずれた位置に形成されるとすると、レンズ23、24の面から対象物20までの距離aは、三角計測法の原理により、a=B・f/(X1+X2)で求められる。   The line sensors 21 and 22 are disposed at the focal lengths f of the lenses 23 and 24, respectively. An image of an object at a distance a from the plane on which the lenses 23 and 24 are located is formed at a position shifted by X1 from the optical axis of the lens 23 in the line sensor 21, and shifted by X2 from the optical axis of the lens 24 in the line sensor 22. If it is formed at a certain position, the distance a from the surfaces of the lenses 23 and 24 to the object 20 is obtained by a = B · f / (X1 + X2) according to the principle of the triangulation method.

この実施例において、画像はディジタル化されるので、距離(X1+X2)は、ディジタル的に算出される。ラインセンサ21および22で得られる画像の片方または両方をシフトさせながら両画像のそれぞれ対応するピクセルの輝度を示すディジタル値の差の絶対値の総和を求め、これを相関値とする。相関値が最小値になるときの画像のシフト量が両画像の間の位置ずれ、すなわち(X1+X2)を示す。観念的には図2に示すようにラインセンサ21および22から得られる2つの画像を重なり合わせるために2つの画像を相対的に移動させねばならない距離が(X1+X2)である。   In this embodiment, since the image is digitized, the distance (X1 + X2) is calculated digitally. While shifting one or both of the images obtained by the line sensors 21 and 22, the sum of the absolute values of the differences between the digital values indicating the luminance of the corresponding pixels of both images is obtained, and this is used as the correlation value. The shift amount of the image when the correlation value becomes the minimum value indicates a positional deviation between both images, that is, (X1 + X2). Conceptually, as shown in FIG. 2, the distance that the two images must be moved in order to overlap the two images obtained from the line sensors 21 and 22 is (X1 + X2).

ここでは、簡単のため撮像装置が1次元のラインセンサ21、22であるものとして説明したが、下に述べるようにこの発明の一実施例では2次元のCCDまたは2次元のフォトセンサ・アレイを撮像装置として使用する。この場合、2つの撮像装置から得られる2次元の画像を横方向にシフトさせて複数の行について上述したのと同様の相関計算を行い、相関値が最小となるときのシフト量を求めると、このシフト量が(X1+X2)に相当する。   Here, for the sake of simplicity, the image pickup apparatus has been described as being one-dimensional line sensors 21 and 22, but as described below, in one embodiment of the present invention, a two-dimensional CCD or a two-dimensional photosensor array is used. Used as an imaging device. In this case, the two-dimensional images obtained from the two imaging devices are shifted in the horizontal direction to perform the same correlation calculation as described above for a plurality of rows, and the shift amount when the correlation value is minimized is obtained. This shift amount corresponds to (X1 + X2).

次ぎに図1を参照してこの発明の一実施例の全体的構成を説明する。第1の撮像装置3は、図2のレンズ23およびラインセンサ21からなる一方の撮像装置に対応し、第2の撮像装置3’は、図2のレンズ24およびラインセンサ22からなる他方の撮像装置に対応する。この実施例では、図3の(b)に示すように撮像領域を複数のウィンドウ(小領域)W11、W12、・・・に分割し、ウィンドウごとに距離の計測を行うので、対象物全体の2次元の画像が必要になる。このため撮像手段3、3’は、2次元のCCDアレイまたは2次元のフォトセンサ・アレイで構成される。 Next, the overall configuration of an embodiment of the present invention will be described with reference to FIG. The first imaging device 3 corresponds to one imaging device including the lens 23 and the line sensor 21 in FIG. 2, and the second imaging device 3 ′ corresponds to the other imaging including the lens 24 and the line sensor 22 in FIG. Corresponds to the device. In this embodiment, as shown in FIG. 3B, the imaging area is divided into a plurality of windows (small areas) W 11 , W 12 ,... And the distance is measured for each window. A whole two-dimensional image is required. For this reason, the imaging means 3, 3 ′ is composed of a two-dimensional CCD array or a two-dimensional photosensor array.

図3の(a)は、撮像手段3または3’により自車両の前方を走行する他車両を撮像した画像の例を示し、図3の(b)は、図3の(a)の画像を概念的に複数のウィンドウに分割したものを示す。図3の(b)は、縦方向に行および横方向に列をとり、簡単のため10行×15列のウィンドウに分割して示す。それぞれのウィンドウには番号が付されており、例えばW12は、1行2列にあるウィンドウを示す。 FIG. 3A shows an example of an image obtained by imaging another vehicle traveling in front of the host vehicle by the imaging means 3 or 3 ′, and FIG. 3B shows the image of FIG. Conceptually divided into multiple windows. FIG. 3B shows rows in the vertical direction and columns in the horizontal direction and is divided into windows of 10 rows × 15 columns for the sake of simplicity. Each window is numbered. For example, W 12 indicates a window in one row and two columns.

撮像手段3、3’で撮像された対象物の画像はアナログ・デジタル変換器(A/D変換器)4、4’でデジタルデータに変換され、画像メモリ5、5’に格納される。ウィンドウ切り出し部13によって、ウィンドウW11に対応する画像部分が画像メモリ5および5’からそれぞれ切り出されて相関計算部6に送られる。相関計算部6は、切り出された2つの画像を所定の単位ずつシフトさせて前述した相関計算を行い相関値が最小になるときのシフト量を求めると、このシフト量が(X1+X2)である。相関計算部6は、こうして求めた(X1+X2)の値を距離計算部7に送る。 The image of the object imaged by the imaging means 3, 3 ′ is converted into digital data by analog / digital converters (A / D converters) 4, 4 ′ and stored in the image memories 5, 5 ′. By the window cutout unit 13, an image portion corresponding to the window W 11 is sent to the correlation calculation section 6 cut out respectively from the image memory 5 and 5 '. When the correlation calculation unit 6 shifts the extracted two images by a predetermined unit and performs the above-described correlation calculation to obtain the shift amount when the correlation value is minimized, the shift amount is (X1 + X2). The correlation calculation unit 6 sends the value (X1 + X2) thus obtained to the distance calculation unit 7.

距離計算部7は、前述したa=B・f/(X1+X2)の式を用いて、ウィンドウW11にある対象物までの距離a11を求める。こうして求められた距離a11は、距離記憶部8に記憶される。同様の計算処理がそれぞれのウィンドウについて順次実行され、距離a11、a12、・・・が距離記憶部8に記憶される。 The distance calculation unit 7 obtains the distance a 11 to the object in the window W 11 using the above-described formula a = B · f / (X1 + X2). The distance a 11 obtained in this way is stored in the distance storage unit 8. A similar calculation process is sequentially executed for each window, and the distances a 11 , a 12 ,... Are stored in the distance storage unit 8.

この距離の計算は、以下に述べる道路領域判定部34および物体検出部35が使用するのに必要なウィンドウについてのみ実行することもできる。以下、あるウィンドウについて計算された対象物までの距離を、そのウィンドウの計測距離という。   This calculation of the distance can be executed only for a window necessary for use by the road area determination unit 34 and the object detection unit 35 described below. Hereinafter, the distance to the object calculated for a certain window is referred to as the measurement distance of that window.

上の相関計算で用いる画像データは、撮像素子アレイの素子のピッチによって分解能が定まるので、フォトセンサ・アレイなど比較的ピッチの大きい受光素子を用いるときは、ピッチ間の補間計算を行って画像データの密度を高める処理を行い、こうして密度を高められた画像データについて相関計算を行うのが好ましい。   Since the resolution of the image data used in the above correlation calculation is determined by the element pitch of the image sensor array, when using a light receiving element with a relatively large pitch, such as a photosensor array, the image data is calculated by interpolation between the pitches. It is preferable to perform a correlation calculation on the image data whose density has been increased in this way.

また、温度による撮像素子アレイの特性変化を補正するため、温度センサを撮像素子アレイ付近に配置し、温度センサから得られる温度情報に基づいて距離計算を補正するようにすることもできる。   Further, in order to correct a change in characteristics of the image sensor array due to temperature, a temperature sensor can be arranged near the image sensor array, and the distance calculation can be corrected based on temperature information obtained from the temperature sensor.

図1の物体認識部14は、距離記憶部8に記憶されるそれぞれのウィンドウの距離および画像メモリ5'から提供される画像データに基づいて物体の認識を行う。図4は、物体認識部14の構成を示すブロック図である。この実施例における物体認識部14は、画像から道路領域を判定し、道路領域でない物体を物体として判定する手法を用いる。   The object recognition unit 14 in FIG. 1 recognizes an object based on the distance of each window stored in the distance storage unit 8 and the image data provided from the image memory 5 ′. FIG. 4 is a block diagram illustrating a configuration of the object recognition unit 14. The object recognition unit 14 in this embodiment uses a method of determining a road area from an image and determining an object that is not a road area as an object.

次に、図1および図4を参照して、画像における道路領域の判定を説明する。前述したように、図3の(b)は、説明の便宜上10行×15列のウィンドウに分割されているが、実際には画像領域は非常に細かく分割される。より精密に道路領域を判定するため、それぞれのウィンドウを1つの画素から構成することができる。または、複数の画素が合わさって1つのウィンドウを構成してもよい。それぞれのウィンドウは、上記述べた距離を計測するのに使用されるウィンドウと同じ大きさでもよく、異なる大きさでもよい。   Next, with reference to FIG. 1 and FIG. 4, the determination of the road area in the image will be described. As described above, FIG. 3B is divided into windows of 10 rows × 15 columns for convenience of explanation, but in reality, the image area is divided very finely. In order to determine the road area more precisely, each window can be composed of one pixel. Alternatively, a plurality of pixels may be combined to form one window. Each window may be the same size as the window used to measure the distance described above, or a different size.

撮像手段3’から得られ、デジタルデータに変換された画像が画像メモリ5’に記憶されると、図1のウィンドウ切り出し部13は、画像メモリ5’から、車両直前の画像領域を含む複数のウィンドウを切り出す。輝度抽出部31は、切り出されたウィンドウから複数の輝度値を取得する。   When the image obtained from the imaging unit 3 ′ and converted into digital data is stored in the image memory 5 ′, the window cutout unit 13 in FIG. 1 includes a plurality of images including the image area immediately before the vehicle from the image memory 5 ′. Cut out the window. The luminance extraction unit 31 acquires a plurality of luminance values from the cut window.

車両直前の画像領域を含むウィンドウの輝度値を取得するのは、自車両直前の画像領域は道路である可能性が非常に高いからであり、複数の輝度値を取得するのは、路面上に文字/白線などの標識領域があっても、本来の道路の輝度値を取得できるようにするためである。入力画像のどのウィンドウを、自車両直前の画像領域を含む複数のウィンドウとして取得するかは、車両の大きさおよび撮像装置の車両内における位置などに応じて予め定められる。   The reason why the brightness value of the window including the image area immediately before the vehicle is acquired is that the image area immediately before the host vehicle is very likely to be a road, and the plurality of brightness values are acquired on the road surface. This is because the luminance value of the original road can be acquired even if there is a sign area such as a character / white line. Which window of the input image is acquired as a plurality of windows including the image area immediately before the host vehicle is determined in advance according to the size of the vehicle and the position of the imaging device in the vehicle.

次に、本来の道路の輝度値を抽出するため、取得した複数の輝度値から、路面上の標識を含むウィンドウの輝度値を取り除く。たとえば、画像の最下行のウィンドウに路面上の標識のウィンドウがいくつか含まれる場合、一般に路面上の標識の輝度は道路の輝度と非常に異なるので、この行のウィンドウの輝度値にはわずかなばらつきが生じる。したがって、この行のウィンドウの輝度値を平均し、平均値から所定値以上離れた値の輝度値を取り除くことができる。   Next, in order to extract the original luminance value of the road, the luminance value of the window including the sign on the road surface is removed from the acquired plurality of luminance values. For example, if the window in the bottom row of the image contains several signage windows on the road surface, the brightness value of the signage on the road surface is generally very different from that of the road, so the brightness value of the window in this row is very small. Variation occurs. Therefore, it is possible to average the luminance values of the windows in this row and remove the luminance values having a value that is a predetermined value or more away from the average value.

または、路面上の標識の色は主に白または黄であり、道路の色と非常に異なるので、白または黄に対応する範囲の輝度値を取り除くこともできる。さらに、前回入力された画像から抽出された基準輝度値に基づいて、今回入力された画像から取得した輝度値が本来の道路の輝度値かどうか推定することもできる。   Alternatively, the color of the sign on the road surface is mainly white or yellow, which is very different from the color of the road, so that the luminance value in a range corresponding to white or yellow can be removed. Furthermore, based on the reference luminance value extracted from the image input last time, it can be estimated whether the luminance value acquired from the image input this time is the original luminance value of the road.

路面上の標識を含むウィンドウの輝度値を取り除いた後、輝度抽出部31は、残った輝度値に基づいて基準輝度値を抽出し、輝度記憶部32に記憶する。残った輝度値のうち1または複数の輝度値を選択して、基準輝度値として記憶することができる。または、複数の輝度値を平均した値を1つの基準輝度値として記憶することもできる。輝度値は、たとえば256の階調(真黒「0」から真白「255」の間)を持つデジタルデータとして表すことができる。   After removing the luminance value of the window including the sign on the road surface, the luminance extracting unit 31 extracts the reference luminance value based on the remaining luminance value and stores it in the luminance storage unit 32. One or more of the remaining luminance values can be selected and stored as a reference luminance value. Alternatively, a value obtained by averaging a plurality of luminance values can be stored as one reference luminance value. The luminance value can be represented as digital data having, for example, 256 gradations (between true black “0” and true white “255”).

次に、ウィンドウ切り出し部13(図1)は画像から他のウィンドウを切り出し、輝度抽出部31は、そのウィンドウの輝度値を抽出する。輝度比較部33は、抽出された輝度値と、輝度記憶部32に格納された基準輝度値とを比較する。   Next, the window cutout unit 13 (FIG. 1) cuts out another window from the image, and the luminance extraction unit 31 extracts the luminance value of the window. The luminance comparison unit 33 compares the extracted luminance value with the reference luminance value stored in the luminance storage unit 32.

それぞれのウィンドウが複数の画素から構成される場合には、それぞれの画素の輝度値の和の平均をとり、その平均値をウィンドウの輝度値として抽出することができる。また、輝度値を抽出して比較する処理は、上記の距離を計算する処理と並列して実行することができる。   When each window is composed of a plurality of pixels, the sum of the luminance values of the pixels can be averaged and the average value can be extracted as the luminance value of the window. Further, the process of extracting and comparing the luminance values can be executed in parallel with the process of calculating the distance.

道路領域判定部34は、輝度比較部33から受け取った比較結果に基づいて、道路領域の判定を行う。比較結果が所定範囲内にあれば、ウィンドウを道路領域と判定する。これは、道路領域は輝度が似ており、前方を走行する車両などとは輝度が異なるからである。道路領域と判定したウィンドウの輝度値は、新たな輝度値として輝度記憶部32に記憶される。   The road area determination unit 34 determines the road area based on the comparison result received from the luminance comparison unit 33. If the comparison result is within a predetermined range, the window is determined to be a road area. This is because the road area has similar brightness and is different from the vehicle traveling ahead. The luminance value of the window determined to be a road area is stored in the luminance storage unit 32 as a new luminance value.

図3の(b)を参照して、輝度値に基づいた道路領域の判定例を説明する。車両直前の画像領域を含むウィンドウWA7およびWA9(斜線で塗りつぶされたウィンドウ)がウィンドウ切り出し部13により切り出され、輝度抽出部31は、それぞれのウィンドウの輝度値L1およびL2を抽出し、基準輝度値として輝度記憶部32に記憶する。次に、ウィンドウWA7に隣接するウィンドウWA6が切り出され、輝度抽出部31はウィンドウWA6の輝度値を抽出する。輝度比較部33は、抽出した輝度値と基準輝度値L1とを比較する。道路領域判定部34は、比較した結果が所定範囲内ならば(例えば、基準輝度値に対して±3の範囲を所定範囲とすることができる)、ウィンドウWA6を道路領域と判定し、ウィンドウWA6の輝度値を、新たな基準輝度値L3として輝度記憶部32に記憶する。 With reference to FIG. 3B, an example of road area determination based on the luminance value will be described. Windows W A7 and W A9 (windows filled with diagonal lines) including the image area immediately before the vehicle are cut out by the window cutout unit 13, and the luminance extraction unit 31 extracts the luminance values L1 and L2 of the respective windows, The luminance value is stored in the luminance memory 32. Next, the window W A6 adjacent to the window W A7 is cut out, and the luminance extraction unit 31 extracts the luminance value of the window W A6 . The luminance comparison unit 33 compares the extracted luminance value with the reference luminance value L1. If the comparison result is within a predetermined range (for example, a range of ± 3 with respect to the reference luminance value can be set as the predetermined range), the road region determination unit 34 determines that the window WA 6 is a road region, The brightness value of W A6 is stored in the brightness storage unit 32 as a new reference brightness value L3.

次に、ウィンドウWA6に隣接するウィンドウWA5が切り出され、輝度抽出部31により、ウィンドウWA5の輝度値が抽出される。輝度比較部33は、抽出した輝度値と基準輝度値L3とを比較する。道路領域判定部34は、比較した結果が所定範囲内ならば、ウィンドウWA5を道路領域と判定し、ウィンドウWA5の輝度値を、新たな基準輝度値L4として輝度記憶部32に記憶する。このように、画像からウィンドウが順次切り出され、ウィンドウごとに輝度値を比較して道路領域を判定する。 Next, the window W A5 adjacent to the window W A6 is cut out, and the luminance value of the window W A5 is extracted by the luminance extraction unit 31. The luminance comparison unit 33 compares the extracted luminance value with the reference luminance value L3. If the comparison result is within a predetermined range, the road area determination unit 34 determines that the window W A5 is a road area, and stores the luminance value of the window W A5 in the luminance storage unit 32 as a new reference luminance value L4. As described above, the windows are sequentially cut out from the image, and the road area is determined by comparing the luminance value for each window.

ウィンドウ切り出し部13により切り出されるウィンドウは、基準輝度値を持つウィンドウの近傍にあるのが好ましい。具体的には、基準輝度値がウィンドウWA6の輝度値である場合、ウィンドウWA6と同じ行に属するウィンドウまたは隣接する行に属するウィンドウを切り出して輝度値を比較するのが好ましい。比較する2つのウィンドウの計測距離の差が大きいと、同じ道路でも輝度値が実質的に異なることがあるからである。この実施例によると、画像内の道路の輝度が、自車両からの距離に応じて変化する場合でも、正確に道路領域を検出することができる。 The window cut out by the window cutout unit 13 is preferably in the vicinity of a window having a reference luminance value. Specifically, if the reference luminance value is the luminance value of the window W A6, preferably to compare the luminance value by cutting a window belonging to the window or adjacent rows belonging to the same row as the window W A6. This is because if the difference in measurement distance between the two windows to be compared is large, the luminance value may be substantially different even on the same road. According to this embodiment, the road area can be accurately detected even when the luminance of the road in the image changes according to the distance from the host vehicle.

上記の実施例のように、道路領域と判定された輝度値を新たな輝度値とせずに、最初に車両直前の画像領域を含むウィンドウから抽出された輝度値(上記の例では、L1およびL2)を一定の基準輝度値とし、これに対して画像のそれぞれのウィンドウの輝度値を比較して道路領域を判定することもできる。   As in the above embodiment, the brightness value determined as the road area is not set as a new brightness value, but is first extracted from the window including the image area immediately before the vehicle (in the above example, L1 and L2 ) As a constant reference luminance value, and the road area can be determined by comparing the luminance value of each window of the image.

さらに、上記の実施例では、1つの撮像手段3'から得られた1つの画像に基づいて輝度値が抽出されるけれども、前述した距離計測に必要な2またはそれ以上の撮像手段で得られた2またはそれ以上の画像を用いて抽出してもよい。例えば、撮像手段3で得られた画像から基準輝度値L2を抽出し、撮像手段3’で得られた画像から基準輝度値L1を抽出することができる。   Further, in the above embodiment, the luminance value is extracted based on one image obtained from one imaging means 3 ′, but it is obtained by two or more imaging means necessary for the distance measurement described above. You may extract using two or more images. For example, it is possible to extract the reference luminance value L2 from the image obtained by the imaging unit 3 and extract the reference luminance value L1 from the image obtained by the imaging unit 3 '.

輝度値を比較して道路領域を判定する処理は、何らかの並列処理をするのが好ましい。例えば、ウィンドウWA1〜WA6およびW91〜W97の輝度値を基準輝度値L1と一括して比較し、次にウィンドウW81〜W87の輝度値を、例えば新たな基準輝度値となったウィンドウW93の輝度値と一括して比較するというように、ウィンドウを行単位で処理することができる。また、高速に処理するため、基準輝度値L1を基点として画像の左半分のウィンドウを処理し、基準輝度値L2を基点として画像の右半分のウィンドウを処理し、両者を並列に処理するのが好ましい。 The process of comparing the luminance values to determine the road area preferably performs some parallel processing. For example, the luminance values of the windows W A1 to W A6 and W 91 to W 97 are compared with the reference luminance value L1, and then the luminance values of the windows W 81 to W 87 become, for example, new reference luminance values. The window can be processed in units of lines, such as comparing the brightness values of the window W 93 at once. Further, in order to process at high speed, the left half window of the image is processed using the reference luminance value L1 as a base point, the right half window of the image is processed using the reference luminance value L2 as a base point, and both are processed in parallel. preferable.

なお、道路領域と判定された画像領域に囲まれた領域を、自動的に道路領域と判定することができる。これにより、例えば道路領域と判定された領域に囲まれた領域が、道路とは異なる輝度を持つ標識領域でも、この標識領域を道路領域と判定することができる。道路領域で囲まれた領域がどのくらいの大きさならば道路領域と判定できるかは、どのくらいの大きさの物体を検出するかに依存して定められる。   Note that an area surrounded by an image area determined as a road area can be automatically determined as a road area. Thus, for example, even if a region surrounded by a region determined to be a road region has a sign region having a luminance different from that of the road, the sign region can be determined as a road region. The size of the area surrounded by the road area can be determined as a road area depending on how large an object is detected.

こうして、輝度値に基づいて路面自体を検出するので、自車両がピッチングやローリングで傾いたり坂道やバンクを走行していても道路領域を判定することができ、判定された道路領域には他の車両や物体がないと判断することができる。   In this way, since the road surface itself is detected based on the luminance value, the road area can be determined even if the host vehicle is leaning by pitching or rolling or running on a slope or bank. It can be determined that there is no vehicle or object.

ここで、ウィンドウの計測距離を使用して、道路上の標識領域を正確に抽出することができる。道路領域判定部34は、比較結果が所定範囲内にないと判断されたウィンドウの計測距離を距離記憶部8から取得し、この距離が道路までの距離かどうかを判断する。道路までの距離ならば、このウィンドウを道路上の標識領域と判定することができる。   Here, the sign area on the road can be accurately extracted using the measured distance of the window. The road area determination unit 34 acquires the measured distance of the window in which the comparison result is determined not to be within the predetermined range from the distance storage unit 8, and determines whether this distance is a distance to the road. If the distance is to the road, this window can be determined as a sign area on the road.

ウィンドウの道路までの距離は、道路領域と判定された他のウィンドウの計測距離(すなわち、道路までの計測距離)から推定することができる。例えば、他のウィンドウが属する行に含まれるすべてのウィンドウについて、道路までの距離は同じと推定することができる。さらに、道路と判定されたウィンドウの計測距離から、ウィンドウの行ごとに道路までの距離を推定することができる。したがって、道路領域判定部34は、ウィンドウについて実際に計測された距離と、推定された道路までの距離とを比較して、ウィンドウの画像領域が道路上の標識領域かどうか判断することができる。   The distance to the road of the window can be estimated from the measured distance of another window determined as the road area (that is, the measured distance to the road). For example, it can be estimated that the distance to the road is the same for all windows included in the row to which the other window belongs. Furthermore, the distance to the road can be estimated for each row of the window from the measured distance of the window determined as a road. Therefore, the road area determination unit 34 can determine whether the image area of the window is a sign area on the road by comparing the distance actually measured for the window with the estimated distance to the road.

たとえば、図3の(b)に示すように、ウィンドウW95は路面上の文字を含む。道路領域判定部34は、ウィンドウW95についての比較結果を受け取り、比較結果が所定範囲内にないので、距離記憶部8からウィンドウW95の計測距離を取得する。さらに、例えばウィンドウW95と同じ行に属し、道路領域と判定された他のウィンドウW93の計測距離を距離記憶部8から取得する。2つの距離を比較した結果、実質的に同じ距離なので、ウィンドウW95の画像領域を路面上の標識領域と判定する。このような判定を繰り返すことにより、図3の(b)に示すような道路上の標識「60」を認識することができる。 For example, as shown in FIG. 3B, the window W 95 includes characters on the road surface. Road area judgment unit 34 receives the comparison result of the window W 95, the comparison result is not within a predetermined range, acquires the measured distance of the window W 95 from the distance memory unit 8. Further, for example, the measured distance of another window W 93 belonging to the same row as the window W 95 and determined as a road area is acquired from the distance storage unit 8. As a result of comparing the two distances, since the distances are substantially the same, the image area of the window W 95 is determined as a sign area on the road surface. By repeating such determination, a sign “60” on the road as shown in FIG. 3B can be recognized.

上記のように、計測距離を使用して道路上の標識領域を抽出して認識することができるので、例えばスピードの出しすぎや車線変更などについて運転者の注意を喚起するよう車両を制御することもできる。   As mentioned above, it is possible to extract and recognize the sign area on the road using the measured distance, so it is possible to control the vehicle to alert the driver about excessive speed or lane change, for example it can.

これまで説明した道路領域の判定は、撮像手段から入力された画像の全領域について実行してもよく、または一部の領域についてのみ実行してもよい。例えば、前回入力された画像に対して、自車両の走行とともに新たに画像として入力された画像領域についてのみ実行することができる。さらに、カーナビゲーションシステムの予め設定された道路モデルを使用して、道路領域を判定することができる。このように、判定を行う画像領域を限定することで、より効率よく道路領域の判定を行うことができる。   The determination of the road area described so far may be executed for the entire area of the image input from the imaging means, or may be executed for only a part of the area. For example, it is possible to execute only the image region newly input as an image with the traveling of the host vehicle with respect to the image input last time. Furthermore, the road area can be determined using a preset road model of the car navigation system. In this way, by limiting the image area to be determined, the road area can be determined more efficiently.

道路領域が判定されたので、画像内のウィンドウは、道路領域のものと道路領域以外のものとに分類される。道路領域判定部34は、道路領域と判定されたウィンドウから構成される道路領域を、必要に応じて画像の形で出力することができる。図3の(c)はこの出力画像の例であり、検出された道路領域が塗りつぶされて表示されている。   Since the road area is determined, the windows in the image are classified into road areas and non-road areas. The road area determination unit 34 can output a road area including a window determined as a road area in the form of an image as necessary. (C) of FIG. 3 is an example of this output image, and the detected road area is filled and displayed.

物体検出部35は、道路領域判定部34で判定された道路領域に基づき、道路上にある物体を検出する。道路領域が判定されたので、道路領域の前方にあり、道路領域と判定されなかったウィンドウを抽出することにより、物体を検出することができる。   The object detection unit 35 detects an object on the road based on the road region determined by the road region determination unit 34. Since the road area is determined, an object can be detected by extracting a window that is in front of the road area and has not been determined to be a road area.

たとえば、図3の(c)に示すように道路領域が判定されたので、道路領域を前方にたどり、道路領域と判定されなかったウィンドウW57、W58、W59を抽出する。図3の(b)に示すように、これらのウィンドウは前方を走行する他の車両を含む。物体検出部35は、これらのウィンドウの計測距離を距離記憶部8から取得する。取得した計測距離から、自車両から他車両までの距離を検出することができる。さらに、道路領域と判定されたウィンドウW66〜W6Aに対する物体領域のウィンドウW57、W58、W59の位置から、他車両が道路の中央にあると判断することができる。 For example, as shown in (c) of FIG. 3, since the road area is determined, the road area is traced forward, and the windows W 57 , W 58 , and W 59 that are not determined as the road area are extracted. As shown in FIG. 3B, these windows include other vehicles traveling in front. The object detection unit 35 acquires the measurement distances of these windows from the distance storage unit 8. The distance from the host vehicle to the other vehicle can be detected from the acquired measurement distance. Furthermore, it can be determined that the other vehicle is at the center of the road from the positions of the windows W 57 , W 58 and W 59 of the object area with respect to the windows W 66 to W 6A determined as the road area.

このように、物体検出部35は、検出した物体までの距離に基づき前方を走行する他車両との車間距離を検出することができるので、この車間距離について運転者に警告することができる。また、道路前方に車両の走行を妨げる物体がある場合には、アラームを鳴らして運転者に注意を喚起することもできる。   As described above, the object detection unit 35 can detect the inter-vehicle distance from another vehicle traveling ahead based on the detected distance to the object, and thus can warn the driver of the inter-vehicle distance. Further, when there is an object that obstructs driving of the vehicle in front of the road, an alarm can be sounded to alert the driver.

再び図1に戻ると、物体認識部14は、図5に示すような検知エリアの区分ごとに予め設定した検知回数の物体検知に応じて、物体の認識を行うようにすることができる。図5(a)は、この発明の一実施例における物体検知装置による物体検知の対象となる範囲である検知エリアを示す。この検知レンジは固定の範囲として、例えば距離レンジ60メートル、角度レンジ30度に設定することができるが、自車の速度に応じて動的に設定するようにすることが好ましい。この場合、速度が大きくなるにつれて距離レンジが大きくなり、角度レンジが小さくなるようにプログラムする。   Returning to FIG. 1 again, the object recognizing unit 14 can recognize an object according to the number of detections set in advance for each detection area segment as shown in FIG. FIG. 5A shows a detection area which is a target range of object detection by the object detection apparatus in one embodiment of the present invention. The detection range can be set as a fixed range, for example, a distance range of 60 meters and an angle range of 30 degrees. However, it is preferable to set the detection range dynamically according to the speed of the vehicle. In this case, the distance range is increased as the speed is increased, and the angle range is decreased.

図5(b)は、固定の検知エリアを区分けする一例を示す。この例では検知エリアは、S1からS12のブロックに区分けされている。検知エリアを動的に変化するようにする場合、ブロックS1からS12は検知エリアの変化に比例して変化する。自車速度が上昇し、角度レンジが20度程度より小さくなると、角度レンジに対して横方向の区分けが密になりすぎるので、両サイドのブロックS5およびS12は省略する。   FIG. 5B shows an example of dividing a fixed detection area. In this example, the detection area is divided into blocks S1 to S12. When the detection area is changed dynamically, the blocks S1 to S12 change in proportion to the change of the detection area. When the host vehicle speed increases and the angle range becomes smaller than about 20 degrees, the lateral division with respect to the angle range becomes too dense, so the blocks S5 and S12 on both sides are omitted.

ブロックS1、S2およびS4での検知回数は2、ブロックS3、S5、S6、S8およびS12での検知回数は3、ブロックS7、S9およびS11での検知回数は4、ブロックS10での検知回数は5に設定されている。エリアの端部であるブロックS1、S2、S3、S4、S5、S6、S8およびS12での検知回数は、中央部のブロックS7、S9およびS11より小さく設定されている。これは、車両の走行にともなってこれらの周辺部のブロックで検出される移動物体(車両)は変化が大きいのに対し、中央部のブロックで検出される移動物体の変化が小さいという経験則に基づくものである。すなわち、車両の出入りの変化の激しい周辺部では検知回数を小さくして車両の変化を速やかに車両検出状態に反映し、車両の出入りの変化が小さい中央部では検知回数を大きくして安定した車両検出状態を得るようにしている。   The number of detections in blocks S1, S2 and S4 is 2, the number of detections in blocks S3, S5, S6, S8 and S12 is 3, the number of detections in blocks S7, S9 and S11 is 4, and the number of detections in block S10 is 5 is set. The number of detections in the blocks S1, S2, S3, S4, S5, S6, S8, and S12 which are the end portions of the area is set to be smaller than that in the central blocks S7, S9, and S11. This is based on the empirical rule that the moving object (vehicle) detected in these peripheral blocks changes greatly as the vehicle travels, whereas the moving object detected in the central block changes little. Is based. In other words, the number of detections is reduced in the surrounding area where the change in and out of the vehicle is severe, and the change in the vehicle is immediately reflected in the vehicle detection state. In the central part where the change in and out of the vehicle is small, the detection number is increased and the vehicle is stable. The detection state is obtained.

この発明の一つの態様では、上に述べたような検知回数を変えた物体認識方式に代えて、検知された物体の情報を物体記憶部16に記憶させるに際し、補間制御部15が物体情報の補間を行う方式をとる。   In one aspect of the present invention, instead of using the object recognition method in which the number of detections is changed as described above, when the information of the detected object is stored in the object storage unit 16, the interpolation control unit 15 An interpolation method is used.

この実施例では、ブロックS1、S2およびS4での補間回数は2、ブロックS3、S5、S6、S8およびS12での補間回数は3、ブロックS7、S9およびS11での補間回数は4、ブロックS10での補間回数は5に設定されている。エリアの周辺部であるブロックS1、S2、S3、S4、S5、S6、S8およびS12での補間回数は、中央部のブロックS7、S9およびS11より補間回数が小さく設定されている。これは、車両の走行にともなってこれらの周辺部のブロックで検出される車両は変化が大きいのに対し、中央部のブロックで検出される車両の変化が小さいという経験則に基づくものである。すなわち、車両の出入りの変化の激しい周辺部では補間回数を小さくして車両の変化を速やかに車両検出状態に反映し、車両の出入りの変化が小さい中央部では補間回数を大きくして安定した車両検出状態を得るようにしている。   In this embodiment, the number of interpolations in the blocks S1, S2 and S4 is 2, the number of interpolations in the blocks S3, S5, S6, S8 and S12 is 3, the number of interpolations in the blocks S7, S9 and S11 is 4, and the block S10 The number of interpolations in is set to 5. The number of interpolations in the blocks S1, S2, S3, S4, S5, S6, S8, and S12 that are the periphery of the area is set to be smaller than that in the central blocks S7, S9, and S11. This is based on an empirical rule that the change in the vehicle detected in the central block is small while the change in the vehicle detected in the peripheral block is small as the vehicle travels. In other words, the number of interpolations is reduced in the peripheral part where the change in and out of the vehicle is severe, and the change of the vehicle is reflected in the vehicle detection state quickly, and the number of interpolations is increased in the central part where the change in and out of the vehicle is small and the vehicle is stable. The detection state is obtained.

物体の検知演算は、例えば100ミリ秒の周期で実行され、100ミリ秒ごとに補間制御部15を介して物体記憶部16の内容が更新される。図6は、補間制御部15のブッロク図である。いま、検知装置が図3(a)に示されるような画像を撮像装置から得ていると、物体認識部14は、図4に関連して説明した手法によってウィンドウW37、W38、W39、W47、W48、W49、W57、W58、W59に物体の存在を認識し、また、これらのウィンドウの物体までの距離が同じであることを認識する。この認識に基づいて物体認識部14は、これらのウィンドウに存在する物体が一体的な物体であると判断し、第1物体として、そのウィンドウ情報および距離情報とともに補間制御部の検知ブロック判断部41に送る。画像から第2、第3の物体が検知されるときは、それらについても同様の情報を検知ブロック判断部41に送る。   The object detection calculation is executed, for example, at a cycle of 100 milliseconds, and the content of the object storage unit 16 is updated via the interpolation control unit 15 every 100 milliseconds. FIG. 6 is a block diagram of the interpolation control unit 15. Now, when the detection device obtains an image as shown in FIG. 3A from the imaging device, the object recognition unit 14 uses the method described in relation to FIG. 4 to display the windows W37, W38, W39, W47, The presence of the object is recognized in W48, W49, W57, W58, and W59, and it is recognized that the distances to the objects in these windows are the same. Based on this recognition, the object recognition unit 14 determines that the objects present in these windows are integral objects, and the detection block determination unit 41 of the interpolation control unit together with the window information and distance information as the first object. Send to. When the second and third objects are detected from the image, the same information is also sent to the detection block determination unit 41.

そのフォーマットは、例えば図7に示すものを使用する。物体IDフィールドは、単に複数の物体を区別する物体IDを入れるためのもので、第1物体は001、第2物体は010、第3物体は011のようなコードであってよい。フォーマットの距離フィールドには、物体までの距離をメートル単位で示す値が入れられる。ウィンドウIDフィールドには該当する物体が検知された複数のウィンドウの識別コードを入れる。   For example, the format shown in FIG. 7 is used. The object ID field is simply for entering an object ID for distinguishing a plurality of objects, and may be a code such as 001 for the first object, 010 for the second object, and 011 for the third object. The distance field of the format contains a value indicating the distance to the object in meters. In the window ID field, identification codes of a plurality of windows in which the corresponding object is detected are entered.

検知ブロック判断部41は、物体認識部14から送られてくるウィンドウ情報および距離情報に検知エリアを当てはめ、例えば第1物体が検知エリアのブロックS8に存在することを判断する。   The detection block determination unit 41 applies the detection area to the window information and distance information sent from the object recognition unit 14, and determines, for example, that the first object exists in the block S8 of the detection area.

物体記憶部16(図1)は、ランダムアクセスメモリで構成されるテーブルであり、検知エリアのそれぞれのブロックについて物体の有無、自車と物体との相対速度情報、およびそのブロックについての固定の補間回数、および後何回補間が行われるかを示す残回数を格納している。典型的には、このテーブルのフォーマットは、図8に示すとおりである。図8では、ブロックS8に第1物体1(コード001)が存在し、自車から物体1までの距離が15メートルで、自車と物体1との相対速度が+3km/hで、このブロックの補間回数が3であり、物体1に対する補間回数の残りが2で、テーブル書き込みを生じた検出サイクルでこのブロックに物体が検出されなかった結果、第1回の補間が行われたことを示している。   The object storage unit 16 (FIG. 1) is a table composed of random access memories, and the presence / absence of an object for each block in the detection area, the relative speed information between the vehicle and the object, and fixed interpolation for the block. The number of times and the remaining number of times indicating how many times interpolation is performed are stored. Typically, the format of this table is as shown in FIG. In FIG. 8, the first object 1 (code 001) exists in the block S8, the distance from the own vehicle to the object 1 is 15 meters, and the relative speed between the own vehicle and the object 1 is +3 km / h. The number of interpolations is 3 and the remaining number of interpolations for object 1 is 2, indicating that the first interpolation was performed as a result of no object being detected in this block in the detection cycle that caused table writing. ing.

図6のデータ更新制御部42は、検知ブロック判断部41からブロックごとに物体の有無を示す情報を受け取る。これに応答してデータ更新制御部42は、物体記憶部16のテーブル(図8)から対応するブロックの情報を読み出す。検知ブロック判断部41からの情報およびテーブルから読み出される情報に依存して、それぞれのブロックに関してデータ更新制御部42の処理は次のようになる。   The data update control unit 42 in FIG. 6 receives information indicating the presence / absence of an object for each block from the detection block determination unit 41. In response to this, the data update control unit 42 reads the information of the corresponding block from the table (FIG. 8) of the object storage unit 16. Depending on the information from the detection block determination unit 41 and the information read from the table, the processing of the data update control unit 42 for each block is as follows.

1)検知ブロック判断部41から物体存在せずの情報を受け、テーブルの対応するブロックに物体情報が記憶されていない場合この場合、データ更新制御部42はなにもすることなく次の検知ブロックについての処理に移る。   1) When information indicating that no object is present is received from the detection block determination unit 41, and no object information is stored in the corresponding block of the table. In this case, the data update control unit 42 does not do anything to the next detection block. Move on to the process.

2)検知ブロック判断部41から物体存在せずの情報を受け、テーブルの対応するブロックに物体情報が記憶されている場合たとえば、ブロックS8について検知ブロック判断部41から物体存在せずの情報を受け取り、テーブルから図8に示す内容のブロックS8のレコードを読み出すとき、データ更新制御部はレコードの残回数フィールドの値から1を引いた値を残回数フィールドに入れ、その他のフィールドのデータは変更することなくブロックS8のレコードをテーブルに上書きする。この結果、ブロックS8の残回数フィールドは1になる。   2) When the information indicating that no object exists is received from the detection block determination unit 41 and the object information is stored in the corresponding block of the table. For example, the information indicating that no object exists is received from the detection block determination unit 41 for the block S8. When the record of the block S8 having the contents shown in FIG. 8 is read from the table, the data update control unit puts a value obtained by subtracting 1 from the value of the remaining number field of the record, and changes the data in the other fields. Without overwriting the table with the record of block S8. As a result, the remaining number field of the block S8 becomes 1.

この処理の始めにブロックS8のレコードの「残回数」フィールドの値が0であるときは、データ更新制御部42はブロックS8のレコードの「補間回数」フィールド以外のデータをヌル状態またはオール0もしくはオール1(これらを総称してヌル状態と呼ぶ)にリセットし、リセット後のレコードをテーブルに上書きする。この結果、ブロックS8のレコードは、「補間回数」フィールドの値が3で、その他のフィールドはヌル状態になる。   When the value of the “remaining number of times” field of the record of the block S8 is 0 at the beginning of this processing, the data update control unit 42 sets the data other than the “interpolation number” field of the record of the block S8 to null or all 0s or Reset to all 1 (collectively referred to as the null state), and overwrite the record after reset in the table. As a result, in the record of block S8, the value of the “number of interpolations” field is 3, and the other fields are null.

3)検知ブロック判断部41から物体の存在を示す情報を受け取り、テーブルの対応するブロックのレコードに物体情報がない場合データ更新制御部42は、検知ブロック判断部41から受け取った物体IDおよび距離データを対応するブロックのレコードの「物体」フィールドおよび「距離」フィールドに入れ、「補間回数」フィールドの値を「残回数」フィールドに入れ、こうして更新されたレコードでテーブルを上書きする。先の説明からわかるように「残回数」フィールドは、見かけ上減算カウンタとして機能する。   3) When the information indicating the presence of the object is received from the detection block determination unit 41 and there is no object information in the record of the corresponding block of the table, the data update control unit 42 receives the object ID and distance data received from the detection block determination unit 41 In the “object” field and “distance” field of the record of the corresponding block, the value of the “interpolation count” field is entered in the “remaining count” field, and thus the table is overwritten with the updated record. As can be seen from the above description, the “remaining number of times” field apparently functions as a subtraction counter.

4)検知ブロック判断部41から物体の存在を示す情報を受け取り、テーブルの対応するブロックのレコードに物体情報がある場合データ更新制御部42は、検知ブロック判断部から受け取った距離情報(今回距離)およびテーブルの対応するブロックのレコードから読み出された距離情報(前回距離)を相対速度計算部43に送る。これに応答して相対速度計算部43は、この物体と自車との相対速度を、(今回距離−前回距離)/検出時間間隔、の計算式により計算する。検出時間間隔は、前回の計測と今回の計測との時間差で、この実施例では100ミリ秒である。相対速度計算部43は、こうして得られる値をkm/hに換算した値をデータ更新制御部42に返す。   4) When information indicating the presence of an object is received from the detection block determination unit 41, and there is object information in the record of the corresponding block of the table, the data update control unit 42 receives the distance information (current distance) received from the detection block determination unit The distance information (previous distance) read from the record of the corresponding block in the table is sent to the relative speed calculation unit 43. In response to this, the relative speed calculation unit 43 calculates the relative speed between the object and the own vehicle by a calculation formula of (current distance−previous distance) / detection time interval. The detection time interval is the time difference between the previous measurement and the current measurement, and is 100 milliseconds in this embodiment. The relative speed calculation unit 43 returns a value obtained by converting the value thus obtained to km / h to the data update control unit 42.

データ更新制御部42は、検知ブロック判断部41から受け取ったデータに基づいてテーブルから受け取った対応するブロックのレコードの「物体」フィールドおよび「距離」フィールドを置換し、相対速度計算部43から受け取った値を「相対速度」フィールドに入れる。こうして得られた更新レコードでテーブルの対応するブロックのレコードを上書きする。   The data update control unit 42 replaces the “object” field and the “distance” field of the record of the corresponding block received from the table based on the data received from the detection block determination unit 41, and received from the relative speed calculation unit 43. Enter the value in the Relative Speed field. The update record obtained in this way overwrites the record of the corresponding block in the table.

以上のようにして図1の物体記憶部16に図8のテーブルに示すような物体情報が記憶される。車両制御部18は、物体記憶部16に記憶されている情報および自車速度検出装置19、ヨーレート検出装置2などの装置からの情報に基づいて、自車の前車追跡走行制御を行う、異常接近アラームを出力する、強制減速制御を行うなどの制御を行う。   As described above, object information as shown in the table of FIG. 8 is stored in the object storage unit 16 of FIG. The vehicle control unit 18 performs the front vehicle tracking traveling control of the own vehicle based on information stored in the object storage unit 16 and information from the vehicle speed detection device 19 and the yaw rate detection device 2. Controls such as outputting an approach alarm and performing forced deceleration control.

図1に示した相関計算部6、距離計算部7、距離記憶部8、ウィンドウ切り出し部13、物体認識部14、補間制御部15、物体記憶部16、相対速度計算部17および車両制御部18は、中央演算装置(CPU)、制御プログラムおよび制御データを格納する読み取り専用メモリ、CPUの演算作業領域を提供し、種々のデータを一時記憶するランダムアクセスメモリ(RAM)で構成することができる。距離記憶部8および物体記憶部16は、1つのRAMのそれぞれ異なる記憶領域を使用して実現することができる。また、各種の演算で必要となるデータの一時記憶領域も同じRAMの一部分を使用して実現することができる。   Correlation calculation unit 6, distance calculation unit 7, distance storage unit 8, window cutout unit 13, object recognition unit 14, interpolation control unit 15, object storage unit 16, relative speed calculation unit 17 and vehicle control unit 18 shown in FIG. Provides a central processing unit (CPU), a read-only memory for storing control programs and control data, an arithmetic work area for the CPU, and can be composed of a random access memory (RAM) for temporarily storing various data. The distance storage unit 8 and the object storage unit 16 can be realized by using different storage areas of one RAM. Also, a temporary storage area for data required for various calculations can be realized by using a part of the same RAM.

また、この発明の物体検出装置をエンジンの電子制御ユニット(ECU)、ブレーキ制御ECUその他のECUとLAN接続して物体検出装置からの出力を車両の全体的な制御に利用することができる。   Further, the object detection device of the present invention can be LAN-connected to an engine electronic control unit (ECU), a brake control ECU and other ECUs, and the output from the object detection device can be used for overall control of the vehicle.

この発明によると、検知エリアに関係なく一定回数の検知で物体の認定を行う場合に比べ、誤検知による誤認定の頻度が低減し、検知エリアの境界部に侵入してきた物体をすばやく認識することができる。   According to the present invention, the frequency of false recognition due to false detection is reduced and objects that have entered the boundary of the detection area can be recognized quickly compared to the case where the object is recognized by a certain number of detections regardless of the detection area. Can do.

この発明に関連するもう一つの物体検出装置によると、検知エリア中央部での物体の欠落を防止すると共に、検知エリア周辺部で存在しない物体を存在すると誤って処理することを低減することができる。   According to another object detection device related to the present invention, it is possible to prevent the object from being lost in the central portion of the detection area and to reduce erroneous processing when there is an object that does not exist in the periphery of the detection area. .

以上にこの発明を特定の実施例について説明したが、この発明はこのような実施例に限定されるものではない。   Although the present invention has been described above with reference to specific embodiments, the present invention is not limited to such embodiments.

この発明の一実施例の全体的な構成を示すブロック図。1 is a block diagram showing the overall configuration of an embodiment of the present invention. 距離の三角計測法を説明するための図。The figure for demonstrating the triangulation method of distance. 撮像装置から得られる画像に基づいて物体を検出する態様を説明するための概念図。The conceptual diagram for demonstrating the aspect which detects an object based on the image obtained from an imaging device. 図1の物体認識部14の詳細を示すブロック図。The block diagram which shows the detail of the object recognition part 14 of FIG. 検知エリアおよびその区分けを示す図。The figure which shows a detection area and its division. 図1の補間制御部15の詳細を示すブロック図。The block diagram which shows the detail of the interpolation control part 15 of FIG. 物体認識部14から補間制御部15に渡されるデータのフォーマットを示す図。The figure which shows the format of the data passed to the interpolation control part 15 from the object recognition part 14. FIG. 物体記憶部16に記憶されるテーブルの一例を示す図。The figure which shows an example of the table memorize | stored in the object memory | storage part.

符号の説明Explanation of symbols

3、3' 撮像装置
14 物体認識部
15 補間制御部
16 物体記憶部
3, 3 ′ imaging device 14 object recognition unit 15 interpolation control unit 16 object storage unit

Claims (1)

車両に搭載される物体検出装置であって、
物体までの距離を計測可能な撮像装置と、
撮像装置から入力された画像における道路領域を判定する道路領域判定部と、
撮像装置から入力された画像における前記道路領域の前方にあり道路領域と判定されなかった領域の物体を所定周期ごとに検知する物体検知部と、
物体検知部により検知された物体までの距離及び位置により、当該物体を車両前方の検知エリアを複数に分割したブロックに当てはめ、当該ブロックごとに予め設定された検知回数の物体検知に基づいて物体を認識する物体認識部と、を備え、
前記予め設定された検知回数は、検知エリアの端部のブロックについては、前記検知エリアの中央部のブロックよりも小さく設定されている、物体検出装置。
An object detection device mounted on a vehicle,
An imaging device capable of measuring the distance to an object ;
A road area determination unit that determines a road area in an image input from the imaging device;
An object detection unit that detects an object in a region that is in front of the road region in the image input from the imaging device and that has not been determined to be a road region, for each predetermined period;
Depending on the distance and position to the object detected by the object detection unit, the object is applied to a block obtained by dividing the detection area in front of the vehicle into a plurality of blocks , and the object is detected based on the number of detections set in advance for each block. An object recognition unit for recognizing,
The object detection device, wherein the preset number of detections is set smaller for a block at an end of the detection area than for a block at the center of the detection area.
JP2007204401A 2007-08-06 2007-08-06 Object detection device Expired - Fee Related JP4528320B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007204401A JP4528320B2 (en) 2007-08-06 2007-08-06 Object detection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007204401A JP4528320B2 (en) 2007-08-06 2007-08-06 Object detection device

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP14830399A Division JP4028135B2 (en) 1999-05-27 1999-05-27 Object detection device

Publications (2)

Publication Number Publication Date
JP2007299428A JP2007299428A (en) 2007-11-15
JP4528320B2 true JP4528320B2 (en) 2010-08-18

Family

ID=38768803

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007204401A Expired - Fee Related JP4528320B2 (en) 2007-08-06 2007-08-06 Object detection device

Country Status (1)

Country Link
JP (1) JP4528320B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11048266B2 (en) 2017-09-04 2021-06-29 Samsung Electronics Co., Ltd. Method and apparatus for recognizing object

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5180126B2 (en) * 2009-03-24 2013-04-10 富士重工業株式会社 Road recognition device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06150195A (en) * 1992-11-02 1994-05-31 Toyota Central Res & Dev Lab Inc Object detector
JPH07244717A (en) * 1994-03-02 1995-09-19 Mitsubishi Electric Corp Travel environment recognition device for vehicle
JPH08138036A (en) * 1994-11-11 1996-05-31 Nissan Motor Co Ltd Preceding vehicle recognition device
JPH1049799A (en) * 1996-07-30 1998-02-20 Nissan Motor Co Ltd Operation controller
JPH1114346A (en) * 1997-06-19 1999-01-22 Nissan Motor Co Ltd Vehicular obstacle detecting device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06150195A (en) * 1992-11-02 1994-05-31 Toyota Central Res & Dev Lab Inc Object detector
JPH07244717A (en) * 1994-03-02 1995-09-19 Mitsubishi Electric Corp Travel environment recognition device for vehicle
JPH08138036A (en) * 1994-11-11 1996-05-31 Nissan Motor Co Ltd Preceding vehicle recognition device
JPH1049799A (en) * 1996-07-30 1998-02-20 Nissan Motor Co Ltd Operation controller
JPH1114346A (en) * 1997-06-19 1999-01-22 Nissan Motor Co Ltd Vehicular obstacle detecting device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11048266B2 (en) 2017-09-04 2021-06-29 Samsung Electronics Co., Ltd. Method and apparatus for recognizing object
US11804047B2 (en) 2017-09-04 2023-10-31 Samsung Electronics Co., Ltd. Method and apparatus for recognizing object

Also Published As

Publication number Publication date
JP2007299428A (en) 2007-11-15

Similar Documents

Publication Publication Date Title
JP4028135B2 (en) Object detection device
JP4391624B2 (en) Object recognition device
JP4118452B2 (en) Object recognition device
JP4205825B2 (en) Object recognition device
US9123242B2 (en) Pavement marker recognition device, pavement marker recognition method and pavement marker recognition program
JP6457278B2 (en) Object detection apparatus and object detection method
JPH06281455A (en) Vehicle environment monitoring device
JP4528283B2 (en) Vehicle periphery monitoring device
JP4761156B2 (en) Feature position recognition apparatus and feature position recognition method
JP4094604B2 (en) Vehicle periphery monitoring device
JP3807583B2 (en) Road area determination device
JP2003329439A (en) Distance detecting device
JP4128562B2 (en) Vehicle periphery monitoring device
JP4425852B2 (en) Vehicle periphery monitoring device
JP4528320B2 (en) Object detection device
JP2004126905A (en) Image processor
JP2004106682A (en) Obstacle detection device
JPH07244717A (en) Travel environment recognition device for vehicle
JP3970876B2 (en) Vehicle periphery monitoring device
JP4176558B2 (en) Vehicle periphery display device
JP3287166B2 (en) Distance measuring device
JP4165966B2 (en) Object recognition device
JP4571204B2 (en) Object recognition device
JP4358183B2 (en) Vehicle periphery monitoring device
JP2827682B2 (en) Inter-vehicle distance detection device

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100105

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100223

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100601

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100604

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130611

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130611

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140611

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees