JP4682816B2 - Obstacle position detector - Google Patents

Obstacle position detector Download PDF

Info

Publication number
JP4682816B2
JP4682816B2 JP2005333122A JP2005333122A JP4682816B2 JP 4682816 B2 JP4682816 B2 JP 4682816B2 JP 2005333122 A JP2005333122 A JP 2005333122A JP 2005333122 A JP2005333122 A JP 2005333122A JP 4682816 B2 JP4682816 B2 JP 4682816B2
Authority
JP
Japan
Prior art keywords
obstacle
detection
image
ultrasonic
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005333122A
Other languages
Japanese (ja)
Other versions
JP2007140852A (en
Inventor
秀幸 相京
宗志 峠
Original Assignee
アイシン精機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アイシン精機株式会社 filed Critical アイシン精機株式会社
Priority to JP2005333122A priority Critical patent/JP4682816B2/en
Publication of JP2007140852A publication Critical patent/JP2007140852A/en
Application granted granted Critical
Publication of JP4682816B2 publication Critical patent/JP4682816B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、車両周辺の障害物の位置を検出する障害物位置検出装置に関し、特に、超音波センサと撮像画像とを用いて障害物の位置を検出する障害物位置検出装置に関する。 The present invention relates to obstacle position detection equipment for detecting the position of the obstacle around the vehicle, particularly, relates to obstacle position detection equipment for detecting the position of the obstacle by using an ultrasonic sensor and the captured image .
自動車等の安全対策として、前方の障害物を検出して、ドライバ等に報知したり車両を制御する等の技術が提案されている。   As safety measures for automobiles and the like, techniques such as detecting obstacles ahead and notifying a driver or controlling a vehicle have been proposed.
例えば、特許文献1には、超音波センサの出力と、カメラで撮像した画像から検出したオプティカルフローと、で障害物の位置を検出する技術が提案されている。   For example, Patent Document 1 proposes a technique for detecting the position of an obstacle using an output of an ultrasonic sensor and an optical flow detected from an image captured by a camera.
しかし、特許文献1に開示される技術では、静止画像からはオプティカルフローを検出できず、障害物及び自車両が共に静止していると障害物の位置を検出することができなかった。   However, the technique disclosed in Patent Document 1 cannot detect an optical flow from a still image, and cannot detect the position of an obstacle when both the obstacle and the host vehicle are stationary.
また、複数の超音波センサを配置して、障害物の位置(方向と距離)を検出することも考えられる。しかし、超音波センサの特性として、複数の障害物が存在するときに、複数の障害物が実在するのか、あるいは、虚像の位置に存在する障害物が存在するのかを、判別することができない。このため、障害物の位置を正確に判別することができない。   It is also conceivable to arrange a plurality of ultrasonic sensors to detect the position (direction and distance) of the obstacle. However, as a characteristic of the ultrasonic sensor, when there are a plurality of obstacles, it cannot be determined whether there are a plurality of obstacles or an obstacle existing at the position of the virtual image. For this reason, the position of the obstacle cannot be accurately determined.
また、スキャニングレーザレーダを用いた測距センサと、カメラで撮像した画像を画像処理する画像センサと、を用いて自車両の前方の先行車の位置を検出する先行車認識装置が提案されている(例えば、特許文献2)。この、先行車認識装置よれば、障害物の位置を正確に判別することができる。   In addition, a preceding vehicle recognition device that detects the position of a preceding vehicle ahead of the host vehicle using a distance measuring sensor using a scanning laser radar and an image sensor that performs image processing on an image captured by a camera has been proposed. (For example, patent document 2). According to the preceding vehicle recognition device, the position of the obstacle can be accurately determined.
スキャニングレーザレーダは数百メートルの範囲で物体の位置を正確に判別することができる。しかし、駐車支援装置のような車両周辺監視に適用した場合、障害物を検出するためには自車両から数メートルの距離にある物体を検出できればよい。また、スキャニングレーザレーダは高価であるため障害物の検出手段としては好適でない。そこで、比較的安価で構成が簡単な超音波センサ等を用いて、正確に障害物の位置を検出できるようにすることが望まれる。
特開2000−123298号公報 特開2005−90974号公報
Scanning laser radar can accurately determine the position of an object within a range of several hundred meters. However, when applied to vehicle periphery monitoring such as a parking assistance device, it is only necessary to detect an object at a distance of several meters from the host vehicle in order to detect an obstacle. Also, since scanning laser radar is expensive, it is not suitable as an obstacle detection means. Therefore, it is desirable to be able to accurately detect the position of an obstacle using an ultrasonic sensor or the like that is relatively inexpensive and has a simple configuration.
JP 2000-123298 A JP-A-2005-90974
本発明は、上記問題点を鑑みてなされたものであり、超音波センサを用いた構成で、障害物の位置を正確に検出することができる障害物位置検出装置を提供することを目的とする。
また、本発明は、超音波センサを用いた位置検出で発生する虚像の影響を除去できる障害物位置検出装置を提供することを目的とする。
The present invention has been made in consideration of the above situation, in a configuration using an ultrasonic sensor, and aims to provide an obstacle position detection equipment which can accurately detect the position of the obstacle To do.
Further, the present invention aims at providing an obstacle position detection equipment capable of removing the influence of the virtual image generated in the position detection using the ultrasonic sensor.
上記目的を達成するため、本発明の障害物位置検出装置は、車両に設けられた撮像手段と、前記撮像手段の撮像方向に向けて前記撮像手段の周囲に配設された複数の超音波センサと、前記超音波センサの出力に基づいて、障害物の位置を判別する第1の障害物検出手段と、前記撮像手段が撮像した画像に基づいて、前記撮像手段の撮像範囲内に存在する障害物の該撮像画像内における位置を検出する第2の障害物検出手段と、前記第1の障害物検出手段の検出結果より複数の障害物候補が検出された場合、前記第1の障害物検出手段の検出結果と前記第2の障害物検出手段の検出結果とを重ね合わせて、検出結果が一致した障害物候補の位置を障害物が実在する位置であると判別する障害物判別手段と、を備えることを特徴とする。 In order to achieve the above object, an obstacle position detection device according to the present invention includes an imaging unit provided in a vehicle, and a plurality of ultrasonic sensors arranged around the imaging unit in the imaging direction of the imaging unit. A first obstacle detection means for determining the position of the obstacle based on the output of the ultrasonic sensor, and an obstacle present in the imaging range of the imaging means based on the image captured by the imaging means If a second obstacle detection unit, in which a plurality of obstacle candidate from the detection result of the previous SL first obstacle detection unit is detected for detecting the position in the captured image within the object, the first obstacle Obstacle detection means for superimposing the detection result of the detection means and the detection result of the second obstacle detection means to determine that the position of the obstacle candidate whose detection result matches is the position where the obstacle actually exists ; It is characterized by providing.
前記障害物判別手段は、例えば、記第1の障害物検出手段が、第1の位置と第2の位置に存在する第1の障害物の組合せと、第3の位置と第4の位置に存在する第2の障害物の組合せのいずれかが存在することを検出したときに、この検出結果に前記第2の障害物検出手段の検出結果を重ね合わせて、前記第1の障害物の組合せと前記第2の障害物の組合せのいずれが実在するかを判別するようにしてもよい。 The obstacle determination means, for example, pre-Symbol first obstacle detection unit, a combination of the first obstacle that exists in the first position and the second position, the third position and the fourth when the combination of the second obstacle that exists at the position, either of the detected the presence, by overlapping the detection result of the second obstacle detection unit of the detection result, the first of any combination of the obstacle and the combination of the second obstacle may be determined whether the actual.
また、前記第2の障害物検出手段は、例えば、車両が移動中か否かを判断する手段を備え、車両が移動中である場合には、前記撮像手段が撮像した画像からオプティカルフローを検出する第1の障害物検出手法により障害物の位置を検出し、車両が移動中でない場合には、前記撮像手段が撮像した複数の画像から差分を抽出する第2の障害物検出手法、または、前記撮像手段が撮像した画像から障害物のエッジを抽出する第3の障害物検出手法により障害物の位置を検出するようにしてもよい。 In addition, the second obstacle detection unit includes, for example, a unit that determines whether or not the vehicle is moving, and detects an optical flow from an image captured by the imaging unit when the vehicle is moving. A second obstacle detection method for detecting a position of an obstacle by the first obstacle detection method and extracting a difference from a plurality of images picked up by the image pickup means when the vehicle is not moving, or You may make it detect the position of an obstruction by the 3rd obstruction detection method which extracts the edge of an obstruction from the image which the said imaging means imaged .
また、例えば、画像を表示する表示手段と、前記撮像手段が撮像した画像の、前記障害物判別手段によって判別した障害物の位置に、所定の画像を合成し、合成した画像を、前記表示手段に表示させる表示制御手段と、をさらに備えてもよい。   Also, for example, a display unit that displays an image, and a predetermined image is combined with the position of the obstacle determined by the obstacle determination unit of the image captured by the imaging unit, and the combined image is displayed on the display unit. Display control means for displaying on the display.
また、例えば、前記超音波センサは、少なくとも1つの超音波発信素子と、前記超音波発信素子から発信された超音波の反射波を受信する少なくとも2つの超音波受信素子と、を備え、前記超音波発信素子と超音波受信素子は、前記撮像手段の光軸の周囲に配置されていてもよい。   Further, for example, the ultrasonic sensor includes at least one ultrasonic transmission element and at least two ultrasonic reception elements that receive reflected waves of ultrasonic waves transmitted from the ultrasonic transmission element, and The sound wave transmitting element and the ultrasonic wave receiving element may be arranged around the optical axis of the imaging means.
本発明によれば、超音波センサで検出された障害物の位置の候補が複数ある場合でも、撮像手段の撮像画像に基づく障害物の検出を合わせてすることで、障害物の実在する位置を判別することができる。   According to the present invention, even when there are a plurality of obstacle position candidates detected by the ultrasonic sensor, the obstacle position based on the captured image of the imaging unit is combined to determine the actual position of the obstacle. Can be determined.
以下、本発明の実施形態に係る障害物位置検出装置について説明する。   Hereinafter, an obstacle position detection device according to an embodiment of the present invention will be described.
本実施の形態の障害物位置検出装置は、図1に示すように、車両1に配置されるもので、コンピュータ2と、センサユニット3と、車速センサ4と、表示装置5などで構成されている。   As shown in FIG. 1, the obstacle position detection device according to the present embodiment is arranged in a vehicle 1 and includes a computer 2, a sensor unit 3, a vehicle speed sensor 4, a display device 5, and the like. Yes.
センサユニット3は、カメラ31と超音波センサ32、33とを一体化した構成をしており、車両1の後部のライセンスプレートのガーニッシュ部分等に搭載されている。   The sensor unit 3 has a configuration in which the camera 31 and the ultrasonic sensors 32 and 33 are integrated, and is mounted on the garnish portion of the license plate at the rear of the vehicle 1.
センサユニット3は、図2(a)に平面図で示すように、中央にカメラ31(レンズ)が配置され、その周囲に超音波センサ32、33と、温度センサ34が配置された構成を有する。   As shown in the plan view of FIG. 2A, the sensor unit 3 has a configuration in which a camera 31 (lens) is disposed at the center, and ultrasonic sensors 32 and 33 and a temperature sensor 34 are disposed around the camera 31 (lens). .
カメラ31は、図2(b)に断面で示すように、超広角レンズ等を含む光学ユニット311、CCD(Charge Coupled Device)素子等の撮像素子312、鏡筒313などから構成されている。   As shown in a cross section in FIG. 2B, the camera 31 includes an optical unit 311 including a super-wide-angle lens, an imaging element 312 such as a CCD (Charge Coupled Device) element, a lens barrel 313, and the like.
カメラ31は、センサユニット3のプレート315に固定され、車両1の進行方向(この場合、バック方向)の画像を取得し、コンピュータ2に供給する。   The camera 31 is fixed to the plate 315 of the sensor unit 3, acquires an image in the traveling direction of the vehicle 1 (in this case, the back direction), and supplies it to the computer 2.
なお、コンピュータ2に出力される映像は、ルームミラーで後方を見た場合と同じになるように表示装置5で表示するため、反転させている。   Note that the video output to the computer 2 is inverted in order to be displayed on the display device 5 so as to be the same as when viewed from behind the room mirror.
超音波センサ32は、超音波発信素子の機能と超音波受信素子の機能とを兼ね備える。具体的には、超音波センサ32は、図2(c)に断面で示すように、圧電素子321とカバー322等から構成され、圧電素子321にパルス電圧を印加することにより、発振して、共振器として機能するカバー322を介して超音波を発信する。一方、共振器として機能するカバー322を介して超音波を受けると、超音波に対応する圧力が圧電素子321に加わり、圧電素子321が起電力を生じ、この起電力を検出することにより、超音波を受信したことを検出することができる。   The ultrasonic sensor 32 has both the function of an ultrasonic transmission element and the function of an ultrasonic reception element. Specifically, as shown in a cross section in FIG. 2C, the ultrasonic sensor 32 includes a piezoelectric element 321 and a cover 322, and oscillates by applying a pulse voltage to the piezoelectric element 321. Ultrasonic waves are transmitted through a cover 322 that functions as a resonator. On the other hand, when an ultrasonic wave is received through the cover 322 functioning as a resonator, a pressure corresponding to the ultrasonic wave is applied to the piezoelectric element 321, and the piezoelectric element 321 generates an electromotive force. It is possible to detect that a sound wave has been received.
超音波センサ33は、超音波の受信専用器であり、図2(c)に示す構成を有する。但し、圧電素子321に高周波信号を供給する構成を備えていない。   The ultrasonic sensor 33 is an ultrasonic reception dedicated device and has a configuration shown in FIG. However, a configuration for supplying a high-frequency signal to the piezoelectric element 321 is not provided.
超音波センサ32、33は、カメラ31のレンズ(光学ユニット)311の光軸(視野中心)Cの周囲に光軸を挟むように一体的に配置されており、超音波センサ32が発信した超音波が、障害物で反射された反射波を超音波センサ32、33で受信する。図2(a)において、超音波センサ32と33の中心を結ぶ線分の中点は、光軸Cと一致している。   The ultrasonic sensors 32 and 33 are integrally arranged around the optical axis (field center) C of the lens (optical unit) 311 of the camera 31 so that the optical axis is sandwiched between them. The ultrasonic waves are received by the ultrasonic sensors 32 and 33 as reflected by the obstacle. In FIG. 2A, the midpoint of a line segment connecting the centers of the ultrasonic sensors 32 and 33 coincides with the optical axis C.
なお、ここでいう障害物とは、車両1の周辺に存在する物体で、障害物になる可能性のある全てのものをいう。静止物に限らず、移動する人間や、自動車もこれに該当する。   Here, the obstacle refers to all objects that exist around the vehicle 1 and may become an obstacle. This applies not only to stationary objects but also to moving people and automobiles.
温度センサ34は、超音波の伝播速度を特定するために、外気温度を測定する。   The temperature sensor 34 measures the outside air temperature in order to specify the ultrasonic wave propagation speed.
具体的構成においては、図3(a)に示すように、超音波センサ32と超音波センサ33とは、水平方向に並んで配置されている。超音波センサ32と超音波センサ33の中間の位置がカメラ31の中心に一致する。   In a specific configuration, as shown in FIG. 3A, the ultrasonic sensor 32 and the ultrasonic sensor 33 are arranged side by side in the horizontal direction. An intermediate position between the ultrasonic sensor 32 and the ultrasonic sensor 33 coincides with the center of the camera 31.
図3(b)に模式的に示すように、超音波センサ32と超音波センサ33とが、超音波センサ32から発信され、障害物Bで反射された反射波を受信するまでの時間を測定することにより、三角測量の要領で障害物BのX軸方向の位置x(座標値)とY軸方向の位置yを判別することができる。xはこの場合、同一面に設けられた超音波センサ32、33から障害物Bまでの距離に相当する。   As schematically shown in FIG. 3B, the time until the ultrasonic sensor 32 and the ultrasonic sensor 33 receive the reflected wave transmitted from the ultrasonic sensor 32 and reflected by the obstacle B is measured. Thus, the position x (coordinate value) in the X-axis direction and the position y in the Y-axis direction of the obstacle B can be determined in the manner of triangulation. In this case, x corresponds to the distance from the ultrasonic sensors 32 and 33 provided on the same surface to the obstacle B.
この場合、一般的には、超音波センサ32と超音波センサ33とは、図5(a)に示すような反射波を受信する。即ち、超音波センサ32は、超音波の発信からT1時間後に、障害物Bからの反射波を受信し、超音波センサ33は、超音波の発信からT2時間後に、障害物Bからの反射波を受信する。この場合、次式が成立する。   In this case, generally, the ultrasonic sensor 32 and the ultrasonic sensor 33 receive a reflected wave as shown in FIG. That is, the ultrasonic sensor 32 receives the reflected wave from the obstacle B after T1 time from the transmission of the ultrasonic wave, and the ultrasonic sensor 33 reflects the reflected wave from the obstacle B after T2 time from the transmission of the ultrasonic wave. Receive. In this case, the following equation is established.
L1=C・T1/2
L2=C・T2−L1
L1 = C · T1 / 2
L2 = C · T2-L1
L1:図3(b)に示す超音波センサ32と障害物Bとの距離
L2:図3(b)に示す超音波センサ33と障害物Bとの距離
C:超音波の速度(=331+0.6F(m/s))
F:温度センサ34で測定した外気の摂氏温度)
T1:超音波センサ32が超音波を発信から、超音波センサ32が反射波を受信するまでの時間
T2:超音波センサ32が超音波を発信から、超音波センサ33が反射波を受信するまでの時間
L1: Distance between the ultrasonic sensor 32 and the obstacle B shown in FIG. 3B L2: Distance between the ultrasonic sensor 33 and the obstacle B shown in FIG. 3B C: Ultrasonic velocity (= 331 + 0. 6F (m / s))
F: Celsius temperature of outside air measured by temperature sensor 34)
T1: Time from when the ultrasonic sensor 32 transmits an ultrasonic wave until the ultrasonic sensor 32 receives a reflected wave T2: From when the ultrasonic sensor 32 transmits an ultrasonic wave until the ultrasonic sensor 33 receives a reflected wave time of
ここで、Dを超音波センサ32と超音波センサ33との距離とすると、yとxは次式で表される。
y =D/2−(D+L2−L1)/(2・D)
x =√{L2−(D2+L2−L1)/(2・D)
Here, if D is the distance between the ultrasonic sensor 32 and the ultrasonic sensor 33, y and x are expressed by the following equations.
y = D / 2− (D 2 + L2 2 −L1 2 ) / (2 · D)
x = √ {L2 2 − (D2 + L2 2 −L1 2 ) / (2 · D) 2 }
なお、X軸の原点は、超音波センサ32、33の位置であり、ほぼ、カメラ31の撮像素子の位置(光軸のc位置)である。   Note that the origin of the X axis is the position of the ultrasonic sensors 32 and 33, and is almost the position of the image sensor of the camera 31 (c position of the optical axis).
また、Y軸の原点は、超音波センサ32と超音波センサ33との中間位置であり、ほぼ、カメラ31のレンズの位置(光軸cの位置)である。   The origin of the Y axis is an intermediate position between the ultrasonic sensor 32 and the ultrasonic sensor 33, and is almost the position of the lens of the camera 31 (the position of the optical axis c).
このように、障害物Bが単一でさらに超音波センサ32,33で受信する反射波が明確な場合には、障害物Bの存在の有無やその位置の判定は比較的容易である。しかしながら、実際には、超音波センサ32,33の出力から障害物Bの有無・位置などを特定することは容易ではない。   Thus, when there is a single obstacle B and the reflected waves received by the ultrasonic sensors 32 and 33 are clear, it is relatively easy to determine whether or not the obstacle B exists and its position. However, in practice, it is not easy to specify the presence / absence / position of the obstacle B from the outputs of the ultrasonic sensors 32 and 33.
例えば、障害物Bが複数存在する場合、その位置の同定は極めて困難なものとなる。理解を容易にするため、例えば図4に示すように2個の障害物B1、B2が存在する場合を想定する。この場合、超音波センサ32と超音波センサ33は、図5(b)に示すように、主に、障害物B1とB2からのそれぞれの2個ずつの反射波を受信する。   For example, when there are a plurality of obstacles B, it is extremely difficult to identify the position. In order to facilitate understanding, for example, a case where there are two obstacles B1 and B2 as shown in FIG. 4 is assumed. In this case, as shown in FIG. 5B, the ultrasonic sensor 32 and the ultrasonic sensor 33 mainly receive two reflected waves from the obstacles B1 and B2, respectively.
しかし、超音波センサ32は、受信した反射波W1、W2が障害物B1、B2どちらからの反射波であるかを判別できない。同様に、超音波センサ33は、受信した反射波W3、W4が障害物B1、B2どちらからの反射波であるかを判別できない。   However, the ultrasonic sensor 32 cannot determine whether the received reflected waves W1 and W2 are the reflected waves from the obstacles B1 and B2. Similarly, the ultrasonic sensor 33 cannot determine whether the received reflected waves W3 and W4 are reflected waves from the obstacles B1 and B2.
すなわち、超音波センサ32が時刻T11に受信したW1と、超音波センサ33が時刻T21に受信したW3と、が同じ障害物からの反射波であって、かつ、超音波センサ32が時刻T12に受信したW2と、超音波センサ33が時刻T22に受信したW4と、が同じ障害物からの反射波である場合がある。
また、超音波センサ32が時刻T11に受信したW1と、超音波センサ33が時刻T22に受信したW4と、が同じ障害物からの反射波であって、かつ、超音波センサ32が時刻T12に受信したW2と、超音波センサ33が時刻T21に受信したW3と、が同じ障害物からの反射波である場合がある。
That is, W1 received by the ultrasonic sensor 32 at time T11 and W3 received by the ultrasonic sensor 33 at time T21 are reflected waves from the same obstacle, and the ultrasonic sensor 32 at time T12. The received W2 and the W4 received by the ultrasonic sensor 33 at time T22 may be reflected waves from the same obstacle.
In addition, W1 received by the ultrasonic sensor 32 at time T11 and W4 received by the ultrasonic sensor 33 at time T22 are reflected waves from the same obstacle, and the ultrasonic sensor 32 at time T12. The received W2 and the W3 received by the ultrasonic sensor 33 at time T21 may be reflected waves from the same obstacle.
この組み合わせそれぞれについて、反射波を受信した時間(T11、T12、T21、T22)から上記計算式を用いて物体の位置を判別すると、障害物が実在する位置の組み合わせ(B1、B2)と、障害物が実在しない障害物の虚像の位置の組み合わせ(B3、B4)が判別される。   For each combination, when the position of the object is determined using the above calculation formula from the time (T11, T12, T21, T22) when the reflected wave is received, the combination of the position where the obstacle actually exists (B1, B2) and the obstacle A combination (B3, B4) of the positions of virtual images of obstacles in which no objects actually exist is determined.
なお、図4において、L1は超音波センサ32から障害物B1までの実際の距離である。L2は超音波センサ32から障害物B2までの実際の距離である。L3は超音波センサ33から障害物B2までの実際の距離である。L4は超音波センサ33から障害物B1までの実際の距離である。   In FIG. 4, L1 is an actual distance from the ultrasonic sensor 32 to the obstacle B1. L2 is an actual distance from the ultrasonic sensor 32 to the obstacle B2. L3 is an actual distance from the ultrasonic sensor 33 to the obstacle B2. L4 is an actual distance from the ultrasonic sensor 33 to the obstacle B1.
障害物B1はL1とL4の組み合わせで検出することができ、障害物B2はL2とL3との組み合わせで検出することができる。しかしながら、この際、L1とL3との組み合わせにより、超音波センサ32、33の中間位置に障害物B3があると見なしたり、L2とL4との組み合わせにより、超音波センサ32、33の中間位置に障害物B4があると見なしたりすることが起こり得る。このようにして、図4に示すB3、B4の位置に虚像を判別してしまう。   The obstacle B1 can be detected by a combination of L1 and L4, and the obstacle B2 can be detected by a combination of L2 and L3. However, at this time, the combination of L1 and L3 determines that there is an obstacle B3 at the intermediate position of the ultrasonic sensors 32 and 33, or the combination of L2 and L4 sets the intermediate position of the ultrasonic sensors 32 and 33. It can happen that there is an obstacle B4. In this way, a virtual image is determined at the positions B3 and B4 shown in FIG.
このように、超音波センサ32、33による障害物の位置検出だけでは、障害物が複数ある場合等に、障害物が実在する位置の組み合わせを判別できないことがある。そこで、本実施の形態においては、後述するように、超音波センサによる障害物の位置検出に加えて、カメラ31で撮像した画像を画像処理し、該画像処理によって障害物が実在する位置を特定する。   As described above, there are cases where the combination of positions where obstacles actually exist cannot be determined only by detecting the position of the obstacles by the ultrasonic sensors 32 and 33 when there are a plurality of obstacles. Therefore, in the present embodiment, as will be described later, in addition to detecting the position of the obstacle by the ultrasonic sensor, the image captured by the camera 31 is subjected to image processing, and the position where the obstacle actually exists is identified by the image processing. To do.
図1に戻って、車速センサ4は、車速を検出し、検出された車速は、車速信号として、コンピュータ2に出力する。   Returning to FIG. 1, the vehicle speed sensor 4 detects the vehicle speed, and outputs the detected vehicle speed to the computer 2 as a vehicle speed signal.
また、表示装置5は、コンピュータ2を介して、カメラ31で撮影された映像などを表示するものである。   In addition, the display device 5 displays images taken by the camera 31 via the computer 2.
コンピュータ2は、超音波センサ32、33の出力検出信号に基づいて検出した障害物とその位置及びカメラ31が取得した画像を処理することにより取得した障害物とその位置に基づいて、障害物とその位置を確定する。   The computer 2 detects the obstacle based on the obstacle detected based on the output detection signals of the ultrasonic sensors 32, 33 and the position of the obstacle and the image acquired by the camera 31, and the position of the obstacle. Determine its position.
コンピュータ2は、カメラ31が取得した画像の、確定した障害物の位置に障害物を強調表示するための画像を合成し、合成画像を表示装置5に表示する。   The computer 2 synthesizes an image for highlighting the obstacle at the determined obstacle position in the image acquired by the camera 31 and displays the synthesized image on the display device 5.
コンピュータ2は、図6に示すように、画像キャプチャ41と、超音波センサドライバ42と、A/D(アナログ/ディジタル)変換器43と、画像メモリ22と、ROM(Read Only Memory)23と、CPU(Central Processing Unit)24と、RAM(Random Access Memory)25と、表示制御装置26と、を備える。   As shown in FIG. 6, the computer 2 includes an image capture 41, an ultrasonic sensor driver 42, an A / D (analog / digital) converter 43, an image memory 22, a ROM (Read Only Memory) 23, A CPU (Central Processing Unit) 24, a RAM (Random Access Memory) 25, and a display control device 26 are provided.
画像キャプチャ41は、カメラ31で撮影された画像をディジタル画像データに変換する。   The image capture 41 converts an image captured by the camera 31 into digital image data.
超音波センサドライバ42は、CPU24からの指示に応答して、超音波センサ32の圧電素子321に高周波をパルスに印加して、超音波を発信させると共に内部タイマを起動し、超音波センサ32,33が反射波を受信するまでの各時間を求めて、CPU24に供給する。   In response to an instruction from the CPU 24, the ultrasonic sensor driver 42 applies a high frequency pulse to the piezoelectric element 321 of the ultrasonic sensor 32 to transmit an ultrasonic wave and start an internal timer. Each time until 33 receives the reflected wave is obtained and supplied to the CPU 24.
A/D(アナログ/ディジタル)変換器43は、温度センサ34からの温度信号をディジタル信号に変換する。   The A / D (analog / digital) converter 43 converts the temperature signal from the temperature sensor 34 into a digital signal.
画像メモリ22は、カメラ31により生成され、画像キャプチャ41で取得された画像データを記憶する。CPU24は、画像メモリ22に記憶された画像データを操作・処理できる。   The image memory 22 stores image data generated by the camera 31 and acquired by the image capture 41. The CPU 24 can operate and process the image data stored in the image memory 22.
ROM23は、CPU24の動作を制御するためのプログラムを記憶する。また、ROM23は、後述する画像処理を実行するための様々な固定データを記憶する。   The ROM 23 stores a program for controlling the operation of the CPU 24. Further, the ROM 23 stores various fixed data for executing image processing to be described later.
CPU24は、ROM23に格納されているプログラムを実行することにより、カメラ31により取得した画像を表示装置5に表示し、超音波センサ32、33と、カメラ31により取得した画像の画像処理と、により障害物を検出し、さらに、この画像上に障害物位置を示す表示を合成する。   The CPU 24 displays the image acquired by the camera 31 on the display device 5 by executing a program stored in the ROM 23, and the ultrasonic sensors 32 and 33 and the image processing of the image acquired by the camera 31. An obstacle is detected, and a display indicating the obstacle position is synthesized on the image.
CPU24の画像処理による障害物の検出には、複数の手法がある。本実施の形態では、CPU24は、複数の手法を状況毎に使い分け、状況に合った手法を用いることでより正確かつ高速で障害物を検出する。   There are a plurality of methods for detecting an obstacle by image processing of the CPU 24. In the present embodiment, the CPU 24 uses a plurality of methods for each situation and detects an obstacle more accurately and at high speed by using a method suitable for the situation.
即ち、車両1が走行中であるか停車中で場合分けする。   That is, the case is divided according to whether the vehicle 1 is running or stopped.
CPU24は、車両1が走行中である場合、例えば、カメラ31で取得した画像(動画)からオプティカルフローを検出し、障害物を検出する手法を用いる。   When the vehicle 1 is traveling, the CPU 24 uses, for example, a method of detecting an optical flow from an image (moving image) acquired by the camera 31 and detecting an obstacle.
オプティカルフローとは、画像上の各点の速度ベクトルである。画像上で速度の大きい部分は大きい値が検出され、速度の小さい部分は小さい値が検出される。   The optical flow is a velocity vector of each point on the image. On the image, a large value is detected for a portion with a high speed, and a small value is detected for a portion with a low speed.
車両1が走行中、平面である地面の上に立体である障害物が存在すると、カメラ31から障害物までの距離は地面に比べて障害物の方が近いため、画像上での障害物部分の動きは地面に対して相対的に大きくなり、オプティカルフローは、他の部分と比べ相対的に大きい値として検出される。   When the vehicle 1 is traveling and there is a solid obstacle on the ground, which is a plane, the obstacle is closer to the obstacle from the camera 31 than the ground. Motion is relatively large with respect to the ground, and the optical flow is detected as a relatively large value compared to other portions.
相対的にオプティカルフローの値が大きく検出される部分を抽出することで、障害物を検出することができる。   An obstacle can be detected by extracting a portion where the optical flow value is detected to be relatively large.
また、車両1が停車中である場合には、CPU24は、カメラ31で取得した画像のフレーム間差分を取ることによって動きのある障害物を検出する。オプティカルフローによる障害物検出も可能であるが、フレーム間差分を用いることにより、より容易に障害物を検出できる。   Further, when the vehicle 1 is stopped, the CPU 24 detects a moving obstacle by taking the difference between frames of the images acquired by the camera 31. Obstacles can be detected by optical flow, but obstacles can be detected more easily by using inter-frame differences.
フレーム間差分による障害物の検出とは、画像フレームを2枚連続で取得し、連続したフレームの画像の差分をとり、差分があった部分を抽出する検出手法である。この手法では、平易な処理で動きのある障害物を検出できる。   The obstacle detection based on the interframe difference is a detection method in which two image frames are acquired in succession, the difference between the images of the consecutive frames is taken, and a portion having the difference is extracted. With this method, a moving obstacle can be detected by simple processing.
次に、静止している障害物を検出するため、CPU24は、カメラ31で取得した画像をソーベルフィルタ等を用いた輝度微分法にて障害物のエッジを検出する手法を用いて障害物を検出する。   Next, in order to detect a stationary obstacle, the CPU 24 detects the obstacle using a technique for detecting an edge of the obstacle by a luminance differentiation method using a Sobel filter or the like for the image acquired by the camera 31. To detect.
具体的には、カメラ31で取得した画像をソーベルフィルタ処理し、障害物の縦方向のエッジ(障害物の左右両側端)、横方向のエッジ(障害物の上下両側端)を検出し、縦方向のエッジと横方向のエッジに囲まれた部分を抽出することで、障害物の位置を判別する。   Specifically, the image acquired by the camera 31 is subjected to Sobel filtering, and the vertical edge of the obstacle (the left and right ends of the obstacle) and the horizontal edge (the upper and lower ends of the obstacle) are detected. The position of the obstacle is determined by extracting a portion surrounded by the vertical edge and the horizontal edge.
RAM25は、CPU24のワークエリアとして機能する。   The RAM 25 functions as a work area for the CPU 24.
表示制御装置26は、CPU24の制御下に、表示装置5を制御する。
なお、車速センサ4もバスを介してCPU24に測定データを供給する。
The display control device 26 controls the display device 5 under the control of the CPU 24.
The vehicle speed sensor 4 also supplies measurement data to the CPU 24 via the bus.
次に、上記構成の障害物位置検出装置の動作を説明する。
まず、車両1のギアがバックに入れられると、コンピュータ2が起動される。コンピュータ2は、車両1のギアがバックに入れられている間、一定の割込周期で、図7の障害物検出処理を実行する。
Next, the operation of the obstacle position detection apparatus having the above configuration will be described.
First, when the gear of the vehicle 1 is put in the back, the computer 2 is activated. The computer 2 executes the obstacle detection process of FIG. 7 at a constant interruption period while the gear of the vehicle 1 is put in the back.
まず、コンピュータ2(特にCPU24)は、超音波センサドライバ42を制御して、超音波センサ32に、超音波を発信させると共に内部タイマを起動させる(ステップS1)。超音波センサドライバ42は、CPU24からの指示に応答して、超音波センサ32に発振信号を供給して、超音波を発信させると共に超音波センサ32、33が反射を受信するまでの時間を測定する。   First, the computer 2 (particularly the CPU 24) controls the ultrasonic sensor driver 42 to cause the ultrasonic sensor 32 to emit an ultrasonic wave and start an internal timer (step S1). In response to an instruction from the CPU 24, the ultrasonic sensor driver 42 supplies an oscillation signal to the ultrasonic sensor 32 to transmit the ultrasonic wave and measure the time until the ultrasonic sensors 32 and 33 receive the reflection. To do.
続いて、CPU24は、超音波センサドライバ42から、超音波センサ32、33が反射波を受信したか否か、受信している場合には、受信までの時間を示す情報を受信する(ステップS2)。   Subsequently, the CPU 24 receives, from the ultrasonic sensor driver 42, information indicating whether or not the ultrasonic sensors 32 and 33 have received reflected waves and, if received, information indicating the time until reception (step S2). ).
続いて、CPU24は、超音波センサ32、33が反射波を受信したか否かを示している情報、及び、受信までの時間を示す情報に基づいて、図3(b)、図4、図5を参照して説明したように、障害物の有無、障害物が存在する場合には、その位置((x,y)座標位置)を判別する。判別した障害物の位置情報はRAM25に記憶する(ステップS3)。   Subsequently, based on the information indicating whether or not the ultrasonic sensors 32 and 33 have received the reflected waves, and the information indicating the time until reception, the CPU 24 performs the processing illustrated in FIGS. As described with reference to FIG. 5, the presence / absence of an obstacle, and the presence of an obstacle, the position ((x, y) coordinate position) is determined. The determined position information of the obstacle is stored in the RAM 25 (step S3).
CPU24は、超音波センサ32、33が受信した反射波が複数あったか否かを判別する(ステップS4)。   The CPU 24 determines whether or not there are a plurality of reflected waves received by the ultrasonic sensors 32 and 33 (step S4).
ステップS3で判別した反射波が複数あった場合、障害物の複数の位置の組み合わせが検出される。この障害物の複数の位置の組み合わせから、障害物が実在する位置の組み合わせを判別する必要がある。そこで、ステップS4で反射波が複数あると判別された場合(ステップS4;Yes)、障害物検出画像処理(ステップS5)に処理を移す。   If there are a plurality of reflected waves determined in step S3, a combination of a plurality of obstacle positions is detected. It is necessary to determine a combination of positions where obstacles actually exist from a combination of a plurality of positions of the obstacles. Therefore, when it is determined in step S4 that there are a plurality of reflected waves (step S4; Yes), the processing is shifted to the obstacle detection image processing (step S5).
ステップS3で判別した反射波の数が一つである場合(ステップS4;No)、障害物は一つということなので、超音波センサによる障害物の検出ができるので、画像処理による障害物検出はせず、障害物検出処理を終了する。   When the number of reflected waves determined in step S3 is one (step S4; No), since there is only one obstacle, the obstacle can be detected by the ultrasonic sensor. Without stopping, the obstacle detection process is terminated.
障害物検出画像処理(ステップS5)の内容を図8に示す。   The contents of the obstacle detection image processing (step S5) are shown in FIG.
障害物検出画像処理(ステップS5)では、まず、CPU24は、車速センサ4からデータを取得し、車両1が移動しているか否かを判別する(ステップS51)。   In the obstacle detection image processing (step S5), first, the CPU 24 acquires data from the vehicle speed sensor 4, and determines whether or not the vehicle 1 is moving (step S51).
車両1が移動中であると判別すると(ステップS51;Yes)、CPU24は、画像キャプチャ41を介してカメラ31が取得した車両1の後方の画像を取り込み、画像メモリ22上に記憶する。そして、連続して取り込んだ画像からオプティカルフローを検出し、障害物の位置を判別する。判別した障害物の位置情報を画像処理による検出結果としてRAM25に記憶する(ステップS52)。
ステップS52の処理が終わると図7の障害物検出処理に戻る。
If it is determined that the vehicle 1 is moving (step S51; Yes), the CPU 24 captures an image behind the vehicle 1 acquired by the camera 31 via the image capture 41 and stores it on the image memory 22. Then, the optical flow is detected from the continuously captured images to determine the position of the obstacle. The position information of the determined obstacle is stored in the RAM 25 as a detection result by image processing (step S52).
When the process of step S52 is completed, the process returns to the obstacle detection process of FIG.
車両1が移動中でないと判別すると(ステップS51;No)、障害物が移動中か否かを判別するため、まず、CPU24は、画像キャプチャ41を介してカメラ31が取得した車両1の後方の画像を連続して2枚取り込み、画像メモリ22上に記憶する。(ステップS53)。   If it is determined that the vehicle 1 is not moving (step S51; No), the CPU 24 first determines whether the obstacle is moving or not, first, the CPU 24 behind the vehicle 1 acquired by the camera 31 via the image capture 41. Two images are taken in succession and stored in the image memory 22. (Step S53).
続いて、CPU24は、ステップS53で画像メモリ22上に記憶した2枚の画像を比較し、両者に差分があるか否かを判別する(ステップS54)。   Subsequently, the CPU 24 compares the two images stored on the image memory 22 in step S53, and determines whether or not there is a difference between them (step S54).
ステップS53で画像メモリ22上に記憶した2枚の画像に差分があると判別すると(ステップS54;Yes)、動きのある障害物を検出するために、2枚の画像から差分のある部分を抽出する。そして、その部分を障害物の位置と判別する。判別した障害物の位置情報を画像処理による検出結果としてRAM25に記憶する(ステップS55)。   If it is determined that there is a difference between the two images stored in the image memory 22 in step S53 (step S54; Yes), a portion having a difference is extracted from the two images in order to detect a moving obstacle. To do. Then, the portion is determined as the position of the obstacle. The position information of the determined obstacle is stored in the RAM 25 as a detection result by image processing (step S55).
ステップS55で動きのある障害物を検出した後、又は、ステップS53で画像メモリ22上に記憶した2枚の画像に差分がないと判別すると(ステップS54;No)、静止している障害物を検出する。画像メモリ22上に記憶した画像を、ソーベルフィルタ処理等し、障害物のエッジを検出することで障害物の位置を判別する。判別した障害物の位置情報を画像処理による検出結果としてRAM25に記憶する(ステップS56)。
ステップS56の処理が終わると図7の障害物検出処理に戻る。
After detecting a moving obstacle in step S55, or if it is determined that there is no difference between the two images stored in the image memory 22 in step S53 (step S54; No), the stationary obstacle is detected. To detect. The image stored on the image memory 22 is subjected to Sobel filter processing or the like, and the position of the obstacle is determined by detecting the edge of the obstacle. The position information of the determined obstacle is stored in the RAM 25 as a detection result by image processing (step S56).
When the process of step S56 ends, the process returns to the obstacle detection process of FIG.
図8の障害物検出画像処理が終わり、図7の障害物検出処理に戻ると、超音波センサ32、33により求めた検出結果と、カメラ31で取得した画像の画像処理により求めた検出結果を相関処理して、障害物の組み合わせ候補から正しい障害物の位置の組み合わせを判別する(ステップS6)。   When the obstacle detection image processing in FIG. 8 ends and the processing returns to the obstacle detection processing in FIG. 7, the detection result obtained by the ultrasonic sensors 32 and 33 and the detection result obtained by image processing of the image acquired by the camera 31 are obtained. Correlation processing is performed to determine a correct combination of obstacle positions from obstacle combination candidates (step S6).
具体的には、RAM25に記憶された超音波センサ32、33による障害物の検出位置の候補の中から、RAM25に記憶された画像処理による障害物の検出位置を、障害物の実在する位置として特定する。   Specifically, from the obstacle detection position candidates by the ultrasonic sensors 32 and 33 stored in the RAM 25, the obstacle detection position by image processing stored in the RAM 25 is set as the position where the obstacle actually exists. Identify.
特定した位置を、最終的な障害物の位置としてRAM25に記憶する。   The identified position is stored in the RAM 25 as the final obstacle position.
なお、このとき、カメラ31で得られた画像上の座標の原点(光軸位置)と超音波センサ32、33により求められる障害物のx,y座標の原点とは一致する。このため、視点変換などの特段の処理は必要なく、座標位置の重ね合わせが容易である。   At this time, the origin (optical axis position) of the coordinates on the image obtained by the camera 31 and the origin of the x and y coordinates of the obstacle obtained by the ultrasonic sensors 32 and 33 coincide with each other. For this reason, special processing such as viewpoint conversion is not required, and the coordinate positions can be easily superimposed.
CPU24は、上述の処理を定期的に実行し、障害物の有無及びその位置の最新情報を適宜取得する。   The CPU 24 periodically executes the above-described process, and appropriately acquires the latest information on the presence / absence of an obstacle and its position.
また、コンピュータ2は、車両1のギアがバックに入れられると、表示装置5にそれまで行っていた表示を中断させ、車両1の後方の画像を表示させる処理を実行する。
この後方画像表示処理を図9を参照して説明する。
In addition, when the gear of the vehicle 1 is put in the back, the computer 2 executes a process of interrupting the display that has been performed on the display device 5 and displaying an image behind the vehicle 1.
This rear image display process will be described with reference to FIG.
まず、コンピュータ2(特にCPU24)は、画像キャプチャ41を介してカメラ31が取得した車両1の後方の画像を取り込み画像メモリ22上に記憶する(ステップS21)。   First, the computer 2 (particularly the CPU 24) captures an image behind the vehicle 1 acquired by the camera 31 via the image capture 41 and stores it in the image memory 22 (step S21).
続いて、CPU24は、図7及び図8を参照して説明した障害物検出処理で検出した障害物の有無を判別し、障害物が存在する場合には、その障害物の位置((x,y)座標位置)を特定する(ステップS22)。   Subsequently, the CPU 24 determines the presence / absence of the obstacle detected by the obstacle detection processing described with reference to FIGS. 7 and 8. If there is an obstacle, the position ((x, y) A coordinate position) is specified (step S22).
さらに、CPU24は、障害物を示す半透明の顕在化画像、例えば、図10(a)に示すような画像Mを、障害物までの距離の表示と共にカメラ31からの後方の画像の、ステップS22で特定された(x,y)座標位置に重ねて、画像メモリ22上に展開する(ステップS23)。これにより、例えば、図10(b)に示すように、検出された障害物と、この障害物の存在を強調する画像Mと、障害物までの距離の表示と、を含む後方の画像が生成される。   Further, the CPU 24 displays a semi-transparent materialized image showing an obstacle, for example, an image M as shown in FIG. 10A, along with the display of the distance to the obstacle, and the rear image from the camera 31 in step S22. The image is expanded on the image memory 22 so as to overlap with the (x, y) coordinate position specified in (Step S23). Thereby, for example, as shown in FIG. 10B, a rear image including the detected obstacle, an image M that emphasizes the presence of the obstacle, and a display of the distance to the obstacle is generated. Is done.
なお、このとき、カメラ31で得られた画像上の座標の原点(光軸位置)と超音波センサ32、33により求められる障害物のx,y座標の原点とは一致する。このため、視点変換などの特段の処理は必要なく、画像の合成が容易である。   At this time, the origin (optical axis position) of the coordinates on the image obtained by the camera 31 and the origin of the x and y coordinates of the obstacle obtained by the ultrasonic sensors 32 and 33 coincide with each other. For this reason, special processing such as viewpoint conversion is not required, and image composition is easy.
続いて、CPU24は、画像メモリ22上に記憶した画像を表示制御装置26を介して表示装置5に表示する(ステップS24)。   Subsequently, the CPU 24 displays the image stored on the image memory 22 on the display device 5 via the display control device 26 (step S24).
CPU24は、周期的割込処理等で図9の後方画像表示処理を実行する。従って、表示装置5には、刻一刻と変化する車両1の後方の画像と、その画像内に存在する障害物の位置に配置された顕在化画像Mと、障害物までの距離の表示と、が表示される。即ち、障害物等は強調表示され、障害物等までの距離が表示されている。従って、ドライバは表示装置5の画面上で容易に障害物等を識別して車両1を操作することができる。   The CPU 24 executes the rear image display process of FIG. 9 by a periodic interrupt process or the like. Accordingly, the display device 5 displays an image of the rear of the vehicle 1 that changes every moment, a manifest image M arranged at the position of the obstacle present in the image, a display of the distance to the obstacle, Is displayed. That is, the obstacle is highlighted and the distance to the obstacle is displayed. Therefore, the driver can easily identify an obstacle or the like on the screen of the display device 5 and operate the vehicle 1.
以上のように、上記実施の形態に係る障害物位置検出装置によれば、超音波センサ32、33による障害物の検出結果と、カメラ31が取得した画像を画像処理することにより検出した障害物の検出結果と、を重ね合わせることで、正確な障害物の位置を検出することができる。   As described above, according to the obstacle position detection device according to the above-described embodiment, the obstacle detected by performing image processing on the obstacle detection result by the ultrasonic sensors 32 and 33 and the image acquired by the camera 31. By superimposing these detection results, the position of the obstacle can be detected accurately.
なお、この発明は上記実施の形態に限定されず、種々の変形及び応用が可能である。   In addition, this invention is not limited to the said embodiment, A various deformation | transformation and application are possible.
上記実施の形態では、センサユニット3上に、三角測量による位置検出が可能な最小限の台数である2台の超音波センサ32、33を配置したが、超音波センサの数を増やし、障害物の位置をより正確に判別するようにしてもよい。
また、2台の超音波センサ32、33をカメラ31の光軸Cを中心に水平方向に並んで配置したが、光軸Cを中心に鉛直方向に並んで配置してもよい。
In the embodiment described above, the two ultrasonic sensors 32 and 33, which are the minimum number capable of position detection by triangulation, are arranged on the sensor unit 3, but the number of ultrasonic sensors is increased and obstacles You may make it discriminate | determine more accurately.
In addition, although the two ultrasonic sensors 32 and 33 are arranged in the horizontal direction around the optical axis C of the camera 31, they may be arranged in the vertical direction around the optical axis C.
また、上記実施の形態では、カメラ31で取得した画像の画像処理による障害物検出を、車両1が移動しているか否かで場合分けして複数の手法を用いたが、障害物の検出が可能であれば単一の手法あるいは他の手法によって検出してもよい。   In the above embodiment, the obstacle detection by the image processing of the image acquired by the camera 31 is divided into cases depending on whether or not the vehicle 1 is moving, but the obstacle detection is performed. If possible, it may be detected by a single method or another method.
上述したシステム構成やフローチャートは一例であり、任意に変更可能である。例えば、カメラで取得した画像の画像処理による障害物の検出精度を上げるために、複数台のカメラにより違う角度から画像を取得し、該画像を画像処理することで、障害物の位置を検出してもよい。   The above-described system configuration and flowchart are examples, and can be arbitrarily changed. For example, in order to increase the accuracy of obstacle detection by image processing of images acquired by cameras, images are acquired from different angles by a plurality of cameras, and the positions of obstacles are detected by image processing of the images. May be.
上記実施の形態では、車両1のバック時に後方を監視する場合に、この発明を適用したが、センサユニット3を車両1の前方や、ドア、ハッチバックドアなどにも配置し、通常の走行時、停止時、バック時等の任意のタイミングで、前方向、側方向、などの任意の方向を監視するために使用することも可能である。   In the above embodiment, the present invention is applied when monitoring the rear when the vehicle 1 is back. However, the sensor unit 3 is also arranged in front of the vehicle 1, a door, a hatch back door, etc. It can also be used to monitor an arbitrary direction such as a forward direction, a side direction, etc. at an arbitrary timing such as when the vehicle is stopped or backed.
表示装置5に表示する、障害物の位置を示すマークの種類や形状、さらに、表示の仕方は任意である。例えば、前述したように検出した障害物に重ねて表示してもよく、或いは、検出した障害物の脇に添えて表示するようにしてもよい。
また、障害物までの距離のみを表示していたが、図11に示す、障害物B5までの距離dと、カメラ31の画角θ1と、障害物B5の部分の角度θ2と、から三角関数を用いて障害物B5の大きさ判別して、障害物B5の大きさを表示してもよい。
The type and shape of the mark indicating the position of the obstacle displayed on the display device 5 and the display method are arbitrary. For example, it may be displayed so as to overlap the detected obstacle as described above, or may be displayed alongside the detected obstacle.
Although only the distance to the obstacle is displayed, the trigonometric function is obtained from the distance d to the obstacle B5, the angle of view θ1 of the camera 31, and the angle θ2 of the portion of the obstacle B5 shown in FIG. May be used to determine the size of the obstacle B5 and display the size of the obstacle B5.
また、上記実施の形態では、CPU14が実行するプログラムを、ROM13に記憶していたが、予め任意の記憶媒体に記憶したり、ネットワークを介して任意の記憶媒体に記憶するようにしてもよい。   Further, in the above embodiment, the program executed by the CPU 14 is stored in the ROM 13, but may be stored in advance in an arbitrary storage medium or in an arbitrary storage medium via a network.
本発明の実施形態に係る障害物位置検出装置を搭載した車両の構成を説明するための図である。It is a figure for demonstrating the structure of the vehicle carrying the obstacle position detection apparatus which concerns on embodiment of this invention. センサユニットの構成を説明するための図で、(a)はセンサユニット全体の平面図、(b)はカメラの断面図、(c)は超音波センサの断面図である。It is a figure for demonstrating the structure of a sensor unit, (a) is a top view of the whole sensor unit, (b) is sectional drawing of a camera, (c) is sectional drawing of an ultrasonic sensor. (a)は図2(a)に示すセンサユニットに配置された超音波センサの配置を示す図、(b)は障害物までの距離測定手法を説明するための図である。(A) is a figure which shows arrangement | positioning of the ultrasonic sensor arrange | positioned at the sensor unit shown to Fig.2 (a), (b) is a figure for demonstrating the distance measurement method to an obstruction. 障害物が2つの場合の障害物までの距離測定手法及び虚像の検出を説明するための図である。It is a figure for demonstrating the distance measurement method to the obstacle in the case of two obstacles, and the detection of a virtual image. 超音波センサによる反射波の受信を示す図で、(a)は障害物が1つの場合を示す図、(b)は障害物が2つの場合を示す図である。It is a figure which shows reception of the reflected wave by an ultrasonic sensor, (a) is a figure which shows the case where there is one obstacle, (b) is a figure which shows the case where there are two obstacles. コンピュータの構成を説明するためのブロック図である。It is a block diagram for demonstrating the structure of a computer. 障害物検出処理を説明するためのフローチャートである。It is a flowchart for demonstrating an obstruction detection process. 図7のフローチャートにおける障害物検出画像処理を説明するためのフローチャートである。It is a flowchart for demonstrating the obstruction detection image process in the flowchart of FIG. 後方画像表示処理を説明するためのフローチャートである。It is a flowchart for demonstrating a back image display process. (a)は、障害物を強調表示するための付加記号の例を示す図、(b)は、車両の後方の画像内の障害物を強調表示した表示の例である。(A) is a figure which shows the example of the additional symbol for highlighting an obstruction, (b) is an example of the display which highlighted the obstruction in the image of the back of a vehicle. 障害物の大きさ判別方法を説明するための図である。It is a figure for demonstrating the magnitude | size discrimination | determination method of an obstruction.
符号の説明Explanation of symbols
2 コンピュータ (第1の障害物検出手段、第2の障害物検出手段、障害物判別手段、表示制御手段)
3 センサユニット
4 車速センサ
5 表示装置 (表示手段)
22 画像メモリ
23 ROM
24 CPU (第1の障害物検出手段、第2の障害物検出手段、障害物判別手段)
26 表示制御装置 (表示制御手段)
31 カメラ (撮像手段、第2の障害物検出手段)
32、33 超音波センサ (第1の障害物検出手段)
34 温度センサ
41 画像キャプチャ (撮像手段、第2の障害物検出手段)
42 超音波センサドライバ (第1の障害物検出手段)
2 Computer (first obstacle detection means, second obstacle detection means, obstacle discrimination means, display control means)
3 sensor unit 4 vehicle speed sensor 5 display device (display means)
22 Image memory
23 ROM
24 CPU (first obstacle detection means, second obstacle detection means, obstacle discrimination means)
26 display control device (display control means)
31 camera (imaging means, second obstacle detection means)
32, 33 Ultrasonic sensor (first obstacle detection means)
34 Temperature sensor 41 Image capture (imaging means, second obstacle detection means)
42 Ultrasonic sensor driver (first obstacle detection means)

Claims (5)

  1. 車両に設けられた撮像手段と、
    前記撮像手段の撮像方向に向けて前記撮像手段の周囲に配設された複数の超音波センサと、
    前記超音波センサの出力に基づいて、障害物の位置を判別する第1の障害物検出手段と、
    前記撮像手段が撮像した画像に基づいて、前記撮像手段の撮像範囲内に存在する障害物の該撮像画像内における位置を検出する第2の障害物検出手段と、
    記第1の障害物検出手段の検出結果より複数の障害物候補が検出された場合、前記第1の障害物検出手段の検出結果と前記第2の障害物検出手段の検出結果とを重ね合わせて、検出結果が一致した障害物候補の位置を障害物が実在する位置であると判別する障害物判別手段と、
    を備えることを特徴とする障害物位置検出装置。
    Imaging means provided in the vehicle;
    A plurality of ultrasonic sensors arranged around the imaging means toward the imaging direction of the imaging means;
    First obstacle detection means for determining the position of an obstacle based on the output of the ultrasonic sensor;
    Second obstacle detection means for detecting a position in the captured image of an obstacle present in the imaging range of the imaging means based on an image captured by the imaging means;
    If multiple obstacle candidate from the detection result of the previous SL first obstacle detection unit detects, overlapping the detection result of the detection result and the second obstacle detection unit of the first obstacle detection unit In addition, obstacle determination means for determining that the position of the obstacle candidate whose detection result matches is the position where the obstacle actually exists ,
    An obstacle position detecting device comprising:
  2. 前記障害物判別手段は、
    前記第1の障害物検出手段が、第1の位置と第2の位置に存在する第1の障害物の組合せと、第3の位置と第4の位置に存在する第2の障害物の組合せのいずれかが存在することを検出したときに、
    この検出結果に前記第2の障害物検出手段の検出結果を重ね合わせて、前記第1の障害物の組合せと前記第2の障害物の組合せのいずれが実在するかを判別する、
    ことを特徴とする請求項1に記載の障害物位置検出装置。
    The obstacle discrimination means is
    The first obstacle detection unit, a combination of the first obstacle that exists in the first position and the second position, the second obstacle that exists in the third position and the fourth position when a combination of any of detects the presence,
    Detection result by overlapping of the second obstacle detection unit to the detection result, to determine whether any combination of the combination and the second obstacle of the first obstacle actually exists,
    The obstacle position detecting device according to claim 1, wherein
  3. 前記第2の障害物検出手段は、車両が移動中か否かを判断する手段を備え、車両が移動中である場合には、前記撮像手段が撮像した画像からオプティカルフローを検出する第1の障害物検出手法により障害物の位置を検出し、車両が移動中でない場合には、前記撮像手段が撮像した複数の画像から差分を抽出する第2の障害物検出手法、または、前記撮像手段が撮像した画像から障害物のエッジを抽出する第3の障害物検出手法により障害物の位置を検出することを特徴とする請求項1に記載の障害物位置検出装置。 The second obstacle detection means includes means for determining whether or not the vehicle is moving. When the vehicle is moving, the first obstacle detection means detects the optical flow from the image captured by the imaging means. A second obstacle detection method for detecting a position of an obstacle by an obstacle detection method and extracting a difference from a plurality of images picked up by the image pickup means when the vehicle is not moving; The obstacle position detection device according to claim 1, wherein the obstacle position is detected by a third obstacle detection method for extracting an edge of the obstacle from the captured image .
  4. 画像を表示する表示手段と、
    前記撮像手段が撮像した画像の、前記障害物判別手段によって判別した障害物の位置に、所定の画像を合成し、合成した画像を、前記表示手段に表示させる表示制御手段と、
    をさらに備えることを特徴とする請求項1に記載の障害物位置検出装置。
    Display means for displaying an image;
    Display control means for synthesizing a predetermined image at the position of the obstacle determined by the obstacle determination means of the image captured by the imaging means, and causing the display means to display the synthesized image;
    The obstacle position detecting device according to claim 1, further comprising:
  5. 前記超音波センサは、少なくとも1つの超音波発信素子と、前記超音波発信素子から発信された超音波の反射波を受信する少なくとも2つの超音波受信素子と、を備え、
    前記超音波発信素子と超音波受信素子は、前記撮像手段の光軸の周囲に配置されている、ことを特徴とする請求項1に記載の障害物位置検出装置。
    The ultrasonic sensor includes at least one ultrasonic transmission element and at least two ultrasonic reception elements that receive reflected waves of ultrasonic waves transmitted from the ultrasonic transmission element,
    The obstacle position detection apparatus according to claim 1, wherein the ultrasonic wave transmitting element and the ultrasonic wave receiving element are arranged around an optical axis of the imaging unit.
JP2005333122A 2005-11-17 2005-11-17 Obstacle position detector Expired - Fee Related JP4682816B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005333122A JP4682816B2 (en) 2005-11-17 2005-11-17 Obstacle position detector

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005333122A JP4682816B2 (en) 2005-11-17 2005-11-17 Obstacle position detector

Publications (2)

Publication Number Publication Date
JP2007140852A JP2007140852A (en) 2007-06-07
JP4682816B2 true JP4682816B2 (en) 2011-05-11

Family

ID=38203636

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005333122A Expired - Fee Related JP4682816B2 (en) 2005-11-17 2005-11-17 Obstacle position detector

Country Status (1)

Country Link
JP (1) JP4682816B2 (en)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010201996A (en) * 2009-03-02 2010-09-16 Whetron Electronics Co Ltd Image observation system of vehicle and method of using the same system
JP2010204805A (en) * 2009-03-02 2010-09-16 Konica Minolta Holdings Inc Periphery-monitoring device and method
WO2011145141A1 (en) 2010-05-19 2011-11-24 三菱電機株式会社 Vehicle rear-view observation device
WO2012140769A1 (en) * 2011-04-14 2012-10-18 トヨタ自動車株式会社 Object detection device and method for vehicle
JP5794381B2 (en) * 2012-02-27 2015-10-14 日産自動車株式会社 Travel control device and travel control method
JP6089585B2 (en) * 2012-10-29 2017-03-08 株式会社デンソー Obstacle detection device
JP6474228B2 (en) * 2014-10-22 2019-02-27 株式会社デンソー Object detection device
KR101637716B1 (en) 2014-11-03 2016-07-07 현대자동차주식회사 Apparatus and method for recognizing position of obstacle in vehicle
JP6597350B2 (en) * 2016-02-03 2019-10-30 トヨタ自動車株式会社 Vehicle imaging system
CN106998388A (en) * 2017-03-09 2017-08-01 北京小米移动软件有限公司 Export method, device and the mobile device of object range information
JP6579144B2 (en) 2017-03-28 2019-09-25 株式会社Soken Obstacle detection device
JP6930512B2 (en) * 2018-10-19 2021-09-01 株式会社デンソー Object detection device, object detection method and program

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001195700A (en) * 2000-01-14 2001-07-19 Matsushita Electric Ind Co Ltd Device for detecting vehicle information
JP2002120677A (en) * 2000-10-12 2002-04-23 Daihatsu Motor Co Ltd Parking support system and control method for the same
JP2002123818A (en) * 2000-10-12 2002-04-26 Nissan Motor Co Ltd Peripheral obstacle detecting device for vehicle
JP2002131417A (en) * 2000-10-25 2002-05-09 Matsushita Electric Works Ltd Obstruction detecting device

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62273477A (en) * 1986-05-22 1987-11-27 Nippon Denso Co Ltd Monitor for surrounding area of vehicle

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001195700A (en) * 2000-01-14 2001-07-19 Matsushita Electric Ind Co Ltd Device for detecting vehicle information
JP2002120677A (en) * 2000-10-12 2002-04-23 Daihatsu Motor Co Ltd Parking support system and control method for the same
JP2002123818A (en) * 2000-10-12 2002-04-26 Nissan Motor Co Ltd Peripheral obstacle detecting device for vehicle
JP2002131417A (en) * 2000-10-25 2002-05-09 Matsushita Electric Works Ltd Obstruction detecting device

Also Published As

Publication number Publication date
JP2007140852A (en) 2007-06-07

Similar Documents

Publication Publication Date Title
JP4682816B2 (en) Obstacle position detector
JP4760272B2 (en) Vehicle periphery monitoring device and sensor unit
US8330816B2 (en) Image processing device
US8559674B2 (en) Moving state estimating device
CN104081443B (en) For operating the method for the driver assistance device of motor vehicles, driver assistance device and motor vehicles
JP2004354326A (en) Surrounding display device for vehicle
JP2001099930A (en) Sensor for monitoring periphery
JP2005024463A (en) Stereo wide visual field image processing apparatus
JP2005012465A (en) Peripheral displaying device for vehicle
US20130093887A1 (en) Obstacle Detection System and Obstacle Detection Method Thereof
WO2018043028A1 (en) Surroundings monitoring device and surroundings monitoring method
JP2006352368A (en) Vehicle surrounding monitoring apparatus and vehicle surrounding monitoring method
JP6697281B2 (en) Object detection device
JP5803757B2 (en) Perimeter monitoring device and perimeter monitoring method
JP2006044517A (en) Mirror control device
JP2007087203A (en) Collision determination system, collision determination method, and computer program
JP2008026999A (en) Obstacle detection system and obstacle detection method
JP2008286648A (en) Distance measuring device, distance measuring system, and distance measuring method
JPH109853A (en) Distance-measuring type omnibearing visual sensor
CN205142411U (en) Image capturing device of backing a car and system thereof
JP5251814B2 (en) Driving assistance device
JP4823282B2 (en) Perimeter monitoring sensor
JP6465919B2 (en) Obstacle detection system
KR20170078005A (en) Around view genegation method and apparatus performing the same
JP2005212609A (en) Drive supporting device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081027

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101019

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101021

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110111

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110124

R151 Written notification of patent or utility model registration

Ref document number: 4682816

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140218

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140218

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees