JP4848644B2 - Obstacle recognition system - Google Patents
Obstacle recognition system Download PDFInfo
- Publication number
- JP4848644B2 JP4848644B2 JP2005051251A JP2005051251A JP4848644B2 JP 4848644 B2 JP4848644 B2 JP 4848644B2 JP 2005051251 A JP2005051251 A JP 2005051251A JP 2005051251 A JP2005051251 A JP 2005051251A JP 4848644 B2 JP4848644 B2 JP 4848644B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- roadside
- recognition
- image data
- obstacle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Traffic Control Systems (AREA)
Description
本発明は、概して、車両とインフラとが協調して路上の障害物を認識(検出)する障害物認識システムに係り、特に、簡易且つ安価であって、認識精度及び速度が向上した障害物認識システムに関する。 The present invention generally relates to an obstacle recognition system that recognizes (detects) an obstacle on a road in cooperation between a vehicle and an infrastructure, and in particular, is easy and inexpensive, and recognizes an obstacle with improved recognition accuracy and speed. About the system.
従来、路車間通信を利用するなど車両とインフラとが協調して路上の障害物を検出・認識する障害物認識システム/装置が提案されている(例えば、特許文献1参照)。 Conventionally, there has been proposed an obstacle recognition system / device that detects and recognizes obstacles on the road in cooperation between the vehicle and the infrastructure, such as using road-to-vehicle communication (see, for example, Patent Document 1).
従来のシステムでは、通常、インフラ(路)側で障害物が認識されると、その旨が路車間通信を利用して車両に伝達され、車両において警報が発せられるなどの措置が実施される。 In the conventional system, when an obstacle is recognized on the infrastructure (road) side, usually, such a fact is transmitted to the vehicle using road-to-vehicle communication, and a measure is issued such that an alarm is issued in the vehicle.
例えば、特許文献1に開示された装置(システム)は、インフラ側においてカメラにより撮像された画像から路上の歩行者を検知し、その結果を車両に送信し、車両側の検知結果との同一性を確認することによって、車両における歩行者検知を確実且つ高速にすることを狙ったものである。
しかしながら、上記特許文献1に開示された装置(システム)に代表されるような従来システムでは、インフラ側においてカメラによる画像の撮像のみならず障害物等の認識処理まで行われており、その結果が車両へ送信されている。 However, in the conventional system represented by the device (system) disclosed in the above-mentioned Patent Document 1, not only the imaging of the image by the camera but also the recognition processing of the obstacle or the like is performed on the infrastructure side, and the result is It has been sent to the vehicle.
一方で、近年、車両にもカメラ及びカメラにより撮像された画像から障害物等を認識する機能が備えられている。上記特許文献1にも、車両が、車載カメラにより撮像された画像から歩行者を検知する機能を備えていることが明記されている。 On the other hand, in recent years, a vehicle is also provided with a function of recognizing an obstacle or the like from a camera and an image captured by the camera. The above Patent Document 1 also clearly states that the vehicle has a function of detecting a pedestrian from an image captured by an in-vehicle camera.
このように、車両が画像データから障害物等を認識する機能を備えている中で、上記特許文献1に開示された装置(システム)のようにインフラ側から送信された認識結果を更に車両側でも再度認識処理するものとすれば、二度手間であり、むしろ認識速度は遅くなる。 As described above, while the vehicle has a function of recognizing an obstacle or the like from the image data, the recognition result transmitted from the infrastructure side as in the device (system) disclosed in Patent Document 1 is further displayed on the vehicle side. However, if the recognition process is to be performed again, it will be time-consuming and rather the recognition speed will be slow.
また、このようなインフラ側と車両側での二度の認識処理を必須の構成とするならば、インフラ側の設備の各々が、カメラ及び路車間通信機のみならず、画像データから障害物等を認識する機能を備えている必要があり、設備構造が複雑になると共に、インフラ整備に莫大な費用と時間が掛かることになる。 Further, if such a recognition process twice on the infrastructure side and the vehicle side is an indispensable configuration, each of the facilities on the infrastructure side is not only a camera and a road-to-vehicle communication device, but also an obstacle from image data. It is necessary to have a function for recognizing the system, and the structure of the equipment becomes complicated, and the infrastructure development takes enormous cost and time.
さらに、インフラ側カメラも車両側カメラも、認識されるべき障害物等をそれぞれ略一定の方向からしか見ていないため、それぞれの認識結果がうまく整合しない場合もあり得る。 Furthermore, since both the infrastructure side camera and the vehicle side camera see the obstacles to be recognized only from a substantially fixed direction, the recognition results may not match well.
本発明はこのような課題を解決するためのものであり、簡易且つ安価であって、認識精度及び速度が向上した障害物認識システを提供することを主たる目的とする。 The present invention has been made to solve such problems, and it is a main object of the present invention to provide an obstacle recognition system that is simple and inexpensive and has improved recognition accuracy and speed.
上記目的を達成するための本発明の一態様は、路車間通信を利用して路上の障害物を認識する障害物認識システムであって、路側に設置され、道路を撮像する路側撮像手段(例えばカメラ)と、路側に設置され、該路側撮像手段により撮像された路側画像データを特性情報と共に車両に送信する路側送信手段と、車両に搭載され、道路を撮像する車両側撮像手段(例えばカメラ)と、車両に搭載され、該車両側撮像手段により撮像された車両側画像データを撮像した時刻と関連付けて記憶保持する記憶手段と、車両に搭載され、上記路側送信手段により送信された上記路側画像データを上記特性情報と自車両の走行状態とに基づいて(例えば、道路平面を基準として、同一の道路平面領域を車両側カメラで撮像した画像に変換することにより、道路平面上にない物体の検出が可能となる)補正する補正手段と、該補正手段により得られた補正路側画像データと同一時刻に撮像された車両側画像データを上記記憶手段から抽出し、抽出した車両側画像データと上記補正路側画像データとから障害物を検出・認識する認識手段とを有する障害物認識システムである。 One aspect of the present invention for achieving the above object is an obstacle recognition system for recognizing an obstacle on the road using road-to-vehicle communication, and is installed on the road side and roadside imaging means for imaging a road (for example, Camera), roadside transmission means installed on the roadside and transmitting roadside image data imaged by the roadside imaging means together with characteristic information to the vehicle, and vehicle side imaging means (for example, camera) mounted on the vehicle and imaging the road And a storage unit mounted on the vehicle and stored in association with the time when the vehicle-side image data captured by the vehicle-side imaging unit is captured, and the road-side image mounted on the vehicle and transmitted by the road-side transmission unit Based on the above characteristic information and the traveling state of the host vehicle (for example, by converting the same road plane area into an image captured by the vehicle side camera with the road plane as a reference) (Correction means for correcting an object not on the road plane) and vehicle-side image data captured at the same time as the corrected road-side image data obtained by the correction means are extracted from the storage means and extracted. An obstacle recognition system having a recognition means for detecting and recognizing an obstacle from the vehicle-side image data and the corrected road-side image data.
この一態様において、上記特性情報とは、撮像された時刻に加えて、上記路側撮像手段の絶対位置、撮像(光軸)方向、焦点距離、画素サイズ、レンズ歪パラメータ、など設置及び仕様に関する情報を指す。また、上記自車両の走行状態とは、車速、ロール角度、ヨー角度、ピッチ角度などの上記車両側撮像手段の光軸の位置及び角度に影響を与え得るあらゆる任意の車両状態パラメータを指す。 In this aspect, the characteristic information is information related to installation and specifications, such as the absolute position, the imaging (optical axis) direction, the focal length, the pixel size, and the lens distortion parameter of the roadside imaging means in addition to the time when the imaging was performed. Point to. The traveling state of the host vehicle refers to any arbitrary vehicle state parameter that can affect the position and angle of the optical axis of the vehicle-side imaging means, such as the vehicle speed, the roll angle, the yaw angle, and the pitch angle.
この一態様によれば、インフラ側においては画像の撮像だけが行われ、認識処理は車両側でのみ行われるシステム構成となるため、インフラ側設備を簡易な構成で且つ安価なものとすることができる。これに伴って、インフラ整備に掛かる費用及び時間も大幅に削減される。 According to this aspect, since only the imaging is performed on the infrastructure side and the recognition process is performed only on the vehicle side, the infrastructure side equipment may be configured simply and inexpensively. it can. Along with this, the cost and time for infrastructure development are also greatly reduced.
また、この一態様によれば、インフラ側の撮像手段により撮像された画像と車両側の撮像手段により異なる角度から撮像された画像とから障害物を検出・認識するため、障害物の検出・認識精度を向上させることができる。また、認識処理の実行が1回で済むことから、認識速度も向上する。 Further, according to this aspect, since the obstacle is detected and recognized from the image picked up by the imaging means on the infrastructure side and the image picked up from a different angle by the imaging means on the vehicle side, the detection and recognition of the obstacle is performed. Accuracy can be improved. In addition, since the recognition process only needs to be performed once, the recognition speed is also improved.
なお、この一態様において、1)上記障害物認識システムが、路側に設置され、歩行者への注意喚起を行う警報手段と、車両に搭載され、上記認識手段による認識結果と該認識結果に対する車両の対応とを上記警報手段に送信する車両側送信手段とを更に有し、該警報手段が、上記認識手段による認識結果と該認識結果に対する車両の対応とに基づいて歩行者への注意喚起を行う(例えば、警報音を鳴らすなど)ようにする、及び/又は、2)上記障害物認識システムが、路側に設置され、信号機の切替制御を行う信号制御手段と、車両に搭載され、上記認識手段による認識結果と該認識結果に対する車両の対応とを上記信号制御手段に送信する車両側送信手段とを更に有し、該信号制御手段が、上記認識手段による認識結果と該認識結果に対する車両の対応とに基づいて信号機の切替制御を行うようにすると、車両において得られた高精度な障害物認識情報及びその障害物認識情報に基づいて車両がどのような対応をとったか(停車、減速、操舵、回避不可能、など)をインフラ側で利用することができるようになるため、より安全な走行が可能となると共に、交通流の改善も期待できる。 In this embodiment, 1) the obstacle recognition system is installed on the road side, alert means for alerting a pedestrian, and a vehicle mounted on the vehicle, the recognition result by the recognition means and the vehicle for the recognition result Vehicle-side transmission means for transmitting to the warning means, the warning means alerts the pedestrian based on the recognition result by the recognition means and the vehicle's response to the recognition result. And / or 2) the obstacle recognition system is installed on the roadside and is equipped with signal control means for controlling the switching of the traffic lights, and the recognition Vehicle-side transmission means for transmitting the recognition result by the means and the correspondence of the vehicle to the recognition result to the signal control means, and the signal control means includes the recognition result by the recognition means and the recognition result. When switching control of the traffic light is performed based on the response of the vehicle to be operated, what kind of response the vehicle has taken based on the highly accurate obstacle recognition information obtained in the vehicle and the obstacle recognition information (stop , Deceleration, steering, inevitable, etc.) can be used on the infrastructure side, so that safer driving and improved traffic flow can be expected.
本発明によれば、簡易且つ安価であって、認識精度及び速度が向上した障害物認識システムを提供することができる。 According to the present invention, it is possible to provide an obstacle recognition system that is simple and inexpensive and has improved recognition accuracy and speed.
以下、本発明を実施するための最良の形態について、添付図面を参照しながら実施例を挙げて説明する。なお、画像データに基づく物体の検出・認識及び路車間通信の基本概念等については当業者には既知であるため、詳しい説明を省略する。 Hereinafter, the best mode for carrying out the present invention will be described with reference to the accompanying drawings. Note that the basic concept of object detection / recognition and road-to-vehicle communication based on image data is known to those skilled in the art, and a detailed description thereof will be omitted.
図1〜5を用いて、本発明の一実施例に係る障害物認識システムについて説明する。ここでは、路上の障害物として、移動体である歩行者を例に挙げて説明する。 An obstacle recognition system according to an embodiment of the present invention will be described with reference to FIGS. Here, a pedestrian that is a moving body will be described as an example of an obstacle on the road.
図1は、本実施例に係る障害物認識システム全体の構成を示す概略図である。インフラ側に設けられた路側カメラ101によって撮像された画像データは、インフラ側において認識処理されることなく、生データのまま、路車間通信Tを利用して車両102へ送信される。このとき、路側カメラで撮像された画像データを補正・変換するための特性情報も同時に車両102へ送信される。特性情報については後に詳述する。
FIG. 1 is a schematic diagram illustrating a configuration of the entire obstacle recognition system according to the present embodiment. Image data captured by the
車両102は、路側カメラにより撮像された画像と、自車両の車載カメラにより撮像された画像とを統合し、認識処理を行うことによって、障害物(この例では歩行者103)を検出・認識する。
The
このように、本実施例に係る障害物認識システムにおいて、認識処理は車両側でのみ実行される。また、図1にも例示的に示したように、路側カメラと車載カメラは通常異なる方向から障害物103を撮像しているため、両カメラにより撮像された画像データを用いることにより認識精度が向上する。
Thus, in the obstacle recognition system according to the present embodiment, the recognition process is executed only on the vehicle side. In addition, as illustrated in FIG. 1, since the roadside camera and the vehicle-mounted camera normally capture the
図2は、路側設備200の概略構成を示すブロック図である。例えば交差点に設置される路側設備200は、車両と路車間通信を行う送受信部201と、路側カメラ202と、画像データと共に車両に送信する特性情報を記憶保持する記憶部203とを有する。
FIG. 2 is a block diagram illustrating a schematic configuration of the
本実施例の路側設備200は、更に、任意的構成要素として、車両から画像認識結果が受信された場合に、例えば歩行者等が交差点に進入しないように注意喚起することなどを目的とした警報音を出力する警報部204と、車両から画像認識結果が受信された場合に、該認識結果に基づいて信号機の切替を制御する信号機制御部205とを有する。
The
図3は、車両に搭載される車載装置300の概略構成を示すブロック図である。車載装置300は、路側設備200と路車間通信を行う送受信部301と、車速、ロール角度、ヨー角度、及び、ピッチ角度など車載カメラの光軸の位置及び角度に影響を与え得る自車両の走行状態を検出する車両走行状態検出部302とを有する。
FIG. 3 is a block diagram showing a schematic configuration of the in-vehicle device 300 mounted on the vehicle. The in-vehicle device 300 is a transmission /
車載装置300は、更に、路側設備200から受信された特性情報と車両走行状態検出部302によって検出された自車両の走行状態とに基づいて、路側設備200から受信された画像データを車載カメラで撮像された画像データと同じ位置から撮像されたのと等価な同じ座標系のデータに補正・変換する補正部303とを有する。
The in-vehicle device 300 further uses the in-vehicle camera to receive the image data received from the
車載装置300は、更に、特に自車両前方の路上を撮像する車両側カメラ304と、車両側カメラ304により撮像された画像データを撮像した時刻と関連付けて記憶保持する記憶部305とを有する。記憶部305の容量を制限する観点から、例えば、車両側カメラ304による撮像は交差点進入時(交差点手前)のみ実行されるものとし、当該交差点を通過すると記憶部305は記憶保持していた画像を破棄するものと設計・設定してもよい。
The in-vehicle device 300 further includes a vehicle-
車載装置300は、更に、補正部303により補正された路側の画像データと、記憶部305に記憶保持された車両側の画像データとを統合し、障害物認識処理を実行する認識処理部306を有する。認識処理部306は、路側設備200から受信された特性情報に含まれる撮像時刻情報に基づいて、路側設備200から受信された画像データと同一の(又は略同一の)時刻に撮像された車両側カメラ304が撮像した画像データを記憶部305から抽出する。
The in-vehicle device 300 further includes a
本実施例の車載装置300は、任意的に、認識処理部306による認識結果を、自車両における運転者への注意喚起等に利用するだけでなく、送受信部301を通じて路側設備200へ送信するものとする。
The in-vehicle device 300 according to the present embodiment arbitrarily transmits the recognition result by the
このような構成の本実施例に係る障害物認識システムについて、次いで、図4を参照して、認識処理の流れについて説明する。図4は、本実施例に係る障害物認識システムによる障害物認識処理の流れを示すフローチャートである。 With respect to the obstacle recognition system according to the present embodiment having such a configuration, the flow of recognition processing will be described with reference to FIG. FIG. 4 is a flowchart showing the flow of obstacle recognition processing by the obstacle recognition system according to the present embodiment.
まず、車両側において、車両側カメラ304により特に自車両前方の路上が撮像され、撮像された画像データが撮像した時刻と関連付けて記憶部305に記憶保持される(S401)。
First, on the vehicle side, the road in front of the host vehicle is specifically imaged by the vehicle-
次いで、路側において、路側カメラ202により所定範囲の路上が撮像される(S402)。撮像された画像データは、何らの認識処理も行われずにそのまま送受信部201により車両側へ送信される(S403)。このとき、記憶部203に記憶保持された特性情報も同時に(又は略同時に)車両側へ送信される。
Next, on the road side, a road within a predetermined range is imaged by the road camera 202 (S402). The captured image data is directly transmitted to the vehicle side by the transmission /
ここで、記憶部203に記憶保持された特性情報は、車両へ送信される画像データが撮像された時刻を必ず含むと共に、上述のような車両側(の補正部303)における路側画像データの補正・変換に必要な情報、例えば路側カメラ202の絶対位置、撮像(光軸)方向、焦点距離、画素サイズ、レンズ歪パラメータなど設置及び仕様に関する情報、を含む。
Here, the characteristic information stored and held in the
車両側では、路側からの画像データ及び特性情報が受信されると、上述のように補正部303が受信された路側画像データを車両側画像データと統合可能なように補正・変換する(S404)。
On the vehicle side, when image data and characteristic information from the road side are received, the
次いで、車両側では、認識処理部306によって、受信された路側画像データと同一の(又は略同一の)時刻に車両側カメラ304により撮像された車両側画像データが記憶部305から抽出される(S405)。
Next, on the vehicle side, the
次いで、認識処理部306によって、補正部303によって補正された路側画像データと、記録部305から抽出された車両側画像データとを用いて、障害物の検出・認識処理が実行される(S406)。
Next, an obstacle detection / recognition process is executed by the
同一時刻の画像が用いられる理由及び統合認識処理の一具体例を図5を用いて説明する。図5は、ステレオ画像を得る手法により、統合認識処理を実行する場合を示している。 The reason why images at the same time are used and a specific example of integrated recognition processing will be described with reference to FIG. FIG. 5 shows a case where the integrated recognition process is executed by a technique for obtaining a stereo image.
図5の時刻t1において、路側カメラCと、車両側カメラC’と、障害物(ここでは歩行者)中の一点である注視点Xとを結ぶ直線で構成された平面がエピポーラ平面Σである。 At time t1 in FIG. 5, the epipolar plane Σ is a plane composed of a straight line connecting the roadside camera C, the vehicle side camera C ′, and the gazing point X that is one point in the obstacle (here, a pedestrian). .
平面πは、路側カメラCが撮像する撮像平面であり、平面π’は、車両側カメラC’が撮像する撮像平面である。撮像平面πは、エピポーラ平面Σと点e及びxで交わり、撮像平面π’は、エピポーラ平面Σと点e’及びx’で交わる。 The plane π is an imaging plane imaged by the roadside camera C, and the plane π ′ is an imaging plane imaged by the vehicle-side camera C ′. The imaging plane π intersects the epipolar plane Σ at points e and x, and the imaging plane π ′ intersects the epipolar plane Σ at points e ′ and x ′.
点eと点xを結ぶ直線は、撮像平面πとエピポーラ平面Σとの交線であって、エピポーラ線lと呼ばれる。同様に、点e’と点x’を結ぶ直線は、撮像平面π’とエピポーラ平面Σとの交線であって、エピポーラ線l’と呼ばれる。エピポーラ線l、l’は、2つのカメラC、C’に映った対象点Xのそれぞれの画像間の視差を検出する際の探索範囲を限定している。 A straight line connecting the point e and the point x is an intersection line between the imaging plane π and the epipolar plane Σ, and is called an epipolar line l. Similarly, a straight line connecting the point e ′ and the point x ′ is an intersection line between the imaging plane π ′ and the epipolar plane Σ, and is called an epipolar line l ′. The epipolar lines l and l 'limit the search range when detecting the parallax between the images of the target point X reflected by the two cameras C and C'.
このようにして探索範囲が限定されると、当業者には既知のように、カメラC、C’の絶対位置と各カメラの光軸方向から対象点Xが数学的に探索可能となる(例えば、佐藤淳、「コンピュータビジョン−視覚の幾何学−」、コロナ社、80〜117頁、など参照)。 When the search range is limited in this way, as known to those skilled in the art, the target point X can be mathematically searched from the absolute positions of the cameras C and C ′ and the optical axis direction of each camera (for example, Satoshi Sato, “Computer Vision-Geometry of Vision”, Corona, pages 80-117, etc.).
したがって、路側画像データと共に受信された上記特性情報と、車両走行状態検出部302により検出された上述のような車両の走行状態情報とを用いることによって、カメラC、C’の位置や光軸方向が特定されるため、ステレオ画像認識を実行することができる。これにより、歩行者までの距離、歩行者の高さ、及び、歩行者の位置が特定される。
Therefore, by using the characteristic information received together with the roadside image data and the vehicle traveling state information detected by the vehicle traveling
また、図5には、時刻t0における車両側カメラC’も図示してある。図から明らかなように、障害物が歩行者のような移動体である場合、2つのカメラの撮像時刻が異なれば、対象点Xが一致せず、正確なステレオ画像認識は実行されない。そこで、認識処理の際には同時刻に撮像された画像を用いることが重要である。 FIG. 5 also shows the vehicle-side camera C ′ at time t0. As is apparent from the figure, when the obstacle is a moving body such as a pedestrian, if the imaging times of the two cameras are different, the target point X does not match and accurate stereo image recognition is not executed. Therefore, it is important to use an image captured at the same time in the recognition process.
図4の説明に戻る。このようにして路側画像データと車両側画像データとに基づく統合認識処理が完了すると、本実施例では、任意的に、認識結果を路側設備200へ送信し、情報を共有する(S407)。また、このとき、障害物認識結果に基づいて車両がどのような対応(停車、減速、操舵、回避不可能、など)をとったかについても路側に伝達される。このS407における路側への認識結果の伝達は必須ではないが、行われることが好ましい。
Returning to the description of FIG. When the integrated recognition process based on the road-side image data and the vehicle-side image data is completed in this way, in this embodiment, the recognition result is arbitrarily transmitted to the road-
認識結果及び車両の対応について伝達を受けた路側設備200は、例えば、警報部204が、これらの情報に基づいて例えば交差点に進入しようとしている歩行者などへ例えば警報音を鳴らして注意喚起したり、或いは、信号機の切替制御を行う信号機制御部205が、これらの情報に基づいて例えば交差点に進入しようとしている歩行者に対する信号を直ちに赤に切り替えるなどの信号機切替制御を行ったりする。警報部204及び信号機制御部205は、路側設備200の必須構成要素ではないが、このように車両側から高精度な認識結果が知らされるのであれば、インフラ側で有益に利用するために好ましい構成要素である。なお、信号機を切り替える場合であっても、信号機を制御する装置が路側設備200内に備えられている必要は必ずしもなく、別体の信号機制御装置へ制御信号を送信するだけの構成であってもよい。
The
他方、車両側において、当然、障害物認識結果に基づいて、運転者に警報音で知らせるなどの注意喚起が行われるべきである(S409)。 On the other hand, on the vehicle side, of course, alerting such as notifying the driver with an alarm sound should be performed based on the obstacle recognition result (S409).
このように、本実施例によれば、路側においては画像の撮像だけが行われ、認識処理は車両側でのみ行われるシステム構成となっているため、インフラ側設備を簡易な構成で且つ安価なものとすることができる。これに伴って、インフラ整備に掛かる費用及び時間も大幅に削減される。 As described above, according to the present embodiment, since only the image is picked up on the road side and the recognition process is performed only on the vehicle side, the infrastructure side equipment has a simple structure and is inexpensive. Can be. Along with this, the cost and time for infrastructure development are also greatly reduced.
また、本実施例によれば、路側で撮像された画像と車両側で異なる角度から撮像された画像とから障害物が検出・認識されるため、障害物の検出・認識精度を向上させることができる。また、認識処理の実行が車両側における1回で済むことから、認識速度も向上する。 Further, according to the present embodiment, since the obstacle is detected and recognized from the image taken on the road side and the image taken from a different angle on the vehicle side, the obstacle detection and recognition accuracy can be improved. it can. Further, since the recognition process needs to be executed only once on the vehicle side, the recognition speed is also improved.
以上、本発明の一実施例について説明したが、当業者には明らかなように、本発明の実施態様は上記一実施例に限定されるものではない。 Although one embodiment of the present invention has been described above, as will be apparent to those skilled in the art, embodiments of the present invention are not limited to the above one embodiment.
例えば、当業者には既知のように、ステレオ画像認識の実行に必要なカメラ数は最低2台であって、3台以上であっても当然よい。むしろ、多くのカメラを利用した方がより精度の高い認識処理が実現される。 For example, as known to those skilled in the art, the number of cameras required for performing stereo image recognition is at least two, and may be three or more. Rather, more accurate recognition processing is realized by using many cameras.
したがって、上記一実施例は、路側に1台、車両側に1台、計2台のカメラにより成立する態様であったが、路側及び/又は車両側により多くのカメラが設けられても当然本発明は成立する。 Therefore, in the above embodiment, one camera is provided on the road side and one camera is provided on the vehicle side, but a total of two cameras are provided. The invention is valid.
すなわち、車載カメラのみでステレオ画像認識を実行できるようにカメラを2台搭載した車両に本発明を適用する場合、2台の車載カメラのうち一方のみを用いるようにしてもよく、或いは、双方のカメラを用いて路側の1台も含め計3台のカメラにより認識処理を行うようにしてもよい。 That is, when the present invention is applied to a vehicle equipped with two cameras so that stereo image recognition can be performed only by the in-vehicle camera, only one of the two in-vehicle cameras may be used, or both The recognition process may be performed by a total of three cameras including one on the road side using cameras.
また、上記一実施例の説明においては、路上の障害物として歩行者を例に挙げたが、当業者には明らかなように、本発明により検出・認識可能な障害物は歩行者に限られず、路上の落下物や駐車車両などの静止物であってもよく、先行車両や自転車など歩行者以外の移動体であってもよい。 In the description of the above embodiment, a pedestrian is taken as an example of an obstacle on the road. However, as will be apparent to those skilled in the art, an obstacle that can be detected and recognized by the present invention is not limited to a pedestrian. It may be a stationary object such as a fallen object or a parked vehicle on the road, or may be a moving body other than a pedestrian such as a preceding vehicle or a bicycle.
本発明は、路車間通信を利用した障害物認識システムに利用できる。車両の外観、重量、サイズ、走行性能等は問わない。 The present invention can be used in an obstacle recognition system using road-to-vehicle communication. The appearance, weight, size, running performance, etc. of the vehicle are not limited.
101 路側カメラ
102 車両
103 歩行者
200 路側設備
201 送受信部
202 路側カメラ
203 記憶部
204 警報部
205 信号機制御部
300 車載装置
301 送受信部
302 車両走行状態検出部
303 補正部
304 車両側カメラ
305 記憶部
306 認識処理部
DESCRIPTION OF
Claims (4)
路側に設置され、道路を撮像する路側撮像手段と、
路側に設置され、前記路側撮像手段により撮像された路側画像データを、該路側画像データが撮像された時刻情報、及び前記路側画像データの補正変換に必要な情報と共に車両に送信する路側送信手段と、
車両に搭載され、道路を撮像する車両側撮像手段と、
車両に搭載され、前記車両側撮像手段により撮像された車両側画像データを撮像した時刻と関連付けて記憶保持する記憶手段と、
車両に搭載され、前記路側送信手段により送信された前記路側画像データを、前記時刻情報、前記補正変換に必要な情報、及び自車両の走行状態に基づいて補正する補正手段と、
前記補正手段により得られた補正路側画像データと同一時刻に撮像された車両側画像データを前記記憶手段から抽出し、抽出した車両側画像データと前記補正路側画像データとから障害物を検出・認識する認識手段と、を有することを特徴とする障害物認識システム。 An obstacle recognition system that recognizes obstacles on the road using road-to-vehicle communication,
Roadside imaging means installed on the roadside for imaging the road;
Roadside transmission means installed on the roadside and transmitting roadside image data captured by the roadside imaging means to the vehicle together with time information when the roadside image data was captured and information necessary for correction conversion of the roadside image data; ,
Vehicle-side imaging means mounted on the vehicle and imaging the road;
A storage unit mounted on a vehicle and stored in association with a time when the vehicle-side image data captured by the vehicle-side imaging unit is captured;
Correction means mounted on a vehicle and correcting the roadside image data transmitted by the roadside transmission means based on the time information, information necessary for the correction conversion, and the traveling state of the host vehicle,
Vehicle-side image data captured at the same time as the corrected road-side image data obtained by the correction means is extracted from the storage means, and obstacles are detected and recognized from the extracted vehicle-side image data and the corrected road-side image data. An obstacle recognizing system comprising:
前記路側画像データの補正変換に必要な情報は、前記路側撮像手段の絶対位置の情報を含む、障害物認識システム。 The obstacle recognition system according to claim 1,
The obstacle recognition system in which the information necessary for correction conversion of the roadside image data includes information on the absolute position of the roadside imaging means.
路側に設置され、歩行者への注意喚起を行う警報手段と、
車両に搭載され、前記認識手段による認識結果と該認識結果に対する車両の対応とを前記警報手段に送信する車両側送信手段とを更に有し、
前記警報手段は、前記認識手段による認識結果と該認識結果に対する車両の対応とに基づいて歩行者への注意喚起を行う、ことを特徴とする障害物認識システム。 The obstacle recognition system according to claim 1 or 2,
Alarm means installed on the roadside to alert pedestrians;
A vehicle-side transmission unit that is mounted on a vehicle and transmits a recognition result by the recognition unit and a vehicle response to the recognition result to the alarm unit;
The obstacle recognition system characterized in that the warning means alerts a pedestrian based on a recognition result by the recognition means and a vehicle response to the recognition result.
路側に設置され、信号機の切替制御を行う信号制御手段と、
車両に搭載され、前記認識手段による認識結果と該認識結果に対する車両の対応とを前記信号制御手段に送信する車両側送信手段とを更に有し、
前記信号制御手段は、前記認識手段による認識結果と該認識結果に対する車両の対応とに基づいて信号機の切替制御を行う、ことを特徴とする障害物認識システム。 The obstacle recognition system according to claim 1 or 2,
A signal control means that is installed on the roadside and performs switching control of the traffic light; and
Vehicle-side transmission means mounted on the vehicle, for transmitting the recognition result by the recognition means and the correspondence of the vehicle to the recognition result to the signal control means;
The obstacle control system according to claim 1, wherein the signal control means performs switching control of traffic lights based on a recognition result by the recognition means and a vehicle response to the recognition result.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005051251A JP4848644B2 (en) | 2005-02-25 | 2005-02-25 | Obstacle recognition system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005051251A JP4848644B2 (en) | 2005-02-25 | 2005-02-25 | Obstacle recognition system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006236094A JP2006236094A (en) | 2006-09-07 |
JP4848644B2 true JP4848644B2 (en) | 2011-12-28 |
Family
ID=37043662
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005051251A Expired - Fee Related JP4848644B2 (en) | 2005-02-25 | 2005-02-25 | Obstacle recognition system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4848644B2 (en) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4434224B2 (en) | 2007-03-27 | 2010-03-17 | 株式会社デンソー | In-vehicle device for driving support |
JP5093057B2 (en) * | 2008-11-03 | 2012-12-05 | 株式会社デンソー | Intersection driving support system, driving support system, and in-vehicle device |
KR102041964B1 (en) * | 2017-09-29 | 2019-11-07 | 엘지전자 주식회사 | Vehicle control device mounted on vehicle |
JP7382791B2 (en) | 2019-10-30 | 2023-11-17 | 株式会社日立製作所 | Abnormality determination device, vehicle support system |
JP7400708B2 (en) | 2020-12-11 | 2023-12-19 | トヨタ自動車株式会社 | Sensor evaluation system, sensor evaluation device, vehicle |
JP7444099B2 (en) | 2021-02-17 | 2024-03-06 | トヨタ自動車株式会社 | Vehicle, traffic light control method and program |
CN113687655A (en) * | 2021-08-25 | 2021-11-23 | 厦门中卡科技股份有限公司 | Patrol vehicle control method and system based on AI geomagnetism |
CN115503712B (en) * | 2022-09-22 | 2024-06-28 | 南京长江自动化研究院有限公司 | Intelligent network-connected automobile predictive control method and system considering road running conditions |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0773400A (en) * | 1993-09-03 | 1995-03-17 | Hitachi Ltd | Road condition recognition system |
JP2000293693A (en) * | 1999-03-31 | 2000-10-20 | Toshiba Corp | Obstacle detecting method and device |
JP2002092797A (en) * | 2000-09-18 | 2002-03-29 | Nippon Signal Co Ltd:The | Traffic information providing system |
JP4048292B2 (en) * | 2002-06-14 | 2008-02-20 | 松下電器産業株式会社 | Traffic information display system, captured image transmission device, in-vehicle information display device and storage medium |
DE10244148A1 (en) * | 2002-09-23 | 2004-04-08 | Daimlerchrysler Ag | Method and device for video-based observation and measurement of the lateral surroundings of a vehicle |
JP2004287962A (en) * | 2003-03-24 | 2004-10-14 | Nec Fielding Ltd | Traffic control system |
-
2005
- 2005-02-25 JP JP2005051251A patent/JP4848644B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2006236094A (en) | 2006-09-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10956757B2 (en) | Image processing device, outside recognition device | |
US8461976B2 (en) | On-vehicle device and recognition support system | |
KR100936558B1 (en) | Perimeter monitoring apparatus and image display method for vehicle | |
EP1961613B1 (en) | Driving support method and driving support device | |
JP4848644B2 (en) | Obstacle recognition system | |
US20100030474A1 (en) | Driving support apparatus for vehicle | |
JP6137081B2 (en) | Car equipment | |
JP6307895B2 (en) | Vehicle periphery monitoring device | |
CN110574357B (en) | Imaging control apparatus, method for controlling imaging control apparatus, and moving body | |
JP7163748B2 (en) | Vehicle display control device | |
CN109001743B (en) | Tramcar anti-collision system | |
JP6129268B2 (en) | Vehicle driving support system and driving support method | |
JP4622544B2 (en) | Vehicle driving support device | |
JP2007164671A (en) | Device for deciding approaching obstacle and system for warning collision with obstacle | |
JP3666332B2 (en) | Pedestrian detection device | |
JP2000090393A (en) | On-vehicle-type travel route environment recognition device | |
JP2008097279A (en) | Vehicle exterior information display device | |
JP4968369B2 (en) | In-vehicle device and vehicle recognition method | |
JP2017126213A (en) | Intersection state check system, imaging device, on-vehicle device, intersection state check program and intersection state check method | |
JP4687381B2 (en) | Vehicle recognition method and in-vehicle device | |
JP5040851B2 (en) | Wakimi driving judgment device | |
JP5723561B2 (en) | Driving assistance device | |
JP4900377B2 (en) | Image processing device | |
JP7145227B2 (en) | sign recognition device | |
JP7554699B2 (en) | IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, VEHICLE CONTROL APPARATUS, AND PROGRAM |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071030 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100408 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100427 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100611 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100928 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110322 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110408 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110920 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111003 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141028 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |