JP4656408B2 - Ambient monitoring device for vehicles - Google Patents
Ambient monitoring device for vehicles Download PDFInfo
- Publication number
- JP4656408B2 JP4656408B2 JP2005228458A JP2005228458A JP4656408B2 JP 4656408 B2 JP4656408 B2 JP 4656408B2 JP 2005228458 A JP2005228458 A JP 2005228458A JP 2005228458 A JP2005228458 A JP 2005228458A JP 4656408 B2 JP4656408 B2 JP 4656408B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- dangerous object
- dangerous
- object information
- surrounding monitoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Navigation (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Description
本発明は、車両に搭載される車載カメラやセンサ等を用いて自車両の周囲を監視する車両用監視装置に関するものである。 The present invention relates to a vehicle monitoring apparatus that monitors the surroundings of a host vehicle using an in-vehicle camera or sensor mounted on the vehicle.
車載カメラを用いて、運転者にとって死角となる部分を撮影して、車内のディスプレイに表示する車載カメラ装置が知られている。この車載カメラ装置によれば、運転者は、ディスプレイに表示された映像を参照しながら、車両を所望の方向へ動かすことができる。 2. Description of the Related Art There is known an in-vehicle camera device that uses an in-vehicle camera to photograph a blind spot for a driver and display it on a display in the vehicle. According to this in-vehicle camera device, the driver can move the vehicle in a desired direction while referring to the video displayed on the display.
例えば、自動車などの車両の後部に、ビデオカメラを取付けて、そのビデオカメラが撮影した映像を、車内の所定位置に配置されたモニタに表示させるようにした、いわゆるバックモニタと称されるものが実用化されている。このバックモニタは、主として車両を後退させる際に、運転席から死角となる後方がモニタで確認できるようにして、バック時の安全性を向上させるために使用される。この場合のモニタとしては、いわゆるカーナビゲーション装置として、走行中の現在位置近傍の道路地図などを表示させるためのモニタが使用されることが多い。また、バックモニタ専用の表示装置が運転席の近傍に配置される場合もある。 For example, what is called a back monitor in which a video camera is attached to the rear part of a vehicle such as an automobile and an image captured by the video camera is displayed on a monitor arranged at a predetermined position in the vehicle. It has been put into practical use. This back monitor is mainly used to improve the safety at the time of back by allowing the rear of the blind spot from the driver's seat to be confirmed on the monitor when the vehicle is moved backward. As a monitor in this case, as a so-called car navigation device, a monitor for displaying a road map in the vicinity of the current position during traveling is often used. In addition, a display device dedicated to the back monitor may be arranged near the driver's seat.
また、撮影画像に基づいて検出される複数のエッジのうち、非立体障害物のエッジを除外して立体障害物のエッジを抽出し、抽出された立体障害物のエッジと車両との位置関係に基づいて立体障害物と車両との接触の可能性を乗員に報知するので、車両周囲に歩行者や対向車が存在する場合でも、運転者は安心して路肩に幅寄せをすることができる車両用周囲監視装置が考案されている(特許文献1参照)。 Further, out of a plurality of edges detected based on the photographed image, the edge of the three-dimensional obstacle is extracted by excluding the edge of the non-stereoscopic obstacle, and the positional relationship between the extracted three-dimensional obstacle edge and the vehicle is determined. Based on this, the driver is notified of the possibility of contact between the three-dimensional obstacle and the vehicle, so that even if there are pedestrians or oncoming vehicles around the vehicle, the driver can relieve the shoulder to the road with peace of mind. A surrounding monitoring device has been devised (see Patent Document 1).
また、車両の後方を撮影する少なくとも1つの後方撮影用ビデオカメラと、車両の後方を運転者が監視するインサイドミラーと、このインサイドミラーの近傍に取付けられてビデオカメラが撮影した映像が鏡像として表示される表示装置とで構成され、運転者はインサイドミラーを見るときに、このインサイドミラーの近傍に取付けられた表示装置に表示される後方の映像を見ることができる車両用監視装置が考案されている(特許文献2参照)。 In addition, at least one rear-view video camera that captures the back of the vehicle, an inside mirror that the driver monitors the back of the vehicle, and a video that is mounted near the inside mirror and is captured by the video camera is displayed as a mirror image. A monitoring device for a vehicle is devised, which allows a driver to see a rear image displayed on a display device mounted in the vicinity of the inside mirror when the driver looks at the inside mirror. (See Patent Document 2).
特許文献1の例では、道路と平行なエッジを検出する手段と非立体障害物のエッジを除外して立体障害物のエッジを抽出する抽出手段が必要でシステムが複雑になり、装置のコスト上昇要因となる。また、側溝のような道路に対して突起していない立体障害物に対しては接触しないと判定されてしまう。また、障害物に対する危険性の程度は報知されず、立体障害物が複数ある場合の報知方法についても言及されていない。
In the example of
特許文献2の例では、後方の広い範囲の監視が可能になるが、本当に注意すべき地点を表示しないため、ユーザはかえって、表示を見ることに注意がいき、運転の障害となることが予想される危険物体を見逃すこともあり得る。
In the example of
上記問題を背景として、本発明の課題は、簡易な構成で車両の周囲の危険物体を検出し、その危険の程度をユーザに伝えることのできる車両用周囲監視装置を提供することにある。 With the above problem as a background, an object of the present invention is to provide a vehicle surrounding monitoring device that can detect a dangerous object around a vehicle with a simple configuration and can inform the user of the degree of the danger.
上記課題を解決するための車両用周囲監視装置は、車両の位置を検出する車両位置検出手段と、車両に搭載された撮影手段で撮影された車両の周辺の画像によって、および/または、車両から発射された音波あるいは電磁波によって、車両の周辺に存在する物体およびその位置を検出する物体位置検出手段と、物体位置検出手段により検出された物体が、予め定められた判定基準を満たすときに、物体が車両の走行に危険を及ぼす危険物体であると判定する危険物体判定手段と、判定された危険物体の位置を車両の位置とともに危険物体情報として記録する危険物体情報記録手段と、車両の位置が危険物体情報記録手段に記録された危険物体情報に含まれる危険物体の所定の距離内に接近した場合に、当該危険物体情報を報知する報知手段と、を有することを特徴とする。 A vehicle surrounding monitoring device for solving the above-described problem is based on a vehicle position detection unit that detects the position of the vehicle , and an image of the surroundings of the vehicle that is captured by an imaging unit mounted on the vehicle, and / or from the vehicle. When an object located in the vicinity of the vehicle and an object position detecting means for detecting the position of the object by the emitted sound wave or electromagnetic wave and the object detected by the object position detecting means satisfy a predetermined criterion, the object a dangerous object judging unit but to determine that a dangerous object threatening the traveling of the vehicle, the risk object information recording means for recording the position of the determined danger objects as hazardous object information together with the position of the vehicle, the position of the vehicle An informing means for informing the dangerous object information when approaching within a predetermined distance of the dangerous object included in the dangerous object information recorded in the dangerous object information recording means; Characterized in that it has a.
上記構成によって、例えばCCDカメラ等の撮影手段で車両の周囲を撮影し、その撮影された画像に含まれる物体を車両の現在位置に基づいて危険物体であるかを判定することができる。また、従来技術のように立体障害物のエッジを抽出する必要もないので、低コストかつ簡易な構成で本発明の車両用周囲監視装置を実現することが可能となる。また、側溝のような道路に対して突起していない立体障害物も検出可能である。 With the above configuration, the surroundings of the vehicle can be photographed by photographing means such as a CCD camera, and it can be determined whether the object included in the photographed image is a dangerous object based on the current position of the vehicle. Further, since it is not necessary to extract the edge of a three-dimensional obstacle as in the prior art, it is possible to realize the vehicle surrounding monitoring device of the present invention with a low cost and simple configuration. It is also possible to detect a three-dimensional obstacle that does not protrude from the road, such as a gutter.
上記構成によって、例えば電磁波あるいは超音波等で車両の周囲をセンシングし、その反射波の状態により検出された物体を車両の現在位置に基づいて危険物体であるかを判定することができる。また、従来技術のように立体障害物のエッジを抽出する必要もないので、低コストかつ簡易な構成で本発明の車両用周囲監視装置を実現することが可能となる。また、側溝のような道路に対して突起していない立体障害物も検出可能である。 With the above configuration, the surroundings of the vehicle can be sensed with, for example, electromagnetic waves or ultrasonic waves, and it can be determined whether the object detected based on the state of the reflected wave is a dangerous object based on the current position of the vehicle. Further, since it is not necessary to extract the edge of a three-dimensional obstacle as in the prior art, it is possible to realize the vehicle surrounding monitoring device of the present invention with a low cost and simple configuration. It is also possible to detect a three-dimensional obstacle that does not protrude from the road, such as a gutter.
上記構成によって、例えばCCDカメラ等の撮影手段で車両の周囲を撮影し、その撮影された画像に含まれる物体、および例えば電磁波あるいは超音波等で車両の周囲をセンシングし、その反射波の状態により検出された物体を車両の現在位置に基づいて危険物体であるかを判定することができる。二つの方法で危険物体であるかどうかを判定するので、判定の精度がさらに向上する。また、従来技術のように立体障害物のエッジを抽出する必要もないので、低コストかつ簡易な構成で本発明の車両用周囲監視装置を実現することが可能となる。また、側溝のような道路に対して突起していない立体障害物も検出可能である。 With the above-described configuration, the surroundings of the vehicle are photographed by photographing means such as a CCD camera, and the surroundings of the vehicle are sensed by an object included in the photographed image and, for example, electromagnetic waves or ultrasonic waves. It is possible to determine whether the detected object is a dangerous object based on the current position of the vehicle. Since it is determined whether it is a dangerous object by two methods, the accuracy of the determination is further improved. Further, since it is not necessary to extract the edge of a three-dimensional obstacle as in the prior art, it is possible to realize the vehicle surrounding monitoring device of the present invention with a low cost and simple configuration. It is also possible to detect a three-dimensional obstacle that does not protrude from the road, such as a gutter.
また、本発明の車両用周囲監視装置は、物体の大きさを測定する測定手段を有し、判定基準は物体の大きさを含み、危険物体判定手段は危険物体であるかどうかを測定された物体の大きさを考慮して判定する構成をとることができる。 In addition, the vehicle surrounding monitoring apparatus of the present invention includes a measuring unit that measures the size of an object, the determination criterion includes the size of the object, and the dangerous object determining unit is measured whether it is a dangerous object. It is possible to adopt a configuration in which determination is performed in consideration of the size of the object.
一般的に大きな物体ほど危険物体である可能性が大きい。また、物体の大きさは撮影された画像あるいは物体からの反射波の状態により測定できる。上記構成によって、新たな測定手段を設けずに低コストで危険物体であるかどうかを判定することが可能となる。 In general, a larger object is more likely to be a dangerous object. In addition, the size of the object can be measured by the captured image or the state of the reflected wave from the object. With the above configuration, it is possible to determine whether a dangerous object is low-cost without providing a new measurement unit.
また、本発明の車両用周囲監視装置は、車両と物体との距離を測定する距離測定手段を有し、判定基準は車両と物体との距離を含み、危険物体判定手段は危険物体であるかどうかを測定された距離を考慮して判定する構成をとることができる。 In addition, the vehicle surrounding monitoring apparatus of the present invention includes a distance measuring unit that measures the distance between the vehicle and the object , the determination criterion includes a distance between the vehicle and the object, and whether the dangerous object determining unit is a dangerous object. It is possible to adopt a configuration in which whether or not is determined in consideration of the measured distance.
一般的に車両の近くに存在する物体ほど危険物体である可能性が大きい。また、車両と物体との距離は撮影された画像あるいは物体からの反射波の状態により測定できる。上記構成によって、新たな距離測定手段を設けずに低コストで危険物体であるかどうかを判定することが可能となる。 In general, an object present near the vehicle is more likely to be a dangerous object. Further, the distance between the vehicle and the object can be measured based on the captured image or the state of the reflected wave from the object. With the above configuration, it is possible to determine whether or not the object is a dangerous object at low cost without providing a new distance measuring unit.
また、本発明の車両用周囲監視装置は、物体の形状を測定する形状測定手段を有し、判定基準は物体の形状を含み、危険物体判定手段は危険物体であるかどうかを測定された物体の形状を考慮して判定する構成をとることができる。 In addition, the vehicle surrounding monitoring apparatus of the present invention includes a shape measuring unit that measures the shape of the object , the determination criterion includes the shape of the object, and the dangerous object determining unit measures whether the object is a dangerous object. It is possible to adopt a configuration in which the shape is determined in consideration of the shape.
一般的に角があったり鋭角形状を有する物体ほど危険物体である可能性が大きい。また、物体の形状は撮影された画像あるいは物体からの反射波の状態により測定できる。上記構成によって、新たな形状測定手段を設けずに低コストで危険物体であるかどうかを判定することが可能となる。 In general, an object having a corner or an acute angle shape has a higher possibility of being a dangerous object. In addition, the shape of the object can be measured by the captured image or the state of the reflected wave from the object. With the above configuration, it is possible to determine whether a dangerous object is low-cost without providing a new shape measuring unit.
また、本発明の車両用周囲監視装置における危険物体情報には、危険物体の大きさ、高さ、重心位置、および車両との相対位置のうち少なくとも一つ以上が含まれる構成をとることができる。 Further, the dangerous object information in the vehicle periphery monitoring device of the present invention can be configured to include at least one or more of the size, height, center of gravity position, and relative position of the dangerous object. .
上記構成によって、大容量の記憶媒体を要することなく危険物体情報を効率よく記録することが可能となる。 With the above configuration, it is possible to efficiently record dangerous object information without requiring a large-capacity storage medium.
また、本発明の車両用周囲監視装置は、電子地図データを記憶する地図データ記憶手段を有し、危険物体情報記録手段には危険物体情報とともに車両の位置を含む所定の範囲の周辺地図データが記憶される構成をとることができる。 The vehicle periphery monitoring device of the present invention has map data storage means for storing electronic map data, and the dangerous object information recording means includes dangerous object information and surrounding map data in a predetermined range including the position of the vehicle. The stored configuration can be taken.
上記構成によって、危険物体の位置だけではなく周辺の状況も把握することが可能となる。特に危険物体情報を表示する場合には、危険物体情報を表示してから周辺の地図を参照するという手間をかけないため、その位置関係を視覚的に短時間で把握することが可能となる。 With the above configuration, it is possible to grasp not only the position of the dangerous object but also the surrounding situation. In particular, when displaying dangerous object information, it is not necessary to refer to the surrounding map after displaying the dangerous object information, so that it is possible to visually grasp the positional relationship in a short time.
また、本発明の車両用周囲監視装置における危険物体情報記録手段は、危険物体が検出された車両の位置に対応した危険物体情報が既に記録されている場合、その危険物体情報と比較して比較結果が一致しない場合はその内容を更新する構成をとることができる。 Further, the dangerous object information recording means in the vehicle periphery monitoring device of the present invention is compared with the dangerous object information when dangerous object information corresponding to the position of the vehicle where the dangerous object is detected is already recorded. If the results do not match, the content can be updated.
上記構成によって、常に最新の危険物体情報を少ない記憶領域で効率よく記録することが可能となる。 With the above configuration, the latest dangerous object information can always be efficiently recorded in a small storage area.
また、本発明の車両用周囲監視装置は、危険物体情報記録手段に、検出された車両の位置に対応した危険物体情報が記録されているかどうかを検索する危険物体情報検索手段を有する構成をとることができる。 In addition, the vehicle surroundings monitoring device of the present invention has a configuration having dangerous object information search means for searching whether or not dangerous object information corresponding to the detected vehicle position is recorded in the dangerous object information recording means. be able to.
上記構成によって、単に記録するだけではなく危険物体情報記録手段に記録されている危険物体情報を効率よく活用することが可能となる。 With the above configuration, it is possible to efficiently use the dangerous object information recorded in the dangerous object information recording unit, not just recording.
また、本発明の車両用周囲監視装置は、撮影された画像上に当該危険物体を識別可能な表示意匠で重畳して表示する構成をとることができる。 In addition, the vehicle periphery monitoring device of the present invention can be configured to superimpose and display the dangerous object on the captured image with a display design that can be identified.
上記構成によって、車両が走行中に適切なタイミングで危険物体情報を表示して、ユーザに注意を促すことが可能となる。 With the above configuration, it is possible to display the dangerous object information at an appropriate timing while the vehicle is traveling, and to call the user's attention.
また、本発明の車両用周囲監視装置における表示手段は、危険物体の形状を撮影手段の撮影範囲に適応するように変形して表示可能であり、変形された危険物体を撮影手段により撮影された画像に重畳して表示する構成をとることができる。 Further, the display means in the vehicle surrounding monitoring apparatus of the present invention can display the deformed dangerous object so that the shape of the dangerous object is adapted to the photographing range of the photographing means, and the deformed dangerous object is photographed by the photographing means. A configuration can be adopted in which the image is displayed superimposed on the image.
上記構成によって、撮影手段の撮影範囲すなわち車両の向きによって危険物体の形状を正確に表示することが可能となり、ユーザは危険物体に対して適切な対応をとることができる。 With the above configuration, it becomes possible to accurately display the shape of the dangerous object depending on the shooting range of the imaging means, that is, the direction of the vehicle, and the user can take an appropriate response to the dangerous object.
また、本発明の車両用周囲監視装置における表示手段は、検索された危険物体が複数ある場合、危険物体毎に表示意匠を変えて表示する構成をとることができる。 Moreover, the display means in the vehicle periphery monitoring device of the present invention can take a configuration in which when there are a plurality of searched dangerous objects, the display design is changed for each dangerous object.
上記構成によって、ユーザは複数の危険物体があることを視覚的に素早く認識可能となる。 With the above configuration, the user can visually quickly recognize that there are a plurality of dangerous objects.
また、本発明の車両用周囲監視装置における表示手段は、検索された危険物体が複数ある場合、危険物体毎に表示タイミングを変えて表示する構成をとることができる。 Moreover, the display means in the vehicle surroundings monitoring apparatus of the present invention can be configured to display by changing the display timing for each dangerous object when there are a plurality of searched dangerous objects.
上記構成によって、例えば車両との距離の近い順、危険度の高い順のような、ユーザが対応しなければならない優先度の高い順に表示すれば、ユーザはどの危険物体から対応すればよいか戸惑うことはなくなる。 With the above-described configuration, for example, when displaying in descending order of priority that the user has to deal with, such as in order of increasing distance from the vehicle or in descending order of danger, the user is confused from which dangerous object to deal with. Things will disappear.
また、本発明の車両用周囲監視装置における表示手段は、危険物体の形状に応じて表示意匠を変えて表示する構成をとることができる。 Moreover, the display means in the vehicle periphery monitoring device of the present invention can take a configuration in which the display design is changed according to the shape of the dangerous object.
例えば縁石のような道路に対して凸状の危険物体と側溝のような道路に対して凹状の危険物体の表示意匠を変えて表示すれば、ユーザはどんな処置を取ればよいか予め決めることができ、余裕を持って対処することが可能となる。 For example, if the display design of a dangerous object convex on a road such as a curb and a concave dangerous object displayed on a road such as a gutter is changed and displayed, the user can decide in advance what kind of action should be taken. Can be dealt with with a margin.
また、本発明の車両用周囲監視装置は、車両と危険物体との距離を測定する危険物体距離測定手段を有し、表示手段は、測定された距離に応じて危険物体の表示意匠を変えて表示する構成をとることができる。 In addition, the vehicle surrounding monitoring apparatus of the present invention includes a dangerous object distance measuring unit that measures a distance between the vehicle and the dangerous object, and the display unit changes the display design of the dangerous object according to the measured distance. A configuration for displaying can be taken.
上記構成によって、ユーザは車両に近い危険物体から順次対応していけばよく、対応順序を間違えることはなくなる。 With the above configuration, the user only needs to respond sequentially from the dangerous object close to the vehicle, and the response order is not mistaken.
また、本発明の車両用周囲監視装置は、危険物体情報を車両外部の外部機器に送信する送信手段を有する構成をとることができる。 In addition, the vehicle surrounding monitoring apparatus of the present invention can be configured to have a transmission unit that transmits dangerous object information to an external device outside the vehicle.
上記構成によって、ユーザの持つ危険物体情報を外部機器を介して他のユーザに提供することが可能となる。 With the above configuration, it is possible to provide dangerous object information possessed by a user to other users via an external device.
また、本発明の車両用周囲監視装置は、危険物体情報を車両外部の外部機器から取得する取得手段を有する構成をとることができる。 In addition, the vehicle surrounding monitoring device of the present invention can have a configuration having an acquisition unit that acquires dangerous object information from an external device outside the vehicle.
上記構成によって、ユーザの走行したことのない地域の危険物体情報を取得することが可能となり、初めて走行する地域でも事前に取得した危険物体情報を基に予め危険物体への対応策や運転計画を考えておくことができる。 With the above configuration, it becomes possible to acquire dangerous object information in areas where the user has never traveled, and measures and driving plans for dangerous objects in advance based on the dangerous object information acquired in advance even in areas where the user has traveled for the first time. I can think about it.
また、本発明の車両用周囲監視装置における外部機器は、情報管理センタが所有するセンタサーバ、ユーザが所有するホームサーバ、あるいはWEBサーバである構成をとることができる。 Further, the external device in the vehicle surrounding monitoring apparatus of the present invention can be configured as a center server owned by the information management center, a home server owned by the user, or a WEB server.
一般的にサーバはデータバックアップ体制も充実していて信頼性が高く、ウィルス対策,不正アクセス対策も充実していて安全性も高い。上記構成によって、危険物体情報を複数のユーザで安全な環境下で共有することが可能となる。 In general, the server has a high data backup system and high reliability, and has high security against viruses and unauthorized access. With the above configuration, it is possible to share dangerous object information among a plurality of users in a safe environment.
また、本発明の車両用周囲監視装置は、目的地までの経路を計算する経路計算手段と、車両の現在位置が危険物体の所定の距離内に接近したかを判定する接近判定手段とを有し、危険物体検索手段は、経路の計算時に、目的地までの経路周辺の危険物体情報が記録されているかどうかを検索し、車両の位置が検索された危険物体の所定の距離内に接近した場合に、報知手段は当該危険物体情報を報知する構成をとることができる。 In addition, the vehicle surrounding monitoring apparatus of the present invention includes route calculation means for calculating a route to the destination, and an approach determination means for determining whether the current position of the vehicle is within a predetermined distance of the dangerous object. Then, the dangerous object searching means searches whether dangerous object information around the route to the destination is recorded when calculating the route, and the vehicle position approaches within a predetermined distance of the searched dangerous object. In this case, the notification means can be configured to notify the dangerous object information.
通常の経路案内では経路周辺の施設情報程度しか提供されなかったが、上記構成によって、事前に危険物体情報が表示されるため、ユーザは余裕を持って該危険物体に対応することが可能となる。 In normal route guidance, only facility information around the route was provided, but with the above configuration, dangerous object information is displayed in advance, so the user can deal with the dangerous object with a margin. .
また、本発明の車両用周囲監視装置は、車両の位置が検索された危険物体の所定の距離内に接近した場合、物体位置検出手段により検出された物体の状況が当該危険物体情報の内容と異なる場合、危険物体情報記録手段は、前記物体位置検出手段により検出された物体の状況に基づいて当該危険物体情報を更新する構成をとることができる。 Further, the vehicle surroundings monitoring device of the present invention is configured such that when the vehicle position approaches within a predetermined distance of the searched dangerous object, the state of the object detected by the object position detecting means is the content of the dangerous object information. If they are different, the dangerous object information recording means can be configured to update the dangerous object information based on the state of the object detected by the object position detecting means .
上記構成によって、道路及び周辺の状況が以前走行したときから変化して、危険物体の状況に変化が生じても、危険物体情報記録手段には常に最新の危険物体情報が記録される。そして、ユーザは最新かつ正確な危険物体情報に基づいて車両を走行させることが可能となる。 With the above configuration, the latest dangerous object information is always recorded in the dangerous object information recording means even if the situation of the dangerous object changes after the road and surrounding conditions have changed since the previous driving. The user can drive the vehicle based on the latest and accurate dangerous object information.
簡易な構成で車両の周囲の危険物体を検出し、その危険の程度をユーザに伝えることのできる車両用周囲監視装置を提供するという目的を、カメラおよびセンサにより検出された物体の位置、ならびに車両の位置に基づいて物体が車両に危険を及ぼす危険物体であるかを判定し、その結果を記録する構成により実現した。 An object of the present invention is to provide a vehicle surrounding monitoring device that can detect a dangerous object around a vehicle with a simple configuration and inform the user of the degree of the danger, and the position of the object detected by the camera and the sensor, and the vehicle Based on the position, it was determined whether the object is a dangerous object that poses a danger to the vehicle, and the result was recorded.
以下、本発明の実施の形態を、図面に示す実施例を参照しながら説明する。図1に本発明の車両用周囲監視装置の全体構成を示す。車両用周囲監視装置10は、制御部17と、その制御部17に接続される、運転者検出部11,前進/後退検出部12,操作SW(スイッチ)13,通信部14,警告音発生部15,センサ部16,記録部18,画像処理部29,CCDカメラ19〜26,前席用モニタ27,後席用モニタ28を含んで構成されている。
Hereinafter, embodiments of the present invention will be described with reference to examples shown in the drawings. FIG. 1 shows the overall configuration of a vehicle surrounding monitoring apparatus according to the present invention. The vehicle surrounding
運転者検出部11は、運転席の着座部や背もたれ部に設けられたスイッチあるいは重量センサ等により運転者が着席しているかどうかを検出するものである。運転席およびその周辺部を検出範囲とする赤外センサ、あるいは運転席およびその周辺部を撮影範囲とするCCDカメラを用いて運転者の着席を検出してもよい。
The
前進/後退検出部12は、車両1(図2参照)の前進/後退の状態を検出するもので、例えば、車両1のシフトレバーの位置を検出して、その位置に応じた信号を発生するシフトポジションセンサを用いる。
The forward /
操作SW13は、例えば前席用モニタ27あるいは後席用モニタ28と一体になったタッチパネルもしくはメカニカルなスイッチが用いられる。タッチパネルは、前席用モニタ27あるいは後席用モニタ28の画面上にガラス基盤と透明なフィルムにスペーサと呼ばれる隙間を介してX軸方向、Y軸方向に電気回路が配線され、フィルム上をユーザがタッチすると、押された部分の配線がショートして電圧値が変わるため、これを2次元座標値(X,Y)として検出する、いわゆる抵抗膜方式が広く用いられる。その他に、透明な導電性基盤のガラス面に電気信号を受ける物質を塗布し、指をガラス面に近づけると静電容量の変化を電気信号としてセンサで検知する、いわゆる静電容量方式を用いてもよい。
For example, a touch panel or a mechanical switch integrated with the front seat monitor 27 or the rear seat monitor 28 is used as the
メカニカルスイッチ,タッチパネルの他に、操作SW13としてマウスやカーソル等のポインティングデバイスを用いてもよい。また、図示しないマイクおよび音声認識ユニットを用いて種々の指示を入力することも可能である。これは、マイクから入力された音声信号を、音声認識ユニットにおいて周知の隠れマルコフモデル等の音声認識アルゴリズムにより音声を識別する音声認識技術により処理を行ない、その結果に応じた操作コマンドに変換するものである。さらに、リモコン端末を用いる構成としてもよい。
In addition to the mechanical switch and the touch panel, a pointing device such as a mouse or a cursor may be used as the
本発明の送信手段,取得手段である通信部14は公衆回線あるいはインターネットを介して外部機器との通信を行なうもので、周知の無線あるいは有線による送信回路および受信回路を含んで構成される。
The
本発明の危険物体判定手段,危険物体情報検索手段,危険物体距離測定手段,経路計算手段,接近判定手段である制御部17は通常のコンピュータとして構成されており、周知のCPU171,ROM172,RAM173,入出力回路であるI/O174およびこれらの構成を接続するバスライン175が備えられている。CPU171は、ROM172に記憶された制御プログラムおよびデータにより制御を行なう。
The
警告音発生部15は、周知の音声合成回路およびスピーカを含んで構成され、ROM172に記憶される制御プログラムの指令によって記録部18あるいはROM172に記憶されるデジタル音声データを音声合成回路においてアナログ音声に変換したものが送出される。なお、音声合成の方法には、音声波形をそのままあるいは符号化して蓄積しておき、必要に応じて繋ぎあわせる録音編集方式などがある。また、警告音発生部15として周知のオーディオ装置を接続し、制御部17からデジタル音声データあるいは発声指令をオーディオ装置へ送り、オーディオ装置が該デジタル音声データあるいは発声指令に基づいて警告音を送出するようにしてもよい。
The warning
センサ部16は、車両1の周囲の物体を検出する物体検出部161,車両1の現在位置を検出する位置検出部162,車両1の速度を検出する車速検出部163を含んで構成される。
The
本発明の物体位置検出手段,測定手段,距離測定手段,形状測定手段である物体検出部161は、非接触で物体の位置を検出するもので、超音波センサやマイクロ波レーダ等が用いられる。物体検出部161は、参照信号を外部に出力し、その参照信号が反射して戻ってくるまでの時間によりどの方向にどのような物体があるかを検出する。参照信号のスキャン方式により、物体までの距離や物体の大きさを検出することができる。図2のように、車両1には超音波センサ161a(左前方:バンパー),161b(左側方:センターピラー),161c(左後方:バンパー),161d(右後方:バンパー),161e(右側方:センターピラー),161f(右前方:バンパー)が取り付けられている。
The
本発明の車両位置検出手段である位置検出部162は、衛星からの電波に基づいて車両1の位置を検出するGPS(Global Positioning System:全地球測位システム)受信機が用いられる。精度を上げるには外部との通信を行なって位置補正を行ない正確な車両位置を計測できるD−GPS(Differential-GPS:差分補正・全地球測位システム)や、RTK−GPS(Real Time Kinematic GPS)が用いられる。
The position detection unit 162 which is a vehicle position detection unit of the present invention uses a GPS (Global Positioning System) receiver that detects the position of the
位置検出部162は、GPS受信機の他に、周知の地磁気センサ,ジャイロスコープ,距離センサを用いてもよい。これらのセンサは各々が性質の異なる誤差を持っているため、複数のセンサにより各々補完しながら使用するように構成されている。なお、精度によっては前述したうちの一部のセンサで構成してもよく、さらに、ステアリングの回転センサや各転動輪の車輪センサを用いてもよい。 The position detection unit 162 may use a known geomagnetic sensor, gyroscope, or distance sensor in addition to the GPS receiver. Since these sensors have errors of different properties, they are configured to be used while being complemented by a plurality of sensors. Depending on the accuracy, some of the sensors described above may be used, and further, a steering rotation sensor or a wheel sensor for each rolling wheel may be used.
車速検出部163は、周知のロータリエンコーダ等の回転検出部を含み、例えば車輪取り付け部付近に設置されて車輪の回転を検出してパルス信号として制御部17に送るものである。制御部17では、その車輪の回転数を車両1の速度に換算して、車両1の現在位置から所定の場所までの予想到達時間を算出したり、車両1の走行区間毎の平均車速を算出することができる。
The vehicle speed detection unit 163 includes a rotation detection unit such as a known rotary encoder, and is installed near the wheel attachment unit, for example, detects rotation of the wheel and sends it to the
本発明の危険物体情報記録手段,地図データ記憶手段である記録部18は、EEPROM(Electrically Erasable & Programmable Read Only Memory:電気的消去・プログラム可能・読出し専用メモリ)やフラッシュメモリ等の書き換え可能な半導体メモリ、あるいはハードディスク装置等によって構成され、車両用周囲監視装置10の動作に必要な情報およびデータが記録されている。また、車両用周囲監視装置10の電源がオフ状態になっても、記録内容は保持される。
The
本発明の表示手段である前席用モニタ27,後席用モニタ28は周知のカラー液晶表示器で構成され、ドット・マトリックスLCD(Liquid Crystal Display)およびLCD表示制御を行なうための図示しないドライバ回路を含んで構成されている。ドライバ回路は、例えば、画素毎にトランジスタを付けて目的の画素を確実に点灯させたり消したりすることができるアクティブマトリックス駆動方式が用いられ、制御部17から送られる表示指令および表示画面データに基づいて表示を行なう。また、表示器として有機EL(ElectroLuminescence:電界発光)表示器,プラズマ表示器を用いてもよい。
The front seat monitor 27 and the
なお、前席用モニタ27は、車両1のインストルメントパネルの中央部に取り付けられる。また、後席用モニタ28は運転席の背もたれと助手席の背もたれの間,運転席あるいは助手席の背もたれ,あるいは天井部に取り付けられる。
The front seat monitor 27 is attached to the center of the instrument panel of the
本発明の撮影手段であるCCDカメラ19〜26は周知のもので、図2のようにCCDカメラ19から順に車両1の前方(CCDカメラ19),左前方(CCDカメラ20),左側方(CCDカメラ21),左後方(CCDカメラ22),後方(CCDカメラ23),右後方(CCDカメラ24),右側方(CCDカメラ25),右前方(CCDカメラ26)を撮影し、撮影範囲は、それぞれ、a(CCDカメラ19),b(CCDカメラ20),c(CCDカメラ21),d(CCDカメラ22),e(CCDカメラ23),f(CCDカメラ24),g(CCDカメラ25),h(CCDカメラ26)となっている。
The
本発明の物体位置検出手段,測定手段,距離測定手段,形状測定手段である画像処理部29は、公知のパターン認識などの技術によって、CCDカメラ19〜26によって撮影された画像の解析を行なうための画像処理回路を含んで構成される。
The
図3のフロー図を用いて、周辺マップ作成処理について説明する。なお、本処理はROM172の制御プログラムに含まれ他の処理とともに繰り返し実行される。また、本処理を運転者検出部11により運転者の着座を検出した場合にのみ実行するようにしてもよい。まず、超音波センサ161a〜161fおよびCCDカメラ19〜26により、車両1の周囲に物体があるかを検出する(S1)。
The surrounding map creation process will be described with reference to the flowchart of FIG. This process is included in the control program of the
画像処理部29あるいは記録部18には、検出の基準となる物体の基準データが記憶されている。撮影した画像とその基準データを順次比較して、撮影した画像に含まれている内容と物体の基準データとの一致割合が所定の値を超えると、撮影した画像にその物体が含まれていることを検出できる。
The
物体が検出された場合には、超音波センサ161a〜161fの反射波の受信状態あるいはCCDカメラ19〜26による撮影画像から画像処理を行なって求めることができる物体の大きさ(幅、奥行き、高さ、輪郭等)により、検出された物体が車両1に危険を及ぼす物体であるかを判定する。すなわち、車両1の位置に対して、車体に接触する高さを持つ物体(縁石、置石、分離帯、街路樹、標識、看板)、道路上の凹み(側溝、ぬかるみ、穴)を検出し、その物体の車両1に対する危険度を判定する。
When an object is detected, the size (width, depth, height) of the object that can be obtained by performing image processing from the reception state of the reflected waves of the
危険度は以下の判定基準の少なくとも一つを用いて判定する。
(1)物体の位置:物体の位置が走行車線上の中央部に近いほど危険度が大きい。
(2)物体の高さ:物体の高さが車両1の最低地上高よりも高い位置にあるほど危険度が大きい。また、枝のように上から垂れ下がるような物体の場合は車両1の最大地上高よりも低い位置にあるほど危険度が大きい。
(3)物体の硬度:電柱や標識のように硬度が高いほど危険度が大きい。
(4)物体の大きさ:物体が大きいほど危険度が大きい。
(5)凹みの規模(大きさ,深さ):凹みの規模が大きいほど危険度が大きい。
(6)車両1との位置関係:車両1との距離が近いほど、あるいは車両1の進路上に近い位置にあるほど危険度が大きい。
The degree of risk is determined using at least one of the following criteria.
(1) Object position: The closer the object position is to the center of the travel lane, the greater the risk.
(2) Object height: The higher the object height is at a position higher than the lowest ground height of the
(3) Hardness of the object: The higher the hardness, like the utility pole or sign, the greater the degree of danger.
(4) Object size: The greater the object, the greater the risk.
(5) Depression scale (size, depth): The greater the dent scale, the greater the risk.
(6) Positional relationship with the vehicle 1: The closer the distance to the
危険と判定された物体は、その位置情報(大きさ、高さ、相対位置(センサからの位置)、重心位置:緯度経度)を車両位置情報とともに記録する。この重心位置は車両1の緯度、経度、高さの測定値を用いて以下のように計算する。
An object determined to be dangerous records its position information (size, height, relative position (position from the sensor), center of gravity position: latitude and longitude) together with vehicle position information. The position of the center of gravity is calculated as follows using measured values of the latitude, longitude, and height of the
例えばRTK−GPSで測定した位置を車両1の重心位置の緯度、経度、高さとして設定し、車幅、車長、車高をオフセット値(図5参照)として車両1の存在範囲を設定する。また超音波センサ161a〜161fの取り付け位置を予め入力しておき、超音波センサによる物体との距離計測値を計算して、危険と判定された物体の位置が計算できる。以下に、図11を用いた具体例を示す。
For example, the position measured by RTK-GPS is set as the latitude, longitude, and height of the center of gravity of the
RTK−GPS測定位置を、緯度座標を北緯NN,東経EE、高さをXXmとする。NN,EEは秒単位で、1秒は約22m、よって1/1000秒単位で2.2cmになる。また、測定誤差は数cmである。車両1の方向を北方向を0度にとり時計回りに角度が増加すると仮定する。車両1の代表点0を(0,0)、超音波センサ位置座標を(Xs,Ys)、超音波センサから測定した物体Zの位置を(r,θ)とする。角度は車両1が北向きのときの真後ろ方向が0度、右回転方向を+にとる。超音波センサが車両1の後方の2つのコーナー(図2では161c,161d)に設置されるとすると、Xs=Wr(Wr:幅方向のオフセット値)Ys=−Lr(後方の向きをマイナスにとる)となる。物体Zの位置をX,Y座標系で表すと、物体Zの位置(X,Y)は、車両1が真北を向いていると(Wr−rsinθ,−Lr−rcosθ)となる。また、車両1が真北から角度Φの方向にある場合、物体Zの座標(X',Y')は、(XcosΦ+YsinΦ,−XsinΦ+YcosΦ)となる。この値を緯度経度に変換し、RTK−GPSによる測定値との演算を行なえば、物体境界の絶対位置座標を算出できる。
RTK-GPS measurement position, latitude coordinate is north latitude NN, east longitude EE, height is XXm. NN and EE are in units of seconds, and one second is about 22 m, and thus becomes 1/1000 second in units of 2.2 cm. The measurement error is several centimeters. Assume that the direction of the
車両1の周囲に物体が検出された場合(S2:YES)、算出された絶対位置座標を危険度とともに記録部18の所定の領域に記録する(S3)。
When an object is detected around the vehicle 1 (S2: YES), the calculated absolute position coordinates are recorded in a predetermined area of the
記録部18の地図データ記録領域に記録されている地図データから、車両1の現在位置を基準とした所定の範囲のデータを読み出し、物体の位置を記録して周辺マップを作成する(S4)。このとき、物体の大きさ(幅、奥行き、高さ、輪郭等)も合わせて記録する。
A predetermined range of data based on the current position of the
そして、記録部18の周辺マップ記録領域あるいは履歴記録領域を参照して、以前に車両1の現在位置に関する周辺マップを作成して記録していないかを調べ、作成・記録を行なっていない場合には、上記で作成したものを周辺マップ記録領域に記録する。一方、以前に作成・記録を行なっている場合には、既に記録されている内容と今回作成された周辺マップの内容を比較し、内容に相違があれば今回作成された内容を追記した上で周辺マップ記録領域に記録して、周辺マップをアップデートし(S5)、その履歴を記録部18の履歴記録領域に記録する(S6)。
Then, with reference to the peripheral map recording area or the history recording area of the
図4および図5に、前席用モニタ27あるいは後席用モニタ28での表示例を示す。図4のように車両1が後退車庫入れを行なう場合、前進/後退検出部12で車両1の後退を検出して、CCDカメラ22〜24を作動させ、その画像を例えば前席用モニタ27に表示する。また、超音波センサ161c、161dも作動させる。なお、必要に応じてCCDカメラ21,25、超音波センサ161b、161eも作動させてもよい。図4(a)の例では車両1と縁石Bとの間に物体Cが存在する。CCDカメラ22〜24による撮影画像と超音波センサ161c、161dの反射波の受信状態から物体Cの位置および形状が判定され、次いで物体Cの危険度が求められ物体Cが車両1に接触する等の車両1の車庫入れの妨げになると判定された場合、図4(b)のように、前席用モニタ27で拡大表示が行なわれ、危険度に応じてメッセージも付加される。また、警告音発生部15から警告音あるいは警告メッセージが発せられる。
4 and 5 show display examples on the front seat monitor 27 or the
図5の例は、車両1を道路左側に寄せて駐車する際の前席用モニタ27の表示例である。車両1は前進しているので、CCDカメラ19,20,26と超音波センサ161a,161fが作動している。なお、必要に応じてCCDカメラ21,25、超音波センサ161b、161eも作動させてもよい。側溝Eは凹状の物体として、縁石D,Fは凸状の物体として検出される。記録部18に、例えば「道路脇にある直方体の物体:縁石」のように、物体の形状と名称を関連付けて記録しておいて、各モニタに表示してもよい。側溝は、「道路脇にあり道路に沿って連続する凹状の物体」となる。図5で、「道路脇にあり道路に沿って連続する凹状の物体」Eを検出し、これを側溝と判定した場合には、その部分を水が流れるような表示としてもよい。
The example of FIG. 5 is a display example of the front seat monitor 27 when the
また、図5の右側の表示のように、車両1を上方から見た各物体との位置関係を合わせて表示してもよい。無論、操作SW13の操作で切り換え表示できるようにしてもよい。
Further, as in the display on the right side of FIG. 5, the positional relationship with each object when the
図10のように、記録部18に記録されている周辺マップデータは、通信部14を介してユーザの自宅にあるホームサーバ5,データセンタ等にあるセンタサーバ4、あるいはインターネット上の図示しないWEBサーバと送受信可能としてもよい。例えば、図3の例では、周辺マップデータがアップデートされた場合に、アップデートされた内容が自動あるいは操作SW13の操作によりホームサーバ5あるいはセンタサーバ4に送られる。また、他のユーザの車両3はホームサーバ5あるいはセンタサーバ4に記録されている周辺マップデータをダウンロード可能である。
As shown in FIG. 10, the peripheral map data recorded in the
図12を用いてセンタサーバ4の構成を説明する。なお、ホームサーバ5あるいは図示しないWEBサーバもセンタサーバ4と同様の構成である。センタサーバ4は、CPU51,ROM52,RAM53および入出力インターフェース(I/O)54を有し、これらがバスライン55により送受信可能に接続されたコンピュータ本体50を備え、これに周辺機器として、キーボード56あるいはマウス57等の入力装置,CD−ROMドライブ58あるいはFDD59等の記録媒体読取装置,HDD(ハードディスクドライブ)60,モニタ制御部61を介して接続されるモニタ62,プリンタ63、および外部ネットワークにつながる送受信装置66等との通信を行なうネットワーク制御部64等が接続されたコンピュータシステムとして全体が構築されている。
The configuration of the center server 4 will be described with reference to FIG. The
HDD60には、オペレーティングシステムプログラム(以下、OSという)60a及びサーバプログラム60bが格納されている。サーバプログラム60bは、サーバとしての機能を実現するため、OS60a上でRAM53に確保されるサーバワークメモリ53bを作業領域とする形で作動するものである。これは、例えばCD−ROM65等にコンピュータで読み取り可能な状態で記憶され、HDD60上の所定の記憶領域にインストールされるものである。外部ネットワークからサーバプログラム60bあるいはデータをダウンロードする構成を用いてもよい。また、RAM53には、OS60aのワークメモリ53aも形成される。
The
また、HDD60には、周辺マップデータベース60cが構築されている。周辺マップデータベース60cは車両用周囲監視装置10等からネットワークを経由して送られるデータ、キーボード56あるいはマウス57等の入力装置によるデータ入力、あるいは記録媒体からのデータ入力により随時更新され、常に最新の状態となっている。
In addition, a peripheral map database 60c is constructed in the
また、HDD60には、ユーザ登録情報60dが記録されている。ユーザ登録情報60dには、ユーザIDやパスワード,車両用周囲監視装置10等の車載端末を識別するための情報である端末IDが登録されており、どのユーザがどの車載端末によってセンタサーバ4に接続を可能とするか登録をしておく。
The
車両用周囲監視装置10で周辺マップのアップデートが発生した場合、自動あるいは操作SW13の操作により通信部14,外部ネットワークを介してセンタサーバ4(あるいはホームサーバ5,WEBサーバ)に接続する。接続が確立したら記録部18に記録されているユーザID,パスワード,端末IDをセンタサーバ4に送り、センタサーバ4でユーザ登録情報60dとの照合を行なう。照合の結果、正規ユーザと判定されたら、その旨が車両用周囲監視装置10に伝えられ、車両用周囲監視装置10からセンタサーバ4にアップデート内容が送られる。センタサーバ4ではアップデート内容と周辺マップデータベース60cとを比較して内容に相違があればその差分を取り込んで記録する。
When a surrounding map update occurs in the vehicle surrounding
また、センタサーバ4等から車両用周囲監視装置10に周辺マップのデータを送ることも可能である。以下、この処理について車両用周囲監視装置10で経路計算を行なう場合を例に挙げて図6のフロー図を例に説明する。なお、本処理はROM172の制御プログラムに含まれ他の処理とともに繰り返し実行される。まず、操作SW13の操作により経路計算モードに移行し(S11)、目的地を入力する(S12)。
It is also possible to send data of the surrounding map from the center server 4 or the like to the vehicle surrounding
次いで、記録部18の記録領域を参照し、入力された目的地を含む周辺マップが記録されているかを調べる。目的地を含む周辺マップが記録されていない場合(S13:NO)は、周辺マップを用いずに経路計算を行なう(S19)。
Next, referring to the recording area of the
目的地を含む周辺マップが記録されている場合(S13:YES)は、センタサーバ4等に接続して、その更新履歴を送って周辺マップが最新のものかを問い合わせる。センタサーバ4等は、上述のユーザ認証が正常終了後に該問合せ要求を受けた場合は、周辺マップデータベース60cを参照して該周辺マップの更新履歴と送られてきた更新履歴とを比較し、周辺マップデータベース60cの内容が新しい場合(S14:YES)は、該周辺マップをダウンロード可能か調べてダウンロード可能な場合(S15:YES)には、車両用周囲監視装置10に対して該周辺マップのダウンロードを行なう(S16)。そして、車両用周囲監視装置10ではダウンロードした周辺マップを用いて経路計算を行なう(S17)。
When the surrounding map including the destination is recorded (S13: YES), the center server 4 is connected and the update history is sent to inquire whether the surrounding map is the latest. When the center server 4 or the like receives the inquiry request after the above-described user authentication is normally completed, the center server 4 compares the update history of the peripheral map with the sent update history with reference to the peripheral map database 60c. If the contents of the map database 60c are new (S14: YES), it is checked whether the surrounding map can be downloaded. If the map can be downloaded (S15: YES), the surrounding map is downloaded to the vehicle surrounding
センタサーバ4等に該周辺マップの新しいものがない場合(S14:NO)、あるいは該周辺マップをダウンロード不可能な場合(S15:NO)には、車両用周囲監視装置10に記録されている周辺マップを用いて経路計算を行なう(S18)。
If the center server 4 or the like has no new surrounding map (S14: NO), or if the surrounding map cannot be downloaded (S15: NO), the surroundings recorded in the vehicle surrounding
目的地の設定方法および経路計算方法は周知の車載用ナビゲーション装置と同じである。目的地は、ユーザが地図上の任意の地点あるいは施設検索や住所検索、電話番号、ユーザが設定した登録地などから地点を選択して所定の地点として設定する。地図データは記録部18の地図データ記録領域に記録されている。地図データは位置検出の精度向上のためのいわゆるマップマッチング用データ、を含む各種データを含み、表示用となる所定の地図画像情報を記憶すると共に、リンク情報やノード情報等を含む道路網情報を記憶する。リンク情報は、各道路を構成する所定の区間情報であって、位置座標、距離、所要時間、道幅、車線数、制限速度等から構成される。また、ノード情報は、交差点あるいは分岐路等を規定する情報であって、位置座標、右左折車線数、接続先道路リンク等から構成される。また、リンク間接続情報には、通行の可不可を示すデータなどが設定されている。
The destination setting method and route calculation method are the same as those of a well-known in-vehicle navigation device. The destination is set as a predetermined point by the user selecting a point from any point on the map or facility search, address search, telephone number, registration point set by the user, and the like. Map data is recorded in a map data recording area of the
図7を用いて、経路案内中に周辺マップをどのように使い、危険物体情報をどう活用するかについて説明する。経路案内が開始されると、位置検出部162によって車両1の現在位置を検出する(S21)。次いで、記録部18の周辺マップ記録領域を参照して現在位置が周辺マップに該当するエリアに入っているかをチェックする。現在位置が周辺マップに該当するエリアに含まれる場合(S22:YES)、周辺マップに含まれる危険物体情報を先読みする。読み出した結果、例えば案内経路から100m以内のような設定範囲内に危険物体情報がある場合(S24:YES)、自車位置の詳細測定を開始する(S25)。
With reference to FIG. 7, how to use the surrounding map during route guidance and how to use the dangerous object information will be described. When the route guidance is started, the current position of the
上記で周辺マップ該当エリアではない場合(S22:NO)や設定範囲に危険物体がない場合(S24:NO)、現在位置の検出に戻る(S21)。 When it is not an area corresponding to the surrounding map (S22: NO) or when there is no dangerous object in the set range (S24: NO), the process returns to the detection of the current position (S21).
自車位置の詳細測定が開始されると、測定された現在位置が該当する危険物体位置にあるかをチェックする。まだ、該当する危険物体位置にない場合(S26:NO)、再度、自車位置詳細測定を行なう(S25)。 When detailed measurement of the vehicle position is started, it is checked whether the measured current position is at the corresponding dangerous object position. If it is not yet at the corresponding dangerous object position (S26: NO), the vehicle position detailed measurement is performed again (S25).
測定された現在位置が該当する危険物体位置にある場合(S26:YES)、危険物体を検出する。そして、危険物体が検出された場合(S27:YES)、危険物体情報(運転支援情報)を、前席用モニタ27あるいは後席用モニタ28の表示、または警告音発生部15のメッセージ送出によってユーザに報知する(S28)。そして、車両1が当該危険物体を通過したかをチェックし、当該危険物体を通過したと判定されると(S29:YES)、CCDカメラ19〜26,超音波センサ161a〜161fにより検出された車両周辺の状況を参照し、当該危険物体の情報に変更があったかどうかをチェックする。当該危険物体の情報に変更があれば(S30:YES)、その変更内容を記録部18に記録する(S31)。また、当該危険物体の情報に変更がない場合(S30:NO)も、その旨を記録部18に記録する(S32)。
If the measured current position is at the corresponding dangerous object position (S26: YES), the dangerous object is detected. If a dangerous object is detected (S27: YES), the dangerous object information (driving support information) is displayed on the front seat monitor 27 or the rear seat monitor 28 or the
危険物体が検知されなかった場合(S27:NO)も、検知されなかったことを記録する(S33)。その場合詳細な走行経路履歴を記録し、後で危険物体情報の検知可否を判定することができる。 Even when a dangerous object is not detected (S27: NO), it is recorded that it was not detected (S33). In that case, a detailed travel route history is recorded, and it is possible to determine whether or not dangerous object information can be detected later.
図8は車両1が後退して縦列駐車を行なう場合に、危険物体との接触を注意するための表示意匠の別の例を示したものである。図8(a)は縦列駐車の様子を仮想的に前席用モニタ27あるいは後席用モニタ28に表示したものである。図8(a)のような表示を行なうかどうかはユーザが操作SW13によって切り替えが可能になっている。
FIG. 8 shows another example of a display design for paying attention to contact with a dangerous object when the
また、前席用モニタ27あるいは後席用モニタ28には図8(b)のようにタイヤHと縁石Gの関係が表示される。車両1が縁石Gに接近して縁石Gの危険度が大きくなり注意すべき距離になるとマーカーIは黄色表示となり、タイヤHが縁石Gに接触間近の場合はマーカーIは赤色表示となる。
Further, the front seat monitor 27 or the rear seat monitor 28 displays the relationship between the tire H and the curb G as shown in FIG. When the
また、図8(c),図8(d)は、車両1のボディがガードレールNに接近した場合のボディと危険物体との位置関係を表示したものである。図8(c)の状態では、車両1が縁石Gに接近して縁石Gの危険度が大きくなり注意すべき距離になっているので、マーカーJは赤色表示となるとともに、ガードレールNにこれ以上接近しない方向に誘導するために、領域Kの輝度あるいは色を見づらいものに変化させる。図8(d)のように、さらに車両1がガードレールNの方向に接近した場合は、タイヤHと縁石Gとの距離が殆どないことを示すマーカーLを表示し、領域Mの輝度あるいは色をさらに見づらいものに変化させる。
FIGS. 8C and 8D show the positional relationship between the body and the dangerous object when the body of the
また、図9は車両1が後退して縦列駐車を行なう場合に、車両1の後方を前席用モニタ27あるいは後席用モニタ28に表示したものである。後方に危険物体となる車両2が駐車している場合、図9(a)のように距離に余裕がある場合にはマーカーPは緑色に表示され、図9(b)のように車両1がさらに後退して車両2との距離が所定の値を下回る等して危険度が大きくなるとマーカーQは赤色に表示される。
FIG. 9 shows the rear seat of the
以上、本発明の実施の形態を説明したが、これらはあくまで例示にすぎず、本発明はこれらに限定されるものではなく、特許請求の範囲の趣旨を逸脱しない限りにおいて、当業者の知識に基づく種々の変更が可能である。 Although the embodiments of the present invention have been described above, these are merely examples, and the present invention is not limited to them, and the knowledge of those skilled in the art can be used without departing from the scope of the claims. Various modifications based on this are possible.
4 センタサーバ
5 ホームサーバ
10 車両用周囲監視装置
13 操作SW
14 通信部(送信手段,取得手段)
15 警告音発生部
16 センサ部
17 制御部(危険物体判定手段,危険物体情報検索手段,危険物体距離測定手段,経路計算手段,接近判定手段)
18 記録部(危険物体情報記録手段,地図データ記憶手段)
19〜26 CCDカメラ(撮影手段)
27 前席用モニタ(表示手段)
28 後席用モニタ(表示手段)
29 画像処理部(物体位置検出手段,測定手段,距離測定手段,形状測定手段)
161 物体検出部(物体位置検出手段,測定手段,距離測定手段,形状測定手段)
162 位置検出部(車両位置検出手段)
4
14 Communication unit (transmission means, acquisition means)
15 warning
18 Recording unit (dangerous object information recording means, map data storage means)
19-26 CCD camera (photographing means)
27 Front seat monitor (display)
28 Rear seat monitor (display)
29 Image processing unit ( object position detection means , measurement means, distance measurement means, shape measurement means)
161 Object detection unit ( object position detection means , measurement means, distance measurement means, shape measurement means)
162 Position detection unit (vehicle position detection means)
Claims (18)
前記車両に搭載された撮影手段で撮影された前記車両の周辺の画像によって、および/または、前記車両から発射された音波あるいは電磁波によって、前記車両の周辺に存在する物体およびその位置を検出する物体位置検出手段と、
前記物体位置検出手段により検出された前記物体が、予め定められた判定基準を満たすときに、前記物体が前記車両の走行に危険を及ぼす危険物体であると判定する危険物体判定手段と、
前記判定された危険物体の位置を前記車両の位置とともに危険物体情報として記録する危険物体情報記録手段と、
前記車両の位置が前記危険物体情報記録手段に記録された危険物体情報に含まれる危険物体の所定の距離内に接近した場合に、当該危険物体情報を報知する報知手段と、
を有することを特徴とする車両用周囲監視装置。 Vehicle position detection means for detecting the position of the vehicle;
An object present in the vicinity of the vehicle and an object for detecting the position thereof by an image around the vehicle photographed by photographing means mounted on the vehicle and / or by sound waves or electromagnetic waves emitted from the vehicle. Position detecting means;
Dangerous object determination means for determining that the object is a dangerous object that poses a danger to the traveling of the vehicle when the object detected by the object position detection means satisfies a predetermined determination criterion ;
Dangerous object information recording means for recording the determined position of the dangerous object together with the position of the vehicle as dangerous object information;
Informing means for informing the dangerous object information when the position of the vehicle approaches within a predetermined distance of the dangerous object included in the dangerous object information recorded in the dangerous object information recording means;
A vehicle surrounding monitoring device characterized by comprising:
前記表示手段は、前記測定された距離に応じて前記危険物体の表示意匠を変えて表示する請求項2ないし請求項5のいずれか1項に記載の車両用周囲監視装置。 A dangerous object distance measuring means for measuring a distance between the vehicle and the dangerous object;
The vehicle surrounding monitoring device according to any one of claims 2 to 5, wherein the display unit displays the dangerous object by changing a display design according to the measured distance .
前記判定基準は前記物体の大きさを含み、
前記危険物体判定手段は前記危険物体であるかどうかを測定された前記物体の大きさを考慮して判定する請求項1ないし請求項6のいずれか1項に記載の車両用周囲監視装置。 Measuring means for measuring the size of the object;
The criterion includes the size of the object,
The vehicle surroundings monitoring device according to any one of claims 1 to 6, wherein the dangerous object determination unit determines whether the object is the dangerous object in consideration of a size of the measured object .
前記判定基準は前記車両と前記物体との距離を含み、
前記危険物体判定手段は前記危険物体であるかどうかを測定された距離を考慮して判定する請求項1ないし請求項7のいずれか1項に記載の車両用周囲監視装置。 A distance measuring means for measuring a distance between the vehicle and the object;
The determination criterion includes a distance between the vehicle and the object,
The vehicle surroundings monitoring device according to any one of claims 1 to 7, wherein the dangerous object determination means determines whether or not the dangerous object is in consideration of a measured distance .
前記判定基準は前記物体の形状を含み、
前記危険物体判定手段は前記危険物体であるかどうかを測定された前記物体の形状を考慮して判定する請求項1ないし請求項8のいずれか1項に記載の車両用周囲監視装置。 Having a shape measuring means for measuring the shape of the object;
The criterion includes the shape of the object,
The vehicle surrounding monitoring apparatus according to any one of claims 1 to 8, wherein the dangerous object determination unit determines whether the object is the dangerous object in consideration of a shape of the measured object .
前記車両の現在位置が前記危険物体の所定の距離内に接近したかを判定する接近判定手段とを有し、
前記危険物体情報検索手段は、前記経路の計算時に、前記目的地までの経路周辺の危険物体情報が記録されているかどうかを検索し、
前記車両の位置が前記検索された危険物体の所定の距離内に接近した場合に、前記報知手段は当該危険物体情報を報知する請求項13ないし16のいずれか1項に記載の車両用周囲監視装置。 A route calculation means for calculating a route to the destination;
An approach determining means for determining whether the current position of the vehicle approaches within a predetermined distance of the dangerous object;
The dangerous object information search means searches whether dangerous object information around the route to the destination is recorded when calculating the route,
The vehicle surrounding monitoring according to any one of claims 13 to 16, wherein when the position of the vehicle approaches within a predetermined distance of the searched dangerous object, the notification means notifies the dangerous object information. apparatus.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005228458A JP4656408B2 (en) | 2005-08-05 | 2005-08-05 | Ambient monitoring device for vehicles |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005228458A JP4656408B2 (en) | 2005-08-05 | 2005-08-05 | Ambient monitoring device for vehicles |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007049219A JP2007049219A (en) | 2007-02-22 |
JP4656408B2 true JP4656408B2 (en) | 2011-03-23 |
Family
ID=37851719
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005228458A Expired - Fee Related JP4656408B2 (en) | 2005-08-05 | 2005-08-05 | Ambient monitoring device for vehicles |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4656408B2 (en) |
Families Citing this family (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008230296A (en) * | 2007-03-16 | 2008-10-02 | Mazda Motor Corp | Vehicle drive supporting system |
JP5248388B2 (en) * | 2009-03-26 | 2013-07-31 | 株式会社東芝 | Obstacle risk calculation device, method and program |
JP5518407B2 (en) * | 2009-09-10 | 2014-06-11 | 東芝アルパイン・オートモティブテクノロジー株式会社 | Obstacle detection device for vehicle |
JP2011109170A (en) * | 2009-11-12 | 2011-06-02 | Clarion Co Ltd | Vehicle surrounding display device and vehicle surrounding display method |
JP5505702B2 (en) * | 2010-02-24 | 2014-05-28 | アイシン精機株式会社 | Vehicle periphery monitoring device |
JP2012048532A (en) * | 2010-08-27 | 2012-03-08 | Denso Corp | Moving object position estimation system |
GB2494414A (en) * | 2011-09-06 | 2013-03-13 | Land Rover Uk Ltd | Terrain visualisation for vehicle using combined colour camera and time of flight (ToF) camera images for augmented display |
JP5231669B1 (en) * | 2012-03-29 | 2013-07-10 | シャープ株式会社 | Image generation apparatus, display apparatus, television receiver, electronic blackboard, digital signage, portable information terminal, display system, image generation method, method, program, and recording medium |
KR101992652B1 (en) * | 2012-03-30 | 2019-06-25 | 엘지이노텍 주식회사 | Method and apparatus for detecting vehicle through detection of license plate |
KR101362962B1 (en) * | 2012-08-06 | 2014-02-13 | (주)토마토전자 | System for recognizing and searching the car number and method therefor |
JP2014106897A (en) * | 2012-11-29 | 2014-06-09 | Toyota Motor Corp | Passage propriety determination device |
DE102014202324A1 (en) * | 2014-02-10 | 2015-08-13 | Conti Temic Microelectronic Gmbh | Method and device for safe parking of a vehicle |
EP2949536B1 (en) * | 2014-05-30 | 2016-10-05 | Honda Research Institute Europe GmbH | Method for controlling a driver assistance system |
DE112014006876T5 (en) | 2014-08-21 | 2017-05-18 | Mitsubishi Electric Corporation | Driver assistance device, driver assistance procedure and program |
DE112015007054B4 (en) | 2015-11-20 | 2019-11-28 | Mitsubishi Electric Corp. | TRAVEL SUPPORT DEVICE, TRAVEL SUPPORT SYSTEM, TRAVEL SUPPORT PROCEDURE AND TRAVEL SUPPORT PROGRAM |
JP6257868B1 (en) | 2017-02-20 | 2018-01-10 | 三菱電機株式会社 | Sensor data integration device, sensor data integration method, and sensor data integration program |
WO2018173399A1 (en) * | 2017-03-21 | 2018-09-27 | ソニー株式会社 | Information processing device, information processing method, and program |
JP7073628B2 (en) * | 2017-03-22 | 2022-05-24 | 日本電気株式会社 | Accident avoidance information image generator, accident avoidance information display system, accident avoidance information image generation method and program |
JP6919256B2 (en) * | 2017-03-22 | 2021-08-18 | 日本電気株式会社 | Bird's-eye view image generation device, bird's-eye view image display system, bird's-eye view image generation method and program |
JP7082940B2 (en) * | 2018-12-17 | 2022-06-09 | 本田技研工業株式会社 | Travel track determination processing and automatic driving device |
KR102636739B1 (en) * | 2018-12-18 | 2024-02-15 | 현대자동차주식회사 | Vehicle and control method thereof |
JP2021196874A (en) * | 2020-06-15 | 2021-12-27 | 日産自動車株式会社 | Driving support method and driving support device |
JP7481239B2 (en) * | 2020-11-24 | 2024-05-10 | 日立Astemo株式会社 | Electronic Control Unit |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06215300A (en) * | 1993-01-19 | 1994-08-05 | Mitsubishi Electric Corp | Dangerous status alarming device |
JPH11139229A (en) * | 1997-11-11 | 1999-05-25 | Mitsubishi Electric Corp | Running environment supervisory alarm device |
JP2001109999A (en) * | 1999-10-13 | 2001-04-20 | Fuji Heavy Ind Ltd | Driving support device for vehicle |
JP2002025000A (en) * | 2000-07-11 | 2002-01-25 | Mazda Motor Corp | Control device for vehicle |
JP2002178864A (en) * | 2000-12-12 | 2002-06-26 | Japan Science & Technology Corp | Control device for electric automobile |
JP2003081039A (en) * | 2001-09-12 | 2003-03-19 | Toyota Central Res & Dev Lab Inc | Environment risk arithmetic unit |
JP2003182474A (en) * | 2001-12-25 | 2003-07-03 | Denso Corp | On-vehicle network system and program |
-
2005
- 2005-08-05 JP JP2005228458A patent/JP4656408B2/en not_active Expired - Fee Related
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06215300A (en) * | 1993-01-19 | 1994-08-05 | Mitsubishi Electric Corp | Dangerous status alarming device |
JPH11139229A (en) * | 1997-11-11 | 1999-05-25 | Mitsubishi Electric Corp | Running environment supervisory alarm device |
JP2001109999A (en) * | 1999-10-13 | 2001-04-20 | Fuji Heavy Ind Ltd | Driving support device for vehicle |
JP2002025000A (en) * | 2000-07-11 | 2002-01-25 | Mazda Motor Corp | Control device for vehicle |
JP2002178864A (en) * | 2000-12-12 | 2002-06-26 | Japan Science & Technology Corp | Control device for electric automobile |
JP2003081039A (en) * | 2001-09-12 | 2003-03-19 | Toyota Central Res & Dev Lab Inc | Environment risk arithmetic unit |
JP2003182474A (en) * | 2001-12-25 | 2003-07-03 | Denso Corp | On-vehicle network system and program |
Also Published As
Publication number | Publication date |
---|---|
JP2007049219A (en) | 2007-02-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4656408B2 (en) | Ambient monitoring device for vehicles | |
US20220067209A1 (en) | Systems and methods for anonymizing navigation information | |
CN108571974B (en) | Vehicle positioning using a camera | |
JP4683380B2 (en) | Lane change guidance device | |
JP4830954B2 (en) | Driving support device | |
JP4321821B2 (en) | Image recognition apparatus and image recognition method | |
US9140792B2 (en) | System and method for sensor based environmental model construction | |
EP2372309B1 (en) | Vehicle position detection system | |
JP4946228B2 (en) | In-vehicle pedestrian detection device | |
JP2019091412A (en) | Traveling lane identification without road curvature data | |
CN107848416A (en) | Display control unit, display device and display control method | |
CN104691447A (en) | System and method for dynamically focusing vehicle sensors | |
CN111199218A (en) | Control system for vehicle, and image analysis system | |
JP2006209511A (en) | Image recognition device and method, position specification device using it, vehicle controller, and navigation device | |
JP2006208223A (en) | Vehicle position recognition device and vehicle position recognition method | |
WO2011053335A1 (en) | System and method of detecting, populating and/or verifying condition, attributions, and/or objects along a navigable street network | |
WO2019246050A1 (en) | Method and system for vehicle location | |
JP2009211624A (en) | Driving support device, driving support method, and computer program | |
JP4797849B2 (en) | Driving support image display system and in-vehicle device | |
JP5223563B2 (en) | Warning device and warning method | |
JP4692898B2 (en) | Vehicle guidance device | |
JP2008090683A (en) | Onboard navigation device | |
JP2010176592A (en) | Driving support device for vehicle | |
JP2008262481A (en) | Vehicle control device | |
JP2008249634A (en) | Object detector |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070904 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100527 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100722 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100910 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101202 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101215 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140107 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4656408 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140107 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |