JP5513353B2 - Alarm device - Google Patents
Alarm device Download PDFInfo
- Publication number
- JP5513353B2 JP5513353B2 JP2010268597A JP2010268597A JP5513353B2 JP 5513353 B2 JP5513353 B2 JP 5513353B2 JP 2010268597 A JP2010268597 A JP 2010268597A JP 2010268597 A JP2010268597 A JP 2010268597A JP 5513353 B2 JP5513353 B2 JP 5513353B2
- Authority
- JP
- Japan
- Prior art keywords
- road sign
- sign
- output
- driver
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001514 detection method Methods 0.000 claims description 36
- 238000003384 imaging method Methods 0.000 claims 1
- 238000000034 method Methods 0.000 description 14
- 238000007689 inspection Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
Description
この発明は、自動車等の車両の警報装置に関するものである。 The present invention relates to an alarm device for a vehicle such as an automobile.
従来から、車載カメラで道路標識を撮影し、道路標識に表示された制限速度等の交通規制情報を認識して、乗員に警報する警報装置が知られている（例えば、特許文献１参照）。この警報装置は、交通規制情報に基づいて、車両が交通違反をしているか否かを判定し、例えば、制限速度を３０ｋｍ／ｈオーバーしていると判定された場合には、その情報と、科される罰則に関する情報がディスプレイに表示される。 Conventionally, an alarm device that captures a road sign with an in-vehicle camera, recognizes traffic regulation information such as a speed limit displayed on the road sign, and warns an occupant is known (for example, see Patent Document 1). This warning device determines whether or not the vehicle is in violation of traffic based on the traffic regulation information. For example, when it is determined that the speed limit is over 30 km / h, the information, Information on penalties to be imposed is displayed on the display.
しかしながら、上述した従来の警報装置は、道路標識に基づき交通違反があると判定された場合には、運転者や車両の状況に関わらず常に違反情報と罰則に関する情報とをディスプレイに表示させるため、効果的な注意喚起ができない場合があるという課題がある。 However, the conventional alarm device described above always displays violation information and information on penalties on the display when it is determined that there is a traffic violation based on the road sign, regardless of the situation of the driver or the vehicle. There is a problem that effective alerting may not be possible.
この発明は、上記事情に鑑みてなされたものであり、不要な警報を抑制して効率良く注意喚起をすることができる警報装置を提供するものである。 The present invention has been made in view of the above circumstances, and provides an alarm device that can suppress unnecessary alarms and efficiently call attention.
上記の課題を解決するために、請求項１に記載した発明は、車両前方の映像を撮影する前方撮影手段（例えば、実施形態における前方映像取得用カメラ１０）と、車両の運転者の映像を撮影する運転者撮影手段（例えば、実施形態におけるドライバ映像取得用カメラ１１）と、前記運転者撮影手段で撮影された映像に基づいて運転者の注視方向を判定する注視方向判定手段（例えば、実施形態における注視方向検出部２３）と、前記前方撮影手段で撮影された映像から道路標識を判定する道路標識判定手段（例えば、実施形態における標識・標示検出部２１）と、前記道路標識がある旨の出力をする出力手段（例えば、実施形態におけるスピーカ１２、映像提示部１３）と、車両の位置情報を取得する位置情報取得手段（例えば、実施形態における車両位置取得部１４）と、前記道路標識の位置情報、および前記道路標識と前記道路標識の規制内容に対応する違反内容が関連付けられた情報が記憶されている記憶手段（例えば、実施形態における標識・標示位置データベース１５）と、前記前方撮影手段で撮影された映像から判定された道路標識の規制内容を判定する規制判定手段（例えば、実施形態における規制判定部３１）と、前記車両の運転状態を検出する運転状態検出手段（例えば、実施形態における運転状態検出部３０）と、前記出力手段により道路標識がある旨の出力をさせる制御手段であって、前記運転状態検出手段で検出された運転状態が前記規制判定手段で判定された規制内容に違反している場合において、前記記憶手段に記憶されている前記規制内容に対応する違反内容を、前記注視方向判定手段の判定結果に基づき運転者が前記道路標識を認識しているか否かに応じて異なる態様で前記出力手段に出力させる制御手段（例えば、実施形態における標識・標示存在判定部２２、標識・標示注視判定部２４、および、情報提示判定部２５により構成される）とを有することを特徴とする。
In order to solve the above-described problem, the invention described in claim 1 is based on a front image capturing means (for example, the front image acquisition camera 10 in the embodiment) for capturing an image in front of the vehicle and an image of the driver of the vehicle. Driver photographing means for photographing (for example, driver video acquisition camera 11 in the embodiment) and gaze direction determining means for determining the driver's gaze direction based on the video photographed by the driver photographing means (for example, implementation) A gaze direction detecting unit 23) in the form, a road sign determining unit (for example, a sign / sign detection unit 21 in the embodiment) for determining a road sign from the video imaged by the front photographing unit, and the road sign Output means (for example, the speaker 12 and the video presentation unit 13 in the embodiment) and position information acquisition means (for example, in the embodiment) for acquiring vehicle position information. And takes the vehicle position acquisition unit 14), the position information of road signs, and storage means for information violation is associated are stored corresponding to the restriction content of the road signs and the road signs (e.g., in the embodiment Sign / marking position database 15), restriction determination means (for example, restriction determination unit 31 in the embodiment) for determining the restriction contents of the road sign determined from the video photographed by the forward photographing means, and driving of the vehicle Driving state detecting means for detecting the state (for example, driving state detecting unit 30 in the embodiment) and control means for causing the output means to output that there is a road sign, detected by the driving state detecting means In the case where the operating state violates the regulation content determined by the regulation determination unit, it corresponds to the regulation content stored in the storage unit. The violations, the control unit the driver based on the determination result of the gaze direction determination means to output to said output means in a different manner depending on whether or not recognizing the road signs (e.g., labeled-marking in the embodiment A presence determination unit 22, a sign / indication gaze determination unit 24, and an information presentation determination unit 25).
請求項２に記載した発明は、請求項１に記載の発明において、前記記憶手段には、前記道路標識と該道路標識の規制内容に対応する違反内容および罰則の内容が関連付けて記憶され、前記制御手段は、前記運転状態検出手段で検出された運転状態が前記規制判定手段で判定された規制内容に違反している場合において、前記注視方向判定手段の判定結果に基づき運転者が前記道路標識を認識していない場合には、違反内容を前記出力手段に出力させ、前記注視方向判定手段の判定結果に基づき運転者が前記道路標識を認識している場合には、違反内容に加えて罰則の内容を前記出力手段に出力させることを特徴とする。
The invention described in claim 2 is the invention according to claim 1, wherein the storage means stores the road sign and the contents of violations and penalties corresponding to the restriction contents of the road sign in association with each other. When the driving state detected by the driving state detection unit violates the regulation content determined by the regulation determination unit, the control unit determines whether the driver is based on the determination result of the gaze direction determination unit. If the driver recognizes the road sign based on the determination result of the gaze direction determination means, the penal provision is added in addition to the violation content. The contents of the above are output to the output means .
請求項３に記載した発明は、請求項１又は２に記載の発明において、前記記憶手段には、前記道路標識と該道路標識の規制内容に対応する違反内容および罰則の内容が関連付けて記憶され、前記制御手段は、前記運転状態検出手段で検出された運転状態が前記規制判定手段で判定された複数の規制内容に違反している場合には、前記違反した複数の規制内容のうち、最も重い罰則に対応する違反内容を前記出力手段に出力させることを特徴とする。
According to a third aspect of the present invention, in the first or second aspect of the present invention, the storage means stores the road sign and the contents of violations and penalties corresponding to the restriction contents of the road sign in association with each other. The control means, when the operation state detected by the operation state detection means violates a plurality of restriction contents determined by the restriction determination means, among the plurality of violation contents, The violation means corresponding to heavy penalties is output to the output means .
請求項４に記載した発明は、請求項１から３のうちいずれか１項に記載の発明において、前記制御手段は、前記撮影された映像から道路標識が判定されたときに、前記位置情報取得手段で取得された位置に対応する道路標識が前記記憶手段にない場合には、該位置と、該道路標識とを関連付けて前記記憶手段に記憶させることを特徴とする。
According to a fourth aspect of the present invention, in the invention according to any one of the first to third aspects, the control means obtains the position information when a road sign is determined from the captured video. If the storage means does not have a road sign corresponding to the position acquired by the means, the position and the road sign are associated with each other and stored in the storage means.
請求項５に記載した発明は、請求項１から４のうちいずれか１項に記載の発明において、前記制御手段は、前記違反内容に応じて前記出力手段に出力される違反内容の色又は明るさを変更することを特徴とする。
また、請求項６に記載した発明は、請求項１から５のうちいずれか１項に記載の発明において、前記記憶手段には、さらに車両の運行に関する情報と、その期限が関連付けて記憶され、前記制御手段は、前記期限が到来したときに、該期限に対応する車両の運行に関する情報を前記出力手段から出力させることを特徴とする。
According to a fifth aspect of the present invention, in the invention according to any one of the first to fourth aspects, the control means outputs a color or brightness of violation content output to the output means in accordance with the violation content. It is characterized by changing the height.
Moreover, the invention described in claim 6 is the invention described in any one of claims 1 to 5 , wherein the storage means further stores information related to vehicle operation and a time limit associated therewith, The control means causes the output means to output information relating to vehicle operation corresponding to the deadline when the deadline has arrived.
本発明の一態様によれば、車両前方の映像を撮像して、この映像から道路標識を判定する一方、運転者の映像を撮影して、この映像から運転者の注視方向を判定して、道路標識が判定され、運転者の注視方向が道路標識側に無いときにのみ、出力手段に道路標識がある旨の出力を行い、道路標識が判定されず、且つ位置情報取得手段で取得された位置情報の位置に対応する道路標識が記憶されている場合には、運転者の注視方向に関わらず、出力手段により道路標識がある旨の出力を行うことができる。
したがって、運転者が道路標識を視認している場合に出力手段による道路標識がある旨の出力を行うのを防止することができると共に、道路標識があるにも関わらず道路標識が視認できない状態の場合に出力手段による道路標識がある旨の出力を行うことができるため、不要な警報を抑制して効率良く注意喚起をすることができる効果がある。
According to one aspect of the present invention, an image of the front of the vehicle is captured and a road sign is determined from the image, while a driver's image is captured, and the driver's gaze direction is determined from the image, Only when the road sign is determined and the driver's gaze direction is not on the road sign side, the output means outputs that the road sign is present, the road sign is not determined, and is acquired by the position information acquisition means When a road sign corresponding to the position of the position information is stored, the output means can output that there is a road sign regardless of the driver's gaze direction.
Therefore, when the driver is viewing the road sign, it is possible to prevent the output means from outputting that there is a road sign, and the road sign is invisible even though there is a road sign. In this case, since the output means can output that there is a road sign, there is an effect that an unnecessary alarm can be suppressed and an alert can be made efficiently.
本発明の一態様によれば、撮影された車両前方の映像から道路標識が判定されたときに、車両の位置情報に対応する位置の道路標識が記憶手段に記憶されていない場合、該位置と、該道路標識とを関連付けて記憶手段に記憶させることで、例えば、道路標識が新しく設置された場合などに自動的に記憶手段に追加することができるため、商品性を向上することができる効果がある。
According to an aspect of the present invention, when a road sign at a position corresponding to the position information of the vehicle is not stored in the storage means when the road sign is determined from the captured image in front of the vehicle, the position and By storing the road sign in the storage means in association with the road sign, for example, when a road sign is newly installed, it can be automatically added to the storage means, so that the merchantability can be improved. There is.
本発明の一態様によれば、道路標識の規制内容を判定し、さらに運転状態を検出して、制御手段により運転状態が規制内容を違反していると判定された場合に、この規制内容に対応する違反内容を記憶手段より読み出して出力手段に出力させることができるため、規制内容を遵守していないときにのみ運転者に注意喚起を行うことができる効果がある。
According to one aspect of the present invention, when the regulation content of the road sign is determined, the driving state is further detected, and the control means determines that the driving state violates the regulation content, Since the corresponding violation content can be read from the storage means and output to the output means, there is an effect that the driver can be alerted only when the content of the regulation is not observed.
本発明の一態様によれば、出力手段に出力される違反内容に応じて出力される違反内容の色又は明るさを変更して、例えば、違反が重度なほど色を赤色にしたり、明るさをより明るく変更することで、運転者が違反の程度を容易に認識することができる効果がある。
According to one aspect of the present invention, the color or brightness of the violation content that is output in accordance with the violation content that is output to the output unit is changed, for example, the color is red or the brightness is increased as the violation is severe. By changing the brightness more brightly, there is an effect that the driver can easily recognize the degree of violation.
本発明の一態様によれば、記憶手段に記憶されている期限、例えば、車検などの期限が到来したと判定された場合に、当該期限に関連付けされて記憶されている車両の運行に関する情報、例えば、車検、を出力手段から出力させて乗員に報知、到来したことを車両の乗員に報知することができるため、更なる商品性の向上を図ることができる効果がある。 According to one aspect of the present invention, when it is determined that a time limit stored in the storage means, for example, a time limit for vehicle inspection or the like has arrived, information related to the operation of the vehicle stored in association with the time limit, For example, the vehicle inspection can be output from the output means to notify the occupant, and the arrival of the vehicle can be notified to the occupant of the vehicle. Therefore, there is an effect that the merchantability can be further improved.
次に、この発明の第１実施形態における警報装置について図面を参照しながら説明する。
この実施形態の警報装置１は、自動車等の車両に搭載され、図１に示すように、前方映像取得用カメラ１０、ドライバ映像取得用カメラ１１、スピーカ１２、映像提示部１３、車両位置取得部１４、標識・標示位置データベース１５、および、制御処理部２０とを備えて構成される。
Next, an alarm device according to a first embodiment of the present invention will be described with reference to the drawings.
The alarm device 1 of this embodiment is mounted on a vehicle such as an automobile, and as shown in FIG. 1, a front video acquisition camera 10, a driver video acquisition camera 11, a speaker 12, a video presentation unit 13, and a vehicle position acquisition unit. 14, a sign / marking position database 15, and a control processing unit 20.
前方映像取得用カメラ１０は、車両前方の映像より具体的には、車両が走行している走行路に設置されている道路標識ｈ１や道路標示ｈ２（図８参照）を撮影するべく、車両前方の風景を撮影するカメラであって、例えば、車室内のバックミラー３（図３参照）の近傍に配置される。この前方映像取得用カメラ１０によって撮影された映像の映像データは、制御処理部２０へ出力される。 More specifically, the front image acquisition camera 10 is used to capture a road sign h1 or a road sign h2 (see FIG. 8) installed on the traveling road where the vehicle is traveling. For example, the camera is arranged near the rearview mirror 3 (see FIG. 3) in the passenger compartment. The video data of the video shot by the front video acquisition camera 10 is output to the control processing unit 20.
ドライバ映像取得用カメラ１１は、運転者の映像より具体的には、運転席の車両前方側から見た運転者の映像を取得するためのカメラであって、ＣＣＤカメラや近赤外線ＬＥＤ等を備えて構成され、例えば、運転席前方のインスツルメントパネル４（図３参照）上や、運転席前方のメータパネル近傍などに配置される。このドライバ映像取得用カメラ１１により撮影された映像の映像データは、制御処理部２０へ出力される。 More specifically, the driver image acquisition camera 11 is a camera for acquiring a driver image viewed from the front side of the vehicle in the driver's seat, and includes a CCD camera, a near infrared LED, and the like. For example, it is arranged on the instrument panel 4 (see FIG. 3) in front of the driver's seat or in the vicinity of the meter panel in front of the driver's seat. Video data of the video shot by the driver video acquisition camera 11 is output to the control processing unit 20.
スピーカ１２および映像提示部１３は、音声および画面表示により、乗員に種々の注意喚起を行う出力手段であり、制御処理部２０により音声出力および表示出力が制御される。映像提示部１３は、液晶等のディスプレイであって、例えばカーナビゲーション装置のディスプレイや、メータパネルに設置される情報提示用のディスプレイなどが用いられる。 The speaker 12 and the video presentation unit 13 are output means for alerting the occupant in various ways by voice and screen display, and voice output and display output are controlled by the control processing unit 20. The video presentation unit 13 is a display such as a liquid crystal display. For example, a display of a car navigation device or a display for information presentation installed on a meter panel is used.
車両位置取得部（車両位置取得手段）１４は、ＧＰＳ（Global Positioning System）信号などの測位信号を受信し、この測位信号によって自車両の現在位置を算出する。また、車速センサおよびヨーレートセンサ（図示略）などから出力される自車両の速度（車速）およびヨーレートの検出信号に基づく自律航法の算出処理によって、自車両の現在位置を算出する。これら自車両の現在位置の算出結果はそれぞれ制御処理部２０へ出力される。 The vehicle position acquisition unit (vehicle position acquisition means) 14 receives a positioning signal such as a GPS (Global Positioning System) signal and calculates the current position of the host vehicle based on the positioning signal. In addition, the current position of the host vehicle is calculated by the calculation process of the autonomous navigation based on the speed (vehicle speed) and the yaw rate detection signal output from the vehicle speed sensor and the yaw rate sensor (not shown). The calculation results of the current position of the host vehicle are output to the control processing unit 20, respectively.
標識・標示位置データベース（記憶手段）１５は、交通規制に関する情報を記憶するデータベースであって、緯度および経度からなる座標点であるノードと、各ノード間を結ぶ線であるリンクと、各リンクの距離等との道路データを地図データとして備えている。また標識・標示位置データベース１５には、道路上方や道路脇等に設置される道路標識ｈ１の位置情報や、路面上に記された道路標示ｈ２の位置情報が記録されている。 The sign / marking position database (storage means) 15 is a database for storing information relating to traffic regulation, and is a node that is a coordinate point composed of latitude and longitude, a link that is a line connecting each node, and a link of each link. Road data such as distance is provided as map data. Further, in the sign / marking position database 15, position information of a road sign h1 installed above the road or on the side of the road, or position information of a road sign h2 written on the road surface is recorded.
制御処理部２０は、標識・標示検出部２１と、標識・標示存在判定部２２と、注視方向検出部２３と、標識・標示注視判定部２４と、情報提示判定部２５との各ブロックを備えて構成される。 The control processing unit 20 includes blocks of a sign / sign detection unit 21, a sign / sign presence determination unit 22, a gaze direction detection unit 23, a sign / marking gaze determination unit 24, and an information presentation determination unit 25. Configured.
標識・標示検出部２１（道路標識判定手段）は、前方映像取得用カメラ１０により撮影された映像の中から、画像処理等により道路標識ｈ１および道路標示ｈ２を検出し、検出された道路標識ｈ１および道路標示ｈ２の情報を標識・標示存在判定部２２へ出力する。 The sign / sign detection unit 21 (road sign determination means) detects the road sign h1 and the road sign h2 from the video captured by the front video acquisition camera 10 by image processing or the like, and detects the detected road sign h1. The information on the road marking h2 is output to the sign / marking presence determination unit 22.
標識・標示存在判定部２２は、道路標識ｈ１および道路標示ｈ２の存在を判定するブロックであり、標識・標示検出部２１の検出結果に基づいて道路標識ｈ１と道路標示ｈ２とのうち少なくとも何れか一方が存在しているか否かを判定する。
さらに、標識・標示存在判定部２２は、車両位置取得部１４により取得された位置情報の位置に対応する道路標識ｈ１又は道路標示ｈ２を、標識・標示位置データベース１５の記憶情報から検索して、道路標識ｈ１と道路標示ｈ２とのうち少なくとも何れか一方が存在しているか否かを判定する。標識・標示存在判定部２２による判定結果は、情報提示判定部２５へ向けて出力される。
The sign / sign presence determination unit 22 is a block for determining the presence of the road sign h1 and the road sign h2, and based on the detection result of the sign / sign detection unit 21, at least one of the road sign h1 and the road sign h2 It is determined whether one is present.
Furthermore, the sign / marking presence determination unit 22 searches the stored information in the sign / marking position database 15 for the road sign h1 or the road sign h2 corresponding to the position of the position information acquired by the vehicle position acquisition unit 14, It is determined whether or not at least one of the road sign h1 and the road sign h2 exists. The determination result by the sign / marking presence determination unit 22 is output to the information presentation determination unit 25.
標識・標示存在判定部２２は、さらに、撮影された映像に道路標識ｈ１が存在すると判定されたとき、車両位置取得部１４で取得された車両の位置情報に対応する位置に設置された道路標識ｈ１が標識・標示位置データベース１５に記憶されていない場合には、この道路標識ｈ１の位置情報を標識・標示位置データベース１５に記憶させる。同様に、標識・標示存在判定部２２は、撮影された映像に基づき道路標示ｈ２が存在すると判定されたとき、車両位置取得部１４で取得された位置情報に対応する位置に設置された道路標示ｈ２が標識・標示位置データベース１５に記憶されていない場合には、この道路標示ｈ２の位置情報を標識・標示位置データベース１５に記憶させる。 When it is determined that the road sign h1 is present in the photographed video, the sign / marking presence determination unit 22 is a road sign installed at a position corresponding to the vehicle position information acquired by the vehicle position acquisition unit 14 If h1 is not stored in the sign / marking position database 15, the position information of the road sign h1 is stored in the sign / marking position database 15. Similarly, the sign / marking presence determination unit 22, when it is determined that the road marking h <b> 2 exists based on the captured video, the road marking installed at a position corresponding to the position information acquired by the vehicle position acquisition unit 14. If h2 is not stored in the sign / marking position database 15, the position information of the road sign h2 is stored in the sign / marking position database 15.
注視方向検出部（注視方向判定手段）２３は、ドライバ映像取得用カメラ１１より入力される映像データに基づいて運転者の注視方向を判定する。ここで、注視方向検出部２３は、例えば、運転者のＣＣＤカメラ映像を基にして運転者の顔の向きを検知するとともに、近赤外線ＬＥＤ等から運転者の眼球に光を照射したときの虹彩上の反射点（眼球上輝点）の位置と、瞳孔の位置を検知し、虹彩上の反射点と瞳孔との距離を基にして運転者の視線方向を求める。なお、注視方向を、顔の向きと視線方向との両方を用いて求める一例について説明したが、何れか一方のみを用いて求めるようにしても良い。注視方向検出部２３の検出結果は、標識・標示注視判定部２４へ向けて出力される。 The gaze direction detection unit (gaze direction determination means) 23 determines the gaze direction of the driver based on the video data input from the driver video acquisition camera 11. Here, the gaze direction detection unit 23 detects, for example, the direction of the driver's face based on the driver's CCD camera image, and the iris when the driver's eyeball is irradiated with light from a near-infrared LED or the like. The position of the upper reflection point (bright point on the eyeball) and the position of the pupil are detected, and the line-of-sight direction of the driver is obtained based on the distance between the reflection point on the iris and the pupil. In addition, although the example which calculates | requires a gaze direction using both the direction of a face and a gaze direction was demonstrated, you may make it obtain | require using only any one. The detection result of the gaze direction detection unit 23 is output toward the sign / indication gaze determination unit 24.
標識・標示注視判定部２４は、標識・標示存在判定部２２により道路標識ｈ１と道路標示ｈ２とのうち少なくとも何れか一方の存在が判定された場合に、判定された道路標識ｈ１や道路標示ｈ２を運転者が注視しているか否かを、注視方向検出部２３の検出結果に基づき判定する。この判定結果は、情報提示判定部２５へ向けて出力される。 The sign / marking gaze determination unit 24 determines the determined road sign h1 or the road marking h2 when the sign / marking presence determination unit 22 determines the presence of at least one of the road sign h1 and the road sign h2. Is determined based on the detection result of the gaze direction detection unit 23. This determination result is output toward the information presentation determination unit 25.
情報提示判定部２５は、標識・標示存在判定部２２による判定結果および、標識・標示注視判定部２４による判定結果に基づいて、道路標識ｈ１が存在すると判定され、運転者の注視方向が道路標識ｈ１側に無いと判定された場合に、スピーカ１２や映像提示部１３を介して道路標識ｈ１がある旨の情報を出力させる。同様に、道路標示ｈ２が存在すると判定され、運転者の注視方向が道路標示ｈ２側に無いと判定された場合には、スピーカ１２や映像提示部１３を介して道路標示ｈ２がある旨の情報を出力させる。 The information presentation determination unit 25 determines that the road sign h1 is present based on the determination result by the sign / indication presence determination unit 22 and the determination result by the sign / indication gaze determination unit 24, and the driver's gaze direction is a road sign. When it is determined that there is no h1 side, information indicating that there is a road sign h1 is output via the speaker 12 or the video presentation unit 13. Similarly, when it is determined that the road sign h2 exists and it is determined that the driver's gaze direction is not on the road sign h2 side, information indicating that the road sign h2 is present via the speaker 12 or the video presentation unit 13 Is output.
情報提示判定部２５は、標識・標示検出部２１によって道路標識ｈ１および道路標示ｈ２が両方とも検出されず、かつ、車両位置取得部１４で取得された位置情報に関連付けられた道路標識ｈ１と道路標示ｈ２とのうち少なくとも何れか一方が標識・標示位置データベース１５に記憶されている場合には、運転者の注視方向に関わらず、スピーカ１２や映像提示部１３を介して、車両位置取得部１４で取得された位置情報に対応する道路標識ｈ１又は道路標示ｈ２がある旨の情報を出力させる。 The information presentation determination unit 25 is configured such that the road sign h1 and the road sign h2 are not detected by the sign / sign detection unit 21, and the road sign h1 and the road associated with the position information acquired by the vehicle position acquisition unit 14 When at least one of the marking h2 is stored in the sign / marking position database 15, the vehicle position acquisition unit 14 is connected via the speaker 12 or the video presentation unit 13 regardless of the driver's gaze direction. The information indicating that there is a road sign h1 or a road sign h2 corresponding to the position information acquired in step S3 is output.
第１実施形態の警報装置は上述した構成を備えており、次に、この警報装置１の制御処理について図２のフローチャートを参照しながら説明する。
まず、制御処理部２０は、前方映像取得用カメラ１０により撮影された車両前方の映像に基づき、標識・標示検出部２１で道路標識ｈ１や道路標示ｈ２の検出処理を行う（ステップＳ０１）。
次いで、ドライバ映像取得用カメラ１１により撮影された運転者の映像に基づき、注視方向検出部２３で注視方向の検出処理を行う（ステップＳ０２）。
さらに、車両位置取得部１４から車両の位置情報を取得する（ステップＳ０３）。
The alarm device of the first embodiment has the above-described configuration. Next, control processing of the alarm device 1 will be described with reference to the flowchart of FIG.
First, the control processing unit 20 performs a detection process of the road sign h1 and the road sign h2 by the sign / sign detection unit 21 based on the image ahead of the vehicle taken by the front image acquisition camera 10 (step S01).
Next, based on the driver image captured by the driver image acquisition camera 11, the gaze direction detection unit 23 performs gaze direction detection processing (step S02).
Further, vehicle position information is acquired from the vehicle position acquisition unit 14 (step S03).
その後、標識・標示検出部２１で道路標識ｈ１や道路標示ｈ２が検出されたか否かを判定する（ステップＳ０４）。道路標識ｈ１と道路標示ｈ２とのうち少なくとも何れか一方が検出されたと判定された場合は（ステップＳ０４でＹＥＳ）、検出された道路標識ｈ１、道路標示ｈ２が車両の位置情報に関連付けされて標識・標示位置データベース１５に記録されているか否かを判定する（ステップＳ０５）。この判定の結果、標識・標示位置データベース１５に記録されていないと判定された場合には（ステップＳ０５でＮＯ）、検出された道路標識ｈ１、道路標示ｈ２を標識・標示位置データベース１５に記録し（ステップＳ０９）、道路標識ｈ１、道路標示ｈ２の注視判定を行う（ステップＳ０６）。また、標識・標示位置データベース１５に記録されている場合には（ステップＳ０５でＹＥＳ）、道路標識ｈ１、道路標示ｈ２の注視判定を行う（ステップＳ０６）。 Thereafter, it is determined whether the road sign h1 or the road sign h2 is detected by the sign / sign detection unit 21 (step S04). If it is determined that at least one of the road sign h1 and the road sign h2 has been detected (YES in step S04), the detected road sign h1 and the road sign h2 are associated with the vehicle position information and the sign It is determined whether or not it is recorded in the marking position database 15 (step S05). As a result of this determination, if it is determined that the mark is not recorded in the sign / marking position database 15 (NO in step S05), the detected road sign h1 and road sign h2 are recorded in the sign / marking position database 15. (Step S09), gaze determination of the road sign h1 and the road marking h2 is performed (step S06). If it is recorded in the sign / marking position database 15 (YES in step S05), the gaze determination of the road sign h1 and road sign h2 is performed (step S06).
次いで、注視判定の結果に基づき、運転者が検出された道路標識ｈ１又は道路標示ｈ２を注視しているか否か（注視済みか否か）を判定する（ステップＳ０７）。この判定の結果、注視済みであると判定された場合には（ステップＳ０７でＹＥＳ）、上述した一連の処理を一旦終了（リターン）し、また、注視していないと判定された場合には（ステップＳ０７でＮＯ）、道路標識ｈ１又は道路標示ｈ２に関する情報をスピーカ１２や映像提示部１３を介して出力（ステップＳ０８）した後（情報提示）、上述した一連の処理を一旦終了する。 Next, based on the result of the gaze determination, it is determined whether or not the driver is gazing at the detected road sign h1 or the road sign h2 (whether or not the gaze is completed) (step S07). As a result of this determination, if it is determined that the user has been gazing (YES in step S07), the above-described series of processing is once ended (returned), and if it is determined that the user is not gazing ( In step S07, NO), information regarding the road sign h1 or the road sign h2 is output via the speaker 12 or the video presentation unit 13 (step S08) (information presentation), and then the series of processes described above is temporarily terminated.
一方、道路標識ｈ１と道路標示ｈ２とのうち少なくとも何れか一方が検出されていないと判定された場合は（ステップＳ０４でＮＯ）、車両位置取得部１４から取得された車両の位置情報に対応する道路標識ｈ１や道路標示ｈ２、すなわち車両の直ぐ前方に存在する道路標識ｈ１や道路標示ｈ２が標識・標示位置データベース１５に記録されているか否かを判定する（ステップＳ１０）。この判定の結果、標識・標示位置データベース１５に記録されていると判定された場合には（ステップＳ１０でＹＥＳ）、その対象となる道路標識ｈ１又は道路標示ｈ２に関する情報がスピーカ１２や映像提示部１３から出力済み（提示済み）か否かを判定する。この判定の結果、出力済みではないと判定された場合には（ステップＳ１１でＮＯ）、道路標識ｈ１又は道路標示ｈ２に関する情報をスピーカ１２や映像提示部１３を介して出力し（ステップＳ０８）、上述した一連の処理を一旦終了する。 On the other hand, when it is determined that at least one of the road sign h1 and the road sign h2 has not been detected (NO in step S04), it corresponds to the vehicle position information acquired from the vehicle position acquisition unit 14. It is determined whether or not the road sign h1 or the road sign h2, that is, the road sign h1 or the road sign h2 existing immediately in front of the vehicle is recorded in the sign / mark position database 15 (step S10). As a result of this determination, if it is determined that the information is recorded in the sign / marking position database 15 (YES in step S10), information regarding the target road sign h1 or road sign h2 is displayed on the speaker 12 or the video presentation unit. 13 determines whether the output has been completed (presented). As a result of this determination, if it is determined that the information has not been output (NO in step S11), information on the road sign h1 or the road sign h2 is output via the speaker 12 or the video presentation unit 13 (step S08). The series of processes described above is temporarily terminated.
また、標識・標示位置データベース１５に記録されていないと判定された場合（ステップＳ１０でＮＯ）および、道路標識ｈ１や道路標示ｈ２に関する情報が出力済みと判定された場合には（ステップＳ１１でＹＥＳ）、道路標識ｈ１又は道路標示ｈ２に関する情報をスピーカ１２や映像提示部１３を介して出力すること無しに、上述した一連の処理を一旦終了する。 Further, when it is determined that the information is not recorded in the sign / marking position database 15 (NO in step S10) and when it is determined that the information on the road sign h1 and the road sign h2 has been output (YES in step S11). ), Without outputting information related to the road sign h1 or the road sign h2 via the speaker 12 or the video presentation unit 13, the above-described series of processes is temporarily ended.
すなわち、図３に示すように、例えば、車両の走行中に前方の道路標識ｈ１（一時停止標識）が街路樹等によって覆われて運転者が視認できない状態では、標識・標示位置データベース１５に記憶されていれば、運転者の注視方向に関わらず、「この先、一時停止があります」等、道路標識ｈ１の規制内容の情報として一時停止標識がある旨の情報がスピーカ１２から出力されることとなる。そして、道路標識ｈ１が街路樹等によって覆われていない場合であっても、運転者Ｄが道路標識ｈ１を注視していないと判定された場合には、道路標識ｈ１の規制内容の情報として一時停止標識がある旨の情報がスピーカ１２から出力される。なお、図３では一時停止標識がある旨の情報がスピーカ１２から出力される場合を例示したが、同時に映像提示部１３に表示出力するようにしても良い。 That is, as shown in FIG. 3, for example, when the road sign h1 (temporary stop sign) in front of the vehicle is covered with roadside trees or the like and cannot be visually recognized by the driver while the vehicle is running, it is stored in the sign / marking position database 15. If it is, information indicating that there is a stop sign is output from the speaker 12 as information on the restriction contents of the road sign h1, such as “There will be a temporary stop”, regardless of the driver's gaze direction. Become. Even when the road sign h1 is not covered with roadside trees or the like, if it is determined that the driver D is not gazing at the road sign h1, temporary information is provided as information on the regulation contents of the road sign h1. Information indicating that there is a stop sign is output from the speaker 12. 3 illustrates the case where information indicating that there is a stop sign is output from the speaker 12, the display may be simultaneously performed on the video presentation unit 13.
したがって、上述した第１実施形態の警報装置１によれば、車両前方の映像を撮像して、この映像から道路標識ｈ１を判定する一方、運転者Ｄの映像を撮影して、この映像から運転者Ｄの注視方向を判定して、道路標識ｈ１や道路標示ｈ２が判定され、運転者Ｄの注視方向が道路標識ｈ１側に無いとき、すなわち運転者Ｄが道路標識ｈ１や道路標示ｈ２を視認していないときに、スピーカ１２や映像提示部１３により道路標識ｈ１や道路標示ｈ２がある旨の出力を行い、また、道路標識ｈ１や道路標示ｈ２が判定されず、且つ車両位置取得部１４で取得された位置情報の位置に対応する道路標識ｈ１や道路標示ｈ２が、標識・標示位置データベース１５に記憶されている場合、すなわち運転者Ｄが道路標識ｈ１や道路標示ｈ２を視認できない場合に、運転者Ｄの注視方向に関わらず、スピーカ１２や映像提示部１３により道路標識ｈ１や道路標示ｈ２がある旨の出力を行うため、運転者Ｄが道路標識ｈ１や道路標示ｈ２を視認している場合にスピーカ１２や映像提示部１３による道路標識ｈ１がある旨の出力を行うのを防止することができ、この結果、不要な警報を抑制して効率良く注意喚起を行うことができる。 Therefore, according to the alarm device 1 of the first embodiment described above, an image in front of the vehicle is imaged and the road sign h1 is determined from this image, while an image of the driver D is imaged and driving from this image is performed. The driver's D gaze direction is determined, and the road sign h1 and the road sign h2 are determined. When the driver D does not have the gaze direction on the road sign h1, the driver D visually recognizes the road sign h1 and the road sign h2. When not, the speaker 12 or the video presentation unit 13 outputs that the road sign h1 or the road sign h2 is present, the road sign h1 or the road sign h2 is not determined, and the vehicle position acquisition unit 14 When the road sign h1 and the road sign h2 corresponding to the position of the acquired position information are stored in the sign / mark position database 15, that is, the driver D cannot visually recognize the road sign h1 and the road sign h2. In addition, the driver D visually recognizes the road sign h1 and the road sign h2 because the speaker 12 and the video presentation unit 13 output the fact that the road sign h1 and the road sign h2 are present regardless of the driver D's gaze direction. In this case, it is possible to prevent the speaker 12 or the video presentation unit 13 from outputting that there is a road sign h1, and as a result, unnecessary warnings can be suppressed and efficient alerting can be performed. .
また、撮影された車両前方の映像から道路標識ｈ１や道路標示ｈ２が判定されたときに、車両の位置に対応する道路標識ｈ１が標識・標示位置データベース１５に記憶されていない場合、該位置と、該道路標識ｈ１又は道路標示ｈ２とを関連付けて標識・標示位置データベース１５に記憶させることで、例えば、道路標識ｈ１や道路標示ｈ２が新しく設置された場合などに自動的に標識・標示位置データベース１５に追加することができるため、商品性を向上することができる。 In addition, when the road sign h1 or the road sign h2 is determined from the captured image in front of the vehicle, if the road sign h1 corresponding to the position of the vehicle is not stored in the sign / marking position database 15, the position and By associating the road sign h1 or the road sign h2 with each other and storing it in the sign / sign position database 15, for example, when the road sign h1 or the road sign h2 is newly installed, the sign / mark position database is automatically set. Since it can add to 15, merchandise can be improved.
なお、上述した第１実施形態では、道路標識ｈ１が交通規制を示す規制標識である場合を一例に説明したが、規制標識に限られるものではなく、案内標識や指示標識などの他の道路標識であってもよい。 In the above-described first embodiment, the case where the road sign h1 is a restriction sign indicating traffic restriction has been described as an example. However, the road sign h1 is not limited to the restriction sign, and other road signs such as a guide sign and an instruction sign. It may be.
次に、この発明の第２実施形態の警報装置１００について図面を参照しながら説明する。この第２実施形態の警報装置１００は、上述した第１実施形態の警報装置１に運転状態検出部３０と規制判定部３１とを追加したものである。第１実施形態の警報装置と同一部分に同一符号を付して説明する。
図４に示すように、この実施形態の警報装置１００は、前方映像取得用カメラ１０、ドライバ映像取得用カメラ１１、スピーカ１２、映像提示部１３、車両位置取得部１４、標識・標示位置データベース１５、運転状態検出部３０、および、制御処理部２０とを備えて構成される。なお、前方映像取得用カメラ１０、ドライバ映像取得用カメラ１１、スピーカ１２、映像提示部１３、および、車両位置取得部１４は上述した第１実施形態と同様の構成であるため詳細説明を省略する。
Next, the alarm device 100 of 2nd Embodiment of this invention is demonstrated, referring drawings. The alarm device 100 according to the second embodiment is obtained by adding an operating state detection unit 30 and a regulation determination unit 31 to the alarm device 1 according to the first embodiment described above. The same parts as those of the alarm device of the first embodiment will be described with the same reference numerals.
As shown in FIG. 4, the alarm device 100 of this embodiment includes a front image acquisition camera 10, a driver image acquisition camera 11, a speaker 12, an image presentation unit 13, a vehicle position acquisition unit 14, a sign / marking position database 15. The operation state detection unit 30 and the control processing unit 20 are provided. Note that the forward video acquisition camera 10, the driver video acquisition camera 11, the speaker 12, the video presentation unit 13, and the vehicle position acquisition unit 14 have the same configurations as those of the first embodiment described above, and thus detailed description thereof is omitted. .
標識・標示位置データベース１５は、道路標識ｈ１の位置情報および道路標示ｈ２の位置情報に加え、道路標示ｈ２の規制内容の情報と、この規制内容の情報に対応する違反内容の情報とが関連付けて記憶され、さらに、道路標示ｈ２の規制内容の情報と、この規制内容の情報に対応する違反内容の情報とが関連付けて記憶される（図７参照）。 In the sign / marking position database 15, in addition to the position information of the road sign h1 and the position information of the road sign h2, the restriction content information of the road sign h2 and the violation content information corresponding to the restriction content information are associated with each other. Further, the information on the restriction contents of the road marking h2 and the information on the violation contents corresponding to the information on the restriction contents are stored in association with each other (see FIG. 7).
運転状態検出部３０は、車両の運転状態、より具体的には車輪速センサ（図示せず）などによる自車両の速度や、運転に関する運転者の操作状態等を検出する。この検出された運転状態の情報は、情報提示判定部２５へ出力される。
制御処理部２０は、上述した第１実施形態と同様に、標識・標示検出部２１と、標識・標示存在判定部２２と、注視方向検出部２３と、標識・標示注視判定部２４と、情報提示判定部１２５との各ブロックを備えるとともに、規制判定部３１を備えて構成される。
規制判定部３１は、前方映像取得用カメラ１０で撮影された映像から、画像処理等により、道路標識ｈ１や道路標示ｈ２の規制内容を判定する。この判定結果は情報提示判定部２５へ出力される。
The driving state detection unit 30 detects the driving state of the vehicle, more specifically, the speed of the host vehicle by a wheel speed sensor (not shown), the operation state of the driver related to driving, and the like. Information on the detected driving state is output to the information presentation determination unit 25.
As in the first embodiment described above, the control processing unit 20 includes a sign / indication detection unit 21, a sign / indication presence determination unit 22, a gaze direction detection unit 23, a sign / indication gaze determination unit 24, and information Each block includes a presentation determination unit 125 and a restriction determination unit 31.
The restriction determination unit 31 determines the restriction contents of the road sign h1 and the road sign h2 from the video captured by the front video acquisition camera 10 by image processing or the like. This determination result is output to the information presentation determination unit 25.
情報提示判定部１２５は、運転状態検出部３０により検出された運転状態が規制判定部３１で判定された規制内容に違反している場合、例えば、規制内容が５０ｋｍ／ｈ規制である場合に、自車両の車速が５５ｋｍ／ｈであるような場合には、標識・標示位置データベース１５に記録されている規制内容に対応する違反内容の情報をスピーカ１２や映像提示部１３に出力させる When the driving state detected by the driving state detection unit 30 violates the regulation content determined by the regulation determination unit 31, for example, when the regulation content is 50 km / h regulation, When the vehicle speed of the host vehicle is 55 km / h, the speaker 12 and the video presentation unit 13 are made to output information on violation contents corresponding to the restriction contents recorded in the sign / marking position database 15.
第２実施形態の警報装置は上述した構成を備えており、次に、この警報装置の制御処理について図５、図６のフローチャートを参照しながら説明する。
まず、前方映像取得用カメラ１０により車両前方の道路標識ｈ１、道路標示ｈ２を検知する（ステップＳ２０）と共に、ドライバ映像取得用カメラ１１により運転者の視線を検知し、注視方向検出部２３により運転者の注視方向を検出する（ステップＳ２１）。
次いで、検出された注視方向に基づいて、標識・標示存在判定部２２によって存在が判定された道路標識ｈ１や道路標示ｈ２を運転者が注視しているか否かを判定する（ステップＳ２２）。この判定の結果、運転者が道路標識ｈ１や道路標示ｈ２を注視していると判定された場合（ステップＳ２２でＹＥＳ）は、注視している道路標識ｈ１と道路標示ｈ２との少なくとも何れか一方の情報を一時記録する（ステップＳ２３）。そして、運転状態検出部３０により運転状態の情報を取得し（ステップＳ２４）、標識・標示位置データベース１５より検知された道路標識ｈ１と道路標示ｈ２との少なくとも何れか一方に関連付けされた規制内容の情報を取得する（ステップＳ２５）。なお、運転者が道路標識ｈ１や道路標示ｈ２を注視していないと判定された場合には（ステップＳ２２でＮＯ）、注視している道路標識ｈ１と道路標示ｈ２との少なくとも何れか一方の情報を一時記録することなしに、運転状態検出部３０により運転状態の情報を取得する処理（ステップＳ２４）に進む。
The alarm device of the second embodiment has the above-described configuration. Next, control processing of the alarm device will be described with reference to the flowcharts of FIGS.
First, the road sign h1 and road sign h2 ahead of the vehicle are detected by the front image acquisition camera 10 (step S20), the driver's line of sight is detected by the driver image acquisition camera 11, and the gaze direction detector 23 drives the vehicle. The gaze direction of the person is detected (step S21).
Next, based on the detected gaze direction, it is determined whether or not the driver is gazing at the road sign h1 or the road sign h2 determined to be present by the sign / marking presence determination unit 22 (step S22). As a result of this determination, if it is determined that the driver is watching the road sign h1 or the road sign h2 (YES in step S22), at least one of the road sign h1 being watched and the road sign h2 is being watched. Is temporarily recorded (step S23). Then, driving state information is acquired by the driving state detection unit 30 (step S24), and the restriction contents associated with at least one of the road sign h1 and the road sign h2 detected from the sign / marking position database 15 are stored. Information is acquired (step S25). If it is determined that the driver is not gazing at the road sign h1 or the road sign h2 (NO in step S22), information on at least one of the road sign h1 and the road sign h2 being watched is provided. Without temporarily recording the process, the process proceeds to the process (step S24) of acquiring information on the driving state by the driving state detecting unit 30.
次に、規制内容の情報が変化したか否か、すなわち規制内容の異なる新たな道路標識や道路標示が検出されたか否かを判定する（ステップＳ２６）。この判定の結果、規制内容の情報が変化したと判定された場合は（ステップＳ２６でＹＥＳ）、変化した規制内容の情報に関する標識・標示を注視しているか否かの判定結果をリセットして（ステップＳ２７）、規制内容の情報と運転状態の情報とを比較する規制遵守判定処理を行う（ステップＳ２８）。一方、規制内容の情報が変化していないと判定された場合は（ステップＳ２６でＮＯ）、規制内容の情報と運転状態の情報とを比較する規制遵守判定処理を行う（ステップＳ２８）。 Next, it is determined whether or not the information on the regulation content has changed, that is, whether or not a new road sign or road marking having a different regulation content has been detected (step S26). As a result of this determination, if it is determined that the information on the regulation content has changed (YES in step S26), the judgment result on whether or not the marker / indication related to the information on the changed regulation content is being watched is reset ( In step S27, a regulation compliance determination process is performed for comparing the regulation content information and the operation state information (step S28). On the other hand, when it is determined that the information on the regulation content has not changed (NO in step S26), a regulation compliance judgment process for comparing the information on the regulation content with the information on the driving state is performed (step S28).
次いで、規制遵守判定処理による比較結果に基づき、規制内容を遵守しているか否かを判定する（ステップＳ２９）。規制内容を遵守していると判定された場合には（ステップＳ２９でＹＥＳ）、この一連の処理を一旦終了し、規制内容を遵守していないと判定された場合には（ステップＳ２９でＮＯ）、違反対象となっている道路標識ｈ１、道路標示ｈ２を認識しているか否か、すなわち注視しているか否かを判定する（ステップＳ３０）。 Next, based on the comparison result by the regulation compliance judgment process, it is judged whether or not the contents of regulation are observed (step S29). If it is determined that the contents of the regulations are being observed (YES in step S29), this series of processes is temporarily terminated, and if it is determined that the contents of the regulations are not being observed (NO in step S29). Then, it is determined whether or not the road sign h1 and the road sign h2 that are the violation targets are recognized, that is, whether or not they are gazing (step S30).
この判定の結果、認識していないと判定された場合には、同一規制範囲内、すなわち違反対象の道路標識ｈ１、道路標示ｈ２により規制された対象区間内で同じ規制内容の情報をスピーカ１２や映像提示部１３により提示済みか否かを判定する（ステップＳ３１）。この判定の結果、提示済みであると判定された場合には（ステップＳ３１でＹＥＳ）、運転者が既に規制内容を遵守していないことを認識しているので、違反の内容に加えて、反則金および、減点になる点数を映像提示部１３に表示する（ステップＳ３２）と共に、スピーカ１２を介して音声により規制内容の情報を出力（提示）して（ステップＳ３３）、上述した一連の処理を一旦終了する。一方、同一規制範囲内で同じ規制内容の情報を提示済みではないと判定された場合（ステップＳ３１でＮＯ）は、スピーカ１２を介して音声により規制内容の情報を出力して、上述した一連の処理を一旦終了する。 As a result of this determination, if it is determined that it is not recognized, information on the same restriction content is included in the speaker 12 or the same restriction range, that is, in the target section restricted by the road sign h1 and the road sign h2 to be violated. It is determined whether or not the video presentation unit 13 has presented (step S31). As a result of this determination, if it is determined that it has been presented (YES in step S31), it is recognized that the driver has not complied with the regulations. The money and the points to be deducted are displayed on the video presentation unit 13 (step S32), and information on the regulation contents is output (presented) by voice via the speaker 12 (step S33), and the above-described series of processing is performed. Exit once. On the other hand, if it is determined that the same restriction content information has not been presented within the same restriction range (NO in step S31), the restriction content information is output by voice through the speaker 12, and the above-described series of information The process is temporarily terminated.
すなわち、図７、図８に示すように、道路標識ｈ１や道路標示ｈ２を運転者Ｄが視認していないときに（図７中、注視方向を実線矢印で示し、図８中、注視方向を破線矢印で示す）、道路標識ｈ１や道路標示ｈ２の規制内容が５０ｋｍ／ｈで車速が７０ｋｍ／ｈである場合は、規制内容を遵守していないと判定して、スピーカ１２より「２０ｋｍ／ｈスピードオーバー」というような音声出力を行い運転者に注意を促す。一方、図９に示すように、５０ｋｍ／ｈの規制内容の道路標識ｈ１を視認しているにもかかわらず、車速が７２ｋｍ／ｈである場合には、運転者Ｄに悪意があるため、映像提示部１３に違反の内容（速度超過）、反則金の金額、減点される点数をそれぞれ表示して、スピーカ１２より音声出力を行い運転者Ｄに対して注意喚起を行う。 That is, as shown in FIGS. 7 and 8, when the driver D is not visually recognizing the road sign h1 or the road sign h2 (in FIG. 7, the gaze direction is indicated by a solid arrow, and the gaze direction is indicated in FIG. When the restriction contents of the road sign h1 and the road sign h2 are 50 km / h and the vehicle speed is 70 km / h, it is determined that the restriction contents are not observed and “20 km / h” is output from the speaker 12. A voice output such as “speed over” is issued to alert the driver. On the other hand, as shown in FIG. 9, when the vehicle speed is 72 km / h despite the fact that the road sign h1 with the restriction content of 50 km / h is visually recognized, the driver D is malicious, The content of the violation (excess speed), the amount of the penalty money, and the points to be deducted are displayed on the presentation unit 13, and a sound is output from the speaker 12 to alert the driver D.
したがって、上述した第２実施形態の警報装置によれば、道路標識ｈ１や道路標示ｈ２の規制内容を判定し、さらに運転状態を検出して、運転状態が規制内容を遵守していないと判定された場合にのみ、この規制内容をスピーカ１２から出力して効率よく注意喚起を行うことができる。また、運転者Ｄが規制内容を認識しているにもかかわらず、規制内容を遵守していない場合には、規制内容に対応した違反内容を標識・標示位置データベース１５より読み出して映像提示部１３に出力させることができるため、運転者Ｄに更なる注意喚起を行うことができる。 Therefore, according to the alarm device of the second embodiment described above, the regulation contents of the road sign h1 and the road sign h2 are determined, the driving state is further detected, and it is determined that the driving state does not comply with the regulation contents. Only in the case of this, the contents of this regulation can be output from the speaker 12 and can be alerted efficiently. Further, when the driver D recognizes the restriction contents but does not comply with the restriction contents, the violation contents corresponding to the restriction contents are read from the sign / marking position database 15 and the video presentation unit 13. Therefore, it is possible to alert the driver D further.
なお、上述した第２実施形態では、違反の内容、反則金の金額、および、減点される点数の情報が映像提示部１３に単に表示される場合について説明したが、これに限られず、例えば、第２実施形態の変形例として図１０〜図１２に示すように、違反点数に応じて、違反点数が大きいほど、スピーカ１２の音量を増加させたり、映像提示部１３の明るさを明るくしたり、映像提示部１３の文字色を白色から赤色に変化させるようにしてもよく、また、これらの手法のうちから選択的に採用するようにしてもよい。これにより、運転者が違反の程度を容易に認識することができる。なお、図１１は、比較的違反点数が小さい場合（１点）、図１２は、比較的違反点数が大きい場合（６点）を示している。 In the above-described second embodiment, the case where the content of the violation, the amount of the penalty money, and the information of the points to be deducted are simply displayed on the video presentation unit 13 is not limited to this. For example, As shown in FIGS. 10 to 12 as modifications of the second embodiment, the loudness of the speaker 12 is increased or the brightness of the video presentation unit 13 is increased in accordance with the number of violation points. The character color of the video presentation unit 13 may be changed from white to red, or may be selectively adopted from these methods. As a result, the driver can easily recognize the degree of violation. 11 shows a case where the number of violation points is relatively small (1 point), and FIG. 12 shows a case where the number of violation points is relatively large (6 points).
また、上述した第２実施形態では、一つの違反（速度超過）をしている場合についてのみ説明したが、同時に複数の違反、例えば、ドライバ映像取得用カメラ１１の映像に基づき運転者が運転中に携帯電話を使用していることが検出されたり、飲酒運転検出用のセンサ（図示せず）の検出結果に基づき飲酒運転が検出された場合には、点数の最も高い違反内容を映像提示部１３に表示させるようにすればよい。 In the above-described second embodiment, only one violation (excessive speed) has been described. However, the driver is driving based on a plurality of violations simultaneously, for example, the video of the driver video acquisition camera 11. If it is detected that a mobile phone is being used, or if drunk driving is detected based on the detection result of a drunk driving detection sensor (not shown), the video presentation section displays the violation content with the highest score. 13 may be displayed.
次に、この発明の第３実施形態の警報装置について図面を参照しながら説明する。なお、この第３実施形態の警報装置は、上述した第２実施形態の警報装置に対して、規制の遵守に関わらずに、予め記憶された規制情報や期限の情報を乗員に報知する構成を加えたものであるため、図４のブロック図を援用して説明する。
この第３実施形態の警報装置の標識・標示位置データベース１５には、上述した第２実施形態の標識・標示位置データベース１５の記憶情報に加えて、車両の運行に関する情報である車検や、自賠責保険の情報に対して、それぞれ有効期限の情報が関連付けて記憶されている。
Next, an alarm device according to a third embodiment of the present invention will be described with reference to the drawings. Note that the alarm device of the third embodiment is configured to notify the occupant of pre-stored restriction information and time limit information, regardless of compliance with the restriction, for the alarm device of the second embodiment described above. Since it is added, it will be described with the aid of the block diagram of FIG.
In the sign / marking position database 15 of the alarm device of the third embodiment, in addition to the storage information of the sign / marking position database 15 of the second embodiment described above, vehicle inspections and information on vehicle operation, Each piece of information is stored in association with expiration date information.
情報提示判定部１２５には、運転者Ｄなどによって予め規制内容が選択的に設定可能になっており、例えば、規制内容として一時停止が選択され設定されている場合には、標識・標示位置データベース１５の記憶情報から、走行中の道路の先に存在する一時停止の道路標識ｈ１又は道路標示ｈ２を検索して、図１３に示すように、所定距離又は所定時間前に予め規制内容の情報をスピーカ１２から音声出力する。また、例えば、規制内容として予め速度規制が選択され設定されている場合には、速度規制の変化が予測できる、例えば、図１４に示すように、運転者Ｄによりウインカー（図１４中、左ウインカー）が操作された場合などに、右左折して進入する道路の速度規制内容の情報を予めスピーカ１２から音声出力する。 In the information presentation determination unit 125, the restriction contents can be selectively set in advance by the driver D or the like. For example, when the suspension is selected and set as the restriction contents, the sign / label position database From the 15 stored information, a temporarily stopped road sign h1 or a road sign h2 that exists ahead of the road that is running is searched, and as shown in FIG. Audio is output from the speaker 12. Further, for example, when speed regulation is selected and set in advance as a regulation content, a change in speed regulation can be predicted. For example, as shown in FIG. 14, a blinker (left blinker in FIG. 14) is displayed by the driver D. ) Is output in advance from the speaker 12 as information on the speed regulation contents of the road that enters after turning right or left.
情報提示判定部１２５は、さらに車両始動時に標識・標示位置データベース１５を検索して、車両の運行に関する情報に関連付けられた期限が過ぎているか否かを判定して、期限が到来していると判定された場合には、当該期限に関連付けされている車両の運行に関する情報をスピーカ１２から音声出力する。例えば、図１５に示すように、車検の有効期限が到来した場合には「車検が切れています」等の音声出力を行う。車検の期限や自賠責保険の有効期限が到来したことは、例えばＧＰＳ信号や、車載された時計などの時間情報に基づき判定することができる。なお、車検の有効期限および自賠責保険の有効期限は、車検などの更新時に標識・標示位置データベース１５に記録される。 The information presentation determination unit 125 further searches the sign / marking position database 15 at the time of starting the vehicle, determines whether or not the time limit associated with the information related to the operation of the vehicle has passed, and the time limit has come. If it is determined, information related to the operation of the vehicle associated with the time limit is output as audio from the speaker 12. For example, as shown in FIG. 15, when the expiration date of the vehicle inspection has arrived, a sound output such as “vehicle inspection has expired” is performed. It can be determined based on time information such as a GPS signal or an on-board clock, for example, that a vehicle inspection deadline or a self-responsibility insurance expiration date has come. In addition, the expiration date of the vehicle inspection and the expiration date of the liability insurance are recorded in the sign / marking position database 15 when the vehicle inspection is updated.
したがって、第３実施形態の警報装置によれば、標識・標示位置データベース１５に記憶されている車検などの期限が到来したと判定された場合に、当該期限に関連付けされて記憶されている車両の運行に関する情報、例えば、車検、をスピーカ１２から出力させて乗員に報知、到来したことを車両の乗員に報知することができるため、更なる商品性の向上を図ることができる。 Therefore, according to the alarm device of the third embodiment, when it is determined that a time limit such as the vehicle inspection stored in the sign / marking position database 15 has arrived, the vehicle stored in association with the time limit is stored. Information related to the operation, for example, vehicle inspection, is output from the speaker 12 to notify the occupant, and the arrival of the vehicle can be notified to the occupant of the vehicle, so that further improvement in merchantability can be achieved.
なお、この発明は上述した各実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲で設計変更可能である。
例えば、上述した実施形態では、道路標識ｈ１と道路標示ｈ２との両方を検知して乗員に注意喚起を行う場合について説明したが、道路標識ｈ１のみを検知して乗員に注意喚起するようにしてもよい。
また、第２実施形態および第３実施形態では、スピーカ１２の音声出力のみで注意喚起する場合について説明したが、同時に映像提示部１３への文字表示等を行い注意喚起するようにしてもよい。
The present invention is not limited to the configuration of each of the above-described embodiments, and the design can be changed without departing from the gist thereof.
For example, in the above-described embodiment, the case where both the road sign h1 and the road sign h2 are detected to alert the occupant has been described. However, only the road sign h1 is detected and the occupant is alerted. Also good.
Further, in the second embodiment and the third embodiment, the case of calling attention only by the sound output of the speaker 12 has been described. However, the character display on the video presentation unit 13 may be performed at the same time to call attention.
１０ 前方映像取得用カメラ（前方撮影手段）
１１ ドライバ映像取得用カメラ（運転者撮影手段）
１２ スピーカ（出力手段）
１３ 映像提示部（出力手段）
１４ 車両位置取得部（位置情報取得手段）
１５ 標識・標示位置データベース（記憶手段）
２１ 標識・標示検出部（道路標識判定手段）
２２ 標識・標示存在判定部（制御手段）
２３ 注視方向検出部（注視方向判定手段）
２４ 標識・標示注視判定部（制御手段）
２５ 情報提示判定部（制御手段）
３０ 運転状態検出部（運転状態検出手段）
３１ 規制判定部（規制判定手段）
10 Front video acquisition camera (front shooting means)
11 Driver image acquisition camera (Driver shooting means)
12 Speaker (output means)
13 Video presentation unit (output means)
14 Vehicle position acquisition unit (position information acquisition means)
15 Sign / Marking Position Database (Storage)
21 sign / sign detection part (road sign judging means)
22 Marking / Marking Presence Determining Unit (Control Unit)
23 Gaze direction detector (gaze direction determination means)
24 Sign / marking gaze determination unit (control means)
25 Information presentation determination unit (control means)
30 operation state detection unit (operation state detection means)
31 Restriction judgment part (regulation judgment means)
Claims (6)
車両の運転者の映像を撮影する運転者撮影手段と、
前記運転者撮影手段で撮影された映像に基づいて運転者の注視方向を判定する注視方向判定手段と、
前記前方撮影手段で撮影された映像から道路標識を判定する道路標識判定手段と、
前記道路標識がある旨の出力をする出力手段と、
車両の位置情報を取得する位置情報取得手段と、
前記道路標識の位置情報、および前記道路標識と前記道路標識の規制内容に対応する違反内容が関連付けられた情報が記憶されている記憶手段と、
前記前方撮影手段で撮影された映像から判定された道路標識の規制内容を判定する規制判定手段と、
前記車両の運転状態を検出する運転状態検出手段と、
前記出力手段により道路標識がある旨の出力をさせる制御手段であって、前記運転状態検出手段で検出された運転状態が前記規制判定手段で判定された規制内容に違反している場合において、前記記憶手段に記憶されている前記規制内容に対応する違反内容を、前記注視方向判定手段の判定結果に基づき運転者が前記道路標識を認識しているか否かに応じて異なる態様で前記出力手段に出力させる制御手段と、
を有することを特徴とする警報装置。 A front photographing means for photographing an image in front of the vehicle;
A driver photographing means for photographing an image of a vehicle driver;
Gaze direction determining means for determining the driver's gaze direction based on the video imaged by the driver imaging means;
Road sign determination means for determining a road sign from the video imaged by the front photographing means;
An output means for outputting that the road sign is present;
Position information acquisition means for acquiring vehicle position information;
Storage means for storing location information of the road sign, and information associated with violation information corresponding to the restriction content of the road sign and the road sign ;
Restriction determination means for determining the restriction contents of the road sign determined from the video photographed by the front photographing means;
Driving state detecting means for detecting the driving state of the vehicle;
In the control means for outputting that there is a road sign by the output means, when the driving state detected by the driving state detection means violates the regulation content determined by the regulation determination means, Violation content corresponding to the regulation content stored in the storage means is output to the output means in a different manner depending on whether or not the driver recognizes the road sign based on the determination result of the gaze direction determination means. Control means for outputting;
An alarm device comprising:
前記制御手段は、前記運転状態検出手段で検出された運転状態が前記規制判定手段で判定された規制内容に違反している場合において、前記注視方向判定手段の判定結果に基づき運転者が前記道路標識を認識していない場合には、違反内容を前記出力手段に出力させ、前記注視方向判定手段の判定結果に基づき運転者が前記道路標識を認識している場合には、違反内容に加えて罰則の内容を前記出力手段に出力させる、When the driving state detected by the driving state detection unit violates the regulation content determined by the regulation determination unit, the control unit determines whether the driver is based on the determination result of the gaze direction determination unit. If the sign is not recognized, the violation content is output to the output means, and if the driver recognizes the road sign based on the determination result of the gaze direction determination means, in addition to the violation content Causing the output means to output the contents of the penalty;
請求項１記載の警報装置。The alarm device according to claim 1.
前記制御手段は、前記運転状態検出手段で検出された運転状態が前記規制判定手段で判定された複数の規制内容に違反している場合には、前記違反した複数の規制内容のうち、最も重い罰則に対応する違反内容を前記出力手段に出力させる、When the driving state detected by the driving state detection unit violates a plurality of regulation contents determined by the regulation determination unit, the control unit is the heaviest among the violated regulation contents. Causing the output means to output violation content corresponding to the penalty;
請求項１または２記載の警報装置。The alarm device according to claim 1 or 2.
前記違反内容に応じて前記出力手段に出力される違反内容の色又は明るさを変更することを特徴とする請求項１から４のうちいずれか１項に記載の警報装置。 The control means includes
The alarm device according to any one of claims 1 to 4, wherein a color or brightness of the violation content output to the output unit is changed in accordance with the violation content.
前記制御手段は、前記期限が到来したときに、該期限に対応する車両の運行に関する情報を前記出力手段から出力させることを特徴とする請求項１から５のうちいずれか１項に記載の警報装置。 The storage means further stores information related to the operation of the vehicle and the time limit associated therewith,
The alarm according to any one of claims 1 to 5, wherein the control means causes the output means to output information relating to vehicle operation corresponding to the deadline when the deadline has arrived. apparatus.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010268597A JP5513353B2 (en) | 2010-12-01 | 2010-12-01 | Alarm device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010268597A JP5513353B2 (en) | 2010-12-01 | 2010-12-01 | Alarm device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012118804A JP2012118804A (en) | 2012-06-21 |
| JP5513353B2 true JP5513353B2 (en) | 2014-06-04 |
Family
ID=46501537
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010268597A Expired - Fee Related JP5513353B2 (en) | 2010-12-01 | 2010-12-01 | Alarm device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5513353B2 (en) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9626866B2 (en) | 2014-08-12 | 2017-04-18 | Continental Automotive Systems, Inc. | Active warning system using the detection of driver awareness of traffic signs |
| JP6093338B2 (en) * | 2014-11-17 | 2017-03-08 | 本田技研工業株式会社 | Sign information display system and sign information display method |
| JP2017097682A (en) * | 2015-11-26 | 2017-06-01 | マツダ株式会社 | Sign recognition system |
| US10891496B2 (en) * | 2016-11-01 | 2021-01-12 | Mitsubishi Electric Corporation | Information presentation method |
| JP7185251B2 (en) | 2018-01-19 | 2022-12-07 | 東海電子株式会社 | Driving information processing device and driving information processing program |
| JP7364365B2 (en) | 2019-06-18 | 2023-10-18 | 矢崎エナジーシステム株式会社 | Onboard equipment and driving evaluation system |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005284798A (en) * | 2004-03-30 | 2005-10-13 | Honda Motor Co Ltd | Driver safety device |
| JP2006275690A (en) * | 2005-03-29 | 2006-10-12 | Fujitsu Ten Ltd | Driving support system |
| JP2007011833A (en) * | 2005-07-01 | 2007-01-18 | Sanyo Electric Co Ltd | Vehicle information management system |
| JP4836582B2 (en) * | 2006-01-05 | 2011-12-14 | 株式会社日立製作所 | In-vehicle device |
| JP2009116461A (en) * | 2007-11-02 | 2009-05-28 | Denso Corp | Traffic violation annunciator |
| JP2010128733A (en) * | 2008-11-27 | 2010-06-10 | Equos Research Co Ltd | Warning device |
-
2010
- 2010-12-01 JP JP2010268597A patent/JP5513353B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2012118804A (en) | 2012-06-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7680592B2 (en) | System and apparatus for drive assistance | |
| JP5513353B2 (en) | Alarm device | |
| JP5098438B2 (en) | Information display device | |
| JP4981566B2 (en) | Driving support device and driving support method | |
| US11485380B2 (en) | Method and control device for warning a driver of a motor vehicle and motor vehicle with such a control device | |
| US11158190B2 (en) | Recommended driving output device, recommended driving output method and recommended driving output system | |
| WO2015133141A1 (en) | Displaying apparatus for displaying information about displayed objects | |
| CN106997677A (en) | Vehicular marker display device and method | |
| JP2008056233A (en) | Method of operating night-view system in vehicle and corresponding night-view system | |
| US20170178591A1 (en) | Sign display apparatus and method for vehicle | |
| JP2009116461A (en) | Traffic violation annunciator | |
| US11878698B2 (en) | Display control device, display control method, and storage medium storing display control program | |
| JP2014013496A (en) | Driving assistance device, and program | |
| JP2024029051A (en) | In-vehicle display device, method and program | |
| US20060061461A1 (en) | Vehicle speed limit reminding device | |
| JP2004061259A (en) | System, method, and program for providing information | |
| JP2009037457A (en) | Driving support system | |
| JP2016068931A (en) | Speed display device and speed display method | |
| JP4561627B2 (en) | Vehicle periphery monitoring device | |
| JP2014164375A (en) | Information processor, information processing system and information processing method, and program for information processor | |
| JP6288204B1 (en) | Vehicle speed limit detection device | |
| JP2017005352A (en) | On-vehicle display device and vehicle rear-side video image display method | |
| JP2019031176A (en) | Display device for vehicle | |
| JP6939147B2 (en) | Driving information guidance device and computer program | |
| JP7043795B2 (en) | Driving support device, driving status information acquisition system, driving support method and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121128 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131118 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131126 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140120 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140304 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140327 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5513353 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |