JP5311012B2 - Vehicle driving support device - Google Patents
Vehicle driving support device Download PDFInfo
- Publication number
- JP5311012B2 JP5311012B2 JP2008250551A JP2008250551A JP5311012B2 JP 5311012 B2 JP5311012 B2 JP 5311012B2 JP 2008250551 A JP2008250551 A JP 2008250551A JP 2008250551 A JP2008250551 A JP 2008250551A JP 5311012 B2 JP5311012 B2 JP 5311012B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- driver
- display
- driving support
- driving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Traffic Control Systems (AREA)
Description
本発明は車両用運転支援装置に関する。 The present invention relates to a vehicle driving support apparatus.
ナビゲーション装置などにより提供される運転支援情報は運転時の利便性向上に大きく役立っている。その一方で、そのような運転支援情報を車両のどの部分にどのようにして表示するのが良いかが、車両走行における安全性の観点から問題となっている。 Driving support information provided by a navigation device or the like is greatly useful for improving convenience during driving. On the other hand, how to display such driving support information on which part of the vehicle is a problem from the viewpoint of safety in vehicle travel.
例えば特許文献1は、自車両の前方の道路に沿わせてフロントウィンドシールドの運転支援情報を重畳表示するものであるが、この特許文献1の発明は、運転支援情報として、自車両のスピードの出し過ぎに応じた減速を促す画像を提案している。しかしながら、フロントウィンドシールドに表示する方法では、表示する場所によっては、ドライバがこれを視認するのに必要な視線移動が大きくなってしまう可能性がある。 For example, Patent Literature 1 displays driving assistance information of a front windshield superimposed along a road ahead of the host vehicle. The invention of Patent Literature 1 describes the speed of the subject vehicle as driving assistance information. Proposes an image that encourages deceleration in response to overloading. However, in the method of displaying on the front windshield, there is a possibility that the line-of-sight movement necessary for the driver to visually recognize this becomes large depending on the display location.
ところで、自動車の運転支援装置を使い易いものにするには、表示情報をドライバが視認し且つ理解する、その容易性を向上させる必要がある。表示情報をドライバが視認し且つ理解するという、表示情報を取得する一連の行動を分析すると、表示情報をドライバが取得する動作は、先ず、(1)前方を見ている視線を運転支援情報の表示位置まで移動し(図12の工程(I))、次いで、(2)表示情報を注視して情報を読み取り(図12の工程(II)&(III))、そして(3)情報表示位置から視線を前方に戻す(図12の工程(IV))という3つの工程を含む。 By the way, in order to make an automobile driving support device easy to use, it is necessary to improve the ease with which the driver visually recognizes and understands the display information. When analyzing a series of actions to acquire display information, in which the driver visually recognizes and understands the display information, the operation for the display information to be acquired by the driver is as follows. Move to the display position (step (I) in FIG. 12), then (2) pay attention to the display information and read the information (steps (II) & (III) in FIG. 12), and (3) information display position 3 steps of returning the line of sight to the front (step (IV) in FIG. 12).
この一連の3つの工程に要する時間(toff)が、運転支援装置で表示した情報をドライバが取得するのに必要な時間であり、ドライバが前方から目を離している時間に相当する。このことから、この一連の3つの工程に要する時間(toff)を極力短くすることが運転支援装置に要求される。ここに、従来の開発のアプローチは、情報の読み取り時間(図12の工程(III))にフォーカスを当てて検討が加えられ、情報表示の情報量や表示文字の読み易さの研究が多く行われている。 The time (t off ) required for this series of three steps is the time required for the driver to acquire the information displayed by the driving support device, and corresponds to the time when the driver keeps his eyes away from the front. For this reason, it is required for the driving support device to shorten the time (t off ) required for the series of three steps as much as possible. Here, the conventional development approach focuses on the information reading time (step (III) in FIG. 12), and many studies have been conducted on the amount of information displayed and the readability of displayed characters. It has been broken.
本願発明者の研究によれば、同じ表示位置の情報をドライバが視認するにしても、例えば混雑した市街地走行のようなドライバにとって運転負担が大きいときには、前方から情報表示位置まで視線を移動するための視線移動時間が大きくなる傾向にある。逆に、比較的空いた高速道路のようなドライバにとって運転負担が低いときには視線移動時間が小さくなる傾向にある。また、運転負担の大小によって前方から目を離すことのできる許容時間が異なることも分かった。例えば運転負担が大きい走行状態では、前方から目を離すことのできる許容時間は短くなる。 According to the research of the present inventor, even if the driver visually recognizes information at the same display position, for example, when the driving burden is large for the driver such as crowded city driving, the line of sight moves from the front to the information display position. The eye movement time tends to increase. Conversely, when the driving burden is low for a driver such as a relatively free highway, the line-of-sight movement time tends to be short. It was also found that the allowable time for keeping an eye on the front differs depending on the driving load. For example, in a traveling state with a heavy driving burden, the allowable time during which the eyes can be taken from the front is shortened.
そこで、本発明の目的は、ドライバの運転負担に応じた情報表示を最適化することのできる車両用運転支援装置を提供することにある。 SUMMARY OF THE INVENTION An object of the present invention is to provide a vehicle driving support device that can optimize information display according to the driving burden of a driver.
本発明の基本的な考え方を説明すると、ドライバの運転負担の大きさに応じて前方から目を離してもよい許容時間(toff)を決定し、この許容時間(toff)の中で視線移動(tm)(図12の(I)、(IV))と、情報を注視する(tr)(図12の(II)(III))のに使える時間との時間配分を最適化するために情報の表示範囲の大きさを制御し、また、好ましくは情報内容(読み取りに要する時間や優先度)に応じて情報表示の配置を決めるようにすることで、ドライバが表示情報を容易に且つ安全に視認できるようにしてある。 Explaining the basic concept of the present invention, an allowable time (t off ) in which the driver can keep an eye from the front is determined according to the driving burden of the driver, and the line of sight is within the allowable time (t off ). Optimize the time allocation between the movement (t m ) ((I), (IV) in FIG. 12) and the time available to watch the information (t r ) ((II) (III) in FIG. 12) Therefore, the size of the information display range is controlled, and preferably the information display arrangement is determined according to the information content (time and priority required for reading), so that the driver can easily display the display information. And it can be safely visually recognized.
上記の技術的課題は、本発明によれば、
ドライバが視認可能な情報表示部を有し、該情報表示部に運転支援情報を表示する車両用運転支援装置において、
自車両の走行情報を獲得する走行情報取得手段と、
該走行情報取得手段からの情報に基づいて、表示すべき運転支援情報を決定する表示情報決定手段と、
ドライバの運転負担度を検出する負担度検出手段と、
前方から前記情報表示部に視線を移動して該情報表示部に表示されている運転支援情報を確認した後に前方に視線を戻すためにドライバが前方から目を離すことのできる許容時間に関して、前記負担度検出手段からの信号に基づいてドライバの運転負担度に応じた前記許容時間を決定する許容時間決定手段と、
該許容時間決定手段からの信号と、前記表示情報決定手段からの信号と、前記負担度検出手段からの信号とに基づいて、前記情報表示部に表示する前記運転支援情報の表示範囲を決定する表示範囲決定手段とを有し、更に、
表示情報を読み取る素早さに関連したドライバ特性を検出するドライバ特性検出手段と、
該ドライバ特性検出手段により検出したドライバ特性に応じて前記表示範囲の大きさを補正する表示範囲補正手段とを有することを特徴とする車両用運転支援装置を提供することにより達成される。
According to the present invention, the above technical problem is
In the vehicle driving support device having an information display unit that can be visually recognized by the driver, and displaying driving support information on the information display unit,
Driving information acquisition means for acquiring driving information of the host vehicle;
Display information determination means for determining driving support information to be displayed based on information from the travel information acquisition means;
A load detection means for detecting the driving load of the driver;
With regard to the allowable time during which the driver can take his eyes off the front in order to return the line of sight to the front after moving the line of sight from the front to the information display unit and confirming the driving support information displayed on the information display unit, Permissible time determining means for determining the permissible time according to the driving burden of the driver based on a signal from the burden degree detecting means;
A signal from the permissible time determining means, a signal from the display information determination unit, on the basis of the signal from the burden of detecting means determines the display range of the driving support information to be displayed on the information display unit and a display range determination unit, further,
A driver characteristic detecting means for detecting a driver characteristic related to quickness of reading display information;
This is achieved by providing a vehicle driving support device comprising display range correction means for correcting the size of the display range according to the driver characteristic detected by the driver characteristic detection means .
すなわち、本発明によれば、ドライバの運転負担度に応じて情報表示方法を可変制御し、ドライバの運転負担度によって、混雑した市街地走行のように運転負担度が大きいときには運転支援情報の表示範囲を狭めることができ、逆に、高速道路を直進しているような運転負担度が小さいときには、運転支援情報の表示範囲を拡大することで運転状況に応じた表示の最適化が可能になる。また、ドライバの特性に応じた情報表示が可能になる。 That is, according to the present invention, the information display method is variably controlled in accordance with the driving burden level of the driver, and the driving support information display range when the driving burden level is large, such as driving in a congested urban area, depending on the driving burden level of the driver. On the contrary, when the driving load is low, such as when driving straight on an expressway, the display range according to the driving situation can be optimized by expanding the display range of the driving support information. In addition, it is possible to display information according to the characteristics of the driver.
本発明の好ましい実施の形態では、
ドライバの視線の方向を検出して、該ドライバの視線が長く停留している基準視線停留域を求める基準視線停留域算出手段と、該基準視線停留域算出手段により求めた前記基準視線停留域に基づいて前記運転支援情報の表示位置を決定する表示位置決定手段を更に有する。この実施の形態によれば、ドライバが表示情報を読み取るために視線を移動する時間を最適化することで安全性を向上することができる。
In a preferred embodiment of the present invention,
Reference gaze stop area calculating means for detecting a direction of the driver's gaze and obtaining a reference gaze stop area where the driver's gaze is stopped for a long time; and the reference gaze stop area calculated by the reference gaze stop area calculating means Display position determining means for determining the display position of the driving support information based on the display position is further included. According to this embodiment, the safety can be improved by optimizing the time for the driver to move the line of sight in order to read the display information.
本発明の好ましい実施の形態では、
前記情報表示部に表示する運転支援情報の優先順位を決定する情報優先順位決定手段を更に有し、該情報優先順位決定手段により定められた優先順位に基づいて前記表示位置が変更される。この実施の形態によれば、情報の優先度に応じた表示位置に情報表示が行われるため、ドライバの視線移動に要する時間を最適化することで安全性を向上することができる。
In a preferred embodiment of the present invention,
Information priority order determining means for determining the priority order of the driving support information displayed on the information display section is further provided, and the display position is changed based on the priority order determined by the information priority order determining means. According to this embodiment, since information is displayed at a display position corresponding to the priority of information, safety can be improved by optimizing the time required for the driver's line-of-sight movement.
本発明の好ましい実施の形態では、
他の車両や歩行者などが自車両に接触又は衝突する危険度を検出する危険度検出手段を更に有し、前記許容時間決定手段では、前記危険度検出手段により検出した危険度に応じた前記許容時間が決定される。この実施の形態によれば、危険度の度合いに応じた前記許容時間が設定されるため、例えば危険度が高いときには短い許容時間を設定することで、ドライバが情報表示を読み取るのに必要とされる時間を短縮することができ、衝突などからの危険回避の的確性を高めることができる。
In a preferred embodiment of the present invention,
It further comprises a risk detection means for detecting the risk of other vehicles or pedestrians coming into contact with or colliding with the host vehicle, and the allowable time determination means is configured to detect the risk according to the risk detected by the risk detection means. Allowable time is determined. According to this embodiment, since the allowable time is set according to the degree of risk, for example, when the risk is high, a short allowable time is set so that the driver can read the information display. Time can be shortened, and the accuracy of avoiding danger from a collision or the like can be improved.
本発明の好ましい実施の形態では、
前記危険度検出手段により検出した危険度が所定値よりも大きいときに割り込み処理によって危険情報を前記情報表示部に表示する。この実施の形態によれば、危険度が発生した時点で素早く危険情報を表示させることができる。
In a preferred embodiment of the present invention,
When the degree of danger detected by the degree of danger detection means is greater than a predetermined value, danger information is displayed on the information display unit by interruption processing. According to this embodiment, it is possible to quickly display danger information when a danger level occurs.
本発明の好ましい実施の形態では、
前記負担度検出手段により検出したドライバの運転負担度が大きいときに、前記情報優先順位決定手段により決定された優先順位の高い表示情報の表示位置に関して、該優先順位の高い運転支援情報にドライバが視線を移すための移動時間が小さい位置に該優先順位の高い運転支援情報の表示位置が設定される。このように表示情報に優先順位を設定し、優先順位の高い情報に関して視線移動時間が小さい位置に情報表示することで、ドライバは素早く情報を読み取ることができる。
In a preferred embodiment of the present invention,
When the driver's driving burden detected by the burden degree detecting means is large, the driver is in the driving assistance information having the higher priority regarding the display position of the display information having the higher priority determined by the information priority determining means. The display position of the driving assistance information with the higher priority is set at a position where the movement time for moving the line of sight is short. Thus, the priority can be set to the display information, and the information can be quickly read by the driver by displaying the information at a position where the line-of-sight movement time is short with respect to the information with high priority.
先ず、実施例の運転支援装置における表示範囲制御の原理について説明する。
視線移動時間をtm、視角をxとしたときに下記の式1が成立する。
First, the principle of display range control in the driving support apparatus of the embodiment will be described.
When the line-of-sight movement time is t m and the viewing angle is x, the following formula 1 is established.
(式1) tm = a1x + a0
ここに、a1、a0 は回帰モデルの係数である。
(Formula 1) t m = a 1 x + a 0
Here, a 1 and a 0 are coefficients of the regression model.
一方、実験室での基礎実験から、視角に対する視線移動時間の増分を決める係数 a1 は、運転負担度の関数であることが分かった。例えば、運転負担度をwとしたとき、下記の式2で示す関数式が仮定される。
On the other hand, it was found from the basic experiment in the laboratory that the coefficient a 1 that determines the increment of the eye movement time with respect to the viewing angle is a function of the driving burden. For example, assuming that the driving burden is w, a function equation represented by the following
(式2) a1 = b1w + b0
ここに、b1、b0は回帰モデルの係数である。
(Formula 2) a 1 = b 1 w + b 0
Here, b 1 and b 0 are coefficients of the regression model.
上記式1及び式2から、視線移動時間、視角、運転負担度の関係式は下記の式3で表すことができる。
From the
(式3) tm = (b1w + b0)x + a0
ここに、w:運転負担度
x:視角
tm:視線移動時間
(Formula 3) t m = (b 1 w + b 0 ) x + a 0
Where, w: Driving burden
x: viewing angle
t m : Eye movement time
図12を参照して、前方から目を離すことのできる許容時間(toff)は、視線移動時間(tm)と、注視時間(情報読み取り時間+準備時間)(tr)とを用いて下記の式4で表すことができる。
(式4) toff = 2tm + tr = 2×{(b1 w + b0) x + a0}+ tr
Referring to FIG. 12, the allowable time (t off ) in which eyes can be taken from the front is based on the gaze movement time (t m ) and the gaze time (information reading time + preparation time) (t r ). It can be represented by the following formula 4.
(Equation 4) t off = 2t m + t r = 2 × {(b 1 w + b 0) x + a 0} + t r
上記式4を視角xについて解くと、下記の式5の関係式が得られる。
(式5) x = (toff− tr − 2a0)/2(b1w + b0)
Solving the above equation 4 with respect to the viewing angle x, the following equation 5 is obtained.
(Formula 5) x = (t off −tr −2a 0 ) / 2 (b 1 w + b 0 )
上記式5から、運転負担の大きさ(w)に応じて、ドライバが余裕を持って前方から目を離して情報表示位置まで視線を移動させることのできる視角範囲(x)を求めることができる。ここに、ドライバが前方から目を離すことのできる許容時間(toff)は、通常走行時には運転負担度(w)の関数となる。例えば、空いた高速道路のような運転負担度が低いときには許容時間(toff)が大きくなり(前方から目を離すことできる時間が比較的長い)、混雑した市街地走行のような運転負担度が高いときには許容時間(toff)が小さくなる(前方から目を離すことできる時間が殆ど無い)。 From the above formula 5, the viewing angle range (x) in which the driver can move his / her line of sight to the information display position with a margin according to the magnitude (w) of the driving burden can be obtained. . Here, the allowable time (t off ) that the driver can keep an eye on from the front is a function of the driving burden (w) during normal driving. For example, when the driving burden is low, such as a free highway, the allowable time (t off ) increases (the time during which you can keep an eye from the front is comparatively long), and the driving burden, such as crowded urban driving, increases. When it is high, the permissible time (t off ) becomes small (there is almost no time to keep an eye from the front).
たとえ比較的運転負担度が低いときであっても、前方車両に対する異常接近や、後方車両の接近に気づかず車線変更をしようとする場合など、危険が顕在化した又は顕在化しつつある状況では、前述の関数に基づく制御を破棄して、顕在化した危険の度合いに応じた小さい値を割り振って、ドライバが視線移動し易い狭い表示位置に危険に関する情報を表示するのがよい。このための制御として、許容時間(toff)は運転負担度(w)を用いた演算の他に、危険度の高まりを検知しての割り込みによってデータベースから引用される値も有するのがよい。 Even when the degree of driving burden is relatively low, in situations where the danger has become apparent or is becoming apparent, such as when an abnormal approach to the preceding vehicle or an attempt to change lanes without noticing the approach of the rear vehicle, It is preferable to discard the control based on the above-described function, assign a small value according to the degree of danger that has become apparent, and display information related to danger at a narrow display position where the driver can easily move the line of sight. As a control for this purpose, the allowable time (t off ) should preferably have a value quoted from the database by interruption upon detecting an increase in the risk in addition to the calculation using the driving burden (w).
また、視角(x)に対する視線移動時間(tm)の増分を決める係数(a1)と、運転負担度(w)との関係を決める係数であるb1、b0は、ドライバ個人特性(例えば、注意機能の使い方の特性、運転負担への感受性、初心者/熟練者等)によって異なる。例えば、運転負担が同じくらい増えたとしても、初心者では熟練者と比べて視角に対する視線移動時間の増加分は大きくなるため、b1、b0 は両者で異なる。そこで、表示範囲制御の効果をより高めるには、ドライバ特性毎に運転負担度(w)と、視角(x)に対する視線移動時間(tm)の増分を決める係数(a1)との関係モデルを作るのがよい。つまりドライバ個人特性に基づく補正を行うのが好ましい。 In addition, coefficients b 1 and b 0 that determine the relationship between the coefficient (a 1 ) that determines the increase in the line-of-sight movement time (t m ) with respect to the viewing angle (x) and the driving burden (w) are the driver personal characteristics ( For example, it differs depending on characteristics of how to use the attention function, sensitivity to driving burden, beginner / expert, etc. For example, even if the driving load is increased by the same amount, the amount of increase in the line-of-sight movement time with respect to the viewing angle is greater for beginners than for skilled workers, so b 1 and b 0 are different from each other. Therefore, in order to further enhance the effect of the display range control, a relationship model between the driving burden (w) and the coefficient (a 1 ) that determines the increment of the line-of-sight movement time (t m ) with respect to the viewing angle (x) for each driver characteristic. It is good to make. That is, it is preferable to perform correction based on the driver personal characteristics.
同様に、注視時間(情報読み取り時間+準備時間)(tr)はドライバ個人特性の影響を受ける。例えば、焦点調節等に要する準備時間は視覚機能が低下した高齢者では長くなり、また表示色によっては高齢者や色弱者では読み取り時間が長くなる。そこで、表示範囲制御の効果をより高めるには、ドライバ個人特性に基づいて情報読み取り時間を補正するのが好ましい。 Similarly, the gaze time (information reading time + preparation time) (t r ) is affected by driver personal characteristics. For example, the preparation time required for focus adjustment and the like is longer for elderly people with poor visual functions, and depending on the display color, the reading time is longer for elderly and color-impaired people. Therefore, in order to further enhance the effect of the display range control, it is preferable to correct the information reading time based on the driver individual characteristics.
なお、ドライバは、運転場面に応じて主として注視している範囲(車外・車内)が異なる。例えば、高速道路ではルームミラーを見る頻度が多くなり、また、追い越しの準備のためにサイドミラーを注視する。他の例として、比較的空いた市街地での単独走行のときには前方風景を注視しており、前方車両に追従走行しているときには前方車両を注視している。このことから、表示位置を固定化しないで、ドライバの視線がどの領域に停留しているかを計測しながら、ドライバの視線が停留している領域を基準として表示範囲を可変に設定するのが望ましい。 In addition, the range (outside / inside of the vehicle) where the driver is mainly gazing differs depending on the driving scene. For example, on a highway, the frequency of looking at a room mirror increases, and the side mirror is watched for preparation for overtaking. As another example, the driver looks at the front landscape when traveling alone in a relatively free urban area, and looks at the front vehicle when traveling following the preceding vehicle. For this reason, it is desirable to variably set the display range based on the area where the driver's line of sight is stationary while measuring the area where the driver's line of sight is stationary without fixing the display position. .
図1を参照して本発明の第1実施例を説明すると、自動車10は、前方を監視するための前方監視カメラ12と、ドライバDの頭部に向けて配設されたドライバ視線監視カメラ14とを有し、ドライバ視線監視カメラ14によってドライバDの視線の方向が検出される。参照符号16はステアリングハンドルであり、ステアリングハンドルの操舵角は舵角センサ18によって検出される。また、ブレーキペダル及びアクセルペダル(共に図示せず)には、ペダルセンサ20、22が夫々配設され、各ペダルセンサ20又は22によってブレーキペダルやアクセルペダルの踏み込みが検出される。なお、舵角センサ18、ペダルセンサ20、22は後に説明するドライバの運転負担を計測するための運転負担検出手段の一部を構成するものである。
A first embodiment of the present invention will be described with reference to FIG. 1. An
自動車10はオーディオシステム(図示せず)が搭載され、このオーディオシステムの操作部を参照符号24で示してある。また、この自動車10は、隣接する車両間で通信を行うための路車間通信システム26、GPS28、ナビゲーションユニット30を有し、ドライバDに対して運転を支援するための情報がフロントウィンドシールド32に表示される。
The
図2は、運転支援装置40の全体システムを示すブロック図である。運転支援装置40は、フロントウィンドシールド32に表示すべき情報つまり運転支援情報を決定する表示情報決定部42を有し、この表示情報決定部42には、路車間通信システム26、GPS28、ナビゲーションユニット30等から自車両の走行情報信号が入力され、例えばGPS28から入手された現在位置信号とナビゲーションユニット30から入力された地図データ、店舗情報に基づいてドライバDに対するナビゲーション表示情報が生成される。
FIG. 2 is a block diagram showing the overall system of the driving
ブレーキペダル及びアクセルペダルに関連して設置したペダルセンサ20、22及びステアリングハンドル16のハンドル舵角センサ18、図外の車速センサ、ナビゲーションユニット30などの運転負担計測部からの信号は運転負担算出部44に入力され、下記の指標に基づいてドライバDに加わっている運転負担が多角的に計測される。
(1)ステアリングハンドル16やアクセルペダル、ブレーキペダルの操作頻度及び/又は操作量の多さ;
(2)加速度や車速の絶対値の大きさ、変化の大きさ;
(3)運転中の風景の変化の速さ、変化の複雑さ;
(4)ナビゲーションユニット30の地図情報、経路誘導情報に基づく、道路環境の悪さ・運転負担度合いの高さ(幅の狭い道、複雑な経路、カーブの多い道、交差点の多い道等);
(5)車外センサ情報に基づく、他の交通参加者(周辺車両、歩行者、自転車等)の多さ;
(6)ステアリングハンドル16の操舵量や瞬き画像処理等に基づく、ドライバの意識レベルの低下度合い;
(7)シート接触圧等の変化に基づく、ドライバの疲労度合い;
(8)ドライバDの心拍数(ステアリングセンサ等から検知)変化に基づく、サーカディアンリズムの落ち込み(サーカディアンリズム=ドライバの生体活性度合いの日内変動)など。
(1) The frequency and / or amount of operation of the
(2) Magnitude of absolute values and changes in acceleration and vehicle speed;
(3) The speed of change in the scenery while driving, the complexity of changes;
(4) Bad road environment / high driving burden based on map information and route guidance information of the navigation unit 30 (narrow road, complicated route, road with many curves, road with many intersections, etc.);
(5) The number of other traffic participants (neighboring vehicles, pedestrians, bicycles, etc.) based on sensor information outside the vehicle;
(6) Degree of decrease in the driver's consciousness level based on the steering amount of the
(7) Driver fatigue based on changes in seat contact pressure, etc .;
(8) Depression of circadian rhythm based on a change in heart rate (detected from a steering sensor or the like) of driver D (circadian rhythm = diurnal variation in the degree of driver bioactivity).
この運転負担算出部44では、上述した各項目の指標から計算された個別的な運転負担を加工処理した総合指標に基づいてドライバDの現在の運転負担度が算出される。
In the driving
前方監視カメラ12などの自車両に対して接触又は衝突する危険度を検出する各種のセンサからの信号は危険度算出部46に入力され、この危険度算出部46によって周辺車両や歩行者、自転車との接近状況といった危険度の度合いが算出される。ここに、危険度とは、PCS等の緊急時制御介入が作動しようとする状況よりも手前であり、ドライバが危険に気づいて自らの操作により十分回避できる範囲での危険度を意味する。算出した危険度の度合いは、データベース48の危険度-許容時間の換算表に基づいて許容時間toffに換算される。
Signals from various sensors that detect the risk of contact or collision with the host vehicle such as the
上記運転負担算出部44で求められた運転負担度は、許容時間算出部50において、この運転負担度に応じて、ドライバDが前方から目を離せる許容時間toffを演算する。ここに、上述した危険度算出部46が所定値以上の予知危険度つまり顕在化した所定値以上の危険度を検出すると、許容時間算出部50は危険度算出部46からの割り込みを受けて、直ちに危険情報の表示に切り替わる。
Based on the driving load degree calculated by the driving
図2の表示範囲算出部52では、前述した表示情報決定部42で決定された表示情報及び情報読み取り時間決定部54で算出された読み取りに必要な時間(注視時間tr)に基づいて、表示情報をフロントウィンドシールド32に表示する表示範囲を算出する。この表示範囲算出部52では、前述した式5を用いて視角xが算出される。
In the display
式5をここに引用すると、
(式5) x = (toff− tr − 2a0)/2(b1w + b0)
ここに、toffは許容時間であり、trは注視時間(情報読み取り時間+準備時間)である。
To quote Equation 5 here:
(Formula 5) x = (t off −tr −2a 0 ) / 2 (b 1 w + b 0 )
Here, t off is an allowable time, and tr is a gaze time (information reading time + preparation time).
上記表示範囲算出部52で視角xを求めた後、表示情報をフロントウィンドシールド32のどの位置に表示するかが表示位置決定部56で決定される。この表示位置の決定には、それに先だってドライバ視線監視カメラ14により獲得したドライバDの眼球の画像処理等の手段によってドライバDの視線を常時追跡し、ある一定時間内に視線が最も長く停留している車外・車内位置(基準視線停留域)が算出される。そして、表示位置決定部56では、上記基準視線停留域を基準に、表示情報の表示範囲が決定されることになるが、この表示範囲の決定に際して表示情報の優先度が考慮される。この表示情報の優先度は情報優先順位決定部58で決定される。例えば経路情報などは優先度が高いとされ、優先度の高い表示情報は、視角xの範囲の中で、基準視線停留域との視角が最も小さくなる位置(ドライバDの視線移動が最も少ない位置)に表示位置が決定される。逆に、優先度が低い情報で、常時表示が必要な情報は視角が大きくなる位置に常時表示し、また、常時表示が不要な情報は、視角が大きくなる位置に必要に応じてポップアップ表示するようにしてもよい。
After obtaining the viewing angle x by the display
図3は、運転支援表示に関する制御の一例を示すフローチャートである。ステップS1で各種の情報の取り込みが行われ、次いでステップS2で、例えば自転車が自車両に衝突又は接触する危険度が所定値よりも大きいか否かの判定が行われる。このステップS2においてYES(危険度あり)のときは、ステップS3に進んで危険情報の表示範囲が算出される。そして、次のステップS4において、ドライバDの基準視線停留域に基づいて表示位置の算出が行われ、算出した表示位置に危険情報が表示される(S5)。図4は、危険情報をフロントウィンドシールド32に表示した例の説明図である。この例では、ドライバDの基準視線停留域がフロントウィンドシールド32のほぼ中央領域に位置している。図面には、ドライバDの視線を矢印で示してある。この場合には、ドライバDの基準視線停留域に危険情報として「右方接近車両あり」の表示60が小さな表示範囲Aに限定して実行される。したがって、ドライバDは視線を殆ど移動すること無しに「右方接近車両あり」の表示を注視することができる。この危険情報は、危険度の度合いが大きい程、大きな文字で表示するようにしてもよい。
FIG. 3 is a flowchart illustrating an example of control related to driving support display. In step S1, various types of information are taken in, and then in step S2, it is determined whether the risk of a bicycle colliding with or contacting the host vehicle is greater than a predetermined value. If YES (there is a danger level) in step S2, the process proceeds to step S3, and the display range of the danger information is calculated. In the next step S4, the display position is calculated based on the reference line-of-sight stop area of the driver D, and the danger information is displayed at the calculated display position (S5). FIG. 4 is an explanatory diagram of an example in which danger information is displayed on the
図3のフローチャートに戻って、ステップS2においてNOつまり自車両に衝突や接触するような歩行者や自転車などが無いと判定されたときにはステップS6に進んで、表示すべき情報が存在しているか否かの判断が行われ、YES(表示情報あり)のときにはステップS7に進んで運転負担度の算出が行われ、次いでステップS8で情報読み取り時間trの算出が行われ、次いでステップS9で情報表示範囲(視角x)の算出が行われ、また、次のステップS10で情報優先順位の算出が行われる。そして、次のステップS11で、表示すべき情報が複数存在していれば各表示情報毎にドライバDの基準視線停留域を基準として表示位置が決定される。 Returning to the flowchart of FIG. 3, when it is determined NO in step S2, that is, there is no pedestrian or bicycle that collides with or comes into contact with the host vehicle, the process proceeds to step S6 to determine whether there is information to be displayed. If YES (there is display information), the process proceeds to step S7 to calculate the driving burden, then the information reading time tr is calculated in step S8, and then the information is displayed in step S9. The range (viewing angle x) is calculated, and information priority is calculated in the next step S10. In the next step S11, if there are a plurality of pieces of information to be displayed, the display position is determined for each display information on the basis of the reference line-of-sight stop area of the driver D.
図5は、危険度が所定値以下であり且つドライバDの運転負担が小さい例として、高速道路で直線が多い区間を走行しているときの表示例を示す。ここに、ドライバDの基準視線停留域がルームミラー62に位置している。ルームミラー62の近傍に表示される情報表示は拡大した範囲Aが設定され、この拡大した表示範囲Aにおいて、経路の案内(「500m先分岐」及び分岐方向を指し示す矢印)64がドライバDの視線の近傍に表示され、常時表示される道路渋滞情報(「3km先渋滞中」)66が、表示範囲Aにおいて、ドライバDの前方視界を阻害しない右上角隅部に表示される。また、例えば最寄りに観光地が存在しているような場合には、例えばポップアップ方式又は間欠的に「観光地情報あり」の情報表示68が表示範囲Aの右下角隅部に行われる。
FIG. 5 shows a display example when the vehicle is traveling in a section with many straight lines on an expressway as an example in which the degree of risk is equal to or less than a predetermined value and the driving burden on the driver D is small. Here, the reference line-of-sight stop area of the driver D is located in the
図6は、危険度が所定値以下であり且つドライバDの運転負担が比較的大きい例として、高速道路でワインディングが多い区間を走行しており、ドライバDが前方に注意して走行しているときの表示例を示す。この表示例では、前方を注視しているドライバDの基準視線停留域に表示範囲Aが設定され、そして、ドライバDの視線の近傍に経路の案内(「500m先分岐」及び分岐方向を指し示す矢印)64が表示される。また、常時表示される渋滞情報(「3Km先渋滞中」)66が、表示範囲Aにおいて、ドライバDの前方視界を阻害しない左下角隅部に表示される。また、例えば最寄りに観光地が存在しているような場合には、例えばポップアップ方式又は間欠的に「観光地情報あり」の情報表示68が表示範囲Aの右下角隅部に行われる。
In FIG. 6, as an example in which the degree of risk is less than a predetermined value and the driving burden on the driver D is relatively large, the vehicle travels on a highway with a lot of winding, and the driver D is traveling with attention ahead. A display example is shown. In this display example, the display range A is set in the reference line-of-sight stop area of the driver D who is gazing forward, and the route guidance (“500 m ahead branch” and an arrow pointing to the branch direction are located in the vicinity of the line of sight of the driver D. ) 64 is displayed. In addition, the constantly displayed traffic information (“3 km ahead traffic jam”) 66 is displayed in the lower left corner of the display range A that does not obstruct the front view of the driver D. Further, for example, when there is a sightseeing spot nearby, an
混雑した市街地のようにドライバDの運転負担が特に大きいときには、前方を注視しているドライバDの基準視線停留域に表示範囲Aを設定すると共に、この表示範囲Aを縮小するのがよい。これにより表示範囲Aに表示された情報を読み取るために必要とされるドライバの視線移動を極力小さくすることができる。 When the driving load on the driver D is particularly large as in a crowded city area, it is preferable to set the display range A in the reference line-of-sight stop area of the driver D who is gazing ahead and to reduce the display range A. As a result, the driver's line-of-sight movement required to read the information displayed in the display range A can be minimized.
図7は、図6の表示例の変形例を示し、この変形例では、経路の案内(「500m先分岐」及び分岐方向を指し示す矢印)64の表示に大きな文字及び矢印の印が使用されている。これにより、図12で説明した読み取り工程(III)に要する時間を短縮することができる。このように表示文字や印を大きくすることでドライバDが情報取得に要する時間つまりドライバDが情報取得のために前方から目をそらす時間toffを、読み取り時間決定部54で決定した時間内となるように調整することができる。
FIG. 7 shows a modified example of the display example of FIG. 6. In this modified example, large letters and arrow marks are used to display route guidance (“500 m ahead branch” and an arrow indicating the branch direction) 64. Yes. Thereby, the time required for the reading step (III) described in FIG. 12 can be shortened. The time required for the driver D to acquire information, that is, the time t off for the driver D to look away from the front for information acquisition by enlarging the display characters and marks in this manner is within the time determined by the reading
図8は、第2実施例の運転支援装置100のブロック図であり、上述した第1実施例の運転支援装置40と相違する部分を破線で囲ってある。この第2実施例は、ドライバDの特性つまり情報を素早く取得できるか否かの特性を判定して、このドライバDの特性に応じた表示の最適化を企図している。
FIG. 8 is a block diagram of the driving
図8を参照して、ドライバ特性判定部102では、オーディオ操作部24などの操作の仕方、例えば操作頻度の大小や複数の操作を繰り返す等からドライバDの以下のような特性を判定する。
(1)複数の作業の同時遂行や、目新しい作業へ対処する、対応能力があるかどうか;
(2)「ながら作業」の傾向があるかどうか(「ながら作業」の傾向がある場合、複数の表示を素早く読み取ることができると考えられる);
Referring to FIG. 8, driver
(1) Whether you have the ability to handle multiple tasks simultaneously or deal with new tasks;
(2) Whether there is a tendency of “working while” (if there is a tendency of “working while”, it is considered that multiple displays can be read quickly);
上記(1)、(2)のドライバ特性つまり表示した情報を素早く把握することのできる特性を総称して「ながら」特性と呼ぶと、第1実施例で説明した情報読み取り時間決定部54では、補正用データベース104及び引用値データベース106を参照して読み取りに必要な時間(注視時間tr)が決定される。また、表示範囲算出部52では、「ながら」特性に応じて表示範囲の補正が行われ、ドライバDが表示情報を素早く読み取る能力を備えている場合(「ながら」傾向が大きいドライバの場合)には、表示範囲Aを拡大する補正が行われる。逆に、「ながら」傾向の小さいドライバDの場合には、表示範囲Aを縮小する補正が行われ、ドライバの特性に応じた大きさの表示範囲Aが設定される。
When the driver characteristics of the above (1) and (2), that is, characteristics that can quickly grasp displayed information are collectively referred to as “while” characteristics, the information reading
図9は、「ながら」特性の大小によって係数b1を補正する例を説明するための図である。前述した式5において、「ながら」傾向が大きいドライバDには比較的小さなb11が設定され、「ながら」傾向が小さいドライバDには比較的大きなb12が設定される。同じように情報優先順位決定部58においても、「ながら」傾向の大小に応じて引用値データベース108を参照して表示情報の優先順位が決定される。
FIG. 9 is a diagram for explaining an example in which the coefficient b1 is corrected based on the magnitude of the “while” characteristic. In Expression 5 described above, a relatively small b 11 is set for the driver D having a large “while” tendency, and a relatively large b 12 is set for the driver D having a small “while” tendency. Similarly, in the information priority
図10は第2実施例の運転支援装置における表示制御の一例を示すフローチャートであり、前述した図3のフローチャートと同じステップには同じステップ番号を付してその説明を省略し、図10のフローチャートの特徴点を説明する。 FIG. 10 is a flowchart showing an example of display control in the driving support apparatus of the second embodiment. The same steps as those in the flowchart of FIG. 3 described above are denoted by the same step numbers, and the description thereof is omitted. The feature point of will be described.
ステップS6で表示すべき情報が存在するときにはYESということでステップS7に進んで、運転負担wの算出処理を行った後に、ステップS20においてドライバ特性の算出処理が行われ、また、次のステップS21でドライバ特性補正係数の算出処理が実行される。これにより、ドライバ特性に対応した表示の最適化を実現することができる。 If there is information to be displayed in step S6, the process proceeds to step S7 because the answer is YES, and after calculating the driving load w, the driver characteristic calculating process is performed in step S20, and the next step S21 is performed. Then, the driver characteristic correction coefficient calculation process is executed. As a result, display optimization corresponding to driver characteristics can be realized.
図11は、前述した図6と同様に、危険度が所定値以下であり且つドライバDの運転負担が比較的大きい例である、高速道路でワインディングが多い区間を走行しているときの表示例を示す。ドライバDの特性により、「ながら」傾向が大きいときには、同時に複数のことを実行する能力を備えており、表示情報を素早く把握する能力を有しているとして、比較的大きな表示範囲Aが設定され、逆に、「ながら」傾向が小さいとき、つまり、表示情報を把握する速度が低いドライバに対しては比較的小さな表示範囲Aが設定される。 FIG. 11 is a display example when the vehicle is traveling on a section with a large amount of winding on an expressway, which is an example in which the degree of risk is equal to or less than a predetermined value and the driving load on the driver D is relatively large, as in FIG. Indicates. Due to the characteristics of the driver D, when the tendency is “while”, a relatively large display range A is set because it has the ability to execute a plurality of things at the same time and has the ability to quickly grasp the display information. On the contrary, when the tendency “while” is small, that is, for a driver whose display information is grasped at a low speed, a relatively small display range A is set.
以上、本発明の実施例をフロントウィンドシールド32に運転支援情報を表示する例に基づいて説明したが、運転支援情報を表示する表示部としては、全面液晶のインストルメントパネル、ヘッドアップディスプレイ、ピラーやトリム等の内装材へのプロジェクション(投影)表示であってもよい。
As mentioned above, although the Example of this invention was described based on the example which displays driving assistance information on the
10 自動車
12 前方監視カメラ
14 ドライバ視線監視カメラ
16 ステアリングハンドル
18 舵角センサ
20 ペダルセンサ
22 ペダルセンサ
24 オーディオ操作部
30 ナビゲーションユニット
32 フロントウィンドシールド
40 第1実施例の運転支援装置
42 表示情報決定部
44 運転負担算出部
46 危険度算出部
50 許容時間算出部
52 表示範囲算出部
54 情報読み取り時間決定部
56 表示位置決定部
58 情報優先順位決定部
100 第2実施例の運転支援装置
102 ドライバ特性判定部
A 表示範囲
DESCRIPTION OF
Claims (8)
自車両の走行情報を獲得する走行情報取得手段と、
該走行情報取得手段からの情報に基づいて、表示すべき運転支援情報を決定する表示情報決定手段と、
ドライバの運転負担度を検出する負担度検出手段と、
前方から前記情報表示部に視線を移動して該情報表示部に表示されている運転支援情報を確認した後に前方に視線を戻すためにドライバが前方から目を離すことのできる許容時間に関して、前記負担度検出手段からの信号に基づいてドライバの運転負担度に応じた前記許容時間を決定する許容時間決定手段と、
該許容時間決定手段からの信号と、前記表示情報決定手段からの信号と、前記負担度検出手段からの信号とに基づいて、前記情報表示部に表示する前記運転支援情報の表示範囲を決定する表示範囲決定手段とを有し、更に、
表示情報を読み取る素早さに関連したドライバ特性を検出するドライバ特性検出手段と、
該ドライバ特性検出手段により検出したドライバ特性に応じて前記表示範囲の大きさを補正する表示範囲補正手段とを有することを特徴とする車両用運転支援装置。 In the vehicle driving support device having an information display unit that can be visually recognized by the driver, and displaying driving support information on the information display unit,
Driving information acquisition means for acquiring driving information of the host vehicle;
Display information determination means for determining driving support information to be displayed based on information from the travel information acquisition means;
A load detection means for detecting the driving load of the driver;
With regard to the allowable time during which the driver can take his eyes off the front in order to return the line of sight to the front after moving the line of sight from the front to the information display unit and confirming the driving support information displayed on the information display unit, Permissible time determining means for determining the permissible time according to the driving burden of the driver based on a signal from the burden degree detecting means;
A signal from the permissible time determining means, a signal from the display information determination unit, on the basis of the signal from the burden of detecting means, the display range decision of the driver assist information to be displayed on the information display unit and a display range determination means for, further,
A driver characteristic detecting means for detecting a driver characteristic related to quickness of reading display information;
A vehicle driving support apparatus, comprising: display range correction means for correcting the size of the display range in accordance with the driver characteristic detected by the driver characteristic detection means .
該基準視線停留域算出手段により求めた前記基準視線停留域に基づいて前記運転支援情報の表示位置を決定する表示位置決定手段を更に有する、請求項1に記載の車両用運転支援装置。 A reference gaze stop area calculating means for detecting a direction of the driver's gaze and obtaining a reference gaze stop area where the driver's gaze is stopped for a long time;
The vehicle driving support device according to claim 1, further comprising display position determining means for determining a display position of the driving support information based on the reference visual line stop area obtained by the reference visual line stop area calculating means.
該情報優先順位決定手段により定められた優先順位に基づいて前記表示位置が変更される、請求項2に記載の車両用運転支援装置。 Further comprising information priority order determining means for determining the priority order of the driving support information displayed on the information display section;
The vehicle driving support apparatus according to claim 2, wherein the display position is changed based on the priority order determined by the information priority order determining means.
前記許容時間決定手段では、前記危険度検出手段により検出した危険度に応じた前記許容時間が決定される、請求項1に記載の車両用運転支援装置。 It further comprises a risk detection means for detecting the risk of contact or collision of other vehicles or pedestrians with the host vehicle,
The vehicle driving support device according to claim 1, wherein the allowable time determination unit determines the allowable time according to the risk detected by the risk detection unit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008250551A JP5311012B2 (en) | 2008-09-29 | 2008-09-29 | Vehicle driving support device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008250551A JP5311012B2 (en) | 2008-09-29 | 2008-09-29 | Vehicle driving support device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010079844A JP2010079844A (en) | 2010-04-08 |
JP5311012B2 true JP5311012B2 (en) | 2013-10-09 |
Family
ID=42210171
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008250551A Expired - Fee Related JP5311012B2 (en) | 2008-09-29 | 2008-09-29 | Vehicle driving support device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5311012B2 (en) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6095781B2 (en) * | 2013-07-18 | 2017-03-15 | 三菱電機株式会社 | Information presenting apparatus and information presenting method |
DE112013007344T5 (en) * | 2013-08-19 | 2016-05-04 | Mitsubishi Electric Corporation | Vehicle mounted display control device |
JP2017121814A (en) * | 2014-05-16 | 2017-07-13 | 三菱電機株式会社 | Drive support device |
JP2016118838A (en) * | 2014-12-19 | 2016-06-30 | 株式会社デンソー | Information presentation control device and information presentation method |
JP6439052B2 (en) | 2015-08-26 | 2018-12-19 | 富士フイルム株式会社 | Projection display |
JP6369479B2 (en) * | 2016-01-14 | 2018-08-08 | マツダ株式会社 | Driving assistance device |
JP6610445B2 (en) * | 2016-06-09 | 2019-11-27 | 株式会社デンソー | Vehicle driving support system and driving support method |
JP6948254B2 (en) * | 2017-12-28 | 2021-10-13 | 株式会社豊田中央研究所 | Visual burden quantifier |
US11325472B2 (en) * | 2018-04-11 | 2022-05-10 | Mitsubishi Electric Corporation | Line-of-sight guidance device |
JP2020111202A (en) | 2019-01-11 | 2020-07-27 | 株式会社リコー | Display control device, display device, display system, movable body, program, and image formation method |
US11878698B2 (en) | 2019-04-12 | 2024-01-23 | Mitsubishi Electric Corporation | Display control device, display control method, and storage medium storing display control program |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4698002B2 (en) * | 2000-07-11 | 2011-06-08 | マツダ株式会社 | Vehicle display device |
JP4042319B2 (en) * | 2000-09-28 | 2008-02-06 | 日産自動車株式会社 | Alarm control device |
JP2006284458A (en) * | 2005-04-01 | 2006-10-19 | Denso Corp | System for displaying drive support information |
JP4839945B2 (en) * | 2006-04-24 | 2011-12-21 | トヨタ自動車株式会社 | Driver behavior evaluation device |
-
2008
- 2008-09-29 JP JP2008250551A patent/JP5311012B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2010079844A (en) | 2010-04-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5311012B2 (en) | Vehicle driving support device | |
JP6342856B2 (en) | Vehicle control device | |
US9248796B2 (en) | Visually-distracted-driving detection device | |
US8626427B2 (en) | User interface method for terminal for vehicle and apparatus thereof | |
JP4702437B2 (en) | Vehicle display device | |
JP3758443B2 (en) | Running state presentation device | |
JP5177105B2 (en) | Driving support display device | |
JP6460019B2 (en) | Vehicle control device | |
CN109795413B (en) | Driving support device and driving support method | |
JP2016193683A (en) | Vehicle control device | |
JP2011198247A (en) | Driving support device | |
JP5327025B2 (en) | Vehicle travel guidance device, vehicle travel guidance method, and computer program | |
JP2006343904A (en) | Driving support device | |
JP2006215728A (en) | Driving information provision system | |
JP2018100008A (en) | Vehicular display device | |
JP6579183B2 (en) | Driving assistance device | |
US20230294517A1 (en) | Vehicle display control device, display device, and vehicle display control method | |
JP2007280203A (en) | Information presenting device, automobile and information presenting method | |
JP6620775B2 (en) | Display device and display method | |
JP6701913B2 (en) | Vehicle control device | |
JP5664202B2 (en) | Driving assistance device | |
JP2019077289A (en) | Electronic device and parking assistance method | |
KR20230116122A (en) | Vehicle, Vehicle Collision-Avoidance system and Collision-Avoidance Method thereof | |
JP2000168400A (en) | Display device for vehicle | |
JP2018094294A (en) | State estimation system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110802 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120723 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121128 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121205 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130321 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130329 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130605 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130618 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5311012 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |