JP4978721B2 - 運転支援装置 - Google Patents

運転支援装置 Download PDF

Info

Publication number
JP4978721B2
JP4978721B2 JP2010186412A JP2010186412A JP4978721B2 JP 4978721 B2 JP4978721 B2 JP 4978721B2 JP 2010186412 A JP2010186412 A JP 2010186412A JP 2010186412 A JP2010186412 A JP 2010186412A JP 4978721 B2 JP4978721 B2 JP 4978721B2
Authority
JP
Japan
Prior art keywords
vehicle
driver
moving body
road
gazing point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010186412A
Other languages
English (en)
Other versions
JP2012041020A (ja
Inventor
寛 伊能
護 沢田
誠司 戸塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2010186412A priority Critical patent/JP4978721B2/ja
Priority to US13/199,190 priority patent/US8401714B2/en
Priority to FR1157445A priority patent/FR2963916B1/fr
Priority to CN201110249940.0A priority patent/CN102407849B/zh
Priority to DE102011081370.5A priority patent/DE102011081370B4/de
Publication of JP2012041020A publication Critical patent/JP2012041020A/ja
Application granted granted Critical
Publication of JP4978721B2 publication Critical patent/JP4978721B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10Path keeping
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • B60W30/0956Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149Instrument input by detecting viewing direction not otherwise provided for
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872Driver physiology
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/22Psychological state; Stress level or workload
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/221Physiology, e.g. weight, heartbeat, health or special needs
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/225Direction of gaze
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • B60W30/0953Predicting travel path or likelihood of collision the prediction being responsive to vehicle dynamic parameters

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Steering Control In Accordance With Driving Conditions (AREA)

Description

本発明は、移動体の目標軌道を設定し、その設定した目標軌道に基づいて運転支援を行なう運転支援装置に関する。
本出願人は、既に特許文献1として、移動体の周囲環境(例えば、車両が走行する道路上に設定した複数の格子点)の運動を、その移動体の運転者の網膜球面を模擬した座標系における運動に変換することにより視覚運動量(網膜上の運動情報)を得て、その視覚運動量に基づいて注視点及び走行軌道を設定する走行支援装置を出願している。このように、運転者の視覚感覚に対応する視覚運動量に基づいて移動体の走行軌道を設定することにより、運転者の感覚に合致した走行軌道制御を行うことが可能になり、運転者に違和感や恐怖感を抱かせることを抑制することができる。
特開2010−36777号公報
ここで、特許文献1の走行支援装置では、走行軌道の候補点となる格子点が複数配列されている格子点列を、移動体が走行中の道路上に所定間隔で道路に直交するように設定して、各格子点について視覚運動量を算出する。そして、全格子点の中で、算出した視覚運動量が最小となる格子点を注視点として設定するとともに、格子点列毎に視覚運動量が最小となる格子点を決定し、この格子点列毎の最小点を注視点まで繋ぐことで走行軌道を設定している。
このような手法で走行軌道を設定すると、車両が、旋回半径が一定であるカーブを定常円旋回する場合には適切な走行軌道となる。しかし、カーブの途中で旋回半径が変化したりすると、各格子点列において、視覚運動量が最小となる格子点の位置が横方向に変化する。このため、走行軌道として、必ずしも滑らかな軌道を描くようなものとはならず、適切な走行軌道を設定することができない場合があった。
本発明は、上述した点に鑑みてなされたもので、旋回半径が変化するような場合であっても、適切な目標軌道を設定することが可能な運転支援装置を提供することを目的とする。
上記目的を達成するために、請求項1に記載の運転支援装置では、特に、運動検出手段によって検出された周囲環境の運動を、移動体の運転者の網膜球面を模擬した座標系に投影し、その投影した運動における、移動体の運転者の注視点への視線方向を軸として、その軸回りで回転する運動成分を算出する回転運動成分算出手段と、この回転運動成分算出手段によって算出された回転運動成分の大きさが等しい等ポテンシャルラインを移動体の目標軌道として設定する目標軌道設定手段と、を設けたことを特徴とする。
移動体の運転者は、移動体が運動したとき、視覚に関しては、周囲環境の変化(視覚的には周囲環境の流れ(フロー))を捉えて、移動体の運動を知覚する。視覚により認識される周囲環境のフローには、注視点から周囲に放射状に拡がる発散成分(divergence)と、注視点の周りを回転する回転成分(curl)とがある。
ここで、本発明者は、上述したフローの発散成分と回転成分の内、特に回転成分が、例えば移動体を車両とした場合、道路の形状と、運転者の注視点とに応じて動的に変化することに着目した。具体的には、車両が走行している道路が右方向にカーブしており、注視点が、その右方向の前方道路に設定されると、道路右側の注視点に近い部分の回転成分の強度が最も高くなり、その道路右側部分から道路左側部分にかけて、回転成分の強度は、序々に低下していく。逆に、車両が走行している道路が左方向にカーブしており、注視点が、その左方向の前方道路に設定されると、道路左側の注視点に近い部分の回転成分の強度が最も高くなり、右側部分に向かうにつれて、回転成分の強度が序々に低下する。このように、フローの回転成分は、道路形状の変化と、その道路形状の変化に応じた注視点の変化に応じて、動的に強度分布が変化するのである。そして、フロー回転成分の強度分布は、上述したように、道路の左右方向の一端側から他端側へ序々に変化するものであり、同じ強度の回転成分を示す地点を結んだ等ポテンシャルラインは、移動体の目標軌道に適したものとなる。
そこで、請求項1に記載の運転支援装置では、周囲環境の運動から、移動体の運転者の注視点への視線方向を軸として、その軸回りで回転する回転運動成分を算出し、回転運動成分の大きさが等しい等ポテンシャルラインを移動体の目標軌道として設定することとした。これにより、例えば移動体としての車両が旋回しようとするカーブ路の旋回半径が途中で変化している場合、その旋回半径の変化に応じて動的に回転運動成分の強度分布も変化する。従って、旋回半径が途中で変化するような場合であっても、等ポテンシャルラインにより適切な目標軌道を設定することができる。
請求項2に記載したように、移動体は、道路を走行する車両であり、運動検出手段は、移動体の周囲の環境として、車両の走行方向における道路の路面上に複数のポイントを設定し、当該複数のポイントの運動を検出することが好ましい。本発明は、車両の他、航空機などの移動体の目標軌道を設定するために適用可能であるが、道路を走行するという制約条件がある車両に対して適用することが最も効果的である。車両は道路上を走行するものであり、その道路上において、運転者の感覚に合致した目標軌道を設定することができるためである。
請求項3に記載したように、運動検出手段は、道路地図を記憶した道路地図記憶手段と、車両の現在位置を検出する現在位置検出手段と、車両の横方向及び上下方向の運動を検出する車両運動検出手段と、を備え、道路地図及び車両の現在位置から定められる仮想の走行環境において、車両の横方向及び上下方向の運動を用いて、車両の運転者に対する複数のポイントの相対的な運動を検出しても良い。車両の運転者が視覚により知覚する周囲環境(道路)の運動は、車両と周囲環境との相対運動によって生ずるものである。このため、車両が走行する周囲環境が定まれば、車両の運動から算出することができる。
請求項4に記載したように、目標軌道設定手段は、車両の正面から注視点へ向けて伸びる等ポテンシャルラインを移動体の目標軌道として設定することが好ましい。これにより、目標軌道に基づき運転支援を行う際に、車両の現状の走行を乱すことなく運転支援を実行することができる。
請求項5に記載したように、運動検出手段は、移動体の周囲環境に存在する物体の位置を周囲環境として取得する物体検出手段を備え、物体検出手段によって取得された物体のうち、静止物体の位置の変化に基づいて、移動体の運転者に対する周囲環境の運動を検出するようにしても良い。例えば、ミリ波レーザ、レーザレーダ、ステレオカメラなどを物体検出手段として用いて、実際に移動体の周囲環境に存在する物体の位置を検出することができる。そして、移動体に対する物体の位置を検出することができれば、移動体の運転者の網膜球面を模擬した座標系における、その物体の運動を求めることができる。
請求項6に記載したように、注視点設定手段は、運動検出手段によって検出された周囲環境の運動を、移動体の運転者の網膜球面を模擬した座標系に投影した場合に、その運動が最も小さくなる点(フロー最小点)を、注視点として設定することが好ましい。移動体の運転者の視線方向は、周囲環境の中で、フロー最小点に誘導される性質を持っているため、フロー最小点を注視点とすることにより、注視点を精度良く設定することができる。
請求項7に記載したように、移動体の運転者の眼球を含む画像を撮像する運転者カメラを備え、注視点設定手段は、運転者カメラによって撮像された運転者の眼球を含む画像を解析することで注視点を設定するようにしても良い。このようにすれば、運転者の注視点を直接検出することができる。
また、請求項8に記載したように、移動体に搭載され、移動体の進行方向の画像を連続的に撮像する前方カメラを備え、注視点設定手段は、前方カメラが撮像した画像上のオプティカルフローに基づいて注視点を設定するようにしても良い。カメラが撮影した画像上のオプティカルフローから、移動体の前方において、周囲環境の運動が最も小さくなる点を求めることができるためである。
請求項9に記載したように、支援手段は、移動体の現在の運動状態から現在軌道を予測し、それら目標軌道と現在軌道との比較に基づいて前記移動体の軌道制御を行うことが好ましい。すなわち、車両の現在の軌道を目標軌道に一致させるような軌道制御を行っても、本発明では、適切な目標軌道を設定することができるので、運転者が違和感や恐怖感を覚えることが少ない軌道制御を行うことができる。
本実施形態の運転支援装置の構成を示すブロック図である。 車両の旋回時の走行軌道を目標軌道に一致させるための運転支援制御処理を示すフローチャートである。 (a)は、視覚により認識される周囲環境の流れにおける、注視点から周囲に放射状に拡がる発散成分(divergence)を説明するための図であり、(b)は、注視点の周りを回転する回転成分(curl)を説明するための、網膜球面を模擬した座標系を示す図である。 (a)〜(c)は、回転運動成分の算出方法を説明するための説明図である。 回転運動成分の等ポテンシャルラインを例示した図である。 現在の走行軌道の曲率半径が目標軌道の曲率半径よりも大きい状態を示す図である。 現在の走行軌道の曲率半径が目標軌道の曲率半径よりも小さい状態を示す図である。 現在の走行軌道と目標軌道との偏差の算出ポイントを示した図である。 複数のポイント毎の離心角変化率の絶対値の大きさと注視点とを示す図である。
以下、本発明の実施形態を図面に基づいて説明する。図1は、本実施形態の運転支援装置の構成を示すブロック図である。本実施形態の運転支援装置は、自動車のように道路を走行する車両(以下、単に車両という)の運転支援を行なうものとし、周囲環境検出部10、車両運動検出部16、運転支援ECU26、操舵アクチュエータ28、及び顔画像撮影カメラ30を備えている。
周囲環境検出部10は、道路地図データベース12と、現在位置検出器(例えば、GPS受信機)14とを有し、車両の現在位置から前方に伸びる道路の形状など、車両の走行環境(周囲環境)を検出するためのものである。周囲環境検出部10によって検出される走行環境は、運転支援ECU26に出力される。
車両運動検出部16は、車両の車幅方向である横方向の運動の大きさを検出する横方向加速度センサ18と、車両の上下方向の運動の大きさを検出する上下方向加速度センサ20とを備えている。さらに、車両運動検出部16は、車両の走行速度を検出する車速センサ22、及び車両の旋回方向への回転角の変化速度であるヨーレートを検出するヨーレートセンサ24を備えている。車両運動検出部16の各センサによって検出された検出値は、運転支援ECU26に入力される。
顔画像撮影カメラ30は、車両の運転者の顔を連続的に撮影し、その撮影画像を運転支援ECU26に出力する。
運転支援ECU26は、顔画像撮影カメラ30によって撮影された顔画像から運転者の黒目の位置を検出し、その黒目の位置に基づいて、運転者が視線を向けている注視点方向を決定する。さらに、運転支援ECU26は、周囲環境検出部10によって検出される走行環境において、決定した注視点方向から、運転者が注視している注視点を設定する。そして、上述した各センサからの検出値に基づき、車両の運転者に対する周囲の環境の運動を検出するとともに、その検出した周囲環境の運動を、車両の運転者が注視点を注視しているものとして、当該運転者の網膜球面を模擬した座標系に投影する。その投影した運動における、運転者の注視点への視線方向を軸として、その軸回りで回転する回転成分(curl)を算出する。すなわち、運転支援ECU26は、運転者の視覚により認識される周囲環境の流れの内、その注視点周りを回転する回転成分を求める。そして、車両の正面から伸びて、回転成分の大きさが等しい等ポテンシャルラインを車両の目標軌道として設定する。上述した回転成分の算出手法については後に詳細に説明する。
一方、運転支援ECU26は、車両の走行速度及びヨーレートから、車両が旋回する際の現在の走行軌道を算出する。そして、この現在の走行軌道が目標軌道に一致するように、例えば、ステアリングホイールの補助操舵トルクを調節する操舵アクチュエータ28を制御する。
次に、運転支援ECU26が実行する制御処理について、図2のフローチャート等の図面を参照しつつ説明する。図2は、車両の旋回時の走行軌道を目標軌道に一致させるための運転支援制御処理を示すフローチャートである。
まず、ステップS100において、運転支援ECU26は、周囲環境検出部10、及び車両運動検出部16の各種のセンサから検出信号の取り込みを行う。そして、ステップS110において、顔画像撮影カメラ30によって撮影された顔画像から黒目の位置を検出するための画像処理を実施する。そして、検出した黒目の位置に基づいて、運転者が視線を向けている注視点方向を決定する。
ここで、本実施形態では、周囲環境検出部10が、道路地図データベース12及び現在位置検出器14を備えているので、運転支援ECU26は、車両の現在位置から前方に伸びる道路形状などの走行環境を認識することができる。運転支援ECU26は、ステップS120において、その認識した仮想の走行環境において、決定した注視点方向から、運転者が注視している注視点を設定する。
続くステップS130において、運転支援ECU26は、上述した回転成分(curl)を算出する。この回転成分の算出手法について、以下に詳細に説明する。
まず、上述した仮想の走行環境において、前方道路を含む所定のエリア(例えば、フロントガラスから視認できるエリア)に、複数のポイントを設定する。この複数のポイントが配列される形状は、格子状、同心円状、同心楕円状など、いずれの形状であっても良い。
また、複数のポイントは、車両を基準として、その車両との位置関係が常に一定となるように設定しても良いし、周囲環境において固定した位置を取り、車両の走行に伴い、車両との相対的な位置関係が変化するように設定しても良い。ただし、車両との相対的な位置関係が変化する場合には、車両の走行に伴って、車両近傍のポイントが所定エリアから消滅すると、遠方に新たなポイントが設定される。これにより、所定エリアには、常に一定数のポイントが含まれることになる。
そして、車両運動検出部16の、横方向加速度センサ18、上下方向加速度センサ20、車速センサ22、及びヨーレートセンサ24から得たセンサ信号から、車両の運動を検出する。この検出された車両の運動を、仮想の走行環境に当てはめることにより、車両と上述した複数のポイントとの相対的な運動を検出することができる。車両の運転者が視覚により知覚する周囲環境(道路)の流れ(運動)は、車両と周囲環境との相対運動によって生ずるものだからである。
さらに、運転支援ECU26は、車両の前方道路を含む所定エリアに設定した複数のポイントの運動を、車両の運転者が注視点を注視しているものとして、車両の運転者の網膜球面を模擬した座標系(以下、網膜球面座標系)に投影する。そして、その投影した運動における、運転者の注視点への視線方向を軸として、その軸回りで回転する回転成分(curl)を算出する。すなわち、運転者が視覚により認識する周囲環境の流れの内、注視点周りを回転する回転成分(curl)を算出する。
車両の運転者は、車両が運動(走行)したとき、視覚に関しては、周囲環境の変化(視覚的には周囲環境の流れ(フロー))を捉えて、車両の運動を知覚する。視覚により認識される周囲環境の流れには、図3(a)に示すように、注視点から周囲に放射状に拡がる発散成分(divergence)と、図3(b)に示すように、注視点の周りを回転する回転成分(curl)とがある。
このうち、回転成分は、以下のようにして求めることができる。まず、図4(a)に示すように、注視点を目標地点とし、車両の現在位置(車両の運転者の視点位置)から目標地点に向かう方向をX軸、そのX軸と直交し、車両の横方向に伸びるY軸、及びX軸と直交し、車両の上下方向に伸びるZ軸からなる直交座標系を定める。そして、図4(b)に示すように、この直交座標系において、上述した所定エリアに設定された複数のポイントの座標位置(x、y、z)を求める。
さらに、図4(c)に示すように、座標位置(x、y、z)を有し、直交座標系の原点から距離RのポイントAの運動を網膜球面を模擬した座標系に投影した際の、網膜球面座標系での、そのポイントAの運動における回転運動成分は、以下の数式1によって算出することができる。
Figure 0004978721
つまり、車両の運転者の注視点への視線方向をX軸としているので、そのX軸の周りで回転する運動成分は、Y軸及びZ軸に関する座標位置と速度とから、YZ平面における速度の大きさとして求めることができる。なお、車両の横方向に伸びるY軸方向の速度成分、及び車両の上下方向に伸びるZ軸方向の速度成分は、横方向加速度センサ18及び上下方向加速度センサ20の検出値から求めることができる。
所定エリアに設定された全てのポイントについて、回転運動成分の算出が完了すると、ステップS140に進んで、算出した各ポイントの回転運動成分に基づいて、車両が旋回する際の目標軌道を決定する。
ここで、本発明者は、車両が直線路からカーブ路に進入する際に、その道路形状の変化と運転者の注視点の変化とに応じて、各ポイントの回転運動成分が動的に変化することに着目した。具体的には、図5に示すように、車両が走行している道路が右方向にカーブしており、運転者の注視点が、その右方向の前方のカーブ路上に設定されると、道路右側の注視点に近いポイントの回転運動成分の強度が最も高くなり、その道路右側から道路左側にかけて、各ポイントの回転運動成分の強度は、序々に低下していく。逆に、車両が走行している道路が左方向にカーブしており、運転者の注視点が、その左方向の前方のカーブ路上に設定されると、道路左側の注視点に近いポイントの回転運動成分の強度が最も高くなり、道路右側に向かうにつれて、回転運動成分の強度が序々に低下する。なお、図5においては、回転運動成分の強度が等しいポイントを結んだ5本の等ポテンシャルラインを例として示している。そして、各々の等ポテンシャルラインの線の太さは、回転運動成分の強度を表している。
このように、各ポイントの回転運動成分は、道路形状の変化と、その道路形状の変化に応じた注視点の変化に応じて、動的に強度分布が変化する。そして、回転運動成分の強度分布は、上述したように、道路の左右方向の一端側から他端側へ序々に変化するものであり、同じ強度の回転運動成分を示すポイントを結んだ等ポテンシャルラインは、移動体の目標軌道に適したものとなる。
そのため、ステップS140では、回転運動成分の大きさが等しい等ポテンシャルラインを車両の目標軌道として設定する。これにより、例えば車両が旋回しようとするカーブ路の旋回半径が途中で変化している場合であっても、その旋回半径の変化に応じて動的に回転運動成分の強度分布が変化するので、等ポテンシャルラインにより適切な目標軌道を設定することができる。
なお、等ポテンシャルラインから目標軌道を設定する場合、図5に示すように、車両の正面から注視点へ向けて伸びる等ポテンシャルラインを移動体の目標軌道として設定することが好ましい。これにより、目標軌道に基づき運転支援を行う際に、車両の現状の走行軌道を乱すことなく運転支援を実行することが可能になる。
ただし、等ポテンシャルラインから設定される目標軌道は、網膜球面座標系におけるものである。従って、車両の実際の走行軌道と対比できるようにするため、車両の進行方向を軸とする直交座標系に変換しておく。図6、図7は、直交座標系に変換した目標軌道を示す図である。
続くステップS150では、車両の走行速度とヨーレートとに基づいて、車両が旋回する際の実際の走行軌道を算出する。ステップS160では、目標軌道と実際の走行軌道とを比較し、目標軌道と実際の走行軌道が乖離している場合、実際の走行軌道が目標軌道に近づくように車両の走行軌道制御を行う。そして、ステップS170において、制御スイッチがオフされたか否かを判定し、制御スイッチがオンのままであれば、ステップS100からの処理を繰り返し、制御スイッチがオフされていると、図2のフローチャートに示す処理を終了する。
なお、上述した例では、車両の走行速度とヨーレートに基づいて車両が旋回する際の実際の走行軌道を算出したが、ヨーレートに代えて、ステアリング操舵角から実際の走行軌道を算出することも可能である。
また、走行軌道制御は、操舵アシスト量を変化させることで行うことができる。また、旋回特性を変化させることによって、走行軌道制御を行っても良い。
操舵アシスト量を変化させる場合、図6に示すように現在の走行軌道の曲率半径が目標軌道の曲率半径よりも大きいアンダーステアであるときには、アシスト量を増加させる。逆に、図7に示すように現在の走行軌道の曲率半径が目標軌道の曲率半径よりも小さいオーバーステアであるときには、アシスト量を減少させる。
また、旋回特性は、前後輪荷重バランスを変化させることで変化させることができる。荷重バランスを前輪側に移動させると回頭性が向上する。従って、図6に示すように現在の走行軌道の曲率半径が目標軌道の曲率半径よりも大きい場合、荷重バランスを前輪側に移動させる。一方、荷重バランスを後輪側に移動させると、安定性が向上する。従って、図7に示すように現在の走行軌道の曲率半径が目標軌道の曲率半径よりも小さい場合、荷重バランスを後輪側に移動させる。なお、前後輪荷重バランスを変化させる方法としては、公知の種々の方法を用いることができ、たとえば、駆動力/制動力を制御する方法や、スタビリティファクタを管理する方法などを用いることができる。
なお、上述した走行軌道制御においては、制御遅れなどを考慮し、図8に示すように、現在の走行軌道におけるN秒後の自車位置と、目標軌道におけるN秒後の位置との偏差を対象として、制御を行うことが好ましい。
以上説明したように、本実施形態によれば、前方道路を含む所定エリアに設定した複数のポイントの運動に関して、車両の運転者の注視点への視線方向を軸として、その軸周りで回転する回転運動成分を算出し、回転運動成分の大きさが等しい等ポテンシャルラインを車両の目標軌道として設定した。これにより、車両が旋回しようとするカーブ路の旋回半径が途中で変化している場合であっても、その旋回半径の変化に応じて動的に回転運動成分の強度分布も変化するので、等ポテンシャルラインにより適切な目標軌道を設定することができる。
以上、本発明の好ましい実施形態について説明したが、本発明は、上述した実施形態になんら制限されることなく、本発明の主旨を逸脱しない範囲において、種々変形して実施することができる。
例えば、上述した実施形態では、運転者の顔を撮影する顔画像撮影カメラ30を設置し、そのカメラによって撮像された顔画像から運転者の黒目の位置を検出し、その黒目の位置に基づいて注視点を設定していた。しかしながら、例えば車両の前方方向を撮影するカメラを設置し、その前方カメラが撮像した画像において、物体の動きをベクトル表現し(すなわち、オプティカルフローを算出し)、そのオプティカルフローが最小となる点を注視点に設定してもよい。車両の運転者は、運転中に視角運動量の最小点を注視する傾向にあることが、経験的に、また、心理学的に明らかなためである。なお、この場合、オプティカルフローを算出する点を道路上に限定してもよい。また、注視点を設定する位置を道路上に限定しても良い。
また、注視点の設定に関しては、周囲環境検出部10によって得られる仮想の走行環境に、車両運動検出部16によって検出した車両の運動を当てはめることにより、走行環境において設定した複数のポイントの中で、最も運動が小さくなるポイントを注視点として設定しても良い。
この場合、運転支援ECU26は、車両の運転者が、当該車両の車軸方向を視ているものとして、車両の前方道路を含む所定エリアに設定した複数のポイントの運動を、車両の運転者の網膜球面を模擬した座標系(以下、網膜球面座標系)に投影して、その網膜球面座標系における運動の大きさを示す視覚運動量を演算する。
図4(c)において、車両の車軸方向をX軸、このX軸とY軸とのなす平面において、X軸からの角度である方位角をθ、X軸とZ軸とがなす平面において、X軸からの角度である仰角をφとし、位置Aの網膜球面座標系上での像(網膜像)をaとすると、網膜像aの位置はa(θ、φ)と記述することができる。そして、運転支援ECU26は、その網膜像aの離心角ωの変化率(離心角変化率)の絶対値を視覚運動量として算出する。離心角変化率は、車速をV、位置Aまでの距離をR、ヨーレートをγとすると、次の数式2で表すことができる。
Figure 0004978721
上述した数式2の導出方法については、特許文献1に詳しく記載されているので、導出方法についての説明は省略する。
運転支援ECU26は、車両の前方道路を含む所定エリアに設定した複数のポイントの位置、距離R、車速V、及びヨーレートγから、式2を用いて、各ポイントの離心角変化率を連続的に算出する。この離心角変化率は、網膜球面座標系を用いて算出したものであることから、運転者の視覚感覚を示していると言える。すなわち、運転支援ECU26は、所定エリアに設定した複数のポイントの物理的運動(並進運動、回転運動)を、視覚的な運動量に変換している。
このようにして、所定のエリアに設定した複数のポイントに関して視覚運動量を算出すると、次に、算出した複数のポイントの視覚運動量に基づいて運転者の注視点を逐次設定する。具体的には、例えば図9に示すように、複数のポイントに関して、視角運動量として算出した離心角変化率の絶対値のうちの最小値を探索し、この最小値に対応するポイントを注視点に設定する。なお、運転者は、運転中は道路上のどこかを注視していると推定できるため、注視点の設定位置は、車両が走行する前方道路上に制限しても良い。また、図9は、複数のポイントを格子状に設定した例を示しているが、上述したように、複数のポイントを設定する位置は、このような例に限られるものではない。
また、上述した実施形態では、車両の運動を検出し、検出した車両運動を仮想の走行環境に当てはめることにより、車両と周囲環境(複数のポイント)との相対的な運動を検出していた。しかしながら、例えば、ミリ波レーザ、レーザレーダ、ステレオカメラなどを物体検出手段として用いて、実際に車両の周囲環境に存在する静止物体の位置情報(方位、距離)を検出することにより、車両に対する周囲の静止物体の運動を検出することも可能である。なお、検出対象となる静止物体としては、路面、ガードレール、標識などが該当する。車両に対する静止物体の位置情報を検出することができれば、車両の運転者の網膜球面を模擬した座標系における、その静止物体の運動を求めることができるためである。
また、上述した実施形態では、前方道路を含む所定のエリアに設定された複数のポイントの運動を網膜球面座標系に投影して、注視点への視線方向周りの回転運動成分を算出していた。しかしながら、目標軌道は道路上に設定されるものであるため、上述した複数のポイントは、車両が走行する道路上のみに設定するようにしても良い。これにより、運転支援ECU26における演算処理負荷を軽減することができる。
また、運転支援として、軌道制御を行なうことなく、単に、目標軌道をヘッドアップディスプレイ等の表示器に表示するだけでもよい。
また、上述した実施形態では、移動体として車両を例示していたが、飛行機、二輪車、車椅子等、他の移動体にも本発明は適用可能である。
10:周囲環境検出部
16:車両運動検出部
26:運転支援ECU
28:操舵アクチュエータ
30:顔画像撮影カメラ

Claims (9)

  1. 移動体の運転者の注視点を設定する注視点設定手段と、
    前記移動体の運転者に対する、その移動体の周囲の環境の運動を検出する運動検出手段と、
    前記運動検出手段によって検出された周囲環境の運動を、前記移動体の運転者の網膜球面を模擬した座標系に投影し、その投影した運動における、前記移動体の運転者の前記注視点への視線方向を軸として、その軸回りで回転する運動成分を算出する回転運動成分算出手段と、
    前記回転運動成分算出手段によって算出された回転運動成分の大きさが等しい等ポテンシャルラインを前記移動体の目標軌道として設定する目標軌道設定手段と、
    前記目標軌道設定手段によって設定された目標軌道に基づいて、運転支援を行う支援手段と、を備えることを特徴とする運転支援装置。
  2. 前記移動体は、道路を走行する車両であって、
    前記運動検出手段は、前記移動体の周囲の環境として、車両の走行方向における道路の路面上に複数のポイントを設定し、当該複数のポイントの運動を検出することを特徴とする請求項1に記載の運転支援装置。
  3. 前記運動検出手段は、
    道路地図を記憶した道路地図記憶手段と、
    前記車両の現在位置を検出する現在位置検出手段と、
    前記車両の横方向及び上下方向の運動を検出する車両運動検出手段と、を備え、
    前記道路地図及び前記車両の現在位置から定められる仮想の走行環境において、前記車両の横方向及び上下方向の運動を用いて、前記車両の運転者に対する前記複数のポイントの相対的な運動を検出することを特徴とする請求項2に記載の運転支援装置。
  4. 前記目標軌道設定手段は、前記車両の正面から前記注視点へ向けて伸びる等ポテンシャルラインを前記移動体の目標軌道として設定することを特徴とする請求項1乃至請求項3のいずれか一項に記載の運転支援装置。
  5. 前記運動検出手段は、
    移動体の周囲環境に存在する物体の位置を周囲環境として取得する物体検出手段を備え、
    前記物体検出手段によって取得された物体のうち、静止物体の位置に基づいて、前記移動体の運転者に対する周囲環境の運動を検出することを特徴とする請求項1に記載の運転支援装置。
  6. 前記注視点設定手段は、前記運動検出手段によって検出された周囲環境の運動を、前記移動体の運転者の網膜球面を模擬した座標系に投影した場合に、その運動が最も小さくなる点を、前記注視点として設定することを特徴とする請求項1乃至請求項5のいずれか一項に記載の運転支援装置。
  7. 前記移動体の運転者の眼球を含む画像を撮像する運転者カメラを備え、
    前記注視点設定手段は、前記運転者カメラによって撮像された運転者の眼球を含む画像を解析することで前記注視点を設定することを特徴とする請求項1乃至請求項5のいずれか一項に記載の運転支援装置。
  8. 前記移動体に搭載され、移動体の進行方向の画像を連続的に撮像する前方カメラを備え、
    前記注視点設定手段は、前記前方カメラが撮像した画像上のオプティカルフローに基づいて前記注視点を設定することを特徴とする請求項1乃至請求項5のいずれか一項に記載の運転支援装置。
  9. 前記支援手段は、前記移動体の現在の運動状態から現在軌道を予測し、それら目標軌道と現在軌道との比較に基づいて前記移動体の軌道制御を行うことを特徴とする請求項1乃至請求項8のいずれか一項に記載の運転支援装置。
JP2010186412A 2010-08-23 2010-08-23 運転支援装置 Expired - Fee Related JP4978721B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2010186412A JP4978721B2 (ja) 2010-08-23 2010-08-23 運転支援装置
US13/199,190 US8401714B2 (en) 2010-08-23 2011-08-22 Apparatus for supporting drive of mobile object based on target locus thereof
FR1157445A FR2963916B1 (fr) 2010-08-23 2011-08-22 Appareil pour faire fonctionner un objet mobile
CN201110249940.0A CN102407849B (zh) 2010-08-23 2011-08-23 基于移动对象的目标轨迹来支持移动对象的驾驶的设备
DE102011081370.5A DE102011081370B4 (de) 2010-08-23 2011-08-23 Vorrichtung zur Unterstützung der Fahrt eines mobilen Objekts auf der Grundlage von dessen Sollortskurve

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010186412A JP4978721B2 (ja) 2010-08-23 2010-08-23 運転支援装置

Publications (2)

Publication Number Publication Date
JP2012041020A JP2012041020A (ja) 2012-03-01
JP4978721B2 true JP4978721B2 (ja) 2012-07-18

Family

ID=45561319

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010186412A Expired - Fee Related JP4978721B2 (ja) 2010-08-23 2010-08-23 運転支援装置

Country Status (5)

Country Link
US (1) US8401714B2 (ja)
JP (1) JP4978721B2 (ja)
CN (1) CN102407849B (ja)
DE (1) DE102011081370B4 (ja)
FR (1) FR2963916B1 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5741697B2 (ja) * 2011-08-31 2015-07-01 トヨタ自動車株式会社 車両の走行制御装置
FR3006817B1 (fr) * 2013-06-10 2016-11-18 Hispano Suiza Sa Dispositif et procede d'assistance d'un systeme de generation electrique d'un aeronef
JP6108974B2 (ja) * 2013-06-14 2017-04-05 日立オートモティブシステムズ株式会社 車両制御システム
JP5947279B2 (ja) * 2013-12-20 2016-07-06 株式会社デンソー 進路推定装置,及びプログラム
JP6206258B2 (ja) * 2014-03-06 2017-10-04 富士通株式会社 軌跡推定装置、軌跡推定方法およびプログラム
JP6281405B2 (ja) * 2014-05-12 2018-02-21 株式会社デンソー 運転支援装置
EP2950294B1 (en) * 2014-05-30 2019-05-08 Honda Research Institute Europe GmbH Method and vehicle with an advanced driver assistance system for risk-based traffic scene analysis
US9747812B2 (en) 2014-10-22 2017-08-29 Honda Motor Co., Ltd. Saliency based awareness modeling
JP6390525B2 (ja) * 2015-06-04 2018-09-19 株式会社デンソー 運転支援装置
JP6723836B2 (ja) * 2016-06-03 2020-07-15 株式会社デンソーテン レーダ装置および信号処理方法
KR101896790B1 (ko) * 2016-11-08 2018-10-18 현대자동차주식회사 운전자 집중도 판정 장치, 그를 포함한 시스템 및 그 방법
JP6919349B2 (ja) * 2017-06-09 2021-08-18 株式会社アイシン 走行支援システム
US11237554B2 (en) * 2018-03-08 2022-02-01 Steering Solutions Ip Holding Corporation Driver readiness assessment system and method for vehicle
FR3087734B1 (fr) * 2018-10-24 2020-11-27 Institut De Recherche Tech Systemx Procede d'aide a la conduite, systeme et vehicule associes
US11479245B2 (en) * 2019-02-14 2022-10-25 Honda Motor Co., Ltd. Semi-autonomous vehicle control system and method of controlling a semi-autonomous vehicle
GB2583898B (en) * 2019-04-17 2021-09-08 Jaguar Land Rover Ltd Control system for driver monitoring and steering control
US20210064030A1 (en) * 2019-08-27 2021-03-04 Yu-Sian Jiang Driver assistance for a vehicle and method for operating the same
CN113408331A (zh) * 2020-03-17 2021-09-17 株式会社斯巴鲁 注视对象检测装置
US20220280010A1 (en) * 2021-03-02 2022-09-08 Yujin Robot Co., Ltd. Moving path planning apparatus and method for robot
DE102021129244A1 (de) * 2021-11-10 2023-05-11 Bayerische Motoren Werke Aktiengesellschaft Fahrassistenzsystem und Verfahren zum Betreiben eines Fahrassistenzsystems

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2701480B2 (ja) 1989-10-05 1998-01-21 富士電機株式会社 カップ式飲料自動販売機
JPH05270368A (ja) 1991-12-04 1993-10-19 Nec Corp 自動車速度制御システム
US5517021A (en) * 1993-01-19 1996-05-14 The Research Foundation State University Of New York Apparatus and method for eye tracking interface
JP3201094B2 (ja) 1993-09-16 2001-08-20 三菱自動車工業株式会社 車両用自動操舵装置
JPH07156818A (ja) 1993-12-08 1995-06-20 Mitsubishi Motors Corp 車両用自動操舵装置
DE19734307C2 (de) * 1997-08-08 1999-06-10 Bosch Gmbh Robert Verfahren und Vorrichtung zur Überwachung und/oder Beeinflussung des Fahrzeugverhaltens eines fahrergesteuerten Kraftfahrzeugs
JPH11348696A (ja) * 1998-06-15 1999-12-21 Toyota Motor Corp 進行路形状推定装置及びこれを用いた走行支援装置
WO2005055189A1 (en) * 2003-12-01 2005-06-16 Volvo Technology Corporation Perceptual enhancement displays based on knowledge of head and/or eye and/or gaze position
JP4161923B2 (ja) * 2004-03-09 2008-10-08 株式会社デンソー 車両安定化制御システム
JP4277081B2 (ja) * 2004-03-17 2009-06-10 株式会社デンソー 運転支援装置
US7616782B2 (en) * 2004-05-07 2009-11-10 Intelliview Technologies Inc. Mesh based frame processing and applications
JP4622317B2 (ja) * 2004-05-31 2011-02-02 株式会社デンソー 経路案内装置及びプログラム
JP4835054B2 (ja) * 2005-07-12 2011-12-14 株式会社デンソー 車両安定化制御システム
DE102007040539B4 (de) * 2006-09-04 2014-03-27 Denso Corporation Fahrzeugsteuersystem
JP2008203410A (ja) 2007-02-19 2008-09-04 Toshiba Matsushita Display Technology Co Ltd 表示制御回路
CN101674965B (zh) * 2007-05-02 2013-05-22 丰田自动车株式会社 车辆行为控制装置
JP2009292409A (ja) * 2008-06-09 2009-12-17 Yazaki Corp ヘッドアップディスプレイ装置
JP4735676B2 (ja) * 2008-08-06 2011-07-27 株式会社デンソー 走行支援装置
JP2010186412A (ja) 2009-02-13 2010-08-26 Hitachi Ltd 文書管理方法及び管理装置

Also Published As

Publication number Publication date
CN102407849A (zh) 2012-04-11
FR2963916B1 (fr) 2019-06-21
JP2012041020A (ja) 2012-03-01
DE102011081370A1 (de) 2012-05-03
US20120046802A1 (en) 2012-02-23
FR2963916A1 (fr) 2012-02-24
CN102407849B (zh) 2014-09-03
US8401714B2 (en) 2013-03-19
DE102011081370B4 (de) 2021-03-18

Similar Documents

Publication Publication Date Title
JP4978721B2 (ja) 運転支援装置
JP4978722B2 (ja) 速度制御装置
JP4735676B2 (ja) 走行支援装置
US10455882B2 (en) Method and system for providing rear collision warning within a helmet
JP6409699B2 (ja) 自動運転システム
WO2018066695A1 (ja) 車載表示制御装置
US9817237B2 (en) Head-up display device
JP6381807B2 (ja) 表示制御装置、表示装置および表示制御方法
US20170028995A1 (en) Vehicle control apparatus
JP2007022117A (ja) 車両安定化制御システム
JP2014021770A (ja) 車載音響装置及びプログラム
JP2018203180A (ja) 移譲制御装置及び制御プログラム
JP2016009251A (ja) 車両用制御装置
JP7115276B2 (ja) 運転支援装置、ウェアラブル装置、運転支援システム、運転支援方法およびプログラム
US11605222B2 (en) Apparatus and system related to an intelligent helmet
JP2015214282A (ja) 運転支援装置
US11990066B2 (en) System and method to adjust inclined heads-up display perspective
US20220270527A1 (en) Display control device
KR20200071968A (ko) 차량 및 그 제어방법
JP5915519B2 (ja) 音像定位装置、及び、プログラム
JP2018200701A (ja) 車両用制御装置
JP7379253B2 (ja) 挙動推定システム及び挙動推定方法
JP6933949B2 (ja) 運転支援装置及び運転支援方法
JP7257623B2 (ja) 表示制御装置および表示制御方法
JP2008198014A (ja) 運転支援装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120321

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120403

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150427

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4978721

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees