JPH10112000A - 障害物認識装置 - Google Patents

障害物認識装置

Info

Publication number
JPH10112000A
JPH10112000A JP8281761A JP28176196A JPH10112000A JP H10112000 A JPH10112000 A JP H10112000A JP 8281761 A JP8281761 A JP 8281761A JP 28176196 A JP28176196 A JP 28176196A JP H10112000 A JPH10112000 A JP H10112000A
Authority
JP
Japan
Prior art keywords
obstacle
probability
sensor
determination
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP8281761A
Other languages
English (en)
Other versions
JP3564897B2 (ja
Inventor
Kenji Mihashi
研二 三橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzuki Motor Corp
Original Assignee
Suzuki Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzuki Motor Corp filed Critical Suzuki Motor Corp
Priority to JP28176196A priority Critical patent/JP3564897B2/ja
Publication of JPH10112000A publication Critical patent/JPH10112000A/ja
Application granted granted Critical
Publication of JP3564897B2 publication Critical patent/JP3564897B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Traffic Control Systems (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

(57)【要約】 【課題】 測定範囲内の全ての領域について障害物の存
在を判定すること。 【解決手段】 障害物までの距離を測定するセンサ部2
と、センサ部2から出力された障害物までの距離情報に
基づいてセンサ部2の計測範囲の各地点が「障害物有
り」,「障害物無し」及び「不明」の3領域の評価のう
ちいずれに属するかを判定する判定手段4と、この判定
手段4による判定結果と実際の障害物の有無との関係を
判定正答率として予め記憶した判定正答率記憶手段8
と、この判定正答率記憶手段8に格納された判定正答率
情報に基づいて判定手段4による「障害物有り」及び
「障害物無し」の判定結果の確からしさを算出する確率
算出手段6とを備えた。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、障害物認識装置に
係り、特に、測定結果を確率的に評価する障害物認識装
置に関する。障害物認識装置としては、自動車の外界環
境センサや、自律走行ロボットの障害物センサなどがあ
る。
【0002】
【従来の技術】障害物認識装置(障害物センサ)は、障
害物を測定し、その結果を出力する。障害物センサの出
力データとしては、第1に、障害物の有無を出力するも
のと、第2に、障害物までの距離を出力するものと、第
3に、障害物の座標を出力するものとがある。
【0003】このような障害物認識装置では、センサ種
類によって、センサ出力に電気的ノイズ、対象物の反射
特性、風、空気の不均一等のノイズが含まれる。
【0004】これに対して、従来より、単一の障害物セ
ンサで複数回測定した場合には、その単純平均を算出す
ることで信頼性を向上させることが考えられている。ま
た、多種の障害物センサを用いた場合には、論理的な条
件分岐によって、障害物の有無の精度を向上させるよう
にしていた。
【0005】
【発明が解決しようとする課題】しかしながら、従来例
では、ノイズによる判定エラーの発生率が考慮されてい
ないため、判定結果の信頼性を考慮したセンサ出力を得
ることができない、という不都合があった。特に、複数
のセンサ出力の信頼性を考慮した融合処理を行うことが
できない、という不都合があった。
【0006】さらに、例えば、障害物有りと判定したと
きに実際には障害物が存在しない判定エラーの発生率
が、障害物無しと判定したときに実際には障害物がある
確率を大きく上回る場合には、障害物無しとの判定結果
の信頼性がより高いため、多数決的な判断とは結論が逆
となってしまう。
【0007】例えば、3回の測定中、2回は障害物あり
と出力し、1回は障害物無しと出力した場合、従来例で
は、一般に多数決で判断しているため、障害物有りの出
力がほうが無しの出力よりも多いと、障害物ありという
結論となってしまう。
【0008】また、距離センサであれば距離が出力され
るのみであり、測定範囲の障害物の配置がどのようにな
っているのかを全体的に知ることができない、という不
都合があった。特に、精度良く複数のセンサ出力の結果
を融合できないため、複数のセンサの測定範囲内のある
地点を特定してその地点に障害物が存在するか否かを知
るために良好な障害物認識装置はなかった。
【0009】
【発明の目的】本発明は、係る従来例の有する不都合を
改善し、特に、測定範囲内の全ての領域について障害物
の存在を判定することのできる障害物認識装置を提供す
ることを、その目的とする。
【0010】
【課題を解決するための手段】そこで、本発明では、障
害物までの距離を測定するセンサ部と、このセンサ部の
出力に基づいて障害物の有無を認識する認識部とを備え
てる。さらに、認識部は、センサ部から出力された障害
物までの距離情報に基づいてセンサ部の計測範囲の各地
点が「障害物有り」,「障害物無し」及び「不明」の3
領域の評価のうちいずれに属するかを判定する判定手段
と、この判定手段による判定結果と実際の障害物の有無
との関係を判定正答率として予め記憶した判定正答率記
憶手段と、この判定正答率記憶手段に格納された判定正
答率情報に基づいて判定手段による「障害物有り」及び
「障害物無し」の判定結果の確からしさを算出する確率
算出手段とを備えた、という構成を採っている。これに
より前述した目的を達成しようとするものである。
【0011】判定正答率情報は、センサの特性を示す値
となる。これは、判定結果が「障害物有り」のときに実
際に障害物が存在する確率や、判定結果が「障害物無
し」のときに実際には障害物が存在する確率など、事前
の計測により求めた確率値である。従って、確率算出手
段は、判定手段によって3領域に区分された各領域毎
に、障害物が存在する確率や、障害物が存在しない確率
を求める。この確率は、事象Fが既に起こっているとい
う過程のもとで事象Eの起こる確率を示す条件付き確率
である。このように、確率算出手段によって、単一の距
離センサ出力に基づいて、センサの計測範囲全てについ
て、センサの特性を考慮した障害物の存在する確率が算
出される。
【0012】複数のセンサの場合には、一旦このような
障害物存在確率を各センサ毎に算出しておいて、次いで
同一地点については各センサによる確率を融合する。こ
のため、各センサの特性に応じた複数のセンサ出力の融
合が行われる。
【0013】
【発明の実施の形態】以下、本発明の実施の形態を図面
を参照して説明する。
【0014】図1は、本発明による障害物認識装置の構
成を示すブロック図である。障害物認識装置は、障害物
までの距離を測定するセンサ部2と、このセンサ部2の
出力に基づいて障害物を認識する認識部とを備えてい
る。この認識部は、センサ部2から出力された障害物ま
での距離情報に基づいてセンサ部2の計測範囲の各地点
が「障害物有り」,「障害物無し」及び「不明」の3領
域の評価のうちいずれに属するかを判定する判定手段4
を備えている。
【0015】さらに、認識部は、判定手段4による判定
結果と実際の障害物の有無との関係を判定正答率として
予め記憶した判定正答率記憶手段8と、この判定正答率
記憶手段8に格納された判定正答率情報に基づいて判定
手段4による「障害物有り」及び「障害物無し」の判定
結果の確からしさを算出する確率算出手段6とを備えて
いる。
【0016】この図1に示す単一の距離センサを用いる
例では、この距離センサの特性に基づいて予め判定正答
率情報が作成されている。これは、「障害物有り」「障
害物無し」「障害物まで3m」等の判定結果が実際の障
害物の有無やその距離と一致する確率を測定したもので
ある。本実施形態では、「障害物有り」と判定したとき
に実際に障害物が存在する確率と、「障害物無し」と判
定したときに実際に障害物が存在する確率とを一定間隔
毎に測定した確率値を判定正答率情報としている。この
判定正答率情報により、判定結果及び測距結果に応じ
て、障害物が存在する確率を算出することができる。
【0017】一方、各判定結果に応じて障害物が存在し
ない確率を判定正答率情報とすると、判定結果及び測距
結果に応じて、障害物が存在しない確率を算出すること
ができる。さらに、風速センサ等を併設し、この風速セ
ンサ出力に応じた距離センサの正答率を判定正答率情報
とするようにしてもよい。
【0018】判定手段4は、センサ部2から出力された
障害物までの距離情報に基づいてセンサ部2の前面から
当該障害物に至る範囲を「障害物無し」と判定する第1
の判定機能と、当該障害物近傍を「障害物有り」と判定
する第2の判定機能と、当該障害物以降の範囲を「不
明」と判定する第3の障害物判定機能とを備えている。
また、判定手段4は、障害物が発見されない場合には、
計測範囲全体を「障害物無し」と判定する第4の障害物
判定機能を備えている。
【0019】このため、センサ部2の測定範囲全体につ
いて、「障害物無し」の領域と、「障害物有り」の領域
と、「不明」の領域とに区分される。この判定手段4
は、1つの障害物によって、当該障害物よりも遠方の障
害物の有無は不明となり、また、当該障害物が発見され
た以上、この測距を遮断するような他の障害物は当該障
害物よりも近接には存在しないという考えに基づいて領
域を区分する。この判定手段による区分の段階では、未
だ確率計算は行われていない。
【0020】障害物が存在する確率を計測範囲について
求める場合を例とすると、判定正答率記憶手段8は、判
定手段4の「障害物有り」との判定結果のときに実際に
障害物が存在する第1の確率値を記憶した第1の記憶領
域と、判定手段4の「障害物無し」との判定結果のとき
に実際には障害物が存在する第2の確率値を記憶した第
2の記憶領域とを備える。
【0021】さらに、確率算出手段6は、第1の記憶領
域に格納された第1の確率値に基づいて判定手段4によ
って「障害物有り」と判定された範囲に障害物が存在す
る確率を算出する第1の確率算出機能と、第2の記憶領
域に格納された第2の確率値に基づいて判定手段によっ
て「障害物無し」と判定された範囲に障害物が存在する
確率を算出する第2の確率算出機能を備える。
【0022】このため、判定手段によって計測範囲が3
つの領域に区分された後、この確率算出手段6によって
各領域について障害物存在確率が算出される。この計測
範囲の各地点について障害物の存在確率が与えられたデ
ータを、ここでは、障害物地図という。図1に示す例で
は、単一のセンサによりこの障害物地図を生成する。こ
こでは、この単一のセンサによる障害物地図を第1の障
害物地図という。
【0023】図2は複数の距離センサを備えた場合に障
害物地図を作成する構成を示すブロック図である。図2
に示すように、センサ部2は、一部重なる測定範囲の測
定結果を複数出力する同一又は複数の距離第1のセンサ
0を備えている。しかも、判定手段4が、センサ部2か
ら出力された複数の測定結果毎に3領域の評価のうちい
ずれに属するかを判定する測定結果別判定機能12を備
えている。
【0024】さらに、確率算出手段6が、測定結果別判
定機能12によってそれぞれ判定された領域毎に判定正
答率記憶手段8に格納された判定正答率情報に基づいて
実際に障害物が存在する確率を障害物存在確率として算
出する測定結果別確率算出機能14を備えている。そし
て、確率算出手段6に、測定結果別確率算出機能14に
よって算出された同一地点についての複数の障害物存在
確率を融合する融合手段16を併設している。
【0025】しかも、融合手段16に、当該融合手段1
6によって融合された障害物存在確率をセンサ部2の測
定範囲内に配置した障害物地図を生成する障害物地図生
成手段18を併設している。
【0026】この図2に示す例では、センサ部2は、複
数の測定結果を出力する。これは、複数の距離第1のセ
ンサ0によって一部重なる範囲を測定するようにしても
よいし、また、同一の距離センサで複数回測定すること
で複数の測定結果を出力するようにしてもよい。さら
に、同一又は複数の距離センサを一定角度で回動させる
ことにより測定範囲を変更し、測定範囲が一部重なる測
定結果を複数出力するようにしてもよい。
【0027】測定結果別判定機能12は、複数の測定結
果毎に第1乃至第3の判定機能を用いて各センサ出力毎
に3領域に区分する。さらに、測定結果別確率算出機能
14は、判定正答率として予め定められた各センサの特
性に応じて、各センサ出力の各領域毎に障害物存在確率
を算出する。
【0028】次いで、融合手段16は、測定結果が重な
り合う部分について、測定結果別確率算出機能により各
センサ出力毎に算出された障害物存在確率を一定の算出
式を用いて融合する。例えば、第1の測定結果による障
害物が存在する確率が96%であり、第2の測定結果に
よる障害物存在確率が90%であれば、93%に融合す
る。
【0029】障害物地図生成手段18は、このように算
出された障害物存在確率をセンサ部2を基点とした地図
に配置する。すなわち、元来測定対象外の部分と、障害
物が発見された部分よりも遠方を「不明(50%)」と
したうえ、測定範囲が重なった部分については融合した
障害物存在確率を配置し、重ならない部分については測
定結果別確率算出機能によって算出された障害物存在確
率を配置する。
【0030】このため、図2に示す例では、測定範囲を
重ね合わせることにより、複数のセンサ出力に基づいた
より信頼性の高い数値で障害物が存在する確率を出力す
ることができ、しかも、測定範囲について距離だけを出
力し座標を出力するものではない距離センサにあって
は、測定範囲を重ね合わせることにより空間上の分解能
を向上させることができる。しかも、障害物の有無を一
旦抽象的な確率値に変換した後、この確率値を融合する
ため、複数のセンサ出力があった場合の解釈をより正確
に行うことができ、さらに、判定正答率を用いて障害物
の有無の確率を算出するため、各センサの特性を考慮し
た値を出力することができ、従って、他種類のセンサ特
性の異なるセンサを用いた測定結果であっても、これを
精度良く融合することができる。
【0031】図1及び図2に示す例では、単一又は複数
のセンサ出力に基づいて、この障害物認識装置を搭載し
た車両が右左折するときに、当該進行方向の障害物の存
在確率を第1の障害物地図から読み出してその適否を判
断するといった、ある地点を中心とした処理が可能とな
る。そして、一方の処理でこの障害物地図を逐次更新
し、他方の処理で必要に応じてこの障害物地図を参照す
る制御が可能となる。
【0032】また、この障害物地図を一定時間毎に記憶
することで、当該障害物認識装置を備えた車両に生じた
事実の事後的な解析が可能となる。さらに、車両の遠隔
操作を行うシステムでは、障害物認識装置に通信制御装
置を併設し、障害物地図を逐次外部の操作装置に送信す
ることで、障害物の存在確率をディスプレイ等で確認し
ながら遠隔操作を良好に行うことが可能となる。
【0033】以下、図3乃至図7を参照して本実施形態
を詳細に説明する。
【0034】〔単一の距離センサを用いる実施形態〕セ
ンサ部2は、ある地点の障害物の有無を測定し出力す
る。センサ部2の構成例を図3を参照して説明する。図
3(A)は、CCDカメラ2Aを用いた障害物センサを
示す図である。図3(B)は、ステレオCCDカメラ2
Bによる距離センサの例を示す図である。図3(C)は
レーザによるレーザによる三角測量を利用した距離セン
サの例を示す図であり、図3(D)は反射伝搬時間を利
用した距離センサを示す図である。さらに、図3(E)
に示すように、、超音波を利用した距離センサがある。
また、図3(F)に示すように、障害物まで直接ゲージ
で距離を測定する手法もある。
【0035】ここでは、障害物センサからデータの出力
があるときには、空間的に広がりを持って障害物が存在
する確率が0.5(50%)以上であることを示してい
ると解釈する。例えば、超音波距離センサの場合、ある
距離データが出力される。この出力から、その距離周辺
に障害物が存在しているだろうという判定をすることが
できる。
【0036】図4は判定手段の制御内容を説明するため
の説明図である。例えば、図4(A)に示すように、セ
ンサ部2として、最も近い障害物を検出して距離データ
を出力する距離センサを採用し、その測定距離範囲は1
0mで測定幅範囲は1mであるとする。このとき、3m
の位置に障害物があるという出力があると、判定手段4
は、図4(B)に示すように当該出力データを次のよう
に解釈する。
【0037】・センサの前面より3mまでは障害物がな
い。 ・3mの地点から障害物奥行き(例えば、0.5m)に
障害物がある。 ・障害物奥行き(3.5m)より遠方の障害物に関する
情報はない。
【0038】しかし障害物センサはノイズを含む曖昧さ
があるため、「実際には障害物無しなのにあると判断」
したり、「実際には障害物有りなのに無しと判断」する
判定エラーが生じる。このように雑音の含まれた測定値
をしきい値によって判別するために、本実施形態では確
率的な考え方を導入する。
【0039】図5に示すように、ある地点(x,y,
z)での障害物があるという事象をA、障害物センサに
よって障害物があると判定する事象をBとする。それぞ
れの余事象をAc(障害物がない),Bc(障害物センサ
が障害物無しと判定する)とすると、次の4通りの条件
付き確率が考えられる。
【0040】P(A|B) ... センサの判断が障害物
有りのときで、実際に障害物がある確率。 P(Ac|B) ... センサの判断が障害物有りのとき
で、実際には障害物がない確率。 P(A|Bc) ... センサの判断が障害物無しのとき
で、実際には障害物がある確率。 P(Ac|Bc) ... センサの判断が障害物無しのとき
で、実際には障害物がない確率。
【0041】これは、次式(1)で表される。
【数1】
【0042】センサの判断の確率P(B)は直接求める
ことはできない。実験的に計測可能なのは、P(B|
A),P(Bc|A),P(Bc|Ac),P(B|Ac
の4通りの確率である。
【0043】図5に示すように、それぞれの事象の個数
を仮定すると、式(2)であらわされる。この式(2)
に示す関係より、センサ出力が障害物有りのときに実際
に障害物がある確率P(A|B)を示す次式(3)が導
かれる。さらに、センサ出力が障害物無しのとき、実際
には障害物がある確率P(A|Bc)は、次式(4)と
なる。
【0044】
【数2】
【0045】これらの式を一般化して表現すると、式
(5)のベイズの定理と呼ばれる式となる。
【0046】
【数3】
【0047】確率算出手段6は、図6に示す判定結果に
対して上述した確率計算を行う。すると、図7に示すよ
うに、センサ前面から3mまではP(A|Bc)とな
り、障害物の奥行きを0.5mとすると、3mから3.
5mまではP(A|B)となる。さらに、3.5mより
も遠方では不明(0.5)となる。さらに、計測範囲外
の領域についても、不明と判定する。
【0048】このように本実施形態では、センサで測定
すると、センサの測定範囲の各座標に障害物が存在する
確率が書き込まれていき、これが、第1の障害物地図と
なる。
【0049】〔複数の距離センサを用いる実施形態〕次
に、融合手段16が、複数のセンサ出力を融合する手法
を説明する。これは、同種のセンサを複数配置した場合
や、単一のセンサの複数回の測定の障害物位置精度を向
上させるため、多種類の障害物センサの情報を融合し、
障害物位置情報を障害物地図として確率表現するもので
ある。
【0050】n個のセンサによって得られた出力をBj
(j=1,2,3,... n)とする。これらの複数のセンサ出力
に対して障害物のある確率はP(A|B1,B2
3,... Bn)と表される。
【0051】2個のセンサ出力を融合するには、まず、
P(A|B1)を次の演算を行う際のP(A)としてP
(A|B2)を計算する。これは、次式(6)で表され
る。式(6)では、P(A|B1)とP(A|B2)の計
算順を入れ替えても結果は同じである。さらに、これを
複数のセンサ出力がある場合とし、一般的に表すと、次
式(7)に示される。この式(7)によって計算された
確率を、ここでは第2の障害物存在確率という。また、
前提条件がない場合には、ある地点での障害物存在確率
の初期値P(A)は0.5とする。
【0052】
【数4】
【0053】図8に示すような状態について、左端のセ
ンサ21の出力が3mで、中央のセンサ22の出力が
2.9mで、右端の第2の第3のセンサの出力が障害物
無しであるとすると、図9に示す如くの障害物地図とな
る。ハッチングで濃く表現している部分が障害物存在確
率の高い部分である。
【0054】この図9に示す障害物地図は複数段階の確
率に分かれており、検査範囲でない部分は「不明」とな
る。そして、左端のセンサ21及び中央のセンサ22の
検査範囲内であるが、右端の第2の第3のセンサの検査
範囲内ではない部分で、かつ、障害物が検出された地点
よりも遠方についても、「不明」となる。
【0055】そして、左端のセンサ21及び中央のセン
サ22が出力した距離の近傍は障害物存在確率が高くな
る。特に、この左端のセンサ21及び中央のセンサ22
の測定範囲が重なる部分が共に「障害物有り」と判定し
た領域については、障害物存在確率が高くなる。
【0056】さらに、左端のセンサ21及び中央のセン
サ22の測定範囲内で、障害物が存在する位置までは、
「障害物無し」の確率が高くなる。さらに、右端の第3
のセンサは出力データが無いため、右端の第3のセンサ
の計測範囲については、判定手段によって「障害物無
し」と判定される。さらに、障害物よりも遠方の範囲
で、左端のセンサ21の計測範囲と中央のセンサ22の
出力が重なる領域については、「障害物無し」のときの
障害物存在確率と、初期設定である0.5とが融合さ
れ、ほぼ「障害物無し」に近い障害物存在確率が出力さ
れる。
【0057】図9に示しセンサを超音波センサとする
と、複数のセンサの測定範囲の一部を重ねて、その出力
値を確率値に変換してから融合することで、超音波セン
サの分解能を高めることができる。
【0058】
【実施例】次に、本発明の実施例を説明する。
【0059】〔第1実施例の構成〕第1の実施例では、
超音波センサでの障害物地図(オブスタクルマップ)作
成する。まず、単一の超音波センサで、距離3mにある
障害物を100回測定する。100回の測定におけるセ
ンサ出力は障害物有りが90回、障害無しが10回であ
ったとする。次に、障害物を取り除き、同じく100回
測定する。このときセンサ出力は障害物ありが1回障害
物無しが99回であったとする。
【0060】この測定により、ある距離xでの4通りの
確率は次式(8)の通りとなる。さらに、上述した式
(3)及び式(5)より、実際の計算上必要な確率を次
式(9)より求めることができる。この式(9)により
求めた確率が、本実施例の判定正答率である。
【0061】
【数5】
【0062】上述した測定値によると、3mの位置には
障害物がないとセンサが判断している場合、実際には障
害物がある確率は10%となる。これらの確率を検査範
囲全ての座標について求めると、単一の超音波センサで
得られた距離出力をその座標における障害物存在確率で
表すことができる。実際には、検出範囲全ての確率を同
一としてもよい。
【0063】同じ超音波センサ2個で、同一地点を測定
した場合、片方の第1のセンサは障害物有りと出力し、
もう片方の第2のセンサは障害物無しと判断したとす
る。この地点の障害物存在確率は次のように計算され
る。
【0064】まず、第1のセンサの出力のみから、この
地点の障害物存在確率はP(B1|A)=90/91で
ある。また、第2のセンサの出力によると、この地点の
障害物存在確率はP(B2|A)=10/109とな
る。上述した式(6)にこの値と初期値P(A)=0.
5を当てはめると、次式(10)となる。
【0065】
【数6】
【0066】これは、センサ出力が障害物有りのときに
は99%(第1の確率値)の確率で障害物があり、セン
サ出力が障害物無しのときには10%(第2の確率値)
の確率で障害物があるという2つの確率を確率計算した
結果であり、ここでは、90%の確率で障害物があると
結論することができる。このように、多数決や直感的処
理では結論づけられないような場合であっても、存在の
有無のどちらに近いのかが判定される。従って、多数決
では少なくとも3とのセンサが必要となるのに対し、本
実施例では、2つのセンサでより正確な測定が可能とな
る。
【0067】さらに、この状況で3個目の超音波センサ
が同一地点を測定した結果、「障害物無し」と判定した
とする。すると、この地点の障害物存在確率は次式(1
1)で示される。
【0068】
【数7】
【0069】従来は多数決によって障害物無しとする
か、直感的に障害物有り33%としていた。
【0070】〔第1実施例の効果〕しかし、本実施例に
よる確率計算によると、3個のセンサの出力「有り」
「無し」「有り」は、48%の確率で障害物があるとい
う結果となった。48%というのは、障害物があるか無
いかが不明である50%(初期値)と変わらない。
【0071】このように、本実施例では、センサの検出
特性を考慮に入れない計算とを比較して、以下のような
相違を介してより的確な判定が可能となる。
【0072】3個のセンサ出力には次のような組み合わ
せがある。 「有り」「有り」「有り」 ... a 「有り」「有り」「無し」 ... b 「有り」「無し」「無し」 ... c 「無し」「無し」「無し」 ... d
【0073】まず、障害物がある場面では、a,b,
c,dという測定結果がでる確率は次式(12)で示さ
れる。
【0074】 aの確率= 90/100 x 90/100 x 90/100 = 729000/1000000 bの確率= 90/100 x 90/100 x 10/100 x 3 = 243000/1000000 cの確率= 90/100 x 10/100 x 10/100 x 3 = 27000/1000000 dの確率= 10/100 x 10/100 x 10/100 = 1000/1000000 ...... 式(12)
【0075】次に、障害物が無い場面では、a,b,
c,dという測定結果がでる確率はそれぞれ以下のよう
になる。
【0076】 aの確率= 1/100 x 1/100 x 1/100 = 1/1000000 bの確率= 1/100 x 1/100 x 99/100 x 3 = 297/1000000 cの確率= 1/100 x 99/100 x 99/100 x 3 = 29403/1000000 dの確率= 99/100 x 99/100 x 99/100 = 970299/1000000 ...... 式(13)
【0077】本実施例によるセンサ特性では、cという
出力が得られるのは、障害物無しでは約2.94%、障
害物有りでは2.70%である。つまり、cの「有り」
「無し」「有り」が出力される確率は、実際の障害物存
在確率にはさほど影響を受けず、常に3%程度であるこ
とが判る。つまり、ここでは、cの出力が得られても、
実際の障害物の有無は判定できないことを確認した。
【0078】本実施例では、それぞれのセンサ出力の組
み合わせがあったときの障害物存在確率は次式(14)
で示される。
【0079】
【数8】
【0080】このように、a,b,c,dの出力が得ら
れた場合は、障害物の有り無しが特定できるのに対し
て、cの出力では実際の障害物の存在を推定することが
できない。
【0081】障害物があるときにa,b,c,dの出力
が得られる確率を式12に示した。本実施例では、aの
出力が得られたときには障害物有りと結論する。このと
きの判断が間違っている確率は、実際には、障害物が無
いのにaの出力が得られてしまう確率である。これは式
13のaの確率で、約0.00%である。
【0082】同様に、bの出力が得られたときは、障害
物有りと結論する。このときの判断が間違っている確率
は、約0.03%である。cの出力が得られた場合に
は、わからないと判断する。この判断には間違ってい
る、いないということはない。この出力となる確率は
2.70%である。eの出力が得られた場合には、障害
物無しの判断する。この判断が間違っている確率はほぼ
2.97%であり、この出力が得られる確率は0.10
%しかない。
【0083】これらを、障害物有りのときの間違い率と
して合計すると、わからないを間違いとして約3%とな
る。
【0084】次に、障害物が無いときを考える。a,
b,c,dのセンサ出力が得られる確率を式12に示し
た。本実施例では、aの出力が得られたときは、障害物
有りと結論する。このときの判断が間違っている確率
は、実際には障害物がないのにaが出力される確率であ
る。この確率は式12のaの確率で72.90%である
が、この出力が得られる確率は約0.00%である。
【0085】同様に、bの出力が得られた場合には、障
害物有りと判断する。この判断が間違っている確率は2
4.30%であるが、この出力が得られる確率は約0.
03%である。cの出力が得られた場合には、わからな
いと判定する。この出力が得られる確率は約2.94%
である。eの出力が得られた場合には、障害物無しと判
断する。この判断が間違っている確率は0.10%であ
り、この出力が得られる確率は約97.03%である。
【0086】これらを障害物無しのときの間違い率とし
て合計すると、わからないを間違いとしてやはり約3%
となる。
【0087】本実施例では、センサ出力からの判断で、
障害物有りとしたときの間違い率はほぼ0%である。同
様に、障害物無しとしたときの間違い率も、ほぼ0%で
ある。わからないが3%程度出力されるにすぎない。こ
のように、本実施例では、判定不能な状態を正確に把握
し、障害物の有無はわからないと判定することができ
る。
【0088】これを従来の多数決や直感的確率表現を行
うと、次のような結果となる。まず、多数決の場合は、
a,bのとき障害物ありとし、c,dのときに障害物な
しと判断する。cのとき障害物なしと判断しているのに
実際には障害物なしという判断間違いが約1.5%生じ
る。このように、従来例では、実際には不確かな判断内
容を断定してしまう。
【0089】次に、aのときは障害物存在確率100
%、bのとき66%、cのとき33%、dのとき0%と
判断する場合では、本来正確であるbのときですら66
%である。cでは、障害物があるのか無いのかわからな
いのに、無い方向に判断している。
【0090】このように、本実施例によると、従来の感
覚的な判断より明らかな間違いが少ない。実際には障害
物が無いのに、障害物ありと判断したり、実際には障害
物があるのに障害物無しと判断したりすることは極めて
少ない。このように、本実施例では、実際の障害物の存
在を正確に判断できる。
【0091】また、センサ毎に間違える確率が異なって
も、これを全て融合した判断を行うことができる。
【0092】〔第2実施例〕次に、自動車の各種センサ
を用いて障害物地図を生成する実施例を図10乃至図1
4を参照して説明する。
【0093】図10は車載用センサの搭載例を示す説明
図である。図10に示すように、本実施例では、先行車
両との追突防止目的で設けられるフロントセンサ42
と、右直事故や巻き込みなどの防止目的で設けられるコ
ーナセンサ41,42と、車線変更時や幅寄せ時の接触
回避目的で設けられるサイドセンサ44と、車線変更時
などの死角監視目的で設けられる後側方センサ45,4
6と、走行時の追突防止や後退時の衝突防止目的で設け
られる後方センサ47及びバックセンサ48,49とを
備えている。
【0094】フロントセンサ42は、レーザセンサやC
CDカメラを用い、広角で測定する。120度程度まで
は、レンズの変更などでCCDカメラによっても撮像可
能である。また、レーザセンサをスウィープさせるよう
にしてもよい。
【0095】コーナセンサ41,43は、超音波センサ
で構成し、広角検出する。サイドセンサは、超音波セン
サやレーザセンサで構成し、狭角の検出をする。後側方
センサ45,46は、超音波センサやCCDステレオC
CDカメラ等で構成し、広角検出する。
【0096】後方センサ47、バックセンサ48,49
は、ステレオCCDカメラや、レーザセンサ、また超音
波センサで構成する。また、バックセンサ48,49
は、コーナセンサとして用いられることもある。
【0097】これにより、夜間であればCCDセンサに
よる判定正答率を低く設定するなど、各種センサ特性に
応じた障害物認識を行うことができる。
【0098】図11及び図12センサの測定範囲の死角
の関係を示す説明図である。運転者50から直視できる
範囲は、図11のに示す範囲である。図11及び図1
のに示す範囲はルームミラーによって目視可能であ
り、に示す範囲はサイドミラーによって目視可能であ
る。図1のに示す範囲は、運転者50が首を動かすこ
とにより状況を確認する。本実施例では、このような死
角を考慮してセンサの配置を行う。特に、このような死
角部分については各センサの計測範囲を重ね合わせ、複
数種類のセンサ出力を融合することで、より精度の高い
障害物認識処理を行うと良い。
【0099】図13及び図14は障害物地図の設定例を
示す説明図である。本実施例では、自車両の周辺を複数
の障害物地図に分割して管理する。これは、自車の運転
席の左右などもともとセンサの測定範囲ではない部分が
あることや、また、融合すべきセンサ出力は予め定まる
ため、計測範囲の重なるセンサを中心に障害物地図の生
成範囲を定めたものである。
【0100】図13に示す例では、自車の左側の範囲3
1と、右側の範囲32と、前方33と、後方34とに分
割する。図14に示す例では、前方33と、進行方向に
「コ」字状となる範囲36とに分割する。
【0101】
【発明の効果】本発明は以上のように構成され機能する
ので、これによると、判定手段が、センサ部から出力さ
れた障害物までの距離情報に基づいてセンサ部の計測範
囲の各地点を3領域に区分し、さらに、確率算出手段
が、判定正答率情報に基づいてこの判定結果の確からし
さを算出するため、センサ部の測定範囲全域について、
障害物が存在するか否かの確率を算出することができ、
しかも、判定正答率が、センサ部の特性に基づいて定め
られるため、センサ部の特性に応じて障害物の存在の確
率を算出することができ、このため、同一の地点につい
て複数の距離センサを用いた場合には、当該障害物存在
確率を一定の計算式により融合することが可能となり、
すると、センサ特性の異なる複数のセンサ出力を精度良
く正確に融合することができる。このように、測定範囲
内の全ての領域について障害物の存在を確率的に評価す
ることができる従来にない優れた障害物認識装置を提供
することができる。
【図面の簡単な説明】
【図1】本発明の一実施形態の構成を示すブロック図で
ある。
【図2】複数のセンサ出力を用いた場合の詳細構成を示
すブロック図である。
【図3】図3(A)〜(F)はセンサ部の一例を示す説
明図である。
【図4】図1に示した判定手段の判定例を示す説明図で
あり、図4(A)はセンサの測距範囲及び距離を示す図
で、図4(B)はこの測距範囲での3領域への判定内容
を示す図である。
【図5】障害物の存在についての事象の各要素数を示す
説明図である。
【図6】単一のセンサによる障害物の認識処理の一例を
示す説明図である。
【図7】図6に示した状況から得られる障害物地図の一
例を示す説明図である。
【図8】複数のセンサによる障害物の認識処理の一例を
示す説明図である。
【図9】図8に示した状況から得られる障害物地図の一
例を示す説明図である。
【図10】第2実施例によるセンサの配置例を示す平面
図である。
【図11】図10に示すセンサ配置と死角との関係を示
す平面図である。
【図12】図10に示すセンサ配置と死角との関係を示
す側面図である。
【図13】第2実施例による障害物地図の形成範囲の一
例を示す説明図である。
【図14】第2実施例による障害物地図の形成範囲の他
の例を示す説明図である。
【符号の説明】
2 センサ部 4 判定手段 6 確率算出手段 8 判定正答率記憶手段 10 複数の距離センサ 12 測定結果別判定機能 14 測定結果別確率算出機能 16 融合手段 18 障害物地図生成手段

Claims (5)

    【特許請求の範囲】
  1. 【請求項1】 障害物までの距離を測定するセンサ部
    と、このセンサ部の出力に基づいて障害物の有無を認識
    する認識部とを備えた障害物認識装置において、 前記認識部が、前記センサ部から出力された障害物まで
    の距離情報に基づいて前記センサ部の計測範囲の各地点
    が「障害物有り」,「障害物無し」及び「不明」の3領
    域の評価のうちいずれに属するかを判定する判定手段
    と、この判定手段による判定結果と実際の障害物の有無
    との関係を判定正答率として予め記憶した判定正答率記
    憶手段とを備えると共に、 前記判定手段に、前記判定正答率記憶手段に格納された
    判定正答率情報に基づいて前記判定手段による「障害物
    有り」及び「障害物無し」の判定結果の確からしさを算
    出する確率算出手段を併設したことを特徴とする障害物
    認識装置。
  2. 【請求項2】 前記判定手段が、前記センサ部から出力
    された前記障害物までの距離情報に基づいて前記センサ
    部の前面から当該障害物に至る範囲を「障害物無し」と
    判定する第1の判定機能と、当該障害物近傍を「障害物
    有り」と判定する第2の判定機能と、当該障害物以降の
    範囲を「不明」と判定する第3の障害物判定機能とを備
    えたことを特徴とする請求項1記載の障害物認識装置。
  3. 【請求項3】 前記判定正答率記憶手段が、前記判定手
    段の「障害物有り」との判定結果のときに実際に障害物
    が存在する第1の確率値を記憶した第1の記憶領域と、
    前記判定手段の「障害物無し」との判定結果のときに実
    際には障害物が存在する第2の確率値を記憶した第2の
    記憶領域とを備え、 前記確率算出手段が、前記第1の記憶領域に格納された
    第1の確率値に基づいて前記判定手段によって「障害物
    有り」と判定された範囲に障害物が存在する確率を算出
    する第1の確率算出機能と、前記第2の記憶領域に格納
    された第2の確率値に基づいて前記判定手段によって
    「障害物無し」と判定された範囲に障害物が存在する確
    率を算出する第2の確率算出機能を備えたことを特徴と
    する請求項2記載の障害物認識装置。
  4. 【請求項4】 前記センサ部が、一部重なる測定範囲の
    測定結果を複数出力する同一又は複数の距離センサを備
    え、 前記判定手段が、前記センサ部から出力された複数の測
    定結果毎に前記3領域の評価のうちいずれに属するかを
    判定する測定結果別判定機能を備え、 前記確率算出手段が、前記測定結果別判定機能によって
    それぞれ判定された領域毎に前記判定正答率記憶手段に
    格納された判定正答率情報に基づいて実際に障害物が存
    在する確率を障害物存在確率として算出する測定結果別
    確率算出機能を備え、 前記確率算出手段に、前記測定結果別確率算出機能によ
    って算出された同一地点についての複数の障害物存在確
    率を融合する融合手段を併設したことを特徴とする請求
    項1記載の障害物認識装置。
  5. 【請求項5】 前記融合手段に、当該融合手段によって
    融合された障害物存在確率を前記センサ部の測定範囲内
    に配置した障害物地図を生成する障害物地図生成手段を
    併設したことを特徴とする請求項4記載の障害物認識装
    置。
JP28176196A 1996-10-03 1996-10-03 障害物認識装置 Expired - Fee Related JP3564897B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP28176196A JP3564897B2 (ja) 1996-10-03 1996-10-03 障害物認識装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP28176196A JP3564897B2 (ja) 1996-10-03 1996-10-03 障害物認識装置

Publications (2)

Publication Number Publication Date
JPH10112000A true JPH10112000A (ja) 1998-04-28
JP3564897B2 JP3564897B2 (ja) 2004-09-15

Family

ID=17643614

Family Applications (1)

Application Number Title Priority Date Filing Date
JP28176196A Expired - Fee Related JP3564897B2 (ja) 1996-10-03 1996-10-03 障害物認識装置

Country Status (1)

Country Link
JP (1) JP3564897B2 (ja)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000028717A (ja) * 1998-07-13 2000-01-28 Mitsubishi Electric Corp 障害物検出装置
JP2002225656A (ja) * 2001-02-02 2002-08-14 Nissan Motor Co Ltd 車輌用外界認識装置
JP2003098256A (ja) * 2001-09-26 2003-04-03 Nissan Motor Co Ltd 車両用障害物地図作成装置
JP2004506908A (ja) * 2000-08-16 2004-03-04 レイセオン・カンパニー 近接物体検出システム
US6819261B2 (en) 2002-05-20 2004-11-16 Mitsubishi Denki Kabushiki Kaisha Reliable obstacle detecting driving support apparatus
US6832156B2 (en) 1999-08-06 2004-12-14 Telanon, Inc. Methods and apparatus for stationary object detection
JP2005500537A (ja) * 2001-08-16 2005-01-06 レイセオン・カンパニー 近接物体検出システム
US6897768B2 (en) 2001-08-14 2005-05-24 Denso Corporation Obstacle detecting apparatus and related communication apparatus
JP2007333486A (ja) * 2006-06-13 2007-12-27 Denso Corp 車両用障害物検知装置
JP2016009246A (ja) * 2014-06-23 2016-01-18 株式会社Ihiエアロスペース 環境地図生成制御装置、移動体、及び環境地図生成方法
JP2017203766A (ja) * 2016-05-10 2017-11-16 株式会社デンソー 立体物検出処理装置
CN109932721A (zh) * 2017-12-15 2019-06-25 财团法人车辆研究测试中心 应用于多感测器融合的误差及侦测机率分析方法
JP2020008310A (ja) * 2018-07-03 2020-01-16 株式会社Soken 物体検出装置
CN111950501A (zh) * 2020-08-21 2020-11-17 东软睿驰汽车技术(沈阳)有限公司 障碍物检测方法、装置以及电子设备
KR20210076235A (ko) * 2019-12-13 2021-06-24 동국대학교 산학협력단 초음파 센서를 통해 감지된 장애물에 대한 음성 정보를 제공하는 스마트 지팡이 및 그 동작 방법
CN113256962A (zh) * 2020-02-13 2021-08-13 宁波吉利汽车研究开发有限公司 一种车辆安全预警方法及系统
CN113465614A (zh) * 2020-03-31 2021-10-01 北京三快在线科技有限公司 无人机及其导航地图的生成方法和装置
CN116691689A (zh) * 2023-08-07 2023-09-05 山东海量信息技术研究院 一种车辆控制方法、系统、设备及计算机可读存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018118666A1 (de) * 2018-08-01 2020-02-06 Carl Zeiss Ag Sensorfusion mit wechselseitiger Korrespondenzanalyse von Sensordaten

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS57182673A (en) * 1981-05-07 1982-11-10 Nissan Motor Co Ltd Warning device of vehicle circumference
JPH02227689A (ja) * 1989-02-28 1990-09-10 Toyota Motor Corp 車両用障害物検知装置
JPH05274035A (ja) * 1992-03-30 1993-10-22 Mazda Motor Corp 障害物検出装置
JPH06148328A (ja) * 1992-11-06 1994-05-27 Toyota Central Res & Dev Lab Inc 車両用障害物認識装置
JPH07129898A (ja) * 1993-11-05 1995-05-19 Toyota Central Res & Dev Lab Inc 障害物検出装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS57182673A (en) * 1981-05-07 1982-11-10 Nissan Motor Co Ltd Warning device of vehicle circumference
JPH02227689A (ja) * 1989-02-28 1990-09-10 Toyota Motor Corp 車両用障害物検知装置
JPH05274035A (ja) * 1992-03-30 1993-10-22 Mazda Motor Corp 障害物検出装置
JPH06148328A (ja) * 1992-11-06 1994-05-27 Toyota Central Res & Dev Lab Inc 車両用障害物認識装置
JPH07129898A (ja) * 1993-11-05 1995-05-19 Toyota Central Res & Dev Lab Inc 障害物検出装置

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000028717A (ja) * 1998-07-13 2000-01-28 Mitsubishi Electric Corp 障害物検出装置
US6832156B2 (en) 1999-08-06 2004-12-14 Telanon, Inc. Methods and apparatus for stationary object detection
JP2004506908A (ja) * 2000-08-16 2004-03-04 レイセオン・カンパニー 近接物体検出システム
JP2002225656A (ja) * 2001-02-02 2002-08-14 Nissan Motor Co Ltd 車輌用外界認識装置
US6897768B2 (en) 2001-08-14 2005-05-24 Denso Corporation Obstacle detecting apparatus and related communication apparatus
DE10236879B4 (de) * 2001-08-14 2013-10-24 Denso Corporation Hindernis-Detektionsgerät und damit in Beziehung stehendes Kommunikationsgerät
JP2005500537A (ja) * 2001-08-16 2005-01-06 レイセオン・カンパニー 近接物体検出システム
JP4771657B2 (ja) * 2001-08-16 2011-09-14 ヴァレオ・レイダー・システムズ・インコーポレーテッド 近接物体検出システム
JP2003098256A (ja) * 2001-09-26 2003-04-03 Nissan Motor Co Ltd 車両用障害物地図作成装置
US6819261B2 (en) 2002-05-20 2004-11-16 Mitsubishi Denki Kabushiki Kaisha Reliable obstacle detecting driving support apparatus
JP2007333486A (ja) * 2006-06-13 2007-12-27 Denso Corp 車両用障害物検知装置
JP2016009246A (ja) * 2014-06-23 2016-01-18 株式会社Ihiエアロスペース 環境地図生成制御装置、移動体、及び環境地図生成方法
JP2017203766A (ja) * 2016-05-10 2017-11-16 株式会社デンソー 立体物検出処理装置
CN109932721A (zh) * 2017-12-15 2019-06-25 财团法人车辆研究测试中心 应用于多感测器融合的误差及侦测机率分析方法
CN109932721B (zh) * 2017-12-15 2023-09-29 财团法人车辆研究测试中心 应用于多感测器融合的误差及侦测机率分析方法
JP2020008310A (ja) * 2018-07-03 2020-01-16 株式会社Soken 物体検出装置
KR20210076235A (ko) * 2019-12-13 2021-06-24 동국대학교 산학협력단 초음파 센서를 통해 감지된 장애물에 대한 음성 정보를 제공하는 스마트 지팡이 및 그 동작 방법
CN113256962A (zh) * 2020-02-13 2021-08-13 宁波吉利汽车研究开发有限公司 一种车辆安全预警方法及系统
CN113256962B (zh) * 2020-02-13 2022-12-23 宁波吉利汽车研究开发有限公司 一种车辆安全预警方法及系统
CN113465614A (zh) * 2020-03-31 2021-10-01 北京三快在线科技有限公司 无人机及其导航地图的生成方法和装置
CN113465614B (zh) * 2020-03-31 2023-04-18 北京三快在线科技有限公司 无人机及其导航地图的生成方法和装置
CN111950501A (zh) * 2020-08-21 2020-11-17 东软睿驰汽车技术(沈阳)有限公司 障碍物检测方法、装置以及电子设备
CN111950501B (zh) * 2020-08-21 2024-05-03 东软睿驰汽车技术(沈阳)有限公司 障碍物检测方法、装置以及电子设备
CN116691689A (zh) * 2023-08-07 2023-09-05 山东海量信息技术研究院 一种车辆控制方法、系统、设备及计算机可读存储介质
CN116691689B (zh) * 2023-08-07 2024-01-12 山东海量信息技术研究院 一种车辆控制方法、系统、设备及计算机可读存储介质

Also Published As

Publication number Publication date
JP3564897B2 (ja) 2004-09-15

Similar Documents

Publication Publication Date Title
JP3564897B2 (ja) 障害物認識装置
JP2501010B2 (ja) 移動ロボットの誘導装置
CN107490794B (zh) 物体辨识处理装置、物体辨识处理方法及自动驾驶系统
CN108983213B (zh) 障碍物静止状态的确定方法、装置、设备及存储介质
CN109814112A (zh) 一种超声波雷达与激光雷达信息融合方法和系统
JP3147541B2 (ja) 車両用障害物認識装置
JP2002250607A (ja) 物体検知センサ
KR102146175B1 (ko) 센서, 제어 장치, 운전자 보조 시스템, 및 자동차를 사용하는 간접 측정에 의해 자동차 주위에서 하나 이상의 물체의 검출을 향상시키는 방법
JP6793883B2 (ja) 車両走行制御装置、車両走行制御方法、制御回路および記憶媒体
KR20180036772A (ko) 자동차에서 주변 환경 검출 시 개선된 데이터 융합을 위한 방법 및 장치
CN111448472A (zh) 用于识别机动车的至少一个环境传感器的功能故障的方法和控制装置
US11572064B2 (en) Method for monitoring a surrounding area of a motor vehicle, sensor control unit, driver assistance system and motor vehicle
CN110867132A (zh) 环境感知的方法、装置、电子设备和计算机可读存储介质
US11798291B2 (en) Redundancy information for object interface for highly and fully automated driving
EP3441839B1 (en) Information processing method and information processing system
JP2019512699A5 (ja)
JP3636150B2 (ja) 走路上反射物の物体種類判定方法
RU2729142C1 (ru) Способ установления имеющейся разъюстировки по меньшей мере одного датчика в системе датчиков
KR102545582B1 (ko) 교차로 충돌 회피 시스템 및 그 제어 방법
KR101086281B1 (ko) 차량 간 충돌 방지 시스템 및 그 차량 충돌 방지 방법
CN113330448A (zh) 用于车辆的传感器数据融合的方法和装置
EP4024330A1 (en) Object recognition method and object recognition device
CN115497282B (zh) 信息处理装置、信息处理方法、以及存储介质
CN116481541A (zh) 一种无需卫星导航的车辆自主返航控制方法、装置及介质
CN113022593B (zh) 障碍物处理方法、装置和行驶设备

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040518

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040531

LAPS Cancellation because of no payment of annual fees