JPH0725286A - 先行車両認識方法 - Google Patents
先行車両認識方法Info
- Publication number
- JPH0725286A JPH0725286A JP5196892A JP19689293A JPH0725286A JP H0725286 A JPH0725286 A JP H0725286A JP 5196892 A JP5196892 A JP 5196892A JP 19689293 A JP19689293 A JP 19689293A JP H0725286 A JPH0725286 A JP H0725286A
- Authority
- JP
- Japan
- Prior art keywords
- vertical
- horizontal
- area
- differential values
- preceding vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Traffic Control Systems (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
(57)【要約】
【目的】 この発明は、簡単な演算により、先行車両を
認識できるようにすることを目的とする。 【構成】 垂直注視領域Ｖにおける垂直方向への画素列
ごとの微分値の合計のうち、所定のしきい値をこえる複
数の画素列を先行車両の左，右端の輪郭候補として抽出
し、水平注視領域Ｈにおける水平方向への画素行ごとの
微分値の合計のうち、所定のしきい値をこえる複数の画
素行を先行車両の上，下端の輪郭候補として抽出し、こ
れらの候補のうち任意に選択した２つずつの画素列及び
画素行により囲まれる閉領域ＨＶの中心点の変動量及び
垂直，水平方向の長さの比が一定条件を満足する場合
に、この閉領域ＨＶを先行車両の存在領域とされる。 【効果】 従って、最初に全画素について微分処理した
のちは必要な領域のみ処理すればよく、演算が簡単で済
む。
認識できるようにすることを目的とする。 【構成】 垂直注視領域Ｖにおける垂直方向への画素列
ごとの微分値の合計のうち、所定のしきい値をこえる複
数の画素列を先行車両の左，右端の輪郭候補として抽出
し、水平注視領域Ｈにおける水平方向への画素行ごとの
微分値の合計のうち、所定のしきい値をこえる複数の画
素行を先行車両の上，下端の輪郭候補として抽出し、こ
れらの候補のうち任意に選択した２つずつの画素列及び
画素行により囲まれる閉領域ＨＶの中心点の変動量及び
垂直，水平方向の長さの比が一定条件を満足する場合
に、この閉領域ＨＶを先行車両の存在領域とされる。 【効果】 従って、最初に全画素について微分処理した
のちは必要な領域のみ処理すればよく、演算が簡単で済
む。
Description
【０００１】
【産業上の利用分野】この発明は、自動車に搭載した撮
像手段による前方の撮像画像を処理して前方を走行する
先行車両を認識する先行車両認識方法に関する。
像手段による前方の撮像画像を処理して前方を走行する
先行車両を認識する先行車両認識方法に関する。
【０００２】
【従来の技術及び発明が解決しようとする課題】従来、
自動車において前方を走行する先行車両を認識する手法
として、光学式センサその他の各種センサやＣＣＤカメ
ラなどの撮像手段を用いることが考えられているが、セ
ンサの場合、検出精度の面でやや難があり、撮像手段に
よる画像を処理して先行車両を判断する場合、例えば全
画素について画像信号を２値化してその２値化データの
処理を行うため、処理が複雑になるという問題点があ
る。
自動車において前方を走行する先行車両を認識する手法
として、光学式センサその他の各種センサやＣＣＤカメ
ラなどの撮像手段を用いることが考えられているが、セ
ンサの場合、検出精度の面でやや難があり、撮像手段に
よる画像を処理して先行車両を判断する場合、例えば全
画素について画像信号を２値化してその２値化データの
処理を行うため、処理が複雑になるという問題点があ
る。
【０００３】そこでこの発明は、上記のような問題点を
解消するためになされたものであり、簡単な演算によ
り、先行車両を認識できるようにすることを目的とす
る。
解消するためになされたものであり、簡単な演算によ
り、先行車両を認識できるようにすることを目的とす
る。
【０００４】
【課題を解決するための手段】この発明に係る先行車両
認識方法は、自動車に搭載された撮像手段により前方を
撮像して得られた画像を画像処理装置により微分処理
し、前記撮像手段の撮像画面の垂直方向に所定の垂直幅
の垂直注視領域を設定すると共に水平方向に所定の水平
幅の水平注視領域を設定し、前記垂直注視領域における
垂直方向への画素列ごとの微分値の合計を算出すると共
に、前記水平注視領域における水平方向への画素行ごと
の微分値の合計を算出し、先行車両の左，右端の輪郭候
補として微分値の合計が所定のしきい値をこえる複数の
画素列を抽出すると共に、先行車両の上，下端の輪郭候
補として微分値の合計が所定のしきい値をこえる複数の
画素行を抽出し、抽出した前記各画素列及び前記各画素
行のうち２つを選択し、選択した前記両画素列及び前記
両画素行で囲まれる閉領域の中心点の前回の処理により
導出された中心点からのずれが所定の許容範囲内で、か
つ前記閉領域の垂直及び水平方向の長さの比が所定範囲
内にあるときに、前記閉領域を先行車両の存在領域と認
識することを特徴としている。
認識方法は、自動車に搭載された撮像手段により前方を
撮像して得られた画像を画像処理装置により微分処理
し、前記撮像手段の撮像画面の垂直方向に所定の垂直幅
の垂直注視領域を設定すると共に水平方向に所定の水平
幅の水平注視領域を設定し、前記垂直注視領域における
垂直方向への画素列ごとの微分値の合計を算出すると共
に、前記水平注視領域における水平方向への画素行ごと
の微分値の合計を算出し、先行車両の左，右端の輪郭候
補として微分値の合計が所定のしきい値をこえる複数の
画素列を抽出すると共に、先行車両の上，下端の輪郭候
補として微分値の合計が所定のしきい値をこえる複数の
画素行を抽出し、抽出した前記各画素列及び前記各画素
行のうち２つを選択し、選択した前記両画素列及び前記
両画素行で囲まれる閉領域の中心点の前回の処理により
導出された中心点からのずれが所定の許容範囲内で、か
つ前記閉領域の垂直及び水平方向の長さの比が所定範囲
内にあるときに、前記閉領域を先行車両の存在領域と認
識することを特徴としている。
【０００５】
【作用】この発明においては、垂直注視領域における垂
直方向への画素列ごとの微分値の合計のうち、所定のし
きい値をこえる複数の画素列が先行車両の左，右端の輪
郭候補として抽出され、水平注視領域における水平方向
への画素行ごとの微分値の合計のうち、所定のしきい値
をこえる複数の画素行が先行車両の上，下端の輪郭候補
として抽出され、これらの候補のうち２つずつの画素列
及び画素行が任意に選択されてこれらにより囲まれる閉
領域が仮定され、この閉領域の中心点の変動量及び垂
直，水平方向の長さの比が一定条件を満足する場合にこ
の閉領域が先行車両の存在領域とされるため、従来のよ
うに全画素すべての信号を処理する必要はなく、しかも
微分，加算，比較の各演算を行うだけでよく、簡単な演
算処理で済む。
直方向への画素列ごとの微分値の合計のうち、所定のし
きい値をこえる複数の画素列が先行車両の左，右端の輪
郭候補として抽出され、水平注視領域における水平方向
への画素行ごとの微分値の合計のうち、所定のしきい値
をこえる複数の画素行が先行車両の上，下端の輪郭候補
として抽出され、これらの候補のうち２つずつの画素列
及び画素行が任意に選択されてこれらにより囲まれる閉
領域が仮定され、この閉領域の中心点の変動量及び垂
直，水平方向の長さの比が一定条件を満足する場合にこ
の閉領域が先行車両の存在領域とされるため、従来のよ
うに全画素すべての信号を処理する必要はなく、しかも
微分，加算，比較の各演算を行うだけでよく、簡単な演
算処理で済む。
【０００６】
【実施例】図１ないし図８はこの発明の一実施例を示
し、図１は動作説明図、図２は適用される画素処理シス
テムのブロック図、図３は動作説明図、図４ないし図８
は動作説明用のフローチャートである。
し、図１は動作説明図、図２は適用される画素処理シス
テムのブロック図、図３は動作説明図、図４ないし図８
は動作説明用のフローチャートである。
【０００７】図２及び図３に示すように、２次元ＣＣＤ
カメラ等からなる撮像手段１が自動車２の車室内に搭載
され、撮像手段１により前方が撮像され、得られた先行
車両３等の画像が画像処理装置４により処理される。
カメラ等からなる撮像手段１が自動車２の車室内に搭載
され、撮像手段１により前方が撮像され、得られた先行
車両３等の画像が画像処理装置４により処理される。
【０００８】このとき、先行車両３との車間距離に関係
なく先行車両３の画像が常に撮像手段１の画面のほぼ中
央に位置するよう、撮像手段１はその光軸（図３中の１
点鎖線）が水平になるように設置されている。
なく先行車両３の画像が常に撮像手段１の画面のほぼ中
央に位置するよう、撮像手段１はその光軸（図３中の１
点鎖線）が水平になるように設置されている。
【０００９】ところで、画像処理装置４の機能について
説明すると、撮像手段１による撮像画像を微分処理し、
撮像手段１の撮像画像の垂直方向に図１（ａ）に示すよ
うに所定の垂直幅の垂直注視領域Ｖを設定すると共に水
平方向に図１（ｂ）に示すように所定の水平幅の水平注
視領域Ｈを設定し、垂直注視領域Ｖにおける垂直方向へ
の画素列ごとの微分値の合計を算出すると共に、水平注
視領域Ｈにおける水平方向への画素行ごとの微分値の合
計を算出し、先行車両３の左，右端の輪郭候補として微
分値の合計が図１（ａ）に示すしきい値Ｔｈをこえる複
数の画素列を抽出すると共に、先行車両３の上，下端の
輪郭候補として微分値の合計が図１（ｂ）に示すしきい
値Ｔｈをこえる複数の画素行を抽出し、抽出した各画素
列及び各画素行のうち任意に２つを選択し、選択した両
画素列及び両画素行で囲まれる図１（ｃ）に示すような
閉領域ＨＶの中心点の前回の処理により導出された中心
点からのずれが所定の許容範囲内で、かつこの閉領域Ｈ
Ｖの垂直及び水平方向の長さの比が所定範囲内にあると
きに、閉領域ＨＶを先行車両３の存在領域と判断するよ
うになっている。
説明すると、撮像手段１による撮像画像を微分処理し、
撮像手段１の撮像画像の垂直方向に図１（ａ）に示すよ
うに所定の垂直幅の垂直注視領域Ｖを設定すると共に水
平方向に図１（ｂ）に示すように所定の水平幅の水平注
視領域Ｈを設定し、垂直注視領域Ｖにおける垂直方向へ
の画素列ごとの微分値の合計を算出すると共に、水平注
視領域Ｈにおける水平方向への画素行ごとの微分値の合
計を算出し、先行車両３の左，右端の輪郭候補として微
分値の合計が図１（ａ）に示すしきい値Ｔｈをこえる複
数の画素列を抽出すると共に、先行車両３の上，下端の
輪郭候補として微分値の合計が図１（ｂ）に示すしきい
値Ｔｈをこえる複数の画素行を抽出し、抽出した各画素
列及び各画素行のうち任意に２つを選択し、選択した両
画素列及び両画素行で囲まれる図１（ｃ）に示すような
閉領域ＨＶの中心点の前回の処理により導出された中心
点からのずれが所定の許容範囲内で、かつこの閉領域Ｈ
Ｖの垂直及び水平方向の長さの比が所定範囲内にあると
きに、閉領域ＨＶを先行車両３の存在領域と判断するよ
うになっている。
【００１０】なお、上記した閉領域ＨＶの垂直，水平方
向の長さの比を判断するための基準となる範囲は、各種
自動車を後面から見たときの縦，横の比に基づいて予め
定められる。
向の長さの比を判断するための基準となる範囲は、各種
自動車を後面から見たときの縦，横の比に基づいて予め
定められる。
【００１１】つぎに、画像処理動作について図４ないし
図８のフローチャートを参照しつつ説明する。
図８のフローチャートを参照しつつ説明する。
【００１２】全体的な処理手順は、図４に示すように、
初期捕促処理が行われたのち（ステップＡ１），連続捕
促処理が行われる流れとなっている（ステップＡ２）。
初期捕促処理が行われたのち（ステップＡ１），連続捕
促処理が行われる流れとなっている（ステップＡ２）。
【００１３】そして、初期捕促処理は図５に示す手順で
行われる。
行われる。
【００１４】即ち、図５に示すように、撮像手段１によ
り得られた撮像開始直後の１番目のフレームの撮像画像
が画像処理装置４に入力され（ステップＳ１）、入力さ
れた画像が微分処理されたのち（ステップＳ２）、上記
したように設定された垂直注視領域Ｖ０の水平軸投影，
即ち垂直注視領域Ｖ０における垂直方向への画素列ごと
の微分値の合計が算出され（ステップＳ３）、この水平
軸投影された画素列ごとの微分値の合計値分布におい
て、撮像画面中心より右側にピークを示す画素列の水平
軸座標が探索され（ステップＳ４）、この探索により求
められた画素列のうち微分値合計が上記したしきい値Ｔ
ｈ以上となる画素列の水平軸座標が先行車両の右端の輪
郭候補として画像処理装置４の内蔵メモリ等におけるテ
ーブルＶＲ（ｉ）に登録される（ステップＳ５）。
り得られた撮像開始直後の１番目のフレームの撮像画像
が画像処理装置４に入力され（ステップＳ１）、入力さ
れた画像が微分処理されたのち（ステップＳ２）、上記
したように設定された垂直注視領域Ｖ０の水平軸投影，
即ち垂直注視領域Ｖ０における垂直方向への画素列ごと
の微分値の合計が算出され（ステップＳ３）、この水平
軸投影された画素列ごとの微分値の合計値分布におい
て、撮像画面中心より右側にピークを示す画素列の水平
軸座標が探索され（ステップＳ４）、この探索により求
められた画素列のうち微分値合計が上記したしきい値Ｔ
ｈ以上となる画素列の水平軸座標が先行車両の右端の輪
郭候補として画像処理装置４の内蔵メモリ等におけるテ
ーブルＶＲ（ｉ）に登録される（ステップＳ５）。
【００１５】ここで、ｉは０，１，２，…であり、画面
中心側から右方向へ順次に割り付けられる。
中心側から右方向へ順次に割り付けられる。
【００１６】つぎに、ステップＳ４と同様、今度は水平
軸投影された画素列ごとの微分値の合計値分布におい
て、撮像画面中心より左側にピークを示す画素列の水平
軸座標が探索され（ステップＳ６）、この探索により求
められた画素列のうち微分値合計がしきい値Ｔｈ以上と
なる画素列の水平軸座標が先行車両の左端の輪郭候補と
してテーブルＶＬ（ｊ）に登録される（ステップＳ
７）。ここで、ｊはｉと同様０，１，２，…であり、画
面中心側から左方向へ順次に割り付けられる。
軸投影された画素列ごとの微分値の合計値分布におい
て、撮像画面中心より左側にピークを示す画素列の水平
軸座標が探索され（ステップＳ６）、この探索により求
められた画素列のうち微分値合計がしきい値Ｔｈ以上と
なる画素列の水平軸座標が先行車両の左端の輪郭候補と
してテーブルＶＬ（ｊ）に登録される（ステップＳ
７）。ここで、ｊはｉと同様０，１，２，…であり、画
面中心側から左方向へ順次に割り付けられる。
【００１７】そして、ｉ，ｊが任意に選択され（ステッ
プＳ８）、選択されたｉ，ｊのテーブルに登録された水
平軸座標に基づき後で詳述する水平注視領域Ｈ０の決定
処理が行われ（ステップＳ９）、先行車両を発見したか
否かの判定が行われ（ステップＳ１０）、この判定結果
がＮＯであればすべてのｉ，ｊについての処理が終了し
たか否かの判定がなされ（ステップＳ１１）、この判定
結果ＹＥＳであれば初期捕促処理の結果先行車両がない
と判断されてステップＳ１に戻り、判定結果がＮＯであ
ればステップＳ８に戻って異なるｉ，ｊの組み合わせが
選択され、一方ステップＳ１０の判定結果がＹＥＳであ
れば先行車両が発見，捕促されたとして、初期捕促処理
が終了する。
プＳ８）、選択されたｉ，ｊのテーブルに登録された水
平軸座標に基づき後で詳述する水平注視領域Ｈ０の決定
処理が行われ（ステップＳ９）、先行車両を発見したか
否かの判定が行われ（ステップＳ１０）、この判定結果
がＮＯであればすべてのｉ，ｊについての処理が終了し
たか否かの判定がなされ（ステップＳ１１）、この判定
結果ＹＥＳであれば初期捕促処理の結果先行車両がない
と判断されてステップＳ１に戻り、判定結果がＮＯであ
ればステップＳ８に戻って異なるｉ，ｊの組み合わせが
選択され、一方ステップＳ１０の判定結果がＹＥＳであ
れば先行車両が発見，捕促されたとして、初期捕促処理
が終了する。
【００１８】ところで、上記した水平注視領域Ｈ０の決
定処理について説明すると、図６に示すように、まず図
５におけるステップＳ８で選択されたｉ，ｊの座標ＶＲ
（ｉ），ＶＬ（ｊ）のうち、ＶＲ（ｉ）を右端，ＶＬ
（ｊ）を左端とする水平注視領域Ｈ０が設定され（ステ
ップＴ１）、設定された水平注視領域Ｈ０の垂直軸投
影，即ち水平注視領域Ｈ０における水平方向への画素行
ごとの微分値の合計が算出され（ステップＴ２）、この
垂直軸投影された画素行ごとの微分値の合計値分布にお
いて、撮像画像の中心より上側にピークを示す画素行の
垂直軸座標が探索され（ステップＴ３）、この探索によ
り求められた画素行のうち微分値合計が上記したしきい
値Ｔｈ以上となる画素行の垂直軸座標が先行車両の上端
の輪郭候補として画像処理装置４の内蔵メモリ等におけ
るテーブルＨＵ（ｍ）に登録される（ステップＴ４）。
定処理について説明すると、図６に示すように、まず図
５におけるステップＳ８で選択されたｉ，ｊの座標ＶＲ
（ｉ），ＶＬ（ｊ）のうち、ＶＲ（ｉ）を右端，ＶＬ
（ｊ）を左端とする水平注視領域Ｈ０が設定され（ステ
ップＴ１）、設定された水平注視領域Ｈ０の垂直軸投
影，即ち水平注視領域Ｈ０における水平方向への画素行
ごとの微分値の合計が算出され（ステップＴ２）、この
垂直軸投影された画素行ごとの微分値の合計値分布にお
いて、撮像画像の中心より上側にピークを示す画素行の
垂直軸座標が探索され（ステップＴ３）、この探索によ
り求められた画素行のうち微分値合計が上記したしきい
値Ｔｈ以上となる画素行の垂直軸座標が先行車両の上端
の輪郭候補として画像処理装置４の内蔵メモリ等におけ
るテーブルＨＵ（ｍ）に登録される（ステップＴ４）。
【００１９】ここで、ｍは上記したｉと同様０，１，
２，…であり、画面中心から上方向へ順次に割り付けら
れる。
２，…であり、画面中心から上方向へ順次に割り付けら
れる。
【００２０】そして、ステップＴ３と同様、今度は垂直
軸投影された画素行ごとの微分値の合計値分布におい
て、撮像画面中心より下側にピークを示す画素行の垂直
軸座標が探索され（ステップＴ５）、この探索により求
められた画素行のうち微分値合計がしきい値Ｔｈ以上と
なる画素行の垂直軸座標が先行車両の下端の輪郭候補と
してテーブルＨＬ（ｎ）に登録される（ステップＴ
６）。ここでは、ｎはｍと同様０，１，２，…であり、
画面中心から下方向に順次に割り付けられる。
軸投影された画素行ごとの微分値の合計値分布におい
て、撮像画面中心より下側にピークを示す画素行の垂直
軸座標が探索され（ステップＴ５）、この探索により求
められた画素行のうち微分値合計がしきい値Ｔｈ以上と
なる画素行の垂直軸座標が先行車両の下端の輪郭候補と
してテーブルＨＬ（ｎ）に登録される（ステップＴ
６）。ここでは、ｎはｍと同様０，１，２，…であり、
画面中心から下方向に順次に割り付けられる。
【００２１】つぎに、ｍ，ｎが任意に選択され（ステッ
プＴ７）、選択されたｍ，ｎの座標ＨＵ（ｍ），ＨＬ
（ｎ）と、図５のステップＳ８で選択されたｉ，ｊの座
標ＶＲ（ｉ），ＶＬ（ｊ）とで囲まれる閉領域ＨＶ０の
水平方向の幅Ｗ（＝｜ＶＲ（ｉ）−ＶＬ（ｊ）｜）及び
垂直方向の高さＴ（＝｜ＨＵ（ｍ）−ＨＬ（ｎ）｜）が
算出されると共に（ステップＴ８）、この閉領域ＨＶ０
の中心の座標（ＣＸ０，ＣＹ０）が算出される（ステッ
プＴ９）。
プＴ７）、選択されたｍ，ｎの座標ＨＵ（ｍ），ＨＬ
（ｎ）と、図５のステップＳ８で選択されたｉ，ｊの座
標ＶＲ（ｉ），ＶＬ（ｊ）とで囲まれる閉領域ＨＶ０の
水平方向の幅Ｗ（＝｜ＶＲ（ｉ）−ＶＬ（ｊ）｜）及び
垂直方向の高さＴ（＝｜ＨＵ（ｍ）−ＨＬ（ｎ）｜）が
算出されると共に（ステップＴ８）、この閉領域ＨＶ０
の中心の座標（ＣＸ０，ＣＹ０）が算出される（ステッ
プＴ９）。
【００２２】このとき、ＣＸ０＝｛ＶＲ（ｉ）＋ＶＬ
（ｊ）｝／２，ＣＹ０＝｛ＨＵ（ｍ）＋ＨＬ（ｎ）｝／
２である。
（ｊ）｝／２，ＣＹ０＝｛ＨＵ（ｍ）＋ＨＬ（ｎ）｝／
２である。
【００２３】その後、ステップＴ９で算出した中心座標
（ＣＸ０，ＣＹ０）が予め設定された初期捕促時の許容
範囲内にあるか否かの判定がなされ（ステップＴ１
０）、この判定結果がＹＥＳであれば、ステップＴ８で
求めた高さＴと幅Ｗとの比が予め定められた所定範囲内
にあるか否かの判定がなされ（ステップＴ１１）、この
判定結果がＮＯであれば、上記したステップＴ１０の判
定結果がＮＯの場合と共にステップＴ１２に移行し、す
べてのｍ，ｎについての処理が終了したか否かの判定が
なされ（ステップＴ１２），この判定結果がＹＥＳであ
れば先行車両の捕促失敗と判断され（ステップＴ１
３）、領域Ｈ０の決定処理は終了し、判定結果がＮＯで
あればステップＴ７に戻って異なるｍ，ｎの組み合わせ
が選択される。
（ＣＸ０，ＣＹ０）が予め設定された初期捕促時の許容
範囲内にあるか否かの判定がなされ（ステップＴ１
０）、この判定結果がＹＥＳであれば、ステップＴ８で
求めた高さＴと幅Ｗとの比が予め定められた所定範囲内
にあるか否かの判定がなされ（ステップＴ１１）、この
判定結果がＮＯであれば、上記したステップＴ１０の判
定結果がＮＯの場合と共にステップＴ１２に移行し、す
べてのｍ，ｎについての処理が終了したか否かの判定が
なされ（ステップＴ１２），この判定結果がＹＥＳであ
れば先行車両の捕促失敗と判断され（ステップＴ１
３）、領域Ｈ０の決定処理は終了し、判定結果がＮＯで
あればステップＴ７に戻って異なるｍ，ｎの組み合わせ
が選択される。
【００２４】一方、ステップＴ１１の判定結果がＹＥＳ
であれば先行車両の捕捉に成功したと判断され、中心座
標（ＣＸ０，ＣＹ０）で水平座標ＶＲ（ｉ），ＶＬ
（ｊ）及び垂直座標ＨＵ（ｍ），ＨＬ（ｎ）に基づく閉
領域ＨＶ０が初期捕促における先行車両の存在領域と認
識され（ステップＴ１４）、その後領域Ｈ０の決定処理
は終了する。
であれば先行車両の捕捉に成功したと判断され、中心座
標（ＣＸ０，ＣＹ０）で水平座標ＶＲ（ｉ），ＶＬ
（ｊ）及び垂直座標ＨＵ（ｍ），ＨＬ（ｎ）に基づく閉
領域ＨＶ０が初期捕促における先行車両の存在領域と認
識され（ステップＴ１４）、その後領域Ｈ０の決定処理
は終了する。
【００２５】つぎに、連続捕促処理について図７に示す
フローチャートを参照しつつ説明する。
フローチャートを参照しつつ説明する。
【００２６】基本的には上記した初期捕促処理とほとん
ど同じであり、まず、図７に示すように、撮像手段１に
より得られた撮像開始直後の２番目以降のフレームのフ
レーム画像が画像処理装置４に入力され（ステップＵ
１）、入力された画像が微分処理されたのち（ステップ
Ｕ２）上記した領域Ｖ０と同様に設定された垂直注視領
域Ｖの水平軸投影，即ち垂直注視領域Ｖにおける垂直方
向への画素列ごとの微分値の合計が算出され（ステップ
Ｕ３）、この水平軸投影された画素列ごとの微分値の合
計値分布のうち、１フレーム前の画像処理により車両存
在領域とされた閉領域の境界線を中心とする一定幅の四
角形の枠状の探索エリアにおいて、１フレーム前の閉領
域の中心より右側にピークを示す画素列の水平軸座標が
探索され（ステップＵ４）、この探索により求められた
画素列のうち微分値の合計が上記したしきい値Ｔｈ以上
となる画素列の水平軸座標がテーブルＶＲ（ｉ）に登録
される（ステップＵ５）。
ど同じであり、まず、図７に示すように、撮像手段１に
より得られた撮像開始直後の２番目以降のフレームのフ
レーム画像が画像処理装置４に入力され（ステップＵ
１）、入力された画像が微分処理されたのち（ステップ
Ｕ２）上記した領域Ｖ０と同様に設定された垂直注視領
域Ｖの水平軸投影，即ち垂直注視領域Ｖにおける垂直方
向への画素列ごとの微分値の合計が算出され（ステップ
Ｕ３）、この水平軸投影された画素列ごとの微分値の合
計値分布のうち、１フレーム前の画像処理により車両存
在領域とされた閉領域の境界線を中心とする一定幅の四
角形の枠状の探索エリアにおいて、１フレーム前の閉領
域の中心より右側にピークを示す画素列の水平軸座標が
探索され（ステップＵ４）、この探索により求められた
画素列のうち微分値の合計が上記したしきい値Ｔｈ以上
となる画素列の水平軸座標がテーブルＶＲ（ｉ）に登録
される（ステップＵ５）。
【００２７】さらに、ステップＵ４，Ｕ５と同様にし
て、今度は左側にピークを示す画素列の水平軸座標が探
索されてしきい値Ｔｈ以上となる画素列の水平軸座標が
テーブルＶＬ（ｊ）に登録され（ステップＵ６）、その
後ｉ，ｊが任意に選択され（ステップＵ７）、選択され
たｉ，ｊのテーブルに登録された水平軸座標に基づき後
で詳述する水平注視領域Ｈの決定処理が行われ（ステッ
プＵ８）、先行車両を捕促したか否かの判定が行われ
（ステップＵ９）、この判定結果がＮＯであればすべて
のｉ，ｊについての処理が終了したか否かの判定がなさ
れ（ステップＵ１０）、この判定結果がＹＥＳであれ
ば、先行車両の捕促に失敗したとしてその旨を報知する
などのエラー処理が行われたのち（ステップＵ１１）、
ステップＵ１に戻る。
て、今度は左側にピークを示す画素列の水平軸座標が探
索されてしきい値Ｔｈ以上となる画素列の水平軸座標が
テーブルＶＬ（ｊ）に登録され（ステップＵ６）、その
後ｉ，ｊが任意に選択され（ステップＵ７）、選択され
たｉ，ｊのテーブルに登録された水平軸座標に基づき後
で詳述する水平注視領域Ｈの決定処理が行われ（ステッ
プＵ８）、先行車両を捕促したか否かの判定が行われ
（ステップＵ９）、この判定結果がＮＯであればすべて
のｉ，ｊについての処理が終了したか否かの判定がなさ
れ（ステップＵ１０）、この判定結果がＹＥＳであれ
ば、先行車両の捕促に失敗したとしてその旨を報知する
などのエラー処理が行われたのち（ステップＵ１１）、
ステップＵ１に戻る。
【００２８】一方、ステップＵ９の判定結果がＹＥＳで
あれば、先行車両が捕促されたとして、先行車両の存在
領域の更新処理が行われたのち（ステップＵ１２）、ス
テップＵ１に戻る。
あれば、先行車両が捕促されたとして、先行車両の存在
領域の更新処理が行われたのち（ステップＵ１２）、ス
テップＵ１に戻る。
【００２９】つぎに、上記した水平注視領域Ｈの決定処
理について説明すると、基本的に上記したＨ０決定処理
とほとんど同じであり、図８に示すように、まず図７に
おけるステップＵ７で選択されたｉ，ｊの座標ＶＲ
（ｉ），ＶＬ（ｊ）のうち、ＶＲ（ｉ）を右端，ＶＬ
（ｊ）を左端とする水平注視領域Ｈが設定され（ステッ
プＷ１）、設定された水平注視領域Ｈの垂直軸投影，即
ち水平注視領域Ｈにおける水平方向への画素行ごとの微
分値の合計が算出され（ステップＷ２）、この垂直軸投
影された画素行ごとの微分値の合計値分布のうち、上記
した探索エリアにおいて１フレーム前の閉領域の中心よ
り上側にピークを示す画素行の垂直軸座標が探索され
（ステップＷ３）、この探索により求められた画素行の
うち微分値合計が上記したしきい値Ｔｈ以上となる画素
行の垂直軸座標がテーブルＨＵ（ｍ）に登録される（ス
テップＷ４）。
理について説明すると、基本的に上記したＨ０決定処理
とほとんど同じであり、図８に示すように、まず図７に
おけるステップＵ７で選択されたｉ，ｊの座標ＶＲ
（ｉ），ＶＬ（ｊ）のうち、ＶＲ（ｉ）を右端，ＶＬ
（ｊ）を左端とする水平注視領域Ｈが設定され（ステッ
プＷ１）、設定された水平注視領域Ｈの垂直軸投影，即
ち水平注視領域Ｈにおける水平方向への画素行ごとの微
分値の合計が算出され（ステップＷ２）、この垂直軸投
影された画素行ごとの微分値の合計値分布のうち、上記
した探索エリアにおいて１フレーム前の閉領域の中心よ
り上側にピークを示す画素行の垂直軸座標が探索され
（ステップＷ３）、この探索により求められた画素行の
うち微分値合計が上記したしきい値Ｔｈ以上となる画素
行の垂直軸座標がテーブルＨＵ（ｍ）に登録される（ス
テップＷ４）。
【００３０】さらに、ステップＷ３，Ｗ４と同様にし
て、今度は下側にピークを示す画素行の垂直軸座標が探
索されてしきい値Ｔｈ以上となる画素行の垂直軸座標が
テーブルＨＬ（ｎ）に登録され（ステップＷ５）、その
後ｍ，ｎが任意に選択され（ステップＷ６）、選択され
たｍ，ｎの座標ＨＵ（ｍ），ＨＬ（ｎ）と、図７のステ
ップＵ７で選択されたｉ，ｊの座標ＶＲ（ｉ），ＶＬ
（ｊ）とで囲まれる閉領域ＨＶの水平方向の幅Ｗ（＝｜
ＶＲ（ｉ）−ＶＬ（ｊ）｜）及び垂直方向の高さＴ（＝
｜ＨＵ（ｍ）−ＨＬ（ｎ）｜）が算出されると共に（ス
テップＷ７）、この閉領域ＨＶの中心の座標（ＣＸ，Ｃ
Ｙ）が算出される（ステップＷ８）。
て、今度は下側にピークを示す画素行の垂直軸座標が探
索されてしきい値Ｔｈ以上となる画素行の垂直軸座標が
テーブルＨＬ（ｎ）に登録され（ステップＷ５）、その
後ｍ，ｎが任意に選択され（ステップＷ６）、選択され
たｍ，ｎの座標ＨＵ（ｍ），ＨＬ（ｎ）と、図７のステ
ップＵ７で選択されたｉ，ｊの座標ＶＲ（ｉ），ＶＬ
（ｊ）とで囲まれる閉領域ＨＶの水平方向の幅Ｗ（＝｜
ＶＲ（ｉ）−ＶＬ（ｊ）｜）及び垂直方向の高さＴ（＝
｜ＨＵ（ｍ）−ＨＬ（ｎ）｜）が算出されると共に（ス
テップＷ７）、この閉領域ＨＶの中心の座標（ＣＸ，Ｃ
Ｙ）が算出される（ステップＷ８）。
【００３１】このとき、ＣＸ＝｛ＶＲ（ｉ）＋ＶＬ
（ｊ）｝／２，ＣＹ＝｛ＨＵ（ｍ）＋ＨＬ（ｎ）｝／２
である。
（ｊ）｝／２，ＣＹ＝｛ＨＵ（ｍ）＋ＨＬ（ｎ）｝／２
である。
【００３２】その後、ステップＷ８で算出した中心座標
（ＣＸ，ＣＹ）のうち垂直軸座標ＣＹは、撮像手段１の
設置の関係上ほとんど変化しないようになっているた
め、座標ＣＹが予め定められた所定の制約範囲内に入っ
ているか否かの判定がなされ（ステップＷ９）、この判
定結果がＹＥＳであれば、中心座標（ＣＸ，ＣＹ）が連
続捕促時の許容範囲内か否かの判定がなされ（ステップ
Ｗ１０）、この判定結果がＹＥＳであれば、ステップで
求めた高さＴと幅Ｗとの比が予め定められた所定範囲内
にあるか否かの判定がなされ（ステップＷ１１）、この
判定結果がＮＯであれば、上記したステップＷ９，Ｗ１
０の判定結果がそれぞれＮＯの場合と共にステップＷ１
２に移行し、すべてのｍ，ｎについての処理が終了した
か否かの判定がなされ（ステップＷ１２），この判定結
果がＹＥＳであれば先行車両の捕促失敗と判断され（ス
テップＷ１３），領域Ｈの決定処理は終了し、判定結果
がＮＯであればステップＷ６に戻って異なるｍ，ｎの組
み合わせが選択される。
（ＣＸ，ＣＹ）のうち垂直軸座標ＣＹは、撮像手段１の
設置の関係上ほとんど変化しないようになっているた
め、座標ＣＹが予め定められた所定の制約範囲内に入っ
ているか否かの判定がなされ（ステップＷ９）、この判
定結果がＹＥＳであれば、中心座標（ＣＸ，ＣＹ）が連
続捕促時の許容範囲内か否かの判定がなされ（ステップ
Ｗ１０）、この判定結果がＹＥＳであれば、ステップで
求めた高さＴと幅Ｗとの比が予め定められた所定範囲内
にあるか否かの判定がなされ（ステップＷ１１）、この
判定結果がＮＯであれば、上記したステップＷ９，Ｗ１
０の判定結果がそれぞれＮＯの場合と共にステップＷ１
２に移行し、すべてのｍ，ｎについての処理が終了した
か否かの判定がなされ（ステップＷ１２），この判定結
果がＹＥＳであれば先行車両の捕促失敗と判断され（ス
テップＷ１３），領域Ｈの決定処理は終了し、判定結果
がＮＯであればステップＷ６に戻って異なるｍ，ｎの組
み合わせが選択される。
【００３３】一方、ステップＷ１１の判定結果がＹＥＳ
であれば先行車両の捕促に成功したと判断され（ステッ
プＷ１４）、その後領域Ｈの決定処理は終了する。
であれば先行車両の捕促に成功したと判断され（ステッ
プＷ１４）、その後領域Ｈの決定処理は終了する。
【００３４】従って、従来のように全画素のすべての信
号について最終段階までの処理を行う必要がなく、最初
に全画素について微分処理したのちは必要な領域につい
てのみ処理すればよく、しかも微分，加算，比較の各演
算を行うだけでよく、簡単な演算で精度よく先行車両を
認識することができる。
号について最終段階までの処理を行う必要がなく、最初
に全画素について微分処理したのちは必要な領域につい
てのみ処理すればよく、しかも微分，加算，比較の各演
算を行うだけでよく、簡単な演算で精度よく先行車両を
認識することができる。
【００３５】
【発明の効果】以上のように、この発明の先行車両認識
方法によれば、垂直注視領域における垂直方向への画素
列ごとの微分値の合計から抽出した先行車両の左，右端
の輪郭候補としての複数の画素列、及び水平注視領域に
おける水平方向への画素行ごとの微分値の合計から抽出
した先行車両の上，下端の輪郭候補としての複数の画素
行のうち２つずつを選択し、両画素列及び両画素行によ
り囲まれる閉領域を一定条件下で先行車両の存在領域と
するため、従来のように全画素すべての信号について最
終段階までの処理を行う必要はなく、最初に全画素につ
いて微分処理したのちは必要な領域についてのみ処理す
ればよく、しかも微分，加算，比較の各演算を行うだけ
でよく、簡単な演算処理で精度よく先行車両を認識する
ことができ、演算コストの低減を図ることも可能とな
り、車載用システムとして好適である。
方法によれば、垂直注視領域における垂直方向への画素
列ごとの微分値の合計から抽出した先行車両の左，右端
の輪郭候補としての複数の画素列、及び水平注視領域に
おける水平方向への画素行ごとの微分値の合計から抽出
した先行車両の上，下端の輪郭候補としての複数の画素
行のうち２つずつを選択し、両画素列及び両画素行によ
り囲まれる閉領域を一定条件下で先行車両の存在領域と
するため、従来のように全画素すべての信号について最
終段階までの処理を行う必要はなく、最初に全画素につ
いて微分処理したのちは必要な領域についてのみ処理す
ればよく、しかも微分，加算，比較の各演算を行うだけ
でよく、簡単な演算処理で精度よく先行車両を認識する
ことができ、演算コストの低減を図ることも可能とな
り、車載用システムとして好適である。
【図１】この発明の一実施例の動作説明図である。
【図２】この発明に適用される画像処理システムのブロ
ック図である。
ック図である。
【図３】この発明の動作説明図である。
【図４】この発明の動作説明用フローチャートである。
【図５】この発明の動作説明用フローチャートである。
【図６】この発明の動作説明用フローチャートである。
【図７】この発明の動作説明用フローチャートである。
【図８】この発明の動作説明用フローチャートである。
１ 撮像手段 ３ 先行車両 ４ 画像処理装置
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ０８Ｇ 1/16 Ｃ 7531−3Ｈ Ｈ０４Ｎ 7/18 Ｊ
Claims (1)
- 【請求項１】 自動車に搭載された撮像手段により前方
を撮像して得られた画像を画像処理装置により微分処理
し、前記撮像手段の撮像画面の垂直方向に所定の垂直幅
の垂直注視領域を設定すると共に水平方向に所定の水平
幅の水平注視領域を設定し、前記垂直注視領域における
垂直方向への画素列ごとの微分値の合計を算出すると共
に、前記水平注視領域における水平方向への画素行ごと
の微分値の合計を算出し、先行車両の左，右端の輪郭候
補として微分値の合計が所定のしきい値をこえる複数の
画素列を抽出すると共に、先行車両の上，下端の輪郭候
補として微分値の合計が所定のしきい値をこえる複数の
画素行を抽出し、抽出した前記各画素列及び前記各画素
行のうち２つを選択し、選択した前記両画素列及び前記
両画素行で囲まれる閉領域の中心点の前回の処理により
導出された中心点からのずれが所定の許容範囲内で、か
つ前記閉領域の垂直及び水平方向の長さの比が所定範囲
内にあるときに、前記閉領域を先行車両の存在領域と認
識することを特徴とする先行車両認識方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP19689293A JP3157958B2 (ja) | 1993-07-13 | 1993-07-13 | 先行車両認識方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP19689293A JP3157958B2 (ja) | 1993-07-13 | 1993-07-13 | 先行車両認識方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0725286A true JPH0725286A (ja) | 1995-01-27 |
| JP3157958B2 JP3157958B2 (ja) | 2001-04-23 |
Family
ID=16365389
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP19689293A Expired - Fee Related JP3157958B2 (ja) | 1993-07-13 | 1993-07-13 | 先行車両認識方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3157958B2 (ja) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001134772A (ja) * | 1999-11-04 | 2001-05-18 | Honda Motor Co Ltd | 対象物認識装置 |
| US7224309B2 (en) * | 2003-12-09 | 2007-05-29 | Nissan Motor Co., Ltd. | Preceding-vehicle detecting apparatus, own-vehicle controlling apparatus, and preceding-vehicle detecting method |
| JP2008293504A (ja) * | 2008-05-30 | 2008-12-04 | Honda Motor Co Ltd | 対象物認識装置 |
| US9609289B2 (en) | 2004-04-15 | 2017-03-28 | Magna Electronics Inc. | Vision system for vehicle |
| US9643605B2 (en) | 2002-05-03 | 2017-05-09 | Magna Electronics Inc. | Vision system for vehicle |
| US10071676B2 (en) | 2006-08-11 | 2018-09-11 | Magna Electronics Inc. | Vision system for vehicle |
| WO2020039852A1 (ja) * | 2018-08-23 | 2020-02-27 | ヤマハ発動機株式会社 | リーンビークル用障害物検知装置 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4610353B2 (ja) * | 2005-01-26 | 2011-01-12 | ダイハツ工業株式会社 | 画像エッジヒストグラム演算方法及び画像エッジヒストグラム演算装置 |
| CN107406116B (zh) | 2015-02-11 | 2020-06-19 | 美国锐哲有限公司 | 带有旋转连接的踏板车 |
| USD855116S1 (en) | 2017-09-12 | 2019-07-30 | Razor Usa Llc | Personal mobility vehicle |
-
1993
- 1993-07-13 JP JP19689293A patent/JP3157958B2/ja not_active Expired - Fee Related
Cited By (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001134772A (ja) * | 1999-11-04 | 2001-05-18 | Honda Motor Co Ltd | 対象物認識装置 |
| US6792147B1 (en) | 1999-11-04 | 2004-09-14 | Honda Giken Kogyo Kabushiki Kaisha | Object recognition system |
| US10683008B2 (en) | 2002-05-03 | 2020-06-16 | Magna Electronics Inc. | Vehicular driving assist system using forward-viewing camera |
| US10118618B2 (en) | 2002-05-03 | 2018-11-06 | Magna Electronics Inc. | Vehicular control system using cameras and radar sensor |
| US11203340B2 (en) | 2002-05-03 | 2021-12-21 | Magna Electronics Inc. | Vehicular vision system using side-viewing camera |
| US9643605B2 (en) | 2002-05-03 | 2017-05-09 | Magna Electronics Inc. | Vision system for vehicle |
| US10351135B2 (en) | 2002-05-03 | 2019-07-16 | Magna Electronics Inc. | Vehicular control system using cameras and radar sensor |
| US9834216B2 (en) | 2002-05-03 | 2017-12-05 | Magna Electronics Inc. | Vehicular control system using cameras and radar sensor |
| US7224309B2 (en) * | 2003-12-09 | 2007-05-29 | Nissan Motor Co., Ltd. | Preceding-vehicle detecting apparatus, own-vehicle controlling apparatus, and preceding-vehicle detecting method |
| US9736435B2 (en) | 2004-04-15 | 2017-08-15 | Magna Electronics Inc. | Vision system for vehicle |
| US9948904B2 (en) | 2004-04-15 | 2018-04-17 | Magna Electronics Inc. | Vision system for vehicle |
| US10110860B1 (en) | 2004-04-15 | 2018-10-23 | Magna Electronics Inc. | Vehicular control system |
| US10462426B2 (en) | 2004-04-15 | 2019-10-29 | Magna Electronics Inc. | Vehicular control system |
| US10187615B1 (en) | 2004-04-15 | 2019-01-22 | Magna Electronics Inc. | Vehicular control system |
| US9609289B2 (en) | 2004-04-15 | 2017-03-28 | Magna Electronics Inc. | Vision system for vehicle |
| US11503253B2 (en) | 2004-04-15 | 2022-11-15 | Magna Electronics Inc. | Vehicular control system with traffic lane detection |
| US10015452B1 (en) | 2004-04-15 | 2018-07-03 | Magna Electronics Inc. | Vehicular control system |
| US10306190B1 (en) | 2004-04-15 | 2019-05-28 | Magna Electronics Inc. | Vehicular control system |
| US10735695B2 (en) | 2004-04-15 | 2020-08-04 | Magna Electronics Inc. | Vehicular control system with traffic lane detection |
| US10071676B2 (en) | 2006-08-11 | 2018-09-11 | Magna Electronics Inc. | Vision system for vehicle |
| US10787116B2 (en) | 2006-08-11 | 2020-09-29 | Magna Electronics Inc. | Adaptive forward lighting system for vehicle comprising a control that adjusts the headlamp beam in response to processing of image data captured by a camera |
| US11148583B2 (en) | 2006-08-11 | 2021-10-19 | Magna Electronics Inc. | Vehicular forward viewing image capture system |
| US11396257B2 (en) | 2006-08-11 | 2022-07-26 | Magna Electronics Inc. | Vehicular forward viewing image capture system |
| US11623559B2 (en) | 2006-08-11 | 2023-04-11 | Magna Electronics Inc. | Vehicular forward viewing image capture system |
| US11951900B2 (en) | 2006-08-11 | 2024-04-09 | Magna Electronics Inc. | Vehicular forward viewing image capture system |
| JP2008293504A (ja) * | 2008-05-30 | 2008-12-04 | Honda Motor Co Ltd | 対象物認識装置 |
| WO2020039852A1 (ja) * | 2018-08-23 | 2020-02-27 | ヤマハ発動機株式会社 | リーンビークル用障害物検知装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3157958B2 (ja) | 2001-04-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3169483B2 (ja) | 道路環境認識装置 | |
| CN108021856B (zh) | 车辆尾灯识别方法、装置及车辆 | |
| US8050459B2 (en) | System and method for detecting pedestrians | |
| JPH11203445A (ja) | 車両用画像処理装置 | |
| JP6592991B2 (ja) | 物体検出装置、物体検出方法及びプログラム | |
| JP3328711B2 (ja) | 車輌高さ計測装置およびこの装置を用いた車輌監視システム | |
| JP3157958B2 (ja) | 先行車両認識方法 | |
| JP2015148887A (ja) | 画像処理装置、物体認識装置、移動体機器制御システム及び物体認識用プログラム | |
| JPH07111734B2 (ja) | 走行路判別方法 | |
| JP2821041B2 (ja) | 画像処理方法 | |
| JP3319401B2 (ja) | 走行路認識装置 | |
| JP2862199B2 (ja) | 車両認識装置 | |
| JP3757500B2 (ja) | 先行車追従装置 | |
| JP2962799B2 (ja) | 移動車の走行路端検出装置 | |
| JP3260503B2 (ja) | 走路認識装置および走路認識方法 | |
| JP3267105B2 (ja) | 物体認識装置 | |
| JP4106163B2 (ja) | 障害物検出装置及びその方法 | |
| JP3331095B2 (ja) | 車載用画像処理装置 | |
| JPH11259792A (ja) | 車輌認識方法およびその装置 | |
| CN112513573B (zh) | 立体摄像机装置 | |
| JP2000259997A (ja) | 先行車の高さおよび車間距離計測装置 | |
| JP2995813B2 (ja) | 交通流速度計測方法 | |
| JPH0520593A (ja) | 走行レーン認識装置と先行車認識装置 | |
| JP3081660B2 (ja) | 距離検出方法 | |
| JP3004158B2 (ja) | 車両認識装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080209 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100209 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |