JP3675366B2 - 画像抽出処理装置 - Google Patents
画像抽出処理装置 Download PDFInfo
- Publication number
- JP3675366B2 JP3675366B2 JP2001172679A JP2001172679A JP3675366B2 JP 3675366 B2 JP3675366 B2 JP 3675366B2 JP 2001172679 A JP2001172679 A JP 2001172679A JP 2001172679 A JP2001172679 A JP 2001172679A JP 3675366 B2 JP3675366 B2 JP 3675366B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- area
- region
- binarized
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Radar Systems Or Details Thereof (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、二次元又は三次元画像データから所望の画像を抽出する画像抽出処理装置に関し、特に二値化画像内で同一物体の画像が途切れるために画像情報が連続しない傾向にあるソーナ画像やレーダ画像に好適な画像抽出処理装置に関する。
【０００２】
【従来の技術】
従来、二値化画像から所望画像を抽出する技術としては、目標画像のサイズを限定し、そのサイズに応じて画像の連続・不連続点を判断する技術が知られている（例えば特開昭６１−１５００８３号公報参照、以下「第一従来例」という。）。また、二値化画像から所望画像を抽出するために、画像の輪郭抽出を実施し、輪郭に沿って画像の連続・不連続点を判定する技術が知られている（例えば特開昭６０−２５６８７５号公報、以下「第二従来例」という。）。
【０００３】
【発明が解決しようとする課題】
第一従来例では、所望画像サイズに応じて画像抽出を実施する場合、予め目標の物体情報が必要となるという問題があった。ソーナ画像やレーダ画像では、目標の物理サイズは未知情報であるため、それを予め設定することは困難である。例え複数のサイズ情報を元にデータテーブルを用意し、それぞれで処理を実施したとしても、複数回処理を実施する必要が生じるので、処理時間や処理量の観点から困難である。
【０００４】
第二従来例では、画像の輪郭を抽出し、その輪郭に沿って画像の不連続点を抽出する際に、完全に分離されている途切れ途切れの画像を同一の物体画像としてグループ化することが困難であるという問題があった。また、輪郭に沿って処理を実行してゆくためには、多大な処理時間を必要とするので、ソーナやレーダ等のリアルタイム性を必要とする処理には適さない。
【０００５】
【発明の目的】
そこで、本発明の第一の目的は、同一物体の画像が途切れ途切れに存在する二値化画像において、途切れている画像を同一物体のものとして分類するための画像抽出処理装置を提供することにある。
【０００６】
【課題を解決するための手段】
本発明に係る画像抽出処理装置は、二値化画像を入力する画像入力手段と、この画像入力手段から入力された二値化画像を複数の画像領域に分割する領域分割手段と、この領域分割手段で分割された各画像領域において、アクティブ情報を示すアクティブ画素の座標に基づき、前記二値化画像内の特定の軸に対する傾きを示す領域内アスペクト値を検出するアスペクト検出手段と、領域分割手段で分割された各画像領域毎に、アスペクト検出手段で検出された領域内アスペクト値からの各アクティブ画素の偏り具合を算出するアスペクト変異検出手段と、このアスペクト変異検出手段で算出された偏り具合が一定以下である画像領域を抽出し、それぞれ別々の画像グループとして取得する画像グループ抽出手段と、この画像グループ抽出手段で取得された各画像グループの前記領域内アスペクト値を比較し、それらが同一又は類似である画像グループ同士を、同じ画像カテゴリとして分別する画像カテゴリ分別手段と、を備えたものである（請求項１）。
【０００７】
二値化画像はＸ軸方向にＭ画素かつＹ軸方向にＮ画素からなる矩形状であり、画像領域はＸ軸方向にｍ（ｍ＜Ｍ）画素かつＹ軸方向にｎ（ｎ＜Ｎ）画素からなる矩形状であり、領域分割手段は、当該二値化画像に位置する当該画像領域をＸ軸方向又はＹ軸方向に一画素ずつずらしてＭ×Ｎ個の画素領域に分割する、としてもよい（請求項２）このとき、一画素ずつに代えて複数画素ずつとした、としてもよい（請求項３）。
【０００８】
領域内アスペクト値からの各アクティブ画素の偏り具合が分散値である、としてもよい（請求項４）。画像カテゴリ分別手段は、領域内アスペクト値を比較し、それらが互いに一定範囲内にある画像グループ同士を、同じ画像カテゴリとして分別する、としてもよい（請求項５）。二値化画像がソーナ画像又はレーダ画像である、としてもよい（請求項６）。アスペクト検出手段は、アクティブ画素の座標に基づき、最小自乗法を用いて領域内アスペクト値を検出する、としてもよい（請求項７）。
【０００９】
また、本発明に係る画像抽出処理装置は、例えば、コンピュータ（プロセッサを含む）を上記各手段として機能させるためのプログラムによって実現される。すなわち、そのプログラムがハードウェア（コンピュータ）の動作を制御する。又は、プログラム制御されたそのハードウェア（コンピュータ）がプログラムに指令される特定の処理を行なう
【００１０】
本発明者は、二値化画像内に存在する途切れ途切れの画像（複数の画像グループ）であっても、同一物体から構成されている画像であれば、そのアスペクトが一定であるということに着目し、本発明をなすに至った。すなわち、本発明では、最小の画像グループと推定される大きさで二値化画像内を区切る領域分割手段を有し、更にその領域内に存在する画素情報からアスペクトを検出するアスペクト検出手段を有する。また、前述した領域を二値化画像全面に渡って走査し、二値化画像全域におけるアスペクト変異状態を検出するアスペクト変異検出手段を有する。そして、アスペクト変異検出手段で得たアスペクト分散値から、二値化画像内のアスペクト変異量がある閾値以下の分散値となっている箇所を一つの画素グループとして抽出する画像グループ抽出手段を有する。更に、抽出された画像グループのアスペクト値を比較し、アスペクト値が同一の傾向を示す画像グループを一つの画像カテゴリとして分別する画像カテゴリ分別手段を有する。
【００１１】
まず、領域分割手段は、二値化画像内に存在する途切れ途切れの画像に対して、最小の画像グループサイズと推定される大きさの領域に二値化画像を分割するにより、二値化画像内の画像の分布状態を離散的に捕らえる。次に、アスペクト検出手段は、領域内の画像情報からアスペクト値を検出することにより、領域内画像の特徴をアスペクト値として取得する。更に、アスペクト変異検出手段は、二値化画像全域に渡って領域を走査することで、二値化画像全域に渡るアスペクトの変異状態を連続的に捕らえる。すなわち、領域走査することで離散的な出力であるアスペクト値を、二値化画像全域の変異状態連続情報として捕らえる。次に、画像グループ抽出手段は、アスペクト変異検出手段で得た二値化画像内の連続アスペクト変化量を分散値の変異量に置き換えて、ある分散値以下となっている箇所を抽出することにより、二値化画像に存在する複数の画像グループを抽出する。最後に、画像カテゴリ分別手段は、抽出された画像グループ毎のアスペクト値を比較し、同一と見なされるアスペクト値を有する画像グループを一つの画像カテゴリとして分別する。その結果、二値化画像内に存在する途切れ途切れの同一物体画像が、一つの画像カテゴリとして検出される。
【００１２】
【発明の実施の形態】
図１は、本発明に係る画像抽出処理装置の一実施形態を示すブロック図である。以下、この図面に基づき説明する。
【００１３】
本実施形態の画像抽出処理装置１０は、二値化画像▲１▼を入力する画像入力手段１１と、画像入力手段１１から入力された二値化画像▲１▼を複数の領域▲２▼に分割する領域分割手段１２と、領域分割手段１２で分割された各領域▲２▼において、アクティブ情報を示すアクティブ画素の座標▲３▼に基づき、二値化画像▲１▼内のＸ軸に対する傾きを示す領域内アスペクト値▲４▼を検出するアスペクト検出手段１３と、領域分割手段１２で分割された各領域▲２▼毎に、アスペクト検出手段１３で検出された領域内アスペクト値▲４▼からの各アクティブ画素の偏り具合を示す連続アスペクト分散値▲５▼を算出するアスペクト変異検出手段１４と、アスペクト変異検出手段１４で算出された連続アスペクト分散値▲５▼がアスペクト分散閾値▲６▼以下である領域▲２▼を抽出し、それぞれ別々の画像グループ▲７▼として取得する画像グループ抽出手段１５と、画像グループ抽出手段１５で取得された各画像グループ▲７▼の領域内アスペクト値▲４▼を比較し、それらが同一又は類似である画像グループ▲７▼同士を、同じ画像カテゴリ▲８▼として分別する画像カテゴリ分別手段１６とを備えたものである。
【００１４】
図２は、画像抽出処理装置１０の動作の全体を示すフローチャートである。以下、図１及び図２に基づき説明する。
【００１５】
まず、画像入力手段１１は、例えばソーナ装置やレーダ装置などから、Ｍ×Ｎ画素の二値化画像▲１▼を入力する（ステップ１０１）。続いて、領域分割手段１２は領域▲２▼（ｍ×ｎ画素）を設定する（領域分割処理：ステップ１０２）。続いて、設定したｍ×ｎ画素の領域▲２▼を二値化画像▲１▼の左上座標に設定し、このときの領域走査番号を１とおく（ステップ１０３）。
【００１６】
ここから、領域走査ループ（ステップ１０４）に入る。まず、アスペクト検出手段１３は、領域▲２▼内に存在する二値化画素の内、アクティブ画素の座標▲３▼（Ｘ［ｉ］，Ｙ［ｉ］）を抽出する。ここで、アクティブ画素は、Ｈｉｇｈアクティブの二値化画像では画素値＝１、Ｌｏｗアクティブの二値化画像では画素値＝０を示す。また、Ｘ［ｉ］，Ｙ［ｉ］は、ｉ番目のアクティブ画素のＸ座標、Ｙ座標を示す。続いて、これらの座標▲３▼に基づき、領域▲２▼内に存在する画像の領域内アスペクト値▲４▼を算出する（アスペクト検出処理：ステップ１０５）。続いて、算出された領域内アスペクト値▲４▼を、領域走査番号に対応するメモリに保存する（アスペクト値保存処理：ステップ１０６）。
【００１７】
続いて、領域分割手段１２は、領域▲２▼をＸ方向に１画素シフトし、この領域▲２▼を領域走査番号２とする（ステップ１０７，１０８）。続いて、アスペクト検出手段１３は、アスペクト検出処理（ステップ１０５）及びアスペクト保存処理（ステップ１０６）を実行する。このように領域▲２▼をＸ方向又はＹ方向に１画素ずつシフトすることで、領域走査番号がＭ×Ｎに到達するまで、領域走査ループ１０４を繰り返す。以上の処理により、領域走査番号１〜Ｍ×Ｎまでの領域内アスペクト値▲４▼がメモリに蓄積される。
【００１８】
続いて、アスペクト変異検出手段１４は、Ｍ×Ｎ個の領域内アスペクト値▲４▼から、ｍ（Ｘ方向の領域画素数）以下を母数とする連続アスペクト分散値▲５▼を、領域走査番号方向に順次算出する（アスペクト変異検出処理：ステップ１０９）。続いて、画像グループ抽出手段１５は、連続アスペクト分散値▲５▼に基づきアスペクト分散閾値▲６▼以下の領域走査番号を抽出し、抽出された領域走査番号内に存在する目標画素データを抽出順にグループ登録することで、二値化画像▲１▼内に存在する複数の画像グループ▲７▼を抽出する（画像グループ抽出処理：ステップ１１０）。
【００１９】
最後に、画像カテゴリ分別手段１６が、抽出された画像グループ▲７▼毎の領域内アスペクト値▲４▼をアスペクト値保存処理（ステップ１０６）で蓄積されているデータから抽出し、類似する領域内アスペクト値▲４▼を示す画像グループ▲７▼同士を一つの画像カテゴリ▲８▼として分別する（画像カテゴリ分別処理：ステップ１１１）。これにより、目標が抽出される（ステップ１１２）。
【００２０】
図３は、図２中の領域分割処理（ステップ１０２）における動作を示す説明図である。以下、図２及び図３に基づき説明する。
【００２１】
領域分割処理（ステップ１０２）においては、図３に示すＭ×Ｎ画素の二値化画像▲１▼よりも小さい領域▲２▼ｍ×ｎを決定する。この領域▲２▼は、小さすぎると画像グループ▲７▼検出精度が落ち、逆に大きすぎると複数の画像グループ▲７▼を画像カテゴリ▲８▼に分別する精度が落ちる。分裂画像サイズは、二値化画像▲１▼取得時の各システム要素に依存する値である。したがって、領域▲２▼サイズｍ×ｎは、各画像システム毎に任意に設定される。
【００２２】
図４は、図２中の領域走査ループ（ステップ１０４）における領域▲２▼の走査方法を示す説明図である。以下、図２及び図４に基づき説明する。
【００２３】
まず、ｍ×ｎ画素の領域▲２▼をＭ×Ｎ画素の二値化画像▲１▼における左端（図４中のＡ）に配置し、そのときの領域走査番号を１とする。次の走査領域はＸ軸方向に１画素シフトした図４中のＢの位置にとり、このときの領域走査番号を２とする。このように、Ｘ軸方向に１画素ずつシフトする領域走査を（Ｍ−ｍ）回を繰り返すと、次の領域シフトにおいて領域▲２▼が二値化画像▲１▼から外れることになる。このような場合、外れた画素のデータは全て画素値０（目標画像ではなく背景レベル）として扱い、Ｘ軸方向にＭ回の領域走査を繰り返す。このような走査を繰り返すことで、領域走査番号Ｍにおける領域▲２▼の位置は図４中におけるＣの位置となる。更に領域走査番号Ｍを越えた場合、Ｘ軸を元の位置に戻し、Ｙ軸方向に１画素シフトした図４中のＤの位置に領域▲２▼を走査する。最終的に、図４に示すＥの位置まで領域走査が終了した時点でＭ×Ｎ回の走査が終了し、領域走査ループ（ステップ１０４）を抜ける。
【００２４】
図５は、図２中のアスペクト検出処理（ステップ１０５）における動作を示す説明図である。以下、図２及び図５に基づき説明する。
【００２５】
まず、図５に示す通り領域▲２▼内に存在するアクティブ画素から、その画素点の座標▲３▼Ｘ［ｉ］，Ｙ［ｉ］を抽出する。ここで、アクティブ画素とは、抽出すべき画像情報を示す画素であり、Ｈｉｇｈアクティブの画像では画素値１を示す画素であり、Ｌｏｗアクティブの画像では画素値０を示す画素である。そして、抽出した座標▲３▼に基づき、最小自乗法（図５中に示す式（１））を用いて領域内アスペクト値▲４▼を算出する。式（１）中の、ｋは領域▲２▼内に存在するアクティブ画素の数であり、Ｘａｖｅは抽出されたＸ［ｉ］の平均値であり、Ｙａｖｅは抽出されたＹ［ｉ］の平均値である。このように、アスペクト検出処理では、領域▲２▼内に存在する画像の領域内アスペクト値▲４▼を算出する。
【００２６】
図６は、図２中のアスペクト値保存処理（ステップ１０６）における動作を示す説明図である。以下、図２及び図６に基づき説明する。
【００２７】
前述の通り、アスペクト検出処理（ステップ１０５）は領域走査ループ（ステップ１０４）でＭ×Ｎ回実行されることから、領域内アスペクト値▲４▼はＭ×Ｎ個算出される。これらの領域内アスペクト値▲４▼は、アスペクト値保存処理（ステップ１０６）にて、図６に示す通り領域走査番号と対応させてメモリに蓄積される。
【００２８】
図７は、図２中のアスペクト変異検出処理（ステップ１０９）及び画像グループ抽出処理（ステップ１１０）における動作を示す説明図である。以下、図２及び図７に基づき説明する。
【００２９】
まず、アスペクト変異検出処理（ステップ１０９）において、領域走査ループ（ステップ１０４）で取得されたＭ×Ｎ個の領域内アスペクト値▲４▼の変動状態を把握するために、母数をｍ個とおいて領域番号方向に順次、連続アスペクト分散値▲５▼を算出する。図７では、この連続アスペクト分散値▲５▼を、二値化画像▲１▼の隣に二値化画像▲１▼の各Ｘ軸に対応させた形で示した。図７では、二値化画像▲１▼内にＡ，Ｂ，Ｃの三つの分離画像が存在する例を示している。これらＡ，Ｂ，Ｃの位置に対応し、連続アスペクト分散値▲５▼は低い値を示す。例えば、領域走査においてＡ点の画像が順次走査されていく過程では、安定してＡ点のアスペクト角が連続して検出されるため、Ａ点近傍の連続アスペクト分散値▲５▼は低い値を示すこととなる。
【００３０】
続いて、画像グループ抽出処理（ステップ１１０）において、連続アスペクト分散値▲５▼がアスペクト分散閾値▲６▼よりも低い値を示す箇所を抽出し、その対応する領域▲２▼に存在する画素にグループ番号を付与する。図７では、連続アスペクト分散値▲５▼が大きく分けて三箇所でアスペクト分散閾値▲６▼を下回るので、二値化画像▲１▼中に存在する画像グループＡ〜Ｃが抽出される。
【００３１】
図８は、図２中の画像カテゴリ分別処理（ステップ１１１）における動作を示す説明図である。以下、図２及び図８に基づき説明する。
【００３２】
画像カテゴリ分別処理（ステップ１１１）では、画像グループ▲７▼から画像カテゴリ▲８▼を分別する。ここでは、画像グループＡ〜Ｄが抽出されている例を示す。ここで、アスペクト値保存処理（ステップ１０６）においてメモリに記録されているアスペクト値から、各画像グループ▲７▼の対応する領域内アスペクト値▲４▼を読み取り、これらを各画像グループ▲７▼間で比較する。図８の例では次の通りとなる。
【００３３】
アスペクト値Ａ ≒ アスペクト値Ｂ ≒ アスペクト値Ｃ
アスペクト値Ｄ ≠ アスペクト値Ａ
【００３４】
以上の比較結果から、画像カテゴリ分別処理（ステップ１１１）では、画像グループＡ〜Ｃを画像カテゴリαとし、画像グループＤを画像カテゴリβとして分別する。以上の動作から、二値化画像▲１▼において分離して存在していた四つの画像から、画像カテゴリαと画像カテゴリβとに分別された。
【００３５】
本発明は、言うまでもく、上記実施形態に限定されるものではない。例えば、次のようにしてもよい。
【００３６】
図４に示す領域走査ループにおいて、領域の初期位置を二値化画像の左隅に限定せずに、処理の都合に応じて任意の位置に配置する。また、１画素毎に領域走査を実施するのではなく、複数画素ステップで領域走査を間引いて行う。
【００３７】
上記実施形態では領域走査を逐次処理として示したが、単純な処理の繰り返しであることから、複数のプロセッサで二値化画像の領域走査範囲を分担し、並列処理を実施することにより高速処理を達成する。
【００３８】
三次元画像において、Ｘ−Ｙ平面における水平アスペクトに対して本手法を適用した水平アスペクトによる画像カテゴリ検出結果と、Ｘ−Ｚ平面における垂直アスペクトに対して本手法を適用した垂直アスペクト画像カテゴリ検出結果とをそれぞれ検出する。更に、水平方向と垂直方向との検出結果の論理演算結果に基づき、三次元に存在する途切れ途切れの画像を一つの画像カテゴリとして検出する。
【００３９】
【発明の効果】
第一の効果は、二値化画像中に途切れ途切れに存在する目標物体画像を一つの画像として認識することが可能となるである。第二の効果は、二値化画像に存在する目標画像に基づき同一画像範囲が検出されることから、目標の端点を検出することが可能となるので、目標の物理量測定が可能となる。第三の効果は、本発明は単純な処理の繰り返しで構成されていることから、従来の輪郭抽出による画像抽出技術と比較して、処理が簡単であるため、高速処理が可能である。
【図面の簡単な説明】
【図１】本発明に係る画像抽出処理装置の一実施形態を示すブロック図である。
【図２】図１の画像抽出処理装置の動作の全体を示すフローチャートである。
【図３】図２における領域分割処理の動作を示す説明図である。
【図４】図２における領域走査ループの動作を示す説明図である。
【図５】図２におけるアスペクト検出処理の動作を示す説明図である。
【図６】図２におけるアスペクト値保存処理の動作を示す説明図である。
【図７】図２におけるアスペクト変異検出処理及び画像グループ抽出処理の動作を示す説明図である。
【図８】図２における画像カテゴリ分別処理の動作を示す説明図である。
【符号の説明】
▲１▼ 二値化画像
▲２▼ 領域（画像領域）
▲３▼ 座標
▲４▼ 領域内アスペクト値
▲５▼ 連続アスペクト分散値
▲７▼ 画像グループ
▲８▼ 画像カテゴリ
１０ 画像抽出処理装置
１１ 画像入力手段
１２ 領域分割手段
１３ アスペクト検出手段
１４ アスペクト変異検出手段
１５ 画像グループ抽出手段
１６ 画像カテゴリ分別手段
１０２ 領域分割処理
１０４ 領域走査ループ
１０５ アスペクト検出処理
１０９ アスペクト変異検出処理
１１０ 画像グループ抽出処理
１１１ 画像カテゴリ分別処理
【発明の属する技術分野】
本発明は、二次元又は三次元画像データから所望の画像を抽出する画像抽出処理装置に関し、特に二値化画像内で同一物体の画像が途切れるために画像情報が連続しない傾向にあるソーナ画像やレーダ画像に好適な画像抽出処理装置に関する。
【０００２】
【従来の技術】
従来、二値化画像から所望画像を抽出する技術としては、目標画像のサイズを限定し、そのサイズに応じて画像の連続・不連続点を判断する技術が知られている（例えば特開昭６１−１５００８３号公報参照、以下「第一従来例」という。）。また、二値化画像から所望画像を抽出するために、画像の輪郭抽出を実施し、輪郭に沿って画像の連続・不連続点を判定する技術が知られている（例えば特開昭６０−２５６８７５号公報、以下「第二従来例」という。）。
【０００３】
【発明が解決しようとする課題】
第一従来例では、所望画像サイズに応じて画像抽出を実施する場合、予め目標の物体情報が必要となるという問題があった。ソーナ画像やレーダ画像では、目標の物理サイズは未知情報であるため、それを予め設定することは困難である。例え複数のサイズ情報を元にデータテーブルを用意し、それぞれで処理を実施したとしても、複数回処理を実施する必要が生じるので、処理時間や処理量の観点から困難である。
【０００４】
第二従来例では、画像の輪郭を抽出し、その輪郭に沿って画像の不連続点を抽出する際に、完全に分離されている途切れ途切れの画像を同一の物体画像としてグループ化することが困難であるという問題があった。また、輪郭に沿って処理を実行してゆくためには、多大な処理時間を必要とするので、ソーナやレーダ等のリアルタイム性を必要とする処理には適さない。
【０００５】
【発明の目的】
そこで、本発明の第一の目的は、同一物体の画像が途切れ途切れに存在する二値化画像において、途切れている画像を同一物体のものとして分類するための画像抽出処理装置を提供することにある。
【０００６】
【課題を解決するための手段】
本発明に係る画像抽出処理装置は、二値化画像を入力する画像入力手段と、この画像入力手段から入力された二値化画像を複数の画像領域に分割する領域分割手段と、この領域分割手段で分割された各画像領域において、アクティブ情報を示すアクティブ画素の座標に基づき、前記二値化画像内の特定の軸に対する傾きを示す領域内アスペクト値を検出するアスペクト検出手段と、領域分割手段で分割された各画像領域毎に、アスペクト検出手段で検出された領域内アスペクト値からの各アクティブ画素の偏り具合を算出するアスペクト変異検出手段と、このアスペクト変異検出手段で算出された偏り具合が一定以下である画像領域を抽出し、それぞれ別々の画像グループとして取得する画像グループ抽出手段と、この画像グループ抽出手段で取得された各画像グループの前記領域内アスペクト値を比較し、それらが同一又は類似である画像グループ同士を、同じ画像カテゴリとして分別する画像カテゴリ分別手段と、を備えたものである（請求項１）。
【０００７】
二値化画像はＸ軸方向にＭ画素かつＹ軸方向にＮ画素からなる矩形状であり、画像領域はＸ軸方向にｍ（ｍ＜Ｍ）画素かつＹ軸方向にｎ（ｎ＜Ｎ）画素からなる矩形状であり、領域分割手段は、当該二値化画像に位置する当該画像領域をＸ軸方向又はＹ軸方向に一画素ずつずらしてＭ×Ｎ個の画素領域に分割する、としてもよい（請求項２）このとき、一画素ずつに代えて複数画素ずつとした、としてもよい（請求項３）。
【０００８】
領域内アスペクト値からの各アクティブ画素の偏り具合が分散値である、としてもよい（請求項４）。画像カテゴリ分別手段は、領域内アスペクト値を比較し、それらが互いに一定範囲内にある画像グループ同士を、同じ画像カテゴリとして分別する、としてもよい（請求項５）。二値化画像がソーナ画像又はレーダ画像である、としてもよい（請求項６）。アスペクト検出手段は、アクティブ画素の座標に基づき、最小自乗法を用いて領域内アスペクト値を検出する、としてもよい（請求項７）。
【０００９】
また、本発明に係る画像抽出処理装置は、例えば、コンピュータ（プロセッサを含む）を上記各手段として機能させるためのプログラムによって実現される。すなわち、そのプログラムがハードウェア（コンピュータ）の動作を制御する。又は、プログラム制御されたそのハードウェア（コンピュータ）がプログラムに指令される特定の処理を行なう
【００１０】
本発明者は、二値化画像内に存在する途切れ途切れの画像（複数の画像グループ）であっても、同一物体から構成されている画像であれば、そのアスペクトが一定であるということに着目し、本発明をなすに至った。すなわち、本発明では、最小の画像グループと推定される大きさで二値化画像内を区切る領域分割手段を有し、更にその領域内に存在する画素情報からアスペクトを検出するアスペクト検出手段を有する。また、前述した領域を二値化画像全面に渡って走査し、二値化画像全域におけるアスペクト変異状態を検出するアスペクト変異検出手段を有する。そして、アスペクト変異検出手段で得たアスペクト分散値から、二値化画像内のアスペクト変異量がある閾値以下の分散値となっている箇所を一つの画素グループとして抽出する画像グループ抽出手段を有する。更に、抽出された画像グループのアスペクト値を比較し、アスペクト値が同一の傾向を示す画像グループを一つの画像カテゴリとして分別する画像カテゴリ分別手段を有する。
【００１１】
まず、領域分割手段は、二値化画像内に存在する途切れ途切れの画像に対して、最小の画像グループサイズと推定される大きさの領域に二値化画像を分割するにより、二値化画像内の画像の分布状態を離散的に捕らえる。次に、アスペクト検出手段は、領域内の画像情報からアスペクト値を検出することにより、領域内画像の特徴をアスペクト値として取得する。更に、アスペクト変異検出手段は、二値化画像全域に渡って領域を走査することで、二値化画像全域に渡るアスペクトの変異状態を連続的に捕らえる。すなわち、領域走査することで離散的な出力であるアスペクト値を、二値化画像全域の変異状態連続情報として捕らえる。次に、画像グループ抽出手段は、アスペクト変異検出手段で得た二値化画像内の連続アスペクト変化量を分散値の変異量に置き換えて、ある分散値以下となっている箇所を抽出することにより、二値化画像に存在する複数の画像グループを抽出する。最後に、画像カテゴリ分別手段は、抽出された画像グループ毎のアスペクト値を比較し、同一と見なされるアスペクト値を有する画像グループを一つの画像カテゴリとして分別する。その結果、二値化画像内に存在する途切れ途切れの同一物体画像が、一つの画像カテゴリとして検出される。
【００１２】
【発明の実施の形態】
図１は、本発明に係る画像抽出処理装置の一実施形態を示すブロック図である。以下、この図面に基づき説明する。
【００１３】
本実施形態の画像抽出処理装置１０は、二値化画像▲１▼を入力する画像入力手段１１と、画像入力手段１１から入力された二値化画像▲１▼を複数の領域▲２▼に分割する領域分割手段１２と、領域分割手段１２で分割された各領域▲２▼において、アクティブ情報を示すアクティブ画素の座標▲３▼に基づき、二値化画像▲１▼内のＸ軸に対する傾きを示す領域内アスペクト値▲４▼を検出するアスペクト検出手段１３と、領域分割手段１２で分割された各領域▲２▼毎に、アスペクト検出手段１３で検出された領域内アスペクト値▲４▼からの各アクティブ画素の偏り具合を示す連続アスペクト分散値▲５▼を算出するアスペクト変異検出手段１４と、アスペクト変異検出手段１４で算出された連続アスペクト分散値▲５▼がアスペクト分散閾値▲６▼以下である領域▲２▼を抽出し、それぞれ別々の画像グループ▲７▼として取得する画像グループ抽出手段１５と、画像グループ抽出手段１５で取得された各画像グループ▲７▼の領域内アスペクト値▲４▼を比較し、それらが同一又は類似である画像グループ▲７▼同士を、同じ画像カテゴリ▲８▼として分別する画像カテゴリ分別手段１６とを備えたものである。
【００１４】
図２は、画像抽出処理装置１０の動作の全体を示すフローチャートである。以下、図１及び図２に基づき説明する。
【００１５】
まず、画像入力手段１１は、例えばソーナ装置やレーダ装置などから、Ｍ×Ｎ画素の二値化画像▲１▼を入力する（ステップ１０１）。続いて、領域分割手段１２は領域▲２▼（ｍ×ｎ画素）を設定する（領域分割処理：ステップ１０２）。続いて、設定したｍ×ｎ画素の領域▲２▼を二値化画像▲１▼の左上座標に設定し、このときの領域走査番号を１とおく（ステップ１０３）。
【００１６】
ここから、領域走査ループ（ステップ１０４）に入る。まず、アスペクト検出手段１３は、領域▲２▼内に存在する二値化画素の内、アクティブ画素の座標▲３▼（Ｘ［ｉ］，Ｙ［ｉ］）を抽出する。ここで、アクティブ画素は、Ｈｉｇｈアクティブの二値化画像では画素値＝１、Ｌｏｗアクティブの二値化画像では画素値＝０を示す。また、Ｘ［ｉ］，Ｙ［ｉ］は、ｉ番目のアクティブ画素のＸ座標、Ｙ座標を示す。続いて、これらの座標▲３▼に基づき、領域▲２▼内に存在する画像の領域内アスペクト値▲４▼を算出する（アスペクト検出処理：ステップ１０５）。続いて、算出された領域内アスペクト値▲４▼を、領域走査番号に対応するメモリに保存する（アスペクト値保存処理：ステップ１０６）。
【００１７】
続いて、領域分割手段１２は、領域▲２▼をＸ方向に１画素シフトし、この領域▲２▼を領域走査番号２とする（ステップ１０７，１０８）。続いて、アスペクト検出手段１３は、アスペクト検出処理（ステップ１０５）及びアスペクト保存処理（ステップ１０６）を実行する。このように領域▲２▼をＸ方向又はＹ方向に１画素ずつシフトすることで、領域走査番号がＭ×Ｎに到達するまで、領域走査ループ１０４を繰り返す。以上の処理により、領域走査番号１〜Ｍ×Ｎまでの領域内アスペクト値▲４▼がメモリに蓄積される。
【００１８】
続いて、アスペクト変異検出手段１４は、Ｍ×Ｎ個の領域内アスペクト値▲４▼から、ｍ（Ｘ方向の領域画素数）以下を母数とする連続アスペクト分散値▲５▼を、領域走査番号方向に順次算出する（アスペクト変異検出処理：ステップ１０９）。続いて、画像グループ抽出手段１５は、連続アスペクト分散値▲５▼に基づきアスペクト分散閾値▲６▼以下の領域走査番号を抽出し、抽出された領域走査番号内に存在する目標画素データを抽出順にグループ登録することで、二値化画像▲１▼内に存在する複数の画像グループ▲７▼を抽出する（画像グループ抽出処理：ステップ１１０）。
【００１９】
最後に、画像カテゴリ分別手段１６が、抽出された画像グループ▲７▼毎の領域内アスペクト値▲４▼をアスペクト値保存処理（ステップ１０６）で蓄積されているデータから抽出し、類似する領域内アスペクト値▲４▼を示す画像グループ▲７▼同士を一つの画像カテゴリ▲８▼として分別する（画像カテゴリ分別処理：ステップ１１１）。これにより、目標が抽出される（ステップ１１２）。
【００２０】
図３は、図２中の領域分割処理（ステップ１０２）における動作を示す説明図である。以下、図２及び図３に基づき説明する。
【００２１】
領域分割処理（ステップ１０２）においては、図３に示すＭ×Ｎ画素の二値化画像▲１▼よりも小さい領域▲２▼ｍ×ｎを決定する。この領域▲２▼は、小さすぎると画像グループ▲７▼検出精度が落ち、逆に大きすぎると複数の画像グループ▲７▼を画像カテゴリ▲８▼に分別する精度が落ちる。分裂画像サイズは、二値化画像▲１▼取得時の各システム要素に依存する値である。したがって、領域▲２▼サイズｍ×ｎは、各画像システム毎に任意に設定される。
【００２２】
図４は、図２中の領域走査ループ（ステップ１０４）における領域▲２▼の走査方法を示す説明図である。以下、図２及び図４に基づき説明する。
【００２３】
まず、ｍ×ｎ画素の領域▲２▼をＭ×Ｎ画素の二値化画像▲１▼における左端（図４中のＡ）に配置し、そのときの領域走査番号を１とする。次の走査領域はＸ軸方向に１画素シフトした図４中のＢの位置にとり、このときの領域走査番号を２とする。このように、Ｘ軸方向に１画素ずつシフトする領域走査を（Ｍ−ｍ）回を繰り返すと、次の領域シフトにおいて領域▲２▼が二値化画像▲１▼から外れることになる。このような場合、外れた画素のデータは全て画素値０（目標画像ではなく背景レベル）として扱い、Ｘ軸方向にＭ回の領域走査を繰り返す。このような走査を繰り返すことで、領域走査番号Ｍにおける領域▲２▼の位置は図４中におけるＣの位置となる。更に領域走査番号Ｍを越えた場合、Ｘ軸を元の位置に戻し、Ｙ軸方向に１画素シフトした図４中のＤの位置に領域▲２▼を走査する。最終的に、図４に示すＥの位置まで領域走査が終了した時点でＭ×Ｎ回の走査が終了し、領域走査ループ（ステップ１０４）を抜ける。
【００２４】
図５は、図２中のアスペクト検出処理（ステップ１０５）における動作を示す説明図である。以下、図２及び図５に基づき説明する。
【００２５】
まず、図５に示す通り領域▲２▼内に存在するアクティブ画素から、その画素点の座標▲３▼Ｘ［ｉ］，Ｙ［ｉ］を抽出する。ここで、アクティブ画素とは、抽出すべき画像情報を示す画素であり、Ｈｉｇｈアクティブの画像では画素値１を示す画素であり、Ｌｏｗアクティブの画像では画素値０を示す画素である。そして、抽出した座標▲３▼に基づき、最小自乗法（図５中に示す式（１））を用いて領域内アスペクト値▲４▼を算出する。式（１）中の、ｋは領域▲２▼内に存在するアクティブ画素の数であり、Ｘａｖｅは抽出されたＸ［ｉ］の平均値であり、Ｙａｖｅは抽出されたＹ［ｉ］の平均値である。このように、アスペクト検出処理では、領域▲２▼内に存在する画像の領域内アスペクト値▲４▼を算出する。
【００２６】
図６は、図２中のアスペクト値保存処理（ステップ１０６）における動作を示す説明図である。以下、図２及び図６に基づき説明する。
【００２７】
前述の通り、アスペクト検出処理（ステップ１０５）は領域走査ループ（ステップ１０４）でＭ×Ｎ回実行されることから、領域内アスペクト値▲４▼はＭ×Ｎ個算出される。これらの領域内アスペクト値▲４▼は、アスペクト値保存処理（ステップ１０６）にて、図６に示す通り領域走査番号と対応させてメモリに蓄積される。
【００２８】
図７は、図２中のアスペクト変異検出処理（ステップ１０９）及び画像グループ抽出処理（ステップ１１０）における動作を示す説明図である。以下、図２及び図７に基づき説明する。
【００２９】
まず、アスペクト変異検出処理（ステップ１０９）において、領域走査ループ（ステップ１０４）で取得されたＭ×Ｎ個の領域内アスペクト値▲４▼の変動状態を把握するために、母数をｍ個とおいて領域番号方向に順次、連続アスペクト分散値▲５▼を算出する。図７では、この連続アスペクト分散値▲５▼を、二値化画像▲１▼の隣に二値化画像▲１▼の各Ｘ軸に対応させた形で示した。図７では、二値化画像▲１▼内にＡ，Ｂ，Ｃの三つの分離画像が存在する例を示している。これらＡ，Ｂ，Ｃの位置に対応し、連続アスペクト分散値▲５▼は低い値を示す。例えば、領域走査においてＡ点の画像が順次走査されていく過程では、安定してＡ点のアスペクト角が連続して検出されるため、Ａ点近傍の連続アスペクト分散値▲５▼は低い値を示すこととなる。
【００３０】
続いて、画像グループ抽出処理（ステップ１１０）において、連続アスペクト分散値▲５▼がアスペクト分散閾値▲６▼よりも低い値を示す箇所を抽出し、その対応する領域▲２▼に存在する画素にグループ番号を付与する。図７では、連続アスペクト分散値▲５▼が大きく分けて三箇所でアスペクト分散閾値▲６▼を下回るので、二値化画像▲１▼中に存在する画像グループＡ〜Ｃが抽出される。
【００３１】
図８は、図２中の画像カテゴリ分別処理（ステップ１１１）における動作を示す説明図である。以下、図２及び図８に基づき説明する。
【００３２】
画像カテゴリ分別処理（ステップ１１１）では、画像グループ▲７▼から画像カテゴリ▲８▼を分別する。ここでは、画像グループＡ〜Ｄが抽出されている例を示す。ここで、アスペクト値保存処理（ステップ１０６）においてメモリに記録されているアスペクト値から、各画像グループ▲７▼の対応する領域内アスペクト値▲４▼を読み取り、これらを各画像グループ▲７▼間で比較する。図８の例では次の通りとなる。
【００３３】
アスペクト値Ａ ≒ アスペクト値Ｂ ≒ アスペクト値Ｃ
アスペクト値Ｄ ≠ アスペクト値Ａ
【００３４】
以上の比較結果から、画像カテゴリ分別処理（ステップ１１１）では、画像グループＡ〜Ｃを画像カテゴリαとし、画像グループＤを画像カテゴリβとして分別する。以上の動作から、二値化画像▲１▼において分離して存在していた四つの画像から、画像カテゴリαと画像カテゴリβとに分別された。
【００３５】
本発明は、言うまでもく、上記実施形態に限定されるものではない。例えば、次のようにしてもよい。
【００３６】
図４に示す領域走査ループにおいて、領域の初期位置を二値化画像の左隅に限定せずに、処理の都合に応じて任意の位置に配置する。また、１画素毎に領域走査を実施するのではなく、複数画素ステップで領域走査を間引いて行う。
【００３７】
上記実施形態では領域走査を逐次処理として示したが、単純な処理の繰り返しであることから、複数のプロセッサで二値化画像の領域走査範囲を分担し、並列処理を実施することにより高速処理を達成する。
【００３８】
三次元画像において、Ｘ−Ｙ平面における水平アスペクトに対して本手法を適用した水平アスペクトによる画像カテゴリ検出結果と、Ｘ−Ｚ平面における垂直アスペクトに対して本手法を適用した垂直アスペクト画像カテゴリ検出結果とをそれぞれ検出する。更に、水平方向と垂直方向との検出結果の論理演算結果に基づき、三次元に存在する途切れ途切れの画像を一つの画像カテゴリとして検出する。
【００３９】
【発明の効果】
第一の効果は、二値化画像中に途切れ途切れに存在する目標物体画像を一つの画像として認識することが可能となるである。第二の効果は、二値化画像に存在する目標画像に基づき同一画像範囲が検出されることから、目標の端点を検出することが可能となるので、目標の物理量測定が可能となる。第三の効果は、本発明は単純な処理の繰り返しで構成されていることから、従来の輪郭抽出による画像抽出技術と比較して、処理が簡単であるため、高速処理が可能である。
【図面の簡単な説明】
【図１】本発明に係る画像抽出処理装置の一実施形態を示すブロック図である。
【図２】図１の画像抽出処理装置の動作の全体を示すフローチャートである。
【図３】図２における領域分割処理の動作を示す説明図である。
【図４】図２における領域走査ループの動作を示す説明図である。
【図５】図２におけるアスペクト検出処理の動作を示す説明図である。
【図６】図２におけるアスペクト値保存処理の動作を示す説明図である。
【図７】図２におけるアスペクト変異検出処理及び画像グループ抽出処理の動作を示す説明図である。
【図８】図２における画像カテゴリ分別処理の動作を示す説明図である。
【符号の説明】
▲１▼ 二値化画像
▲２▼ 領域（画像領域）
▲３▼ 座標
▲４▼ 領域内アスペクト値
▲５▼ 連続アスペクト分散値
▲７▼ 画像グループ
▲８▼ 画像カテゴリ
１０ 画像抽出処理装置
１１ 画像入力手段
１２ 領域分割手段
１３ アスペクト検出手段
１４ アスペクト変異検出手段
１５ 画像グループ抽出手段
１６ 画像カテゴリ分別手段
１０２ 領域分割処理
１０４ 領域走査ループ
１０５ アスペクト検出処理
１０９ アスペクト変異検出処理
１１０ 画像グループ抽出処理
１１１ 画像カテゴリ分別処理
Claims (7)
- 二値化画像を入力する画像入力手段と、
この画像入力手段から入力された二値化画像を複数の画像領域に分割する領域分割手段と、
この領域分割手段で分割された各画像領域において、アクティブ情報を示すアクティブ画素の座標に基づき、前記二値化画像内の特定の軸に対する傾きを示す領域内アスペクト値を検出するアスペクト検出手段と、
前記領域分割手段で分割された各画像領域毎に、前記アスペクト検出手段で検出された領域内アスペクト値からの各アクティブ画素の偏り具合を算出するアスペクト変異検出手段と、
このアスペクト変異検出手段で算出された偏り具合が一定以下である画像領域を抽出し、それぞれ別々の画像グループとして取得する画像グループ抽出手段と、
この画像グループ抽出手段で取得された各画像グループの前記領域内アスペクト値を比較し、それらが同一又は類似である画像グループ同士を、同じ画像カテゴリとして分別する画像カテゴリ分別手段と、
を備えた画像抽出処理装置。 - 前記二値化画像はＸ軸方向にＭ画素かつＹ軸方向にＮ画素からなる矩形状であり、前記画像領域はＸ軸方向にｍ（ｍ＜Ｍ）画素かつＹ軸方向にｎ（ｎ＜Ｎ）画素からなる矩形状であり、
前記領域分割手段は、当該二値化画像に位置する当該画像領域をＸ軸方向又はＹ軸方向に一画素ずつずらしてＭ×Ｎ個の画素領域に分割する、
請求項１記載の画像抽出処理装置。 - 前記一画素ずつに代えて複数画素ずつとした、
請求項２記載の画像抽出処理装置。 - 前記偏り具合が分散値である、
請求項１、２又は３記載の画像抽出処理装置。 - 前記画像カテゴリ分別手段は、前記領域内アスペクト値を比較し、それらが互いに一定範囲内にある画像グループ同士を、同じ画像カテゴリとして分別する、
請求項１、２、３又は４記載の画像抽出処理装置。 - 前記二値化画像がソーナ画像又はレーダ画像である、
請求項１、２、３、４又は５記載の画像抽出処理装置。 - 前記アスペクト検出手段は、前記アクティブ画素の座標に基づき、最小自乗法を用いて前記領域内アスペクト値を検出する、
請求項１、２、３、４、５又は６記載の画像抽出処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001172679A JP3675366B2 (ja) | 2001-06-07 | 2001-06-07 | 画像抽出処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001172679A JP3675366B2 (ja) | 2001-06-07 | 2001-06-07 | 画像抽出処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002366954A JP2002366954A (ja) | 2002-12-20 |
| JP3675366B2 true JP3675366B2 (ja) | 2005-07-27 |
Family
ID=19014260
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001172679A Expired - Lifetime JP3675366B2 (ja) | 2001-06-07 | 2001-06-07 | 画像抽出処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3675366B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5157539B2 (ja) * | 2008-03-10 | 2013-03-06 | 日本電気株式会社 | 走査型測距測角センサ用データ処理装置 |
-
2001
- 2001-06-07 JP JP2001172679A patent/JP3675366B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002366954A (ja) | 2002-12-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11227405B2 (en) | Determining positions and orientations of objects | |
| US5081689A (en) | Apparatus and method for extracting edges and lines | |
| CN111640089B (zh) | 一种基于特征图中心点的缺陷检测方法及装置 | |
| EP1678659B1 (en) | Method and image processing device for analyzing an object contour image, method and image processing device for detecting an object, industrial vision apparatus, smart camera, image display, security system, and computer program product | |
| CN101425142B (zh) | 页面倾斜角度的确定方法和装置 | |
| JP5152231B2 (ja) | 画像処理方法および画像処理装置 | |
| US8520892B2 (en) | Method and apparatus for detecting objects | |
| US20170308736A1 (en) | Three dimensional object recognition | |
| JP7212247B2 (ja) | 目標検出プログラム、目標検出装置、及び目標検出方法 | |
| JP6278108B2 (ja) | 画像処理装置、画像センサ、画像処理方法 | |
| US20180260661A1 (en) | Image processing apparatus, image processing method, and image processing program | |
| JPH09251544A (ja) | ワークエッジ検出画像処理装置 | |
| CN115587976A (zh) | 基于图像识别的岩石破裂特征参数自动获取方法及系统 | |
| US12094183B2 (en) | Geometric pattern matching method and device for performing the method | |
| CN104182731B (zh) | 一种基于十字检测的栅格状雷达检测方法 | |
| CN109218707B (zh) | 口扫系统及口扫方法 | |
| JP3675366B2 (ja) | 画像抽出処理装置 | |
| JP5217917B2 (ja) | 物体検知追跡装置，物体検知追跡方法および物体検知追跡プログラム | |
| CN116596921B (zh) | 一种焚烧炉渣分选方法及系统 | |
| JP2005250786A (ja) | 画像認識方法 | |
| Liang et al. | Improving accuracy of small object detection in screen based on YOLOv7 | |
| Xiong et al. | Depth map recovery based on optimal scheduling of invalid point filling | |
| JP2004334461A (ja) | 文字認識装置及び文字認識プログラム | |
| JP2004062631A (ja) | パターンマッチング方法およびその装置、並びにそこで実行されるプログラムを記録した記録媒体 | |
| KR102832441B1 (ko) | 모바일 로봇의 전역 위치인식을 위한 방법 및 컴퓨팅 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050325 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050412 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050425 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3675366 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090513 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100513 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110513 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110513 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120513 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120513 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130513 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140513 Year of fee payment: 9 |
|
| EXPY | Cancellation because of completion of term |