JP3230509B2 - 動画像処理装置 - Google Patents
動画像処理装置Info
- Publication number
- JP3230509B2 JP3230509B2 JP01375299A JP1375299A JP3230509B2 JP 3230509 B2 JP3230509 B2 JP 3230509B2 JP 01375299 A JP01375299 A JP 01375299A JP 1375299 A JP1375299 A JP 1375299A JP 3230509 B2 JP3230509 B2 JP 3230509B2
- Authority
- JP
- Japan
- Prior art keywords
- moving
- image
- region
- moving object
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は、動画像入力装置か
ら入力された動画像データを処理し、移動物体の検出及
び追跡を行う装置に関し、特に、ヒューマンインタフェ
ース装置などにおいて人物の検出に用いて好適な動画像
処理装置に関する。
ら入力された動画像データを処理し、移動物体の検出及
び追跡を行う装置に関し、特に、ヒューマンインタフェ
ース装置などにおいて人物の検出に用いて好適な動画像
処理装置に関する。
【０００２】
【従来の技術】動画像を処理して移動物体を検出するシ
ステムについては、従来より、多くの研究開発がなされ
ており、各種装置の実用化もなされている。従来の動画
像処理システムでは、動画像中の移動物体を検出するた
めの前処理として、現在の時刻の入力画像と過去の時刻
の入力画像との差分処理を行うフレーム間差分処理や、
背景画像を作成して現画像との差分処理を行う背景差分
処理などが行われるが、これらについて以下の問題点が
指摘されていた。
ステムについては、従来より、多くの研究開発がなされ
ており、各種装置の実用化もなされている。従来の動画
像処理システムでは、動画像中の移動物体を検出するた
めの前処理として、現在の時刻の入力画像と過去の時刻
の入力画像との差分処理を行うフレーム間差分処理や、
背景画像を作成して現画像との差分処理を行う背景差分
処理などが行われるが、これらについて以下の問題点が
指摘されていた。
【０００３】すなわち、フレーム間差分処理では、移動
物体が静止した際には、差分が検出されず、追跡が困難
になること、また、背景差分処理では、常に最適な背景
画像を生成することが必要であり、環境変化の急峻な屋
外等では、背景画像の生成、及び更新が、大きな問題
（第１の問題）となることである。また、フレーム間差
分処理と背景差分処理のいずれにおいても、カメラが移
動する場合には、移動物体を検出することができないと
いう第２の問題がある。
物体が静止した際には、差分が検出されず、追跡が困難
になること、また、背景差分処理では、常に最適な背景
画像を生成することが必要であり、環境変化の急峻な屋
外等では、背景画像の生成、及び更新が、大きな問題
（第１の問題）となることである。また、フレーム間差
分処理と背景差分処理のいずれにおいても、カメラが移
動する場合には、移動物体を検出することができないと
いう第２の問題がある。
【０００４】上記した第１の問題の解消を図る動画像処
理装置として、例えば特開平８−２４９４７１号公報に
は、検出した移動物体の特徴量を検出し、評価判定する
ことで、フレーム間差分処理を用いても、移動物体の静
止状態を含めた追跡を実現可能とした装置が提案されて
いる。この従来の動画像処理装置について説明する。図
４は、上記特開平８−２４９４７１号公報に提案される
動画像処理装置の構成を示すブロック図である。図４を
参照すると、この動画像処理装置は、画像入力部４１、
画像格納部４２、画像間演算部４３、動領域整形部４
４、特徴量検出部４５、位置検出部４６、時系列処理部
４７、及び、移動物体識別部４８を備えて構成されてい
る。
理装置として、例えば特開平８−２４９４７１号公報に
は、検出した移動物体の特徴量を検出し、評価判定する
ことで、フレーム間差分処理を用いても、移動物体の静
止状態を含めた追跡を実現可能とした装置が提案されて
いる。この従来の動画像処理装置について説明する。図
４は、上記特開平８−２４９４７１号公報に提案される
動画像処理装置の構成を示すブロック図である。図４を
参照すると、この動画像処理装置は、画像入力部４１、
画像格納部４２、画像間演算部４３、動領域整形部４
４、特徴量検出部４５、位置検出部４６、時系列処理部
４７、及び、移動物体識別部４８を備えて構成されてい
る。
【０００５】画像入力部４１から入力された動画像は、
画像格納部４２に格納される。画像間演算処理部４３で
は、画像格納部４２に格納された画像を用いてフレーム
間差分演算が行われ、ある閾値以上の差が検出された画
素を抽出する。動領域整形部４４は、この差分結果を基
に、ノイズや影の除去処理及び領域統合処理を行って動
領域を決定する。特徴量検出部４５は、動領域整形部４
４によって決定された動領域内の画像データを処理し、
特徴量を検出する。位置検出部４６は、動領域検出情報
から画面上の位置座標の特徴量を移動物体位置情報とし
て算出する。特徴量検出部４５と位置検出部４６によっ
て検出された情報は、時系列処理部４７に送られ、履歴
情報に基づいて時系列特徴量が算出される。特徴量検出
部４５、位置検出部４６、及び時系列処理部４７の出力
情報は、移動物体識別部４８へと送られ、移動物体識別
部４８は、送られてきた情報を統合処理し、移動物体を
識別する。識別処理は、特徴量の評価と判定処理により
行われ、特徴量評価は、検出対象に基づく特徴量それ自
体の評価、現フレーム特徴量と前フレーム特徴量との距
離による評価、時系列特徴量の評価を行う。
画像格納部４２に格納される。画像間演算処理部４３で
は、画像格納部４２に格納された画像を用いてフレーム
間差分演算が行われ、ある閾値以上の差が検出された画
素を抽出する。動領域整形部４４は、この差分結果を基
に、ノイズや影の除去処理及び領域統合処理を行って動
領域を決定する。特徴量検出部４５は、動領域整形部４
４によって決定された動領域内の画像データを処理し、
特徴量を検出する。位置検出部４６は、動領域検出情報
から画面上の位置座標の特徴量を移動物体位置情報とし
て算出する。特徴量検出部４５と位置検出部４６によっ
て検出された情報は、時系列処理部４７に送られ、履歴
情報に基づいて時系列特徴量が算出される。特徴量検出
部４５、位置検出部４６、及び時系列処理部４７の出力
情報は、移動物体識別部４８へと送られ、移動物体識別
部４８は、送られてきた情報を統合処理し、移動物体を
識別する。識別処理は、特徴量の評価と判定処理により
行われ、特徴量評価は、検出対象に基づく特徴量それ自
体の評価、現フレーム特徴量と前フレーム特徴量との距
離による評価、時系列特徴量の評価を行う。
【０００６】上記したように、上記特開平８−２４９４
７１号公報に提案される動画像処理装置においては、画
像間演算部４３によって検出され、動領域整形部４４に
よって領域整形された動領域から、特徴量検出部４５及
び位置検出部４６にて、移動物体の特徴量を検出するこ
とにより、移動物体が静止状態になり、フレーム間差分
処理では検出されなくなったとしても、移動物体が再度
動作を開始して動領域が検出されたときに、移動物体を
その特徴量から同定することにより、同一物体として識
別することを可能としたものである。
７１号公報に提案される動画像処理装置においては、画
像間演算部４３によって検出され、動領域整形部４４に
よって領域整形された動領域から、特徴量検出部４５及
び位置検出部４６にて、移動物体の特徴量を検出するこ
とにより、移動物体が静止状態になり、フレーム間差分
処理では検出されなくなったとしても、移動物体が再度
動作を開始して動領域が検出されたときに、移動物体を
その特徴量から同定することにより、同一物体として識
別することを可能としたものである。
【０００７】
【発明が解決しようとする課題】しかしながら、上記特
開平８−２４９４７１号公報に提案される動画像処理装
置は、下記記載の問題点を有している。
開平８−２４９４７１号公報に提案される動画像処理装
置は、下記記載の問題点を有している。
【０００８】すなわち、フレーム間差分処理では、静止
した物体だけでなく、フレーム間差分処理を行う時間間
隔の間に移動する量が小さい移動物体も検出することが
できない、ということである。
した物体だけでなく、フレーム間差分処理を行う時間間
隔の間に移動する量が小さい移動物体も検出することが
できない、ということである。
【０００９】この原因は、原理的に、画像の解像度に満
たない移動を検出できないこと、また、たとえ解像度以
上の移動があったとしても、その移動量が小さいときに
は、フレーム間差分処理によって検出される移動物体の
輪郭の太さが、例えば１、２画素程度となり、このよう
な幅の細い輪郭は、動領域整形部におけるノイズ除去に
よって除去されてしまう、ためである。
たない移動を検出できないこと、また、たとえ解像度以
上の移動があったとしても、その移動量が小さいときに
は、フレーム間差分処理によって検出される移動物体の
輪郭の太さが、例えば１、２画素程度となり、このよう
な幅の細い輪郭は、動領域整形部におけるノイズ除去に
よって除去されてしまう、ためである。
【００１０】したがって、画面中に現れた移動物体の移
動量が、急に小さくなり、それが長い時間続いた場合、
その移動物体の位置は、最後に検出された位置と離れて
いることになるので、移動量が再度大きくなって、フレ
ーム間差分処理により検出されたときに、同一物体とし
て同定することは困難となる。
動量が、急に小さくなり、それが長い時間続いた場合、
その移動物体の位置は、最後に検出された位置と離れて
いることになるので、移動量が再度大きくなって、フレ
ーム間差分処理により検出されたときに、同一物体とし
て同定することは困難となる。
【００１１】さらに、移動物体が完全に静止状態にあっ
たとしても、照明条件などの変化によって、移動物体の
特徴量が時刻とともに変化する場合、静止前の特徴量
と、静止後の特徴量とは、大きく異なるので、移動物体
が再度移動を開始した後に特徴量の間の距離により同一
物体であると判定することは困難である。
たとしても、照明条件などの変化によって、移動物体の
特徴量が時刻とともに変化する場合、静止前の特徴量
と、静止後の特徴量とは、大きく異なるので、移動物体
が再度移動を開始した後に特徴量の間の距離により同一
物体であると判定することは困難である。
【００１２】したがって本発明は、上記問題点に鑑みて
なされたものであって、その目的は、移動情報を利用し
て移動物体を検出するだけでなく、検出した移動物体領
域を探索する処理を組み合わせることにより、フレーム
間差分処理を用いたときに、移動物体が静止、または移
動量が小さい場合においても、常に、正確な追跡を実現
する動画像処理装置を提供することにある。
なされたものであって、その目的は、移動情報を利用し
て移動物体を検出するだけでなく、検出した移動物体領
域を探索する処理を組み合わせることにより、フレーム
間差分処理を用いたときに、移動物体が静止、または移
動量が小さい場合においても、常に、正確な追跡を実現
する動画像処理装置を提供することにある。
【００１３】また、本発明の他の目的は、カメラが静止
しているときに検出した移動物体をカメラが移動しはじ
めた場合に追跡することを可能とする動画像処理装置を
提供することにある。
しているときに検出した移動物体をカメラが移動しはじ
めた場合に追跡することを可能とする動画像処理装置を
提供することにある。
【００１４】
【課題を解決するための手段】前記目的を達成するため
に、本発明の動画像処理装置は、１フレーム前に検出さ
れた動物体領域を現在の画像中で探索する動領域探索手
段と、フレーム間差分処理及び動領域整形処理によって
確定した動物体領域の結果と、動領域探索手段によって
探索された動物体領域の結果を統合して同一の移動物体
領域を一つにまとめる動領域統合手段と、を備え、フレ
ーム間差分処理を用いたときに移動物体が静止または移
動量が小さい場合においても常に正確な追跡を実現可能
としている。
に、本発明の動画像処理装置は、１フレーム前に検出さ
れた動物体領域を現在の画像中で探索する動領域探索手
段と、フレーム間差分処理及び動領域整形処理によって
確定した動物体領域の結果と、動領域探索手段によって
探索された動物体領域の結果を統合して同一の移動物体
領域を一つにまとめる動領域統合手段と、を備え、フレ
ーム間差分処理を用いたときに移動物体が静止または移
動量が小さい場合においても常に正確な追跡を実現可能
としている。
【００１５】また本発明においては、二値時間差分画像
において輝度値１（第１の値）を持つ画素数を計数し、
これがあらかじめ決められた閾値よりも大きい場合に、
二値時間差分画像のすべての画素の輝度値を０（第２の
値）とする画像間演算手段を備え、画像入力手段が静止
しているときに検出した移動物体を、画像入力手段が移
動しはじめた場合にも追跡可能としてる。
において輝度値１（第１の値）を持つ画素数を計数し、
これがあらかじめ決められた閾値よりも大きい場合に、
二値時間差分画像のすべての画素の輝度値を０（第２の
値）とする画像間演算手段を備え、画像入力手段が静止
しているときに検出した移動物体を、画像入力手段が移
動しはじめた場合にも追跡可能としてる。
【００１６】
【発明の実施の形態】本発明の実施の形態について説明
する。本発明の動画像処理装置は、その好ましい実施の
形態において、動画像を入力する画像入力手段（１１）
と、画像入力手段からの画像データを格納する画像格納
手段（１２）と、画像格納手段に格納されている時刻の
異なる画像データに対して時間差分処理を行い予め定め
られた閾値で二値化した二値時間差分画像を出力する画
像間演算手段（１３）と、画像間演算手段によって出力
された二値時間差分画像から移動物体の存在している領
域を検出して第１の動領域を出力する動領域整形手段
（１４）と、１フレーム前に検出された動物体領域をテ
ンプレートとして、現在の時刻の画像に対して、マッチ
ング処理を行うことにより、動物体領域を探索して、第
２の動領域を出力する動領域探索手段（１５）と、動領
域整形手段（１４）からの第１の動領域と、動領域探索
手段（１５）からの第２の動領域の位置情報を用いて同
一物体に対応する動領域（移動物体領域）を一つにまと
めて出力する動領域統合手段（１６）と、を備える。
する。本発明の動画像処理装置は、その好ましい実施の
形態において、動画像を入力する画像入力手段（１１）
と、画像入力手段からの画像データを格納する画像格納
手段（１２）と、画像格納手段に格納されている時刻の
異なる画像データに対して時間差分処理を行い予め定め
られた閾値で二値化した二値時間差分画像を出力する画
像間演算手段（１３）と、画像間演算手段によって出力
された二値時間差分画像から移動物体の存在している領
域を検出して第１の動領域を出力する動領域整形手段
（１４）と、１フレーム前に検出された動物体領域をテ
ンプレートとして、現在の時刻の画像に対して、マッチ
ング処理を行うことにより、動物体領域を探索して、第
２の動領域を出力する動領域探索手段（１５）と、動領
域整形手段（１４）からの第１の動領域と、動領域探索
手段（１５）からの第２の動領域の位置情報を用いて同
一物体に対応する動領域（移動物体領域）を一つにまと
めて出力する動領域統合手段（１６）と、を備える。
【００１７】本発明の動画像処理装置は、検出した移動
物体を探索する処理を行い、検出した動領域と、動領域
探索手段によって得られた動領域と、を統合することに
より、フレーム間差分処理を用いて移動物体を検出する
場合に、移動物体が静止または移動量が小さい場合に
も、常に正確に追跡することができる。
物体を探索する処理を行い、検出した動領域と、動領域
探索手段によって得られた動領域と、を統合することに
より、フレーム間差分処理を用いて移動物体を検出する
場合に、移動物体が静止または移動量が小さい場合に
も、常に正確に追跡することができる。
【００１８】また本発明の動画像処理装置は、その好ま
しい実施の形態において、画像間演算手段（１３）は、
時刻の異なる２枚の画像間の差分処理を行って輝度差の
絶対値を輝度値とする差分画像を生成し、該差分画像の
各画素について輝度値が予め定められた閾値以上のとき
に第１の値（＝１）、閾値未満のときに第２の値（＝
０）として二値化して二値差分画像を生成し、該二値差
分画像において輝度値が前記第１の値である画素数が予
め定められた閾値未満であるときには、該二値差分画像
を動領域整形手段（１４）に供給し、該画素数が閾値以
上であるときには該二値差分画像の全画素の輝度値を前
記第２の値に置き換えてから前記動領域整形手段（１
４）に供給する。すなわち、二値時間差分画像において
輝度値１（第１の値）を持つ画素数を数え、これがあら
かじめ決められた閾値よりも大きい場合に、二値時間差
分画像のすべての画素の輝度値を０（第２の値）とする
ことにより、動領域整形手段（１４）において動領域は
検出されない。しかしながら、１フレーム前に移動物体
が検出されていれば、その動物体領域をテンプレートと
して、現在の時刻の画像に対してマッチング処理を行う
ことにより、移動物体を検出することが可能となり、こ
のため、カメラが静止しているときに検出した移動物体
を、カメラが移動している場合にも追跡することが可能
である。
しい実施の形態において、画像間演算手段（１３）は、
時刻の異なる２枚の画像間の差分処理を行って輝度差の
絶対値を輝度値とする差分画像を生成し、該差分画像の
各画素について輝度値が予め定められた閾値以上のとき
に第１の値（＝１）、閾値未満のときに第２の値（＝
０）として二値化して二値差分画像を生成し、該二値差
分画像において輝度値が前記第１の値である画素数が予
め定められた閾値未満であるときには、該二値差分画像
を動領域整形手段（１４）に供給し、該画素数が閾値以
上であるときには該二値差分画像の全画素の輝度値を前
記第２の値に置き換えてから前記動領域整形手段（１
４）に供給する。すなわち、二値時間差分画像において
輝度値１（第１の値）を持つ画素数を数え、これがあら
かじめ決められた閾値よりも大きい場合に、二値時間差
分画像のすべての画素の輝度値を０（第２の値）とする
ことにより、動領域整形手段（１４）において動領域は
検出されない。しかしながら、１フレーム前に移動物体
が検出されていれば、その動物体領域をテンプレートと
して、現在の時刻の画像に対してマッチング処理を行う
ことにより、移動物体を検出することが可能となり、こ
のため、カメラが静止しているときに検出した移動物体
を、カメラが移動している場合にも追跡することが可能
である。
【００１９】
【実施例】上記した本発明の実施の形態についてさらに
詳細に説明すべく、本発明の実施例について図面を参照
して説明する。
詳細に説明すべく、本発明の実施例について図面を参照
して説明する。
【００２０】［実施例１］本発明の第１の実施例につい
て説明する。図１は、本発明の第１の実施例の動画像処
理装置の構成を示すブロック図である。図１を参照する
と、本発明の第１の実施例は、画像入力部１１と、画像
格納部１２と、画像間演算部１３と、動領域整形部１４
と、動領域探索部１５と、動領域統合部１６と、出力部
１７と、を備えて構成されている。
て説明する。図１は、本発明の第１の実施例の動画像処
理装置の構成を示すブロック図である。図１を参照する
と、本発明の第１の実施例は、画像入力部１１と、画像
格納部１２と、画像間演算部１３と、動領域整形部１４
と、動領域探索部１５と、動領域統合部１６と、出力部
１７と、を備えて構成されている。
【００２１】次に本発明の第１の実施例の動作について
説明する。画像入力部１１から入力された動画像は、画
像格納部１２に格納される。画像格納部１２では、現在
の時刻の画像と、１フレーム前の画像の２フレーム分が
格納される。画像間演算部１３は、画像格納部１２に格
納されている、現在時刻の画像と１フレーム間の画像の
フレーム間差分演算を行い、予め定められた閾値以上の
差が検出された画素を抽出する。
説明する。画像入力部１１から入力された動画像は、画
像格納部１２に格納される。画像格納部１２では、現在
の時刻の画像と、１フレーム前の画像の２フレーム分が
格納される。画像間演算部１３は、画像格納部１２に格
納されている、現在時刻の画像と１フレーム間の画像の
フレーム間差分演算を行い、予め定められた閾値以上の
差が検出された画素を抽出する。
【００２２】動領域整形部１４は、この差分結果を基
に、ノイズ除去を行って、動領域を決定する。
に、ノイズ除去を行って、動領域を決定する。
【００２３】動領域探索部１５は、１フレーム前の時刻
において動領域統合部１６において確定され出力された
動物体領域を、画像格納部１２に格納されている現在の
時刻の画像中で探索する。
において動領域統合部１６において確定され出力された
動物体領域を、画像格納部１２に格納されている現在の
時刻の画像中で探索する。
【００２４】動領域統合部１６は、動領域整形部１４に
よって決定された動領域と、動領域探索部１５で探索さ
れた結果として得られる動領域と、を用いて、同一物体
に対応する動領域を一つにまとめて出力部１７に供給す
る。
よって決定された動領域と、動領域探索部１５で探索さ
れた結果として得られる動領域と、を用いて、同一物体
に対応する動領域を一つにまとめて出力部１７に供給す
る。
【００２５】［実施例２］次に、本発明の第２の実施例
について説明する。本発明の第２の実施例において、動
画像処理装置の基本構成は、図１に示した前記第１の実
施例と同一であるが、画像間演算部１３の処理動作が相
違している。本発明の第２の実施例の動作について説明
する。なお、以下では主に前記第１の実施例との相違点
について説明する。
について説明する。本発明の第２の実施例において、動
画像処理装置の基本構成は、図１に示した前記第１の実
施例と同一であるが、画像間演算部１３の処理動作が相
違している。本発明の第２の実施例の動作について説明
する。なお、以下では主に前記第１の実施例との相違点
について説明する。
【００２６】画像格納部１２に格納された２枚の画像に
対し、画像間演算部１３は差分処理を行い、差の絶対値
を輝度値とする差分画像を生成する。
対し、画像間演算部１３は差分処理を行い、差の絶対値
を輝度値とする差分画像を生成する。
【００２７】次に、差分画像中で閾値Ｔ以上の輝度値を
持つ画素の輝度値を１とし、閾値Ｔ未満の輝度値を持つ
画素の輝度値を０として二値差分画像を生成する。
持つ画素の輝度値を１とし、閾値Ｔ未満の輝度値を持つ
画素の輝度値を０として二値差分画像を生成する。
【００２８】次に、この二値差分画像中で輝度値が１で
ある画素数を数えこれをＮ1とする。このＮ1が予め定め
られた閾値Ｎu以上であるとき、画像間演算部１３は、
二値差分画像のすべての画素の輝度値を０とし、動領域
整形部１４に供給する。ここで閾値Ｎuとしては、画面
上の全画素数の１／３から３／２程度が適当である。
ある画素数を数えこれをＮ1とする。このＮ1が予め定め
られた閾値Ｎu以上であるとき、画像間演算部１３は、
二値差分画像のすべての画素の輝度値を０とし、動領域
整形部１４に供給する。ここで閾値Ｎuとしては、画面
上の全画素数の１／３から３／２程度が適当である。
【００２９】一方、Ｎ1がＮu未満のときには、二値差分
画像をそのまま動領域整形部１４に供給する。
画像をそのまま動領域整形部１４に供給する。
【００３０】以上により、画像を入力するカメラが移動
している場合には、一般的に、二値差分画像の各画素の
輝度値はすべて０になる。よって、動領域整形部１４に
おいて動領域は検出されない。しかし、１フレーム前に
移動物体が検出されていれば、その動物体領域をテンプ
レートとして、現在の時刻の画像に対してマッチング処
理を行うことにより、移動物体を検出することが可能と
なる。
している場合には、一般的に、二値差分画像の各画素の
輝度値はすべて０になる。よって、動領域整形部１４に
おいて動領域は検出されない。しかし、１フレーム前に
移動物体が検出されていれば、その動物体領域をテンプ
レートとして、現在の時刻の画像に対してマッチング処
理を行うことにより、移動物体を検出することが可能と
なる。
【００３１】このため、たとえば、本実施例に係る動画
像処理装置を具備したロボット（移動ロボット）が、静
止しているときに検出した移動物体を追跡することが可
能とされている。
像処理装置を具備したロボット（移動ロボット）が、静
止しているときに検出した移動物体を追跡することが可
能とされている。
【００３２】［実施例３］次に、本発明の第３の実施例
について説明する。本発明の第２の実施例において、動
画像処理装置の基本構成は、図１に示した前記第１の実
施例と同一であるが、動領域整形部１４における処理動
作が相違している。本発明の第３の実施例の動作につい
て説明する。
について説明する。本発明の第２の実施例において、動
画像処理装置の基本構成は、図１に示した前記第１の実
施例と同一であるが、動領域整形部１４における処理動
作が相違している。本発明の第３の実施例の動作につい
て説明する。
【００３３】画像間演算部１３によって生成された二値
差分画像に対し、ノイズ除去を行い、動領域整形部１４
は部分曲線を検出し、それらを統合し、移動物体領域を
矩形領域として決定する。この処理を、図２を参照して
説明する。
差分画像に対し、ノイズ除去を行い、動領域整形部１４
は部分曲線を検出し、それらを統合し、移動物体領域を
矩形領域として決定する。この処理を、図２を参照して
説明する。
【００３４】図２において、２１は画像間演算部１３に
よって生成された二値差分画像（輝度値０を白、輝度値
１を黒で表わしている）にノイズ除去を行ったあとの画
像である。２２と２３は、部分曲線を検出するために予
め用意されたテンプレートである。具体的には、画像２
１の画素サイズが、256×256のとき、テンプレートのサ
イズは横10画素、縦12画素とする。
よって生成された二値差分画像（輝度値０を白、輝度値
１を黒で表わしている）にノイズ除去を行ったあとの画
像である。２２と２３は、部分曲線を検出するために予
め用意されたテンプレートである。具体的には、画像２
１の画素サイズが、256×256のとき、テンプレートのサ
イズは横10画素、縦12画素とする。
【００３５】動領域整形部１４は、画像間演算部１３に
よって供給される二値差分画像に対して収縮膨張処理を
施して、ノイズ除去を行い、画像２１を生成する。
よって供給される二値差分画像に対して収縮膨張処理を
施して、ノイズ除去を行い、画像２１を生成する。
【００３６】次に、画像２１に、テンプレート２２、及
びテンプレート２３を重ねて走査させ、テンプレートの
各位置ごとに、マッチング度Ｍを算出する。
びテンプレート２３を重ねて走査させ、テンプレートの
各位置ごとに、マッチング度Ｍを算出する。
【００３７】マッチング度Ｍは、テンプレートの画素及
び該画素と重なる画像２１上の画素の輝度値がともに１
である場合の数とする。
び該画素と重なる画像２１上の画素の輝度値がともに１
である場合の数とする。
【００３８】ここで、マッチング度Ｍが予め定められた
閾値ＴM以上となるとき、検出結果画像上に、テンプレ
ートに対して一定の比率で拡大したサイズを持つ矩形を
設定する。
閾値ＴM以上となるとき、検出結果画像上に、テンプレ
ートに対して一定の比率で拡大したサイズを持つ矩形を
設定する。
【００３９】ただし、テンプレート２２に対しては左上
の角位置を一致させ、テンプレート２３に対しては右上
の角位置を一致させる。
の角位置を一致させ、テンプレート２３に対しては右上
の角位置を一致させる。
【００４０】図２を参照すると、テンプレート２２につ
いてマッチ度Ｍが閾値ＴM以上となる例が２４であり、
このときに設定される矩形の例が２５である。
いてマッチ度Ｍが閾値ＴM以上となる例が２４であり、
このときに設定される矩形の例が２５である。
【００４１】そうすると、走査が終了した後に、検出結
果画像上には、複数の矩形が設定される。
果画像上には、複数の矩形が設定される。
【００４２】これら複数の矩形について、互いに重なり
合う矩形を外接矩形で一つにまとめる処理を行う。
合う矩形を外接矩形で一つにまとめる処理を行う。
【００４３】以上の処理によって、生成された矩形が、
動領域整形部１４によって、出力され、動領域統合部１
６に送られる。
動領域整形部１４によって、出力され、動領域統合部１
６に送られる。
【００４４】なお、以上の処理において、テンプレート
は、図２に示したものに限られるものではなく、その
数、サイズ、画素の配置は、検出すべき対象の輪郭形状
を反映したものとして、人手で作成する、ことが可能で
ある。
は、図２に示したものに限られるものではなく、その
数、サイズ、画素の配置は、検出すべき対象の輪郭形状
を反映したものとして、人手で作成する、ことが可能で
ある。
【００４５】［実施例４］次に、本発明の第４の実施例
について説明する。本発明の第４の実施例において、動
画像処理装置の基本構成は、図１に示した前記第１の実
施例と同一であるが、動領域整形部１４における処理動
作が相違している。以下、本実施例の動作について説明
する。
について説明する。本発明の第４の実施例において、動
画像処理装置の基本構成は、図１に示した前記第１の実
施例と同一であるが、動領域整形部１４における処理動
作が相違している。以下、本実施例の動作について説明
する。
【００４６】画像間演算部１３によって生成された二値
差分画像に対し、動領域整形部１４は二値差分画像の各
水平ライン毎の幅情報を利用して移動物体領域を矩形領
域として求めて出力する。以下、この処理を図３を参照
して説明する。
差分画像に対し、動領域整形部１４は二値差分画像の各
水平ライン毎の幅情報を利用して移動物体領域を矩形領
域として求めて出力する。以下、この処理を図３を参照
して説明する。
【００４７】図３において、３１は画像間演算部１３に
よって生成された二値差分画像（輝度値０を白、輝度値
１を黒で表わしている）に対して収縮膨張処理を施して
ノイズ除去を行った後の画像を示している。
よって生成された二値差分画像（輝度値０を白、輝度値
１を黒で表わしている）に対して収縮膨張処理を施して
ノイズ除去を行った後の画像を示している。
【００４８】動領域整形部１４は、はじめに、二値差分
画像３１の各ライン毎に、輝度値１を持つ画素のうち、
最もｘ座標の小さい画素と、最もｘ座標の大きい画素の
間の距離Ｌ（ｙ）を算出する。
画像３１の各ライン毎に、輝度値１を持つ画素のうち、
最もｘ座標の小さい画素と、最もｘ座標の大きい画素の
間の距離Ｌ（ｙ）を算出する。
【００４９】ここで、ｙはラインを示す添え字である。
ただし、このとき、輝度値１を持つ画素数が０個または
１個のラインについては距離を０とする。
ただし、このとき、輝度値１を持つ画素数が０個または
１個のラインについては距離を０とする。
【００５０】次に、距離が１以上のラインのみ考慮し
て、距離の平均値Ｌを算出する。
て、距離の平均値Ｌを算出する。
【００５１】次に、こうして求めた平均距離Ｌに対し
て、距離Ｌ（ｙ）＜Lを満足するｙを求める。
て、距離Ｌ（ｙ）＜Lを満足するｙを求める。
【００５２】図３において、斜線（ハッチングを施した
部分）で示した３２は、Ｌ(y)＜Ｌを満足するｙの領域
を示している。
部分）で示した３２は、Ｌ(y)＜Ｌを満足するｙの領域
を示している。
【００５３】次に、このＬ(y)＜Ｌを満たすｙのうち最
大値Ｙuと最小値Ｙlを求める。
大値Ｙuと最小値Ｙlを求める。
【００５４】ここでｙ軸を、図３に示すように、画像の
左上を原点として、下方向に設定する場合、最大値Ｙu
は画像上で最も下のライン、最小値Ｙlは最も上のライ
ンに対応する。
左上を原点として、下方向に設定する場合、最大値Ｙu
は画像上で最も下のライン、最小値Ｙlは最も上のライ
ンに対応する。
【００５５】次に二値差分画像３１についてＹuとＹlに
挟まれる帯状の領域について考える。図３において、３
３がこの帯状領域を示している。
挟まれる帯状の領域について考える。図３において、３
３がこの帯状領域を示している。
【００５６】次に、この領域中で、輝度値１を持つ画素
のうちで最もｘ座標の小さい画素のｘ座標をXl、最もｘ
座標の大きい画素のｘ座標をXuとする。
のうちで最もｘ座標の小さい画素のｘ座標をXl、最もｘ
座標の大きい画素のｘ座標をXuとする。
【００５７】以上より、(Xl, Yl)、 (Xl, Yu)、 (Xu, Y
l)、 (Xu, Yu) を各頂点とする矩形（図３の３４）を生
成し、動領域統合部１６に送る。
l)、 (Xu, Yu) を各頂点とする矩形（図３の３４）を生
成し、動領域統合部１６に送る。
【００５８】［実施例５］次に、本発明の第５の実施例
について説明する。本発明の第５の実施例において、動
画像処理装置の基本構成は、図１に示した前記第１の実
施例と同一であるが、動領域探索部１５の処理動作が相
違している。以下、本実施例の動作について説明する。
について説明する。本発明の第５の実施例において、動
画像処理装置の基本構成は、図１に示した前記第１の実
施例と同一であるが、動領域探索部１５の処理動作が相
違している。以下、本実施例の動作について説明する。
【００５９】本実施例の動領域探索部１５は、動領域統
合部１６によって出力された１フレーム前の移動物体領
域の中心部分を取り出してテンプレートとし、画像格納
部１２に格納されている現在の時刻の入力画像中からこ
のテンプレートに最も近い部分画像を探索する。以下、
この処理を説明する。
合部１６によって出力された１フレーム前の移動物体領
域の中心部分を取り出してテンプレートとし、画像格納
部１２に格納されている現在の時刻の入力画像中からこ
のテンプレートに最も近い部分画像を探索する。以下、
この処理を説明する。
【００６０】本実施例の動領域探索部１５は、1フレー
ム前に検出された動物体領域と中心を同じくし、面積が
４分の１である矩形を設定し、画像格納部２に格納され
ている１フレーム前の画像中において該矩形に対応する
部分画像を取り出し、これをテンプレートとして、画像
格納部２に格納されている現在のフレームの画像中にお
いてテンプレートに最も近い領域を探索する。
ム前に検出された動物体領域と中心を同じくし、面積が
４分の１である矩形を設定し、画像格納部２に格納され
ている１フレーム前の画像中において該矩形に対応する
部分画像を取り出し、これをテンプレートとして、画像
格納部２に格納されている現在のフレームの画像中にお
いてテンプレートに最も近い領域を探索する。
【００６１】このとき、算出した最小距離が閾値よりも
大きい場合には、探索した結果を出力しない。
大きい場合には、探索した結果を出力しない。
【００６２】ここで、テンプレートと、部分画像間の距
離の算出方法としては、ユークリッド距離でも、各画素
の輝度値の差の絶対値の和でもかまわない。また、正規
化相関を用いてもよい。
離の算出方法としては、ユークリッド距離でも、各画素
の輝度値の差の絶対値の和でもかまわない。また、正規
化相関を用いてもよい。
【００６３】また、本実施例では濃淡画像を用いたが、
これをエッジ画像に置き換えてもよい。
これをエッジ画像に置き換えてもよい。
【００６４】また、本実施例ではテンプレートの面積
を、動物体領域の４分の１としたが、これは、予め人手
で与えることにより変えることができる。
を、動物体領域の４分の１としたが、これは、予め人手
で与えることにより変えることができる。
【００６５】［実施例６］次に、本発明の第６の実施例
について説明する。本発明の第６の実施例において、動
画像処理装置の基本構成は、図１に示した前記第１の実
施例と同じ構成とされているが、動領域統合部１６の処
理動作が相違している。以下、本実施例の動作について
説明する。
について説明する。本発明の第６の実施例において、動
画像処理装置の基本構成は、図１に示した前記第１の実
施例と同じ構成とされているが、動領域統合部１６の処
理動作が相違している。以下、本実施例の動作について
説明する。
【００６６】本実施例の動領域統合部１６は、動領域整
形部１４により決定された動領域と、動領域探索部１５
により検出された動領域とから、同一物体に対応する動
領域を一つにまとめる処理を行う。以下、この処理を説
明する。
形部１４により決定された動領域と、動領域探索部１５
により検出された動領域とから、同一物体に対応する動
領域を一つにまとめる処理を行う。以下、この処理を説
明する。
【００６７】動領域統合部１６は、動領域整形部１４か
らの動物体領域が存在せず、動領域探索部１５からの動
物体領域が存在する場合には、動領域探索部１５から出
力された動物体領域を、検出した動物体領域として確定
し出力する。
らの動物体領域が存在せず、動領域探索部１５からの動
物体領域が存在する場合には、動領域探索部１５から出
力された動物体領域を、検出した動物体領域として確定
し出力する。
【００６８】また、動領域整形部１４からの動物体領域
が存在し、動領域探索部１５からの動物体領域が存在し
ない場合には、動領域整形部１４から出力された動物体
領域を、検出された動物体領域として確定し出力する。
が存在し、動領域探索部１５からの動物体領域が存在し
ない場合には、動領域整形部１４から出力された動物体
領域を、検出された動物体領域として確定し出力する。
【００６９】また、動領域整形部１４からの動物体領域
と、動領域探索部１５からの動物体領域が、共に存在す
る場合には、これらの動物体領域同士の重なりを調べ、
重なりが無い場合には、全ての動物体領域を、検出した
動物体領域としてとして、確定し出力する。
と、動領域探索部１５からの動物体領域が、共に存在す
る場合には、これらの動物体領域同士の重なりを調べ、
重なりが無い場合には、全ての動物体領域を、検出した
動物体領域としてとして、確定し出力する。
【００７０】一方、動物体領域に重なりが存在する場合
には、重なる動物体領域の中で動領域探索部５により出
力された動物体領域を消去し、残った全ての動物体領域
を出力する。
には、重なる動物体領域の中で動領域探索部５により出
力された動物体領域を消去し、残った全ての動物体領域
を出力する。
【００７１】
【発明の効果】以上説明したように、本発明によれば、
画像間演算手段によって検出され、動領域整形手段によ
って領域整形された動領域と、動領域探索手段によって
探索された動領域を動領域統合手段よって統合すること
により、移動物体をその移動状態にかかわらず常に正確
に追跡することができる、という効果を奏する。
画像間演算手段によって検出され、動領域整形手段によ
って領域整形された動領域と、動領域探索手段によって
探索された動領域を動領域統合手段よって統合すること
により、移動物体をその移動状態にかかわらず常に正確
に追跡することができる、という効果を奏する。
【００７２】また本発明によれば、画像間演算手段が、
二値差分画像において、輝度値１をもつ画素の数が予め
定められた閾値よりも大である場合、動領域整形手段に
対して出力する二値差分画像のすべての画素の輝度値を
０とすることにより、画像入力手段が静止しているとき
に検出した移動物体を、画像入力手段が移動していると
きにも検出し続けることを可能とする、という効果を奏
する。
二値差分画像において、輝度値１をもつ画素の数が予め
定められた閾値よりも大である場合、動領域整形手段に
対して出力する二値差分画像のすべての画素の輝度値を
０とすることにより、画像入力手段が静止しているとき
に検出した移動物体を、画像入力手段が移動していると
きにも検出し続けることを可能とする、という効果を奏
する。
【図１】本発明の第１の実施例の構成を示すブロック図
である。
である。
【図２】本発明の第３に実施例を説明するための図であ
る。
る。
【図３】本発明の第４の実施例を説明するための図であ
る。
る。
【図４】従来の装置の構成の一例を示すブロック図であ
る。
る。
１１ 画像入力部 １２ 画像格納部 １３ 画像間演算部 １４ 動領域整形部 １５ 動領域探索部 １６ 動領域統合部 １７ 出力部 ２１、３１ 二値差分画像 ２２、２３ テンプレート ３３ 帯状領域 ４１ 画像入力部 ４２ 画像格納部 ４３ 画像間演算部 ４４ 動領域整形部 ４５ 特徴量検出部 ４６ 位置検出部 ４７ 時系列処理部 ４８ 移動物体識別部
Claims (8)
- 【請求項１】１フレーム前に検出された動物体領域を現
在の画像中で探索する手段と、 入力画像と１フレーム前の画像とのフレーム間差分結果
から決定された動物体領域の結果と、前記現在の画像中
で探索された動物体領域と、を統合して同一物体に対す
る動領域を一つにまとめて出力する手段と、を備えたこ
とを特徴とする動画像処理装置。 - 【請求項２】動画像を入力する画像入力手段と、 前記画像入力手段からの画像データを格納する画像格納
手段と、 前記画像格納手段に格納されている時刻の異なる画像デ
ータに対して時間差分処理を行い、予め定められた閾値
で二値化した二値時間差分画像を出力する画像間演算手
段と、 前記画像間演算手段より出力される前記二値時間差分画
像から移動物体の存在している動物体領域を検出し、第
１の動領域として出力する動領域整形手段と、 １フレーム前に検出された動物体領域をテンプレートと
して、現在の時刻の画像に対してマッチング処理を行う
ことにより、動物体領域を探索し、第２の動領域として
出力する動領域探索手段と、 前記第１の動領域と前記第２の動領域の位置情報を用い
て、同一物体に対応する動領域を一つにまとめて出力す
る動領域統合手段と、 を備えたことを特徴とする動画像処理装置。 - 【請求項３】前記画像間演算手段が、時刻の異なる２枚
の画像間の差分処理を行って輝度差の絶対値を輝度値と
する差分画像を生成し、 該差分画像の各画素について輝度値が予め定められた閾
値以上のときに第１の値、前記輝度値が前記閾値未満の
ときに第２の値として二値化して二値差分画像を生成
し、 該二値差分画像において輝度値が前記第１の値である画
素数が予め定められた閾値未満であるときには、前記二
値差分画像を前記動領域整形手段に供給し、前記画素数
が前記閾値以上であるときには該二値差分画像の全画素
の輝度値を前記第２の値に置き換えてから前記動領域整
形手段に供給する、ように構成されてなる、ことを特徴
とする、請求項２記載の動画像処理装置。 - 【請求項４】前記動領域整形手段が、予め設定された二
値のテンプレートを保持しており、 前記画像間演算手段から出力される二値差分画像に対し
て該テンプレートを走査してマッチング処理を行い、マ
ッチ度が予め定められた閾値以上である場合に、対応す
る部分画像を含む矩形を設定して第１の矩形群を生成
し、 前記第１の矩形群のうち、重なりのある矩形を、外接矩
形で置き換えて、互いに重ならない矩形の集合からなる
第２の矩形群を生成し、 前記第２の矩形群を、動物体領域すなわち前記第１の動
領域として出力する、 ことを特徴とする、請求項２記載の動画像処理装置。 - 【請求項５】前記動領域整形手段が、前記画像間演算手
段から出力される二値差分画像において、各ライン毎に
第１の値を持つ画素のなかで、最も左に位置する画素
と、最も右に位置する画素の距離を算出し、 該距離の平均値を算出し、 該平均値以下である距離を持つラインを求め、 該ラインのうち画像上で一番上に位置する第１のライン
と、一番下に位置する第２のラインを求め、 前記第１のラインと前記第２のラインに挟まれる水平帯
領域を求め、 該水平帯領域において第１の値を持つ画素のうち、一側
の端部に位置する第１の画素と、他側の端部に位置する
第２の画素と、を求め、 前記第１の画素と前記第２の画素に挟まれる垂直帯領域
を求め、 前記水平帯領域と前記垂直帯領域とが重なってできる矩
形を、動物体領域、すなわち前記第１の動領域として出
力する、ことを特徴とする、請求項２記載の動画像処理
装置。 - 【請求項６】前記動領域探索手段が、前記画像格納手段
に格納されている１フレーム前の画像を参照して、前記
動領域統合手段によって出力された１フレーム前の動物
体領域と中心を同じくし、面積を一定の比率で小さくし
た、正方形状のテンプレートを生成し、 前記テンプレートを用いて現在の時刻の画像に対してマ
ッチング処理を行い、 前記テンプレートに最も類似している部分画像を、動物
体領域すなわち前記第２の動領域として、出力する、 ことを特徴とする、請求項２記載の動画像処理装置。 - 【請求項７】前記動領域統合手段が、前記動領域整形手
段の出力である前記第１の動領域と、前記動領域探索手
段の出力である前記第２の動領域と、を比較し、 前記第１の動領域と前記第２の動領域との間に重なりが
無い場合には、前記第１の動領域と前記第２の動領域と
のすべてを、動物体領域として確定して出力し、 前記第１の動領域と前記第２の動領域との間に重なりの
ある場合には前記第１の動領域を動物体領域として出力
する、ことを特徴とする、請求項２記載の動画像処理装
置。 - 【請求項８】請求項３記載の動画像処理装置において、 １フレーム前に移動物体が検出されている場合には、そ
の動物体領域をテンプレートとして、現在の時刻の画像
に対してマッチング処理を行うことで、前記撮像画像入
力手段が静止しているときに検出した移動物体を、前記
画像入力手段が移動しはじめた場合にも、追跡可能とし
たことを特徴とする動画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP01375299A JP3230509B2 (ja) | 1998-06-26 | 1999-01-22 | 動画像処理装置 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10-180333 | 1998-06-26 | ||
| JP18033398 | 1998-06-26 | ||
| JP01375299A JP3230509B2 (ja) | 1998-06-26 | 1999-01-22 | 動画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000082146A JP2000082146A (ja) | 2000-03-21 |
| JP3230509B2 true JP3230509B2 (ja) | 2001-11-19 |
Family
ID=26349593
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP01375299A Expired - Fee Related JP3230509B2 (ja) | 1998-06-26 | 1999-01-22 | 動画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3230509B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6759142B2 (en) | 2001-07-31 | 2004-07-06 | Kobe Steel Ltd. | Plated copper alloy material and process for production thereof |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4085959B2 (ja) | 2003-11-14 | 2008-05-14 | コニカミノルタホールディングス株式会社 | 物体検出装置、物体検出方法、および記録媒体 |
| US8588466B2 (en) | 2007-07-05 | 2013-11-19 | Nec Corporation | Object area detection system, device, method, and program for detecting an object |
| KR101272631B1 (ko) * | 2011-06-24 | 2013-06-10 | (주)비앤에스미디어 | 이동물체 감지장치 및 방법 |
| JP5192597B1 (ja) * | 2012-04-03 | 2013-05-08 | 株式会社ナナオ | 動き画像領域判定装置またはその方法 |
| WO2015136828A1 (ja) | 2014-03-11 | 2015-09-17 | 三菱電機株式会社 | 人物検出装置および人物検出方法 |
-
1999
- 1999-01-22 JP JP01375299A patent/JP3230509B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6759142B2 (en) | 2001-07-31 | 2004-07-06 | Kobe Steel Ltd. | Plated copper alloy material and process for production thereof |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000082146A (ja) | 2000-03-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3083918B2 (ja) | 画像処理装置 | |
| US6205242B1 (en) | Image monitor apparatus and a method | |
| JPH08185521A (ja) | 移動体カウント装置 | |
| JP3800785B2 (ja) | 白線認識装置 | |
| JP2002228423A (ja) | タイヤ検出方法および装置 | |
| JPH06231252A (ja) | 監視画像の移動物体追跡方法 | |
| JP2008288684A (ja) | 人物検出装置及びプログラム | |
| JP2008035301A (ja) | 移動体追跡装置 | |
| JP3230509B2 (ja) | 動画像処理装置 | |
| JP3475026B2 (ja) | 形状追跡方法および装置 | |
| JP2004094518A (ja) | 人物追跡装置、人物追跡方法及びプログラム | |
| JPH07249128A (ja) | 車両用画像処理装置 | |
| JPH11312243A (ja) | 顔領域検出装置 | |
| JP2004295416A (ja) | 画像処理装置 | |
| JP4302801B2 (ja) | 物体追跡方法及び物体追跡装置 | |
| JPH0765149A (ja) | 人物認識装置 | |
| JPH08329110A (ja) | 画像処理方法 | |
| JP4203648B2 (ja) | 画像処理装置 | |
| Jiang et al. | Shadow-resistant tracking in video | |
| JPH04137014A (ja) | 移動車の走行路端検出装置 | |
| JP3417635B2 (ja) | 侵入物体認識方法 | |
| JP3607440B2 (ja) | ジェスチャー認識方法 | |
| JP3679958B2 (ja) | ナンバープレート認識装置 | |
| JP3585977B2 (ja) | 動領域検出装置 | |
| JP4467702B2 (ja) | 影変化領域判定装置、これを用いた画像判定装置および画像生成装置、並びにこれに用いられる影強度比演算装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20010814 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080914 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080914 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090914 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090914 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100914 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110914 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120914 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130914 Year of fee payment: 12 |
|
| LAPS | Cancellation because of no payment of annual fees |