JP4223233B2 - 移動物体検出装置および移動物体検出方法 - Google Patents
移動物体検出装置および移動物体検出方法 Download PDFInfo
- Publication number
- JP4223233B2 JP4223233B2 JP2002155321A JP2002155321A JP4223233B2 JP 4223233 B2 JP4223233 B2 JP 4223233B2 JP 2002155321 A JP2002155321 A JP 2002155321A JP 2002155321 A JP2002155321 A JP 2002155321A JP 4223233 B2 JP4223233 B2 JP 4223233B2
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- block
- moving
- moving object
- threshold value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
Description
【発明の属する技術分野】
本発明は、動画像をフレーム間で比較して移動物体を検出する移動物体検出装置および移動物体検出方法に関し、特に、動画像のノイズに関わらず安定して移動物体を検出することができる移動物体検出装置および移動物体検出方法に関する。
【0002】
【従来の技術】
動画像をフレーム間で比較して移動物体を検出する従来の移動物体検出装置として、例えば特開平7−99657号公報に記載されたものがある。この従来の移動物体検出装置は、移動物体領域における動ベクトルの検出性能を損なうことなく背景領域における動ベクトルの誤検出を抑えることを意図して、移動体物体領域と背景領域とで異なるしきい値を用い、動ベクトルを出力するか否かを切り替えるようになっている。
【0003】
具体的には、まず、動画像をフレーム毎に複数のブロックに分割して、フレーム間の各ブロック対各ブロックについて整合の度合いを示す画素値の差分絶対値和を算出する。次に、各ブロックについて差分絶対値和の最小値を求めて動ベクトルを検出する。次に、各ブロックについて、差分絶対値和である最小値と、同位置ブロック同士のフレーム間の単純差分である差分絶対値和との差分をとり、この差分をしきい値と比較する。ここで、しきい値以上であれば動ベクトルを出力し、しきい値未満であれば零ベクトルを出力する。また、動ベクトルに基づいて行われた領域判定の結果に基づいて、図16に示すように、背景領域1611においては背景領域用の予め決められた第1のしきい値th1を用い、移動物体領域1612においては移動物体領域用の予め決められた第2のしきい値th2を用いるようになっていた。
【0004】
【発明が解決しようとする課題】
しかしながら、このような従来の移動物体検出装置では、動画像のノイズの程度やノイズの変動によっては、しきい値が適切な値ではなくなってしまい、動ベクトルを正常に出力することができないこととなり、したがって、安定して移動物体を検出することができないという問題があった。
【0005】
本発明はこのような問題を解決するためになされたもので、動画像のノイズに関わらず安定して移動物体を検出することができる移動物体検出装置および移動物体検出方法を提供するものである。
【0006】
【課題を解決するための手段】
本発明の移動物体検出装置は、動画像をフレーム毎に取り込む動画像取込部と、前記動画像をフレーム毎に複数のブロックに分割して、フレーム間の各ブロック対各ブロックについて整合の度合いを示す整合度を算出する整合度算出部と、前記動画像の各ブロックについて前記整合度を比較して動ベクトルを検出する動ベクトル検出部と、前記動画像の各ブロックについて、前記動ベクトルの始点に対応したブロックと前記動ベクトルの終点に対応したブロックとの第1の整合度あるいは前記第1の整合度と同位置ブロック同士の第2の整合度との差分を第1のしきい値と比較して、前記動ベクトルを出力するか否かを切り替える動ベクトル切替部と、前記動ベクトル切替部を介して出力された前記動ベクトルで移動物体を検出する移動物体検出部と、前記動画像のノイズを測定するノイズ測定部と、前記ノイズの測定結果に応じて前記第1のしきい値を決定するしきい値決定部とを備え、前記ノイズ測定部は、前記動ベクトルが検出されたブロックの中から隣接ブロックに動ベクトルが検出されていない孤立ブロックを抽出するとともに、前記動画像を複数の領域に分割して領域毎に孤立ブロック数を算出し、前記しきい値決定部は、前記領域毎の孤立ブロック数が第2のしきい値を超える前記領域の分布に基づいて前記第1のしきい値を決定するようにした構成を有している。
【0007】
この構成により、動画像のノイズのレベルが上がっても、誤った動ベクトルの出力が抑止されることとなり、したがって、動画像のノイズの程度やノイズの変動に関わらず安定して移動物体を検出することができる。
また、ノイズのレベルが上がっても、領域毎に孤立ベクトル数を算出するという簡単な処理によってノイズのレベルが容易かつ的確に測定されることとなり、したがって、負荷があまりかからずに、第1のしきい値を動的にかつ的確に制御することができる。
【0008】
本発明の移動物体検出装置は、前記しきい値決定部が、前記領域毎の孤立ブロック数が第2のしきい値を超え、前記領域における孤立ブロック数の最大値と前記領域における孤立ブロック数の最小値との差分が第3のしきい値以下であるか否かにより前記第1のしきい値を変更する構成を有している。
【0009】
この構成により、ノイズのレベルが上がっても、領域毎に孤立ベクトル数を算出するという簡単な処理によってノイズのレベルが容易かつ的確に測定されることとなり、したがって、負荷があまりかからずに、第1のしきい値を動的にかつ的確に制御することができる。
【0012】
本発明の移動物体検出方法は、動画像取込部が動画像をフレーム毎に取り込む動画像取込ステップと、整合度算出部が前記動画像をフレーム毎に複数のブロックに分割して、フレーム間の各ブロック対各ブロックについて整合の度合いを示す整合度を算出する整合度算出ステップと、動ベクトル検出部が前記動画像の各ブロックについて前記整合度を比較して動ベクトルを検出する動ベクトル検出ステップと、ノイズ測定部が前記動画像のノイズを測定するノイズ測定ステップと、しきい値決定部が前記動ベクトルを出力するか否かを切り替えるための第1のしきい値を前記ノイズの測定結果に応じて決定するしきい値決定ステップと、動ベクトル切替部が前記動画像の各ブロックについて、前記動ベクトルの始点に対応したブロックと前記動ベクトルの終点に対応したブロックとの第1の整合度あるいは前記第1の整合度と同位置ブロック同士の第2の整合度との差分を第1のしきい値と比較して、前記動ベクトルを出力するか否かを切り替える動ベクトル切替ステップと、移動物体検出部が前記動ベクトルで移動物体を検出する移動物体検出ステップとを含み、前記ノイズ測定ステップは、前記動ベクトルが検出されたブロックの中から隣接ブロックに動ベクトルが検出されていない孤立ブロックを抽出するとともに、前記動画像を複数の領域に分割して領域毎に孤立ブロック数を算出し、前記しきい値決定ステップは、前記領域毎の孤立ブロック数が第2のしきい値を超える前記領域の分布に基づいて前記第1のしきい値を決定する構成を有している。
【0013】
この構成により、動画像のノイズのレベルが上がっても、誤った動ベクトルの出力が抑止されることとなり、したがって、動画像のノイズの程度やノイズの変動に関わらず安定して移動物体を検出することができる。
また、ノイズのレベルが上がっても、領域毎に孤立ベクトル数を算出するという簡単な処理によってノイズのレベルが容易かつ的確に測定されることとなり、したがって、負荷があまりかからずに、第1のしきい値を動的にかつ的確に制御することができる。
【0014】
本発明の移動物体検出方法は、前記しきい値決定ステップは、前記領域毎の孤立ブロック数が第2のしきい値を超え、前記領域における孤立ブロック数の最大値と前記領域における孤立ブロック数の最小値との差分が第3のしきい値以下であるか否かにより前記第1のしきい値を変更する構成を有している。
【0015】
この構成により、ノイズのレベルが上がっても、領域毎に孤立ベクトル数を算出するという簡単な処理によってノイズのレベルが容易かつ的確に測定されることとなり、したがって、負荷があまりかからずに、第1のしきい値を動的にかつ的確に制御することができる。
【0016】
本発明の移動物体検出方法は、前記移動物体検出ステップは、前記動ベクトルが検出されたブロックの中から隣接ブロックに動ベクトルが検出されている連結ブロックにラベルを付して前記移動物体を検出する構成を有している。
【0017】
この構成により、動画像のノイズのレベルが上がっても、誤って出力された動ベクトルは無視されることとなり、したがって、動画像のノイズの程度やノイズの変動に関わらずさらに安定して移動物体を検出することができる。
【0018】
本発明の移動物体検出方法は、前記移動物体検出ステップは、前記動ベクトルの方向が一定範囲内にあるブロックに同一のラベルを付して前記移動物体を検出する構成を有している。
【0019】
この構成により、誤って出力された動ベクトルは無視されるとともに、異なる方向に移動する移動物体同士が区別されることとなり、したがって、安定して移動物体を検出することができるとともに、異なる方向に移動する移動物体が混在する場合であっても、安定して移動物体を検出することができる。
【0020】
本発明の移動物体検出方法は、前記移動物体検出ステップは、前記動ベクトルの方向が一定範囲内かつ前記動ベクトルの大きさが一定範囲内にあるブロックに同一のラベルを付して前記移動物体を検出する構成を有している。
【0021】
この構成により、誤って出力された動ベクトルは無視されるとともに、異なる方向および異なる速度で移動する移動物体同士が区別されることとなり、したがって、安定して移動物体を検出することができるとともに、異なる方向および異なる速度で移動する移動物体が混在する場合であっても、安定して移動物体を検出することができる。
【0022】
本発明の移動物体検出方法は、前記整合度算出ステップは、フレーム間の各ブロック対各ブロックについて画素値の差分絶対値和を算出し、前記動ベクトル検出ステップは、前記動画像の各ブロックについて前記差分絶対値和の最小値を求めて動ベクトルを検出し、前記動ベクトル切替ステップは、前記動ベクトルの始点に対応したブロックと前記動ベクトルの終点に対応したブロックとの第1の差分絶対値和あるいは前記第1の差分絶対値和と同位置ブロック同士の第2の差分絶対値和との差分を前記しきい値と比較する構成を有している。
【0023】
この構成により、フレーム間の各ブロック対各ブロックの整合度を画素値の差分絶対値和で検出する場合においても、動画像のノイズの程度やノイズの変動に関わらず安定して移動物体を検出することができる。
【0024】
本発明の移動物体検出プログラムは、動画像取込部が動画像をフレーム毎に取り込む動画像取込ステップと、整合度算出部が前記動画像をフレーム毎に複数のブロックに分割して、フレーム間の各ブロック対各ブロックについて整合の度合いを示す整合度を算出する整合度算出ステップと、動ベクトル検出部が前記動画像の各ブロックについて前記整合度を比較して動ベクトルを検出する動ベクトル検出ステップと、ノイズ測定部が前記動画像のノイズを測定するノイズ測定ステップと、しきい値決定部が前記動ベクトルを出力するか否かを切り替えるための第1のしきい値を前記ノイズの測定結果に応じて決定するしきい値決定ステップと、動ベクトル切替部が前記動画像の各ブロックについて、前記動ベクトルの始点に対応したブロックと前記動ベクトルの終点に対応したブロックとの第1の整合度あるいは前記第1の整合度と同位置ブロック同士の第2の整合度との差分を第1のしきい値と比較して、前記動ベクトルを出力するか否かを切り替える動ベクトル切替ステップと、移動物体検出部が前記動ベクトルで移動物体を検出する移動物体検出ステップとを含み、前記ノイズ測定ステップは、前記動ベクトルが検出されたブロックの中から隣接ブロックに動ベクトルが検出されていない孤立ブロックを抽出するとともに、前記動画像を複数の領域に分割して領域毎に孤立ブロック数を算出し、前記しきい値決定ステップは、前記領域毎の孤立ブロック数が第2のしきい値を超える前記領域の分布に基づいて前記第1のしきい値を決定する処理をコンピュータに実行させる構成を有している。
【0025】
この構成により、動画像のノイズのレベルが上がっても、誤った動ベクトルの出力が抑止されることとなり、したがって、動画像のノイズの程度やノイズの変動に関わらず安定して移動物体を検出することができる。
また、ノイズのレベルが上がっても、領域毎に孤立ベクトル数を算出するという簡単な処理によってノイズのレベルが容易かつ的確に測定されることとなり、したがって、負荷があまりかからずに、第1のしきい値を動的にかつ的確に制御することができる。
【0030】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を用いて説明する。
【0031】
(第1の実施の形態)
図1は、本発明の第1の実施の形態の移動物体検出装置100を示すブロック図である。図1において、動画像取込部101は、可視カメラや遠赤外線カメラ等の撮像装置10から出力された動画像をフレーム毎に取り込むものである。動画像記録部102は、動画像をフレーム毎に記録するものである。差分絶対値和算出部103(整合度算出部)は、動画像をフレーム毎に複数のブロックに分割して、フレーム間の各ブロック対各ブロックについて整合の度合いを示す画素値の差分絶対値和を算出するものである。動ベクトル検出部104は、動画像の各ブロックについて差分絶対値和の最小値を求めて動ベクトルを検出するものである。ノイズ測定部105は、動ベクトル検出部104によって検出された動ベクトルに関する情報に基づいて動画像のノイズを測定するものである。例えば、動ベクトルに関する情報として、動ベクトルの検出位置、動ベクトルの方向、および動ベクトルの大きさのいずれか、またはこれらの組合せに基づいて動画像のノイズを測定するようになっている。しきい値記憶部106は、複数のしきい値を記憶するものである。しきい値決定部107は、動ベクトルを出力するか否かを切り替えるためのしきい値をノイズの測定結果に応じて決定するものである。例えば、まず、しきい値記憶部106に記憶された所定の基準値をしきい値として用い、ノイズが大きくなったときには、しきい値記憶部106に記憶されたしきい値の切替候補の中からノイズの状態に対応したものを選択して用いるようになっている。動ベクトル切替部108は、動画像の各ブロックについて、動ベクトルの始点に対応したブロックと動ベクトルの終点に対応したブロックとの差分絶対値和(すなわち動ベクトルに対応した差分絶対値和)と同位置ブロック同士のフレーム間の単純差分である差分絶対値和との差分をしきい値と比較する。移動物体検出部109は、動ベクトル切替部108を介して出力された動ベクトルで移動物体を検出する。具体的には、動ベクトルが検出されたブロックの中から隣接ブロックに動ベクトルが検出されている連結ブロックにラベルを付して移動物体を検出する。
【0032】
なお、画素値は、輝度値その他の画素のレベルである。
【0033】
差分絶対値和は、取り込まれた現在のフレーム(以下「現フレーム」という)と現フレームの前のフレーム(以下「前フレーム」という)とについて、注目ブロック内の各画素値と対比ブロック内の各画素値との差分の絶対値の和をとったものである。この差分絶対値和は、注目ブロックと対比ブロックとの画像の整合の度合い(以下、「整合度」という)を示す評価値(「相関値」ともいう)のひとつであり、値が小さいほどブロック間の整合度が高い。
【0034】
動ベクトルは、物体の移動量を示す。本実施の形態においては、現フレーム上で対比ブロックを上下左右に移動させて、前フレームの注目ブロックとの差分絶対値和が最小となる対比ブロックと注目ブロックとの位置関係を動ベクトルとするようになっている。
【0035】
ノイズは、撮像装置や動画像の伝送路等において発生するものであって、撮像対象の変化によらない画素値の変化である。
【0036】
次に、本実施の形態の移動物体検出装置の動作について、図2のフローチャートを用いて説明する。
【0037】
まず、動画像をフレーム毎に取りこむ(S201)。取り込まれた動画像は、動画像記録部102によってフレーム毎に記録される。
【0038】
次に、動画像をフレーム毎に複数のブロックに分割して、動画像記録部102から取り出した前フレームの各ブロックと取り込まれた現フレームの各ブロックとについて画素値の差分絶対値和を算出する(S202)。具体的には、各注目ブロックの近傍において、横方向に−XからXまで、縦方向に−YからYまで、現フレーム上で対比ブロックをそれぞれ移動させて、数1に示すように、前フレームにおける各注目ブロック内の各画素値It-1と現フレームにおける各対比ブロック内の各画素値Itとの差分絶対値和V(vx,vy)をそれぞれ算出する。
【数1】
ここで、(bx,by)はフレーム内の基準ブロックを原点とした各ブロックの位置であり、(m,n)は各ブロックの大きさであり、(x,y)は各ブロック内の各基準点を原点とした各画素の相対位置であり、(vx,vy)は各注目ブロックから各対比ブロックへのベクトルである。
【0039】
次に、動画像の各ブロックについて、差分絶対値和の最小値を求めて動ベクトルを検出する(S203)。具体的には、数2に示すように、各注目ブロックについて、各対比ブロックとの差分絶対値和の最小値Vminを求め、差分絶対値和が最小となる対比ブロックへのベクトル(vx,vy)を動ベクトルとする。
【数2】
次に、検出された動ベクトルに関する情報に基づいて動画像のノイズを測定する(S204)。ノイズの測定をどのように行うかについては、(1)動ベクトルの検出位置についての分布の状態に基づいて動画像のノイズを測定する、(2)動ベクトルの方向や大きさについての分布の状態に基づいて動画像のノイズを測定する、(3)動ベクトルの時間系列での変化の状態に基づいて動画像のノイズを測定する、などがある。これらのノイズ測定の具体的な例については、後述する第2の実施の形態から第4の実施の形態までにおいてそれぞれ詳細に説明する。
【0040】
次に、動ベクトルを出力するか否かを切り替えるためのしきい値をノイズの測定結果に応じて決定する(S205)。具体的には、しきい値記憶部106に記憶された所定の基準値を初期のしきい値として用い、ノイズが大きくなったときには、しきい値記憶部106に記憶されたしきい値の切替候補の中からノイズの状態に対応したものを選択して用いる。
【0041】
次に、動画像の各ブロックについて、動ベクトルに対応した差分絶対値和Vminと同位置のブロック同士のフレーム間差分に相当する差分絶対値和V(0,0)との差分V(0,0)−Vminをしきい値と比較して、動ベクトルを出力するか否かを切り替える(S206)。図11に、前フレームの各注目ブロックと現フレームの各対比ブロックとの差分絶対値和V(vx,vy)の最小値を求めて得た元の動ベクトル情報1110と、しきい値との比較により出力するか否かを切り替えられた移動物体検出用の動ベクトル情報1120の例を示す。図11において、元のベクトル情報1110は、移動物体領域1112に物体の移動による複数の動ベクトルが検出されているとともに、背景領域1111にノイズによる複数の動ベクトルが検出されている。本実施の形態においては、ノイズの状態に応じてしきい値を決定し、各動ベクトルに対応した差分絶対値和と同位置のブロック同士の差分絶対値和との差分がしきい値以上であるときに動ベクトルを出力するとともにしきい値未満であるときに動ベクトルを出力しない(零ベクトルを出力する)よう切り替えることにより、移動物体検出用の動ベクトル情報1120は、移動物体領域1122において物体の移動による複数の動ベクトルが出力されるとともに、背景領域1121においてはノイズによる動ベクトルがほとんど出力されないことになる。
【0042】
次に、出力された動ベクトルで移動物体を検出する(S207)。具体的には、動ベクトルが検出されたブロックの中から隣接ブロックに動ベクトルが検出されている連結ブロックにラベルを付して移動物体を検出する。
【0043】
以上のステップを動画像が終了するまで継続する(S208)。
【0044】
なお、図2に示す各ステップは、コンピュータに実行させるようにしてもよい。
【0045】
また、ノイズを測定するステップ(S204)およびしきい値を決定するステップ(S205)の後に動ベクトルを切り替えるステップ(S206)および移動物体を検出するステップ(S207)を行う例について説明したが、動ベクトルを切り替えるステップ(S206)および移動物体を検出するステップ(S207)の後にノイズを測定するステップ(S204)およびしきい値を決定するステップ(S205)を行い、次のフレームから新たに決定されたしきい値で動ベクトルを切り替えるようにしてもよい。
【0046】
また、動ベクトルを切り替えるステップ(S206)において、動ベクトルに対応した差分絶対値和Vminと同位置のブロック同士の差分絶対値和V(0,0)との差分V(0,0)−Vminをしきい値と比較する例について説明したが、動ベクトルに対応した差分絶対値和Vminとしきい値とを比較するようにしてもよい。
【0047】
また、しきい値記憶部106からしきい値候補を取り出すことによってしきい値を動的に変化させる例について説明したが、しきい値の基準値としきい値の基準値との差分を予め決めておき、しきい値を動的に変化させるようにしてもよい。また、しきい値が2種類の場合を含む。
【0048】
以上説明したように、本実施の形態の移動物体検出装置は、動画像のノイズを測定し、動ベクトルを出力するか否かを切り替えるためのしきい値をノイズの測定結果に応じて決定するので、動画像のノイズのレベルが上がっても、誤った動ベクトルの出力が抑止されることとなり、したがって、動画像のノイズの程度やノイズの変動に関わらず安定して移動物体を検出することができる。
【0049】
また、動ベクトルに関する情報に基づいてノイズを測定するので、動ベクトルの検出に影響するノイズが容易かつ的確に測定されることとなり、したがって、しきい値を動的にかつ的確に制御することができる。
【0050】
また、動ベクトルが検出されたブロックの中から隣接ブロックに動ベクトルが検出されている連結ブロックにラベルを付して移動物体を検出するので、誤って出力された孤立ブロックの動ベクトルは無視されることとなり、したがって、さらに安定して移動物体を検出することができる。
【0051】
(第2の実施の形態)
図3は、本発明の第2の実施の形態の移動物体検出装置を示すブロック図である。図3において、図1に示す第1の実施の形態の移動物体検出装置の構成要件と同じ構成要件には同じ符号を付しており、これらの構成要件については第1の実施の形態において説明したので詳細な説明を省略する。
【0052】
本実施の形態において、位置分布測定部305は、動ベクトルの検出位置についての分布の状態に基づいて動画像のノイズを測定するようになっている。具体的には、動ベクトルが検出されたブロックの中から隣接ブロックに動ベクトルが検出されていない孤立ブロックを抽出するとともに、動画像を複数の領域に分割して領域毎に孤立ブロック数を算出する。しきい値決定部307は、領域毎の孤立ブロック数に基づいてしきい値を決定する。
【0053】
次に、本実施の形態の移動物体検出装置の動作について、図4のフローチャートを用いて説明する。
【0054】
図4において、動画像を取りこむステップ(S201)から、動画像の各ブロックについて差分絶対値和の最小値を求めて動ベクトルを検出するステップ(S203)までは、第1の実施の形態において説明した各ステップと同様な処理である。
【0055】
次に、動ベクトルが検出されたブロックの中から隣接する4近傍あるいは8近傍のブロックに動ベクトルが検出されていない孤立ブロックを抽出するとともに、動画像を複数の領域に均等に分割して領域毎に孤立ブロック数を算出する(S404)。次に、動ベクトルを出力するか否か切り替えるためのしきい値を領域毎の孤立ブロック数に応じて決定する(S405)。
【0056】
例えば、領域毎の孤立ブロック数に基づいて、孤立ブロックが全領域に均等に分布しているか否か判定し、均等に分布しているとき、しきい値を所定の基準値から基準値より値が大きなしきい値に変更する。孤立ブロックが全領域に均等に分布している場合の例を図12に示す。図12において、各領域の孤立ブロック数がそれぞれ予め決められた第1の数以上(例えば「3」以上)であって、かつ、各領域における孤立ブロック数の最大値(図12においては「4」)と各領域における孤立ブロック数の最小値(図12においては「3」)との差分(図12においては「1」)が予め決められた第2の数以下(例えば「4」以下)であるか否かを判定し、各領域の孤立ブロック数がそれぞれ第1の数以上であって、かつ、孤立ブロック数の最大値と孤立ブロック数の最小値との差分が第2の数以下である場合には、大きなしきい値に変更する。
【0057】
なお、図4において、動ベクトルを出力するか否かを切り替えるステップ(S206)と、動ベクトルで移動物体を検出するステップ(S207)と、終了するか否かを判定するステップ(S208)とは、第1の実施の形態において説明した各ステップと同様な処理である。
【0058】
図4に示す各ステップは、コンピュータに実行させるようにしてもよい。
【0059】
また、ノイズが小さくなり、孤立ブロック数が少なくなった場合については、例えば、動ベクトルが検出されない領域が存在したとき、しきい値を基準値に戻すようにしてもよい。
【0060】
以上説明したように、本実施の形態の移動物体検出装置は、動画像のノイズのレベルが上がっても、動ベクトルの検出位置についての分布の状態に着目してノイズのレベルが容易かつ的確に測定されることとなり、したがって、しきい値を動的にかつ的確に制御することができる。また、領域毎に孤立ベクトル数を算出することによってノイズのレベルが容易かつ的確に測定されることとなり、したがって、負荷があまりかかることなく、しきい値を動的にかつ的確に制御することができる。
【0061】
(第3の実施の形態)
図5は、本発明の第3の実施の形態の移動物体検出装置を示すブロック図である。図5において、図1に示す第1の実施の形態の移動物体検出装置の構成要件と同じ構成要件には同じ符号を付しており、これらの構成要件については第1の実施の形態において説明したので詳細な説明を省略する。
【0062】
本実施の形態において、度数分布測定部505は、動ベクトルの方向および動ベクトルの大きさについて分布を示す情報を生成して、動ベクトルの方向および動ベクトルの大きさの分布のうち少なくとも一方について分布の均一度を判定するようになっている。しきい値決定部507は、度数分布測定部505によって得られた均一度に基づいてしきい値を決定するようになっている。
【0063】
次に、本実施の形態の移動物体検出装置の動作について、図6のフローチャートを用いて説明する。
【0064】
図6において、動画像を取りこむステップ(S201)から、動画像の各ブロックについて差分絶対値和の最小値を求めて動ベクトルを検出するステップ(S203)までは、第1の実施の形態において説明した各ステップと同様な処理である。
【0065】
次に、動ベクトルの方向についてのヒストグラム(度数分布情報)を生成して、動ベクトルの方向について分布の均一度を判定し(S604)、この均一度に基づいてしきい値を決定する(S605)。
【0066】
例えば、動画像を複数の領域に均等に分割して、全ての領域において各領域の全ブロック数に対して一定比率以上のブロックで動ベクトルが検出され、かつ、ヒストグラムによって動ベクトルの方向についての各度数が一定範囲以内にあると判定されたとき、しきい値をさらに大きなしきい値に変更する。図13は、移動物体がない場合に、全領域においてノイズによる動ベクトルが検出されてしまったときの元となる動ベクトル情報1310を示す。このように、ノイズによる影響がないときあるいは影響が少ないときと比較して、全領域においてノイズによる動ベクトルが増加してしまったとき、図14に示すようなヒストグラム1401に基づいて、ノイズが大きくなったと判断し、しきい値を変更する。図14のヒストグラム1401において、動ベクトルの方向についての各度数が「5」から「7」までの範囲にあり、ほぼ均一に分布していると判定され、しきい値が大きなしきい値に変更される。
【0067】
なお、図6において、動ベクトルを出力するか否かを切り替えるステップ(S206)と、動ベクトルで移動物体を検出するステップ(S207)と、終了するか否かを判定するステップ(S208)とは、第1の実施の形態において説明した各ステップと同様な処理である。
【0068】
図6に示す各ステップは、コンピュータに実行させるようにしてもよい。
【0069】
また、ノイズが小さくなり、方向および大きさにばらつきがある状態となった場合には、例えば、動ベクトルが検出されない領域が存在したとき、しきい値を基準値に戻すようにしてもよい。
【0070】
以上説明したように、本実施の形態の移動物体検出装置は、動画像のノイズのレベルが上がっても、動ベクトルの方向や大きさの分布の状態に着目してノイズのレベルが容易かつ的確に測定されることとなり、したがって、しきい値を動的にかつ的確に制御することができる。また、動ベクトルの方向や動ベクトルの大きさについての分布の均一度を判定することによってノイズのレベルが容易かつ的確に測定されることとなり、したがって、負荷があまりかかることなく、しきい値を動的にかつ的確に制御することができる。
【0071】
なお、動ベクトルの方向についての分布の状態に基づいてしきい値を決定する例について説明したが、動ベクトルの方向および動ベクトルの大きさについての分布の状態に基づいてしきい値を決定するようにしてもよい。また、動ベクトルの大きさについての分布の状態に基づいて動画像のノイズを測定し、動ベクトルの方向についての分布の状態については測定しないようにしたものを含む。
【0072】
(第4の実施の形態)
図7は、本発明の第4の実施の形態の移動物体検出装置を示すブロック図である。図7において、図1に示す第1の実施の形態の移動物体検出装置の構成要件と同じ構成要件には同じ符号を付しており、これらの構成要件については第1の実施の形態において説明したので詳細な説明を省略する。
【0073】
本実施の形態において、動ベクトル情報記録部710は、動ベクトル検出部104によって検出された動ベクトルについての動ベクトル情報を記録するものである。動ベクトル情報には、動ベクトルの検出位置が少なくとも含まれる。動ベクトル情報は、動ベクトルの方向および大きさを含んでいてもよい。変化測定部705は、動ベクトル情報を参照して、動ベクトルの変化の状態に基づいて動画像のノイズを測定するようになっている。具体的には、動画像を複数の領域に分割して領域毎に動ベクトルの増加数を算出する。しきい値決定部707は、領域毎の動ベクトルの増加数に基づいてしきい値を決定するようになっている。
【0074】
次に、本実施の形態の移動物体検出装置の動作について、図8のフローチャートを用いて説明する。
【0075】
図8において、動画像を取りこむステップ(S201)から、動画像の各ブロックについて差分絶対値和の最小値を求めて動ベクトルを検出するステップ(S203)までは、第1の実施の形態において説明した各ステップと同様な処理である。
【0076】
次に、動画像を複数の領域に分割して領域毎に動ベクトルの増加数を算出する(S804)。次に、領域毎の動ベクトルの増加数に基づいて前記しきい値を決定する(S805)。
【0077】
例えば、全ての領域において動ベクトルの数が増加するとき、しきい値を所定の基準値からこの基準値より値が大きなしきい値に変更する。
【0078】
図8に示す各ステップは、コンピュータに実行させるようにしてもよい。
【0079】
また、ノイズが小さくなり、動ベクトルの数が減少したときについては、例えば、動ベクトルが検出されない領域が存在したとき、しきい値を基準値に戻すようにしてもよい。
【0080】
なお、図8において、動ベクトルを出力するか否かを切り替えるステップ(S206)と、動ベクトルで移動物体を検出するステップ(S207)と、終了するか否かを判定するステップ(S208)とは、第1の実施の形態において説明した各ステップと同様な処理である。
【0081】
以上説明したように、本実施の形態の移動物体検出装置は、動画像のノイズのレベルが上がっても、動ベクトルの変化の状態に着目してノイズのレベルが容易かつ的確に測定されることとなり、したがって、しきい値を動的かつ的確に制御することができる。
【0082】
また、領域毎に動ベクトルの増加数を算出することによってノイズのレベルが容易かつ的確に測定されることとなり、したがって、負荷があまりかかることなく、しきい値を動的にかつ的確に制御することができる。
【0083】
(第5の実施の形態)
図9は、本発明の第5の実施の形態の移動物体検出装置を示すブロック図である。図9において、図1に示す第1の実施の形態の移動物体検出装置の構成要件と同じ構成要件には同じ符号を付しており、これらの構成要件については第1の実施の形態において説明したので詳細な説明を省略する。
【0084】
本実施の形態において、移動物体検出部909は、動ベクトルが検出されたブロックの中から、隣接したブロックに動ベクトルが検出されている連結ブロックであって、動ベクトルの方向が一定範囲内であるブロックに同一のラベルを付して移動物体を検出するようになっている。
【0085】
次に、本実施の形態の移動物体検出装置の動作について、図10のフローチャートを用いて説明する。
【0086】
図10において、動画像を取りこむステップ(S201)から動ベクトルを出力するか否かを切り替えるステップ(S206)までは、第1の実施の形態において説明した各ステップと同様な処理である。
【0087】
本実施の形態においては、動ベクトルが検出されたブロックの中から、隣接した4近傍あるいは8近傍のブロックに動ベクトルが検出されている連結ブロックであって、動ベクトルの方向が一定範囲内であるブロックに同一のラベルを付して移動物体を検出する(S1007)。図15にラベリングの例を示す。動ベクトルの検出位置、方向および大きさを示す動ベクトル情報1510に基づいて、各ブロックにラベルが付され、ラベル‘a’が付された第1の移動物体領域1521と、ラベル‘b’が付された第2の移動物体領域1522とが検出される。
【0088】
以上のステップを動画像が終了するまで継続する(S208)。
【0089】
図10に示す各ステップは、コンピュータに実行させるようにしてもよい。
【0090】
以上説明したように、本実施の形態の移動物体検出装置は、動画像のノイズのレベルが上がっても、誤って出力された動ベクトルが無視されることとなり、したがって、動画像のノイズの程度やノイズの変動に関わらずさらに安定して移動物体を検出することができる。
【0091】
また、動ベクトルの方向が一定範囲内であるブロックに同一のラベルを付して移動物体を検出するので、異なる方向に移動する移動物体同士が区別されることとなり、異なる方向に移動する移動物体が混在する場合であっても、安定して移動物体を検出することができる。
【0092】
なお、第5の実施の形態において、動ベクトルの方向が一定範囲内ブロックに同一のラベルを付して移動物体を検出する例について説明したが、本発明はこれに限るものではなく、動ベクトルの方向が一定範囲内、かつ、動ベクトルの大きさが一定範囲内であるであるブロックに同一のラベルを付して移動物体を検出するようにしたものを含む。
【0093】
このように動ベクトルの大きさが一定範囲内であるであるブロックに同一のラベルを付して移動物体を検出した場合には、異なる速度で移動する移動物体同士が区別されることとなり、異なる速度で移動する移動物体が混在する場合であっても、安定して移動物体を検出することができる。
【0094】
また、第1の実施の形態から第5の実施の形態までにおいて、ブロック間の整合度を画素値の差分絶対値和として算出する例について説明したが、本発明はこれに限るものではなく、正規化相互相関値その他のマッチングの評価値によってブロック間の整合の度合いを算出するものを含む。
【0095】
【発明の効果】
本発明によれば、動画像のノイズに関わらず安定して移動物体を検出することができるという優れた効果を有する移動物体検出装置および移動物体掲出方法を提供することができる。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態の移動物体検出装置を示すブロック図
【図2】本発明の第1の実施の形態の移動物体検出装置における移動物体検出処理を示すフローチャート
【図3】本発明の第2の実施の形態の移動物体検出装置を示すブロック図
【図4】本発明の第2の実施の形態の移動物体検出装置における移動物体検出処理を示すフローチャート
【図5】本発明の第3の実施の形態の移動物体検出装置を示すブロック図
【図6】本発明の第3の実施の形態の移動物体検出装置における移動物体検出処理を示すフローチャート
【図7】本発明の第4の実施の形態の移動物体検出装置を示すブロック図
【図8】本発明の第4の実施の形態の移動物体検出装置における移動物体検出処理を示すフローチャート
【図9】本発明の第5の実施の形態の移動物体検出装置を示すブロック図
【図10】本発明の第5の実施の形態の移動物体検出装置における移動物体検出処理を示すフローチャート
【図11】本発明の第1の実施の形態の移動物体検出装置におけるしきい値決定を説明するための説明図
【図12】本発明の第2の実施の形態の移動物体検出装置における動ベクトルの検出位置の分布の状態を説明するための説明図
【図13】本発明の第3の実施の形態の移動物体検出装置における動ベクトルの方向の分布の状態を説明するための説明図
【図14】本発明の第3の実施の形態の移動物体検出装置における動ベクトルの方向の度数分布情報を示す図
【図15】本発明の第1の実施の形態から第5の実施の形態の移動物体検出装置における移動物体検出を説明するための説明図
【図16】従来の移動物体検出装置におけるしきい値を説明するための説明図
【符号の説明】
101 動画像取込部
102 動画像記録部
103 差分絶対値和算出部(整合度算出部)
104 動ベクトル検出部
105 ノイズ測定部
106 しきい値記憶部
107 しきい値決定部
108 動ベクトル切替部
109 移動物体検出部
Claims (9)
- 動画像をフレーム毎に取り込む動画像取込部と、前記動画像をフレーム毎に複数のブロックに分割して、フレーム間の各ブロック対各ブロックについて整合の度合いを示す整合度を算出する整合度算出部と、前記動画像の各ブロックについて前記整合度を比較して動ベクトルを検出する動ベクトル検出部と、前記動画像の各ブロックについて、前記動ベクトルの始点に対応したブロックと前記動ベクトルの終点に対応したブロックとの第1の整合度あるいは前記第1の整合度と同位置ブロック同士の第2の整合度との差分を第1のしきい値と比較して、前記動ベクトルを出力するか否かを切り替える動ベクトル切替部と、前記動ベクトル切替部を介して出力された前記動ベクトルで移動物体を検出する移動物体検出部と、前記動画像のノイズを測定するノイズ測定部と、前記ノイズの測定結果に応じて前記第1のしきい値を決定するしきい値決定部とを備え、前記ノイズ測定部は、前記動ベクトルが検出されたブロックの中から隣接ブロックに動ベクトルが検出されていない孤立ブロックを抽出するとともに、前記動画像を複数の領域に分割して領域毎に孤立ブロック数を算出し、前記しきい値決定部は、前記領域毎の孤立ブロック数が第2のしきい値を超える前記領域の分布に基づいて前記第1のしきい値を決定するようにしたことを特徴とする移動物体検出装置。
- 前記しきい値決定部は、前記領域毎の孤立ブロック数が第2のしきい値を超え、前記領域における孤立ブロック数の最大値と前記領域における孤立ブロック数の最小値との差分が第3のしきい値以下であるか否かにより前記第1のしきい値を変更することを特徴とする請求項1に記載の移動物体検出装置。
- 動画像取込部が動画像をフレーム毎に取り込む動画像取込ステップと、整合度算出部が前記動画像をフレーム毎に複数のブロックに分割して、フレーム間の各ブロック対各ブロックについて整合の度合いを示す整合度を算出する整合度算出ステップと、動ベクトル検出部が前記動画像の各ブロックについて前記整合度を比較して動ベクトルを検出する動ベクトル検出ステップと、ノイズ測定部が前記動画像のノイズを測定するノイズ測定ステップと、しきい値決定部が前記動ベクトルを出力するか否かを切り替えるための第1のしきい値を前記ノイズの測定結果に応じて決定するしきい値決定ステップと、動ベクトル切替部が前記動画像の各ブロックについて、前記動ベクトルの始点に対応したブロックと前記動ベクトルの終点に対応したブロックとの第1の整合度あるいは前記第1の整合度と同位置ブロック同士の第2の整合度との差分を第1のしきい値と比較して、前記動ベクトルを出力するか否かを切り替える動ベクトル切替ステップと、移動物体検出部が前記動ベクトルで移動物体を検出する移動物体検出ステップとを含み、前記ノイズ測定ステップは、前記動ベクトルが検出されたブロックの中から隣接ブロックに動ベクトルが検出されていない孤立ブロックを抽出するとともに、前記動画像を複数の領域に分割して領域毎に孤立ブロック数を算出し、前記しきい値決定ステップは、前記領域毎の孤立ブロック数が第2のしきい値を超える前記領域の分布に基づいて前記第1のしきい値を決定するようにしたことを特徴とする移動物体検出方法。
- 前記しきい値決定ステップは、前記領域毎の孤立ブロック数が第2のしきい値を超え、前記領域における孤立ブロック数の最大値と前記領域における孤立ブロック数の最小値との差分が第3のしきい値以下であるか否かにより前記第1のしきい値を変更することを特徴とする請求項3に記載の移動物体検出方法。
- 前記移動物体検出ステップは、前記動ベクトルが検出されたブロックの中から隣接ブロックに動ベクトルが検出されている連結ブロックにラベルを付して前記移動物体を検出することを特徴とする請求項3または請求項4に記載の移動物体検出方法。
- 前記移動物体検出ステップは、前記動ベクトルの方向が一定範囲内にあるブロックに同一のラベルを付して前記移動物体を検出することを特徴とする請求項5に記載の移動物体検出方法。
- 前記移動物体検出ステップは、前記動ベクトルの方向が一定範囲内かつ前記動ベクトルの大きさが一定範囲内にあるブロックに同一のラベルを付して前記移動物体を検出することを特徴とする請求項5に記載の移動物体検出方法。
- 前記整合度算出ステップは、フレーム間の各ブロック対各ブロックについて画素値の差分絶対値和を算出し、前記動ベクトル検出ステップは、前記動画像の各ブロックについて前記差分絶対値和の最小値を求めて動ベクトルを検出し、前記動ベクトル切替ステップは、前記動ベクトルの始点に対応したブロックと前記動ベクトルの終点に対応したブロックとの第1の差分絶対値和あるいは前記第1の差分絶対値和と同位置ブロック同士の第2の差分絶対値和との差分を前記しきい値と比較することを特徴とする請求項3ないし請求項7のいずれかに記載の移動物体検出方法。
- 動画像取込部が動画像をフレーム毎に取り込む動画像取込ステップと、整合度算出部が前記動画像をフレーム毎に複数のブロックに分割して、フレーム間の各ブロック対各ブロックについて整合の度合いを示す整合度を算出する整合度算出ステップと、動ベクトル検出部が前記動画像の各ブロックについて前記整合度を比較して動ベクトルを検出する動ベクトル検出ステップと、ノイズ測定部が前記動画像のノイズを測定するノイズ測定ステップと、しきい値決定部が前記動ベクトルを出力するか否かを切り替えるための第1のしきい値を前記ノイズの測定結果に応じて決定するしきい値決定ステップと、動ベクトル切替部が前記動画像の各ブロックについて、前記動ベクトルの始点に対応したブロックと前記動ベクトルの終点に対応したブロックとの第1の整合度あるいは前記第1の整合度と同位置ブロック同士の第2の整合度との差分を第1のしきい値と比較して、前記動ベクトルを出力するか否かを切り替える動ベクトル切替ステップと、移動物体検出部が前記動ベクトルで移動物体を検出する移動物体検出ステップとを含み、前記ノイズ測定ステップは、前記動ベクトルが検出されたブロックの中から隣接ブロックに動ベクトルが検出されていない孤立ブロックを抽出するとともに、前記動画像を複数の領域に分割して領域毎に孤立ブロック数を算出し、前記しきい値決定ステップは、前記領域毎の孤立ブロック数が第2のしきい値を超える前記領域の分布に基づいて前記第1のしきい値を決定する処理をコンピュータに実行させることを特徴とする移動物体検出プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002155321A JP4223233B2 (ja) | 2002-05-29 | 2002-05-29 | 移動物体検出装置および移動物体検出方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002155321A JP4223233B2 (ja) | 2002-05-29 | 2002-05-29 | 移動物体検出装置および移動物体検出方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008259543A Division JP4545211B2 (ja) | 2008-10-06 | 2008-10-06 | 移動物体検出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003346160A JP2003346160A (ja) | 2003-12-05 |
JP4223233B2 true JP4223233B2 (ja) | 2009-02-12 |
Family
ID=29771870
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002155321A Expired - Fee Related JP4223233B2 (ja) | 2002-05-29 | 2002-05-29 | 移動物体検出装置および移動物体検出方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4223233B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6940998B2 (en) | 2000-02-04 | 2005-09-06 | Cernium, Inc. | System for automated screening of security cameras |
JP2007531121A (ja) * | 2004-03-24 | 2007-11-01 | セルニウム コーポレイション | エリアごとの分割ゲインの使用によるビデオ分析の改良 |
WO2010124062A1 (en) | 2009-04-22 | 2010-10-28 | Cernium Corporation | System and method for motion detection in a surveillance video |
CA2793180A1 (en) * | 2011-11-02 | 2013-05-02 | Eads Deutschland Gmbh | Method and device for the detection of moving objects in a video image sequence |
JP6505237B2 (ja) * | 2015-09-18 | 2019-04-24 | 株式会社日立国際電気 | 画像処理装置 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS58107785A (ja) * | 1981-12-21 | 1983-06-27 | Nec Corp | 動き補償フレ−ム間符号化装置 |
JPH02118884A (ja) * | 1988-10-28 | 1990-05-07 | Matsushita Electric Ind Co Ltd | 動領域分離分割装置 |
JP2591441B2 (ja) * | 1993-09-28 | 1997-03-19 | 日本電気株式会社 | 動画像信号の動ベクトル検出装置 |
JP3321936B2 (ja) * | 1993-11-05 | 2002-09-09 | 株式会社豊田中央研究所 | 移動物体検出装置 |
JPH10112863A (ja) * | 1996-10-04 | 1998-04-28 | Nippon Telegr & Teleph Corp <Ntt> | 動き被写体情報抽出方法及び装置 |
JP2001218210A (ja) * | 2000-02-02 | 2001-08-10 | Sony Corp | ノイズ検出方法、ノイズ検出装置、画像データ処理装置、記録媒体 |
JP3920535B2 (ja) * | 2000-06-12 | 2007-05-30 | 株式会社日立製作所 | 車両検出方法及び車両検出装置 |
-
2002
- 2002-05-29 JP JP2002155321A patent/JP4223233B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2003346160A (ja) | 2003-12-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9916646B2 (en) | System and method for processing input images before generating a high dynamic range image | |
US8289402B2 (en) | Image processing apparatus, image pickup apparatus and image processing method including image stabilization | |
US20110115790A1 (en) | Apparatus and method for converting 2d image signals into 3d image signals | |
EP2180695B1 (en) | Apparatus and method for improving frame rate using motion trajectory | |
US6101222A (en) | Scene change detection | |
US20100079624A1 (en) | Image processing apparatus, image processing method, imaging apparatus | |
US20120293486A1 (en) | Image processing apparatus and image processing method | |
US20090135913A1 (en) | Vector selection decision for pixel interpolation | |
US8260003B2 (en) | Image-signal processor, image-signal processing method, and program for tracking a moving object | |
KR101885839B1 (ko) | 객체추적을 위한 특징점 선별 장치 및 방법 | |
JP4213035B2 (ja) | オクルージョン領域を検出するオクルージョン検出器および方法 | |
JPH06203164A (ja) | 動きベクトル検出装置 | |
JP4223233B2 (ja) | 移動物体検出装置および移動物体検出方法 | |
JP4545211B2 (ja) | 移動物体検出装置 | |
JP2006215655A (ja) | 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体 | |
JP5983033B2 (ja) | 位置関係判定プログラム、位置関係判定方法および位置関係判定装置 | |
US11049264B2 (en) | Marker detecting device and optical tracking device | |
KR20050102126A (ko) | 숏컷 검출 | |
JP4714647B2 (ja) | カット点検出装置及びカット点検出プログラム | |
JP2005229166A (ja) | 映像信号のノイズ量測定装置および測定方法 | |
Kondermann et al. | Postprocessing of optical flows via surface measures and motion inpainting | |
KR102201168B1 (ko) | 오버헤드 카메라를 이용한 사람 추적 방법 | |
JP2000242795A (ja) | 映像差分検出装置、映像差分検出方法およびこの方法を記録した記録媒体 | |
JP4039273B2 (ja) | 動きベクトル検出装置 | |
JPH08249472A (ja) | 移動物体検知装置及び移動物体検知方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050509 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080423 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080513 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080708 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080805 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081006 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081028 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081119 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111128 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121128 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121128 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131128 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |