JP3904000B2 - 移動体検出システム及び移動体検出方法 - Google Patents

移動体検出システム及び移動体検出方法 Download PDF

Info

Publication number
JP3904000B2
JP3904000B2 JP2004156363A JP2004156363A JP3904000B2 JP 3904000 B2 JP3904000 B2 JP 3904000B2 JP 2004156363 A JP2004156363 A JP 2004156363A JP 2004156363 A JP2004156363 A JP 2004156363A JP 3904000 B2 JP3904000 B2 JP 3904000B2
Authority
JP
Japan
Prior art keywords
data
line
value
slit light
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004156363A
Other languages
English (en)
Other versions
JP2005339145A (ja
Inventor
晋 安永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2004156363A priority Critical patent/JP3904000B2/ja
Priority to US10/955,515 priority patent/US7154079B2/en
Publication of JP2005339145A publication Critical patent/JP2005339145A/ja
Application granted granted Critical
Publication of JP3904000B2 publication Critical patent/JP3904000B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Geophysics And Detection Of Objects (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Time Recorders, Dirve Recorders, Access Control (AREA)
  • Image Processing (AREA)

Description

本発明は、通路における移動体を検出する技術に関する。
従来より、通路における人物などの移動体を検出する手法として、種々の手法が提案されている。例えば、通路の幅方向に沿った所定の監視ラインを照射対象としてスリット光を照射し、その監視ラインの近傍を所定の時間周期で繰返し撮影して画像を取得し、その画像中に輝線として現われるスリット光の像を解析して、移動体を検出する手法が知られている(例えば、特許文献1,2参照。)。
特開平8−161453号公報 特表2001−505006号公報
上記のような検出手法では、監視ライン上のある位置において移動体によりスリット光が遮断されると、非遮断状態と比較して、その位置に対応する画像中の画素の値が低下する。このため、スリット光が非遮断状態のときの基準値と実際の画素の値との差分をとり、その差分値が所定の判定閾値以上であれば、当該画素が対応する位置のスリット光が遮断状態であると判定できる。そして、この判定により「スリット光が遮断状態である」と判定された位置には移動体が存在するとみなすことで、移動体を検出できる。
しかしながら、スリット光は通路の床面のみならず移動体の表面においても反射するため、移動体の高さや反射率によっては、移動体の表面からのスリット光の反射光により、スリット光の遮断状態に対応する画素の値が基準値とほぼ同レベルまで大きくなる場合がある。このような場合は、スリット光の遮断/非遮断を正確に判定できないため、その判定精度が低下する。
また一般に、判定閾値は監視ライン上の全ての位置に関して同一とされる。しかしながら、スリット光の照射強度は監視ライン上において不均一となることが多い。このため、監視ライン上の位置によっては、スリット光の遮断/非遮断を正確に判定できず、その判定精度が低下することとなる。
本発明は、上記課題に鑑みてなされたものであり、スリット光の遮断/非遮断の判定精度を向上する技術を提供することを目的とする。
上記課題を解決するため、請求項1の発明は、通路における移動体を検出する移動体検出システムであって、前記通路の幅方向に沿ったラインを照射対象としてスリット光を照射する投光手段と、前記ラインを含む領域を撮影して画像を取得する撮像手段と、前記ライン上の各位置に対応する点データの一次元配列からなるラインデータを前記画像から生成する生成手段と、前記ラインデータに基づいて前記ライン上の各位置の前記スリット光の遮断/非遮断を判定する判定手段と、前記判定手段の判定結果に基づいて前記移動体を検出する検出手段と、を備え、前記画像及び前記ラインデータにおいて、前記幅方向に対応する方向を第1方向とし、前記第1方向に直交する方向を第2方向としたとき、前記生成手段は、前記画像中の前記第2方向に配列された画素列の各画素値を引数とする評価関数の値を、前記ラインデータのうち当該画素列と前記第1方向の位置が同一の点データの値とし、前記評価関数の値は、前記画素列の隣接画素間それぞれにおける画素値の差分結果に依存する。
また、請求項2の発明は、請求項1に記載の移動体検出システムにおいて、前記判定手段は、前記ラインの全体において前記スリット光が非遮断のときの前記ラインデータに相当する基準データと、直近に生成された前記ラインデータと、の間において対応する点データの値を相互に比較し、その比較結果に基づいて前記ライン上の各位置の前記スリット光の遮断/非遮断を判定する。
また、請求項3の発明は、請求項2に記載の移動体検出システムにおいて、前記ラインを含む領域は所定の時間周期で繰返し撮影され、その撮影で得られた画像から前記ラインデータは前記所定の時間周期で繰返し生成されるものであり、直近に生成された所定数の前記ラインデータに基づいて前記基準データを更新する更新手段、をさらに備えている。
また、請求項4の発明は、請求項2に記載の移動体検出システムにおいて、前記比較結果は、前記基準データ及び前記ラインデータのうちの一方の点データの値に対する他方の点データの値の比率を含む。
また、請求項5の発明は、請求項1ないし4のいずれかに記載の移動体検出システムにおいて、前記評価関数の値は、前記画素列の各画素に関して求められる2次微分の値のうちの最大値である。
また、請求項6の発明は、請求項1ないし4のいずれかに記載の移動体検出システムにおいて、前記評価関数の値は、前記画素列におけるコントラストの総和である。
また、請求項の発明は、請求項4に記載の移動体検出システムにおいて、前記比較結果は、前記基準データ及び前記ラインデータのうちの一方の点データの値と他方の点データの値との間の差分値をさらに含む。
また、請求項の発明は、通路における移動体を検出する方法であって、(a)前記通路の幅方向に沿ったラインを照射対象としてスリット光を照射しつつ、前記ラインを含む領域を撮影して画像を取得する工程と、(b)前記ライン上の各位置に対応する点データの一次元配列からなるラインデータを前記画像から生成する工程と、(c)前記ラインデータに基づいて前記ライン上の各位置の前記スリット光の遮断/非遮断を判定する工程と、(d)前記工程(c)の判定結果に基づいて前記移動体を検出する工程と、を備え、前記画像及び前記ラインデータにおいて、前記幅方向に対応する方向を第1方向とし、前記第1方向に直交する方向を第2方向としたとき、前記工程(b)では、前記画像中の前記第2方向に配列された画素列の各画素値を引数とする評価関数の値を、前記ラインデータのうち当該画素列と前記第1方向の位置が同一の点データの値とし、前記評価関数の値は、前記画素列の隣接画素間それぞれにおける画素値の差分結果に依存する。
請求項1ないしの発明によれば、ラインデータの点データの値は、画素列の隣接画素間それぞれにおける画素値の差分結果に依存する。このため、移動体の表面からのスリット光の反射光による画素値は、隣接画素間で相殺されて、ラインデータの点データの値に反映されなくなる。その結果、ラインデータの点データの値を、遮断状態に対応するときと非遮断状態に対応するときとで明確に相違させることができ、スリット光の遮断/非遮断の判定精度を向上できる。
また、特に請求項2の発明によれば、ラインデータと基準データとの比較に基づいて、スリット光の遮断/非遮断を正確に判定できる。
また、特に請求項3の発明によれば、直近に生成された所定数のラインデータに基づいて基準データを更新することで、ラインへの環境光が変化した場合であっても、スリット光の遮断/非遮断を正確に判定できる。
また、特に請求項4の発明によれば、点データの値の比率に基づいてスリット光の遮断/非遮断を判定する。このため、スリット光の光量がライン上において不均一となる場合であっても、ライン上のいずれの位置に関してもスリット光の遮断/非遮断を適切に判定でき、判定精度を向上できる。
また、特に請求項の発明によれば、点データの値の比率及び差分値の双方に基づいてスリット光の遮断/非遮断を判定するため、スリット光の遮断/非遮断をさらに適切に判定できる。

以下、図面を参照しつつ本発明の実施の形態について説明する。
<1.構成>
図1は、本発明の実施の形態の移動体検出システムの概略構成図である。この移動体検出システム101は、通路4においてスリット光31を遮断する移動体を検出して、その通過数を計数するものである。本実施の形態では、検出対象とする移動体を人物としている。
図に示すように、移動体検出システム101は、スリット光31を照射する投光装置3と、スリット光31が照射される位置を撮影する撮像装置1と、撮影された画像に基づく計数結果等を表示する監視装置2とを備えている。なお、以下の説明においては、方向を示す際に、適宜、図に示す3次元のXYZ直交座標を用いる。このXYZ軸は通路4に対して相対的に固定され、X軸方向は通路4の幅方向であり、Y軸方向は通路4が伸びる方向であり、Z軸方向は鉛直方向である。
移動体検出システム101では、通路4の幅方向(X軸方向)に沿った、通路4の幅と同一長さの線分であるライン41が通路4の床面に仮想的に設定される。そして、このライン41上に存在する人物が検出され、検出された人物の数が通路4の通過数として計数される。以下、このライン41を「監視ライン」41という。監視ライン41は、あくまで仮想的に設定されるラインであり、実際に視認可能なラインがその位置に存在しているわけではない。
投光装置3は、その内部に光源と、該光源からの光を長軸及び短軸を有する細長い光であるスリット光に成形する投光光学系とを備え、投光光学系を介してスリット光31を投光する。投光装置3は、移動体が通過する空間の上方となる通路4の天井などに、投光光学系の光軸が略鉛直方向(Z軸方向)に向けられて設置される。スリット光31は、監視ライン41を照射対象として照射され、その長軸が通路4の幅方向(X軸方向)に沿うこととなる。スリット光31としては、非可視光である赤外光が採用され、検出対象の移動体たる人物に検出されていることを意識させないようにしている。
撮像装置1は、投光装置3と同様に移動体が通過する空間の上方となる通路4の天井などに、投光装置3に隣接して設置される。撮像装置1は、その配置位置から監視ライン41を含む領域42を所定の時間周期で繰り返して撮影する。撮像装置1の撮影光学系の光軸は略鉛直方向(Z軸方向)に向けられている。撮像装置1は、この撮影によって時間的に連続して得られる時系列的な複数の画像に基づいて人物を検出して、その通過数を計数する。
監視装置2は、CPU、メモリ、ハードディスク及びディスプレイ等を備えた一般的なコンピュータで構成される。監視装置2は、通路4から離れた監視室などに配置されており、撮像装置1において計数された人物の通過数は、伝送ケーブル5を介して監視装置2に伝送される。監視装置2は、このように撮像装置1から伝送された人物の通過数などの情報を表示する。なお、撮像装置1から監視装置2へのデータの通信方式は有線方式に限定されず、無線方式であってもよい。
図2は、撮像装置1の主たる機能構成を示す図である。図2に示すように、撮像装置1は、装置全体を制御する制御部11、画像を取得する撮像部12、各種の演算を行なう演算部13、演算の作業領域となるメモリ14、及び、監視装置2とデータ通信を行なう通信部15を備えている。
制御部11は、CPU、RAM及びROMなどを有するマイクロコンピュータで構成されており、撮像部12、演算部13及び通信部15の各部に電気的に接続され各部の動作を統括的に制御する。また、制御部11は、任意の時点からの経過時間を計時するタイマとしての機能も有している。
撮像部12は、撮影を行って二次元の画像を取得するものであり、入射光を結像する撮影光学系、結像された光像を信号電荷に光電変換するCCDなどの撮像素子、及び、アナログ信号である信号電荷をデジタル信号に変換するA/D変換器などを有している。撮像素子がスリット光31の反射光を有効に受光できるように、入射光の入射経路となる撮影光学系には、スリット光31の波長帯(赤外波長帯)のみを通過するバンドパスフィルタが装着されている。なお、撮像素子上のオンチップフィルタに、このようなバンドパスフィルタが採用されてもよい。
演算部13は、電気回路で構成され、種々の演算の機能を備えている。演算部13のこれらの機能により、撮像部12で得られた画像に基づいて人物が検出され、その通過数が計数される。図2において、データ生成部131、基準更新部132、遮断判定部133、人物検出部134及び計数部135はそれぞれ、演算部13が備える機能を模式的に示している。なお、演算部13のこれらの機能は、ソフトウェア的に(すなわち、プログラムに従ってCPUなどが演算を行なうことにより)実現されてもよい。
<2.処理>
図3は、移動体検出システム101の撮像装置1の基本的な処理の流れを示す図である。以下では、まず、図2及び図3を参照して撮像装置1の処理の概要について説明し、その後、処理それぞれの詳細について説明する。
撮像装置1が起動すると、最初に、通路4における移動体を検出するための初期化処理がなされる。具体的には、メモリ14内のデータがクリアされ、制御部11により計時が開始される。また、この撮像装置1による初期化処理に同期して、投光装置3から監視ライン41に向けてのスリット光31の照射が開始される(ステップS1)。
そして以降、処理の中止が指示されるまで(ステップS9にてNoの間)、制御部11の計時時間に基づいて所定時間が経過するごとに(ステップS2にてYes)、ステップS3〜S8の処理が行なわれ、この処理が所定の時間周期で繰り返される。以下、このように繰り返されるステップS3〜S8の処理を「ルーチン処理」という。ルーチン処理を繰り返す時間周期は、例えば1/30(秒)に設定される。
ルーチン処理では、まず、撮像部12により監視ライン41を含む領域42の撮影がなされ、取得された画像が画像データ60としてメモリ14に格納される。画像データ60中の各画素の値である画素値は、被写体において反射された赤外光の強度を示し、例えば8ビット(0〜255)で表現される。被写体においてスリット光31が照射される位置(スリット光31が反射される位置)に対応する画素の画素値は比較的大きくなり、逆に、スリット光31が照射されない位置に対応する画素の画素値は比較的小さくなる。したがって、画像データ60中においてスリット光31の像(以下、「スリット光像」という。)は、輝線として現われる(ステップS3)。
次に、データ生成部131により、画像データ60から監視ライン41上の各位置に対応する点データの一次元配列からなるラインデータ61が生成される(ラインデータ生成処理)。ラインデータ61の点データは、対応する位置のその時点におけるスリット光31の照射状態を示すものとなる(ステップS4)。
次に、基準更新部132により、通路4において移動体が存在しない場合の監視ライン41の状態を示す基準データ62が、過去直近に生成された所定数のラインデータ61を用いて更新される(基準データ更新処理)。基準データ62は、ラインデータ61とデータ構成が同一であり、監視ライン41の全体においてスリット光31が非遮断のときにおけるラインデータに実質的に相当する。基準データ62はメモリ14内に予め記憶されるものであり、所定の時間周期ごとに繰返し更新される(ステップS5)。
次に、遮断判定部133により、ラインデータ61と基準データ62との間において対応する点データの値が相互に比較され、その比較結果に基づいて各位置のスリット光31の遮断/非遮断が判定される(遮断判定処理)。この遮断判定処理によって監視ライン41上の各位置ごとに得られる判定結果は、それら各位置に対応する点データの一次元配列からなる遮断データ63にまとめられる(ステップS6)。
次に、人物検出部134により、遮断データ63に基づいて人物が検出される(人物検出処理)。より具体的には、監視ライン41上において人物が存在する位置の情報が人物情報64として取得される(ステップS7)。次に、計数部135により、人物情報64に基づいて監視ライン41を通過した人物の数が計数される(計数処理)(ステップS8)。以上により一連のルーチン処理が終了し、処理はステップS2に戻ることとなる。
<2−1.ラインデータ生成処理>
次に、データ生成部131によるラインデータ生成処理(図3:ステップS4)の詳細について説明する。図4は、ラインデータ生成処理の内容を概念的に示す図である。
図に示すように、撮像部12で取得された画像データ60は、横320×縦240の画素を有している。そして、画像データ60には、監視ライン41の像(以下、「監視ライン像」という。)71が横方向に沿って含まれている。したがって、画像データ60の横方向は被写体におけるX軸方向(通路4の幅方向)に対応し、縦方向は被写体におけるY軸方向(通路4が延びる方向)に対応している。
なお、以下の説明では、画像データ60に2次元のXY座標を設定し、画像データ60中における方向を、その方向に対応する被写体の方向と同一に表現する。つまり、画像データ60の横方向はX軸方向(右向きが+向き)であるとし、縦方向はY軸方向である(下向きが+向き)とする。また同様に、ラインデータ61、基準データ62及び遮断データ63などは、監視ライン41が延びるX軸方向に対応するため一次元のX座標を設定する。このX座標の原点は当該データの左端とし(右向きが+向き)、各点データはX座標に係る座標位置xで識別する。
スリット光31は監視ライン41に向けて照射されるため、画像データ60中に現われるスリット光31の像(以下、「スリット光像」という。)72は、スリット光31の全体が非遮断状態では監視ライン像71に理想的には一致する。ただし本実施の形態では、設置誤差等によりスリット光31が監視ライン41から多少ずれる場合を考慮し、画像データ60のうち監視ライン像71を含み、監視ライン像71からY軸+向き及び−向きの双方に幅を有する領域73が評価の対象とされる。そして、この領域(以下、「評価領域」という。)73から、ラインデータ61が生成される。評価領域73は、図1に示す通路4の床面における監視ライン41を含む領域43の像である。評価領域73の各画素は、左上端を原点とするXY座標の座標位置(x,y)で識別する。
本実施の形態では評価領域73は横320×縦9の画素を有しており、Y軸方向に配列された320個の画素列を有している。そして、これらの画素列ごとに、ラインデータ61の一の点データが生成される。ラインデータ61のうちx=aとなる点データの値は、評価領域73のうちx=aとなる画素列に含まれる9つの画素値に基づいて導出される。そして、このようなラインデータ61の点データの値の導出が全てのX座標位置に関して同様になされる。このため、ラインデータ61は横320×縦1の点データで構成される。
ここで、ラインデータ61のある点データの値をPとし、この値Pを導出するためのY軸方向に配列された一の画素列(以下、「対象画素列」という。)の9つの画素値をY軸−側から順にV1,V2,…,V9とすると、点データの値Pは次の式(1)で表現できる。
Figure 0003904000
つまり、ラインデータ61の点データの値Pは、対象画素列に含まれる9つの画素値Vy(y=1,2,…,9)を引数とする関数fの値となる。以下、この関数fを「評価関数」という。
ラインデータ61は、その後の遮断判定処理に用いられることから、各点データが対応する位置のスリット光31の照射状態を明確に示すことが要求される。より具体的には、各点データの値が、対応する位置のスリット光31が遮断状態のときと、非遮断状態のときとで明確に相違することが要求される。本実施の形態では、点データの値は、遮断状態に対応するときには、非遮断状態に対応するときと比較して明確に低くなることが必要となる。
このため、例えば、評価関数fの演算式として下記の式(2)を採用し、ラインデータ61の点データの値Pを、対象画素列に含まれる9つの画素値V1,V2,…,V9のうちの最大値とする手法(以下、「最大値選択法」という。)が考えられる。つまり、「最大値選択法」では、ラインデータ61の点データの値に、評価領域73の画素値がそのまま用いられる。
Figure 0003904000
しかしながら、本実施の形態では、この「最大値選択法」は採用されず、点データの値Pが、対象画素列の隣接画素間それぞれにおける画素値の差分結果に依存する手法(以下、「隣接画素差分法」という。)を採用している。具体的には、評価関数fの演算式として下記の式(3)または(4)が採用される。
Figure 0003904000
Figure 0003904000
演算式(3)を採用した場合は、対象画素列の各画素(ただし、y=1,9となる端部の画素は除く)に関して2次微分の値d(y)が求められ、求められた7つの値d(y)(y=2,3,…,8)のうちの最大値が評価関数fの値となる。一方、演算式(4)を採用した場合は、対象画素列におけるコントラストの総和が評価関数fの値となる。いずれの演算式を採用した場合であっても、演算式には対象画素列の隣接画素間それぞれにおける画素値の差分演算(下記の式(5))が含まれている。このため、評価関数fの値として表現されるラインデータ61の点データの値Pは、隣接画素間それぞれにおける画素値の差分結果に依存することとなる。
Figure 0003904000
このように本実施の形態では、ラインデータ61の点データの値を求めるにあたって、「最大値選択法」は採用せず、「隣接画素差分法」を採用するようにしている。以下、「最大値選択法」を採用した場合の問題点について説明する。
図5ないし図7はそれぞれ、通路4のX軸+側からの様子を示している。図5は移動体Sbが存在しない場合、図6は高さが比較的高い移動体Sbがスリット光31を遮断する場合、図7は高さが比較的低い移動体Sbがスリット光31を遮断する場合をそれぞれ示している。
また、これらの図中の点P1よりも上部は、撮像部12の構造をピンホールカメラの構造に置き換えて模式的に示している。点P1は撮像部12の撮影光学系の視点(ピンホールカメラのピンホール位置)に相当し、面12aは撮像部12の撮像素子の受光面(すなわち、撮影光学系による結像面)を示している。また、受光面12a上に示す領域12bは、通路4の領域43からの反射光が結像する領域、すなわち、画像データ60中の評価領域73に対応する。
また、図中の点P2は、投光装置3のスリット光31の投光開始点を示している。図5に示すように、移動体Sbがスリット光31を遮断しない場合は、投光装置3から投光されたスリット光31は、通路4の床面である監視ライン41上の点P3で反射される。この点P3の像は、受光面12aにおいて領域12b内の点P4に結像される。これにより、図4の上部に示すような画像データ60が取得される。
また、図6に示すように、比較的高い移動体Sbがスリット光31を遮断する場合は、スリット光31は移動体Sbの上部の点P3で反射する。この点P3は点P1及び領域43で形成される空間内に含まれないため、点P3の像は受光面12aにおいて領域12b外の点P4に結像される。したがって、図8に示すように、画像データ60中においては、遮断状態のスリット光像72bは評価領域73外に位置し、非遮断状態のスリット光像72aのみが評価領域73内に位置する。この場合に「最大値選択法」によりラインデータ61の点データの値を導出したとすると、遮断状態に対応する点データの値にスリット光像72bは無関係となる。このため、点データの値は、遮断状態に対応するときには低く、非遮断状態に対応するときには高くなる。
一方、図7に示すように、比較的低い移動体Sbがスリット光31を遮断する場合は、スリット光31は移動体Sbの上部の点P3で反射する。しかし、移動体Sbの高さが低いと、この点P3は点P1及び領域43で形成される空間内に含まれるため、点P3の像は受光面12aにおいて領域12b内の点P4に結像される。したがって、図9に示すように、画像データ60中においては、遮断状態のスリット光像72bが評価領域73内に位置することとなる。
このため、この場合において「最大値選択法」によりラインデータ61の点データの値を導出したとすると、遮断状態に対応する点データの値にスリット光像72bの強度が反映されてしまう。さらにこの場合において、移動体Sbの赤外光の反射率が通路4の床面と同等であるとすると、点データの値は、遮断状態に対応するときと非遮断状態に対応するときとで明確な差が無くなり、点データの値に要求される条件が満たされなくなる。
このように「最大値選択法」を採用すると、高さが低く反射率の高い移動体(以下、「特定移動体」という。)がスリット光31を遮断した場合において問題が発生する。本実施の形態では、このように特定移動体がスリット光31を遮断した場合においても、点データの値が遮断状態に対応するときと非遮断状態に対応するときとで明確な差が存在するように「隣接画素差分法」を採用している。
以下、「隣接画素差分法」の採用によって、上記の問題が解消される原理について説明する。この原理は、スリット光31が通路4の床面で反射する場合と、スリット光31が移動体の表面で反射する場合とで、スリット光像72のY軸方向の分布が相違することに基づくものである。
図10及び図11はそれぞれ、対象画素列の各画素の画素値を示す図である。図10はスリット光31が通路4の床面で反射する場合を示し、図11はスリット光31が移動体で反射する場合を示している。
図10に示すように、スリット光31が通路4の床面で反射する場合には、スリット光31が主として結像される一の画素(以下、「注目画素」という。)Apのみにスリット光像72がほぼ現われる。このため、対象画素列においては、注目画素Apと他の画素とで画素値の差が大きくなる。
一方、図11に示すように、スリット光31が移動体の表面で反射する場合には、反射時に大きな乱反射が生じることから、注目画素Apのみならずその周辺画素にもスリット光像72が現われる。このため、対象画素列においては、注目画素Apからその周辺画素にかけて画素値が段階的に低くなっていく。
したがって、図10の場合には、隣接画素間それぞれにおいて画素値の差分演算を行なうと、いずれかの差分結果が比較的大きな値となる。その一方で、図11の場合には、隣接画素間それぞれにおいて画素値の差分をとると、隣接画素間で画素値が相殺されることから、差分結果のいずれもが比較的小さな値となる。つまり、「隣接画素差分法」を採用すると、スリット光31が通路4の床面で反射する場合は点データの値を大きく、スリット光31が移動体の表面で反射する場合は点データの値を小さくすることができる。
以上の原理により、「隣接画素差分法」を採用すれば、特定移動体がスリット光31を遮断した場合であっても、スリット光31の遮断状態に対応する点データの値を小さくできる。そしてこれにより、本実施の形態のラインデータ61の点データの値は、いかなる場合においても、遮断状態に対応するときには低く、非遮断状態に対応するときには高くなる。その結果、この点データの値は、遮断状態に対応するときと非遮断状態に対応するときとで明確に相違することとなり、その後の遮断判定処理におけるスリット光31の遮断/非遮断の判定精度を向上できる。
<2−2.基準データ更新処理>
次に、基準更新部132による基準データ更新処理(図3:ステップS5)の詳細について説明する。図12は、基準データ更新処理の内容を概念的に示す図である。
前述したように、図3に示すルーチン処理ごとに新規に一のラインデータ61が生成され、ルーチン処理は所定の時間周期で繰り返されることから、時系列的に複数のラインデータ61が生成される。基準データ更新処理では、このように時系列的に生成される複数のラインデータ61に基づいて、基準データ62が生成される。
本実施の形態では、基準データ62の生成に直近過去64個のラインデータ61が利用される。より具体的には、直前のラインデータ生成処理においてデータ生成部131によって生成された一つのラインデータ(直近のラインデータ)61aと、前回以前の過去のラインデータ生成処理において生成されてメモリ14に記憶された63個のラインデータ61bとに基づいて基準データ62が生成される。
基準データ62の点データは、64個のラインデータ61においてX座標位置が同一となる64個の点データの値に基づいて生成される。つまり、基準データ62のうちx=aとなる点データの値は、64個のラインデータ61のそれぞれのx=aとなる点データの値に基づいて導出される。そして、このような基準データ62の点データの値の導出が全てのX座標位置に関して同様になされる。このため、基準データ62も、ラインデータ61と同様に横320×縦1の点データで構成される。
基準データ62のある点データの値をQとし、この値Qを導出するための64個の点データの値をP1,P2,…,P64とすると、点データの値Qは次の式(6)で表現できる。つまり、基準データ62の点データの値Qは、直近過去64個の点データの値P1,P2,…,P64のうちの最大値となる。
Figure 0003904000
64個のラインデータ61のそれぞれについては、いずれかの点データが遮断状態に対応している可能性がある。しかし、これらのラインデータ61においてX座標位置が同一となる64個の点データに注目すると、そのうちのいずれかは必ず非遮断状態に対応すると考えられる。このため、それら64個の点データの値の最大値は、非遮断状態に対応する値となる。したがって、全てのX座標位置に関して式(6)に示す演算を行なうことにより、全ての点データが非遮断状態に対応するラインデータ61に相当する基準データ62を生成できる。このようにして生成された基準データ62は、メモリ14内の基準データ62に上書更新されることとなる。
基準データ62は、直近に生成された64個のラインデータ61から生成されるため、ほぼその時点の監視ライン41における赤外光の強度を示す。つまり、監視ライン41を照明する環境光の強度などが変化した場合であっても、その変化が反映された基準データ62が生成されることとなる。このため、このような基準データ62を遮断判定処理に用いることで、環境光の強度などの変化の影響を考慮したスリット光31の遮断/非遮断の判定を行なうことができる。
また、64個のラインデータ61のそれぞれは前述した「隣接画素差分法」により生成されることから、いかなる場合であってもスリット光31の遮断状態に対応する点データの値が非遮断状態と比較して大きくならない。このため、正確な基準データ62を取得することができる。その結果、遮断判定処理におけるスリット光31の遮断/非遮断の判定精度を向上できる。
なお、基準データ更新処理はルーチン処理ごとに行なう必要はなく、例えば、64回,8回など所定回数のルーチン処理に1回の割合で行なうようにしてもよい。
<2−3.遮断判定処理>
次に、遮断判定部133による遮断判定処理(図3:ステップS6)の詳細について説明する。図13は、遮断判定処理の内容を概念的に示す図である。
遮断判定処理においては、データ生成部131により直近に生成されたラインデータ61(61a)と、基準更新部132により更新された基準データ62との間において、X座標位置が同一の点データの値が相互に比較される。全てのX座標位置に関してこの比較がなされ、各X座標位置ごとに比較結果が得られる。さらに、このような各X座標位置ごとの比較結果に基づいて、各X座標位置ごとにスリット光31の遮断/非遮断が判定される。
そして、各X座標位置の判定結果を示す点データの一次元配列からなる遮断データ63が生成される。すなわち、遮断データ63は、監視ライン41上の各位置に対応する点データの一次元配列からなり、各点データは対応する位置におけるスリット光31の遮断/非遮断を示すこととなる。本実施の形態の遮断データ63においては、遮断状態を示す点データの値は「1」、非遮断状態を示す点データの値は「0」で表現される。したがって、遮断データ63は、横320×縦1の点データで構成される二値のデータとなる。生成された遮断データ63はメモリ14に記憶される。
ラインデータ61と基準データ62との比較にあたっては、基準データ62の点データの値Qに対する、ラインデータ61の点データの値Pの「比率」(P/Q)が導出される。そして、あるX座標位置の「比率」が所定の判定閾値より小であれば、当該X座標位置に対応する位置のスリット光31は遮断状態と判断され、逆に「比率」が所定の判定閾値より大であれば当該X座標位置に対応する位置のスリット光31は非遮断状態と判断される。
ところで、基準データ62の点データの値Qからラインデータ61の点データの値Pを減算し、この「差分値」(Q−P)が所定の判定閾値より大であればスリット光31は遮断状態と判定し、「差分値」が所定の判定閾値より小であればスリット光31は非遮断状態と判定する判定手法(以下、「差分値判定法」という。)も考えられる。
しかし、この「差分値判定法」を採用するよりも、本実施の形態のように、点データの値の「比率」に基づく判定手法(以下、「比率判定法」という。)を採用することで、スリット光の遮断/非遮断を高精度に判定することができる。以下、「差分値判定法」と「比率判定法」とを比較する。
図14ないし図16は、ラインデータ61の点データの値に基づいてスリット光31の遮断/非遮断を判定する際に、判定の境界となる判定境界線を示す図である。図14及び図15は「差分値判定法」の場合、図16は「比率判定法」の場合をそれぞれ示している。これらの図中の横軸はX軸方向(通路4の幅方向)に対応する。
また、図中の実線L1は、基準データ62の点データの値(以下、「基準値」という。)を示しており、以下、「基準線」L1という。図に示すように、基準値は通路4の中央位置Cp付近で比較的大きく、通路4の端部位置Ep付近となるほど小さくなる。これは、スリット光31の照射強度が監視ライン41上の全ての位置に関して均一とならないためである。
スリット光の照射強度をその長軸方向に関して均一にするためには、スリット光を成形する投光光学系において非常に複雑な構成が必要となる。このため、一般に、スリット光の照射強度はその長軸方向に関して不均一となる。本実施の形態では、スリット光31の照射強度は、投光光学系の光軸に対応する通路4の中央位置Cp付近で比較的大きく、光軸から離れた通路4の端部位置Ep付近となるほど小さくなっている。
図14及び図15に示す破線L2は、「差分値判定法」における判定閾値Tvを基準値から減算した値を示している。したがって、「差分値判定法」においては、破線L2より下部の領域にラインデータ61の点データの値が含まれれば、スリット光31が遮断状態と判定される。つまり、「差分値判定法」においては破線L2が判定境界線となる。
「差分値判定法」においては、判定閾値Tvは監視ライン41上の全ての位置に関して同一とされる。つまり、基準線L1と判定境界線L2との間の差Hvは一定となる。したがって、図14に示すように、判定閾値Tvを比較的小さく設定すると、基準値が比較的大きい位置Cpにおいては、ラインデータ61の点データの値がノイズ等により多少減少したのみで遮断状態と誤判定されるおそれがある。一方、図15に示すように、判定閾値Tvを比較的大きく設定すると、基準値が比較的小さい位置Epにおいては、いかなる場合も遮断状態と判定できなくなる。このように、「差分値判定法」を採用すると誤判定の可能性が高くなる。
これに対して、「比率判定法」においては、基準線L1と判定境界線との間の差Hvは基準値に応じて変化する。図16に示す一点鎖線L3は、「比率判定法」における判定閾値(例えば、2/3)を基準値に乗算した値を示している。したがって、「比率判定法」においては、この一点鎖線L3より下部の領域にラインデータ61の点データの値が含まれれば、スリット光31が遮断状態と判定される。つまり、「比率判定法」においては一点鎖線L3が判定境界線となる。
したがって、「比率判定法」においては基準線L1と判定境界線L3との間の差Hvは基準値に応じたものとなり、基準値が比較的大きい位置Cpでは大きく、基準値が比較的小さい位置Epでは小さくなる。したがって、上述したような「差分値判定法」を採用した場合に位置Cp及び位置Epで発生する誤判別を無くすことができる。その結果、スリット光の遮断/非遮断の判定精度を向上することができることとなる。
<2−4.人物検出処理>
次に、人物検出部134による人物検出処理(図3:ステップS7)の詳細について説明する。
遮断データ63においては、人物以外の移動体によってスリット光31が遮断された位置に対応する点データの値も「1」となる。すなわち、遮断データ63は、人物以外の移動体に係る情報も含んでいる。このため、人物検出処理においては、遮断データ63から人物に係る情報のみが抽出される。
図17は、このような人物検出処理の内容を概念的に示す図である。これらの図では、遮断データ63において、値が「1」となる点データの位置をハッチングで示している。人物検出処理においては、このように遮断データ63において位置的に連続して値が「1」となる点データ群が、人物に係る情報の候補(以下、「人物候補データ」という。)として注目される。図17に示す初期状態ST1の遮断データ63には、5つの人物候補データB1〜B5が含まれており、それぞれの点データの連続数は、「30」,「30」,「35」,「70」,「66」となっている。
人物検出処理にあたっては、まず、遮断データ63中のノイズが排除される。すなわち、位置的に連続して値が「0」となる点データ群のうち、その連続数が例えば「2」以下であればノイズと判断され、その値が「1」に変更される。これにより、ノイズにより分断されている人物候補データが復元される。例えば、図17に示す初期状態ST1の遮断データ63には、人物候補データB2と人物候補データB3との間に、値が「0」で連続数が「2」となる点データ群が存在している。このため、この点データ群の値が「1」に変更され、これにより人物候補データB2と人物候補データB3との2つに分断されていた人物候補データB6が復元される(状態ST2)。
次に、人物候補データのうち点データの連続数が例えば「60」に満たないものは、人物以外の移動体に係る情報とみなされ、その値が「0」に変更される。例えば、図17に示す状態ST2の遮断データ63には、連続数が「30」の人物候補データB1が存在している。このため、この値が「0」に変更され、これにより人物候補データB1が消去される(状態ST3)。
そして、このような処理の後に遮断データ63に残った人物候補データは人物に係る情報とみなされ、それらの座標位置が人物情報64として取得される。図17に示す状態ST3の遮断データ63においては、人物候補データB4,B5,B6が、人物に対応するとみなされる。取得された人物情報64は、メモリ14に記憶される。
<2−5.計数処理>
次に、計数部135による計数処理(図3:ステップS8)の詳細について説明する。計数処理においては、人物検出処理において抽出された人物情報64の数が計数される。ただし、ルーチン処理は繰り返されることから、同一人物に係る人物情報64が重複して計数されるおそれがある。このため、計数処理においては、前回のルーチン処理にて検出された人物情報64と、今回のルーチン処理にて検出された人物情報64とが同一人物に係るか否かが判定される。この処理により、前回に存在した人物と同一人物に係る人物情報64に関しては、計数されないようになっている。2つの人物情報64が同一人物に係るか否かは、人物情報64が示す座標位置に基づいて判定される。計数結果は、通信部15から監視装置2へ送信され、監視装置2のディスプレイに表示される。
以上、説明したように、本発明の実施の形態の移動体検出システム101では、ラインデータ生成処理において「隣接画素差分法」が採用され、遮断判定処理において「比率判定法」が採用される。このため、遮断判定処理においてスリット光の遮断/非遮断を正確に判定することができ、遮断判定処理の判定精度を飛躍的に向上することができる。
<3.変形例>
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。
◎「比率判定法」と「差分値判定法」との双方を採用し、スリット光が遮断状態であると判定される条件が双方の判定手法において満たされる場合のみ、スリット光が遮断状態と判定してもよい。つまり、図18に示すように、「差分値判定法」による判定境界線L2と、「比率判定法」における判定境界線L3との双方よりも下部の領域(ハッチングで示す領域)にラインデータ61の点データの値が含まれれば、スリット光31が遮断状態と判定する。図18の例では、基準値が所定の値Q1よりも大きい位置では「比率判定法」が採用され、所定の値Q1よりも小さい位置では「差分値判定法」が採用されることとなる。
このようにすれば、「比率判定法」と「差分値判定法」との双方の条件によりスリット光の遮断/非遮断が判定されるため、スリット光の遮断/非遮断をさらに適切に判定できる。例えば、「比率判定法」のみでは、基準値が比較的小さい位置Epでノイズが発生すると遮断状態と誤判断されるおそれがあるが、このようなノイズの影響を考慮した判定閾値Tvを設定した「差分値判定法」を併用することで、このような誤判定を防止できる。
◎上記実施の形態では、データ生成部131、基準更新部132、遮断判定部133、人物検出部134及び計数部135は撮像装置1の機能として説明したが、これらの機能の一部あるいは全部は、監視装置2の機能とされてもよい。すなわち、上記の実施の形態において、撮像装置1が行なうとしたステップS4〜S8の処理の一部あるいは全部は、監視装置2で行なわれてもよい。これによれば、撮像装置1が行なうべき処理量を低減することができる。また、ステップS4〜S8の処理の全てが監視装置2で行なわれるようにすれば、撮像装置1として一般的なデジタルカメラを採用することが可能である。
◎また、上記実施の形態において検出対象とする移動体は人物であったが、荷物などの物体、自動車などの乗り物、動物など、所定の通路を移動する非透明物体であれば、どのようなものであってもよい。
本発明の実施の形態の移動体検出システムの概略構成図である。 撮像装置の主たる機能構成を示す図である。 撮像装置の基本的な処理の流れを示す図である。 ラインデータ生成処理の内容を概念的に示す図である。 通路のX軸+側からの様子を示す図である。 通路のX軸+側からの様子を示す図である。 通路4のX軸+側からの様子を示す図である。 画像データの中のスリット光像の一例を示す図である。 画像データの中のスリット光像の一例を示す図である。 対象画素列の各画素の画素値を示す図である。 対象画素列の各画素の画素値を示す図である。 基準データ更新処理の内容を概念的に示す図である。 遮断判定処理の内容を概念的に示す図である。 判定境界線の一例を示す図である。 判定境界線の一例を示す図である。 判定境界線の一例を示す図である。 人物検出処理の内容を概念的に示す図である。 判定境界線の一例を示す図である。
符号の説明
1 撮像装置
2 監視装置
4 通路
31 スリット光
41 監視ライン
60 画像データ
71 監視ライン像
72 スリット光像
101 移動体検出システム

Claims (8)

  1. 通路における移動体を検出する移動体検出システムであって、
    前記通路の幅方向に沿ったラインを照射対象としてスリット光を照射する投光手段と、
    前記ラインを含む領域を撮影して画像を取得する撮像手段と、
    前記ライン上の各位置に対応する点データの一次元配列からなるラインデータを前記画像から生成する生成手段と、
    前記ラインデータに基づいて前記ライン上の各位置の前記スリット光の遮断/非遮断を判定する判定手段と、
    前記判定手段の判定結果に基づいて前記移動体を検出する検出手段と、
    を備え、
    前記画像及び前記ラインデータにおいて、前記幅方向に対応する方向を第1方向とし、前記第1方向に直交する方向を第2方向としたとき、
    前記生成手段は、前記画像中の前記第2方向に配列された画素列の各画素値を引数とする評価関数の値を、前記ラインデータのうち当該画素列と前記第1方向の位置が同一の点データの値とし、
    前記評価関数の値は、前記画素列の隣接画素間それぞれにおける画素値の差分結果に依存することを特徴とする移動体検出システム。
  2. 請求項1に記載の移動体検出システムにおいて、
    前記判定手段は、
    前記ラインの全体において前記スリット光が非遮断のときの前記ラインデータに相当する基準データと、直近に生成された前記ラインデータと、の間において対応する点データの値を相互に比較し、
    その比較結果に基づいて前記ライン上の各位置の前記スリット光の遮断/非遮断を判定することを特徴とする移動体検出システム。
  3. 請求項2に記載の移動体検出システムにおいて、
    前記ラインを含む領域は所定の時間周期で繰返し撮影され、その撮影で得られた画像から前記ラインデータは前記所定の時間周期で繰返し生成されるものであり、
    直近に生成された所定数の前記ラインデータに基づいて前記基準データを更新する更新手段、
    をさらに備えることを特徴とする移動体検出システム。
  4. 請求項2に記載の移動体検出システムにおいて、
    前記比較結果は、前記基準データ及び前記ラインデータのうちの一方の点データの値に対する他方の点データの値の比率を含むことを特徴とする移動体検出システム。
  5. 請求項1ないし4のいずれかに記載の移動体検出システムにおいて、
    前記評価関数の値は、前記画素列の各画素に関して求められる2次微分の値のうちの最大値であることを特徴とする移動体検出システム。
  6. 請求項1ないし4のいずれかに記載の移動体検出システムにおいて、
    前記評価関数の値は、前記画素列におけるコントラストの総和であることを特徴とする移動体検出システム。
  7. 請求項4に記載の移動体検出システムにおいて、
    前記比較結果は、前記基準データ及び前記ラインデータのうちの一方の点データの値と他方の点データの値との間の差分値をさらに含むことを特徴とする移動体検出システム。
  8. 通路における移動体を検出する方法であって、
    (a)前記通路の幅方向に沿ったラインを照射対象としてスリット光を照射しつつ、前記ラインを含む領域を撮影して画像を取得する工程と、
    (b)前記ライン上の各位置に対応する点データの一次元配列からなるラインデータを前記画像から生成する工程と、
    (c)前記ラインデータに基づいて前記ライン上の各位置の前記スリット光の遮断/非遮断を判定する工程と、
    (d)前記工程(c)の判定結果に基づいて前記移動体を検出する工程と、
    を備え、
    前記画像及び前記ラインデータにおいて、前記幅方向に対応する方向を第1方向とし、前記第1方向に直交する方向を第2方向としたとき、
    前記工程(b)では、前記画像中の前記第2方向に配列された画素列の各画素値を引数とする評価関数の値を、前記ラインデータのうち当該画素列と前記第1方向の位置が同一の点データの値とし、
    前記評価関数の値は、前記画素列の隣接画素間それぞれにおける画素値の差分結果に依存することを特徴とする移動体検出方法。
JP2004156363A 2004-05-26 2004-05-26 移動体検出システム及び移動体検出方法 Expired - Fee Related JP3904000B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2004156363A JP3904000B2 (ja) 2004-05-26 2004-05-26 移動体検出システム及び移動体検出方法
US10/955,515 US7154079B2 (en) 2004-05-26 2004-09-30 Moving object detecting system and moving object detecting method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004156363A JP3904000B2 (ja) 2004-05-26 2004-05-26 移動体検出システム及び移動体検出方法

Publications (2)

Publication Number Publication Date
JP2005339145A JP2005339145A (ja) 2005-12-08
JP3904000B2 true JP3904000B2 (ja) 2007-04-11

Family

ID=35424151

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004156363A Expired - Fee Related JP3904000B2 (ja) 2004-05-26 2004-05-26 移動体検出システム及び移動体検出方法

Country Status (2)

Country Link
US (1) US7154079B2 (ja)
JP (1) JP3904000B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4829055B2 (ja) * 2006-09-19 2011-11-30 株式会社ブイ・テクノロジー 微小高さ測定方法及び微小高さ測定装置
US7896196B2 (en) * 2007-06-27 2011-03-01 Joseph S. Kanfer Fluid dispenser having infrared user sensor
JP2015216482A (ja) * 2014-05-09 2015-12-03 キヤノン株式会社 撮像制御方法、および撮像装置
US10297051B2 (en) * 2014-09-11 2019-05-21 Nec Corporation Information processing device, display method, and program storage medium for monitoring object movement

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2254916B (en) * 1991-04-15 1993-12-22 John Trett Detection systems
US5393973A (en) * 1993-12-16 1995-02-28 Scientific Technologies Incorporated Optical sensing arrays employing misaligned squinted optical axes compared to aligned axes
JPH08161453A (ja) 1994-12-02 1996-06-21 Tokai Rika Co Ltd 人数計数装置
GB2316169A (en) 1996-08-08 1998-02-18 Secr Defence Optical detection system

Also Published As

Publication number Publication date
JP2005339145A (ja) 2005-12-08
US7154079B2 (en) 2006-12-26
US20050263684A1 (en) 2005-12-01

Similar Documents

Publication Publication Date Title
US7176441B2 (en) Counting system and counting method
US20120176303A1 (en) Gesture recognition apparatus and method of gesture recognition
EP1524492B1 (en) Three-dimensional measurement apparatus
JP5466610B2 (ja) 視線推定装置
JP5300694B2 (ja) 検出装置
JP6657024B2 (ja) ジェスチャ判定装置
JP3904000B2 (ja) 移動体検出システム及び移動体検出方法
EP3859675B1 (en) Depth acquisition device, depth acquisition method, and program
EP2911028B1 (en) Distance measurement device and vehicle using same
KR100717861B1 (ko) 카메라 영상을 이용한 움직임 검출 방법 및 장치
JP5015838B2 (ja) 煙検出装置
JP2005092513A (ja) 計数システム
JP4853657B2 (ja) 画像処理装置
JP2006285696A (ja) 画像処理装置
JP7340434B2 (ja) 配筋検査システム、配筋検査方法、及び配筋検査プログラム
CN115937730A (zh) 推测装置、推测方法以及存储介质
JP2635232B2 (ja) 車間距離検出装置
JPH1151644A (ja) 車両用距離測定装置
JP4039423B2 (ja) エッジ位置算出装置、障害物検出システム
JP2015047427A (ja) 視線検出装置
JP2001033238A (ja) 物体認識装置
JP5215707B2 (ja) 煙検出装置
JP2010210490A (ja) 移動計測装置及び方法、並びにプログラム
JP3862977B2 (ja) ステレオ画像を用いた監視システム
JPH07280561A (ja) 車両用距離測定装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060821

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060926

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070101

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110119

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees