JP4672658B2 - 物体検出装置及びエレベータの物体検出装置 - Google Patents

物体検出装置及びエレベータの物体検出装置 Download PDF

Info

Publication number
JP4672658B2
JP4672658B2 JP2006520601A JP2006520601A JP4672658B2 JP 4672658 B2 JP4672658 B2 JP 4672658B2 JP 2006520601 A JP2006520601 A JP 2006520601A JP 2006520601 A JP2006520601 A JP 2006520601A JP 4672658 B2 JP4672658 B2 JP 4672658B2
Authority
JP
Japan
Prior art keywords
contour line
image
background image
object detection
contour
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2006520601A
Other languages
English (en)
Other versions
JPWO2007129374A1 (ja
Inventor
慎一 黒田
和夫 杉本
悦久 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2007129374A1 publication Critical patent/JPWO2007129374A1/ja
Application granted granted Critical
Publication of JP4672658B2 publication Critical patent/JP4672658B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Indicating And Signalling Devices For Elevators (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

この発明は、撮影部で撮影された監視領域の検出対象が存在していないときの背景画像と現画像とを比較することで、監視領域における検出対象の有無を検出する物体検出装置及びエレベータの物体検出装置に関するものである。
従来装置では、背景画像の各画素と現画像の各画素との輝度の差を求め、輝度に差がある画素数に基づいて、監視領域における検出対象の有無を検出する。このため、背景画像撮影時と現画像撮影時とで監視領域の明るさが違う場合に、検出対象の検出精度が低下する。そこで、従来装置では、明るさの違いによる検出対象の検出精度の低下を防ぐために、監視領域の明るさを監視し、明るさに応じて背景画像を更新する(特許文献1参照)。
特開平11−261994号公報
しかしながら、上記のような従来装置では、例えば照度計等、明るさを検出するためのセンサが必要となるので、製造コストが高くなる。また、背景画像を更新しているときに検出動作が行えず、検出不能期間が生じる。
この発明は、上記のような課題を解決するためになされたものであり、明るさを検出するためのセンサを不要にすることで製造コストを抑えることができるとともに、背景画像の更新を不要にすることで検出不能期間を無くすことができる物体検出装置及びエレベータの物体検出装置を得ることを目的とする。
この発明による物体検出装置は、撮影部で撮影された監視領域の検出対象が存在していないときの背景画像と現画像とを取得する画像取得手段と、背景画像の輪郭線情報を抽出する背景輪郭線情報抽出手段と、背景画像の輪郭線情報に基づく背景画像の輪郭線を除く輪郭線が現画像から抽出できるか否かにより、監視領域における検出対象の有無を検出する物体検出手段とを備え、物体検出手段は、現画像の所定座標の画素で輪郭線を抽出する際に、該画素の座標が背景画像で輪郭線が位置する座標であるか否かを背景画像の輪郭線情報に基づいて判定し、背景画像で輪郭線が位置する座標であると判定した場合、輪郭線の検出感度を下げた上で、該画素で輪郭線を抽出する。
また、この発明による物体検出装置は、撮影部で撮影された監視領域の検出対象が存在していないときの背景画像と現画像とを取得する画像取得手段と、背景画像の輪郭線情報を抽出する背景輪郭線情報抽出手段と、背景画像の輪郭線情報に基づく背景画像の輪郭線を除く輪郭線が現画像から抽出できるか否かにより、監視領域における検出対象の有無を検出する物体検出手段とを備え、背景輪郭線情報抽出手段は、複数画素を平均化することで背景画像を複数のブロックに分割した上で、該背景画像の輪郭線情報を抽出し、物体検出手段は、複数画素を平均化することで現画像を複数のブロックに分割するとともに、現画像の所定座標のブロックで輪郭線を抽出する際に、該ブロックの座標が背景画像で輪郭線が位置する座標であるか否かを背景画像の輪郭線情報に基づいて判定し、背景画像で輪郭線が位置する座標であると判定した場合、輪郭線の検出感度を下げた上で、該ブロックで輪郭線を抽出する。
さらに、この発明による物体検出装置は、撮影部で撮影された監視領域の検出対象が存在していないときの背景画像と現画像とを取得する画像取得手段と、背景画像の輪郭線情報を抽出する背景輪郭線情報抽出手段と、背景画像の輪郭線情報に基づく背景画像の輪郭線を除く輪郭線が現画像から抽出できるか否かにより、監視領域における検出対象の有無を検出する物体検出手段とを備え、背景輪郭線情報抽出手段は、複数画素をまとめることで背景画像を複数のブロックに分割するとともに、該各ブロックで輪郭線が占める割合を算出し、物体検出手段は、複数画素をまとめることで背景画像を複数のブロックに分割するとともに、現画像の所定座標のブロックで輪郭線を抽出する際に、該ブロックと同じ座標の背景画像のブロックで輪郭線が占める割合に基づいて輪郭線の検出感度を決定し、該検出感度を用いて該ブロックで輪郭線が抽出できるか否かを判定する。
この発明の実施の形態1によるエレベータの物体検出装置を示す構成図である。 図1の背景画像メモリに記憶される背景画像を示す説明図である。 図1の現画像メモリに記憶される現画像を示す説明図である。 図1の物体検出手段が利用するラプラシアンフィルタを示す説明図である。 図1の背景輪郭線抽出手段が抽出する背景画像の輪郭線を示す説明図である。 図1の差分画像輪郭線抽出部が抽出する差分画像の輪郭線を示す説明図である。 図1の占有領域算出部が求める検出対象の領域を示す説明図である。 図1の背景輪郭線抽出手段によって行われる背景輪郭線抽出動作を示すフローチャートである。 図1の差分画像輪郭線抽出部によって行われる差分画像輪郭線抽出動作を示すフローチャートである。 図1の占有領域算出部によって行われる占有領域算出動作を示すフローチャートである。 実施の形態1のエレベータの物体検出装置の変形例を示す構成図である。 実施の形態2の背景輪郭線抽出手段によって行われる背景輪郭線抽出動作を示すフローチャートである。 実施の形態2の差分画像輪郭線抽出部によって行われる差分画像輪郭線抽出動作を示すフローチャートである。 実施の形態2の占有領域算出部によって行われる占有領域算出動作を示すフローチャートである。 この発明の実施の形態3によるエレベータの物体検出装置を示す構成図である。 図15の差分画像輪郭線抽出部によって行われる差分画像抽出動作を示すフローチャートである。 実施の形態3のエレベータの物体検出装置の変形例を示す構成図である。
以下、この発明の好適な実施の形態について図面を参照して説明する。
実施の形態1.
図1は、この発明の実施の形態1によるエレベータの物体検出装置を示す構成図である。図2、図3、及び図5〜7は、図1の物体検出装置で用いられる画像データを示す説明図である。図4は、図1の物体検出装置で用いられるラプラシアンフィルタを示す説明図である。図1において、物体検出装置は、画像取得手段1と、背景輪郭線情報抽出手段2と、物体検出手段3とを有している。画像取得手段1は、撮影部であるカメラ5と、A/D変換器6と、記憶制御部7と、背景画像メモリ8と、現画像メモリ9とを含んでいる。カメラ5は、監視領域であるエレベータのかご内を撮影する。A/D変換器6は、カメラ5から出力されるアナログの画像データをデジタルデータに変換する。記憶制御部7は、例えば人や荷物等の検出対象がかご内に存在していないことが管理者によって確認された際に操作される。また、記憶制御部7は、該操作に応じて、そのときにカメラ5によって撮影された画像データを背景画像として背景画像メモリ8に記憶させる(図2参照)。現画像メモリ9は、カメラ5によって撮影された現時点の画像(以下、現画像と表記する)を所定間隔で記憶する(図3参照)。即ち、現画像は所定間隔で更新される。つまり、画像取得手段1は、カメラ5で撮影された背景画像と現画像とを取得する。
ここで、一般に画像内のすべての画素には色及び輝度(明るさ)の情報が含まれている。画素の輝度は、全体としての明るさに係わらず、物の輪郭線(物の領域の境界)が位置するところで急激に変化する。輝度の変化値は、微分演算を利用することで算出できる。画像処理に用いられる微分演算には、ソーベルフィルタ等を用いて行う1次微分と、ラプラシアンフィルタ等を用いて行う2次微分とが存在する。ラプラシアンフィルタには、図4の(a)に示すような4近傍ラプラシアンフィルタと、図4の(b)及び(c)に示すような8近傍ラプラシアンフィルタとが存在する。4近傍ラプラシアンフィルタは、所定座標の画素の輝度f(x,y)に重み付けを行った後に、隣接する画素との輝度の差Δ(x,y)を求めるものである。即ち、4近傍ラプラシアンフィルタを用いた場合のΔ(x,y)は次の式で表すことができる。
Δ(x,y)=4×f(x,y)−{f(x,y−1)+f(x,y+1)+f(x−1,y)+f(x+1,y)}
背景輪郭線情報抽出手段2は、背景輪郭線抽出部12と背景輪郭線メモリ13とを含んでいる。背景輪郭線抽出部12は、4近傍ラプラシアンフィルタ等を用いて、背景画像に映っている物の輪郭線情報を抽出する(図5参照)。なお、図5において、背景画像の輪郭線は白色で描かれている部分である。
具体的には、背景輪郭線抽出部12は、背景画像の所定画素においてΔ(x,y)を算出するとともに、閾値処理を行う。閾値処理とは、算出したΔ(x,y)が第1の閾値(以下、第1のThと表記する)よりも大きいか否かに応じて、該画素の輝度を2値化する処理である。背景輪郭線抽出部12は、Δ(x,y)が第1のThよりも大きい場合、該画素の輝度を白色の値にする。また、背景輪郭線抽出部12は、Δ(x,y)が第1のTh以下である場合、該画素の輝度を黒色の値にする。さらに、背景輪郭線抽出部12は、背景画像内のすべての画素で、Δ(x,y)を求めるとともに、閾値処理を行う。背景輪郭線メモリ13は、背景輪郭線抽出部12によって抽出された背景画像の輪郭線を示す画像データを記憶する。
物体検出手段3は、差分画像輪郭線抽出部15と占有領域算出部16とを含んでいる。差分画像輪郭線抽出部15は、現画像の各画素と背景画像の各画素の輝度の差を表す差分画像を求める。また、差分画像輪郭線抽出部15は、背景画像の輪郭線情報に基づく背景画像の輪郭線を除く輪郭線を、求めた差分画像から抽出する(図6参照)。
具体的には、差分画像輪郭線抽出部15は、差分画像の所定画素においてΔ(x,y)を算出する。また、差分画像輪郭線抽出部15は、Δ(x,y)を算出した画素の座標が、背景画像の輪郭線が位置する座標であるか否かを判定する。さらに、差分画像輪郭線抽出部15は、背景画像の輪郭線が位置する座標でないと判定した場合、第2のThを用いて該画素の輝度を2値化する。さらにまた、差分画像輪郭線抽出部15は、背景画像の輪郭線が位置する座標であると判定した場合、第2のThよりも大きい第3のThを用いて該画素の輝度を2値化する。即ち、背景画像の輪郭線が位置する座標で閾値の値を大きくすることで、輪郭線の検出感度を低くしている。これによって、差分画像から、背景画像の輪郭線を除いた輪郭線を抽出できるようにしている。また、差分画像輪郭線抽出部15は、背景画像のふちを除いたすべての画素で、Δ(x,y)を求めるとともに、閾値処理を行う。さらに、差分画像輪郭線抽出部15は、抽出した輪郭線の画像データを占有領域算出部16に入力する。
占有領域算出部16は、差分画像輪郭線抽出部15によって抽出された輪郭線から、検出対象が占める領域を求める(図7参照)。具体的には、占有領域算出部16は、図6に示す輪郭線周辺を検出対象が占有する領域であるとして、当該領域の輝度を白色の値とするとともに、該輪郭線で囲まれた領域を検出対象が占有する領域であるとして、当該領域の輝度を白色の値とすることで、図7の画像データを作成する。即ち、占有領域算出部16は、図6に示す輪郭線、及び該輪郭線の近傍を検出対象が占有する領域とする。これは、かご内に進入する検出対象の形状が複雑であり、輪郭線の近傍を検出対象が占有しているとの仮定に基づいて行っている。さらに、占有領域算出部16は、監視領域に含まれる所定領域で、輝度値が白色である画素の数(以下、COUNT_WHITEと表記する)をカウントする。この所定領域とは、例えば管理者によって設定された一部の領域や、監視領域全体等である。
また、占有領域算出部16は、検出対象が所定領域で占める領域の割合(以下、Ratioと表記する)を以下の式に基づいて求める。
Ratio=COUNT_WHITE/所定領域内の全画素数
さらに、占有領域算出部16は、0%≦Ratio<20%である場合、かご内にスペースが十分残っている旨を示す物体検出信号を作成する。また、占有領域算出部16は、Ratioの値が20%≦Ratio<50%である場合、かご内にスペースが多少残っている旨を示す物体検出信号を作成する。さらに、占有領域算出部16は、50%≦Ratio≦100%である場合、満員状態を示す物体検出信号を作成する。換言すると、占有領域算出部16は、0%≦Ratio<20%である場合に、所定領域に検出対象が存在していないことを検出し、20%≦Ratioである場合に、所定領域に検出対象が存在していることを検出している。0%≦Ratio<20%である場合に、所定領域に検出対象が存在していないことを検出するようにしているのは、例えば画像の乱れ等の影響を抑えるためである。なお、上記の割合は一例である。
エレベータ制御装置17は、占有領域算出部16からの物体検出信号に基づいてかごの運転を制御する。具体的には、エレベータ制御装置17は、満員状態を示す物体検出信号が占有領域算出部16から入力された場合、乗場からの呼び登録を無効にする。なお、記憶制御部7、背景輪郭線抽出部12、差分画像輪郭線抽出部15、及び占有領域算出部16は、プログラム等の情報を格納している情報格納部(ROM及びRAM)と、該情報格納部に格納されている情報に基づいて演算処理を行う演算処理部とを有するコンピュータである。
次に、動作について説明する。図8は、図1の背景輪郭線抽出部12によって行われる背景輪郭線抽出動作を示すフローチャートである。図において、例えば図2に示すような背景画像が背景画像メモリ8によって記憶されると、背景画像の所定座標でΔ(x,y)が算出されるともに(ステップS1)、該Δ(x,y)が第1のThよりも大きいか否か判定されるとともに、この判定結果に基づいて該座標の輝度が白色か黒色のいずれか一方の値にされる(ステップS2)。その次に、背景画像のすべての画素でΔ(x,y)の算出及び閾値処理が完了したか否かが判定され(ステップS3)、完了していないと判定された場合、他の座標でΔ(x,y)の算出及び閾値処理が行われ、完了したと判定された場合、図5に示すような背景画像輪郭線画像データが背景輪郭線メモリ13に記憶されて、この背景輪郭線抽出動作が終了される。
次に、図9は、図1の差分画像輪郭線抽出部15によって行われる差分画像輪郭線抽出動作を示すフローチャートである。図において、例えば図3に示すような現画像が現画像メモリ9によって記憶されると、該現画像と、例えば図2に示すような画像データ、即ち背景画像メモリ8に格納されている背景画像とから差分画像が求められる(ステップS11)。その次に、差分画像の所定座標でΔ(x,y)が算出されるとともに(ステップS12)、例えば図5に示すような画像データ、即ち背景輪郭線メモリ13に格納されている背景画像輪郭線画像データに基づいて、該画素の座標が、背景画像の輪郭線が位置する座標であるか否かが判定される(ステップS13)。
このとき、背景画像の輪郭線が位置しない座標であると判定された場合、閾値処理に用いられる閾値として第2のThが選択されるとともに(ステップS14)、第2のThを用いての閾値処理が行われる(ステップS15)。これに対して、背景画像の輪郭線が位置する座標であると判定された場合、閾値処理に用いられる閾値として、第2のThよりも大きい第3のThが選択されるとともに(ステップS16)、第3のThを用いての閾値処理が行われる。その次に、差分画像のすべての画素でΔ(x,y)の算出及び閾値処理が完了したか否かが判定され(ステップS17)、完了していないと判定された場合、他の座標でΔ(x,y)の算出及び閾値処理が行われ、完了したと判定された場合、図6に示すような差分画像輪郭線画像データが占有領域算出部16に入力されて、この差分画像抽出動作が終了される。
次に、図10は、図1の占有領域算出部16によって行われる占有領域算出動作を示すフローチャートである。図において、図6に示すような差分画像輪郭線画像データが差分画像輪郭線抽出部15から入力されると、該輪郭線周辺の画素の輝度値が白色の値に変換されるとともに(ステップS21)、拡張された輪郭線で囲まれている領域の画素の輝度値が白色の値に変換され、図7に示すような画像データが得られる(ステップS22)。その次に、COUNT_WHITEがカウントされるとともに(ステップS23)、Ratioが算出され(ステップS24)、該Ratioの値に基づいて物体検出信号が作成されるとともに、該物体検出信号がエレベータ制御装置17に入力される(ステップS25)。
なお、これまで現画像と背景画像とから差分画像が求められた上で、背景画像の輪郭線を除く輪郭線が差分画像から抽出されるように説明してきたが、図1の物体検出手段3を図11に示す物体検出手段18に代えることで、差分画像を求めることなく、現画像から背景画像の輪郭線を除く輪郭線を抽出することもできる。物体検出手段18の現画像輪郭線抽出部19は、差分画像を求めることを除けば、図1の差分画像輪郭線抽出部15と同様の動作で現画像から背景画像の輪郭線を除く輪郭線を抽出する。即ち、差分画像を求めることなく、現画像から背景画像の輪郭線を除く輪郭線を抽出することでも、監視領域における検出対象の有無を検出できる。
このような物体検出装置では、物体検出手段3,18は、差分画像又は現画像から背景画像の輪郭線を除く輪郭線が抽出できるか否かに基づいて、監視領域における検出対象の有無を検出するので、明るさを検出するためのセンサを不要にすることで製造コストを抑えることができるとともに、背景画像の更新を不要にすることで検出不能期間を無くすことができる。特に、物体検出手段3は、現画像と背景画像との差分画像を求めた上で、該差分画像から背景画像の輪郭線を除く輪郭線が抽出できるか否かに基づいて、監視領域における検出対象の有無を検出するので、背景画像の輪郭線を検出対象の輪郭線として抽出する可能性をより確実に低減でき、検出精度を向上させることができる。
また、物体検出手段3,18は、差分画像又は現画像の所定座標の画素で輪郭線を抽出する際に、該画素の座標が背景画像で輪郭線が位置する座標であるか否かを背景画像の輪郭線情報に基づいて判定し、背景画像で輪郭線が位置する座標であると判定した場合、輪郭線の検出感度を下げた上で、該画素で輪郭線を抽出するので、より確実に差分画像又は現画像から背景画像の輪郭線を除く輪郭線が抽出でき、検出対象の検出精度を向上させることができる。
さらに、物体検出手段3,18は、監視領域における検出対象の有無を検出するとともに、抽出した輪郭線に基づいて、検出対象が所定領域で占める領域の割合を求めるので、検出対象の有無だけでなく、検出対象がどの程度存在しているかを検出でき、検出精度を向上させることができる。特に、従来のエレベータ装置の場合、かご内の荷重に基づいて、かご内に乗り込み余地が残っているか否かを判定しているが、例えばショッピングカート等、重量が軽いのにも拘わらず多くの領域を占める物がかご内に存在している場合、かご内に乗り込み余地が残っているか否かを正確に判定できない。これに対して、実施の形態1の物体検出装置では、そのような物がかご内に存在している場合でも、かご内に乗り込み余地が残っているか否かをより正確に判定できる。即ち、この発明はエレベータ装置に対して特に有効である。
さらにまた、物体検出手段3は、抽出した輪郭線、及び該輪郭線の近傍の領域を検出対象が占める領域の画素として、所定領域で該検出対象が占める領域の画素数が、所定領域のすべての画素数に占める割合を求めることで、検出対象が所定領域で占める領域の割合を求めるので、検出対象が監視領域で占める領域の割合をより確実に求めることができ、検出対象の検出精度をより向上させることができる。
実施の形態2.
実施の形態2の物体検出装置の構成は、実施の形態1の物体検出装置と全体として同じであるので、図1を用いて説明する。この実施の形態2の背景輪郭線抽出部12は、複数画素を平均化することで背景画像を複数のブロックB(i,j)に分割する。また、背景輪郭線抽出部12は、該ブロックB(i,j)の輝度変化値Δ(i,j)を算出するとともに、第1のThを用いて閾値処理を行うことで、ブロック毎に輪郭線を抽出する。即ち、背景輪郭線メモリ13は、図5の輪郭線の画像データよりも粗い画像データを記憶する。
差分画像輪郭線抽出部15は、例えば図2に示すような画像データ、即ち背景画像メモリ8に格納されている背景画像と、例えば図3に示すような画像データ、即ち現画像メモリ9に格納されている現画像とから差分画像を求める。差分画像輪郭線抽出部15は、複数画素を平均化することで差分画像を複数のブロックB(i,j)に分割する。また、差分画像輪郭線抽出部15は、該ブロックB(i,j)の輝度変化値Δ(i,j)を算出する。さらに、差分画像輪郭線抽出部15は、現画像の所定座標のブロックで輪郭線を抽出する際に、該ブロックの座標が、背景画像で輪郭線が位置する座標であるか否か判定し、背景画像で輪郭線が位置する座標であると判定した場合、輪郭線の検出感度を下げた上で、該ブロックで輪郭線を抽出する。即ち、差分画像輪郭線抽出部15は、Δ(i,j)が第2又は第3のTh以下である場合、該ブロックを輪郭線が無いブロックとする。また、差分画像輪郭線抽出部15は、Δ(i,j)が第2又は第3のThよりも大きい場合、該ブロックを輪郭線が有るブロックとする。
占有領域算出部16は、差分画像輪郭線抽出部15が各ブロックでの輪郭線の有無を判定した後に、輪郭線が抽出できたブロック数(以下、COUNT_EDGEと表記する)を所定領域でカウントする。また、占有領域算出部16は、検出対象が所定領域で占める領域の割合であるRatioを以下の式に基づいて求める。その他の構成は、実施の形態1と同様である。
Ratio=COUNT_EDGE÷所定領域内のブロック数
次に、動作について説明する。図12は、実施の形態2の背景輪郭線抽出部12によって行われる背景輪郭線抽出動作を示すフローチャートである。図において、例えば図2に示すような背景画像が背景画像メモリ8によって記憶されると、複数画素が平均化されることで該背景画像が複数のブロックに分割され(ステップS30)、所定座標のΔ(i,j)が算出されるとともに(ステップS31)、Δ(i,j)が第1のThよりも大きいか否か判定され、この判定結果に基づいて該座標の輝度が白色か黒色のいずれか一方の値にされる(ステップS32)。その次に、背景画像のすべてのブロックでΔ(i,j)の算出及び閾値処理が完了したか否かが判定され(ステップS33)、完了していないと判定された場合、他の座標でΔ(i,j)の算出及び閾値処理が行われ、完了したと判定された場合、図5に示すものよりも粗い背景画像輪郭線画像データが背景輪郭線メモリ13に記憶されて、この背景輪郭線抽出動作が終了される。
次に、図13は、実施の形態2の差分画像輪郭線抽出部15によって行われる差分画像輪郭線抽出動作を示すフローチャートである。図において、例えば図3に示すような現画像が現画像メモリ9によって記憶されると、該現画像と、例えば図2に示すような背景画像とから差分画像が求められるとともに(ステップS11)、複数画素が平均化されることで差分画像が複数のブロックに分割される(ステップS40)。その次に、差分画像の所定座標のΔ(i,j)が算出されるとともに(ステップS41)、背景輪郭線メモリ13に格納された背景画像輪郭線画像データに基づいて、該ブロックの座標が、背景画像の輪郭線が位置する座標であるか否かが判定される(ステップS42)。
このとき、背景画像の輪郭線が位置しない座標であると判定された場合、閾値処理に用いられる閾値として第2のThが選択されるとともに(ステップS14)、第2のThを用いての該ブロックの閾値処理が行われる(ステップS43)。これに対して、背景画像の輪郭線が位置する座標であると判定された場合、閾値処理に用いられる閾値として、第2のThよりも大きい第3のThが選択されるとともに(ステップS16)、第3のThを用いての閾値処理が行われる(ステップS43)。その次に、差分画像のすべてのブロックでΔ(i,j)の算出及び閾値処理が完了したか否かが判定され(ステップS44)、完了していないと判定された場合、他の座標でΔ(i,j)の算出及び閾値処理が行われ、完了したと判定された場合、図6に示すものよりも粗い差分画像輪郭線画像データが占有領域算出部16に入力されて、この差分画像抽出動作が終了される。
次に、図14は、実施の形態2の占有領域算出部16によって行われる占有領域算出動作を示すフローチャートである。図において、図6に示すものよりも粗い差分画像輪郭線画像データが差分画像輪郭線抽出部15から入力されると、COUNT_EDGEがカウントされるとともに(ステップS50)、該COUNT_EDGEに基づいてRatioが算出され(ステップS51)、該Ratioの値に基づいて物体検出信号が作成されるとともに、該物体検出信号がエレベータ制御装置17に入力される(ステップS25)。
なお、図11に示す物体検出手段18の現画像輪郭線抽出部19が、差分画像を求めることを除いて実施の形態2の差分画像輪郭線抽出部15と同様の動作を行って、現画像から背景画像の輪郭線を除く輪郭線を抽出してもよい。
このような物体検出装置では、物体検出手段3,18は、複数画素がまとめられたブロック毎に輝度変化値を算出するとともに閾値処理を行うので、画素毎に輝度変化値を算出するとともに閾値処理を行う場合に比べて演算量を減らすことができ、演算負荷を低減できる。
また、物体検出手段3,18は、輪郭線が抽出できたブロック数を所定領域でカウントするとともに、該輪郭線が抽出できたブロック数が所定領域のすべてのブロック数に占める割合を求めることで、検出対象が所定領域で占める領域の割合を求めるので、画素をカウントする場合比べて演算量を減らすことができ、演算負荷を低減できる。
実施の形態3.
図15は、この発明の実施の形態3によるエレベータの物体検出装置を示す構成図である。図において、この実施の形態の物体検出装置には、背景輪郭線情報抽出手段25と、物体検出手段26とが設けられている。背景輪郭線情報抽出手段25には、背景輪郭量算出部30と、背景輪郭量メモリ31とが設けられている。
この実施の形態の背景輪郭線抽出部12は、実施の形態1と同様に、背景画像の画素毎に輪郭線を抽出し、図5に示すような背景画像輪郭線画像データを背景輪郭線メモリ13に記憶させる。背景輪郭量算出部30は、背景輪郭線メモリ13の背景画像輪郭線画像データを取得して、該複数画素をまとめることで輪郭画像を複数のブロックB(i,j)に分割する。なお、この実施の形態では、複数画素は平均化されない。また、背景輪郭量算出部30は、各ブロックB(i,j)で輪郭線の画素が占めている割合BE(i,j)を算出する。背景輪郭量メモリ31は、BE(i,j)を記憶する。
物体検出手段26には、差分画像輪郭線抽出部33が設けられている。差分画像輪郭線抽出部33は、複数画素をまとめることで、求めた差分画像を複数のブロックB(i,j)に分割する。また、差分画像輪郭線抽出部33は、ブロックB(i,j)内の各画素のΔ(x,y)を算出する。さらに、差分画像輪郭線抽出部33は、該ブロックB(i,j)内のΔ(x,y)の総和であるΣ(i,j)を算出するとともに、以下の式で表せる第4の閾値(以下、第4のThと表記する)を用いて閾値処理を行う。但し、αは予め設定される定数である。
第4のTh=α×BE(i,j)
即ち、差分画像輪郭線抽出部33は、現画像の所定座標のブロックで輪郭線を抽出する際に、該ブロックと同じ座標の背景画像のブロックで輪郭線が占める割合に応じた検出感度を用いて、該ブロックで輪郭線を抽出する。差分画像輪郭線抽出部33は、Σ(i,j)が第4のTh以下である場合、該ブロックを輪郭線が無いブロックとする。また、差分画像輪郭線抽出部33は、Σ(i,j)が第4のThよりも大きい場合、該ブロックを輪郭線が有るブロックとする。
次に、動作について説明する。図16は、図15の差分画像輪郭線抽出部33によって行われる差分画像抽出動作を示すフローチャートである。図において、例えば図3に示すような現画像が現画像メモリ9によって記憶されると、該現画像と、例えば図2に示すような画像データ、即ち背景画像メモリ8に格納されている背景画像とから差分画像が求められる(ステップS11)。その次に、複数画素がまとめられることで該差分画像が複数のブロックに分割され(ステップS60)、所定座標のブロックにおいて所定座標のΔ(x,y)が算出されるとともに(ステップS12)、該画素が含まれるブロックで各画素のΔ(x,y)が算出されたか否かが判定される(ステップS61)。該ブロック内のすべての画素でΔ(x,y)が算出されていないと判定された場合、すべての画素でΔ(x,y)が算出されるまで、Δ(x,y)が順次算出される。
これに対して、該ブロック内のすべての画素でΔ(x,y)が算出されたと判定された場合、算出されたΔ(x,y)に基づいてΣ(i,j)が求められるとともに(ステップS62)、該ブロックの座標に基づいて第4のThが決定され(ステップS63)、閾値処理が行われる(ステップS64)。その次に、すべてのブロックで閾値処理が完了したか否かが判定され(ステップS65)、完了していないと判定された場合、他の座標のブロックでΔ(x,y)の算出及び閾値処理が行われ、完了したと判定された場合、図6のものよりも粗い差分画像輪郭線画像データが占有領域算出部16に入力されて、この差分画像抽出動作が終了される。
なお、図17に示す物体検出手段35の現画像輪郭線抽出部36が、差分画像を求めることを除いて実施の形態3の差分画像輪郭線抽出部33と同様の動作を行って、現画像から背景画像の輪郭線を除く輪郭線を抽出してもよい。
このような物体検出装置では、背景輪郭線情報抽出手段25は、背景画像の各ブロックでの輪郭線の割合BE(i,j)を算出し、物体検出手段26,35は、差分画像又は現画像の所定座標のブロックで輪郭線を抽出する際に、該ブロックと同じ座標のBE(i,j)に基づいて第4のThを決定し、該第4のThを用いて該ブロックで輪郭線を抽出するので、画素毎に閾値処理を行う場合に比べて演算量を減らすことができ、演算負荷を低減できる。
なお、実施の形態1〜3では、監視領域をエレベータのかご内として説明したが、監視領域としては、例えばエレベータの乗場等でもよい。かご内と各階の乗場とを監視する物体検出装置を設けた場合、エレベータ制御装置は、かご内の乗り込み余地と、各階の乗り込み予想容積とを比較して、乗場の待っているすべての利用者が、かご内に乗り込むことができる階のみにかごを着床させることができる。

Claims (8)

  1. 撮影部で撮影された監視領域の検出対象が存在していないときの背景画像と現画像とを取得する画像取得手段と、
    上記背景画像の輪郭線情報を抽出する背景輪郭線情報抽出手段と、
    上記背景画像の輪郭線情報に基づく背景画像の輪郭線を除く輪郭線が上記現画像から抽出できるか否かにより、監視領域における検出対象の有無を検出する物体検出手段と
    を備え、
    上記物体検出手段は、上記現画像の所定座標の画素で輪郭線を抽出する際に、該画素の座標が上記背景画像で輪郭線が位置する座標であるか否かを上記背景画像の輪郭線情報に基づいて判定し、上記背景画像で輪郭線が位置する座標であると判定した場合、輪郭線の検出感度を下げた上で、該画素で輪郭線を抽出することを特徴とする物体検出装置。
  2. 撮影部で撮影された監視領域の検出対象が存在していないときの背景画像と現画像とを取得する画像取得手段と、
    上記背景画像の輪郭線情報を抽出する背景輪郭線情報抽出手段と、
    上記背景画像の輪郭線情報に基づく背景画像の輪郭線を除く輪郭線が上記現画像から抽出できるか否かにより、監視領域における検出対象の有無を検出する物体検出手段と
    を備え、
    上記背景輪郭線情報抽出手段は、複数画素を平均化することで上記背景画像を複数のブロックに分割した上で、該背景画像の輪郭線情報を抽出し、
    上記物体検出手段は、複数画素を平均化することで上記現画像を複数のブロックに分割するとともに、上記現画像の所定座標のブロックで輪郭線を抽出する際に、該ブロックの座標が上記背景画像で輪郭線が位置する座標であるか否かを上記背景画像の輪郭線情報に基づいて判定し、上記背景画像で輪郭線が位置する座標であると判定した場合、輪郭線の検出感度を下げた上で、該ブロックで輪郭線を抽出することを特徴とする物体検出装置。
  3. 撮影部で撮影された監視領域の検出対象が存在していないときの背景画像と現画像とを取得する画像取得手段と、
    上記背景画像の輪郭線情報を抽出する背景輪郭線情報抽出手段と、
    上記背景画像の輪郭線情報に基づく背景画像の輪郭線を除く輪郭線が上記現画像から抽出できるか否かにより、監視領域における検出対象の有無を検出する物体検出手段と
    を備え、
    上記背景輪郭線情報抽出手段は、複数画素をまとめることで上記背景画像を複数のブロックに分割するとともに、該各ブロックで輪郭線が占める割合を算出し、
    上記物体検出手段は、複数画素をまとめることで上記背景画像を複数のブロックに分割するとともに、上記現画像の所定座標のブロックで輪郭線を抽出する際に、該ブロックと同じ座標の上記背景画像のブロックで輪郭線が占める割合に基づいて輪郭線の検出感度を決定し、該検出感度を用いて該ブロックで輪郭線が抽出できるか否かを判定することを特徴とする物体検出装置。
  4. 上記物体検出手段は、監視領域における検出対象の有無を検出するとともに、抽出した輪郭線に基づいて、監視領域に含まれる所定領域で検出対象が占める領域の割合を求めることを特徴とする請求項1から請求項3までのいずれか1項に記載の物体検出装置。
  5. 上記物体検出手段は、抽出した輪郭線、及び該輪郭線の近傍の領域を検出対象が占める領域の画素として、上記所定領域で該検出対象が占める領域の画素数が、上記所定領域のすべての画素数に占める割合を求めることで、検出対象が所定領域で占める領域の割合を求めることを特徴とする請求項4記載の物体検出装置。
  6. 上記物体検出手段は、上記現画像を複数のブロックに分割し、上記背景画像の輪郭線を除く輪郭線が抽出できたブロック数を上記所定領域でカウントするとともに、該輪郭線が抽出できたブロック数が上記所定領域のすべてのブロック数に占める割合を求めることで、検出対象が上記所定領域で占める領域の割合を求めることを特徴とする請求項4記載の物体検出装置。
  7. 上記物体検出手段は、上記現画像と上記背景画像との差分画像を求めた上で、上記背景画像の輪郭線情報に基づく背景画像の輪郭線を除く輪郭線が上記差分画像から抽出できるか否かにより、監視領域における検出対象の有無を検出することを特徴とする請求項1から請求項3までのいずれか1項に記載の物体検出手段。
  8. 請求項1から請求項7までのいずれか1項に記載の物体検出装置を、エレベータのかご内を監視領域として、上記かご内における検出対象の有無を検出する装置に適用したことを特徴とするエレベータの物体検出装置。
JP2006520601A 2006-04-26 2006-04-26 物体検出装置及びエレベータの物体検出装置 Active JP4672658B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2006/308718 WO2007129374A1 (ja) 2006-04-26 2006-04-26 物体検出装置及びエレベータの物体検出装置

Publications (2)

Publication Number Publication Date
JPWO2007129374A1 JPWO2007129374A1 (ja) 2009-09-17
JP4672658B2 true JP4672658B2 (ja) 2011-04-20

Family

ID=38667496

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006520601A Active JP4672658B2 (ja) 2006-04-26 2006-04-26 物体検出装置及びエレベータの物体検出装置

Country Status (6)

Country Link
US (1) US8103105B2 (ja)
EP (1) EP2012273B1 (ja)
JP (1) JP4672658B2 (ja)
KR (1) KR100936108B1 (ja)
CN (1) CN101233541B (ja)
WO (1) WO2007129374A1 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9053530B2 (en) * 2006-11-27 2015-06-09 Google Inc. Method for sliced inpainting
WO2009031376A1 (ja) * 2007-09-04 2009-03-12 Mitsubishi Electric Corporation 利用者検出方法及び装置、並びに制御方法
US8744193B2 (en) * 2009-03-13 2014-06-03 Nec Corporation Image signature extraction device
US8925689B2 (en) 2011-01-19 2015-01-06 Smart Lifts, Llc System having a plurality of elevator cabs and counterweights that move independently in different sections of a hoistway
US9365392B2 (en) 2011-01-19 2016-06-14 Smart Lifts, Llc System having multiple cabs in an elevator shaft and control method thereof
US8430210B2 (en) 2011-01-19 2013-04-30 Smart Lifts, Llc System having multiple cabs in an elevator shaft
US20150103090A1 (en) * 2013-10-14 2015-04-16 Apple Inc. Keyer tool
US10074224B2 (en) 2015-04-20 2018-09-11 Gate Labs Inc. Access management system
JP2017050830A (ja) * 2015-09-04 2017-03-09 パナソニックIpマネジメント株式会社 照明装置、照明システム、及びプログラム
EP3379509A4 (en) * 2015-11-20 2019-10-30 Fujitsu Limited DEVICE, METHOD AND PICTURE PROCESSING DEVICE FOR SMOKE DETECTION
US9822553B1 (en) 2016-11-23 2017-11-21 Gate Labs Inc. Door tracking system and method
CN108319952B (zh) * 2017-01-16 2021-02-02 浙江宇视科技有限公司 一种车辆特征提取方法及装置
JP6722408B2 (ja) * 2017-02-02 2020-07-15 フジテック株式会社 エレベータの利用者サポートシステム
JP6763363B2 (ja) * 2017-12-18 2020-09-30 フジテック株式会社 エレベータ装置の表示装置
DE112018007171T5 (de) * 2018-03-29 2021-01-28 Mitsubishi Electric Corporation Abnormalitätsinspektionsvorrichtung und abnormalitätsinspektionsverfahren
CN109539980B (zh) * 2018-10-19 2021-02-19 河南辉煌科技股份有限公司 一种基于图像处理的接触线抬升量实时测量方法
CN111353334A (zh) 2018-12-21 2020-06-30 富士通株式会社 烟雾检测方法和装置
JP6886645B2 (ja) * 2019-12-24 2021-06-16 フジテック株式会社 エレベータの利用者サポートシステム
CN112225020B (zh) * 2020-10-22 2022-12-09 日立楼宇技术(广州)有限公司 一种电梯控制方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0869535A (ja) * 1994-08-30 1996-03-12 Nec Corp 背景特徴マスク生成装置および移動物体特徴抽出装置
JPH0944758A (ja) * 1995-07-26 1997-02-14 Toshiba Corp 異常状態検出方法および異常状態検出装置
JPH0962842A (ja) * 1995-08-21 1997-03-07 Fujitsu General Ltd 駐車場管理システム
JPH10313455A (ja) * 1997-05-12 1998-11-24 Mitsubishi Electric Corp 監視画像記録装置およびその再生装置
JP2003324726A (ja) * 2002-05-07 2003-11-14 Itochu Corp 監視カメラを用いた物体検出装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3679512B2 (ja) * 1996-07-05 2005-08-03 キヤノン株式会社 画像抽出装置および方法
US6453069B1 (en) * 1996-11-20 2002-09-17 Canon Kabushiki Kaisha Method of extracting image from input image using reference image
US6366699B1 (en) * 1997-12-04 2002-04-02 Nippon Telegraph And Telephone Corporation Scheme for extractions and recognitions of telop characters from video data
JPH11261994A (ja) 1998-03-11 1999-09-24 Mitsubishi Electric Corp 物体検出装置及びエレベーターの利用客数検出装置
JP2001058765A (ja) * 1999-08-20 2001-03-06 Mitsubishi Electric Corp 画像監視装置及び画像監視方法
US6731799B1 (en) * 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
US7274820B2 (en) * 2001-09-26 2007-09-25 Kabushiki Kaisha Toshiba Pattern evaluation system, pattern evaluation method and program
US7596265B2 (en) * 2004-09-23 2009-09-29 Hewlett-Packard Development Company, L.P. Segmenting pixels in an image based on orientation-dependent adaptive thresholds
US7454053B2 (en) * 2004-10-29 2008-11-18 Mitutoyo Corporation System and method for automatically recovering video tools in a vision system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0869535A (ja) * 1994-08-30 1996-03-12 Nec Corp 背景特徴マスク生成装置および移動物体特徴抽出装置
JPH0944758A (ja) * 1995-07-26 1997-02-14 Toshiba Corp 異常状態検出方法および異常状態検出装置
JPH0962842A (ja) * 1995-08-21 1997-03-07 Fujitsu General Ltd 駐車場管理システム
JPH10313455A (ja) * 1997-05-12 1998-11-24 Mitsubishi Electric Corp 監視画像記録装置およびその再生装置
JP2003324726A (ja) * 2002-05-07 2003-11-14 Itochu Corp 監視カメラを用いた物体検出装置

Also Published As

Publication number Publication date
EP2012273A1 (en) 2009-01-07
EP2012273A8 (en) 2009-04-15
CN101233541B (zh) 2012-05-02
CN101233541A (zh) 2008-07-30
EP2012273B1 (en) 2019-05-29
KR100936108B1 (ko) 2010-01-11
JPWO2007129374A1 (ja) 2009-09-17
US8103105B2 (en) 2012-01-24
WO2007129374A1 (ja) 2007-11-15
US20090226092A1 (en) 2009-09-10
KR20080022189A (ko) 2008-03-10
EP2012273A4 (en) 2017-05-10

Similar Documents

Publication Publication Date Title
JP4672658B2 (ja) 物体検出装置及びエレベータの物体検出装置
US6110123A (en) Region-of-interest setting apparatus for respiration monitoring and a respiration monitoring system
KR101114586B1 (ko) 불량 화소 제거 장치 및 방법
JP5932521B2 (ja) エレベータ監視装置及び監視方法
JP2001302121A (ja) エレベータ装置
CN109879130B (zh) 影像检测系统
JP6731645B2 (ja) 画像監視装置、画像監視方法および画像監視プログラム
JP2007300531A (ja) 物体検出装置
JP5060264B2 (ja) 人物検出装置
US20210088456A1 (en) Deposit detection device and deposit detection method
EP2247112B1 (en) Image processing device and image processing program
JP2599701B2 (ja) エレベータの待機乗客数の検出方法
JP6274876B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5142416B2 (ja) 物体検出装置
JP4853657B2 (ja) 画像処理装置
US20200304739A1 (en) Image processing device, image processing method and storage medium
JP6591349B2 (ja) 動体検知システム及び動体検知方法
JPH04111079A (ja) 移動体識別装置
KR101567366B1 (ko) 얼굴을 검출하여 마스킹 하는 장치 및 방법
JP2007257316A (ja) 物体計数装置
JPH09259370A (ja) 火災検出装置
JPH07296166A (ja) 混雑度検出装置
WO2024214617A1 (ja) 監視方法、監視装置及びコンピュータ記憶媒体
KR100769561B1 (ko) 노이즈 제거에 사용되는 임계값 결정 장치 및 방법
JP2003323621A (ja) 画像処理装置、画像処理装置のはみ出し検知方法およびプログラム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101005

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101117

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110118

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110119

R150 Certificate of patent or registration of utility model

Ref document number: 4672658

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140128

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250