JP6780639B2 - 画像解析装置、画像解析方法、及び、画像解析プログラム - Google Patents
画像解析装置、画像解析方法、及び、画像解析プログラム Download PDFInfo
- Publication number
- JP6780639B2 JP6780639B2 JP2017517619A JP2017517619A JP6780639B2 JP 6780639 B2 JP6780639 B2 JP 6780639B2 JP 2017517619 A JP2017517619 A JP 2017517619A JP 2017517619 A JP2017517619 A JP 2017517619A JP 6780639 B2 JP6780639 B2 JP 6780639B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- captured
- captured image
- background
- target object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010191 image analysis Methods 0.000 title claims description 88
- 238000003703 image analysis method Methods 0.000 title claims description 6
- 238000000034 method Methods 0.000 claims description 119
- 230000008569 process Effects 0.000 claims description 90
- 238000011410 subtraction method Methods 0.000 claims description 44
- 238000001514 detection method Methods 0.000 claims description 26
- 238000002372 labelling Methods 0.000 claims description 23
- 238000004458 analytical method Methods 0.000 claims description 7
- 238000003384 imaging method Methods 0.000 claims description 4
- 238000012544 monitoring process Methods 0.000 description 20
- 238000012545 processing Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 17
- 239000006185 dispersion Substances 0.000 description 10
- 230000008859 change Effects 0.000 description 9
- 230000010365 information processing Effects 0.000 description 6
- 239000000284 extract Substances 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000015654 memory Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000000630 rising effect Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241001290864 Schoenoplectus Species 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
- G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
- G08B25/04—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using a single signalling line, e.g. in a closed loop
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Emergency Alarm Devices (AREA)
- Alarm Systems (AREA)
Description
まず、図1を用いて、本発明が適用される場面について説明する。図1は、本実施形態に係る画像解析装置1が用いられる場面を模式的に例示する。本実施形態に係る画像解析装置1は、カメラ2によって見守り対象者を撮影し、それにより得られた撮影画像3から見守り対象者を検出することで、当該見守り対象者を見守る情報処理装置である。そのため、本実施形態に係る画像解析装置1は、見守り対象者の見守りを行う場面で広く利用可能である。
<ハードウェア構成>
次に、図2を用いて、画像解析装置1のハードウェア構成を説明する。図2は、本実施形態に係る画像解析装置1のハードウェア構成を例示する。画像解析装置1は、図2に例示されるように、CPU、RAM(Random Access Memory)、ROM(Read Only Memory)等を含む制御部11、制御部11で実行するプログラム5等を記憶する記憶部12、画像の表示と入力を行うためのタッチパネルディスプレイ13、音声を出力するためのスピーカ14、外部装置と接続するための外部インタフェース15、ネットワークを介して通信を行うための通信インタフェース16、及び記憶媒体6に記憶されたプログラムを読み込むためのドライブ17が電気的に接続されたコンピュータである。図2では、通信インタフェース及び外部インタフェースは、それぞれ、「通信I/F」及び「外部I/F」と記載されている。
次に、図4を用いて、画像解析装置1の機能構成を説明する。図4は、本実施形態に係る画像解析装置1の機能構成を例示する。本実施形態では、画像解析装置1の制御部11は、記憶部12に記憶されたプログラム5をRAMに展開する。そして、制御部11は、RAMに展開されたプログラム5をCPUにより解釈及び実行して、各構成要素を制御する。これにより、画像解析装置1は、画像取得部111、背景設定部112、検出部113及び背景更新部114を備えるコンピュータとして機能する。
次に、図5を用いて、画像解析装置1の動作例を説明する。図5は、画像解析装置1による背景画像4の設定に関する処理手順を例示する。画像解析装置1の制御部11は、例えば、後述する背景差分法に基づく見守り対象者の検出する処理を開始する際に、本動作例に係る処理手順を実行する。
ステップS101では、制御部11は、画像取得部111として機能し、カメラ2により撮影された撮影画像3を取得する。本実施形態では、上記のとおり、カメラ2は、深度センサ21を備えている。そのため、本ステップS101において取得される撮影画像3には、各画素の深度を示す深度データが含まれている。制御部11は、この深度データを含む撮影画像3として、例えば、図6で例示される撮影画像3を取得する。
図5に戻り、次のステップS102では、制御部11は、背景設定部112として機能し、見守り対象者の検出する処理を開始する際にステップS101で取得された撮影画像3にラベリング処理を適用することで、取得された撮影画像3内で1又は複数の連結成分領域を抽出する。撮影画像3内で1又は複数の連結成分領域を抽出すると、制御部11は、次のステップS103に処理を進める。
図5に戻り、次のステップS103及びステップS104では、制御部11は、背景設定部112として機能し、ステップS102で抽出された1又は複数の連結成分領域が見守り対象者の写っている領域に該当するか否かを解析することで、ステップS101で取得された撮影画像3内に見守り対象者が写っているか否かを判定する。
次のステップS105では、制御部11は、背景設定部112として機能し、ステップS101で取得された撮影画像3内に見守り対象者が写っているとステップS104において判定された場合に、当該撮影画像3内の見守り対象者の写っている領域の各画素の深度を変更する。各画素の深度を変更する方法は、実施の形態に応じて適宜選択可能である。例えば、図10で例示されるように、制御部11は、撮影画像3内の見守り対象者の写っている領域の各画素の深度を変更する。
次のステップS106では、制御部11は、背景設定部112として機能し、ステップS101で取得された撮影画像3を背景画像4に設定する。例えば、制御部11は、RAM又は記憶部12に当該撮影画像3を背景画像4として登録することで、ステップS101で取得された撮影画像3を背景画像4に設定する。すなわち、ステップS102〜S106の処理では、制御部11は、背景設定部112として機能し、見守り対象者を検出する処理を開始する際に取得された撮影画像3を背景画像4に設定する。
(1)見守り対象者の検出
上記動作例により背景画像4が設定されると、画像解析装置1は、背景差分法に基づいて撮影画像3から見守り対象者を検出することが可能になる。そこで、画像解析装置1は、背景画像4を設定した後に取得される撮影画像3に背景差分法を適用することで、当該撮影画像3から見守り対象者を検出する。
また、時間経過によって背景が変化する場合がある。この場合に、背景差分法に基づいて撮影画像3から見守り対象者を引き続き検出しようとすると、見守り対象者とは無関係な前景領域が多く抽出されてしまう。これによって、撮影画像3から見守り対象者を誤検出してしまう可能性が生じうる。そこで、本実施形態では、制御部11は、このような事態に対応すべく、背景更新部114として機能し、上記の見守り対象者を検出する処理を開始した後に、取得された撮影画像3によって背景画像4を更新する。
以上のように、本実施形態に係る画像解析装置1は、ステップS102〜S104において背景画像4に設定する撮影画像3内に見守り対象者が写っているか否かを判定する。そして、背景画像4に設定する撮影画像3内に見守り対象者が写っていると判定される場合には、画像解析装置1は、当該撮影画像3内における見守り対象者の写っている領域の各画素の深度をステップS105の処理で変更する。その上で、画像解析装置1は、ステップS106において、当該撮影画像3を背景画像4に設定する。すなわち、本実施形態に係る画像解析装置1は、背景画像に設定する撮影画像3に見守り対象者が写っている場合には、この見守り対象者の写る領域の各画素の深度を元の値から異なる値に変更する。これによって、当該見守り対象者の写る領域の各画素の深度の指し示す位置は、見守り対象者の表面からずれた位置に変更される。
以上、本発明の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。
2…カメラ、21…深度センサ、
3…撮影画像、4…背景画像、
5…プログラム、6…記憶媒体、
11…制御部、12…記憶部、13…タッチパネルディスプレイ、
14…スピーカ、15…外部インタフェース、16…通信インタフェース、
17…ドライブ、
111…画像取得部、112…背景設定部、113…検出部、
114…背景更新部
Claims (8)
- 撮影装置によって撮影された撮影画像であって、当該撮影画像内の各画素の深度を示す深度データを含む撮影画像を継続的に取得する画像取得部と、
前記撮影画像から対象物体を検出する処理を開始する際に、取得された前記撮影画像を前記撮影画像の背景である背景画像に設定する背景設定部と、
背景差分法に基づいて、前記撮影画像と前記背景画像との差分を算出することで、前記撮影画像から前記対象物体を検出する検出部と、
を備え、
前記背景設定部は、
前記対象物体を検出する処理を開始する際に取得された前記撮影画像にラベリング処理を適用することで、取得された前記撮影画像内で1又は複数の連結成分領域を抽出し、抽出された1又は複数の連結成分領域が前記対象物体の写っている領域に該当するか否かを解析することで、前記対象物体を検出する処理を開始する際に取得された前記撮影画像内に前記対象物体が写っているか否かを判定し、
取得された前記撮影画像内に前記対象物体が写っていると判定した場合に、取得された前記撮影画像内において前記対象物体の写っている領域の各画素の深度を変更した上で、取得された前記撮影画像を前記背景画像に設定する、
画像解析装置。 - 撮影装置によって撮影された撮影画像であって、当該撮影画像内の各画素の深度を示す深度データを含む撮影画像を継続的に取得する画像取得部と、
前記撮影画像から対象物体を検出する処理を開始する際に、取得された前記撮影画像を前記撮影画像の背景である背景画像に設定する背景設定部と、
背景差分法に基づいて、前記撮影画像と前記背景画像との差分を算出することで、前記撮影画像から前記対象物体を検出する検出部と、
を備え、
前記検出部は、前記対象物体として見守り対象者を前記撮影画像から検出し、
前記背景設定部は、
所定の画像解析によって、前記対象物体を検出する処理を開始する際に取得された前記撮影画像内に前記対象物体として前記見守り対象者が写っているか否かを判定し、
取得された前記撮影画像内に前記見守り対象者が写っていると判定した場合に、当該見守り対象者が所定の状態にあるか否かを更に判定し、
当該見守り対象者が当該所定の状態にあると判定した場合に、取得された前記撮影画像内において当該見守り対象者の写っている領域の各画素の深度を変更した上で、取得された前記撮影画像を前記背景画像に設定する、
画像解析装置。 - 前記背景設定部は、取得された前記撮影画像内に前記対象物体が写っていると判定した場合に、取得された前記撮影画像内において前記対象物体の写っている領域の各画素の深度を、当該深度の元の値が示す位置よりも前記撮影装置からみて所定の距離だけ後方の位置を示すように変更した上で、取得された前記撮影画像を前記背景画像に設定する、
請求項1又は2に記載の画像解析装置。 - 前記対象物体を検出する処理を開始した後に、取得された前記撮影画像により前記背景画像を更新する背景更新部を更に備え、
前記背景更新部は、取得された前記撮影画像から前記対象物体が検出された場合に、前記対象物体の写っている領域を除いて、取得された前記撮影画像に前記背景画像を置き換えることで、前記背景画像を更新する、
請求項1から3のいずれか1項に記載の画像解析装置。 - コンピュータが、
撮影装置によって撮影された撮影画像であって、当該撮影画像内の各画素の深度を示す深度データを含む撮影画像を継続的に取得するステップと、
前記撮影画像から対象物体を検出する処理を開始する際に、取得された前記撮影画像を前記撮影画像の背景である背景画像に設定するステップと、
背景差分法に基づいて、前記撮影画像と前記背景画像との差分を算出することで、前記撮影画像から前記対象物体を検出するステップと、
を実行し、
前記背景画像を設定するステップでは、前記コンピュータが、
前記対象物体を検出する処理を開始する際に取得された前記撮影画像にラベリング処理を適用することで、取得された前記撮影画像内で1又は複数の連結成分領域を抽出し、抽出された1又は複数の連結成分領域が前記対象物体の写っている領域に該当するか否かを解析することで、前記対象物体を検出する処理を開始する際に取得された前記撮影画像内に前記対象物体が写っているか否かを判定し、
取得された前記撮影画像内に前記対象物体が写っていると判定した場合に、取得された前記撮影画像内において前記対象物体の写っている領域の各画素の深度を変更した上で、取得された前記撮影画像を前記背景画像に設定する、
画像解析方法。 - コンピュータが、
撮影装置によって撮影された撮影画像であって、当該撮影画像内の各画素の深度を示す深度データを含む撮影画像を継続的に取得するステップと、
前記撮影画像から対象物体を検出する処理を開始する際に、取得された前記撮影画像を前記撮影画像の背景である背景画像に設定するステップと、
背景差分法に基づいて、前記撮影画像と前記背景画像との差分を算出することで、前記撮影画像から前記対象物体を検出するステップと、
を実行し、
前記検出するステップでは、前記コンピュータが、前記対象物体として見守り対象者を前記撮影画像から検出し、
前記背景画像を設定するステップでは、前記コンピュータが、
所定の画像解析によって、前記対象物体を検出する処理を開始する際に取得された前記撮影画像内に前記対象物体として前記見守り対象者が写っているか否かを判定し、
取得された前記撮影画像内に前記見守り対象者が写っていると判定した場合に、当該見守り対象者が所定の状態にあるか否かを更に判定し、
当該見守り対象者が当該所定の状態にあると判定した場合に、取得された前記撮影画像内において当該見守り対象者の写っている領域の各画素の深度を変更した上で、取得された前記撮影画像を前記背景画像に設定する、
画像解析方法。 - コンピュータに、
撮影装置によって撮影された撮影画像であって、当該撮影画像内の各画素の深度を示す深度データを含む撮影画像を継続的に取得するステップと、
前記撮影画像から対象物体を検出する処理を開始する際に、取得された前記撮影画像を前記撮影画像の背景である背景画像に設定するステップと、
背景差分法に基づいて、前記撮影画像と前記背景画像との差分を算出することで、前記撮影画像から前記対象物体を検出するステップと、
を実行させ、
前記背景画像を設定するステップでは、前記コンピュータに、
前記対象物体を検出する処理を開始する際に取得された前記撮影画像にラベリング処理を適用することで、取得された前記撮影画像内で1又は複数の連結成分領域を抽出し、抽出された1又は複数の連結成分領域が前記対象物体の写っている領域に該当するか否かを解析することで、前記対象物体を検出する処理を開始する際に取得された前記撮影画像内に前記対象物体が写っているか否かを判定させ、
取得された前記撮影画像内に前記対象物体が写っていると判定した場合に、取得された前記撮影画像内において前記対象物体の写っている領域の各画素の深度を変更した上で、取得された前記撮影画像を前記背景画像に設定させる、
ための画像解析プログラム。 - コンピュータに、
撮影装置によって撮影された撮影画像であって、当該撮影画像内の各画素の深度を示す深度データを含む撮影画像を継続的に取得するステップと、
前記撮影画像から対象物体を検出する処理を開始する際に、取得された前記撮影画像を前記撮影画像の背景である背景画像に設定するステップと、
背景差分法に基づいて、前記撮影画像と前記背景画像との差分を算出することで、前記撮影画像から前記対象物体を検出するステップと、
を実行させ、
前記検出するステップでは、前記コンピュータに、前記対象物体として見守り対象者を前記撮影画像から検出させ、
前記背景画像を設定するステップでは、前記コンピュータに、
所定の画像解析によって、前記対象物体を検出する処理を開始する際に取得された前記撮影画像内に前記対象物体として前記見守り対象者が写っているか否かを判定させ、
取得された前記撮影画像内に前記見守り対象者が写っていると判定した場合に、当該見守り対象者が所定の状態にあるか否かを更に判定させ、
当該見守り対象者が当該所定の状態にあると判定した場合に、取得された前記撮影画像内において当該見守り対象者の写っている領域の各画素の深度を変更した上で、取得された前記撮影画像を前記背景画像に設定させる、
ための画像解析プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015096226 | 2015-05-11 | ||
JP2015096226 | 2015-05-11 | ||
PCT/JP2016/053348 WO2016181672A1 (ja) | 2015-05-11 | 2016-02-04 | 画像解析装置、画像解析方法、及び、画像解析プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2016181672A1 JPWO2016181672A1 (ja) | 2018-03-01 |
JP6780639B2 true JP6780639B2 (ja) | 2020-11-04 |
Family
ID=57248050
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017517619A Active JP6780639B2 (ja) | 2015-05-11 | 2016-02-04 | 画像解析装置、画像解析方法、及び、画像解析プログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6780639B2 (ja) |
WO (1) | WO2016181672A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020204856A (ja) * | 2019-06-17 | 2020-12-24 | 株式会社バンダイナムコアミューズメント | 画像生成システム及びプログラム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003187248A (ja) * | 2001-12-21 | 2003-07-04 | Mitsubishi Electric Corp | 画像処理システムおよび画像処理装置 |
JP5609425B2 (ja) * | 2010-08-24 | 2014-10-22 | 株式会社ニコン | 画像処理装置、撮像装置、及び画像処理プログラム |
JP2012050013A (ja) * | 2010-08-30 | 2012-03-08 | Team Lab Inc | 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム |
JP6115335B2 (ja) * | 2013-06-10 | 2017-04-19 | ノーリツプレシジョン株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
-
2016
- 2016-02-04 WO PCT/JP2016/053348 patent/WO2016181672A1/ja active Application Filing
- 2016-02-04 JP JP2017517619A patent/JP6780639B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
WO2016181672A1 (ja) | 2016-11-17 |
JPWO2016181672A1 (ja) | 2018-03-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10810438B2 (en) | Setting apparatus, output method, and non-transitory computer-readable storage medium | |
JP6125188B2 (ja) | 映像処理方法及び装置 | |
JP6115335B2 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
JP6638723B2 (ja) | 画像解析装置、画像解析方法、及び、画像解析プログラム | |
KR101870902B1 (ko) | 영상 처리 장치 및 영상 처리 방법 | |
RU2607774C2 (ru) | Способ управления в системе захвата изображения, устройство управления и машиночитаемый носитель данных | |
JP6780641B2 (ja) | 画像解析装置、画像解析方法、及び、画像解析プログラム | |
WO2012129252A1 (en) | Digital 3d camera using periodic illumination | |
KR20120130788A (ko) | 멀티-카메라 교정을 위한 방법 및 장치 | |
WO2016021147A1 (ja) | 画像から移動体の滞留を検出するための画像処理システム、画像処理方法及び記録媒体 | |
WO2016031314A1 (ja) | 個人識別装置、個人識別方法、及び、個人識別プログラム | |
JP2011209794A (ja) | 対象物認識システム及び該システムを利用する監視システム、見守りシステム | |
JP7266599B2 (ja) | 患者の身体運動を検知するためのデバイス、システム及び方法 | |
JP6991045B2 (ja) | 画像処理装置、画像処理装置の制御方法 | |
JP6780639B2 (ja) | 画像解析装置、画像解析方法、及び、画像解析プログラム | |
JP2009301242A (ja) | 頭部候補抽出方法、頭部候補抽出装置、頭部候補抽出プログラムおよびそのプログラムを記録した記録媒体 | |
JP6939065B2 (ja) | 画像認識用コンピュータプログラム、画像認識装置及び画像認識方法 | |
JP6737262B2 (ja) | 異常状態検知装置、異常状態検知方法、及び、異常状態検知プログラム | |
JP2010113562A (ja) | 物体検知追跡装置,物体検知追跡方法および物体検知追跡プログラム | |
JP6607253B2 (ja) | 画像解析装置、画像解析方法、及び、画像解析プログラム | |
JP2007102650A (ja) | 動き領域検出システム、動き領域検出方法、及び動き領域検出プログラム | |
JP6565468B2 (ja) | 呼吸検知装置、呼吸検知方法、及び呼吸検知プログラム | |
US20220230342A1 (en) | Information processing apparatus that estimates object depth, method therefor, and storage medium holding program therefor | |
KR102055276B1 (ko) | 사람계수 장치 및 방법 | |
KR101889028B1 (ko) | 사람계수 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190118 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200324 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200403 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200915 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200928 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6780639 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |