JP4875681B2 - 障害物を認識する方法 - Google Patents

障害物を認識する方法 Download PDF

Info

Publication number
JP4875681B2
JP4875681B2 JP2008242549A JP2008242549A JP4875681B2 JP 4875681 B2 JP4875681 B2 JP 4875681B2 JP 2008242549 A JP2008242549 A JP 2008242549A JP 2008242549 A JP2008242549 A JP 2008242549A JP 4875681 B2 JP4875681 B2 JP 4875681B2
Authority
JP
Japan
Prior art keywords
image
plane
carrier
partial image
acquired
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008242549A
Other languages
English (en)
Other versions
JP2009076076A (ja
Inventor
ガングリン・マ
ス−ビルム・パルク
アレクサンダー・ヨッフェ
Original Assignee
デルファイ・テクノロジーズ・インコーポレーテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by デルファイ・テクノロジーズ・インコーポレーテッド filed Critical デルファイ・テクノロジーズ・インコーポレーテッド
Publication of JP2009076076A publication Critical patent/JP2009076076A/ja
Application granted granted Critical
Publication of JP4875681B2 publication Critical patent/JP4875681B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、可動運搬体に取り付けられた光センサの視野範囲内の環境で、特に車両などの可動運搬体の走行路に位置する障害物、特に歩行者を認識する方法に関する。
上記のような種類の方法は公知である。この方法は、特に、道路を通行する歩行者との衝突を防止可能にするために、または任意選択で十分な時間内に適切な安全措置をとることを可能とする上で役立つ。
自動車のバンパ領域に配置構成された加速度センサおよび/または接触センサなどのセンサの助けにより、障害物を認識することが知られている。しかし、このタイプのセンサは、障害物が車両のすぐ近傍にある場合、または衝突が既に生じた場合にのみ、障害物を認識できるようにする。
例えば自動車の運転手に見える表示装置に駐車の補助として自動車の環境を結像するために、自動車にカメラを使用することも、よく知られている。
しかし、一般的に処理すべき画像データの量、および生成された画像の自動評価が、カメラの使用時に問題となることが判明している。これは特に、画像材料の評価を自動的に実行すべき場合ばかりでなく、例えば自動車との衝突時に人を保護する車両安全システムで必要とされているように、特に高速で実行すべき場合にも当てはまる。
自動車の走行路に位置する障害物、特に人を認識する方法が、欧州特許第1646008A1号から知られており、第一画像、およびそこから時間的に間隔をあけた第二画像が、カメラによって走行方向で自動車の環境から取得され、第一変形画像は、カメラの面から取得された第一画像の基平面までの投影によって生成され、第二変形画像は、カメラの画像面から得た第二画像の基平面までの投影によって生成され、第一および第二変形画像から異なる画像が割り出され、異なる画像を評価することによって、車両の走行路に障害物が位置しているか否かが割り出される。
知られているこの装置は、実践で真価を示している。しかし、その幾何学的条件のせいで、水平線より下にある基平面より上の障害物または障害物の部分しか検出することができない。しかし、多くの事例で、障害物のより確実な検出を保証するために、輪郭全体、つまり水平線より下にある障害物の部分、および水平線より上にある障害物の部分の両方を検出したいと考える。
欧州特許第1646008A1号
特に車両などの可動運搬体の走行路に位置する障害物、特に歩行者を認識できるようにし、単純かつ信頼性の高い状態で、可能な限り高速で少なくとも実質的に完全である方法を提供することが、本発明の基本的な目的である。これを達成するために、本発明では、水平線より下の領域と水平線より上の領域の両方が検出されることを保証しなければならない。
上記課題を解決するため、本発明は、特に車両などの可動運搬体の走行路に位置する障害物、特に歩行者を、前記可動運搬体に取り付けた光センサの視野範囲の環境で認識する方法であって、第一画像が、第一時間に前記光センサによって取得されて、第二画像がその後の第二時間に取得され、第一変形下部分画像が、水平線より下にある前記第一取得画像の画像区間が前記光センサの前記画像面から基平面へと投影することによって生成され、第一変形上部分画像が、前記水平線より上にある前記第一取得画像の画像区間が前記光センサの前記画像面から前記基平面に平行な仮想面へと投影することによって生成され、第二変形下部分画像が、前記水平線より下にある前記第二取得画像の画像区間が前記光センサの前記画像面から前記基平面へと投影することによって生成され、第二変形上部分画像が、前記水平線より上にある前記第二取得画像の画像区間が前記光センサの前記画像面から前記基平面に平行な仮想面へと投影することによって生成され、下方差異部分画像が、前記第一および第二変形下部分画像から割り出され、上方差異部分画像が、前記第一および第二上部分の画像から割り出され、前記下方差異部分画像および前記上方差異部分画像の評価によって、前記可動運搬体の前記走行路に障害物が位置するかが割り出される、各工程を備えて構成したものである。
本発明の実施形態によれば、本発明の上記目的は、可動運搬体に取り付けられた光センサの視野範囲内の環境で、特に車両などの可動運搬体の走行路に位置する障害物、特に歩行者を認識する方法によって満たされ、第一時間に光センサによって第一画像が取得され、その後の第二時間に第二画像が取得され、第一変形下部分画像は、水平線より下にある第一取得画像の画像区間が光センサの画像面から基平面へと投影することによって生成され、第一変形上部分画像は、水平線より上にある第一取得画像の画像区間が光センサの画像面から基平面に平行な仮想面へと投影することによって生成され、第二変形下部分画像は、水平線より下にある第二取得画像の画像区間が光センサの画像面から基平面へと投影することによって生成され、第二変形上部分画像は、水平線より上にある第二取得画像の画像区間が光センサの画像面から基平面に平行な仮想面へと投影することによって生成され、第一および第二変形下部分画像から下方差異部分画像が割り出され、第一および第二変形上部分画像から上方差異部分画像が割り出され、下方差異部分画像および上方差異部分画像を評価することによって、可動運搬体の走行路に障害物が位置するか割り出される。
この設計により、可動運搬体または車両の走行路に位置する個々の障害物の早期かつ迅速な識別が保証されるばかりでなく、基平面と水平線の間に位置する領域だけでなく、同時に水平線より上の領域も検出されることも保証され、それによって障害物検出の確実性がさらに向上する。したがって、特に水平線とそれより上にある仮想面との間の領域で、潜在的障害物が確実かつ迅速に検出される。
逆透視結像によって、つまり画像面から基平面まで投影し、その後に逆投影して、縁部抽出と比較して、その背景情報を少なくとも実質的に消去することによって、追加的に利点が獲得される。
差異画像について障害物を割り出すと、いかなる空間情報も含まない画像を処理し、評価することができる。これで、モノカメラ(mono camera)によって画像を取得することができ、これは例えば立体カメラと比較すると、同じ画像サイズおよび解像度で、生成するデータ量が有意に少なくなる。したがって、モノカメラの画像は、特に迅速に評価できるばかりでなく、必要とする計算力も低くなる。
差異画像は、光センサ、特にカメラによって取得された画像、つまり元画像から直接割り出されるのではなく、光センサの画像面から地面までの画像対象の投影によって生成された変形画像から割り出される。
光センサが撮影した画像を地面へと投影することによって、長方形の画像フォーマットが台形の画像フォーマットになり、台形の平行な辺のうち短辺が運搬体または車両に近い画像領域の境界となり、台形の平行な辺のうち長辺が運搬体または車両から離れた画像領域の境界となる。
画像変形の結果、変形された画像で地面が正確に、つまり実質的に歪みがない状態で結像され、現実には地面から遠ざかっている、例えばそれに対して直角に延在している歩行者などの画像対象が、変形画像では歪んだ形状で、特に楔形に示される。
運搬体または自動車にとって障害物になり得ると考えられる画像対象は、地面に関連し得ない画像対象の選択的歪みによって、安全性に関係ないものから特に良好に識別することができる。これによって、障害物、特に歩行者を特に確実に認識することができる。
時間的に間隔があいた2つの画像から割り出された個々の差異画像を評価する際には、車両が移動しているときに、車両に近い方の対象の結像が、車両から離れた方の対象より大きく変化し、特に大きくなるのも速いという効果が利用される。この方法で、画像の前景に位置する対象を、例えば画像の背景に位置する対象から区別することができ、適宜、障害物として識別することができる。
既に述べたように、対象物と分類された個々の対象を変形して、光センサの画像面に戻すことが好ましい。
カメラ、特にビデオカメラを、例えば光センサとして使用することができる。モノカメラを光センサとして使用することが好ましい。
個々の第一および第二変形部分画像から差異部分画像を割り出す際には、運搬体の動作、特に運搬体の速度および/または走行方向の変化、ならびに第一撮影時間と第二撮影時間の間の継続時間を考慮すると都合がよい。運搬体の動作時に、光センサの視方向の変化を、この方法で考慮に入れる。その結果、より優れた変形画像にすることができ、したがって最終的に障害物の正確な認識の確実性が向上する。
既に述べたように、運搬体は特に自動車であってもよい。
運搬体の動作は、第一変形下部分画像および第二変形下部分画像を互いに対して並進かつ回転し、第一変形上部分画像および第二変形上部分画像を互いに対して並進かつ回転することによって考慮に入れることが好ましい。これによって、時間の間隔をあけた複数の変形画像を互いに対して正確に配置し、したがって変形画像を最適に比較することができる。
その結果、個々の差異画像は、走行方向の道路区間などの実質的に変化しない画像対象と、迅速に大きくなる画像対象との間で最大に対照的となる。したがって、現実には地面より上に突出した対象の変形画像を、地面からさらに良好に区別することができる。これにより、障害物のさらに確実な認識が可能である。これは特に、車両環境のそれぞれ一致させることができる区間を同様に並進かつ回転することによって達成することができる。したがって、個々の差異画像を割り出す上で、少なくとも車両環境の同じ位置にほぼ対応するピクチャ要素によって、グレー値の差異が形成されることが保証される。
したがって、道路の画像など、第一変形画像から第二変形画像まで実質的に変化しなかった対象のピクチャ要素が、個々の差異の形成時に消去され、その結果、差異画像のグレー値が少なくともほぼゼロになる。運搬体または車両が対象に向かって移動している場合、運搬体または車両に近い方の環境に位置し、地面から突出し、したがって歪み、特に変形画像に楔形で提示される対象のピクチャ要素のみが、合同し得ない。運搬体または車両が近づくにつれて、対象の画像が大きくなるので、少なくとも差異画像内で対象の縁部領域を画定するピクチャ要素は、ゼロから有意に異なるグレー値を有する。これにより、地面から突出する対象を、さらに高い確実性で区別することができ、障害物をさらに確実に割り出すことができる。
個々の差異画像の特に楔形の対象を、障害物と分類することが好ましい。既に述べたように、差異画像の対象は、差異を形成する際に消去されなかったピクチャ要素を有するオブジェクトである。したがって、このタイプの対象の変形画像は、1つの変形画像から次の変形画像へと変化し、特に拡大する。これは、運搬体または車両に近い方の環境に位置し、地面から上方に突出している対象の画像である場合に特に当てはまる。この対象が運搬体または自動車の走行路に位置する場合、これは自動車の障害物と見なすことができる。
障害物と分類された1つまたは複数の個々の差異画像の対象を変形して、取得画像に戻すことができる。これで、例えば対応する着色によって、またはフレームによって、取得した画像などで障害物と分類された対象をマークすることも可能になる。
有り得る道路の凹凸、運搬体の傾斜および/または運搬体の振動などによって引き起こされる特定の問題は、画像安定化によって補償されるので有利である。差異画像の接触は、画像ノイズの同様の最小化によって増加し、したがって障害物と分類される対象をさらに確実に割り出すことができる。
さらに、本発明の主題は、コンピュータまたは対応する計算ユニットでプログラムを実行する場合に、上述した方法を実行するプログラミングコード手段を有するコンピュータプログラムである。
コンピュータまたは対応する計算ユニットでコンピュータプログラムを実行する場合に、上述した方法を実行するためにコンピュータ可読データキャリアに記憶されたプログラミングコード手段を有するコンピュータプログラム製品も、本発明の主題である。
これに関して、コンピュータは、この方法を実行できる任意の望ましいデータ処理装置と理解される。これに関して、このようなデータ処理装置は、特に方法を完全にまたは部分的に実行することができるディジタル信号プロセッサおよび/またはマイクロプロセッサを含むことができる。
最後に、本発明の目的は、可動運搬体に取り付けられた光センサの視野範囲内の環境で、特に車両などの可動運搬体の走行路に位置する障害物、特に歩行者を認識する装置でもあり、前記装置は、上述した方法を実行するように設計されたデータ処理ユニットを有する。

Claims (10)

  1. 特に車両などの可動運搬体の走行路に位置する障害物、特に歩行者を、前記可動運搬体に取り付けた光センサの視野範囲の環境で認識する方法であって、
    第一画像が、第一時間に前記光センサによって取得されて、第二画像がその後の第二時間に取得され、
    第一変形下部分画像が、水平線より下にある前記第一取得画像の画像区間が前記光センサの画像面から基平面へと投影することによって生成され、
    第一変形上部分画像が、前記水平線より上にある前記第一取得画像の画像区間が前記光センサの前記画像面から前記基平面に平行な仮想面へと投影することによって生成され、
    第二変形下部分画像が、前記水平線より下にある前記第二取得画像の画像区間が前記光センサの前記画像面から前記基平面へと投影することによって生成され、
    第二変形上部分画像が、前記水平線より上にある前記第二取得画像の画像区間が前記光センサの前記画像面から前記基平面に平行な仮想面へと投影することによって生成され、
    下方差異部分画像が、前記第一および第二変形下部分画像から割り出され、
    上方差異部分画像が、前記第一および第二上部分の画像から割り出され、
    前記下方差異部分画像および前記上方差異部分画像の評価によって、前記可動運搬体の前記走行路に障害物が位置するかが割り出される、各工程を備える方法。
  2. 障害物と分類された個々の対象の画像を、前記光センサの前記画像面における画像に戻すように変形することを特徴とする、請求項1に記載の方法。
  3. カメラ、特にビデオカメラを前記光センサとして使用することを特徴とする、請求項1または2に記載の方法。
  4. モノカメラを前記光センサとして使用することを特徴とする、請求項3に記載の方法。
  5. 前記個々の第一および第二変形部分画像から前記差異画像を割り出す際に、特に前記運搬体の速度および/または前記走行方向の変化、ならびに前記第一取得時間と前記第二取得時間との間の継続時間を考慮に入れることを特徴とする、請求項1から4のいずれか一項に記載の方法。
  6. 前記第一変形下部分画像および前記第二変形下部分画像を互いに対して並進かつ回転することによって、ならびに前記第一変形上部分画像および前記第二変形上部分画像を互いに対して並進かつ回転することによって、前記運搬体の動作を考慮に入れることを特徴とする、請求項1から5のいずれか一項に記載の方法。
  7. 有り得る道路の凹凸、運搬体の傾斜および/または運搬体の振動などによって引き起こされる特定の問題が、画像の安定化によって補償されることを特徴とする、請求項1から6のいずれか一項に記載の方法。
  8. コンピュータプログラムであって、
    前記コンピュータプログラムがコンピュータ上でまたは対応する計算ユニット上で実行されたときに請求項1から7のいずれか一項に記載の方法を実行するプログラムコード手段を有する、コンピュータプログラム。
  9. コンピュータプログラムを記憶したコンピュータ可読データキャリアであって、
    前記コンピュータプログラムは、該コンピュータプログラムがコンピュータ上でまたは対応するコンピュータユニット上で実行されたときに請求項1から7のいずれか一項に記載の方法を実行するためのプログラムコード手段を有する、コンピュータ可読データキャリア
  10. 特に自動車などの運搬体に取り付けられた光センサの視野範囲の環境で、特に道路で障害物、特に歩行者を検出するための装置であって、
    請求項1から7のいずれか一項に記載の方法を実行するように設計されたデータ処理装置を有する、装置。
JP2008242549A 2007-09-24 2008-09-22 障害物を認識する方法 Expired - Fee Related JP4875681B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP07018733.1A EP2040220B1 (de) 2007-09-24 2007-09-24 Verfahren zur Hinderniserkennung
EP07018733.1 2007-09-24

Publications (2)

Publication Number Publication Date
JP2009076076A JP2009076076A (ja) 2009-04-09
JP4875681B2 true JP4875681B2 (ja) 2012-02-15

Family

ID=38728934

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008242549A Expired - Fee Related JP4875681B2 (ja) 2007-09-24 2008-09-22 障害物を認識する方法

Country Status (3)

Country Link
US (1) US8155380B2 (ja)
EP (1) EP2040220B1 (ja)
JP (1) JP4875681B2 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5554261B2 (ja) * 2011-02-24 2014-07-23 アルパイン株式会社 立体物検出装置および立体物検出方法
US9069075B2 (en) * 2012-02-10 2015-06-30 GM Global Technology Operations LLC Coupled range and intensity imaging for motion estimation
US8781721B2 (en) * 2012-06-06 2014-07-15 Google Inc. Obstacle evaluation technique
DE102012024662A1 (de) * 2012-12-17 2014-06-18 Connaught Electronics Ltd. Verfahren zum Unterscheiden zwischen Merkmalen eines Zielobjekts und Bodenmerkmalen in einem Bild einer Kamera, Kamerasystem für ein Kraftfahrzeug und Kraftfahrzeug
US10936883B2 (en) 2013-03-01 2021-03-02 Harman International Industries, Incorporated Road region detection
US9107513B2 (en) * 2013-07-16 2015-08-18 Amirmasood Asfa Baby walker system with a braking mechanism for movement control
US10089330B2 (en) 2013-12-20 2018-10-02 Qualcomm Incorporated Systems, methods, and apparatus for image retrieval
US9589595B2 (en) 2013-12-20 2017-03-07 Qualcomm Incorporated Selection and tracking of objects for display partitioning and clustering of video frames
KR101772084B1 (ko) * 2015-07-29 2017-08-28 엘지전자 주식회사 이동 로봇 및 그 제어방법
KR102371588B1 (ko) * 2016-05-02 2022-03-07 현대자동차주식회사 영상기반 장애물 인식 시스템 및 방법
JP7104916B2 (ja) * 2018-08-24 2022-07-22 国立大学法人岩手大学 移動物体検出装置および移動物体検出方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5377106A (en) * 1987-03-24 1994-12-27 Fraunhofer Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Process for navigating an unmanned vehicle and a vehicle for the same
US7202776B2 (en) * 1997-10-22 2007-04-10 Intelligent Technologies International, Inc. Method and system for detecting objects external to a vehicle
GB0422504D0 (en) * 2004-10-11 2004-11-10 Delphi Tech Inc Obstacle recognition system for a motor vehicle
JP2006268076A (ja) * 2005-03-22 2006-10-05 Sanyo Electric Co Ltd 運転支援システム
JP4899424B2 (ja) * 2005-11-04 2012-03-21 トヨタ自動車株式会社 物体検出装置

Also Published As

Publication number Publication date
EP2040220A1 (de) 2009-03-25
EP2040220B1 (de) 2014-07-02
JP2009076076A (ja) 2009-04-09
US8155380B2 (en) 2012-04-10
US20090080702A1 (en) 2009-03-26

Similar Documents

Publication Publication Date Title
JP4875681B2 (ja) 障害物を認識する方法
JP5867273B2 (ja) 接近物体検知装置、接近物体検知方法及び接近物体検知用コンピュータプログラム
CN106663193B (zh) 用于路缘检测和行人危险评估的系统和方法
JP5399027B2 (ja) 自動車の運転を支援するための、立体画像を捕捉することができるシステムを有するデバイス
US8232872B2 (en) Cross traffic collision alert system
EP2993654B1 (en) Method and system for forward collision warning
CN108496176B (zh) 识别机动车辆的周围区域中的对象的方法,驾驶员辅助系统和机动车辆
US8582818B2 (en) Method and system of automatically detecting objects in front of a motor vehicle
US10220782B2 (en) Image analysis apparatus and image analysis method
US20150234045A1 (en) Navigation based on radar-cued visual imaging
US20130208945A1 (en) Method for the detection and tracking of lane markings
US20110169957A1 (en) Vehicle Image Processing Method
EP2928178B1 (en) On-board control device
JP6358552B2 (ja) 画像認識装置および画像認識方法
US20090052742A1 (en) Image processing apparatus and method thereof
US20050189471A1 (en) Mobile body surrounding surveillance apparatus, mobile body surrounding surveillance method, control program, and readable recording medium
JP7225074B2 (ja) 物体認識装置
JP2006527427A (ja) 車両から対象物を位置測定して追跡する方法および装置
JP2010019589A (ja) 車間距離検出装置、ドライブレコーダ装置
JP6152261B2 (ja) 車載用駐車枠認識装置
WO2011016257A1 (ja) 車両用距離算出装置
JP4798576B2 (ja) 付着物検出装置
KR101276073B1 (ko) 차량용 내비게이션에서의 영상에서 앞차 검출을 통한 거리 인식 시스템 및 방법
JP6992356B2 (ja) 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法およびプログラム
JP4768499B2 (ja) 車載周辺他車検出装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110214

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110516

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110519

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110614

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111027

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111125

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141202

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4875681

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees