JP4227475B2 - 測量システム - Google Patents

測量システム Download PDF

Info

Publication number
JP4227475B2
JP4227475B2 JP2003193797A JP2003193797A JP4227475B2 JP 4227475 B2 JP4227475 B2 JP 4227475B2 JP 2003193797 A JP2003193797 A JP 2003193797A JP 2003193797 A JP2003193797 A JP 2003193797A JP 4227475 B2 JP4227475 B2 JP 4227475B2
Authority
JP
Japan
Prior art keywords
surveying
image
designating
graphic
display area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003193797A
Other languages
English (en)
Other versions
JP2005030807A (ja
Inventor
滋 若代
忍 上園
雅実 白井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hoya Corp
Original Assignee
Hoya Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hoya Corp filed Critical Hoya Corp
Priority to JP2003193797A priority Critical patent/JP4227475B2/ja
Publication of JP2005030807A publication Critical patent/JP2005030807A/ja
Application granted granted Critical
Publication of JP4227475B2 publication Critical patent/JP4227475B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、測量機を用いた測量システムに関する。
【0002】
【従来の技術】
例えば、杭打ち作業において、設計データに基づいて杭打ちを行なう測設点の位置と視準しているターゲットの位置を平面プロット図(測設点やターゲットの位置をプロット点などで示す平面図)として表示装置に表示し、杭打ち作業者に対する移動方向の指示を容易にしたものが知られている(特許文献1参照)。一方、通常の測量作業においては、測量終了後、測量された測点の平面プロット図が作成され、このプロット図に示されたプロット点を直線や曲線で結ぶことにより道路や建物が描かれた平面図が作成される。平面図は、測量された測点のデータリストとそのプロット図を表示装置の画面上に表示して、このプロット図を参照しながら作成される。
【0003】
【特許文献1】
特許第3134537号公報
【0004】
しかし、プロット図やデータリストのみでは、測量した測点が測量現場のどの点に対応するか判断し難く、どのプロット点同士を結べばよいかい分かり難いという問題がある。また、杭打ち作業においても、平面プロット図では、測量現場において測設点の位置を判別し難いという問題がある。
【0005】
【発明が解決しようとする課題】
本発明は、測量と図面の作成を容易に行なえる測量システムを提供することを目的としている。
【0006】
【課題を解決するための手段】
本発明の測量システムは、測量機と、測量機に対する位置が既知の撮像手段と、画像表示手段とを備え、画像表示手段が撮像手段により撮影された測量現場の画像を表示する画像表示領域と、測量現場の図面を表示する図面表示領域とを有する測量システムであって、画像上において図形を指定するための図形指定手段と、測量機を用いて測量される画像上で指定された図形に対応する物点の3次元座標に基づいて、図面表示領域に図形に対応する図面を作成表示する対応図面作成手段とを備えたことを特徴としている。
【0007】
図形は例えば複数の点と、これら複数の点を結ぶ線分とから構成される。また、図面は例えば測量において良く作成される平面図であることが好ましい。またより迅速にかつより簡便に測量と図面作成を結合するためには、測量システムは、画像上で指定された図形の画像座標に基づいて、測量機を用いて図形に対応する物点を自動的に測量する自動測量手段を備えることが好ましい。
【0008】
図形指定手段は、画像上の任意の点を指定可能な入力手段を備えることが好ましく、更に図形指定手段は、画像上の特徴的な輪郭線に沿って自動トレースを行い、自動トレースに基づくベクターデータとして生成する自動トレース手段を備えることが好ましい。
【0009】
また、本発明の測量システムは、測量機と、撮像手段と、画像表示手段とを備え、画像表示手段が撮像手段により撮影された測量現場の画像を表示する画像表示領域と測量現場の図面を表示する図面表示領域とを有する測量システムであって、測量機と撮像手段との間の位置関係を算出する位置関係算出手段と、画像上において図形を指定するための図形指定手段と、測量機を用いて測量される画像上で指定された図形に対応する物点の3次元座標に基づいて、図面表示領域に図形に対応する図面を作成表示する対応図面作成手段とを備えたことを特徴としている。
【0010】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
図1は、本発明の一実施形態である測量システムの電気的及び光学的な構成を示すブロック図である。以下、図1を参照して本実施形態の測量システムについて説明する。
【0011】
本実施形態の測量システムは、例えば測量機10及びコンピュータ30から構成される。測量機10は例えばデジタルカメラが内蔵されたトータルステーションである。測量機10では、視準された方向の物点の3次元座標(測量座標)が測定可能であるとともに、測量現場の画像を内蔵カメラで撮影することができる。測量された各測点の測量データや内蔵カメラで撮影された測量現場の画像は、例えば図示しないインターフェースケーブルを介してコンピュータ30に転送できる。
【0012】
測量機10は、測点に視準するための視準望遠鏡17を備える。視準望遠鏡17は、高度角θpを測定するために視準望遠鏡を俯仰させる水平軸Lhと、水平角θhを測定するために視準望遠鏡を水平方向に回転させる鉛直軸Lpとを有し、これらの軸の周りに回動可能である。水平軸Lhと鉛直軸Lpとは点OS(以下視準原点OSと呼ぶ)において直交し、視準望遠鏡17の光軸(視準線)L0は視準原点OSを通る。対物レンズ系LS1の光軸L0は、例えばプリズムPS1において2分され、一方は接眼レンズ系LS2に導かれ他方は測距部11に導かれる。測距部11では視準された測点までの斜距離等が、例えば光波測距等により検出され、測角部12ではこのときの水平角θh、高度角θp等が検出される。
【0013】
測距部11及び測角部12はそれぞれシステムコンロール回路13に接続されており、システムコントロール回路13からの指令に基づき制御される。例えば測距部11はシステムコントロール回路13の指令に基づいて測距を行い、測定値をシステムコントロール回路13に送出する。一方、測角部12は常時水平角θh、高度角θp等を測定しておりシステムコントロール回路13からの要求に応じてその測定値をシステムコントロール回路13へ送出する。検出された斜距離、水平角、高度角等の測定値はシステムコントロール回路13において処理される。
【0014】
また、測量機10は撮像光学系LS3及びCCD等の撮像素子を備えた撮像部18を備え(内蔵カメラ)、撮像光学系LS3を介して視準方向の画像を撮像することができる。撮像部18において取得された画像データは、システムコントロール回路13に転送され、システムコントロール13内に設けられた図示しないメモリに記録される。なお、システムコントロール回路13には、この他にも、スイッチ群14、表示器15(例えばLCD)、インターフェース回路16等が接続される。
【0015】
インターフェース回路16には、インターフェースケーブルを介して例えばノート型パーソナルコンピュータ等のコンピュータ30が接続される。すなわち、測量機10はインターフェースケーブルを介してコンピュータ30等に測量データや画像データ等を送信できる。なお、インターフェース回路16は、データコレクタ(図示せず)等の周辺機器にも接続可能である。
【0016】
コンピュータ30は、CPU31を中心にハードディスク、DVD、MO、ICカード等の不揮発性の記録媒体32、マウス33やキーボード34等の入力装置や、LCD、CRT等の画像表示装置(モニタ)35、及びインターフェース回路36から概ねなる。インターフェース回路36は上述したように、インターフェースケーブルを介して測量機10のインターフェース回路16に接続され、測量機10との通信に用いられる。すなわち、測量機10からの測量データや画像データは、インターフェース回路36を介して入力される。
【0017】
次に図2〜図4を参照して、本実施形態の測量システムの概要について説明する。なお図2〜図4は、測量システム実行時にコンピュータ30の画像表示装置35に表示される操作画面の一例である。
【0018】
コンピュータ30では、記録媒体32にインストールされた図面自動作成用のプログラムが起動され、画像表示装置35には、図面自動作成プログラムのウィンドウWINが表示される。ウィンドウWIN内には、測量機10の撮像部18で撮影された画像を表示するための画像表示領域IMAと、自動作成される測量現場の平面図(図3参照)を表示するための図面表示領域PVAが設けられる。また、画像表示領域IMAと図面表示領域PVAの上方には、操作ボタンエリアが配置され、画像ボタン40、キャリブレーションボタン41、印刷ボタン42、自動ボタン43、線ボタン44、多角形ボタン45、図形登録ボタン46、計測ボタン47、データ取得ボタン48や、逐次/一括を選択するラジオボタン49、50が設けられる。なお、この他にもデータをファイルに記録、あるいは読み出すためのファイルメニューなど様々な項目に関するメニューが用意されるが、ここでは省略する。
【0019】
画像ボタン40は画像表示領域IMAに測量機10の撮像部18で撮影された画像を表示するためのボタンであり、このボタンがクリックされると画像データが記録媒体32から、あるいは測量機10から直接読み出され、画像表示領域IMAに表示される。図2には、撮影された測量現場全体の画像IMが表示されており、図3、図4には画像IMの左右の部分拡大画像IM1、IM2が表示されている。画像の拡大、縮小は図示しない拡縮ボタンにより操作される。
【0020】
キャリブレーションボタン41は、例えば従来周知の単写真標定等を用いて測量機10と画像表示領域IMAに表示された画像IMを撮影したカメラとの位置関係を算出するサブルーチンを起動するためのボタンである。なお、本実施形態のように、測量機10内にカメラが内蔵され、その位置関係が既知の場合には、この位置関係を表わす各パラメータの値が自動又はオペレータの手入力により取得され、画像IMと測量現場との間の射影関係を表わす変換式が確立される。
【0021】
印刷ボタン42は図面表示領域PVAの図面を印刷するためのボタンであり、自動ボタン43は、画像IM上においてエッジ検出等の画像処理を用いて自動トレースを実行する自動トレースモードを選択するためのボタンである(後述)。また、線ボタン44は、画像表示領域IMAにおける図形入力モードを連続した折線を描く連続折線入力モードとするボタンであり、多角形ボタン45は図形入力モードを1つの閉じた多角形を描く多角形入力モードとするボタンである。各入力モードにおける図形の確定は図形登録ボタン46を操作することにより行われる。また、計測ボタン47は、図形入力モードを寸法線入力モードに設定するためのボタンであり、例えば図4の図面表示領域PVAに示されるように、指定された線分の両端に位置する2点の間を矢印や直線で結んで、矢印の中間部に2点間の距離や高さ、勾配等を記入する。なお、多角形で画定される領域に対応する水平投影面の面積を算出するようにしてもよい。
【0022】
本実施形態の自動測量システムでは、画像表示領域IMAの画像IM上で入力された図形により指定される測点を各測点が指定される度に測量する逐次モードと、複数(全部)の測点が指定された後で一括して測量する一括モードが設けられる。逐次モードと一括モードとの間の切り替えは、ラジオボタン49、50を操作することにより行われる。なお、一括モードにおける測量は、データ取得ボタン48が操作されることにより開始される。本実施形態では、線入力モードと多角形入力モードのみを例示したが、この他にも円、円弧、自由曲線等による入力モードを設けることも可能である。このように曲線で図形を指定する場合には、例えば曲線に沿って所定間隔で測量されるべき測点が確定される。
【0023】
次に図2〜図6を参照して本実施形態の測量システムについて説明する。図5は、本実施形態における測量作業の手順を示すフローチャートであり、図6は、3次元の測量座標系と図面表示領域PVAの2次元座標系との関係を示す図である。なお、図5は、一括モードに対応したフローとなっている。
【0024】
ステップS101では、測量機10の撮像部18において測量現場の概観が撮影され、その画像データはステップS102において、インターフェースケーブル(無線や光通信を用いても良い)を介してコンピュータ30に転送され、記録媒体32に保存される。コンピュータ30の画像表示装置35の画面には、図面自動作成プログラムのウィンドウWINが表示されている。初め画像表示領域IMA、及び図面表示領域PVAには、何も表示されていないが、ステップS103において画像ボタン40が操作されると、図2に示されるように、転送された測量現場全体の画像IMが画像表示領域IMAに表示される。またこのとき、キャリブレーションボタン41が操作され、画像IM上の各点と測量機10が配置された測量現場との間の射影関係が確立される。
【0025】
ステップS104では、画像表示領域IMAに表示された画像IM上において、マウス33を用いて図形が描画(入力)される。図形は、連続折線入力モードや多角形入力モード、または自動トレースモードを用いて図3、図4に示されるように複数の点同士の間を結ぶ線分や多角形などから構成され(単独の点を含めても良い)、画像IM上の測量図として意味のある特徴的な線や曲線をなぞるように描かれる。図3の左側部分拡大画像IM1においては、連続折線入力モードにおいて、マウス33を用いて縁石に沿った2点P1、P2を指定することにより線分S1が描画され、多角形入力モードにおいて横断歩道の1つの白線帯の四隅を囲む点P3〜P6が指定することにより四辺形Q1が描画されている。また、図4の右側部分拡大画像IM2においては、連続折線入力モードにおいて、縁石に沿った2点P7、P8を指定することにより線分S2が描画されている。
【0026】
図形の入力が終了し、データ取得ボタン48が操作されると、図形入力により指定された各測点がステップ105において測量機10を用いて測量される。測量機10に自動測量システムが組み込まれている場合には、指定された各点の画像IM上の2次元画像座標から、測量機10の視準望遠鏡17が視準すべき方向(水平角θh、高度角θp)が算出され、それぞれの測点に対して測量が行われる。なお、画像IM上の2次元画像座標と視準望遠鏡17の視準方向との間の関係はキャリブレーションボタン41が操作されたときに確立された関係により算出される。
【0027】
各測点(P1〜P8)の測量が終了すると、それぞれの3次元測量データが測量機10からコンピュータ30に転送され、記録媒体32に記録されるとともに、図面自動作成プログラムにより読み出され、その3次元測量座標(3次元測量データ)に基づいて、各測点P1〜P8を水平面に投影したときのプロット点P1’〜P8’が算出され図面表示領域PVAにプロットされる。また、このとき測点P1〜P8により構成される線分や多角形の測点間の連結関係に基づいて、プロット点P1’〜P8’が線分で結ばれ、線分S1、S2や四辺形Q1に対応する線分S1’、S2’、四辺形Q1’が平面図として図面表示領域PVAに作成・表示される。なお、自動測量システムが組み込まれていない場合には、画像IM上において指定された各測点をオペレータが手動で視準して測量してもよい。
【0028】
測量機10における3次元測量座標と、図面表示領域PVAにおいて平面図を作成するに当たって参照される2次元座標との関係が図6に模式的に示される。3次元測量座標の原点は、測量機10の視準原点Osに置かれ、例えば鉛直上向きをZ軸とし、水平面内の所定の方向にX軸(又はY軸)を取った座標系であり、X軸は例えば画像IMが撮影されたときの向きに合わせられる。図面表示領域PVAでは、画面上向きをX軸とし、画面右向きをY軸とし、画面上をZ=0として平面図を描く。
【0029】
ステップS108では、画像IMの画像データと図面表示領域PVAに表示された測量平面図が例えば記録媒体32に保存され、本実施形態における図面自動作成プログラムを用いた測量作業は終了する。
【0030】
次に図7を参照して、自動トレースモードにおける処理の概略について説明する。図7は、画像表示領域IMAに画像IMが表示された状態で自動ボタン43が操作されたときに実行される自動トレースモードのサブルーチンのフローチャートである。なお、自動トレース処理そのものは従来周知の方法を用い、以下の方法以外にも様々な方法を適用することができる。
【0031】
ステップS201では、画像表示領域IMAに表示された画像IMがメモリの作業領域にロードされ、ステップS202において、画像IMがグレイスケーリングされ、モノクロ画像に変換される。ステップS203では、モノクロの画像IMに対してエッジ検出処理が施されるとともに2値化処理が施される。その後ステップS204において細線化処理、ステップ205において折線近似処理が施され、ステップS206において雑音を除去するゴミ削除処理が施される。ステップS207では、得られた折線データに基づいて線図形がベクターデータとして求められ、画像表示領域IMAの画像IM上にスーパーインポーズされる。また、ベクターデータにおける線図形(折線)を構成する各頂点を測点とし、これに基づいて、連続折線入力モードや多角形入力モードのときと同様に、測量機による測量が実行され、以下同様に測量平面図が作成される。
【0032】
以上のように、本実施形態によれば、測量現場の画像上において画像の特徴点に沿って図形を入力するだけで、測量平面図(平面プロット図)を自動生成することができるので、測量現場において簡便かつ効率的に測量平面図を得ることができる。また、測量そのものも、画像上で指定された図形に基づいて自動的に測量することが可能なので、例えば杭打ち作業などの測設測量においても、測設点の探索を迅速かつ簡単に行なえる。
【0033】
なお、上記説明(図5のフローチャート)では、一括モードを例に説明を行ったが、逐次モードでは、連続折線入力モードや多角形入力モードにおいて測点が指定される毎にステップS105〜ステップS107の処理内容が実行される。
【0034】
【発明の効果】
以上のように、本発明によれば、測量と図面の作成を容易に行なえる測量システムを提供することができる。
【図面の簡単な説明】
【図1】本発明の一実施形態である測量システムの電気的及び光学的構成を概略的に示すブロック図である。
【図2】測量システム実行時にコンピュータの画像表示装置に表示される操作画面の一例である。
【図3】測量システム実行時にコンピュータの画像表示装置に表示される操作画面の一例である。
【図4】測量システム実行時にコンピュータの画像表示装置に表示される操作画面の一例である。
【図5】本実施形態における測量作業の手順を示すフローチャートである。
【図6】3次元の測量座標系と図面表示領域の2次元座標系との関係を示す模式図である。
【図7】自動トレースモードのサブルーチンのフローチャートである。
【符号の説明】
10 測量機
18 撮像部
30 コンピュータ
IMA 画像表示領域
PVA 図面表示領域

Claims (7)

  1. 測量機と、前記測量機に対する位置が既知の撮像手段と、画像表示手段とを備え、前記画像表示手段が前記撮像手段により撮影された測量現場の画像を表示する画像表示領域と、前記測量現場の図面を表示する図面表示領域とを有する測量システムであって、
    前記画像上において図形を指定するための図形指定手段と、
    前記測量機を用いて測量される前記画像上で指定された図形に対応する物点の3次元座標に基づいて、前記図面表示領域に前記図形に対応する図面を作成表示する対応図面作成手段と
    を備えることを特徴とする測量システム。
  2. 前記図形が複数の点と、前記複数の点を結ぶ線分とから構成されることを特徴とする請求項1に記載の測量システム。
  3. 前記図面が平面図であることを特徴とする請求項1に記載の測量システム。
  4. 前記画像上で指定された図形の画像座標に基づいて、前記測量機を用いて前記図形に対応する物点を自動的に測量する自動測量手段を備えることを特徴とする請求項1に記載の測量システム。
  5. 前記図形指定手段が、前記画像上の任意の点を指定可能な入力手段を備えることを特徴とする請求項1に記載の測量システム。
  6. 前記図形指定手段が、前記画像上の特徴的な輪郭線に沿って自動トレースを行い、前記自動トレースに基づくベクターデータとして生成する自動トレース手段を備えることを特徴とする請求項1に記載の測量システム。
  7. 測量機と、撮像手段と、画像表示手段とを備え、前記画像表示手段が前記撮像手段により撮影された測量現場の画像を表示する画像表示領域と、前記測量現場の図面を表示する図面表示領域とを有する測量システムであって、
    前記測量機と前記撮像手段との間の位置関係を算出する位置関係算出手段と、
    前記画像上において図形を指定するための図形指定手段と、
    前記測量機を用いて測量される前記画像上で指定された図形に対応する物点の3次元座標に基づいて、前記図面表示領域に前記図形に対応する図面を作成表示する対応図面作成手段と
    を備えることを特徴とする測量システム。
JP2003193797A 2003-07-08 2003-07-08 測量システム Expired - Fee Related JP4227475B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003193797A JP4227475B2 (ja) 2003-07-08 2003-07-08 測量システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003193797A JP4227475B2 (ja) 2003-07-08 2003-07-08 測量システム

Publications (2)

Publication Number Publication Date
JP2005030807A JP2005030807A (ja) 2005-02-03
JP4227475B2 true JP4227475B2 (ja) 2009-02-18

Family

ID=34205162

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003193797A Expired - Fee Related JP4227475B2 (ja) 2003-07-08 2003-07-08 測量システム

Country Status (1)

Country Link
JP (1) JP4227475B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6672109B2 (ja) * 2016-08-23 2020-03-25 株式会社トプコン 測量機の通信処理システムおよび不具合処理方法

Also Published As

Publication number Publication date
JP2005030807A (ja) 2005-02-03

Similar Documents

Publication Publication Date Title
JP6733267B2 (ja) 情報処理プログラム、情報処理方法および情報処理装置
US7409152B2 (en) Three-dimensional image processing apparatus, optical axis adjusting method, and optical axis adjustment supporting method
US20030142203A1 (en) Omnidirectional visual system, image processing method, control program, and readable recording medium
JP2008275341A (ja) 情報処理装置、情報処理方法
JP6124570B2 (ja) Xyz直交測定装置
JP2002057879A (ja) 画像処理装置と画像処理方法及びコンピュータ読み取り可能な記録媒体
US11361455B2 (en) Systems and methods for facilitating the identifying of correspondences between images experiencing motion blur
JP6110780B2 (ja) 付加情報表示システム
US20090251492A1 (en) Storage medium storing image conversion program and image conversion apparatus
JP4835243B2 (ja) 画像合成装置及び画像合成プログラム
WO2018025825A1 (ja) 撮像システム
US20220141441A1 (en) Image display apparatus, image display method, and image display program
JP2006003280A (ja) 撮影装置及び撮影方法
JP4227475B2 (ja) 測量システム
JP2003344054A (ja) ナビゲーション装置、地図表示装置、プログラム
JP4979895B2 (ja) ディスプレイ制御装置、ディスプレイ制御方法、ディスプレイ制御プログラム、およびディスプレイ
JP4359083B2 (ja) 測量システム
US7657055B2 (en) Image processing method and image generating apparatus
JP7298116B2 (ja) 情報処理装置、情報処理方法、プログラム
JP4319476B2 (ja) 測量システム
JP4167509B2 (ja) 測量システム
JP3467186B2 (ja) 識別番号発生装置およびカメラおよび基準尺、および画像表示装置
JP3851483B2 (ja) 像点対応付け装置、像点対応付け方法、および像点対応付けプログラムを格納した記録媒体
JP2019101753A (ja) 物体形状測定装置及びその制御方法、並びにプログラム
JP3516117B2 (ja) 画像処理方法およびその装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060621

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20080425

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081113

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081125

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081128

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111205

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111205

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121205

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131205

Year of fee payment: 5

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees