JP4427656B2 - 測量データの処理方法 - Google Patents
測量データの処理方法 Download PDFInfo
- Publication number
- JP4427656B2 JP4427656B2 JP2003189659A JP2003189659A JP4427656B2 JP 4427656 B2 JP4427656 B2 JP 4427656B2 JP 2003189659 A JP2003189659 A JP 2003189659A JP 2003189659 A JP2003189659 A JP 2003189659A JP 4427656 B2 JP4427656 B2 JP 4427656B2
- Authority
- JP
- Japan
- Prior art keywords
- standard deviation
- measurement
- point
- value
- measurement point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、レーザスキャニング装置の計測データからノイズの除去とブレークラインの抽出を自動的に行なう測量データの処理方法に関する。
【０００２】
【従来の技術】
近年、レーザスキャニング装置は、広範囲の三次元データをリアルタイムで取得できる有用な計測機器として注目を集め、数多くの分野への適用が検討されている。適用先の一つとして地形計測が挙げられる。地形計測で一般的な手法であるトラバース測量では、二次元地形図しか作成できないため、三次元計測が可能なレーザスキャニング装置が注目を集めているのである。
【０００３】
しかし、レーザスキャニング装置による計測には問題もある。その最たるものが、木や草、電柱などによるノイズが計測結果に多く含まれてしまうという問題である。計測結果からノイズを除去する技術として、Ｚ値（高さ方向の情報）を検討し、ある計測点より低い位置に他の計測点が存在する場合には、その計測点をノイズとして除去する方法が知られている（非特許文献１）。
【０００４】
一方、地形が大きく変化している部分や建物の角などの稜線を表すブレークラインに関しては、レーザスキャナ装置による抽出方法はまだ確立されていない。また、計測データの変化量を追跡する方法としては、画像処理などの波形解析の分野でのエッジ抽出手法が知られている（非特許文献２）。
【０００５】
【非特許文献１】
K. Kraus、 N. Pfeifer、 2001. IAPRS Vol XXXIV、 Part 3/W4、 Annapolis、 Maryland、 USA "ADVANCED DTM GENERATION FROM LIDAR DATA"
【非特許文献２】
田中亮介、横山大、近津博文：2003、地上据置型レーザスキャナを用いたビジュアルトラバースシステムの構築に関する研究、日本写真測量学会平成14年度秋季学術講演会、pp.117-120
【０００６】
【発明が解決しようとする課題】
しかし、ノイズ除去に関する公知技術においては、Ｚ値と呼ばれる高さ方向のデータに対して検討を行っているため、建物などを対象とした場合には、地表面に近い部分は計測データが残るものの、それより上方の計測データが削除されてしまい、汎用性に問題がある。
【０００７】
一方、画像処理分野におけるエッジ抽出法では、細やかな変化までを検出するため、ブレークラインのみを抽出することは難しい。細かな変化を考慮することが可能なＣａｎｎｙ法と呼ばれる画像処理手法においては、大きな変化のある部分をエッジとして残すため、ノイズと平坦な地形部分との境目などもブレークラインとして抽出するなどの問題が発生していた。さらに、レーザスキャナの計測結果である受光強度画像や距離画像に対して、Ｃａｎｎｙ法などの画像処理を適用しても正確なブレークラインを抽出できなかった。図１３に受光強度画像と距離画像に対してＣａｎｎｙ法を適用した結果を示す。
【０００８】
本発明は、このような事情に鑑み、汎用性の高いノイズ除去とブレークライン抽出が可能な測量データの処理方法を提供することを目的とする。
【０００９】
【課題を解決するための手段】
汎用性の高いノイズ除去を行うための、本発明の測量データの処理方法は、
レーザスキャニング装置の計測データからノイズを除去する方法であって、
上記レーザスキャニング装置の３次元点群データに対して二次元の評価領域を設定し、
該評価領域を計測点を頂点とする三角形に分割し、各分割された三角形に対して法線ベクトルを求めた後に、求めた各法線ベクトルを合成して前記評価領域の合成法線ベクトルを求め、
該合成法線ベクトルが基準軸と一致するように上記計測点を回転移動させ、
該回転移動させた上記計測点の上記基準軸方向の標準偏差を求め、
該標準偏差が所定値以下の場合は、上記計測点がノイズではないと判断し、
該標準偏差が所定値を超えた場合、上記計測点が平坦な面に含まれる点であるか否かを判断することによって上記計測点がノイズであるか否かを判断することを特徴とする。
上記評価領域が各隅に上記計測点を配置した矩形領域であって、該矩形領域の中心に対応する上記計測点を上記ノイズとして取り扱うことが好ましい。
【００１０】
ブレークラインの抽出を行なうための、本発明の測量データの処理方法は、レーザスキャニング装置の計測データからブレークラインを抽出する方法であって、
上記レーザスキャニング装置の３次元点群データに対して二次元の評価領域を設定し、
該評価領域を計測点を頂点とする三角形に分割し、各分割された三角形に対して法線ベクトルを求めた後に、求めた各法線ベクトルを合成して前記評価領域の合成法線ベクトルを求め、
該合成法線ベクトルが基準軸と一致するように上記計測点を回転移動させ、
該回転移動させた上記計測点の上記基準軸方向の標準偏差を求め、
求められた標準偏差の値を画素の輝度値として表した標準偏差画像中の任意の画素を中心としてマスクを設定し、そのマスク内で輝度値の平均を求め、その平均輝度値を中心画素に与え、
上記標準偏差画像中の任意の画素の輝度値をｇ０、その周囲の画素の輝度値をｇiとするときに、中央に有る画素の輝度値ｇ０について距離による重み付けをした補正値ｇ０’を求め、
【数２】
上記式で求められる補正値ｇ０’が正になった点をブレークラインとして抽出することを特徴とする。
【００１１】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。
図１はレーザスキャニング装置１による計測イメージを示している。レーザスキャニング装置１は、発光部と受光部（図示せず）が装置本体に対して上下方向及び左右方向に（Ｘ軸及びＺ軸の回りに）移動可能に取り付けられている。
【００１２】
つまり、レーザスキャニング装置１は、予め指定された計測範囲２に対し、上下方向及び左右方向に所定のピッチでレーザ光を照射し、予め指定された点数での計測を行なう。また、レーザ光の往復時間により計測点までの距離を計測する。つまり、計測結果としては、計測点の三次元座標値と、レーザ光の受光強度との集合体である点群データが記録される。この点群データは、上下方向と左右方向の計測点数が一定となることから、２次元配列状のデータとしての整理が可能となる。
【００１３】
受光強度データを上下方向と左右方向の計測点数に従って整理すると、受光強度画像（図示せず）が得られる。つまり、この受光強度画像上では、計測結果が各点の三次元座標に対応付けられており、受光強度の代わりにレーザスキャニング装置１からの距離の違いを色で表すことで距離画像も作成される。なお、レーザスキャニング装置１の計測データはパーソナルコンピュータ３に送られて、種々の処理が施される。
【００１４】
次に、本発明のノイズの除去方法について、図２のフローチャートを参照しながら説明する。
ノイズの除去に際しては、まず２次元配列上の注目点（全計測点のうちの1点）を中心として矩形領域（評価領域）を設定する（ステップＳ１）。図３に矩形領域４の設定のイメージを示す。この矩形領域は、計測点数にしたがって整理されている２次元配列に対して設定し、最初に設定する矩形領域のサイズとしては、最低ドット数を５×５とする。なお、２次元配列に整理された各点には、実際の計測結果である３次元座標が対応付けられている。つぎに、図３（ｂ）として設定されている矩形領域４に対し、各点に対応付けられている三次元座標を用いて２次元配列の状態から３次元での状態に矩形領域の表現方法を変換し、矩形領域４について各店の３次元座標を用いて辺長が縦横方向共に0.3ｍとなるかを検討する。辺長が0.3ｍに満たない場合には、図３（ｄ）に示すように、２次元配列でのドット数を拡大した後に、図３（ｃ）の３次元座標を用いた状態にて辺長の再検討を繰返し、辺長が0.3ｍとなる２次元配列での矩形領域サイズを検討する。このように矩形領域４を拡大させるのは、距離が大きくなる程、レーザ光の照射範囲が拡大し、計測点の密度が小さくなるために、一定範囲内での評価を行うことが難しくなるためである。
【００１５】
このとき、２次元配列上に計測された点データが存在しない場合があるが、このような場合には、矩形領域４のドット数に制限を設け、制限以上のドット数とならないようにすることで対応する。
【００１６】
本発明では、前述のように矩形領域４の辺長の上限を0.3ｍとしているが、その根拠としては、ＩＲＩ（国際ラフネス指数、International Roughness Index）と呼ばれる路面の状態評価手法において、評価を実施するための範囲を0.3ｍと定義されていることが挙げられる。しかし、この長さは特に0.3ｍという値に限定されるものではなく、状況に応じて変更することも可能とする。
【００１７】
次に、図４（ａ）に示すように矩形領域４を構成する８つの端点を２次元配列による内容から、各点に対応付けられている３次元座標を用いた内容に置き換え、その中央に位置する点に対応する計測点５から形成される曲面６を考える。この曲面６については、各計測点５を頂点とする三角形７に分割し、その法線ベクトルＥを求める。法線ベクトルＥは以下の式で求めることが可能である。
【００１８】
【数３】
【００１９】
そして、曲面６を構成する全ての三角形７について法線ベクトルＥｎを求め（同図（ｂ）参照）、各法線ベクトルＥｎを一つにまとめて合成法線ベクトルＥｏを求める（同図（ｃ）参照）。このようにして合成法線ベクトルＥｏを求めると、曲面６の座標系に対する傾きが分かる。
【００２０】
合成法線ベクトルＥｏを求めるにあたっては、空と建物の境界線のように、設定した矩形領域４内に計測点が存在しない場合があり、矩形領域４内に作成される三角形７の数が少なくなる。このようなケースについては、三角形７が１つでも作成されたならば、合成法線ベクトルＥｏを求め、その後の作業を継続する。図６にこのような場合の三角形の設定イメージを、２次元配列として表現されている受光強度画像を用いて示す。
【００２１】
次に、図４（ｄ）に示すように、合成法線ベクトルＥｏがＺ軸と一致するように中央の計測点５ｃを中心として２次元配列にて設定された矩形領域内に含まれる全ての計測点について回転移動を行う（ステップＳ２）。この作業によって、３次元座標を用いて表現されている矩形領域の向きがほぼＸ−Ｙ平面と平行な状態になる。なお、基準軸はレーザスキャニング装置１の高さ方向を表すＺ軸にするのが普通であるが、基準となり得るものであれば、その方向は特に問わない。
【００２２】
次に、回転移動を行った後の曲面６（矩形領域端点を用いて作成された曲面）内に含まれる各計測点について、Ｚ値の標準偏差σ（平面度）を次の式から求める（ステップＳ３）。図５は矩形領域内に含まれる各計測点のＸ−Ｙ平面に対する標準偏差を表すイメージ図である。
【００２３】
【数４】
【００２４】
次に、求めた標準偏差σが閾値以下であるか否かを判断する（ステップＳ４）。標準偏差σが閾値以下の場合は、曲面６の中心にある計測点５が平坦な地形を構成する点であり、ノイズではないと判断する（ステップＳ５）。一方、標準偏差σが閾値を超えている場合には、曲面６の中心にある計測点５が平坦な面に含まれる点であるか否かを判断する（ステップＳ６）。つまり、自分以外の点を中心とした検討を行う際に，当該矩形領域が平坦であると評価されると同時に，自身が矩形領域に含まれており，かつ標準偏差を求める際の平均値との回転移動後の自分自身の点についてＺ値の差が閾値以内に入っている点であるかを検討する。
【００２５】
その結果、他の計測点５を中心として検討を行った際にはその点の標準偏差が閾値以下であり、回転移動を行ったときの平均値とのＺ値の差が閾値以内に入る場合には、先に調べた計測点５に関する標準偏差σが閾値を超えていても、その計測点５のデータはノイズではないと判断する。これは、斜面と平坦面の境にある計測点がノイズとして判定され易く、誤判定を防止するためである。図７は計測点の傾斜と標準偏差の関係を示すイメージ図である。一方、他の計測点に関する標準偏差についても閾値を超えている場合には、計測点をノイズとして除去する（ステップＳ７）。
標準偏差というのは、平均値 ± 1 標準偏差の範囲内には全データの68.27％が含まれるという意味をもつ。よって、中央点が平坦であると表現されたことで、平行移動後の矩形領域内の計測点について検討を行い、平均値からのＺ値の差が閾値以内にはいることで、その点も平面を構成する点に含まれると判断される。
【００２６】
つまり、これら一連の作業によって、計測点５の標準偏差σが閾値以下である場合、または計測点５の曲面６内での処理によってノイズでないと判断された場合、その計測点を地形情報として記録し（ステップＳ５）、いずれの条件も満たさない場合には、その計測点をノイズとして計測結果から除外するのである（ステップＳ７）。
【００２７】
段落〔００１４〕からここまでの作業を２次元配列に存在する全計測点について繰り返すことで、ノイズの除去が行われる。
【００２８】
ところで、本発明では標準偏差の閾値として、前述の国際ラフネス指数ＩＲＩを用いている。本発明の主たる適用先として考えられる地形計測に関しては、”雨水に侵食された溝および深いくぼみ状態”でのＩＲＩは８〜20（m/km）としているが、これを従来からの日本の路面評価に用いられている標準偏差に置き換えた場合、両者の間には、ＩＲＩ=0.74σ3m+1.77の関係があるので、ＩＲＩ＝２０とすると、標準偏差σ3mは０.０２５ｍとなる。そこで、平坦な地形である場合の、平面度として標準偏差閾値を０.０２５ｍとして設定した。
【００２９】
図８は、本発明のノイズ除去を行なった場合の実験結果を示している。同図（ｂ）では、同図（ａ）の、樹木などの平面度としての評価が低い部分が除去されているのが分かる。
【００３０】
次に、本発明に係る測量データの処理方法において、レーザスキャニング装置の計測データからブレークラインを抽出する方法について説明する。この場合、レーザスキャニング装置の計測データから上述の式４によって標準偏差σを求め、その標準偏差画像を用いて、ブレークラインの抽出を行う。
図９（ｂ）はブレークラインの抽出に用いる標準偏差画像を示している。この標準偏差画像は、各点において求められた標準偏差σの値を画素の輝度値（０〜２５５）として表したものである。本発明に係るブレークラインを抽出する方法では、ノイズでない（平坦な地形である）と判断された点の輝度値を５、それ以外の点については、標準偏差量が０．０２５ｍ〜０．１５ｍの間を輝度値１０〜２５５として段階的に表現している。なお、ブレークラインの抽出結果の判断を容易にするため、ブレークラインの抽出に関しては地形ではなく、建物を対象とした場合について説明する。
【００３１】
図１１はブレークラインの抽出法を説明する図である。ブレークラインの抽出にあたっては、標準偏差σの値が大きい部分にブレークラインが存在するとの考えに沿い、まず、標準偏差画像において５×５のマスクで平滑化を実施する。これは、平坦であると判断された部分（輝度値＝５）とノイズである（標準偏差が大きい）とされた場所の境目をブレークラインとして誤検出するのを防止するためである。つまり、平滑化の前は、図１１のＢの位置にブレークラインが抽出されるが、平滑化を行なうと、Ａの位置にブレークラインが抽出される。ブレークラインが何本抽出されるかは、対象物の幅Ｄに依存する。
【００３２】
平滑化にあたっては、標準偏差画像において任意の画素を中心として５×５のマスクを設定し、このマスク内で輝度値の平均を求め、その値を新しい輝度値としてマスク内の中心画素に与える。次に、標準偏差画像中の任意の画素の輝度値をｇ０、その周囲の画素の輝度値をｇ ｉ とするとき、中央にある画素の輝度値ｇ０について、次の式で距離による重みを付けた補正値ｇ０’求める。図１０は画素の位置関係を示す図で、実際には５×５のマスクを使用しているが、この図では簡略化のため３×３のマスクとして示す。
【００３３】
【数５】
【００３４】
ブレークラインは標準偏差値が大きいという特徴があるが、この特徴を誇張すべく、輝度値g0を距離による重みを付けて補正しているのである。すなわち、中央の画素の標準偏差値が大きければ大きい程、補正値g0'の値が大きく、かつ、正の値となる。よって、以上の式で求められる補正値g0’が正になった点をブレークラインとして抽出する。なお、この処理によって線幅が２ドット以上になった場合には、細線化と呼ばれる線幅を細くする処理を行なえばよい。
【００３５】
図１２は本発明のブレークライン抽出法による実験結果を示している。本発明の方法によれば、同図（ｂ）に示すように、Ｃａｎｎｙ法では抽出できなかった建物のブレークラインの抽出が可能になるのが確認された。
【００３６】
本発明とは直接関連しないので、詳細な説明は省略するが、レーザスキャニング装置１で複数位置から計測を行ない、その計測データから前述のようにしてノイズ除去を行ない、一つの座標系に統合することで、地形モデルを作成でき、地形情報（ＤＴＭ）の作成の支援に役立つことになる。
【００３７】
なお、以上の実施形態では、平坦度を調べるための評価領域は矩形に形成してあるが、その形状は必ずしも矩形に限定されるものではなく、円形や三角形に形成してもよい。
また、合成法線ベクトルＥｏを一致させる基準方向についても、必ずしもＺ方向である必要はなく、測量対象に応じて適宜設定すればよい。
【００３８】
【発明の効果】
本発明によれば、評価領域に対応する測定点の合成法線ベクトルを求め、その向きが基準方向と一致するように計測点を回転移動させ、その状態で計測点の基準方向に対する標準偏差を求めているので、つまり、測定点を含む曲面を基準方向と垂直な面に変換して、計測点の標準偏差を評価しているので、地形の急激な変化面や建物の壁面などを計測する場合でも、その傾斜を気にせずに平面度の評価を行なうことができ、汎用性の高いノイズ除去が可能になる。
【００３９】
さらに、平面度の評価に用いる標準偏差を利用し、周囲に対して標準偏差の変動が大きい箇所をブレークラインとしているので、ブレークラインの抽出が正確かつ容易になるという効果もある。
【図面の簡単な説明】
【図１】レーザスキャニング装置の計測方法を説明する図である。
【図２】本発明のノイズ除去方法を示すフローチャートである。
【図３】矩形領域の設定方法を説明する図である。
【図４】計測点の回転移動させる方法を説明する図である。
【図５】計測点の標準偏差を説明する図である。
【図６】合成法線ベクトルの求め方を説明する図である。
【図７】傾斜面と平坦面の境を判定する方法を説明する図である。
【図８】受光強度画像を示す図で、（ａ）はノイズ除去前の状態を示す図、（ｂ）はノイズ除去後の状態を示す図である。
【図９】（ａ）は実画像、（ｂ）は標準偏差画像である。
【図１０】標準偏差画像における画素の位置関係を示す図である。
【図１１】ブレークラインの抽出方法を説明する図である。
【図１２】（ａ）は実画像、（ｂ）はブレークラインを抽出した標準偏差画像である。
【図１３】（ａ）は実画像、（ｂ）は受光強度画像にＣａｎｎｙ法を適用した図、（ｃ）は距離画像にＣａｎｎｙ法を適用した図である。
【符号の説明】
１ レーザスキャニング装置
２ 計測範囲
３ パーソナルコンピュータ
４ 矩形領域
５ 計測点
７ 三角形
Ｅ 法線ベクトル
Ｅｏ 合成法線ベクトル
【発明の属する技術分野】
本発明は、レーザスキャニング装置の計測データからノイズの除去とブレークラインの抽出を自動的に行なう測量データの処理方法に関する。
【０００２】
【従来の技術】
近年、レーザスキャニング装置は、広範囲の三次元データをリアルタイムで取得できる有用な計測機器として注目を集め、数多くの分野への適用が検討されている。適用先の一つとして地形計測が挙げられる。地形計測で一般的な手法であるトラバース測量では、二次元地形図しか作成できないため、三次元計測が可能なレーザスキャニング装置が注目を集めているのである。
【０００３】
しかし、レーザスキャニング装置による計測には問題もある。その最たるものが、木や草、電柱などによるノイズが計測結果に多く含まれてしまうという問題である。計測結果からノイズを除去する技術として、Ｚ値（高さ方向の情報）を検討し、ある計測点より低い位置に他の計測点が存在する場合には、その計測点をノイズとして除去する方法が知られている（非特許文献１）。
【０００４】
一方、地形が大きく変化している部分や建物の角などの稜線を表すブレークラインに関しては、レーザスキャナ装置による抽出方法はまだ確立されていない。また、計測データの変化量を追跡する方法としては、画像処理などの波形解析の分野でのエッジ抽出手法が知られている（非特許文献２）。
【０００５】
【非特許文献１】
K. Kraus、 N. Pfeifer、 2001. IAPRS Vol XXXIV、 Part 3/W4、 Annapolis、 Maryland、 USA "ADVANCED DTM GENERATION FROM LIDAR DATA"
【非特許文献２】
田中亮介、横山大、近津博文：2003、地上据置型レーザスキャナを用いたビジュアルトラバースシステムの構築に関する研究、日本写真測量学会平成14年度秋季学術講演会、pp.117-120
【０００６】
【発明が解決しようとする課題】
しかし、ノイズ除去に関する公知技術においては、Ｚ値と呼ばれる高さ方向のデータに対して検討を行っているため、建物などを対象とした場合には、地表面に近い部分は計測データが残るものの、それより上方の計測データが削除されてしまい、汎用性に問題がある。
【０００７】
一方、画像処理分野におけるエッジ抽出法では、細やかな変化までを検出するため、ブレークラインのみを抽出することは難しい。細かな変化を考慮することが可能なＣａｎｎｙ法と呼ばれる画像処理手法においては、大きな変化のある部分をエッジとして残すため、ノイズと平坦な地形部分との境目などもブレークラインとして抽出するなどの問題が発生していた。さらに、レーザスキャナの計測結果である受光強度画像や距離画像に対して、Ｃａｎｎｙ法などの画像処理を適用しても正確なブレークラインを抽出できなかった。図１３に受光強度画像と距離画像に対してＣａｎｎｙ法を適用した結果を示す。
【０００８】
本発明は、このような事情に鑑み、汎用性の高いノイズ除去とブレークライン抽出が可能な測量データの処理方法を提供することを目的とする。
【０００９】
【課題を解決するための手段】
汎用性の高いノイズ除去を行うための、本発明の測量データの処理方法は、
レーザスキャニング装置の計測データからノイズを除去する方法であって、
上記レーザスキャニング装置の３次元点群データに対して二次元の評価領域を設定し、
該評価領域を計測点を頂点とする三角形に分割し、各分割された三角形に対して法線ベクトルを求めた後に、求めた各法線ベクトルを合成して前記評価領域の合成法線ベクトルを求め、
該合成法線ベクトルが基準軸と一致するように上記計測点を回転移動させ、
該回転移動させた上記計測点の上記基準軸方向の標準偏差を求め、
該標準偏差が所定値以下の場合は、上記計測点がノイズではないと判断し、
該標準偏差が所定値を超えた場合、上記計測点が平坦な面に含まれる点であるか否かを判断することによって上記計測点がノイズであるか否かを判断することを特徴とする。
上記評価領域が各隅に上記計測点を配置した矩形領域であって、該矩形領域の中心に対応する上記計測点を上記ノイズとして取り扱うことが好ましい。
【００１０】
ブレークラインの抽出を行なうための、本発明の測量データの処理方法は、レーザスキャニング装置の計測データからブレークラインを抽出する方法であって、
上記レーザスキャニング装置の３次元点群データに対して二次元の評価領域を設定し、
該評価領域を計測点を頂点とする三角形に分割し、各分割された三角形に対して法線ベクトルを求めた後に、求めた各法線ベクトルを合成して前記評価領域の合成法線ベクトルを求め、
該合成法線ベクトルが基準軸と一致するように上記計測点を回転移動させ、
該回転移動させた上記計測点の上記基準軸方向の標準偏差を求め、
求められた標準偏差の値を画素の輝度値として表した標準偏差画像中の任意の画素を中心としてマスクを設定し、そのマスク内で輝度値の平均を求め、その平均輝度値を中心画素に与え、
上記標準偏差画像中の任意の画素の輝度値をｇ０、その周囲の画素の輝度値をｇiとするときに、中央に有る画素の輝度値ｇ０について距離による重み付けをした補正値ｇ０’を求め、
【数２】
【００１１】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。
図１はレーザスキャニング装置１による計測イメージを示している。レーザスキャニング装置１は、発光部と受光部（図示せず）が装置本体に対して上下方向及び左右方向に（Ｘ軸及びＺ軸の回りに）移動可能に取り付けられている。
【００１２】
つまり、レーザスキャニング装置１は、予め指定された計測範囲２に対し、上下方向及び左右方向に所定のピッチでレーザ光を照射し、予め指定された点数での計測を行なう。また、レーザ光の往復時間により計測点までの距離を計測する。つまり、計測結果としては、計測点の三次元座標値と、レーザ光の受光強度との集合体である点群データが記録される。この点群データは、上下方向と左右方向の計測点数が一定となることから、２次元配列状のデータとしての整理が可能となる。
【００１３】
受光強度データを上下方向と左右方向の計測点数に従って整理すると、受光強度画像（図示せず）が得られる。つまり、この受光強度画像上では、計測結果が各点の三次元座標に対応付けられており、受光強度の代わりにレーザスキャニング装置１からの距離の違いを色で表すことで距離画像も作成される。なお、レーザスキャニング装置１の計測データはパーソナルコンピュータ３に送られて、種々の処理が施される。
【００１４】
次に、本発明のノイズの除去方法について、図２のフローチャートを参照しながら説明する。
ノイズの除去に際しては、まず２次元配列上の注目点（全計測点のうちの1点）を中心として矩形領域（評価領域）を設定する（ステップＳ１）。図３に矩形領域４の設定のイメージを示す。この矩形領域は、計測点数にしたがって整理されている２次元配列に対して設定し、最初に設定する矩形領域のサイズとしては、最低ドット数を５×５とする。なお、２次元配列に整理された各点には、実際の計測結果である３次元座標が対応付けられている。つぎに、図３（ｂ）として設定されている矩形領域４に対し、各点に対応付けられている三次元座標を用いて２次元配列の状態から３次元での状態に矩形領域の表現方法を変換し、矩形領域４について各店の３次元座標を用いて辺長が縦横方向共に0.3ｍとなるかを検討する。辺長が0.3ｍに満たない場合には、図３（ｄ）に示すように、２次元配列でのドット数を拡大した後に、図３（ｃ）の３次元座標を用いた状態にて辺長の再検討を繰返し、辺長が0.3ｍとなる２次元配列での矩形領域サイズを検討する。このように矩形領域４を拡大させるのは、距離が大きくなる程、レーザ光の照射範囲が拡大し、計測点の密度が小さくなるために、一定範囲内での評価を行うことが難しくなるためである。
【００１５】
このとき、２次元配列上に計測された点データが存在しない場合があるが、このような場合には、矩形領域４のドット数に制限を設け、制限以上のドット数とならないようにすることで対応する。
【００１６】
本発明では、前述のように矩形領域４の辺長の上限を0.3ｍとしているが、その根拠としては、ＩＲＩ（国際ラフネス指数、International Roughness Index）と呼ばれる路面の状態評価手法において、評価を実施するための範囲を0.3ｍと定義されていることが挙げられる。しかし、この長さは特に0.3ｍという値に限定されるものではなく、状況に応じて変更することも可能とする。
【００１７】
次に、図４（ａ）に示すように矩形領域４を構成する８つの端点を２次元配列による内容から、各点に対応付けられている３次元座標を用いた内容に置き換え、その中央に位置する点に対応する計測点５から形成される曲面６を考える。この曲面６については、各計測点５を頂点とする三角形７に分割し、その法線ベクトルＥを求める。法線ベクトルＥは以下の式で求めることが可能である。
【００１８】
【数３】
そして、曲面６を構成する全ての三角形７について法線ベクトルＥｎを求め（同図（ｂ）参照）、各法線ベクトルＥｎを一つにまとめて合成法線ベクトルＥｏを求める（同図（ｃ）参照）。このようにして合成法線ベクトルＥｏを求めると、曲面６の座標系に対する傾きが分かる。
【００２０】
合成法線ベクトルＥｏを求めるにあたっては、空と建物の境界線のように、設定した矩形領域４内に計測点が存在しない場合があり、矩形領域４内に作成される三角形７の数が少なくなる。このようなケースについては、三角形７が１つでも作成されたならば、合成法線ベクトルＥｏを求め、その後の作業を継続する。図６にこのような場合の三角形の設定イメージを、２次元配列として表現されている受光強度画像を用いて示す。
【００２１】
次に、図４（ｄ）に示すように、合成法線ベクトルＥｏがＺ軸と一致するように中央の計測点５ｃを中心として２次元配列にて設定された矩形領域内に含まれる全ての計測点について回転移動を行う（ステップＳ２）。この作業によって、３次元座標を用いて表現されている矩形領域の向きがほぼＸ−Ｙ平面と平行な状態になる。なお、基準軸はレーザスキャニング装置１の高さ方向を表すＺ軸にするのが普通であるが、基準となり得るものであれば、その方向は特に問わない。
【００２２】
次に、回転移動を行った後の曲面６（矩形領域端点を用いて作成された曲面）内に含まれる各計測点について、Ｚ値の標準偏差σ（平面度）を次の式から求める（ステップＳ３）。図５は矩形領域内に含まれる各計測点のＸ−Ｙ平面に対する標準偏差を表すイメージ図である。
【００２３】
【数４】
次に、求めた標準偏差σが閾値以下であるか否かを判断する（ステップＳ４）。標準偏差σが閾値以下の場合は、曲面６の中心にある計測点５が平坦な地形を構成する点であり、ノイズではないと判断する（ステップＳ５）。一方、標準偏差σが閾値を超えている場合には、曲面６の中心にある計測点５が平坦な面に含まれる点であるか否かを判断する（ステップＳ６）。つまり、自分以外の点を中心とした検討を行う際に，当該矩形領域が平坦であると評価されると同時に，自身が矩形領域に含まれており，かつ標準偏差を求める際の平均値との回転移動後の自分自身の点についてＺ値の差が閾値以内に入っている点であるかを検討する。
【００２５】
その結果、他の計測点５を中心として検討を行った際にはその点の標準偏差が閾値以下であり、回転移動を行ったときの平均値とのＺ値の差が閾値以内に入る場合には、先に調べた計測点５に関する標準偏差σが閾値を超えていても、その計測点５のデータはノイズではないと判断する。これは、斜面と平坦面の境にある計測点がノイズとして判定され易く、誤判定を防止するためである。図７は計測点の傾斜と標準偏差の関係を示すイメージ図である。一方、他の計測点に関する標準偏差についても閾値を超えている場合には、計測点をノイズとして除去する（ステップＳ７）。
標準偏差というのは、平均値 ± 1 標準偏差の範囲内には全データの68.27％が含まれるという意味をもつ。よって、中央点が平坦であると表現されたことで、平行移動後の矩形領域内の計測点について検討を行い、平均値からのＺ値の差が閾値以内にはいることで、その点も平面を構成する点に含まれると判断される。
【００２６】
つまり、これら一連の作業によって、計測点５の標準偏差σが閾値以下である場合、または計測点５の曲面６内での処理によってノイズでないと判断された場合、その計測点を地形情報として記録し（ステップＳ５）、いずれの条件も満たさない場合には、その計測点をノイズとして計測結果から除外するのである（ステップＳ７）。
【００２７】
段落〔００１４〕からここまでの作業を２次元配列に存在する全計測点について繰り返すことで、ノイズの除去が行われる。
【００２８】
ところで、本発明では標準偏差の閾値として、前述の国際ラフネス指数ＩＲＩを用いている。本発明の主たる適用先として考えられる地形計測に関しては、”雨水に侵食された溝および深いくぼみ状態”でのＩＲＩは８〜20（m/km）としているが、これを従来からの日本の路面評価に用いられている標準偏差に置き換えた場合、両者の間には、ＩＲＩ=0.74σ3m+1.77の関係があるので、ＩＲＩ＝２０とすると、標準偏差σ3mは０.０２５ｍとなる。そこで、平坦な地形である場合の、平面度として標準偏差閾値を０.０２５ｍとして設定した。
【００２９】
図８は、本発明のノイズ除去を行なった場合の実験結果を示している。同図（ｂ）では、同図（ａ）の、樹木などの平面度としての評価が低い部分が除去されているのが分かる。
【００３０】
次に、本発明に係る測量データの処理方法において、レーザスキャニング装置の計測データからブレークラインを抽出する方法について説明する。この場合、レーザスキャニング装置の計測データから上述の式４によって標準偏差σを求め、その標準偏差画像を用いて、ブレークラインの抽出を行う。
図９（ｂ）はブレークラインの抽出に用いる標準偏差画像を示している。この標準偏差画像は、各点において求められた標準偏差σの値を画素の輝度値（０〜２５５）として表したものである。本発明に係るブレークラインを抽出する方法では、ノイズでない（平坦な地形である）と判断された点の輝度値を５、それ以外の点については、標準偏差量が０．０２５ｍ〜０．１５ｍの間を輝度値１０〜２５５として段階的に表現している。なお、ブレークラインの抽出結果の判断を容易にするため、ブレークラインの抽出に関しては地形ではなく、建物を対象とした場合について説明する。
【００３１】
図１１はブレークラインの抽出法を説明する図である。ブレークラインの抽出にあたっては、標準偏差σの値が大きい部分にブレークラインが存在するとの考えに沿い、まず、標準偏差画像において５×５のマスクで平滑化を実施する。これは、平坦であると判断された部分（輝度値＝５）とノイズである（標準偏差が大きい）とされた場所の境目をブレークラインとして誤検出するのを防止するためである。つまり、平滑化の前は、図１１のＢの位置にブレークラインが抽出されるが、平滑化を行なうと、Ａの位置にブレークラインが抽出される。ブレークラインが何本抽出されるかは、対象物の幅Ｄに依存する。
【００３２】
平滑化にあたっては、標準偏差画像において任意の画素を中心として５×５のマスクを設定し、このマスク内で輝度値の平均を求め、その値を新しい輝度値としてマスク内の中心画素に与える。次に、標準偏差画像中の任意の画素の輝度値をｇ０、その周囲の画素の輝度値をｇ ｉ とするとき、中央にある画素の輝度値ｇ０について、次の式で距離による重みを付けた補正値ｇ０’求める。図１０は画素の位置関係を示す図で、実際には５×５のマスクを使用しているが、この図では簡略化のため３×３のマスクとして示す。
【００３３】
【数５】
ブレークラインは標準偏差値が大きいという特徴があるが、この特徴を誇張すべく、輝度値g0を距離による重みを付けて補正しているのである。すなわち、中央の画素の標準偏差値が大きければ大きい程、補正値g0'の値が大きく、かつ、正の値となる。よって、以上の式で求められる補正値g0’が正になった点をブレークラインとして抽出する。なお、この処理によって線幅が２ドット以上になった場合には、細線化と呼ばれる線幅を細くする処理を行なえばよい。
【００３５】
図１２は本発明のブレークライン抽出法による実験結果を示している。本発明の方法によれば、同図（ｂ）に示すように、Ｃａｎｎｙ法では抽出できなかった建物のブレークラインの抽出が可能になるのが確認された。
【００３６】
本発明とは直接関連しないので、詳細な説明は省略するが、レーザスキャニング装置１で複数位置から計測を行ない、その計測データから前述のようにしてノイズ除去を行ない、一つの座標系に統合することで、地形モデルを作成でき、地形情報（ＤＴＭ）の作成の支援に役立つことになる。
【００３７】
なお、以上の実施形態では、平坦度を調べるための評価領域は矩形に形成してあるが、その形状は必ずしも矩形に限定されるものではなく、円形や三角形に形成してもよい。
また、合成法線ベクトルＥｏを一致させる基準方向についても、必ずしもＺ方向である必要はなく、測量対象に応じて適宜設定すればよい。
【００３８】
【発明の効果】
本発明によれば、評価領域に対応する測定点の合成法線ベクトルを求め、その向きが基準方向と一致するように計測点を回転移動させ、その状態で計測点の基準方向に対する標準偏差を求めているので、つまり、測定点を含む曲面を基準方向と垂直な面に変換して、計測点の標準偏差を評価しているので、地形の急激な変化面や建物の壁面などを計測する場合でも、その傾斜を気にせずに平面度の評価を行なうことができ、汎用性の高いノイズ除去が可能になる。
【００３９】
さらに、平面度の評価に用いる標準偏差を利用し、周囲に対して標準偏差の変動が大きい箇所をブレークラインとしているので、ブレークラインの抽出が正確かつ容易になるという効果もある。
【図面の簡単な説明】
【図１】レーザスキャニング装置の計測方法を説明する図である。
【図２】本発明のノイズ除去方法を示すフローチャートである。
【図３】矩形領域の設定方法を説明する図である。
【図４】計測点の回転移動させる方法を説明する図である。
【図５】計測点の標準偏差を説明する図である。
【図６】合成法線ベクトルの求め方を説明する図である。
【図７】傾斜面と平坦面の境を判定する方法を説明する図である。
【図８】受光強度画像を示す図で、（ａ）はノイズ除去前の状態を示す図、（ｂ）はノイズ除去後の状態を示す図である。
【図９】（ａ）は実画像、（ｂ）は標準偏差画像である。
【図１０】標準偏差画像における画素の位置関係を示す図である。
【図１１】ブレークラインの抽出方法を説明する図である。
【図１２】（ａ）は実画像、（ｂ）はブレークラインを抽出した標準偏差画像である。
【図１３】（ａ）は実画像、（ｂ）は受光強度画像にＣａｎｎｙ法を適用した図、（ｃ）は距離画像にＣａｎｎｙ法を適用した図である。
【符号の説明】
１ レーザスキャニング装置
２ 計測範囲
３ パーソナルコンピュータ
４ 矩形領域
５ 計測点
７ 三角形
Ｅ 法線ベクトル
Ｅｏ 合成法線ベクトル
Claims (3)
- レーザスキャニング装置の計測データからノイズを除去する方法であって、
上記レーザスキャニング装置の３次元点群データに対して二次元の評価領域を設定し、
該評価領域を計測点を頂点とする三角形に分割し、各分割された三角形に対して法線ベクトルを求めた後に、求めた各法線ベクトルを合成して前記評価領域の合成法線ベクトルを求め、
該合成法線ベクトルが基準軸と一致するように上記計測点を回転移動させ、
該回転移動させた上記計測点の上記基準軸方向の標準偏差を求め、
該標準偏差が所定値以下の場合は、上記計測点がノイズではないと判断し、
該標準偏差が所定値を超えた場合、上記計測点が平坦な面に含まれる点であるか否かを判断することによって上記計測点がノイズであるか否かを判断することを特徴とする測量データの処理方法。 - 上記評価領域が各隅に上記計測点を配置した矩形領域であって、該矩形領域の中心に対応する上記計測点を上記ノイズとして取り扱うことを特徴とする請求項１に記載の測量データの処理方法。
- レーザスキャニング装置の計測データからブレークラインを抽出する方法であって、
上記レーザスキャニング装置の３次元点群データに対して二次元の評価領域を設定し、
該評価領域を計測点を頂点とする三角形に分割し、各分割された三角形に対して法線ベクトルを求めた後に、求めた各法線ベクトルを合成して前記評価領域の合成法線ベクトルを求め、
該合成法線ベクトルが基準軸と一致するように上記計測点を回転移動させ、
該回転移動させた上記計測点の上記基準軸方向の標準偏差を求め、
求められた標準偏差の値を画素の輝度値として表した標準偏差画像中の任意の画素を中心としてマスクを設定し、そのマスク内で輝度値の平均を求め、その平均輝度値を中心画素に与え、
上記標準偏差画像中の任意の画素の輝度値をｇ０、その周囲の画素の輝度値をｇiとするときに、中央に有る画素の輝度値ｇ０について距離による重み付けをした補正値ｇ０’を求め、
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003189659A JP4427656B2 (ja) | 2003-07-01 | 2003-07-01 | 測量データの処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003189659A JP4427656B2 (ja) | 2003-07-01 | 2003-07-01 | 測量データの処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005024370A JP2005024370A (ja) | 2005-01-27 |
| JP4427656B2 true JP4427656B2 (ja) | 2010-03-10 |
Family
ID=34187800
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003189659A Expired - Fee Related JP4427656B2 (ja) | 2003-07-01 | 2003-07-01 | 測量データの処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4427656B2 (ja) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007170821A (ja) * | 2005-12-19 | 2007-07-05 | Enzan Kobo:Kk | 三次元変位計測方法 |
| WO2011070927A1 (ja) | 2009-12-11 | 2011-06-16 | 株式会社トプコン | 点群データ処理装置、点群データ処理方法、および点群データ処理プログラム |
| JP5343042B2 (ja) * | 2010-06-25 | 2013-11-13 | 株式会社トプコン | 点群データ処理装置および点群データ処理プログラム |
| JP5462093B2 (ja) * | 2010-07-05 | 2014-04-02 | 株式会社トプコン | 点群データ処理装置、点群データ処理システム、点群データ処理方法、および点群データ処理プログラム |
| JP5465128B2 (ja) | 2010-08-11 | 2014-04-09 | 株式会社トプコン | 点群位置データ処理装置、点群位置データ処理システム、点群位置データ処理方法、および点群位置データ処理プログラム |
| WO2012141235A1 (ja) | 2011-04-13 | 2012-10-18 | 株式会社トプコン | 三次元点群位置データ処理装置、三次元点群位置データ処理システム、三次元点群位置データ処理方法およびプログラム |
| JP6660774B2 (ja) * | 2016-03-08 | 2020-03-11 | オリンパス株式会社 | 高さデータ処理装置、表面形状測定装置、高さデータ補正方法、及びプログラム |
| JP2017181291A (ja) | 2016-03-30 | 2017-10-05 | 富士通株式会社 | 距離測定装置、距離測定方法及びプログラム |
| CN108592860B (zh) * | 2018-03-12 | 2020-08-18 | 西安应用光学研究所 | 用于机载光电观瞄系统基轴对准操作后的瞄准线输出角度计算方法 |
| JP7216994B2 (ja) * | 2018-11-08 | 2023-02-02 | 一廣 片岡 | 現況測量図作成システム、方法及びプログラム |
| JP7477139B2 (ja) * | 2020-02-19 | 2024-05-01 | 北陽電機株式会社 | 物体検出装置、物体検出システム、物体検出プログラムおよび物体検出方法 |
| JP2024015880A (ja) | 2022-07-25 | 2024-02-06 | オークマ株式会社 | 三次元点群データ処理システム |
-
2003
- 2003-07-01 JP JP2003189659A patent/JP4427656B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2005024370A (ja) | 2005-01-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110531759B (zh) | 机器人探索路径生成方法、装置、计算机设备和存储介质 | |
| JP3910582B2 (ja) | 三次元構造物形状の自動生成装置、自動生成方法、そのプログラム、及びそのプログラムを記録した記録媒体 | |
| US9947109B2 (en) | Method and apparatus for direct detection, location, analysis, identification, and reporting of vegetation clearance violations | |
| CN110163064B (zh) | 一种道路标志物的识别方法、装置及存储介质 | |
| JP5161936B2 (ja) | データ解析装置、データ解析方法、及びプログラム | |
| Alharthy et al. | Detailed building reconstruction from airborne laser data using a moving surface method | |
| JP4427656B2 (ja) | 測量データの処理方法 | |
| McIntosh et al. | Integration of laser-derived DSMs and matched image edges for generating an accurate surface model | |
| JP6099728B1 (ja) | レーザ計測システム及びレーザ計測方法 | |
| JP4619504B2 (ja) | ３次元デジタル地図作成装置 | |
| CN114387506A (zh) | 输电杆塔监测方法、装置、计算机设备、存储介质 | |
| Błaszczak-Bąk et al. | Optimization of point clouds for 3D bas-relief modeling | |
| Torok et al. | Post-disaster robotic building assessment: Automated 3D crack detection from image-based reconstructions | |
| JP4217251B2 (ja) | 三次元構造物形状の自動生成装置、自動生成方法、そのプログラム、及びそのプログラムを記録した記録媒体 | |
| Elkhrachy | Feature extraction of laser scan data based on geometric properties | |
| Yan et al. | Quality analysis on ransac-based roof facets extraction from airborne lidar data | |
| Gujski et al. | Machine learning clustering for point clouds optimisation via feature analysis in Cultural Heritage | |
| KR20100109216A (ko) | 구조물 윤곽선 추출장치 및 방법 | |
| Wolf et al. | Applicability of neural networks for image classification on object detection in mobile mapping 3d point clouds | |
| JP4035018B2 (ja) | 形状獲得方法、装置、プログラム、およびこのプログラムを記録した記録媒体 | |
| Chen et al. | Intelligent interpretation of the geometric properties of rock mass discontinuities based on an unmanned aerial vehicle | |
| Gonçalves et al. | 3D cliff reconstruction by drone: An in-depth analysis of the image network | |
| Wasklewicz et al. | Terrestrial 3D laser scanning: a new method for recording rock art | |
| Polat et al. | UAV-based rockfall hazard detection via roughness analysis in Karaköprü, Şanlıurfa using photogrammetric point clouds | |
| CN114219958B (en) | Multi-view remote sensing image classification method, device, equipment and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060623 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081029 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081111 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090113 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090224 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090423 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090519 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090610 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090707 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091006 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20091015 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091110 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091116 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121225 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121225 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131225 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |