JPH11230745A - 高度計測装置 - Google Patents
高度計測装置Info
- Publication number
- JPH11230745A JPH11230745A JP10036232A JP3623298A JPH11230745A JP H11230745 A JPH11230745 A JP H11230745A JP 10036232 A JP10036232 A JP 10036232A JP 3623298 A JP3623298 A JP 3623298A JP H11230745 A JPH11230745 A JP H11230745A
- Authority
- JP
- Japan
- Prior art keywords
- altitude
- plane
- distance
- image
- distance information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
- G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C5/00—Measuring height; Measuring distances transverse to line of sight; Levelling between separated points; Surveyors' levels
- G01C5/005—Measuring height; Measuring distances transverse to line of sight; Levelling between separated points; Surveyors' levels altimeters for aircraft
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/189—Recording image signals; Reproducing recorded image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Measurement Of Optical Distance (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
(57)【要約】
【課題】 実際の移動距離を知るための情報や俯角等の
計測困難な情報に頼ることなく、飛行体の高度を正確に
計測する。 【解決手段】 ステレオカメラ１０で地上の下方風景を
三次元的に撮像し、ステレオ処理部３０で距離画像を生
成する。そして、高度算出部４０で、距離画像のデータ
に対してレンズ歪み補正を行うとともに、地表面を平面
として捉える上で平面を構成していない画素を除去した
後、距離画像を実空間の座標に変換して得られる点群の
データから平面を近似する方程式を求め、飛行体から平
面に下ろした垂線の長さを対地高度として算出する。こ
れにより、実際の移動距離を知るための情報や俯角等の
計測困難な情報に頼ることなく、飛行体の高度を正確に
計測することができる。
計測困難な情報に頼ることなく、飛行体の高度を正確に
計測する。 【解決手段】 ステレオカメラ１０で地上の下方風景を
三次元的に撮像し、ステレオ処理部３０で距離画像を生
成する。そして、高度算出部４０で、距離画像のデータ
に対してレンズ歪み補正を行うとともに、地表面を平面
として捉える上で平面を構成していない画素を除去した
後、距離画像を実空間の座標に変換して得られる点群の
データから平面を近似する方程式を求め、飛行体から平
面に下ろした垂線の長さを対地高度として算出する。こ
れにより、実際の移動距離を知るための情報や俯角等の
計測困難な情報に頼ることなく、飛行体の高度を正確に
計測することができる。
Description
【０００１】
【発明の属する技術分野】本発明は、比較的低高度を飛
行する飛行体の高度を計測する高度計測装置に関する。
行する飛行体の高度を計測する高度計測装置に関する。
【０００２】
【従来の技術】離着陸を含む低空飛行を行う飛行体にお
いては、対地高度を計測する高度計は必須の装置であ
る。特に、最近では、農薬散布等を無人ヘリコプタによ
って行う技術が実用化されつつあり、この無人ヘリコプ
ターをラジコンによって遠隔操作する場合、高度計がな
いと操縦者が遠くからヘリコプタの高度を目測すること
になり、遠くからヘリコプタを離着陸させるには、かな
りの熟練を要する。このような無人ヘリコプタでは、そ
の目的が省力化にあることが多く、できるだけ自律飛行
を行わせるためには、高度計からの高度データが不可欠
となる。
いては、対地高度を計測する高度計は必須の装置であ
る。特に、最近では、農薬散布等を無人ヘリコプタによ
って行う技術が実用化されつつあり、この無人ヘリコプ
ターをラジコンによって遠隔操作する場合、高度計がな
いと操縦者が遠くからヘリコプタの高度を目測すること
になり、遠くからヘリコプタを離着陸させるには、かな
りの熟練を要する。このような無人ヘリコプタでは、そ
の目的が省力化にあることが多く、できるだけ自律飛行
を行わせるためには、高度計からの高度データが不可欠
となる。
【０００３】従来、高度計としては、気圧差を高度に換
算するもの、レーザ、電波、超音波等の地表面に対する
反射時間を測定して高度を計測するもの、Ｄ−ＧＰＳ等
の測位衛星からの測位情報を利用して高度を知るもの、
加速度から高度を求めるもの等があり、対地高度の計測
精度、地上の物体に対する依存性、耐環境性等を考慮し
た場合、それぞれ一長一短があり、低空用の飛行体に搭
載される高度計としての条件を総合的に満足するものは
少ない。
算するもの、レーザ、電波、超音波等の地表面に対する
反射時間を測定して高度を計測するもの、Ｄ−ＧＰＳ等
の測位衛星からの測位情報を利用して高度を知るもの、
加速度から高度を求めるもの等があり、対地高度の計測
精度、地上の物体に対する依存性、耐環境性等を考慮し
た場合、それぞれ一長一短があり、低空用の飛行体に搭
載される高度計としての条件を総合的に満足するものは
少ない。
【０００４】このような低空用の飛行体で対地高度を計
測する高度計としては、特に、地表面の質への依存性が
少ないことが重要であり、飛行体から地上を撮像し、こ
の撮像画像を処理して高度を計測する技術が有望であ
る。画像による高度計測の技術としては、例えば、特開
昭６２−８８９１４号公報に開示された先行技術があ
り、この先行技術では、撮像された領域の画像上での動
きと、その領域の実際の距離との比較から高度を求める
技術が開示されている。
測する高度計としては、特に、地表面の質への依存性が
少ないことが重要であり、飛行体から地上を撮像し、こ
の撮像画像を処理して高度を計測する技術が有望であ
る。画像による高度計測の技術としては、例えば、特開
昭６２−８８９１４号公報に開示された先行技術があ
り、この先行技術では、撮像された領域の画像上での動
きと、その領域の実際の距離との比較から高度を求める
技術が開示されている。
【０００５】
【発明が解決しようとする課題】しかしながら、前述の
画像による高度計測の先行技術では、実際の距離が既知
でなければならないため、撮像した領域の地図が存在
し、且つ、特定の目印等が撮像されていなければならな
い。さらに、撮像視野中心の俯角を知る必要があり、ジ
ャイロ等で間接的に計測せねばならず、精度低下を招
く。
画像による高度計測の先行技術では、実際の距離が既知
でなければならないため、撮像した領域の地図が存在
し、且つ、特定の目印等が撮像されていなければならな
い。さらに、撮像視野中心の俯角を知る必要があり、ジ
ャイロ等で間接的に計測せねばならず、精度低下を招
く。
【０００６】本発明は上記事情に鑑みてなされたもの
で、実際の移動距離を知るための情報や俯角等の計測困
難な情報に頼ることなく、飛行体の高度を正確に計測す
ることのできる高度計測装置を提供することを目的とし
ている。
で、実際の移動距離を知るための情報や俯角等の計測困
難な情報に頼ることなく、飛行体の高度を正確に計測す
ることのできる高度計測装置を提供することを目的とし
ている。
【０００７】
【課題を解決するための手段】請求項１記載の発明は、
飛行体に搭載されて下方風景をステレオ撮像する２台１
組のカメラからなるステレオカメラと、上記ステレオカ
メラで撮像した一対の撮像画像を処理して下方風景に対
する距離情報を算出するステレオ処理部と、複数の計測
点の上記距離情報に基づいて下方の表面形状を高度の基
準として求め、上記飛行体の高度を算出する高度算出部
とを備えたことを特徴とする。
飛行体に搭載されて下方風景をステレオ撮像する２台１
組のカメラからなるステレオカメラと、上記ステレオカ
メラで撮像した一対の撮像画像を処理して下方風景に対
する距離情報を算出するステレオ処理部と、複数の計測
点の上記距離情報に基づいて下方の表面形状を高度の基
準として求め、上記飛行体の高度を算出する高度算出部
とを備えたことを特徴とする。
【０００８】請求項２記載の発明は、請求項１記載の発
明において、上記距離情報に対し、上記ステレオカメラ
のレンズ歪み補正を行うことを特徴とする。
明において、上記距離情報に対し、上記ステレオカメラ
のレンズ歪み補正を行うことを特徴とする。
【０００９】請求項３記載の発明は、請求項１又は請求
項２記載の発明において、上記表面形状を平面として求
め、この平面に上記飛行体から下ろした垂線の長さを高
度として算出することを特徴とする。
項２記載の発明において、上記表面形状を平面として求
め、この平面に上記飛行体から下ろした垂線の長さを高
度として算出することを特徴とする。
【００１０】請求項４記載の発明は、請求項３記載の発
明において、上記距離情報のデータ系列を直線で近似
し、この直線に対して設定した規定の範囲に入らない距
離情報を、平面を構成しない距離情報として除去するこ
とを特徴とする。
明において、上記距離情報のデータ系列を直線で近似
し、この直線に対して設定した規定の範囲に入らない距
離情報を、平面を構成しない距離情報として除去するこ
とを特徴とする。
【００１１】すなわち、請求項１記載の発明では、飛行
体に搭載されたステレオカメラで下方風景を撮像し、こ
のステレオ撮像した一対の撮像画像を処理して下方風景
に対する距離情報を算出した後、複数の計測点の距離情
報に基づいて下方の表面形状を高度の基準として求め、
飛行体の高度を算出する。距離情報は、請求項２に記載
したように、ステレオカメラのレンズ歪み補正を行って
求めることが望ましい。
体に搭載されたステレオカメラで下方風景を撮像し、こ
のステレオ撮像した一対の撮像画像を処理して下方風景
に対する距離情報を算出した後、複数の計測点の距離情
報に基づいて下方の表面形状を高度の基準として求め、
飛行体の高度を算出する。距離情報は、請求項２に記載
したように、ステレオカメラのレンズ歪み補正を行って
求めることが望ましい。
【００１２】また、請求項３の発明では、高度の算出に
際し、高度の基準とする表面形状を平面として捉え、こ
の平面に飛行体から下ろした垂線の長さで高度を算出す
ることができる。この場合、請求項４に記載したよう
に、距離情報のデータ系列を直線で近似し、この直線に
対して設定した規定の範囲に入らない距離情報を平面を
構成しない距離情報として除去することが望ましい。
際し、高度の基準とする表面形状を平面として捉え、こ
の平面に飛行体から下ろした垂線の長さで高度を算出す
ることができる。この場合、請求項４に記載したよう
に、距離情報のデータ系列を直線で近似し、この直線に
対して設定した規定の範囲に入らない距離情報を平面を
構成しない距離情報として除去することが望ましい。
【００１３】
【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。図１〜図４は本発明の実施の一形
態に係わり、図１は高度計測装置の概略構成を示すブロ
ック図、図２は特異点除去処理のフローチャート、図３
は高度算出処理のフローチャート、図４は非平面除去フ
ィルタの説明図である。
施の形態を説明する。図１〜図４は本発明の実施の一形
態に係わり、図１は高度計測装置の概略構成を示すブロ
ック図、図２は特異点除去処理のフローチャート、図３
は高度算出処理のフローチャート、図４は非平面除去フ
ィルタの説明図である。
【００１４】図１は、比較的低高度を飛行する飛行体、
例えば農薬散布用ヘリコプタ等に搭載されて対地高度を
計測するための高度計測装置の基本構成を示し、下方
（地上）風景を三次元的に撮像するための２台１組のカ
メラから構成されるステレオカメラ１０、このステレオ
カメラ１０で撮像した画像に対する入力処理を行う画像
入力部２０、この画像入力部で処理した撮像画像を元画
像としてストアする元画像メモリ２５、元画像をステレ
オ処理して地上の距離分布情報（距離画像）を取得する
ステレオ処理部３０、距離画像をストアする距離画像メ
モリ３５、及び、多数の計測点の距離情報から対地高度
を算出する高度算出部４０等から構成される。
例えば農薬散布用ヘリコプタ等に搭載されて対地高度を
計測するための高度計測装置の基本構成を示し、下方
（地上）風景を三次元的に撮像するための２台１組のカ
メラから構成されるステレオカメラ１０、このステレオ
カメラ１０で撮像した画像に対する入力処理を行う画像
入力部２０、この画像入力部で処理した撮像画像を元画
像としてストアする元画像メモリ２５、元画像をステレ
オ処理して地上の距離分布情報（距離画像）を取得する
ステレオ処理部３０、距離画像をストアする距離画像メ
モリ３５、及び、多数の計測点の距離情報から対地高度
を算出する高度算出部４０等から構成される。
【００１５】上記ステレオカメラ１０を構成する２台の
カメラ１０ａ，１０ｂは、互いに、同期が取れ、且つ、
シャッタースピード可変のＣＣＤカメラであり、一方の
ＣＣＤカメラ１０ａをステレオ処理の際の基準画像を撮
像するメインカメラ、他方のＣＣＤカメラ１０ｂをステ
レオ処理の際の比較画像を撮像するサブカメラとして、
所定の基線長で互いの撮像面垂直軸が平行となるよう配
置されている。
カメラ１０ａ，１０ｂは、互いに、同期が取れ、且つ、
シャッタースピード可変のＣＣＤカメラであり、一方の
ＣＣＤカメラ１０ａをステレオ処理の際の基準画像を撮
像するメインカメラ、他方のＣＣＤカメラ１０ｂをステ
レオ処理の際の比較画像を撮像するサブカメラとして、
所定の基線長で互いの撮像面垂直軸が平行となるよう配
置されている。
【００１６】画像入力部２０は、各ＣＣＤカメラ１０
ａ，１０ｂからの各アナログ撮像信号に対応して、ゲイ
ンコントロールアンプを有するアナログインターフェー
ス、アナログ画像データをデジタル画像データに変換す
るＡ／Ｄコンバータを備え、さらに、画像の明暗部に対
して対数変換を行うためのＬＯＧ変換テーブル等の画像
処理の各種機能を例えば高集積度ＦＰＧＡによって構成
するものであり、ＣＣＤカメラ１０ａ，１０ｂからの撮
像信号に対し、それぞれゲイン調整により信号バランス
を揃えた後、ＬＯＧ変換により低輝度部分のコントラス
トを改善する等の画像補正を行い、所定の輝度階調のデ
ジタル画像データに変換して元画像メモリ２５にストア
する。
ａ，１０ｂからの各アナログ撮像信号に対応して、ゲイ
ンコントロールアンプを有するアナログインターフェー
ス、アナログ画像データをデジタル画像データに変換す
るＡ／Ｄコンバータを備え、さらに、画像の明暗部に対
して対数変換を行うためのＬＯＧ変換テーブル等の画像
処理の各種機能を例えば高集積度ＦＰＧＡによって構成
するものであり、ＣＣＤカメラ１０ａ，１０ｂからの撮
像信号に対し、それぞれゲイン調整により信号バランス
を揃えた後、ＬＯＧ変換により低輝度部分のコントラス
トを改善する等の画像補正を行い、所定の輝度階調のデ
ジタル画像データに変換して元画像メモリ２５にストア
する。
【００１７】ステレオ処理部３０は、シティブロック距
離計算回路、最小値・画素ズレ検出回路等を、同様に、
高集積度ＦＰＧＡによって構成するものであり、元画像
メモリ２５にストアされたメイン画像及びサブ画像の２
枚の画像に対し、各画像の小領域毎にシティブロック距
離を計算して互いの相関を求めることで対応する領域を
特定するステレオマッチング処理を行い、対象物までの
距離に応じて生じる画素のズレ（＝視差）から得られる
対象物までの遠近情報を数値化した３次元画像情報（距
離画像）を取得する。
離計算回路、最小値・画素ズレ検出回路等を、同様に、
高集積度ＦＰＧＡによって構成するものであり、元画像
メモリ２５にストアされたメイン画像及びサブ画像の２
枚の画像に対し、各画像の小領域毎にシティブロック距
離を計算して互いの相関を求めることで対応する領域を
特定するステレオマッチング処理を行い、対象物までの
距離に応じて生じる画素のズレ（＝視差）から得られる
対象物までの遠近情報を数値化した３次元画像情報（距
離画像）を取得する。
【００１８】すなわち、シティブロック距離計算回路で
メイン画像の一つの小領域に対し、対応するサブ画像の
小領域との間のシティブロック距離を計算し、最小値・
画素ズレ検出回路でシティブロック距離の最小値及び最
大値等を評価してシティブロック距離の最小値が本当に
２つの画像の小領域の一致を示しているものかどうかを
チェックする。そして、チェック条件を満足し、且つ、
シティブロック距離が最小になる画素ズレ量を、メイン
画像の小領域に対応する距離情報として距離画像メモリ
３５にストアする。尚、以上のステレオマッチング処理
については、本出願人による特開平５−１１４０９９号
公報に詳述されている。
メイン画像の一つの小領域に対し、対応するサブ画像の
小領域との間のシティブロック距離を計算し、最小値・
画素ズレ検出回路でシティブロック距離の最小値及び最
大値等を評価してシティブロック距離の最小値が本当に
２つの画像の小領域の一致を示しているものかどうかを
チェックする。そして、チェック条件を満足し、且つ、
シティブロック距離が最小になる画素ズレ量を、メイン
画像の小領域に対応する距離情報として距離画像メモリ
３５にストアする。尚、以上のステレオマッチング処理
については、本出願人による特開平５−１１４０９９号
公報に詳述されている。
【００１９】高度算出部４０は、距離画像から得られる
距離分布情報に基づいて高速に認識処理を行うためのＲ
ＩＳＣプロセッサ等からなり、距離画像から得られる多
数の地上までの距離情報から平面あるいは曲面を仮定
し、飛行体からその面までの長さを対地高度として求め
る。本形態では、多数点の距離情報から地表を平面とし
て捉え、飛行体からこの平面に下ろした垂線の長さを対
地高度としており、処理を簡素化して高速に高度を算出
する。
距離分布情報に基づいて高速に認識処理を行うためのＲ
ＩＳＣプロセッサ等からなり、距離画像から得られる多
数の地上までの距離情報から平面あるいは曲面を仮定
し、飛行体からその面までの長さを対地高度として求め
る。本形態では、多数点の距離情報から地表を平面とし
て捉え、飛行体からこの平面に下ろした垂線の長さを対
地高度としており、処理を簡素化して高速に高度を算出
する。
【００２０】すなわち、画面内の多数点の距離を計測す
ることで地表を面として把握することができ、平面のみ
ならず起伏面や段差のある領域等を認識することが可能
であり、広い範囲で精度良く高度を知ることができる。
ることで地表を面として把握することができ、平面のみ
ならず起伏面や段差のある領域等を認識することが可能
であり、広い範囲で精度良く高度を知ることができる。
【００２１】以下、高度算出部４０における高度算出に
係わる処理について、図２及び図３のフローチャートを
用いて説明する。
係わる処理について、図２及び図３のフローチャートを
用いて説明する。
【００２２】多数点の距離情報から地表を平面として捉
える場合、本来は平面を構成していない距離情報が距離
画像に含まれると、高度の検出に大きな影響を与え、信
頼性が低下する。このため、図２に示す特異点除去処理
では、ノイズや突起物の検出によって周囲と著しく値の
異なる特異点を距離画像から除去し、さらに、距離画像
の座標系から実空間の座標系に変換したときに、距離デ
ータの系列が規定の範囲外となる距離データを特異点と
して距離画像から除去する。そして、特異点の除去され
た距離画像を用い、図３の高度算出処理で実空間の座標
系における多数点の距離データを平面に当てはめること
により、平面検出の信頼性を高め、高度の検出精度を向
上することができる。尚、以上の処理は実際にはパイプ
ライン処理として実行される。
える場合、本来は平面を構成していない距離情報が距離
画像に含まれると、高度の検出に大きな影響を与え、信
頼性が低下する。このため、図２に示す特異点除去処理
では、ノイズや突起物の検出によって周囲と著しく値の
異なる特異点を距離画像から除去し、さらに、距離画像
の座標系から実空間の座標系に変換したときに、距離デ
ータの系列が規定の範囲外となる距離データを特異点と
して距離画像から除去する。そして、特異点の除去され
た距離画像を用い、図３の高度算出処理で実空間の座標
系における多数点の距離データを平面に当てはめること
により、平面検出の信頼性を高め、高度の検出精度を向
上することができる。尚、以上の処理は実際にはパイプ
ライン処理として実行される。
【００２３】まず、図２の処理では、ステップS100で、
距離画像を読み込み、この距離画像の広領域で最大頻度
の値から大きく離れた特異点を除去する。このステップ
S100の処理は、以下のステップS400での非平面除去フィ
ルタ処理をより確実にするための前処理として実施され
るものであり、例えば、距離画像が横４００×縦２００
画素の大きさで、距離データ（画素ズレ量）を有する小
領域を横８×縦４画素のブロックとする場合、距離画像
を横８０×縦４０画素での２５個の中領域に分割し、各
中領域（１０×１０＝１００小領域）毎にズレ量のヒス
トグラムを作成する。そして、この中領域のヒストグラ
ムで最大頻度を持つ距離データに対し、設定範囲（最大
頻度の距離データ±１）外にあるブロックのズレ量を０
として特異点を除去する。
距離画像を読み込み、この距離画像の広領域で最大頻度
の値から大きく離れた特異点を除去する。このステップ
S100の処理は、以下のステップS400での非平面除去フィ
ルタ処理をより確実にするための前処理として実施され
るものであり、例えば、距離画像が横４００×縦２００
画素の大きさで、距離データ（画素ズレ量）を有する小
領域を横８×縦４画素のブロックとする場合、距離画像
を横８０×縦４０画素での２５個の中領域に分割し、各
中領域（１０×１０＝１００小領域）毎にズレ量のヒス
トグラムを作成する。そして、この中領域のヒストグラ
ムで最大頻度を持つ距離データに対し、設定範囲（最大
頻度の距離データ±１）外にあるブロックのズレ量を０
として特異点を除去する。
【００２４】次いで、ステップS200へ進み、距離画像内
で適当なサンプル領域を複数個選び、各サンプル領域の
画面上の位置をレンズ歪みの無い位置に補正すること
で、正確な距離データを得る。例えば、横８×縦４画素
のサンプル領域を、横に１６画素毎に２１カ所、縦に８
画素毎に１７カ所の計３５７カ所選び、各サンプル領域
毎に、以下の(1)で示される補正値Ｄを用いて撮像面と
光軸の交点からの距離Ｒの値を加減し、レンズ歪みを補
正する。但し、(1)式中、Ａ，Ｂ，Ｃはレンズメーカあ
るいは別途計測による補正係数である。
で適当なサンプル領域を複数個選び、各サンプル領域の
画面上の位置をレンズ歪みの無い位置に補正すること
で、正確な距離データを得る。例えば、横８×縦４画素
のサンプル領域を、横に１６画素毎に２１カ所、縦に８
画素毎に１７カ所の計３５７カ所選び、各サンプル領域
毎に、以下の(1)で示される補正値Ｄを用いて撮像面と
光軸の交点からの距離Ｒの値を加減し、レンズ歪みを補
正する。但し、(1)式中、Ａ，Ｂ，Ｃはレンズメーカあ
るいは別途計測による補正係数である。
【００２５】Ｄ＝Ａ・Ｒ5＋Ｂ・Ｒ3＋Ｃ・Ｒ …(1) 続くステップS300では、各サンプル領域のレンズ歪みを
補正したＣＣＤ面上の位置と距離データとから各サンプ
ル領域の三次元座標を求め、ステップS400で、距離画像
から平面を構成していない画素を除去する非平面除去フ
ィルタ処理を行う。この非平面除去フィルタ処理では、
まず、図４に示すように、水平方向の座標軸をｉ、垂直
方向の座標軸をｊする距離画像に対し、水平方向の１ラ
インに注目し、横軸に実空間の水平方向位置Ｘ、縦軸に
距離Ｚをとったデータ系列を求める。
補正したＣＣＤ面上の位置と距離データとから各サンプ
ル領域の三次元座標を求め、ステップS400で、距離画像
から平面を構成していない画素を除去する非平面除去フ
ィルタ処理を行う。この非平面除去フィルタ処理では、
まず、図４に示すように、水平方向の座標軸をｉ、垂直
方向の座標軸をｊする距離画像に対し、水平方向の１ラ
インに注目し、横軸に実空間の水平方向位置Ｘ、縦軸に
距離Ｚをとったデータ系列を求める。
【００２６】そして、データ系列を最小二乗法によって
直線式で近似し、図４に斜線で示すように、近似直線か
ら規定の範囲に入っているデータのみを平面を求めるた
めに使う距離情報とし、規定の範囲外のデータを除去す
る。この処理を画像の上下方向に走査して行うことによ
り、距離画像から平面を構成していない距離情報を特異
点として除去する。
直線式で近似し、図４に斜線で示すように、近似直線か
ら規定の範囲に入っているデータのみを平面を求めるた
めに使う距離情報とし、規定の範囲外のデータを除去す
る。この処理を画像の上下方向に走査して行うことによ
り、距離画像から平面を構成していない距離情報を特異
点として除去する。
【００２７】次に、図３に示す高度算出処理では、以上
の非平面除去フィルタ処理で平面を構成していない画素
を除去した距離画像を用い、まず、ステップS500でサン
プル領域の画像上の座標及び距離データをステレオカメ
ラ１０を原点とする実空間の座標に変換した点群のデー
タから、以下の(2)式で示す平面の方程式に最小二乗法
により当てはめるべく、マトリクスを作成して三元連立
方程式を解き、各係数ａ，ｂ，ｃを決定する。
の非平面除去フィルタ処理で平面を構成していない画素
を除去した距離画像を用い、まず、ステップS500でサン
プル領域の画像上の座標及び距離データをステレオカメ
ラ１０を原点とする実空間の座標に変換した点群のデー
タから、以下の(2)式で示す平面の方程式に最小二乗法
により当てはめるべく、マトリクスを作成して三元連立
方程式を解き、各係数ａ，ｂ，ｃを決定する。
【００２８】ａｘ＋ｂｙ＋ｃｚ＝１ …(2) そして、ステップS600へ進み、カメラから平面に下ろし
た垂線の長さｈを、以下の(3)式によって求め、対地高
度とする。
た垂線の長さｈを、以下の(3)式によって求め、対地高
度とする。
【００２９】ｈ＝１／(ａ2＋ｂ2＋ｃ2)1/2 …(3)
【００３０】
【発明の効果】以上説明したように本発明によれば、請
求項１記載の発明によれば、飛行体に搭載されたステレ
オカメラで下方風景を撮像し、このステレオ撮像した一
対の撮像画像を処理して下方風景に対する距離情報を算
出した後、複数の計測点の距離情報に基づいて下方の表
面形状を高度の基準として求め、飛行体の高度を算出す
るため、実際の移動距離を知るための情報や俯角等の計
測困難な情報に頼ることなく、飛行体の高度を正確に計
測することができ、しかも、画面内の多数点の距離を計
測しているため、地表を面として把握することができ、
平面のみならず、起伏面や段差のある領域等を認識して
広い範囲で正確な高度を得ることが可能である。
求項１記載の発明によれば、飛行体に搭載されたステレ
オカメラで下方風景を撮像し、このステレオ撮像した一
対の撮像画像を処理して下方風景に対する距離情報を算
出した後、複数の計測点の距離情報に基づいて下方の表
面形状を高度の基準として求め、飛行体の高度を算出す
るため、実際の移動距離を知るための情報や俯角等の計
測困難な情報に頼ることなく、飛行体の高度を正確に計
測することができ、しかも、画面内の多数点の距離を計
測しているため、地表を面として把握することができ、
平面のみならず、起伏面や段差のある領域等を認識して
広い範囲で正確な高度を得ることが可能である。
【００３１】この場合、請求項２に記載したように、レ
ンズ歪み補正を行うことで、距離情報をより正確なもの
とすることができる。また、請求項３に記載したよう
に、高度の算出に際し、高度の基準とする表面形状を平
面として捉え、この平面に飛行体から下ろした垂線の長
さで高度を算出することにより、処理を簡素化して高速
に高度を求めることができ、その場合、請求項４に記載
したように、距離情報のデータ系列を直線で近似し、こ
の直線に対して設定した規定の範囲に入らない距離情報
を平面を構成しない距離情報として除去することで誤検
出を防止して信頼性を向上することができる等優れた効
果が得られる。
ンズ歪み補正を行うことで、距離情報をより正確なもの
とすることができる。また、請求項３に記載したよう
に、高度の算出に際し、高度の基準とする表面形状を平
面として捉え、この平面に飛行体から下ろした垂線の長
さで高度を算出することにより、処理を簡素化して高速
に高度を求めることができ、その場合、請求項４に記載
したように、距離情報のデータ系列を直線で近似し、こ
の直線に対して設定した規定の範囲に入らない距離情報
を平面を構成しない距離情報として除去することで誤検
出を防止して信頼性を向上することができる等優れた効
果が得られる。
【図１】高度計測装置の概略構成を示すブロック図
【図２】特異点除去処理のフローチャート
【図３】高度算出処理のフローチャート
【図４】非平面除去フィルタの説明図
１０…ステレオカメラ ３０…ステレオ処理部 ４０…高度算出部
Claims (4)
- 【請求項１】 飛行体に搭載されて下方風景をステレオ
撮像する２台１組のカメラからなるステレオカメラと、 上記ステレオカメラで撮像した一対の撮像画像を処理し
て下方風景に対する距離情報を算出するステレオ処理部
と、 複数の計測点の上記距離情報に基づいて下方の表面形状
を高度の基準として求め、上記飛行体の高度を算出する
高度算出部とを備えたことを特徴とする高度計測装置。 - 【請求項２】 上記距離情報に対し、上記ステレオカメ
ラのレンズ歪み補正を行うことを特徴とする請求項１記
載の高度計測装置。 - 【請求項３】 上記表面形状を平面として求め、この平
面に上記飛行体から下ろした垂線の長さを高度として算
出することを特徴とする請求項１又は請求項２記載の高
度計測装置。 - 【請求項４】 上記距離情報のデータ系列を直線で近似
し、この直線に対して設定した規定の範囲に入らない距
離情報を、平面を構成しない距離情報として除去するこ
とを特徴とする請求項３記載の高度計測装置。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP03623298A JP3850541B2 (ja) | 1998-02-18 | 1998-02-18 | 高度計測装置 |
| US09/246,456 US6148250A (en) | 1998-02-18 | 1999-02-09 | Altitude detection by use of planar approximation of a region of ground surface |
| DE69925057T DE69925057T2 (de) | 1998-02-18 | 1999-02-17 | Vorrichung zur Messung der Höhe eines Flugkörpers |
| EP99301175A EP0937963B1 (en) | 1998-02-18 | 1999-02-17 | Apparatus for detecting an altitude of a flying object |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP03623298A JP3850541B2 (ja) | 1998-02-18 | 1998-02-18 | 高度計測装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11230745A true JPH11230745A (ja) | 1999-08-27 |
| JP3850541B2 JP3850541B2 (ja) | 2006-11-29 |
Family
ID=12464040
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP03623298A Expired - Fee Related JP3850541B2 (ja) | 1998-02-18 | 1998-02-18 | 高度計測装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US6148250A (ja) |
| EP (1) | EP0937963B1 (ja) |
| JP (1) | JP3850541B2 (ja) |
| DE (1) | DE69925057T2 (ja) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002228575A (ja) * | 2001-02-01 | 2002-08-14 | Asahi Eng Co Ltd | タンク鋼板の腐食診断システム |
| JP2006177937A (ja) * | 2004-11-26 | 2006-07-06 | Denso It Laboratory Inc | 距離計測装置及び距離計測方法 |
| JP2006325741A (ja) * | 2005-05-24 | 2006-12-07 | Olympus Corp | 計測用内視鏡装置及び内視鏡用プログラム |
| JP2008528365A (ja) * | 2005-02-01 | 2008-07-31 | エアバス | 航空機の安全経路の幅を決定する方法と装置ならびに航空機の自動低空飛行の安全を確実にするための方法と装置 |
| US7545975B2 (en) | 2004-06-01 | 2009-06-09 | Fuji Jukogyo Kabushiki Kaisha | Three-dimensional object recognizing system |
| JP2015079505A (ja) * | 2013-10-14 | 2015-04-23 | 株式会社リコー | 視差深度画像のノイズ識別方法及びノイズ識別装置 |
| JP2018031592A (ja) * | 2016-08-22 | 2018-03-01 | 株式会社リコー | 情報処理システム、情報処理装置およびプログラム |
| JP2018515743A (ja) * | 2015-05-11 | 2018-06-14 | 京東方科技集團股▲ふん▼有限公司Ｂｏｅ Ｔｅｃｈｎｏｌｏｇｙ Ｇｒｏｕｐ Ｃｏ．，Ｌｔｄ． | 深度画像処理用の方法及び装置 |
| JP2020112557A (ja) * | 2014-10-17 | 2020-07-27 | ソニー株式会社 | 装置、方法及びプログラム |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6714663B1 (en) * | 1999-11-09 | 2004-03-30 | Lockheed Martin Corp. | Method and software-implemented apparatus for ground plane estimation in multi-dimensional data |
| JP4672175B2 (ja) * | 2000-05-26 | 2011-04-20 | 本田技研工業株式会社 | 位置検出装置、位置検出方法、及び位置検出プログラム |
| US6694228B2 (en) | 2002-05-09 | 2004-02-17 | Sikorsky Aircraft Corporation | Control system for remotely operated vehicles for operational payload employment |
| CN101493325B (zh) * | 2009-03-09 | 2010-11-10 | 清华大学 | 激光测绘系统 |
| KR20110080775A (ko) * | 2010-01-07 | 2011-07-13 | 한국항공우주연구원 | 고도 측정 장치 및 방법 |
| US8583296B2 (en) * | 2011-05-21 | 2013-11-12 | University Of Kansas | Low-altitude altimeter and method |
| KR20130094626A (ko) * | 2012-02-16 | 2013-08-26 | 한국전자통신연구원 | 스테레오 매칭 방법 및 장치 |
| US9738399B2 (en) * | 2015-07-29 | 2017-08-22 | Hon Hai Precision Industry Co., Ltd. | Unmanned aerial vehicle control method and unmanned aerial vehicle using same |
| US9429953B1 (en) | 2015-08-25 | 2016-08-30 | Skycatch, Inc. | Autonomously landing an unmanned aerial vehicle |
| CN105606073A (zh) * | 2016-01-11 | 2016-05-25 | 谭圆圆 | 无人飞行器处理系统及其飞行状态数据处理方法 |
| CN108447090B (zh) * | 2016-12-09 | 2021-12-21 | 株式会社理光 | 对象姿态估计的方法、装置及电子设备 |
| WO2019209275A1 (en) * | 2018-04-25 | 2019-10-31 | Bae Systems Information And Electronic Systems Integration Inc. | Passive altimeter system for a platform and method thereof |
| EP3992580B1 (en) * | 2020-11-03 | 2022-12-21 | Everdrone AB | Method for calibrating an altitude sensing stereo vision device of a uav |
| IL278930A (en) * | 2020-11-23 | 2022-06-01 | Israel Aerospace Ind Ltd | Ground model based location detection with distance measurement |
| CN116912720B (zh) * | 2023-09-12 | 2023-12-05 | 北京宝隆泓瑞科技有限公司 | 一种判断无人机影像目标是否发生重复识别的方法 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4081214A (en) * | 1976-07-06 | 1978-03-28 | The United States Of America As Represented By The Secretary Of The Navy | Low altitude optical altimeter |
| DE2940871C2 (de) * | 1979-10-09 | 1983-11-10 | Messerschmitt-Bölkow-Blohm GmbH, 8012 Ottobrunn | Photogrammetrisches Verfahren für Fluggeräte und Raumflugkörper zur digitalen Geländedarstellung |
| JPS6288914A (ja) * | 1985-10-16 | 1987-04-23 | Nec Corp | 高度計測装置 |
| US4825393A (en) * | 1986-04-23 | 1989-04-25 | Hitachi, Ltd. | Position measuring method |
| KR930004880B1 (ko) * | 1989-03-07 | 1993-06-09 | 미쓰비시 덴끼 가부시기가이샤 | 추미식 차간거리 측정장치 |
| JPH05265547A (ja) * | 1992-03-23 | 1993-10-15 | Fuji Heavy Ind Ltd | 車輌用車外監視装置 |
| JPH05317528A (ja) * | 1992-05-22 | 1993-12-03 | Yanmar Agricult Equip Co Ltd | 防虫剤等散布用の模型航空機 |
| FR2741320B1 (fr) * | 1995-11-21 | 1998-01-02 | Sextant Avionique | Procede de pilotage a basse altitude |
| US5716032A (en) * | 1996-04-22 | 1998-02-10 | United States Of America As Represented By The Secretary Of The Army | Unmanned aerial vehicle automatic landing system |
| US5991437A (en) * | 1996-07-12 | 1999-11-23 | Real-Time Geometry Corporation | Modular digital audio system having individualized functional modules |
| JP3147002B2 (ja) * | 1996-09-26 | 2001-03-19 | 富士電機株式会社 | 距離検出値の補正方法 |
-
1998
- 1998-02-18 JP JP03623298A patent/JP3850541B2/ja not_active Expired - Fee Related
-
1999
- 1999-02-09 US US09/246,456 patent/US6148250A/en not_active Expired - Fee Related
- 1999-02-17 EP EP99301175A patent/EP0937963B1/en not_active Expired - Lifetime
- 1999-02-17 DE DE69925057T patent/DE69925057T2/de not_active Expired - Fee Related
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002228575A (ja) * | 2001-02-01 | 2002-08-14 | Asahi Eng Co Ltd | タンク鋼板の腐食診断システム |
| US7545975B2 (en) | 2004-06-01 | 2009-06-09 | Fuji Jukogyo Kabushiki Kaisha | Three-dimensional object recognizing system |
| JP2006177937A (ja) * | 2004-11-26 | 2006-07-06 | Denso It Laboratory Inc | 距離計測装置及び距離計測方法 |
| JP2008528365A (ja) * | 2005-02-01 | 2008-07-31 | エアバス | 航空機の安全経路の幅を決定する方法と装置ならびに航空機の自動低空飛行の安全を確実にするための方法と装置 |
| JP2006325741A (ja) * | 2005-05-24 | 2006-12-07 | Olympus Corp | 計測用内視鏡装置及び内視鏡用プログラム |
| JP2015079505A (ja) * | 2013-10-14 | 2015-04-23 | 株式会社リコー | 視差深度画像のノイズ識別方法及びノイズ識別装置 |
| JP2020112557A (ja) * | 2014-10-17 | 2020-07-27 | ソニー株式会社 | 装置、方法及びプログラム |
| US11067396B2 (en) | 2014-10-17 | 2021-07-20 | Sony Corporation | Position estimation device and position estimation method |
| US11668569B2 (en) | 2014-10-17 | 2023-06-06 | Sony Group Corporation | Position estimation device and position estimation method |
| JP2018515743A (ja) * | 2015-05-11 | 2018-06-14 | 京東方科技集團股▲ふん▼有限公司Ｂｏｅ Ｔｅｃｈｎｏｌｏｇｙ Ｇｒｏｕｐ Ｃｏ．，Ｌｔｄ． | 深度画像処理用の方法及び装置 |
| JP2018031592A (ja) * | 2016-08-22 | 2018-03-01 | 株式会社リコー | 情報処理システム、情報処理装置およびプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| EP0937963A3 (en) | 2002-11-20 |
| EP0937963B1 (en) | 2005-05-04 |
| DE69925057T2 (de) | 2006-03-02 |
| EP0937963A2 (en) | 1999-08-25 |
| US6148250A (en) | 2000-11-14 |
| DE69925057D1 (de) | 2005-06-09 |
| JP3850541B2 (ja) | 2006-11-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH11230745A (ja) | 高度計測装置 | |
| CN107316325B (zh) | 一种基于图像配准的机载激光点云与影像配准融合方法 | |
| KR102001728B1 (ko) | 스테레오 카메라 드론을 활용한 무기준점 3차원 위치좌표 취득 방법 및 시스템 | |
| WO2022170878A1 (zh) | 一种无人机测量输电线路影像距离的系统及方法 | |
| CN105225241B (zh) | 无人机深度图像的获取方法及无人机 | |
| JP3833786B2 (ja) | 移動体の３次元自己位置認識装置 | |
| KR100912715B1 (ko) | 이종 센서 통합 모델링에 의한 수치 사진 측량 방법 및장치 | |
| CN108474658B (zh) | 地面形态检测方法及系统、无人机降落方法和无人机 | |
| WO2017080108A1 (zh) | 飞行装置、飞行控制系统及方法 | |
| JP3776787B2 (ja) | 三次元データベース生成システム | |
| CN110859044A (zh) | 自然场景中的集成传感器校准 | |
| CN106384382A (zh) | 一种基于双目立体视觉的三维重建系统及其方法 | |
| JP2003156330A (ja) | 航空機搭載地形計測装置及び方法 | |
| CN109410234A (zh) | 一种基于双目视觉避障的控制方法及控制系统 | |
| JP3808833B2 (ja) | 空中写真測量方法 | |
| JP2017201261A (ja) | 形状情報生成システム | |
| CN114544006B (zh) | 一种基于环境光照条件的低空遥感影像校正系统及方法 | |
| CN113723568A (zh) | 基于多传感器和海平面的遥感图像特征点高程获取方法 | |
| CN111340942A (zh) | 一种基于无人机的三维重建系统及其方法 | |
| CN113340272B (zh) | 一种基于无人机微群的地面目标实时定位方法 | |
| CN110780313A (zh) | 一种无人机可见光立体测量采集建模方法 | |
| CN114442129A (zh) | 一种提高复杂边坡岩体无人机调查精度的动态调整方法 | |
| CN115950435A (zh) | 无人机巡检影像的实时定位方法 | |
| CN116026323A (zh) | 一种用于发动机油加注机定位与区域防错方法 | |
| JP2002188917A (ja) | 飛行体の姿勢角検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050127 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060404 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060606 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060801 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060822 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060830 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090908 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100908 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100908 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110908 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120908 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130908 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |