JP2940666B2 - Method and apparatus for selecting landing site of spacecraft - Google Patents

Method and apparatus for selecting landing site of spacecraft

Info

Publication number
JP2940666B2
JP2940666B2 JP8209148A JP20914896A JP2940666B2 JP 2940666 B2 JP2940666 B2 JP 2940666B2 JP 8209148 A JP8209148 A JP 8209148A JP 20914896 A JP20914896 A JP 20914896A JP 2940666 B2 JP2940666 B2 JP 2940666B2
Authority
JP
Japan
Prior art keywords
image
landing
value
distance
landing point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP8209148A
Other languages
Japanese (ja)
Other versions
JPH1035599A (en
Inventor
雅幸 榎本
忠雄 島田
澄広 上田
俊之 吉田
大八 小川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kawasaki Motors Ltd
Original Assignee
Kawasaki Jukogyo KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kawasaki Jukogyo KK filed Critical Kawasaki Jukogyo KK
Priority to JP8209148A priority Critical patent/JP2940666B2/en
Publication of JPH1035599A publication Critical patent/JPH1035599A/en
Application granted granted Critical
Publication of JP2940666B2 publication Critical patent/JP2940666B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、宇宙機が月面など
の天体に着陸する際に、障害物のない適当な着陸地点を
自動的に選定し最終的に安全な着陸を可能とするような
宇宙機の着陸地点選定方法および装置に係る技術分野に
属する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention is intended to automatically select an appropriate landing site without obstacles when a spacecraft lands on a celestial body such as the moon, and to finally enable a safe landing. Technical field relating to a method and a device for selecting a landing point of a simple spacecraft.

【0002】[0002]

【従来の技術】従来、月面および火星への着陸ミッショ
ンにおいては軌道上を周回している間に地表面の画像を
取得して地球上に送信し、地球上の管制センターで適当
な着陸地点を選定して、必要があれば周回軌道上の宇宙
機に指令を与えて予めプログラムされていた着陸軌道に
修正をかけるものがあった。この場合には着陸機が着陸
動作に入ると何の補正動作も行われない。月面等の表面
を周回軌道上から撮像するときには距離が大きいため画
像の解像度が充分でないから、実際に着陸する際に障害
となる物を細大漏らさず検出できるとは限らず、安全性
が高そうな領域を推測するに止まる。また、実際に着陸
機が取る着陸軌道にも計画した軌道からの誤差が含まれ
得るため、安全と思われる計画位置に正確に着陸できる
とは限らない。したがって、軟着陸に失敗する危険を避
けるため十分広い平地を着陸点に選択する必要が生じ、
直接の目的地からかなり離れた位置に着陸させなければ
ならない場合もある。
2. Description of the Related Art Conventionally, in missions to land on the moon and Mars, images of the ground surface are acquired during orbit in orbit and transmitted to the earth, and an appropriate landing site is obtained by a control center on the earth. In some cases, if necessary, a command was given to the spacecraft in orbit to correct the previously programmed landing orbit. In this case, no correction operation is performed when the landing aircraft enters the landing operation. When imaging a surface such as the moon from an orbit, the distance is large and the resolution of the image is not sufficient.Therefore, it is not always possible to detect obstacles when actually landing without any extra small leaks, and safety is low. You only have to guess which areas are likely to be expensive. Further, since the landing trajectory actually taken by the landing aircraft may include an error from the planned trajectory, it is not always possible to accurately land at a planned position considered safe. Therefore, it is necessary to select a sufficiently wide flat land as the landing point to avoid the risk of a soft landing failure,
Sometimes you have to land a great distance from your immediate destination.

【0003】このような不確定さを回避するためには、
宇宙機が月面や惑星表面に着陸する場合に、着陸目標点
に近づくと宇宙機から取得した目標点付近の映像を観察
しながら地上あるいは母船から遠隔操作で目標地点のう
ちで平面性が良く安全な部分に誘導して着陸させる方法
が考えられる。この様な方法が可能であれば、比較的狭
い平地であってもその中の着陸に十分な最小限の面積が
あれば宇宙機を誘導して着陸するようにできるし、地表
に近づいて大きな画面で観察することにより予め設定し
た広い面積中に障害物が発見された場合にもそのような
障害物を避けて安全な地点に着陸するようにすることが
できるはずである。しかし、宇宙機と管制基地の間が離
れている場合に、この様な遠隔操作を用いようとする
と、通信に時間がかかるため宇宙機の運行に即した正し
い判断をする余裕がなく、また、指令が届くのが遅れて
危険領域に着地する恐れがある。このような遠距離通信
を避けるためには、障害物のない領域あるいは障害物の
存在を自動的に検知する手段を着陸機に搭載して、自動
的に適地を探索し着陸軌道を修正して着陸するようにす
ればよい。しかし、機器重量の問題、判定の信頼性の問
題、さらに判定に係る時間の問題等があったため、実際
にこのような着陸適地検出機器を宇宙機に搭載すること
は困難であった。
In order to avoid such uncertainties,
When the spacecraft lands on the surface of the moon or planet, approaching the landing target point, while observing the image near the target point acquired from the spacecraft, the flatness of the target point is improved by remote control from the ground or the mother ship. There is a method of guiding to a safe part and landing. If such a method is possible, a spacecraft can be guided and landed on a relatively narrow flat land if it has a minimum area enough for landing, By observing on the screen, even if an obstacle is found in a large area set in advance, it should be possible to avoid such an obstacle and land at a safe point. However, if such a remote control is used when the spacecraft and the control base are far apart, it takes time to communicate, so there is no room to make a correct decision in accordance with the operation of the spacecraft. There is a risk that the command will arrive late and land in a dangerous area. In order to avoid such telecommunications, the landing aircraft should be equipped with means to automatically detect areas without obstacles or the presence of obstacles, automatically search for suitable places and correct landing trajectories. You only need to land. However, it was difficult to actually mount such a suitable-for-landing detection device on a spacecraft because there were a problem with the weight of the device, a problem with the reliability of the judgment, and a problem with the time required for the judgment.

【0004】[0004]

【発明が解決しようとする課題】そこで、本発明が解決
しようとする課題は、地上あるいは母船の管制に頼らず
に、宇宙機が着陸態勢に入った後にも自律的に着陸地点
付近の障害物を観察し、着陸予定地点に障害があるとき
には近傍の着陸可能な地点を探索して、着陸軌道修正を
加えて安全に着陸できるようにすることである。
SUMMARY OF THE INVENTION Therefore, the problem to be solved by the present invention is to solve the problem of obstacles near the landing point autonomously even after the spacecraft enters the landing position, without depending on the ground or the control of the mother ship. Observing and observing an obstacle at the planned landing site, search for a nearby landing site, and correct the landing trajectory so that the vehicle can land safely.

【0005】[0005]

【課題を解決するための手段】上記課題を解決するた
め、本発明の宇宙機の着陸地点選定方法は、着陸予定地
点周辺を撮像して明度の分布を表す多値画像を取得し、
この多値画像を明度に従がって2値化した2値画像を生
成し、この2値画像の画像境界からの距離で表す距離変
換を行って距離変換画像を生成し、この距離変換画像に
基づいてより安全性の高い着陸地点を算出することを特
徴とする。
In order to solve the above-mentioned problems, a method for selecting a landing site of a spacecraft according to the present invention acquires a multi-value image representing a distribution of brightness by imaging an area around a planned landing site.
A binary image is generated by binarizing the multi-valued image according to the brightness, and a distance conversion is performed by performing a distance conversion represented by a distance from an image boundary of the binary image to generate a distance conversion image. A safer landing point is calculated based on the above.

【0006】また、異なる2個の閾値の間にあるか否か
により2値化の値決めを行うものであってもよい。な
お、これら閾値は多値画像における明度について取った
ヒストグラムに基づいて設定するようにしても良い。さ
らに、得られた2値画像に縮小フィルタを再帰的に適用
して距離変換を行い、縮小フィルタを適用する毎にフィ
ルタ出力を積算して求めた出力積算値が予め設定した閾
値より小さくなったときに、残った画素位置のいずれか
に対応する地点を着陸地点とするようにしてもよい。な
お、上記の残った画素位置に対応する地点のうち初めの
着陸予定地点に対して軌道修正に掛かるコストが最小に
なる地点を着陸地点とすることがより好ましい。
[0006] Further, a binarization value may be determined depending on whether the value is between two different threshold values. Note that these thresholds may be set based on a histogram obtained for brightness in a multi-valued image. Furthermore, the distance conversion is performed by recursively applying the reduction filter to the obtained binary image, and the output integrated value obtained by integrating the filter outputs each time the reduction filter is applied becomes smaller than the preset threshold value. At this time, a point corresponding to any of the remaining pixel positions may be set as a landing point. In addition, it is more preferable that, of the points corresponding to the remaining pixel positions, the point at which the cost required for correcting the trajectory with respect to the first scheduled landing point is minimized is the landing point.

【0007】また、本発明の宇宙機の着陸地点選定方法
は、宇宙機自体に障害物等を検知して適当な着陸地点を
選定する機器を搭載しておいて、宇宙機が着陸軌道にお
いて着陸姿勢を取った後に、この宇宙機搭載機器によ
り、着陸予定地点周辺を撮像して取得した画像に基づい
て着陸適地を選定し、これに適合するように着陸軌道を
修正することを特徴とするものであってもよい。
In the method for selecting a landing point of a spacecraft according to the present invention, a device for detecting an obstacle or the like and selecting an appropriate landing point is mounted on the spacecraft itself, and the spacecraft lands in a landing orbit. After taking an attitude, this spacecraft-mounted device picks up a suitable site for landing based on the image obtained by imaging the area around the planned landing site and corrects the landing trajectory so as to conform to this It may be.

【0008】上記課題を解決するため、本発明の宇宙機
の着陸地点選定装置は、対象とする地表面を撮像して撮
像領域の明度分布を表す多値画像を生成する撮像装置
と、多値画像を撮像装置から入力し予め設定した閾値に
基づき2値化して撮像領域の明度に従う2値画像を生成
する2値化回路と、2値画像を2値化回路から入力して
各画素について画像の境界からの距離に基づく値を算定
して格納する距離変換回路と、距離変換回路に格納され
た距離変換画像に基づいて着陸地点を選定する演算回路
とを備えることを特徴とする。
In order to solve the above problems, a landing point selecting apparatus for a spacecraft according to the present invention includes: an image pickup apparatus for picking up an image of a target ground surface to generate a multi-value image representing a brightness distribution of an image pickup area; A binarization circuit for inputting an image from the imaging device and binarizing the image based on a preset threshold to generate a binary image according to the brightness of the imaging region; A distance conversion circuit that calculates and stores a value based on the distance from the boundary of, and an arithmetic circuit that selects a landing point based on the distance conversion image stored in the distance conversion circuit.

【0009】なお、2値化回路が、予め設定された異な
る2個の閾値に基づき、取得した多値画像の画素の値が
この2個の閾値の間にあるときを1、そうでないときを
0とすることにより2値画像を生成し、また距離変換回
路が、生成された2値画像に縮小フィルタを再帰的に適
用するもので、縮小フィルタの1回の適用毎にフィルタ
出力を積算して出力積算値を求め、この出力積算値が予
め設定した閾値より小さくなったときに残った画像を最
終的な距離変換画像とするような距離変換を行い、演算
回路が最終的な距離変換画像の画素位置のいずれかに対
応する地点を着陸地点とすることを特徴とするものであ
ってもよい。
The binarization circuit sets 1 when the pixel value of the acquired multi-valued image is between the two thresholds based on two different thresholds set in advance and 1 when the pixel value is not between the two thresholds. A binary image is generated by setting the value to 0, and the distance conversion circuit recursively applies the reduction filter to the generated binary image. The filter output is integrated every time the reduction filter is applied. An output integrated value is obtained by performing a distance conversion such that an image remaining when the output integrated value becomes smaller than a preset threshold value is used as a final distance conversion image. A point corresponding to any one of the pixel positions may be a landing point.

【0010】本発明の宇宙機の着陸地点選定方法によれ
ば、着陸予定地点周辺を撮像して得られた明度の分布を
表す多値画像を明度に従って2値化して得た2値画像に
ついて距離変換を行って生成した距離変換画像に基づい
て、着陸適当領域の中心位置や危険領域から適当な距離
を置いた位置など、安全な着陸地点を算出するものであ
るので、僅かな情報量に対して極めて簡単な論理演算を
施すことにより的確な判断が可能である。2値化処理を
実現化するためには、CPUで全画素にアクセスしてテ
ーブル変換する方法がある。この方法ではCPUとメモ
リ以外の資源を必要としないが、CPUの処理速度に依
存することになる。また、2値化回路で画像メモリをア
クセスしテーブル変換する方法もある。この方法は高速
処理が可能であるが専用回路を追加する必要があり、宇
宙機の負荷を増加させることになる。
According to the method for selecting a landing point of a spacecraft according to the present invention, the distance between a binary image obtained by binarizing a multi-valued image representing the distribution of lightness obtained by imaging the periphery of the planned landing point according to the lightness is calculated. Based on the distance conversion image generated by performing the conversion, it calculates the safe landing point such as the center position of the appropriate landing area and the position at an appropriate distance from the danger area, so the amount of information is small. By performing a very simple logical operation, accurate judgment can be made. In order to realize the binarization processing, there is a method of accessing all the pixels by the CPU and performing table conversion. This method does not require resources other than the CPU and the memory, but depends on the processing speed of the CPU. There is also a method of accessing the image memory by a binarizing circuit and converting the table. This method is capable of high-speed processing, but requires the addition of a dedicated circuit, and increases the load on the spacecraft.

【0011】しかし、上記方法によれば、必ずしも高速
処理は可能でないが高度な信頼性が保証できることを特
徴とする宇宙機搭載用の論理演算回路に極く僅かな余裕
が存在すればそれだけで対処できるようになり、あるい
は小型で軽量な論理回路を追加して搭載すれば充分に目
的の演算が可能となり、周回軌道上で観察したときに見
落としていたような小型の岩石やクレバス、裂け目等を
着陸直前で回避して着陸の失敗を防止することができ
る。また、宇宙機自身が着陸寸前の着陸地点の状況を判
断して安全な場所を選定できることから、予め指定する
着陸候補地は従来ほど大きな平坦地である必要がない。
したがって、着陸後の作業に便利な近接地点を選択する
ことができる。
[0011] However, according to the above method, high-speed processing is not always possible, but high reliability can be guaranteed. If you can add a small and lightweight logic circuit, it will be possible to perform the desired operation sufficiently, and small rocks, crevasses, crevices, etc. that you overlooked when observed in orbit This can be avoided just before landing to prevent landing failure. Further, since the spacecraft itself can determine a safe place by judging the situation of the landing point just before landing, the previously specified landing candidate site does not need to be a large flat land as in the past.
Therefore, it is possible to select a proximity point that is convenient for the operation after landing.

【0012】なお、月や火星の地表面に転がっている岩
石や山形の地形など平面から突出した障害物では、日向
側の面への太陽光の入射角が小さいため明度が大きくな
り、日陰側の面や障害物の影が及ぶ平坦面上の明度は大
気が希薄であることもあって極めて小さい。また、平坦
面中に存在する割れ目部分の明度も小さい。したがっ
て、2値化のために2個の閾値を用いて暗い部分と明る
すぎる部分を同時にカットするようにすると、宇宙機の
着陸に障害となる山や岩石、あるいはクレバスなどの凹
部などを一度に排除して、一様な反射をする平坦面の部
分だけが容易に抽出できる。また、平坦部の明度水準
は、太陽の高度あるいは地質や粒度など地表面の特性な
ど局所々々の条件により大幅に変化するため、予め的確
な閾値を決めておくことは難しい。着陸時の条件に合わ
せて幾つかの候補から選択して閾値を指定するようにし
て対処することも可能であるが、実際に取得される画像
における明度のヒストグラムの基づいて2値化に用いる
閾値を設定するようにしたものは、着陸しようとする実
地の条件に適合した閾値が得られるので、的確に着陸適
地を判定することができる。
In the case of obstacles protruding from a plane, such as rocks or mountain-shaped terrain rolling on the ground surface of the moon or Mars, the angle of incidence of sunlight on the sunny side increases the brightness, and The brightness on the flat surface or the flat surface on which the shadow of the obstacle is affected is extremely small due to the sparse atmosphere. In addition, the brightness of the crack existing in the flat surface is small. Therefore, by using two thresholds for binarization, if dark and bright areas are cut at the same time, mountains, rocks, or crevasses that may hinder the landing of the spacecraft will be removed at once. Eliminating, it is possible to easily extract only a flat surface portion that uniformly reflects. In addition, since the brightness level of the flat portion greatly changes depending on local conditions such as the altitude of the sun or the characteristics of the ground surface such as geology and grain size, it is difficult to determine an appropriate threshold value in advance. It is also possible to deal with the situation by selecting from several candidates and designating the threshold value according to the conditions at the time of landing. However, the threshold value used for binarization based on the histogram of the brightness in the image actually acquired is Is set, a threshold value suitable for the actual conditions of the actual landing is obtained, so that a suitable landing site can be determined accurately.

【0013】着陸予定地点付近の平坦地と障害物を区別
して表した2値画像を画像処理して実際に着陸する地点
を決めて軌道修正を行う。宇宙機は既に着陸動作に入っ
ているため、最適な着陸地点を探して着陸軌道を修正す
る動作に時間をかけることは許されない。このため、本
発明の着陸地点選定方法では、論理的に簡単なため簡単
な論理回路により高速な演算が可能で実用上の問題がな
いと考えられる距離変換手法を利用して対処するように
しても良い。距離変換手法は色々知られているが、画像
を構成する画素数が増加するのに伴って処理演算時間が
長大化し、必要とするメモリも大容量化する。このた
め、実際に搭載するためには軽量小型が絶対的な条件と
なる宇宙機に適用することができるものは多くない。
[0013] A binary image representing a flat land and an obstacle in the vicinity of the scheduled landing point is image-processed to determine the actual landing point, and the trajectory is corrected. Since the spacecraft is already in landing operation, it is not permissible to spend time searching for the best landing location and modifying the landing trajectory. For this reason, in the landing point selection method of the present invention, it is possible to deal with using a distance conversion method which is considered to be logically simple, can be operated at high speed by a simple logic circuit, and has no practical problem. Is also good. Although various distance conversion methods are known, as the number of pixels constituting an image increases, the processing operation time increases and the required memory also increases. For this reason, there are not many things that can be applied to a spacecraft in which light weight and small size are absolute requirements for actual mounting.

【0014】この様な困難を解消した距離変換手法もい
くつか知られている。例えば、市街地距離を使った逐次
形距離変換アルゴリズムとして良く知られているもの
に、初めに、入力2値画像中の2値数が1の画素に大き
な数値を当て2値数が0の画素に0を当てることにより
画像メモリを初期化し、初期化した画像の画素を左上か
ら右下に向かって順方向に走査しながら対象の画素と同
じ列中1個前の画素の値に1を加えた値と同じ行中1個
前の画素の値に1を加えた値とその画素自身の値とのう
ち最も小さい値を用いて画像メモリの画素値を置き換え
ることにより逐次更新し、最後に、この更新後の画像メ
モリを右下から左上に向かう逆方向に走査しながら上の
論理と同様にして画素値を逐次更新するようにして、距
離変換画像を得るものがある。この手法を用いると、比
較的簡単な論理に基づいてしかも1回の往復走査で距離
関数を決定して、本発明で使用する距離変換画像を得る
ことが出来る。
Several distance conversion methods that solve such difficulties are also known. For example, a well-known sequential distance conversion algorithm using an urban distance is first assigned a large number to a pixel having a binary number of 1 in an input binary image and to a pixel having a binary number of 0. The image memory is initialized by assigning 0, and 1 is added to the value of the immediately preceding pixel in the same column as the target pixel while scanning the pixels of the initialized image in the forward direction from the upper left to the lower right. The pixel value in the image memory is sequentially updated by replacing the pixel value in the image memory by using the smallest value of the value of the previous pixel in the same row as the value plus 1 and the value of the pixel itself. There is a method of obtaining a distance-converted image by sequentially updating pixel values in the same manner as above while scanning the updated image memory in the reverse direction from the lower right to the upper left. With this method, the distance function used in the present invention can be obtained by determining the distance function based on relatively simple logic and by one round trip scanning.

【0015】本発明の着陸地点選定方法において、得ら
れた2値画像に縮小フィルタを再帰的に適用して距離変
換を行い、縮小フィルタを適用する毎にフィルタ出力を
積算して求めた出力積算値が予め設定した閾値より小さ
くなったときに、残った画素位置のいずれかに対応する
地点を着陸地点とするようにしたものも、極めて単純な
論理素子を用いて高速な画像処理を実行することができ
る。縮小フィルタは、例えば3×3のカーネルサイズを
持つ単純な論理フィルタで、カーネル中央の着目画素と
その周囲8個の近傍画素がすべて1であるときに値を1
としひとつでも0の画素があれば値を0とする論理積出
力素子である。距離変換は、このフィルタを再帰的に画
像に畳み込むことで実現され、画像処理用の専用チップ
に組み込んで極めて高速に全画素に対して畳み込む処理
を繰り返すことができる。
In the landing point selecting method of the present invention, a distance conversion is performed by recursively applying a reduction filter to the obtained binary image, and an output integration obtained by integrating filter outputs each time the reduction filter is applied. When the value becomes smaller than a preset threshold value, a point corresponding to any of the remaining pixel positions is set as a landing point, and high-speed image processing is performed using an extremely simple logic element. be able to. The reduction filter is a simple logical filter having a kernel size of, for example, 3 × 3. When the pixel of interest in the center of the kernel and all eight neighboring pixels around it are 1, the value is 1
It is a logical product output element that sets the value to 0 if at least one pixel is 0. The distance conversion is realized by recursively convolving the filter with the image, and the process of convolving all the pixels at a very high speed by incorporating the filter into a dedicated chip for image processing can be repeated.

【0016】縮小フィルタを2値画像の全画素について
1回作用させると、値1を持った画素領域の輪郭から1
画素分内側にある画素に値1が付与された新しい領域が
生成される。この新しい画像に対して縮小フィルタを作
用させると、先に生成された領域の輪郭からさらに1画
素分内側の画素に値1が付与された新たな領域が生成さ
れる。同じ手順を繰り返していくと、最後には全ての画
素の値が0になってしまい、そうなる寸前の画像に残っ
た領域が平坦面の中心領域を表し、それまでの縮小フィ
ルタ作用回数が平坦面の輪郭線から中心までの距離を画
像上の画素距離で表した値に当たる。
When the reduction filter is operated once for all the pixels of the binary image, 1 is calculated from the contour of the pixel area having the value 1.
A new area is generated in which the value 1 is assigned to pixels inside the pixel. When a reduction filter is applied to this new image, a new area is generated in which the value 1 is assigned to pixels one pixel further inside from the outline of the previously generated area. If the same procedure is repeated, the values of all the pixels become 0 at the end, and the area left in the image immediately before that represents the central area of the flat surface, and the number of times of the reduction filter operation until then is flat. The distance from the contour line of the surface to the center corresponds to the value represented by the pixel distance on the image.

【0017】従って、上記の最後に残った領域を着陸地
点とすれば、危険な山や岩石、あるいは割れ目などの障
害物から最も離れた十分安全な所に着陸機を着陸させる
ことができる。なお、障害物から最も離れた所に固執し
なくても十分に離れた所であれば危険はないので、縮小
フィルタ作用回数を検査して予め決めた値より大きくな
ったところで残った値1の領域を着陸地点として選定し
ても良い。また、着陸機は既に着陸態勢に入っているか
ら、取得した多値画像中に少なくとも1カ所の着陸地点
を決めなければならない。このため、縮小フィルタを作
用させる度に結果が1となった画素の数を計数すること
により、値1となる領域の面積を算出して、この積算値
が予め決めた閾値より小さくなったときに残った領域の
内の任意の地点を着陸地点とすることにより候補地が必
ず存在するようにして、安全な着陸を可能とする方法が
ある。また、上記の距離変換画像のた画素位置に対応す
る地点のうち初めの着陸予定地点に対して軌道修正に掛
かるコストが最小になる地点を着陸地点とすることによ
り、容易に新しい着陸地点に切り換えることができ、経
済的な運行が可能となる。
Accordingly, if the last remaining area is set as a landing point, the landing aircraft can be landed at a sufficiently safe place farthest from obstacles such as dangerous mountains, rocks, and cracks. It should be noted that there is no danger if it is far enough from the obstacle even if it does not stick to the farthest place from the obstacle. An area may be selected as a landing point. In addition, since the landing aircraft is already in a state of landing, it is necessary to determine at least one landing point in the acquired multi-value image. For this reason, every time the reduction filter is applied, the number of pixels having a result of 1 is counted to calculate the area of a region having a value of 1. When this integrated value becomes smaller than a predetermined threshold value, There is a method that makes it possible to make a safe landing by making an arbitrary point in the area remaining in the area as a landing point so that a candidate place always exists. In addition, the point corresponding to the pixel position of the distance-converted image in which the cost required for correcting the trajectory for the first scheduled landing point is minimized is set as the landing point, thereby easily switching to a new landing point. Can be operated economically.

【0018】次に、宇宙機自体に障害物等を検知して適
当な着陸地点を選定する機器を搭載しておき、宇宙機が
着陸姿勢を取った後に、この宇宙機搭載機器により、着
陸予定地点周辺の撮像画像に基づいて選定した着陸適地
に適合するように着陸軌道を修正することを特徴とする
本発明の宇宙機の着陸地点選定方法によれば、宇宙機自
体に搭載した機器により検出判定するため、宇宙機外の
管制基地との通信時間により発生するロスタイムが無
く、着地点に近づくにつれ拡大される画像により正確に
把握できるようになる地形情報に基づいた適切な修正操
作が可能となるため、周回軌道にある間に月面等を精査
して大きな面積を有する着陸光領域を探索し指定しなく
ても、着陸直前で小型の岩石やクレバス、裂け目等を避
けて着陸の失敗を防止し、着陸機を安全に着陸させるこ
とができる。
Next, a device for detecting an obstacle or the like and selecting an appropriate landing point is mounted on the spacecraft itself, and after the spacecraft takes a landing attitude, the spacecraft is scheduled to land using the spacecraft mounted device. According to the method for selecting a landing point of a spacecraft according to the present invention, in which the landing trajectory is corrected so as to conform to a suitable landing site selected based on a captured image around the point, detection is performed by a device mounted on the spacecraft itself. There is no loss time due to the communication time with the control base outside the spacecraft, and appropriate correction operation based on terrain information that can be more accurately grasped by images enlarged as approaching the landing point can be determined. Therefore, it is possible to avoid a small rock, crevasse, crevices, etc. immediately before landing without failing to search for a large area landing light area by scrutinizing the moon surface etc. while in orbit. Prevention And it can be safely land the lander.

【0019】また、本発明の宇宙機の着陸地点選定装置
によれば、宇宙機に搭載した撮像装置の出力に含まれる
比較的小さい情報量を単純な論理に従って高速に処理す
る2値化回路と距離変換回路と演算回路により構成され
るため、軽量小型で信頼性が高いけれども比較的低速な
宇宙機搭載用論理回路で十分機能させることができ、地
球上や母船上の管制室との通信を介しないで、宇宙機中
で自動的に最適軌道を演算して着陸軌道を修正するよう
にすることが可能である。なお、取得した多値画像の画
素の値が予め設定された異なる2個の閾値の間にあると
きを1、そうでないときを0とする2値画像を生成し、
生成された2値画像に縮小フィルタを再帰的に適用する
もので、縮小フィルタの1回の適用毎にフィルタ出力を
積算して求めた出力積算値が予め設定した閾値より小さ
くなったときに残った画像を最終的な距離変換画像とす
るような距離変換を行い、演算回路が最終的な距離変換
画像の画素位置のいずれかに対応する地点を着陸地点と
することを特徴とするものは、演算に用いる論理がさら
に簡単になるため、より小型軽量な装置により目的とす
る着陸候補地点が選定できるようになる。
Further, according to the spacecraft landing point selecting device of the present invention, there is provided a binarizing circuit for processing a relatively small amount of information contained in the output of the imaging device mounted on the spacecraft at high speed according to simple logic. Since it is composed of a distance conversion circuit and an arithmetic circuit, it is possible to function sufficiently with a lightweight, compact and highly reliable logic circuit for mounting on a spacecraft that is relatively slow, and it can communicate with the control room on the earth and on the mother ship. Without intervening, it is possible to automatically calculate the optimum trajectory in the spacecraft and correct the landing trajectory. Note that a binary image is generated in which 1 is set when the pixel value of the obtained multi-valued image is between two different thresholds set in advance, and 0 otherwise.
A reduction filter is recursively applied to a generated binary image. The reduction filter is integrated when the filter output is integrated for each application of the reduction filter and remains when the output integrated value becomes smaller than a preset threshold value. Which performs a distance conversion such that the obtained image becomes a final distance conversion image, and the arithmetic circuit sets a point corresponding to any of the pixel positions of the final distance conversion image as a landing point. Since the logic used for the calculation is further simplified, the target landing candidate point can be selected with a smaller and lighter device.

【0020】[0020]

【発明の実施の形態】以下、本発明に係る宇宙機の着陸
地点選定方法および装置の実施の形態を図面を用いて詳
細に説明する。本発明の要点は障害物となるクレータや
山岳領域を個々に認識することにより回避するのではな
く、簡単な画像処理により障害物の存在しない領域内で
障害物から遠い位置に着陸点を決めるようにして、処理
装置を宇宙機に搭載して自動的に演算処理できるように
したところにある。ここでは、説明を簡単にするため、
比較的単純な扱いが可能となる、月面に鉛直降下して着
陸する月着陸機を対象とした場合について説明する。月
面では、太陽光は斜めから入射していて、クレータや山
の部分で陰影が生じている。月面の反射率は着陸目標地
点付近ではほぼ一様であり、明度の差は主に太陽光と表
面の法線方向の関係により決まると仮定することができ
る。したがって一様な明るさを持った適当な広さを有す
る面を探し出して着陸すればよい。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Embodiments of a method and apparatus for selecting a landing point of a spacecraft according to the present invention will be described below in detail with reference to the drawings. The gist of the present invention is not to avoid by individually recognizing craters and mountain regions that become obstacles, but to determine a landing point at a position far from the obstacle in a region where no obstacle exists by simple image processing. Thus, the processing device is mounted on a spacecraft so that arithmetic processing can be performed automatically. Here, for simplicity,
A description will be given of a case in which a lunar lander that descends vertically on the lunar surface and lands, which enables relatively simple handling, is used. On the moon, sunlight is obliquely incident, and shadows appear on craters and mountains. It can be assumed that the reflectance of the lunar surface is almost uniform near the target landing site, and that the difference in brightness is mainly determined by the relationship between sunlight and the surface normal direction. Therefore, it suffices to search for and land on a surface having an appropriate area with uniform brightness.

【0021】[0021]

【実施例1】図1は本発明の宇宙機の着陸地点選定方法
の第1の実施例を示すブロック図、図2はそのフローチ
ャート、図3は本実施例の着陸地点選定方法の使用状況
を説明する概念図、図4は本実施例の方法に用いた2値
化方法の例、図5は同じく距離変換方法の例を説明する
図面である。図1において、参照番号10はCCDカメ
ラ等の撮像装置、20は画像処理装置であり、着陸機に
搭載されている。CCDカメラ10は鉛直下方に向けら
れていて着陸機が着陸する月面を撮影する。画像処理装
置20は、画像メモリ21とCPU22とフィルタリン
グ演算手段23と画素計数手段24から構成される。
Embodiment 1 FIG. 1 is a block diagram showing a first embodiment of a method for selecting a landing point of a spacecraft according to the present invention, FIG. 2 is a flowchart thereof, and FIG. FIG. 4 is a conceptual diagram for explaining, FIG. 4 is an example of a binarization method used in the method of the present embodiment, and FIG. 5 is a diagram for explaining an example of a distance conversion method. In FIG. 1, reference numeral 10 denotes an imaging device such as a CCD camera, and 20 denotes an image processing device, which is mounted on a landing aircraft. The CCD camera 10 is directed vertically downward, and photographs the moon surface on which the landing aircraft lands. The image processing device 20 includes an image memory 21, a CPU 22, a filtering operation unit 23, and a pixel counting unit 24.

【0022】CCDカメラ10と画像処理装置20にお
ける画像処理工程は図2のフローチャートに示した通り
である。図3に模型化して示すように、宇宙機1は予定
の着陸軌道に沿って月面の平坦地2を目指して高度を下
げてくる。着陸予定の平坦地2は宇宙機1が月面から離
れた周回軌道にいる間に月表面を観測して選定したもの
で、予定の着陸軌道はこの着陸予定地に着地するために
最適化された軌道である。しかし、着陸予定地には上空
からは見落とすような岩石3や割れ目4が存在する。宇
宙機1が着陸するときはこの様な障害物を避けないと、
安全に機体を軟着陸させることができない。宇宙機1を
平坦面2に着陸させる場合でも、平坦面の境界位置に着
陸させると宇宙機の支持脚が割れ目4にはまったり岩石
3に掛かったりして着陸後の姿勢が保持できない可能性
もある。そこで、確実に宇宙機1が平坦な地表面2に安
定着陸するようにするため、できるだけ平坦領域の中心
に近い部分を見いだして宇宙機1を誘導する必要があ
る。しかも、宇宙機1は既に着陸姿勢に入っているとこ
ろであるから、適地を即時に判断できてしかも軌道修正
はできるだけ小さくすることが好ましい。
The image processing steps in the CCD camera 10 and the image processing device 20 are as shown in the flowchart of FIG. As shown in FIG. 3 as a model, the spacecraft 1 lowers its altitude along a scheduled landing trajectory toward a flat surface 2 on the moon. The flat land 2 to be landed was selected by observing the lunar surface while the spacecraft 1 was in an orbit away from the moon. The planned landing trajectory was optimized to land at this landing site. Orbit. However, at the landing site, there are rocks 3 and cracks 4 that can be overlooked from above. When the spacecraft 1 lands, you must avoid such obstacles.
The aircraft cannot be soft-landed safely. Even when the spacecraft 1 lands on the flat surface 2, if the spacecraft 1 lands on the boundary position of the flat surface, the support legs of the spacecraft may fall into the cracks 4 or hang on the rocks 3, and the attitude after landing may not be maintained. is there. Therefore, in order to surely land the spacecraft 1 on the flat ground surface 2, it is necessary to guide the spacecraft 1 by finding a portion as close to the center of the flat area as possible. In addition, since the spacecraft 1 is already in the landing attitude, it is preferable to be able to immediately determine a suitable place and to make the orbit correction as small as possible.

【0023】月面には比較的低い角度に太陽5があっ
て、岩3のような突起物に太陽光が照射すると日向の部
分が強い反射をして明るく輝き、また日陰の部分は大気
が希薄で光が達しないため真っ暗になる。割れ目4の部
分も同じように影の部分と日が当たる部分の明度が極端
な値を持つようになる。一方、平坦地2の部分はほぼ一
定の反射率を有し太陽光を乱反射するためほぼ一様な明
度を有し、障害物の存在する部分と区別ができる。な
お、平地の明度は対象領域部分の地質や表面を覆う物質
の粒度、さらに太陽からの距離や太陽の高度など、測定
環境によって変化する。従って平地と判定する明度はあ
る程度の許容幅をもたせる必要がある。
On the moon, the sun 5 is at a relatively low angle, and when the projections such as the rocks 3 are irradiated with the sun, the sun is strongly reflected and brightly illuminated, and the shade is illuminated by the atmosphere. It is dark because it is rare and light does not reach. Similarly, the lightness of the shadow 4 and the sunlit portion of the crack 4 has an extreme value. On the other hand, the portion of the flat land 2 has a substantially constant reflectance and diffuses the sunlight, has a substantially uniform brightness, and can be distinguished from a portion where an obstacle exists. The lightness of the flat land changes depending on the geology of the target area, the particle size of the material covering the surface, the distance from the sun, the altitude of the sun, and the like, and the measurement environment. Therefore, it is necessary that the brightness determined as a flat ground has a certain allowable width.

【0024】本発明の着陸地点選定方法においては、宇
宙機1の高度が下がり月面の地形をより詳細に観察でき
るような適当な高度に達すると、宇宙機1に搭載した着
陸地点選定装置を起動させる。処理工程が開始されると
(S1)、CCDカメラ10は、鉛直下方に存在する月
面上の宇宙機着陸予定領域を撮像する。撮像した画像に
は、日向側が極めて明るく見える岩や山が濃い影を引い
て写っており、またクレータなどにある割れ目など凹部
が真っ暗な影を現していて、明度の違いから地形が読み
とれるようになっている。CCDカメラ10は、撮像し
た映像の画素毎に明度に基づいて数値化し多値画像信号
として出力する。画像メモリ21は、CCDカメラ10
から出力される多値画像信号をマトリックス状に格納す
る(S2)。
In the landing site selection method of the present invention, when the altitude of the spacecraft 1 decreases and reaches an appropriate altitude at which the terrain on the moon can be observed in more detail, the landing site selection device mounted on the spacecraft 1 is used. Start. When the processing step is started (S1), the CCD camera 10 captures an image of a spacecraft landing scheduled area on the moon surface that exists vertically below. In the captured images, rocks and mountains that look very bright on the sun side are drawn with dark shadows, and concave parts such as cracks in craters etc. show a dark shadow, so that the terrain can be read from the difference in brightness. It has become. The CCD camera 10 digitizes each pixel of the captured video based on the brightness and outputs it as a multi-valued image signal. The image memory 21 stores the CCD camera 10
Are stored in the form of a matrix (S2).

【0025】次に、この多値画像を2値化する。2値化
は、一般に行われるように、予め閾値Tを設定し、多値
画像の画素値Vが閾値Tより大きければ対応する写像の
画素値を1とし、それ以外では0に変換してもよいが、
本実施例では、影の部分がクレータや山陰を表すのに加
えて、日向側の斜面が平地より明るくなることを勘案し
て、第1の閾値T1と第2の閾値T2を設けて、多値画
像の画素値Vが第1閾値T1と第2閾値T2の間にある
ときに2値化画像の画素値を1とし、画素値Vが第1閾
値T1と第2閾値T2の外側にあるときまたはこれら閾
値と同じときに0とする。さらに、平地の明度が測定環
境によって変化することに鑑みて、本実施例では着陸予
定地の状態に個別に対応した的確な閾値を用いるため、
実際の測定値に基づいて閾値を設定するようにしてあ
る。CPU22は、メモリ21にアクセスし画像中の画
素の明度水準ごとの出現頻度を調べてヒストグラムを作
成し、このヒストグラムを用いて、障害物の近辺に発生
する日陰で暗い部分と日向側の明るい部分の明度水準を
求め、これらを障害物以外の平坦な部分を判定するため
の第1閾値T1と第2閾値T2とする(S3)。さら
に、上記多値画像中の各画素の明度と閾値を比較し、着
陸可能な平坦地の領域を1とし、障害物およびその近辺
を0で表した2値画像を生成して画像メモリに格納する
(S4)。
Next, the multi-valued image is binarized. The binarization is performed by setting a threshold T in advance, as is generally performed, and setting the pixel value of the corresponding mapping to 1 if the pixel value V of the multi-valued image is larger than the threshold T, and converting the pixel value to 0 otherwise. Good,
In this embodiment, the first threshold T1 and the second threshold T2 are provided in consideration of the fact that the shaded portion represents a crater or a mountain shade, and that the slope on the sunny side becomes brighter than the flat ground. When the pixel value V of the value image is between the first threshold value T1 and the second threshold value T2, the pixel value of the binarized image is set to 1, and the pixel value V is outside the first threshold value T1 and the second threshold value T2. At the same time or at the same time as these thresholds. Further, in view of the fact that the brightness of the flat ground changes depending on the measurement environment, in this embodiment, since an accurate threshold value individually corresponding to the state of the landing site is used,
The threshold is set based on the actual measurement value. The CPU 22 accesses the memory 21 and examines the appearance frequency of each pixel in the image for each lightness level to create a histogram. Using the histogram, a shaded portion that is generated near an obstacle and a bright portion on the sunny side. Are determined as a first threshold value T1 and a second threshold value T2 for determining a flat portion other than an obstacle (S3). Further, the brightness of each pixel in the multi-valued image is compared with a threshold value, and a binary image in which an area of a flat land where landing is possible is represented by 1 and an obstacle and its vicinity is represented by 0 is generated and stored in an image memory. (S4).

【0026】図4は、2値化処理アルゴリズムの1例を
示す。図中左のマトリックスは月面上の着陸予定表面領
域について鉛直下方に向けたCCDカメラ10が取得し
た明暗画像の有効部分における画素の明度を、明度に応
じて0からFまでの16進数に変換し多値画像31とし
て画像メモリに収納した状態を模式的に表したものであ
る。図中右のマトリックスは、多値画像31についてヒ
ストグラム解析をした結果から、例えば、暗い領域に対
する第1閾値T1を3とし極端に明るい領域に対する第
2閾値T2をBとして、4からAまでの明度水準値を有
する部分を1としその他の部分を0とする2値化処理を
施した結果として求まった2値画像32を表す。この2
値画像32において、値が1の領域に対応する月面部分
が平坦な着陸適地である。しかし、安全に着陸させるた
めには、上記の着陸適地のうちでも障害物からできるだ
け遠い位置を選ぶことが好ましい。
FIG. 4 shows an example of the binarization processing algorithm. The matrix on the left in the figure converts the lightness of the pixels in the effective portion of the light and dark image obtained by the CCD camera 10 vertically directed to the landing surface area on the moon surface into a hexadecimal number from 0 to F according to the lightness. 3 schematically shows a state in which the multi-valued image 31 is stored in an image memory. The matrix on the right side of the figure shows the brightness from 4 to A, for example, assuming that the first threshold T1 for a dark area is 3 and the second threshold T2 for an extremely bright area is B from the result of the histogram analysis of the multi-valued image 31. This represents a binary image 32 obtained as a result of performing a binarization process in which a portion having a level value is 1 and other portions are 0. This 2
In the value image 32, the lunar portion corresponding to the area where the value is 1 is a flat suitable landing site. However, in order to land safely, it is preferable to select a position as far as possible from an obstacle among the above-mentioned landing sites.

【0027】そこで、次に、フィルタリング演算手段2
3が3×3のカーネルサイズを持つ縮小フィルタを上記
の2値画像に作用させて距離変換を行う(S5)。距離
変換とは、2値画像において0と1の境界を輪郭線とし
た場合に、1の値を持つ各画素の値を輪郭線からの距離
値に変換する処理を言う。縮小フィルタは、カーネル中
の画素がすべて1であるときに値を1とし、ひとつでも
0の画素があれば値を0とするような論理積演算を行
う。この縮小フィルタを画像の左上から右下にかけて1
回走査して作用させると、2値画像中の値1の領域の周
囲を1画素分縮小した新しい値1の領域を生成する。こ
の新しい領域は初めの領域の輪郭から内側に1画素以上
離れた画素の集合を表すものである。初めの画像にこの
新たな画像を加算処理すると得られた画像は、元の画像
における値1の領域の輪郭から1画素未満の距離にある
画素に値1を付し、1画素以上の距離にある画素に対し
て値2を付して表した距離変換画像となる。
Then, next, the filtering operation means 2
3 performs distance conversion by applying a reduction filter having a kernel size of 3 × 3 to the binary image (S5). The distance conversion refers to a process of converting the value of each pixel having a value of 1 into a distance value from the contour when a boundary between 0 and 1 is defined as a contour in the binary image. The reduction filter performs an AND operation to set the value to 1 when all the pixels in the kernel are 1 and to set the value to 0 if at least one pixel is 0. This reduction filter is applied from the upper left to the lower right of the image.
When the scanning is performed once, a new value 1 area is generated by reducing the periphery of the value 1 area in the binary image by one pixel. This new region represents a set of pixels one or more pixels away from the outline of the first region inward. An image obtained by adding this new image to the first image is assigned a value of 1 to pixels that are less than one pixel away from the contour of the area of value 1 in the original image, and is assigned a distance of one pixel or more. The distance conversion image is obtained by adding a value 2 to a certain pixel.

【0028】初めの領域の輪郭から内側に1画素以上離
れた画素の集合を表す新しい領域に対して同じ画像処理
操作を行うと今度は輪郭から内側に2画素以上離れた画
素の集合を表すものが生成される。これを先の距離変換
画像に加算処理すると、さらに2画素以上離れた内部領
域に値3を付した距離変換画像となる。このようにして
縮小フィルタ操作を値1の領域が全て消滅するまで繰り
返すことにより、障害物からの距離を数値で表現した距
離変換画像を得ることが出来る。図5は、上記論理によ
る距離変換例を説明する図面である。図5の左図が演算
処理の対象となる2値画像の例であり、右図がこの2値
画像41に対して距離変換を施して得られた距離変換画
像42を表したものである。図中、2値画像41の値1
の領域の中心部分は輪郭から画素数で4の距離にあるこ
とが分かる。
When the same image processing operation is performed on a new region representing a set of pixels one or more pixels inward from the outline of the first region, this time represents a set of pixels two or more pixels inward from the outline. Is generated. When this is added to the previous distance conversion image, a distance conversion image is obtained in which the value 3 is assigned to the internal region further separated by two or more pixels. By repeating the reduction filter operation until all the areas of value 1 disappear, a distance conversion image expressing the distance from the obstacle by a numerical value can be obtained. FIG. 5 is a diagram illustrating an example of distance conversion based on the above logic. The left diagram in FIG. 5 shows an example of a binary image to be subjected to arithmetic processing, and the right diagram shows a distance conversion image 42 obtained by performing distance conversion on the binary image 41. In the figure, the value 1 of the binary image 41
It can be seen that the central portion of the region is located at a distance of 4 pixels from the contour.

【0029】なお、本発明の方法において距離変換を用
いる目的は、障害物から十分離れた位置を見いだすこと
にあるため、値1の領域が完全に消滅するまで距離変換
処理を繰り返していたずらに時間をかけるには及ばな
い。本実施例では、画素計数手段24により残った値1
の領域の面積を算出して(S6)、この面積値がある閾
値N以下の値になったところで距離変換処理を終了させ
ることとして、演算時間を短縮化している(S7)。上
記の距離変換は、このフィルタを再帰的に画像に畳み込
むことで実現され、ソフトウエアにより実行するように
することも可能であるが、画像処理用の専用チップに組
み込んで極めて高速に全画素に対して畳み込む処理を繰
り返すようにすることができる。
Since the purpose of using the distance conversion in the method of the present invention is to find a position sufficiently distant from the obstacle, the distance conversion processing is repeated until the area of value 1 completely disappears. It is not enough to call. In this embodiment, the value 1 remaining by the pixel counting unit 24
Is calculated (S6), and when this area value becomes equal to or less than a certain threshold value N, the distance conversion process is terminated, thereby shortening the calculation time (S7). The above distance conversion is realized by recursively convolving this filter with the image, and it is possible to execute it by software.However, by incorporating it into a dedicated chip for image processing, extremely fast The convolution process can be repeated.

【0030】こうして得られた距離変換画像の中で値が
最大になる領域は、障害物から最も離れた平坦部分の中
心領域を示し、より安全に着陸できる地点である。これ
らの候補地の内から、軌道修正に必要とされる種々のコ
スト、着地までの時間、燃料消費などを勘案した評価関
数を最小にするような地点を選択する。宇宙機は画像中
心に向かって運行しているから、最も基本的な判定方法
は画像中心からの距離が最も短いものを着陸地点とする
ことである。CPU22が画像メモリに格納された距離
変換画像情報にアクセスして、候補地点の画像中心から
の距離を算出し(S8)、この距離が最も短いものを着
陸地点に決定して(S9)、運行装置に着陸軌道修正の
指示を与えて、一連の演算処理を終了する(S10)。
なお、上記の畳み込み処理の回数がそのまま領域の輪郭
からの距離を代表する指標となるので、安全な着陸のた
めに必要とされる障害物からの距離に対応する処理回数
を予め算定して設定し、設定した処理回数を重ねた時点
において残る値1の領域をもって着陸候補領域とするこ
とも可能である。
The area having the maximum value in the distance conversion image thus obtained indicates the central area of the flat part farthest from the obstacle, and is a point where the vehicle can land more safely. From these candidate sites, a site that minimizes an evaluation function in consideration of various costs required for trajectory correction, time until landing, fuel consumption, and the like is selected. Since the spacecraft travels toward the center of the image, the most basic determination method is to use the one with the shortest distance from the center of the image as the landing point. The CPU 22 accesses the distance conversion image information stored in the image memory, calculates the distance from the image center of the candidate point (S8), determines the shortest distance as the landing point (S9), and operates An instruction to correct the landing trajectory is given to the device, and a series of arithmetic processing ends (S10).
Since the number of times of the convolution process is directly used as an index representing the distance from the outline of the region, the number of processes corresponding to the distance from the obstacle required for safe landing is calculated and set in advance. However, it is also possible to set a region having a value of 1 remaining when the set number of processes is repeated as a landing candidate region.

【0031】また、本実施例では2値化のための閾値を
実測値から求めたヒストグラムに基づいて決定するよう
にしたが、本発明において事前に固定値として決定して
おいても良いことは言うまでもない。また、実測値によ
らず、太陽の入射角と月面の状態から演算により求める
ようにしても良い。これらの場合は着陸途中の忙しい時
間に処理する演算の量が多少でも減少する効果がある。
また、2値化を閾値との比較計算により行うのでなく、
参照表(LUT)を用いるようにして演算時間を短縮す
ることも可能である。なお、上記説明において着陸適地
を1、障害物を0とする2値化処理としたが、これを逆
にしても、また別の2値を用いても差し支えないことは
いうまでもない。
In this embodiment, the threshold value for binarization is determined based on the histogram obtained from the actually measured value. However, in the present invention, the threshold value may be determined in advance as a fixed value. Needless to say. Further, it may be obtained by calculation from the angle of incidence of the sun and the state of the moon surface without depending on the actually measured value. In these cases, there is an effect that the amount of calculation to be performed during a busy time during landing is reduced to some extent.
Also, instead of performing binarization by comparison with a threshold,
The calculation time can be reduced by using a look-up table (LUT). In the above description, the binning process is performed in which the land suitable for landing is 1 and the obstacle is 0. However, it is needless to say that the process may be reversed or another binary value may be used.

【0032】[0032]

【実施例2】図6は、本発明の宇宙機の着陸適地選定方
法を実施するために用いる装置の第2の実施例を示すブ
ロック図である。本実施例の着陸適地選定装置が上記実
施例1のものと異なる点は、初めの内に画像情報を縮小
しておいてから高度な画像処理を行うようにすることに
より演算装置を簡略化したところである。CCDカメラ
51は宇宙機から鉛直下方の月面を撮像して、例えば5
12×512画素の映像信号を供給する。画像処理装置
52がこの映像信号を入力して、上記実施例と同様に2
値化回路53で2値化した後、画像情報縮小回路54が
512×512ビットの2値数マトリックスを縦横8ビ
ットの升目で区切り、升目内の論理和を取って情報縮小
して64×64ビットのマトリックスに変換する。この
縮小されたマトリックスはその1目に対応する月面の部
分に障害物が含まれるときに値が1になり、障害物がな
ければ0となる画像情報となっているから、これを用い
て障害物を避けるようにすればより安全な操縦が可能と
なる。
[Embodiment 2] FIG. 6 is a block diagram showing a second embodiment of the apparatus used to carry out the method for selecting a suitable landing site for a spacecraft according to the present invention. The point that the suitable landing site selecting apparatus of the present embodiment is different from that of the first embodiment is that the arithmetic unit is simplified by performing the advanced image processing after reducing the image information at first. By the way. The CCD camera 51 captures an image of the moon surface vertically below from the spacecraft, and
A video signal of 12 × 512 pixels is supplied. The image processing device 52 receives this video signal, and receives 2
After binarization by the binarization circuit 53, the image information reduction circuit 54 divides the 512 × 512 bit binary number matrix by 8-bit vertical and horizontal bits, reduces the information by taking the logical sum within the square, and 64 × 64. Convert to a matrix of bits. This reduced matrix is image information that has a value of 1 when an obstacle is included in the portion of the moon corresponding to the first eye, and has a value of 0 when there is no obstacle. Avoiding obstacles allows for safer maneuvering.

【0033】64×64ビットの情報に縮小された月面
撮像画像は縮小画像メモリ55に格納され、CPU56
がこれにアクセスして上記実施例1と同様な距離変換手
法により64×64ビットの距離画像に変換し距離画像
メモリ57に格納する。距離画像メモリ57に格納され
た距離変換画像から、最もわずかな軌道修正で安全に着
陸できる地点を算出して、宇宙機の操縦装置に対してこ
の新たな着陸適地に着陸できるような軌道修正指示を与
える。この様な構成を採用すると、CCDカメラ51の
有する高い解像度に基づいた大量演算を実施する代わり
に、初めの段階で安全な着陸に必要な程度の小さい情報
量に絞り込むことにより演算処理装置の負荷を減少させ
て、信頼性が高い代わりに演算速度が比較的遅い宇宙機
搭載用計算機であっても十分実用的な演算ができるよう
にすることができる。
The lunar picked-up image reduced to 64 × 64-bit information is stored in the reduced image memory 55 and the CPU 56
Accesses this, converts it into a 64 × 64-bit distance image by the same distance conversion method as in the first embodiment, and stores it in the distance image memory 57. From the distance conversion image stored in the distance image memory 57, a point at which landing can be safely performed with the slightest trajectory correction is calculated, and a trajectory correction instruction is given to the control device of the spacecraft so that it can land at this new suitable landing site. give. With such a configuration, instead of performing a large amount of calculation based on the high resolution of the CCD camera 51, the amount of information required for safe landing is narrowed down at the beginning, thereby reducing the load on the processing unit. Can be reduced, so that a sufficiently practical calculation can be performed even for a spacecraft-mounted computer having a relatively low calculation speed instead of high reliability.

【0034】[0034]

【実施例3】図7は、本発明の宇宙機の着陸適地選定方
法を実施するために用いる装置の第3の実施例を示すブ
ロック図である。本実施例の着陸適地選定装置が上記実
施例1のものと異なる点は、CPUがメモリに格納した
画像情報にアクセスして明度水準に関するヒストグラム
を作成し、このヒストグラムを用いて平坦面判定用の閾
値を算定する代わりに、CPUに負荷をかけずに専用回
路により高速演算して閾値を求めるところにある。な
お、これらの閾値を用いて2値画像を求めた後に画像縮
小して、着陸適地判定を簡単化するところは実施例2と
同様である。
Third Embodiment FIG. 7 is a block diagram showing a third embodiment of an apparatus used for carrying out the method for selecting a suitable landing site for a spacecraft according to the present invention. The difference between the landing site selecting apparatus of this embodiment and that of the first embodiment is that the CPU accesses the image information stored in the memory to create a histogram relating to the brightness level, and uses this histogram to determine the flat surface. Instead of calculating the threshold value, a high speed calculation is performed by a dedicated circuit without applying a load on the CPU to obtain the threshold value. It is the same as in the second embodiment that a binary image is obtained using these thresholds and then reduced to simplify the determination of a suitable landing position.

【0035】CCDカメラ61は鉛直下方の月面を撮像
して例えば512×512画素の画像信号を生成し第1
の画像メモリ62に格納する。ヒストグラム生成回路6
3は、第1画像メモリ62に格納された画像信号を順次
入力して、明度水準毎に頻度を積算しヒストグラムを作
成する。ヒストグラムは月の表面における岩質や太陽の
高度等の環境条件に従った明度分布形状を表すようにな
る。そこで、最も明度が高くなる高地の日向の部分と割
れ目の日当たりする部分と、最も明度が低くなる日陰の
部分を除去し、平坦部が示す中間の明度範囲を知ること
ができる。2値化パラメータ決定回路64がこの様な分
析を予め仕込まれた論理回路により実行して、平坦部を
切り出すための第1閾値と第2閾値を算出して決定す
る。2値化回路65が第1画像メモリ62から画像信号
を読み出しながら、2値化パラメータ決定回路64によ
り決定された閾値と比較して、512×512画素の画
像信号を2値化して、2値画像を生成する。次に、画像
縮小回路66が2値化された512×512画素を8×
8画素毎に区切って、各領域内に障害物が存在するか否
かを判定し、新たに64×64個の領域からなる2値マ
トリックスを生成して第2の画像メモリ67に格納す
る。CPU68が第2画像メモリ67にアクセスして6
4×64領域の縮小画像を実施例1と同様な画像処理を
施して、宇宙機が着陸しても安全な位置を選定し、宇宙
機をその着陸地点に着陸させるための軌道修正命令を自
動操縦装置に伝達する。
The CCD camera 61 picks up an image of the moon surface vertically below, generates an image signal of, for example, 512 × 512 pixels, and generates a first image signal.
Is stored in the image memory 62. Histogram generation circuit 6
Reference numeral 3 sequentially inputs the image signals stored in the first image memory 62 and accumulates the frequency for each brightness level to create a histogram. The histogram represents the brightness distribution shape according to environmental conditions such as rock quality and the altitude of the sun on the surface of the moon. Therefore, the sunlit portion of the highland where the brightness becomes highest, the sunlit portion of the crack, and the shade portion where the brightness becomes the lowest are removed, and the middle brightness range indicated by the flat portion can be known. The binarization parameter determination circuit 64 executes such an analysis by a logic circuit prepared in advance, and calculates and determines a first threshold value and a second threshold value for cutting out a flat portion. While reading the image signal from the first image memory 62, the binarization circuit 65 compares the image signal of 512 × 512 pixels with the threshold value determined by the binarization parameter determination circuit 64 to binarize the image signal. Generate an image. Next, the image reduction circuit 66 converts the binarized 512 × 512 pixels into 8 ×
It is determined whether or not there is an obstacle in each area, divided every eight pixels, and a new binary matrix composed of 64 × 64 areas is generated and stored in the second image memory 67. The CPU 68 accesses the second image memory 67 and
The reduced image of the 4 × 64 area is subjected to the same image processing as in the first embodiment, a safe position is selected even when the spacecraft lands, and a trajectory correction command for landing the spacecraft at its landing point is automatically set. Transmit to the control device.

【0036】この様な構成を採用すると、演算負荷が減
少するため、信頼性が高い代わりに演算速度が遅い宇宙
機搭載用CPUであっても十分実用的な演算ができるよ
うにすることができる。なお、上記説明ではヒストグラ
ム回路63は、一旦画像メモリ62に格納された画像信
号を用いてヒストグラムを作成するようにしているが、
この代わりに、CCDカメラ61の出力を画像メモリ6
2に格納するのと並列して直接に入力し画素毎に有する
明度を逐次調べて明度水準毎の画素数を積算していき、
画像メモリ62に画像信号を格納し終えるとほぼ同時に
ヒストグラムを完成して閾値を算出し、そのまま直ちに
2値化演算を開始するようにすることも可能である。上
記各実施例の説明からも明らかなように、本発明の着陸
地点選定方法および装置は太陽に照らされて地形により
明度が変化する天体であれば適用でき、月面の他にも火
星等の惑星、あるいは小惑星の表面に着陸するときにも
有効である。
When such a configuration is adopted, the computational load is reduced, so that a sufficiently practical computation can be performed even with a spacecraft CPU having a low computation speed in addition to high reliability. . In the above description, the histogram circuit 63 creates a histogram using the image signal once stored in the image memory 62.
Instead, the output of the CCD camera 61 is stored in the image memory 6.
In parallel with storing the data in 2, each pixel is directly input and the brightness of each pixel is sequentially examined, and the number of pixels for each brightness level is integrated.
It is also possible to complete the histogram almost at the same time when the image signal is stored in the image memory 62, calculate the threshold value, and immediately start the binarization operation. As is clear from the description of each of the above embodiments, the landing point selection method and apparatus of the present invention can be applied to any celestial object whose brightness changes according to the terrain illuminated by the sun. It is also effective when landing on the surface of a planet or asteroid.

【0037】[0037]

【発明の効果】以上説明した通り、本発明の宇宙機の着
陸地点選定方法および装置は、宇宙機自体に搭載して着
陸予定地の上空から取得する予定地近辺の拡大画像に基
づいて安全な着陸地点を選定するため、周回軌道上から
取得した地形情報に基づいて着陸候補地を決める場合に
安全率を見込んで広い平坦地を選ばなくても、着陸予定
地に近づいてから安全な地点を精査して選択すればよく
なり、着陸適地としての条件が緩和されるようになっ
た。
As described above, the method and apparatus for selecting a landing site for a spacecraft according to the present invention are mounted on the spacecraft itself and secured on the basis of an enlarged image of the vicinity of the planned landing site acquired from above the landing site. When selecting a landing site based on terrain information acquired from the orbit, it is not necessary to select a wide flat area in consideration of the safety factor to select a landing point. Scrutinization and selection are no longer necessary, and conditions for a suitable landing site have been eased.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の宇宙機の着陸地点選定方法の第1の実
施例を示すブロック図である。
FIG. 1 is a block diagram showing a first embodiment of a method for selecting a landing point of a spacecraft according to the present invention.

【図2】本実施例の着陸地点選定方法を示すフローチャ
ートである。
FIG. 2 is a flowchart illustrating a landing point selection method according to the present embodiment.

【図3】本実施例の着陸地点選定方法の使用状況を説明
する概念図である。
FIG. 3 is a conceptual diagram illustrating a usage state of a landing point selection method according to the present embodiment.

【図4】本実施例の方法に用いた2値化方法の例を説明
する図である。
FIG. 4 is a diagram illustrating an example of a binarization method used in the method of the present embodiment.

【図5】本実施例の方法に用いた距離変換方法の例を説
明する図である。
FIG. 5 is a diagram illustrating an example of a distance conversion method used in the method of the present embodiment.

【図6】本発明の宇宙機の着陸地点選定装置の第2の実
施例を示すブロック図である。
FIG. 6 is a block diagram showing a second embodiment of a landing point selecting device for a spacecraft according to the present invention.

【図7】本発明の宇宙機の着陸地点選定装置の第3の実
施例を示すブロック図である。
FIG. 7 is a block diagram showing a third embodiment of a landing point selecting apparatus for a spacecraft according to the present invention.

【符号の説明】[Explanation of symbols]

1 宇宙機 2 月面平坦地 3 岩石 4 割れ目 5 太陽 10 撮像装置 20 画像処理装置 21 画像メモリ 22 CPU 23 フィルタリング演算手段 24 画素計数手段 31 多値画像 32 2値画像 41 2値画像 42 距離変換画像 51 CCDカメラ 52 画像処理装置 53 2値化回路 54 画像情報縮小回路 55 縮小画像メモリ 56 CPU 57 距離画像メモリ 61 CCDカメラ 62 第1画像メモリ 63 ヒストグラム生成回路 64 2値化パラメータ決定回路 65 2値化回路 66 画像縮小回路 67 第2画像メモリ 68 CPU DESCRIPTION OF SYMBOLS 1 Spacecraft 2 Lunar flat surface 3 Rock 4 Crack 5 Sun 10 Imaging device 20 Image processing device 21 Image memory 22 CPU 23 Filtering operation means 24 Pixel counting means 31 Multi-valued image 32 Binary image 41 Binary image 42 Distance conversion image Reference Signs List 51 CCD camera 52 Image processing device 53 Binarization circuit 54 Image information reduction circuit 55 Reduced image memory 56 CPU 57 Distance image memory 61 CCD camera 62 First image memory 63 Histogram generation circuit 64 Binarization parameter determination circuit 65 Binarization Circuit 66 Image reduction circuit 67 Second image memory 68 CPU

───────────────────────────────────────────────────── フロントページの続き (72)発明者 吉田 俊之 岐阜県各務原市川崎町1番地 川崎重工 業株式会社 岐阜工場内 (72)発明者 小川 大八 岐阜県各務原市川崎町1番地 川崎重工 業株式会社 岐阜工場内 (56)参考文献 特開 平8−181976(JP,A) 特開 平8−287400(JP,A) 特開 平9−280856(JP,A) 特開 平9−301300(JP,A) (58)調査した分野(Int.Cl.6,DB名) B64G 1/66 G06T 1/00 H04N 7/18 H04N 5/225 G01C 7/02 G01C 11/24 G08G 5/02 G08G 9/02 ──────────────────────────────────────────────────の Continuing on the front page (72) Inventor Toshiyuki Yoshida 1 Kawasaki-cho, Kakamigahara-shi, Gifu Kawasaki Heavy Industries, Ltd. Gifu Plant (72) Inventor Daihachi Ogawa 1, Kawasaki-cho, Kakamigahara-shi, Gifu Kawasaki Heavy Industries, Ltd. (56) References JP-A-8-181976 (JP, A) JP-A-8-287400 (JP, A) JP-A-9-280856 (JP, A) JP-A-9-301300 (JP) , A) (58) Fields investigated (Int. Cl. 6 , DB name) B64G 1/66 G06T 1/00 H04N 7/18 H04N 5/225 G01C 7/02 G01C 11/24 G08G 5/02 G08G 9 / 02

Claims (7)

(57)【特許請求の範囲】(57) [Claims] 【請求項1】 着陸予定地点周辺を撮像して明度の分布
を表す多値画像を取得し、該多値画像を明度に従い2値
化して2値画像を生成し、該2値画像の像境界からの距
離で表す距離変換を行って距離変換画像を生成し、該距
離変換画像における距離値に基づいてより安全性の高い
着陸地点を算出する着陸地点選定方法。
1. A by imaging the surrounding land planned site obtains multivalued image representing the distribution of brightness, binarizes follow the multivalued image brightness to generate a binary image, the image of the binary image A landing point selection method for generating a distance conversion image by performing distance conversion represented by a distance from a boundary, and calculating a safer landing point based on a distance value in the distance conversion image.
【請求項2】 前記2値化の値決めが、異なる2個の閾
値の間にあるか否かにより行われることを特徴とする請
求項1記載の着陸地点選定方法。
2. The landing point selecting method according to claim 1, wherein the value of the binarization is determined based on whether or not the value is between two different thresholds.
【請求項3】 前記閾値が前記多値画像の明度について
取ったヒストグラムに基づいて決定されることを特徴と
する請求項2記載の着陸地点選定方法。
3. The landing point selection method according to claim 2, wherein said threshold value is determined based on a histogram obtained for brightness of said multi-valued image.
【請求項4】 前記距離変換が、前記2値画像に縮小フ
ィルタを再帰的に適用して行い、各度の適用毎にフィル
タ出力を積算して出力積算値を求め、該出力積算値が予
め設定した閾値より小さくなったときに残った画素位置
のいずれかに対応する地点を着陸地点とすることを特徴
とする請求項1ないし3のいずれかに記載の着陸地点選
定方法。
4. The distance conversion is performed by recursively applying a reduction filter to the binary image, and integrating a filter output for each application to obtain an output integrated value. 4. A landing point selection method according to claim 1, wherein a point corresponding to one of the remaining pixel positions when the pixel value becomes smaller than the set threshold value is set as a landing point.
【請求項5】 前記着陸予定地点に対して軌道修正に掛
かるコストが最小になる地点を着陸地点とすることを特
徴とする請求項1ないし4のいずれかに記載の着陸地点
選定方法。
5. The landing point selection method according to claim 1, wherein a point at which the cost required for correcting the trajectory with respect to said landing point is minimized is a landing point.
【請求項6】 対象表面を撮像して撮像領域の明度分布
を表す多値画像を生成する撮像装置と、該多値画像を該
撮像装置から入力し予め設定した閾値に基づき2値化し
て撮像領域の明度に従う2値画像を生成する2値化回路
と、該2値画像を該2値化回路から入力して各画素につ
いて画像の境界からの距離に基づく値を算定し距離変換
画像を生成して格納する距離変換回路と、該距離変換回
路に格納された距離変換画像における距離値に基づいて
着陸地点を選定する演算回路とを備える着陸地点選定装
置。
6. An imaging device for imaging a target surface to generate a multi-valued image representing a brightness distribution of an imaging region, and binarizing the multi-valued image based on a preset threshold value input from the imaging device. A binarization circuit for generating a binary image according to the brightness of a region, and a distance conversion by inputting the binary image from the binarization circuit and calculating a value for each pixel based on a distance from an image boundary;
A landing point selection device comprising: a distance conversion circuit that generates and stores an image ; and a calculation circuit that selects a landing point based on a distance value in the distance conversion image stored in the distance conversion circuit.
【請求項7】 前記2値化回路が、予め設定された異な
る2個の閾値に基づき、前記多値画像の画素の値が該2
個の閾値の間にあるときとそうでないときを区別するこ
とにより前記2値画像を生成し、前記距離変換回路が、
縮小フィルタを前記2値画像に再帰的に適用するもの
で、該縮小フィルタの1回の適用毎にフィルタ出力を積
算して出力積算値を求め、該出力積算値が予め設定した
閾値より小さくなったときに残った画像を前記距離変換
画像とする距離変換を行い、前記演算回路が前記距離変
換画像の残った画素位置のいずれかに対応する地点を着
陸地点とすることを特徴とする請求項6記載の着陸地点
選定装置。
7. The multi-level image processing apparatus according to claim 1, wherein the binarizing circuit determines a pixel value of the multi-valued image based on two different thresholds set in advance.
Generating the binary image by distinguishing between when and between the thresholds, the distance conversion circuit,
A reduction filter is applied recursively to the binary image, and the filter output is integrated every time the reduction filter is applied once to obtain an output integrated value, and the output integrated value becomes smaller than a preset threshold value. claims residual image subjected to distance transform to the distance transform images, the arithmetic circuit is characterized in that the landing site of the point corresponding to either of the remaining pixel positions of the distance transform image when the 6. The landing site selection device according to 6 .
JP8209148A 1996-07-19 1996-07-19 Method and apparatus for selecting landing site of spacecraft Expired - Fee Related JP2940666B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP8209148A JP2940666B2 (en) 1996-07-19 1996-07-19 Method and apparatus for selecting landing site of spacecraft

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP8209148A JP2940666B2 (en) 1996-07-19 1996-07-19 Method and apparatus for selecting landing site of spacecraft

Publications (2)

Publication Number Publication Date
JPH1035599A JPH1035599A (en) 1998-02-10
JP2940666B2 true JP2940666B2 (en) 1999-08-25

Family

ID=16568112

Family Applications (1)

Application Number Title Priority Date Filing Date
JP8209148A Expired - Fee Related JP2940666B2 (en) 1996-07-19 1996-07-19 Method and apparatus for selecting landing site of spacecraft

Country Status (1)

Country Link
JP (1) JP2940666B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102173313B (en) * 2010-12-24 2013-05-01 北京控制工程研究所 Soft landing relay obstacle avoiding method

Also Published As

Publication number Publication date
JPH1035599A (en) 1998-02-10

Similar Documents

Publication Publication Date Title
KR102414452B1 (en) Target detection and training of target detection networks
CN109934153B (en) Building extraction method based on gating depth residual error optimization network
US20050175253A1 (en) Method for producing cloud free and cloud-shadow free images
US5430810A (en) Real time implementation of the hough transform
KR101986025B1 (en) Machine learning-based satellite sea fog detection apparatus and method
IL100104A (en) Scene recognition system and method employing low and high level feature processing
JP6808787B1 (en) Building change identification device and program
CN111274968A (en) Object-oriented road information extraction method and device and electronic equipment
Li et al. Producing cloud free and cloud-shadow free mosaic from cloudy IKONOS images
KR20200039043A (en) Object recognition device and operating method for the same
Li et al. Automated production of cloud-free and cloud shadow-free image mosaics from cloudy satellite imagery
US10810704B2 (en) Method for processing an optical image acquired in the presence of aerosols and/or clouds in the atmosphere
US10302551B2 (en) Intelligent sensor pointing for remote sensing applications
JP3505372B2 (en) Image processing device and image processing method for soft landing of moon and planet
JP2940666B2 (en) Method and apparatus for selecting landing site of spacecraft
CN113129248A (en) Island remote sensing image set obtaining method, device, equipment and medium
US7020328B2 (en) Electronic color dropout utilizing spatial context to enhance accuracy
KR20170122935A (en) Equipment and Method for topographically corrected image generation using quantitative analysis and Apparatus Thereof
KR101877173B1 (en) Coastline Detection System using Satellite Image and method thereof
JPH1151611A (en) Device and method for recognizing position and posture of object to be recognized
CN110321794B (en) Remote sensing image oil tank detection method integrated with semantic model
JP4236461B2 (en) Ship identification system, ship identification method and computer-readable recording medium recording program
JP3673857B2 (en) Method for detecting flat ground from shaded images
CN111739049B (en) Image-based spacecraft navigation method and system and image edge point extraction method
CN117274584B (en) Shadow processing method and device for remote sensing image, storage medium and terminal

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080618

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090618

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100618

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110618

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110618

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120618

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120618

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130618

Year of fee payment: 14

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130618

Year of fee payment: 14

LAPS Cancellation because of no payment of annual fees