JP3664956B2 - On-orbit work machine guidance system - Google Patents

On-orbit work machine guidance system Download PDF

Info

Publication number
JP3664956B2
JP3664956B2 JP2000218636A JP2000218636A JP3664956B2 JP 3664956 B2 JP3664956 B2 JP 3664956B2 JP 2000218636 A JP2000218636 A JP 2000218636A JP 2000218636 A JP2000218636 A JP 2000218636A JP 3664956 B2 JP3664956 B2 JP 3664956B2
Authority
JP
Japan
Prior art keywords
machine
target
work machine
target machine
orbit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2000218636A
Other languages
Japanese (ja)
Other versions
JP2002029500A (en
Inventor
直彦 阿部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Heavy Industries Ltd
Original Assignee
Mitsubishi Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Heavy Industries Ltd filed Critical Mitsubishi Heavy Industries Ltd
Priority to JP2000218636A priority Critical patent/JP3664956B2/en
Publication of JP2002029500A publication Critical patent/JP2002029500A/en
Application granted granted Critical
Publication of JP3664956B2 publication Critical patent/JP3664956B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Navigation (AREA)

Description

【０００１】
【発明の属する技術分野】
本発明は、軌道上作業機を対象機に対応して誘導する軌道上作業機の誘導システムに関する。
【０００２】
【従来の技術】
図５は、軌道上の作業機が対象に接近する場合の従来技術におけるシステム構成図である。図５において、１００はNAVSTAR、１１１は対象機、１２１は軌道上作業機１２１である。
【０００３】
従来技術においては、対象機１１１と軌道上作業機１２１との間の相対距離が数ｋｍの遠距離ではNAVSTAR１００を利用したＧＰＳにより相対位置を計算する。また、相対距離が数１００ｍの近距離では精度向上を目的として軌道上作業機１２１に搭載したレーザレーダ１２６により相対距離検出を行なっている。
【０００４】
上記対象機１１１には、ＧＰＳアンテナ１１２、ＧＰＳレシーバ１１３、通信装置１１４、通信用アンテナ１１５、リフレクタ１１６が搭載される。対象機１１１は、複数のNAVSTAR１００からの測位情報をＧＰＳアンテナ１１２及びＧＰＳレシーバ１１３により受信し、これを通信装置１１４及び通信用アンテナ１１５を介して軌道上作業機１２１に送信する。
【０００５】
一方、軌道上作業機１２１には、ＧＰＳアンテナ１２２、ＧＰＳレシーバ１２３、通信装置１２４、通信用アンテナ１２５、レーザレーダ１２６及び誘導制御計算機１２７が搭載される。上記軌道上作業機１２１は、通信用アンテナ１２５及び通信装置１２４により対象機１１１で受信したNAVSTAR１００の測位情報を受信し、誘導制御計算機１２７に入力する。この誘導制御計算機１２７は、軌道上作業機１２１に搭載されているＧＰＳアンテナ１２２及びＧＰＳレシーバ１２３で受信したNAVSTAR１００からの測位情報と、対象機１１１で受信されたNAVSTAR１００からの測位情報に基づいて対象機１１１と軌道上作業機１２１の相対位置を計算する。
【０００６】
そして、対象機１１１と軌道上作業機１２１との間の相対距離が数１００ｍの近距離では、軌道上作業機１２１に搭載したレーザレーダ１２６により対象機１１１に搭載のリフレクタ１１６にレーザ光を照射し、その反射光を利用して高精度の相対位置検出を実現している。
【０００７】
【発明が解決しようとする課題】
上記のように軌道上作業機１２１は、対象機１１１との間の相対距離が数ｋｍの遠距離ではＧＰＳアンテナ１２２及びＧＰＳレシーバ１２３で受信したNAVSTAR１００からの測位情報と、対象機１１１で受信されたNAVSTAR１００からの測位情報に基づいて対象機１１１との相対位置を求めることができ、また、対象機１１１との相対距離が数１００ｍの近距離ではレーザレーダ１２６により相対距離を求めることができる。
【０００８】
しかし、上記従来技術では、対象機１１１側にＧＰＳアンテナ１１２及びＧＰＳレシーバ１１３、リフレクタ１１６等を搭載する必要があり、故障衛星等の非協力的な対象機への接近時には適用できないという問題がある。
【０００９】
本発明は上記の課題を解決するためになされたもので、軌道上の故障衛星等非協力的な対象機に対しても、対象機の検査、修理、軌道外投棄等のために確実に接近することができる軌道上作業機の誘導システムを提供することを目的とする。
【００１０】
【課題を解決するための手段】
第１の発明は、軌道上作業機を対象機に対応して誘導する軌道上作業機の誘導システムにおいて、上記対象機を撮像するカメラを備え、地上運用設備から送られてくる対象機の特徴点に関する情報を初期値とし、上記カメラにより取得した対象機の画像と予め搭載された対象機ＣＡＤデータとを照合して対象機の方位及び相対位置を求め、この対象機の方位及び相対位置の情報に基づいて上記軌道上作業機を誘導することを特徴とする。
【００１１】
第２の発明は、軌道上作業機を対象機に対応して誘導する軌道上作業機の誘導システムにおいて、上記軌道上作業機に搭載されて上記対象機を撮像するカメラと、このカメラにより撮像された画像を処理し、対象機に対する方位及び相対位置を求める画像処理装置と、この画像処理装置により求めた方位及び相対位置に基づいて軌道上作業機を誘導する誘導制御計算機と、地上運用設備と通信する送受信手段とを具備し、上記画像処理装置は、上記地上運用設備から送られてくる対象機の特徴点に関する情報を初期値とし、上記カメラにより取得した対象機の画像と予め搭載された対象機ＣＡＤデータとを照合して対象機の方位及び相対位置を算出することを特徴とする。
【００１２】
【発明の実施の形態】
以下、図面を参照して本発明の一実施形態を説明する。
図１は本発明の一実施形態に係る軌道上作業機の誘導システムの構成図、図２は軌道上作業機における画像処理装置の機能ブロック図、図３は画像処理の説明図である。
【００１３】
本実施形態は、軌道上の故障衛星等の非協力的対象の検査、修理、軌道外投棄のため、これに接近、周回する必要のある軌道上作業機に適用する場合について示したものである。
【００１４】
図１において、２０１は対象機、２１１は軌道上作業機、２２１は地上局、２２２は地上運用設備である。
上記軌道上作業機２１１には、対象機２０１の画像を取得するためのカメラ２１２、対象機ＣＡＤデータ、カメラ取得画像と対象機ＣＡＤデータの照合により対象機２０１の方位及び相対位置を算出するための画像処理装置２１３、軌道（位置、速度）計算を実施する誘導制御計算機２１４、及び地上とデータの授受を行なう送受信機２１５及びアンテナ２１６が搭載される。
【００１５】
また、地上運用設備２２２は、地上クルー２２３とインタフェースする表示装置２２６及び操作装置２２７、対象機２０１の３次元ＣＡＤデータ２２４、軌道上作業機２１１と地上局２２１を経由してデータの授受を行なう送受信データ処理装置２２５から構成される。
【００１６】
次に上記実施形態の動作を説明する。まず第１に、軌道上作業機２１１に搭載されたカメラ２１２により対象機２０１を撮像し、その取得した画像を送受信機２１５、アンテナ２１６により地上局２２１にダウンリンクする。
地上局２２１は、これを地上運用設備２２２に伝送する。地上運用設備２２２は、送受信データ処理装置２２５でこれを受信して表示装置２２６により表示する。同時に、表示装置２２６には、対象機ＣＡＤデータ２２４をグラフィックス表示する。
【００１７】
一方、地上クルー２２３は、軌道上作業機２１１のカメラ２１２による取得画像上と対象機ＣＡＤデータ２２４のグラフィックス上で、マウス等を具備した操作装置２２７により、予め定義された対象機２０１上の特徴点のうち、カメラ画像上で対応する点を４組以上指定（ポインティング）する。地上クルー２２３によって指定された対応点のＣＡＤ上での識別子とカメラ画像上での座標値は、送受信データ処理装置２２５、及び地上局２２１を経由して軌道上作業機２１１にアップリンクされる。
【００１８】
軌道上作業機２１１では、地上局２２１を経由して送られてくるデータをアンテナ２１６及び送受信機２１５を経由して画像処理装置２１３に取り込む。
【００１９】
以下、この画像処理装置２１３の処理動作を図２に示す機能ブロック図、及び図３に示す動作説明図を参照して説明する。
地上局２２１からアップリンクされたＣＡＤ上での識別子（対象機固定座標系での座標値と一意に対応する）とそのカメラ画像での座標値から視線方向・相対位置算出処理手段３１８においてカメラ２１２、すなわち軌道上作業機２１１の視線方向（ω、φ、κ）及び相対位置（Ｘ0 、Ｙ0 、Ｚ0 ）を次のようにして算出する。
【００２０】
まず、対応点の組が６未満の場合について説明する。対象機上の地上クルー２２３によってポインティングされた特徴点Ｐj（Ｘj 、Ｙj 、Ｚj ）がすべて平面上にあると仮定したとき、軌道上作業機２１１のカメラ２１２で取得した対象機画像上の位置ｐj（ｘj 、ｙj ）の間には以下の［数１］、［数２］に示す射影変換の関係が成り立つ。４点以上の特徴点がポインティングされると、「ｂk :ｋ＝１〜８」の係数が求まり、カメラ２１２の視線方向と相対距離（位置）が求まる。
【００２１】
【数１】

Figure 0003664956
【００２２】
次に対応点の組が６以上の場合について説明する。図４は、対象機座標系において、軌道上作業機２１１のカメラ視点Ｃi による画像Ｉi 上の特徴点座標Ｐk の関係を示したものである。そして、対象機上の特徴点Ｐk と軌道上作業機２１１のカメラ２１２で取得された対象機画像上の対応する特徴点ｐk（ｘk ，ｙk ）の間には、下記に示す透視変換の関係がある。
【００２３】
【数２】
Figure 0003664956
【００２４】
そして、上記視線方向・相対位置算出処理手段３１８で算出された視線方向及び相対位置に基づき、誘導制御計算機２１４においてカメラ２１２による次（ΔＴ後）の画像取得時間での視線方向及び相対距離を軌道運動方程式に基づき推定（伝播）する。
【００２５】
上記推定された視線方向及び相対位置と図３（ａ）に示すオンボード対象機ＣＡＤデータ３１１から、２次元輪郭テンプレート作成手段（１）３１２において、テンプレートとする対象機２０１のカメラ画像を図４及び［数２］に示した式により図３（ｂ）に示すように生成する。この生成したテンプレートは相対距離誤差に相当する幅を有する線画とする。
【００２６】
一方、カメラ２１２で取得した図３（ｄ）に示す画像に対し、輪郭抽出手段３１６において、エッジ検出処理により図３（ｅ）に示すように対象機２０１の輪郭成分を抽出し、これを２値化する。
【００２７】
上記２次元輪郭テンプレート作成手段（１）３１２の出力線画に対し、テンプレート切り出し手段（１）３１３にて、図３（ｂ）、（ｃ）に示すように縦及び横方向の周辺分布に基づいて対象を包絡する長方形のゲートＧ１を設定し、このゲートＧ１内の画像をテンプレート１０として切り出す。また、上記輪郭抽出手段３１６の出力画像に対しても、図３（ｅ）、（ｆ）に示すように対象画像切り出し手段３１７にて同様に対象画像を包絡するゲートＧ２を設定し、このゲートＧ２内の画像を切り出してこれを対象画像２０とする。
【００２８】
そして、画像マッチング手段（１）３１４において、図３（ｇ）に示すようにテンプレート切り出し手段（１）３１３及び対象画像切り出し手段３１７の出力である、テンプレート１０と対象画像２０の画素毎のＡＮＤ演算の総和により一致度を算出する。算出された一致度は、マッチング度判定手段（１）３１５において、予め設定された判定基準値と比較される。一致度が判定基準を越えない場合は、２次元輪郭テンプレート作成手段（１）３１２に戻り、視線方向を微小回転させ、テンプレート切り出し手段（１）３１３及び画像マッチング手段（１）３１４の処理を繰り返して実行する。マッチング度判定手段（１）３１５において、一致度が判定値を越えた場合は、相対位置の微調整に移行する。
【００２９】
すなわち、２次元輪郭テンプレート作成手段（２）３１２’において視線方向を固定し、相対位置をその誤差範囲内で動かして２次元輪郭テンプレート作成手段（１）３１２と同一の処理によりテンプレートを生成し、テンプレート切り出し手段（２）３１３’においてテンプレート切り出し手段（１）３１３と同一の処理によりテンプレート画像を切り出す。
【００３０】
次に画像マッチング手段（２）３１４’において、画像マッチング手段（１）３１４と同一の処理により、対象画像切り出し手段３１７により切り出された対象画像と画像マッチングを実施し、マッチング度判定手段（２）３１５’により一致度が最大となる相対距離を探索する。
【００３１】
そして、上記画像マッチング手段（１）３１４及び画像マッチング手段（２）３１４’で求めた対象機２０１に対する視線方向及び相対位置は、誘導制御計算機２１４に出力される。この誘導制御計算機２１４は、画像処理装置２１３で求めた対象機２０１に対する視線方向及び相対位置に基づいて軌道上作業機２１１を対象機２０１に接近するように誘導する。
【００３２】
上記のように軌道上作業機２１１は、１台のカメラ２１２により取得された対象機２０１の画像と予め搭載された対象機のＣＡＤデータ２２４を、図２に示す処理手順に従い照合することにより、対象の相対位置を自律的に算出する。
【００３３】
一方、地上運用設備２２２は、対象機ＣＡＤデータ２２４を装備し、軌道上作業機２１１からダウンリンクされるカメラ画像上で、予め対象機２０１のＣＡＤデータ上で定義された特徴点に対応する点を地上クルー２２３がポインティングする。この地上クルー２２３によるポインティング情報は、軌道上作業機２１１にアップリンクされ、画像処理装置２１３による自動での方位、相対位置算出の初期値として使われる。
【００３４】
従って、本発明によれば、軌道上の故障衛星等非協力的な対象機に対しても、相対位置を確実に検出して接近することができ、対象機の検査、修理、軌道外投棄等の処置を実行することができる。
【００３５】
【発明の効果】
以上詳記したように本発明によれば、軌道上作業機及び地上運用設備を備え、軌道上作業機は、地上運用設備から送られてくる対象機のＣＡＤデータ上で定義された特徴点に関する情報を画像処理装置による自動での方位、相対位置算出の初期値とし、１台のカメラにより取得した対象機の画像と予め搭載された対象機ＣＡＤデータを照合して対象機の方位及び相対位置を自律的に算出するようにしたので、軌道上の故障衛星等非協力的な対象機に対しても、相対位置を確実に検出して接近することができ、対象機の検査、修理、軌道外投棄等の処置を実行することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係るシステム構成図。
【図２】同実施形態における軌道上作業機における画像処理装置の機能ブロック図。
【図３】同実施形態における画像処理装置の動作を説明するための図。
【図４】同実施形態における軌道上作業機に搭載されるカメラの座標系を示す図。
【図５】従来の軌道上作業機が対象に接近する場合のシステム構成図。
【符号の説明】
２０１ 対象機
２１１ 軌道上作業機
２１２ カメラ
２１３ 画像処理装置
２１４ 誘導制御計算機
２１５ 送受信機
２１６ アンテナ
２２１ 地上局
２２２ 地上運用設備
２２３ 地上クルー
２２４ ３次元ＣＡＤデータ
２２５ 送受信データ処理装置
２２６ 表示装置
２２７ 操作装置[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an on-orbit work machine guidance system for guiding an on-orbit work machine corresponding to a target machine.
[0002]
[Prior art]
FIG. 5 is a system configuration diagram in the prior art when a work machine on a track approaches a target. In FIG. 5, 100 is a NAVSTAR, 111 is a target machine, and 121 is an orbital work machine 121.
[0003]
In the conventional technology, the relative position between the target machine 111 and the on-orbit work machine 121 is calculated by GPS using the NAVSTAR 100 at a long distance of several kilometers. At a short distance of several hundred meters, the relative distance is detected by a laser radar 126 mounted on the on-orbit work machine 121 for the purpose of improving accuracy.
[0004]
The target aircraft 111 is equipped with a GPS antenna 112, a GPS receiver 113, a communication device 114, a communication antenna 115, and a reflector 116. The target aircraft 111 receives positioning information from the plurality of NAVSTARs 100 by the GPS antenna 112 and the GPS receiver 113 and transmits them to the on-orbit work machine 121 via the communication device 114 and the communication antenna 115.
[0005]
On the on-orbit work machine 121, a GPS antenna 122, a GPS receiver 123, a communication device 124, a communication antenna 125, a laser radar 126, and a guidance control computer 127 are mounted. The on-orbit work machine 121 receives the positioning information of the NAVSTAR 100 received by the target machine 111 through the communication antenna 125 and the communication device 124 and inputs the received positioning information to the guidance control computer 127. This guidance control computer 127 is based on the positioning information from the NAVSTAR 100 received by the GPS antenna 122 and the GPS receiver 123 mounted on the on-orbit work machine 121 and the positioning information from the NAVSTAR 100 received by the target machine 111. The relative position of the machine 111 and the on-orbit work machine 121 is calculated.
[0006]
When the relative distance between the target machine 111 and the on-orbit work machine 121 is a short distance of several hundreds of meters, the laser radar 126 mounted on the on-orbit work machine 121 irradiates the reflector 116 mounted on the target machine 111 with laser light. And the relative position detection of the high precision is implement | achieved using the reflected light.
[0007]
[Problems to be solved by the invention]
As described above, the orbital work machine 121 receives the positioning information from the NAVSTAR 100 received by the GPS antenna 122 and the GPS receiver 123 and the target machine 111 at a long distance of several km relative to the target machine 111. The relative position with respect to the target device 111 can be obtained based on the positioning information from the NAVSTAR 100, and the relative distance can be obtained with the laser radar 126 when the relative distance to the target device 111 is several hundred meters.
[0008]
However, the above-described conventional technique has a problem that it is necessary to mount the GPS antenna 112, the GPS receiver 113, the reflector 116, and the like on the target aircraft 111 side, and cannot be applied when approaching a non-cooperative target aircraft such as a broken satellite. .
[0009]
The present invention has been made to solve the above-mentioned problems, and even non-cooperating target aircraft such as fault satellites in orbit are reliably approached for inspection, repair, off-orbit dumping, etc. of the target aircraft. An object of the present invention is to provide a guidance system for an on-orbit work machine.
[0010]
[Means for Solving the Problems]
A first aspect of the present invention is an on-orbit work machine guidance system for guiding an on-orbit work machine in correspondence with the target machine, and includes a camera for imaging the target machine and features of the target machine sent from the ground operation facility The information about the point is set as an initial value, the image of the target machine acquired by the camera and the target machine CAD data mounted in advance are collated to obtain the direction and relative position of the target machine. The on-orbit work machine is guided based on the information.
[0011]
According to a second aspect of the present invention, there is provided a guidance system for an on-orbit work machine that guides the on-orbit work machine corresponding to the target machine, a camera mounted on the on-orbit work machine and imaging the target machine, and an image taken by the camera Image processing apparatus for processing the captured image to determine the azimuth and relative position with respect to the target aircraft, a guidance control computer for guiding the on-orbit work machine based on the azimuth and relative position determined by the image processing apparatus, and ground operation equipment The image processing apparatus is preinstalled with an image of the target device acquired by the camera, with the initial value being information on the feature points of the target device sent from the ground operation facility. The azimuth and relative position of the target machine are calculated by collating with the target machine CAD data.
[0012]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a configuration diagram of an on-orbit work machine guidance system according to an embodiment of the present invention, FIG. 2 is a functional block diagram of an image processing apparatus in the on-orbit work machine, and FIG. 3 is an explanatory diagram of image processing.
[0013]
This embodiment shows a case where the present invention is applied to an on-orbit work machine that needs to approach and orbit around it for inspection, repair, and out-of-orbit disposal of non-cooperative objects such as a fault satellite in orbit. .
[0014]
In FIG. 1, 201 is a target machine, 211 is an orbital work machine, 221 is a ground station, and 222 is a ground operation facility.
The on-orbit work machine 211 calculates the azimuth and relative position of the target machine 201 by collating the camera 212 for acquiring the image of the target machine 201, the target machine CAD data, and the camera acquisition image and the target machine CAD data. An image processing device 213, a guidance control computer 214 that performs trajectory (position, velocity) calculation, a transceiver 215 that transmits and receives data to and from the ground, and an antenna 216 are mounted.
[0015]
Further, the ground operation facility 222 exchanges data via the display device 226 and the operation device 227 that interface with the ground crew 223, the three-dimensional CAD data 224 of the target machine 201, the on-orbit work machine 211, and the ground station 221. The transmission / reception data processing device 225 is configured.
[0016]
Next, the operation of the above embodiment will be described. First, the target machine 201 is imaged by the camera 212 mounted on the on-orbit work machine 211, and the acquired image is downlinked to the ground station 221 by the transceiver 215 and the antenna 216.
The ground station 221 transmits this to the ground operation facility 222. The ground operation facility 222 receives this by the transmission / reception data processing device 225 and displays it by the display device 226. At the same time, the target device CAD data 224 is displayed on the display device 226 as graphics.
[0017]
On the other hand, the ground crew 223 is displayed on the target machine 201 defined in advance by the operation device 227 having a mouse or the like on the image acquired by the camera 212 of the on-orbit work machine 211 and the graphics of the target machine CAD data 224. Among the feature points, four or more sets of corresponding points on the camera image are designated (pointed). The identifier on the CAD of the corresponding point designated by the ground crew 223 and the coordinate value on the camera image are uplinked to the on-orbit work machine 211 via the transmission / reception data processing device 225 and the ground station 221.
[0018]
The on-orbit work machine 211 captures data sent via the ground station 221 into the image processing device 213 via the antenna 216 and the transceiver 215.
[0019]
The processing operation of the image processing apparatus 213 will be described below with reference to the functional block diagram shown in FIG. 2 and the operation explanatory diagram shown in FIG.
Based on the identifier on the CAD uplinked from the ground station 221 (corresponding to the coordinate value in the target machine fixed coordinate system) and the coordinate value in the camera image, the camera 212 in the line-of-sight direction / relative position calculation processing means 318 That is, the line-of-sight direction (ω, φ, κ) and the relative position (X 0 , Y 0 , Z 0 ) of the on-orbit work machine 211 are calculated as follows.
[0020]
First, a case where the set of corresponding points is less than 6 will be described. When it is assumed that the feature points P j (X j , Y j , Z j ) pointed by the ground crew 223 on the target aircraft are all on the plane, the target aircraft image acquired by the camera 212 of the on-orbit work machine 211 Between the upper positions p j (x j , y j ), the following projective transformation relationships are established as shown in [Equation 1] and [Equation 2]. When four or more feature points are pointed, the coefficient “b k : k = 1 to 8” is obtained, and the line-of-sight direction and relative distance (position) of the camera 212 are obtained.
[0021]
[Expression 1]
Figure 0003664956
[0022]
Next, a case where the number of corresponding points is 6 or more will be described. FIG. 4 shows the relationship of the feature point coordinates P k on the image I i from the camera viewpoint C i of the on-orbit work machine 211 in the target machine coordinate system. The perspective shown below between the feature point P k on the target machine and the corresponding feature point p k (x k , y k ) on the target machine image acquired by the camera 212 of the on-orbit work machine 211. There is a conversion relationship.
[0023]
[Expression 2]
Figure 0003664956
[0024]
Based on the line-of-sight direction and relative position calculated by the line-of-sight direction / relative position calculation processing unit 318, the guidance control computer 214 tracks the line-of-sight direction and relative distance at the next (after ΔT) image acquisition time by the camera 212. Estimate (propagate) based on the equation of motion.
[0025]
From the estimated line-of-sight direction and relative position and the on-board target machine CAD data 311 shown in FIG. 3A, the two-dimensional contour template creation means (1) 312 shows a camera image of the target machine 201 as a template in FIG. And it produces | generates as shown in FIG.3 (b) by the formula shown to [Equation 2]. The generated template is a line drawing having a width corresponding to the relative distance error.
[0026]
On the other hand, with respect to the image shown in FIG. 3D acquired by the camera 212, the contour extraction means 316 extracts the contour component of the target machine 201 as shown in FIG. Convert to value.
[0027]
For the output line drawing of the two-dimensional contour template creation means (1) 312, the template cutout means (1) 313 is based on the peripheral distribution in the vertical and horizontal directions as shown in FIGS. A rectangular gate G1 that envelops the object is set, and an image in the gate G1 is cut out as a template 10. In addition, as shown in FIGS. 3E and 3F, the target image cutout unit 317 similarly sets a gate G2 that envelops the target image for the output image of the contour extraction unit 316. An image in G2 is cut out and set as the target image 20.
[0028]
Then, in the image matching means (1) 314, an AND operation for each pixel of the template 10 and the target image 20, which is the output of the template clipping means (1) 313 and the target image clipping means 317, as shown in FIG. The degree of coincidence is calculated from the sum of. The calculated degree of coincidence is compared with a preset judgment reference value in the matching degree judgment means (1) 315. If the degree of coincidence does not exceed the determination criterion, the process returns to the two-dimensional contour template creation means (1) 312 to slightly rotate the line-of-sight direction and repeat the processing of the template cutout means (1) 313 and the image matching means (1) 314. And execute. In the matching degree determination means (1) 315, when the degree of coincidence exceeds the determination value, the process proceeds to fine adjustment of the relative position.
[0029]
That is, the line-of-sight direction is fixed in the two-dimensional contour template creating means (2) 312 ′, the relative position is moved within the error range, and a template is generated by the same process as the two-dimensional contour template creating means (1) 312. The template cutout unit (2) 313 ′ cuts out the template image by the same processing as the template cutout unit (1) 313.
[0030]
Next, the image matching means (2) 314 ′ performs image matching with the target image cut out by the target image cut-out means 317 by the same processing as the image matching means (1) 314, and the matching degree determination means (2). A relative distance that maximizes the degree of matching is searched by 315 ′.
[0031]
The line-of-sight direction and the relative position with respect to the target machine 201 obtained by the image matching unit (1) 314 and the image matching unit (2) 314 ′ are output to the guidance control computer 214. The guidance control computer 214 guides the on-orbit work machine 211 to approach the target machine 201 based on the line-of-sight direction and the relative position with respect to the target machine 201 obtained by the image processing device 213.
[0032]
As described above, the on-orbit work machine 211 collates the image of the target machine 201 acquired by one camera 212 with the CAD data 224 of the target machine mounted in advance according to the processing procedure shown in FIG. The relative position of the target is calculated autonomously.
[0033]
On the other hand, the ground operation facility 222 is equipped with the target machine CAD data 224 and corresponds to the feature points defined in advance on the CAD data of the target machine 201 on the camera image downlinked from the on-orbit work machine 211. The ground crew 223 points. The pointing information by the ground crew 223 is uplinked to the on-orbit work machine 211, and is used as an initial value for automatic azimuth and relative position calculation by the image processing device 213.
[0034]
Therefore, according to the present invention, it is possible to reliably detect and approach the relative position of a non-cooperative target machine such as a fault satellite in orbit, such as inspection, repair, off-orbit dumping, etc. of the target machine. Can be performed.
[0035]
【The invention's effect】
As described above in detail, according to the present invention, the on-orbit work machine and the ground operation equipment are provided, and the on-orbit work machine relates to the feature points defined on the CAD data of the target machine sent from the ground operation equipment. Using the information as initial values for automatic orientation and relative position calculation by the image processing apparatus, the image of the target machine acquired by one camera is collated with the target machine CAD data mounted in advance, and the direction and relative position of the target machine Because it is calculated autonomously, the relative position can be reliably detected and approached even for non-cooperating target aircraft such as fault satellites in orbit, inspection, repair, orbit of the target aircraft It is possible to execute treatment such as outside dumping.
[Brief description of the drawings]
FIG. 1 is a system configuration diagram according to an embodiment of the present invention.
FIG. 2 is a functional block diagram of an image processing apparatus in the on-orbit work machine in the embodiment.
FIG. 3 is a view for explaining the operation of the image processing apparatus according to the embodiment;
FIG. 4 is a view showing a coordinate system of a camera mounted on the on-orbit work machine in the embodiment.
FIG. 5 is a system configuration diagram when a conventional on-orbit work machine approaches an object.
[Explanation of symbols]
201 Target machine 211 On-orbit work machine 212 Camera 213 Image processing device 214 Guidance control computer 215 Transmitter / receiver 216 Antenna 221 Ground station 222 Ground operation facility 223 Ground crew 224 Three-dimensional CAD data 225 Transmission / reception data processing device 226 Display device 227 Operation device

Claims (2)

軌道上作業機を対象機に対応して誘導する軌道上作業機の誘導システムにおいて、上記対象機を撮像するカメラを備え、地上運用設備から送られてくる対象機の特徴点に関する情報を初期値とし、上記カメラにより取得した対象機の画像と予め搭載された対象機ＣＡＤデータとを照合して対象機の方位及び相対位置を求め、この対象機の方位及び相対位置の情報に基づいて上記軌道上作業機を誘導することを特徴とする軌道上作業機の誘導システム。In the on-orbit work machine guidance system that guides the on-orbit work machine corresponding to the target machine, the initial value is information on the feature point of the target machine that is provided with a camera that images the target machine and is sent from the ground operation facility. The image of the target machine acquired by the camera and the target machine CAD data mounted in advance are collated to determine the azimuth and relative position of the target machine, and the trajectory based on the information on the azimuth and relative position of the target machine. An on-orbit work machine guidance system characterized by guiding an upper work machine. 軌道上作業機を対象機に対応して誘導する軌道上作業機の誘導システムにおいて、上記軌道上作業機に搭載されて上記対象機を撮像するカメラと、このカメラにより撮像された画像を処理し、対象機に対する方位及び相対位置を求める画像処理装置と、この画像処理装置により求めた方位及び相対位置に基づいて軌道上作業機を誘導する誘導制御計算機と、地上運用設備と通信する送受信手段とを具備し、
上記画像処理装置は、上記地上運用設備から送られてくる対象機の特徴点に関する情報を初期値とし、上記カメラにより取得した対象機の画像と予め搭載された対象機ＣＡＤデータとを照合して対象機の方位及び相対位置を算出することを特徴とする軌道上作業機の誘導システム。In an on-orbit work machine guidance system for guiding an on-orbit work machine corresponding to a target machine, a camera mounted on the on-orbit work machine and imaging the target machine, and an image captured by the camera are processed. An image processing device for obtaining an azimuth and a relative position with respect to the target aircraft, a guidance control computer for guiding an on-orbit work machine based on the azimuth and relative position obtained by the image processing device, and a transmission / reception means for communicating with ground operation equipment Comprising
The image processing apparatus uses, as an initial value, information related to the feature point of the target machine sent from the ground operation facility, and collates the image of the target machine acquired by the camera with the previously installed target machine CAD data. An in-orbit work machine guidance system characterized by calculating an orientation and a relative position of a target machine.
JP2000218636A 2000-07-19 2000-07-19 On-orbit work machine guidance system Expired - Lifetime JP3664956B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000218636A JP3664956B2 (en) 2000-07-19 2000-07-19 On-orbit work machine guidance system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000218636A JP3664956B2 (en) 2000-07-19 2000-07-19 On-orbit work machine guidance system

Publications (2)

Publication Number Publication Date
JP2002029500A JP2002029500A (en) 2002-01-29
JP3664956B2 true JP3664956B2 (en) 2005-06-29

Family

ID=18713556

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000218636A Expired - Lifetime JP3664956B2 (en) 2000-07-19 2000-07-19 On-orbit work machine guidance system

Country Status (1)

Country Link
JP (1) JP3664956B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105151325A (en) * 2015-10-20 2015-12-16 中国人民解放军国防科学技术大学 Man-in-the-loop satellite control system and control method

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016063923A1 (en) * 2014-10-24 2016-04-28 株式会社アストロスケール Guidance method relating to non-cooperative approach
CN104729506B (en) * 2015-03-27 2017-11-14 北京航空航天大学 A kind of unmanned plane Camera calibration method of visual information auxiliary
CN109189042B (en) * 2018-08-30 2021-12-14 上海微小卫星工程中心 Satellite on-orbit autonomous fault handling scheme
CN113741494B (en) * 2021-08-19 2024-02-23 上海卫星工程研究所 On-orbit safety state monitoring system and method for drivable antenna

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105151325A (en) * 2015-10-20 2015-12-16 中国人民解放军国防科学技术大学 Man-in-the-loop satellite control system and control method
CN105151325B (en) * 2015-10-20 2016-08-24 中国人民解放军国防科学技术大学 People is in loop satellite control system and control method thereof

Also Published As

Publication number Publication date
JP2002029500A (en) 2002-01-29

Similar Documents

Publication Publication Date Title
US10878243B2 (en) Method, device and apparatus for generating electronic map, storage medium, and acquisition entity
CN110609570A (en) Autonomous obstacle avoidance inspection method based on unmanned aerial vehicle
US9183638B2 (en) Image based position determination
CN109471447A (en) Navigation of Pilotless Aircraft method, apparatus, unmanned plane and data readable storage devices
US7149346B2 (en) Three-dimensional database generating system and method for generating three-dimensional database
EP3617749A1 (en) Method and arrangement for sourcing of location information, generating and updating maps representing the location
CN109773783B (en) Patrol intelligent robot based on space point cloud identification and police system thereof
JP2002511614A (en) Tracking and detection of object position
CN110617816B (en) Method and system for removing foreign matters on airfield runway by accurate navigation guidance
CN112119188A (en) Method for controlling a set of one or more intervention tools mounted on a railway intervention vehicle
EP3767235B1 (en) System for mapping building interior with pedestrian dead reckoning and ranging and related methods
CA3159078A1 (en) Method and mobile capture apparatus for capturing elements of infrastructure of an underground line network
JP3664956B2 (en) On-orbit work machine guidance system
KR100797391B1 (en) Method and Apparatus for Correcting Position And Attitude Information of Camera
CN117537839A (en) Navigation positioning detection system of patrol robot
EP1307705B1 (en) Height measurement apparatus
Lourakis et al. Pose estimation of a moving camera with low-cost, multi-GNSS devices
Gu et al. SLAM with 3dimensional-GNSS
JPH10318743A (en) Method and apparatus for surveying by using flying object
Huntsberger et al. Closed loop control for autonomous approach and placement of science instruments by planetary rovers
JP2746487B2 (en) Aircraft position measurement method for vertical take-off and landing aircraft
JPH06259131A (en) Mobile robot guidance controller
Hu et al. Radar pose estimation and structure-from-motion for airborne circular videosar
DE102018116298A1 (en) Process for the simultaneous localization and creation of a map of an environment
Fravolini et al. Modelling and performance analysis of a machine vision-based semi-autonomous aerial refuelling

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20041029

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041102

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050315

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050330

R151 Written notification of patent or utility model registration

Ref document number: 3664956

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080408

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090408

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100408

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110408

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130408

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140408

Year of fee payment: 9

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term