JP3673857B2 - Method for detecting flat ground from shaded images - Google Patents

Method for detecting flat ground from shaded images Download PDF

Info

Publication number
JP3673857B2
JP3673857B2 JP2002076802A JP2002076802A JP3673857B2 JP 3673857 B2 JP3673857 B2 JP 3673857B2 JP 2002076802 A JP2002076802 A JP 2002076802A JP 2002076802 A JP2002076802 A JP 2002076802A JP 3673857 B2 JP3673857 B2 JP 3673857B2
Authority
JP
Japan
Prior art keywords
image
landing
point
brightness
altitude
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2002076802A
Other languages
Japanese (ja)
Other versions
JP2003281499A (en
Inventor
広美 五味
修一 佐々
功 山口
浩通 山本
哲次郎 二宮
吉郎 濱田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Aerospace Exploration Agency JAXA
Original Assignee
Japan Aerospace Exploration Agency JAXA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Aerospace Exploration Agency JAXA filed Critical Japan Aerospace Exploration Agency JAXA
Priority to JP2002076802A priority Critical patent/JP3673857B2/en
Publication of JP2003281499A publication Critical patent/JP2003281499A/en
Application granted granted Critical
Publication of JP3673857B2 publication Critical patent/JP3673857B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

【0001】
【発明の属する技術分野】
この発明は、カメラで取得した陰影画像から被写体表面の平坦地を検出する方法に関し、例えば、月・惑星等の未踏の地に無人着陸船が着陸する際に、着陸予定地点を含む天体表面を撮影したカメラ画像から着陸予定地点としての水平な平坦地を発見するのに用いることができる平坦地検出方法に関する。
【0002】
【従来の技術】
着陸機が月・惑星等の天体に着陸する場合、アポロ計画のように有人着陸機であるときには、着陸機の搭乗員が着陸予定地点を目で見て安全な着陸が可能か否かを判断することができる。しかしながら、無人着陸機であるときには、その様な判断はできず、また、着陸予定地点の映像を送信し遠隔地において受信した映像に基づいて着陸の詳細な指示を送信するのでは、信号の送受信に時間を要し、実時間での判断が不可能である。従って、無人着陸船は、地形・障害物に係わらず着陸を強行することになる。着陸の成功率を少しでも高める為に、着陸機が転倒しにくい、あるいは、転倒してもかまわない構造にする対策が採られている。
【0003】
地表の形状や障害物を測定する方法として、計算機処理能力の向上によりレーザレーダ法(例えば、特開2000−057323)、光投影法(アクティブ・ステレオ法:特開平9−301300号公報)、2台のカメラを使ったステレオ法(パッシブ・ステレオ法:特開平11−259632号公報、本出願人による特願2000−349033)等が提案されている。
【0004】
レーザレーダ法では、高度を測ることは出来るが、レーザ光パワーの制約から100m程度の高度にならないと使えないという問題がある。また、解像度が悪い、着陸予定地点を走査するのに時間がかかる等の問題もある。アクティブ・ステレオ法は、カメラと光源、又は2台のカメラ間の配置を正確に維持する必要があり、それができたとしても、やはり100m程度の低高度にならないと十分な測定精度が得られないという問題がある。パッシブ・ステレオ法は、着陸予定地点の表面に画像的な特徴が無いと表面の起伏が検出できないが、月や惑星の表面は、レゴリスと呼ばれる砂で覆われており画像的な特徴が一般的に少ない。この様な低高度では着陸の安全が確認できる範囲が狭いので、その中に安全な着陸地点を見い出すことができない可能性も高くなる。
【0005】
「陰影からの形状復元」アルゴリズムについて、図4に基づいて具体的に説明する。図4は、「陰影からの形状復元」アルゴリズムを模式的に説明する斜視図である。観測すべき地表のような被写体表面1(以下、単に「表面1」と称する)が、太陽等の光源2からの入射角αを持つ入射光3で照らされるとし、表面1で観測角βで反射した観測光4による像がCCDカメラ5(以下、単に「カメラ5」と称する)で撮影されるとする。入射角α及び観測角βは、表面1に立てた垂線6からの角度で定義される。カメラ5により撮影された画像(対象物である表面1)の明るさは、(1)光源2(太陽)の輝度、(2)表面1と光源2との距離R1、(3)表面1の反射率特性、(4)表面1とカメラ5(着陸船)との距離R2、及び(5)カメラ5の特性によって決まる。
【0006】
(1)光源2の輝度と、(5)カメラ5の特性とは一定とみなすことができる。また、時刻が決まれば、光源2とカメラ5の位置が決まり、更に(2)距離R1と(4)距離R2も決まるので、(3)表面1の反射率特性だけが未知数となる。画像の明暗を定める反射率特性は、表面1の傾きと表面1の光学特性との関数であるので、表面1の光学特性を何らかの方法で判明又は推定することができれば、表面1の傾きと明るさとの関係式(光学特性が一定であれば、ほぼ比例する)が導かれる。表面1の明るさはカメラ5が撮像した画像から得られるので、推定した表面1の光学特性を用いてこの関係式を解くことによって表面1の傾きを求めることができる。このようにして求められた表面1の傾きを積分(面内方向の距離を積算)して最終的に表面高度(形状)を求める手法が、「陰影からの形状復元」の理論である。
【0007】
しかし、この復元理論において、関係式を解くアルゴリズムは画像に含まれるノイズに弱く、更に、計算時間がかかるという問題があって、実時間処理が不可能であると考えられている。これらの問題を解決するため、「陰影からの形状復元」の理論を線型化して高速フーリエ変換(FFT)を利用したPentland法が提唱されている。しかしながらPentland法では、復元された形状の精度が悪くなるという新たな問題が生じている。また、フーリエ変換での特異点問題を避けるために画像の明るさの平均値を0とし、そうした平均値を基準として(即ち、画像の明るさの平均値を示す部分が水平であるとみなして)表面1の形状を復元している。撮影された地形全体が一定方向に傾いている場合にも、画像の明るさの平均値が水平であるとみなされるため、復元された地形では地形全体の一定方向の傾きが求まらない。従って、Pentland法で復元された地形のみから着陸可能か否かを判定するのは危険である。
【0008】
ところで、反射率特性は、一般に、対象となる面への光の入射角、その面で散乱・反射した光を観測する観測角、及びその面の光学特性の関数である。その関数を、入射角と観測角のみの関数と、光学特性のみの関数との積に分解できたとすると、光学特性は入射角と観測角に依存しない反射係数と呼ばれるものになり、対象面、光源及びカメラの各位置と画像の明暗から入射角と観測角とを求めて対象面の傾きを求めることができる。しかしながら、月・惑星等の表面1の反射率特性は、実際には場所によって異なるので、その正確な推定は困難である。また、光学特性も、厳密に言えば、表面1の傾き(光の入射角、観測角)により変化するが、それらまでを考慮すると形状復元の計算時間がかかり過ぎて、実時間での形状復元ができない。多くの場合、上記のように、表面1が完全拡散面、いわゆるランバート面であって反射率特性は観測角に依存しないと仮定されるが、そうした仮定を行うと形状復元の精度が低下する。
【0009】
【発明が解決しようとする課題】
そこで、画像の明暗に基づいて被写体表面の形状を求める形状復元アルゴリズムを適用する際に、反射率特性が詳細に判明しなくても、復元された表面において全体の一定方向の傾きの影響を無くして、形状復元アルゴリズムを適用する中で被写体表面の平坦地を求めることを可能にする点で解決すべき課題がある。
【0010】
この発明の目的は、明暗に基づいて被写体表面の形状を求めるに際して、障害物を回避することが要求される実時間(リアルタイム)で被写体表面の平坦地を検出する陰影画像からの平坦地検出方法を提供することである。
【0011】
【課題を解決するための手段】
上記課題を解決するため、この発明による陰影画像からの平坦地検出方法は、上空から被写体表面を撮像して得られる画像に対して、前記画像の明暗に基づいて前記被写体表面の形状を求めるための形状復元アルゴリズムを線型化し前記明暗と前記被写体表面の形状とをフーリエ変換によって関連づけるPentland法を適用することにより、前記被写体表面の中から着陸可能な平坦地を実時間で検出することから成っている。
【0012】
この陰影画像からの平坦地検出方法によれば、画像の明暗に基づいて被写体表面の形状を求めるための形状復元アルゴリズムを直接適用するのではなく、形状復元アルゴリズムを線型化し前記明暗と前記被写体表面の形状とをフーリエ変換によって関連づけるPentland法を適用している。形状復元アルゴリズムの直接適用では、実時間での検出が困難であると共に凹凸形状の復元誤差が大きくなるが、Pentland法を平坦面形状の復元に適用することにより、障害物回避に必要な精度で平坦面の形状の復元が高速で得られ、例えば、着陸機が実際に降下していくときに、被写体表面における着陸可能な平坦地を実時間で検出することが可能になる。
【0013】
この陰影画像からの平坦地検出方法において、高高度から前記被写体表面を撮像して得られた広範囲な高高度画像について得られた前記明暗の平均値に基づいて前記被写体表面の水平面と見なし得る面の反射率特性を定め、前記被写体表面を撮像して得られる画像に対して、前記水平面の前記反射率特性を基準として、前記Pentland法を適用することができる。
【0014】
高高度から被写体表面を撮影したときに得られる広範囲の画像では、部分的な傾斜を相殺して、写っている範囲は全体として水平であると見なせることから、高高度画像の明暗の平均値に基づいて被写体表面の水平面と見なし得る面の反射率特性を定めることができる。そのように見なされた水平面の反射率特性を用いることにより、その後に撮影される画像に現れる可能性のある被写体表面における一定方向の傾斜を除くことが可能となる。即ち、復元された表面において全体の一定方向の傾きの影響を無くして、被写体表面の平坦度を求めることが可能となる。被写体表面の平坦度に基づいて、被写体表面においてある広がりを持つ平坦面を検出することが可能となる。また、陰影からの形状復元では、形状復元誤差と反射率特性の推定誤差が問題になることがあるが、障害物検出では無く水平な平坦地を検出することで、これらの誤差を避けることが可能となる。
【0015】
この陰影画像からの平坦地検出方法において、前記被写体表面の一部を低高度から撮像して得られた低高度画像について、前記被写体表面の前記明暗が前記高高度画像における当該部分の前記明暗と一致するように明暗調整を行い、前記明暗調整後の前記低高度画像に対して前記Pentland法を適用することができる。高高度画像から撮像して得られた高高度画像と、低高度から撮像して得られた低高度画像とは、同じ表面の部分を光源等の同じ条件下で撮影した場合であっても、明暗は異なる。従って、高高度画像と低高度画像とにおいて、撮影部分が同じ部分である明暗を一致させる明暗調整を行うことにより、明暗調整後の低高度画像に対しても、被写体表面の水平面の反射率特性基準を維持しつつ、Pentland法を高高度画像の場合と同様に適用することができる。
【0016】
この陰影画像からの平坦地検出方法において、前記被写体表面の前記平坦地は、前記Pentland法の解法過程の中で得られるフーリエ係数の大きさに基づいて判定することができる。フーリエ係数は被写体表面の空間周波数に対応した振幅と解されるので、得られるフーリエ係数の大きさに基づいて表面の平坦地を判定することができる。
【0017】
この陰影画像からの平坦地検出方法において、前記被写体表面は着陸機の着陸予定地点を含む天体表面であり、前記天体表面の前記平坦地の検出は、前記着陸機の前記着陸予定地点の選定のために実時間で行うことができる。即ち、月や惑星の天体表面へ無人の着陸機が着陸を試みる場合、その着陸予定地点を含む天体表面を被写体表面として平坦地検出方法を適用することにより、天体表面の平坦地の検出を実時間で精度よく行うことができる。従って、画像的な特徴の無い表面であっても、且つ表面上に岩石等の障害物がある場合には個々の障害物ではなく、障害物をも含めた面(この場合には、平坦でなく着陸に適さない面)として捉えて、遠隔地からの電波等による制御がなくても、自律的に着陸に適した平坦地を選定することが可能となる。
【0018】
着陸機の着陸予定地点を含む天体表面の平坦地検出に適用される場合において、前記被写体表面を撮影した前記画像について、前記画像を所定数に分割し、分割して得られた分割画像に対して前記Pentland法を適用することにより前記分割画像で撮影された前記被写体表面について検出した平坦地に基づいて最も安全に着陸可能な前記着陸予定地点を選定する画像分割・着陸予定地点選定処理を実行することができる。そして、前記画像分割・着陸予定地点選定処理は、前記着陸予定地点が最終着陸決定画像で最も安全に着陸可能な最終着陸予定地点として選定されるまで、前記着陸機の降下に従って所定の高度毎に前記被写体表面を撮影した前記画像について実行することが好ましい。何らかの方法で天体表面の地形についての高度情報が得られたとしても、そうした高度情報から安全な着陸地点を検出するには時間を要する。そこで、被写体表面を撮影した画像を所定数で分割し、各分割された分割画像毎に撮影されている被写体表面についてPentland法を適用することにより平坦地を検出し、検出された平坦地に基づいて、最も安全に着陸可能な前記着陸予定地点が選定される。着陸機の高度が低下するにつれて分割画像が写し出している天体表面の面積は狭い範囲となるので、その分割画像についての平坦地を求めることにより、着陸に適した地点を確認するか、又は着陸に最も適した地点の選定を変更することができる。以上の画像分割・着陸予定地点選定処理が、着陸機の降下に従って、着陸予定地点を含む天体表面を所定の高度毎に撮影し、その度に撮影した画像に対して実行され、最終的に着陸地点を決定することになる最終着陸決定画像で最も安全に着陸可能な平坦度を持つ最終着陸予定地点が選定されるまで実行される。
【0019】
この陰影画像からの平坦地検出方法において、前記被写体表面の同じ地点を異なる時刻で撮影し、当該地点における入射角が異なる複数の前記画像に基づいて前記被写体表面の傾きの実際値を求め、前記傾きの実際値に基づいて前記被写体表面の実際の形状高さを求めることができる。例えば、着陸機に搭載されたカメラによって着陸地点を含む天体表面の平坦地を検出する場合、軌道を周回中に、又は降下中に着陸予定地点を含む天体表面の同じ地点を撮影して光源からの入射角が異なる少なくとも二つの画像を得ることによって、天体表面の傾きの実際値として知ることができる。
【0020】
【発明の実施の形態】
添付図面を参照して、この発明による陰影画像からの平坦地検出方法の実施例について説明する。図1は、この発明による陰影画像からの平坦地検出方法の概要を示すフローチャートである。「陰影からの形状復元」アルゴリズムを線型化してフーリエ変換を用いるPentland法では障害物の形状復元までを正確に行うことはできないが、以下に述べる方法で水平面及び水平な平坦地の検出は可能である。
【0021】
図1には、この発明による陰影画像からの平坦地検出方法において、着陸機が天体表面に着陸する際に着陸に適した平坦面を検出するためのフローチャートが示されている。画像処理を行う前提として、特に言及しないときには着陸を実施する短い時間の範囲では光源2の位置は変わらず、着陸機を降下角度一定の条件下で降下させる(垂直降下を含む)とする。このフローチャートによれば、カメラ5による高高度から表面1として着陸予定地点を含む地表を撮像する(ステップ1、以下「S1」と略す。他も同様)。高高度では、画像の視野は、例えば、数十km四方である。次に、高高度から撮影することで得られた高高度画像の明るさの平均値が算出される(S2)。撮影画像が高高度からのものであるときには、広範囲な地表が写っているので、写っている地形の傾きは平均として水平と見なすことができる。即ち、高高度からの撮像画像の平均的な明るさは、見なされた水平面の明るさ(反射率特性)であるとすることができる。水平面の反射率特性が求まれば、相対的な傾き(2地点のどちらがの傾斜が相対的に急であるか)を求めることができるが、傾きの絶対値(実際の大きさの値)までは判らない。また、この段階では、高高度画像であるので、低高度で初めて見えてくるものの中で着陸に障害物となる可能性がある。最終的に安全な着陸地点を選定するには、相対的な傾きだけではなく表面高度を求める必要がある。表面高度を求めるには、傾きの絶対値と距離の絶対値(実際の距離の値)が必要である。
【0022】
次に、入射角が異なる位置(月・惑星周回軌道上あるいは降下中)から着陸予定地点の画像が取得される(S3)。この場合、同じ撮影対象が同じ地点であっても撮影時刻が異なるので光源2の位置との相対位置が異なり、入射角の異なる画像が得られる。入射角の異なる画像は、着陸予定地点の表面の傾きの絶対値を求めるのに利用される。即ち、異なる時刻では同じ水平面であっても入射角が変化する。水平面に対する太陽の向き(入射角)は推定可能であるので、異なる時刻に撮影した画像から、その面の入射角に対する反射率特性を測定することができる。また、測定時刻がほぼ同時であって太陽の位置が一定であるとすると、地形に応じた面の傾きにより、入射角が変化し、面の明るさが変化する。先に測定された反射率特性を利用することで、「陰影からの形状復元」アルゴリズムによって、平面の傾きの絶対値を求めることができる。このように、同じ地点を異なる時刻に観測することで、その明暗の変化から、反射率特性として同じ地点の入射角に対する反射光の強度分布を知ることができ、その結果、傾きの絶対値を知ることができる。
【0023】
着陸機の降下に従い、カメラ5によって低高度で着陸予定地点を含む地表を撮影する(S4)。100mの高度では、画像の視野は数十m四方まで狭くなる。S2で得られた高高度での画像の平均値とS4で得られた低高度で撮影された画像の、同じ地表の部分の明るさを対比させることによって、低高度で撮影された画像と高高度で撮影された画像との明るさに同じになる様に明暗調整をする(S5)。S5で明暗調整がされた画像に対して、Pentland法が適用される(S6)。Pentland法を適用することによって、低高度で撮影された画像から水平面を水平とした地形を復元することができる。更に、S3において得られた入射角が異なる位置から得られた着陸予定地点の画像から、地表の水平面からの傾きの絶対値を算出することができる(S7)。
【0024】
次に、Pentland法による平坦地の検出について説明する。Pentland法の長所は、境界条件を与えなくても形状の復元が可能なことである。図2には、この発明による画像処理方法における平坦地をPentland法を用いて検出するときのフローチャートが示されている。表面1としての地表の凹凸を一種の波形、即ち、地表の凹凸を周波数の異なる多数の波の合成と考えると、その波をフーリエ変換することで得られた係数は、表面1の空間周波数(分割画面の領域から定まる基本周波数とその整数倍の周波数)に対応した振幅(高低差)に相当する。この係数に値が小さければ小さいほど、表面1の平坦度は高いと考えられる。Pentland法では線型近似が行われ、第一段階として、画像の明暗がフーリエ変換される。第二段階としてフーリエ変換した画像を演算処理することにより、地形をフーリエ変換したものが得られる。その理由は、画像の明るさは、面の傾きに比例するから地形(高度)の微分で表される。フーリエ変換では微分操作は積に変換されるので、画像の明暗のフーリエ変換をある数で除算したものが地形のフーリエ変換となる。第三段階として、第二段階で得られた地形のフーリエ変換を逆フーリエ変換することによって、地形(高度)を得ることができる。
【0025】
図2に示すフローチャートによれば、先ず、着陸機が転倒することなく安全に着陸することができるために必要な平坦度からフーリエ係数の閾値が予め定められる(S10)。次に、着陸機が降下中に、カメラ5によって地表の画像を撮影する(S11)。撮影された地表の画像は、着陸可能な面積の大きさに画像をタイル状に分割される(S12)。画像の分割数は、一例として、10×10(=100)が挙げられる。各分割画像に対して、Pentland法による処理過程で得られるフーリエ変換の係数から、各分割画像の平坦度を次の様に求める。即ち、各分割画像について明るさが画像として撮影された地表の座標の関数として求められるので、その明暗に基づいてフーリエ変換を用いた上記の演算を行う(S13)。第三段階で得られる地形を復元して平坦地を検出する手法が一般的であるが、計算時間が短い第二段階で得られるフーリエ係数を用いても平坦地の検出が可能である。第二段階で得られるフーリエ係数が閥値より小さいかどうかを判定し、フーリエ係数がこの閥値より小さいとの判定によって着陸候補地点を選ぶ(S14)。その分割画像に対応する表面1の領域については着陸機が着陸可能であるとして、着陸予定地点として登録・更新される(S15)。S15の後、解析画像が所定高度の最終着陸画像であるか否かが判定される(S16)。S16の判定で最終着陸画像であると判定されたときには、解析を終了する。S16の判定で解析画像が最終着陸画像ではないと判定されたときには、S11に戻って地表の画像を撮影し、次の分割画像について明暗に基づく平坦度の解析が行われる。このフーリエ係数の判定によって、分割画像ごとに着陸機が着陸可能か否かが判定される。S15で登録された着陸候補地が複数ある場合には更に分析が進められ、例えば、フーリエ係数の最も小さい画面に対応した着陸候補地を最終着陸予定地点として選定することができる。高次の空間周波数についてのフーリエ係数については、平坦度に対する寄与が小さいので無視することができ、そうすることにより平坦度の判定処理を高速化することができる。
【0026】
次に、高高度からの検出について説明する。「陰影からの形状復元」アルゴリズムは表面の明るさから表面の形状を求める検出手法であるので、画像の解像度の1/10以下の高度差までをも検出することができる。数キロメートルの高度から着陸予定地点の表面を撮影した画像として、1m程度の物体を見分けられる解像度のものを得ることは比較的容易なので、そうした画像にこの発明による平坦地検出方法を適用すれば、0.1m程度の平坦度を検出することが可能である。すなわち、「陰影からの形状復元」アルゴリズムを線型化したPentland法では障害物の形状復元までを正確に行うことはできないが、孤立した岩石等の障害物を表面の起伏とみなして、高高度からの平坦地を実時間(リアルタイム)で検出することが可能になる。また、月や惑星等の未踏の地であっても、着陸機が着陸するのには、着陸予定地点を含む目標範囲において、傾斜のない水平な平坦地が発見できれば十分である。
【0027】
図3は、この発明による陰影画像からの平坦地検出方法において、Pentland法の解法過程の中で得られるフーリエ係数の一例(簡単のため、画像の大きさは32×32画素、各係数の少数以下は切り捨て)を示す図である。図3では、二次元の空間周波数毎のフーリエ係数がマトリクスで表示されている。(a)は障害物(例えば、クレーター)が存在する場合のフーリエ係数の例であり、(b)は比較的平坦な地形のフーリエ係数の例である。地形は二次元の空間周波数を持つ波の合成と考えられ、図で原点は左上にあって、原点に近いほど低次の空間周波数に対応した係数を表しており、原点から遠ざかるほど高次の空間周波数に対応した係数を表している。いずれの場合も、高次の空間周波数に対応したフーリエ係数はゼロであり、実際の地形がそうであるように、狭い範囲で高低差が急激に変化する地形がないということに対応している。ゼロでないフーリエ係数は比較的原点の近傍に集中しているが、(a)の障害物が存在する場合には、(b)の比較的平坦な地形の場合と比較してフーリエ係数の値が大きくなっており、低い周波数に対応した地形のうねりのような波形成分の振幅が大きいことが判る。このように、二次元で分布するフーリエ係数の大きさに基づいて、画像に現れている地形の平坦度を判定することができる。
【0028】
以下に、この発明による陰影画像による平坦地検出方法が適用されたシステムとしての実施例について説明する。1枚のカメラ画像から3次元形状を復元する「陰影からの形状復元」アルゴリズムでは、画像の大きさを基準とした地形の相対的な高低差が得られるが、絶対的な高低差の値は解からない。上記の手法を用いることにより傾きの絶対値が判明するので、距離の絶対値が判れば、高さを知ることができる。距離の絶対値を知る方法としては、以下の3つが考えられる。
(1)1台のカメラ画像だけを使う方法
この方法は、カメラに写っている地形の中にその大きさが既知の地形が含まれている場合に有効な方法であって、既知の地形から画像の写っている範囲の大きさが解かり、画像範囲の大きさに基づいて、地形の高低差の絶対値を求めることができる。
(2)レーザレーダ、電波高度計等の測定機器からの高度情報を併用する方法
レーザレーダ、電波高度計等の測定機器によって着陸予定地点までの高度情報が得られる場合は、カメラの視野角が既知なので画像に写っている範囲が解かり、地形の高度差の絶対値を計算することができる。
(3)2台のカメラ画像を使う方法
2台のカメラ画像を使ったパッシブ・ステレオ法と併用することにより、絶対的な高度情報を得ることができる。着陸予定地点の表面の反射率特性が狭い範囲でも変化する(即ち、画像的な特徴がある)場合、「陰影からの形状復元」アルゴリズムによって得られた形状復元精度の信頼性は低下するが、パッシブ・ステレオ法では対応点問題を解くことが容易になり、距離測定精度が向上する。逆に、着陸予定地点の表面の反射率特性が均一な(即ち、画像的な特徴が少ない)場合、パッシブ・ステレオの距離測定精度は低下するが、「陰影からの形状復元」アルゴリズムによって得られる形状復元精度は向上する。ヒトの視覚系と同様に、「陰影からの形状復元」アルゴリズムとパッシブ・ステレオ法とは相補的に機能する。
【0029】
上記の例では、無人着陸機の着陸について説明したが、有人着陸機であっても、着陸候補地を探し出すことを補助するシステムとして、本発明による平坦度検出方法を適用したシステムを搭載することが好ましい。
【0030】
【発明の効果】
この発明による陰影画像からの平坦地検出方法によれば、水平面の明るさ(反射率特性)の詳細が解らずとも、着陸可能な平坦地を実時間で正確に探し出すことができるので、例えば、天体表面のような未踏の地へ着陸機が降下中であっても、予め決定されている着陸予定地点を含むような広い範囲の中から着陸に最適な地点を、リアルタイムで探し出すことが可能になる。
【図面の簡単な説明】
【図1】この発明による陰影画像からの平坦地検出方法を、着陸機が天体表面に着陸する際に着陸に適した平坦面の検出に適用したときの、平坦地検出方法の概要を示すフローチャートである。
【図2】この発明による画像処理方法における平坦地をPentland法を用いて検出するときのフローチャートである。
【図3】この発明による陰影画像からの平坦地検出方法において、Pentland法の解法過程の中で得られるフーリエ係数の一例を示す図である。
【図4】「陰影からの形状復元」アルゴリズムを模式的に説明する斜視図である。
【符号の説明】
1 被写体表面 2 光源
3 入射光 4 観測光
5 CCDカメラ 6 垂線
α 入射角 β 観測角
R1 表面1と光源2との距離 R2 表面1とカメラ5との距離
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a method for detecting a flat surface of a subject surface from a shadow image acquired by a camera.For example, when an unmanned landing ship landes on an unexplored land such as a moon or a planet, the surface of a celestial body including a planned landing point is detected. The present invention relates to a flat ground detection method that can be used to find a horizontal flat ground as a planned landing point from a captured camera image.
[0002]
[Prior art]
When a lander lands on a celestial body such as the moon or planet, if it is a manned lander as in the Apollo program, the lander crew member will determine whether it is possible to land safely by looking at the planned landing point. can do. However, when it is an unmanned lander, such a judgment cannot be made. Also, if a detailed landing instruction is transmitted based on a video received at a remote place by transmitting a video of a planned landing point, signal transmission / reception is not possible. Takes time, and judgment in real time is impossible. Therefore, the unmanned landing ship will force landing regardless of the topography and obstacles. In order to increase the success rate of landing as much as possible, measures are taken to make the structure that the landing aircraft is difficult to fall over or can be dropped.
[0003]
As a method for measuring the shape of the ground surface and obstacles, a laser radar method (for example, Japanese Patent Laid-Open No. 2000-057323), an optical projection method (active stereo method: Japanese Patent Laid-Open No. 9-301300), 2 by improving the computer processing capability. A stereo method using two cameras (passive stereo method: Japanese Patent Application Laid-Open No. 11-259632, Japanese Patent Application No. 2000-349033 by the present applicant) has been proposed.
[0004]
In the laser radar method, altitude can be measured, but there is a problem that it cannot be used unless the altitude is about 100 m due to restrictions on laser light power. In addition, there are problems such as poor resolution and time taken to scan the planned landing point. In the active stereo method, it is necessary to accurately maintain the arrangement between the camera and the light source or the two cameras. Even if it is possible, sufficient measurement accuracy can be obtained unless the altitude is as low as about 100 m. There is no problem. In the passive stereo method, if there is no image feature on the surface of the planned landing point, the surface undulation cannot be detected, but the surface of the moon or planet is covered with sand called regolith, and the image feature is common Very few. At such low altitudes, the range in which landing safety can be confirmed is narrow, so there is a high possibility that a safe landing point cannot be found in the range.
[0005]
The “shape restoration from shadow” algorithm will be specifically described with reference to FIG. FIG. 4 is a perspective view schematically illustrating a “shape restoration from shadow” algorithm. An object surface 1 (hereinafter simply referred to as “surface 1”) such as the surface of the earth to be observed is illuminated by incident light 3 having an incident angle α from a light source 2 such as the sun. Assume that an image of the reflected observation light 4 is taken by a CCD camera 5 (hereinafter simply referred to as “camera 5”). The incident angle α and the observation angle β are defined as angles from a normal 6 standing on the surface 1. The brightness of the image taken by the camera 5 (surface 1 as the object) is (1) the luminance of the light source 2 (sun), (2) the distance R1 between the surface 1 and the light source 2, and (3) the surface 1 It depends on the reflectance characteristics, (4) the distance R2 between the surface 1 and the camera 5 (lander), and (5) the characteristics of the camera 5.
[0006]
(1) The luminance of the light source 2 and (5) the characteristics of the camera 5 can be regarded as constant. When the time is determined, the positions of the light source 2 and the camera 5 are determined, and (2) the distance R1 and (4) the distance R2 are also determined. Therefore, only the reflectance characteristics of the surface 1 are unknown. Since the reflectance characteristic that determines the brightness of the image is a function of the inclination of the surface 1 and the optical characteristic of the surface 1, if the optical characteristic of the surface 1 can be determined or estimated by some method, the inclination and brightness of the surface 1 are determined. (If the optical characteristic is constant, it is approximately proportional). Since the brightness of the surface 1 is obtained from an image captured by the camera 5, the inclination of the surface 1 can be obtained by solving this relational expression using the estimated optical characteristics of the surface 1. The method of integrating the slope of the surface 1 thus determined (accumulating the distance in the in-plane direction) and finally obtaining the surface height (shape) is the theory of “shape restoration from shadows”.
[0007]
However, in this restoration theory, the algorithm for solving the relational expression is weak against noise contained in the image, and further has a problem that it takes a long calculation time, and it is considered that real-time processing is impossible. In order to solve these problems, the Pentland method using the fast Fourier transform (FFT) by linearizing the theory of “shape restoration from shadows” has been proposed. However, the Pentland method has a new problem that the accuracy of the restored shape is deteriorated. Further, in order to avoid the singularity problem in Fourier transform, the average value of the brightness of the image is set to 0, and such average value is used as a reference (that is, the portion indicating the average value of the brightness of the image is assumed to be horizontal). ) The shape of the surface 1 is restored. Even when the entire photographed terrain is tilted in a certain direction, the average value of the brightness of the image is considered to be horizontal, and therefore the restored terrain cannot find the tilt in the certain direction of the entire terrain. Therefore, it is dangerous to determine whether or not landing is possible only from the terrain restored by the Pentland method.
[0008]
By the way, the reflectance characteristic is generally a function of an incident angle of light on a target surface, an observation angle for observing light scattered and reflected on the surface, and an optical characteristic of the surface. If the function can be decomposed into a product of a function of only the incident angle and the observation angle and a function of only the optical characteristic, the optical characteristic becomes a reflection coefficient that does not depend on the incident angle and the observation angle. The inclination of the target surface can be obtained by obtaining the incident angle and the observation angle from the positions of the light source and the camera and the brightness of the image. However, since the reflectance characteristics of the surface 1 such as the moon or planet actually vary depending on the location, it is difficult to accurately estimate the reflectance characteristics. Strictly speaking, the optical characteristics also change depending on the inclination of the surface 1 (incident angle of light, observation angle). However, considering these factors, it takes too much calculation time for shape restoration, and shape restoration in real time. I can't. In many cases, as described above, it is assumed that the surface 1 is a completely diffusing surface, a so-called Lambertian surface, and the reflectance characteristic does not depend on the observation angle. However, if such an assumption is made, the accuracy of shape restoration is lowered.
[0009]
[Problems to be solved by the invention]
Therefore, when applying a shape restoration algorithm that obtains the shape of the subject surface based on the contrast of the image, even if the reflectance characteristics are not clarified in detail, the influence of the inclination in the whole fixed direction is eliminated on the restored surface. Thus, there is a problem to be solved in that the flat surface of the object surface can be obtained while applying the shape restoration algorithm.
[0010]
An object of the present invention is to provide a method for detecting a flat ground from a shadow image, which detects a flat ground on the surface of a subject in real time (real time) required to avoid an obstacle when determining the shape of the surface of the subject based on brightness and darkness. Is to provide.
[0011]
[Means for Solving the Problems]
In order to solve the above-described problem, the flat ground detection method from a shadow image according to the present invention is to obtain the shape of the subject surface based on the brightness of the image with respect to an image obtained by imaging the subject surface from the sky. And detecting the flat ground that can be landed from the surface of the subject in real time by applying the Pentland method that linearizes the shape restoration algorithm of the above and associates the brightness and the shape of the subject surface with Fourier transform. Yes.
[0012]
According to the method for detecting a flat ground from a shadow image, the shape restoration algorithm is not linearly applied to directly determine the shape of the subject surface based on the brightness of the image, but the shape restoration algorithm is linearized and the light and dark and the subject surface are detected. The Pentland method is used to associate the shape of the image with the shape by Fourier transform. The direct application of the shape restoration algorithm is difficult to detect in real time, and the restoration error of the concavo-convex shape becomes large. However, by applying the Pentland method to the restoration of the flat surface shape, the accuracy required for obstacle avoidance is obtained. The flat surface shape can be restored at high speed. For example, when the landing aircraft actually descends, it is possible to detect the land where the land surface can land in real time.
[0013]
In this method for detecting a flat area from a shaded image, a surface that can be regarded as a horizontal plane of the subject surface based on the average value of the brightness obtained for a wide range of high-altitude images obtained by imaging the subject surface from a high altitude. The Pentland method can be applied to an image obtained by imaging the surface of the subject with reference to the reflectance characteristic of the horizontal plane.
[0014]
In a wide range of images obtained when the subject surface is photographed from a high altitude, the partial tilt is canceled and the captured area can be regarded as horizontal as a whole. Based on this, it is possible to determine the reflectance characteristics of a surface that can be regarded as a horizontal surface of the object surface. By using the reflectivity characteristics of the horizontal plane considered as such, it is possible to remove the inclination in a certain direction on the surface of the subject that may appear in an image captured thereafter. That is, the flatness of the subject surface can be obtained without the influence of the inclination in the whole fixed direction on the restored surface. Based on the flatness of the subject surface, it is possible to detect a flat surface having a certain spread on the subject surface. In addition, shape restoration from shadows may cause problems of shape restoration error and reflectance characteristic estimation error, but these errors can be avoided by detecting horizontal flat ground instead of obstacle detection. It becomes possible.
[0015]
In this method of detecting a flat area from a shadow image, for a low altitude image obtained by imaging a part of the subject surface from a low altitude, the brightness and darkness of the subject surface is different from the brightness and darkness of the portion in the high altitude image. The Pentland method can be applied to the low-altitude image after the brightness adjustment by performing brightness adjustment so as to match. A high altitude image obtained by imaging from a high altitude image and a low altitude image obtained by imaging from a low altitude are the same surface parts taken under the same conditions such as a light source, Light and dark are different. Therefore, by performing brightness adjustment that matches the light and darkness in the high altitude image and low altitude image with the same part, the reflectance characteristics of the horizontal surface of the subject surface can be obtained even for low altitude images after brightness adjustment. While maintaining the reference, the Pentland method can be applied in the same manner as in the case of a high altitude image.
[0016]
In this method for detecting a flat ground from a shadow image, the flat ground on the surface of the subject can be determined based on the magnitude of a Fourier coefficient obtained in the solution process of the Pentland method. Since the Fourier coefficient is interpreted as an amplitude corresponding to the spatial frequency of the subject surface, the flat surface of the surface can be determined based on the magnitude of the obtained Fourier coefficient.
[0017]
In the method for detecting a flat ground from the shaded image, the object surface is a celestial surface including a planned landing point of the lander, and the detection of the flat ground on the surface of the celestial body is performed by selecting the planned landing point of the lander. Can be done in real time. In other words, when an unmanned lander attempts to land on the surface of a celestial object on the moon or planet, it detects the flat surface of the celestial surface by applying the flat surface detection method using the celestial surface including the planned landing point as the subject surface. Can be done accurately in time. Therefore, even if the surface has no image features and there are obstacles such as rocks on the surface, it is not an individual obstacle but a surface including the obstacle (in this case, a flat surface). Therefore, it is possible to autonomously select a flat land suitable for landing without control by radio waves from a remote location.
[0018]
When applied to flat surface detection of a celestial body surface including a planned landing point of a lander, for the image obtained by photographing the subject surface, the image is divided into a predetermined number, and the divided image obtained by dividing the image is obtained. By executing the Pentland method, image division / scheduled landing point selection processing is performed for selecting the planned landing point that can be landed most safely based on the flat ground detected for the surface of the subject captured in the divided image. can do. Then, the image division / scheduled landing point selection processing is performed for each predetermined altitude according to the landing aircraft descent until the planned landing point is selected as the final landing planned point that can be landed most safely in the final landing decision image. It is preferable to execute the image on the subject surface. Even if altitude information about the topography of the celestial surface is obtained by some method, it takes time to detect a safe landing point from such altitude information. Therefore, a flat surface is detected by dividing the image obtained by photographing the subject surface by a predetermined number and applying the Pentland method to the subject surface photographed for each divided divided image, and based on the detected flat ground. Thus, the planned landing point that can land safely is selected. As the altitude of the lander decreases, the area of the celestial body surface where the divided images are projected becomes a narrow range, so by finding the flat land for the divided images, you can confirm the point suitable for landing or The selection of the most suitable point can be changed. The above image segmentation / landing point selection process is performed on the surface of the celestial body including the planned landing point at every predetermined altitude as the landing gear descends. This is executed until the final landing scheduled point having the flatness that can be landed most safely is selected in the final landing determination image for determining the point.
[0019]
In the method for detecting a flat ground from the shadow image, the same point on the subject surface is photographed at different times, and an actual value of the inclination of the subject surface is obtained based on the plurality of images having different incident angles at the point, Based on the actual value of the inclination, the actual shape height of the subject surface can be obtained. For example, when detecting the flat surface of the celestial surface including the landing point with a camera mounted on the landing aircraft, the same point on the celestial surface including the planned landing point is taken during the orbit or descent from the light source. By obtaining at least two images having different incident angles, it is possible to know the actual value of the inclination of the celestial surface.
[0020]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of a method for detecting a flat ground from a shadow image according to the present invention will be described with reference to the accompanying drawings. FIG. 1 is a flowchart showing an outline of a method for detecting a flat ground from a shadow image according to the present invention. The Pentland method, which uses the Fourier transform by linearizing the “shape restoration from shadow” algorithm, cannot accurately perform the shape restoration of obstacles, but it can detect horizontal and horizontal flat surfaces using the method described below. is there.
[0021]
FIG. 1 shows a flow chart for detecting a flat surface suitable for landing when a lander lands on a celestial body surface in the method for detecting a flat ground from a shadow image according to the present invention. As a premise for performing image processing, unless otherwise stated, it is assumed that the position of the light source 2 does not change in a short time range in which landing is performed, and the landing aircraft is lowered under the condition of a constant descent angle (including vertical descent). According to this flowchart, the ground surface including the planned landing point is imaged from the high altitude by the camera 5 as the surface 1 (step 1, hereinafter abbreviated as “S1”, and the like). At high altitude, the field of view of the image is, for example, several tens km square. Next, the average value of the brightness of the high altitude image obtained by photographing from the high altitude is calculated (S2). When the photographed image is from a high altitude, a wide range of the earth's surface is captured, so that the inclination of the captured terrain can be regarded as horizontal on average. That is, the average brightness of the captured image from a high altitude can be regarded as the brightness of the horizontal plane (reflectance characteristics). If the reflectance characteristics of the horizontal plane are obtained, the relative inclination (which of the two points is relatively steeper) can be obtained, but the absolute value of the inclination (actual magnitude value) can be obtained. I don't know. At this stage, since it is a high-altitude image, there is a possibility that it will be an obstacle to landing among those that can be seen for the first time at a low altitude. In order to finally select a safe landing point, it is necessary to obtain not only the relative inclination but also the surface height. In order to obtain the surface height, an absolute value of inclination and an absolute value of distance (actual distance value) are required.
[0022]
Next, an image of a planned landing point is acquired from a position (on the moon / planetary orbit or descending) at a different incident angle (S3). In this case, even when the same photographing object is the same spot, the photographing time is different, so that the relative position with respect to the position of the light source 2 is different, and images having different incident angles are obtained. Images with different incident angles are used to determine the absolute value of the slope of the surface of the planned landing point. That is, the incident angle changes even at the same horizontal plane at different times. Since the direction (incidence angle) of the sun with respect to the horizontal plane can be estimated, reflectance characteristics with respect to the incident angle of the surface can be measured from images taken at different times. If the measurement time is almost the same and the position of the sun is constant, the incident angle changes due to the inclination of the surface according to the topography, and the brightness of the surface changes. By using the reflectance characteristic measured previously, the absolute value of the inclination of the plane can be obtained by the “shape restoration from shadow” algorithm. In this way, by observing the same point at different times, it is possible to know the intensity distribution of the reflected light with respect to the incident angle at the same point as the reflectance characteristic from the change in brightness, and as a result, the absolute value of the slope is calculated. I can know.
[0023]
In accordance with the descent of the landing aircraft, the ground surface including the planned landing point is photographed by the camera 5 at a low altitude (S4). At an altitude of 100 m, the field of view of the image is narrowed to several tens of meters. The average value of images at high altitude obtained in S2 and S4 By comparing the brightness of the same surface area of the image taken at low altitude obtained in step 1, the brightness of the image taken at low altitude and the image taken at high altitude will be the same The brightness is adjusted (S5). The Pentland method is applied to the image that has been subjected to the brightness adjustment in S5 (S6). By applying the Pentland method, it is possible to restore a terrain with a horizontal plane from an image taken at a low altitude. Furthermore, the absolute value of the inclination of the ground surface from the horizontal plane can be calculated from the images of the planned landing points obtained from the positions with different incident angles obtained in S3 (S7).
[0024]
Next, detection of flat ground by the Pentland method will be described. The advantage of the Pentland method is that the shape can be restored without giving boundary conditions. FIG. 2 shows a flowchart when a flat ground in the image processing method according to the present invention is detected using the Pentland method. If the surface irregularities as the surface 1 are considered as a kind of waveform, that is, the surface irregularities are a combination of a number of waves having different frequencies, the coefficient obtained by Fourier transforming the waves is the spatial frequency of the surface 1 ( This corresponds to an amplitude (difference in height) corresponding to a fundamental frequency determined from the area of the divided screen and a frequency that is an integer multiple thereof. It is considered that the flatness of the surface 1 is higher as the coefficient is smaller. In the Pentland method, linear approximation is performed, and as a first step, the lightness and darkness of the image is Fourier transformed. As a second step, a Fourier transformed image is obtained by performing arithmetic processing on the Fourier transformed image. The reason is that the brightness of the image is proportional to the inclination of the surface, and is expressed by the differentiation of the terrain (altitude). Since the differential operation is converted into a product in the Fourier transform, the terrain Fourier transform is obtained by dividing the light-dark Fourier transform of the image by a certain number. As the third stage, the topography (altitude) can be obtained by inverse Fourier transforming the Fourier transform of the topography obtained in the second stage.
[0025]
According to the flowchart shown in FIG. 2, first, the threshold value of the Fourier coefficient is determined in advance from the flatness necessary for the landing machine to land safely without falling (S10). Next, an image of the ground surface is taken by the camera 5 while the lander is descending (S11). The captured image of the ground surface is divided into tiles in the size of an area that can be landed (S12). As an example, the number of image divisions is 10 × 10 (= 100). For each divided image, the flatness of each divided image is obtained from the Fourier transform coefficient obtained in the process of the Pentland method as follows. That is, since the brightness is obtained as a function of the coordinates of the ground surface photographed as an image for each divided image, the above-described calculation using the Fourier transform is performed based on the brightness (S13). A method of detecting flat land by restoring the topography obtained in the third stage is common, but it is also possible to detect flat ground using the Fourier coefficient obtained in the second stage with a short calculation time. It is determined whether the Fourier coefficient obtained in the second stage is smaller than the threshold value, and a landing candidate point is selected by determining that the Fourier coefficient is smaller than the threshold value (S14). The area of the surface 1 corresponding to the divided image is registered and updated as a planned landing point on the assumption that the lander can land (S15). After S15, the analysis image Of a given altitude It is determined whether it is a final landing image (S16). If it is determined in S16 that the image is the final landing image, the analysis is terminated. When it is determined in S16 that the analysis image is not the final landing image, the process returns to S11 to take an image of the ground surface, and the flatness analysis based on brightness is performed on the next divided image. By determining the Fourier coefficient, it is determined whether or not the landing aircraft can land for each divided image. When there are a plurality of landing candidate sites registered in S15, the analysis is further advanced. For example, the landing candidate site corresponding to the screen having the smallest Fourier coefficient can be selected as the final landing scheduled point. The Fourier coefficient for the higher-order spatial frequency can be ignored because the contribution to the flatness is small, so that the flatness determination process can be speeded up.
[0026]
Next, detection from high altitude will be described. The “shape restoration from shadow” algorithm is a detection method for obtaining the shape of the surface from the brightness of the surface, so that even an altitude difference of 1/10 or less of the resolution of the image can be detected. Since it is relatively easy to obtain an image obtained by photographing the surface of a planned landing point from an altitude of several kilometers, it is relatively easy to obtain an object having a resolution of about 1 m. Therefore, if the flat land detection method according to the present invention is applied to such an image, It is possible to detect a flatness of about 0.1 m. In other words, the Pentland method, which linearizes the “shape restoration from shadows” algorithm, cannot accurately perform the shape restoration of obstacles, but considers obstacles such as isolated rocks as surface undulations, It becomes possible to detect a flat land in real time. In addition, even on unexplored lands such as the moon and planets, it is sufficient for the lander to land if it is possible to find a flat, flat surface with no inclination in the target range including the planned landing point.
[0027]
FIG. 3 shows an example of Fourier coefficients obtained in the solution process of the Pentland method in the method for detecting a flat ground from a shadow image according to the present invention (for the sake of simplicity, the image size is 32 × 32 pixels, a small number of each coefficient). The following is a diagram showing the truncation). In FIG. 3, Fourier coefficients for each two-dimensional spatial frequency are displayed in a matrix. (A) is an example of a Fourier coefficient when an obstacle (for example, a crater) exists, and (b) is an example of a Fourier coefficient of a relatively flat terrain. The topography is considered to be a synthesis of waves with two-dimensional spatial frequencies. In the figure, the origin is at the upper left, and the closer to the origin, the lower the spatial frequency, the higher the coefficient corresponding to the lower order. The coefficient corresponding to the spatial frequency is represented. In either case, the Fourier coefficient corresponding to the higher-order spatial frequency is zero, which corresponds to the fact that there is no terrain where the height difference changes rapidly in a narrow range, as in the actual terrain. . Non-zero Fourier coefficients are relatively concentrated in the vicinity of the origin, but when the obstacle (a) exists, the value of the Fourier coefficient is smaller than in the case of the relatively flat topography (b). It can be seen that the amplitude of the waveform component such as the swell of the terrain corresponding to the low frequency is large. Thus, the flatness of the terrain appearing in the image can be determined based on the magnitude of the Fourier coefficient distributed in two dimensions.
[0028]
In the following, an embodiment as a system to which the flat ground detection method using a shadow image according to the present invention is applied will be described. The “shape restoration from shadow” algorithm that restores the 3D shape from a single camera image can obtain the relative height difference of the terrain based on the size of the image, but the absolute height difference value is I don't understand. Since the absolute value of the slope is found by using the above method, the height can be known if the absolute value of the distance is known. The following three methods can be considered to know the absolute value of the distance.
(1) Using only one camera image
This method is effective when the terrain shown in the camera contains a terrain whose size is known, and the size of the area where the image is shown can be determined from the known terrain. Based on the size of the image range, the absolute value of the terrain height difference can be obtained.
(2) Method of using altitude information from measuring equipment such as laser radar and radio altimeter
If altitude information up to the planned landing point can be obtained by a measuring device such as a laser radar or radio altimeter, the camera's viewing angle is known, so the range shown in the image is known, and the absolute value of the altitude difference of the topography is calculated. be able to.
(3) Using two camera images
By using in combination with the passive stereo method using two camera images, absolute altitude information can be obtained. When the reflectance characteristics of the surface of the planned landing point change even in a narrow range (that is, there is an image feature), the reliability of the shape restoration accuracy obtained by the “shape restoration from shadow” algorithm decreases, The passive stereo method makes it easy to solve the corresponding point problem and improves the distance measurement accuracy. On the other hand, when the reflectance characteristics of the surface of the planned landing point are uniform (ie, there are few image features), the distance measurement accuracy of passive stereo is reduced, but it is obtained by the “shape restoration from shadow” algorithm The shape restoration accuracy is improved. Similar to the human visual system, the “shape reconstruction from shadow” algorithm and the passive stereo method function in a complementary manner.
[0029]
In the above example, the landing of an unmanned lander was explained. However, even a manned lander should be equipped with a system to which the flatness detection method according to the present invention is applied as a system that assists in finding a landing site. Is preferred.
[0030]
【The invention's effect】
According to the flat land detection method from the shadow image according to the present invention, it is possible to accurately find a land that can be landed in real time without knowing the details of the brightness (reflectance characteristics) of the horizontal plane. Even if the landing aircraft is descending to an unexplored surface such as the surface of a celestial body, it is possible to find the optimal point for landing from a wide range including the predetermined landing point in real time Become.
[Brief description of the drawings]
FIG. 1 is a flowchart showing an outline of a method for detecting a flat land when the method for detecting a flat ground from a shaded image according to the present invention is applied to detection of a flat surface suitable for landing when a lander lands on a celestial body surface. It is.
FIG. 2 is a flowchart when a flat ground is detected using the Pentland method in the image processing method according to the present invention.
FIG. 3 is a diagram showing an example of a Fourier coefficient obtained in the solution process of the Pentland method in the flat ground detection method from a shadow image according to the present invention.
FIG. 4 is a perspective view schematically illustrating a “shape restoration from shadow” algorithm.
[Explanation of symbols]
1 Subject surface 2 Light source
3 Incident light 4 Observation light
5 CCD camera 6 Normal
α Incident angle β Observation angle
R1 Distance between surface 1 and light source 2 R2 Distance between surface 1 and camera 5

Claims (6)

高高度から前記被写体表面を撮像して得られた広範囲な高高度画像について得られた前記明暗の平均値に基づいて前記被写体表面の水平面と見なし得る面の反射率特性を定め、前記被写体表面の一部を低高度から撮像して得られた低高度画像について、前記被写体表面の前記明暗が前記高高度画像における当該部分の前記明暗と一致するように明暗調整を行い、前記明暗調整後の前記低高度画像に対して前記Pentland法を適用することにより、水平面の検出を行うことを特徴とする陰影画像からの平坦地検出方法。A reflectance characteristic of a surface that can be regarded as a horizontal plane of the subject surface is determined based on the average value of the brightness obtained for a wide range of high altitude images obtained by imaging the subject surface from a high altitude, With respect to a low altitude image obtained by imaging a part from a low altitude, brightness adjustment is performed so that the brightness of the subject surface matches the brightness of the portion of the high altitude image, and the brightness after dark adjustment is performed. A method for detecting a flat ground from a shadow image, wherein the horizontal plane is detected by applying the Pentland method to a low-altitude image. 前記被写体表面の平坦度は、前記Pentland法の解法過程の中で得られるフーリエ係数の大きさに基づいて判定されることを特徴とする請求項1に記載の陰影画像からの平坦地検出方法。The method of claim 1 , wherein the flatness of the object surface is determined based on a magnitude of a Fourier coefficient obtained in a solution process of the Pentland method. 前記被写体表面は着陸機の着陸予定地点を含む天体表面であり、前記天体表面の前記平坦地の検出は、前記着陸機の前記着陸予定地点の選定のために行われることを特徴とする請求項1又は2に記載の陰影画像からの平坦地検出方法。The object surface is astronomical surface comprising landing scheduled point lander, detection of the flat land of the celestial body surface, according to claim, characterized in that it is carried out for the selection of the landing scheduled point of the lander A flat ground detection method from the shaded image according to 1 or 2 . 前記被写体表面を撮影した前記画像について、前記画像を所定数に分割し、分割して得られた分割画像に対して前記Pentland法を適用し、その際のフーリエ係数の大きさから平坦度を判定することにより、前記分割画像の中で平坦度の高い最も安全に着陸可能な前記着陸予定地点を選定することを特徴とする請求項3に記載の陰影画像からの平坦地検出方法。For the image obtained by photographing the subject surface, the image is divided into a predetermined number, the Pentland method is applied to the divided image obtained by the division, and the flatness is determined from the magnitude of the Fourier coefficient at that time. 4. The method for detecting a flat ground from a shadow image according to claim 3 , wherein the planned landing point with the highest flatness and the safest landing is selected from the divided images . 前記画像分割・着陸予定地点選定処理は、前記着陸予定地点が最終着陸決定画像で最も安全に着陸可能な最終着陸予定地点として選定されるまで、前記着陸機の降下に従って所定の高度毎に前記被写体表面を撮影した前記画像について実行されることことを特徴とする請求項4に記載の陰影画像からの平坦地検出方法。The image segmentation / scheduled landing point selection process is performed in such a manner that the subject at every predetermined altitude is lowered according to the landing aircraft descent until the planned landing point is selected as a final landing planned point that can be landed most safely in the final landing determination image. The method according to claim 4, wherein the method is performed on the image obtained by photographing a surface. 前記被写体表面の同じ地点を異なる時刻で撮影し、当該地点における入射角が異なる複数の前記画像に基づいて前記被写体表面の傾きの実際値を求め、前記傾きの実際値に基づいて前記被写体表面の実際の形状高さを求めることを特徴とする請求項1〜5のいずれか1項に記載の陰影画像からの平坦地検出方法。Photographing the same point on the subject surface at different times, obtaining an actual value of the tilt of the subject surface based on the plurality of images having different incident angles at the point, and determining the actual surface of the subject based on the actual value of the tilt The method for detecting a flat ground from a shadow image according to any one of claims 1 to 5, wherein an actual shape height is obtained.
JP2002076802A 2002-03-19 2002-03-19 Method for detecting flat ground from shaded images Expired - Lifetime JP3673857B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002076802A JP3673857B2 (en) 2002-03-19 2002-03-19 Method for detecting flat ground from shaded images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002076802A JP3673857B2 (en) 2002-03-19 2002-03-19 Method for detecting flat ground from shaded images

Publications (2)

Publication Number Publication Date
JP2003281499A JP2003281499A (en) 2003-10-03
JP3673857B2 true JP3673857B2 (en) 2005-07-20

Family

ID=29227829

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002076802A Expired - Lifetime JP3673857B2 (en) 2002-03-19 2002-03-19 Method for detecting flat ground from shaded images

Country Status (1)

Country Link
JP (1) JP3673857B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105083596A (en) * 2015-09-21 2015-11-25 上海卫星工程研究所 Method for selecting near-Earth asteroid as detection target

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104176273B (en) * 2014-07-15 2017-04-26 北京航空航天大学 Target asteroid selection method for manned asteroid exploration
FR3051551A1 (en) * 2016-05-20 2017-11-24 Univ Aix Marseille APPARATUS AND METHOD FOR MEASURING A SURFACE OR VOLUME STATUS OF A FAR-FIELD FIELD BROADCAST OBJECT

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105083596A (en) * 2015-09-21 2015-11-25 上海卫星工程研究所 Method for selecting near-Earth asteroid as detection target
CN105083596B (en) * 2015-09-21 2017-05-03 上海卫星工程研究所 Method for selecting near-Earth asteroid as detection target

Also Published As

Publication number Publication date
JP2003281499A (en) 2003-10-03

Similar Documents

Publication Publication Date Title
US9285460B2 (en) Method and system for estimating information related to a vehicle pitch and/or roll angle
US8655513B2 (en) Methods of real time image enhancement of flash LIDAR data and navigating a vehicle using flash LIDAR data
JP6858415B2 (en) Sea level measurement system, sea level measurement method and sea level measurement program
US6707415B1 (en) Method and system for generating weather and ground reflectivity information
JP2008134224A (en) System and method for rendering of three dimensional radar image
JP3850541B2 (en) Advanced measuring device
US20200149887A1 (en) System and method for measuring a displacement of a mobile platform
Trawny et al. Flight testing a real-time hazard detection system for safe lunar landing on the rocket-powered morpheus vehicle
JP4448233B2 (en) Landing point search device, flying object using the same, and landing point evaluation device
Johnson et al. Analysis of flash lidar field test data for safe lunar landing
CN111220120A (en) Moving platform binocular ranging self-calibration method and device
Matthies et al. Stereo vision and shadow analysis for landing hazard detection
Poli et al. Radiometric and geometric analysis of WorldView-2 stereo scenes
CN110782429B (en) Imaging quality evaluation method based on satellite-borne remote sensing camera
JP3673857B2 (en) Method for detecting flat ground from shaded images
JPH11144028A (en) Processor and method for image processing for soft landing on moon and planet
Milenković et al. A comparison of UAV and TLS data for soil roughness assessment
Samson et al. Imaging and tracking elements of the International Space Station using a 3D autosynchronized scanner
Kornus et al. Geometric inflight-calibration by block adjustment using MOMS-2P-imagery of three intersecting stereo-strips
JP5409451B2 (en) 3D change detector
Poli et al. Cloud-top height estimation from satellite stereopairs for weather forecasting and climate change analysis
Hata et al. Detection of Obstacles on the Moon
JP2002188917A (en) Attitude angle detecting device for flight vehicle
JP6892134B2 (en) Measurement system, measurement method and measurement program
Lane et al. Optical extinction measurements of dust density in the GMRO Regolith Test Bin

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040819

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040831

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20041027

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041027

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20041027

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050118

R155 Notification before disposition of declining of application

Free format text: JAPANESE INTERMEDIATE CODE: R155

R150 Certificate of patent or registration of utility model

Ref document number: 3673857

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term