JP4794019B2 - 領域の3次元マップ表現を提供するための装置及び方法 - Google Patents

領域の3次元マップ表現を提供するための装置及び方法 Download PDF

Info

Publication number
JP4794019B2
JP4794019B2 JP2010513673A JP2010513673A JP4794019B2 JP 4794019 B2 JP4794019 B2 JP 4794019B2 JP 2010513673 A JP2010513673 A JP 2010513673A JP 2010513673 A JP2010513673 A JP 2010513673A JP 4794019 B2 JP4794019 B2 JP 4794019B2
Authority
JP
Japan
Prior art keywords
image
map representation
navigation state
images
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010513673A
Other languages
English (en)
Other versions
JP2010532029A (ja
Inventor
クリスティアン ルンデベルグ,
フォルケ イサクソン,
Original Assignee
サーブ アクティエボラーグ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by サーブ アクティエボラーグ filed Critical サーブ アクティエボラーグ
Publication of JP2010532029A publication Critical patent/JP2010532029A/ja
Application granted granted Critical
Publication of JP4794019B2 publication Critical patent/JP4794019B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30181Earth observation
    • G06T2207/30188Vegetation; Agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Instructional Devices (AREA)
  • Processing Or Creating Images (AREA)
  • Navigation (AREA)

Description

本発明は、領域の3次元マップ表現を提供するための装置及び方法に関する。特に、本発明は、前記3次元マップ表現を提供するための画像の生成及び前記画像の立体処理に関する。
地図情報システムは、民生用及び軍用の事業において急成長している市場である。地理的条件に関する情報は、会社、公共事業機関、及び軍に対する重要な意志決定支援を形成する。この地理的情報は、インフラストラクチャ、地面のタイプ及び様々なタイプの物体などを重ね合わせた情報層を有するデジタル地図を備える。航空機からの地面の画像の取得及び取得した画像の後処理を備える2次元マップの形成は、時間のかかる処理である。地面/インフラストラクチャの取得した画像又は範囲のデータの組から3次元マップを形成することは、さらに時間のかかる処理である。今日では、マニュアル立体処理及びレーザ走査を用いた写真測量法などの様々な方法が利用可能である。これらの方法は、時間のかかる後処理が必要である。したがって、3次元マップの形成は高くつくものになる。その結果として、マップの更新が行われる頻度が低くなる。
欧州特許第1 657 927号明細書は、立体処理に基づく、特定領域内の複数の物体の画像ベースの移動トラッキングを開示している。この用途では、固定された既知の位置に複数のカメラが据え付けられる。したがって、別々のカメラで取得された画像間のマッチングは、カメラを移動させる場合ほど時間がかからない。
本発明の一目的は、3次元マップ表現を提供する改善手段を提供することである。
この目的は、本発明の一実施形態において、領域の3次元マップ表現を提供するための装置によって達成されている。この装置は、画像生成ユニット及び処理ユニットを備える。画像生成ユニットは、時間記録画像を生成し、前記領域の少なくとも一部分をそれぞれが覆う少なくとも部分的にオーバラップする複数の画像を供給するように構成される。処理ユニットは、前記3次元マップ表現を提供するために、前記画像生成ユニットによって生成された少なくとも部分的にオーバラップする任意数の画像の組を立体処理するように構成される。この装置は、ナビゲーションユニットが、画像生成ユニットに関係する時間記録されたナビゲーション状態を出力するよう構成され、処理ユニットが、立体プロセッサによって処理されることになるそれぞれの時間記録画像に対して、対応する時間記録に関係するナビゲーション状態を関連づけるよう構成されていることを特徴とする。一実施形態では、時間記録されたナビゲーション状態は、位置及び姿勢を含む。一例では、ナビゲーションユニットは、慣性航法システム並びに所定の座標系で位置データを供給するためのGPS受信機又はマップなどの手段を備える。
ナビゲーションユニットによって供給されるナビゲーション状態を用いると、時間記録画像の位置を高精度で測定することが可能になる。ナビゲーション状態を用いると、さらに、時間記録画像中の複数のポイント(ピクセル)又は各ポイント(ピクセル)に関する位置測定が可能になる。位置は所定の座標系で測定される。画像の位置が高精度で測定されるという事実のために、地上に置かれたインフラストラクチャなしで立体処理を実行することができる。したがって、処理は、それほど高価でなく、時間もそれほどかからない。さらに、リアルタイム又はほぼリアルタイムで処理を実行することができる。その上、3次元マップ表現で与えられるそれぞれのポイントすなわちピクセルは、元来、所定の座標系の位置と関係づけられている。
一実施形態では、画像生成ユニットは、陸上車、人工衛星、航空機、船舶など、例えばトラック、飛行機、船又は潜水艦である移動可能な輸送体に搭載することができる。一実施形態では、画像生成ユニットは、手持ち式又は人が担うものであり得る。
本発明は、領域の3次元マップ表現を提供する方法にも関し、この方法は、
時間記録画像を生成するステップと、
それぞれが前記領域の少なくとも一部分を覆う少なくとも部分的にオーバラップする複数の画像を供給するステップと、
前記供給された少なくとも部分的にオーバラップする画像から、少なくとも部分的にオーバラップする画像の任意数の組を形成するステップと、
前記3次元マップ表現を提供するために、前記画像の組を処理するステップとを含む。この方法は、位置及び姿勢を含む時間記録されたナビゲーション状態を出力し、立体プロセッサによって処理されることになる各時間記録画像に対して、対応する時間記録に関係するナビゲーション状態を関連づけることを特徴とする。
本発明は、コンピュータ上で実行されたときこの方法のステップを実行するプログラムコードを備えるコンピュータプログラムにさらに関する。
航空機に搭載された、領域の3次元マップ表現を提供するための装置を示す図である。 図1の装置の一例を示すブロック図である。 図2の装置の画像生成ユニットの機能の概略図である。 図2の装置のナビゲーションユニットの一例を示すブロック図である。 図2の装置の処理ユニットによって実行される処理の一例を示す流れ図である。 立体処理で用いられる幾何学的配置の概略図である。 体積測定用途における図1の装置の適用を示す概略図である。 森林の用途における図1の装置の適用を示す概略図である。 工業用ロボットの用途における図1の装置の適用を示す概略図である。 交通の用途における図1の装置の適用を示す概略図である。 領域の3次元マップ表現を提供する方法の一例を示す流れ図である。
図1では、航空機の形で移動可能な輸送体102に、領域103の3次元マップ表現を提供するための装置101が搭載されている。代替例(図示せず)では、移動可能な輸送体は、人工衛星、陸上車、又は船舶であり、例えばトラック、船又は潜水艦である。装置101は、手持ち式又は人が担うものでもあり得る。
図2で、領域の3次元マップ表現を提供するための装置201は、画像生成ユニット204、ナビゲーションユニット205及び処理ユニット206を備える。図示の例では、装置201は、処理ユニット206によって計算された3次元マップ表現と関係するデータを保存するためのメモリ207、及び処理ユニット206によって計算されたマップ表現を表示するように構成された表示ユニット208も備える。代替例では、装置は、メモリ207又は表示ユニット208のいずれかを備える。別の代替例では、装置は、与えられた3次元マップ表現と関係するデータを遠隔地の受信機へ伝送するように構成された送信機(図示せず)を備える。一例では、送信機が、メモリ207及び/又は表示ユニット208を置換する。代替例では、メモリ及び/又は表示ユニットに加えて送信機が設けられる。
画像生成ユニット204は、時間記録画像を生成するように構成される。時間記録は、この用途に対して十分な精度で与えられる。時間記録は、例えば、装置201内のGPS受信機412から供給される。
図3で、一例では、画像生成ユニットは画像取得ユニットを1つ備える。最初に、画像取得ユニットは、領域309aの画像を取得するように第1の位置310aに配置される。次に、画像取得ユニットは、領域309bの画像を取り込むように第2の位置310bに配置される。画像生成ユニットは、領域103の少なくとも一部分をそれぞれが覆う、少なくとも部分的にオーバラップする複数の画像を供給するように構成される。したがって、オーバラップする画像を供給するために画像生成ユニットによって取り込まれる画像の必要な更新周波数は、輸送体102の走行速度、領域が形成されている面への距離、及び各画像によって覆われる地理的領域のサイズ次第である。輸送体102が航空機である例では、領域が存在する面への距離は、ほぼ地表への距離である。画像生成ユニットが複数の画像取得ユニットを備える場合、更新周波数の低下を可能にするために、それらの画像取得ユニットが協働するように構成することができる。図3は、互いに対する関係上、固定して搭載された複数の画像取得ユニット310a、310bを備えるものと見ることもできる。一例では、画像取得ユニット310a、310bによってそれぞれ取得された領域309a、309bの画像は、次いで同時に取り込まれる。
図4では、ナビゲーションユニット405は、画像生成ユニット204と関係する時間記録されたナビゲーション状態を出力するように構成される。一実施形態では、時間記録されたナビゲーション状態は、位置及び姿勢を含む。ナビゲーションユニット405は、画像生成ユニット204の運動を連続的に計算するように構成される。ナビゲーションユニット405は、計算された運動及び回転に基づいて、画像取得ユニット(複数可)に関して例えば位置及び姿勢角を連続的に計算するように構成された計算ユニット413を備える。一例では、ナビゲーションユニット405は、画像生成ユニット204の運動及び回転を可能とするように構成された慣性航法システム411を備える。一例では、ナビゲーションユニットは、所定の座標系で姿勢データに加えて位置データも供給するための手段を備える。位置データは、例えばGPS受信機412又はデジタル的に保存されたマップによって供給される。一例では、ナビゲーション状態の時間記録は、画像の時間記録とほぼ同一の精度で与えられる。時間記録は、画像生成ユニットで用いられるものと同一の時刻基準を用いて供給される。時間記録は、例えばGPS受信機412から供給される。
前述の例では、供給されたナビゲーション状態が画像生成ユニットのナビゲーション状態に直接関係するように、慣性航法システム411は、画像生成ユニットに既知の関係で搭載される。画像生成ユニットが複数の画像取得ユニットを備える場合、一例では、慣性航法システムが各画像取得ユニットに関連づけられることによって、ナビゲーション状態が、それぞれの画像取得ユニットに直接関係して供給され得る。そうすることによって、画像取得ユニットは、互いに独立して搭載され得る。一例では、ナビゲーション状態は、所定の座標系における3次元位置ベクトル及び3次元姿勢ベクトルの両方であるが、所定の座標系で3次元速度ベクトルを備えることもできる。速度ベクトルは、例えばナビゲーションユニット内の慣性航法システム411から直接供給される。慣性航法システムの機能的態様及び慣性航法システムがどのようにナビゲーション状態を計算するかということは周知である。
画像取得ユニットは、実際の用途に対して十分な情報を供給するような傾斜角で取り付けられる。例えば、建築物又は橋などの人工物体の3次元モデル化の用途では、垂直方向の情報が重要である。したがって、この用途では、画像取得ユニットは、垂直面の正確なモデル化をもたらすように傾斜されるべきである。
図5で、処理ユニット206は、前記3次元マップ表現を提供するために、前記画像生成ユニットによって生成された少なくとも部分的にオーバラップする複数の画像の組を処理するように構成される。画像の組は、それぞれが2つ以上の画像を備える。処理ユニット206は、画像生成ユニット204からの時間記録画像及びナビゲーションユニット205からの時間記録されたナビゲーション状態を供給されるように構成される。カメラの較正は、例えば、Proceedings of IEEE Conference on Computer Vision and Pattern Recognition(1986年、フロリダ州マイアミビーチ)の364〜374頁の、R.Y.Tsaiによる参考文献「An Efficient and Accurate Camera Calibration Technique for 3D Machine Vision」にあるように、パラメータ推定手順によって、画像データから直接実行される。
画像生成ユニットが複数の画像取得ユニット310a、310bを備える一例では、画像の組は、画像生成ユニットの画像取得ユニット310a、310bによって実質的に同時に取得されたオーバラップする諸画像(すなわち、諸画像が、対応する時間記録に関連づけられる)を備える。以下の例では、画像対を形成する2つの画像を備えた組が説明される。
処理ユニット206は、3次元マップ表現を提供するために、画像生成ユニット204によって生成された少なくとも部分的にオーバラップする複数の画像の組に対して複数のステップを実行するように構成される。処理ユニットによって実行されるステップは、ナビゲーションデータを画像データへ関係づけるステップ514を含む。したがって、画像データは、対応する時間記録を有するナビゲーションデータに関係づけられる。一例では、画像の各ピクセルが、対応するナビゲーションデータに関係づけられる。別の例では、画像中のピクセルのサブセット中のピクセルが、それぞれ対応するナビゲーションデータに関係づけられる。上記で論じられたように、ナビゲーションデータは、地理座標システムにおいて画像取得ユニット(複数可)の位置及び姿勢に関係する。画像の各ピクセルは、次いで、地表上の地理座標に関連づけられる。
画像のそれらの部分だけが後続の処理で用いられ、画像対のもう一方の画像の対応する領域とマッチングする。図示の例では、処理ユニット206は、画像対のもう一方の画像と対応しない画像部分を、切り取るステップ515で除去するように構成される。
図示の例の以下の変換ステップ516で、各画像対の画像は、共通地表面の画像に変換される。
その後、立体処理ステップ517で立体計算を実行するために2つの画像が取得されたとき、各画像対の変換された画像が、画像取得ユニット(複数可)の位置と共に用いられる。図6で、2つの画像取得ユニットの位置間の距離は、基線長Bとして定義される。両方の画像で明白に物体を測定することができれば、物体は、基線長Bが存在する基底面と物体との間の距離に対応する距離で、ある程度変位される。この変位される距離は、示された差異である。図6に示された例では、2つの画像取得ユニット又は画像取得ユニットの位置の光軸は平行である。この場合、画像取得ユニットの面と測定されることになるポイントXとの間の距離に関する表現を与えるために、例えば、正三角形及び画像取得ユニットの焦点距離を用いることができる。差異の推定は、両画像中の対応する点を見つけることに基づく。一例では、輸送体102の変換は、水平方向でのみ行われるものとあらかじめ想定される。立体処理をもたらすための差異の推定を見つけるために、当技術分野で既知の多くの方法がある。既知の方法には、相関に基づく方法、特性に基づく方法及び局部構造に基づく方法が含まれる。
一例では、立体処理は、例えばパーソナルコンピュータ中のマルチメディア命令によって実施される。
立体処理画像は、次いで、直交投影ステップ518で直交投影(又は直交修正)される。図示の例では、一旦すべてのマップ表現が形成されると、画像のスケールが均一になるように、全体のマップ表現が幾何学的に補正される。代替例(図示せず)では、立体処理画像が形成されたとき、各立体処理画像に対して直交投影が行われる。直交投影マップ表現は、地形のレリーフ、レンズ歪み及び/又はカメラ傾斜に対して調整される。これは、マップ表現がマップと同等であることを意味する。直交投影画像は、真の距離、角度及び面積を測定するのに用いることができる。
次いで、直交投影マップ表現は、先のステップで形成された直交投影マップ表現に基づいて、テクスチャリングステップ519でテクスチャリングされる。代替例(図示せず)では、直交投影画像が形成されたとき、各直交投影画像に対してテクスチャリングが行われる。
その結果もたらされたマップ表現が、次いで適用ステップ520で用いられる。前述の3Dマッピング技法に基づくものであり得るいくつかの用途がある。以下で、そのような用途のいくつかの例が説明される。
第1の機能モードでは、マップ表現中のピクセルは、すべて3つの地理的次元で規定される。3次元マップ表現は、マップ表現によって覆われた地理的領域に関して、高さデータ及び水平方向データを表す。
第2の機能モードでは、差値を備える「マップ」をもたらすように、2つの3次元マップ表現に対して差分解析が行われる。したがって、移動可能な輸送体102に搭載された装置101は、2つの別々の時間における領域103の3次元マップ表現を提供する。その後、それぞれの解析されたピクセル対について高差値を与えるように、2つの3次元マップ表現に対して差分解析が行われる。各ピクセル対が、2つのマップ表現で同一の地理的場所に対応するピクセルを備える。
図7に、体積測定の用途が示されている。体積は、都合よく定義された地表面形状に対して地形の凸面又は凹面の形態を測定することにより求めることができる。次いで、各位置の高さ値を対応する地表値と比較することにより、体積が計算される。凸面の形態と関係する用途は、ごみの山、掘削体積の予想測定の利点などであり得る。凹面の形態と関係する用途には、例えば開いたカット容積の測定がある。
体積は、3次元の差分解析(第2の機能モード)を用いることによっても測定することができる。この用途は、例えば侵食測定及び予防的地滑り測定に適用可能である。この用途によれば、別々の時間に3次元マップ表現が計算されて、対応する点(ピクセル)が互いに比較される。
図8に、森林パラメータの測定に関する用途が示されている。これらのパラメータは、例えば樹木の高さ、樹木の数及び樹木の体積を含む。一例では、樹冠閉鎖を取得するのにセグメンテーションアルゴリズムを用いることにより、3次元データから個々の樹木を作成することができる。一例では、樹木の高さは、樹木セグメント中の最高のピクセルから対応する水平方向の位置の地面の高さ値を引いたものとして定義され、地面の高さは、高さデータベースから抽出することができ、或いは地表高さを直接測定することによって得られる。木の体積は、樹木の数(セグメント化された樹木の数から導出できる)に基づいて計算することができる。木の体積の測定を改良するために、求められた樹木の高さを計算で用いることもできる。
図9に、工業用ロボットの用途が示されている。この用途では、3次元情報は、工業用ロボットによって操作又は処理されることになる品目又は物体に関して連続的に生成される。3次元情報(図1から図6に関して説明されたような立体写真測量によって生成される)を供給するための装置は、ロボットのレバーアーム上に直接構成される。3次元情報は、(図5に関して説明されたように)できるかぎりテクスチャリングと共に、軌道算出アルゴリズム及び/又はつかむためのアルゴリズムでフィードバック情報として用いることができる。
図10で、路上の物体(例えば道路標識、街灯柱、橋支柱などの道路エレメント)など人工の物体は、前述の3次元立体モデル化技法を用いて所定の構造モデルとマッチングさせ、その後3次元の地理的座標システムの中へ配置することにより検出される。
前述の3Dマッピング技法に基づくものであり得る他の用途には、見通し線計算が含まれ、この計算では、可視領域及び隠れた領域が、所与の地上位置からの参照で計算される。見通し線計算は、走査アルゴリズムによって行われる。走査アルゴリズムは、例えば、背後に存在する地面の一部分を陰にしている高さを求めることにより及び陰になっている領域のサイズを求めることにより、隠れた領域を求めることを含む。
3Dマッピング技法を用いることができる別の用途に、電力送電線網の下見がある。この用途では、電力送電線の近傍の樹木及び下生えは、3Dマップ表現から測定される。測定は、電力送電線に対して樹木/下生えの高さ及び位置を求めることを含む。その後、求められた高さ及び位置に基づいてリスクツリーを求めることができる。さらに、下生えの成長は、差分解析を用いて求めることができる。
前述の技法が備わっているマップは、コンピュータゲーム、本格的なシミュレーションゲーム及び訓練でも用いることができる。実風景のデジタルモデルのこれらの用途では、現実感を高めるために、都市の環境又はその他の現実生活の対象が用いられる。特に、マップは「ループシナリオ中の人物」で用いることができ、その中で、プレーヤは、前方の画面に表示された3Dシナリオを駆動するように物理的に行動する。一例では、ループシナリオ中の人が、シナリオを駆動する訓練自転車を備え、自転車に対する負荷は、シナリオとさらに関係することができ、その結果、登り坂ではペダルをこぐのが重くなり、下り坂では軽くなる。
マップは、監視及び下見の用途でも用いることができる。どちらの用途でも、例えば、別々の物体を特定して地理的に局地化すること、マッピング操作を行うこと、地面の分類及び移動対象の確認を行うことが望ましい。差分解析を用いると、隠れた物体、移動する対象及び地理的領域のその他の変化が明らかになる。
マップは、例えばGPSナビゲータである様々な他の用途で用いることができる。
図11で、領域の3次元マップ表現を提供する方法は、時間記録画像を生成するステップ1130と、位置及び姿勢を含む時間記録されたナビゲーション状態を出力するステップ1131と、それぞれが前記領域の少なくとも一部分を覆う少なくとも部分的にオーバラップする複数の画像を供給するステップ1132と、前記供給された少なくとも部分的にオーバラップする画像から、少なくとも部分的にオーバラップする画像の任意数の組を形成するステップ1133と、立体プロセッサで処理されることになる各時間記録画像に対して、対応する時間記録に関係するナビゲーション状態を関連づけるステップ1134と、前記3次元マップ表現を提供するように前記画像の組を処理するステップ1135とを含む。これらのステップは、必ずしも上記で与えられた順序で行われるわけではない。

Claims (20)

  1. 領域(103)の3次元マップ表現を提供するための装置(101、201)であって、
    時間記録画像を生成し、前記領域の少なくとも一部分をそれぞれが覆う少なくとも部分的にオーバラップする複数の画像を供給するように構成された画像生成ユニット(204)と、
    前記画像生成ユニット(204)と関係する時間記録されたナビゲーション状態を出力するように構成されたナビゲーションユニット(205、405)と、
    前記ナビゲーション状態に基づいて、前記画像生成ユニットによって生成された少なくとも部分的にオーバラップする任意数の画像の組を立体処理して、前記3次元マップ表現を提供するように構成された処理ユニット(206)と
    を備える装置において、
    前記処理ユニット(206)が、立体処理されることになる各時間記録画像に対して、対応する時間記録に関係する前記ナビゲーション状態を関連づけるように構成され、もって、各時間記録画像の各ピクセルが対応するナビゲーション状態に相関づけられ、前記処理ユニット(206)が、前記関連づけられたナビゲーション状態に基づいて前記立体処理を行うように構成され、その結果、前記マップ表現中のすべてのピクセルが3つの地理的次元で明示されることを特徴とする装置。
  2. 前記画像生成ユニット(204)が、陸上車、人工衛星、航空機、船舶などの移動可能な輸送体(102)又は人に搭載できるものであることを特徴とする請求項1に記載の装置。
  3. 前記時間記録されたナビゲーション状態が、位置及び姿勢を含むことを特徴とする請求項1又は2に記載の装置。
  4. 前記ナビゲーションユニット(205、405)が、慣性航法システム(411)を備えることを特徴とする請求項3に記載の装置。
  5. 前記ナビゲーションユニット(205、405)が、GPS受信機(412)又はマップなど、所定の座標系における位置データを供給するための手段を備えることを特徴とする請求項3又は4に記載の装置。
  6. 前記処理ユニット(206)が、前記画像間のマッチングをもたらすために、前記それぞれの画像に関連した前記ナビゲーション状態に基づいて、各画像の組の前記画像間の関係を求めるように構成されていることを特徴とする請求項1〜5のいずれか一項に記載の装置。
  7. 前記処理ユニット(206)が、他と重複しない画像の組にそれぞれが対応する複数の3次元マップ表現部分を形成し、前記複数の3次元マップ表現部分に基づいて前記領域の前記3次元マップ表現を生成するように構成されていることを特徴とする請求項1〜6のいずれか一項に記載の装置。
  8. 前記処理ユニット(206)が、直交投影を行うために、高さデータに基づいて各マップ表現部分を変換するように構成されていることを特徴とする請求項7に記載の装置。
  9. 前記3次元マップ表現をリアルタイムで形成するように構成されていることを特徴とする請求項1〜8のいずれか一項に記載の装置。
  10. 請求項1〜9のいずれか一項に記載の装置を備えるプラットフォーム。
  11. 前記プラットフォームが、トラック、飛行機若しくは船、又は潜水艦などの、陸上車、人工衛星、航空機、船舶、及び人を備える群から選択されることを特徴とする請求項10に記載のプラットフォーム。
  12. 差分マップ表現が、対応する領域の2つの3次元マップ表現中の高さ間の関係に基づいて形成されることを特徴とする、請求項1〜9のいずれか一項に記載の装置から提供される3次元マップ表現の使用。
  13. 体積測定を行うために用いられることを特徴とする、請求項12で与えられる差分マップ表現の使用。
  14. 領域の3次元マップ表現を提供する方法であって、
    時間記録画像を生成するステップ(1130)と、
    それぞれが前記領域の少なくとも一部分を覆う少なくとも部分的にオーバラップする複数の画像を供給するステップ(1132)と、
    前記供給された少なくとも部分的にオーバラップする画像から、少なくとも部分的にオーバラップする画像の任意数の組を形成するステップ(1133)と、
    位置及び姿勢を含む時間記録されたナビゲーション状態を出力するステップ(1131)と、
    前記ナビゲーション状態に基づいて前記画像の組を立体処理して、前記3次元マップ表現を提供するステップ(1135)と
    を含む方法において、
    立体処理されることになる各時間記録画像に対して、対応する時間記録に関係する前記ナビゲーション状態を関連づけるステップ(1134)であって、各時間記録画像の各ピクセルを対応するナビゲーション状態に相関づける工程を含むステップ(1134)を備え、
    前記ステップ(1135)が、前記関連づけられたナビゲーション状態に基づいて実行され、その結果、前記マップ表現中のすべてのピクセルが3つの地理的次元で明示されることを特徴とする、方法。
  15. コンピュータ上で実行されたとき請求項14に記載の前記方法を実行するためのプログラムコードを備えるコンピュータプログラム。
  16. コンピュータ上で実行されたとき請求項14に記載の前記方法を実行するための、コンピュータ可読媒体に保存されたプログラムコードを備えるコンピュータプログラム製品。
  17. コンピュータ上で実行されたとき請求項14に記載の前記方法を実行するためのコンピュータプログラムを備える、前記コンピュータの内部メモリに直接保存可能なコンピュータプログラム製品。
  18. 時間記録画像を生成するための第1のコードセグメントと、
    複数の部分的にオーバラップする画像を供給するための第2のコードセグメントと、
    時間記録されたナビゲーション状態を出力するための第4のコードセグメントと、
    各時間記録画像の各ピクセルを、対応するナビゲーション状態に相関づけることにより、それぞれの生成された時間記録画像に対して対応する時間記録に関係するナビゲーション状態を関連づけるための第5のコードセグメントと、
    すべてのピクセルが3つの地理的次元で明示される3次元マップ表現を提供するために、前記画像生成ユニットによって生成されたオーバラップする任意数の画像の組を、前記関連づけられたナビゲーション状態に基づいて立体処理するための第3のコードセグメントと
    を含むコンピュータプログラム処理向けのコンピュータプログラムを備えるコンピュータ可読媒体。
  19. 当該コンピュータ可読媒体が伝搬された信号である請求項18に記載のコンピュータ可読媒体。
  20. 前記伝搬された信号が搬送波である請求項19に記載のコンピュータ可読媒体。
JP2010513673A 2007-07-04 2007-07-04 領域の3次元マップ表現を提供するための装置及び方法 Active JP4794019B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2007/056780 WO2009003529A1 (en) 2007-07-04 2007-07-04 Arrangement and method for providing a three dimensional map representation of an area

Publications (2)

Publication Number Publication Date
JP2010532029A JP2010532029A (ja) 2010-09-30
JP4794019B2 true JP4794019B2 (ja) 2011-10-12

Family

ID=38969499

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010513673A Active JP4794019B2 (ja) 2007-07-04 2007-07-04 領域の3次元マップ表現を提供するための装置及び方法

Country Status (7)

Country Link
US (1) US9094673B2 (ja)
EP (1) EP2172031A1 (ja)
JP (1) JP4794019B2 (ja)
AU (1) AU2007355942B2 (ja)
CA (1) CA2705254C (ja)
NO (1) NO344948B1 (ja)
WO (1) WO2009003529A1 (ja)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BRPI0809249B1 (pt) * 2007-03-21 2019-12-17 Commw Scient Ind Res Org método para planejamento e execução de trajetos livres de obstáculo para a maquinaria de escavação rotatória
EP2076055B1 (en) 2007-12-27 2012-10-24 Saab AB Method for displaying a virtual image
EP2529358A4 (en) * 2010-01-26 2013-11-20 Saab Ab AUTOMATED THREE-DIMENSIONAL CARTOGRAPHY METHOD
TWI426237B (zh) * 2010-04-22 2014-02-11 Mitac Int Corp Instant image navigation system and method
US9385816B2 (en) 2011-11-14 2016-07-05 Intel Corporation Methods and arrangements for frequency shift communications by undersampling
US9148250B2 (en) 2012-06-30 2015-09-29 Intel Corporation Methods and arrangements for error correction in decoding data from an electromagnetic radiator
US9014564B2 (en) 2012-09-24 2015-04-21 Intel Corporation Light receiver position determination
US9203541B2 (en) 2012-09-28 2015-12-01 Intel Corporation Methods and apparatus for multiphase sampling of modulated light
US9218532B2 (en) 2012-09-28 2015-12-22 Intel Corporation Light ID error detection and correction for light receiver position determination
US9178615B2 (en) 2012-09-28 2015-11-03 Intel Corporation Multiphase sampling of modulated light with phase synchronization field
US9590728B2 (en) * 2012-09-29 2017-03-07 Intel Corporation Integrated photogrammetric light communications positioning and inertial navigation system positioning
ES2780575T3 (es) 2013-01-21 2020-08-26 Vricon Systems Ab Un procedimiento y disposición para proporcionar un modelo 3d
EP2946365B1 (en) 2013-01-21 2018-08-08 Vricon Systems Aktiebolag Method and arrangement for developing a three dimensional model of an environment
FR3003356A1 (fr) * 2013-03-18 2014-09-19 Delta Drone Procede d'observation d'une zone au moyen d'un drone
FR3004801A1 (fr) * 2013-04-18 2014-10-24 Delta Drone Procede de mesure du volume d'un amas de materiaux
US9460520B2 (en) 2014-02-24 2016-10-04 Vricon Systems Ab Method and arrangement for identifying a difference between a first 3D model of an environment and a second 3D model of the environment
US9547935B2 (en) 2014-02-24 2017-01-17 Vricon Systems Ab Method and a system for building a three-dimensional model from satellite images
CN105894568A (zh) * 2014-11-17 2016-08-24 郑州捷安高科股份有限公司 一种基于图像识别的铁路信号设备三维建模方法
CN104637370B (zh) * 2014-12-23 2015-11-25 河南城建学院 一种摄影测量与遥感综合教学的方法及系统
CN104658039B (zh) * 2015-02-12 2018-01-30 南京市测绘勘察研究院股份有限公司 一种城市数字地图三维建模制作方法
US9832338B2 (en) 2015-03-06 2017-11-28 Intel Corporation Conveyance of hidden image data between output panel and digital camera
CN105069842A (zh) 2015-08-03 2015-11-18 百度在线网络技术(北京)有限公司 道路三维模型的建模方法和装置
CN105512646B (zh) * 2016-01-19 2019-03-01 腾讯科技(深圳)有限公司 一种数据处理方法、装置及终端
CN105928493A (zh) * 2016-04-05 2016-09-07 王建立 基于无人机的双目视觉三维测绘系统和方法
US9881230B2 (en) * 2016-05-11 2018-01-30 International Business Machines Corporation System and method for automated road identification in distant traffic camera images
CN106289285A (zh) * 2016-08-20 2017-01-04 南京理工大学 一种关联场景的机器人侦察地图及构建方法
CN106803397A (zh) * 2016-12-28 2017-06-06 贵州马科技有限公司 数字地图混合定位方法
SG10201702229WA (en) * 2017-03-20 2018-10-30 Arete M Pte Ltd Systems And Methods For Mapping A Navigational Space
US10788831B2 (en) * 2017-10-06 2020-09-29 Wipro Limited Method and device for identifying center of a path for navigation of autonomous vehicles
CN109461211B (zh) * 2018-11-12 2021-01-26 南京人工智能高等研究院有限公司 基于视觉点云的语义矢量地图构建方法、装置和电子设备
CN109840920A (zh) * 2018-12-20 2019-06-04 北京中科时空信息技术有限公司 航拍目标空间信息配准方法及航空器空间信息显示方法
US10823562B1 (en) 2019-01-10 2020-11-03 State Farm Mutual Automobile Insurance Company Systems and methods for enhanced base map generation

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4695959A (en) * 1984-04-06 1987-09-22 Honeywell Inc. Passive range measurement apparatus and method
US4855961A (en) * 1986-07-31 1989-08-08 Woods Hole Oceanographic Institute Imaging apparatus
US5517419A (en) * 1993-07-22 1996-05-14 Synectics Corporation Advanced terrain mapping system
US5691957A (en) * 1994-06-30 1997-11-25 Woods Hole Oceanographic Institution Ocean acoustic tomography
US5606627A (en) * 1995-01-24 1997-02-25 Eotek Inc. Automated analytic stereo comparator
JPH10291188A (ja) * 1997-04-18 1998-11-04 Nippon Steel Corp 立体映像提示方法
US6442293B1 (en) * 1998-06-11 2002-08-27 Kabushiki Kaisha Topcon Image forming apparatus, image forming method and computer-readable storage medium having an image forming program
US6664529B2 (en) * 2000-07-19 2003-12-16 Utah State University 3D multispectral lidar
JP2002157576A (ja) 2000-11-22 2002-05-31 Nec Corp ステレオ画像処理装置及びステレオ画像処理方法並びにステレオ画像処理用プログラムを記録した記録媒体
JP4058293B2 (ja) * 2002-04-26 2008-03-05 アジア航測株式会社 レーザスキャナデータと空中写真画像を用いた高精度都市モデルの生成方法及び高精度都市モデルの生成システム並びに高精度都市モデルの生成のプログラム
JP4181800B2 (ja) * 2002-06-20 2008-11-19 Nec東芝スペースシステム株式会社 ステレオ画像を用いた地形計測システム及び記憶媒体並びにプログラム
US8712144B2 (en) * 2003-04-30 2014-04-29 Deere & Company System and method for detecting crop rows in an agricultural field
US8855405B2 (en) 2003-04-30 2014-10-07 Deere & Company System and method for detecting and analyzing features in an agricultural field for vehicle guidance
US7873240B2 (en) * 2005-07-01 2011-01-18 The Boeing Company Method for analyzing geographic location and elevation data and geocoding an image with the data

Also Published As

Publication number Publication date
NO344948B1 (no) 2020-07-27
AU2007355942B2 (en) 2012-11-15
CA2705254C (en) 2015-10-13
AU2007355942A1 (en) 2009-01-08
NO20100002L (no) 2010-02-02
EP2172031A1 (en) 2010-04-07
JP2010532029A (ja) 2010-09-30
US20100250125A1 (en) 2010-09-30
CA2705254A1 (en) 2009-01-08
AU2007355942A2 (en) 2010-01-28
WO2009003529A1 (en) 2009-01-08
US9094673B2 (en) 2015-07-28

Similar Documents

Publication Publication Date Title
JP4794019B2 (ja) 領域の3次元マップ表現を提供するための装置及び方法
JP4273119B2 (ja) ナビゲーション装置
US20170310892A1 (en) Method of 3d panoramic mosaicing of a scene
JP4185052B2 (ja) 拡張仮想環境
CN109765901A (zh) 基于线激光与双目视觉的动态代价地图导航方法
CN110070615A (zh) 一种基于多相机协同的全景视觉slam方法
US20120155744A1 (en) Image generation method
JP2012118666A (ja) 三次元地図自動生成装置
Beall et al. Bundle adjustment in large-scale 3d reconstructions based on underwater robotic surveys
JP2010191066A (ja) 三次元地図補正装置及び三次元地図補正プログラム
CN114266821A (zh) 在线定位方法、装置、终端设备及存储介质
CN112785686A (zh) 一种基于大数据的林区地图构建方法及可读存储介质
CN115222815A (zh) 障碍物距离检测方法、装置、计算机设备和存储介质
Mardiati et al. The derivation of matrix transformation from pixel coordinates to real-world coordinates for vehicle trajectory tracking
Meguro et al. Omni-directional Motion Stereo Vision based on Accurate GPS/INS Navigation System
Grinstead et al. Developing detailed a priori 3D models of large environments to aid in robotic navigation tasks
Hashimov et al. GIS technology and terrain orthophotomap making for military application
García-Moreno et al. Automatic 3d city reconstruction platform using a lidar and dgps
KR102557775B1 (ko) 드론을 이용한 3차원 지도 제작 방법
Grinstead et al. Mobile scanning system for the fast digitization of existing roadways and structures
Asai et al. 3D modeling of outdoor scenes by integrating stop-and-go and continuous scanning of rangefinder
Rehman et al. Slum Terrain Mapping Using Low-Cost 2D Laser Scanners
JP2011090047A (ja) 移動軌跡図作成装置およびコンピュータプログラム
CN114663596A (zh) 基于无人机实时仿地飞行方法的大场景建图方法
Ishikawa et al. Parking-vehicles recognition using spatial temporal data (a study of mobile robot surveillance system using spatial temporal gis part 2)

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110628

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110725

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4794019

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140805

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250