JP2023505891A - 環境のトポグラフィを測定するための方法 - Google Patents
環境のトポグラフィを測定するための方法 Download PDFInfo
- Publication number
- JP2023505891A JP2023505891A JP2022535783A JP2022535783A JP2023505891A JP 2023505891 A JP2023505891 A JP 2023505891A JP 2022535783 A JP2022535783 A JP 2022535783A JP 2022535783 A JP2022535783 A JP 2022535783A JP 2023505891 A JP2023505891 A JP 2023505891A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- image
- vehicle
- images
- mapping
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000012876 topography Methods 0.000 title claims abstract description 16
- 230000007613 environmental effect Effects 0.000 title 1
- 238000013507 mapping Methods 0.000 claims description 68
- 230000033001 locomotion Effects 0.000 claims description 37
- 230000003287 optical effect Effects 0.000 claims description 11
- 238000003384 imaging method Methods 0.000 claims description 9
- 230000001131 transforming effect Effects 0.000 claims 1
- 238000012937 correction Methods 0.000 description 34
- 238000005259 measurement Methods 0.000 description 16
- 239000013598 vector Substances 0.000 description 15
- 238000012545 processing Methods 0.000 description 11
- 238000013459 approach Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 238000013519 translation Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 238000012952 Resampling Methods 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000002301 combined effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000007620 mathematical function Methods 0.000 description 1
- 238000011326 mechanical measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/579—Depth or shape recovery from multiple images from motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30264—Parking
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
Description
本発明は、モーションステレオモジュールを用いて単眼カメラからのモーションステレオ画像を処理する方法に関する。モーションステレオモジュールは、シーンの一対の画像から高密度で正確な深さ測定値を復元し、それによって撮像されたシーンのトポグラフィの再構成を可能にする。以下に説明する方法を使用することにより、モーションステレオモジュールは、リアルタイムで完了することができるほど十分迅速に動作され得る。言い換えれば、処理は、ライブカメラフィードに基づく画像の表示が悪影響を受けないほど十分に迅速である。
移動単眼カメラ技術を用いて3D再構成を形成することは、典型的には、古典的な動きからの構造技術を用いて試みられる。そのような技術は、深さ測定値の低密度のセットのみを生成する。そのような低密度のセットは、3D再構成において点の限定されたセットを生成し、局所トポグラフィをあまり表さないようにする。
図3を見て、カメラC1およびC2をピンホールカメラとして考慮し、カメラC1およびC2の光学中心の前の仮想画像平面を考慮することによって、以下の有用な用語を定義することができる。エピポールは、光学中心と画像平面との間に延びるベースラインの交点である。エピポールは、一方のカメラにおける、他方のカメラの光学中心の画像と考えられ得る。エピポーラ平面は、3D点Z1と光学中心とによって画定される平面である。エピポーラ線は、エピポーラ平面と画像平面との交差の直線である。これは、光学中心を通る光線の一方のカメラにおける画像であり、他方のカメラにおける画像点である。すべてのエピポーラ線は、エピポールで交差する。
上記の問題を軽減し、水平方向(HFOV)、垂直方向(VFOV)、または両方向の再構築された視野を強化するために、球、円柱、または多項式面などの非平面マッピング面をエピポーラ修正に効果的に使用することができる。
魚眼の歪みを補正するためにメッシュを計算する。歪んでいない画像内の各メッシュ点x、yについて、歪んだ空間内のメッシュ点x’、y’は、以下に従って定義することができる。
平面または半径平面マッピングは、歪んでいない(魚眼補正された)画像で動作し得る。歪みおよび修正を補正するステップは、単一の画像マッピングプロセスに組み合わせることもできる。これは、より効率的であり、メモリを節約することができる。
車両に取り付けられたカメラを有する実施形態では、車両システムバスからのオドメトリは、車両の回転および動きを提供することができる。現在のカメラのエピポールの位置を計算するために、前のカメラの位置が現在の車両座標系で計算される。前のカメラのエピポールを計算するために、前の車両カメラシステムにおける現在のカメラの位置が計算される。現在のカメラから前のカメラへの(またはその逆の)ベクトルは、エピポールを指し、このベクトルはベースラインと呼ばれる。以下の式は、測定された機械的オドメトリに基づく。
マッピングの計算を容易にするために、得られた画像はベースラインに位置合わせされ得る。幾何学的に、これは、仮想カメラがベースラインに対して垂直または同一直線上にあるように、仮想カメラがカメラの動きを補正するように回転されることを意味する。これにより、車両座標系がベースラインに対して回転される。この回転は、軸および角度の周りの回転によって決定され得る。エピポールベクトルと車両座標軸との間の角度は、以下のように決定される。
修正のためのマッピングを定義するために、図9に示されているように、エピポールを極として有し、緯度および経度の角度を使用する球面座標系が定義される。回転(車の純粋な前後運動)なしで、エピポールは車両座標系のX軸の方向を指す。その場合、緯度±90°はX軸に沿った方向を指し、、経度0°は車の上方(0,0,1)の方向を指す。X軸に平行な平面を画定する球形を囲む円は、球形上のエピポーラ円を示す。任意のマッピングは、これらの円を修正画像内の水平線にマッピングすべきである。
図9に示す幾何学的形状を考慮すると、球面マッピングでは、エピポーラ座標は出力画像内のxおよびy座標に直接マッピングされる。緯度はyにマッピングされ、経度はx座標にマッピングされる。出力画像の画素密度は、角度の密度を定義する。各ビューについて、経度および緯度の範囲を定義することができる。例えば、図1に示す車両の状況では、以下のとおりである。
・前方カメラ、経度[0°、360°]、緯度[10°、90°]
・ミラー左カメラ、経度[70°、180°]、緯度[-80°、80°]
・ミラー右カメラ、経度[-70°、-180°]、緯度[-80°、80°]
次に、これらは以下の順序でカメラ画像座標にマッピングされる。
平面マッピングの場合、球面マッピングと同じ仕組みが使用される。平面座標(x、y)は、最初にエピポーラ座標に変換されるが、その後の計算ステップは同じである。変換は以下の通りである。
円筒マッピングは、球面と平面を混合したものである。それらは、車両上のミラービューカメラのための特に有用なマッピングである。垂直または水平円柱のマッピングはそれぞれ、以下のとおりである。
円錐および球面マッピングは、マッピング面の形状に起因して、必要な伸長が少ないため、円筒マッピングよりも拡張の焦点に近いところに到達することができるという特性を有する。欠点は、これらのマッピングは、あるカメラ画像から次のカメラ画像に移動するときに物体の形状を維持しないことである。
球面の代わりに、平面または円柱また他のマッピングも可能である。これらは、3つの関数f(x)、g(y)およびh(x)によって定義することができる。図1のカメラ構成を仮定すると、以下の変換が与えられ得る。
この関数がエピポール付近に伸長して、そこでより大きな視差解像度を有するが、xがより大きくなると線形挙動に戻ることを必要とするx≦h(x)≦c・x、および
計算労力をほとんど伴わない単純な定式化。
1つの宛先画素ごとにエピポーラ座標からソース画素座標へのマッピングを計算することは時間がかかる。これは、目的地座標のグリッドに対してのみこれらのマッピングを計算することによって高速化することができる。マッピングは、目的地座標内の規則的なグリッドを使用した自動目的地座標生成を使用することができる。グリッド上の各ノードについて、生のソース画素座標へのマッピングが計算される。バイリニア補間により、宛先画像内の画素は、提供されたメッシュに従ってマッピングされる。グリッドセルサイズは、メッシュ作成の実行時間が実現可能であるが、一方でメッシュによる歪みが十分に小さいように定義され得る。
エピポーラ修正のために複数の平面を使用することを含む、エピポーラマッピングのための表面の組み合わせを有することも可能である。これについては、上記のDruleaらによる”Omnidirectional stereo vision using fisheye lenses”で説明されている。一例として、2つの平面を含むマッピング面が図11に示されている。これが車両搭載カメラの状況で考慮される場合、第1の水平面Hは、例えば、地面を再構成するために使用され、第1の平面に垂直な第2の平面Vは、他の物体のために使用される。
ステレオマッチャを実行した後、結果として得られる視差マップは、前の画像から現在の画像への水平移動を含む画像である。これらの動きは、深さ情報に変換されてもよく、または3D点の点群に直接変換されてもよい。使用されるエピポーラ修正方法に応じて、この変換は異なる式を使用して計算され得る。
ベースラインに位置合わせされた平面エピポーラ修正は、深さを決定するための単純な計算手順を可能にする特別なケースである。図13aを参照し、車両の側面に取り付けられたカメラを考慮する。深さdは、同様の三角形を用いて算出することができる。視差qは、深さdを有する焦点距離fに対するベースラインb=|δ|に類似している。
図14に示す球面の場合、深さ計算はより困難であるが、球面マッピングにおける単一のエピポーラ円を考慮することにより、以下の三角形の関係を導き出すことができる。
円筒形のケースもまた、平面と球面を混合したものである。それが水平か垂直の円筒であるかに応じて、深さは、上述した平面方法または球面方法のいずれかを使用して計算される。平面深さの場合、経度調整は球面経度調整と同等に実施される。
球面マッピングについては、以下の式が使用される。
上記の方法を使用して、仮想カメラ平面に対する個々の視差マップ画素の距離を計算する場合、得られた座標を車両座標に変換して点群を形成することができる。選択されたカメラ(現在の)行列Repi Cに対してエピポーラ基準フレーム内のユークリッド座標を仮定することは、車両座標系に対して回転し、カメラの外部位置を追加して車両座標を取得するために使用され得る。計算上、この手法は、各画素に対して非常にわずかで非常に単純な操作が含まれるため、ベースラインに位置合わせされた平面マッピングに非常に効率的である。
深さから点群を形成する代替手法として、視差マップから点群を生成するために三角測量が使用されてもよい。これは入力として、考慮される座標系における車両の2つの光線および動きベクトルをとる。いくつかの基本的かつ既知の操作(乗算、加算、減算および除算)によって、三角測量される光線の3D位置の出力を得ることができる。
三角測量の方法は既知であるため、簡潔にするために最終式のみを示す。2つの車両線rc、rpおよび車両δのデルタ運動が与えられると、以下の6つの量が定義され得る。
上記の技術を使用することにより、広視野レンズを有する車両上の移動単眼カメラからの画像を使用して、車両が環境を移動するときに車両を取り囲む環境の局所的なトポグラフィの一部に近似する点群の一部を形成することができる。移動する単眼カメラからの画像をつなぎ合わせることによって形成された画像は、点群によって画定された表面にマッピングすることができる。得られた仮想シーンの画像は、任意の仮想カメラの姿勢から評価することができる。仮想画像は、仮想カメラの姿勢に関係なく撮像シーンと同様のトポグラフィを有するので、提供される画像は現実的である。
Claims (16)
- 撮像環境のトポグラフィに対応する点群を形成するための方法であって、
車両に搭載された広視野レンズを有するカメラ(C1)で前記環境の第1の画像を取得することと、閾値よりも大きい調整によって前記カメラの姿勢を変更することと、前記変更された姿勢(C2)の前記カメラで前記環境の第2の画像を取得することと、
前記第1の画像を第1の表面にマッピングして第1のマッピングされた画像を形成することと、前記第2の画像を第2の表面にマッピングして、第2のマッピングされた画像を形成することであって、前記第1の表面および前記第2の表面が、同じ非平面形状(120、122、124)によって画定される、第2のマッピングされた画像を形成することと、前記第1のまたは前記第2のマッピングされた画像のうちの一方を画素のブロックに分割することと、
画素のブロックごとに、前記第1または第2のマッピングされた画像の他方を探索して、前記マッピングされた画像の各々における前記画素のブロックの場所の位置の視差を評価することによって深さマップを形成することと、前記車両が前記環境を移動するときに前記車両を取り囲む前記環境の局所的なトポグラフィに対応する点群の一部に前記深さマップを変換することと、
前記カメラの姿勢の調整に従って前記点群をスケーリングすることと、を含む、方法。 - 探索を実施することが、修正(rectified)エピポーラ線(b)に沿って画像データの一次元探索を実施することを含む、請求項1に記載の方法。
- 前記方法が、車両オドメトリセンサから供給されたオドメトリ情報を用いて前記カメラの姿勢の変化を評価することをさらに含む、請求項1または2に記載の方法。
- 前記広視野レンズが魚眼レンズである、請求項1から3のいずれか一項に記載の方法。
- 前記非平面形状が、円錐面を画定する、請求項1から4のいずれか1項に記載の方法。
- 前記非平面形状が球面を画定する、請求項1から4のいずれか一項に記載の方法。
- 前記非平面形状が円筒面を画定する、請求項1から4のいずれか一項に記載の方法。
- 前記非平面形状が、前記カメラの光軸を中心に対称である、請求項1から7のいずれか一項に記載の方法。
- 前記非平面形状が、
第1の非平面(120)と、第2の非平面(122、124)と、を含み、前記第1の非平面が、前記カメラから前記第2の非平面に延び、前記第2の非平面が、前記第1の非平面から前記光軸に向かって収束する、請求項8に記載の方法。 - 前記第2の非平面が、円錐台表面(122)を画定する、請求項9に記載の方法。
- 前記第2の非平面が半球面(124)を画定する、請求項9に記載の方法。
- 前記マッピングが、前記マッピングされた画像内の画素のサブセットのための低密度ルックアップテーブルを構築することおよび小数精度でその画素の対応するカメラ画像座標を格納することによって実施される、請求項1から11のいずれか一項に記載の方法。
- 前方向への移動のための車両(100)であって、
光軸が前記前方向に位置合わせされたカメラ(101)と、
光軸が、前記前方向とは反対の後方向に位置合わせされたカメラ(104)と、を備え、
各カメラが、請求項8から12のいずれか一項に記載の方法に従って動作する、車両(100)。 - 前記前方向に垂直である対向する方向に位置合わせされた2つのカメラ(102,103)をさらに備え、前記2つのカメラが、請求項1から7のいずれか一項に記載の方法に従って動作する、請求項13に記載の車両。
- 前記カメラが、前記車両の自動駐車または自律運転のためのシステムに情報を提供する、請求項13または14に記載の車両。
- 車両の周囲にシーンを表示するための方法であって、
視野が重複する前記車両の周囲に配置された複数のカメラから画像を取得することと、前記画像をつなぎ合わされた画像につなぎ合わすことと、請求項1から12のいずれか一項に記載の方法によって生成された前記点群によって画定された表面上に前記つなぎ合わされた画像をマッピングすることと、を含む、方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102019134324.0 | 2019-12-13 | ||
DE102019134324.0A DE102019134324A1 (de) | 2019-12-13 | 2019-12-13 | Ein Verfahren zum Messen der Topografie einer Umgebung |
PCT/EP2020/085023 WO2021116078A1 (en) | 2019-12-13 | 2020-12-08 | A method for measuring the topography of an environment |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023505891A true JP2023505891A (ja) | 2023-02-13 |
JP7502440B2 JP7502440B2 (ja) | 2024-06-18 |
Family
ID=73790100
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022535783A Active JP7502440B2 (ja) | 2019-12-13 | 2020-12-08 | 環境のトポグラフィを測定するための方法 |
Country Status (7)
Country | Link |
---|---|
US (1) | US20230351625A1 (ja) |
EP (1) | EP4073756A1 (ja) |
JP (1) | JP7502440B2 (ja) |
KR (1) | KR20220113781A (ja) |
CN (1) | CN115023736A (ja) |
DE (1) | DE102019134324A1 (ja) |
WO (1) | WO2021116078A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102020112204A1 (de) | 2020-05-06 | 2021-11-11 | Connaught Electronics Ltd. | System und Verfahren zum Steuern einer Kamera |
CN113742863B (zh) * | 2021-08-31 | 2023-10-27 | 上海卫星工程研究所 | 环火轨道中分全球及局部成像能力地面验证系统 |
US20230132967A1 (en) * | 2021-10-28 | 2023-05-04 | Argo AI, LLC | Method, System, and Computer Program Product for Parallax Estimation for Sensors for Autonomous Vehicles |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03113305A (ja) * | 1989-09-28 | 1991-05-14 | Nippon Telegr & Teleph Corp <Ntt> | 三次元座標計測装置 |
JP2011064566A (ja) * | 2009-09-17 | 2011-03-31 | Fujitsu Ltd | 距離推定装置 |
JP2013025528A (ja) * | 2011-07-20 | 2013-02-04 | Nissan Motor Co Ltd | 車両用画像生成装置及び車両用画像生成方法 |
WO2013190772A1 (ja) * | 2012-06-20 | 2013-12-27 | パナソニック株式会社 | 空間情報検出装置、人位置検出装置 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4969269B2 (ja) | 2007-02-21 | 2012-07-04 | アルパイン株式会社 | 画像処理装置 |
EP2530647A1 (en) | 2011-06-01 | 2012-12-05 | Harman Becker Automotive Systems GmbH | Method of calibrating a vehicle vision system and vehicle vision system |
US9811880B2 (en) * | 2012-11-09 | 2017-11-07 | The Boeing Company | Backfilling points in a point cloud |
US8892358B2 (en) * | 2013-03-14 | 2014-11-18 | Robert Bosch Gmbh | System and method for distortion correction in three-dimensional environment visualization |
US11010910B2 (en) * | 2015-12-18 | 2021-05-18 | Iris Automation, Inc. | Systems and methods for dynamic object tracking using a single camera mounted on a moving object |
US11108992B2 (en) | 2016-06-08 | 2021-08-31 | Sony Corporation | Imaging control device and method, and vehicle |
DE102016124978A1 (de) * | 2016-12-20 | 2018-06-21 | Connaught Electronics Ltd. | Virtuelle Repräsentation einer Umgebung eines Kraftfahrzeugs in einem Fahrerassistenzsystem mit mehreren Projektionsflächen |
US11127202B2 (en) * | 2017-12-18 | 2021-09-21 | Parthiv Krishna | Search and rescue unmanned aerial system |
-
2019
- 2019-12-13 DE DE102019134324.0A patent/DE102019134324A1/de active Pending
-
2020
- 2020-12-08 WO PCT/EP2020/085023 patent/WO2021116078A1/en unknown
- 2020-12-08 KR KR1020227023895A patent/KR20220113781A/ko active Search and Examination
- 2020-12-08 US US17/784,896 patent/US20230351625A1/en active Pending
- 2020-12-08 JP JP2022535783A patent/JP7502440B2/ja active Active
- 2020-12-08 EP EP20821184.7A patent/EP4073756A1/en active Pending
- 2020-12-08 CN CN202080095163.6A patent/CN115023736A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03113305A (ja) * | 1989-09-28 | 1991-05-14 | Nippon Telegr & Teleph Corp <Ntt> | 三次元座標計測装置 |
JP2011064566A (ja) * | 2009-09-17 | 2011-03-31 | Fujitsu Ltd | 距離推定装置 |
JP2013025528A (ja) * | 2011-07-20 | 2013-02-04 | Nissan Motor Co Ltd | 車両用画像生成装置及び車両用画像生成方法 |
WO2013190772A1 (ja) * | 2012-06-20 | 2013-12-27 | パナソニック株式会社 | 空間情報検出装置、人位置検出装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2021116078A1 (en) | 2021-06-17 |
DE102019134324A1 (de) | 2021-06-17 |
KR20220113781A (ko) | 2022-08-16 |
CN115023736A (zh) | 2022-09-06 |
US20230351625A1 (en) | 2023-11-02 |
JP7502440B2 (ja) | 2024-06-18 |
EP4073756A1 (en) | 2022-10-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2022222121A1 (zh) | 一种全景图像的生成方法、车载图像处理装置及车辆 | |
KR101265667B1 (ko) | 차량 주변 시각화를 위한 3차원 영상 합성장치 및 그 방법 | |
JP7502440B2 (ja) | 環境のトポグラフィを測定するための方法 | |
EP1242966B1 (en) | Spherical rectification of image pairs | |
CN110910453B (zh) | 基于无重叠视域多相机系统的车辆位姿估计方法及其系统 | |
JP5455124B2 (ja) | カメラ姿勢パラメータ推定装置 | |
US20190012804A1 (en) | Methods and apparatuses for panoramic image processing | |
CN112396664A (zh) | 一种单目摄像机与三维激光雷达联合标定及在线优化方法 | |
KR20160116075A (ko) | 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법 | |
EP3221844A1 (en) | Localising portable apparatus | |
CN112669354A (zh) | 一种基于车辆非完整约束的多相机运动状态估计方法 | |
CN113205603A (zh) | 一种基于旋转台的三维点云拼接重建方法 | |
CN110675436A (zh) | 基于3d特征点的激光雷达与立体视觉配准方法 | |
CN114782636A (zh) | 三维重建方法、装置及系统 | |
Kinzig et al. | Real-time seamless image stitching in autonomous driving | |
CN117611438A (zh) | 一种基于单目图像的2d车道线到3d车道线的重构方法 | |
Schönbein et al. | Environmental Perception for Intelligent Vehicles Using Catadioptric Stereo Vision Systems. | |
CN114485648B (zh) | 一种基于仿生复眼惯性系统的导航定位方法 | |
KR102225321B1 (ko) | 복수 영상 센서로부터 취득한 영상 정보와 위치 정보 간 연계를 통한 도로 공간 정보 구축을 위한 시스템 및 방법 | |
KR102107465B1 (ko) | 방향코사인을 이용한 에피폴라 영상 제작 시스템 및 그 제작 방법 | |
JP2021111302A (ja) | カメラモジュールに基づいて自動的に地面を推定する方法 | |
Huang et al. | Wide-angle vision for road views | |
Agrawal et al. | RWU3D: Real World ToF and Stereo Dataset with High Quality Ground Truth | |
Groom et al. | On Depth Error from Spherical Camera Calibration within Omnidirectional Stereo Vision | |
Xiong et al. | Panoramic image mosaics assisted by lidar in vehicle system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220805 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230627 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230630 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230929 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240105 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240329 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240507 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240606 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7502440 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |