JP2023529332A - 深度推定システム及び深度推定方法 - Google Patents

深度推定システム及び深度推定方法 Download PDF

Info

Publication number
JP2023529332A
JP2023529332A JP2022573637A JP2022573637A JP2023529332A JP 2023529332 A JP2023529332 A JP 2023529332A JP 2022573637 A JP2022573637 A JP 2022573637A JP 2022573637 A JP2022573637 A JP 2022573637A JP 2023529332 A JP2023529332 A JP 2023529332A
Authority
JP
Japan
Prior art keywords
image
map
images
pixel
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022573637A
Other languages
English (en)
Other versions
JPWO2021250654A5 (ja
JP7566358B2 (ja
Inventor
ディミトリエフ,イガル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Uveye Ltd
Original Assignee
Uveye Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Uveye Ltd filed Critical Uveye Ltd
Publication of JP2023529332A publication Critical patent/JP2023529332A/ja
Publication of JPWO2021250654A5 publication Critical patent/JPWO2021250654A5/ja
Application granted granted Critical
Publication of JP7566358B2 publication Critical patent/JP7566358B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/579Depth or shape recovery from multiple images from motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

深度マップ生成の方法及びシステムが提供され、車両及び撮像装置の間の相対移動中に1対の画像を取得するステップと;1以上の車両コンポーネントに対応する1以上のセグメントを含むセグメンテーションマップを取得するステップと;セグメンテーションマップに従って1以上のセクションに1対の画像を分割するステップと;所定のセクションごとに、深度マップを生成するステップであって、i)所定のセクションの視差マップを計算するステップであって、視差マップは、第1画像の所定のセクションの各ピクセルと第2画像の所定のセクションの一致するピクセルとの間の位置の差を示し、一致するピクセルは、ピクセルが属する同じセグメント内に規定された範囲内で検索される、計算するステップと;ii)視差マップに基づいて所定のセクションの深度マップを計算するステップと;を含む、深度マップを生成するステップと、を含む。【選択図】図2

Description

[001] 本開示の主題は、概して、深度推定の分野に関し、より具体的には、深度マップ生成の方法及びシステムに関する。
[002] 深度推定は、1以上の画像から深度情報を推定するために使用されるコンピュータビジョン技術のことをいう。深度推定アルゴリズムは通常、1以上の入力画像を必要とし、かつ、対応の深度画像を出力する。深度画像には、視点からの画像内のオブジェクトの距離に関する情報が含まれ、視点は通常、画像を撮影するカメラである。
[003] 深度推定は、ロボット工学、自動運転、3Dシーン復元、拡張現実、3Dコンピュータグラフィックスのシャドウマッピングを含む多くのアプリケーションで使用可能であり、場合によっては、医学研究及び手術などの他の分野にも役立ち得る。
[004] 画像から深度を推定することは、例えば問題の性質などのさまざまな要因により非常に困難であった。例えば、2Dビューと3Dビューとの間のマッピングは一意ではないので、単一の画像から深度を推定することの問題は不良設定の逆問題である。さらに、一部のアプリケーションでは、マッチングを低下させてステレオ対応を不完全にし得る、例えば照明特性、テクスチャレス領域、繰り返しパターン、反射面、オクルージョンなどの特定の理由により、問題はより複雑になり得る。
[005] 現在、高精度に深度を取得するための特定の解決策には、Lidar又はRadarなどの距離センサの使用が含まれる。ただし、一部のアプリケーションでは、その高い運用コストと、解釈することが難しい大規模なデータセットとが原因で、Lidarを使用することには問題が発生する場合がある。
[006] 本開示の主題の特定の態様によれば、深度マップ生成のコンピュータ化された方法が提供され、方法は、プロセッサ及びメモリ回路(PMC)によって実行され、かつ:車両と少なくとも1つの撮像装置との間の相対移動中の2つの時点で前記少なくとも1つの撮像装置によって取得された第1画像及び第2画像を含む1対の画像を取得するステップであって、前記第1画像及び前記第2画像は、前記車両の表面部分のそれぞれの一部をキャプチャし、かつ、キャプチャされた前記一部は部分的に重ね合わせられ、前記1対の画像は、前記表面部分をキャプチャする画像全体の一部を構成する、取得するステップと;前記画像全体の少なくとも一部に対応するセグメンテーションマップを取得するステップであって、前記セグメンテーションマップは、前記画像全体の前記少なくとも一部に含まれる1以上の車両コンポーネントに対応する1以上のセグメントを含む、取得するステップと;前記セグメンテーションマップに従って、前記1対の画像を1以上のセクションに分割するステップと;前記1以上のセクションの所定のセクションごとに、深度マップを生成するステップであって:i)前記所定のセクションの視差マップを計算するステップであって、前記視差マップは視差値を含み、各々は、前記第1画像の前記所定のセクション内のそれぞれのピクセルと前記第2画像の前記所定のセクションの一致するピクセルとの間の位置の差を示し、前記一致するピクセルは、それぞれの前記ピクセルが属する同じ前記セグメント内に規定された範囲内で検索される、計算するステップと;ii)前記視差マップに基づいて前記所定のセクションの深度マップを算出するステップであって、所定のセクションごとの前記深度マップは、前記1対の画像の深度マップを生成するために組み合わせられて使用可能である、算出するステップと、を含む、深度マップを生成するステップと、を含む。
[007] 上記特徴に加えて、本開示の主題のこの態様に係る方法は、技術的に可能な任意の所望の組み合わせ又は順列で、以下に列挙される特徴(i)~(xiii)のうちの1以上を備え得る:
(i)深度マップの生成は、前記第1画像及び前記第2画像の間の前記所定のセクションの変位を推定し、それによって、前記第1画像及び前記第2画像の間の前記所定のセクションに重なり領域を生じさせるステップをさらに含み得る。
前記計算するステップは、前記所定のセクションの前記変位に基づいて前記所定のセクション内の前記重なり領域の視差マップを計算するステップを含み得、前記一致するピクセルは、前記変位に基づいて規定された範囲内で、それぞれの前記ピクセルが属する同じ前記セグメント内で検索される。
前記計算するステップは、前記視差マップに基づいて前記所定のセクション内の前記重なり領域の深度マップを算出するステップを含み得る。
(ii)前記1対の画像は、前記相対移動の方向に垂直な方向に沿って、前記セグメンテーションマップに従って1以上のセクションに分割可能である。
(iii)前記1対の画像は、前記セグメンテーションマップ内の前記1以上のセグメントに対応する1以上のセクションに分割され得る。
(iv)前記第1画像及び前記第2画像の間の前記所定のセクションの前記変位は、画像の1以上の前の対内の前記所定のセクションの1以上の変位に関して推定され得る。
(v)視差マップを計算するステップは、前記第1画像内の前記重なり領域内の所定の各ピクセルについて、前記変位に基づいて、かつ、前記所定のピクセルが属する同じ前記セグメント内で前記第2画像内の範囲を規定するステップと;規定された前記範囲内で、マッチング方法を使用して前記第2画像内の前記所定のピクセルに一致するピクセルを検索するステップと;前記所定のピクセルと前記一致するピクセルとの間の位置の差を計算し、前記所定のピクセルに対応する視差値を生じさせるステップと、を含み得る。
(vi)前記マッチング方法は、セグメンテーション係数によって正則化された、最適化されたセミグローバルマッチング方法であり得る。
(vii)前記最適化されたセミグローバルマッチング方法は、候補ピクセルと候補ピクセルの1以上の隣接ピクセルとが同じ前記セグメントに属するかどうかを示す前記セグメンテーション係数に従って当該方法のコスト関数を調整することによって正則化され得、前記検索するステップは、調整された前記コスト関数を使用して、規定された前記範囲内の1以上の候補ピクセルから前記一致するピクセルを選択するステップを含む。
(viii)前記表面部分は前記車両の車台である。
(ix)前記第1画像及び前記第2画像は少なくとも50%にわたって重ね合わせられている。
(x)前記画像全体は、複数の時点で前記少なくとも1つの撮像装置によってキャプチャされた複数の画像をつなぎ合わせることによって生成され得、かつ、前記セグメンテーションマップは、前記画像全体に対応し、かつ、前記表面部分に含まれる1以上の車両コンポーネントに対応する1以上のセグメントを含む。
(xi)前記セグメンテーションマップは、セグメンテーションモデルを使用して生成される。前記セグメンテーションモデルは、前記車両に含まれる前記1以上の車両コンポーネントに従って事前にセグメント化された前記車両の前記表面部分の訓練画像のセットを含む訓練データセットを使用して訓練され得る。
(xii)方法は、前記1対の画像から特徴を抽出するステップと、前記第1画像及び前記第2画像の間で前記特徴を照合するステップと、前記相対移動の方向に垂直な方向に沿って、照合された前記特徴の垂直変位を計算するステップと、前記垂直変位に従って前記1対の画像を調整するステップと、をさらに含み得る。
(xiii)前記一致するピクセルは、前記照合された特徴を考慮して、同じ前記セグメント内に規定された範囲内で検索される。
[008] 本開示の主題の他の態様によれば、プロセッサ及びメモリ回路(PMC)を備えるコンピュータ化されたシステム深度マップ生成が提供され、前記プロセッサ及びメモリ回路(PMC)は:車両と少なくとも1つの撮像装置との間の相対移動中の2つの時点での前記少なくとも1つの撮像装置によって取得された第1画像及び第2画像を含む1対の画像を取得することであって、前記第1画像及び前記第2画像は、前記車両の表面部分のそれぞれの一部をキャプチャし、かつ、キャプチャされた前記一部は部分的に重ね合わせられ、前記1対の画像は、前記表面部分をキャプチャした画像全体の一部を構成する、取得することと;前記画像全体の少なくとも前記一部に対応するセグメンテーションマップを取得することであって、前記セグメンテーションマップは、前記画像全体の前記少なくとも一部に含まれる1以上の車両コンポーネントに対応する1以上のセグメントを含む、取得することと;前記セグメンテーションマップに従って、前記第1画像を1以上のセクションに分割することと;前記第1画像内の所定のセクションごとに、深度マップを生成することであって、生成することは:i)前記所定のセクションの視差マップを計算することであって、前記視差マップは、前記第1画像の前記所定のセクションのそれぞれのピクセルと前記第2画像内の前記ピクセルの一致するピクセルとの間の位置の差を各々が示す視差値を含み、前記一致するピクセルは、それぞれの前記ピクセルが属する同じ前記セグメント内で規定された範囲内で検索される、計算することと;ii)前記視差マップに基づいて前記所定のセクションの深度マップを算出することであって、所定のセクションごとの前記深度マップは、前記1対の画像の深度マップを生成するために組み合わせられて使用可能である、算出することと、含む、生成することと、を行うように構成される。
[009] 開示された主題のこの態様は、必要な変更を加えて、技術的に可能な任意の所望の組み合わせ又は順列で、方法に関して上に列挙された特徴(i)~(xiii)のうちの1以上を含み得る。
[0010] 本開示の主題の他の態様によれば、コンピュータによって実行されると、深度マップ生成の方法をコンピュータに実行させる命令のプログラムを有形に具現化する、非一時的コンピュータ可読記憶媒体が提供され、前記方法は:車両と少なくとも1つの撮像装置との間の相対移動中の2つの時点で前記少なくとも1つの撮像装置によって取得された第1画像及び第2画像を含む1対の画像を取得するステップであって、前記第1画像及び前記第2画像は、前記車両の表面部分のそれぞれの一部をキャプチャし、かつ、キャプチャされた前記一部は部分的に重ね合わせられ、前記1対の画像は、前記表面部分をキャプチャする画像全体の一部を構成する、ステップと;前記画像全体の少なくとも前記一部に対応するセグメンテーションマップを取得するステップであって、前記セグメンテーションマップは、前記画像全体の前記少なくとも一部に含まれる1以上の車両コンポーネントに対応する1以上のセグメントを含む、取得するステップと;前記セグメンテーションマップに従って、前記1対の画像を1以上のセクションに分割するステップと;前記1以上のセクションの所定のセクションごとに、深度マップを生成するステップであって:i)前記所定のセクションの視差マップを計算するステップであって、前記視差マップは、前記第1画像の前記所定のセクション内のそれぞれのピクセルと前記第2画像の前記所定のセクションの一致するピクセルとの間の位置の差を各々示す視差値を含み、前記一致するピクセルは、それぞれの前記ピクセルが属する同じ前記セグメント内に規定された範囲内で検索される、計算するステップと;ii)前記視差マップに基づいて前記所定のセクションの深度マップを算出するステップであって、所定のセクションごとの前記深度マップは、前記1対の画像の深度マップを生成するために組み合わせられて使用可能である、算出するステップと、を含む、深度マップを生成するステップと、を含む。
[0011] 開示された主題のこの態様は、必要な変更を加えて、技術的に可能な任意の所望の組み合わせ又は順列で、方法に関して上に列挙された特徴(i)~(xiii)のうちの1以上を含み得る。
[0012] 本開示を理解し、かつ、本開示が実際にどのように実施され得るかを理解するため、ここで、添付の図面を参照して、非限定的な例としてのみ実施形態を説明する。
[0013] 本開示の主題の特定の実施形態に係る深度推定システムの機能ブロック図を概略的に示している。 [0014] 本開示の主題の特定の実施形態に係る車両に対する撮像装置の例示的な配列を概略的に示している。 [0015] 本開示の主題の特定の実施形態に係る深度マップ生成の一般化されたフローチャートを示している。 [0016] 本開示の主題の特定の実施形態に係る、所定のセクションごとに深度マップを生成する一般化されたフローチャートを示している。 [0017] 本開示の主題の特定の実施形態に係る、視差マップを計算する一般化されたフローチャートを示している。 [0018] 本開示の主題の特定の実施形態に係る、撮像装置によってキャプチャされた複数の画像の一例を示している。 [0019] 本開示の主題の特定の実施形態に係る、垂直アライメントの例示的な図を示している。 [0020] 本開示の主題の特定の実施形態に係る、画像全体及び対応のセグメントの一例を示している。 [0021] 本開示の主題の特定の実施形態に係る、1対の画像を複数のセクションに分割する一例を示している。 [0021] 本開示の主題の特定の実施形態に係る、1対の画像を複数のセクションに分割する一例を示している。 [0022] 本開示の主題の特定の実施形態に係る、セクションごとの変位を推定する一例を示している。 [0023] 本開示の主題の特定の実施形態に係る、改善されたセミグローバルマッチング方法を使用して一致するピクセルを検索する例を示している。 [0023] 本開示の主題の特定の実施形態に係る、改善されたセミグローバルマッチング方法を使用して一致するピクセルを検索する例を示している。 [0024] 本開示の主題の特定の実施形態に係る、さまざまなセクションの重なり領域間の共通の重なり領域を示している。 [0025] 本開示の主題の特定の実施形態に係る、元の車台画像及び車台に対応する完全な深度マップの一例を示している。
[0026] 以下の詳細な説明では、本開示の完全な理解を提供するために、多くの具体的な詳細が記載されている。しかしながら、当業者は、本開示の主題がこれらの具体的な詳細なしで実施され得ることを理解するであろう。他の例では、本開示の主題を不明瞭にしないように、周知の方法、手順、構成要素及び回路は詳細には説明されていない。
[0027] 別段特に明記しない限り、以下の説明から明らかなように、明細書全体を通じて、「取得する」、「キャプチャする」、「生成する」、「推定する」、「分割する」、「抽出する」、「実行する」、「計算する」、「算出する」、「規定する」、「検索する」、「照合する」、「調整する」、「つなぎ合わせる」、「訓練する」などの用語を利用して説明することは、データを処理及び/又は他のデータに変換するコンピュータのアクション及び/又はプロセスを参照すること、前記データは電子などの物理的な量として表されること、及び/又は、前記データは物理オブジェクトを表すことを理解されたい。「コンピュータ」という用語は、非限定的な例として、本願で開示される深度マップ生成システム及びその一部を含む、データ処理機能を有するあらゆる種類のハードウェアベースの電子機器をカバーするように広く解釈されるべきである。
[0028] 本明細書の教示による工程は、所望の目的のために特別に構成されたコンピュータによって、又は、非一時的コンピュータ可読記憶媒体に格納されたコンピュータプログラムによって所望の目的のために特別に構成された汎用コンピュータによって実行され得る。
[0029] 本明細書で使用される「非一時的メモリ」、「非一時的記憶媒体」及び「非一時的コンピュータ可読記憶媒体」という用語は、本開示の主題に適した任意の揮発性又は不揮発性コンピュータメモリをカバーするように広く解釈されるべきである。
[0030] 本開示の主題の実施形態は、任意の特定のプログラミング言語を参照して説明されていない。本明細書に記載されているように、本開示の主題の教示を実装するために、さまざまなプログラミング言語が使用され得ることが理解される。
[0031] 本明細書で使用される場合、「例えば(for example)」、「など」、「例えば(for instance)」という語句及びそれらの変形は、本開示の主題の非限定的な実施形態を説明する。本明細書における「ある場合」、「場合によっては」、「他の場合」又はそれらの変形への参照は、実施形態に関連して説明される特定の特徴、構造又は特性が、本開示の主題の少なくとも1つの実施形態に含まれることを意味する。したがって、「ある場合」、「場合によっては」、「他の場合」又はそれらの変形の出現は、必ずしも同じ実施形態を参照しているとは限らない。
[0032] 別段特に明記しない限り、別個の実施形態の文脈で説明される本開示の主題の特定の特徴が、単一の実施形態において組み合わせて提供され得ることを理解されたい。逆に、単一の実施形態の文脈で説明される本開示の主題のさまざまな特徴は、別個に又は任意の適切なサブコンビネーションで提供され得る。以下の詳細な説明では、方法及び装置の完全な理解を提供するため、多くの具体的な詳細が説明される。
[0033] 本開示の主題の実施形態では、図に示される1以上の段階を異なる順序で実行してもよく、及び/又は、段階のうちの1以上の群を同時に実行してもよく、逆もまた同様である。
[0034] これを考慮に入れて、本開示の主題の特定の実施形態に係る、深度推定システムの機能ブロック図を概略的に示す図1Aに着目する。
[0035] 図1Aに示すシステム100は、入力画像に基づく自動深度推定のためのコンピュータベースのシステムである。システム100は、少なくとも1つの撮像装置130から2次元画像を取得し、かつ、2次元画像に対応する深度マップを生成するように構成され得る。本明細書で使用される深度マップという用語は、通常、画像を撮影する撮像装置である視点からの入力画像内のオブジェクトの表面の距離に関する情報を含む深度画像のことをいう。通常、深度推定の目的は、シーンの空間構造の表現を取得し、画像内のオブジェクトの3次元形状及び外観を復元することである。
[0036] 本明細書で使用される撮像装置は、任意の種類の撮像取得装置又は画像取得機能を備えた汎用装置のことをいい、これらの装置は、例えば、画像及び/又はビデオ記録機能を有するデジタルカメラなどの、特定の解像度及び周波数で画像をキャプチャするために使用され得る。少なくとも1つの撮像装置130は、システム100に動作可能に接続され得、かつ、キャプチャされた画像は、有線通信又は無線通信を介してシステム100に送信され得る。ある実施形態では、少なくとも1つの撮像装置130が、図1Bを参照して例示及び説明するように、場合によっては単一の撮像装置を含む一方で、ある他の場合には複数の撮像装置を含む撮像装置のセットであり得る。
[0037] 特定の実施形態によれば、画像内にキャプチャされたターゲットオブジェクトは、車両又はその一部であり得る。本明細書で使用される「車両」という用語は、自動車、バス、オートバイ、トラック、列車及び飛行機などを含むがこれらに限定されない、あらゆる種類の自動車をカバーするように広く解釈されるべきであることに留意されたい。例として、画像は車両の車台画像であり得る。撮像装置は、車両が通過し得る検査通路の地面に埋め込まれ得る。別の例として、画像は車両の側面をキャプチャすることができる。撮像装置は、車両の少なくとも一方の側に(例えば、検査通路の少なくとも一方の側で支持構造に取り付けられて)配置(搭載又は他の方法で設置)され得る。場合によっては、車両の両側の画像が同時に取得されて処理され得るように、車両の両側に撮像装置を配置することができる。
[0038] 特定の実施形態によれば、車両は、そのような撮像装置を備えた検査通路を通過する移動車両であり得る。ある他の実施形態では、撮像装置が、車両に対して移動するように可動プラットフォームに搭載されている一方で、車両は静止した車両であり得る。
[0039] ここで図1Bを参照すると、本開示の主題の特定の実施形態に係る車両に対する撮像装置の例示的な配列が示されている。
[0040] 1以上の撮像装置142が、車両140が通過する検査通路の地下に埋め込まれ、かつ、車両と撮像装置との間の相対移動中のさまざまな時点で車両140の車台の画像をキャプチャするように構成されている。場合によっては、車両の全範囲をカバーするために複数の画像装置が使用され得る。例えば、図1Bに示すように、3台のカメラを含む撮像装置のセットが、車両の幅の方向に沿って地下に設置され、かつ、全幅をカバーするように特定の位置及び向きで配列される。場合によっては、既定の領域に対応する視野(FOV)をカバーする画像をキャプチャするように、車両に対して特定の方法で撮像装置が配列され得る。所定の時点で3台の撮像装置によってキャプチャされた3つの画像がともにつなぎ合わせられて、車両の幅に沿った車台の完全な「スライス」を提供することができる。
[0041] 移動は車両と撮像装置との間で相対的であるので、ある実施形態では、移動する撮像装置のモデル化によって、移動する車両のモデル化が実現され得る(すなわち、撮像装置が静止車両に対して移動しているかのように)。したがって、撮像装置の構造(例えば、カメラのセットの位置及び向き)の時間における変換が識別され得る。図1Bの150に示すように、カメラ位置のアレイが示されており、列(例えば、d11、d21、d31)は、車両の幅に沿っており、かつ、撮像装置のセット内の相対位置を表している一方で、行(例えば、d11、d12、...d1n)は、相対移動の方向に沿っており、かつ、相対移動中のさまざまな時点の撮像装置のセットの相対位置を表している。
[0042] 本開示は、撮像装置及び/又は撮影される画像の特定の数、タイプ、適用範囲及び見方によっても、撮像装置による画像の特定の生成方法によっても、限定されないことを理解されたい。
[0043] 任意選択的に、ある実施形態では、撮像装置が照明機能と統合されて、高解像度及び高品質で画像がキャプチャされ得るようにすることができる。代替的に、場合によっては、撮像装置のFOVをカバーする照明を提供するために、撮像装置に近接して配置された1以上の照明装置を提供することができる。例として、表面部分が車台である場合、照明装置は、地下であって撮像装置の隣に位置決めされ得る。表面部分が車両の側面である場合、照明装置は、通路の側面に位置決めされて、画像取得のための周辺照明を提供することができる。任意選択的に、画像取得及び/又は照明は、車両の存在/接近を検出可能な外部検出装置(例えば、ロードループ、IRビーム、VMDなど)によってトリガされ得る。
[0044] 撮像装置130(及び、ある場合に照明装置)はシステム100によって制御され得る。システム100は、撮像装置(及び、ある場合に照明装置)に動作可能に接続され、かつ、装置を制御し(例えば、画像取得及び照明操作を同期化する)、設定段階でシステムを較正し、かつ、深度マップを生成するために、車両の取得された画像を処理するために使用され得る。
[0045] 少なくとも1つの撮像装置130が、車両と撮像装置との間の相対移動中の複数の時点で複数の画像(本明細書ではフレーム又は画像フレームともいう)を取得するように構成され得る。各画像は、それぞれの時点で既定の領域内に入るそれぞれの一部/スライスをキャプチャする。特定の実施形態によれば、フレームの各対の間の重なり領域がともにターゲット表面部分全体(例えば、車台)をカバーすることができる方法で、複数の画像内にキャプチャされた複数の一部を部分的に重ね合わせるように、画像取得が実行される。
[0046] ここで図5を参照すると、本開示の主題の特定の実施形態に係る、撮像装置によってキャプチャされた複数の画像の一例が示されている。
[0047] f、f、f、...、fn-1、fとして示される一連の画像フレームは、車両と撮像装置との間の相対移動中の複数のn時点で撮像装置によってキャプチャされる。図示するように、フレームf-fは、車台のそれぞれの一部をキャプチャし、キャプチャされた部分は範囲内で部分的に重ね合わせられる。図1Bを参照して上述したように、移動する車両は、撮像装置が静止車両に対して移動しているかのようにモデル化され得る。図示のように、フレームは、中間にd、d、...、dの距離で位置決めされた複数の撮像装置によるものであるかのように撮影される。
[0048] 一部の実施形態では、重ね合わせられた隣接部分(隣接フレームによってキャプチャされる)の数は、さまざまに規定され得、かつ、2~N(N>2)の範囲であり得る。これは、例えば、車両と撮像装置との間の相対運動の速度、及び、撮像装置のキャプチャレートに関連し得る。例として、2つの隣接するフレームによってキャプチャされた2つの隣接する部分ごとに、2つの部分の間の重複領域が2つの画像において2回キャプチャされるように重ね合わせられ得る。別の例として、キャプチャレートが高い場合、5つの隣接部分ごとに重ね合わせられ得、いくつかの表面ポイントが2つの画像でキャプチャされ得る一方で、他のいくつかのポイントが5つの画像すべてでキャプチャされ得る。説明を簡単にするため、実施形態の一部では、隣接する部分をキャプチャする画像が重ね合わせられる(すなわち、画像の範囲が重ね合わせられる)と言及されることに留意されたい。
[0049] 図1Aの説明を続けると、システム100は、ハードウェアベースのI/Oインタフェース126及びストレージユニット122に動作可能に接続されたプロセッサ及びメモリ回路(PMC)102を備え得る。PMC102は、図2~図4を参照してさらに詳細に説明するオペレーティングシステム100に必要な処理を提供するように構成される。PMC102は、プロセッサ(別個に図示せず)及びメモリ(別個に図示せず)を備える。PMC102のプロセッサは、PMCに含まれる非一時的コンピュータ可読メモリに実装されたコンピュータ可読命令に従っていくつかの機能モジュールを実行するように構成され得る。このような機能モジュールは、以後、PMCに含まれるものとして参照される。
[0050] 本明細書で参照されるプロセッサという用語は、データ処理機能を有する任意の処理回路をカバーするように広く解釈されるべきであること、かつ、本開示は、そのタイプ又はプラットフォーム若しくはそこに含まれる処理コアの数に限定されないことに留意されたい。
[0051] 特定の実施形態によれば、PMC102に含まれる機能モジュールは、パーティショニングモジュール104、視差マップ生成器108及び深度マップ生成器112を備え得る。任意選択的に、PMC102は変位推定モジュール106をさらに備え得る。視差マップ生成器108はマッチングモジュール110を備え得る。PMCに含まれる機能モジュールは、それらの間で動作可能に接続され得る。
[0052] 本開示の特定の実施形態は、車両画像の深度マップ生成を参照しているが、これは、例示のみを目的としており、かつ、本開示を決して限定するものとみなされるべきではないことに留意されたい。同様に、本開示の主題は、同様の方法で他のオブジェクト又はエンティティをキャプチャする画像に適用可能であり得る。
[0053] 本開示の特定の実施形態によれば、PMC102は、(例えば、ハードウェアベースのI/Oインタフェース126を介して)、車両と少なくとも1つの撮像装置130との間の相対移動中の2つの時点で少なくとも1つの撮像装置130によって取得される第1画像(第1フレームともいう)及び第2画像(第2フレームともいう)を含む1対の画像を取得するように構成され得る。第1画像及び第2画像は、車両の表面部分のそれぞれの一部をキャプチャし、かつ、キャプチャされた一部は、範囲内で部分的に重ね合わせられる。1対の画像は、表面部分をキャプチャした画像全体の一部を構成する。
[0054] 表面部分は、上述した方法で画像がキャプチャされ得る車両の任意の部分を参照し得る。表面という用語が使用されているが、必ずしも、車両の表面のみが画像によってキャプチャされ得ることを意味するわけではない。場合によっては、表面の向こう側(例えば、車両の内部)であるが、視点から観察可能な任意のコンテンツが、表面部分の範囲に含まれるものとみなされ得る。例として、表面部分は車両の車台であり得る。別の例として、表面部分は車両の片側であり得る。その場合、車両シート、運転手などの内部部分の一部は、それらが撮像装置の視点から観察可能である限り、撮像装置によってキャプチャされ得、及びしたがって、表面部分の範囲とみなされ得る。
[0055] PMC102は、画像全体の少なくとも一部に対応するセグメンテーションマップを(例えば、セグメンテーションモジュール132からハードウェアベースのI/Oインタフェース126を介して)取得するようにさらに構成され得る。セグメンテーションマップは、画像全体の少なくとも一部に含まれる1以上の車両コンポーネントに対応する1以上のセグメントを含む。
[0056] パーティショニングモジュール104は、セグメンテーションマップに従って1対の画像を1以上のセクションに分割するように構成され得る。1以上のセクションの所定のセクションごとに、視差マップ生成器108は、所定のセクションの視差マップを計算するように構成され得る。視差マップは視差値を含み、各視差値は、第1画像の所定のセクション内のそれぞれのピクセルと第2画像内の所定のセクションに一致するピクセルとの間の位置の差を示している。一致するピクセルは、それぞれのピクセルが属する同じセグメント内に規定された範囲で検索され得る。深度マップ生成器112は、視差マップに基づいて所定のセクションの深度マップを算出するように構成され得る。所定のセクションごとの深度マップは、1対の画像の深度マップを生成するために組み合わせられて使用可能である。
[0057] 任意選択的に、ある実施形態では、PMC102は、第1画像と第2画像との間の所定のセクションの変位を推定し、それによって、第1画像と第2画像との間の所定のセクションに重なり領域を生じさせるように構成された変位推定モジュール106をさらに備え得る。したがって、視差マップ及び深度マップは、所定のセクションの重なり領域について生成される。これらの機能モジュールによる画像処理の詳細については、図2~図4を参照して以下に説明する。
[0058] ある実施形態では、ストレージユニット122は、取得された画像及びセグメンテーションマップを含む、システム100への入力を格納するように構成され得る画像データベース123を含み得る。場合によっては、入力は、撮像装置130及びセグメンテーションモジュール132から事前に取得され、かつ、画像データベース123に格納されて、PMCによって取得されて処理され得る。ストレージユニット122は、例えば、視差マップ、深度マップなどの中間及び/又は出力処理結果のいずれかを格納するように構成され得る。代替的に、画像データベース123は、システム100の外部、例えば、外部データレポジトリのうちの1つ、若しくは、外部システム又はプロバイダに存在することができ、かつ、画像は、I/Oインタフェース126を介して取得され得る。
[0059] I/Oインタフェース126は、取得された画像及びセグメンテーションマップを入力として取得し、かつ、出力として深度マップを提供するように構成され得る。任意選択的に、システム100は、入力及び/又は出力をユーザに表示するためにレンダリングするように構成されたグラフィカルユーザインタフェース(GUI)124をさらに備え得る。任意選択的に、GUIは、オペレーティングシステム100に対するユーザ指定入力を有効にするように構成され得る。
[0060] また、図1A及び/又は図1Bに図示するシステムは、分散コンピューティング環境に実装され得る。例として、図1Aに示す機能モジュールの一部は、いくつかのローカル及び/又はリモートデバイスに分散され得、かつ、通信ネットワークを通じてリンクされ得る。別の例として、システム100は、撮像装置130及び/又はセグメンテーションモジュール132とは異なる位置に配置され得る。場合によっては、撮像装置130及び/又はセグメンテーションモジュール132の機能又はその少なくとも一部はシステム100に統合され得る。例えば、ある実施形態では、システム100は、図2を参照して以下に説明するように、セグメンテーションモジュール132をさらに備え得、かつ、セグメンテーションを実行するように構成され得る。
[0061] 当業者は、本開示の主題の教示が、図1A及び図1Bに図示するシステムに拘束されないことを容易に理解するであろう;同等及び/又は変更された機能が、別の方法で統合又は分割され得、かつ、ソフトウェアとファームウェア及びハードウェアとの適切な組み合わせで実装され得る。図1A及び図1Bのシステムは、スタンドアロンネットワークエンティティであり得る、又は、他のネットワークエンティティと完全に又は部分的に統合され得る。当業者はまた、データレポジトリ又はその中のストレージユニットが、他のシステムと共有され得るか、又は、サードパーティ機器を含む他のシステムによって提供され得ることを容易に理解する。
[0062] 必ずしもそうである必要はないが、システム100の動作プロセスは、図2~図4に関して説明した方法の段階の一部又はすべてに対応し得る。同様に、図2~図4に関して説明した方法及びそれらの可能な実装はシステム100によって実装され得る。したがって、図2~図4に関して説明した方法に関連して説明した実施形態は、必要な変更を加えて、システム100の様々な実施形態として実装され得、また、その逆も同様に可能である。
[0063] ここで図2を参照すると、本開示の主題の特定の実施形態に係る深度マップ生成の一般化されたフローチャートが概略的に示されている。
[0064] 第1画像及び第2画像を含む1対の画像が、(例えば、図1Aに示すI/Oインタフェース126を介してPMC102によって)取得され得る(202)。1対の画像は、車両と少なくとも1つの撮像装置との間の相対移動中の2つの時点で、少なくとも1つの撮像装置によって取得される。前述したように、少なくとも1つの撮像装置は、車両と撮像装置との間の相対移動中に複数の時点で画像を連続的に取得するので、各画像は、所定の時点で(撮像装置の視野(FOV)に対応する)既定の領域内にある車両の表面部分の特定の一部(例えば、「スライス」)をキャプチャする。したがって、対の第1画像及び第2画像は、表面部分のそれぞれの一部をキャプチャし、かつ、キャプチャされた一部は部分的に重ね合わせられる。例として、1対の画像は、図5を参照して上述したように、複数の画像から取られた2つのフレームであり得る。
[0065] 上述したように、例えば、相対移動の速度及び撮像装置のキャプチャレートなどの要因により、部分的に重ね合わせられる隣接フレームの数は2~N(N>2)の範囲であり得る。したがって、場合によっては、第1画像及び第2画像は、例えば、図5に示すように、連続する時点t及びtでキャプチャされたフレームf及びfなど、2つの連続する時点で取得され得る。他の場合にでは、フレームfとfとが重なり領域を共有している限り、第1画像及び第2画像は、例えば、時点t及びtでキャプチャされたフレームf及びf、又は、時点t及びtでキャプチャされたフレームf及びfなどの、第1時点と後続の時点とで取得され得る。一例では、第1画像及び第2画像は少なくとも50%にわたって重ね合わせられる。
[0066] 特定の実施形態によれば、一連の画像がともに組み合わせられて、表面部分をキャプチャする画像全体を形成することができる。例えば、フレームがつなぎ合わせられてつなぎ合わせ画像を形成することができる。1対の画像は、表面部分をキャプチャした画像全体の一部を構成する。通常、比較的高い解像度を有するこのようにつなぎ合わせられた画像は、例えば、ブロック204を参照して以下に説明するように、セグメンテーションの目的で使用され得る。フレームのシーケンス全体に対する特定のフレームの位置は、画像全体を作成するプロセス中に確保され得、かつ、その後のプロセスで、生成された深度マップをつなぎ合わせるために使用され得る。場合によっては、つなぎ合わせられた画像の生成機能又は少なくともその一部はPMC102内に統合され得る。代替的に、そのような機能は、撮像デバイス又はあるその他の画像処理モジュールによって提供される可能性があり、かつ、つなぎ合わせられた画像は、I/Oインタフェースを介してPMCに送信され得る。
[0067] ある実施形態では、任意選択的に、キャプチャされた1対の画像は、深度推定に使用される前に、(例えば、撮像装置130によって、又は、それに送信されるとシステム100のPMC102によって)前処理され得る。例として、前処理は、方向不変系を確保するために1対の画像に適用される垂直アライメントプロセスを含み得る。具体的には、第1画像及び第2画像を特徴付ける特徴がそれぞれ抽出され得る。例として、特徴は、画像の高コントラスト領域から抽出され得、かつ、例えば、エッジ及びコーナなどを含み得る。例えば、場合によっては、コーナ(例えば、2以上のエッジの交差部)検出アルゴリズムが使用されて特徴を見つけることができる。抽出された特徴は、第1画像及び第2画像の間で照合され得る。例として、例えば、ユークリッド距離、ハミング距離などの距離メトリックを使用することによって特徴マッチングが実行され得る。照合された特徴の垂直変位は、垂直方向(すなわち、相対移動の方向に垂直な方向)に沿って計算され得る。1対の画像は垂直変位に応じて調整され得る。
[0068] ここで図6を参照すると、本開示の主題の特定の実施形態に係る垂直アライメントの例示的な図が示されている。
[0069] 車両の車台のそれぞれの部分をキャプチャした1対の画像f及びfが図6に示されている。X軸は、車両と画像装置との間の相対移動の方向を表している。Y軸は車両の幅に沿った方向を表している。上述したように特徴抽出及び特徴マッチングを実行した後、照合された特徴のうちの1つは、fにおける座標(x1、y1)及びfにおける座標(x2、y2)で示されるコーナ特徴として例示される。コーナ特徴の垂直変位は、Y軸の方向(すなわち、相対移動に垂直な方向)に沿って計算され得る。垂直変位は、照合された特徴がf及びfの間でY方向に移動した範囲を示している。言い換えれば、垂直変位は、移動から生じるものとしてY方向の(x2、y2)及び(x1、y1)の間の相対移動を表している。2つのフレーム間に照合された特徴が複数ある場合、照合された各特徴の垂直変位に基づいて、平均垂直変位が計算され得る。1対の画像は、(平均)垂直変位に従って調整/アライメントされ得る。例えば、fは、平均垂直変位に基づいてY方向にシフトされ得る。したがって、調整後、フレームf及びfは垂直方向にアライメントされ、それによって、視差の推定がX軸(すなわち、相対移動の方向)に沿って実行されることを可能にする。
[0070] 図2の説明を続けると、(例えば、図1Aに示すI/Oインタフェース126を介してPMC102によって)画像全体の少なくとも一部に対応するセグメンテーションマップ(すなわち、1対の画像が画像全体の一部を構成する)が取得され得る(204)。セグメンテーションマップは、画像全体の少なくとも一部に含まれる1以上の車両コンポーネントに対応する1以上のセグメントを含む。例として、車両コンポーネントは車両の機械的コンポーネントであり得る。
[0071] 特定の実施形態によれば、複数の時点で少なくとも1つの撮像装置によってキャプチャされた複数の画像をつなぎ合わせることによって、画像全体が生成され得る。セグメンテーションマップは、画像全体に対応し得、かつ、表面部分に含まれる1以上の車両コンポーネントに対応する1以上のセグメントを含み得る。
[0072] 特定の実施形態によれば、セグメンテーションマップは、画像全体の一部のみに対応するように生成され得る。例として、第1画像及び第2画像を取得すると、第1画像及び第2画像がつなぎ合わせられて、車台の画像全体の部分画像を形成することができ、かつ、部分画像に対してセグメンテーションが実行されて、部分画像に対応するセグメンテーションマップを取得することができる。このような場合、セグメンテーションマップは、一連の画像をスキャンして取得している間に「オンザフライ」で生成され得る。
[0073] 本開示では、深度マップがセグメンテーションに基づいて生成され、それによって、精度及び効率などの深度推定システムの性能を改善することが提案される。これは、少なくとも、さまざまな車両コンポーネント、特に機械コンポーネントが、通常、撮像装置に対してさまざまな深度レベルに対応するという事実によるものである。したがって、セグメンテーションに従って画像を分割すること、同じセグメント内の一致するピクセルを検索すること、及び、セグメンテーション係数によって正則化された特定のマッチング方法を使用することを含む、セグメンテーションに関して深度推定を実行することによって、生成された深度マップは、より高い精度でより効率的な方法で生成され得る。
[0074] 車両部品(例えば、車台など)の機械コンポーネントへの分割は、例えば、必要な解像度などに応じて変化し得ることに留意されたい。例として、特定の機械コンポーネントがさらにサブコンポーネントに分割されることが可能である。したがって、セグメントと機械コンポーネントとの間の対応/マッピングは、固定されておらず、かつ、それに応じて適合させられ得ることを理解されたい。例えば、1つのセグメントが1以上の機械コンポーネントに対応し得る、又は代替的に、1つの機械コンポーネントが1以上のセグメントに対応し得る。本開示は、機械コンポーネントの特定の分割及び/又はセグメントと機械コンポーネントとの間の対応によって限定されない。
[0075] 図7は、本開示の主題の特定の実施形態に係る画像全体及び対応のセグメントの一例を示している。図示するように、例示的な画像704は車両の車台をキャプチャしている。画像704は、702に示されるように複数のセグメントにセグメント化される。702のセグメントが以下の例示的な機械コンポーネント:排気装置、燃料タンク、エンジン、車輪、サスペンション及びシャーシなどに対応するように、セグメンテーションが実行される。例として、現在の図では、排気装置コンポーネント全体に対応する1つのセグメント706がある。しかしながら、他の場合には、排気装置は、例えば1以上の排気管などのサブコンポーネント/パーツにさらに分割され得、かつ、セグメントはサブコンポーネントに対応し得る。
[0076] 特定の実施形態によれば、セグメンテーションモデルを使用してセグメンテーションマップが生成され得る。セグメンテーションモデルは機械学習に基づき得る。例として、セグメンテーションモデルは、例えばディープラーニングニューラルネットワーク(ディープニューラルネットワーク又はDNNともいう)などのセグメンテーションディープラーニングモデルとして実装され得る。セグメンテーションディープラーニングモデルはセグメンテーションモジュール132に含まれているものとみなされ得る。前述したように、ある実施形態では、セグメンテーションモジュールの機能又は少なくともその一部がシステム100に統合され得る。言い換えると、場合によっては、システム100は、上述したようにセグメンテーションを実行してセグメンテーションマップを生成するように構成され得る。
[0077] 本明細書で参照されるDNNは、それぞれのDNNアーキテクチャに従って組織化された複数の層を含む教師あり又は教師なしDNNのことであり得る。非限定的な例として、DNNの層は、畳み込みニューラルネットワーク(CNN)アーキテクチャ、リカレントニューラルネットワークアーキテクチャ、再帰型ニューラルネットワークアーキテクチャ、GANアーキテクチャ又はその他に従って組織化され得る。任意選択的に、レイヤのうちの少なくとも一部は複数のDNNサブネットワークで組織化され得る。DNNの各層は、通常、当技術分野で次元、ニューロン又はノードといわれる複数の基本的な計算エレメント(CE)を含み得る。
[0078] DNNの重み付け及び/又はしきい値は、訓練の前に最初に選択され得、かつ、訓練中にさらに反復して調整又は変更されて、訓練済みDNNの重み付け及び/又はしきい値の最適なセットを実現することができる。各反復の後、DNNによって生成された実際の出力と、それぞれのデータの訓練セットに関連付けられたターゲット出力との間の差が決定され得る。この差はエラー値として参照され得る。エラー値を示すコスト関数が既定の値未満である場合、又は、反復間のパフォーマンスの限定された変化が達成された場合、訓練は完了したものと判断され得る。
[0079] 機械学習モデルの重み付け/しきい値を調整するために使用される入力データのセットは、以下、訓練セット又は訓練データセット又は訓練データという。
[0080] ある実施形態では、セグメンテーション学習モデルは、そこに含まれる1以上の車両コンポーネントに従って事前にセグメント化された、車両の表面部分の訓練画像のセットを含む訓練データセットを使用して訓練され得る。訓練画像及びセグメンテーションラベルは、セグメンテーションモデルへの訓練入力として提供される。訓練プロセスの目的は、入力画像のセグメンテーションラベル(例えば、ピクセル単位又はブロック単位のセグメンテーションラベル)を正確に予測することができるようにモデルを最適化することである。場合によっては、さまざまなタイプの車両の画像をカバーするさまざまな訓練データセットが提供されて、実行時にさまざまなタイプの次にくる車両をセグメント化することができるようにモデルを訓練することができる。
[0081] DNNは、機械学習モデルを実装する一例として本明細書に記載されており、本開示の主題の教示は、上述したDNNのタイプ又は特定のアーキテクチャに拘束されないことに留意されたい。上記に加えて又は上記に代えて、他のタイプ及び/又は構造化された機械学習モデルが使用され得る。
[0082] 図2の説明を続けると、(例えば、図1Aに示すパーティショニングモジュール104によって)1対の画像が、セグメンテーションマップに従って1以上のセクションに分割され得る(206)。
[0083] 特定の実施形態によれば、1対の画像は、セグメンテーションマップに従って、相対移動の方向に垂直な方向に沿って、1以上のセクションに分割され得る。ある他の実施形態では、1対の画像は、セグメンテーションマップ内の1以上のセグメントに対応する1以上のセクションに分割され得る。
[0084] ここで図8A及び図8Bを参照すると、本開示の主題の特定の実施形態に従って、1対の画像を複数のセクションに分割する一例が示されている。
[0085] 図8Aは、時点t及びt+1でそれぞれキャプチャされた第1画像802及び第2画像804を含む1対の画像を示している。前述したように、第1画像及び第2画像は部分的に重ね合わせられる。この例では、重複領域は、2つの画像が取得される時系列に従って、第1画像802の右側部分及び第2画像804の左側部分として示されている。1対の画像を垂直方向(相対移動の方向に垂直な方向)に沿って複数のセクションに分割するため、水平分割線(すなわち、相対移動の方向に平行な水平)をどこに配置するかを決定する必要がある。
[0086] 特定の実施形態によれば、セグメンテーションに基づいて分割線を重なり領域に配置することが決定される。例として、水平分割線806は、第2画像804の左側部分の2つのセグメント間の分離点808から始まり、かつ、水平方向に延在して、第1画像及び第2画像をセクション1及びセクション2に分割する。同様に、水平分割線812及び814は、1対の画像をセクション3及びセクション4にさらに分割する。したがって、1対の画像は、分割線によって垂直方向に沿って4つのセクション(例えば、セクション1~4)に分割される。
[0087] 代替的に、第2画像における重なり領域のセグメントに従って分割を決定することに代えて、第1画像における重なり領域のセグメントに従って分割を実行することが可能である。例として、水平分割線は、第1画像804の右側部分(すなわち、重なり領域)上の2つのセグメント間の分離点810から開始し、かつ、水平に延在して1対の画像を2つのセクションに分離することができる。
[0088] ある実施形態では、上述したように分割された特定のセクションは2以上のセグメントを含んでもよい。例えば、図8Bに示すように、水平分割線806によって分割されるセクション1は(分離線816によって分離される)2つのセグメントを含む一方で、セクション3及びセクション4は単一のセグメントを含む。
[0089] さらなる実施形態によれば、相対移動の方向に垂直な方向に沿って(すなわち、上述した水平分割線で)1対の画像を分割することに代えて、1対の画像は、セグメンテーションマップの1以上のセグメントに対応する1以上のセクションに分割され得る。例として、セグメンテーションマップのセグメントに一致するようにセクションが分割され得る。例えば、図8Bの1対の画像802及び804は、水平分割線806に代えて分離線816を使用して分割され得る。
[0090] 本開示は、1対の画像(例えば、具体的には、2つの画像の重なり領域のセグメント)のセグメンテーション(セグメンテーションマップに示される)に従う限り、セクションを分割する特定の方法(例えば、水平分割線又は分離線のいずれかを使用する)によって限定されない。
[0091] 図2に戻ると、1以上のセクションが分割されると、所定のセクションごとに深度マップが生成され得る(208)。具体的には、特定の実施形態によれば、所定のセクションについて(例えば、図1Aに示す視差マップ生成器108によって)視差マップが計算され得る(210)。視差マップは視差値を含み、各々が、第1画像の所定のセクション内のそれぞれのピクセルと、第2画像内のその所定のセクションの一致するピクセルとの間の位置の差を示している。一致するピクセルは、それぞれのピクセルが属する同じセグメント内に規定された範囲内で(例えば、マッチングモジュール110によって)検索され得る。視差マップに基づいて所定のセクションについて、(例えば、図1Aに示す視差マップ生成器112によって)深度マップが算出され得る(212)。
[0092] ある実施形態では、任意選択的に、計算効率のため、深度マップの生成は、1対の画像間の変位の推定に基づき得る。ここで図3を参照すると、本開示の主題の特定の実施形態に従って、所定のセクションごとに深度マップを生成する一般化されたフローチャートが示されている。
[0093] 具体的には、第1画像及び第2画像の間の所定のセクションの変位が推定され(302)、それによって、第1画像及び第2画像の間の所定のセクションに重なり領域を生じさせることができる。所定のセクションの変位は、所定のセクションが第1画像及び第2画像の間でどの程度移動したかを参照する。言い換えると、所定のセクションの変位は、車両の移動に起因する2つの画像間の所定のセクションの相対位置を表している。ある実施形態では、第1画像及び第2画像の間の所定のセクションの変位は、画像の1以上の前の対における所定のセクションの1以上の変位に関して推定され得る。
[0094] したがって、視差マップは、その変位に基づいて、所定のセクション内の重なり領域について計算され得る(304)。一致するピクセルは、変位に基づいて規定された範囲内で、かつ、それぞれのピクセルが属する同じセグメント内で検索される。深度マップは、視差マップに基づいて、所定のセクション内の重なり領域に対して算出され得る(306)。
[0095] ここで図9を参照すると、本開示の主題の特定の実施形態に係る、各セクションの変位を推定する一例が示されている。
[0096] 4つのセクション(例えば、セクション1~4)が垂直方向に沿って分割されている、図8Aに示す例示的な1対の画像を続ける。セクションごとに、重なり領域の基準線が使用されて、セクションのそれぞれの変位を推定することができる。例として、基準線は、第2画像804の左エッジに沿った線902として選択され得る。線902は、画像の分割セクションに従って4つの部分に分割される。線902の各部分について、マッチング線が、第1画像802の対応のセクションで識別され得る。例えば、線902の第1部分について、マッチング線904は、第1画像802の第1セクションで見出される。マッチング線は、類似性メトリックを使用して見つけられ得る。例えば、線902の第1部分はベクトルとして表され得、かつ、検索は第1画像の第1セクションで実行され得る。線902のものとベクトル表現が最も似ている線がマッチング線として選択され得る。マッチング線904と第1画像の左エッジとの間の距離906は第1セクションの変位に対応する。マッチング線904と第1画像の右エッジとの間の第1セクション内の領域908は、第1画像802と第2画像804との間の重なり領域である。
[0097] 同様に、第1画像802に示すように、基準線902のそれぞれの部分、及び、それぞれの変位910、912及び914、に対応する他の3つのセクションの各々においてマッチング線が見出され得、かつ、これらのセクションについての対応の重なり領域が導出され得る。図から分かるように、(セクション2及びセクション3の変位の相対位置が示されているズームアウトビュー916に例示されているように)各セクションの変位は互いに異なる。
[0098] 図9の例では、基準線が第2画像から選択され、かつ、変位が第1画像上に示されているが、これは必ずしもそうであるとは限らず、かつ、本開示を決して限定するものとみなされるべきではないことに留意されたい。代替的に、基準線は第1画像から選択され得る。例として、基準線は、第1画像の右エッジに沿った線として選択され得、かつ、各セクションの変位が第2画像上に示され得る。本開示は、第1画像と第2画像との間の各セクションの変位を推定する特定の方法によって限定されない。
[0099] 特定の実施形態によれば、深度マップは、各セクションの重なり領域について生成される。ブロック304を参照して説明したように、重なり領域の視差マップを計算することができるように、変位が使用されて、重なり領域内の各ピクセルの一致するピクセルを見つけるための検索範囲を規定することができる。
[00100] 視差は、1対の画像内の対応の特徴又は画像点の位置(すなわち、水平座標)の差のことをいう。言い換えると、視差は、第1画像におけるその位置に対する第2画像におけるピクセル(又はピクセルブロック)の変位を示している。本開示の特定の実施形態によれば、視差マップは、1以上の分割されたセクションの各所定のセクションの重なり領域について別々に計算される(304)。視差マップは、第1画像の所定のセクション内のそれぞれのピクセルと第2画像内のその所定のセクションの一致するピクセルとの間の位置の差をそれぞれが示す視差値を含む。視差マップの値は、対応するピクセル位置のシーン深度に反比例する。視差の値を使用して、撮像装置の焦点距離と2つの画像間の距離とが与えられると、深度マップが生成され得る。
[00101] ここで図4を参照すると、本開示の主題の特定の実施形態に従って視差マップを計算する一般化されたフローチャートが示されている。
[00102] 第1画像内の重なり領域内の所定のピクセルごとに、変位に基づいて、第2画像内で、かつ、所定のピクセルが属する同じセグメント内で、(例えば、視差マップ生成器108のマッチングモジュール110によって)範囲が規定される(402)。例として、図9に示すように、第1画像の重なり領域908のピクセルごとに、検索範囲は、(変位によって導出されるように)第2画像の対応の重なり領域内にあるように規定される。さらに、図8Bに例示するように、セクション1は実際には2つのセグメントを含む。したがって、第1セクション内の特定のセグメント内のピクセルの検索範囲を規定する場合、一致するピクセルの範囲は、第2画像内の同じ特定のセグメント内にさらに限定されるべきである。ある実施形態では、図6を参照して説明したように、垂直アライメントプロセスで導出された一致する特徴を考慮して、規定された範囲内で一致するピクセルが検索され得る。例として、第1画像内の抽出された特徴に所定のピクセルが属する場合、所定のピクセルの一致するピクセルが、規定された範囲内で検索され、かつ、(存在する場合)抽出された特徴の照合された特徴内でも検索される。
[00103] マッチング方法を使用して、規定された範囲内の第2画像において、所定のピクセルに対する一致するピクセルが(例えば、マッチングモジュール110によって)検索され得る(404)。所定のピクセルと一致するピクセルとの間の位置の差が(例えば、視差マップ生成器108によって)計算され(406)、所定のピクセルに対応する視差値を生じさせることができる。
[00104] 例として、本開示において一致するピクセルを見つけるために使用可能な1つのマッチング方法は、セグメンテーション係数によって正則化された、最適化されたセミグローバルマッチング方法である。セミグローバルマッチング(SGM)は、修正された画像対(例えば、垂直にアライメントされた画像対)から視差マップを推定するためのコンピュータビジョンアルゴリズムのことをいう。
[00105] 具体的には、修正された画像対が与えられた場合、一方の画像の座標(x、y)を有するピクセルに対して、通常、他方の画像のピクセル候補のセットが、上で規定した検索範囲によって選択される。例として、ピクセル候補のセット(x’、y)は、(所定のピクセルが2つの画像のどちらからのものかに応じて){(x’、y)|x>x+d}又は{(x’、y)|x<x+d}として選択され得、dは変位を参照する。ピクセル候補のセット(x’、y)は、(x、y)と同じセグメントに属するようにさらに制限される。概して、他方の画像のピクセル候補のセット内の各ピクセルに対する一方の画像のピクセルの類似性は、類似性測度を使用して測定され得る。最も一致するピクセルの類似性テストは多くの偽の一致を生成し得るという事実により、以下の形式のような、隣接ピクセル間の視差のジャンプにペナルティを課す、一致項D(p、dp)と正則化項R(dp、dq)とによって構成されたコスト関数が使用され得る:
Figure 2023529332000002
D(p、dp)は、視差dを有するピクセルpでのピクセルごとの非類似度コストであり、R(p、dp、q、dq)は、隣接ピクセルNのすべての対について、それぞれ視差dp及びdqを有するピクセルp及びq間の正則化コストである。
[00106] 非類似性コストD(p、dp)は、原則として、例えば絶対又は二乗の強度差などの任意の局所画像非類似性測度を使用することができる。正則化項は以下のような形式を有する:
Figure 2023529332000003
P1及びP2は2つの定数パラメータであり、P1<P2である。三方比較により、視差のユニタリ変化に対してより小さなペナルティを割り当てることを可能にし、したがって、例えば、斜面に対応する平滑な移行を可能にし、かつ、一定のペナルティ項による不連続性を維持しながら、より大きなジャンプにペナルティを課す。
[00107] 本開示の主題の特定の実施形態によれば、セグメンテーション係数によって正則化された、最適化されたセミグローバルマッチング方法が使用されて、重なり領域内の各ピクセルの一致するピクセルを見つけることができる。例として、最適化されたセミグローバルマッチング方法は、セグメンテーション係数に従ってそのコスト関数を調整することによって正則化され得る。セグメンテーション係数は、候補ピクセル及びその1以上の隣接ピクセルが同じセグメントに属するかどうかを示すことができる。一致するピクセルは、調整されたコスト関数を使用して、規定された範囲内の1以上の候補ピクセルから選択される。調整されたコスト関数の一例は以下の形式であり得る:
Figure 2023529332000004
D(p、dp)は視差dを有するピクセルpにおけるピクセルごとの非類似性コストであり、R(p、dp、sp、q、dq、sq)としても参照されるR(p、dp、q、dq、s)は、追加のセグメンテーション係数を用いて調整された正則化コストであり、すなわち、隣接ピクセルNのすべての対について、視差d及びdとセグメントs、sをそれぞれ有するピクセルp及びqの間の正則化コストである。
[00108] 具体的には、正則化コストR(p、dp、sp、q、dq、sq)は、以下の形式であり得る:
Figure 2023529332000005
P1、P2、P3及びP4は4つの定数パラメータであり、P1<P2<P3<P4である。
[00109] 調整されたコスト関数は、ピクセルp及びqのセグメントを考慮した五方比較を利用する。具体的には、ピクセルp及びqの間の視差の変化を考慮することに加えて(例えば、dp=dq、|dp-dq|=1又は|dp-dq|>1であるかどうか)、ピクセルp及びqが同じセグメント又は異なるセグメントに属するかどうかを考慮することにも注意が払われる。p及びqの間の視差におけるユニタリ変化に、かつ、p及びqが同じセグメントに属している場合、小さいペナルティが割り当てられる一方で、特にp及びqが異なるセグメントに属している場合、視差の大きなジャンプにペナルティが課される。
[00110] ここで図10A及び図10Bを参照すると、本開示の主題の特定の実施形態に係る、改良されたセミグローバルマッチング方法を使用して一致するピクセルを検索する例が示されている。
[00111] 例示的な1対の画像802及び804を続けると、第1画像802の重なり領域内の所定のピクセル1002が図10Aに示されている。所定のピクセル1002について一致するピクセルを検索するため、水平走査線1004が引かれ、第2画像の走査線1004(すなわち、重なり領域の範囲を示す左端から破線との交点まで)に沿って検索範囲1006が規定され得る。一致するピクセルは、改善されたセミグローバルマッチング方法を使用して第2画像内の規定された範囲1006内で検索される。
[00112] 具体的には、特定の実施形態によれば、所定のピクセルに関して範囲内のピクセルに非類似性コストD(p、dp)を適用すると、図10A(Y軸は非類似性コストを表し、X軸は視差値を表している)に示されるグラフに示すように、最小の非類似性コストを提供する3つの候補1008が選択される。3つの候補1008は、第2画像における検索された範囲内の3つの候補ピクセル1010に対応する。3つの候補ピクセルの各々について、調整された正則化コストR(p、dp、sp、q、dq、sq)が、候補ピクセルに関するその1以上の隣接ピクセルに適用され得、かつ、(隣接ピクセルと、セグメンテーション係数を考慮した候補ピクセルとの間の視差のユニタリ変化を示す)最小正則化コストを与える候補ピクセルが、所定のピクセル1002の一致するピクセルとして選択され得る。
[00113] 画像802及び804の同じ対を有する図10Bに示す例では、第1画像802の重なり領域内の別の所定のピクセル1020が示されている。図10Bに示すグラフに示すように、所定のピクセルに関して検索範囲内のピクセルに非類似性コストD(p、dp)を適用した後、最小の非類似性コストを提供するただ1つの候補1022が選択される。候補1022は、第2画像の検索された範囲内の候補ピクセル1024に対応する。候補ピクセルは1つしかないので、それに正則化コストを適用する必要はなく、候補ピクセル1024が、ピクセル1020の一致するピクセルとして選択される。
[00114] 図4に戻ると、一致するピクセルが見つけられると、所定のピクセルと一致するピクセルとの間の位置の差が計算され(406)、所定のピクセルに対応する視差値を生じさせる。402~406のプロセスが重なり領域内の各ピクセルに対して実行された後、視差値を含む視差マップが、図3のブロック304で説明するように、所定のセクション内の重なり領域に対して生成される。
[00115] 図2の説明を続けると、視差マップに基づいて所定のセクション内の重なり領域について(例えば、深度マップ生成器112によって)深度マップが算出され得る(212)。上述したように、視差マップの値は、対応のピクセル位置でのシーン深度に反比例する。例として、視差の値を使用して、撮像装置の焦点距離及び2つの画像間の距離が与えられると、深度マップが生成され得る。
[00116] 特定の実施形態によれば、所定のセクションごとの深度マップが組み合わせられて1対の画像の深度マップを生成するのに使用可能である。例として、図9に示すように、4つのセクションの各々における重なり領域の深度マップが生成される。4つの深度マップが組み合わせられて、1対の画像の深度マップを生成することができる。例えば、組み合わせられた深度マップは、4つのセクション内の重なり領域の中で共通の重なり領域に対応し得る。
[00117] 図11は、本開示の主題の特定の実施形態に係る、さまざまなセクションの重なり領域の間の共通の重なり領域を示している。図示するように、垂直ストライプ1102が、4つのセクション間の共通/共有の重なり領域を表している。例えば、4つの重なり領域のうち水平方向の寸法が最も小さいものに従って、4つの重なり領域から共通の重なり領域が抽出され得る。
[00118] 特定の実施形態によれば、1対の画像の共通の重なり領域に対して生成された深度マップが使用されて、車両の表面部分全体に対応する完全な深度マップを生成することができる。図5に例示するように、一連の画像フレームは、車両と撮像装置との間の相対移動中の複数のnの時点で撮像装置によってキャプチャされる。f-fのフレームは、車台のそれぞれの一部をキャプチャし、かつ、キャプチャされた一部は範囲内で部分的に重ね合わせられる。したがって、図2で説明した深度推定プロセスは、各1対の画像(例えば、各々2つの隣接フレーム)に対して実行され得、かつ、各1対の画像に対して生成された深度マップが組み合わせられ/つなぎ合わせられて、車台に対応する完全な深度マップを形成することができる。図12は、元の車台画像と、本開示の主題の特定の実施形態に係る、車台に対応する完全な深度マップと、の一例を示している。図示するように、深度マップ1204のさまざまなグレーレベルは、視点に対する元の画像1202のさまざまな深度レベルを示している。この例では、ピクセルが明るいほど、グレーレベルは視点に近くなる。
[00119] 特定の実施形態によれば、最適化された深度出力を提供するために、生成された深度マップがさらに処理され得る。例として、深度マップ内の各ピクセル/値の深度推定の信頼レベルを示す、深度マップに対応する信頼マスクが生成され得る。信頼度の低い深度マップ内のピクセルについて、最適化プロセスが実行されて、信頼度の高いピクセルデータを使用してそのようなピクセル(例えば、隣接するピクセル)を置換又は修正することができる。
[00120] 生成された深度マップはさまざまなアプリケーションで使用され得る。ある実施形態では、深度マップが使用されて、画像にキャプチャされたターゲットオブジェクト/シーンの異常を検出することができる。異常は、画像内の予想されるパターン、挙動又はその他の項目に一致しない、画像内に現れる任意の項目、オブジェクト又は観測を参照し得る。通常、識別された異常は、特定の種類の潜在的な欠陥、脅威、誤動作などを示し得る。例として、画像内のターゲットオブジェクトが車両の車台である場合、異常は、元々車両に属していないその中に埋め込まれた追加のオブジェクト、又は、予想されるものとは異なる外観を有するものとして観察された既存のオブジェクトであり得る。別の例として、異常は、車両の車台の疑わしい観察であり得、例えば、車台のフレームが、通常の車台の外観とは区別される異なる色に塗装されていた場合である。別の例として、画像内のターゲットオブジェクトが車両タイヤ/ホイールである場合、異常は、タイヤの損傷又は磨耗(引っかき傷など)のことをいう場合がある。具体的には、場合によっては、深度マップが、異常検出に使用される機械学習モデルを訓練するために提供される追加の入力として(例えば、元の入力画像に加えて)使用され得る。
[00121] 別の例として、深度マップが使用されて、画像内にキャプチャされたオブジェクト/シーンの3Dモデルを作成することができる。例えば、車両の3Dモデルが、2次元のデータを提供する元のキャプチャされた2D画像と、3次元のデータを提供する対応の深度マップと、に基づいて作成され得る。
[00122] 本開示の特定の態様から生じる技術的利点のうちの1つは、例えば、生成された深度マップの精度を改善し、かつ、計算効率を高めることによって、深度推定の最適化である。これは、少なくとも、入力画像のセグメンテーション結果を利用することによって、具体的には、1対の画像をセグメンテーションに従って複数のセクションに分割し、かつ、一致するピクセルを検索するときに、検索がより効率的かつ正確であり得るように、セグメントに基づいて検索範囲を規定することによって、達成される。さらに、場合によっては、セグメンテーション係数によって正則化された、最適化されたマッチング方法を使用して、一致するピクセルが検索され得る。具体的には、マッチング方法のコスト関数は、候補ピクセルのセグメンテーションを示すセグメンテーション係数に従って調整され、それによって、最良の一致するピクセルを見つける機会を増加させる。
[00123] 本開示の特定の実施形態は車両画像の例で説明されているが、これは例示及び説明のみを目的としていることに留意されたい。本開示の深度推定方法は、任意のターゲットコンテンツ/シーン及びそこに含まれるオブジェクト/エンティティを有する画像に利用され得る。
[00124] 特定の実施形態によれば、深度マップ生成の方法は:ターゲットシーン/オブジェクトと少なくとも1つの撮像装置との間の相対移動中の2つの時点で少なくとも1つの撮像装置によって取得された第1画像及び第2画像を含む1対の画像を取得するステップであって、第1画像及び第2画像は、ターゲットシーン/オブジェクトの表面部分のそれぞれの一部をキャプチャし、キャプチャされた一部は部分的に重ね合わせられ、1対の画像は、表面部分をキャプチャする画像全体の一部を構成する、取得するステップと;画像全体の少なくとも一部に対応するセグメンテーションマップを取得するステップであって、セグメンテーションマップは、画像全体の少なくとも一部に含まれる1以上のコンポーネントに対応する1以上のセグメントを含み、1以上のコンポーネントは、撮像装置に対してそれぞれの深度レベルに配置される、取得するステップと;セグメンテーションマップに従って、1対の画像を1以上のセクションに分割するステップと;1以上のセクションの所定のセクションごとに、深度マップを生成するステップであって:i)所定のセクションの視差マップを計算するステップであって、視差マップは視差値を含み、各々は、第1画像内の所定のセクション内のそれぞれのピクセルと第2画像内のその所定のセクションの一致するピクセルとの間の位置の差を示し、一致するピクセルは、それぞれのピクセルが属する同じセグメント内に規定された範囲内で検索される、計算するステップと;ii)視差マップに基づいて所定のセクションの深度マップを算出するステップであって、各所定のセクションの深度マップが、1対の画像の深度マップを生成するために組み合わせられて使用可能である、算出するステップと、を含み得る。
[00125] 本開示において深度推定システムを参照して示した例及び実施形態は、決して、すべての可能な代替案を含むものではないが、非限定的な例のみを示すことを意図していることを理解されたい。
[00126] 本開示は、その適用において、本明細書に含まれる又は図面に示される説明に記載される詳細に限定されないことを理解されたい。本開示は、他の実施形態を可能にし、かつ、さまざまな方法で実施及び実行され得る。したがって、本明細書で採用される表現及び用語は、説明を目的としたものであり、かつ、限定するものとみなされるべきではないことを理解されたい。したがって、当業者は、本開示が基づく概念が、本開示の主題のいくつかの目的を実行するための他の構造、方法及びシステムを設計するための基礎として容易に利用され得ることを理解する。
[00127] 本開示に係るシステムは、少なくとも部分的に、適切にプログラムされたコンピュータに実装され得ることも理解される。同様に、本開示は、本開示の方法を実行するためのコンピュータによって読み取り可能なコンピュータプログラムを考慮している。本開示はさらに、本開示の方法を実行するためにコンピュータによって実行可能な命令のプログラムを有形に具体化する非一時的なコンピュータ可読メモリ又は記憶媒体を考慮している。
[00128] プロセッサに、本開示の態様を実行させる非一時的コンピュータ可読記憶媒体は、命令実行デバイスによって使用される命令を保持及び格納することができる有形のデバイスであり得る。コンピュータ可読記憶媒体は、例えば、電子記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置又はこれらの任意の適切な組み合わせであり得るが、これらに限定されない。
[00129] 当業者は、添付の特許請求の範囲で定義される及び特許請求の範囲によって定義されるその範囲から逸脱することなく、前述の本開示の実施形態にさまざまな修正及び変更が適用可能であることを容易に理解する。

Claims (25)

  1. 深度マップ生成のコンピュータ化された方法であって、前記方法は、プロセッサ及びメモリ回路(PMC)によって実行され、前記方法は、
    車両と少なくとも1つの撮像装置との間の相対移動中の2つの時点で前記少なくとも1つの撮像装置によって取得された第1画像及び第2画像を含む1対の画像を取得するステップであって、前記第1画像及び前記第2画像は、前記車両の表面部分のそれぞれの一部をキャプチャし、かつ、キャプチャされた前記一部は部分的に重ね合わせられ、前記1対の画像は、前記表面部分をキャプチャする画像全体の一部を構成する、取得するステップと、
    前記画像全体の少なくとも一部に対応するセグメンテーションマップを取得するステップであって、前記セグメンテーションマップは、前記画像全体の前記少なくとも一部に含まれる1以上の車両コンポーネントに対応する1以上のセグメントを含む、取得するステップと、
    前記セグメンテーションマップに従って、前記1対の画像を1以上のセクションに分割するステップと、
    前記1以上のセクションの所定のセクションごとに、深度マップを生成するステップであって、
    i)前記所定のセクションの視差マップを計算するステップであって、前記視差マップは、前記第1画像の前記所定のセクション内のそれぞれのピクセルと前記第2画像内の前記所定のセクションの一致するピクセルとの間の位置の差を各々示す視差値を含み、前記一致するピクセルは、それぞれの前記ピクセルが属する同じ前記セグメント内で規定された範囲内で検索される、計算するステップと、
    ii)前記視差マップに基づいて前記所定のセクションの深度マップを算出するステップであって、所定のセクションごとの前記深度マップは、前記1対の画像の深度マップを生成するために組み合わせられて使用可能である、算出するステップと、を含む、生成するステップと、を含む、コンピュータ化された方法。
  2. 前記深度マップを生成するステップは、前記第1画像と前記第2画像との間で前記所定のセクションの変位を推定して、それによって、前記第1画像と前記第2画像との間の前記所定のセクションに重なり領域を生じさせるステップをさらに含み、
    前記計算するステップは、前記所定のセクションの変位に基づいて前記所定のセクション内の前記重なり領域の視差マップを計算するステップを含み、前記一致するピクセルは、前記変位に基づいて規定された範囲内、かつ、それぞれの前記ピクセルが属する同じ前記セグメント内で検索され、
    前記算出するステップは、前記視差マップに基づいて前記所定のセクション内の前記重なり領域の深度マップを算出するステップを含む、請求項1に記載のコンピュータ化された方法。
  3. 前記1対の画像は、前記相対移動の方向に垂直な方向に沿って、前記セグメンテーションマップに従って1以上のセクションに分割される、請求項1に記載のコンピュータ化された方法。
  4. 前記1対の画像は、前記セグメンテーションマップの前記1以上のセグメントに対応する1以上のセクションに分割される、請求項1に記載のコンピュータ化された方法。
  5. 前記第1画像及び前記第2画像の間の前記所定のセクションの変位は、1以上の前の対の画像の前記所定のセクションの1以上の変位に関して推定される、請求項2に記載のコンピュータ化された方法。
  6. 前記視差マップを計算するステップは、前記第1画像の前記重なり領域の所定のピクセルごとに、
    前記変位に基づいて、かつ、前記所定のピクセルが属する同じ前記セグメント内で、前記第2画像内の範囲を規定するステップと、
    規定された前記範囲内で、マッチング方法を使用して前記第2画像内の前記所定のピクセルの一致するピクセルを検索するステップと、
    前記所定のピクセルと前記一致するピクセルとの間の位置の差を計算して、前記所定のピクセルに対応する視差値を生じさせるステップと、を含む、請求項2に記載のコンピュータ化された方法。
  7. 前記マッチング方法は、セグメンテーション係数によって正則化された、最適化されたセミグローバルマッチング方法である、請求項6に記載のコンピュータ化された方法。
  8. 前記最適化されたセミグローバルマッチング方法は、前記セグメンテーション係数に従ってそのコスト関数を調整することによって正則化され、前記セグメンテーション係数は、候補ピクセル及び前記候補ピクセルの1以上の隣接ピクセルが同じ前記セグメントに属するかどうかを示し、かつ、前記検索するステップは、前記規定された範囲の1以上の候補ピクセルから前記一致するピクセルを選択するために、調整された前記コスト関数を使用するステップを含む、請求項7に記載のコンピュータ化された方法。
  9. 前記表面部分は前記車両の車台である、請求項1に記載のコンピュータ化された方法。
  10. 前記第1画像及び前記第2画像は少なくとも50%にわたって重ね合わせられる、請求項1に記載のコンピュータ化された方法。
  11. 前記画像全体は、複数の時点で前記少なくとも1つの撮像装置によってキャプチャされた複数の画像をつなぎ合わせることによって生成され、前記セグメンテーションマップは前記画像全体に対応し、かつ、前記セグメンテーションマップは、前記表面部分に含まれる1以上の車両コンポーネントに対応する1以上のセグメントを含む、請求項1に記載のコンピュータ化された方法。
  12. 前記セグメンテーションマップはセグメンテーションモデルを使用して生成され、前記セグメンテーションモデルは、前記車両の前記表面部分に含まれる前記1以上の車両コンポーネントに従って事前にセグメント化された前記表面部分の訓練画像のセットを備える訓練データセットを使用して訓練される、請求項11に記載のコンピュータ化された方法。
  13. 前記1対の画像から特徴を抽出するステップと、前記第1画像及び前記第2画像の間の前記特徴を照合するステップと、前記相対移動の方向に垂直な方向に沿って、照合された前記特徴の垂直変位を計算するステップと、前記垂直変位に従って前記1対の画像を調整するステップと、をさらに含む、請求項1に記載のコンピュータ化された方法。
  14. 前記一致するピクセルは、照合された前記特徴を考慮して、同じ前記セグメント内に規定される範囲で検索される、請求項13に記載のコンピュータ化された方法。
  15. 深度マップ生成のコンピュータ化されたシステムであって、前記システムは、プロセッサ及びメモリ回路(PMC)を備え、前記プロセッサ及びメモリ回路(PMC)は、
    車両と少なくとも1つの撮像装置との間の相対移動中の2つの時点で前記少なくとも1つの撮像装置によって取得された第1画像及び第2画像を含む1対の画像を取得することであって、前記第1画像及び前記第2画像は、前記車両の表面部分のそれぞれの一部をキャプチャし、かつ、キャプチャされた前記一部は部分的に重ね合わせられ、前記1対の画像は、前記表面部分をキャプチャする画像全体の一部を構成する、取得することと、
    前記画像全体の少なくとも一部に対応するセグメンテーションマップを取得することであって、前記セグメンテーションマップは、前記画像全体の前記少なくとも一部に含まれる1以上の車両コンポーネントに対応する1以上のセグメントを含む、取得することと、
    前記セグメンテーションマップに従って、前記第1画像を1以上のセクションに分割することと、
    前記第1画像の所定のセクションごとに、深度マップを生成することであって、
    i)前記所定のセクションの視差マップを計算するステップであって、前記視差マップは視差値を含み、各々は、前記第1画像の前記所定のセクション内のそれぞれのピクセルと前記第2画像内の前記所定のセクションの一致するピクセルとの間の位置の差を示し、前記一致するピクセルは、それぞれの前記ピクセルが属する同じ前記セグメント内で規定された範囲内で検索される、計算するステップと、
    ii)前記視差マップに基づいて前記所定のセクションの深度マップを算出するステップであって、所定のセクションごとの前記深度マップは、組み合わせられて前記1対の画像の深度マップを生成するために使用可能である、算出するステップと、を含む、生成することと、を行うように構成される、コンピュータ化されたシステム。
  16. 前記深度マップを生成する場合、前記PMCは、前記第1画像と前記第2画像との間の前記所定のセクションの変位を推定し、それによって、前記第1画像と前記第2画像との間の前記所定のセクションの重なり領域を生じさせるようにさらに構成され、
    前記PMCは、前記所定のセクションの変位に基づいて前記所定のセクション内の前記重なり領域の視差マップを計算するように構成され、前記一致するピクセルは、前記変位に基づいて規定された範囲内、かつ、それぞれの前記ピクセルが属する同じ前記セグメント内で検索され、かつ、前記PMCは、前記視差マップに基づいて前記所定のセクション内の前記重なり領域の深度マップを算出するように構成される、請求項15に記載のコンピュータ化されたシステム。
  17. 前記第1画像は、前記相対移動の方向に垂直な方向に沿って、前記セグメンテーションマップに従って1以上のセクションに分割される、請求項15に記載のコンピュータ化されたシステム。
  18. 前記第1画像は、前記セグメンテーションマップの前記1以上のセグメントに対応する1以上のセクションに分割される、請求項15に記載のコンピュータ化されたシステム。
  19. 前記第1画像及び前記第2画像の間の前記所定のセクションの変位は、1以上の前の対の画像の前記所定のセクションの1以上の変位に関して推定される、請求項16に記載のコンピュータ化されたシステム。
  20. 前記PMCは、
    前記第1画像の前記重なり領域の所定のピクセルごとに、
    前記変位に基づいて、かつ、前記所定のピクセルが属する同じ前記セグメント内で、前記第2画像の範囲を規定し、
    規定された前記範囲内で、マッチング方法を使用して前記第2画像内の前記所定のピクセルの一致するピクセルを検索し、
    前記所定のピクセルと前記一致するピクセルとの間の位置の差を計算して、前記所定のピクセルに対応する視差値を生じさせることによって、視差マップを計算するように構成される、請求項16に記載のコンピュータ化されたシステム。
  21. 前記マッチング方法は、セグメンテーション係数によって正則化された、最適化されたセミグローバルマッチング方法である、請求項20に記載のコンピュータ化されたシステム。
  22. 前記最適化されたセミグローバルマッチング方法は、前記セグメンテーション係数に従ってそのコスト関数を調整することによって正則化され、前記セグメンテーション係数は、候補ピクセル及び前記候補ピクセルの1以上の隣接ピクセルが同じ前記セグメントに属するかどうかを示し、かつ、検索することは、前記規定された範囲の1以上の候補ピクセルから前記一致するピクセルを選択するために、調整された前記コスト関数を使用することを含む、請求項21に記載のコンピュータ化されたシステム。
  23. 前記PMCは、前記1対の画像から特徴を抽出し、前記第1画像及び前記第2画像の間の前記特徴を照合し、前記相対移動の方向に垂直な方向に沿って、照合された前記特徴の垂直変位を計算し、かつ、前記垂直変位に従って前記1対の画像を調整するようにさらに構成される、請求項15に記載のコンピュータ化されたシステム。
  24. 前記一致するピクセルは、照合された前記特徴を考慮して、同じ前記セグメント内に規定された範囲内で検索される、請求項23に記載のコンピュータ化されたシステム。
  25. コンピュータによって実行されると、深度マップ生成の方法をコンピュータに実行させる命令のプログラムを有形に具現化する、非一時的コンピュータ可読記憶媒体であって、前記方法は、
    車両と少なくとも1つの撮像装置との間の相対移動中の2つの時点で前記少なくとも1つの撮像装置によって取得された第1画像及び第2画像を含む1対の画像を取得するステップであって、前記第1画像及び前記第2画像は、前記車両の表面部分のそれぞれの一部をキャプチャし、かつ、キャプチャされた前記一部は部分的に重ね合わせられ、前記1対の画像は、前記表面部分をキャプチャする画像全体の一部を構成する、ステップと、
    前記画像全体の少なくとも前記一部に対応するセグメンテーションマップを取得するステップであって、前記セグメンテーションマップは、前記画像全体の前記少なくとも一部に含まれる1以上の車両コンポーネントに対応する1以上のセグメントを含む、取得するステップと、
    前記セグメンテーションマップに従って、前記第1画像を1以上のセクションに分割するステップと、
    前記第1画像の所定のセクションごとに、深度マップを生成するステップであって、
    i)前記所定のセクションの視差マップを計算するステップであって、前記視差マップは視差値を含み、各々は、前記第1画像の前記所定のセクション内のそれぞれのピクセルと前記第2画像の前記所定のセクションの一致するピクセルとの間の位置の差を示し、前記一致するピクセルは、それぞれの前記ピクセルが属する同じ前記セグメント内に規定された範囲内で検索される、計算するステップと、
    ii)前記視差マップに基づいて前記所定のセクションの深度マップを算出するステップであって、所定のセクションごとの前記深度マップは、前記1対の画像の深度マップを生成するために組み合わせられて使用可能である、算出するステップと、を含む、生成するステップと、を含む、非一時的コンピュータ可読記憶媒体。
JP2022573637A 2020-06-10 2021-06-06 深度推定システム及び深度推定方法 Active JP7566358B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/897,684 2020-06-10
US16/897,684 US11430143B2 (en) 2020-06-10 2020-06-10 System of depth estimation and method thereof
PCT/IL2021/050673 WO2021250654A2 (en) 2020-06-10 2021-06-06 System of depth estimation and method thereof

Publications (3)

Publication Number Publication Date
JP2023529332A true JP2023529332A (ja) 2023-07-10
JPWO2021250654A5 JPWO2021250654A5 (ja) 2024-06-17
JP7566358B2 JP7566358B2 (ja) 2024-10-15

Family

ID=78825776

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022573637A Active JP7566358B2 (ja) 2020-06-10 2021-06-06 深度推定システム及び深度推定方法

Country Status (4)

Country Link
US (1) US11430143B2 (ja)
EP (1) EP4165598A4 (ja)
JP (1) JP7566358B2 (ja)
WO (1) WO2021250654A2 (ja)

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6873723B1 (en) * 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
GB0125774D0 (en) 2001-10-26 2001-12-19 Cableform Ltd Method and apparatus for image matching
US6856344B2 (en) 2002-04-02 2005-02-15 Robert H. Franz Vehicle undercarriage inspection and imaging method and system
US8411934B2 (en) * 2007-11-09 2013-04-02 Thomson Licensing System and method for depth map extraction using region-based filtering
EP2309452A1 (en) * 2009-09-28 2011-04-13 Alcatel Lucent Method and arrangement for distance parameter calculation between images
CN103493093B (zh) 2011-11-17 2017-07-18 松下知识产权经营株式会社 图像处理装置、摄像装置及图像处理方法
US8605993B2 (en) * 2011-11-21 2013-12-10 Robo-team Ltd. Methods and systems of merging depth data from a plurality of disparity maps
DE102012211791B4 (de) 2012-07-06 2017-10-12 Robert Bosch Gmbh Verfahren und Anordnung zum Prüfen eines Fahrzeugunterbodens eines Kraftfahrzeuges
US20190012789A1 (en) 2015-07-21 2019-01-10 Heptagon Micro Optics Pte. Ltd. Generating a disparity map based on stereo images of a scene
TWI638090B (zh) 2017-03-23 2018-10-11 陳金福 curtain
DE102017217140B4 (de) * 2017-09-27 2022-03-31 Robert Bosch Gmbh Verfahren und Vorrichtung zur Ansteuerung eines Fahrerassistenzsystems unter Verwendung eines Stereokamerasystems mit einer ersten und einer zweiten Kamera
US10650530B2 (en) 2018-03-29 2020-05-12 Uveye Ltd. Method of vehicle image comparison and system thereof
US10782691B2 (en) * 2018-08-10 2020-09-22 Buffalo Automation Group Inc. Deep learning and intelligent sensing system integration
SG11202105016PA (en) 2018-11-15 2021-06-29 Uveye Ltd Method of anomaly detection and system thereof
US11935222B2 (en) 2018-12-13 2024-03-19 Uveye Ltd. Method of automatic tire inspection and system thereof
CN113544467B (zh) * 2019-03-07 2024-09-10 御眼视觉技术有限公司 对齐用于导航的道路信息
US11157774B2 (en) * 2019-11-14 2021-10-26 Zoox, Inc. Depth data model training with upsampling, losses, and loss balancing
US20210150278A1 (en) * 2019-11-14 2021-05-20 Zoox, Inc. Depth data model training

Also Published As

Publication number Publication date
EP4165598A2 (en) 2023-04-19
WO2021250654A2 (en) 2021-12-16
EP4165598A4 (en) 2023-12-20
US11430143B2 (en) 2022-08-30
JP7566358B2 (ja) 2024-10-15
US20210390720A1 (en) 2021-12-16
WO2021250654A3 (en) 2022-05-05

Similar Documents

Publication Publication Date Title
CN110569704B (zh) 一种基于立体视觉的多策略自适应车道线检测方法
Guerry et al. Snapnet-r: Consistent 3d multi-view semantic labeling for robotics
JP5926228B2 (ja) 自律車両用の奥行き検知方法及びシステム
Menze et al. Object scene flow for autonomous vehicles
CN103814306B (zh) 深度测量质量增强
JP7224603B2 (ja) 車両画像の比較方法とそのシステム
Saeedi et al. Vision-based 3-D trajectory tracking for unknown environments
CN114365200A (zh) 结构注释
Kang et al. Detection and tracking of moving objects from a moving platform in presence of strong parallax
EP2757527B1 (en) System and method for distorted camera image correction
JP7130216B2 (ja) 車両画像の比較方法とそのシステム
KR20150144728A (ko) 이동 로봇의 맵을 업데이트하기 위한 장치 및 그 방법
CN111340922A (zh) 定位与地图构建的方法和电子设备
Sakurada et al. Dense optical flow based change detection network robust to difference of camera viewpoints
Long et al. A real-time dense stereo matching method for critical environment sensing in autonomous driving
KR101699014B1 (ko) 스테레오 카메라를 이용한 객체 검출 방법 및 장치
Burlacu et al. Obstacle detection in stereo sequences using multiple representations of the disparity map
JP2023017341A (ja) モデル生成方法、モデル生成装置、モデル生成プログラム、移動体姿勢推定方法、及び移動体姿勢推定装置
Wietrzykowski et al. Stereo plane R-CNN: Accurate scene geometry reconstruction using planar segments and camera-agnostic representation
Wang et al. Improving deep stereo network generalization with geometric priors
JP7566358B2 (ja) 深度推定システム及び深度推定方法
Fan et al. Collaborative three-dimensional completion of color and depth in a specified area with superpixels
Diskin et al. Dense 3D point-cloud model using optical flow for a monocular reconstruction system
van de Wouw et al. Hierarchical 2.5-d scene alignment for change detection with large viewpoint differences
Zhu et al. Toward the ghosting phenomenon in a stereo-based map with a collaborative RGB-D repair

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240605

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240607

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20240607

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240827

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240925