JP2023547647A - マスキングするための方法、コンピュータプログラム、記憶媒体及び電子制御ユニット - Google Patents

マスキングするための方法、コンピュータプログラム、記憶媒体及び電子制御ユニット Download PDF

Info

Publication number
JP2023547647A
JP2023547647A JP2023526351A JP2023526351A JP2023547647A JP 2023547647 A JP2023547647 A JP 2023547647A JP 2023526351 A JP2023526351 A JP 2023526351A JP 2023526351 A JP2023526351 A JP 2023526351A JP 2023547647 A JP2023547647 A JP 2023547647A
Authority
JP
Japan
Prior art keywords
environment
cell
cells
node
masking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023526351A
Other languages
English (en)
Inventor
サイド アザルディン
カルリンスキイ イゴール
ブスラー ミヒャエル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of JP2023547647A publication Critical patent/JP2023547647A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/77Retouching; Inpainting; Scratch removal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/162Segmentation; Edge detection involving graph-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20104Interactive definition of region of interest [ROI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

入力画像(5)内の車両、特にオフロード車両の静的区画(3)をマスキングするための方法に関する。入力画像(5)は、車両、特にオフロード車両の少なくとも1つの区画と、車両環境(6)とを含み、入力画像(5)に基づいて、原型マスキング(7)が選択及び/又は画定され、原型マスキング(7)は、車両、特にオフロード車両の少なくとも1つの静的区画(3)をマスキングし、入力画像(5)は、ノード(12)、縁部(11)及びセル(10)を有するグリッド(9)に区切られ、セル(10)は、3つの縁部(11,E)によって画定され、1つの縁部(11,E)は、少なくとも第1及び第2のノード(12,N)を有し、少なくとも1つのノード(12,N)が原型マスキング(7)内に存在し、さらに全てのノード(12,N)が原型マスキング(7)内に存在しない縁部(13)を有するセル(10)として環境セル(14)が選択され、各環境セル(14)は、それぞれ4つの環境部分セル(15)に分割され、分割のために環境セル(14)の3つの縁部(11,E)の各々にさらなるノード(N)が導入され、環境セル(14)の導入されたノード(N)は、導入された縁部(E)を用いて接続される。

Description

従来技術
本発明は、入力画像内の車両、特にオフロード車両の静的区画をマスキングするための方法に関する。
画像の複数の区画をマスキングすることは、様々な技術分野において利用されている。ここでは、マスキングに対して、グラフ理論及び/又はグリッドを用いた手法が公知である。
例えば、Randolph E. Bank, Andrew H. Sherman und Alan Weiser著による刊行物「Refinement algorithms and data structures for regular local mesh refinement」(Scientific computing (Montreal, Que-bec, 1982年、IMACS Transactions on Scientific Computation, I, IMACS, New Brunswick, NJ, 1983年、第3-17頁))は、グリッドを細分化させるためのアルゴリズムについての記述であり、ここでのグリッドは、特に三角グリッドを形成している。
Randolph E. Bank, Andrew H. Sherman und Alan Weiser著による刊行物「Refinement algorithms and data structures for regular local mesh refinement」(Scientific computing (Montreal, Que-bec, 1982年、IMACS Transactions on Scientific Computation, I, IMACS, New Brunswick, NJ, 1983年、第3-17頁))
発明の開示
請求項1の特徴を有する、入力画像内の車両、特にオフロード車両の静的区画をマスキングするための方法が提案される。さらに、コンピュータプログラム、機械可読記憶媒体及び電子制御ユニットが提案される。好適な及び/又は有利な実施形態は、従属請求項、以下の説明及び添付の図面から明らかとなる。
入力画像内の区画をマスキングするための方法が提案される。マスキングとは、特に、原型マスク及び/又は既存のマスクの調整及び微細化とも理解されたい。さらに、マスクとマスキングとは、実質的に同義に使用される。特に、静的区画をマスキングするための方法が構成され、この場合、静的区画とは、好適には、車両区画、車両、特にオフロード車両の1つの区画、及び/又は、複雑な形状の静的区画である。例えば、本方法によれば、例えばカメラ、特に車両カメラによって撮影された画像内において、例えば、車両、オフロード車両、及び/又は、それに接続された区画に属するために静的状態である区画はマスキングされるべきである。マスキングにより、例えば、そのような区画は、隠され、覆われ、及び/又は、簡略化されて表示されるものとしてよく、及び/又は、そのようにされるべきである。オフロード車両とは、例えば、フロアコンベア車両、特に、フォークリフトと理解されたい。さらに、オフロード車両とは、例えば、掘削機、クレーン、輸送車両又は建設機械などの建設車両と理解されたい。単純な自動車(自家用車)と異なって、オフロード車両は、例えば、フォークリフトのフォーク、掘削ショベル、クレーン区画、及び/又は、その他の静的区画など、非常に複雑な構造及び/又は幾何学形状を有している。
入力画像は、少なくとも1つの静的区画、好適には車両、特にオフロード車両の区画と、車両環境とを含み及び/又は示す。例えば、入力画像は、車両カメラの記録に基づいており、及び/又は、車両カメラの記録として形成されており、ここで、車両カメラは、車両環境や車両、特にオフロード車両、又は、器具の区画を撮像する。入力画像に基づいて、原型マスキングが選択及び/又は決定される若しくはされている。例えば、ユーザ又は人により原型マスキングは、入力画像において又は入力画像に基づいて、グラフィカルに又は英数字で選択及び/又は画定され得る。特に、原型マスキングは、例えば、オブジェクト認識アルゴリズムによって選択及び/又は画定され得る。原型マスキングは、入力画像の静的区画、例えば、入力画像に記録され、及び/又は、含まれている車両、特にオフロード車両の静的区画をマスキングし、画定し、及び/又は、記述する。原型マスキングは、特に二次元の面であり、この場合、この面は、部分面として連続的又は非連続的に形成されるものとしてよい。原型マスキングは、特に、輪郭、例えば外縁及び/又は原型マスキングを車両環境から画する縁部領域を有する。
入力画像は、グリッドによって、グリッドを用いて及び/又はグリッドに、区画化、分割、及び/又は、分解される。グリッドは、ノード、縁部及びセルを含む。グリッドは、好適には、三角形化されたグリッドであり、ここで、セルは、三角形を形成する。グリッドは、さらに、メトリックを有し得るものであり、順序立て得るものであり、及び/又は、規則的に形成され得るものである。セルは、最初に確定されたグリッドについて、好適には、正三角形であり、及び/又は、規則的に配置され、ここで、最初は特に、セルは、まだ本方法によってさらに分割されていないことを理解されたい。セルは、ノード及び縁部を含み、及び/又は、ノード及び縁部によって画定される。ノードは、例えば、点として理解することができ、ここで、三角形セルについては、3つのノードが、隅部として存在している。縁部は、例えば、線として理解することができ、ここで、三角形セルは、3つの縁部によって画定される。これらの縁部は、特に、頂点を形成するセルのノードを接続する。特に、頂点として形成された2つのノードの間の縁部上にさらなるノードが挿入されるものとしてよく及び/又は挿入され、ここで、そのように導入されたノードは、例えば、付加的ノードと称される。2つの隣接するセルは、特に、共通縁部を介して接続される。三角形セルについては、ノード、特に頂点は、6の価数を有し、この場合、このことは、ノードにとって、それが6つのセルに属し、及び/又は、6つのセルに隣接していることを意味する。特に、本方法を実施するために、ノード対隣接するセルテーブル及びノード対縁部のテーブルを作成及び/又は使用することができる。ノード対隣接するセルテーブルは、例えば、ノードの価数6を起点として、各ノードに対して6つまでの属するセル及び/又は隣接するセルを記憶する。ノード対縁部テーブルは、既知の縁部に対して、2つの属するセル及び/又は隣接するセルと、特に縁部が分割された縁部を形成する場合、ノード識別子(Id)とを格納する。ノード対縁部テーブルは、例えば、順序の考慮なしでインデックスを決定する関数getindex()を介して取得することが可能である。
本方法は、環境セルの選択を想定するものである。環境セルとして、少なくとも1つのノードが原型マスキング内に存在する縁部を有するグリッドのセルが選択され、さらに縁部の全てのノードではないことが当てはまる縁部を有するグリッドのセルが選択される。したがって、この種の縁部は、例えば、原型マスキング内に部分的な経過を有する縁部である。特に、この種のセルは、原型マスキングの輪郭と交差する1つ又は2つの縁部を有する。グリッドのセルからの環境セルの選択は、例えば、本方法が入力画像に最初に適用される場合、特にグリッドの全てのセルから行われる。例えば、選択は、実施及び/又は適用が繰り返される場合、本方法の反復時及び/又は本方法若しくは本方法ステップの繰り返し時に、以前に分割された、及び/又は、原型グリッドによって設定されなかったグリッドのセルからのみ行われる。
本方法は、選択された環境セルが分割されることを想定するものである。この環境セルは、ここでは、特に、それぞれ4つの環境部分セルに分割される。選択された環境セルから分割によって4つの環境部分セルが得られ、ここで、4つの環境部分セルは、特に、それらが由来する分割された環境セルを置き換える。例えば、分割された環境セルは、グリッド内の4つの環境部分セルに置き換えられる。環境セル、特に環境セルの各々を分割するために、環境セルの縁部の各々、特に3つの縁部上にそれぞれさらなるノードが導入される。導入されたノードは、それぞれの縁部の分割のために用いられる。2つのノードによって画定されていた縁部は、次いで、例えば3つのノードを含み、ここで、1つの原型縁部が、ここで、特に共通のノードを有する2つの新たな縁部として把握することができるようになる。環境セルを4つの環境部分セルに分割するために、3つの縁部が導入され、ここで、これらの3つの導入された縁部は、導入されたノードの接続によって決定され及び/又は取得される。
したがって、原型マスキングとの重なりを有する選択された環境セルを分割することにより、原型マスキングの環境は、より小さくより微細なセルに分割される。それにより、非常に大きい計算コストやメモリコストにつながりかねないグリッドの全てのセルが分割されることになるのではなく、危急とみなされるセルだけが分割される。オフロード車両及び/又はその静的区画の輪郭や幾何学形状は非常に複雑であるため、そのマスキングも非常に複雑である。オフロード車両用のマスクを入力画像に適用し調整するためには、より正確な観察が必要であり、問題のある区画内のグリッドの分割も頻繁である。特に原型マスキングの環境から選択されるセルの分割により、画像において、例えばオフロード車両の複雑な幾何学形状のマスキングを可能にする、特に計算効率が高くてメモリを節約することができるアルゴリズムが使用可能となる。特に、自家用車に合わせたマスキング方法は、自家用車が、突起、縁部、及び/又は、作業区画などの問題箇所を持たない非常に単純で多くの場合矩形の形状を有するため適用することができず、それをオフロード車両に適用した場合、不十分な結果を招くことになる。
したがって、本方法によれば、複雑な幾何学形状に適し、不要な計算能力を要求しないグリッドの特に効率的な調整を可能にさせる。それによって、特に、危急な領域は、より高解像度で微細化し、危急でない領域は、節約することができるため、本手法は、埋め込みシステムにも適用可能である。さらに、本方法は、マスキングと環境との間の遷移領域におけるアーティファクトをわずかにさせる。特に、本方法によれば、例えば、マスク及び/又は環境に対するセル(ここでは、環境部分セル)のさらなる分類及び/又は割り当てを行うことができ、例えば、マスキングに重なる分割された環境部分セルは、マスキングに対してカウントされ、重ならない環境部分セルは、原型車両環境に対してカウントされる。
特に好適には、選択された環境セルについて、セルに属するノードが環境ノードとして選択される。したがって、選択された環境セルについて、特に、3つの画定すべきノード(隅部)が環境ノードとして選択される。特に、環境セルが、画定すべきノード(隅部)の間に導入されたノードを有する場合、これらのノードも環境ノードとして選択されることが想定されるものとしてよい。選択された環境ノードについて、ノード環境セルが選択され、ここで、ノード環境セルは、環境ノードに属するセルである。例えば、価数が6の場合については、特に、厳密に6つまでのノード環境セルが選択される。ノード環境セルの選択は、例えば、ノード対隣接面テーブルに基づいて行われる。
ノード環境セルは、それぞれ4つのノード環境部分セルに分割され、ここで、ノード環境部分セルは、特に環境部分セルを形成し及び/又はそのように設定される。ノード環境セルの分割のために、特に、環境セルを環境部分セルに分割するのと同様の手法により、ノード環境セルの3つの縁部の各々にさらなるノードが導入される。導入されたノードは、縁部の導入によって接続され、それによって、ノード環境セルがそれぞれ4つのノード環境部分セル又は環境部分セルに分解される。この場合、4つの環境部分セルは、特に、原型ノード環境セルに置き換わる。この実施形態は、環境セルの環境部分セルへの分割の他に、即ち、原型マスキングから環境への移行の調整の他に、グリッド及び/又はそれに隣接する領域における区切りも調整するという考察に基づいている。この実施形態により、特に効率的で、計算能力を節約し、メモリスペースに優しい隣接領域の調整を実施することができる。
任意選択的に、環境部分セル、特に方法又は反復ステップにおいて得られた環境部分セルが、原型マスキングとの重なり及び/又は既に空のない交差量を有するかどうかが検査されることが想定される。特に、原型マスキングとの重なり及び/又は原型マスキングとの空のない交差を有する環境部分セルが、原型マスキングとして設定され、及び/又は、原型マスキングに割り当てられ、そのため、新しい原型マスキングは、引き続きこの環境部分セルを含む。それによって、特に、原型マスキングの調整及び/又は微細化が行われ、ここで、この調整及び/又は微細化された原型マスキングは、特に、方法又は方法の一部の新たな実施のための基礎、特に環境セルの新たな選択及びその分割のための基礎を形成することができる。原型マスキングとの重なり及び/又は空の交差量を有さない環境部分セルは、原型マスキングに対してカウント及び/又は設定されるのではなく、特にグリッド及び/又は車両環境に割り当てられる。本方法のこの実施形態によって、原型マスキングが調整され、微細化される。例えば、分割されていないセルと比較して以前は大きかったセルは、マスク及び/又は原型マスキングのより正確な記述のために、分割された形態で用いることができる。原型マスキングという用語は、特に、本方法のこの種の実施形態において、実際の原型マスキングについても、新たな原型マスキングを含む実際の原型マスキングに加えて追加された環境部分セルについても、説明を簡略化するためのものと理解されたい。
特に、原型マスキングによるさらなる微細化及びより良好なマスキングのために、ノード環境セル、環境セルの選択、ノード環境セル及び環境セルの分割、グリッドとしての及び/又は原型マスキングとしての環境部分セルの設定が繰り返し実施されることが想定される。選択は、ここでは、例えば、環境部分セルを形成するセルからも行われる。例えば、環境部分セルは、原型マスキングとの重なり無しで、グリッドのセルとして設定されている。本方法及び/又は本方法ステップの繰り返しは、例えば、確定された及び/又は確定可能な繰り返し数によって定められるものとしてよい。代替的及び/又は付加的に、繰り返し数は、原型マスキングと、既知の目標幾何学形状、例えば車両幾何学形状との偏差の比較及び/又は決定によって、決定されるものとしてよい。
特に好適には、縁部の少なくとも1つの分割又は全ての分割については、ノードが縁部を1/2に分割するように、例えば、導入されたノードが分割すべき縁部の原型ノードに対して点対称を形成するようにノードが導入される。代替的に、縁部の分割は、他の割合で、例えばランダムに、又は、ユーザが決めて行うことができる。この実施形態は、セル及び/又は縁部を分割する計算技術的に及び/又はプログラミング技術的に簡単な実施形態を提供するという考察に基づいたものであり、ここで、例えば、分割後の原型グリッドの対称性及び/又は幾何学的特性は、実質的に維持され続ける。
本発明の代替的実施形態は、さらなるノードの導入による縁部の少なくとも1つの分割について、分割すべき縁部と原型マスキングとの交差の検査に基づかせることを想定するものである。例えば、分割すべき縁部について、原型マスキングの輪郭との交点を有するかどうかが検査され、ここで、交点が存在する場合、この交点は、導入すべきノードの位置を形成する。この実施形態は、環境セルを分割するためのさらなるノードの導入は、原型マスキングの複雑な幾何学形状を考慮して最適に行われるという考察に基づいている。なぜなら、環境部分セルによる環境セルのこのような分割は、実質的に原型マスキングとの交差を分離させることができるからである。
本発明の一実施形態は、境界環境セルが、特にグリッドのセルから選択されることを想定するものである。境界環境セルは、少なくとも1つの共通縁部を介して環境セル、特に、選択された環境セルに接続及び/又は隣接しているグリッドのセルである。換言すれば、境界環境セル及び隣接する環境セルは、共通縁部において分かれている。境界環境セルは、境界環境部分セルに分割される。境界環境セルを境界環境部分セルに分割するために、縁部が挿入及び/又は導入され、ここで、この縁部は、境界環境セルのノード、特に隅部を、共通縁部の導入されたノードに接続する。共通縁部は、導入されたノードを有する。なぜなら、それは、本方法に従って分割された環境セルだからである。境界環境セルにおいては、共通縁部の導入されたノードが境界環境セルのノード又は隅部に接続されるため、この縁部の導入によって、境界環境セルが分割され、特に2分割される。導入されたノードは、特に、導入されたノードを有する縁部に対向する境界セルのノードに接続される。
特に、グリッドが、2つの隣接する三角形セルが4つのノードを有する四角形に相互補完するように形成されることが想定される。特に、四角形に相互補完されるセルは、2つのノードを有する縁部において分かれ、ここで、共通の縁部は、四角形のための対角線を形成する。例えば、四角形が選択されること、及び/又は、四角形にグループ化されることが想定される。特に、四角形及び/又はそれに属するセルは、それらが原型マスキングの隅部領域に配置されるように選択及び/又はグループ化される。隅部領域は、例えば、鋭角及び/又は直角を有する原型マスキング及び/又はその輪郭の領域である。選択された四角形及び/又は基礎となるセルについて、2つのセルの共通又は分割縁部を形成する原型対角線の配向が変更され、ここで、原型対角線及び/又は共通縁部が除去され、ここで、元々接続されていない他の2つのノード又は頂点が新たな縁部によって接続される。このように新たに生じたセルは、特に、新たな異なる配向の共通縁部を有する。このように生じた新たなセルは、グリッドのセルとして設定され、及び/又は、環境セル及び/又は環境部分セルとして設定される。対角線の配向の変更又は結果として生じるグリッドの新たなセルによって、隅部領域、特に原型マスキングの鋭角がより良好に細分化及び調整され得る。例えば、そのようにして、反復ステップ及び/又は分割ステップの節約が可能となる。
特に、原型マスキング内にそれぞれ2つのノードを有すると同時にノードに属する縁部がその配向を変更されておらず、例えば原型グリッドの配向に対応するセル特性としてそれらが有するように、隅部領域が決定され、及び/又は、隅部領域内の四角形が選択されることが想定される。例えば、原型配向を有する原型マスキング内に2つのノードを有する各セルは、その縁部を介して隣接するセルとともに四角形にグループ化される。
代替的及び/又は補完的に、四角形のグループ化及び/又は選択のためのセルとして、原型マスキング内に厳密に1つのノードを有し、このノードからグリッドの配向を示す2つの隣接するセルに延びる2つの縁部を有するセルが用いられることが想定される。
代替的及び/又は付加的に、4つの隅部にグループ化するためのセルとして、又は、隅部領域として、特性が当てはまるセルが選択される。セルの縁部について、厳密に1つのノードが原型マスキング内に存在し、当該ノードに対して隣接するセルの厳密に2つのさらなるノードも原型マスキング内に存在し、これによって拡張された隅部は、グリッドの原型配向に対して直角である。特に、この隅部によって囲まれたセルは、四角形にグループ化される。
特に好適には、入力画像は、車両、特にオフロード車両の上面図を形成及び/又は表示する。例えば、入力画像は、例えばフロントカメラ、リアカメラ、左右のサイドカメラなど1つ以上の車両カメラからのカメラ撮像に基づいている。入力画像は、例えば、車両カメラの撮像及び/又は撮像の射影に基づいて形成される。車両、特にオフロード車両は、上面図(top view)において原型マスキングによってフェードアウト及び/又は隠され、特に車両、特にオフロード車両のモデルによって環境に埋め込まれる。
本発明のさらなる対象は、計算機、プロセッサ、及び/又は、電子制御ユニット上において実行するためのコンピュータプログラムを形成する。このコンピュータプログラムは、計算機、プロセッサ、及び/又は、電子制御ユニット上において実行されるときに、前述したような本方法及び/又は本方法の個々の方法ステップを実施及び/又は適用するために構成及び/又は調整されている。
本発明のさらなる対象は、機械可読記憶媒体、例えば、CD、DVD、又は、ハードディスクストレージである。この機械可読記憶媒体上にコンピュータプログラムが記憶されている。
本発明のさらなる対象は、電子制御ユニットを形成し、ここで、前述したような入力画像が電子制御ユニットに提供される。電子制御ユニットは、特に、前述した方法を実施するように構成及び/又は調整されている。電子制御ユニットは、入力画像のための原型マスキングを確定するように及び/又はユーザによって確定されるように構成及び/又は調整されている。電子制御ユニットは、入力画像、特に車両環境及び/又は原型マスキングを、グリッドを用いて分割するように構成されており、ここで、グリッドは、特に三角形グリッドを形成する。このグリッドは、上述したように構成される。電子制御ユニットは、少なくとも1つのノードが原型マスキング内に存在するセルから環境セルを選択するように構成されている。特に、電子制御ユニットにより、縁部の1つのノードが原型マスキング内に存在し、他のノードは原型マスキング内に存在しないという特性を有する縁部が存在するセルが、環境セルとして選択される。電子制御ユニットは、選択された環境セルを環境部分セルに分割するように構成され、ここで、制御ユニットは、環境セルの縁部の各々にノードを導入するように構成され、導入されたノードは、新たな縁部によって接続される。
本発明のさらなる利点、効果及び実施形態は、添付の図面及びその説明から明らかとなる。
原型マスキングの例示的な選択を示した図である。 入力画像の可能な区画化を示した図である。 図2のグリッドからの部分図である。 環境セルの分割を示した図である。 境界環境セルへの付加的縁部の例示的な導入を示した図である。 本方法の適用前後の原型マスキングを示した図である。 本方法の適用前後の原型マスキングを示した図である。 縁部が1/2に分割されない実施例を示した図である。 四角形の対角線の配向変更を示した図である。
図1は、車両、特にオフロード車両、ここではフォークリフトの車両カメラによって撮像された4つのカメラ画像1を例示的に示している。これらのカメラ画像1は、フロントカメラ画像1a、リアカメラ画像1b、左方側面画像1c、右方側面画像1dを含む。これらのカメラ画像1は、ここでは、魚眼レンズを備えたカメラの画像1a,1b,1c,1dとして形成されている。これらのカメラ画像1には、可変でかつ動的に形成される車両の環境2が示されている。さらに、これらのカメラ画像1には、静的区画3が示されており、ここで、これらの静的区画3は、車両の一部の撮像によって形成されている。これらのカメラ画像1は、入力画像5を作成するために、例えば、車両の環境2の上面図を得るために使用される。例えば、入力画像5において、車両環境は、例えば上面図として示されるべきであり、ここで、静的区画3及び/又は車両自体は、上面図において簡略化されて示されるか、あるいはマスキングされるべきである。
マスキングステップ100においては、ユーザにより、カメラの画像1a,1b,1c,1dにおいて、例えば、スクリーン及び/又はコンピュータ上で画像内のグラフィカルな選択によりマスク選択4が実施される。このマスク選択4は、カメラの画像1a,1b,1c,1d内における静的区画3の確定、選択、及び/又は、画定を示し、ここで、これらは、例えば、入力画像5における原型マスキングの生成のために使用及び/又は射影される。射影ステップ200においては、入力画像5が生成され、ここで、カメラの画像1a,1b,1c,1d及びマスク選択4に基づいて、車両環境6及び原型マスキング7を含む上面図が作成される。車両環境6は、特に、車両周囲の動的な領域、特にカメラ画像1内の動的な領域によって形成される。原型マスキング7は、マスキング選択4に、即ち、カメラ画像内の静的区画に基づいている。さらに、原型マスキング7は、例えば、車両の既知の幾何学形状及び/又は対象認識アルゴリズムに基づかせることができ及び/又はそれらに基づいて補足することができる。原型マスキング7は、上面図において実質的に車両に対応する面区画を示す。原型マスキング7は、面又は原型マスキング7を車両環境6に対して画定する輪郭8を有する。入力画像5は、本方法の一実施例の実施のために以下において区画化される。
図2は、車両環境6、原型マスキング7及び輪郭8を有する図1からの入力画像5を示す。区画化ステップ300においては、入力画像5は、グリッド9によってセル10に分割される。特に、この区画化ステップ300においては、入力画像5の詳細を簡略化すること及び/又は見合わせることが想定されるものとしてよく、それにより、例えば、グリッド9において、原型マスキング7と輪郭8と車両環境6との間の区別のみがなされ、このことは、例えば、プロセッサ負荷のさらなる軽減につながる。
グリッド9は、規則的に、特に、グリッド9作成時に規則的に構築される。本方法の適用時、本方法の適用後、及び/又は、本方法ステップの反復時に、グリッド9の一部が変更されて不規則性をもたらすことがある。グリッド9は、ここでは、原型グリッドとして示されている。セル10は、グリッド9が三角形分割を示すように三角形セルである。セル10は、それぞれ3つの縁部11及び3つのノード12を有する。セル10の縁部11は、それぞれ2つのノード12の接続部として形成されている。各縁部11は、隣接する2つのセル10の一部である。特に、各セル10は、3つの縁部11によって、隣接する3つのセルに対して配置されている。グリッド内の各ノード12は、6つのセル10に対して一部であり、及び/又は、それらに隣接している。これらのセル10については、縁部11及びノード12は、それぞれ、それらが車両環境6、環境マスキング7の領域内又は輪郭8上に存在しているかどうかを検査することが可能である。
図3は、区画化された入力画像5からの部分図を示す。この部分図には、グリッド9、原型マスキング7及び車両環境6が示されている。例示的に、いくつかの選択された縁部13及び選択されたセル14が示されている。これらの選択されたセル14は、環境セルを形成する。これらの環境セル14は、ここでは、グリッド9の全てのセル10が選択特性の存在について検査されるように選択され、この場合、本方法の実施又は反復の実施が繰り返されるときには、例えば、以前の方法又は反復ステップで分割されたセル10のみがただ検査及び/又は調査されるだけである。
セル10が環境セル14を形成するという選択特性は、これらのセル10が、一方のノード12は原型マスキング7内に存在するが、他方のノードは原型マスキング7内に存在するのではなく車両環境6内に存在するという縁部13を有することである。ここでは、他方の縁部11もこの特性を有するかどうかに関係なく、セルがこの特性を有する縁部、例えば縁部13を有することで十分である。この選択特性を有する全てのセル10は、環境セル14として選択される。それに続いて、環境セル14は、例えば図4に示されているように環境部分セルに分割される。
図4は、環境セル14を例示的に示す。環境セル14は、3つのノード12、ここでは、ノードN,N,Nを含む。さらに、環境セル14は、3つの縁部E,E,Eを含む。これらの縁部E,E,Eによって面Fが囲まれる。面Fを有する環境セル14は、4つの環境部分セル15a,15b,15c,15dに分割される。このため、環境セル14の縁部E,E,Eの各々にノードN,N,Nが導入される。この実施形態例においては、導入されたノードN,N,Nは、属する縁部E,E,Eをそれぞれ1/2に分割している。したがって、原型縁部Eは、縁部E及びEに分解され、原型縁部Eは、縁部E及びEに分解され、ここで、原型縁部Eは、縁部E及びEに分解される。さらに、導入されたノードN,N,Nは、それぞれ縁部E,E10,E11によって相互に接続される。それにより、環境セル14は、面F,F,F,Fを有する4つの環境部分セル15a乃至15dに分解される。それに続いて、原型環境セル14が環境部分セル15a乃至15dに置き換えられ、これによって、環境セル14の領域においては、グリッド9が微細化される。
図5は、境界環境セルを分割する実施例を示す。境界環境セルは、分割された環境セル14との共通縁部17を有するセル10である。したがって、共通縁部17上には、付加的ノード18が導入され、新たに存在している。この付加的ノード18は、境界環境セル16において、縁部20を用いて環境部分セルの対向ノード19に接続され、それによって、境界環境セル16は、境界環境部分セル20a及び20bに分解される。
図6a及び図6bは、車両環境6及び原型マスキング7を有する例示的な入力画像5を示す。図6aは、環境セルの選択及びそれらの分割を1回実施した後の入力画像5を示し、ここでは、環境部分セルの一部が原型マスキング7に割り当てられている。図6bは、4つの選択ステップ及びそれらの分割を実施した後の図6aの入力画像5を示し、ここでは、境界環境の一部がセル10を分割して原型マスキング7に割り当てられ、それによって、原型マスキング7が微細化されている。図6bの原型マスキング7は、車両の実際の形状を上面図においてより良好に再現している。
図7は、ノードN,N,Nの導入によって環境セル14を環境部分セル15に分割する実施例を示す。ただし、ここでは、導入されたノードN,Nは、対応する縁部E,Eを1/2に分割するのではなく、原型マスキング7に基づいて確定されている。ここでは、縁部E,Eと原型マスキング7との交点S及びSが決定される。交点S又はSの箇所には、ノードN又はNが配置される。縁部、ここでは、例えばEが原型マスキング7との交点を持たない場合、当該縁部は、ここでは、例えばノードNによって1/2に分割される。このようにノード、特にノードN及びNを確定することによって、環境セル14の改善された分割が行われる。なぜなら、原型マスキング7が考慮されるからである。
図8は、四角形21の対角線Dの配向を変更する例を示し、ここで、この四角形21は、2つの三角形セル10a及びl0bを含む。セル10aは、ノードN,N,N及びそれらに属する縁部E,E,Eによって画定される。セル10bは、ノードN,N,N及び縁部E,E,Eによって画定される。縁部E及びEは、両方のセル10a及び10bの一部であり、四角形21のための対角線Dを形成する。特に隅部領域及び/又は鋭角を伴う領域において、グリッド及びマスキングをより良好に調整するために、配向変更ステップ400においては、対角線Dがその配向を変更される。この目的のために、原型対角線Dは、原型対向ノードN及びNの代わりに、これまで接続されていない他のノードN及びNを相互に接続する対角線D*によって置き換えられ、ここで、対角線D*は、新たな縁部E及びEを形成する。新たなセル10a及び新たなセル10bは、ここで、既存のノードN乃至Nの他の組合せによって画定され、それによって、マスキングの問題のある領域の輪郭により強力に対応することができるようになる。

Claims (14)

  1. 入力画像(5)内の車両、特にオフロード車両の静的区画(3)をマスキングするための方法であって、
    前記入力画像(5)が、前記車両、特に前記オフロード車両の少なくとも1つの区画と、車両環境(6)とを含み、
    前記入力画像(5)に基づいて、原型マスキング(7)が選択及び/又は画定され、
    前記原型マスキング(7)は、前記車両、特にオフロード車両の少なくとも1つの静的区画(3)をマスキングし、
    前記入力画像(5)は、ノード(12)、縁部(11)及びセル(10)を有するグリッド(9)に区切られ、
    前記セル(10)は、3つの縁部(11,E)によって画定され、1つの縁部(11,E)は、少なくとも第1及び第2のノード(12,N)を有し、
    少なくとも1つのノード(12,N)が前記原型マスキング(7)内に存在し、さらに全てのノード(12,N)が前記原型マスキング(7)内に存在しない縁部(13)を有するセル(10)として環境セル(14)が選択され、
    各環境セル(14)は、それぞれ4つの環境部分セル(15)に分割され、
    当該分割のために前記環境セル(14)の3つの縁部(11,E)の各々にさらなるノード(N)が導入され、前記環境セル(14)の導入された当該ノード(N)は、導入された縁部(E)を用いて接続される、方法。
  2. 選択された前記環境セル(14)のノード(12)が、環境ノードとして選択され、前記環境ノードに隣接するセル(10)が、ノード環境セルとして選択され、前記ノード環境セルの各々は、それぞれ4つの環境部分セル(15)に分割され、前記ノード環境セルの3つの縁部(11,E)の各々への分割のために、さらなるノード(N)が導入され、導入された当該ノード(N)が、導入された縁部(E)と接続される、請求項1に記載の方法。
  3. 前記原型マスキング(7)との重なりを有する環境部分セル(15)が、原型マスキング(7)として設定され、前記原型マスキング(7)との重なり無しの環境部分セル(15)は、グリッド(9)として設定される、請求項1又は2に記載の方法。
  4. 前記環境セル(14)の選択、前記ノード環境セルの選択、前記環境部分セル(15)への分割、前記環境部分セル(15)のグリッド(9)としての設定、及び/又は、前記環境部分セル(15)の原型マスキング(7)としての設定は、繰り返される、請求項3に記載の方法。
  5. 導入された前記ノード(N)の少なくとも1つ又は全てが、属する前記縁部(11)を1/2に分割する、請求項1乃至4のいずれか一項に記載の方法。
  6. 前記環境セル(14)の分割の少なくとも1つについて、さらなるノード(N)として、属する縁部(E)と前記原型マスキング(7)の輪郭との交点が選択される、請求項1乃至5のいずれか一項に記載の方法。
  7. 境界環境セルが選択され、前記境界環境セルは、それぞれ共通縁部(17)を介して前記環境セル(14)の1つに接続され、前記境界環境セルは、境界環境部分セル(20a,20b)に分割され、当該分割のために、1つの縁部(11)が、前記境界環境セルのノード(12)と共通縁部(E)の導入されたノード(N)との接続によって挿入される、請求項1乃至6のいずれか一項に記載の方法。
  8. 隣接する2つのセルが、それぞれ頂点としての4つのノード(N)を有する四角形(21)を形成し、2つのセル(10a,10b)の共通縁部(17)が、前記四角形(21)の対角線(D)を形成して前記頂点のうちの2つを接続し、隅部四角形の隅部領域における四角形(21)が選択され、選択された当該隅部四角形について、前記四角形(21)の原型対角線(D)が、他の2つの頂点の接続によってその配向で新しい対角線(D*)に変更される、請求項1乃至7のいずれか一項に記載の方法。
  9. 前記原型マスキング(7)において厳密に2つのノード(N)を有し、これらのノード(N)に属する縁部が原型配向を有するセル(10)が、四角形(21)の形成のためのセル(10)として選択される、請求項8に記載の方法。
  10. 前記セル(10)として、前記原型マスキング(7)内の厳密に1つのノード(N)と、当該ノード(N)から隣接する2つのセル(10a,10b)の2つのノード(N)までの2つの縁部(E)とを有し、前記縁部(11)が相互に直交する場合、四角形(21)を形成するセルとして選択される、請求項9に記載の方法。
  11. 前記入力画像(5)は、前記車両、特に前記オフロード車両及び当該車両の環境(2)の上面図を形成する、請求項1乃至10のいずれか一項に記載の方法。
  12. コンピュータプログラムであって、当該プログラムが計算機及び/又はプロセッサ及び/又は電子制御ユニットによって実行されるときに、これらの計算機及び/又はプロセッサ及び/又は電子制御ユニットに、請求項1乃至11のいずれか一項に記載の方法を実施及び/又は適用させるための命令を含むコンピュータプログラム。
  13. 請求項12に記載のコンピュータプログラムが記憶されている機械可読記憶媒体。
  14. 電子制御ユニット、特に請求項1乃至11のいずれか一項に記載の方法を実施するための電子制御ユニットであって、
    前記電子制御ユニットに車両環境(6)を有する入力画像(5)が提供され、
    前記電子制御ユニットは、前記入力画像(5)のための原型マスキング(7)を画定するように構成及び/又は調整され、
    前記電子制御ユニットは、前記入力画像(5)を、グリッド(9)を用いて分割するように構成され、
    前記電子制御ユニットは、環境セル(14)を前記セル(10)から選択し、選択された当該環境セル(14)を環境部分セル(15)に分割するように構成されている、
    電子制御ユニット。
JP2023526351A 2020-10-29 2021-10-21 マスキングするための方法、コンピュータプログラム、記憶媒体及び電子制御ユニット Pending JP2023547647A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102020213597.5 2020-10-29
DE102020213597.5A DE102020213597A1 (de) 2020-10-29 2020-10-29 Verfahren zur Maskierung, Computerprogramm, Speichermedium und elektronische Steuereinheit
PCT/EP2021/079173 WO2022090046A1 (de) 2020-10-29 2021-10-21 Verfahren zur maskierung, computerprogramm, speichermedium und elektronische steuereinheit

Publications (1)

Publication Number Publication Date
JP2023547647A true JP2023547647A (ja) 2023-11-13

Family

ID=78413991

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023526351A Pending JP2023547647A (ja) 2020-10-29 2021-10-21 マスキングするための方法、コンピュータプログラム、記憶媒体及び電子制御ユニット

Country Status (5)

Country Link
EP (1) EP4238051A1 (ja)
JP (1) JP2023547647A (ja)
KR (1) KR20230098234A (ja)
DE (1) DE102020213597A1 (ja)
WO (1) WO2022090046A1 (ja)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015209391A1 (de) * 2015-05-22 2016-11-24 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erzeugen einer Maskierungsvorschrift sowie zum Maskieren einer Bildinformation einer Kamera
GB2561329A (en) * 2016-12-05 2018-10-17 Gaist Solutions Ltd Method and system for creating images

Also Published As

Publication number Publication date
WO2022090046A1 (de) 2022-05-05
KR20230098234A (ko) 2023-07-03
DE102020213597A1 (de) 2022-05-05
EP4238051A1 (de) 2023-09-06

Similar Documents

Publication Publication Date Title
Miller et al. A Delaunay based numerical method for three dimensions: generation, formulation, and partition
JP4381743B2 (ja) 境界表現データからボリュームデータを生成する方法及びそのプログラム
JPH04309183A (ja) 有限要素メッシュ生成方法
US11307560B2 (en) System, method and computer program for creating united cellular lattice structure
US7876322B2 (en) Method and apparatus for fast and efficient mesh simplification
KR20140088027A (ko) 기하학적인 패턴을 형성하는 페이스들의 그룹들
KR101947184B1 (ko) 덱셀들에 의해 표현되는 모델링된 볼륨의 설계
EP3736707B1 (en) Techniques for concurrently editing fully connected large-scale multi-dimensional spatial data
Liang et al. Guaranteed-quality all-quadrilateral mesh generation with feature preservation
JP2003518672A (ja) 押し出し過程のメッシュ発生用のメッシュ発生器とその方法
EP1547020B1 (en) Irregular mesh and embedded geometric description in a computer graphics system
JP2023547647A (ja) マスキングするための方法、コンピュータプログラム、記憶媒体及び電子制御ユニット
CN111400969B (zh) 一种非结构直角网格加速生成方法
Kase et al. Volume cad
Rappoport The generic geometric complex (GGC) a modeling scheme for families of decomposed pointsets
JP3342678B2 (ja) クラスタリング処理装置およびその方法
US7031790B2 (en) Operator for sculpting solids with sheet bodies
CN113591208A (zh) 一种基于舰船特征提取的超大模型轻量化方法及电子设备
JP3251877B2 (ja) 3次元グリッド生成方法およびそのシステム
KR20160058299A (ko) 3차원 객체의 슬라이싱 및 층별 윤곽 계산 장치 및 방법
US11822311B2 (en) Generation of representations of three-dimensional objects using Boolean operations
Yang et al. Entity-based aspect graphs: Making viewer centered representations more efficient
JPH11339071A (ja) 点群からのポリゴン自動生成システム
CN116932831B (zh) 一种数据血缘图的构建方法及装置
CN110796729B (zh) 一种基于二叉树的网格划分方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230602