JP7294788B2 - 3d配置のタイプに応じた2d画像の分類 - Google Patents
3d配置のタイプに応じた2d画像の分類 Download PDFInfo
- Publication number
- JP7294788B2 JP7294788B2 JP2018196529A JP2018196529A JP7294788B2 JP 7294788 B2 JP7294788 B2 JP 7294788B2 JP 2018196529 A JP2018196529 A JP 2018196529A JP 2018196529 A JP2018196529 A JP 2018196529A JP 7294788 B2 JP7294788 B2 JP 7294788B2
- Authority
- JP
- Japan
- Prior art keywords
- scene
- type
- image
- manhattan
- initial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Evolutionary Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Description
・3D配置の少なくとも1つのタイプについて、構築された1つまたは複数の3Dシーンの全ての3Dモデル化オブジェクトは、3D配置の各タイプに応じて配置される。
・3D配置の所定のタイプは、マンハッタンタイプ、および/または、アトランタタイプを含む。
・3D配置の各タイプについてのそれぞれの3Dシーンの前記構築は、最初の3Dシーンおよび1つまたは複数の基準フレームを提供することと、3D配置の各タイプに基づいて、前記1つまたは複数の基準フレームを基準として前記最初の3Dシーン内に3Dモデル化オブジェクトを配置することとを含む。
・前記3D配置の所定のタイプはマンハッタンタイプを含み、マンハッタンタイプについて各3Dシーンを構築するために、前記提供された1つまたは複数の基準フレームは単一のマンハッタンフレームからなり、かつ/または、前記提供された最初の3Dシーンは、それぞれ、前記単一のマンハッタンフレームとアラインした3Dモデル化オブジェクトを含む。
・前記3D配置の所定のタイプは前記アトランタタイプを含み、前記アトランタタイプについて各3Dシーンを構築するために、前記提供された1つまたは複数の基準フレームは、軸を共有する1つまたは複数のマンハッタンフレームからなり、かつ/または、前記提供された最初の3Dシーンは、それぞれのマンハッタンフレームと、またはオプションとして、同一のマンハッタンフレームとアラインした3Dモデル化オブジェクトを含む。
・前記マンハッタンタイプについて3Dシーンを構築するために、それぞれ前記単一のマンハッタンフレームとアラインした3Dモデル化オブジェクトを前記最初の3Dシーンに追加すること。
・前記アトランタタイプについて3Dシーンを構築するために、それぞれ各マンハッタンフレームとアラインした3Dモデル化オブジェクトを前記最初の3Dシーンに追加すること。
・最初の3Dシーンを提供することは、前記最初の3Dシーンを表す最初の2D画像を提供することと、前記最初の2D画像に基づき前記最初の3Dシーンを決定することとを含む。
・前記最初の2D画像に基づく前記最初の3Dシーンの決定は、前記最初の2D画像の特徴線分を算出することと、前記特徴線分に基づいて消失点を決定することと、前記消失点に基づいて、1つまたは複数のマンハッタンフレームおよび2Dから3Dへのそれぞれの投影を決定することと、各特徴線分および各投影に基づいて、少なくとも1つのマンハッタンフレームにおいて3Dモデル化オブジェクトを構築することとを含む。
・前記最初の2D画像の前記特徴線分の算出は、エッジ画素を算出することと、エッジ画素を極大線にフィッティングすることとを含む。
・本方法は、前記データセットに基づいて関数を学習することをさらに含み、またオプションとして、入力2D画像を提供することと、前記入力2D画像に前記学習した関数を適用して、前記入力2D画像を分類することとをさらに含む。
・本方法は、前記入力2D画像および前記入力2D画像の分類に基づいて、それぞれ2Dから各3Dマンハッタンフレームへの、1つまたは複数の投影を決定することをさらに含む。かつ/または、
・本方法は、前記1つまたは複数の投影に基づき、前記入力2D画像によって表される3Dシーンを出力することをさらに含み、またオプションとして、入力2D画像の表現の上にユーザがスケッチすることによって前記3Dシーンを編集することをさらに含む。
さらには、本方法によって形成可能なデータセットが提供される。このようなデータセットは本方法によって追加された訓練パターンを含み、当該データセットはそれにより比較的網羅的で、正確である。
ニューラルネットワークは、式として、6つ組の
により定義してもよく、ここで、
は有向接続の集合であり、マッピング
は接続の開始ニューロンを表し、マッピング
は接続の終了ニューロンを表し、マッピング
は数値重みを各接続に関連付け、
は活性化関数と呼ばれる。
の開始ニューロンが
であり、終了ニューロンが
であり、その重みが
であることを意味する。さらには、ニューロン
の入力接続の集合は
であり、ニューロン
の出力接続の集合は、
である。同様に、ニューロン
の内向きニューロン
は
の入力接続の開始ニューロンであり、すなわち、
である。ニューラルネットワークのトポロジーは、ニューロンと接続
によって定義される。
である。
は、プロパゲーション値と呼ばれる。これはニューロン
で終了するすべての接続
の開始ニューロン
によって算出される数値の重み付け合計である。値
は、プロパゲーション値
に適用される閾値効果
である。この数式は再帰的に定義され、順序の問題は、トポロジーを通じて対処される。図2は、ニューロン5での3つの内向きニューロン1、2、および3からの演算を示す。
と呼ばれる順序付けされた互いに素な部分集合から構成され、ここで
は、入力層(入力ニューロンの層)と呼ばれ、
は、隠れ層と呼ばれ、
は、出力層(出力ニューロンの層)と呼ばれる。層
の各ニューロンから層
のすべてのニューロンへの接続が存在する。層
の各ニューロンから、
である層
のすべてのニューロンへの接続が存在する。最後の隠れ層
の各ニューロンから出力層
のすべてのニューロンへの接続が存在する。フィードフォワードニューラルネットワークの文脈では、特定の活性化関数を各層に関連付けることができる。
を設定することは、すべての
について
であることを意味し、層から層へと演算を伝播することにより、出力ニューロンにより算出された数値
が得られる。フィードフォワードニューラルネットワークを通じて
から
を算出するマッピングは
と表され、ここで、
は入力ニューロンの個数であり、
は出力ニューロンの個数である。
ニューラルネットワーク訓練の例
を算出することであってもよい。この目的のため、訓練パターンの集合が必要となる。訓練パターンは、組
となる。この組は、入力データ
が供給されたときにニューラルネットワークが算出すると考えらえる出力データ
を表す。入力と出力は別の手段により算出され、これらは「入力が
の場合、ニューラルネットワークは必ず
を出力する」ということを表す。
個の訓練パターンの集合
が与えられたとき、
が
について可能な限り
に近づくように、専用のアルゴリズムを用いて重みマッピングを調整する。この目的のための典型的なアルゴリズムは、Kriesel DavidによるテキストA brief introduction to Neural Networks,2006で提示されているようなバックプロパゲーションである。数学的観点からは、これはマッピング
を算出する補間問題である。
分類ニューラルネットワークの訓練の例
個のタイプの有限集合が与えられたとき、目的は、ニューラルネットワークが、未知の入力データがどのタイプに属するかを認識することである。分類ニューラルネットワークは、タイプごとに1つの出力ニューロンを特徴としてもよい。数値出力値は区間
における
個のベクトル
であってもよい。各数
は、入力データがタイプ
のデータである確率である。典型的な訓練パターンは、
かつ
のとき
であるような出力ベクトルを有する、既知のタイプ
の入力データであってもよい。
画像定義の例、およびエッジ画素の算出
のグリッド、2D座標をインデックス
に関連付ける位置マッピング
および、色マッピング
によって捕捉されてもよく、ここで、
はすべての色の集合であり、これは、
がすべての
について画素
の色であることを意味する。エッジ画素算出のための関連するグラフィック情報は、輝度であってもよい。これは、画素テーブル
から、負でない数の集合
へのマッピング
を定義してもよく、これはすなわち
である。画素
における輝度変数
は、マッピング
の(離散的な)勾配の大きさにより定義されてもよく、これはすなわち、
である。閾値
が与えられたとき、画素
は、その輝度変数が閾値よりも大きいとき、すなわち、
のとき、エッジ画素と呼ばれてもよい。3Dシーンの写真上のエッジ画素の算出は、Lu Wang、Suya You、Ulrich Neumannによる論文Supporting range and segment-based hysteresis thresholding in edge detection,IEEE International Conference on Image Processing 2008に記載のアルゴリズムなど、任意のアルゴリズムによって実行されてもよい。
次に、極大線分を、ほぼアラインしたエッジ点の集合にフィッティングしてもよい。特徴線分は、所定の閾値よりも長いことを特徴とする線分であってもよい。
は、すべてのエッジ画素の(入力)集合を表し、
は特徴線分の(出力集合)を表す。集合
はアラインしていると考えらえる画素の現在の集合を表す。集合
は隣接画素の現在の集合を表す。
は、入力エッジ画素
の隣接エッジ画素を出力する。隣接エッジ画素は、図5に示されるような8隣接画素ストラテジーに従って検索する。エッジ画素は黒い正方形である。画素Xの隣接画素は画素番号1~8である。
エッジ画素Xの隣接エッジ画素は画素番号1、5、6、および8である。
は、最大二乗平均偏差であり、典型的な値は
である。閾値
は画素から線までの最大距離であり、典型的な値は
である。閾値
は特徴線分を生成する画素の最小個数であり、典型的な値は
である。
円錐視野:3Dシーンから画像まで
視野のジオメトリ
を3次元空間
の部分集合と考え、画像平面と呼ばれる平面
の一部と、観察者位置またはカメラ位置と呼ばれる点
とを考える。画像平面の法線ベクトルを
で表す。カメラは、3Dシーン
を、円錐視野にしたがい、画像平面
を通して感知する。これは、3Dシーンの各点
が、画像平面上に、画像点と呼ばれる対応する点
を以下のように生成することを意味する。定義上、画像点
は、図6に示すように、画像平面
と、
および
を通る線との交点である。
の数学的画像は
であり、これは平面
に含まれる。各点
に関して、同じ画像点Z
を共有する3Dシーンにおける点の集合を考える。これは次のように表される。
を共有する3Dシーンの2本の線を考える。それぞれの円錐視野は、
だけに依存して線の位置には依存しない点において交差する、2本の線であることが証明され得る。この点は消失点と呼ばれ、
として算出される。方向
が画像平面と平行の場合、その円錐視野も方向
の線であることが証明され得る。したがって、画像平面に平行な3Dシーンの線は、消失点を生成しない。
2D画像を入力データとして考えると、ここで問題となり得るのは、画像平面に対するカメラ位置
を算出することである。これは、3Dシーンの3Dオブジェクトについて十分な情報がない限り、一般的には不可能である。例における本方法の文脈において、適切な3Dオブジェクトは、立方体またはアラインした矩形の集合で記号化された、直交グリッドであってもよい。これはJ.M.CoughlanおよびA.L.Yuilleによる論文、Manhattan World:Compass Direction from a Single Image by Bayesian Inference,Proceedings International Conference on Computer Vision ICCV’99.Corfu,Greece,1999で提案されている、公知のマンハッタンフレーム仮説である。
は、前のセクションで定義したように、円錐視野
が直交グリッドに合わせてアラインされた3Dオブジェクトの視野のみを含むように、平面
と点
を有する2D画像で表される場合、例における本方法で企図されている分類を行う目的で、Manhatta3Dシーンとみなされてもよい。これはすなわち、3Dシーンは、カーブオブジェクトのアラインされていないオブジェクトが含まれていてもよいが、それらはアラインされたオブジェクトに隠されているか、あるいは
および
で定義された範囲外にあることを意味する。
2D画像から3Dシーンへ:マンハッタンフレームの算出
であるため
であり、これはカメラ
から消失点
への、方向
によって定義される線は、方向
に平行であることを意味する。この性質のおかげで、また3D立方体の方向が互いに直交することが分かっているおかげで、カメラ位置
は非線形システムの解となる:
仮想追加3Dオブジェクトを2D画像に挿入する例
およびカメラ位置
への法線ベクトル
を知り得るので、マッピング
が容易に設定できる。さらに、上に定義したように、ベクトル
および
からなるマンハッタンフレームと呼ばれる軸系を、3Dシーンのグリッド状のオブジェクトに付与することができる。このマンハッタンフレームのおかげで、追加の仮想オブジェクトを3Dシーン内に仮想的に配置することができる。円錐視野に対するこの仮想3Dオブジェクトのジオメトリ的寄与度は、マッピング
を用いて算出することができる。全体的なデータフローは図14に示されている。
マンハッタンタイプの3Dシーンは、矩形グリッドに応じて配置された特徴線を特徴とする。一般的に、矩形グリッドの一方向は画像平面に平行であり、この方向は建築写真を扱う場合には伝統的に鉛直方向である。
およびカメラ位置
とともに、アラインされていない2つのブロックを示す。図面の描写平面は、画像平面
に直交する。平行線
および
に対応する消失点は
である。平行線
および
に対応する消失点は
である。平行線
および
に対応する消失点は
である。各消失点
は、画像平面
と
から方向
への線との交点である。一番右のブロックの水平線は、画像平面に平行であるため、消失点を生成しない。
その他のタイプの配置(すなわちマンハッタンタイプでもアトランタでもないタイプ)
を、歪む画像の全ての画素位置を含む矩形であるとする。歪みは、入力画像(典型的にはマンハッタン画像)を歪みマッピング
で構成することによって得られる。マッピング
は、歪み画像が最初の画像の矩形を含むようなもの、すなわち
である。
は、
に位置する。これは、マッピング
により位置
に移動させられる。したがって点
における歪み画像が有すると考えられる色は、ソース画素
の色
である。
上ですべての
について
を補間する色マッピング
を考える。すると、
上の歪み画像の色マッピング
は、
であり、
である。
例において、訓練パターン生成プロセスは、次のようなものであってもよく、図21に示すようなものであってよい。入力はマンハッタンタイプの画像の集合である。出力は、マンハッタンタイプの画像、アトランタタイプの画像、および、それぞれのタイプに関連付けられた他のタイプの画像の、データベースである。マンハッタンタイプの画像が与えられると、(仮想の)矩形オブジェクトを3Dシーン内に(仮想的に)挿入し、2D写真に対するその寄与度を算出することによって、新たな画像が得られる。挿入されたオブジェクトがマンハッタンフレームとアラインすると、新たなマンハッタン画像が得られる。挿入されたオブジェクトがマンハッタンフレームと1方向のみ共有する場合には、新たなアトランタ画像が得られる。挿入されたオブジェクトがマンハッタンフレームと1方向も共有しない場合には、新たな他のタイプの画像が得られる。他のタイプの画像を作成する別の方法は、特徴線が1つも認識できないように、入力マンハッタン画像を歪ませることである。データベースにおいて、結果として得られた各タイプ(マンハッタン、アトランタ、あるいは他のタイプ)に関連付けられた画像は、ネットワーク訓練に有用な、入力および出力データを提供する。
Claims (14)
- 関数を学習するよう構成されたデータセットを形成するための、コンピュータにより実施される方法であって、前記関数は、2D画像内における可視オブジェクトについての3D配置の所定のタイプに応じて2D画像を分類するように構成されており、3D配置の各タイプは、3Dにおいて複数のオブジェクトの各々が他のオブジェクトとの関係においてどのように配置されるかを定義したものであり、3D配置の前記所定のタイプは、マンハッタンタイプ、および/または、アトランタタイプを含み、3D配置の各タイプについて、
3D配置の各タイプに応じて配置された3Dモデル化オブジェクトを含む3Dシーンを構築することと、
構築した各3Dシーンにおける各2D視野をそれぞれが表す2D画像を生成することであって、当該シーンにおける可視3Dモデル化オブジェクトが、3D配置の各タイプに応じて配置された、構築された各3Dシーンの3Dモデル化オブジェクトのうちのオブジェクトであるような、生成することと、
それぞれが生成された各2D画像と3D配置の各タイプを示す情報とを含む訓練パターンをデータセットに追加することと
を含むことを特徴とする方法。 - 3D配置の少なくとも1つのタイプについて、構築された1つまたは複数の3Dシーンの全ての3Dモデル化オブジェクトは、3D配置の各タイプに応じて配置される
ことを特徴とする、請求項1に記載の方法。 - 3D配置の各タイプについてのそれぞれの3Dシーンの前記構築は、
最初の3Dシーンおよび1つまたは複数の基準フレームを提供することと、
3D配置の各タイプに基づいて、前記1つまたは複数の基準フレームを基準として前記最初の3Dシーン内に3Dモデル化オブジェクトを配置することとを含む
ことを特徴とする、請求項1または2に記載の方法。 - 前記3D配置の所定のタイプはマンハッタンタイプを含み、マンハッタンタイプについて各3Dシーンを構築するために、前記提供された1つまたは複数の基準フレームは単一のマンハッタンフレームからなり、かつ/または、前記提供された最初の3Dシーンは、それぞれが前記単一のマンハッタンフレームとアラインしている3Dモデル化オブジェクトを含み、かつ/または、
前記3D配置の所定のタイプはアトランタタイプを含み、アトランタタイプについて各3Dシーンを構築するために、前記提供された1つまたは複数の基準フレームは、軸を共有する1つまたは複数のマンハッタンフレームからなり、かつ/または、前記提供された最初の3Dシーンは、それぞれのマンハッタンフレームと、またはオプションとして、同一のマンハッタンフレームとアラインしている3Dモデル化オブジェクトを含む
ことを特徴とする、請求項3に記載の方法。 - マンハッタンタイプについて各3Dシーンを構築するために、それぞれ前記単一のマンハッタンフレームとアラインした3Dモデル化オブジェクトを前記最初の3Dシーンに追加すること、および/または
前記アトランタについて各3Dシーンを構築するために、それぞれ各マンハッタンフレームとアラインした3Dモデル化オブジェクトを前記最初の3Dシーンに追加すること
を含むことを特徴とする、請求項4に記載の方法。 - 最初の3Dシーンを提供することは、
前記最初の3Dシーンを表す最初の2D画像を提供することと、
前記最初の2D画像に基づいて前記最初の3Dシーンを決定することと
を含むことを特徴とする、請求項3~5のいずれか1つに記載の方法。 - 前記最初の2D画像に基づく前記最初の3Dシーンの前記決定は、
前記最初の2D画像の特徴線分を算出することと、
前記特徴線分に基づいて消失点を決定することと、
それぞれの消失点に基づいて、1つまたは複数のマンハッタンフレームおよび2Dから3Dへのそれぞれの投影を決定することと、
それぞれの特徴線分およびそれぞれの投影に基づいて、少なくとも1つのマンハッタンフレームに3Dモデル化オブジェクトを構築することと
を含むことを特徴とする、請求項6に記載の方法。 - 前記最初の2D画像の前記特徴線分の前記算出は、
エッジ画素を算出することと、
エッジ画素を極大線にフィッティングすることと
を含むことを特徴とする、請求項7に記載の方法。 - 前記データセットに基づいて関数を学習することをさらに含み、またオプションとして、入力2D画像を提供することと、前記入力2D画像に前記学習した関数を適用して、前記入力2D画像を分類することとをさらに含む
ことを特徴とする、請求項1~8のいずれか1つに記載の方法。 - 前記入力2D画像および前記入力2D画像の分類に基づいて、それぞれ2Dから各3Dのマンハッタンフレームへの、1つまたは複数の投影を決定することをさらに含む
ことを特徴とする、請求項9に記載の方法。 - 前記1つまたは複数の投影に基づき、前記入力2D画像によって表される3Dシーンを出力することをさらに含み、またオプションとして、入力2D画像の表現の上にユーザがスケッチすることによって前記3Dシーンを編集することをさらに含む
ことを特徴とする、請求項10に記載の方法。 - 請求項1~11のいずれか1つに記載の方法を実行するための指示を含むコンピュータプログラム。
- 請求項12に記載のデータ構造を記憶したコンピュータ読み取り可能媒体を備える装置。
- 前記装置は、前記コンピュータ読み取り可能媒体に接続されたプロセッサをさらに備え、前記装置はコンピュータシステムを構成する
ことを特徴とする、請求項13に記載の装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP17306408.0A EP3474185B1 (en) | 2017-10-18 | 2017-10-18 | Classification of 2d images according to types of 3d arrangement |
EP17306408.0 | 2017-10-18 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019091436A JP2019091436A (ja) | 2019-06-13 |
JP7294788B2 true JP7294788B2 (ja) | 2023-06-20 |
Family
ID=60262861
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018196529A Active JP7294788B2 (ja) | 2017-10-18 | 2018-10-18 | 3d配置のタイプに応じた2d画像の分類 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10832095B2 (ja) |
EP (1) | EP3474185B1 (ja) |
JP (1) | JP7294788B2 (ja) |
CN (1) | CN109685095B (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11127201B2 (en) * | 2017-01-04 | 2021-09-21 | Gaia3D Inc. | Method for providing 3D GIS web services |
EP3671660A1 (en) * | 2018-12-20 | 2020-06-24 | Dassault Systèmes | Designing a 3d modeled object via user-interaction |
EP3675063A1 (en) * | 2018-12-29 | 2020-07-01 | Dassault Systèmes | Forming a dataset for inference of solid cad features |
JP6932821B1 (ja) * | 2020-07-03 | 2021-09-08 | 株式会社ベガコーポレーション | 情報処理システム、方法及びプログラム |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016522485A (ja) | 2013-04-30 | 2016-07-28 | クアルコム,インコーポレイテッド | 再構成からの隠消現実感効果および媒介現実感効果 |
JP2017120672A (ja) | 2017-04-07 | 2017-07-06 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6717577B1 (en) * | 1999-10-28 | 2004-04-06 | Nintendo Co., Ltd. | Vertex cache for 3D computer graphics |
US6868191B2 (en) * | 2000-06-28 | 2005-03-15 | Telefonaktiebolaget Lm Ericsson (Publ) | System and method for median fusion of depth maps |
JP4335589B2 (ja) * | 2002-06-27 | 2009-09-30 | ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド | 3dオブジェクトをモデル化する方法 |
US7142726B2 (en) * | 2003-03-19 | 2006-11-28 | Mitsubishi Electric Research Labs, Inc. | Three-dimensional scene reconstruction from labeled two-dimensional images |
US20090021513A1 (en) * | 2007-07-18 | 2009-01-22 | Pixblitz Studios Inc. | Method of Customizing 3D Computer-Generated Scenes |
US20110273369A1 (en) * | 2010-05-10 | 2011-11-10 | Canon Kabushiki Kaisha | Adjustment of imaging property in view-dependent rendering |
US8619074B2 (en) * | 2010-12-10 | 2013-12-31 | Xerox Corporation | Rendering personalized text on curved image surfaces |
US8941644B2 (en) * | 2011-06-14 | 2015-01-27 | Microsoft Corporation | Computing three-dimensional image models in parallel |
CN103136781B (zh) * | 2011-11-30 | 2016-06-08 | 国际商业机器公司 | 用于生成三维虚拟场景的方法和系统 |
US8971612B2 (en) * | 2011-12-15 | 2015-03-03 | Microsoft Corporation | Learning image processing tasks from scene reconstructions |
US10163261B2 (en) * | 2014-03-19 | 2018-12-25 | Matterport, Inc. | Selecting two-dimensional imagery data for display within a three-dimensional model |
US9031317B2 (en) * | 2012-09-18 | 2015-05-12 | Seiko Epson Corporation | Method and apparatus for improved training of object detecting system |
US20150199573A1 (en) * | 2014-01-10 | 2015-07-16 | Mitsubishi Electric Research Laboratories, Inc. | Global Scene Descriptors for Matching Manhattan Scenes using Edge Maps Associated with Vanishing Points |
US10055876B2 (en) * | 2014-06-06 | 2018-08-21 | Matterport, Inc. | Optimal texture memory allocation |
CN104134234B (zh) * | 2014-07-16 | 2017-07-25 | 中国科学技术大学 | 一种全自动的基于单幅图像的三维场景构建方法 |
EP3179407B1 (en) * | 2015-12-07 | 2022-07-13 | Dassault Systèmes | Recognition of a 3d modeled object from a 2d image |
US10074214B2 (en) * | 2015-12-31 | 2018-09-11 | Autodesk, Inc. | Systems and methods for generating 3D scenes with time element for display |
CN106709481A (zh) * | 2017-03-03 | 2017-05-24 | 深圳市唯特视科技有限公司 | 一种基于二维‑三维语义数据集的室内场景理解方法 |
-
2017
- 2017-10-18 EP EP17306408.0A patent/EP3474185B1/en active Active
-
2018
- 2018-10-17 CN CN201811207211.7A patent/CN109685095B/zh active Active
- 2018-10-18 US US16/164,651 patent/US10832095B2/en active Active
- 2018-10-18 JP JP2018196529A patent/JP7294788B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016522485A (ja) | 2013-04-30 | 2016-07-28 | クアルコム,インコーポレイテッド | 再構成からの隠消現実感効果および媒介現実感効果 |
JP2017120672A (ja) | 2017-04-07 | 2017-07-06 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
Non-Patent Citations (5)
Title |
---|
Erick Delage et al.,Automatic Single-Image 3d Reconstructions of Indoor Manhattan World Scenes,[online],2005年01月,pp.1-17,https://www.researchgate.net/publication/220757252_Automatic_Single-Image_3d_Reconstructions_of_Indoor_Manhattan_World_Scenes |
Grant Schindler et al.,Atlanta World: An Expectation Maximization Framework for Simultaneous Low-level Edge Grouping and Camera Calibration in Complex Man-made Environments,[online],2004年07月19日,https://ieeexplore.ieee.org/abstract/document/1315033/ |
Julian Straub et al.,A Mixture of Manhattan Frames: Beyond the Manhattan World,[online],2014年09月25日,pp.1-8,https://ieeexplore.ieee.org/document/6909877 |
Srikumar Ramalingam et al.,Lifting 3D Manhattan Lines from a Single Image ,[online],2014年03月03日,pp.1-8,https://ieeexplore.ieee.org/document/6751171 |
Yu Xiang et al.,ObjectNet3D: A Large Scale Database for 3D Object Recognition,xiang_eccv16.pdf[online],2016年08月03日,pp.1-16,https://cvgl.stanford.edu/papers/?C=M;O=A |
Also Published As
Publication number | Publication date |
---|---|
US10832095B2 (en) | 2020-11-10 |
CN109685095A (zh) | 2019-04-26 |
EP3474185A1 (en) | 2019-04-24 |
US20190114514A1 (en) | 2019-04-18 |
JP2019091436A (ja) | 2019-06-13 |
CN109685095B (zh) | 2024-05-28 |
EP3474185C0 (en) | 2023-06-28 |
EP3474185B1 (en) | 2023-06-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3381017B1 (en) | Face reconstruction from a learned embedding | |
JP7294788B2 (ja) | 3d配置のタイプに応じた2d画像の分類 | |
JP7343963B2 (ja) | 画像を入力とする関数を学習するためのデータセット | |
CN110033513A (zh) | 生成表示建筑的3d模型 | |
CN110060255A (zh) | 利用逐像素分类器来对2d平面图进行语义分割 | |
CN107067473A (zh) | 对3d建模对象进行重构 | |
JP7129529B2 (ja) | 人工知能の使用による3dオブジェクトへのuvマッピング | |
US11893690B2 (en) | 3D reconstruction with smooth maps | |
WO2021105871A1 (en) | An automatic 3d image reconstruction process from real-world 2d images | |
US9665955B1 (en) | Pose-space shape fitting | |
US11823328B2 (en) | Three-dimensional (3D) model generation from computer-aided design (CAD) data | |
Chen et al. | Manipulating, deforming and animating sampled object representations | |
CN115841546A (zh) | 一种场景结构关联的地铁站多视矢量仿真渲染方法及系统 | |
US20230079478A1 (en) | Face mesh deformation with detailed wrinkles | |
CN116362966A (zh) | 图像处理方法和装置 | |
Zhang et al. | Fast Mesh Reconstruction from Single View Based on GCN and Topology Modification. | |
Udayan | An analysis of reconstruction algorithms applied to 3d building modeling | |
Bae et al. | User‐guided volumetric approximation using swept sphere volumes for physically based animation | |
Kumar et al. | Efficient 3D Object Synthesis and Modeling Through Generative Adversarial Networks | |
Bernhard | Check for Architectural Sketch to 3D Model: An Experiment on Simple-Form Houses Hong-Bin Yang (), ID 9 Mikhael Johanes, Frederick Chando Kim, Mathias Bernhard®, and Jeffrey Huang ID | |
CN118628629A (zh) | 基于人工智能生成三维模型的贴图的方法和系统 | |
Campos | Feature-Based 3D Level Set Morphing | |
Andersen | 3D Shape Modeling Using High Level Descriptors |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210922 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221108 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230208 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230516 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230608 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7294788 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |