JP7352632B2 - 機械学習ツール - Google Patents

機械学習ツール Download PDF

Info

Publication number
JP7352632B2
JP7352632B2 JP2021534601A JP2021534601A JP7352632B2 JP 7352632 B2 JP7352632 B2 JP 7352632B2 JP 2021534601 A JP2021534601 A JP 2021534601A JP 2021534601 A JP2021534601 A JP 2021534601A JP 7352632 B2 JP7352632 B2 JP 7352632B2
Authority
JP
Japan
Prior art keywords
machine learning
components
data
identified
building
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021534601A
Other languages
English (en)
Other versions
JPWO2020176304A5 (ja
JP2022522257A (ja
Inventor
ピー． サーキシアン，マーク
ウォーカー，サマンサ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Skidmore Owings and Merrill LLP
Original Assignee
Skidmore Owings and Merrill LLP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Skidmore Owings and Merrill LLP filed Critical Skidmore Owings and Merrill LLP
Publication of JP2022522257A publication Critical patent/JP2022522257A/ja
Publication of JPWO2020176304A5 publication Critical patent/JPWO2020176304A5/ja
Application granted granted Critical
Publication of JP7352632B2 publication Critical patent/JP7352632B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/13—Architectural design, e.g. computer-aided architectural design [CAAD] related to design of buildings, bridges, landscapes, production plants or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/08—Construction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30132—Masonry; Concrete

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • Human Resources & Organizations (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Architecture (AREA)
  • Computational Mathematics (AREA)
  • Medical Informatics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Civil Engineering (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Structural Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本特許出願は、２０１９年２月２８日出願の米国特許出願第６２／８１２，０２９号の優先権の利益を享受するものであり、そのすべてを法の許す範囲でここに参考文献として組み込むものである。
本開示は、機械学習を使用するツールに関する。本開示はまた、自動化された構造評価に関する。
典型的に、建造物の設計は、土質工学エンジニア、構造学エンジニア、建築家およびインテリアデザイナーに限定せず、ぞれぞれの分野におけるスペシャリストであるさまざまなプロフェッショナルによってまとめて実行される。各プロフェッショナルグループは、例えば、それぞれの分野で他者に依存している。設計考案は典型的に、プログラム使用、形状、美観、風および地震の影響、太陽光の影響、エネルギー、水の使用等などの複数の変数を含む。これらの変数の考慮は典型的に関連した異なるプロフェッショナルたちの知識および経験によってもたらされる試行錯誤により実行される。
設計を他のステークホルダーに連絡するために、プロフェッショナルたちは他のプロフェッショナル、クライアント、およびゼネラルコントラクターへ送付される図面のセットおよび仕様書類を作成する。まとめて契約書類と呼ぶこれらの図面および仕様書は、その後、下請業者へ配布される。続いて下請業者は、それぞれの持ち場に対応する構造部分を示す工作図面へそれらを変換する。この工作図面は、ゼネラルコントラクターおよび契約書類を遵守するプロフェッショナルによってレビューされる。その後、それらは部品を組み立て、構造物を建造するために使用される。図面は、２次元作図ソフトウエアまたは３次元モデリングソフトウエアを使って作成可能である。
建築プロセスを通じて、土建業者は、仕事の品質を保証し、かつ、それが期待に一致するように、品質保証／品質制御（ＱＡ／ＱＣ）プロシージャを実行する。また、検査官は、建造構造物を検査し、構造が意図どおりに建築されていることを保証するために、建築書類と比較する。検査データおよび時間は、検査会社と土建業者との間で前もって調整されている。検査官は現場を物理的に訪れ、問題のアイテムを手で検査し、発見を文書化するべく検査レポートを準備する。
設計変更、土建業者の誤り、予測できない条件または他の理由があれば、典型的に建築のコースに変更が生じる。ゼネラルコントラクターはこれらの変更を記録し、建築物が完成したとき、建築済みの図面セットをクライアントに送付する。
建築物の寿命の間に、それを保持するべく検査がなされかつ修理される。この検査は典型的に手で実行され、高価で、時間がかかり、かつ、危険である。これは数十年のスパンのインターバルにわたって断続的に実行される。したがって、大きなダメージまたは建築物の崩壊につながりうる問題は、この検査の間に見過ごされるかもしれない。
自然災害の後、ダメージを受けた建築物は、資格のあるプロフェッショナルによって視覚的に検査される。検査の圧倒的な必要性およびエキスパートの制限された供給のため、ダメージを受けたビルの自宅およびビジネスオーナーは検査が終了するまで数か月待たなければならない。ある場合には、検査が完了するまで自宅に居住することができず、ビジネスが行うことができない。自然災害に関連する最大の経済損失のひとつは、修理および再建築によるダウンタイムによるものであり、それは遅いマニュアル検査プロセスによって悪化する。
建築設計からオペレーションおよびメンテナンスまでの建築物の寿命のうちに生じる上述した伝統的プロセスは、概して手動であり、不十分かつエラーの余地を含んでいる。本願発明は、これらを自動化し、効率を改善し、かつエラーを減少させるために、これらのプロセスに機械学習を組み込むものである。
ここに開示するのは、建築物の評価に関連して機械学習を使用するシステムまたはツールに関連する一つ以上の発明である。この新規なツールは主に建造物用機械学習ツールと呼ぶが、単純にツールまたは機械学習ツールと呼ぶこともある。この建造物用機械学習ツールは、建造物のパフォーマンスを評価し、画像または図面から建造物の全体または部分を同定し、建造物のダメージを査定し、またはそれらの任意の組み合わせを実行するために機械学習を使用するように特にトレーニングされかつプログラムされている。本開示を通じて機械学習に対する言及はディープラーニングを包含する。本願発明は、機械学習のディープラーニングサブセットの範囲内にあると理解すべきである。
復元を実行する際、この機械学習ツールは、個人の不動産オーナーから街、国、または、人災または自然災害の前後に建築物が評価される場所の国々までの広範囲のユーザに対して、復元プログラムを確立するためにスケーリングされかつ使用されることができる。この評価は、事象に続く重要なニーズを解決するより広範な復元プランとインターフェースすることができる。
ひとつの態様において、機械学習ツールは、一つ以上のデータプロセッサおよびメモリを有するコンピューティングシステムと、ユーザインターフェースであって、それを通じて情報がユーザへ出力され、かつ、それを通じて情報およびデータがユーザによって入力され、当該データは一つ以上の建造物、そのコンポーネントまたはその両方を同定するところのインターフェースと、データが格納されるデータベースと、該データベースへデータを格納しかつそこから検索するべく、該データベースと通信するデータベース管理システムと、メモリ内に格納された非一過性データプロセッサ実行可能インストラクションであって、一つ以上の予めトレーニングされた機械学習モデルを含むところのインストラクションとを備え、一つ以上の機械学習モデルは、画像、ポイントクラウドデータ、３次元表現、またはその図面から建造物のパフォーマンスまたは設計を評価するべく、データベース内のデータを処理するよう予めトレーニングされており、画像またはポイントクラウドデータから建造物のコンポーネントを同定し、建造物の一つ以上のコンポーネントを同定しかつ図面から関連するテキストを抽出し、画像、ポイントクラウドデータ、またはそれらの任意の組み合わせから建造物のダメージを同定しかつ査定する、ことを特徴とする。
ひとつの態様において、機械学習ツールは、一つ以上のデータプロセッサおよびメモリを有するコンピューティングシステムと、ユーザインターフェースであって、それを通じて情報がユーザへ出力され、かつ、それを通じて情報およびデータがユーザによって入力され、当該データは一つ以上の建造物、そのコンポーネントまたはその両方を同定するところのインターフェースと、データが格納されるデータベースと、該データベースへデータを格納しかつそこから検索するべく、該データベースと通信するデータベース管理システムと、メモリ内に格納された非一過性データプロセッサ実行可能インストラクションであって、一つ以上の予めトレーニングされた機械学習モデルおよび一つ以上の後処理アルゴリズムを含むところのインストラクションとを備え、一つ以上の機械学習モデルは、画像、ポイントクラウドデータ、３次元表現またはその図面から建造物のパフォーマンスまたは設計を評価するべく、データベース内のデータを処理するよう予めトレーニングされており、画像またはポイントクラウドデータから建造物のコンポーネントを同定し、建造物の一つ以上のコンポーネントを同定しかつ図面から関連するテキストを抽出し、画像、ポイントクラウドデータ、またはそれらの任意の組み合わせから建造物のダメージを同定しかつ査定し、ひとつ以上の後処理アルゴリズムは、量アルゴリズム、計測アルゴリズム、比較アルゴリズム、デジタルモデル生成アルゴリズム、またはそれらの任意の組み合わせを含む、ことを特徴とする。
ひとつの態様において、一つ以上の機械学習モデルは、建造物の設計を評価し、建造物のコンポーネントを同定し、かつ建造物のダメージを査定するべく、データベース内のデータを処理するように予めトレーニングされる。
ひとつの態様において、一つ以上の後処理アルゴリズムは、量アルゴリズム、計測アルゴリズム、比較アルゴリズム、およびデジタルモデル生成アルゴリズムを含む。
ひとつの態様において、一つ以上の機械学習もデータは、建造物の設計を評価し、建造物のコンポーネントを同定し、かつ、建造物のダメージを査定するべく、データベース内のデータを処理するよう予めトレーニングされ、一つ以上の後処理アルゴリズムは、量アルゴリズム、計測アルゴリズム、比較アルゴリズム、およびデジタルモデル生成アルゴリズムを含む。
ひとつの態様において、建造物のコンポーネントは、構造コンポーネントおよび非構造コンポーネントを有する。
ひとつの態様において、量アルゴリズムは、分類毎に同定した実例の合計を与えるべく、一つ以上の機械学習モデルによって同定される各分類の実例の数を合計する。
ひとつの態様において、計測アルゴリズムは、コンピュータビジョンを使用するステップと、一つ以上の機械学習モデルによって同定される領域のエッジを検出するステップと、それらの領域内での画素の距離を計算するステップと、カメラの特性および建造物に対する空間的関係性に基づいて、ユーザによって特定される距離の他の単位へ、画素の距離を変換するステップとを備える。
比較アルゴリズムは、物理的図面の機械学習解析を通じて自動的に得られるか、または、デジタル図またはデジタルモデルから自動的に得られる、一つ以上の機械学習モデルから抽出された情報を、ユーザによって入力されたベンチマークと比較するステップと、オリジナルの機械学習結果とベンチマークとの間の偏りを報告するステップとを備える。
ひとつの態様において、デジタルモデル生成アルゴリズムは、一つ以上の機械学習モデルによって同定された分類毎に画素またはポイントをグループ化することにより、同定したエレメントの２次元デジタル図面または３次元デジタルモデルを生成するべく、一つ以上の機械学習モデルからの結果を使用するステップと、その画素またはポイントのグループの中心を通るラインまたはポリラインへ、画素またはポイントのグループを低減することによって作成されるラインを有する２次元のラインまたは３次元成分にそれを変換するステップとを備える。
成分は、機械学習同定済み画素またはポイントのグループの外限界を判定し、その寸法、位置、および向きを判定し、分類、重心（位置）、角度（方向）および先に取得した寸法情報に基づいて適切なコンポーネントを生成することにより、作成される。
デジタル図／モデルは、クラウドプラットフォームまたはソフトウエアプラグインを通じてリンクされうる。
ひとつの態様において、機械学習ツールは、一つ以上のデータプロセッサおよび当該データプロセッサが実行可能なインストラクションを格納するメモリを有するコンピューティングシステムと、ユーザインターフェースであって、それを通じて情報がユーザへ出力され、かつ、それを通じて情報およびデータがユーザによって入力されるところのインターフェースと、データが格納されるデータベースと、該データベースへデータを格納しかつそこから検索するべく、該データベースと通信するデータベース管理システムと、メモリ内に格納されたデータプロセッサ実行可能インストラクションとを備え、該データプロセッサ実行可能インストラクションは、予めトレーニングされた機械学習モデルを使ったデータを処理し、建造物の設計を評価し、建造物のコンポーネントを同定し、建造物のダメージを査定し、またはそれらの任意の組み合わせを実行し、量アルゴリズム、計測アルゴリズム、比較アルゴリズム、デジタルモデル生成アルゴリズム、または上記の任意の組み合わせを呼び出すことにより前記ステップからの結果を処理する、ことを特徴とする。
ひとつの態様において、機械学習は、建造物の設計を評価し、コンポーネントを同定し、および／または劣化、資産の変化、または破壊的事象によるダメージを査定するべくユーザによってアップデートされた生データを解析するために使用される。
他の態様において、機械学習解析済みデータは、量および／または計測を判定するのに使用される。
他の態様において、機械学習解析済みデータは、建造物のデジタルモデルを自動的に生成するために使用される。
他の態様において、機械学習解析済みデータは、２次元図、３次元デジタルモデル等の特定のトレランスの形式でベンチマークと比較される。
他の態様において、本願発明から得られる結果はさまざまなフォーマットで表示されかつエクスポートされうる。
これらおよび他の態様および特徴が以下で詳細に説明される。
本願発明の実装を示す、ここに組み込まれかつ詳細な説明とともに本明細書の一部を構成する添付図面は、本願発明の利点および原理を説明する機能を有する。
図１は、ここに開示する原理に従う機械学習モデルをトレーニングするためのプロセスを示すフローチャートである。 図２は、ここに開示する原理を使用する建造物用機械学習ツールと、クライアントコンピュータとの間のネットワークを通じた結合を示すブロック図である。 図３は、図２の建造物用機械学習ツールを含む異なるコンポーネントを示すブロック図である。 図４Ａは、データを処理し、量および／または計測を判定し、デジタルモデルを生成し、結果をベンチマークと比較し、かつ、結果をエクスポートするための図２および３の建造物用機械学習ツールによる例示的ステップを示すフローチャートである。 図４Ｂは、データを処理し、量および／または計測を判定し、デジタルモデルを生成し、結果をベンチマークと比較し、かつ、結果をエクスポートするための図２および３の建造物用機械学習ツールによる例示的ステップを示すフローチャートである。 図４Ｃは、データを処理し、量および／または計測を判定し、デジタルモデルを生成し、結果をベンチマークと比較し、かつ、結果をエクスポートするための図２および３の建造物用機械学習ツールによる例示的ステップを示すフローチャートである。 図５は、解析済みデータから量および／または計測を判定するための図２および３の建造物用機械学習ツールによる例示的ステップを示すフローチャートである。 図６は、解析済みデータからデジタルモデルを生成するための図２および３の建造物用機械学習ツールによる例示的ステップを示すフローチャートである。 図７は、解析済みデータの結果をベンチマークと比較するための図２および３の建造物用機械学習ツールによる例示的ステップを示すフローチャートである。 図８Ａ１は、図２および３の建造物用機械学習ツールのような機械学習ツールから得られた結果、およびさまざまなアプリケーションを示す。 図８Ａ２は、図２および３の建造物用機械学習ツールのような機械学 習ツールから得られた結果、およびさまざまなアプリケーションを示す。 図８Ａ３は、図２および３の建造物用機械学習ツールのような機械学 習ツールから得られた結果、およびさまざまなアプリケーションを示す。 図８Ｂ１は、図２および３の建造物用機械学習ツールのような機械学習ツールから得られた結果、およびさまざまなアプリケーションを示す。 図８Ｂ２は、図２および３の建造物用機械学習ツールのような機械学 習ツールから得られた結果、およびさまざまなアプリケーションを示す。 図９Ａは、図２および３の建造物用機械学習ツールのような機械学習ツールから得られた結果、およびさまざまなアプリケーションを示す。 図９Ｂは、図２および３の建造物用機械学習ツールのような機械学習ツールから得られた結果、およびさまざまなアプリケーションを示す。 図９Ｃは、図２および３の建造物用機械学習ツールのような機械学習ツールから得られた結果、およびさまざまなアプリケーションを示す。 図９Ｄは、図２および３の建造物用機械学習ツールのような機械学習ツールから得られた結果、およびさまざまなアプリケーションを示す。 図９Ｅは、図２および３の建造物用機械学習ツールのような機械学習ツールから得られた結果、およびさまざまなアプリケーションを示す。 図９Ｆは、図２および３の建造物用機械学習ツールのような機械学習ツールから得られた結果、およびさまざまなアプリケーションを示す。 図９Ｇは、図２および３の建造物用機械学習ツールのような機械学習ツールから得られた結果、およびさまざまなアプリケーションを示す。 図９Ｈは、図２および３の建造物用機械学習ツールのような機械学習ツールから得られた結果、およびさまざまなアプリケーションを示す。 図９Ｉは、図２および３の建造物用機械学習ツールのような機械学習ツールから得られた結果、およびさまざまなアプリケーションを示す。 図９Ｊは、図２および３の建造物用機械学習ツールのような機械学習ツールから得られた結果、およびさまざまなアプリケーションを示す。 図９Ｋは、図２および３の建造物用機械学習ツールのような機械学習ツールから得られた結果、およびさまざまなアプリケーションを示す。 図９Ｌは、図２および３の建造物用機械学習ツールのような機械学習ツールから得られた結果、およびさまざまなアプリケーションを示す。 図１０Ａは、図２および３の建造物用機械学習ツールのような機械学習ツールから得られた結果、およびさまざまなアプリケーションを示す。 図１０Ｂは、図２および３の建造物用機械学習ツールのような機械学習ツールから得られた結果、およびさまざまなアプリケーションを示す。 図１０Ｃは、図２および３の建造物用機械学習ツールのような機械学習ツールから得られた結果、およびさまざまなアプリケーションを示す。 図１０Ｄは、図２および３の建造物用機械学習ツールのような機械学習ツールから得られた結果、およびさまざまなアプリケーションを示す。 図１０Ｅは、図２および３の建造物用機械学習ツールのような機械学習ツールから得られた結果、およびさまざまなアプリケーションを示す。 図１０Ｆは、図２および３の建造物用機械学習ツールのような機械学習ツールから得られた結果、およびさまざまなアプリケーションを示す。 図１０Ｇ１は、図２および３の建造物用機械学習ツールのような機械学習ツールから得られた結果、およびさまざまなアプリケーションを示す。 図１０Ｇ２は、図２および３の建造物用機械学習ツールのような機 械学習ツールから得られた結果、およびさまざまなアプリケーションを示す。 図１０Ｈは、図２および３の建造物用機械学習ツールのような機械学習ツールから得られた結果、およびさまざまなアプリケーションを示す。 図１０Ｉは、図２および３の建造物用機械学習ツールのような機械学習ツールから得られた結果、およびさまざまなアプリケーションを示す。 図１０Ｊは、図２および３の建造物用機械学習ツールのような機械学習ツールから得られた結果、およびさまざまなアプリケーションを示す。 図１０Ｋは、図２および３の建造物用機械学習ツールのような機械学習ツールから得られた結果、およびさまざまなアプリケーションを示す。 図１０Ｌは、図２および３の建造物用機械学習ツールのような機械学習ツールから得られた結果、およびさまざまなアプリケーションを示す。 図１０Ｍは、図２および３の建造物用機械学習ツールのような機械学習ツールから得られた結果、およびさまざまなアプリケーションを示す。 図１０Ｎ１は、図２および３の建造物用機械学習ツールのような機械学習ツールから得られた結果、およびさまざまなアプリケーションを示す。 図１０Ｎ２は、図２および３の建造物用機械学習ツールのような機 械学習ツールから得られた結果、およびさまざまなアプリケーションを示す。 図１０Ｎ３は、図２および３の建造物用機械学習ツールのような機 械学習ツールから得られた結果、およびさまざまなアプリケーションを示す。 図１０Ｎ４は、図２および３の建造物用機械学習ツールのような機 械学習ツールから得られた結果、およびさまざまなアプリケーションを示す。 図１０Ｎ５は、図２および３の建造物用機械学習ツールのような機 械学習ツールから得られた結果、およびさまざまなアプリケーションを示す。 図１１は、建造物用機械学習ツールの使用中のあるステップにおけるユーザインターフェースからのスクリーンショットを示す。 図１２は、建造物用機械学習ツールの使用中の他のステップにおけるユーザインターフェースからのスクリーンショットを示す。 図１３は、建造物用機械学習ツールの使用中の他のステップにおけるユーザインターフェースからのスクリーンショットを示す。 図１４は、建造物用機械学習ツールの使用中の他のステップにおけるユーザインターフェースからのスクリーンショットを示す。 図１５は、建造物用機械学習ツールの使用中の他のステップにおけるユーザインターフェースからのスクリーンショットを示す。 図１６は、建造物用機械学習ツールの使用中の他のステップにおけるユーザインターフェースからのスクリーンショットを示す。 図１７は、建造物用機械学習ツールの使用中の他のステップにおけるユーザインターフェースからのスクリーンショットを示す。 図１８は、建造物用機械学習ツールの使用中の他のステップにおけるユーザインターフェースからのスクリーンショットを示す。 図１９は、建造物用機械学習ツールの使用中の他のステップにおけるユーザインターフェースからのスクリーンショットを示す。 図２０Ａは、ここに開示した原理に従う測定アルゴリズムを実装するための図２および３の建造物用機械学習ツールによる例示的ステップを示すフローチャートである。 図２０Ｂは、図２０Ａのステップを説明するのに有用な画像である。 図２０Ｃは、図２０Ａのステップを説明するのに有用な画像である。 図２０Ｄは、図２０Ａのステップを説明するのに有用な画像である。 図２０Ｅは、図２０Ａのステップを説明するのに有用な画像である。 図２０Ｆは、図２０Ａのステップを説明するのに有用な画像である。 図２１Ａは、ここに開示した原理に従うデジタルモデル生成アルゴリズムを実装するための図２および３の建造物用機械学習ツールによる例示的ステップを示すフローチャートである。 図２１Ｂは、図２１Ａのステップを説明するのに有用な画像である。 図２１Ｃは、図２１Ａのステップを説明するのに有用な画像である。 図２１Ｄは、図２１Ａのステップを説明するのに有用な画像である。 図２１Ｅは、図２１Ａのステップを説明するのに有用な画像である。 図２１Ｆは、図２１Ａのステップを説明するのに有用な画像である。 図２１Ｇは、図２１Ａのステップを説明するのに有用な画像である。 図２１Ｈは、図２１Ａのステップを説明するのに有用な画像である。 図２１Ｉは、図２１Ａのステップを説明するのに有用な画像である。 図２１Ｊは、図２１Ａのステップを説明するのに有用な画像である。 図２１Ｋは、図２１Ａのステップを説明するのに有用な画像である。 図２２Ａは、ここに開示した原理に従う画像から２次元ラインまたはポリラインを生成するためのアルゴリズムを実装するための図２および３の機械学習ツールによる例示的ステップを示すフローチャートである。 図２２Ｂは、図２２Ａのステップを説明するのに有用な画像である。 図２３Ａは、ここに開示した原理に従うポイントクラウドデータから３次元デジタルモデルを生成するためのアルゴリズムを実装するための図２および３の機械学習ツールによる例示的ステップを示すフローチャートである。 図２３Ｂは、図２３Ａのステップを説明するのに有用な画像である。 図２４Ａは、ここに開示した原理に従う比較アルゴリズムを実装するための図２および３の機械学習ツールによる例示的ステップを示すフローチャートである。 図２４Ｂは、図２４Ａのステップを説明するのに有用な画像である。 図２４Ｃは、図２４Ａのステップを説明するのに有用な画像である。 図２４Ｄは、図２４Ａのステップを説明するのに有用な画像である。 図２４Ｅは、図２４Ａのステップを説明するのに有用な画像である。
本願発明のさまざまな実施形態がここで説明されるが、本願発明の態様の範囲内で多くの実施形態および実装例が可能であることは、当業者の知るところである。したがって、本願発明は、添付する特許請求の範囲およびその均等の範囲を勘案することを除いて制限されるべきではない。
ここで説明されるのは、（１）建造物を設計し、（２）建築確認し、および／または（３）劣化、資産の変化、または、とりわけ破壊的事象によるダメージを査定するために使用される建造物用機械学習ツールである。建設のための設計からオペレーションおよびメンテナンスまでの、建造物の寿命内で生じる従来のプロセスは、概して手動であり、不十分で、かつ、エラーの余地を残している。ここに開示した原理に従い、機械学習は、それらを自動化し、効率を向上させ、かつエラーを削減するべくこのプロセスに組み込むことができる。
ここに開示した原理に従い、機械学習モデルは、その図面から建造物のパフォーマンス（例えば、異なる風荷重または地震事象の下での）を評価し、画像から建造物のコンポーネントを同定し、図面から建造物のコンポーネントを同定し、画像、または上記の任意の組み合わせから建造物内のダメージを同定および査定するために使用されうる。生データは、写真、レンダリング、手書きまたはデジタル図面、ポイントクラウドデータ等であってよい。建造物用機械学習ツールは、これらの項目に関連する量および計測を計算することができる。建造物用機械学習ツールは、項目並びに量および／または計測を適当なベンチマークと比較しうる。ベンチマークは図面、デジタルモデルまたは他のフォーマットを通じて得られる。
図１から７は、建造物用機械学習ツールのプロセスおよびアーキテクチャーを示す図である。図１１から１９は、機械学習ツールとユーザがどのように相互作用するかを理解するために参照される。図１１から１９に示すユーザインターフェースは例として与えられる。建造物用機械学習ツールのユーザインターフェースは、これらの図面に示すものと異なっていてもよい。
図１は、本建造物用機械学習ツールに対する機械学習モデルを作成するための機械学習アルゴリズムをトレーニングするためのプロセスを示すフローチャートである。始めに、ステップ１０２で生データが収集される。上述したように、生データは、写真、レンダリング、手書きまたはデジタル図面、ポイントクラウドデータ等を含むさまざまな形式であってよい。写真は目の高さおよび／または頭上ドローンによって得られてよい。好適には、生データは建造物またはそのコンポーネントに関連する画像データである。写真は、デジタルカメラ、デジタル一眼レフ（ＤＳＬＲ）カメラ、携帯電話カメラ、ドローン、衛星画像、ポイントクラウドデータ、スキャンされた書類、または他の手段を通じて得られてよい。ポイントクラウドデータは、３次元レーザスキャンまたは他の手段を通じて得られてよい。生データは、ステップ１０４において、分類、オブジェクト検出、セグメント化、または他の機械学習技術が使用されるべきか否かに応じて、全部、オブジェクトレベル、画素レベル、またはポイントレベルの注釈が電子的に付される。
ステップ１０６において、注釈付きデータは、既存のニューラルネットワークまたは他のタイプの機械学習アルゴリズムをトレーニングするための入力として使用される。本開示においてニューラルネットワークへの参照は、ディープニューラルネットワークを含む。いくつかの共通の機械学習アルゴリズムは、最近傍（Nearest Neighbor）、Naive Bayes、決定木（Decision Trees）、線形回帰（Linear Regression）、サポートベクトルマシン（support Vector Machines）、およびニューラルネットワークである。これらの機械学習アルゴリズムおよびそれらをトレーニングする方法は周知であるが、異なるベンダーまたはサプライヤーがそれらのサブセットをサポートするのみである。例えばアマゾン株式会社のアマゾン機械学習（Amazon ML）は現在、３つ種類のアルゴリズム、すなわち、二項分類、分類、および回帰のみをサポートする。グーグルのオープンソースTensorFlow機械学習フレームワークは、オープンソースのニューラルネットワークまたは本建造物用機械学習ツールの開発に関連した他のタイプの機械学習アルゴリズムをトレーニングするために利用された。異なる機械学習フレームワークも本願発明に組み込んでよい。使用されるオープンソースニューラルネットワークの例は、YOLO、Faster R-CNN、DeepLabV2、ResNet-101、PointNet、およびPointNet++である。参照セクションで説明する、これらのニューラルネットワークは、その精度を改善するべくステップ１０４で処理されるデータに対してトレーニングする前に、オープンソースCOCOデータセットのような他のデータセット上で予めトレーニングされてよい。計算時間を削減するために、高解像度ファイルは複数のピースに再分割され、それらは、ニューラルネットワークに対する分割入力として使用される。ニューラルネットワーク出力は、その後、オリジナルのフォーマットに再結合されてよい。以下で詳細に説明するように、せん断スタッドを検出する解析済みサブ画像のサンプルが図９Ｇの画像９１４に示され、再結合されたサンプルは図９Ｈの画像９１８に示されている。
ステップ１０８において、ニューラルネットワークの精度は、機械学習予測を注釈付きデータと比較することにより評価される。もし精度が不十分であれば、ステップ１１０において、品質を向上させ（例えば、より一貫する画像を使って、より良い光条件を使って、より良いフォーカスを使って、障害物を避けることによってなど）、および／または入力データ量を増加させ、注釈を改良し（例えば、より精確、一貫する等の注釈を作ることにより）、いくつかまたはすべてのネットワークのハイパーパラメータ（例えば、エポック、繰り返し、バッチサイズ、学習速度、ドロップアウト、崩壊速度等）を変更し、および／またはネットワーク自体を変更することによって、精度を向上させることができる。もし精度が十分であれば、ニューラルネットワークパラメータは、ステップ１１２において出力される。ネットワークおよび出力済みパラメータは、新しい生データを解析する際に使用するための機械学習モデルとして、建造物用機械学習ツールに組み込まれる。時間とともに、新しいデータがオリジナルデータセットに追加され、既存のネットワークを再トレーニングすることによって新しい機械学習モデルを開発するのに使用されうる。機械学習モデルはまた、それが作成される際、新しくかつ改良されたニューラルネットワークによってアップデートされうる。
図２は、複数のクライアントコンピュータ２０２および２０４、ならびにネットワーク２０６を介して接続される建造物用機械学習ツール２０８から構成されるデータ処理システム２００を示すブロック図である。建造物用機械学習ツール２０８は、ここで説明するように、具体的に構成されたコンピュータまたはコンピュータシステムである。ネットワーク２０６は、回路切替済みネットワークまたはパケット切替済みネットワークなどの、通信用にコンピュータ２０２、２０４および２０８を接続するのに適切なタイプのものである。また、ネットワーク２０６は、ローカルエリアネットワーク、インターネットなどのワイドエリアネットワーク、専用通信リンクを有する電話ネットワークを含む電話ネットワーク、コネクションレスネットワーク、および無線ネットワークなどの多くの異なるネットワークを含んでよい。図２に示す例において、ネットワーク２０６はインターネットである。図２に示す各コンピュータ２０２、２０４および２０８は、専用通信ラインまたは無線通信リンクなどの適当な通信リンクを介してネットワーク２０６へ接続される。ユーザは、生データを建造物用機械学習ツール２０８へアップロードし、データを解析し、ネットワーク接続を通じて結果を見てエクスポートすることができる。
図３は、本願発明の原理を採用する建造物用機械学習ツール２０８を有する異なるコンポーネントを示す。建造物用機械学習ツール２０８は、非一過性データプロセッサ読み取り可能インストラクションを実行するための一つ以上のデータプロセッサ（図示せず）、およびインストラクションが格納される関連するメモリ（図示せず）を有する単一のコンピュータまたはコンピュータの集合からなる具体的に構成されたコンピュータシステム３００である。システム３００はクラウドネットワーク内に存在してよい。
フロントエンドで、ユーザインターフェース３０２は、クライアントコンピュータなどのユーザまたはクライアント装置用のオプションおよび結果の表示を可能にする。フロントエンドはまた、ディスプレイおよび既知の入力装置（例えば、キーボード、マウス、または、ＵＳＢポートまたは無線通信手段などの通信ポート）を有してよく、またはオプションおよび結果情報はそれ自身の入力装置およびディスプレイを有するクライアントコンピュータへ通信されてよい。バックエンドで、ストレージコンポーネント３０４は、建造物用機械学習ツール２０８の適切な機能に必要な情報を含むデータベースを格納する。ストレージコンポーネントは、ランダムアクセスメモリ、ソリッドステートドライブ、磁気ディスクドライブなどの任意の適当なストレージデバイスであってよい。データベースサーバー３０６はデータベース３０４と通信する。データベース３０４は、データを格納しかつ他のソフトウエアアプリケーション（それは、同一のコンピュータ／プラットフォーム上、または、ネットワーク（インターネットを含む）をまたいで他のコンピュータ／プラットフォームのいずれかで実行される。）によって要求されたときにデータを検索する主な機能を有するソフトウエアプロダクトである。ＳＱＬサーバー、マイクロソフト社によって開発されたリレーショナルデータベース管理システムがデータベース３０４として適している。
バックエンドはまた、さまざまな機械学習モデル３０８およびユーザデータおよび結果を解析するのに使用される後処理アルゴリズムまたはモジュールを有する。ツール２０８に組み込まれる機械学習モデルは図１に概略的に示す処理に従う特定目的用に（例えば、風荷重の下での期待したビルディングパフォーマンスなどの建造物の設計を分類し、写真またはポイントクラウドデータから構造および非構造コンポーネントを同定し、図面からコンポーネントおよびサブコンポーネントを同定し、ダメージを同定かつ分類するために）予めトレーニングされたニューラルネットワークである。
後処理アルゴリズムは、これに限定しないが、量アルゴリズム３１０、計測アルゴリズム３１２、比較アルゴリズム３１４、およびデジタルモデル生成アルゴリズム３１６を有する。これらのアルゴリズムは、“アルゴリズム”の題名のセクションで詳細に説明されるが、それはまた図５から７と関連して議論もされる。
量アルゴリズム／モジュール３１０は、分類毎に同定ずみ実例の合計数（例えば、各画像内でのせん断スタッドの合計数）を与えるべく、機械学習モデルによって同定される各分類の実例の数を合計する。測定アルゴリズム／モジュール３１２は、機械学習モデルによって同定された領域内のエッジを検出するために古典的なコンピュータビジョン技術を使用し、その領域内での画素の距離を計算し、カメラの特性および位置／角度についての既知／入力情報に基づいて、ユーザによって特定される距離の他の単位へ画素の距離を変換する。比較アルゴリズム／モジュール３１４は機械学習モデルから抽出された情報を、ユーザによって入力された情報から手動で取得し、物理的図面の機械学習解析を通じて自動的に取得し、またはデジタル図面／モデルから自動的に取得したベンチマークと比較する。デジタル図面／モデルはベクトルグラフィックフォーマット、任意の計算機援用設計（ＣＡＤ）フォーマット、任意の３次元モデリングまたはビルディング情報モデリング（ＢＩＭ）ソフトウエアプログラム（Revit、AutoCAD 3D、Tekla、Rhinoなど）フォーマット等であってよい。オリジナルの機械学習結果とベンチマークとの間の任意の偏りが報告される。比較は、位置、量、計測等を含む任意の適切な基準に基づいてよい。量または計測を比較する場合において、量アルゴリズム３１０または計測アルゴリズム３１２が最初に使用されてよい。機械学習結果は、デジタルモデル生成アルゴリズム／モジュール３１６を使って最初にデジタルモデルフォーマットに変換されてよい。
デジタルモデル生成アルゴリズム３１６は、同定したエレメントの２次元デジタル図面または３次元デジタルモデルを生成するべく機械学習モデル結果を使用する。デジタル図面／モデルは、ベクトルグラフィックフォーマット、任意の計算機援用設計（ＣＡＤ）フォーマット、任意の３次元モデリングまたはビルディング情報モデリング（ＢＩＭ）ソフトウエアプログラム（Revit、AutoCAD 3D、Tekla、Rhinoなど）フォーマット等であってよい。デジタル図面またはモデルは分類毎に機械学習モデルによって同定した画素またはポイントをグループ化し、それを２次元ラインまたは３次元成分に変換することによって生成される。ラインは、画素またはポイントのグループを、当該画素またはポイントのグループの中心を通過するラインまたはポリラインに削減することにより作成される。コンポーネントは、機械学習同定済み画素またはポイントグループの外限界決定し、その寸法、位置および向きを判定し、分類、重心（位置）、角度（向き）および先に取得した寸法情報に基づいて適当なコンポーネントを生成することにより作成される。機械学習モデルおよび後処理アルゴリズムは、図３に示すアーキテクチャーから離れて、それ自身で使用されてもよい。それは、個別または互いに組み合わせて使用されてよい。
図４Ａ、４Ｂ、および４Ｃは、生データ（Ａで入力された）を処理し、量および／または計測を判定し、デジタルモデルを生成し、結果をベンチマークと比較し、結果をエクスポートするための建造物用機械学習ツール２０８による例示的ステップ４００を示すフローチャートである。ステップ４０２において、ユーザインターフェース３０２は、ユーザに対してアプリケーションおよびデータフォーマットを含む異なる機械学習解析オプションを表示する。アプリケーションは、これに限定しないが、設計を評価し、コンポーネントを同定（例えば、建築確認するために）し、ダメージを同定することを含む。ある場合において、ポイントクラウド内のデータは、ポイントクラウドおよびメッシュモデルの処理用のオープンソースソフトウエアであるCloudCompareを使って前処理されてよい。記載したステップは、データプロセッサ実行可能インストラクションまたはソフトウエアによって有効化される。
図１１は、アプリケーションおよびデータフォーマット用のメニューセクションを有するユーザインターフェース３０２の初期ディスプレイのスクリーンショットを示す。図１２は、選択したアプリケーション用のドロップダウンメニューを有するユーザインターフェース３０２のディスプレイのスクリーンショットを示す。図１３は、アプリケーション“Assess Damage”が選択され、かつ、データフォーマット用のドロップダウンメニューが選択されたユーザインターフェースのディスプレイのスクリーンショットを示す。これらのアプリケーションおよびデータフォーマットオプションは、この特定のツール用の例示であるが、他のアプリケーションおよびデータフォーマットが含まれてもよく、または、列記したもののいくつかが省略されてもよい。
ステップ４０４および４０６において、ツールはユーザからアプリケーションおよびデータフォーマット情報を受信する。ステップ４０８において、データをアップロードするためのインターフェースが表示され、ユーザによってアップロードされたデータがステップ４１０で受信される。図１４は、ユーザが画像データのアップロードを促されているユーザインターフェースのディスプレイを示す。ステップ４１２において、ユーザインターフェース３０２は、ステップ４０４および４０６において受信したアプリケーションおよびデータフォーマットに基づいてデータを解析するのに使用可能な異なる機械学習モデルのディスプレイを表示させる。複数の機械学習モデルが同時に選択されかつ使用されてもよい。ステップ４１４において、機械学習モデル選択がユーザから受信される。図１５は、ユーザが機械学習モデルを選択することを促されているステップ４１２のディスプレイのスクリーンショットを示す。見てわかるとおり、ユーザは木製の張り合わせ積層角材の画像をアップロードした。図１６は、選択された機械学習モデルのドロップダウンメニューを有するユーザインターフェースのディスプレイのスクリーンショットを示し、そこには“Post-earthquake damage”、“Wood checking”、“Masonry cracks”、“Concrete cracks”、および“Rust spots”のモデルオプションが見られる。この図には使用可能なすべてのモデルが示されていない。これらはステップ４０４で受信したこの特定のツールおよびアプリケーション用の例示であるが、他のモデルが含まれてもよく、またはこれらのモデルのいくつかが省略されてもよい。ステップ４１６において、データは選択した機械学習モデルを使って解析され、ステップ４１８においてユーザインターフェースは結果を表示させる。図１７は、“Wood checking”モデルを使った結果の表示を有するユーザインターフェースのスクリーンショットを示す。見てわかるように、角材には２つのチェックが検出され、長い方は角材に沿っており、短い方は角材の端部である。このとき、ユーザは、スクリーンショットの底部に見えるように後処置アルゴリズムを選択するためのオプションが与えられる。
ステップ４０４および４０６において選択したアプリケーションおよびデータフォーマットと一貫していれば、ユーザは量アルゴリズム／モジュール３１０を使ってステップ４２０における結果から量を決定するオプションを有する。もし選択されれば、データセット内の各分類の実例の数は、ステップ４２２でカウントされ、ステップ４２４でその量が表示される。もし、ステップ４０４および４０６で選択されたアプリケーションおよびデータフォーマットと一貫していれば、ユーザは、計測アルゴリズム／モジュール３１２を使って、ステップ４２６で結果から計測を判定するオプションを有する。もし選択されれば、計測が図５で概説し以下で詳細に説明される処理にしたがって計算され、その後システムはステップ４２８に進む。もし選択されなければ、システムはステップ４２８に進む。
ステップ４０４および４０６において選択されたアプリケーションおよびデータフォーマットと一貫していれば、ユーザはデジタルモデル生成モジュール３１６を使ってステップ４２８においてデジタルモデルを生成するためのオプションを有する。もし選択されれば、デジタルモデルが、図６で概説し以下で詳細に説明する処理にしたがって作成され、その後システムはステップ４３０へ進む。もし選択されなければ、システムはステップ４３０へ進む。
ステップ４０４および４０６で選択されたアプリケーションおよびデータフォーマットと一貫していれば、ユーザは比較モジュール３１４を使ってステップ４３０においてベンチマークとの比較を実行するオプションを有する。もし選択されれば、比較が、図７で概説し以下で詳細に説明するプロセスに従って実行され、その後システムはステップ４３２へ進む。もし選択されなければ、システムはステップ４３２に進む。
ステップ４３２において、ユーザは、ファイル／結果をエクスポートすることを選択できる。ステップ４３４および４３６において、建造物用機械学習ツール２０８はエクスポートするべきユーザのファイル／結果の選択およびそのフォーマットを受信する。フォーマットは、これに限定しないが、画像ファイル、ｐｄｆファイル、エクセルファイル、ｃｓｖファイルおよびテキストファイルを含みうる。ステップ４３８において、選択したファイル／結果が選択されたフォーマットでエクスポートされる。
図５は、処理済みデータから計測を判定するための建造物用機械学習ツールによる例示ステップを示すフローチャート５００を示す。ユーザはステップ５０２で計測単位を入力する。ステップ５０４において、ユーザは計測されるべき同定したコンポーネントを入力する。
画像データセット５１０とともに、ステップ５１２において、ユーザは画素計測をステップ５０２で特定した単位へ変換するように要求された情報を入力する。ユーザは、リスト内の各カメラ型と関連するカメラ特性をすでに含むプリセットリストからカメラ型を選択する。代替的に、ユーザは、カメラ特性を手動で入力することができる。その後ユーザは、（１）カメラレンズと問題のコンポーネントとの間の距離、（２）問題のコンポーネントの平面内の既知の基準オブジェクトの寸法、および／または（３）同じ領域を捕捉するのに使用される２つの画像間の角度を入力する。ステップ５１４において、古典的コンピュータビジョンが、ステップ４１６で同定されたコンポーネントの領域内のエッジを検出するのに使用される。ステップ５１６において、同定された領域内のエッジ画素計測が計算され、ステップ５１２で取得した情報が、これらの計測をステップ５０２で特定された単位へ変換するのに使用される。
ポイントクラウドデータ５０６とともに、計測は、ステップ５０８においてポイントクラウドデータ内に格納された地理空間情報から直接計算される。
計測結果がステップ５１８に表示されている。図１８は、“Wood checking”機械学習モデルの結果について計算計測後処理アルゴリズムを実行した後のユーザインターフェースのディスプレイのスクリーンショットを示す。見てわかるように、２つのチェックの計測が生成されている。２つのチェックはCheck 1およびCheck 2と参照される。
図６は、デジタル図面／モデル生成アルゴリズム／モジュール３１６を使って、処理済みデータから、デジタル図面／モデルを生成するための建造物用機械学習ツール２０８による例示的ステップを示すフローチャートである。例えば、テンション印加後のテンドンの領域は、機械学習モデルを使ってドローン画像および／またはポイントクラウドデータから同定されてよい。この領域はその後、デジタル図面／モデル内で詳細なラインまたはテンドンコンポーネントに変換される。
ステップ６０２において、ユーザはデジタルモデル用のファイルフォーマットを入力する。ステップ６０４および６０６において、ユーザはデジタルモデルを保存するためにファイル名およびファイル位置を入力する。ステップ６０８において、アルゴリズムは、ステップ４１６でセグメント化されたポイントクラウドデータをステップ６０２で特定されたデジタルモデルフォーマットに変換する。ステップ６１０において、ユーザはデジタルモデルの作成が完了したときユーザに通知される。
図７は、処理済みデータの結果をベンチマークと比較するための建造物用機械学習ツール２０８による例示ステップを示すフローチャート７００である。ユーザは、ステップ７０２において手動または自動で比較を実行するオプションを有する。もしユーザが手動オプションを選択すれば、ステップ７０４において情報はシステム３００へ手動で入力される。もしユーザが自動比較オプションを選択すれば、機械学習モデル、量および計測アルゴリズムを使って抽出された情報は、ステップ７０６での図面および／またはステップ７１８でのデジタルモデルを通じて意図した設計と比較される。図面は、設計プロフェッショナルによって製造されるか、請負業者、下請業者、加工業者またはそのほかによって製造された工作図である。デジタルモデルは、設計プロフェッショナル、加工業者またはその他によって開発されうる。
図面と自動的に比較する場合において、データをアップロードするためのユーザインターフェースがステップ７０８で表示される。ステップ７１０において、データが受信される。ステップ７１２において、ユーザインターフェースはデータを解析するのに有用な異なる機械学習モデルを表示する。複数のモデルが選択されてもよい。好適には、異なる機械学習モデルは、異なるエレメントおよび像などのコンポーネント、および寸法ラインおよび溶接記号を含むサブコンポーネントの異なる図面を同定するためにトレーニングされる。光学式文字認識を使って、各コンポーネントおよびサブコンポーネントに関連するテキストが検出される。ステップ７１４において、建造物用機械学習ツール２０８はユーザのモデル選択を受信し、ステップ７１６においてデータがそのモデルを使って解析される。
デジタルモデルと自動比較する場合において、ステップ７２０においてユーザはデジタルモデルへのパスを特定する。ステップ７２２においてパスが受信されステップ７２４においてデジタルモデルが確立される。
図面との比較およびデジタルモデルとの比較の両方の場合において、データはその後ステップ７２６において比較アルゴリズム／モジュール３１４を通じて処理される。図面と自動的に比較する場合において、画像および／またはポイントクラウドから抽出された情報は、図面から抽出されたものと自動的に比較され、任意の偏りが報告される。例えば、画像から抽出されたガセットプレート寸法が問題のガセットプレート用の工作図から抽出されたものと自動的に比較されてよい。デジタルモデル比較とともに、デジタルモデルから関連情報は、図面および／またはポイントクラウドデータ解析からの結果と直接比較され、任意の偏りが報告される。例えば、システム３００は、ステップ４１６においてドローン画像および／またはポイントクラウドデータから同定されたテンション印加後のテンドンの領域をデジタルモデル内のプロファイルと比較し、特定のトレランスを超えた任意の偏りを強調する。
ステップ７３０において、手動および／または自動比較結果が表示される。図１９は、比較の結果が示されるユーザインターフェースのスクリーンショットを示す。見てわかるように、チェックがより短くより小さい幅である角材の端部において、Check 1はトレランスレベル以内にあるが、一方チェックがより長くかつより幅広い角材に沿って方向において、Check 2はユーザ入力したトレランス以内ではない。
図８から１０は、建造物用機械学習ツール２０８の異なるアプリケーションの例を与える。
設計に関して、建造物用機械学習ツールは建造物の２次元または３次元表現を使って建造物の設計を評価するのに使用されてよい。設計は、構造パフォーマンス、美的品質、素材の量、環境条件などに対して評価される。建造物用機械学習ツールは、プロフェッショナルの経験からのフィードバックに依存することなく、デザイナーが多くのマッシングオプションを素早く評価するのを助けるのに使用される。それは新しいマッシングオプションを提案するのにも使用され、美観、風効果、ソーラーエネルギー、素材の量などの複数のパラメータに対して、形状を最適化するべく他の機械学習モデルと比較されてもよい。
例えば、建造物用機械学習ツールは、風効果を軽減するために、悪い、適正、並み、良い、および優良として高層ビルディング形状を分類するのに使用されてよい。特別の機械学習モデルが物理的な風洞試験からの結果を使ってトレーニングされた。図８Ａは風洞内で試験されたスタイロフォーム（登録商標）モデル８０２の例を示す。このモデルのデジタルビジョンが画像８０４に示されている。風洞結果は、譲受人によって採用されたエンジニアによって解析され、上に列記した５つの異なる風パフォーマンスカテゴリーに分類された。機械学習モデルはビルディング形状の２次元画像表現を使ってトレーニングされ、その各々は適当な風パフォーマンス分類とともにラベル化された。この２次元表現のいくつかの例が画像８０６に示されている。これらの画像は、ひとつの画像内で一緒に敷かれる建造物の垂直および水平断面から構成され、この場合画像８１６に正方形画像として示される。異なるグレーのシェードが、背景および断面が取られたビルディングの平面を表すのに使用される。図８Ｂは、風効果を軽減するのに優良として機械学習モデルによって分類された形状８１４に至る前の機械学習モデルによって解析された異なる高層ビル設計順列８０８、８１０、８１２を示す。画像８１６は形状８１４の２次元画像表現を示す。
建築確認に関して、建造物用機械学習ツールは、オンサイトワークを調査し、建設の進行を追跡し、建設の品質保証および品質制御プロセスを改良し、かつ、建造されたままの図面またはデジタルモデルを生成するために使用されてよい。建造物用機械学習ツールによって同定されるコンポーネントは、構造または非構造的性質を有してよく、鋼鉄、コンクリート、木材、石造、ガラスなどのさまざまな材料からなる。ツールが検出するコンポーネントの例は、テンション印加後のテンドン、補強鋼鉄バー、ガセットプレート、ボルト、せん断スタッド、溶接、埋め込み、外壁アンカーなどである。機械学習解析の結果は量および計測を計算するのに使用されてよい。
建造物用機械学習ツールはまたコンポーネントを同定しかつ図面からテキストを抽出する機械学習モデルも有してよい。オンサイト機械学習解析からの結果は、図面の機械学習解析からの結果と比較され、および／またはデジタルモデルと直接比較されてよい。
図９Ａ、９Ｂ、９Ｃ、９Ｄ、９Ｅ、９Ｆ、９Ｇ、および９Ｈは、本開示の原理に従ってそれを使用してサイト写真から同定されたコンポーネントを示す。画像９０４および９０８において、テンション印加後のテンドンおよび外壁アンカーがセグメンテーションおよびオブジェクト検出技術を使ってドローン写真９０２からそれぞれ同定された。画像９０６は、厚板に対する設計図面と重ねられたテンション印加後のテンドンの機械学習結果を示す。設計レイアウトと比較したテンション印加後のテンドンの実際のレイアウトとの差がこの画像に現れており、建築確認のために本ツールを使うことの重要性を示している。画像９１０において、ボルトはオブジェクト検出を使って同定された。画像９１２において、溶接はセグメンテーションを使って同定された。画像９１４および９１６において、金属デッキおよび鉄骨とコンクリート厚板の合成物を作成するのに使用されるせん断スタッドがオブジェクト検出を使って同定された。せん断スタッドは小さくかつ典型的に大きな面積にわたってカウントされるため、デジタル一眼レフ（ＤＳＬＲ）カメラがせん断スタッドを含む大きい面積の高解像度写真を撮るのに使用されてよい。画像は９個のサブ画像に分割され、各サブ画像が個別に解析される。解析済みサブ画像はその後オリジナルの写真フォーマットで結果を表示するために再結合される。これにより、オンサイトのユーザは単一の写真を撮ることができると同時に、システムが効果的な解像度で画像を処理することが可能となる。解析済みサブ画像のサンプルが画像９１４に示されており、再結合済み写真のサンプルが画像９１６に示されている。
図９Ｉ、９Ｊ、９Ｋ、および９Ｌは、工作図から同定されたコンポーネント、および計測を計算するために機械学習解析結果を使用する例を示す。工作図を管理可能なコンポーネントおよびオブジェクト検出を通じたサブコンポーネントに細分割し、かつ、関連するテキストブロックを抽出するべく光学式文字認識を使うことにより、建造物用機械学習ツールが工作図を“read”するのに使用される。画像９１８および９２０は、寸法ライン、溶接記号、およびボルトグループ化などの鉄鋼角材の工作図内の異なるコンポーネント像の同定の結果を示す。画像９２２および９２４はサイト写真およびオブジェクト検出を使った工作図から同定される同一のガセットプレートを示す。この２つの結果はその後、比較解析を実行するために建造物用機械学習ツールによって使用されてよい。
建築確認のために機械学習を計測技術と組み合わせた例は、補強鋼鉄バーの同定およびそのサイズおよび間隔の計算である。画像９２６および９２８において、補強鋼鉄バーは、セグメンテーションを使って同定される。鉄筋が同定されると、建造物用機械学習ツールは画像９３０に示すような領域内のエッジを検出するべく古典的なコンピュータビジョンを使用することができる。以下でより詳細に説明するように、計測は、カメラ特性、カメラ位置、カメラ角度および／または基準オブジェクト寸法についての既知の情報を使って判定される。
ダメージ検出に関して、建造物用機械学習ツールは、建造物の健全性を監視し、そのパフォーマンスを評価し、かつ、破壊的事象後のダメージ査定を実行するために採用される。ここで、用語“破壊的事象”は、人為的及び自然災害事象のすべてを含み、それは、これに限定しないが、地震、嵐、ハリケーン、トルネード、強風、テロリスト攻撃、爆発、および建造物にダメージを与える他の人為的または自然災害事象を含む。機械学習ツールによって同定されるダメージは構造または非構造的性質を有し、これに限定しないが、軽い、並み、重い、または深刻を含む異なるいくつかのレベルに分類されてよい。建造物用機械学習ツールは、これに限定しないが、木材部材内のチェック、または石造、コンクリート、鉄鋼もしくは他の類似部材内のクラックを含む、材料中の欠陥を検出することもできる。それはまた潰れた建造物または建造物の潰れた部分を同定することもできる。機械学習解析結果は、同定したダメージ領域のサイズ（面積、長さ、高さ、深さ）を計算するべく、測定技術と組み合わせられてもよい。
図１０Ａ、１０Ｂ、１０Ｃ、１０Ｄ、および１０Ｅは、２０１７年に発生したメキシコでのプエブラ－モレロス地震後の画像の機械学習ダメージ査定結果を示す。地震発生後に訪れた場所が、画像１００２に同定されている。画像１００４、１００６、１００８、１０１０、および１０１２は、オブジェクト検出を使った機械学習モデルにより同定した異なるダメージタイプ（構造／非構造）および深刻さレベル（軽い／並み／重い／深刻）を示す。画像１０１０および１０１２は、３０００回の繰り返しを使ってトレーニングされた機械学習モデル（画像１０１０）と、１００００回の繰り返しを使ってトレーニングされた機械学習モデル（画像１０１２）との間の結果における差を示し、以下で詳細に説明するように、モデルの精度を改善するためにトレーニングモデルに対して調節がなされることを示す。
ここで説明するような建造物用機械学習ツールの使用は、ユーザに対して、居住可能か否か、および大きな修理が必要か否かについての、建造物のダメージのレベルに関する迅速なフィードバックを提供する。これらの結果は、破壊的事象後の建造物の評価プロセスを促進し、手動検査による損失時間を軽減するために使用される。建造物用機械学習ツールはまた、地震発生後の数週間または数か月以内に写真を手動で一覧化するのではなく、リアルタイムで偵察チームおよび地元ボランティアによりアップロードされた写真からダメージを自動的に同定しかつ査定するために自然災害データベースを使用することができる。
図１０Ｆ、１０Ｇ、１０Ｈ、１０Ｉ、および１０Ｊは、この建造物用機械学習ツールが建造物のパフォーマンスをどのように評価するかを示している。画像は、横方向の負荷にさらされる揺れるテーブル上で物理的に試験された異常な変形のヒンジおよび石造アーチ形天井の潰れた部分を同定するようにトレーニングされた機械学習モデルの結果を示す。画像１０１４、１０１６、１０１８および１０２０において、アーチ形天井の異常な変形が、オブジェクト検出を使ってテスト標本および揺れるテーブルの全ショットから同定された。画像１０２２および１０２４において、アーチ形天井の潰れた部分がオブジェクト検出を使ってテスト標本の側面写真から同定された。これらの写真は、揺れるテーブルに隣接する三脚に装着されたカメラによって捕捉された毎秒２４０フレーム（ｆｐｓ）のスローモーションビデオから収集された。画像１０２６において、オブジェクト検出を使ってテスト標本のオーバーヘッド写真からヒンジが検出された。この写真も揺れるテーブルの上に配置されたカメラで捕捉された２４０ｆｐｓのスローモーションビデオから収集された。
理解できるように、建造物用機械学習ツールは、現場の建造物または研究中の建造物に対して使用可能である。高精度、迅速、かつ時間敏感な動きの検出が可能である。
図１０Ｋ、１０Ｌ、１０Ｍ、および１０Ｎは、建造物用機械学習ツールがコンポーネントの劣化を検出するために経時変化を同定しかつ測定することにより、建造物の健全性を監視するのにどのように使用されるかの例を示す。この例において、重い張り合わせ積層板材（接着合板）角材が建設サイトで形状をチェックするためにモニターされている。モニタリングは、板材がどのように環境に対して順応していくかを評価するために、建設作業を通じて角材が装着されたときから長い時間間隔にわたって実行される。デジタル一眼レフ（ＤＳＬＲ）カメラおよび補助イクイップメントがビルディング内に装着されたカメラボックス内部に収納されている。ＤＳＬＲカメラは、タイマー遠隔シャッター開放を使って、日に一度、角材の写真を撮るようにプログラムされている。この画像は、オンラインクラウドアカウントへ自動的にアップロードされ、チェックを同定しかつその寸法を計算するために、建造物用機械学習ツールを使って処理されてよい。
画像１０３０は、いくつかの顕著な板材チェックの位置を示すテープのラインを有する接着合板角材を示す。画像１０３２は、クローズアップ画像内でチェックを同定するのに使用される機械学習解析の結果、および同定されたチェックの寸法を計算するためにその領域内での古典的コンピュータビジョンの使用を示す。画像１０３６および１０３８は、ビルディング内に装着されたカメラボックスを示す。
カメラボックスのデザインが画像１０４０に示されている。該ボックスはベニヤ板から組み立てられた。これは、平行な梁の間に適合しかつ固定されるように設計された。調節可能なベースは、モニターしている各位置に対してカメラの角度を調節するように設計された。箱の正面には、カメラレンズに、モニターしている大梁の遮るものの無い像を与えるべく穴が切り込まれている。
アルゴリズム
このセクションでは、上述したさまざまなアルゴリズムが詳細に説明される。
計測アルゴリズム３１２
図２０Ａは、機械学習モデルツールによって解析された画像から計測を判定するためのプロセスの異なるステップを示すフローチャート２０００を示す。最初に、機械学習解析の結果がステップ２００４で受信される。ステップ２００６で、もし画像がオブジェクト検出を使って解析されれば、ステップ２００８においてオブジェクト検出結果が興味の領域として画像の他の部分から分離される。画像内のチェックに関連する画素を分離するべく、興味の領域に対してその後画像セグメンテーションが実行される。ステップ２０１０において、該領域は画像内のダークパッチを分離するべく変形される。その後、ステップ２０１２において変形済み画像から輪郭が得られ、ステップ２０１４において該輪郭はオリジナル画像の上に重ねられる。次に、ステップ２０１６において凸多面体が分離された画素の上に生成される。凸多面体は、OpenCVにおける関数minAreaRectを使って作成される。この関数は、最小面積で、すべての画素を包囲する矩形を作成し、画素の高さ、画素の幅および画素に対して描かれた矩形の回転をリターンする。この処理は、カーブし、湾曲し、傾き、旋回するオブジェクトの寸法を正確に判定するべくより小さいサブステップで実行されてよい。凸多面体はオブジェクト全体により近似して適合するように、興味のセグメント済み領域のより小さいサブセグメントに対して適合されてもよい。ステップ２０１８において、画素の高さ、画素の幅、およびバウンディング矩形の回転がminAreaRect関数から受信される。ステップ２０２０において、カメラ特性、位置および／または基準オブジェクト寸法を受信し、ステップ２０２２において、それは画素距離を他の単位へ変換するのに使用される。もし凸多面体が興味のセグメント化領域のより小さいサブセグメントの上に適合されれば、サブセグメントごとに個々に決定された寸法はオブジェクトの全体の寸法を判定するために組み合わされる。もし画像がステップ２００４におけるセグメンテーションを使ってツールの機械学習モデルによって解析されれば、ステップ２０１６においてセグメントはクラスタリング最近傍アプローチを使ってグループ化され、その後、上述したようにステップ２０１６から２０２４が続く。
以下の式１および式２は、画素のオブジェクトの高さｈоｐを、ｍｍのオブジェクトの高さｈоに変換するのに使用される。式１は、カメラ焦点距離ｆ（ｍｍ）、カメラレンズと問題のコンポーネントとの間の距離ｄо（ｍｍ）、問題のオブジェクトの高さｈоｐ（画素）、センサーの高さｈｓ（ｍｍ）、および画像の高さｈｉ（画素）を使用する。式２は、ｈо（ｍｍ）およびオブジェクト計測ｈоｐ（画素）の問題のコンポーネントの面内において既知のオブジェクトの寸法ｈｋｐ（画素）およびｈｋ（ｍｍ）を使用する。
Figure 0007352632000001
もし２つのカメラが同一のオブジェクトの写真を撮るのに使用されれば、それらの位置および特性がオブジェクト距離ｄоを判定するのに使用されてよい。式３において、オブジェクトの距離ｄоは、２つのカメラの間の距離β、画像の画素解像度χ、カメラの視野角度φ、および写真ｈｉ１、ｈｉ２両方における同一のオブジェクト間の画素距離から判定される。その後、式１および２が上述したように画素距離をミリメートルに変換するのに使用されてよい。
Figure 0007352632000002
異なる単位でオブジェクト計測を得るために、ミリメートル計測は上記式において他の単位に置換されてもよい。同一の式がオブジェクトの平面において任意の計測を計算するのに使用されてよい。
図２０Ｂから２０Ｆは、オブジェクト検出を使用するツールによって解析された画像から張り合わせ積層板材（接着合板）角材におけるチェックの寸法を計測するのに適用される計測アルゴリズムにおける異なるステップの結果を示す。画像２０２８は、画像内のチェックを検出しかつ位置決めするためにオブジェクト検出を使用するツールの機械学習モデルによって解析される前のオリジナル画像を示す。オブジェクト検出から抽出された興味のある領域のサブセグメントが画像２０３０に示されている。変換済みサブセグメントが画像２０３２に示されている。オリジナル画像上に重なった輪郭が画像２０３４に示されている。ツールによって判定された凸多面体およびチェック寸法は画像２０３６内に示されている。
デジタルモデル生成アルゴリズム３１６
デジタルモデル生成は、以下のフォーマットでデジタル図面および／またはモデルを生成することに言及する。フォーマットは、ベクトルグラフィックフォーマット、任意の計算機援用設計（ＣＡＤ）フォーマット、任意の３次元モデリングまたはRevit BIM、AutoCAD 3D、Tekla, Rhinoなどのビルディング情報モデリング（ＢＩＭ）ソフトウエアプログラムを含む。
画像クリーニング（セグメンテーション）
デジタルモデルエレメントを生成する前に、ツールの機械学習モデルからのセグメント化画像結果は、図２１Ａのフローチャート２１００で概説した手続きに従ってクリーニングされてよい。ステップ２１０２において、ツールの機械学習解析の結果が受信される。ステップ２１４０において、ステップ２１０２からの画像がOpenCV関数膨張を使って膨張される。この関数は各画素で中心のカーネルに最大の画素値を見つける。ステップ２１０６において、画像はOpenCV関数収縮を使って収縮される。この関数は、膨張関数の反対に作用し、カーネルの領域に対する局所的最小値を計算する。両方の関数が一緒に組み合わされて、画像内のノイズを削減しかつ画像内のメインエレメントを分離するのを助ける。ステップ２１０８において、画素値は画像内のノイズをさらに削減するべく、最も近い整数値に丸められる。ステップ２１１０において、ステップ２１０８で取得された画像にフィルタが適用される。Pollow(PIL)関数のMaxFilterおよびMinFilterが所与のサイズのウインドウ内の最大画素値および最低画素値を判定するのにそれぞれ使用される。画像内の画素はその後、各画素が０から２５５までの値の範囲を有するように、単一のチャネルフォーマットに変換される。ステップ２１１２において、ステップ２１１０で取得した画像内のすべての画素は、画素値が２００を超えたか否かに基づいて０または２２５の２つの値に再び割り当てられる。この操作は、画像内のすべての中間明るさ画素および暗い画素を除去し、極値の画素のみを保持するために実行される。ステップ２１１４において、画像は、赤緑青（ＲＧＢ）フォーマットに変換される。ステップ２１１６において、PIL MaxFilter関数は、さらにノイズを削減し、かつ画像内の重要なエレメントを分離するべく、画像内の暗い画素を間引きするために再度適用されてよい。このプロセス内で概説された異なるステップが任意の順番または組み合わせで使用されてもよい。同様の技術が、フローチャート２１００で概説したものに代わってまたは付加して画像をクリーニングするのに使用されてもよい。
図２１Ｂから２１Ｋは、セグメンテーションを使ってテンション印加後のテンドンを同定するためにツールの機械学習モデルによって解析されるドローン画像をクリーニングした結果を示す。画像２１１８は、オリジナルのドローン画像を示し、一方画像２１２０は機械学習解析からの結果（ステップ２１０２）を示す。画像２１２２は、４回繰り返し後の画像の膨張を示し、画像２１２４は画像の続く収縮を示す（ステップ２１０４および２１０６）。画像２１２６は、画素値の丸め（ステップ２１０８）後の画像を示す。画像２１２８は、フィルタが適応された後の画像を示し、画像２１３０は画素が２つのグループにソートされた後の画像を示す（ステップ２１１０および２１１２）。画像２１３２はＲＧＢフォーマットに変換された後の画像を示す（ステップ２１１４）。画像２１３６は、オリジナル画像２１１８上に重なった画像２１３２を示す。画像２１３４は、最終フィルタが適用された後の画像を示す（ステップ２１１６）。
画像からの２次元ラインまたはポリラインを生成（セグメンテーション）
図２２Ａは、セグメンテーションを使ってツールの機械学習モデルによって解析された画像からベクトルラインを生成するためのプロセスにおける異なるステップを示すフローチャート２２００を示す。ステップ２２０２において、ツールの機械学習解析からの結果、および、もし適用可能であれば、フローチャート２１００で概説した画像クリーニングプロセスの結果が受信される。ステップ２２０４において、ステップ２２０２から取得した画像内の分類に割り当てられなかった画素が除去される。ステップ２２０６において、画像はScikit-imageライブラリ内の細分化関数を使って細分化され、それは、画像をひとつの画素幅表示に削減する。ステップ２２０８において、ラスタ画像はベクトル画像に変換される。ステップ２２１０において、ベクトル画像内のラインはその位置および向きに応じてグループ化される。ステップ２２１２において、ライングループはポリラインに変換される。これらのラインまたはポリラインは、ユーザによってそのまま使用されるか、または、デジタル図面またはその選択のモデリングソフトウエアプログラムへユーザによってインポートされる。
図２２Ｂにおいて、画像２２１４はクリーニングされた画像２１３４を示し、画像２２１６は細分化バージョンを示す（ステップ２２０６）。
画像からの３次元デジタルモデルコンポーネントの生成
画像からデジタルモデルコンポーネントを生成するために、機械学習結果はまずフローチャート２０００で概説したプロセスに従う計測アルゴリズムを通じて処理される。ステップ２０１６で凸多面体の代わりまたは加えて、ワイヤ境界アウトライン（ｘ－形状）が画素のグループの周りに生成されてよい。このアウトラインは計測、ならびに各形状の重心および角度を計算するために使用されてよい。計測、重心（位置）および角度（向き）が画像内の同定された各分類の各オブジェクトに対して取得されると、この情報は適切なデジタルモデルフォーマットで対応するモデルコンポーネントを生成するのに使用される。
ポイントクラウドデータからの３次元デジタルモデルコンポーネントの生成
図２３Ａは、ポイントクラウドデータからデジタルモデルコンポーネントを生成するのにツールがどのように使用されるかを示すフローチャート２３００を示す。ステップ２３０２において、ポイントクラウドデータを異なる分類にセグメントする機械学習の結果が受信される。ステップ２３０４において、セグメント化ポイントがクラスタリング最近傍アプローチを使ってグループ化される。ステップ２３０６において、セクションが、それらの高さに対して設定されたインターバルでクラスタごとに生成される。ステップ２３０８において、ポイントアウトラインが凸多面体および／またはｘ－形状（ワイヤ境界）技術を使って各セクションにおいて生成される。ステップ２３１０において、形状受信および角度を計算するために形状アウトラインが使用される。ステップ２３１２において、形状アウトラインがセクション寸法を判定するのに使用される。ステップ２３１４において、垂直高さがクラスタごとに計算さえる。ステップ２３１６において、デジタルコンポーネントが、上で得られたクラスタ分類、重心（位置）、角度（向き）および寸法情報を使ってクラスタごとに生成される。
図２３Ｂは、アウトラインがポイントクラスタセクションの周りにどのように生成されるかを示す画像１２１８を示す。
比較アルゴリズム３１４
デジタルモデルとの比較
デジタルモデルとの比較は、上述したセクションで説明したフォーマットのデジタル図面またはモデルとの比較を包含する。
図２４Ａは、ツールが機械学習結果を、建造物のデジタルモデルと比較するのにどのように使用されるかを示すフローチャート２４００を示す。ステップ２４０２において、デジタルモデルへのリンクが確立され、投影座標位置および単位などの投影情報が受信される。ステップ２４０６において、興味の分類に対応するデジタルモデル内のエレメントが収集される。ステップ２４０８において、これらのエレメントが位置および向きに従ってグループ化される。ステップ２４１０において、機械学習解析の結果が受信される。もし結果がオブジェクト検出技術２４１２を通じて取得されれば、各デジタルモデルエレメントはステップ２４１４においてバウンディングボックスによって輪郭を描かれる。ステップ２４１６において、デジタルモデルのバウンディングボックスと、機械学習を通じて取得されたバウンディングボックスとの間のオフセットが計算される。もし、機械学習解析の結果が、意味セグメンテーション２４１８を通じて取得されれば、ステップ２４２０においてライン、ポリラインまたはデジタルモデルコンポーネントがフローチャート２３００で概説された手順にしたがって生成される。ステップ２４２２において、制御ポイントがステップ２４０６で収集されたデジタルモデルエレメントに対して生成される。ステップ２４２４において、正規化面が各制御ポイントにおいて生成される。ステップ２４２６において、デジタルモデルエレメントと機械学習解析結果から生成されたエレメントとの間のオフセットが計算される。
図２４Ｂは、デジタルモデルからの埋め込みプレートと、オブジェクト検出を使ってツールの機械学習解析を通じて検出された埋め込みプレートとの間のオフセットの例を示す画像２４２８である。図２４Ｃは、テンション印加後のテンドンに対して、ステップ２４２４で生成された各制御ポイントにおける正規化面の例を示す画像２４３０である。図２４Ｄは、デジタルモデルと、機械学習結果から生成されたラインとの間の制御ポイントにおけるオフセット距離を示す画像４３２である。図２４Ｅにおいて、画像２４３４は比較アルゴリズムからの結果が、テンション印加後のテンドンに対してどのように表示されるかの例を示し、そこでは、各制御ポイントにおいて計算されたオフセットがデジタルモデルおよび機械学習結果を示す平面図内に示されている。
リファレンス
以下は、建造物用機械学習ツールの確立に使用されたオープンソースのサードパーティリソースの非徹底的リストを構成する。
You Only Look Once (YOLO): YOLOは、ＭＩＴがライセンスを有するオープンソースの機械学習ネットワークである。このネットワークは、ここで開示した建造物用機械学習ツールの開発において画像レベルの分類モデルをトレーニングするのに使用された。https://pjreddie.com/darknet/yolo/を参照。
Tensorflow: Tensorflowは、機械学習用のグーグルのオープンソースフレームワークであり、それは、ここで開示した建造物用機械学習ツールの開発に使用された機械学習フレームワークである。Tensorflowは、Apache 2.0オープンソースライセンスの下で入手可能である。https://www.tensorflow.orgを参照。
Tensorflow Object Detection API: Tensorflow Object Detection APIは、オブジェクト検出モデルを構築し、トレーニングし、かつ展開するためにTensorflowのトップに作成されたオープンソースフレームワークである。それは、ここで開示した建造物用機械学習ツールの開発において、オブジェクト検出モデルのトレーニングに使用され、Apache 2.0オープンソースライセンスの下で入手可能である。https://github.com/tensorflow/models/tree/master/research/object_detectionを参照。
Faster Region-Convolutional Neural Network (R-CNN): Faster R-CNNは、オープンソースＭＩＴライセンスの下で、入手可能な機械学習ネットワークである。MS COCOデータセットから予めトレーニングされた重みによって初期化されたこのネットワークは、ここで開示した建造物用機械学習ツールの開発において、オブジェクト検出モデルのトレーニングに使用された。https://github.com/ShaoqingRen/faster_rcnnおよびhttps://github.com/rbgirshick/py-faster-rcnnを参照。
DeepLabV2: DeepLabV2は、オープンソースのＭＩＴライセンスの下で入手可能な意味セグメンテーション用のディープニューラルネットワークである。このネットワークは、ここで開示した建造物用機械学習ツールの開発において、意味セグメンテーションモデルをトレーニングするのに使用された。https://github.com/tensorflow/models/tree/master/research/deeplabを参照。
ResNet101: ResNet101は、ImageNetデータベースからの百万個以上の画像でトレーニングされた残差ニューラルネットワーク（residual neural network）であり、オープンソースのＭＩＴライセンスの下で入手可能である。このネットワークは、ここで開示した建造物用機械学習ツールの開発において、オブジェクト検出および意味セグメンテーション機械学習モデルの両方をトレーニングするのに使用された。https://github.com/KaimingHe/deep-residual-networksを参照。
PointNetおよびPointNet++: PointNetおよびPointNet++は、オープンソースのＭＩＴライセンスの下で入手可能なポイントクラウドデータ用のニューラルネットワークである。これらのネットワークは、ここで開示した建造物用機械学習ツールの開発において、ポイントクラウド上で直接機械学習モデルをトレーニングするために使用された。https://github.com/charlesq34/pointnetおよびhttps://github.com/charlesq34/pointnet2を参照。
Common Objects in Context (COCO)データセット:COCOデータセットは、ラージスケールのオブジェクト検出、セグメンテーション、およびキャプションデータセットである。いくつかのニューラルネットワークは、ここで開示した建造物用機械学習ツールの開発において、COCOデータセットからの予めトレーニングされた重みによって初期化された。COCOデータセットは、Creative Commons Attribution 4.0の下で入手可能である。http://cocodataset.orgを参照。
Google’s Optical Character Recognition (OCR): Google’s OCRは、画像内のテキストを検出するためのツールであり、ここで開示した建造物用機械学習ツールの開発において、図面からテキストを抽出するのに使用された。Google’s OCRは、Apache 2.0オープンソースライセンスの下で入手可能である。https://cloud.google.com/vision/docs/ocr参照。
CloudCompare: CloudCompareは、３次元ポイントクラウドおよび三角形メッシュモデル処理用のソフトウエアアプリケーションであり、ここで開示した建造物用機械学習ツールの開発において、ポイントクラウドデータを処理し、機械学習解析用にそれを準備する場合に使用される。CloudCompareは、GNU Library General Public License, version 2.0の下で入手可能である。cloudcompare.org参照。
Revit BIMは、米国のAdvenser LLC、およびインドのAdvenser Engineering Services PvT, Ltd.から入手可能なビルディング情報モデリングアプリケーションである。www.revit-modeling.com参照。
Open Source Computer Vision Library (OpenCV): OpenCVは、オープンソースのコンピュータビジョンであり、Berkeley Software Distribution (BSD)ライセンスの下で入手可能な機械学習ソフトウエアライブラリである。opencv.org参照。
Pillow (PIL): Pillowは、オープンソースのPIL Software Licenseの下でライセンスされたPIL forkである。それは、Alex Clark and contributorsによって開発された。https://pillow.readthedocs.io/en/stable参照。
Scikit-image: Scikit-imageは、Berkeley Software Distribution (BSD)ライセンスの下で入手可能なPythonプログラミング言語用のオープンソース画像処理ライブラリである。https://scikit-image.org参照。
Python: Pythonは、Pythonライセンスの下で入手可能なオープンソースプログラミング言語である。python.org参照。
NumPy: NumPyは、NumPyライセンスの下で入手可能な科学計算用のオープンソースPythonパッケージである。www.numpy.org参照。
機械学習モデルは、それが作成される際に新しくかつ改良されたフレームワークおよびニューラルネットワークによってアップデート可能である。新しい機械学習技術もまたそれらの作成される際に組み込まれる。したがって、上に列記したものと異なる付加的なオープンソースのサードパーティリソースが、ここで開示した建造物用機械学習ツールの開発において採用されてよい。

Claims (12)

  1. 一つ以上のデータプロセッサおよびメモリを有するコンピュータシステムと、
    ユーザインターフェースであって、それを介してユーザへ情報が出力され、かつ、それを通じてユーザによって情報およびデータが入力され、前記データは、建造物、前記構造物の複数のコンポーネント、またはその両方を記述するところのユーザインターフェースと、
    データが格納されたデータベースと、
    前記データを前記データベースに格納しかつ前記データを前記データベースから検索するべく、前記データベースと通信するデータベース管理システムと、
    前記メモリ内に格納された非一過性データプロセッサ実行可能インストラクションであって、一つ以上の予めトレーニングされた機械学習モデルの第１の実行可能インストラクションおよび一つ以上の後処理アルゴリズムの第２の実行可能インストラクションを含む、ところのインストラクションと
    を備え、
    前記一つ以上の機械学習モデルは、（ａ）前記建造物の画像、前記建造物を特徴づけるポイントクラウドデータ、前記建造物の３次元表現、または前記構造物の図面から建造物の性能または設計を評価し、（ｂ）前記画像、前記ポイントクラウドデータ、前記３次元表現、または前記図面から前記建造物の複数のコンポーネントを同定し、（ｃ）前記図面から前記建造物の前記複数のコンポーネントを同定しかつ前記構造物の前記複数のコンポーネントに関連するテキストを抽出し、（ｄ）前記画像もしくは前記ポイントクラウドデータまたはそれらの任意の組み合わせから前記建造物の前記複数のコンポーネントにおけるダメージを同定かつ査定し、（ｅ）個々に区切られた前記構造物の同定済みの複数のコンポーネントを有する第１出力ファイルを生成するべく、前記データベース内の前記データを処理するように予めトレーニングされ、
    前記一つ以上の後処理アルゴリズムは、前記第１出力ファイルを処理し、かつ、同定済みの前記複数のコンポーネントの分類および前記複数のコンポーネントの分類毎の数、同定済みの前記複数のコンポーネントの各々の面積測定、および、ひとつの前記機械学習モデルの出力と前記複数のコンポーネントのベンチマーク、二次元ライン、三次元表現、またはこれらの任意の組み合わせとの間の偏りを生成する、量アルゴリズム、計測アルゴリズム、比較アルゴリズム、デジタルモデル生成アルゴリズム、またはそれらの任意の組み合わせを含み、
    （１）前記計測アルゴリズムは、
    （ａ）コンピュータビジョンを使用し、かつ、前記一つ以上の機械学習モデルによって同定された領域内のエッジを検出するステップと、
    （ｂ）それらの領域内の画素距離を計算し、前記画素距離をカメラの特性および前記建造物に対する空間的関係に基づいてユーザによって特定した距離の他の単位へ変換するステップとを有し、
    （２）前記比較アルゴリズムは、
    （ａ）前記一つ以上の機械学習モデルから抽出した情報を、（ｉ）ユーザによって入力され、（ｉｉ）物理的図面の機械学習解析を通じて自動的に取得され、または、（ｉｉｉ）デジタル図面またはデジタルモデルから自動的に取得されたベンチマークと比較するステップと、
    （ｂ）前記一つ以上の機械学習モデルから抽出した情報と前記ベンチマークとの間の任意の偏りを報告するステップとを有し、
    （３）前記デジタルモデル生成アルゴリズムは、
    同定済みの前記複数のコンポーネントの分類ごとの画素またはポイントをグループ化することにより同定済みの前記複数のコンポーネントの３次元デジタルモデルまたは２次元デジタル図面を生成するために前記一つ以上の機械学習モデルからの結果を使用するステップと、
    画素またはポイントのグループを当該画素またはポイントのグループの中心を通過するラインまたはポリラインに削減することにより作成されるラインを有する３次元コンポーネントまたは２次元ラインからなる変換済みの複数のコンポーネントへそれらを変換するステップと
    を有し、
    変換済みの前記複数のコンポーネントは、機械学習で同定済みの画素またはポイントのグループの外限界を判定し、変換済みの前記複数のコンポーネントの寸法、位置、および向きを判定し、前記分類、重心（位置）、角度（向き）および上で得られた寸法情報に基づいて適当な複数のコンポーネントを生成することにより作成され、
    （４）前記量アルゴリズムは、前記複数のコンポーネントの分類ごとに同定された前記複数のコンポーネントの実例の合計数を与えるべく、前記一つ以上の機械学習モデルによって同定された一つ以上の分類内の前記複数のコンポーネントの前記実例の数を合算する、
    ことを特徴とする機械学習ツール。
  2. 前記一つ以上の機械学習モデルは、前記建造物の前記設計を評価し、前記建造物の前記複数のコンポーネントを同定し、前記建造物におけるダメージを査定するべく、前記データベース内の前記データを処理するよう予めトレーニングされる、ことを特徴とする請求項１に記載の機械学習ツール。
  3. 前記一つ以上の後処理アルゴリズムは、前記量アルゴリズム、前記計測アルゴリズム、前記比較アルゴリズム、および前記デジタルモデル生成アルゴリズムを含む、ことを特徴とする請求項１に記載の機械学習ツール。
  4. 前記一つ以上の機械学習モデルは、前記建造物の前記設計を評価し、前記建造物の前記複数のコンポーネントを同定し、および前記建造物における前記ダメージを査定するべく、前記データベース内の前記データを処理するよう予めトレーニングされ、
    前記一つ以上の後処理アルゴリズムは、前記量アルゴリズム、前記計測アルゴリズム、前記比較アルゴリズム、および前記デジタルモデル生成アルゴリズムを含む、ことを特徴とする請求項１に記載の機械学習ツール。
  5. 前記建造物の前記複数のコンポーネントは構造コンポーネントおよび非構造コンポーネントを含み、前記構造コンポーネントは前記構造物の負荷に耐えるか負荷を伝達するコンポーネントであり、前記非構造コンポーネントは前記構造物のそれ以外のコンポーネントである、ことを特徴とする請求項１に記載の機械学習ツール。
  6. 前記計測アルゴリズムを含む、請求項１に記載の機械学習ツール。
  7. 前記比較アルゴリズムを含む、請求項１に記載の機械学習ツール。
  8. 前記デジタルモデル生成アルゴリズムを含む、請求項１に記載の機械学習ツール。
  9. 一つ以上のデータプロセッサおよび非一過性データプロセッサ実行可能インストラクションを格納するメモリを有するコンピュータシステムと、
    ユーザインターフェースであって、それを通じてユーザへ情報が出力され、かつ、それを通じて前記ユーザによって情報およびデータが入力される、ところのユーザインターフェースと、
    データが格納されるデータベースと、
    前記データベースへ前記データを格納しかつ前記データベースから前記データを検索するべく、前記データベースと通信するデータベース管理システムと、
    を備え、
    前記データプロセッサによって実行されたとき、前記非一過性データプロセッサ実行可能インストラクションは、
    （ｉ）画像またはポイントクラウドデータから構造物の複数のコンポーネントを同定し、（ｉｉ）図面から前記構造物の前記複数のコンポーネントを同定し、かつ、関連するテキストを抽出し、（ｉｉｉ）前記画像または前記ポイントクラウドデータから前記構造物のダメージを同定しかつ査定し、または（ｉｖ）それらの任意の組み合わせにより、前記画像、前記ポイントクラウドデータ、その３次元表現または前記図面から前記構造物の性能または設計を評価し、かつ、区切られた同定済みの前記複数のコンポーネントを有する第１出力ファイルを生成するべく、予めトレーニングされた機械学習モデルを使って前記データを処理するステップと、
    量アルゴリズム、計測アルゴリズム、比較アルゴリズム、デジタルモデル生成アルゴリズム、またはこれらの任意の組み合わせを呼び出すことにより、前のステップからの前記第１出力ファイルを処理し、かつ、同定済みの前記複数のコンポーネントの数および同定済みの前記複数のコンポーネントの計測を含む第２出力ファイルを生成するステップとを有効化し、
    （１）前記計測アルゴリズムは、
    （ａ）コンピュータビジョンを使って、前記一つ以上の機械学習モデルによって同定された領域内のエッジを検出するステップと、
    （ｂ）それらの領域内の画素距離を計算し、前記画素距離をカメラの特性および前記建造物に対する空間的関係に基づいてユーザによって特定した距離の他の単位へ変換するステップとを有し、
    （２）前記比較アルゴリズムは、
    （ａ）前記一つ以上の機械学習モデルから抽出した情報を、（ｉ）ユーザによって入力され、（ｉｉ）物理的図面の機械学習解析を通じて自動的に取得され、または、（ｉｉｉ）デジタル図面またはデジタルモデルから自動的に取得されたベンチマークと比較するステップと、
    （ｂ）前記一つ以上の機械学習モデルから抽出した情報と前記ベンチマークとの間の任意の偏りを報告するステップとを有し、
    （３）前記デジタルモデル生成アルゴリズムは、
    同定済みの複数のコンポーネントの分類ごとの画素またはポイントをグループ化することにより同定済みの前記複数のコンポーネントの３次元デジタルモデルまたは２次元デジタル図面を生成するために前記一つ以上の機械学習モデルからの結果を使用するステップと、
    画素またはポイントのグループを当該画素またはポイントのグループの中心を通過するラインまたはポリラインに削減することにより作成されるラインを有する３次元コンポーネントまたは２次元ラインからなる変換済みの複数のコンポーネントへそれらを変換するステップと
    を有し、
    変換済みの前記複数のコンポーネントは、機械学習で同定済みの画素またはポイントのグループの外限界を判定し、その寸法、位置、および向きを判定し、前記分類、重心（位置）、角度（向き）および上で得られた寸法情報に基づいて適当な複数のコンポーネントを生成することにより作成され、
    （４）前記量アルゴリズムは、前記複数のコンポーネントの分類ごとに同定された前記複数のコンポーネントの実例の合計数を与えるべく、前記一つ以上の機械学習モデルによって同定された一つ以上の分類内の前記複数のコンポーネントの前記実例の数を合算する、
    ことを特徴とする機械学習ツール。
  10. 一つ以上のデータプロセッサおよびメモリを有するコンピュータシステムと、
    ユーザインターフェースであって、それを通じてユーザへ情報が出力され、かつ、それを通じて前記ユーザによって情報およびデータが入力される、ところのユーザインターフェースと、
    データが格納されたデータベースと、
    前記データベースへ前記データを格納しかつ前記データベースから前記データを検索するために、前記データベースと通信するデータベース管理システムと、
    前記メモリ内に格納された非一過性データプロセッサ実行可能インストラクションと
    を備え、
    前記データプロセッサによって実行されると、前記非一過性データプロセッサ実行可能インストラクションにより、前記ユーザインターフェースは、
    機械学習解析およびデータフォーマットを選択するようユーザに促し、
    前記ユーザから前記データを受信し、該データを前記データベース内に格納し、
    （ｉ）画像またはポイントクラウドデータから建造物の複数のコンポーネントを同定し、（ｉｉ）図面から前記建造物の前記複数のコンポーネントを同定しかつ関連するテキストを抽出し、（ｉｉｉ）前記画像または前記ポイントクラウドデータから、前記建造物におけるダメージを同定しかつ査定し、または（ｉｖ）それらの任意の組み合わせにより、前記画像、前記ポイントクラウドデータ、その３次元表現または前記図面から前記建造物の性能または設計を評価するべく、前記データベース内の前記データを処理するよう予めトレーニングされた一つ以上の機械学習モデルの中から選択するようユーザに促し、
    選択された機械学習モデルを呼び出し、呼び出した機械学習モデルを使って前記データを処理し、かつ、区切られた同定済み前記複数のコンポーネントを有する第１出力ファイルを生成し、
    量アルゴリズム、計測アルゴリズム、比較アルゴリズム、デジタルモデル生成アルゴリズム、またはこれらの任意の組み合わせを含む一つ以上の後処理アルゴリズムを選択するよう前記ユーザに促し、
    各後処理アルゴリズムを呼び出し、前記第１出力ファイルを処理し、かつ、第２出力ファイルを生成し、
    （１）前記計測アルゴリズムは、
    （ａ）コンピュータビジョンを使用し、かつ、前記一つ以上の機械学習モデルによって同定された領域内のエッジを検出するステップと、
    （ｂ）それらの領域内の画素距離を計算し、前記画素距離をカメラの特性および前記建造物に対する空間的関係に基づいてユーザによって特定した距離の他の単位へ変換するステップとを有し、
    （２）前記比較アルゴリズムは、
    （ａ）前記一つ以上の機械学習モデルから抽出した情報を、（ｉ）ユーザによって入力され、（ｉｉ）物理的図面の機械学習解析を通じて自動的に取得され、または、（ｉｉｉ）デジタル図面またはデジタルモデルから自動的に取得されたベンチマークと比較するステップと、
    （ｂ）前記一つ以上の機械学習モデルから抽出した情報と前記ベンチマークとの間の任意の偏りを報告するステップとを有し、
    （３）前記デジタルモデル生成アルゴリズムは、
    同定済みの複数のコンポーネントの分類ごとの画素またはポイントをグループ化することにより同定済みの前記複数のコンポーネントの３次元デジタルモデルまたは２次元デジタル図面を生成するために前記一つ以上の機械学習モデルからの結果を使用するステップと、
    画素またはポイントのグループを当該画素またはポイントのグループの中心を通過するラインまたはポリラインに削減することにより作成されるラインを有する３次元コンポーネントまたは２次元ラインからなる変換済みの複数のコンポーネントへそれらを変換するステップと
    を有し、
    変換済みの前記複数のコンポーネントは、機械学習で同定済みの画素またはポイントのグループの外限界を判定し、その寸法、位置、および向きを判定し、前記分類、重心（位置）、角度（向き）および上で得られた寸法情報に基づいて適当な複数のコンポーネントを生成することにより作成され、
    （４）前記量アルゴリズムは、前記複数のコンポーネントの分類ごとに同定された前記複数のコンポーネントの実例の合計数を与えるべく、前記一つ以上の機械学習モデルによって同定された一つ以上の分類内の前記複数のコンポーネントの前記実例の数を合算する、
    ことを特徴とする機械学習ツール。
  11. 具体的ダメージが、市街、国などにおけるすべての建造物の最大限まで同定され、かつ、最小限の単一の建造物において考慮されるさまざまな条件に対するより広範な復元計画に組み込まれる、ことを特徴とする請求項１に記載の機械学習ツール。
  12. 一つ以上のデータプロセッサおよびメモリを有するコンピュータシステムと、
    ユーザインターフェースであって、それを通じてユーザに方法が出力され、かつ、それを通じて前記ユーザによって情報およびデータが入力され、前記データは建造物、その複数のコンポーネント、またはその両方を同定するところのユーザインターフェースと、
    データが格納されたデータベースと、
    前記データベース内に前記データを格納しかつ前記データベースから前記データを検索するべく、前記データベースと通信するデータベース管理システムと、
    前記メモリ内に格納された非一過性データプロセッサ実行可能インストラクションであって、
    （Ａ）一つ以上の予めトレーニングされた機械学習モデルの第１の実行可能インストラクションであって、（ｉ）画像またはポイントクラウドデータから前記建造物の複数のコンポーネントを同定し、（ｉｉ）図面から前記建造物の複数のコンポーネントを同定しかつ関連するテキストを抽出し、（ｉｉｉ）前記画像または前記ポイントクラウドデータから、前記建造物におけるダメージを同定しかつ査定し、（ｉｖ）またはそれらの任意の組み合わせにより、前記一つ以上の機械学習モデルは、前記画像、前記ポイントクラウドデータ、その３次元表現または前記図面から前記建造物の性能または設計を評価し、かつ、区切られた同定済みの前記複数のコンポーネントを有する第１出力ファイルを生成するべく、前記データベース内の前記データを処理するよう、一つ以上の機械学習モデルが予めトレーニングされた、第１の実行可能インストラクションと、
    （Ｂ）一つ以上の後処理アルゴリズムの第２の実行可能インストラクションであって、前記第１出力ファイルを処理し、かつ、同定済みの前記複数のコンポーネントの分類および前記複数のコンポーネントの分類毎の数、同定済みの前記複数のコンポーネントの各々の面積測定、および、ひとつの前記機械学習モデルの出力と前記複数のコンポーネントのベンチマーク、二次元ライン、三次元表現、またはこれらの任意の組み合わせとの間の偏りを生成し、量アルゴリズム、計測アルゴリズム、比較アルゴリズム、デジタルモデル生成アルゴリズム、またはそれらの任意の組み合わせを含む一つ以上の後処理アルゴリズムと
    を有する非一過性データプロセッサ実行可能インストラクションと
    を備え、
    （１）前記計測アルゴリズムは、
    （ａ）コンピュータビジョンを使って、前記一つ以上の機械学習モデルによって同定された領域内のエッジを検出するステップと、
    （ｂ）それらの領域内の画素距離を計算し、前記画素距離をカメラの特性および前記建造物に対する空間的関係に基づいてユーザによって特定した距離の他の単位へ変換するステップとを有し、
    （２）前記比較アルゴリズムは、
    （ａ）前記一つ以上の機械学習モデルから抽出した情報を、（ｉ）ユーザによって入力され、（ｉｉ）物理的図面の機械学習解析を通じて自動的に取得され、または、（ｉｉｉ）デジタル図面またはデジタルモデルから自動的に取得されたベンチマークと比較するステップと、
    （ｂ）前記一つ以上の機械学習モデルから抽出した情報と前記ベンチマークとの間の任意の偏りを報告するステップとを有し、
    （３）前記デジタルモデル生成アルゴリズムは、
    同定済みの複数のコンポーネントの分類ごとの画素またはポイントをグループ化することにより同定済みの前記複数のコンポーネントの３次元デジタルモデルまたは２次元デジタル図面を生成するために前記一つ以上の機械学習モデルからの結果を使用するステップと、
    画素またはポイントのグループを当該画素またはポイントのグループの中心を通過するラインまたはポリラインに削減することにより作成されるラインを有する３次元コンポーネントまたは２次元ラインからなる変換済みの複数のコンポーネントへそれらを変換するステップと
    を有し、
    変換済みの前記複数のコンポーネントは、機械学習で同定済みの画素またはポイントのグループの外限界を判定し、その寸法、位置、および向きを判定し、前記分類、重心（位置）、角度（向き）および上で得られた寸法情報に基づいて適当な複数のコンポーネントを生成することにより作成され、
    （４）前記量アルゴリズムは、前記複数のコンポーネントの分類ごとに同定された前記複数のコンポーネントの実例の合計数を与えるべく、前記一つ以上の機械学習モデルによって同定された一つ以上の分類内の前記複数のコンポーネントの前記実例の数を合算する、
    ことを特徴とする機械学習ツール。
JP2021534601A 2019-02-28 2020-02-19 機械学習ツール Active JP7352632B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962812029P 2019-02-28 2019-02-28
US62/812,029 2019-02-28
PCT/US2020/018770 WO2020176304A1 (en) 2019-02-28 2020-02-19 Machine learning tool for structures

Publications (3)

Publication Number Publication Date
JP2022522257A JP2022522257A (ja) 2022-04-15
JPWO2020176304A5 JPWO2020176304A5 (ja) 2022-05-17
JP7352632B2 true JP7352632B2 (ja) 2023-09-28

Family

ID=69811965

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021534601A Active JP7352632B2 (ja) 2019-02-28 2020-02-19 機械学習ツール

Country Status (6)

Country Link
US (1) US11341627B2 (ja)
EP (1) EP3931768A1 (ja)
JP (1) JP7352632B2 (ja)
CN (1) CN113424206B (ja)
CA (1) CA3125524A1 (ja)
WO (1) WO2020176304A1 (ja)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018176000A1 (en) 2017-03-23 2018-09-27 DeepScale, Inc. Data synthesis for autonomous control systems
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US11157441B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US10671349B2 (en) 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11215999B2 (en) 2018-06-20 2022-01-04 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11361457B2 (en) 2018-07-20 2022-06-14 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
WO2020077117A1 (en) 2018-10-11 2020-04-16 Tesla, Inc. Systems and methods for training machine models with augmented data
US11196678B2 (en) 2018-10-25 2021-12-07 Tesla, Inc. QOS manager for system on a chip communications
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US11150664B2 (en) 2019-02-01 2021-10-19 Tesla, Inc. Predicting three-dimensional features for autonomous driving
US10997461B2 (en) 2019-02-01 2021-05-04 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US10956755B2 (en) 2019-02-19 2021-03-23 Tesla, Inc. Estimating object properties using visual image data
AU2020287647A1 (en) * 2019-06-06 2022-01-27 Bluebeam, Inc. Methods and systems for automatically detecting design elements in a two-dimensional design document
US11904417B2 (en) * 2019-10-15 2024-02-20 International Business Machines Corporation Automated material welding
US11461292B2 (en) * 2020-07-01 2022-10-04 International Business Machines Corporation Quick data exploration
US11657373B2 (en) * 2020-08-21 2023-05-23 Accenture Global Solutions Limited System and method for identifying structural asset features and damage
US11625141B2 (en) * 2020-09-22 2023-04-11 Servicenow, Inc. User interface generation with machine learning
CN112326552B (zh) * 2020-10-21 2021-09-07 山东大学 基于视觉和力觉感知的隧道掉块病害检测方法和系统
CN112580574A (zh) * 2020-12-28 2021-03-30 北京翰立教育科技有限公司 一种基于识别手写文字的智能学习方法及装置
CN113160112B (zh) * 2020-12-30 2024-02-02 苏州特文思达科技有限公司 基于机器学习的钢格板产品智能识别检测方法
US20240257327A1 (en) * 2021-05-31 2024-08-01 Abyss Solutions Pty Ltd Method and system for detecting coating degradation
CN113533369B (zh) * 2021-06-21 2024-05-17 国网山东省电力公司鱼台县供电公司 一种输电线路巡检装置
US20230118647A1 (en) * 2021-10-14 2023-04-20 Outward, Inc. Interactive image generation
US12079982B2 (en) * 2021-11-17 2024-09-03 Yahoo Ad Tech Llc Object defect detection
CN114863018B (zh) * 2022-04-28 2024-06-25 北京石油化工学院 一种基于rgb-d深度图像的焊缝三维重建方法
US11710306B1 (en) * 2022-06-24 2023-07-25 Blackshark.Ai Gmbh Machine learning inference user interface
WO2024054815A1 (en) * 2022-09-06 2024-03-14 University Of Georgia Research Foundation, Inc. Pavement management system using satellite data and machine learning

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004362333A (ja) 2003-06-05 2004-12-24 Mitsubishi Electric Corp 写真計測システム及び写真計測方法
JP2014159981A (ja) 2013-02-19 2014-09-04 Kddi Corp 検査補助装置
JP2018198053A (ja) 2017-05-22 2018-12-13 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040054568A1 (en) 2002-07-01 2004-03-18 Bradley Gary J. Automated construction project estimator tool
US7587061B1 (en) 2002-12-23 2009-09-08 Pacenti James R Symbol recognition system software and method
US9348141B2 (en) * 2010-10-27 2016-05-24 Microsoft Technology Licensing, Llc Low-latency fusing of virtual and real content
US9582932B2 (en) * 2012-06-05 2017-02-28 Apple Inc. Identifying and parameterizing roof types in map data
US9230339B2 (en) * 2013-01-07 2016-01-05 Wexenergy Innovations Llc System and method of measuring distances related to an object
US9041914B2 (en) * 2013-03-15 2015-05-26 Faro Technologies, Inc. Three-dimensional coordinate scanner and method of operation
US9082015B2 (en) 2013-03-15 2015-07-14 State Farm Mutual Automobile Insurance Company Automatic building assessment
JP5867432B2 (ja) * 2013-03-22 2016-02-24 ソニー株式会社 情報処理装置、記録媒体および情報処理システム
US10861224B2 (en) 2013-07-23 2020-12-08 Hover Inc. 3D building analyzer
US9536148B2 (en) 2013-09-27 2017-01-03 Real Data Guru, Inc. Property assessment and prospecting tool
CN103605970A (zh) 2013-12-02 2014-02-26 华中师范大学 一种基于机器学习的图纸建筑元素识别方法及系统
US20150161331A1 (en) * 2013-12-04 2015-06-11 Mark Oleynik Computational medical treatment plan method and system with mass medical analysis
JP6310288B2 (ja) * 2014-03-20 2018-04-11 日本ユニシス株式会社 画像処理装置および３次元物体トラッキング方法
US10029422B2 (en) * 2014-10-07 2018-07-24 Voxel Llc Three-dimensional modelling and/or manufacturing apparatus, and related processes
GB2537681B (en) * 2015-04-24 2018-04-25 Univ Oxford Innovation Ltd A method of detecting objects within a 3D environment
US20170154314A1 (en) * 2015-11-30 2017-06-01 FAMA Technologies, Inc. System for searching and correlating online activity with individual classification factors
US10511676B2 (en) 2016-03-17 2019-12-17 Conduent Business Services, Llc Image analysis system for property damage assessment and verification
US9846915B2 (en) 2016-03-17 2017-12-19 Conduent Business Services, Llc Image capture system for property damage assessment
CN106204723B (zh) * 2016-06-28 2019-01-11 浙江大学 一种面向三维服装模拟的纸样缝合信息自动设置方法
WO2018017467A1 (en) * 2016-07-18 2018-01-25 NantOmics, Inc. Distributed machine learning systems, apparatus, and methods
US20180082414A1 (en) 2016-09-21 2018-03-22 Astralink Ltd. Methods Circuits Assemblies Devices Systems Platforms and Functionally Associated Machine Executable Code for Computer Vision Assisted Construction Site Inspection
GB2554361B8 (en) * 2016-09-21 2022-07-06 Emergent Network Intelligence Ltd Automatic image based object damage assessment
JP6773899B2 (ja) 2016-09-23 2020-10-21 エーオン・ベンフィールド・インコーポレイテッドＡｏｎ Ｂｅｎｆｉｅｌｄ Ｉｎｃ． 資産特性を分類するためのプラットフォーム、システム、ならびに方法および航空画像解析による資産特徴保守管理
KR20180047232A (ko) * 2016-10-31 2018-05-10 삼성에스디에스 주식회사 실시간 영상 스트리밍의 네트워크 패킷의 패턴 분석 기반 영상 분석 방법 및 그 장치
US10726558B2 (en) 2017-02-27 2020-07-28 Dolphin AI, Inc. Machine learning-based image recognition of weather damage
EP3596449A4 (en) 2017-03-14 2021-01-06 University of Manitoba DETECTION OF STRUCTURAL DEFECTS USING AUTOMATIC LEARNING ALGORITHMS
US20180373931A1 (en) * 2017-06-21 2018-12-27 Panton, Inc. Image recognition system for roof damage detection and management
CN108974044A (zh) * 2018-08-09 2018-12-11 铁路愿景欧洲有限公司 铁路轨道资产勘测系统
US10769429B2 (en) * 2018-08-31 2020-09-08 Wipro Limited Method and system for extracting text from an engineering drawing

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004362333A (ja) 2003-06-05 2004-12-24 Mitsubishi Electric Corp 写真計測システム及び写真計測方法
JP2014159981A (ja) 2013-02-19 2014-09-04 Kddi Corp 検査補助装置
JP2018198053A (ja) 2017-05-22 2018-12-13 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム

Also Published As

Publication number Publication date
US20200279364A1 (en) 2020-09-03
WO2020176304A1 (en) 2020-09-03
EP3931768A1 (en) 2022-01-05
CN113424206B (zh) 2024-05-24
US11341627B2 (en) 2022-05-24
CA3125524A1 (en) 2020-09-03
CN113424206A (zh) 2021-09-21
JP2022522257A (ja) 2022-04-15

Similar Documents

Publication Publication Date Title
JP7352632B2 (ja) 機械学習ツール
Wang et al. Automatic damage detection of historic masonry buildings based on mobile deep learning
Zhang et al. Automated progress control using laser scanning technology
Pocobelli et al. Building information models for monitoring and simulation data in heritage buildings
Kopsida et al. A review of automated construction progress monitoring and inspection methods
Esfahani et al. Quantitative investigation on the accuracy and precision of Scan-to-BIM under different modelling scenarios
Chen et al. Convolutional neural networks (CNNs)-based multi-category damage detection and recognition of high-speed rail (HSR) reinforced concrete (RC) bridges using test images
KR102423579B1 (ko) 3d 모델링 기반 댐 안전 관리를 위한 통합 유지보수 관제 방법 및 시스템
Sánchez‐Rodríguez et al. Detection of structural faults in piers of masonry arch bridges through automated processing of laser scanning data
Pica et al. Emerging BIM-3d-laser scanning integration in construction practice
Wang et al. A graphics-based digital twin framework for computer vision-based post-earthquake structural inspection and evaluation using unmanned aerial vehicles
Sun et al. Data processing workflows from low-cost digital survey to various applications: Three case studies of Chinese historic architecture
KR101081937B1 (ko) 지상 레이저 스캐너를 이용한 구조물간 접합 가능성 평가 방법
Lee et al. Vision-based inspection of prefabricated components using camera poses: Addressing inherent limitations of image-based 3D reconstruction
Santos et al. Hbim application in historic timber structures: a systematic review
US20240203054A1 (en) Streamlined single software workflow with ml-based point cloud clustering for virtual reality building inspection
Pan Three-dimensional vision-based structural damage detection and loss estimation–towards more rapid and comprehensive assessment
Esfahani et al. Using scan-to-BIM techniques to find optimal modeling effort; a methodology for adaptive reuse projects
KR102554504B1 (ko) 3d모델 기반 철골 구조물의 자동 검수방법
Pöchtrager et al. Bridging the gap. Digital models of historic roof structures for enhanced interdisciplinary research
Tarkhan et al. Capturing façade diversity in urban settings using an automated window to wall ratio extraction and detection workflow
Neeli Use of photogrammetry aided damage detection for residual strength estimation of corrosion damaged prestressed concrete bridge girders
Pogorelskiy et al. Building information modelling: Present realities and future possibilities
Kadhim BIM And GIS Data Integration for The Evaluation of Building Performance
Polat et al. Control of Building Components by Building Information Modeling Technology and 3D Laser Scanning İntegration Technique for Sustainable Building Quality

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210903

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210903

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220506

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221018

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221129

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230526

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230905

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230915

R150 Certificate of patent or registration of utility model

Ref document number: 7352632

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150