JP6983636B2 - 図面機械学習支援システム、図面機械学習システム、図面構造化システム、及び図面機械学習支援プログラム - Google Patents

Description

本発明の実施形態は、配線図等の画像を、データ構造を有する電子データに変換するための機械学習関連技術に関する。

工場や発電所等のプラントには、プラント設計図又は回路図等のプラントに関連する図面が大量に保管されている。これらの図面の多くは、紙又はこの紙をスキャナで読み取った電子画像の形式で管理されている。スキャナで読み取った電子画像は、通常、単なるドットの集合で図形を表現する、いわゆるラスタ表現形式のデータである。
以下、これらの紙又は電子画像を「未構造化図面」と呼ぶ。

未構造化図面の多くは、当初ＣＡＤ（Computer-Aided Design）ソフトにより構造情報を含む構造化図面として作成されて、その後、納品態様又は構造化図面の消失により未構造化図面のみとなったものである。

従来、未構造化図面に変更を加える場合、従業者が手書きで未構造化図面を写しとることで再度構造化図面を作成するか、又は専用のラスタ画像編集ソフトを用いて簡略的に編集していた。構造化図面を再度作成する場合、構造情報を付与しながら作図するので、作成された作図データは構造化されたものになる。

一方、ラスタ画像編集ソフトで編集する場合、既存の未構造化図面上で変更を要する箇所のみを編集することになるので、作図データは未構造化図面のままである。未構造化図面のままでは、例えば系統を探索するシミュレーション等、コンピュータによるデータ利用をすることができない。

特開２００５−４７２６号公報

近年では、機械学習で学習させたプログラムを用いて未構造化図面から自動で構造化図面を作成する技術が研究されている。未構造化図面を構造化させる場合、構造化の精度を向上させるためには、機械学習時にいかに効果的で効率的な学習をさせるかが重要になる。

本発明はこのような事情を考慮してなされたもので、未構造化図面を自動で構造化する際の構造化の精度を向上させた図面機械学習支援システム、図面機械学習システム、図面構造化システム、及び図面機械学習支援プログラムを提供することをその目的とする。

本実施形態に係る図面機械学習支援システムは、構造化図面中の構造要素及びこの構造要素に付随する構造情報を抽出して機械学習の正解データを生成する正解データ生成部と、前記構造化図面の一部を抽出して前記機械学習の認識対象として用いられる複数の図面片を生成する図面片生成部と、を備えるものである。

本実施形態に係る図面機械学習支援プログラムは、コンピュータに、構造化図面中の構造要素を抽出して機械学習の正解データを生成するステップ、前記構造化図面の一部を抽出して前記機械学習の認識対象として用いられる複数の図面片を生成するステップ、を実行させるものである。

本発明により、未構造化図面を自動で構造化する際の構造化の精度を向上させた図面機
械学習支援システム、図面機械学習システム、図面構造化システム、及び図面機械学習支援プログラムが提供される。

第１実施形態に係る図面機械学習システムの概略構成図。 第１実施形態における学習の学習材料になる画像の一例を示す模式図。 第１実施形態における構造化図面データの一例を示す図。 第１実施形態における構造化図面データの分割態様の一例を示す模式図。 第１実施形態におけるニューラルネットワーク及び教師データを示す模式図。 第１実施形態に係る図面機械学習方法を説明するフローチャート。 第２実施形態における構造化図面の分割態様を説明する模式図。 第３実施形態に係る構造化システムの概略構成図。 第３実施形態における構造化図面の分割態様を説明する模式図。 第３実施形態における構造化図面の分割態様の変形例を説明する模式図。 第４実施形態に係る図面機械学習システムの概略構成図。 第４実施形態における構造化図面の分割態様を説明する模式図。 第５実施形態に係る図面構造化システムの概略構成図。 第６実施形態に係る図面構造化システムの概略構成図。 第６実施形態におけるマーカーが付与されたラスタ画像の一例を示す模式８図。 第６実施形態におけるマーカーの引き継ぎ態様を説明する図。 第７実施形態に係る学習機能付き構造化システムの概略構成図。

以下、本発明の実施形態を添付図面に基づいて説明する。

（第１実施形態）
図１は、第１実施形態に係る図面機械学習システム１０（以下、単に「学習システム１０」という）の概略構成図である。

第１実施形態に係る学習システム１０は、図１に示されるように、図面機械学習支援システム２０（以下、単に「支援システム２０」という）と、深層学習部（機械学習部）３０と、を備える。

支援システム２０は、効果的で効率的な機械学習のために、適切な教師データを生成する。支援システム２０において、機械学習時の認識対象となる図面片２２及びその正解データの組が、教師データとして生成される。

深層学習部３０は、支援システム２０で生成した図面片２２及び正解データに基づいて、データ構造化の判断過程を学習する。より具体的には、深層学習部３０は、保持しているニューラルネットワーク３１にデータ構造化のパターン及び判断条件を学習させて、学習済みニューラルネットワーク３６を出力する。
これら支援システム２０及び深層学習部３０については、後に詳述する。

次に、図２の配線図の一例を用いて、第１実施形態に係る学習システム１０による学習の学習材料になる画像１１について説明する。
ここにいう画像１１とは、図面に描かれた配線や回路構造要素、表、又は文字等の構造要素１２（図３）が全てドット（ピクセル）の集合体で表現されたラスタ表現形式の画像のことである。そこで、以下、この画像１１のことを適宜ラスタ画像１１という。

ラスタ画像１１は、例えば紙図面をスキャナで読み取った画像であり、ＴＩＦ（Tagged Image File Format）、ＰＤＦ（Portable Document Format）、ＰＮＧ（Portable Network Graphics）、ＪＰＥＧ（Joint Photographic Experts Group）、又はＢＭＰなどが該当する。
これらいずれも、図面に描写される記号、配線又は部品等の図形の関係性情報又は属性情報（まとめて「構造情報１４」という）が含まれていないので、上述した未構造化図面である。
なお、未構造化図面には、最終的に生成される図面データ（構造化図面１３（図３））と比較して、付与された構造情報１４が不十分な図面データも含まれる。

プラントに関連するラスタ画像１１としては、プラントの建屋、配置図、Ｐ＆ＩＤ（配管計装図）、ＥＣＷＤ（展開接続図）、ＩＢＤ（インターロックブロック線図）、単線結線図、又はソフトロジック図などがある。

また、図３は、構造化図面（構造化図面データ）１３の一例を示す図である。
構造化図面１３は、構造要素１２及びこの構造要素１２に付与された構造情報１４を含むベクタ形式の画面データである。
構造要素１２とは、配線、回路、表又は文字等の有形形状が特定の関数で規定された線で表現される、いわゆるベクタ表現で記述されたデータであって、構造情報１４を有する要素を指す。

例えば図３の構造化図面１３には、構造要素１２として、スイッチ１７、配線１８、及び接続点１５が含まれる。そして、例えば＜線１＞の構造要素１２に対して、形状を表すベクトル情報、線番、線種、渡り情報、接続関係、関連機器、及び画層情報等の構造情報１４が付与されている。

また、＜機器１＞の構造要素１２には、形状を表すベクトル情報、機器分類、機器名、端子、接続点１５の番号、接続関係、関連機器、及び画層情報等の構造情報１４が付与されている。接続関係とは、例えば、機器１７が配線１８を介して接続点１５に接続されているといった他の構造要素１２との関係を表す情報である。

第１実施形態に係る学習システム１０は、図２に示されるようなラスタ画像１１中の有形形状を構造要素１２に置き換えて、付随する構造情報１４を付与する能力を習得した、学習済みニューラルネットワーク３６を生成するものである。

図１に戻って、支援システム２０及び深層学習部３０について、より具体的に説明する。
支援システム２０は、正解データ生成部２１と、図面片生成部２３と、を備える。

正解データ生成部２１は、構造化図面１３中の構造要素１２及びこの構造要素１２に付随する構造情報１４を抽出して機械学習の正解データを生成する。通常は、構造化図面１３に含まれる全ての構造要素１２及び構造情報１４がそのまま正解データとして出力層３４に入力される。ラスタ画像を構造化する場合、通常は、当初作成された構造化図面１３をできるだけ完全に復元すべきであるからである。
ただし、構造化の際に復元が不要であることが予めわかっている構造要素１２又は構造情報１４は、条件の設定により抽出対象から適宜除外してもよい。

図面片生成部２３は、構造化図面１３の一部を抽出して機械学習の認識対象として用いられる複数の図面片２２を生成する。第１実施形態では、図面片生成部２３は、正解データ生成部２１が抽出した構造要素１２及び構造情報１４から、構造要素１２の配置座標及び形状についての情報を抽出して、この情報を利用する。

図面片生成部２３は、この配置座標及び形状についての情報に基づいて、構造化図面１３を分割して図面片２２にする。構造化図面１３を細分化したものを教師データにすることで、正解データが紐付けられる有形形状の選択肢が限定されることになるので効率的に学習することができる。

また、関連性のない有形形状と正解データとが誤って紐付けられることを防止することができるので、正確な紐付けがなされ、学習効果が高くなる。さらに、学習が効果的で効率的になることで、教師データ数が少ない場合であっても、高い精度での構造化を実現することが可能になる。

以下、構造要素１２の配置座標及び形状についての情報に基づいた分割態様について、より詳細に説明する。
図４は、構造化図面１３Ａ（１３）を模式的に表現したものであって、分割態様の一例を示す模式図である。図４中のα〜ωは、いずれも面積又は長さを有する構造要素１２を表す。

例えば、構造化図面１３Ａは、図４の構造要素α，β，γ等のように、抽出された構造要素１２が各図面片２２に１つ、その全体が含まれるように分割線４２が入れられて分割される。

ところで、構造要素１２が多くなると、例えば構造要素δのように、他の複数の構造要素ε，κに重なる構造要素１２が生じやすくなる。
第１実施形態では、重複部分する構造要素δ，ε，κに優先順位をつけて、優先順位の低い例えば構造要素δを分断する。
つまり、構造要素εを学習するための図面片２２と、構造要素κを学習するための図面片２２と、を優先的に生成する。

ただし、分断により一部が欠損した構造要素δの図面片２２も教師データとして利用しうる。よって、分割時の条件に構造要素１２の分断が発生する場合にその分断数が少なくする分割条件を規定するが望ましい。

ところで、図面片２２を生成する基礎となる構造化図面１３Ａは電子データである。よって、位置座標の重複する構造要素１２の一方を一旦削表示上から除して重複のない状態にして分割してもよい。

さらに、同様に構造化図面１３Ａは電子データであってくり返しの使用ができるので、構造要素δ，ε，κのそれぞれについて、その全体を抽出して図面片２２にしてもよい。つまり、構造要素δを分断して構造要素κ，εを抽出した後に、反対に構造要素κ，εを分断して構造要素δの全体が抽出されるように分割しなおしてもよい。

１つの図面片２２にできるだけ少ない個数の構造要素１２の全体が含まれるよう分割することで、図面片２２中の構造要素１２と正解データとの対応関係がより高い精度で学習されることになる。つまり、このような図面片２２は、図面片２２に描かれた図形の全体形状と対応する正解データとが一対一に結び付けられるので、より質の高い教師データになる。

深層学習部３０は、例えば、ニューラルネットワーク３１と、学習制御部３２と、で構成される。
ニューラルネットワーク３１とは、人工ニューロンがシナプス（ノード）の結合により形成したネットワークを数学的に表現したモデルのことである。ニューラルネットワーク３１は、シミュレーションによって脳機能の特性を表現する。

ここで、図５は、ニューラルネットワーク３１及び教師データを示す模式図である。
ニューラルネットワーク３１においては、図５に示されるように、入力を受け付けて出力を算出するユニット（ノード）の層が、複数積層されて互いに結合している。ユニットの出力は、総入力に対して、重みやバイアスを有する活性化関数の関数値として表現される。

これらのユニットの層のうち端部の層であって認識対象を受け付ける層を入力層３３、他方の最終的な出力をする層を出力層３４、これら入力層３３及び出力層３４に挟まれた層を中間層３５という。

学習制御部３２は、設定されたニューラルネットワーク３１の中間層３５の数、ユニット数、学習率、学習回数、及び活性化関数に基づいて、ニューラルネットワーク３１の学習を制御する。作業員は、これらの設定内容を変更することで、学習態様を調節することができる。

支援システム２０で生成された図面片２２は、ラスタ形式の画像として扱われて、入力層３３に入力される。なお、図面片２２は、ラスタ形式の画像に実際に変換されて用いられてもよい。また、構造化図面１３Ａに対応するラスタ形式の画像が既に用意されている場合には、この画像を分割して図面片２２を作成してもよい。

一方、正解データは、図５に示されるように、出力層３４に入力される。ニューラルネットワーク３１は、図面片２２と正解データとの相関関係を分析して学習することで、図面片２２と同様の特徴を有する画像に適当な正解データを付与することを習得する。そして、学習済みニューラルネットワーク３６が学習システム１０の生成物になる。

次に、第１実施形態に係る図面機械学習方法を図６のフローチャートを用いて説明する（図１〜図４を適宜参照）。

まず、正解データ生成部２１が構造化図面１３Ａを読み込んで、正解データを生成する（Ｓ１１）。正解データ生成部２１は、構造化図面１３Ａから構造要素１２及び構造情報１４を抽出して、適宜、設定に基づいてこれらの情報のうち不要なものを除去して正解データにする。
次に、学習制御部３２が、生成された正解データを取得して出力層３４に入力する（Ｓ１２）。

一方、図面片生成部２３は、抽出された構造要素１２及び構造情報１４のうちから、構造要素１２の位置座標及び形状を取得する（Ｓ１３）。
そして、図面片生成部２３は、取得した位置座標及び形状に基づいて、構造化図面１３Ａを分割して図面片２２を生成する（Ｓ１４）。第１実施形態では、前述のように、構造要素１２の位置座標等の情報に基づいて、１つの図面片２２にできるだけ１つの構造要素１２の全体が含まれるように分割する。

学習制御部３２は、図面片生成部２３が生成した図面片２２を教師データとして入力層３３に入力する（Ｓ１５）。
そして、ニューラルネットワーク３１は、学習制御部３２の制御のもとで、図面片２２と正解データとの相関関係を分析して構造化を学習する（Ｓ１６，ＥＮＤ）。

なお、これら支援システム２０及び深層学習部３０の各動作は、プログラムに沿ってコンピュータで実行してもよい。
例えば、支援システム２０及び深層学習部３０は、ＣＰＵ、ＧＰＵ(graphics processing units)等のプロセッサ、ＲＯＭ（Read Only Memory）、ＲＡＭ(Random Access Memory)、或いはＨＤＤ（Hard Disk Drive）等の記憶装置、を具備するコンピュータとして構成することができる。

この場合、図１に示す各部のうち、正解データ生成部２１、図面片生成部２３、及び学習制御部３２の機能は、記憶装置に記憶された所定のプログラムをプロセッサが実行することによって実現することができる。
また、このようなソフトウェア処理に換えて、ＡＳＩＣ（Application Specific Integration Circuit）やＦＰＧＡ（Field-Programmable Gate Array）等のハードウェアで実現することもできる。

さらに、支援システム２０及び深層学習部３０は、ソフトウェア処理とハードウェアによる処理を組み合わせて実現することもできる。また、図１に示す構成のうち、ニューラルネットワーク３１は、条件データ又は判断プログラムとしてＲＯＭ又はＲＡＭ等の記憶装置に記憶される。

以上のように、第１実施形態に係る支援システム２０によれば、特定の正解データに対応する学習基礎の範囲を限定することで、深層学習部３０における構造化の学習の精度を向上させることができる。
つまり、第１実施形態に係る支援システム２０によれば、未構造化図面を自動で構造化する際の構造化の精度を向上させることができる。

また、学習の精度が向上することで、より少ない構造化図面１３で、構造化の精度を維持可能なニューラルネットワーク３１を生成することができる。

（第２実施形態）
図７は、第２実施形態における構造化図面１３Ｂ（１３）の分割態様を説明する模式図である。

第２実施形態に係る支援システム２０では、図７に示されるように、重なり合う２以上の構造要素δ，κがある場合に、図面片２２は、特定の構造要素δ及び他の構造要素κの両方を含むように抽出される。

図面片２２中で重なり合っている構造要素１２は、構造化の対象になるラスタ画像１１中でも同様に重なり合っている可能性が高い。また、重なり合っている構造要素１２どうしは、構造情報１４においても何かしらの関連付けがなされている可能性が高い。さらに、形状は同一であるが構造情報１４に差異があるような複数の構造要素１２がある場合、周辺の構造要素１２との位置関係によって初めてこれらの区別がなされる場合もある。

よって、各構造要素１２を単独で抽出した図面片２２よりも、これら重なり合う構造要素１２の両方の全体を含むような図面片２２の方が、教師データとして適切である場合もある。そこで、第２実施形態では、図面片生成部２３は、これら重なり合っている構造要素１２の両方を含むように構造化図面１３Ｂを分割する。

このとき、構造化の学習対象として着目されている構造要素１２（例えば構造要素δ）については、その全体が図面片２２に含まれていることが好ましい。一方、学習対象として着目されていない構造要素１２（例えば構造要素κ）については、必ずしも、その全体が図面片２２に含まれている必要はない。着目されていない構造要素κは、着目されている構造要素１２の特定の助けとしての役割りを果たせば十分だからである。

ところで、構造要素１２どうしは重なりあっていないが、構造情報１４に関連付けがなされている場合もある。この場合も、関連付けられている２以上の構造要素１２を含むように分割するのが望ましい。
一方、構造要素１２の重なり合い又は構造情報１４どうしの関連付けが多い場合、例えば関連度合いの小さい構造要素１２は切り離すなどの所定の除外条件を設けることが望ましい。

なお、重なり合う又は互いに関連付けがある２以上の構造要素１２をいずれも含むように分割すること以外は、第２実施形態は第１実施形態と構成的にも動作的にも同様となるので、重複する説明を省略する。

このように、第２実施形態に係る支援システム２０によれば、関連性の強い周辺の構造要素１２を含めた図面片２２を作成することができるので、未構造化図面を自動で構造化する際の構造化の精度を向上させることができる。

また、第１実施形態で作成される図面片２２及び第２実施形態で作成される図面片２２を適宜組み合わせて教師データを作成することで、より効果的な学習ができるので、より構造化の精度を向上させることができる。

（第３実施形態）
図８は、第３実施形態に係る構造化システム５０の概略構成図である。
また、図９は、第３実施形態における構造化図面１３Ｃ（１３）の分割態様を説明する模式図である。
また、図１０は、第３実施形態の変形例における構造化図面１３Ｄ（１３）の分割態様を説明する模式図である。
第３実施形態に係る支援システム２０は、図８に示されるように、図面片生成部２３Ａに、分割数決定部２４を備える。

第３実施形態においては、図面片生成部２３Ａは、第１実施形態等と同様に、正解データ生成部２１Ａが抽出した構造要素１２及び構造情報１４から、構造要素１２の配置座標及び形状についての情報を抽出する。
そして、第３実施形態では、図面片生成部２３Ａが、構造化図面１３Ｃを定形の縦メッシュ４６ａ及び横メッシュ４６ｂを設定して、このメッシュ４６（４６ａ，４６ｂ）に沿って構造化図面１３Ｃを分割する。

分割数決定部２４は、構造化図面１３Ｃにおける構造要素１２の配置関係に基づいて、縦メッシュ４６ａ及び横メッシュ４６ｂそれぞれの間隔及び本数を決定する。分割数決定部２４は、本数の決定した縦メッシュ４６ａごと又は横メッシュ４６ｂごとにまとめて上下又は左右に移動させて、メッシュ４６の最適位置を決定する。分割数決定部２４は、図９に示されるように、各メッシュ４６間の間隔を等間隔にしてもよいし、図１０に示されるように、構造要素１２の配置状態等を加味して夫々異なる間隔にしてもよい。

ところで、第３実施形態のようなメッシュ４６による分割では、生成した図面片２２には、例えば図９及び図１０の図面片Ωのように、構造要素１２が含まれないものも含まれる。そこで、図面片生成部２３Ａは、特に既に教師データが十分にある場合などには、構造要素１２を含まない図面片Ωを教師データから除外するのが望ましい。

ただし、正解データとなる構造要素１２を含まない図面片２２であっても、この図面片２２中に、描画領域とその周辺領域とを仕切る枠線などの有形形状を含む場合もある。このような正解データと紐付けがなされていない有形形状が含まれる図面片２２も、正解データとの紐付けのない有形形状を特定するのに役立つ。よって、正解データと紐付けがなされていない有形形状のみが含まれる図面片２２も、除外対象にせずに、教師データに含ませるのが好ましい。

なお、構造要素１２の配置状態に基づいてメッシュ４６により分割すること及び教師データとして価値の低い図面片２２を教師データから除去すること以外は、第３実施形態は第１実施形態と構成的にも動作的にも同様となるので、重複する説明を省略する。

このように、第３実施形態に係る支援システム２０によれば、第１実施形態の効果に加え、構造化図面１３の単純な決定過程で分割態様を決定することができる。

（第４実施形態）
図１１は、第４実施形態に係る学習システム１０の概略構成図である。
また、図１２は、第４実施形態における構造化図面１３Ｅの分割態様を説明する模式図である。

第４実施形態に係る支援システム２０は、図１１に示されるように、図面片生成部２３Ｂが先行して構造化図面１３Ｅを分割して、分割してできた図面片２２から正解データ生成部２１Ｂが正解データを生成する。

例えば、構造要素１２の配置状態から導き出される分割規則に従って分割して図面片２２を生成した場合、この分割規則によって、却って特定の特徴量の学習が阻止されることもある。そこで、第４実施形態では、構造要素１２の配置状態を認識せずに図面片生成部２３Ｂが構造化図面１３Ｅを分割して図面片２２を生成する。

ただし、このような分割態様では、例えば構造要素１２のような長い辺を有する構造要素１２が細分化されてしまい、教師データとしての価値が低い図面片２２が大量に発生するおそれがある。そこで、図面片生成部２３Ｂは、正解データ生成部２１Ｂが抽出した構造要素１２を参照して、構造要素１２が分割して含まれる隣り合う図面片２２を適宜再結合させるのが望ましい。
例えば、図１２に示されるように、長い辺を有する構造要素α，κを部分的に含む図面片２２が再結合されて、それぞれ再結合された全体が一つの教師データになる。

なお、構造要素１２の配置状態によらずに分割をすること及び図面片２２の再結合をすること以外は、第４実施形態は第１実施形態と構成的にも動作的にも同様となるので、重複する説明を省略する。

このように、第４実施形態に係る支援システム２０によれば、第１実施形態の効果に加え、図面片２２中への構造要素１２の抽出態様の偏向が軽減されるので、構造要素１２の配置状態に基づいて分割した場合に欠落しうる特徴量をも学習することができる。また、図面片２２を適宜再結合させることで、教師データとしての価値が低い傾向にある図面片２２の価値を高めることができる。

（第５実施形態）
図１３は、第５実施形態に係る図面構造化システム５０（以下、単に「構造化システム５０」という）の概略構成図である。

第５実施形態に係る構造化システム５０は、図１３に示されるように、構造化部５５と、結合部５２と、を主に備える。
このような構成によって、構造化システム５０は、学習済みニューラルネットワーク３６を用いてラスタ画像１１のデータ構造化をする。

構造化部５５は、第１実施形態から第４実施形態で説明した学習システム１０によってデータ構造化を学習した学習済みニューラルネットワーク３６を保持する。そして、この学習済みニューラルネットワーク３６を用いて、構造化部５５は、ラスタ画像１１中の有形形状をデータ構造化する。

データ構造化の際、その前段階として、ラスタ画像１１を分割して画像片（ラスタ画像片）５３を生成するのが望ましい。例えば、構造化システム５０に画像片生成部５４を設けて、この画像片生成部５４で教師データの図面片２２と同程度の大きさのラスタ画像片５３を生成する。ラスタ画像１１を分割して構造化部５５が認識する範囲を図面片２２と同程度にすることで、構造化部５５は、学習した相関関係をそのまま用いてデータ構造化をすることができる。

なお、ラスタ画像片５３を生成せずに、データ構造化を行うこともできる。例えば、構造化部５５がラスタ画像１１上に着目範囲を設定して、この着目範囲を滑らかに走査させる。そして、着目範囲中に構造要素１２等の構造要素１２に対応する有形形状が含まれた場合に、構造化部５５はこの着目範囲内のデータ構造化をする。
このように、図面片２２ごと又は着目範囲ごとに、有形形状に対応する構造要素１２及び構造情報１４が付与される。このような図面片２２ごと又は着目範囲ごとに付与された構造要素１２及び構造情報１４を、構造化データ片５６という。

また、構造化システム５０は、基準データ保持部５７を備えた誤変換修正部５８によってデータ構造化時の誤変換を修正することが望ましい。基準データ保持部５７は、構造要素１２の夫々についての正誤を判定可能な基準データを保持する。基準データは、教師データとは別個に、誤変換のパターンとこの誤変換に対する正解の組をデータ化したものである。誤変換修正部５８は、構造化データ片５６に含まれる構造要素１２の誤変換を、この基準データに基づいて修正する。

結合部５２は、全ての隣り合う構造化データ片５６を結合して結合図面データ６０を生成する。この結合部５２の後段には、結合図面データ６０中の結合の不整合を修正する不整合箇所修正部５９が設けられるのが望ましい。不整合箇所修正部５９は、結合図面データ６０を走査して、予め保持された正解条件に基づいて結合の不整合を修正する。

例えば、１本の配線を共有する連続する２つの画像片５３において、一方の画像片５３では配線を構造要素１２として認識できなかったとする。このとき、これらの画像片５３に対応する２つの構造化データ片５６を結合すると、結合図面データ６０では不連続に配線が出現することになる。

不整合箇所修正部５９は、このような不連続に出現した構造要素１２が不整合であるか否かを判断するための判断条件又は不整合パターンを予め保持する。そして、不整合箇所修正部５９は、構造要素１２の不連続な出現等の不整合性を検出して、不整合性を解消するように修正する。例えば、不整合箇所修正部５９は、１本の配線の欠損部分を前後の構造化データ片５６で補間する。

また、不整合箇所修正部５９は、例えば、結合した２つの構造化データ片５６間で同一であるべき構造要素１２が異なるものである場合に、一方を他方に置き換える。このようにして不整合箇所が修正された結合図面データ６０が、ラスタ画像１１のデータ構造化で復元される最終生成物になる。

ところで、構造化システム５０の利用回数が増加すると、基準データに従って修正した誤変換パターンの数も増加する。誤変換修正部５８は、これらの誤変換パターン及び修正パターンのデータを蓄積して、これらのデータを教師データとして誤変換修正のための機械学習機能を有してもよい。教師データを機械学習で解析することで、予め保持した基準データに含まれない誤変換パターンも拡張して検出して修正することができる。

また、同様にデータ構造化の回数が増加すると、不整合性の判断条件に従って修正した不整合パターン及びその修正パターンの数も増加する。不整合箇所修正部５９も同様に、これらの不整合パターン及び修正パターンのデータを蓄積して、これらのデータを教師データとして不整合性修正のための機械学習機能を有してもよい。

なお、第１実施形態から第４実施形態のいずれかで学習した学習済みニューラルネットワーク３６でラスタ画像１１を構造化すること以外は、第５実施形態は第１実施形態と構成的にも動作的にも同様となるので、重複する説明を省略する。

このように、第５実施形態に係る構造化システム５０によれば、ラスタ画像１１を高い精度で自動で構造化することができる。

（第６実施形態）
図１４は、第６実施形態に係る構造化システム５０の概略構成図である。

第６実施形態に係る構造化システム５０は、図１４に示されるように、ラスタ画像１１中に付与されたマーカー６６を照合させながら構造化データ片５６を結合する。具体的には、構造化システム５０は、例えば、第５実施形態の構成に加えて、マーカー付加部６１と、マーカー継承部６２と、マーカー照合部６３と、を備える。

マーカー付加部６１は、隣り合う画像片５３の境界部分に自己特定情報（ＩＤ）を含むマーカー６６を付加する。マーカー６６のＩＤとは、例えば、マーカー６６の付加位置又はラベル名である。

ここで、図１５は、マーカー６６が付与されたラスタ画像１１の一例を示す図である。
また、図１６は、第６実施形態におけるマーカー６６の引き継ぎ態様を説明する図である。

マーカー６６は、図１５に示されるように、分割線４２によって分割する場合の分割線４２上であって、例えば構造要素１２に変換されうる有形形状との交点に付加される。
分割線４２上に付加されたマーカー６６は、図１６に示されるように、ラスタ画像１１の分割によって分かれた２以上の画像片５３の境界部分に、２以上に分かれて付加されることになる。

マーカー継承部６２は、構造化部５５に設けられて、マーカー６６の形式を結合部５２が読み込み可能な形式に変換して、各画像片５３に対応する構造化データ片５６に引き継がせる。

マーカー照合部６３は、結合部５２に設けられて、構造化データ片５６に引き継がれたマーカー６６を照合する。結合部５２は、この照合に基づいて、マーカー６６が復元されるように構造化データ片５６どうしを結合させる。
つまり、２以上の構造化データ片５６に分断して含まれている構造要素１２を、同様に分断されて含まれるマーカー６６が一つになるように、結合して一つの構造要素１２にする。

なお、付加したマーカー６６に基づいて構造化データ片５６を結合させること以外は、第６実施形態は第１実施形態と構成的にも動作的にも同様となるので、重複する説明を省略する。

このように、第６実施形態に係る構造化システム５０によれば、第５実施形態の効果に加え、構造化データ片５６の誤結合の発生を低減することができる。

（第７実施形態）
図１７は、第７実施形態に係る学習機能付き構造化システム１００（以下、単に「学習機能付きシステム１００」という）の概略構成図である。

第７実施形態に係る学習機能付きシステム１００は、図１７に示されるように、第１実施形態等で説明した学習システム１０と、第５実施形態で説明した構造化システム５０と、を備える。
さらに、学習機能付きシステム１００は、フィードバック部６７を備える。

フィードバック部６７は、誤変換又は不整合が発生した画像片５３又はラスタ画像１１、及び基準データ又は正解条件を教師データとして深層学習部３０にフィードバックする。この基準データ及び正解条件には、予め規定させたものに加えて、第５実施形態で説明した誤変換修正部５８又は不整合箇所修正部５９内で機械学習したものも含まれてもよい。

誤変換又は結合の不整合が発生した画像片５３又はラスタ画像１１は、認識対象として深層学習部３０のニューラルネットワーク３１の入力層３３に入力される。
一方、基準データ又は正解条件のうち修正後のデータは、正解データとして出力層３４に入力される。

そして、学習制御部３２の制御のもと、ニューラルネットワーク３１による再学習がなされる。構造化部５５に既に保持されており誤変換又は結合の不整合を発生させた学習済みニューラルネットワーク３６は、再学習がなされたものに置き換えられる。
なお、フィードバックによる再学習は、誤変換又は不整合の発生の都度行われてもよいし、一定量が蓄積された際又は一定時間経過後にまとめて行ってもよい。

なお、誤変換修正部５８又は不整合箇所修正部５９の結果を教師データとしてニューラルネットワーク３１に再学習させること以外は、第７実施形態は第５実施形態と構成的にも動作的にも同様となるので、重複する説明を省略する。

このように、第７実施形態に係る学習機能付きシステム１００によれば、構造化する過程で発生した誤変換又は不整合の修正内容を構造化に反映させることができる。

以上述べた少なくとも一つの実施形態の支援システム２０によれば、未構造化図面を自動で構造化する際の構造化の精度を向上させることが可能になる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。
これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、組み合わせを行うことができる。
これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１０…図面機械学習システム（学習システム）、１１…ラスタ画像（画像）１２…構造要素、１３（１３Ａ〜１３Ｅ）…構造化図面、１４…構造情報、１５…接続点、１７…スイッチ、１８…配線、２０…図面機械学習支援システム（支援システム）、２１（２１Ａ，２１Ｂ）…正解データ生成部、２２…図面片、２３（２３Ａ，２３Ｂ）…図面片生成部、２４…分割数決定部、３０…深層学習部（機械学習部）３１…ニューラルネットワーク、３２…学習制御部、３３…入力層、３４…出力層、３５…中間層、３６…学習済みニューラルネットワーク、４２…分割線、４６（４６ａ，４６ｂ）…メッシュ（縦メッシュ，横メッシュ）、５０…図面構造化システム（構造化システム）、５２…結合部、５３…画像片（ラスタ画像片）、５４…画像片生成部、５５…構造化部、５６…構造化データ片、５７…基準データ保持部、５８…誤変換修正部、５９…不整合箇所修正部、６０…結合図面データ、６１…マーカー付加部、６２…マーカー継承部、６３…マーカー照合部、６６…マーカー、６７…フィードバック部、１００…学習機能付き構造化システム（学習機能付きシステム）。

Claims (12)

1. 未構造化図面に含まれる特定の有形形状を認識して前記有形形状に構造要素およびこの構造要素に付随する構造情報を付与することを図面片と正解データとの組を教師データに用いてニューラルネットワークに機械学習させるための図面機械学習支援システムにおいて、
   構造化図面中の前記構造要素及びこの構造要素に付随する前記構造情報を抽出して前記図面片に含まれる有形形状に紐づけるための正解データを生成する正解データ生成部と、
   前記構造化図面の一部を切り出して複数の前記図面片を生成する図面片生成部と、を備え、
   特定の構造要素と他の構造要素との間にデータの関連付けがある場合に、
   前記図面片は、前記特定の構造要素及び前記他の構造要素の両方を含むように抽出されることを特徴とする図面機械学習支援システム。
2. 前記図面片のそれぞれは、抽出された前記構造要素を少なくとも１つ以上含む請求項１に記載の図面機械学習支援システム。
3. 線又は面で表現される特定の構造要素が他の構造要素と少なくとも一部重なり合う場合に、
   前記図面片は、前記特定の構造要素及び前記他の構造要素の両方を含むように抽出される請求項１又は請求項２に記載の図面機械学習支援システム。
4. 前記図面片生成部は、前記構造化図面における前記構造要素の配置関係に基づいて前記構造化図面の分割数を決定する請求項１から請求項３のいずれか１項に記載の図面機械学習支援システム。
5. 前記正解データ生成部は、前記図面片から前記構造要素を抽出して前記正解データを生成し、
   前記図面片生成部は、前記構造要素が複数の前記図面片に分断されて含まれる場合に前記複数の前記図面片を再結合する請求項１から請求項４のいずれか１項に記載の図面機械学習支援システム。
6. 前記図面片生成部は、前記構造要素として抽出されなかった図形を含む前記図面片を前記認識対象にする請求項１から請求項５のいずれか１項に記載の図面機械学習支援システム。
7. 請求項１から請求項６のいずれか１項に記載の図面機械学習支援システムと、
   前記図面機械学習支援システムで生成した前記正解データ及び前記図面片に基づいて前記図面片のデータ構造化を学習する機械学習部と、を備える図面機械学習システム。
8. 未構造化図面に含まれる特定の有形形状を認識して前記有形形状に構造要素およびこの構造要素に付随する構造情報を付与することを図面片と正解データとの組を教師データに用いてニューラルネットワークに機械学習させるための図面機械学習支援システムにおいて、
   構造化図面中の前記構造要素及びこの構造要素に付随する前記構造情報を抽出して前記図面片に含まれる有形形状に紐づけるための正解データを生成する正解データ生成部と、
   前記構造化図面の一部を切り出して複数の前記図面片を生成する図面片生成部と、を備える図面機械学習支援システムと、
   構造化図面中の構造要素及びこの構造要素に付随する構造情報を抽出して機械学習の正解データを生成する正解データ生成部と、
   前記構造化図面の一部を抽出して前記機械学習の認識対象として用いられる複数の図面片を生成する図面片生成部と、を備える図面機械学習システムと、
   前記図面機械学習支援システムで生成した前記正解データ及び前記図面片に基づいて前記図面片のデータ構造化を学習する機械学習部と、を備える図面機械学習システムによって前記データ構造化を学習したニューラルネットワークを用いて画像中の有形形状の前記データ構造化をする構造化部と、
   前記有形形状から前記データ構造化によって置換された構造化データ片の結合をして結合図面データを生成する結合部と、を備える図面構造化システム。
9. 前記構造要素の夫々についての正誤を判定可能な基準データを保持する基準データ保持部と、
   前記構造化データ片に含まれる前記構造要素の誤変換を前記基準データに基づいて修正する誤変換修正部と、を備える請求項８に記載の図面構造化システム。
10. 前記誤変換が発生した前記画像片又は前記画像、及び前記基準データを教師データとして前記機械学習部で学習させるフィードバック部を備える請求項９に記載の図面構造化システム。
11. 隣り合う前記画像片の境界部分に自己特定情報が付与されたマーカーを付加するマーカー付加部と、
    前記結合の際に前記マーカーを照合させるマーカー照合部と、を備える請求項８から請求項１０のいずれか１項に記載の図面構造化システム。
12. 未構造化図面に含まれる特定の有形形状を認識して前記有形形状に構造要素およびこの構造要素に付随する構造情報を付与することを図面片と正解データとの組を教師データに用いてニューラルネットワークに機械学習させるための図面機械学習支援プログラムにおいて、
    コンピュータに、構造化図面中の構造要素を抽出して前記図面片に含まれる有形形状に紐づけるための正解データを生成するステップ、
    特定の構造要素と他の構造要素との間にデータの関連付けがある場合に、前記図面片は、前記特定の構造要素及び前記他の構造要素の両方を含むように前記構造化図面の一部を切り出して前記機械学習の認識対象として用いられる複数の図面片を生成するステップ、を実行させることを特徴とする図面機械学習支援プログラム。

Images