JP7384470B2 - 図面認識システム及び図面認識方法 - Google Patents

Description

特許法第３０条第２項適用 ウェブサイトの掲載日 令和３年３月３０日 ウェブサイトのアドレス（ＵＲＬ） ｈｔｔｐｓ：／／ｌｐ．ｔｅｍｏｔｏ－ａｉ．ｊｐ／ 〔刊行物等〕ウェブサイトの掲載日 令和３年３月３０日 ウェブサイトのアドレス（ＵＲＬ） ｈｔｔｐｓ：／／ｎｏｈａｒａ－ｉｎｃ．ｃｏ．ｊｐ／ｎｅｗｓ／ｒｅｌｅａｓｅ／４６８８／ ｈｔｔｐｓ：／／ｎｏｈａｒａ－ｉｎｃ．ｃｏ．ｊｐ／ｗｐ／ｗｐ－ｃｏｎｔｅｎｔ／ｕｐｌｏａｄｓ／２０２１／０３／ｖｄｃ＿ｒｅｌｅａｓｅ＿ｔｅｍｏｔｏ２１０３３０－１．ｐｄｆ 〔刊行物等〕ウェブサイトの掲載日 令和３年３月３０日 ウェブサイトのアドレス（ＵＲＬ） ｈｔｔｐｓ：／／ｐｒｔｉｍｅｓ．ｊｐ／ｍａｉｎ／ｈｔｍｌ／ｒｄ／ｐ／０００００００７０．００００１９８６６．ｈｔｍｌ 〔刊行物等〕メールの配信日 令和３年３月３０日 メールの配信先 国土交通省建設専門紙記者会加盟メディア 〔刊行物等〕ウェブサイトの掲載日 令和３年１１月２２日 ウェブサイトのアドレス（ＵＲＬ） ｈｔｔｐｓ：／／ｗｗｗ．ｓ－ｈｏｕｓｉｎｇ．ｊｐ／ａｒｃｈｉｖｅｓ／２５４１８３ 〔刊行物等〕発行日 令和３年１１月２９日 刊行物（刊行物名、巻数、号数、該当ページ、発行所／発行元等） 日刊工業新聞（令和３年１１月２９日付、朝刊 第１５面） 〔刊行物等〕公開日 令和３年１２月６日（開催期間：令和３年１２月６日～８日） 展示会名、開催場所 第一回 建設ＤＸ展 東京ビッグサイト 西展示棟（東京都江東区有明３－１１－１）

本開示は、図面認識システム及び図面認識方法に関する。

非特許文献１には、単純な住宅の平面図を用いて機械学習させることによって構成された機械学習モデル「Deep Floor Plan」が開示されている。この機械学習モデルは、入力された建設物の平面図に含まれる要素を認識する。

Zhiliang Zeng、 Xianzhi Li、 Ying Kin Yu、 Chi-Wing Fu、 "Deep Floor Plan Recognition Using a Multi-Task Network withRoom-Boundary-Guided Attention"、 The Chinese Universityof Hong Kong、August 29, 2019

建設物の平面図には、戸建て住宅といった小規模な建設物の平面図だけでなく、病院、集合住宅、及びホテルといった大規模な建設物の平面図がある。規模の異なる建設物の平面図に含まれる要素を認識しようとした場合、正確な認識結果が得られないおそれがある。本技術分野では、様々な種類の建設物の平面図に含まれる要素を精度良く認識することが望まれている。

本開示は、建設物の平面図の認識精度を向上可能な図面認識システム及び図面認識方法を説明する。

本開示の一側面に係る図面認識システムは、建設物の平面図を含む図面データを取得する取得部と、平面図に含まれる部屋数に応じて平面図を分割することによって、分割図面を生成する分割部と、分割図面に基づいて平面図に含まれる要素を認識することによって、平面図の認識結果を生成する認識部と、平面図の認識結果を出力する出力部と、を備える。

本開示の別の側面に係る図面認識方法は、建設物の平面図を含む図面データを取得するステップと、平面図に含まれる部屋数に応じて平面図を分割することによって、分割図面を生成するステップと、分割図面に基づいて平面図に含まれる要素を認識することによって、平面図の認識結果を生成するステップと、平面図の認識結果を出力するステップと、を含む。

これらの図面認識システム及び図面認識方法においては、平面図に含まれる部屋数に応じて平面図が分割され、分割図面に基づいて平面図に含まれる要素が認識される。この構成によれば、規模の異なる建設物の平面図であっても、部屋数が考慮されて分割されるので、分割図面に含まれる部屋数のばらつきが抑えられ得る。したがって、分割図面に含まれる要素の認識精度を向上させることができる。その結果、建設物の平面図の認識精度を向上させることが可能となる。

いくつかの実施形態では、認識部は、複数の平面図を学習データとして用いた機械学習を実行することによって生成された認識モデルを備えてもよい。認識モデルは、分割図面を受け取り、分割図面の認識結果を出力してもよい。この場合、認識モデルを十分な量の平面図を用いて学習させることによって、建設物の平面図の認識精度を向上させることが可能となる。

いくつかの実施形態では、上記図面認識システムは、平面図を複数の種類のいずれかに分類する分類部を更に備えてもよい。認識部は、認識モデルとして、複数の種類に応じた複数の認識モデルを備えてもよい。認識部は、平面図の種類に応じて複数の認識モデルの中から１の認識モデルを選択し、選択された認識モデルを用いて平面図の認識結果を生成してもよい。この場合、平面図の種類に応じた認識モデルを用いて、分割図面に含まれる要素が認識される。この構成によれば、汎用の認識モデルを用いて複数の種類の平面図を認識する構成と比較して、平面図の認識精度を向上させることが可能となる。

いくつかの実施形態では、分類部は、平面図が図面認識の精度を保証できる図面であるか図面認識の精度を保証できない図面であるかを判定してもよい。認識部は、平面図が図面認識の精度を保証できない図面であると判定された場合、平面図に含まれる要素の認識を行わなくてもよい。この構成によれば、図面認識の精度を保証できない平面図を認識対象から外すことによって、平面図の認識精度が低下することを回避できる。

いくつかの実施形態では、出力部は、平面図が図面認識の精度を保証できない図面であると判定された場合、図面認識の対象外であることを示す情報を出力してもよい。例えば、ユーザに図面認識の対象外であることが通知されることにより、平面図が図面認識の対象外であることをユーザに認識させることができる。

いくつかの実施形態では、分割部は、平面図を二値化することによって二値化画像を生成してもよく、二値化画像に含まれる白い領域のオブジェクトに基づいて部屋数を算出してもよい。この場合、平面図を画像処理することによって部屋数が得られる。したがって、他の情報を用いることなく、平面図から分割図面を生成することができる。

いくつかの実施形態では、分割部は、分割図面に含まれる部屋数が所定数以下となるように、平面図を分割してもよい。この場合、平面図に複数の部屋が含まれていたとしても、分割図面には所定数以下の部屋数が含まれる。したがって、規模の異なる建設物の平面図であっても、分割図面に含まれる部屋数のばらつきが抑えられ得る。その結果、建設物の平面図の認識精度を向上させることが可能となる。

本開示によれば、建設物の平面図の認識精度を向上させることができる。

図１は、一実施形態に係る図面認識システムの機能構成の一例を示すブロック図である。 図２は、図１に示される図面認識システムを構成するコンピュータのハードウェア構成の一例を示す図である。 図３は、ユーザが行う平面図の選択を説明するための図である。 図４は、ユーザが行う建設物の外周及び実寸値の指標線の入力を説明するための図である。 図５は、図１に示される図面認識システムが行う図面認識方法のフローチャートである。 図６は、図５の分類処理の一例を詳細に示すフローチャートである。 図７は、斜めの部屋の検出処理を説明するための図である。 図８は、図５の分割処理の一例を詳細に示すフローチャートである。 図９は、平面図の分割手順を説明するための図である。 図１０は、認識処理を説明するための図である。 図１１は、平面図の認識結果の一例を示す図である。 図１２は、平面図の認識結果の別の例を示す図である。

以下、図面を参照しながら本開示の実施形態が詳細に説明される。なお、図面の説明において同一要素には同一符号が付され、重複する説明は省略される。

まず、図１及び図２を参照しながら、一実施形態に係る図面認識システムを説明する。図１は、一実施形態に係る図面認識システムの機能構成の一例を示すブロック図である。図２は、図１に示される図面認識システムを構成するコンピュータのハードウェア構成の一例を示す図である。

図１に示される図面認識システム１０は、建設物の平面図に含まれる要素を認識するシステムである。建設物の例としては、戸建て住宅、集合住宅、病院、診療所、ホテル、及び福祉施設が挙げられる。要素の例としては、部屋、壁、及び開口部が挙げられる。図面認識システム１０は、通信ネットワークを介してユーザの端末装置から平面図を含む図面データを受信する。通信ネットワークは、有線及び無線のいずれで構成されてもよい。通信ネットワークの例としては、インターネット、ＷＡＮ（Wide Area Network）、及び移動体通信網が挙げられる。

図面認識システム１０は、１台のコンピュータ１００（図２参照）によって構成されてもよい。図面認識システム１０は、クラウドコンピューティングのように複数台のコンピュータ１００によって構成されてもよい。この場合、複数台のコンピュータ１００は、通信ネットワークによって互いに通信可能に接続されることで、論理的に１つの図面認識システム１０として機能する。

図２に示されるように、コンピュータ１００は、プロセッサ１０１、主記憶装置１０２、補助記憶装置１０３、通信装置１０４、入力装置１０５、及び出力装置１０６を含む。プロセッサ１０１の例としては、ＣＰＵ（Central Processing Unit）が挙げられる。主記憶装置１０２は、ＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）等で構成される。補助記憶装置１０３の例としては、半導体メモリ及びハードディスク装置が挙げられる。通信装置１０４の例としては、ネットワークカード及び無線通信モジュールが挙げられる。入力装置１０５の例としては、キーボード及びマウスが挙げられる。出力装置１０６の例としては、ディスプレイが挙げられる。なお、コンピュータ１００は、入力装置１０５及び出力装置１０６を含んでいなくてもよい。

図面認識システム１０の各機能要素は、プロセッサ１０１又は主記憶装置１０２等のハードウェアに所定のコンピュータプログラムを読み込ませ、プロセッサ１０１にそのコンピュータプログラムを実行させることによって実現される。プロセッサ１０１は、コンピュータプログラムに従って、各ハードウェアを動作させるとともに、主記憶装置１０２及び補助記憶装置１０３におけるデータの読み出し及び書き込みを行う。

図１に示されるように、図面認識システム１０は、機能要素として、取得部１１と、分類部１２と、分割部１３と、認識部１４と、出力部１５と、を含む。後述の図面認識方法の説明において、各機能要素の機能（動作）を詳細に説明するので、ここでは各機能要素の機能を簡単に説明する。

取得部１１は、各種データを取得する機能要素である。取得部１１は、例えば、通信ネットワークを介してユーザの端末装置から平面図を含む図面データを取得する。

分類部１２は、平面図を複数の種類のいずれかに分類する機能要素である。分類部１２は、例えば、斜めの部屋を含む図面、斜めの部屋を含まない図面、及び図面認識の精度を保証できない図面に平面図を分類する。図面認識の精度を保証できない図面の例としては、解像度が低い図面、画質が低い図面、斜線で覆われている図面、部屋がグレーアウトされている図面、及び間仕切りが点線で描かれた図面が挙げられる。

分割部１３は、平面図に含まれる部屋数に応じて平面図を分割することによって、分割図面を生成する機能要素である。分割部１３は、各分割図面に含まれる部屋数が所定数（後述の基準部屋数Ｎ_ｒｅｆに相当）以下となるように、平面図を分割する。所定数は、例えば２０である。

認識部１４は、分割図面に基づいて平面図に含まれる要素を認識することによって、平面図の認識結果を生成する機能要素である。認識部１４は、分類部１２によって分類される複数の種類に応じた複数の認識モデルを含む。各認識モデルは、当該認識モデルに対応する種類の複数の平面図を学習データとして用いた機械学習を実行することによって生成される。各認識モデルは、分割図面を受け取り、分割図面の認識結果を出力する。認識部１４は、取得部１１によって取得された平面図の種類に応じて複数の認識モデルの中から１の認識モデルを選択し、選択された認識モデルを用いて平面図の認識結果を生成する。

平面図の認識結果は、例えば、要素ＩＤ、図面名、要素種別、詳細種別、積算対象、予測値、及び単位を含む（図１２参照）。要素ＩＤは、要素を一意に識別可能な情報である。要素種別は、部屋、開口部、及び壁といった要素の種別を示す。詳細種別は、要素種別を細分化した種別である。例えば、部屋は、リビングルーム等に細分化される。積算対象は、要素の大きさを規定するためのパラメータである。予測値は、図面認識によって得られた積算対象の値である。単位は、予測値の単位である。

出力部１５は、平面図の認識結果を出力する機能要素である。出力部１５は、例えば、電子メールを用いて平面図の認識結果をユーザの端末装置に出力（送信）する。

次に、図３～図１２を参照しながら、図面認識システム１０が行う図面認識方法を説明する。図３は、ユーザが行う平面図の選択を説明するための図である。図４は、ユーザが行う建設物の外周及び実寸値の指標線の入力を説明するための図である。図５は、図１に示される図面認識システムが行う図面認識方法のフローチャートである。図６は、図５の分類処理の一例を詳細に示すフローチャートである。図７は、斜めの部屋の検出処理を説明するための図である。図８は、図５の分割処理の一例を詳細に示すフローチャートである。図９は、平面図の分割手順を説明するための図である。図１０は、認識処理を説明するための図である。図１１は、平面図の認識結果の一例を示す図である。図１２は、平面図の認識結果の別の例を示す図である。

まず、ユーザは、図面認識アプリケーションにおいて、所望の図面データをアップロードし、図面データ内の平面図を選択する。図面認識アプリケーションは、例えば、ウェブアプリケーションである。図面データは、例えば、ＰＤＦ（Portable Document Format）ファイルである。例えば、図３に示されるように、ユーザは、図面データに含まれる平面図を矩形状の枠Ｆで囲むことによって、認識対象となる平面図を選択する。なお、枠Ｆ内には、建設物の平面図の他、寸法等の情報が含まれている。

続いて、ユーザは、選択された平面図に含まれている建設物の外周と実寸値の指標線とを入力する。例えば、図４に示されるように、ユーザは、建設物の外壁に沿って線Ｌｃを描画し、建設物を囲むことで、建設物の外周を入力する。さらに、ユーザは、実寸値の図面上の長さを表す指標線Ｌｓを描画し、その指標線Ｌｓが表す実寸値を入力する。

端末装置は、上記入力を受け取ると、建設物の外周の頂点座標を算出し、図面データ、及び外周の頂点座標を図面認識システム１０に送信する。これにより、図５に示される一連の処理が開始される。

図５に示されるように、まず、取得部１１が図面データ、平面図を示す枠の頂点座標、及び外周の頂点座標を取得する（ステップＳ１１）。そして、取得部１１は、図面データ、平面図を示す枠の頂点座標、及び外周の頂点座標を分類部１２及び分割部１３に出力する。

続いて、分類部１２は、分類処理を行う（ステップＳ１２）。ステップＳ１２の分類処理では、図６に示されるように、分類部１２は、図面データ、平面図を示す枠の頂点座標、及び外周の頂点座標を受け取ると、図面データから建設物の平面図を抽出する（ステップＳ２１）。分類部１２は、例えば、外周の頂点座標の中から、Ｘ座標の最小値及び最大値と、Ｙ座標の最小値及び最大値と、を求め、抽出する平面図の左下の座標（Ｘ座標の最小値，Ｙ座標の最小値）及び右上の座標（Ｘ座標の最大値，Ｙ座標の最大値）を算出する。そして、分類部１２は、左下の座標及び右上の座標を対角の頂点とする長方形の範囲を建設物の平面図として図面データから抽出する。

続いて、分類部１２は、抽出した平面図から文字を除去する（ステップＳ２２）。分類部１２は、例えば、平面図を二値化し、所定の条件を満たす連続領域を文字領域として検出する。連続領域は、黒いピクセルが連続する領域である。そして、分類部１２は、二値化された平面図から文字領域を除去して、二値化画像を生成する。

続いて、分類部１２は、平面図が図面認識の精度を保証できる図面であるか図面認識の精度を保証できない図面であるかを判定する（ステップＳ２３）。ここでは、解像度が低い図面（画像が粗い図面）、及び斜線で覆われている図面を、図面認識の精度を保証できない図面の例として用いて、以下の説明を行う。

まず、分類部１２は、二値化画像に含まれる輪郭点、直線、及び斜線を検出する。輪郭点は、例えば、ＯｐｅｎＣＶ（Open Source Computer Vision Library）のモジュールｆｉｎｄＣｏｎｔｏｕｒｓを用いて検出される。検出された輪郭点同士が連続している場合には、輪郭線が生成される。直線は、例えば、ＯｐｅｎＣＶのモジュールＨｏｕｇｈＬｉｎｅｓＰを用いて検出される。斜線は、例えば、二値化画像に斜め線のカーネル（フィルタ）を設け、ＯｐｅｎＣＶのモジュールｄｉｌａｔｅ及びモジュールｅｒｏｄｅを用いてモルフォロジー演算を行うことによって検出される。

そして、分類部１２は、輪郭点、直線、及び斜線を用いて、解像度のスコア及び斜線の被覆率のスコアを算出する。ここでは、分類部１２は、二値化画像を縦（Ｙ軸方向）及び横（Ｘ軸方向）にそれぞれ均等に３分割することで９つの画像領域を得て、各画像領域に対してスコアを算出する。

斜線の被覆率のスコアの算出方法の一例を説明する。斜線の被覆率のスコアは初期値（ゼロ）に設定されている。分類部１２は、検出されたすべての輪郭線が占めるピクセル数に対する検出されたすべての斜線が占めるピクセル数の比率を算出し、当該比率と予め定められた閾値Ｄｔｈ（例えば、０．２５）とを比較する。そして、分類部１２は、比率が閾値Ｄｔｈ以上である場合、斜線の被覆率が大きいと判定し、予め定められたポイントを斜線の被覆率のスコアに加算する。分類部１２は、比率が閾値Ｄｔｈ未満である場合、斜線の被覆率が小さいと判定し、斜線の被覆率のスコアにはポイントを加算しない。以上により、斜線の被覆率のスコアが算出される。

解像度のスコアの算出方法の一例を説明する。解像度のスコアは初期値（ゼロ）に設定されている。解像度が低い画像では、多くの輪郭点が検出される傾向にある。したがって、分類部１２は、検出されたすべての輪郭線が占めるピクセル数に対する検出されたすべての輪郭点が占めるピクセル数の比率を算出し、当該比率を予め定められた閾値Ｒｔｈ１（例えば、１．５）と比較する。そして、分類部１２は、比率が閾値Ｒｔｈ１以上である場合、解像度が低いと判定し、予め定められたポイントを解像度のスコアに加算する。分類部１２は、比率が閾値Ｒｔｈ１未満である場合、解像度が高いと判定し、解像度のスコアにはポイントを加算しない。

解像度が低い画像では、多くの輪郭点が検出され、直線が検出されにくい傾向にある。したがって、分類部１２は、検出されたすべての輪郭線が占めるピクセル数に対する検出されたすべての直線が占めるピクセル数の比率を算出し、当該比率を予め定められた閾値Ｒｔｈ２（例えば、０．５）と比較する。そして、分類部１２は、比率が閾値Ｒｔｈ２以下である場合、解像度が低いと判定し、予め定められたポイントを解像度のスコアに加算する。分類部１２は、比率が閾値Ｒｔｈ２より大きい場合、解像度が高いと判定し、解像度のスコアにはポイントを加算しない。

さらに、分類部１２は、輪郭点の塊の集合に対する特徴量を用いて、解像度のスコアを計算してもよい。例えば、分類部１２は、二値化画像にブラー処理を施して二値化画像を平滑化し、平滑化された二値化画像から輪郭点を検出する。そして、分類部１２は、検出された輪郭点に膨張処理を施すことで、近隣の輪郭点同士を互いに結合させ、輪郭点の塊を生成する。そして、分類部１２は、輪郭点の塊のうち、面積が所定の値よりも小さい塊を除去し、残りの塊の集合に対して、特徴量を計算する。特徴量としては、例えば、輪郭点の塊が成すピクセルの面積、幅、及び高さが用いられる。分類部１２は、これらの値が所定の閾値以上である場合に、予め定められたポイントを解像度のスコアに加算する。以上により、解像度のスコアが算出される。

例えば、分類部１２は、いずれかの画像領域の解像度のスコアと斜線の被覆率のスコアとの合計スコアが予め設定された保証閾値を超える場合、平面図が図面認識の精度を保証できない図面であると判定し、すべての画像領域の上記合計スコアが保証閾値未満である場合、平面図が図面認識の精度を保証できる図面であると判定する。

なお、部屋がグレーアウトされている図面においても、斜線の被覆率が高くなると考えられる。したがって、斜線の被覆率のスコアを用いることにより、部屋がグレーアウトされている図面は、図面認識の精度を保証できない図面であると判定され得る。

図面認識の精度を保証できない図面に、間仕切りが点線で描かれた図面が含まれる場合、分類部１２は、二値化画像に含まれる連続領域に基づいて、間仕切りが点線で描かれた図面であるか否かを判定する。例えば、分類部１２は、二値化画像に含まれる連続領域と、膨張処理を施した二値化画像に含まれる連続領域と、を検出する。連続領域は、例えば、ＯｐｅｎＣＶのモジュールｃｏｎｎｅｃｔｅｄＣｏｍｐｏｎｅｎｔｓＷｉｔｈＳｔａｔｓを用いて検出される。点線で区切られている部分が多いほど、膨張処理が施された後の連続領域の個数は膨張処理が施される前の連続領域の個数よりも多くなる傾向にある。したがって、分類部１２は、膨張処理が施される前の連続領域の個数に対する膨張処理が施された後の連続領域の個数の比率を算出し、当該比率を予め定められた判定閾値と比較する。そして、分類部１２は、比率が判定閾値以上である場合、平面図が、間仕切りが点線で描かれた図面（図面認識の精度を保証できない図面）であると判定する。

ステップＳ２３において、平面図が図面認識の精度を保証できる図面であると判定された場合（ステップＳ２３：ＹＥＳ）、分類部１２は、平面図が斜めの部屋を含むか否かを判定する（ステップＳ２４）。ステップＳ２４では、まず、分類部１２は、二値化画像に含まれる白い領域のオブジェクトを検出する。白い領域のオブジェクトは、例えば、ＯｐｅｎＣＶのモジュールｃｏｎｎｅｃｔｅｄＣｏｍｐｏｎｅｎｔｓＷｉｔｈＳｔａｔｓを用いて検出される。そして、分類部１２は、図７に示されるように、オブジェクトＲに対して、回転を考慮しない外接矩形ＣＲ１と、回転を考慮した外接矩形ＣＲ２とを描画する。回転を考慮しない外接矩形ＣＲ１とは、Ｘ軸に沿った辺とＹ軸に沿った辺とを有し、オブジェクトＲに外接する矩形である。回転を考慮した外接矩形ＣＲ２とは、オブジェクトＲに外接する矩形のうち、矩形に占めるオブジェクトＲの割合が最も大きくなる矩形である。

分類部１２は、例えば、外接矩形ＣＲ２のいずれかの辺とＸ軸とが成す角度（０度以上１８０度未満）が所定の角度以上であること、外接矩形ＣＲ１の面積に対するオブジェクトＲの面積の比率が所定の面積比率以下であること、及び外接矩形ＣＲ１のピクセル数に対する外接矩形ＣＲ２とオブジェクトＲとが重なる領域のピクセル数の割合が所定の割合以下であること、のすべての条件を満たした場合に、当該オブジェクトＲは斜めの部屋であると判定する。そして、分類部１２は、斜めの部屋の数が所定数以上である場合に、平面図が斜めの部屋を含むと判定し、斜めの部屋の数が所定数未満である場合に、平面図が斜めの部屋を含まないと判定する。

一方、ステップＳ２３において、平面図が図面認識の精度を保証できない図面であると判定された場合（ステップＳ２３：ＮＯ）、分類部１２は、ステップＳ２４の処理を実施することなく、ステップＳ２５の処理を実施する。

続いて、分類部１２は、分類結果を認識部１４に出力する（ステップＳ２５）。分類結果は、平面図の種類（ここでは、図面認識の精度を保証できない図面、斜めの部屋を含む図面、及び斜めの部屋を含まない図面）を示す情報を含む。以上により、ステップＳ１２の分類処理が終了する。

続いて、分割部１３は、分割処理を行う（ステップＳ１３）。ステップＳ１３の分割処理では、図８に示されるように、分割部１３は、図面データ、平面図を示す枠の頂点座標、及び外周の頂点座標を取得部１１から受け取ると、図面データから建設物の平面図を抽出し（ステップＳ３１）、抽出した平面図から文字を除去する（ステップＳ３２）。なお、ステップＳ３１，Ｓ３２の処理は、ステップＳ２１，Ｓ２２の処理と同じであるので、ここでは詳細な説明を省略する。

続いて、分割部１３は、平面図の分割回数Ｎ_ｄｉｖを算出する（ステップＳ３３）。分割回数Ｎ_ｄｉｖは、平面図を２等分する回数である。ステップＳ３３では、まず、分割部１３は、二値化画像に含まれる白い領域のオブジェクトを検出する。白い領域のオブジェクトは、例えば、ＯｐｅｎＣＶのモジュールｃｏｎｎｅｃｔｅｄＣｏｍｐｏｎｅｎｔｓＷｉｔｈＳｔａｔｓを用いて検出される。

そして、分割部１３は、検出された白い領域のオブジェクトのそれぞれが部屋領域であるか否かを判定する。部屋領域は、ある程度の幅及び高さを有する長方形に近い形状を有すると考えられる。したがって、分割部１３は、オブジェクトの幅又は高さが所定のピクセル（例えば、１５ピクセル）以下であること、オブジェクトの高さに対する幅の比率又は幅に対する高さの比率が所定の値以上であること、並びにオブジェクトの面積が所定のピクセル（例えば、３００ピクセル）以下であることのいずれかに該当する場合、当該オブジェクトは部屋領域ではないと判定する。

分割部１３は、オブジェクトの仮想的な外接矩形の重心とオブジェクトの重心との距離が所定のピクセル（例えば、３０ピクセル）以上離れている場合に、当該オブジェクトは部屋領域ではないと判定してもよい。仮想的な外接矩形は、オブジェクトの幅（Ｘ軸方向の長さ）及び高さ（Ｙ軸方向の長さ）を有する矩形である。あるいは、分割部１３は、仮想的な外接矩形の面積に対するオブジェクトの面積の比率が所定の比率（例えば、０．５）以下である場合に、当該オブジェクトは部屋領域ではないと判定してもよい。

分割部１３は、複数のオブジェクトのうち、孤立しているオブジェクトを部屋領域ではないと判定してもよい。例えば、分割部１３は、オブジェクトの仮想的な外接矩形から所定の範囲内に他のオブジェクトが存在しない場合に、当該オブジェクトは孤立していると判定する。所定の範囲は、例えば、仮想的な外接矩形と、すべてのオブジェクトの平均幅と平均高さとの和の半分だけ当該外接矩形の周縁から外側に離れた矩形と、によって囲まれる範囲である。

平面図において、非常階段、階段、及び玄関等は、互いに連結された類似度の高い複数のオブジェクトの集合として表され得る。分割部１３は、互いに連結された類似度の高い複数のオブジェクトを部屋領域でないと判定してもよい。具体的には、分割部１３は、まず、類似度の高いオブジェクトをグルーピングする。ここで、あるオブジェクトの面積及び周囲長が別のオブジェクトの面積及び周囲長の０．７～１．３倍程度の範囲内である場合に、これらのオブジェクトの類似度は高いと判定される。分割部１３は、グルーピングしたすべてのオブジェクトに膨張処理を施し、これらのオブジェクトを連結する。そして、分割部１３は、連結されたオブジェクトの面積が、すべてのオブジェクトの平均面積の所定倍（例えば、４．５倍）以上である場合に、連結されたオブジェクト内のオブジェクトはいずれも部屋領域ではないと判定する。

そして、分割部１３は、白い領域のオブジェクトから、部屋領域でないと判定されたオブジェクトを除去し、残ったオブジェクトを部屋領域と判定する。そして、分割部１３は、各分割図面に予め定められた基準部屋数Ｎ_ｒｅｆの部屋が含まれるように、分割回数Ｎ_ｄｉｖを算出する。具体的には、分割部１３は、まず、式（１）に示されるように、部屋領域のオブジェクトの数Ｎ_ｒｏｏｍと基準部屋数Ｎ_ｒｅｆとを用いて、理想分割図面数Ｎ_ｄを算出する。なお、関数ｉｎｔ（ｘ）は、ｘの小数点を切り捨てて、整数を返す関数である。

そして、分割部１３は、式（２）に示されるように、理想分割図面数Ｎ_ｄから分割回数Ｎ_ｄｉｖを算出する。なお、関数ｒｏｕｎｄ（ｘ）は、ｘをｘ以上でｘに最も近い偶数に丸めた結果を返す関数である。

続いて、分割部１３は、平面図を分割する（ステップＳ３４）。ステップＳ３４では、分割部１３は、平面図を２^Ｎｄｉｖ等分する。言い換えると、分割部１３は、平面図の２分割をＮ_ｄｉｖ回行う。これにより、分割図面が生成される。例えば、図９に示されるように、１回目の分割では、分割部１３は、平面図Ｐの２つの長辺の中心を結ぶ分割線Ｌ０を設定する。そして、分割部１３は、分割された２つの図面Ｐ１，Ｐ２が所定ピクセルだけ重なるように、分割線Ｌ０に基づいて平面図Ｐを分割する。例えば、分割部１３は、長辺方向において分割線Ｌ０を含む所定ピクセル分の領域が図面Ｐ１，Ｐ２のそれぞれに含まれるように、平面図Ｐを分割する。

２回目の分割では、分割部１３は、図面Ｐ１の２つの長辺の中心を結ぶ分割線Ｌ１を設定し、分割された２つの図面Ｐ１１，Ｐ１２が所定ピクセルだけ重なるように、分割線Ｌ１に基づいて平面図Ｐ１を分割する。同様に、分割部１３は、図面Ｐ２の２つの長辺の中心を結ぶ分割線Ｌ２を設定し、分割された２つの図面Ｐ２１，Ｐ２２が所定ピクセルだけ重なるように、分割線Ｌ２に基づいて平面図Ｐ２を分割する。以下、同様の分割が、分割回数Ｎ_ｄｉｖまで繰り返される。

続いて、分割部１３は、分割図面を認識部１４に出力する（ステップＳ３５）。なお、分割回数Ｎ_ｄｉｖがゼロである場合には、平面図は分割されない。この場合、分割部１３は、平面図を分割図面として認識部１４に出力する。以上により、ステップＳ１３の分割処理が終了する。

続いて、認識部１４は、認識処理を行う（ステップＳ１４）。ステップＳ１４では、認識部１４は、分類部１２から分類結果を受け取り、分割部１３から分割図面を受け取ると、複数の認識モデルの中から平面図の種類に応じた１つの認識モデルを選択する。そして、認識部１４は、選択した認識モデルに分割図面を１つずつ入力し、認識モデルから分割図面の認識結果を得る。

図１０に示されるように、認識部１４は、認識モデルＭ１と、認識モデルＭ２と、を含む。認識モデルＭ１は、斜めの部屋を含む平面図を認識するための認識モデルである。認識モデルＭ２は、斜めの部屋を含まない平面図を認識するための認識モデルである。認識部１４は、分類結果が斜めの部屋を含む図面を示す場合、認識モデルＭ１を選択し、認識モデルＭ１に分割図面を入力する。そして、認識部１４は、認識モデルＭ１から分割図面の認識結果を得る。一方、認識部１４は、分類結果が斜めの部屋を含まない図面を示す場合、認識モデルＭ２を選択し、認識モデルＭ２に分割図面を入力する。そして、認識部１４は、認識モデルＭ２から分割図面の認識結果を得る。

そして、認識部１４は、各分割図面の認識結果を足し合わせることによって、平面図の認識結果を生成する。なお、認識結果として、図１１に示されるような平面図が用いられる場合、認識部１４は、分割図面を単一の平面図に再結合してもよく、元の平面図をそのまま用いてもよい。そして、認識部１４は、平面図の認識結果を出力部１５に出力する。なお、認識部１４は、分類結果が図面認識の精度を保証できない平面図であることを示す場合、認識処理を行わない。この場合、認識部１４は、精度保証不可であることを示す平面図の認識結果を出力部１５に出力する。

続いて、出力部１５は、平面図の認識結果を出力する（ステップＳ１５）。ステップＳ１５では、出力部１５は、平面図の認識結果を認識部１４から受け取ると、ユーザの端末装置に平面図の認識結果を出力（送信）する。出力部１５は、例えば、平面図の認識結果を表示するためのＵＲＬ（Uniform Resource Locator）を含む電子メールをユーザの端末装置に送信する。ユーザが端末装置においてＵＲＬをクリックすることによって、平面図の認識結果が表示される。

図１１に示されるように、平面図に含まれる要素が要素ＩＤとともに、平面図に重畳表示されることによって、平面図の認識結果が表示されてもよい。図１２に示されるように、平面図の認識結果が表形式で表示されてもよい。例えば、各要素について、要素ＩＤ、図面名、要素種別、詳細種別、積算対象、予測値、及び単位が表示される。

出力部１５は、平面図の認識結果が精度保証不可であることを示す場合、ユーザの端末装置に、選択された平面図がサポート対象外であることを通知する。出力部１５は、例えば、電子メールによってサポート対象外の通知を行う。以上により、図面認識方法の一連の処理が終了する。なお、ステップＳ１３は、ステップＳ１２よりも先に行われてもよく、ステップＳ１２と並行して行われてもよい。

以上説明した図面認識システム１０及び図面認識方法においては、平面図に含まれる部屋数に応じて平面図が分割され、分割図面に基づいて平面図に含まれる要素が認識される。この構成によれば、規模の異なる建設物の平面図であっても、部屋数が考慮されて分割されるので、分割図面に含まれる部屋数のばらつきが抑えられ得る。したがって、分割図面に含まれる要素の認識精度を向上させることができる。その結果、建設物の平面図の認識精度を向上させることが可能となる。

具体的には、分割部１３は、分割図面に含まれる部屋数が基準部屋数Ｎ_ｒｅｆ以下となるように、平面図を分割する。このため、平面図に複数の部屋が含まれていたとしても、分割図面には基準部屋数Ｎ_ｒｅｆ以下の部屋数が含まれる。したがって、規模の異なる建設物の平面図であっても、分割図面に含まれる部屋数のばらつきが抑えられ得る。その結果、建設物の平面図の認識精度を向上させることが可能となる。

認識部１４は、複数の平面図を学習データとして用いた機械学習を実行することによって生成された認識モデルを含む。この構成では、認識モデルを十分な量の平面図を用いて学習させることによって、建設物の平面図の認識精度を向上させることが可能となる。

平面図には、斜めの部屋を含む平面図、及び斜めの部屋を含まない平面図といった様々な種類（性質）の平面図がある。これらの平面図を汎用の認識モデルを用いて認識する構成では、認識精度が低下するおそれがある。一方、図面認識システム１０では、認識部１４は、認識モデルとして、平面図が分類され得る複数の種類に応じた複数の認識モデルを含み、認識対象の平面図の種類に応じて複数の認識モデルの中から１の認識モデルを選択し、選択された認識モデルを用いて平面図の認識結果を生成する。つまり、平面図の種類に応じた認識モデルを用いて、分割図面に含まれる要素が認識される。この構成によれば、汎用の認識モデルを用いて複数の種類の平面図を認識する構成と比較して、平面図の認識精度を向上させることが可能となる。

分類部１２は、平面図が図面認識の精度を保証できる図面であるか図面認識の精度を保証できない図面であるかを判定する。認識部１４は、平面図が図面認識の精度を保証できない図面であると判定された場合、平面図に含まれる要素の認識を行わない。したがって、図面認識の精度を保証できない平面図が認識対象から外されるので、平面図の認識精度が低下することを回避できる。

出力部１５は、平面図が図面認識の精度を保証できない図面であると判定された場合、図面認識のサポート対象外であることを示す情報を出力する。例えば、ユーザに図面認識のサポート対象外であることが通知されることにより、平面図が図面認識のサポート対象外であることをユーザに認識させることができる。

分割部１３は、平面図を二値化することによって二値化画像を生成し、二値化画像に含まれる白い領域のオブジェクトに基づいて部屋数を算出する。この構成によれば、平面図を画像処理することによって部屋数が得られる。したがって、他の情報を用いることなく、平面図から分割図面を生成することができる。

なお、本開示に係る図面認識システム及び図面認識方法は上記実施形態に限定されない。

例えば、図面認識システム１０は、分類部１２を備えていなくてもよい。この場合、認識部１４は、共通の認識モデルを用いて、平面図の認識結果を生成する。

ユーザが分類を入力可能なように、図面認識アプリケーションが構成されていてもよい。この場合、図面認識システム１０は、分類部１２を備えていなくてもよい。あるいは、分類部１２によって分類される平面図の種類とは異なる種類をユーザが入力してもよい。例えば、ユーザは、図面認識アプリケーションにおいて、平面図が住宅の平面図であるか、非住宅の平面図であるかを入力してもよい。この場合、認識部１４は、ユーザによって入力された分類に応じた認識モデルを複数の認識モデルの中から選択し、選択された認識モデルを用いて平面図の認識結果を生成する。

認識部１４は、認識モデルに代えて、画像解析によって平面図に含まれる要素を認識してもよい。

分類部１２は、平面図が図面認識の精度を保証できる図面であるか図面認識の精度を保証できない図面であるかを判定しなくてもよい。この場合、認識部１４は、すべての平面図を認識対象として図面認識を行う。

１０…図面認識システム、１１…取得部、１２…分類部、１３…分割部、１４…認識部、１５…出力部、Ｍ１…認識モデル、Ｍ２…認識モデル。

Claims (9)

1. 建設物の平面図を含む図面データを取得する取得部と、
   前記平面図に含まれる部屋数に応じて前記平面図を分割することによって、分割図面を生成する分割部と、
   前記分割図面に基づいて前記平面図に含まれる要素を認識することによって、前記平面図の認識結果を生成する認識部と、
   前記平面図の前記認識結果を出力する出力部と、を備える、図面認識システム。
2. 前記認識部は、複数の平面図を学習データとして用いた機械学習を実行することによって生成された認識モデルを備え、
   前記認識モデルは、前記分割図面を受け取り、前記分割図面の認識結果を出力する、請求項１に記載の図面認識システム。
3. 前記平面図を複数の種類のいずれかに分類する分類部を更に備え、
   前記認識部は、前記認識モデルとして、前記複数の種類に応じた複数の認識モデルを備え、
   前記認識部は、前記分類部によって分類された前記平面図の種類に応じて前記複数の認識モデルの中から１の認識モデルを選択し、選択された認識モデルを用いて前記平面図の前記認識結果を生成する、請求項２に記載の図面認識システム。
4. 前記分類部は、前記平面図が図面認識の精度を保証できる図面であるか図面認識の精度を保証できない図面であるかを判定し、
   前記認識部は、前記平面図が図面認識の精度を保証できない図面であると判定された場合、前記平面図に含まれる要素の認識を行わない、請求項３に記載の図面認識システム。
5. 前記出力部は、前記平面図が図面認識の精度を保証できない図面であると判定された場合、図面認識の対象外であることを示す情報を出力する、請求項４に記載の図面認識システム。
6. 前記分割部は、前記平面図を二値化することによって二値化画像を生成し、前記二値化画像に含まれる白い領域のオブジェクトを検出し、前記オブジェクトに基づいて前記部屋数を算出する、請求項１～請求項５のいずれか一項に記載の図面認識システム。
7. 前記分割部は、前記分割図面に含まれる部屋数が所定数以下となるように、前記平面図を分割する、請求項１～請求項６のいずれか一項に記載の図面認識システム。
8. 建設物の平面図を含む図面データを取得するステップと、
   前記平面図に含まれる部屋数に応じて前記平面図を分割することによって、分割図面を生成するステップと、
   前記分割図面に基づいて前記平面図に含まれる要素を認識することによって、前記平面図の認識結果を生成するステップと、
   前記平面図の前記認識結果を出力するステップと、を含む、図面認識方法。
9. コンピュータを、請求項１～請求項７のいずれか一項に記載の図面認識システムにおける各部として機能させるための、プログラム。

Images