JP7209238B2

JP7209238B2 - 処理装置および処理方法

Info

Publication number: JP7209238B2
Application number: JP2021548339A
Authority: JP
Inventors: 祥平鎌田
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2019-09-26
Filing date: 2020-06-10
Publication date: 2023-01-20
Anticipated expiration: 2040-06-10
Also published as: JPWO2021059612A1; WO2021059612A1

Description

本開示は、処理技術、特に図面に対する処理を実行する処理装置および処理方法に関する。

インターネットのホームページ等で提供されるマンション等の物件情報には、例えば、間取り図、物件の住所や広さ等の情報等が含まれる。物件情報を生成するために、不動産物件の間取り図画像から、部屋領域が特定される。また、間取り図画像に含まれる文字列が認識されるとともに、間取り図画像に含まれる設置物記号が検出される。さらに、特定された部屋領域と、文字列の認識結果と、設置物記号の検出結果とをもとに部屋の種類が特定される。（例えば、特許文献１参照）。

国際公開第１８／０９２３８２号

住宅、店舗、施設等のリニューアルを提案する際、既存の警報ベル、感知器等の機器の個数を建設図面から調べて、見積書が作成される。具体的には、機器を示す記号と名称の対応関係が示された凡例表が図面に記載されているので、作業者は、凡例表を見ながら記号を図面から抽出する。住宅、店舗、施設等の規模が大きくなるほど機器の個数が多くなるので、記号を数える作業の手間が増加する。このような作業を簡易化するために、建設図面を画像としてコンピュータに読み込ませ、記号の個数をコンピュータに数えさせる。その際、凡例表の認識が不正確であると、機器の名称に誤りが生じる。

本開示はこうした状況に鑑みなされたものであり、その目的は、互いに対応した記号と文字とを図面から認識する精度を向上する技術を提供することにある。

上記課題を解決するために、本開示のある態様の処理装置は、図面から抽出した記号を入力する第１入力部と、図面から抽出した第１の文字であって、かつ記号に対応すべき第１の文字を入力する第２入力部と、第１入力部に入力した記号と、第２入力部に入力した第１の文字との組合せに対して、複数種類の記号のそれぞれと、各記号に対応した文字との組合せで学習されたニューラルネットワークによる処理を実行する処理部と、処理部の処理結果として、第１入力部に入力した記号に対応した第２の文字を出力する出力部と、を備える。

本開示の別の態様は、処理方法である。この方法は、図面から抽出した記号を入力するステップと、図面から抽出した第１の文字であって、かつ記号に対応すべき第１の文字を入力するステップと、入力した記号と、入力した第１の文字との組合せに対して、複数種類の記号のそれぞれと、各記号に対応した文字との組合せで学習されたニューラルネットワークによる処理を実行するステップと、処理結果として、入力した記号に対応した第２の文字を出力するステップと、を備える。

なお、以上の構成要素の任意の組合せ、本開示の表現を方法、装置、システム、コンピュータプログラム、またはコンピュータプログラムを記録した記録媒体などの間で変換したものもまた、本開示の態様として有効である。

本開示によれば、互いに対応した記号と文字とを図面から認識する精度を向上できる。

図１（ａ）－（ｄ）は、従来の見積書の作成手順を示す図である。実施例に係る記号集計装置の構成を示す図である。図３（ａ）－（ｃ）は、図２の記号処理部における処理の概要を示す図である。図４（ａ）－（ｄ）は、図２の処理部における処理の概要を示す図である。図５（ａ）－（ｃ）は、図２の処理部の構成を示す図である。図６（ａ）－（ｃ）は、図５（ａ）－（ｃ）の組合せ層の処理の概要を示す図である。図２の処理部の別の構成を示す図である。

本開示の実施例を具体的に説明する前に、本実施例の概要を説明する。実施例は、複数の記号が示されている建設図面から、記号の種類毎に個数を積算する記号集計装置に関する。建設図面には凡例表が記載されており、凡例表には、機器を示す記号と、当該記号に対応した名称の文字の対応関係が示される。作業者が、凡例表を見ながら建設図面から記号を抽出して、記号の種類毎に個数を積算する場合、建設図面が対象とする施設等の規模が大きくなるほど、作業の手間が増加するとともに誤りが発生しやすくなる。これらを改善するために、建設図面を画像としてコンピュータに読み込ませ、記号の個数をコンピュータに数えさせることが望ましいが、凡例表の認識が不正確であると、記号の名称に誤りが生じる。

これに対応するために、本実施例に係る記号集計装置は、建設図面を読み込み、建設図面の凡例表から記号と名称とを抽出する。記号集計装置は、２つの入力を有し、１つの入力として記号を受けつけ、もう１つの入力として名称を受けつける。記号と名称との組合せに対してニューラルネットワークの処理を実行させる。当該ニューラルネットワークは、記号と名称の組合せを教師データとして予め学習されているので、入力した名称の文字に誤りがあればこれを修正する。記号と名称という２種類の情報を組み合わせて、ニューラルネットワークの処理を実行するので、１種類の情報のみに対してニューラルネットワークの処理を実行するよりも認識精度が向上される。

図１（ａ）－（ｄ）は、従来の見積書の作成手順を示す。図１（ａ）に示されるような建設図面が、電子メールあるいはＦＡＸで受けつけられる。建設図面は数十枚になることもある。また、建設図面は、手書きの図面であったり、印刷された図面であったりする。図１（ｂ）では、図１（ａ）における建設図面に記載された記号が作業者によって種類毎に集計される。一般的に、建設図面には、数百個以上の記号が含まれる。このように、現状では作業者が紙ベースで記号を積算しており、手間がかかっている。図１（ｃ）では、図１（ｂ）において集計した結果を作業者が確認する。作業者は、集計結果を既存のシステムに手入力する。図１（ｄ）では、集計結果の入力をもとに見積書が作成される。

従来の見積書の作成手順では、作業者による手作業が多く、手間がかかるとともに誤りも発生しやすくなる。そのため、建設図面を画像として入力して、建設図面から記号を抽出し、見積書を自動的に作成する装置の実現が望まれる。このような装置は、建設図面に含まれた凡例表の内容をもとに、数えるべき記号を認識するので、凡例表の認識精度の向上が求められる。

図２は、記号集計装置１０００の構成を示す。記号集計装置１０００は、図面取得部１０、凡例表検出部２０、抽出部３０、記号処理部１００、記号集計部４０を含む。抽出部３０は、構造認識部３００、実行部３１０を含み、構造認識部３００は、２値化処理部３２０、第１生成部３３０、第２生成部３４０、解析部３５０を含む。記号処理部１００は、第１入力部１１０、第２入力部１１２、処理部１１４、出力部１１８を含む。

図面取得部１０は、建設図面を取得する。建設図面がＰＤＦ、ＣＡＤデータ等の電子データである場合、図面取得部１０は、建設図面を電子データのまま取得する。一方、建設図面が紙データである場合、図面取得部１０は、スキャナにより建設図面を電子データに変換する。図３（ａ）－（ｃ）は、記号処理部１００における処理の概要を示す。図３（ａ）は、図面取得部１０において取得される建設図面４００である。建設図面４００は、電子データであり、図１（ａ）と同様に複数毎によって構成されることもある。図３（ｂ）－（ｃ）は後述し、図２に戻る。図面取得部１０は、電子データの建設図面４００（以下、これもまた「建設図面４００」という）を凡例表検出部２０、記号集計部４０に出力する。

凡例表検出部２０は、図面取得部１０から建設図面４００を受けつける。凡例表検出部２０は、建設図面４００に対して、深層学習、例えば、ＦＣＮ（ＦｕｌｌｙＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｔｗｏｒｋｓ）等のニューラルネットワークの処理を実行することによって、建築画面に含まれた凡例表を自動検出する。ニューラルネットワークの処理には公知の技術が使用されればよいので、ここでは説明を省略する。凡例表を検出するために、ニューラルネットワークの処理以外が実行されてもよく、例えば、パターンマッチング処理が実行されてもよい。図３（ｂ）は、検出された凡例表４１０を示す。凡例表４１０は、横方向の線と縦方向の線が組み合わされた表の構造を有するとともに、表の中に、複数の記号が縦方向に並べられるとともに、複数の記号の右側に複数の名称も縦方向に並べられる。このような複数の記号と複数の名称の配置の規則は予め定められている。複数の記号のそれぞれは建築画面に含まれる機器を示し、複数の名称のそれぞれは機器の名称である。名称は複数の文字の組合せにより構成される。図３（ｃ）は後述し、図２に戻る。凡例表検出部２０は、凡例表を抽出部３０に出力する。

抽出部３０の２値化処理部３２０は、凡例表検出部２０から凡例表４１０を受けつける。２値化処理部３２０は、凡例表４１０の各画素の値を２値化する。例えば、凡例表４１０における線の色は「１」にされ、それ以外の色は「０」にされる。２値化処理部３２０は、２値化された複数の画素が含まれた凡例表４１０（以下、これもまた「凡例表４１０」という）を第１生成部３３０、第２生成部３４０に出力する。

第１生成部３３０は、２値化処理部３２０が２値化した各画素の値を受けつける。第１生成部３３０は、図３（ｃ）に示されたｘ軸方向に並んだ各座標において、ｙ方向に積算した積算値を導出する。ｘ軸方向は前述の横方向に相当し、ｙ軸方向は前述の縦方向に相当する。また、第１生成部３３０は、ｘ方向に並んだ各座標の積算値を集めた第１データ群を生成する。第１生成部３３０は、第１データ群を解析部３５０に出力する。第２生成部３４０は、２値化処理部３２０が２値化した各画素の値を受けつける。第２生成部３４０は、図３（ｃ）に示されたｙ軸方向に並んだ各座標において、ｘ方向に積算した積算値を導出する。また、第２生成部３４０は、ｙ方向に並んだ各座標の積算値を集めた第２データ群を生成する。第２生成部３４０は、第２データ群を解析部３５０に出力する。

解析部３５０は、第１生成部３３０において生成した第１データ群での積算値がしきい値以上となるｘ軸方向の座標を特定する。特定した座標には、凡例表４１０の表における縦方向の線が配置される。また、解析部３５０は、第２生成部３４０において生成した第２データ群での積算値がしきい値以上となるｙ軸方向の座標を座標を特定する。特定した座標には、凡例表４１０における横方向の線が配置される。さらに、解析部３５０は、縦方向の線が配置される座標と、横方向の線が配置される座標とを組み合わせることによって、凡例表４１０の構造を把握する。解析部３５０は、把握した凡例表４１０の構造に関する情報を実行部３１０に出力する。

実行部３１０は、凡例表検出部２０から凡例表４１０を受けつけるとともに、解析部３５０から、凡例表４１０の構造に関する情報を受けつける。実行部３１０は、構造を把握した凡例表４１０から、複数の記号と複数の名称とを抽出する。その際、実行部３１０は、図２（ｂ）における複数の記号と複数の名称の配置の規則を予め保持しており、その規則を抽出に利用する。また、抽出した複数の記号と複数の名称はいずれも画像データである。実行部３１０は、抽出した複数の記号のそれぞれを第１入力部１１０に出力する。

実行部３１０は、抽出した複数の名称のそれぞれを、ＯＣＲ（ＯｐｔｉｃａｌＣｈａｒａｃｔｅｒＲｅｃｏｇｎｉｔｉｏｎ／Ｒｅａｄｅｒ）により画像データから文字データに変換する。また、実行部３１０は、文字データの複数の名称に対して、Ｗｏｒｄ２Ｖｅｃ等により文字データから特徴ベクトルに変換する。実行部３１０は、特徴ベクトルで示された複数の名称のそれぞれを第２入力部１１２に出力する。

記号処理部１００の第１入力部１１０は、実行部３１０から複数の記号のそれぞれを画像データとして入力する。第２入力部１１２は、実行部３１０から複数の名称のそれぞれを特徴ベクトルとして入力する。図４（ａ）－（ｄ）は、処理部１１４における処理の概要を示す。図４（ａ）は、第１入力部１１０に入力された複数の記号を示し、図４（ｂ）は、第２入力部１１２に入力された複数の名称を示す。ここでは、一例として、「エレベータ「製」御盤」、「光学式スポット型感知器２種点検Ｂ「Ｃ」Ｘ付」、「差動式スポット型「知器」」、「定温式スポット型感知器特種６５「Ｃ」」のような誤認識が含まれる。図２に戻る。

処理部１１４は、第１入力部１１０に入力した記号と、第２入力部１１２に入力した名称との組合せに対して、複数種類の記号のそれぞれと、各記号に対応した名称との組合せで学習されたニューラルネットワークによる処理を実行する。図５（ａ）－（ｃ）は、処理部１１４の構成を示す。図５（ａ）－（ｃ）は、処理部１１４の構成を示す。図５（ａ）は、処理部１１４の構成の一例を示す。処理部１１４は、畳み込み層１４２と総称される第１畳み込み層１４２ａから第４畳み込み層１４２ｄ、プーリング層１４４と総称される第１プーリング層１４４ａから第４プーリング層１４４ｄ、組合せ層１４６、全結合層１４８を含む。

組合せ層１４６は、図２の第１入力部１１０と第２入力部１１２に接続され、第１入力部１１０から記号記号を入力し、第２入力部１１２から名称を入力する。組合せ層１４６は、記号と名称とを組み合わせる。図６（ａ）－（ｃ）は、図５（ａ）－（ｃ）の組合せ層１４６の処理の概要を示す。第１入力情報２００ａは、組合せ層１４６に入力される記号を示し、第２入力情報２００ｂは、組合せ層１４６に入力される名称を示し、記号、名称に何らかの処理がなされたものも含む。

図６（ａ）は、第１入力情報２００ａと第２入力情報２００ｂが別のチャンネルとして１つに合併される。これは、第１入力情報２００ａと第２入力情報２００ｂとをチャンネル方向に合併することに相当する。その結果、記号と名称の組合せが生成される。図６（ｂ）では、２つのチャンネルの第１入力情報２００ａ、第２入力情報２００ｂが、ｘ軸方向に並べることによって１つのチャンネルにされる。図６（ｃ）では、２つのチャンネルの第１入力情報２００ａ、第２入力情報２００ｂが、ｙ軸方向に並べることによって１つのチャンネルにされる。図６（ｂ）－（ｃ）では、第１入力情報２００ａ、第２入力情報２００ｂが１つの方向に並べることによって合併される。図５（ａ）に戻る。組合せ層１４６は、組み合わせた結果（以下、「組合せ結果」という）を第１畳み込み層１４２ａに出力する。

畳み込み層１４２は、組合せ結果の各チャンネルに対して、２次元で示された情報のサイズよりも小さいサイズの空間フィルタをずらしながら空間フィルタリングを実行する。空間フィルタリングは公知の技術であるので、ここでは説明を省略するが、この空間フィルタリングが畳み込み処理に相当し、畳み込み処理によって情報の特徴量が抽出される。なお、畳み込み層１４２においてパディング等が実行されてもよい。さらに、畳み込み層１４２は、各チャンネルの情報に対して、複数の空間フィルタを並列に使用して、複数の空間フィルタリングを並列して実行してもよい。このような複数の空間フィルタの並列使用によって、情報が増加する。これは、組合せ結果におけるチャンネル数が増加することに相当する。

プーリング層１４４は、組合せ結果における各チャンネルの情報内の任意の領域に含まれた複数の要素を１つの要素にまとめることによって、情報のサイズを小さくする。ここで、複数の要素を１つの要素にまとめるために、平均プーリングあるいは最大プーリングが実行される。平均プーリングでは、領域内の複数の要素値の平均値が１つの要素に対して使用され、最大プーリングでは、領域内の複数の要素値のうちの最大値が１つの要素に対して使用される。プーリング処理は、着目領域における代表値あるいは平均値の並進移動に対してロバスト性を強化するためになされる。

ここでは、第１畳み込み層１４２ａ、第１プーリング層１４４ａ、第２畳み込み層１４２ｂ、第２プーリング層１４４ｂ、第３畳み込み層１４２ｃ、第３プーリング層１４４ｃ、第４畳み込み層１４２ｄ、第４プーリング層１４４ｄの順に処理が実行される。つまり、組合せ結果に対して、畳み込み処理とプーリング処理とが繰り返し実行される。また、畳み込み処理とプーリング処理とが繰り返されることによって、各チャンネルの情報のサイズが順に小さくされる。第４プーリング層１４４ｄの処理結果は、全結合層１４８に出力される。

全結合層１４８は、第４プーリング層１４４ｄからの処理結果を受けつける。全結合層１４８は、処理結果の特徴量に基づいて、複数のクラスへの分類を実行することによって、記号と名称との組合せを識別する。複数のクラスは複数の記号に相当する。全結合層１４８における処理には公知の技術が使用されればよいので、ここでは説明を省略する。図４（ｃ）は、全結合層１４８から出力される複数の記号を示し、図４（ｄ）は、全結合層１４８から出力される複数の名称を示す。処理部１１４における処理の結果、「エレベータ「製」御盤」は「エレベータ「制」御盤」に修正され、「光学式スポット型感知器２種点検Ｂ「Ｃ」Ｘ付」は「光学式スポット型感知器２種点検Ｂ「Ｏ」Ｘ付」に修正される。また、「差動式スポット型「知器」」は「差動式スポット型「感知器」」に修正され、「定温式スポット型感知器特種６５「Ｃ」」は「定温式スポット型感知器特種６５「℃」」に修正される。また、修正前の文字を第１の文字と呼ぶ場合、修正後の文字は第２の文字と呼ばれる。

このような修正を可能にするために、処理部１１４は、前述のごとく、複数種類の記号のそれぞれと、各記号に対応した名称との組合せで学習されている。例えば、各畳み込み層１４２の空間フィルタの係数が学習されている。図５（ａ）に示された処理部１１４は、記号と名称とを組み合わせてから、組合せに対してニューラルネットワークの１以上の層の処理を実行する。

図５（ｂ）は、処理部１１４の構成の別の一例を示す。処理部１１４は、畳み込み層１４２と総称される第１－１畳み込み層１４２ａａ、第１－２畳み込み層１４２ａｂ、第１－３畳み込み層１４２ａｃ、第２－１畳み込み層１４２ｂａ、第２－２畳み込み層１４２ｂｂ、第２－３畳み込み層１４２ｂｃ、第４畳み込み層１４２ｄ、プーリング層１４４と総称される第１－１プーリング層１４４ａａ、第１－２プーリング層１４４ａｂ、第１－３プーリング層１４４ａｃ、第２－１プーリング層１４４ｂａ、第２－２プーリング層１４４ｂｂ、第２－３プーリング層１４４ｂｃ、第４プーリング層１４４ｄ、組合せ層１４６、全結合層１４８を含む。

第１－１畳み込み層１４２ａａ、第１－１プーリング層１４４ａａ、第１－２畳み込み層１４２ａｂ、第１－２プーリング層１４４ａｂ、第１－３畳み込み層１４２ａｃ、第１－３プーリング層１４４ａｃは順に並べられる。これらは、第１入力部１１０に入力された記号に対して前述の処理を実行する。第２－１畳み込み層１４２ｂａ、第２－１プーリング層１４４ｂａ、第２－２畳み込み層１４２ｂｂ、第２－２プーリング層１４４ｂｂ、第２－３畳み込み層１４２ｂｃ、第２－３プーリング層１４４ｂｃは順に並べられる。これらは、第２入力部１１２に入力された名称に対して前述の処理を実行する。

組合せ層１４６は、第１－３プーリング層１４４ａｃからの処理結果と、第２－３プーリング層１４４ｂｃからの処理結果とを入力する。第１－３プーリング層１４４ａｃからの処理結果は記号に対する処理結果（以下、「第１処理結果」という）であり、第２－３プーリング層１４４ｂｃからの処理結果は名称に対する処理結果（以下、「第２処理結果」という）である。ここで、第１処理結果と第２処理結果は複数のチャンネルによって構成されていてもよい。組合せ層１４６は、第１処理結果と第２処理結果とを組み合わせる。組合せは、前述のようになされればよい。組合せ層１４６は、組合せの結果（以下、これもまた「組合せ結果」という）を出力する。

第４畳み込み層１４２ｄ、第４プーリング層１４４ｄは、組合せ結果に対して畳み込み処理とプーリング処理とを順次実行する。全結合層１４８は、図５（ａ）と同様に構成される。図５（ｂ）に示された処理部１１４は、（１）記号に対してニューラルネットワークの１以上の層の処理を実行するとともに、名称に対してニューラルネットワークの１以上の層の処理を実行する。また、処理部１１４は、（２）記号に対する処理結果と名称に対する処理結果とを組合せ、（３）組合せに対してニューラルネットワークの１以上の層の処理を実行する。

図５（ｃ）は、処理部１１４の構成のさらに別の一例を示す。処理部１１４は、畳み込み層１４２と総称される第１－１畳み込み層１４２ａａ、第１－２畳み込み層１４２ａｂ、第１－３畳み込み層１４２ａｃ、第１－４畳み込み層１４２ａｄ、第２－１畳み込み層１４２ｂａ、第２－２畳み込み層１４２ｂｂ、第２－３畳み込み層１４２ｂｃ、第２－４畳み込み層１４２ｂｄ、プーリング層１４４と総称される第１－１プーリング層１４４ａａ、第１－２プーリング層１４４ａｂ、第１－３プーリング層１４４ａｃ、第１－４プーリング層１４４ａｄ、第２－１プーリング層１４４ｂａ、第２－２プーリング層１４４ｂｂ、第２－３プーリング層１４４ｂｃ、第２－４プーリング層１４４ｂｄ、組合せ層１４６、全結合層１４８を含む。

第１－１畳み込み層１４２ａａ、第１－１プーリング層１４４ａａ、第１－２畳み込み層１４２ａｂ、第１－２プーリング層１４４ａｂ、第１－３畳み込み層１４２ａｃ、第１－３プーリング層１４４ａｃ、第１－４畳み込み層１４２ａｄ、第１－４プーリング層１４４ａｄは順に並べられる。これらは、第１入力部１１０に入力された記号に対して前述の処理を実行する。第２－１畳み込み層１４２ｂａ、第２－１プーリング層１４４ｂａ、第２－２畳み込み層１４２ｂｂ、第２－２プーリング層１４４ｂｂ、第２－３畳み込み層１４２ｂｃ、第２－３プーリング層１４４ｂｃ、第２－４畳み込み層１４２ｂｄ、第２－４プーリング層１４４ｂｄは順に並べられる。これらは、第２入力部１１２に入力された名称に対して前述の処理を実行する。

組合せ層１４６は、第１－４プーリング層１４４ａｄからの処理結果と、第２－４プーリング層１４４ｂｄからの処理結果とを入力する。第１－４プーリング層１４４ａｄからの処理結果は記号に対する処理結果（以下、これもまた「第１処理結果」という）であり、第２－４プーリング層１４４ｂｄからの処理結果は名称に対する処理結果（以下、これもまた「第２処理結果」という）である。組合せ層１４６は、第１処理結果と第２処理結果とを組み合わせる。組合せは、前述のようになされればよい。組合せ層１４６は、組合せの結果（以下、これもまた「組合せ結果」という）を出力する。

図５（ｃ）に示された処理部１１４は、（１）記号に対してニューラルネットワークの１以上の層の処理を実行するとともに、名称に対してニューラルネットワークの１以上の層の処理を実行する。また、処理部１１４は、（２）記号に対する処理結果と名称に対する処理結果とを組み合わせる。図５（ａ）－（ｃ）の処理部１１４の構成から全結合層１４８が除外されてもよい。出力部１１８は、処理部１１４の処理結果として、修正した名称が含まれた凡例表４１０（以下、これもまた「凡例表４１０」という）を記号集計部４０に出力する。これは、記号に対応した第２の文字を出力することに相当する。

記号集計部４０は、図面取得部１０から建設図面４００を受けつけ、出力部１１８から凡例表４１０を受けつける。記号集計部４０は、凡例表４１０をテンプレートとして、建設図面４００に対してテンプレートマッチングを実行する。テンプレートマッチングには、例えば、Ａｋａｚｅマッチング、ニューラルネットワーク等の公知の技術が使用されればよい。その結果、記号集計部４０は、凡例表４１０に示された記号と同一の記号の数を建設図面４００から数えるとともに、数を数えた記号に対応した名称を特定する。さらに、記号集計部４０は、データベースが保持する品番情報と、数えた記号の数をもとに見積書を生成して出力する。ここで、見積書は、ＳＱＬ（ＳｔｒｕｃｔｕｒｅｄＱｕｅｒｙＬａｎｇｕａｇｅ）等のデータベース形式、ｔｘｔ、ｃｓｖ、ｄａｔ等のテキスト形式、ＰＤＦで生成される。

これまでの処理部１１４には、畳み込み層１４２、プーリング層１４４が含まれていたが、畳み込み層１４２、プーリング層１４４が含まれなくてもよい。図７は、処理部１１４の別の構成を示す。処理部１１４は、組合せ層１４６、全結合層１４８と総称される第１－１全結合層１４８ａａ、第１－２全結合層１４８ａｂ、第１－３全結合層１４８ａｃ、第２－１全結合層１４８ｂａ、第２－２全結合層１４８ｂｂ、第２－３全結合層１４８ｂｃ、第４全結合層１４８ｄを含む。つまり、組合せ層１４６を除いて、全結合層１４８だけが含まれる。

第１－１全結合層１４８ａａは、第１入力部１１０からの記号を受けつけ、第２－１全結合層１４８ｂａは、第２入力部１１２からの名称を受けつける。第１－１全結合層１４８ａａから第１－３全結合層１４８ａｃは、記号に対して全結合層の処理を実行し、第２－１全結合層１４８ｂａから第２－３全結合層１４８ｂｃは、名称に対して全結合層の処理を実行する。組合せ層１４６は、第１－３全結合層１４８ａｃと第２－３全結合層１４８ｂｃから処理結果を受けつける。組合せ層１４６は、前述のようにこれらの処理結果を組み合わせる。組合せ層１４６は、組合せの結果（以下、これもまた「組合せ結果」という）を出力する。第４全結合層１４８ｄは、組合せ結果に対して全結合層の処理を実行する。

図７における組合せ層１４６は、図５（ｂ）と同様に、記号に対する処理結果と、名称に対する処理結果とを入力し、組合せ結果に対して処理を実行させるために出力する。しかしながら、図５（ａ）と同様に、記号と名称とを入力し、組合せ結果に対して処理を実行させるために出力してもよい。また、図５（ｃ）と同様に、記号に対する処理結果と、名称に対する処理結果とを入力し、組合せ結果を出力してもよい。

本開示における装置、システム、または方法の主体は、コンピュータを備えている。このコンピュータがプログラムを実行することによって、本開示における装置、システム、または方法の主体の機能が実現される。コンピュータは、プログラムにしたがって動作するプロセッサを主なハードウェア構成として備える。プロセッサは、プログラムを実行することによって機能を実現することができれば、その種類は問わない。プロセッサは、半導体集積回路（ＩＣ）、またはＬＳＩ（ＬａｒｇｅＳｃａｌｅＩｎｔｅｇｒａｔｉｏｎ）を含む１つまたは複数の電子回路で構成される。複数の電子回路は、１つのチップに集積されてもよいし、複数のチップに設けられてもよい。複数のチップは１つの装置に集約されていてもよいし、複数の装置に備えられていてもよい。プログラムは、コンピュータが読み取り可能なＲＯＭ、光ディスク、ハードディスクドライブなどの非一時的記録媒体に記録される。プログラムは、記録媒体に予め格納されていてもよいし、インターネット等を含む広域通信網を介して記録媒体に供給されてもよい。

本実施例によれば、図面から抽出した記号と、図面から抽出した名称との組合せに対して、複数種類の記号のそれぞれと、各記号に対応した名称との組合せで学習されたニューラルネットワークによる処理を実行するので、対応した記号と名称とを図面から認識する精度を向上できる。また、記号は画像データであり、名称は、画像データから変換された特徴量であるので、さまざまな種類の入力に対応できる。また、記号は画像データであり、名称は画像データであるので、さまざまな種類の入力に対応できる。

また、記号と名称とを組み合わせてから、組合せに対して畳み込み層１４２の処理とプーリング層１４４の処理を実行するので、処理量の増加を抑制できる。また、記号と名称のそれぞれに対して畳み込み層１４２の処理とプーリング層１４４の処理を実行してから、これらの組合せに対して畳み込み層１４２の処理とプーリング層１４４の処理を実行するので、処理の精度を向上できる。また、記号と名称のそれぞれに対して畳み込み層１４２の処理とプーリング層１４４の処理を実行してから、これらを組み合わせるので、処理の精度を向上できる。また、組合せとして、２つの入力をチャンネル方向に合併するので、処理を簡易にできる。また、組合せとして、２つの入力を１つの方向に並べるので、処理を簡易にできる。

また、記号と名称とを組み合わせてから、組合せに対して全結合層１４８の処理を実行するので、構成の自由度を向上できる。また、記号に対して全結合層１４８の処理を実行するとともに、名称に対して全結合層１４８の処理を実行し、記号に対する処理結果と名称に対する処理結果との組合せに対して全結合層１４８の処理を実行するので、構成の自由度を向上できる。また、記号に対して全結合層１４８の処理を実行するとともに、名称に対して全結合層１４８の処理を実行し、記号に対する処理結果と名称に対する処理結果とを組み合わせるので、構成の自由度を向上できる。

また、図面に含まれた表から、記号と名称を抽出し、これらを別々に処理部１１４に入力するので、処理を簡易にできる。また、凡例表４１０を含んだ領域の各画素の値を２値化してから、凡例表４１０の構造を把握するので、処理の精度を向上できる。

本開示の一態様の概要は、次の通りである。本開示のある態様の記号処理部（１００）は、図面から抽出した記号を入力する第１入力部（１１０）と、図面から抽出した第１の文字であって、かつ記号に対応すべき第１の文字を入力する第２入力部（１１２）と、第１入力部（１１０）に入力した記号と、第２入力部（１１２）に入力した第１の文字との組合せに対して、複数種類の記号のそれぞれと、各記号に対応した文字との組合せで学習されたニューラルネットワークによる処理を実行する処理部（１１４）と、処理部（１１４）の処理結果として、第１入力部（１１０）に入力した記号に対応した第２の文字を出力する出力部（１１８）と、を備える。

第１入力部（１１０）に入力される記号は画像データであり、第２入力部（１１２）に入力される第１の文字は、画像データから変換された特徴量であってもよい。

第１入力部（１１０）に入力される記号は画像データであり、第２入力部（１１２）に入力される第１の文字は画像データであってもよい。

処理部（１１４）は、（１）記号と第１の文字とを組み合わせてから、（２）組合せに対してニューラルネットワークの１以上の層の処理を実行してもよい。

処理部（１１４）は、（１）記号に対してニューラルネットワークの１以上の層の処理を実行するとともに、第１の文字に対してニューラルネットワークの１以上の層の処理を実行し、（２）記号に対する処理結果と第１の文字に対する処理結果とを組合せ、（３）組合せに対してニューラルネットワークの１以上の層の処理を実行してもよい。

処理部（１１４）は、（１）記号に対してニューラルネットワークの１以上の層の処理を実行するとともに、第１の文字に対してニューラルネットワークの１以上の層の処理を実行し、（２）記号に対する処理結果と第１の文字に対する処理結果とを組み合わせる。

処理部（１１４）は、組合せとして、２つの入力をチャンネル方向に合併してもよい。

処理部（１１４）は、組合せとして、２つの入力を１つの方向に並べることによって合併してもよい。

図面に含まれた表から、記号と第１の文字を抽出する抽出部（３０）をさらに備えてもよい。抽出部（３０）は、記号を第１入力部（１１０）に出力し、第１の文字を第２入力部（１１２）に出力してもよい。

抽出部（３０）は、表を含んだ領域の各画素の値を２値化する２値化処理部（３２０）と、２値化処理部（３２０）が２値化した各画素の値に対して、第１方向に並んだ各座標において、第１方向とは異なった第２方向に積算した積算値を導出するとともに、第１方向に並んだ各座標の積算値を集めた第１データ群を生成する第１生成部（３３０）と、２値化処理部（３２０）が２値化した各画素の値に対して、第２方向に並んだ各座標において、第１方向に積算した積算値を導出するとともに、第２方向に並んだ各座標の積算値を集めた第２データ群を生成する第２生成部（３４０）と、第１生成部（３３０）において生成した第１データ群での積算値がしきい値以上となる座標と、第２生成部（３４０）において生成した第２データ群での積算値がしきい値以上となる座標とをもとに、表の構造を把握する解析部（３５０）と、解析部（３５０）において構造を把握した表から、記号と第１の文字を抽出する実行部（３１０）とを備えてもよい。

以上、本開示を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素あるいは各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本開示の範囲にあることは当業者に理解されるところである。

本実施例における処理部１１４の構成は、複数の畳み込み層１４２と複数のプーリング層１４４とが交互に並べんでいる。しかしながらこれに限らず例えば、処理部１１４は、ＧｏｏｇＬｅＮｅｔ系、ＤｅｎｓｅＮｅｔ系等の構成を有していてもよい。本変形例によれば、構成の自由度を向上できる。

本実施例における処理部１１４の構成は、複数の畳み込み層１４２と複数のプーリング層１４４とが交互に並べんでいる。しかしながらこれに限らず例えば、処理部１１４では、畳み込み層１４２のみが含まれて畳み込み処理だけが実行されてもよいし、プーリング層１４４のみが含まれてプーリング処理だけが実行されてもよい。本変形例によれば、構成の自由度を向上できる。

本実施例において、第２入力部１１２に入力される名称は特徴ベクトルである。しかしながらこれに限らず例えば、第２入力部１１２に入力される名称は画像データであってもよい。本変形例によれば、構成の自由度を向上できる。

１０図面取得部、２０凡例表検出部、３０抽出部、４０記号集計部、１００記号処理部、１１０第１入力部、１１２第２入力部、１１４処理部、１１８出力部、１４２畳み込み層、１４４プーリング層、１４６組合せ層、１４８全結合層、２００入力情報、３００構造認識部、３１０実行部、３２０２値化処理部、３３０第１生成部、３４０第２生成部、３５０解析部、４００建設図面、４１０凡例表、１０００記号集計装置。

Claims

図面から抽出した記号を入力する第１入力部と、
前記図面から抽出した第１の文字であって、かつ前記記号に対応すべき第１の文字を入力する第２入力部と、
前記第１入力部に入力した前記記号と、前記第２入力部に入力した前記第１の文字との組合せに対して、複数種類の記号のそれぞれと、各記号に対応した文字との組合せで学習されたニューラルネットワークによる処理を実行する処理部と、
前記処理部の処理結果として、前記第１入力部に入力した前記記号に対応した第２の文字を出力する出力部と、
を備えることを特徴とする処理装置。
前記第１入力部に入力される前記記号は画像データであり、
前記第２入力部に入力される前記第１の文字は、画像データから変換された特徴量であることを特徴とする請求項１に記載の処理装置。
前記第１入力部に入力される前記記号は画像データであり、
前記第２入力部に入力される前記第１の文字は画像データであることを特徴とする請求項１に記載の処理装置。
前記処理部は、（１）前記記号と前記第１の文字とを組み合わせてから、（２）組合せに対してニューラルネットワークの１以上の層の処理を実行することを特徴とする請求項１から３のいずれか１項に記載の処理装置。
前記処理部は、（１）前記記号に対してニューラルネットワークの１以上の層の処理を実行するとともに、前記第１の文字に対してニューラルネットワークの１以上の層の処理を実行し、（２）前記記号に対する処理結果と前記第１の文字に対する処理結果とを組合せ、（３）組合せに対してニューラルネットワークの１以上の層の処理を実行することを特徴とする請求項１から３のいずれか１項に記載の処理装置。
前記処理部は、（１）前記記号に対してニューラルネットワークの１以上の層の処理を実行するとともに、前記第１の文字に対してニューラルネットワークの１以上の層の処理を実行し、（２）前記記号に対する処理結果と前記第１の文字に対する処理結果とを組み合わせることを特徴とする請求項１から３のいずれか１項に記載の処理装置。
前記処理部は、組合せとして、２つの入力をチャンネル方向に合併することを特徴とする請求項４から６のいずれか１項に記載の処理装置。
前記処理部は、組合せとして、２つの入力を１つの方向に並べることによって合併することを特徴とする請求項４から６のいずれか１項に記載の処理装置。
前記図面に含まれた表から、前記記号と前記第１の文字を抽出する抽出部をさらに備え、
前記抽出部は、前記記号を前記第１入力部に出力し、前記第１の文字を前記第２入力部に出力することを特徴とする請求項１から８のいずれか１項に記載の処理装置。
前記抽出部は、
前記表を含んだ領域の各画素の値を２値化する２値化処理部と、
前記２値化処理部が２値化した各画素の値に対して、第１方向に並んだ各座標において、前記第１方向とは異なった第２方向に積算した積算値を導出するとともに、前記第１方向に並んだ各座標の積算値を集めた第１データ群を生成する第１生成部と、
前記２値化処理部が２値化した各画素の値に対して、前記第２方向に並んだ各座標において、前記第１方向に積算した積算値を導出するとともに、前記第２方向に並んだ各座標の積算値を集めた第２データ群を生成する第２生成部と、
前記第１生成部において生成した前記第１データ群での積算値がしきい値以上となる座標と、前記第２生成部において生成した前記第２データ群での積算値がしきい値以上となる座標とをもとに、前記表の構造を把握する解析部と、
前記解析部において構造を把握した前記表から、前記記号と前記第１の文字を抽出する実行部とを備えることを特徴とする請求項９に記載の処理装置。
図面から抽出した記号を入力するステップと、
前記図面から抽出した第１の文字であって、かつ前記記号に対応すべき第１の文字を入力するステップと、
入力した前記記号と、入力した前記第１の文字との組合せに対して、複数種類の記号のそれぞれと、各記号に対応した文字との組合せで学習されたニューラルネットワークによる処理を実行するステップと、
処理結果として、入力した前記記号に対応した第２の文字を出力するステップと、
を備えることを特徴とする処理方法。