JP7004125B2 - 画像解析装置、画像解析方法及び画像解析プログラム - Google Patents

Description

本開示は、画像解析装置、画像解析方法及び画像解析プログラムに関する。

従来から、設計図や配置図などの図面画像に示された機械や配置物などの対象物及び／又は対象物を構成する構成要素に対して、その属性を示す属性情報を対応付ける技術が知られている。

例えば、特許文献１には、電柱やマンホールといった構成要素を認識し、認識した構成要素に対して属性を示す属性情報を対応づけることが記載されている。

特開平０５－３１４１９８号公報

特許文献１に開示された技術では、図面画像に示された構成要素が、記号など、予め決められた形状で示され、更に、予め決められた形状と属性情報とが一意に対応づけられていることが前提であった。そのため、特許文献１に開示された技術では、丸や四角など汎用的な形状で構成要素が示されている場合に、その形状から構成要素の属性情報を一意に特定することができず、構成要素の属性情報を出力することができないという課題があった。

本開示は、上述のような課題を解決するためになされたものであり、図面画像に示された対象物及び／又は対象物を構成する構成要素が汎用的な形状で示されている場合であっても、対象物及び／又は対象物を構成する構成要素の属性情報を出力できるようにすることを目的とする。

本開示に係る画像解析装置は、入力された入力画像の属性情報を出力する画像解析装置であって、図面画像、当該図面画像の属性を示す属性情報を含む知識データベースから、入力された入力画像に類似する図面画像を検索する類似画像検索部と、前記類似画像検索部で検索された図面画像の特徴点と、前記入力画像の特徴点とを対応付け、当該図面画像の特徴点を対応点として検出する画像対応検出部と、前記画像対応検出部により検出された対応点に対応する属性情報を前記知識データベースから抽出し、前記入力画像の属性情報として出力する属性出力部とを備えることを特徴とするものである。

本開示は、図面画像に示された対象物及び／又は対象物を構成する構成要素が汎用的な形状で示されている場合であっても、対象物及び／又は対象物を構成する構成要素の属性情報を出力できるという効果を奏する。

実施形態１に係る画像解析装置の構成を示すブロック図である。 外部から入力された図面画像の一例を示す図である。 知識データベースに記憶された図面画像の一例を示す図である。 類似画像検索部の構成を示すブロック図である。 図面画像の特徴量を抽出する例を説明する図である。 画像対応検出部２の構成を示すブロック図である。 図面画像の特徴点の例を示す図である。 類似画像検索部の動作を示すフローチャートである。 画像対応検出部の動作を示すフローチャートである。 画像解析装置を構成するハードウェアの一例を示す図である。 実施形態２に係る画像解析装置の構成を示すブロック図である。 類似画像検索部の構成を示すブロック図である。

実施の形態１．
図１は、実施形態１に係る画像解析装置１００の構成を示すブロック図である。
画像解析装置１００は、図面データに応じた図面画像（入力画像の一例）が入力され、入力された入力画像の属性情報を出力する装置である。具体的には、画像解析装置１００は、図面画像に示された対象物の属性情報及び／又は対象物を構成する構成要素の属性情報を出力する装置である。以降、対象物の属性情報及び対象物を構成する構成要素の属性情報をそれぞれ区別して説明する必要のない場合は、単に、図面画像の属性情報と称する。出力される図面画像の属性情報は、対象物及び／又は対象物を構成する構成要素の名称の他、型番、図面画像の作成日、図面画像の更新日、図面画像を作成した担当者の名前、図面画像を作成した案件の名称等を示すテキストを含んでいてもよい。また、出力される図面画像の属性情報は、対象物及び／又は対象物を構成する構成要素の寸法、材質及び／又は重量などを含んでいてもよい。

画像解析装置１００は、類似画像検索部１、画像対応検出部２、属性出力部３、及び、知識データベース４を備える。知識データベース４には、図面画像、及び、図面画像の属性を示す属性情報を含む知識データが記憶されている。なお、知識データベース４は、画像解析装置１００に含まれていても良いし、外付けであってもよい。

図２は、外部から入力された図面画像の一例を示す図である。
Ｇ１は、外部から入力された図面画像（入力画像の一例）である。図面画像は、機械や配置物などの対象物及び／又は対象物を構成する構成要素の形状、構造、配置などを示す。また、図面画像は、プラント、工場又は店舗を対象物とし、当該対象物における設備、機械などの配置を示してもよい。本実施の形態においては、エレベータの設計図面を図面画像として説明する。また、本実施の形態においては、エレベータを対象物とし、エレベータを構成する昇降路、かご、ガイドレール、制御盤及び／又は梯子装置を構成要素として説明する。また、本実施の形態においては、図面画像に示された対象物及び／又は対象物を構成する全ての構成要素に対して属性情報が対応づけられていないものとするが、対象物及び／又は対象物を構成する一部の構成要素に対して属性情報が対応づけられていてもよい。ここでいう「対応づけ」とは、少なくとも、図面画像に示された対象物及び／又は対象物を構成する構成要素と、属性情報との対応が一意に示されていればよい。具体的には、図面画像に示された対象物及び／又は対象物を構成する構成要素から引き出し線を用いて属性情報を表示する態様であってもよい。

図３は、知識データベース４に記憶された図面画像の一例を示す図である。
G２、G３は、知識データベース４に記憶された図面画像である。G２１～Ｇ２４は、図面画像G２に示された構成要素である。また、G３１～Ｇ３４は、図面画像Ｇ３に示された構成要素である。ここで、構成要素G２１、G３１には、属性情報として「昇降路」が対応づけられているものとする。構成要素G２２、G３２には、属性情報として「かご」が対応づけられているものとする。構成要素G２３、G３３には、属性情報として「ガイドレール」が対応づけられているものとする。構成要素G２４には、属性情報として「制御盤」が対応づけられているものとするである。構成要素G３４には、属性情報として「梯子装置」が対応づけられているものとする。本実施の形態では、図面画像中の全ての構成要素に対して属性情報が対応づけられているものとするが、一部の構成要素に対して属性情報が対応づけられていてもよい。なお、知識データベース４には、対象物及び／又は対象物を構成する構成要素を示す画像と、属性情報とが対応付けて記憶されていてもよい。

図４は、類似画像検索部１の構成を示すブロック図である。
類似画像検索部１は、特徴量抽出部１１、及び、検索部１２を備え、入力された図面画像に類似する図面画像を知識データベース４から検索する。特徴量抽出部１１は、ＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）や、グラフカーネルアルゴリズムを用いて入力された図面画像Ｇ１の特徴量を抽出し、抽出した特徴量を検索部１２に出力する。

図５は、図面画像の特徴量を抽出する例を説明する図である。
特徴量抽出部１１は、図面画像に示された対象物及び／又は対象物を構成する構成要素の各頂点に識別子を付与する。特徴量抽出部１１は、例えば、図５に示すように、各頂点の角度、各頂点を結ぶ線分の長さ、太さなどの特徴を示す識別子としての番号を付与してもよい。図５では、各頂点にのみ識別子を付与しているが、線分全ての画素、あるいは間引いた画素に対してノードを生成し、当該ノードに識別子を付与してもよい。なお、多くの画素に識別子を付与した方が、構成要素の特徴を特定する精度を向上させることができるが、後続の処理の負荷が増加するため、ハードウェアのリソースなどに応じて決定されればよい。

図４の説明に戻る。検索部１２は、図面画像Ｇ１から抽出した特徴量と、知識データベース４に記憶された図面画像から抽出した特徴量の類似度を算出する。検索部１２は、知識データベース４に記憶された図面画像を類似度でソートし、類似度の高い図面画像から順に画像対応検出部２へと出力する。本実施の形態において、検索部１２は、類似度の高い図面画像として、図３における、Ｇ２を画像対応検出部２に出力したものとする。なお、知識データベース４に記憶された図面画像から抽出した特徴量は、知識データに予め含まれていてもよいし、特徴量抽出部１１で逐次抽出してもよい。

ところで、検索部１２は、図面画像Ｇ１の特徴量がベクトル化されている場合には、例えば、式（１）のようにコサイン類似度を用いて類似度を求め、類似度の高い図面画像から順に画像対応検出部２へと出力してもよい。
式（１）：Ｓ＝（ｆ×ｇ）／（｜ｆ｜｜ｇ｜）
Ｓは類似度、ｆは図面画像Ｇ１から得られた特徴量、ｇは知識データに含まれた図面画像の特徴量を示す。

また、特徴量抽出部１１において、グラフカーネルアルゴリズムを用いて特徴量が抽出された場合には、検索部１２は、例えば、非特許文献１のような分析推定アルゴリズムを用いて類似度を算出してもよい。非特許文献１：N. Shervashidze et al., “Weisfeiler-Lehman Graph Kernels,”JMLR, vol. 12, pp.2539-2561, 2011.

図６は、画像対応検出部２の構成を示すブロック図である。
画像対応検出部２は、特徴点抽出部２１と、対応点マッチング部２２とを備え、類似画像検索部１で検索された図面画像の特徴点と、入力された図面画像の特徴点とを対応付け、図面画像の特徴点を対応点として検出する。

特徴点抽出部２１は、例えば、ＨＯＧのような局所特徴量を用いて、図面画像Ｇ１に示された対象物及び／又は対象物を構成する構成要素の特徴点を抽出する。特徴点抽出部２１は、対象物及び／又は対象物を構成する構成要素を構成する頂点を特徴点として抽出する。さらに、特徴点抽出部２１は、対象物及び／又は対象物を構成する構成要素を構成する分岐点及び／又は端点を特徴点として抽出してもよい。特徴点抽出部２１は、抽出した特徴点を示す情報を、対応点マッチング部２２に出力する。

図７は、図面画像の特徴点を示す図である。
図７（１）には、図面画像Ｇ１の特徴点として、Ｇ１４Ａ～Ｇ１４Ｄ、Ｇ１２Ｄ、Ｇ１１Ｄが示されている。また、図７（２）には、図面画像Ｇ２の構成要素Ｇ２４の特徴点としてＧ２４Ａ～Ｇ２４Ｄが示されている。また、図面画像Ｇ２の構成要素Ｇ２２の特徴点としてＧ２２Ｄ、構成要素Ｇ２１の特徴点としてＧ２１Ｄが示されている。

対応点マッチング部２２は、類似画像検索部１で検索された図面画像Ｇ２の特徴点と、特徴点抽出部２１で抽出した図面画像Ｇ１の特徴点の距離を算出し、当該距離が近い図面画像の特徴点を対応点として検出する。また、対応点マッチング部２２は、検出した対応点を示す情報を属性出力部３へと出力する。

対応点マッチング部２２は、特徴点間の距離を、例えば、式（２）に基づいて算出する。
式（２）：ｄ＝||ｆ－ｇ||^２
ｄは特徴点間の距離、ｆは図面画像Ｇ１の特徴点の特徴量、ｇは図面画像Ｇ２の特徴点の特徴量を示す。なお、特徴点の特徴量は、特徴量抽出部１１で抽出した特徴量を用いてもよい。また、図面画像Ｇ２の特徴点の特徴量は、知識データベース４に予め記憶されていてもよい。

本実施形態において、対応点マッチング部２２は、特徴点Ｇ１４Ａの対応点としてＧ２４Ａ、特徴点Ｇ１４Ｂの対応点としてＧ２４Ｂ、特徴点Ｇ１４Ｃの対応点としてＧ２４Ｃ、及び、特徴点Ｇ１４Ｄの対応点としてＧ２４Ｄを検出し、検出した対応点Ｇ２４Ａ、Ｇ２４Ｂ、Ｇ２４Ｃ、Ｇ２４Ｄを示す情報を属性出力部３へと出力する。

属性出力部３は、画像対応検出部２で検出された対応点に対応する属性情報を知識データベース４から抽出し、図面画像Ｇ１の属性情報として出力する。具体的には、属性出力部３は、画像対応検出部２の対応点マッチング部２２から出力された対応点Ｇ２４Ａ、Ｇ２４Ｂ、Ｇ２４Ｃ、Ｇ２４Ｄに対応する対象物及び／又は対象物を構成する構成要素として、図面画像Ｇ２の構成要素G２４を特定する。また、属性出力部３は、図面画像Ｇ２の構成要素G２４の属性情報（制御装置）を知識データベース４から抽出する。そして、属性出力部３は、特徴点Ｇ１４Ａ、Ｇ１４Ｂ、Ｇ１４Ｃ、Ｇ１４Ｄで示される図面画像Ｇ１の構成要素Ｇ１４の属性情報として、知識データベース４から抽出した「制御装置」を出力する。

ところで、画像解析装置１００は、図示せぬ、知識データ更新部を備えていてもよい。知識データ更新部は、属性出力部３で出力した属性情報と、図面画像の対象物及び／又は対象物を構成する構成要素とを対応づけた知識データを知識データベース４に記憶させてもよい。

図８は、類似画像検索部１の動作を示すフローチャートである。
類似画像検索部１の特徴量抽出部１１は、入力された図面画像Ｇ１の特徴量を抽出する（ＳＴ１１）。

類似画像検索部１の検索部１２は、知識データベース４に記憶された図面画像の特徴量を抽出する（ＳＴ１２）。また、検索部１２は、ＳＴ１１で抽出した図面画像Ｇ１の特徴量と、ＳＴ１２で抽出した図面画像の特徴量に基づいて、類似度を算出する（ＳＴ１３）。

検索部１２は、類似度が算出されていない図面画像が知識データベース４に存在しなくなるまでＳＴ１２，ＳＴ１３を繰り返す（ＳＴ１４）。

検索部１２は、知識データベース４に記憶された図面画像を類似度でソートし、類似度の高い図面画像から順に画像対応検出部２へと出力する（ＳＴ１５）。

図９は、画像対応検出部２の動作を示すフローチャートである。
画像対応検出部２の特徴点抽出部２１は、入力された図面画像Ｇ１から特徴点を抽出する（ＳＴ２１）。

画像対応検出部２の特徴点抽出部２１は、類似画像検索部１で検索された図面画像Ｇ２の特徴点を抽出する（ＳＴ２２）。

画像対応検出部２の対応点マッチング部２２は、類似画像検索部１で検索された図面画像Ｇ２の特徴点と、入力された図面画像Ｇ１の特徴点の距離を算出する（ＳＴ２３）。また、対応点マッチング部２２は、距離が近い図面画像Ｇ２の特徴点を対応点として検出し、検出した対応点を示す情報を属性出力部３へと出力する（ＳＴ２４）。

図１０は、画像解析装置１００を構成するハードウェアの一例を示す図である。
画像入力部１０１は、外部から画像データを画像解析装置１００に入力するインターフェースである。画像入力部１０１は、例えば、スキャナ、カメラであり、印刷物の印刷画像を読み取り、デジタルの画像データを画像解析装置１００に入力する。プロセッサ１０２は、メモリ１０３に格納されたプログラムを実行することにより、図１に示す、類似画像検索部１、画像対応検出部２及び属性出力部３という各機能を実現する。メモリ１０３は、例えば、不揮発性のメモリであり、プロセッサ１０２に実行される各種プログラムを記憶する。また、プロセッサ１０２とメモリ１０３は、例えば、処理回路といった、ハードウェアで実現されてもよい。記憶部１０４は、プロセッサ１０２で処理される各種データ（知識データやプログラムなど）を記憶する。表示部１０５は、例えば、液晶ディスプレイであり、プロセッサ１０２から出力された属性情報などを表示する。なお、記憶部１０４及び／又は表示部１０５は、画像解析装置１００に含まれていても良いし、外付けであってもよい。

以上のように本実施の形態によれば、画像解析装置１００は、知識データベース４に記憶された図面画像及び図面画像の属性を示す属性情報に基づいて、新たに入力された入力画像に対して付与する属性情報を出力することができる。従って、これによって、入力画像に示された対象物及び／又は対象物を構成する構成要素に対する属性情報の付与を支援することが可能となる。

実施の形態２．
実施の形態２では、画像解析装置１００は、画像解析装置１００の処理の負荷を抑制しつつ、図面画像に示された構成要素の属性情報を高精度で出力するために、外部から図面画像だけでなく、図面画像の属性情報に関連したテキストが入力されてもよい。

図１１は、実施形態２に係る画像解析装置の構成を示すブロック図である。
画像解析装置１００ａは、類似画像検索部１ａと、画像対応検出部２と、属性出力部３と、知識データベース４とを備える。画像対応検出部２及び属性出力部３は、実施の形態１と同一であるため説明は省略する。

図１２は、実施形態２に係る類似画像検索部の構成を示すブロック図である。
類似画像検索部１ａは、特徴量抽出部１１、検索部１２ａ、及び、テキスト受付部１３を備える。テキスト受付部１３は、外部からテキストの入力を受け付け、受け付けたテキストを検索部１２ａに出力する。ここで、テキスト受付部１３は、受け付けたテキストをそのまま検索部１２ａに出力せずに、周知の形態素解析技術を用いることで、受け付けたテキストが意味を持つ最小限の単位に分解し、分解された単位で、検索部１２ａに出力してもよい。また、テキスト受付部１３は、受け付けたテキストをそのまま検索部１２ａに出力せずに、シソーラス（類語辞典）から類似の意味を有する単語を抽出して、検索部１２ａに出力してもよい。これにより、検索部１２ａは、入力されたテキストそのものの表記だけでなく、様々なバリエーションの表記で検索可能となり、より適切な属性情報に対応づけられた図面画像を検索可能となる。例えば、テキスト受付部１３は、外部から入力されたテキストに「昇降機ドア」と記載されている場合、「昇降機」と「ドア」に分解し、「昇降機」、「昇降機」の類義語としての「エレベータ」、「ドア」及び「ドア」の類義語としての「扉」を検索部１２ａに出力する。

外部から入力されたテキストに「エレベータ」と記載されている場合、検索部１２ａ、テキスト「エレベータ」に関連した属性情報の図面画像であって、入力された図面画像Ｇ１に類似した図面画像を知識データベース４から検索する。このように、類似画像検索部１ａは、知識データベース４から検索される図面画像を、入力されたテキストを用いて絞り込むことで、画像解析装置１００の処理の負荷を抑制しつつ、図面画像に示された構成要素の属性情報を高精度で出力することができる。

その他の変形例
上述した実施例は本開示の実施の一例に過ぎず、以下のような構成を追加／変更した応用例が考えられる。

上述した実施形態において、類似画像検索部１の検索部１２は、知識データベース４に記憶された図面画像を類似度でソートし、類似度の高い図面画像から順に画像対応検出部２へと出力した。しかしながら、検索部１２は、これに限らず、類似度が閾値以上の図面画像を画像対応検出部２へと出力してもよい。例えば、類似度の範囲を０から１００の数値で表し、数値が大きいほど類似しているものとする。そして、類似と判定するための閾値を予め設定しておく。検索部１２は、知識データベース４に記憶された図面画像を類似度の高い順にソートし、予め設定された閾値以上の類似度の図面画像を検索し、検索した図面画像を画像対応検出部２に出力してもよい。そして、画像対応検出部２は、類似画像検索部１から出力された全ての図面画像の特徴点と、入力画像の特徴点の距離を算出し、当該距離が近い図面画像の特徴点を対応点として検出してもよい。

さらに、検索部１２は、図面画像Ｇ１に示された構成要素の数が多くなるにつれて、閾値が低くなるように設定してもよい。このようにすることで、図面画像Ｇ１に示された構成要素に対応する構成要素を含む図面画像が知識データベース４から検索されやすくすることができる。また、検索部１２は、閾値に代えて、類似度の高い順に予め設定された数の図面画像を画像対応検出部２に出力してもよい。また、この場合にも、検索部１２は、図面画像Ｇ１に示された構成要素の数が多くなるにつれて、画像対応検出部２に出力される図面画像の数が多くなるように設定してもよい。このようにすることで、図面画像Ｇ１に示された構成要素に対応する構成要素を含む図面画像が知識データベース４から検索されやすくすることができる。

上述した実施形態において、図面画像Ｇ１の構成要素Ｇ１４と同一又は類似の形状を有する構成要素Ｇ２４の属性情報に基づいて、構成要素Ｇ１４の属性情報を出力した。しかしながら、これに限らず、画像対応検出部２は、同一又は類似の形状を有する構成要素に限らず、特徴量の距離が近い特徴点を有する構成要素の属性情報を出力すればよい。

１ 類似画像検索部，１１ 特徴量抽出部，１２ 検索部， ２ 画像対応検出部，２１ 特徴点抽出部，２２ 対応点マッチング部， ３ 属性出力部， ４ 知識データベース， １００ 画像解析装置， １０１ 画像入力部，１０２ プロセッサ，１０３ メモリ，１０４ 記憶部，１０５ 表示部

Claims (7)

1. 入力された入力画像の属性情報を出力する画像解析装置であって、
   図面画像、当該図面画像の属性を示す属性情報を含む知識データベースから、入力された入力画像に類似する図面画像を検索する類似画像検索部と、
   前記類似画像検索部で検索された図面画像の特徴点と前記入力画像の特徴点とを対応付け、当該図面画像の特徴点を対応点として検出する画像対応検出部と、
   前記画像対応検出部により検出された対応点に対応する属性情報を前記知識データベースから抽出し、前記入力画像の属性情報として出力する属性出力部と
   を備えることを特徴とする画像解析装置。
2. 前記画像対応検出部は、
   前記類似画像検索部で検索された図面画像の特徴点と、前記入力画像の特徴点との距離を算出し、当該距離が近い図面画像の特徴点を対応点として検出する
   ことを特徴とする請求項１に記載された画像解析装置。
3. 前記画像対応検出部は、
   前記入力画像に示された対象物及び／又は当該対象物を構成する構成要素の頂点及び／又は分岐点を特徴点とする
   ことを特徴とする請求項１又は２に記載された画像解析装置。
4. 前記類似画像検索部は、
   前記入力画像を構成する頂点の角度及び／又は頂点と頂点とを結ぶ線分の長さに基づいて抽出した特徴量に類似する図面画像を検索する
   ことを特徴とする請求項１～３のいずれかに記載された画像解析装置。
5. 前記入力画像は当該入力画像の属性情報に関連したテキストと共に入力され、
   前記類似画像検索部は、
   前記テキストに関連した属性情報の図面画像であって、前記入力画像に類似した図面画像を前記知識データベースから検索する
   ことを特徴とする請求項１～４のいずれかに記載された画像解析装置。
6. コンピュータを、
   図面画像、当該図面画像の属性を示す属性情報を含む知識データベースから、入力された入力画像に類似する図面画像を検索する類似画像検索部と、
   前記類似画像検索部で検索された図面画像の特徴点と、前記入力画像の特徴点の距離を算出し、当該距離が近い図面画像の特徴点を対応点として検出する画像対応検出部と、
   前記画像対応検出部により検出された対応点に対応する属性情報を前記知識データベースから抽出し、前記入力画像の属性情報として出力する属性出力部と
   して機能させるための画像解析プログラム。
7. 入力された入力画像の属性情報を出力する画像解析方法であって、
   類似画像検索部が、図面画像、当該図面画像の属性を示す属性情報を含む知識データベースから、入力された入力画像に類似する図面画像を検索し、
   画像対応検出部が、前記類似画像検索部で検索された図面画像の特徴点と、前記入力画像の特徴点とを対応付け、当該図面画像の特徴点を対応点として検出し、
   属性出力部が、前記画像対応検出部により検出された対応点に対応する属性情報を前記知識データベースから抽出し、前記入力画像の属性情報として出力する
   ことを特徴とする画像解析方法。

Images