JP2024055628A - 作業支援装置、作業支援方法および作業支援システム - Google Patents

作業支援装置、作業支援方法および作業支援システム Download PDF

Info

Publication number
JP2024055628A
JP2024055628A JP2022162715A JP2022162715A JP2024055628A JP 2024055628 A JP2024055628 A JP 2024055628A JP 2022162715 A JP2022162715 A JP 2022162715A JP 2022162715 A JP2022162715 A JP 2022162715A JP 2024055628 A JP2024055628 A JP 2024055628A
Authority
JP
Japan
Prior art keywords
detection unit
lines
circuit
detects
drawing data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022162715A
Other languages
English (en)
Inventor
真悟 林
将史 山本
高明 上野
拓也 中道
孝弘 松田
正彦 新岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2022162715A priority Critical patent/JP2024055628A/ja
Priority to CN202311196995.9A priority patent/CN117854096A/zh
Publication of JP2024055628A publication Critical patent/JP2024055628A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

【課題】表の罫線とは無関係なオブジェクトが存在しても、表構造を正しく解析できる作業支援装置、作業支援方法および作業支援システムを提供する。【解決手段】第1データ形式で作成された第1回路図面データを第2データ形式で作成された第2回路図面データに変換する変換部11と、線を検出する線検出部122と、文字を検出する文字検出部123と、回路記号を検出する回路記号検出部121と、図記号を検出する図記号検出部125と、導線を検出する導線検出部124と、線検出部122が検出した線から、回路記号、図記号および導線を除いた残部を、表を構成する表オブジェクトとして検出する表オブジェクト検出部126と、表オブジェクトを基に、図面中の表の領域である表領域を検出する第一の表領域検出部13と、表領域内のセルを検出する表内セル検出部14と、を備える作業支援装置2。【選択図】図3

Description

本発明は、作業支援装置、作業支援方法、作業支援システムに関する。本発明は、特に、図面を表す画像データの中から表を抽出するのに好適に使用できる作業支援装置等に関する。
人口減少や少子高齢化による人手不足が深刻化している。製造現場では高いスキルを持った熟練者が不足しており、特定の人にしか作業できない状態、いわゆる属人化が問題となっている。高度な技術を伝承する場合、受け継ぐ側にも相応の技量が求められるが、そのような立場の中堅技術者が不足しているので、多くの企業において技術伝承が進んでいないのが現状である。若年技能者への技術伝承を進めるためには、作業手順やノウハウといった形式知をマニュアル化して技量に関わらず業務を推進できる仕組みづくりが必要である。
こうした状況を受けて、電子ペーパ等のウェアラブル端末を活用して業務をデジタル化する活動に注目が集まっている。
特許文献1には、枠線認識装置が開示されている。この枠線認識装置は、交点抽出部が、入力画像から抽出した罫線同士の交点を抽出し、記憶部が、交点に属する各罫線に沿ってこの交点からそれぞれ遠ざかるまたは近づく向きの腕ベクトルと、この腕ベクトルが経路探索に用いられたか否かを示すフラグとを含んだ交点情報を記憶し、枠線抽出部が、所定の交点を始点として腕ベクトルの向きに従った経路探索を行うことによって閉じた経路が検出された場合に、この閉じた経路を枠線として抽出し、閉じた経路の検出に用いられた腕ベクトルに対応するフラグを使用済みへ更新し、すべてのフラグが使用済みへ更新された場合に、経路探索を終了させることが開示されている。
特開2012-64098号公報
しかしながら、従来技術にあるように、全ての線の座標情報を基に交点の形状を算出した場合、回路記号や図記号といった表の罫線とは無関係なオブジェクトがあると、表領域を正しく検出できないことがある。
本発明は、表の罫線とは無関係なオブジェクトが存在しても、表構造を正しく解析できる作業支援装置、作業支援方法および作業支援システムを提供することを目的とする。
上記の課題を解決するため本発明は、回路部品を記述した図形を構成する線を幾何学的情報によって表現するように構成された第1データ形式で作成された第1回路図面データを、回路部品を記述した図形を画素によって表現するように構成された第2データ形式で作成された第2回路図面データに変換する変換部と、第1回路図面データおよび第2回路図面データの少なくとも一方から、線を検出する線検出部と、第1回路図面データおよび第2回路図面データの少なくとも一方から、文字を検出する文字検出部と、第2回路図面データの画像領域から導線を除く回路記号を検出する回路記号検出部と、検出された、線および文字を基に、図記号を検出する図記号検出部と、線検出部が検出した線から、回路記号および図記号に接触する線を導線として検出する導線検出部と、線検出部が検出した線から、回路記号、図記号および導線を除いた残部を、表を構成する表オブジェクトとして検出する表オブジェクト検出部と、表オブジェクトを基に、図面中の表の領域である表領域を検出する第一の表領域検出部と、表領域内のセルを検出する表内セル検出部と、を備える作業支援装置である。
ここで、線検出部は、検出された線を線の種類である線種により分類するようにできる。この場合、線種により同一のセルか否かを判別することができる。
また、線検出部は、検出した線を、線の長さについて設定された第1の閾値を基準として、線を表すグループと点を表すグループとに分類することができる。この場合、線を表すグループと点を表すグループとを容易に分類することができる。
さらに、線検出部は、線を表すグループを、検出された線の延びる方向におけるそれぞれの間隔について第2の閾値を設定し、第2の閾値を基準として、実線と破線とに分類することができる。この場合、実線と破線とを容易に分類することができる。
またさらに、表内セル検出部は、破線を挟み接するセルを同一のセルとすることができる。この場合、セルの検出の精度が向上する。
また、第一の表領域検出部は、表を構成する線の交点の形状を変換した後に、表領域を検出することができる。この場合、表領域の検出の精度が向上する。
さらに、第一の表領域検出部は、予め定められた閾値以下の長さの線をないものとして交点の形状を変換することができる。この場合、表領域検出の精度がより向上する。
またさらに、第一の表領域検出部は、予め定められた閾値以下の長さの線をないものとして交点の形状を変換した後に、表を構成するセルの段差について、予め定められた変換テーブルを使用して交点の形状をさらに変換することができる。この場合、表領域の検出の精度がさらに向上する。
そして、第一の表領域検出部は、表が図面の輪郭線と接触する場合に、交点の形状を変換することができる。この場合、表が図面の輪郭線と接触する場合でも表領域を検出できる。
また、表内セル検出部は、表の外枠を巡回することで、外枠と表を構成する罫線とが交差する交点を抽出し、抽出した交点を基にセルを検出することができる。この場合、セルを容易に検出することができる。
さらに、表内セル検出部は、交点に接する直線を抽出し、さらに抽出された直線に接する直線を抽出し、さらに抽出された直線に接する直線を抽出する処理を新たな直線が抽出できなくなるまで繰り返すことで、セルを形成する罫線を抽出することができる。この場合、罫線の抽出の精度が向上する。
また、本発明は、回路部品を記述した図形を構成する線を幾何学的情報によって表現するように構成された第1データ形式で作成された第1回路図面データを、回路部品を記述した図形を画素によって表現するように構成された第2データ形式で作成された第2回路図面データに変換する変換部と、第1回路図面データおよび第2回路図面データの少なくとも一方から、線を検出する線検出部と、第1回路図面データおよび第2回路図面データの少なくとも一方から、文字を検出する文字検出部と、第2回路図面データの画像領域から導線を除く回路記号を検出する回路記号検出部と、検出された、線および文字を基に、図記号を検出する図記号検出部と、線検出部が検出した線から、回路記号および図記号に接触する線を導線として導線検出部と、線検出部が検出した線から、回路記号、図記号および導線を除いた残部を、表を構成する表オブジェクトとして検出する表オブジェクト検出部と、表の種類である表種を判別して図面中の表の領域である表領域を分離する第二の表領域検出部と、表領域内のセルを検出する表内セル検出部と、を備える作業支援装置である。
ここで、第二の表領域検出部は、表と他の構成要素とが共有する線を境界として分離し、交点の形状を変換した後に、表領域を検出する請求項12に記載の作業支援装置である。この場合、表領域を、精度よく分離することができる。
さらに、本発明は、プロセッサがメモリに記録されたソフトウェアを実行することにより、回路部品を記述した図形を構成する線を幾何学的情報によって表現するように構成された第1データ形式で作成された第1回路図面データを、回路部品を記述した図形を画素によって表現するように構成された第2データ形式で作成された第2回路図面データに変換し、第1回路図面データおよび第2回路図面データの少なくとも一方から、線を検出し、第1回路図面データおよび第2回路図面データの少なくとも一方から、文字を検出し、第2回路図面データの画像領域から導線を除く回路記号を検出し、検出された、線および文字を基に、図記号を検出し、検出された線から、回路記号および図記号に接触する線を導線として検出し、検出した線から、回路記号、図記号および導線を除いた残部を、表を構成する表オブジェクトとして検出し、表オブジェクトを基に、図面中の表の領域である表領域を検出し、表領域内のセルを検出する作業支援方法である。
またさらに、本発明は、図面内の表のセル内に手書きすることで作業を行う作業端末と、セルを検出し、セル内に手書きされた内容の解析を行う作業支援装置と、を備え、作業支援装置は、回路部品を記述した図形を構成する線を幾何学的情報によって表現するように構成された第1データ形式で作成された第1回路図面データを、回路部品を記述した図形を画素によって表現するように構成された第2データ形式で作成された第2回路図面データに変換する変換部と、第1回路図面データおよび第2回路図面データの少なくとも一方から、線を検出する線検出部と、第1回路図面データおよび第2回路図面データの少なくとも一方から、文字を検出する文字検出部と、第2回路図面データの画像領域から導線を除く回路記号を検出する回路記号検出部と、検出された、線および文字を基に、図記号を検出する図記号検出部と、線検出部が検出した線から、回路記号および図記号に接触する線を導線として検出する導線検出部と、線検出部が検出した線から、回路記号、図記号および導線を除いた残部を、表を構成する表オブジェクトとして検出する表オブジェクト検出部と、表オブジェクトを基に、図面中の表の領域である表領域を検出する第一の表領域検出部と、表領域内のセルを検出する表内セル検出部と、を備える作業支援システムである。
本発明によれば、表の罫線とは無関係なオブジェクトが存在しても、表構造を正しく解析できる作業支援装置、作業支援方法および作業支援システムを提供することができる。
(A)~(B)は、本実施の形態の作業支援システムを利用する上で対象となる表の一例を示した図である。 (A)は、不要なオブジェクトを含む図面の一例を示した図である。(B)は、から不要なオブジェクトを除去したときの表を示した図である。 第1の実施形態における作業支援システムの機能構成を示したブロック図である。 線検出部が、検出された線を線種により分類する処理について示した図である。 線種を利用してセルを検出する方法について示した図である。 図面から不要なオブジェクトを除去した結果を示した図である。 回路記号検出部が、テンプレートマッチング方式、深層学習(物体検出モデル)方式、深層学習(物体検出+物体識別方式)により回路記号を検出する場合を示した図である。 (A)~(D)は、図記号の例について示した図である。 (A)~(B)は、第一の表領域検出部が、表領域を検出する方法について示した図である。 (A)は、検出対象の表を示した図である。(B)は、(A)に示す表から、Y方向に並ぶ交点を抽出した例である。(C)は、(A)に示す表から、X方向に並ぶ交点を抽出した例である。 (A)~(E)は、表内セル検出部が、表の罫線の交点を抽出する方法について示した図である。 (A)は、2つの表が隣接する場合について示した図である。(B)は、L字形状の表が矩形の表と扱われ、セルが抽出される場合を示した図である。 (A)~(D)は、矩形の四隅の周辺部が欠けた形状の表に対し、セルを検出する方法について示した図である。 第1の実施形態における作業支援システムの動作を示したフローチャートである。 図面中の回路部品へ情報を付加する一例を示した図である。 (A)は、交点の形状の検出が正しくできない場合について示した図である。(B)は、微小な線について示した図である。 隣り合ったセル同士に微小な段差のある場合に、交点の形状を変換する変換テーブルを示した図である。 (A)は、図面の輪郭線と表の外枠とが接する場合を示した図である。(B)~(C)は、第一の表領域検出部が、表が図面の輪郭線と接触する場合に、交点の形状を変換する方法を示した図である。 第2の実施形態における第一の表領域検出部の動作について説明したフローチャートである。 (A)は、表が他の構成要素と接触している場合を示した図である。(B)は、表の外枠が図面の輪郭線で構成されて四隅を判別できない場合を示した図である。 第3の実施形態における作業支援システムの機能構成を示したブロック図である。 表種を判定し、表種により表領域を検出する処理を説明したフローチャートである。 図22のステップS301で、第二の表領域検出部が表種を判定する方法を示した図である。 図22のステップS303で、第二の表領域検出部が行う特殊表領域検出を説明したフローチャートである。 (A)~(C)は、図24のステップS401~S403についてさらに詳しく説明した図である。 第3の実施形態における作業支援システムの動作を示したフローチャートである。
<作業支援システム1の全体説明>
図1(A)~(B)は、本実施の形態の作業支援システム1を利用する上で対象となる表の一例を示した図である。
このうち図1(A)は、表に対し朱塗り作業をする前の表H1を示し、図1(B)は、表に対し朱塗り作業をした後の表H2を示す。この場合、図1(A)で示した表H1の各セルの内容が、整合性が取れているとき、作業者は、手書きにより表H1に上書きし、朱塗りを行う作業をする。
手書きデータは、時系列データを含むため、ウェアラブル端末を活用することで作業手順や作業時間といった紙作業では得られない情報を取得できる。また、チェック項目の総数とチェック済の総数から作業進捗率を算出できる。
しかしながら、この手書きデータは点群データに過ぎないので、表とは直接結びついているわけではない。朱塗り作業の作業結果をデジタル化するには、図面上の手書きデータの座標と表のセルの座標を照合することにより、どのセルがチェックされたのかを明らかにする必要がある。
図面を記述したデータは、例えばCAD図面データのように、データ内の固有の情報(例:回路記号の種別、識別子、表や回路記号を構成する図形の座標、など)によって記述されている場合がある。このようなデータ形式で作成されたデータに対して、手書き作業によって表内のセルをチェックした場合、手書き経路上の表内のセルを特定することは比較的容易である。手書き経路の座標を特定し、その座標と表内のセルの座標とを照合すれば足りるからである。
他方で、作業者が作業現場において使用するウェアラブル端末等の端末装置は、このようなデータ形式で作成された図面を表示することができる処理能力を備えていない場合がある。この場合は、図面データを、端末装置が表示可能なデータ形式へ変換する必要がある。端末装置が表示可能なデータ形式は、例えば、ラスタ形式データのように、画素によって図形を表現するデータ形式が挙げられる。このようなデータ形式の図面上において、図1(B)に示すように、手書き作業によって表内のセルをチェックした場合、表内のセルを特定することは容易ではない。つまり、データ形式を変換する際に、表の座標情報が失われ、単なる画素情報となっているからである。
また、表内のセルを特定するのに、表を構成する罫線を検出する必要があるが、図面の中には、表の罫線以外の不要なオブジェクトが多数存在する。このようなオブジェクトは、表の検出を阻害する。以下、不要なオブジェクトについて説明する。
図2(A)は、不要なオブジェクトを含む図面の一例を示した図である。
図示するように、表内部に回路が記述されている、また表外部に配線が記述されていたり、注意喚起マーク等の記号が表と接触していたりする。これらは、罫線の交点の誤検出の原因となる。
図2(B)は、図2(A)から不要なオブジェクトOb1を除去したときの表を示した図である。
不要なオブジェクトを除去すると、罫線の交点は明確になり、誤検出は発生しにくい。そのため、表検出の確度を高めることができる。
以下、本実施の形態における作業支援システム1について、第1の実施形態~第3の実施形態により説明する。
[第1の実施形態]
ここでは、まず、作業支援システム1の第1の実施形態について説明を行う。第1の実施形態では、図面から不要なオブジェクトを除去して、表のセルを検出する場合について説明する。
図3は、第1の実施形態における作業支援システム1の機能構成を示したブロック図である。
図示する作業支援システム1は、図面内の表のセルを検出し、セル内に手書きされた内容の解析を行う作業支援装置2と、作業者が、図面内の表のセル内に手書きすることで作業を行う作業端末3とを備える。
作業支援装置2は、作業者が作業端末3を使用して手書きした図面に対し、手書きした部分を抽出する装置である。また、作業端末3は、図面に対し、作業者が作業をする端末装置であり、例えば、上述した図2(B)で示したような朱塗りを行うときに使用するウェアラブル端末である。
作業支援装置2は、図面を表すデータである図面データを解析し、図面の中に存在する表のセルを検出する図面解析部10と、作業端末3で作業者が作業した手書きしたデータを解析する手書きデータ解析部20と、作業端末3との通信を行う通信部30と、DB(Data Base)40とを備える。
図示する作業支援システム1は、概略的には、次のように動作する。
作業端末3において、作業者が図面に手書きした後の図面データは、作業支援装置2に対し送られる。送られた図面データは、作業支援装置2の通信部30が受け取り、手書きデータ解析部20に送られる。
一方、作業支援装置2の図面解析部10は、作業者が上書きする前の図面データを解析し、図面中に存在する表の各セルを検出する。そして、作業支援装置2の手書きデータ解析部20は、各セルの中で作業者が手書きした箇所を抽出する。これは、図1(B)の朱塗りの箇所に対応する。そして、手書きした箇所の解析結果をDB40に保存する。
<図面解析部10の説明>
次に、図面解析部10について、詳述する。
図面解析部10は、画像データの型式を変換する変換部11と、図面の中に存在し、表を構成する表オブジェクトを検出する図面解析部12と、図面の中に存在する表の領域である表領域を検出する第一の表領域検出部13と、表の中のセルを検出する表内セル検出部14と、を備える。
変換部11は、第1データ形式F1で作成された第1回路図面データを、第2データ形式F2で作成された第2回路図面データに変換する。この場合、第1データ形式F1は、回路部品を記述した図形を構成する線を幾何学的情報によって表現するように構成されたデータ形式である。第1データ形式F1は、例えば、CAD図面データである。また、第2データ形式F2は、回路部品を記述した図形を画素によって表現するように構成されたデータ形式である。第2データ形式F2は、例えば、ラスタ形式データである。
図面解析部12は、変換された図面データから、表を構成するオブジェクトである表オブジェクトを検出する。表オブジェクトは、例えば、罫線である。
第一の表領域検出部13は、表オブジェクトを基に、図面中の表の領域である表領域を検出する。
表内セル検出部14は、表領域内のセルを検出する。即ち、表内セル検出部14は、表の中で罫線により仕切られたセルを検出する。
<図面解析部12の詳細説明>
次に、図面解析部12について詳細に説明する。
また、図面解析部12は、回路記号検出部121と、線検出部122と、文字検出部123と、導線検出部124と、図記号検出部125と、表オブジェクト検出部126とを備える。
回路記号検出部121は、第2回路図面データの画像領域から導線を除く回路記号を検出する。
線検出部122は、第1回路図面データおよび第2回路図面データの少なくとも一方から、線を検出する。
文字検出部123は、第1回路図面データおよび第2回路図面データの少なくとも一方から、文字を検出する。
導線検出部124は、線検出部122が検出した線から、回路記号および図記号に接触する線を導線として検出する。
図記号検出部125は、検出された、線および文字を基に、図記号を検出する。
表オブジェクト検出部126は、線検出部122が検出した線から、回路記号、図記号および導線を除いた残部を、表を構成する表オブジェクトとして検出する。
線検出部122は、画像データから、線を検出するとともに、検出された線を線の種類である線種により分類する。
図4は、線検出部122が、検出された線を線種により分類する処理について示した図である。
線検出部122は、検出した線を、線の長さについて設定された第1の閾値を基準として、線を表すグループと点を表すグループとに分類する。つまり、検出された線の長さが、第1の閾値以上である場合は、線のグループに分類する。対して、検出された線の長さが、第1の閾値未満である場合は、点のグループに分類する。第1の閾値は、図面作成ソフトで作成した点線を点として検出することができる長さに設定する。
次に、線検出部122は、線を表すグループを、検出された線の延びる方向におけるそれぞれの間隔について第2の閾値を設定し、第2の閾値を基準として、実線と破線とに分類する。つまり、検出された線の延びる方向に同様の線が存在し、その間の間隔が、第2の閾値を超える場合、これらは別々の線であり、検出された線は、実線として分類する。また、第2の閾値以下である場合は、破線であるとして分類する。
また、線検出部122は、検出された線が、破線に分類された場合、検出された線同士の間に存在する点の数により、破線の種類を分類する。即ち、この点の数が0の場合は、通常の破線として分類する。また、この点の数が1の場合は、鎖線(1点鎖線)として分類する。さらに、この点の数が2の場合は、2点鎖線として分類する。
そして、線検出部122は、点のグループを、検出された線の延びる方向におけるそれぞれの間隔について第3の閾値を設定し、第3の閾値を基準として、点と点線とに分類する。つまり、検出された線の延びる方向に同様の線が存在し、その間との間隔が、第3の閾値を超える場合、これらは別々の点であり、検出された線は、点として分類する。また、第3の閾値以下である場合は、点線であるとして分類する。
図5は、線種を利用してセルを検出する方法について示した図である。
表は、水平方向および垂直方向の線で構成されている。
表とは無関係な斜め線を除き、水平方向および垂直方向の線を対象に解析することで、セルを検出する際の、解析の処理速度や確度が高まる。
図5に示す表H3の点線は、セルを分割するための線ではなく、文字を整列させるための線である。この場合、1行目~4行目までは1つのセルと捉えた方が都合がよい。この場合、表内セル検出部14は、破線を挟み接するセルを同一のセルとする。線種を区別して利用することで、表の情報を図面作成者の意図通りに正しくデジタル化することができる。
図6は、図面から不要なオブジェクトを除去した結果を示した図である。
入力図面Z0は、図中に文字、線、回路記号、図記号、導線が不要なオブジェクトとして存在することを示している。
この場合、本実施の形態では、まず、文字検出部123、線検出部122、回路記号検出部121が、それぞれ文字、線、回路記号を検出する。
図面Z1は、文字検出部123が、図中の文字を検出した結果を示している。また、図面Z2は、線検出部122が、図中の線を検出した結果を示している。さらに、図面Z3は、回路記号検出部121が、図中の回路記号を検出した結果を示している。
またさらに、本実施の形態では、検出された文字と線とを基に、図記号検出部125が、図記号を検出する。そして、本実施の形態では、導線検出部124が、線検出部122が検出した線から、回路記号および図記号に接触する線を導線として検出する。図面Z4は、図記号検出部125が、図中の図記号を検出した結果を示している。また、図面Z5は、導線検出部124が、図中の導線を検出した結果を示している。
そして、表オブジェクト検出部126が、入力図面Z0から、これらの不要なオブジェクトを除去する。図面Z6は、表オブジェクト検出部126が、不要なオブジェクトを除去し、残部として、表を構成する表オブジェクトOb2を検出した場合を示している。
回路記号を検出するには、テンプレートマッチング方式、深層学習(物体検出モデル)方式、深層学習(物体検出+物体識別方式)等の方式を用いることができる。
図7は、回路記号検出部121が、テンプレートマッチング方式、深層学習(物体検出モデル)方式、深層学習(物体検出+物体識別方式)により回路記号を検出する場合を示した図である。
(方式A)テンプレートマッチング方式は、入力図面Z0に対して事前準備したテンプレート画像を用いてテンプレートマッチングすることで、回路記号を検出する。テンプレートマッチング方式は、簡単に実装できるが、画像の拡大縮小、回転に弱い。
(方式B)深層学習(物体検出モデル)方式は、R-CNN、YOLO、SSDなどの物体検出モデルを用いて学習させた検出器で、回路記号を検出する。単一モデルなので、検出ミスを無くすように学習させるのが難しい。
(方式C)深層学習(物体検出+物体識別方式)は、物体検出モデルに加えて、ResNet、DenseNet、AmoebaNet、EfficientNetなどの体識別モデルを用いて学習させた検出器で、回路記号を検出する。これにより、検出ミスを識別モデルではじくことができ、回路記号の検出精度が向上する。
図8(A)~(D)は、図記号の例について示した図である。
ここでは、図記号として、図8(A)に示す注意喚起マーク、図8(B)に示す矢印、図8(C)に示す括弧の他に、図8(D)に示すように、単純な文字列が図記号として扱われている場合がある。ここでは、文字領域の左右、もしくは上下に線が接触し、それらの線が同一直線状に存在した場合、文字が記号として扱われていることを検出する。これらの図記号は、ルールベースで検出することができる。
<第一の表領域検出部13の詳細説明>
次に、第一の表領域検出部13について詳細に説明する。
第一の表領域検出部13は、以下のようにして、表領域を検出する。
図9(A)~(B)は、第一の表領域検出部13が、表領域を検出する方法について示した図である。
第一の表領域検出部13は、抽出された表オブジェクトを基に、表の外枠を巡回して表領域を検出する。
このとき巡回する方向を、図9(A)中の(A-1)回転方向として図示している。即ち、時計回りまたは反時計回りの2通りがあり、いずれか一方を採用する。
また、巡回する際に表を構成する線が交差する交点に達したときは、進行方向を、交点の形状により決定する。交点の形状は、表を構成する水平線と垂直線とが交差する形態である。例えば、水平線と垂直線とは、”「”の形状をなす形態で交差する。なおこの向きについては、90°毎に回転した4つの形態が存在する。また、水平線と垂直線とは、”T”の形状をなす形態で交差する。なおこの向きについては、90°毎に回転した4つの形態が存在する。さらに、水平線と垂直線とは、”十”の形状をなす形態で交差する。
また、交点に達したときに、進行する方向の規則を、図9(A)の(A-2)進行方向として図示している。ここでは、時計回りと反時計回りのそれぞれについて、表の外枠を巡回する際の進行方向の規則について示している。
表の外枠を巡回する実際の例を、図9(B)により説明する。
まず、図示するような表の外枠の何れかの交点を始点とする。この場合、始点は、(a)で示すように、左上の角部に位置する交点とする。この箇所での、交点の形状は、(A-2)の時計回りの場合の「左上」に該当する。そして、この交点での進行方向は、No.1の方向を優先とし、No.1の方向で巡回できない場合、No.2の方向とする。この場合、上方向には進行できないため、右方向に進行する。
以後、交点の形状が、(A-2)の「左上」、「右上」、「右下」、「左下」の何れの交点に達しないときは、この規則を維持し、達したときは、(A-2)で記載された規則に変更される。
よって、(b)に示す2番目の交点は、「左上」、「右上」、「右下」、「左下」の何れの交点ではないため、「左上」の規則が維持される。そして、この場合、No.1が上方向であり、その進行方向に進行できるため、上方向に進行する。
(c)に示す3番目の交点は、「左上」の交点であるため、やはり、この規則は維持され、No.2の右方向に進行する。
(d)に示す4番目の交点は、「左上」、「右上」、「右下」、「左下」の何れの交点ではないため、「左上」の規則が維持される。そして、この場合、No.2の右方向に進行する。
(e)に示す5番目の交点は「右上」の交点であるため、「右上」の規則に変更される。そしてこの場合、No.1の右方向には進行できないため、No.2の下方向に進行する。
以後、(f)~(h)でこれを繰り返し、(h)で元の始点に戻る。これにより、(i)で示すように表領域を検出できる。
<表内セル検出部14の詳細説明>
次に、表内セル検出部14について詳細に説明する。
表内セル検出部14は、以下のようにして、表の中のセルを検出する。
図10(A)は、検出対象の表H4を示した図である。図示するように、表H4は、表H4を構成する複数の線(罫線)が縦方向(図中上下方向、Y方向)および横方向(図中左右方向、X方向)に配列し、交差することで形成される。そして本実施の形態では、罫線の交点に着目して、表H4の中のセルを検出する。
図10(B)は、図10(A)に示す表H4から、Y方向に並ぶ交点を抽出した例である。この場合、交点を「●」または「〇」にて示している。このとき、Y方向には、Y1~Y4で示す4つの交点が検出される。そしてこれらの交点をY方向で結ぶ太線が罫線である。その結果、セルの配列は、3行であることがわかる。このように、Y方向に並ぶ交点の数によりセルの行数が定義できる。
また、図10(C)は、図10(A)に示す表H4から、X方向に並ぶ交点を抽出した例である。この場合、交点を「●」または「〇」にて示している。このとき、X方向は、X1~X5で示す5つの交点が検出される。そしてこれらの交点をX方向で結ぶ太線が罫線である。その結果、セルの配列は、4列であることがわかる。このように、X方向に並ぶ交点の数によりセルの列数が定義できる。
しかしながら、検出された表オブジェクトが、必ずしも表の罫線であるとは限らない。そして、検出された交点が必ずしも表の罫線の交点であるとは限らない。
図11(A)~(E)は、表内セル検出部14が、表の罫線の交点を抽出する方法について示した図である。
図11(A)は、表H5の中に罫線以外の線が含まれる場合について示した図である。ここでは、L字形状の表オブジェクトOb3は、表H5の罫線ではない。そして、図11(B)で「★」で示す交点も、表H5の罫線の交点ではない。なお、表H5の罫線の交点は、ここでは、「●」にて示している。
本実施の形態で、表内セル検出部14は、「★」で示す交点を以下の方法で除外する。
図11(C)で示すように、表内セル検出部14は、表H5の外枠を巡回することで、外枠と表H5を構成する罫線とが交差する交点を検出する。表H5の外枠を巡回するときの始点は、例えば、左上の隅部とし、表H5の外枠を時計回りまたは反時計回りに辿っていく。そして、表内セル検出部14は、元の始点に戻ったときこれを終点とする。
そして、表内セル検出部14は、抽出した交点を基にセルを検出する。具体的には、図11(D)で示すように、表内セル検出部14は、この交点と接触する線を抽出する。さらに、表内セル検出部14は、抽出した直線にさらに接触する線を抽出する。そして、表内セル検出部14は、抽出した直線にさらに接触する線を抽出する処理を新たな線が抽出できなくなるまで繰り返す。これにより、表内セル検出部14は、セルを形成する罫線を抽出する。
図11(E)で示すように、表内セル検出部14は、抽出した線上にある交点を表H5の罫線の交点であるとして検出する。
この方法によれば、L字形状の表オブジェクトOb3は、抽出されず、「★」で示す交点は、除外される。
表内セル検出部14は、矩形以外の表のセルを検出する場合、以下の方法により行うことができる。
図12(A)は、2つの表が隣接する場合について示している。この場合、一方は、L字形状の表H6であり、他方は、矩形の表H7である。
図10で示した方法では、L字形状の表H6の場合、図12(B)に示すように、矩形の表と扱われ、セルが抽出されることがある。そして、図示する例では、2つの表H6、H7の領域が重なる場合がある。表を変形させて使用する場合はまれであり、表の形状は、矩形以外では、矩形の四隅の何れか1つ以上の周辺部が欠ける形状となるのが通例である。
図13(A)~(D)は、矩形の四隅の周辺部が欠けた形状の表に対し、セルを検出する方法について示した図である。
図13(A)は、矩形の四隅の周辺部が欠けた形状の表H8の例を示す。
この場合、図13(B)に示すように、矩形の四隅の周辺部が表領域でない、非表領域である。そして、ここでは、以下の方法で、非表領域を検出する。
まず、図13(C)に示すように、表領域のXY方向の最大最小の組み合わせから四隅の座標を算出する。ここでは、四隅を四隅1~4で示している。
次に、図13(D)に示すように、表算出した四隅の座標のうち、表H8の外枠に含まれない四隅の点を始点とする。この場合は、全ての四隅の点が始点となる。ここでは、これらを始点1~4として図示している。
そして、各始点の水平方向に最も近い交点までの距離を幅、垂直方向に最も近い交点までの距離を高さとして定義する。この場合、図13(D)に示すように、始点1~4のそれぞれについて、幅1~幅4、高さ1~4が定義されたことを示す。そして、幅1~幅4、高さ1~4を有する4つの矩形が、非表領域となる。
図14は、第1の実施形態における作業支援システム1の動作を示したフローチャートである。なお、ここでは、変換部11で、画像データを第1データ形式F1から第2データ形式F2に変換した後の処理について記載している。
まず、線検出部122が、第1回路図面データおよび第2回路図面データの少なくとも一方から、線を検出する(ステップS101)。
次に、文字検出部123が、第1回路図面データおよび第2回路図面データの少なくとも一方から、文字を検出する(ステップS102)。
さらに、回路記号検出部121が、第2回路図面データの画像領域から導線を除く回路記号を検出する(ステップS103)。
またさらに、導線検出部124が、線検出部122が検出した線から、回路記号および図記号に接触する線を導線として検出する(ステップS104)。
そして、図記号検出部125が、検出された、線および文字を基に、図記号を検出する(ステップS105)。
次に、表オブジェクト検出部126が、線検出部122が検出した線から、回路記号、図記号および導線を除いた残部を、表を構成する表オブジェクトとして検出する(ステップS106)。
また、第一の表領域検出部13は、表オブジェクトを基に、図面中の表の領域である表領域を検出する(ステップS107)。ここでは、表領域の検出を第一表領域検出として図示している。
そして、表内セル検出部14は、表領域内のセルを検出する(ステップS108)。
一方、通信部30は、画像データを、作業端末3に送る(ステップS109)。
作業端末3では、作業者が図1で示したような朱塗りの作業を行う(ステップS110)。
そして、作業者による手書きデータは、作業支援装置2に送られ、通信部18が受信する、(ステップS111)。
次に、手書きデータ解析部20が、セル内に手書きされた手書きデータの解析を行う(ステップS112)。このとき、ステップS108で検出したセルの情報が使用され、セルごとに手書きデータが解析される。
そして、解析結果は、DB40に登録される(ステップS113)。
その後、作業者に対し、作業終了の通知がなされる(ステップS114)。
図15は、図面中の回路部品へ情報を付加する一例を示した図である。
例えば、CPUのような電子部品には、配線の接続関係を示す表が内部に記載されている場合がある。図15で示す図面の左方のCPU内部の表H9は、CPUのIF1信号が端子1と端子2に接続されていることを示している。また、CPUのIF2信号が端子3と端子4に接続されていることを示している。
また、図15で示す図面の右方の図は、電流計が表H10に接触している場合を示している。そして、左側の電流計は投入電源向け、右側の電流計は予備電源向けであることを示している。このように、表H9、H10の情報を回路部品に付加することで、より詳細に図面をデータ化できる。
[第2の実施形態]
次に、作業支援システム1の第2の実施形態について説明を行う。第2の実施形態では、第一の表領域検出部13は、表を構成する線の交点の形状の変換をした後に、表領域を検出する。
図16(A)は、交点の形状の検出が正しくできない場合について示した図である。
図16(A)の場合、表の隅部の交点K1を示し、交点K1が、本来は、“「“の形状であるところ、表オブジェクトが隅部からはみ出しているために、吹き出しに示すように、”T”の形状として検出される場合を示している。このような場合、図9に示したような巡回ができなくなり、表領域を正しく検出するのが困難になる。
よって本実施の形態では、第一の表領域検出部13は、交点K1を原点に各方向の線の長さを算出し、閾値以下の線は無視して交点の形状を決定する。即ち、図16(B)の左図で示した「△」の長さが、この閾値以下の微小な線である場合は、この部分を無視し、図16(B)の右図の吹き出しに示すように”「”の形状であるとする。これは、第一の表領域検出部13は、予め定められた閾値以下の長さの線をないものとして交点の形状を変換する、と言うこともできる。
しかし、図16で示したように、微小な長さの線を無視して交点の形状を決定すると、表中の隣り合ったセル同士に微小な段差のある場合、表の交点を正しく検出できないことがある。
図17は、隣り合ったセル同士に微小な段差のある場合に、交点の形状を変換する変換テーブルを示した図である。
第一の表領域検出部13は、予め定められた閾値以下の長さの線をないものとして交点の形状を変換した後に、表を構成するセルの段差について、予め定められた変換テーブルを使用して交点の形状をさらに変換する。
例えば、(1)に示す場合、交点の形状が、左上-右上の組合せで、隣り合ったセルC1、C2同士に微小な段差が生じる場合を示している。そして、第一の表領域検出部13が、このような段差が生じていると判断する条件と、変換の方法について示している。つまり、微小なこの段差部分の縦線L1は、微小な長さであるため、本来、交点の形状が、”T”の形状であるところ、”「”の形状であるとされてしまう。そのため、交点の形状を、”「”の形状から、本来の形態である”T”の形状に変換する処理をする。
また、表が、図面中にある輪郭線に接する場合、表領域を正しく検出できない。
図18(A)は、図面の輪郭線Lrと表H11の外枠とが接する場合を示している。
この場合、表H11の右上の隅部に対する交点の形状の検出結果は、輪郭線Lrと接触するため正解と異なる。同様に、表H11の右辺に対する交点の形状の検出結果も、輪郭線Lrと接触するため正解と異なる。
図18(B)~(C)は、第一の表領域検出部13が、表H11が図面の輪郭線Lrと接触する場合に、交点の形状を変換する方法を示した図である。
まず、第一の表領域検出部13は、輪郭線Lrを検出する。ここでは、図18(B)に示すように、第一の表領域検出部13は、原点(矩形の輪郭線Lrの左下隅部)に最も近く、最も長い水平・垂直線と、原点から最も遠く最も長い水平・垂直線を、輪郭線Lrとして検出する。また、第一の表領域検出部13は、面積の大きい矩形領域を形成する線を輪郭線Lrとしてもよい。
次に、図18(B)に示すように、第一の表領域検出部13は、輪郭線Lrに応じて、T字と十字の形状を変換する。例えば、下枠に接触するT字(上向き)は削除し、十字はT字(下向き)に変換する。
そして、図18(C)に示すように、第一の表領域検出部13は、表H11の四隅のいずれかを始点として、時計回りまたは反時計回りに表H11の外枠上を巡回する。そして、輪郭線Lrと接触した場合、第一の表領域検出部13は、図18(C)下部の判定表を基に、交点の形状を変換する。図18(C)に挙げた判定表は、始点、回転方向および輪郭線Lrと接したときの変換後の交点の形状を示している。
図19は、第2の実施形態における第一の表領域検出部13の動作について説明したフローチャートである。
まず、第一の表領域検出部13は、表を構成する線の長さを調整する(ステップS201)。具体的には、水平線と垂直線の隙間が閾値以下の場合、その隙間が無くなるように線を延長する。
次に、第一の表領域検出部13は、表を構成する線の交点を検出する(ステップS202)。交点の座標は、水平線と垂直線の始点・終点の座標関係から検出できる。
次に、第一の表領域検出部13は、はみ出した罫線の交点の形状を変換する(ステップS203)。具体的には、図16で示したように、第一の表領域検出部13は、交点を原点に各方向の線の長さを算出し、閾値以下の線は無視して交点の形状を決定する。
次に、第一の表領域検出部13は、微小段差の交点の形状を変換する(ステップS204)。具体的には、図17で示したように、第一の表領域検出部13は、変換テーブルを参照しながら交点の形状を変換する。
次に、第一の表領域検出部13は、輪郭線上の交点の形状を変換する(ステップS205)。具体的には、図18で示したように、第一の表領域検出部13は、輪郭線Lrと接触する表H11の外枠において、T字と十字の形状を、変換テーブルを参照しながら変換する。
そして、第一の表領域検出部13は、表領域を検出する(ステップS206)。具体的には、第一の表領域検出部13は、表の四隅の何れかを始点として外枠上を巡回し、始点に戻ってきた場合、表の候補として検出する。
[第3の実施形態]
次に、作業支援システム1の第3の実施形態について説明を行う。第3の実施形態では、表の種類である表種に応じて、表領域を検出するアルゴリズムの変更を行う。
図20(A)は、表が他の構成要素と接触している場合を示した図である。
このうち、図20(A)の左図は、表H12と表でないオブジェクトOb4とが接触する場合を示している。そして、図20(A)の右図は、表H13と表H14とが互いに接触する場合を示している。この場合、表と接触する他の構成要素は、それぞれオブジェクトOb4および他の表である。
また、図20(B)は、表H15の外枠が図面の輪郭線Lrで構成されて四隅を判別できない場合を示した図である。
この場合、表H15と図面の輪郭線Lrとが接触すると言うこともできる。この場合、表と接触する他の構成要素は、それぞれ輪郭線Lrである。
図21は、第3の実施形態における作業支援システム1の機能構成を示したブロック図である。
図21で示す作業支援システム1は、図3で示した第1の実施形態における作業支援システム1と比較して、第二の表領域検出部15が加わる点で異なり、他は同様である。
よって、以下、作業支援システム1を説明する上で、第二の表領域検出部15について中心に説明を行い、他の機能部の説明は省略する。
本実施の形態では、第二の表領域検出部15は、表の種類である表種を判定し、表領域を検出するアルゴリズムの変更を行う。
図22は、表種を判定し、表種により表領域を検出する処理を説明したフローチャートである。
まず、第二の表領域検出部15が、表種の判定を行う(ステップS301)。ここで、「表種」とは、表が他の構成要素と接触しているか否かにより分類される表の種類である。ここでは、表が他の構成要素と接触していない場合、一般表として分類される。対して、表が他の構成要素と接触している場合、特殊表として分類される。
そして、表が他の構成要素と接触していない一般表の場合(ステップS301で一般表の場合)、第一の表領域検出部13が、通常の表領域を検出する処理である一般表領域検出を行う(ステップS302)。即ち、第一の表領域検出部13は、第1の実施形態~第2の実施形態で説明した方法で、表領域の検出を行う。
対して、表が他の構成要素と接触している特殊表の場合(ステップS301で特殊表の場合)、第二の表領域検出部15が、特殊な表の表領域を検出する処理である特殊表領域検出を行う(ステップS303)。
なお、ステップS302、ステップS303の後は、第1の実施形態~第2の実施形態で説明した場合と同様に、表内セル検出部14が、表領域内のセルを検出する処理を行う(ステップS304)。
このように、第二の表領域検出部15は、表の種類である表種を判別して図面中の表の領域である表領域を分離し、図面中の表の領域である表領域を検出する。
<表種判定の説明>
図23は、図22のステップS301で、第二の表領域検出部15が表種を判定する方法を示した図である。
本実施の形態では、事前に登録した表題欄の情報を基に、表の種類を判別する。例えば、H16の中にある図面の名称が、「〇〇装置の接続順序」=特殊表、のように事前登録することで、特殊表を判別する。
そして、本実施の形態では、特殊表の場合、第二の表領域検出部15が、表領域を検出する。
<特殊表領域検出の説明>
図24は、図22のステップS303で、第二の表領域検出部15が行う特殊表領域検出を説明したフローチャートである。
まず、第二の表領域検出部15は、表領域の分離を行う(ステップS401)。
次に、第二の表領域検出部15は、交点の形状変換を行う(ステップS402)。
そして、第二の表領域検出部15は、表領域を検出する(ステップS403)。
図25(A)~(C)は、図24のステップS401~S403についてさらに詳しく説明した図である。
ここでは、ユーザが、画面上に表示され互いに接する表H13、H14を、画面を見ながら分離し、その結果を第二の表領域検出部15が取得する。
図25(A)は、図24のステップS401の、表領域の分離を行う処理について示した図である。
ユーザが、画面上でマウス等のポインティングデバイスによりクリックまたはドラッグすると、分離領域または共有線の選択画面D1が表示される。ユーザは、表H13およびH14の何れか一方の表を構成する線を指定する場合は、選択画面D1の「分離領域」を選択する。また、ユーザは、表H13、H14で共通に使われている線を指定する場合は、選択画面D1の「共有線」を選択する。図25(A)では、選択画面D1の「共有線」を選択し、左側に示すカーソルCu1にて共有線L2を選択したことを示している。また、図25(A)では、選択画面D1の「分離領域」を選択し、右側に示すカーソルCu2にて、表H14を構成する線を、2つの矩形領域R1、R2で選択したことを示している。
図25(B)は、図24のステップS402の、交点の形状変換の処理について示した図である。
表領域を分離すると、画面上には、それぞれの表領域ごとの画面が表示される。この状態で、ユーザが、マウスをドラッグすると、左上、右上、左下、右下、無しの選択画面D2が表示される。そして、ユーザは、誤検出している箇所を領域R3、R4で指定し、左上、右上、左下、右下、無しの何れかを選択することで、交点の形状を変換する。図25(B)では、共有線L2が、表H13、H14からはみ出している箇所の交点の形状を変換する場合を示している。
図25(C)は、図24のステップS403の、表領域を検出する処理について示した図である。
この処理は、図9で説明した処理と同様であり、表H13、H14のそれぞれについて、表の外枠を巡回して表領域を検出する。
このように、第二の表領域検出部15は、表と他の構成要素とが共有する線を境界として分離し、交点の形状を変換した後に、表領域を検出する。
図26は、第3の実施形態における作業支援システム1の動作を示したフローチャートである。
図26のステップS507~ステップS509では、図22で説明した処理を行う。他のステップS501~S506、フローチャートS510~S515は、図14のフローチャートのステップS101~S106、ステップS109~S114と同様である。
以上説明した形態によれば、表の罫線とは無関係なオブジェクトが存在しても、表構造を正しく解析できる作業支援装置、作業支援方法および作業支援システムを提供することができる。
<作業支援方法の説明>
以上説明を行った作業支援装置2が行う処理は、ソフトウェアとハードウェア資源とが協働することにより実現される。即ち、作業支援装置2に設けられたコンピュータ内部のプロセッサが、上述した各機能を実現するソフトウェアをメモリにロードして実行し、これらの各機能を実現させる。
よって、作業支援装置2が行う処理は、プロセッサがメモリに記録されたソフトウェアを実行することにより、回路部品を記述した図形を構成する線を幾何学的情報によって表現するように構成された第1データ形式で作成された第1回路図面データを、回路部品を記述した図形を画素によって表現するように構成された第2データ形式で作成された第2回路図面データに変換し、第1回路図面データおよび第2回路図面データの少なくとも一方から、線を検出し、第1回路図面データおよび第2回路図面データの少なくとも一方から、文字を検出し、第2回路図面データの画像領域から導線を除く回路記号を検出し、検出された、線および文字を基に、図記号を検出し、検出された線から、回路記号および図記号に接触する線を導線として検出し、検出した線から、回路記号、図記号および導線を除いた残部を、表を構成する表オブジェクトとして検出し、表オブジェクトを基に、図面中の表の領域である表領域を検出し、表領域内のセルを検出する作業支援方法と捉えることができる。
以上、本実施の形態について説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、種々の変更または改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
1…作業支援システム、2…作業支援装置、3…作業端末、10…図面解析部、11…変換部、12…図面解析部、13…第一の表領域検出部、14…表内セル検出部、15…第二の表領域検出部、20…上書きデータ解析部、30…通信部、40…DB、121…回路記号検出部、122…線検出部、123…文字検出部、124…導線検出部、125…図記号検出部、126…表オブジェクト検出部、H1~H16…表

Claims (15)

  1. 回路部品を記述した図形を構成する線を幾何学的情報によって表現するように構成された第1データ形式で作成された第1回路図面データを、前記回路部品を記述した図形を画素によって表現するように構成された第2データ形式で作成された第2回路図面データに変換する変換部と、
    前記第1回路図面データおよび前記第2回路図面データの少なくとも一方から、線を検出する線検出部と、
    前記第1回路図面データおよび前記第2回路図面データの少なくとも一方から、文字を検出する文字検出部と、
    前記第2回路図面データの画像領域から導線を除く回路記号を検出する回路記号検出部と、
    検出された、前記線および前記文字を基に、図記号を検出する図記号検出部と、
    前記線検出部が検出した線から、前記回路記号および前記図記号に接触する線を導線として検出する導線検出部と、
    前記線検出部が検出した線から、前記回路記号、前記図記号および前記導線を除いた残部を、表を構成する表オブジェクトとして検出する表オブジェクト検出部と、
    前記表オブジェクトを基に、図面中の表の領域である表領域を検出する第一の表領域検出部と、
    前記表領域内のセルを検出する表内セル検出部と、
    を備える作業支援装置。
  2. 前記線検出部は、検出された前記線を線の種類である線種により分類する請求項1に記載の作業支援装置。
  3. 前記線検出部は、検出した線を、線の長さについて設定された第1の閾値を基準として、線を表すグループと点を表すグループとに分類する請求項2に記載の作業支援装置。
  4. 前記線検出部は、線を表すグループを、検出された線の延びる方向におけるそれぞれの間隔について第2の閾値を設定し、前記第2の閾値を基準として、実線と破線とに分類する請求項3に記載の作業支援装置。
  5. 前記表内セル検出部は、前記破線を挟み接する前記セルを同一のセルとする請求項4に記載の作業支援装置。
  6. 前記第一の表領域検出部は、表を構成する線の交点の形状を変換した後に、前記表領域を検出する請求項1に記載の作業支援装置。
  7. 前記第一の表領域検出部は、予め定められた閾値以下の長さの線をないものとして前記交点の形状を変換する請求項6に記載の作業支援装置。
  8. 前記第一の表領域検出部は、予め定められた閾値以下の長さの線をないものとして前記交点の形状を変換した後に、表を構成するセルの段差について、予め定められた変換テーブルを使用して前記交点の形状をさらに変換する請求項7に記載の作業支援装置。
  9. 前記第一の表領域検出部は、前記表が図面の輪郭線と接触する場合に、前記交点の形状を変換する請求項6に記載の作業支援装置。
  10. 前記表内セル検出部は、前記表の外枠を巡回することで、前記外枠と前記表を構成する罫線とが交差する交点を抽出し、抽出した交点を基に前記セルを検出する請求項1に記載の作業支援装置。
  11. 前記表内セル検出部は、前記交点に接する直線を抽出し、さらに抽出された直線に接する直線を抽出し、さらに抽出された直線に接する直線を抽出する処理を新たな直線が抽出できなくなるまで繰り返すことで、前記セルを形成する罫線を抽出する請求項10に記載の作業支援装置。
  12. 回路部品を記述した図形を構成する線を幾何学的情報によって表現するように構成された第1データ形式で作成された第1回路図面データを、前記回路部品を記述した図形を画素によって表現するように構成された第2データ形式で作成された第2回路図面データに変換する変換部と、
    前記第1回路図面データおよび前記第2回路図面データの少なくとも一方から、線を検出する線検出部と、
    前記第1回路図面データおよび前記第2回路図面データの少なくとも一方から、文字を検出する文字検出部と、
    前記第2回路図面データの画像領域から導線を除く回路記号を検出する回路記号検出部と、
    検出された、前記線および前記文字を基に、図記号を検出する図記号検出部と、
    前記線検出部が検出した線から、前記回路記号および前記図記号に接触する線を導線として導線検出部と、
    前記線検出部が検出した線から、前記回路記号、前記図記号および前記導線を除いた残部を、表を構成する表オブジェクトとして検出する表オブジェクト検出部と、
    前記表の種類である表種を判別して図面中の表の領域である表領域を分離する第二の表領域検出部と、
    前記表領域内のセルを検出する表内セル検出部と、
    を備える作業支援装置。
  13. 前記第二の表領域検出部は、表と他の構成要素とが共有する線を境界として分離し、交点の形状を変換した後に、前記表領域を検出する請求項12に記載の作業支援装置。
  14. プロセッサがメモリに記録されたソフトウェアを実行することにより、
    回路部品を記述した図形を構成する線を幾何学的情報によって表現するように構成された第1データ形式で作成された第1回路図面データを、前記回路部品を記述した図形を画素によって表現するように構成された第2データ形式で作成された第2回路図面データに変換し、
    前記第1回路図面データおよび前記第2回路図面データの少なくとも一方から、線を検出し、
    前記第1回路図面データおよび前記第2回路図面データの少なくとも一方から、文字を検出し、
    前記第2回路図面データの画像領域から導線を除く回路記号を検出し、
    検出された、前記線および前記文字を基に、図記号を検出し、
    検出された線から、前記回路記号および前記図記号に接触する線を導線として検出し、
    検出した線から、前記回路記号、前記図記号および前記導線を除いた残部を、表を構成する表オブジェクトとして検出し、
    前記表オブジェクトを基に、図面中の表の領域である表領域を検出し、
    前記表領域内のセルを検出する
    作業支援方法。
  15. 図面内の表のセル内に手書きすることで作業を行う作業端末と、
    前記セルを検出し、前記セル内に手書きされた内容の解析を行う作業支援装置と、
    を備え、
    前記作業支援装置は、
    回路部品を記述した図形を構成する線を幾何学的情報によって表現するように構成された第1データ形式で作成された第1回路図面データを、前記回路部品を記述した図形を画素によって表現するように構成された第2データ形式で作成された第2回路図面データに変換する変換部と、
    前記第1回路図面データおよび前記第2回路図面データの少なくとも一方から、線を検出する線検出部と、
    前記第1回路図面データおよび前記第2回路図面データの少なくとも一方から、文字を検出する文字検出部と、
    前記第2回路図面データの画像領域から導線を除く回路記号を検出する回路記号検出部と、
    検出された、前記線および前記文字を基に、図記号を検出する図記号検出部と、
    前記線検出部が検出した線から、前記回路記号および前記図記号に接触する線を導線として検出する導線検出部と、
    前記線検出部が検出した線から、前記回路記号、前記図記号および前記導線を除いた残部を、表を構成する表オブジェクトとして検出する表オブジェクト検出部と、
    前記表オブジェクトを基に、図面中の表の領域である表領域を検出する第一の表領域検出部と、
    前記表領域内の前記セルを検出する表内セル検出部と、
    を備える作業支援システム。
JP2022162715A 2022-10-07 2022-10-07 作業支援装置、作業支援方法および作業支援システム Pending JP2024055628A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022162715A JP2024055628A (ja) 2022-10-07 2022-10-07 作業支援装置、作業支援方法および作業支援システム
CN202311196995.9A CN117854096A (zh) 2022-10-07 2023-09-18 作业辅助装置、作业辅助方法以及作业辅助系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022162715A JP2024055628A (ja) 2022-10-07 2022-10-07 作業支援装置、作業支援方法および作業支援システム

Publications (1)

Publication Number Publication Date
JP2024055628A true JP2024055628A (ja) 2024-04-18

Family

ID=90535303

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022162715A Pending JP2024055628A (ja) 2022-10-07 2022-10-07 作業支援装置、作業支援方法および作業支援システム

Country Status (2)

Country Link
JP (1) JP2024055628A (ja)
CN (1) CN117854096A (ja)

Also Published As

Publication number Publication date
CN117854096A (zh) 2024-04-09

Similar Documents

Publication Publication Date Title
US11886799B2 (en) Determining functional and descriptive elements of application images for intelligent screen automation
CN110502985B (zh) 表格识别方法、装置及表格识别设备
US11861919B2 (en) Text recognition method and device, and electronic device
CN111340020B (zh) 一种公式识别方法、装置、设备及存储介质
CN111583183B (zh) 一种用于pcb板图像缺陷检测的数据增强方法和系统
WO2021164251A1 (zh) 一种图像标注任务的预校验方法、装置、设备及存储介质
CN109635729B (zh) 一种表格识别方法及终端
CN115082942A (zh) 一种基于YOLO v5的文档图像流程图识别方法、设备及介质
CN114937270A (zh) 古籍文字处理方法、装置及计算机可读存储介质
JP2685450B2 (ja) オンライン手書き文字図形入力編集方法
JP2024055628A (ja) 作業支援装置、作業支援方法および作業支援システム
CN107967105A (zh) 手写内容编辑设备和方法
CN114663902B (zh) 文档图像处理方法、装置、设备和介质
JP3487494B2 (ja) メニュー選択方法及び装置
JP5402417B2 (ja) 画像処理装置
JPH06119496A (ja) 手書き情報処理装置
JP5669044B2 (ja) 文書検定システム及び文書検定方法
JP6464891B2 (ja) 傍線問題採点方法、傍線問題採点プログラム及び傍線問題採点装置
KR20230068672A (ko) 전자 회로도 영상의 자동인식 및 네트리스트 변환 방법
JPH0697470B2 (ja) 文字列抽出装置
JP3113217B2 (ja) 破線認識方法
JP2023108845A (ja) 作業支援装置、作業支援システム、解析プログラム
CN117251145A (zh) 一种ui界面元素定位方法、系统、装置及存储介质
JPH04260980A (ja) 図形認識装置
JP2001052174A (ja) 手書き図形処理装置および方法、ならびに手書き図形処理プログラムを記録したコンピュータで読取可能な記録媒体