JP7528669B2 - 情報処理装置及び情報処理プログラム - Google Patents
情報処理装置及び情報処理プログラム Download PDFInfo
- Publication number
- JP7528669B2 JP7528669B2 JP2020158347A JP2020158347A JP7528669B2 JP 7528669 B2 JP7528669 B2 JP 7528669B2 JP 2020158347 A JP2020158347 A JP 2020158347A JP 2020158347 A JP2020158347 A JP 2020158347A JP 7528669 B2 JP7528669 B2 JP 7528669B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- image
- processing device
- information processing
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 48
- 238000012545 processing Methods 0.000 claims description 60
- 230000015654 memory Effects 0.000 claims description 53
- 238000013473 artificial intelligence Methods 0.000 claims description 27
- 238000007781 pre-processing Methods 0.000 claims description 23
- 238000010801 machine learning Methods 0.000 claims description 22
- 238000012552 review Methods 0.000 claims description 15
- 239000011347 resin Substances 0.000 claims description 13
- 229920005989 resin Polymers 0.000 claims description 13
- 239000002184 metal Substances 0.000 claims description 12
- 238000011161 development Methods 0.000 claims description 8
- 238000011156 evaluation Methods 0.000 description 59
- 238000013461 design Methods 0.000 description 29
- 238000004891 communication Methods 0.000 description 24
- 238000000034 method Methods 0.000 description 23
- 238000010586 diagram Methods 0.000 description 20
- 230000008569 process Effects 0.000 description 19
- 239000000284 extract Substances 0.000 description 16
- 238000000605 extraction Methods 0.000 description 11
- 238000007689 inspection Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- 238000004590 computer program Methods 0.000 description 7
- 230000018109 developmental process Effects 0.000 description 7
- 238000010606 normalization Methods 0.000 description 6
- 239000003990 capacitor Substances 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 230000009467 reduction Effects 0.000 description 5
- 230000000875 corresponding effect Effects 0.000 description 4
- 238000012217 deletion Methods 0.000 description 4
- 230000037430 deletion Effects 0.000 description 4
- 238000013500 data storage Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000007639 printing Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000013526 transfer learning Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/32—Normalisation of the pattern dimensions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
- G06V30/42—Document-oriented image-based pattern recognition based on the type of document
- G06V30/422—Technical drawings; Geographical maps
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2111/00—Details relating to CAD techniques
- G06F2111/12—Symbolic schematics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Description
請求項1の発明は、メモリと一又は複数のプロセッサを備え、前記メモリは、図面に関して、部品特定情報と該図面に関する情報を対応させて記憶しており、前記プロセッサは、図面の画像を受け付け、前記画像から部品特定情報を読み取り、前記メモリから、前記部品特定情報に対応する図面に関する情報を抽出し、前記画像から特徴を抽出し、予め機械学習により図面を評価することを学習した人工知能に対して、前記図面に関する情報と前記特徴を入力して、前記受け付けた図面の品質を評価し、前記図面を評価した結果を表示装置に表示するように制御する、情報処理装置である。
図1は、本実施の形態の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア(「ソフトウェア」の解釈として、コンピュータ・プログラムを含む)、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、それらのモジュールとして機能させるためのコンピュータ・プログラム(例えば、コンピュータにそれぞれの手順を実行させるためのプログラム、コンピュータをそれぞれの手段として機能させるためのプログラム、コンピュータにそれぞれの機能を実現させるためのプログラム)、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するという意味である。また、モジュールは機能に一対一に対応していてもよいが、実装においては、1モジュールを1プログラムで構成してもよいし、複数モジュールを1プログラムで構成してもよく、逆に1モジュールを複数プログラムで構成してもよい。また、複数モジュールは1コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって1モジュールが複数コンピュータで実行されてもよい。なお、1つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続(例えば、データの授受、指示、データ間の参照関係、ログイン等)の場合にも用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態にしたがって、又はそれまでの状況・状態にしたがって定まることの意を含めて用いる。「予め定められた値」が複数ある場合は、それぞれ異なった値であってもよいし、2以上の値(「2以上の値」には、もちろんのことながら、全ての値も含む)が同じであってもよい。また、「Aである場合、Bをする」という記載は、「Aであるか否かを判断し、Aであると判断した場合はBをする」の意味で用いる。ただし、Aであるか否かの判断が不要である場合を除く。また、「A、B、C」等のように事物を列挙した場合は、断りがない限り例示列挙であり、その1つのみを選んでいる場合(例えば、Aのみ)を含む。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク(「ネットワーク」には、一対一対応の通信接続を含む)等の通信手段で接続されて構成されるほか、1つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。もちろんのことながら、「システム」には、人為的な取り決めである社会的な「仕組み」(つまり、社会システム)にすぎないものは含まない。
また、各モジュールによる処理毎に又はモジュール内で複数の処理を行う場合はその処理毎に、対象となる情報を記憶装置から読み込み、その処理を行った後に、処理結果を記憶装置に書き出すものである。したがって、処理前の記憶装置からの読み込み、処理後の記憶装置への書き出しについては、説明を省略する場合がある。
メモリ110は、主にデータを記憶するデータメモリ120と主にプログラムを記憶するプログラムメモリ140を有している。なお、データメモリ120、プログラムメモリ140には、図示している情報、モジュールのプログラムの他、本コンピュータを起動するためのOS等のプログラム、モジュールの実行において適宜変化するパラメータ等のデータが格納されていてもよい。
受付装置190は、例えば、指示受付装置192、文書読取装置194等を有している。キーボード、マウス、マイク、カメラ(視線検知カメラ等を含む)等の指示受付装置192は、これらに対する利用者の操作(動作、音声、視線等を含む)に基づいたデータを受け付ける。
また、タッチスクリーンのように、表示装置187と指示受付装置192の両方の機能を備えているものがあってもよい。その場合、キーボードの機能の実現について、物理的なキーが存在しなくても、タッチスクリーン上にソフトウェアでキーボード(いわゆるソフトウェアキーボード、スクリーンキーボード等ともいわれる)を描画して、キーボードの機能を実現するようにしてもよい。
なお、ユーザーインタフェースとして、主に、表示装置187、指示受付装置192が用いられる。
スキャナ、カメラ等の文書読取装置194は、図面を読み取り又は撮影して、発生する画像データを受け付ける。もちろんのことながら、図面読み取り用のフラットベッドスキャナー、シートスルースキャナー、オーバーヘッドスキャナー等を含む。
通信装置195は、通信回線を介して他の装置と接続するためのネットワークカード等の通信回線インタフェースである。
なお、図1に示すハードウェア構成は、1つの構成例を示すものであり、本実施の形態は、図1に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、プロセッサ105として、GPU(Graphics Processing Unitの略、GPGPU(General-Purpose computing on Graphics Processing Unitsの略)を含む)を用いてもよいし、一部のモジュールの実行を専用のハードウェア(例えば特定用途向け集積回路(具体例として、ASIC(Application Specific Integrated Circuitの略)等がある)や再構成可能な集積回路(具体例として、FPGA(Field-Programmable Gate Arrayの略)等がある)で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続している形態でもよく、さらに図1に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、特に、パーソナルコンピュータの他、携帯情報通信機器(携帯電話、スマートフォン、モバイル機器、ウェアラブルコンピュータ等を含む)、情報家電、ロボット、複写機、ファックス、スキャナ、プリンタ、複合機(スキャナ、プリンタ、複写機、ファックス等のいずれか2つ以上の機能を有している画像処理装置)等に組み込まれていてもよい。
データメモリ120は、図面画像記憶領域122、図面情報記憶領域124、教師データ記憶領域126を有している。
図面画像記憶領域122は、図面画像受付モジュール142によって受け付けられた図面の画像を記憶している。図面の画像は、2値画像であってもよいし、グレースケール画像であってもよいし、カラー画像であってもよい。また、グレースケール画像、カラー画像の場合は、2値画像に変換するようにしてもよい。
ここで「部品特定情報」は、対象としている図面によって構造を示されている部品を、本情報処理装置によって一意に特定できるようにした情報である。「部品」には、複数の部品から構成されている部品を含み、部品には完成品を含めてもよい。例えば、電気回路部品図面にあっては、1つの基板、ICチップ、システム等が該当し、機械図面にあっては、基本的な部品、複数部品からなる構成、製品等が該当する。部品特定情報は、例えば、部品を、本実施の形態において一意に識別するための部品番号であってもよい。
また「図面に関する情報」は、その図面における品質を示す情報である。より詳しくは、「図面における品質を示す情報」として、その図面の版数、過去に検討を行った人数、開発開始からその図面の検討が終わるまでの日数、その図面の重要度のうち、少なくとも1つ以上である。「図面の版数、過去に検討を行った人数、開発開始から図面の検討が終わるまでの日数、図面の重要度」は、対象としている図面の品質を示す情報である。一般的に長く変更されずに使用されてきた図面、関わったレビューアの数が多い図面、期間が長い図面は品質が高いからである。
図面画像受付モジュール142は、図面の画像を受け付けて、その画像を他のモジュールへ渡す。画像を受け付けるとは、例えば、スキャナ、カメラ等の文書読取装置194で画像を読み込むこと、ファックス等で通信回線を介して外部機器から画像を受信すること、ハードディスク(コンピュータに内蔵されているものの他に、ネットワークを介して接続されているもの等を含む)等に記憶されている画像を読み出すこと等が含まれる。受け付ける画像は、1枚であってもよいし、複数枚であってもよい。
ここで「部品以外の情報」は、対象としている図面に表されている部品以外の情報を示しており、例えば、変更点表記、注記、引き出し線、ガイド、枠線、履歴、著作権表記、変更点等がある。
また、前処理モジュール144は、図面画像受付モジュール142が受け付けた図面が樹脂図面又は板金図面である場合は、前処理として、さらに、その図面の画像を正規化するようにしてもよい。
図面情報抽出モジュール148は、図面情報記憶領域124から、部品特定情報に対応する図面に関する情報を抽出する。
また、特徴抽出モジュール150は、特徴として、部品名、シート番号、全シート数、重複なしの承認者の数のうち、少なくとも1つ以上を抽出するようにしてもよい。
また、特徴抽出モジュール150は、対象とする図面が電気回路部品図面である場合、その画像から抽出する特徴として、将来的に実装可能なことを示す表記、電気部品のうち、少なくとも1つ以上を抽出するようにしてもよい。
ここで「将来的に実装可能なことを示す表記」は一般的に「NONASSY表記」と呼ばれており、部品は実装されていないが、スルーホールを備えている部分を示す表記をいう。将来の設計変更に対応できるようにするために設けられることがある。例えば、熟練の設計者は、設計変更時のインパクトを小さくするためにスルーホールを設ける。
また、特徴抽出モジュール150は、図面画像受付モジュール142が受け付けた画像に対して不要な要素を削除する前処理を前処理モジュール144が施した後の画像を、特徴として抽出するようにしてもよい。ここでの「特徴」は、前処理後の画像そのもの(例えば、2値画像等)であってもよいし、その画像から抽出したもの(例えば、部品の認識結果、前の版の図面からの修正箇所等)であってもよい。例えば、図面画像受付モジュール142が受け付けた画像から、図面に関する情報に基づいて定まる、その画像内に記載された情報を、特徴として抽出するようにしてもよい。
図面が樹脂図面又は板金図面である場合は、特徴を図面内の要素の複雑さを示す値としてもよい。さらに具体的には、特徴を「周囲長×周囲長/面積」としてもよい。そして、「周囲長×周囲長/面積」を特徴として用いる場合は、前処理モジュール144が事前に行う「正規化」として、図面のサイズ、解像度の正規化を行う。より具体的には、予め定められたサイズ、解像度に合わせるように、受け付けた図面の画像に対して拡大又は縮小処理を行う。
「品質の評価」とは、対象としている図面の完成度を判断することであり、また、逆に、その図面を変更する可能性を判断することとしてもよい。例えば、対象としている図面は、完成図面であること、検討会(レビューとも言われる)が必要であること、修正が必要であること等の判断が行われる。さらに、修正案を提案することを含めてもよい。
表示制御モジュール154は、図面を評価した結果を表示装置187に表示するように制御する。
図2(a)は、本実施の形態をスタンドアロン型のシステムとして構築した場合の例を示すものである。
図面読み取り装置等の画像処理装置200は、情報処理装置100を有している。画像処理装置200で読み取られた図面の画像に対して、情報処理装置100は図面として品質の評価を行う。
図2(b)は、本実施の形態をネットワーク型のシステムとして構築した場合の例を示すものである。
情報処理装置100、画像処理装置210a、画像処理装置210b、ユーザー端末250a、ユーザー端末250b、ユーザー端末250cは、通信回線290を介してそれぞれ接続されている。通信回線290は、無線、有線、これらの組み合わせであってもよく、例えば、通信インフラとしてのインターネット、イントラネット等であってもよい。また、情報処理装置100による機能は、クラウドサービスとして実現してもよい。例えば、画像処理装置210で図面を読み取り、ユーザー端末250からのユーザーの指示にしたがって、情報処理装置100はその図面の品質を評価し、その評価結果をユーザー端末250に返信し、ユーザーに表示する。
そこで、本実施の形態である情報処理装置100は、人工知能によって図面の品質の評価を行うようにしている。
特に、電気回路部品図面にあっては、以下のような事情がある。
近年は電気回路のシミュレータの発達により、電気ノイズや遅延などの障害を設計段階で算出し事前に対処できるようになってきており、電気回路部品図面の発行後にそういった障害による図面変更の回数は減少している。しかし、シミュレータにかける際の環境設定が煩雑であったり担当者が急いでいたりといった理由で、シミュレータによる検証が充分でなく不具合が発生してしまうことがある。さらに、設計当初の要件からコストダウンなどの理由によって要件が変わったり、コンデンサなどの部品の精度のバラツキが発生したりするようなシミュレータでは検証できない事象による図面変更の発生が増えている。
そこで、事前に電気回路部品図面の変更履歴を学習させたモデルを作成し、新たに設計した電気回路部品図面をスキャンして機械学習で評価することで、その電気回路部品図面の品質を提示し、その品質に応じて人間が詳細に再レビューしたり、シミュレータにかけたりすることができるようになる。
ステップS302では、図面をスキャンする。
ステップS304では、スキャンした図面に関する情報であるメタデータを入力する。メタデータとして、例えば、図面のフェーズを入力するようにしてもよい。フェーズとして、例えば、ドラフト、発行版、市場導入後等がある。なお、ステップS304の処理は省略してもよい。
ステップS308では、ベクトル化を行う。前処理後の画像に対して、ベクトル化処理を行う。
ステップS312では、人工知能モデルを用いて図面の品質を評価する。
ステップS316では、エラーが発生したことの表示を行う。
ステップS320では、熟練者による妥当性評価があるか否かを判断し、ある場合はステップS322へ進み、それ以外の場合は処理を終了する(ステップS399)。
ステップS324では、人工知能モデルを更新する。ステップS322による評価結果にしたがった機械学習を行う。例えば、熟練者による妥当性評価が妥当であるとの評価の場合は、その評価傾向を強める機械学習、又は、機械学習は行わない(機械学習は不要である)。熟練者による妥当性評価が妥当ではないとの評価の場合は、熟練者による評価に近づけるような機械学習を行わせる。
クレンジング処理モジュール440は、図1の例に示す図面画像受付モジュール142、前処理モジュール144、部品特定情報読取モジュール146、図面情報抽出モジュール148、特徴抽出モジュール150に相当する。図面評価AIモジュール460は、図1の例に示す評価用人工知能モデルモジュール152に相当する。出力装置470は、図1の例に示す表示制御モジュール154に相当する。
クレンジング処理モジュール440は、図面画像410上の部品番号(部品特定情報の一例)を読み取り、図面情報DB420から、図面画像410に関する情報(例えば、版数(発行された回数)、過去にレビューしたのべ人数、開発が始まってからこの版のレビューが終わるまでの日数、図面の重要度等)を取得し、ベクトルデータとして保存する。ここでのベクトルデータは、図面評価AIモジュール460に入力するデータである。
また、クレンジング処理モジュール440は、図面画像410上のシート番号と全シート数を読み取り、ベクトルデータとして保存する。
また、クレンジング処理モジュール440は、図面画像410上の承認欄から承認者のユニーク数(承認者ののべ数ではなく、重複なしの承認者の数)を読み取り、ベクトルデータとして保存する。
また、クレンジング処理モジュール440は、図面画像410上のNONASSY表記、コンデンサ、抵抗、電源、外部コネクタ、結線、スイッチ、ダイオード等の数を計数して、ベクトルデータとして保存する。なお、表記ゆれのための名寄せを含む。具体的には、図面画像410上の用語を文字認識技術で読み取り、認識した用語を用語DB430内の後述する用語テーブル600を用いて統一する。
つまり、クレンジング処理モジュール440は、図面画像410から特徴を抽出するが、その特徴として、ベクトルデータとして前述した部品名、シート番号、全シート数、承認者のユニーク数、NONASSY表記の数、コンデンサの数、抵抗の数、電源の数、外部コネクタの数、結線の数、スイッチの数、ダイオードの数等がある。
また、クレンジング処理モジュール440は、図面画像410上の変更点表記(例えば、三角マーク等)、注記、引き出し線を消去する。
また、クレンジング処理モジュール440は、図面画像410上のガイド、枠線、履歴、著作権表記、変更点等を消去する。
また、クレンジング処理モジュール440は、図面画像410上の回路以外の情報を消去し、消去処理後の抽出画像450をベクトルデータの一部として保存する。
したがって、ベクトルデータとして、(1)図面画像410内の部品番号を用いて、図面情報DB420から抽出した情報(図面画像410に関する情報)、(2)図面画像410から抽出した特徴、(3)図面画像410から部品以外の情報を消去した後の抽出画像450、がある。なお、(1)と(2)をベクトルデータとし、(3)はベクトルデータに含ませなくてもよい。
出力装置470は、図面評価AIモジュール460と接続されている。出力装置470は、図面評価AIモジュール460による評価結果を出力する。
図7(a)の例に示す図面画像700と図7(b)の例に示す図面画像710は、対象となる電気回路部品図面の画像である。例えば、図面画像700は第1版であり、図面画像710は、図面画像700の修正版(第2版)である。図面画像710には、図面画像700との差異である修正箇所712、修正箇所714がある。
前処理として、対象としている図面と前の版の図面との差異(図面画像710では、修正箇所712、修正箇所714)を特徴として抽出してもよい。
図7(c)の例に示す削除処理後の画像750は、図面画像700から文字等の不要な要素を削除した画像である。なお、削除処理後の画像750には、部品名、シート番号等が記載されている特徴部分752を残している。
図7(d)の例に示す抽出画像790は、削除処理後の画像750から特徴部分752も削除し、図面評価AIモジュール460に入力する画像である。
(1)対象とする全図面のうち最大サイズの図面の最も細い線を基準に、その線が消えない程度に縮小できる縮小率を算出する。なお、縮小する際に、黒部分を削除せずに、白部分を優先的に削除することで、線の太さを変えずに縮小することも可能である。
(2)縮小した最大サイズの図面のサイズを基準に、各図面の拡大・縮小率を算出する。
例えば、「図面サイズ<縮小した最大サイズ」の場合は、図面サイズの図面を、縮小した最大サイズに拡大する拡大率を算出すればよい。
また、「図面サイズ≧縮小した最大サイズ」の場合は、縮小した最大サイズに図面サイズの図面を縮小する縮小率を算出すればよい。
(3)対象とする全図面を前記の拡大・縮小率を適用して拡大・縮小する。
(4)用語DB430内の用語テーブル600を参照し、部品名を構成する単語を標準的用語に置き換え、プロジェクト名等の用語テーブル600にない単語は削除する。
(5)版数等のメタデータの最大値を決めて、0~1に正規化する。最大値は、予め定められた値であってもよいし、対象とする全図面から最大値を抽出するようにしてもよい。
なお、最大値を超える場合は「1」とする。
図8(a)の例に示す図面画像800は、対象となる樹脂図面又は板金図面の画像である。
図8(b)の例に示す抽出画像890は、図面画像800に対して前処理を施し、図面評価AIモジュール460に入力する画像である。
(1)前述した電気回路部品図面の「NONASSY表記の数、コンデンサの数、抵抗の数、電源の数、外部コネクタの数、結線の数、スイッチの数、ダイオードの数」の特徴に代えて、「図形の複雑度」を導入する。これら以外は、前述の電気回路部品図面に対する正規化処理と同等の処理を行う。図形の複雑度は、図面の改版回数と相関関係がある。
(2)「図形の複雑度」として、例えば、「周囲長×周囲長/面積」を採用すればよい。「図形の複雑度」として、「周囲長×周囲長/面積」の他に、ハウスドルフ次元、周囲長、領域数、構造等を用いてもよい。なお、ここで「構造」とは、領域間の「含む」、「含まれる」の関係をいう。
また、「周囲長×周囲長/面積」を採用する場合は、前述した電気回路部品図面における図面のサイズの正規化を、樹脂図面又は板金図面に対しても実施する。
なお、電気回路部品図面である場合においても、前述の樹脂図面又は板金図面における「図形の複雑度」を特徴量として含めるようにしてもよい。図形の複雑度は、電気回路部品図面の品質評価においても有用であることが、実験において判明したからである。
(1)図面に含まれる情報から推定するようにしてもよい。図面に含まれる情報として、例えば、部品番号、部品名、注記等がある。部品番号について、図面の種別毎の命名規則がある。したがって、部品番号が、電気回路部品図面の命名規則にしたがっているか、樹脂図面又は板金図面の命名規則にしたがっているかを判定することによって、図面の種別を判定することができる。
(2)図面情報DB420内の図面情報テーブル500(具体的には、図面種類欄506)を用いて、判定してもよい。
(3)図面の内容から判定してもよい。例えば、抵抗等の電気部品の要素をパターンマッチング等で抽出できれば、電気回路部品図面と判定してもよい。
(4)複数の特徴から算出した値の妥当性から判定してもよい。例えば、1つも電気部品が実装されていない図面は、電気回路部品図面ではないと判定する等がある。
一般的に、長く変更されずに使われてきた図面の設計品質は高いことが知られている。
また、電気回路部品図面において、熟練の設計者は、設計変更時のインパクトを最小とするため、NONASSYと呼ばれるスルーホールを回路図に設ける。つまり、設計者は、回路の変更可能性を予測している。例えば、回路が複雑なもの、新規であるもの、適用範囲が広いことを狙った場合は、NONASSYを回路図に設けるようにしている。一方、コスト低減のため部品点数の削減を狙った設計(いわゆる投機的な設計)をする場合もある。
例えば、図面上のNONASSYの数をY軸に、回路の複雑さをX軸とした場合、図9のグラフに示すように最適となるNONASSY数(確率密度)がある。なお、設計期間や採用期間、レビュー量等の他の特徴量が一定の場合に、このグラフは成り立つ。逆に、これらの他の特徴量によってグラフの形態は変化する。
図9の例に示すグラフのX軸の複雑度の計算は以下のように算出する。
複雑度:O((部品数+1)×(結線数+1)×(電源接続数+1)×(外部結線数+1))
例えば、図7の(a)に示した図面画像700では、以下のように算出されることになる。
複雑度:O((3+1)×(14+1)×(4+1)×(4+1)×(6+1))=4
図9の例に示すグラフに適用すると、最適となるNONASSY数は、4~6個となる。ただし、新規設計の場合である。
しかし、図7の(a)に示した図面画像700のNONASSY数は「3」であるため、レビューを実施してNONASSYを増やしておくことが望ましい。
ただし、図面画像700の回路が長年多くの製品群に使われてきた実績があると、一般的に最適NONASSY数は減少する。例えば、NONASSYであった部分にコンデンサ等の部品が実装され、NONASSYではなくなることがある。
図10(a)の例に示すように、図面画像410aには、評価結果(文字)1012a、評価結果(図形)1014aを表示する。この例は、対象としている図面の品質が高いと評価された場合の例を示している。
図10(b)の例に示すように、図面画像410bには、評価結果(文字)1012b、評価結果(図形)1014bを表示する。この例は、対象としている図面の品質が低いと評価された場合の例を示している。
なお、図面評価AIモジュール460の評価結果として、「変更可能性」を示しているが、「この図面はレビューをすべきである」等のアドバイスとして出力するようにしてもよい。
ステップS1102では、図面画像に関するメタデータを入力する。ここでのメタデータには、評価結果を含む。
ステップS1104では、画像を解析する。
ステップS1106では、ベクトル化を実行する。ステップS1104、ステップS1106の処理は、図3の例に示したフローチャートのステップS306、ステップS308の処理と同等である。
ステップS1110では、学習モデルを記憶する。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通等のために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク(DVD)であって、DVDフォーラムで策定された規格である「DVD-R、DVD-RW、DVD-RAM等」、DVD+RWで策定された規格である「DVD+R、DVD+RW等」、コンパクトディスク(CD)であって、読出し専用メモリ(CD-ROM)、CDレコーダブル(CD-R)、CDリライタブル(CD-RW)等、ブルーレイ・ディスク(Blu-ray(登録商標) Disc)、光磁気ディスク(MO)、フレキシブルディスク(FD)、磁気テープ、ハードディスク、読出し専用メモリ(ROM)、電気的消去及び書換可能な読出し専用メモリ(EEPROM(登録商標))、フラッシュ・メモリ、ランダム・アクセス・メモリ(RAM)、SD(Secure Digitalの略)メモリーカード等が含まれる。
そして、前記のプログラムの全体又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク(LAN)、メトロポリタン・エリア・ネットワーク(MAN)、ワイド・エリア・ネットワーク(WAN)、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、又は無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分若しくは全部であってもよく、又は別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して記録されていてもよい。また、圧縮や暗号化等、復元可能であればどのような態様で記録されていてもよい。
105…プロセッサ
110…メモリ
120…データメモリ
122…図面画像記憶領域
124…図面情報記憶領域
126…教師データ記憶領域
140…プログラムメモリ
142…図面画像受付モジュール
144…前処理モジュール
146…部品特定情報読取モジュール
148…図面情報抽出モジュール
150…特徴抽出モジュール
152…評価用人工知能モデルモジュール
154…表示制御モジュール
156…学習モジュール
185…出力装置
187…表示装置
189…印刷装置
190…受付装置
192…指示受付装置
194…文書読取装置
195…通信装置
198…バス
200…画像処理装置
210…画像処理装置
250…ユーザー端末
290…通信回線
410…図面画像
420…図面情報DB
430…用語DB
440…クレンジング処理モジュール
450…抽出画像
460…図面評価AIモジュール
470…出力装置
Claims (10)
- メモリと一又は複数のプロセッサを備え、
前記メモリは、図面に関して、部品特定情報と該図面に関する情報を対応させて記憶しており、
前記プロセッサは、
図面の画像を受け付け、
前記画像から部品特定情報を読み取り、
前記メモリから、前記部品特定情報に対応する図面に関する情報を抽出し、
前記画像から特徴を抽出し、
予め機械学習により図面を評価することを学習した人工知能に対して、前記図面に関する情報と前記特徴を入力して、前記受け付けた図面の品質を評価し、
前記図面を評価した結果を表示装置に表示するように制御する、
情報処理装置。 - 前記メモリは、
図面に関する情報として、該図面における品質を示す情報を記憶している、
請求項1に記載の情報処理装置。 - 前記メモリは、
前記図面における品質を示す情報として、該図面の版数、過去に検討を行った人数、開発開始から該図面の検討が終わるまでの日数、該図面の重要度のうち、少なくとも1つ以上を記憶している、
請求項2に記載の情報処理装置。 - 前記プロセッサは、
前記特徴として、部品名、シート番号、全シート数、重複なしの承認者の数のうち、少なくとも1つ以上を抽出する、
請求項1に記載の情報処理装置。 - 前記プロセッサは、
前記受け付けた図面から部品以外の情報を消去し、その後に、該図面の画像からさらに特徴を抽出する、
請求項4に記載の情報処理装置。 - 前記受け付けた図面は電気回路部品図面であり、
前記画像から抽出する特徴として、将来的に実装可能なことを示す表記、電気部品のうち、少なくとも1つ以上を抽出する、
請求項5に記載の情報処理装置。 - 前記受け付けた画像に対して不要な要素を削除する前処理を施した後の画像を、前記特徴として抽出する、
請求項1から6のいずれか一項に記載の情報処理装置。 - 前記受け付けた図面が樹脂図面又は板金図面である場合は、前記前処理として、さらに、該図面の画像を正規化する、
請求項7に記載の情報処理装置。 - 前記受け付けた画像から、前記図面に関する情報に基づいて定まる該画像内に記載された情報を、前記特徴として抽出する、
請求項1から6のいずれか一項に記載の情報処理装置。 - メモリと一又は複数のプロセッサを備えたコンピュータの前記メモリは、
図面に関して、部品特定情報と該図面に関する情報を対応させて記憶しており、
前記プロセッサに、
図面の画像を受け付け、
前記画像から部品特定情報を読み取り、
前記メモリから、前記部品特定情報に対応する図面に関する情報を抽出し、
前記画像から特徴を抽出し、
予め機械学習により図面を評価することを学習した人工知能に対して、前記図面に関する情報と前記特徴を入力して、前記受け付けた図面の品質を評価し、
前記図面を評価した結果を表示装置に表示するように制御する、
処理を実行させるための情報処理プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020158347A JP7528669B2 (ja) | 2020-09-23 | 2020-09-23 | 情報処理装置及び情報処理プログラム |
US17/163,542 US20220092761A1 (en) | 2020-09-23 | 2021-01-31 | Information processing apparatus and non-transitory computer readable medium |
CN202110228542.4A CN114299530A (zh) | 2020-09-23 | 2021-03-02 | 信息处理装置及计算机可读介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020158347A JP7528669B2 (ja) | 2020-09-23 | 2020-09-23 | 情報処理装置及び情報処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022052148A JP2022052148A (ja) | 2022-04-04 |
JP7528669B2 true JP7528669B2 (ja) | 2024-08-06 |
Family
ID=80741674
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020158347A Active JP7528669B2 (ja) | 2020-09-23 | 2020-09-23 | 情報処理装置及び情報処理プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220092761A1 (ja) |
JP (1) | JP7528669B2 (ja) |
CN (1) | CN114299530A (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010113396A (ja) | 2008-11-04 | 2010-05-20 | Fujitsu Ltd | 進捗管理プログラム、進捗管理装置、および進捗管理方法 |
JP2014199483A (ja) | 2013-03-29 | 2014-10-23 | 日本電気株式会社 | 進捗度算出装置、進捗度算出方法及びプログラム |
WO2020017875A1 (en) | 2018-07-17 | 2020-01-23 | Samsung Electronics Co., Ltd. | Electronic apparatus, method for processing image and computer-readable recording medium |
JP2020095553A (ja) | 2018-12-14 | 2020-06-18 | 東京電力ホールディングス株式会社 | 図面検査システム、図面検査装置、図面検査方法、およびプログラム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10410412B2 (en) * | 2015-05-29 | 2019-09-10 | Hover Inc. | Real-time processing of captured building imagery |
JP6693938B2 (ja) * | 2017-11-17 | 2020-05-13 | ファナック株式会社 | 外観検査装置 |
-
2020
- 2020-09-23 JP JP2020158347A patent/JP7528669B2/ja active Active
-
2021
- 2021-01-31 US US17/163,542 patent/US20220092761A1/en not_active Abandoned
- 2021-03-02 CN CN202110228542.4A patent/CN114299530A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010113396A (ja) | 2008-11-04 | 2010-05-20 | Fujitsu Ltd | 進捗管理プログラム、進捗管理装置、および進捗管理方法 |
JP2014199483A (ja) | 2013-03-29 | 2014-10-23 | 日本電気株式会社 | 進捗度算出装置、進捗度算出方法及びプログラム |
WO2020017875A1 (en) | 2018-07-17 | 2020-01-23 | Samsung Electronics Co., Ltd. | Electronic apparatus, method for processing image and computer-readable recording medium |
JP2020095553A (ja) | 2018-12-14 | 2020-06-18 | 東京電力ホールディングス株式会社 | 図面検査システム、図面検査装置、図面検査方法、およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20220092761A1 (en) | 2022-03-24 |
JP2022052148A (ja) | 2022-04-04 |
CN114299530A (zh) | 2022-04-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20170316066A1 (en) | Concept-based analysis of structured and unstructured data using concept inheritance | |
JP6653929B1 (ja) | 自動判別処理装置、自動判別処理方法、検査システム、プログラム、および記録媒体 | |
JP2019212115A (ja) | 検査装置、検査方法、プログラム及び学習装置 | |
US11972490B2 (en) | Determining a category of a request by word vector representation of a natural language text string with a similarity value | |
Kanungo et al. | Estimating degradation model parameters using neighborhood pattern distributions: An optimization approach | |
CN113673294B (zh) | 文献关键信息的提取方法、装置、计算机设备和存储介质 | |
JP7528669B2 (ja) | 情報処理装置及び情報処理プログラム | |
US11663761B2 (en) | Hand-drawn diagram recognition using visual arrow-relation detection | |
US20230306193A1 (en) | Information processing apparatus, non-transitory computer readable medium, and method for processing information | |
CN117859122A (zh) | 包括用于自动化文档处理的技术的ai增强的审计平台 | |
JP6768750B2 (ja) | 学習方法、誤り判定方法、学習システム、誤り判定システム、およびプログラム | |
US7788643B2 (en) | Method and apparatus for supporting verification of hardware and software, and computer product | |
JP5343644B2 (ja) | テスト項目表生成プログラム及びテスト項目表生成方法 | |
JP7536269B1 (ja) | 図面処理装置、及び、図面処理方法 | |
JP2022003446A (ja) | 情報処理装置 | |
JP6736742B1 (ja) | 帳票処理プログラム、帳票処理装置、帳票処理方法 | |
JP7465025B1 (ja) | 情報処理装置、推論装置、機械学習装置、情報処理方法、推論方法、及び、機械学習方法 | |
US11574490B2 (en) | Information processing apparatus and non-transitory computer readable medium storing information processing program | |
JP7584073B2 (ja) | 画像判定装置、画像判定方法、及び、プログラム | |
JP7484236B2 (ja) | 情報処理装置及び情報処理プログラム | |
CN112861757B (zh) | 基于文本语义理解的笔录智能审核方法及电子设备 | |
US20240233426A9 (en) | Method of classifying a document for a straight-through processing | |
JP7456289B2 (ja) | 判定プログラム、判定方法および情報処理装置 | |
WO2024214705A1 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2019021037A (ja) | ソースコード評価装置、ソースコード評価方法及びソースコード評価プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230830 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240606 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240625 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240708 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7528669 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |