JP7528669B2 - 情報処理装置及び情報処理プログラム - Google Patents

情報処理装置及び情報処理プログラム Download PDF

Info

Publication number
JP7528669B2
JP7528669B2 JP2020158347A JP2020158347A JP7528669B2 JP 7528669 B2 JP7528669 B2 JP 7528669B2 JP 2020158347 A JP2020158347 A JP 2020158347A JP 2020158347 A JP2020158347 A JP 2020158347A JP 7528669 B2 JP7528669 B2 JP 7528669B2
Authority
JP
Japan
Prior art keywords
information
image
processing device
information processing
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020158347A
Other languages
English (en)
Other versions
JP2022052148A (ja
Inventor
唯夫 道村
尚之 榎本
政幸 山口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2020158347A priority Critical patent/JP7528669B2/ja
Priority to US17/163,542 priority patent/US20220092761A1/en
Priority to CN202110228542.4A priority patent/CN114299530A/zh
Publication of JP2022052148A publication Critical patent/JP2022052148A/ja
Application granted granted Critical
Publication of JP7528669B2 publication Critical patent/JP7528669B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/20Design optimisation, verification or simulation
    • G06F30/27Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/32Normalisation of the pattern dimensions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/42Document-oriented image-based pattern recognition based on the type of document
    • G06V30/422Technical drawings; Geographical maps
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00Details relating to CAD techniques
    • G06F2111/12Symbolic schematics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Description

本発明は、情報処理装置及び情報処理プログラムに関する。
特許文献1には、新規の顧客要求に対して、これまでには実績のない製品を含めて設計案を素早く生成し、提示することができる設計支援装置、プログラムおよび設計支援方法を提供することを課題とし、設計支援装置は、従来のシミュレーションや、製品の部品情報データベースを用いた設計支援システムに対して、類似製品の顧客要求も用いて、対象とする製品に対する顧客要求を推定し、推定した顧客要求に応じた要求項目を評価可能な解析モデルを用いてシミュレーションを行い、製品システム設計案を作成し、作成したシステム設計案を設計項目と関連付けておくことが開示されている。
特許文献2には、検査対象物の形状や新たな欠陥モードに柔軟に対処することが可能な外観検査装置を提供することを課題とし、外観検査装置は、基準データセット及び学習データセットに基づいて、正常な製品の画像である第1画像と、比較対象となる製品の画像である第2画像とを、それぞれ異なるデータセットから選択して組を作成するデータ組合せ作成部と、第2画像に対応する製品が正常か又は欠陥が有るかの分類を学習する機械学習装置を備え、機械学習装置は、第1画像及び第2画像の組を環境の現在状態を表す状態変数として観測する状態観測部と、第2画像に付与されたラベルをラベルデータとして取得するラベルデータ取得部と、状態変数と前記ラベルデータとを関連付けて学習する学習部と、を備えることが開示されている。
特許文献3には、3次元モデルから生成された2次元設計図面における各部寸法の記載漏れを検出可能な図面検図支援装置及び図面検図支援方法を提供することを課題とし、図面検図支援装置は、検図対象となる2次元設計図面のベースとなる3次元モデルの作成履歴及び作成履歴毎の属性項目を抽出し、属性項目のうち、検図対象となる2次元設計図面に対して寸法の記載が不要な属性項目を除く属性項目の総数を、検図対象となる2次元設計図面の寸法記載必要数とし、検図対象となる2次元設計図面に記載された寸法の総数である寸法記載実数と比較して、寸法記載実数の過不足有無判定を行い、当該判定結果を出力することが開示されている。
非特許文献1には、回路設計情報をもとに基板の層数をサポートベクタマシンで生成した学習モデルを使って予測し、構造系設計において3Dモデルの部品を自動検出するために、過去の部品との類似度の高いものを部品として検出することが開示されている。
特開2017-084224号公報 特開2019-095217号公報 特開2016-122293号公報
『製品設計における人工知能技術の応用』野崎直行ほか,FUJITSU.67,3,p.58-65(05,2016),https://www.fujitsu.com/jp/documents/about/resources/publications/magazine/backnumber/vol67-3/paper10.pdf
設計段階の検証において、シミュレータを用いることが行われている。しかし、シミュレータは論理的な不具合の発見には適しているが、図面の品質を評価することはできない。そこで、本発明では、図面の品質の評価ができる情報処理装置及び情報処理プログラムを提供することを目的としている。
かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
請求項1の発明は、メモリと一又は複数のプロセッサを備え、前記メモリは、図面に関して、部品特定情報と該図面に関する情報を対応させて記憶しており、前記プロセッサは、図面の画像を受け付け、前記画像から部品特定情報を読み取り、前記メモリから、前記部品特定情報に対応する図面に関する情報を抽出し、前記画像から特徴を抽出し、予め機械学習により図面を評価することを学習した人工知能に対して、前記図面に関する情報と前記特徴を入力して、前記受け付けた図面の品質を評価し、前記図面を評価した結果を表示装置に表示するように制御する、情報処理装置である。
請求項2の発明は、前記メモリは、図面に関する情報として、該図面における品質を示す情報を記憶している、請求項1に記載の情報処理装置である。
請求項3の発明は、前記メモリは、前記図面における品質を示す情報として、該図面の版数、過去に検討を行った人数、開発開始から該図面の検討が終わるまでの日数、該図面の重要度のうち、少なくとも1つ以上を記憶している、請求項2に記載の情報処理装置である。
請求項4の発明は、前記プロセッサは、前記特徴として、部品名、シート番号、全シート数、重複なしの承認者の数のうち、少なくとも1つ以上を抽出する、請求項1に記載の情報処理装置である。
請求項5の発明は、前記プロセッサは、前記受け付けた図面から部品以外の情報を消去し、その後に、該図面の画像からさらに特徴を抽出する、請求項4に記載の情報処理装置である。
請求項6の発明は、前記受け付けた図面は電気回路部品図面であり、前記画像から抽出する特徴として、将来的に実装可能なことを示す表記、電気部品のうち、少なくとも1つ以上を抽出する、請求項5に記載の情報処理装置である。
請求項7の発明は、前記受け付けた画像に対して不要な要素を削除する前処理を施した後の画像を、前記特徴として抽出する、請求項1から6のいずれか一項に記載の情報処理装置である。
請求項8の発明は、前記受け付けた図面が樹脂図面又は板金図面である場合は、前記前処理として、さらに、該図面の画像を正規化する、請求項7に記載の情報処理装置である。
請求項9の発明は、前記受け付けた画像から、前記図面に関する情報に基づいて定まる該画像内に記載された情報を、前記特徴として抽出する、請求項1から6のいずれか一項に記載の情報処理装置である。
請求項10の発明は、メモリと一又は複数のプロセッサを備えたコンピュータの前記メモリは、図面に関して、部品特定情報と該図面に関する情報を対応させて記憶しており、前記プロセッサに、図面の画像を受け付け、前記画像から部品特定情報を読み取り、前記メモリから、前記部品特定情報に対応する図面に関する情報を抽出し、前記画像から特徴を抽出し、予め機械学習により図面を評価することを学習した人工知能に対して、前記図面に関する情報と前記特徴を入力して、前記受け付けた図面の品質を評価し、前記図面を評価した結果を表示装置に表示するように制御する、処理を実行させるための情報処理プログラムである。
請求項1の情報処理装置によれば、図面の品質を評価することができる。
請求項2の情報処理装置によれば、図面に関する情報として、その図面における品質を示す情報を利用することができる。
請求項3の情報処理装置によれば、図面における品質を示す情報として、その図面の版数、過去に検討を行った人数、開発開始からその図面の検討が終わるまでの日数、その図面の重要度のうち、少なくとも1つ以上を利用することができる。
請求項4の情報処理装置によれば、特徴として、部品名、シート番号、全シート数、重複なしの承認者の数のうち、少なくとも1つ以上を抽出することができる。
請求項5の情報処理装置によれば、画像内の不要な要素は、特徴として抽出しないようにすることができる。
請求項6の情報処理装置によれば、電気回路部品図面の場合、将来的に実装可能なことを示す表記、電気部品のうち、少なくとも1つ以上を特徴として抽出することができる。
請求項7の情報処理装置によれば、画像内の不要な要素は、特徴として抽出しないようにすることができる。
請求項8の情報処理装置によれば、正規化した樹脂図面又は板金図面を対象とすることができる。
請求項9の情報処理装置によれば、図面に関する情報に基づいて定まる情報を、特徴として利用することができる。
請求項10の情報処理プログラムによれば、図面の品質を評価することができる。
本実施の形態の構成例についての概念的なモジュール構成図である。 本実施の形態を利用したシステム構成例を示す説明図である。 本実施の形態による処理例を示すフローチャートである。 本実施の形態による処理例を示す説明図である。 図面情報テーブルのデータ構造例を示す説明図である。 用語テーブルのデータ構造例を示す説明図である。 本実施の形態による処理例を示す説明図である。 本実施の形態による処理例を示す説明図である。 図面上のNONASSYの数と回路の複雑さとの関係例を示すグラフである。 本実施の形態による処理例を示す説明図である。 本実施の形態による処理例を示すフローチャートである。
以下、図面に基づき本発明を実現するにあたっての好適な一実施の形態の例を説明する。
図1は、本実施の形態の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア(「ソフトウェア」の解釈として、コンピュータ・プログラムを含む)、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、それらのモジュールとして機能させるためのコンピュータ・プログラム(例えば、コンピュータにそれぞれの手順を実行させるためのプログラム、コンピュータをそれぞれの手段として機能させるためのプログラム、コンピュータにそれぞれの機能を実現させるためのプログラム)、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するという意味である。また、モジュールは機能に一対一に対応していてもよいが、実装においては、1モジュールを1プログラムで構成してもよいし、複数モジュールを1プログラムで構成してもよく、逆に1モジュールを複数プログラムで構成してもよい。また、複数モジュールは1コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって1モジュールが複数コンピュータで実行されてもよい。なお、1つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続(例えば、データの授受、指示、データ間の参照関係、ログイン等)の場合にも用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態にしたがって、又はそれまでの状況・状態にしたがって定まることの意を含めて用いる。「予め定められた値」が複数ある場合は、それぞれ異なった値であってもよいし、2以上の値(「2以上の値」には、もちろんのことながら、全ての値も含む)が同じであってもよい。また、「Aである場合、Bをする」という記載は、「Aであるか否かを判断し、Aであると判断した場合はBをする」の意味で用いる。ただし、Aであるか否かの判断が不要である場合を除く。また、「A、B、C」等のように事物を列挙した場合は、断りがない限り例示列挙であり、その1つのみを選んでいる場合(例えば、Aのみ)を含む。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク(「ネットワーク」には、一対一対応の通信接続を含む)等の通信手段で接続されて構成されるほか、1つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。もちろんのことながら、「システム」には、人為的な取り決めである社会的な「仕組み」(つまり、社会システム)にすぎないものは含まない。
また、各モジュールによる処理毎に又はモジュール内で複数の処理を行う場合はその処理毎に、対象となる情報を記憶装置から読み込み、その処理を行った後に、処理結果を記憶装置に書き出すものである。したがって、処理前の記憶装置からの読み込み、処理後の記憶装置への書き出しについては、説明を省略する場合がある。
本実施の形態である情報処理装置100は、図面の品質を評価する機能を有している。図1の例に示すように、情報処理装置100は、少なくともプロセッサ105、メモリ110を有しており、それらをつないでデータのやりとりをするためのバス198により構成されている。この他に、情報処理装置100は、出力装置185、受付装置190、通信装置195を有していてもよい。そして、バス198を介して、プロセッサ105、メモリ110、出力装置185、受付装置190、通信装置195の間でデータのやりとりが行われる。なお、ここでの図面の品質の評価は、検図そのもの又は検図の一工程として行われる。
なお、図1の例に示すブロック図は、本実施の形態を実現するコンピュータのハードウェア構成例をも示している。本実施の形態としてのプログラムが実行されるコンピュータのハードウェア構成は、図1に例示するようなコンピュータであり、具体的にはパーソナルコンピュータ、サーバーとなり得るコンピュータ等である。具体例として、処理部としてプロセッサ105を用い、記憶装置としてメモリ110を用いている。
プロセッサ105は、1つであってもよいし、複数あってもよい。プロセッサ105として、例えば、CPU(Central Processing Unitの略)、マイクロプロセッサ等を含む。複数のプロセッサ105を用いる場合は、密結合マルチプロセッサ、疎結合マルチプロセッサのいずれの形態であってもよい。例えば、1つのプロセッサ105内に複数のプロセッサ・コアが搭載されていてもよい。さらに、複数のコンピュータを通信路で結んで仮想的に一台のコンピュータのように振る舞わせるシステムとしてもよい。具体例として、疎結合マルチプロセッサであって、クラスタシステム、コンピュータクラスタとして構成してもよい。プロセッサ105は、プログラムメモリ140内のプログラムを実行する。
メモリ110として、例えば、レジスタやキャッシュメモリ等のプロセッサ105内部の半導体メモリを含めてもよいし、RAM(Random Access Memoryの略)やROM(Read Only Memoryの略)等によって構成される主記憶装置であるメインメモリであってもよいし、永続性記憶装置としての機能を有するHDD(Hard Disk Driveの略)やSSD(Solid State Driveの略)の内部記憶装置、CD、DVD、Blu-ray(登録商標) Disc、USBメモリ、メモリーカード等の外部記憶装置又は補助記憶装置であってもよいし、また、通信回線を介して接続されたサーバー等の記憶装置を含めてもよい。
メモリ110は、主にデータを記憶するデータメモリ120と主にプログラムを記憶するプログラムメモリ140を有している。なお、データメモリ120、プログラムメモリ140には、図示している情報、モジュールのプログラムの他、本コンピュータを起動するためのOS等のプログラム、モジュールの実行において適宜変化するパラメータ等のデータが格納されていてもよい。
出力装置185は、例えば、表示装置187、印刷装置189等を有している。液晶ディスプレイ、有機ELディスプレイ、3次元ディスプレイ、プロジェクター等の表示装置187は、プロセッサ105による処理結果、データメモリ120内のデータ等を、テキストやイメージ情報等として表示する。プリンタ、複合機等の印刷装置189は、プロセッサ105による処理結果、データメモリ120内のデータ等を印刷する。また、出力装置185として、スピーカー、機器を振動させるアクチュエータ等を含んでいてもよい。
受付装置190は、例えば、指示受付装置192、文書読取装置194等を有している。キーボード、マウス、マイク、カメラ(視線検知カメラ等を含む)等の指示受付装置192は、これらに対する利用者の操作(動作、音声、視線等を含む)に基づいたデータを受け付ける。
また、タッチスクリーンのように、表示装置187と指示受付装置192の両方の機能を備えているものがあってもよい。その場合、キーボードの機能の実現について、物理的なキーが存在しなくても、タッチスクリーン上にソフトウェアでキーボード(いわゆるソフトウェアキーボード、スクリーンキーボード等ともいわれる)を描画して、キーボードの機能を実現するようにしてもよい。
なお、ユーザーインタフェースとして、主に、表示装置187、指示受付装置192が用いられる。
スキャナ、カメラ等の文書読取装置194は、図面を読み取り又は撮影して、発生する画像データを受け付ける。もちろんのことながら、図面読み取り用のフラットベッドスキャナー、シートスルースキャナー、オーバーヘッドスキャナー等を含む。
通信装置195は、通信回線を介して他の装置と接続するためのネットワークカード等の通信回線インタフェースである。
本実施の形態のうち、コンピュータ・プログラムによるものについては、本ハードウェア構成のプログラムメモリ140にソフトウェアであるコンピュータ・プログラムを読み込ませ、ソフトウェアとハードウェア資源とが協働して、本実施の形態が実現される。つまり、ソフトウェアによる情報処理がハードウェア資源(少なくともプロセッサ105、メモリ110、場合によっては出力装置185、受付装置190、通信装置195を含む)を用いて、本実施の形態が具体的に実現されており、全体として自然法則を利用している。
なお、図1に示すハードウェア構成は、1つの構成例を示すものであり、本実施の形態は、図1に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、プロセッサ105として、GPU(Graphics Processing Unitの略、GPGPU(General-Purpose computing on Graphics Processing Unitsの略)を含む)を用いてもよいし、一部のモジュールの実行を専用のハードウェア(例えば特定用途向け集積回路(具体例として、ASIC(Application Specific Integrated Circuitの略)等がある)や再構成可能な集積回路(具体例として、FPGA(Field-Programmable Gate Arrayの略)等がある)で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続している形態でもよく、さらに図1に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、特に、パーソナルコンピュータの他、携帯情報通信機器(携帯電話、スマートフォン、モバイル機器、ウェアラブルコンピュータ等を含む)、情報家電、ロボット、複写機、ファックス、スキャナ、プリンタ、複合機(スキャナ、プリンタ、複写機、ファックス等のいずれか2つ以上の機能を有している画像処理装置)等に組み込まれていてもよい。
プロセッサ105は、バス198を介してメモリ110、出力装置185、受付装置190、通信装置195と接続されている。プロセッサ105は、プログラムメモリ140内のプログラムである各モジュールの実行シーケンスを記述したコンピュータ・プログラムにしたがった処理を実行する。例えば、指示受付装置192によってユーザーの操作を受け付けたことを契機として、プログラムメモリ140内のその操作に対応するモジュールによる処理を実行し、その処理結果をデータメモリ120に記憶させたり、表示装置187に出力したり、通信装置195を制御して他の装置に送信したりする。
メモリ110は、データメモリ120、プログラムメモリ140を有しており、バス198を介してプロセッサ105、出力装置185、受付装置190、通信装置195と接続されている。
データメモリ120は、図面画像記憶領域122、図面情報記憶領域124、教師データ記憶領域126を有している。
図面画像記憶領域122は、図面画像受付モジュール142によって受け付けられた図面の画像を記憶している。図面の画像は、2値画像であってもよいし、グレースケール画像であってもよいし、カラー画像であってもよい。また、グレースケール画像、カラー画像の場合は、2値画像に変換するようにしてもよい。
図面情報記憶領域124は、図面に関して、部品特定情報とその図面に関する情報を記憶している。
ここで「部品特定情報」は、対象としている図面によって構造を示されている部品を、本情報処理装置によって一意に特定できるようにした情報である。「部品」には、複数の部品から構成されている部品を含み、部品には完成品を含めてもよい。例えば、電気回路部品図面にあっては、1つの基板、ICチップ、システム等が該当し、機械図面にあっては、基本的な部品、複数部品からなる構成、製品等が該当する。部品特定情報は、例えば、部品を、本実施の形態において一意に識別するための部品番号であってもよい。
また「図面に関する情報」は、その図面における品質を示す情報である。より詳しくは、「図面における品質を示す情報」として、その図面の版数、過去に検討を行った人数、開発開始からその図面の検討が終わるまでの日数、その図面の重要度のうち、少なくとも1つ以上である。「図面の版数、過去に検討を行った人数、開発開始から図面の検討が終わるまでの日数、図面の重要度」は、対象としている図面の品質を示す情報である。一般的に長く変更されずに使用されてきた図面、関わったレビューアの数が多い図面、期間が長い図面は品質が高いからである。
教師データ記憶領域126は、評価用人工知能モデルモジュール152を生成するための人工知能の機械学習において、教師データとなる情報を記憶している。なお、予め作成された学習データの他に、評価用人工知能モデルモジュール152によって評価された結果と人間が評価した結果を記憶するようにしてもよい。例えば、評価用人工知能モデルモジュール152によって評価された結果と人間が評価した結果とが異なる場合は、評価用人工知能モデルモジュール152による評価を修正するような学習を行うための学習データを記憶してもよい。
プログラムメモリ140は、図面画像受付モジュール142、前処理モジュール144、部品特定情報読取モジュール146、図面情報抽出モジュール148、特徴抽出モジュール150、評価用人工知能モデルモジュール152、表示制御モジュール154、学習モジュール156を記憶している。
図面画像受付モジュール142は、図面の画像を受け付けて、その画像を他のモジュールへ渡す。画像を受け付けるとは、例えば、スキャナ、カメラ等の文書読取装置194で画像を読み込むこと、ファックス等で通信回線を介して外部機器から画像を受信すること、ハードディスク(コンピュータに内蔵されているものの他に、ネットワークを介して接続されているもの等を含む)等に記憶されている画像を読み出すこと等が含まれる。受け付ける画像は、1枚であってもよいし、複数枚であってもよい。
前処理モジュール144は、図面画像受付モジュール142が受け付けた図面から部品以外の情報を消去する。
ここで「部品以外の情報」は、対象としている図面に表されている部品以外の情報を示しており、例えば、変更点表記、注記、引き出し線、ガイド、枠線、履歴、著作権表記、変更点等がある。
また、前処理モジュール144は、図面画像受付モジュール142が受け付けた図面が樹脂図面又は板金図面である場合は、前処理として、さらに、その図面の画像を正規化するようにしてもよい。
部品特定情報読取モジュール146は、画像から部品特定情報を読み取る。ここでの対象となる画像は、図面画像受付モジュール142が受け付けた画像であってもよいし、前処理モジュール144によって前処理された画像であってもよい。
図面情報抽出モジュール148は、図面情報記憶領域124から、部品特定情報に対応する図面に関する情報を抽出する。
特徴抽出モジュール150は、画像から特徴を抽出する。ここでの対象となる画像は、図面画像受付モジュール142が受け付けた画像であってもよいし、前処理モジュール144によって前処理された画像(前処理モジュール144による処理結果の画像)であってもよい。
また、特徴抽出モジュール150は、特徴として、部品名、シート番号、全シート数、重複なしの承認者の数のうち、少なくとも1つ以上を抽出するようにしてもよい。
また、特徴抽出モジュール150は、対象とする図面が電気回路部品図面である場合、その画像から抽出する特徴として、将来的に実装可能なことを示す表記、電気部品のうち、少なくとも1つ以上を抽出するようにしてもよい。
ここで「将来的に実装可能なことを示す表記」は一般的に「NONASSY表記」と呼ばれており、部品は実装されていないが、スルーホールを備えている部分を示す表記をいう。将来の設計変更に対応できるようにするために設けられることがある。例えば、熟練の設計者は、設計変更時のインパクトを小さくするためにスルーホールを設ける。
また、特徴抽出モジュール150は、図面画像受付モジュール142が受け付けた画像に対して不要な要素を削除する前処理を前処理モジュール144が施した後の画像を、特徴として抽出するようにしてもよい。ここでの「特徴」は、前処理後の画像そのもの(例えば、2値画像等)であってもよいし、その画像から抽出したもの(例えば、部品の認識結果、前の版の図面からの修正箇所等)であってもよい。例えば、図面画像受付モジュール142が受け付けた画像から、図面に関する情報に基づいて定まる、その画像内に記載された情報を、特徴として抽出するようにしてもよい。
図面が樹脂図面又は板金図面である場合は、特徴を図面内の要素の複雑さを示す値としてもよい。さらに具体的には、特徴を「周囲長×周囲長/面積」としてもよい。そして、「周囲長×周囲長/面積」を特徴として用いる場合は、前処理モジュール144が事前に行う「正規化」として、図面のサイズ、解像度の正規化を行う。より具体的には、予め定められたサイズ、解像度に合わせるように、受け付けた図面の画像に対して拡大又は縮小処理を行う。
評価用人工知能モデルモジュール152は、予め機械学習により図面を評価することを学習した人工知能に対して、図面に関する情報と特徴を入力して、図面画像受付モジュール142が受け付けた図面の品質を評価する。
「品質の評価」とは、対象としている図面の完成度を判断することであり、また、逆に、その図面を変更する可能性を判断することとしてもよい。例えば、対象としている図面は、完成図面であること、検討会(レビューとも言われる)が必要であること、修正が必要であること等の判断が行われる。さらに、修正案を提案することを含めてもよい。
表示制御モジュール154は、図面を評価した結果を表示装置187に表示するように制御する。
学習モジュール156は、評価用人工知能モデルモジュール152を生成するために、教師データ記憶領域126内に記憶されている教師データを用いて機械学習を行う。また、評価用人工知能モデルモジュール152の評価の質を高めるために、さらなる機械学習を行うようにしてもよい。例えば、前述したように、評価用人工知能モデルモジュール152によって評価された結果と人間が評価した結果とが異なる場合は、評価用人工知能モデルモジュール152による評価を修正するような学習を行うようにしてもよい。
図2は、本実施の形態を利用したシステム構成例を示す説明図である。
図2(a)は、本実施の形態をスタンドアロン型のシステムとして構築した場合の例を示すものである。
図面読み取り装置等の画像処理装置200は、情報処理装置100を有している。画像処理装置200で読み取られた図面の画像に対して、情報処理装置100は図面として品質の評価を行う。
図2(b)は、本実施の形態をネットワーク型のシステムとして構築した場合の例を示すものである。
情報処理装置100、画像処理装置210a、画像処理装置210b、ユーザー端末250a、ユーザー端末250b、ユーザー端末250cは、通信回線290を介してそれぞれ接続されている。通信回線290は、無線、有線、これらの組み合わせであってもよく、例えば、通信インフラとしてのインターネット、イントラネット等であってもよい。また、情報処理装置100による機能は、クラウドサービスとして実現してもよい。例えば、画像処理装置210で図面を読み取り、ユーザー端末250からのユーザーの指示にしたがって、情報処理装置100はその図面の品質を評価し、その評価結果をユーザー端末250に返信し、ユーザーに表示する。
設計ミスを軽減させるために検図が行われている。検図として、設計経験の豊富な技術者である熟練者によって、機能、性能、強度等について製品として問題が発生しないかの検討が行われている。しかし、少子高齢化と労働人口の減少により、知見の伝承が困難となっている。さらに、成果物の複雑化と多様化により、品質の維持が困難となっている。これらによって、検図工程の重要性が高まっている。
そこで、本実施の形態である情報処理装置100は、人工知能によって図面の品質の評価を行うようにしている。
特に、電気回路部品図面にあっては、以下のような事情がある。
近年は電気回路のシミュレータの発達により、電気ノイズや遅延などの障害を設計段階で算出し事前に対処できるようになってきており、電気回路部品図面の発行後にそういった障害による図面変更の回数は減少している。しかし、シミュレータにかける際の環境設定が煩雑であったり担当者が急いでいたりといった理由で、シミュレータによる検証が充分でなく不具合が発生してしまうことがある。さらに、設計当初の要件からコストダウンなどの理由によって要件が変わったり、コンデンサなどの部品の精度のバラツキが発生したりするようなシミュレータでは検証できない事象による図面変更の発生が増えている。
そこで、事前に電気回路部品図面の変更履歴を学習させたモデルを作成し、新たに設計した電気回路部品図面をスキャンして機械学習で評価することで、その電気回路部品図面の品質を提示し、その品質に応じて人間が詳細に再レビューしたり、シミュレータにかけたりすることができるようになる。
図3は、本実施の形態による処理例を示すフローチャートである。
ステップS302では、図面をスキャンする。
ステップS304では、スキャンした図面に関する情報であるメタデータを入力する。メタデータとして、例えば、図面のフェーズを入力するようにしてもよい。フェーズとして、例えば、ドラフト、発行版、市場導入後等がある。なお、ステップS304の処理は省略してもよい。
ステップS306では、図面の画像を解析する。図面の画像から不要な要素を削除する前処理を行う。また、図面が樹脂図面又は板金図面である場合は、前処理として、さらに、その図面の画像を正規化する。正規化として、図面のサイズの正規化を行う。具体的には、図面のサイズを予め定められたサイズに揃えることであり、例えば、A0サイズになるように拡大又は縮小することである。
ステップS308では、ベクトル化を行う。前処理後の画像に対して、ベクトル化処理を行う。
ステップS310では、エラーが発生しているか否かを判断し、エラーが発生している場合はステップS316へ進み、それ以外の場合はステップS312へ進む。
ステップS312では、人工知能モデルを用いて図面の品質を評価する。
ステップS314では、判定結果を表示する。
ステップS316では、エラーが発生したことの表示を行う。
ステップS318では、前述の熟練者に対して、ステップS312での評価の妥当性評価を依頼する。
ステップS320では、熟練者による妥当性評価があるか否かを判断し、ある場合はステップS322へ進み、それ以外の場合は処理を終了する(ステップS399)。
ステップS322では、妥当性を評価する。熟練者による妥当性評価が、妥当であるとの評価(人工知能モデルによる評価と熟練者による評価が一致している)、妥当ではないとの評価(人工知能モデルによる評価と熟練者による評価は不一致である)、それらの中間等の評価がある。
ステップS324では、人工知能モデルを更新する。ステップS322による評価結果にしたがった機械学習を行う。例えば、熟練者による妥当性評価が妥当であるとの評価の場合は、その評価傾向を強める機械学習、又は、機械学習は行わない(機械学習は不要である)。熟練者による妥当性評価が妥当ではないとの評価の場合は、熟練者による評価に近づけるような機械学習を行わせる。
図4は、本実施の形態による処理例を示す説明図である。
クレンジング処理モジュール440は、図1の例に示す図面画像受付モジュール142、前処理モジュール144、部品特定情報読取モジュール146、図面情報抽出モジュール148、特徴抽出モジュール150に相当する。図面評価AIモジュール460は、図1の例に示す評価用人工知能モデルモジュール152に相当する。出力装置470は、図1の例に示す表示制御モジュール154に相当する。
クレンジング処理モジュール440は、図面情報DB420、用語DB430、図面評価AIモジュール460と接続されている。クレンジング処理モジュール440は、図面画像410を受け付ける。一般に図面上には回路図だけでなく、様々なメタデータや読み取るためのガイドなどが記載されている。
クレンジング処理モジュール440は、図面画像410上の部品番号(部品特定情報の一例)を読み取り、図面情報DB420から、図面画像410に関する情報(例えば、版数(発行された回数)、過去にレビューしたのべ人数、開発が始まってからこの版のレビューが終わるまでの日数、図面の重要度等)を取得し、ベクトルデータとして保存する。ここでのベクトルデータは、図面評価AIモジュール460に入力するデータである。
そして、クレンジング処理モジュール440は、図面画像410上の部品名を読み取り、ベクトルデータとして保存する。
また、クレンジング処理モジュール440は、図面画像410上のシート番号と全シート数を読み取り、ベクトルデータとして保存する。
また、クレンジング処理モジュール440は、図面画像410上の承認欄から承認者のユニーク数(承認者ののべ数ではなく、重複なしの承認者の数)を読み取り、ベクトルデータとして保存する。
また、クレンジング処理モジュール440は、図面画像410上のNONASSY表記、コンデンサ、抵抗、電源、外部コネクタ、結線、スイッチ、ダイオード等の数を計数して、ベクトルデータとして保存する。なお、表記ゆれのための名寄せを含む。具体的には、図面画像410上の用語を文字認識技術で読み取り、認識した用語を用語DB430内の後述する用語テーブル600を用いて統一する。
つまり、クレンジング処理モジュール440は、図面画像410から特徴を抽出するが、その特徴として、ベクトルデータとして前述した部品名、シート番号、全シート数、承認者のユニーク数、NONASSY表記の数、コンデンサの数、抵抗の数、電源の数、外部コネクタの数、結線の数、スイッチの数、ダイオードの数等がある。
また、クレンジング処理モジュール440は、図面画像410上の文字を消去する。
また、クレンジング処理モジュール440は、図面画像410上の変更点表記(例えば、三角マーク等)、注記、引き出し線を消去する。
また、クレンジング処理モジュール440は、図面画像410上のガイド、枠線、履歴、著作権表記、変更点等を消去する。
また、クレンジング処理モジュール440は、図面画像410上の回路以外の情報を消去し、消去処理後の抽出画像450をベクトルデータの一部として保存する。
したがって、ベクトルデータとして、(1)図面画像410内の部品番号を用いて、図面情報DB420から抽出した情報(図面画像410に関する情報)、(2)図面画像410から抽出した特徴、(3)図面画像410から部品以外の情報を消去した後の抽出画像450、がある。なお、(1)と(2)をベクトルデータとし、(3)はベクトルデータに含ませなくてもよい。
図面情報DB420は、用語DB430、クレンジング処理モジュール440と接続されている。図面情報DB420には、例えば、図面情報テーブル500が記憶されている。図5は、図面情報テーブル500のデータ構造例を示す説明図である。図面情報テーブル500は、図面ID欄502、図面名欄504、図面種類欄506、図面サイズ欄508、作成日欄510、作成者欄512、品質情報欄514を有しており、品質情報欄514は、版数欄516、検討者数欄518、検討日数欄520、重要度欄522を有している。図面ID欄502は、本実施の形態において、図面を一意に識別するための情報(具体的には図面ID:IDentificationの略)を記憶している。図面名欄504は、その図面の名前を記憶している。図面種類欄506は、その図面の種類を記憶している。図面種類欄506に記載される情報として、例えば、回路図面、樹脂図面、板金図面等がある。図面サイズ欄508は、その図面のサイズを記憶している。例えば、A0、A1等のサイズがある。作成日欄510は、その図面の作成日を記憶している。作成者欄512は、その図面の作成者を記憶している。品質情報欄514は、その図面の品質情報を記憶している。品質情報として、版数欄516、検討者数欄518、検討日数欄520、重要度欄522、重要度欄522等がある。版数欄516は、その図面の版数を記憶している。検討者数欄518は、その図面を検討した者の人数(過去にレビューしたのべ人数)を記憶している。検討日数欄520は、その図面の検討に要した日数(開発開始日からレビュー完了までの日数としてもよい)を記憶している。重要度欄522は、その図面の重要度を記憶している。なお、図面情報テーブル500は、図1の例では、図面情報記憶領域124に記憶されているデータの例を示している。
用語DB430は、図面情報DB420、クレンジング処理モジュール440と接続されている。用語DB430には、表記ゆれの抑止のために正規化された単語が記憶されている。用語DB430には、例えば、用語テーブル600が記憶されている。図6は、用語テーブル600のデータ構造例を示す説明図である。用語テーブル600は、用語ID欄602、正規化用語欄604、使用用語欄606を有している。用語ID欄602は、本実施の形態において用語を一意に識別するための情報(具体的には、用語ID)を記憶している。正規化用語欄604は、正規化された用語を記憶している。使用用語欄606は、使用されている用語を記憶している。つまり、図面画像410内に記載されている用語(使用用語欄606に記憶されている用語)を、正規化用語欄604に記憶されている用語に置き換えて、用語を統一させる。
図面評価AIモジュール460は、クレンジング処理モジュール440、出力装置470と接続されている。図面評価AIモジュール460は、予め機械学習により図面を評価することを学習した人工知能モデルである。図面評価AIモジュール460にベクトルデータを入力し、図面画像410の品質の評価を行う。
出力装置470は、図面評価AIモジュール460と接続されている。出力装置470は、図面評価AIモジュール460による評価結果を出力する。
図7は、本実施の形態による処理例を示す説明図である。
図7(a)の例に示す図面画像700と図7(b)の例に示す図面画像710は、対象となる電気回路部品図面の画像である。例えば、図面画像700は第1版であり、図面画像710は、図面画像700の修正版(第2版)である。図面画像710には、図面画像700との差異である修正箇所712、修正箇所714がある。
前処理として、対象としている図面と前の版の図面との差異(図面画像710では、修正箇所712、修正箇所714)を特徴として抽出してもよい。
図7(c)の例に示す削除処理後の画像750は、図面画像700から文字等の不要な要素を削除した画像である。なお、削除処理後の画像750には、部品名、シート番号等が記載されている特徴部分752を残している。
図7(d)の例に示す抽出画像790は、削除処理後の画像750から特徴部分752も削除し、図面評価AIモジュール460に入力する画像である。
なお、電気回路部品図面である場合は、前処理である正規化処理として、以下のことを行うようにしてもよい。
(1)対象とする全図面のうち最大サイズの図面の最も細い線を基準に、その線が消えない程度に縮小できる縮小率を算出する。なお、縮小する際に、黒部分を削除せずに、白部分を優先的に削除することで、線の太さを変えずに縮小することも可能である。
(2)縮小した最大サイズの図面のサイズを基準に、各図面の拡大・縮小率を算出する。
例えば、「図面サイズ<縮小した最大サイズ」の場合は、図面サイズの図面を、縮小した最大サイズに拡大する拡大率を算出すればよい。
また、「図面サイズ≧縮小した最大サイズ」の場合は、縮小した最大サイズに図面サイズの図面を縮小する縮小率を算出すればよい。
(3)対象とする全図面を前記の拡大・縮小率を適用して拡大・縮小する。
(4)用語DB430内の用語テーブル600を参照し、部品名を構成する単語を標準的用語に置き換え、プロジェクト名等の用語テーブル600にない単語は削除する。
(5)版数等のメタデータの最大値を決めて、0~1に正規化する。最大値は、予め定められた値であってもよいし、対象とする全図面から最大値を抽出するようにしてもよい。
なお、最大値を超える場合は「1」とする。
図8は、本実施の形態による処理例を示す説明図である。
図8(a)の例に示す図面画像800は、対象となる樹脂図面又は板金図面の画像である。
図8(b)の例に示す抽出画像890は、図面画像800に対して前処理を施し、図面評価AIモジュール460に入力する画像である。
なお、樹脂図面又は板金図面である場合は、前処理である正規化処理として、以下のことを行うようにしてもよい。
(1)前述した電気回路部品図面の「NONASSY表記の数、コンデンサの数、抵抗の数、電源の数、外部コネクタの数、結線の数、スイッチの数、ダイオードの数」の特徴に代えて、「図形の複雑度」を導入する。これら以外は、前述の電気回路部品図面に対する正規化処理と同等の処理を行う。図形の複雑度は、図面の改版回数と相関関係がある。
(2)「図形の複雑度」として、例えば、「周囲長×周囲長/面積」を採用すればよい。「図形の複雑度」として、「周囲長×周囲長/面積」の他に、ハウスドルフ次元、周囲長、領域数、構造等を用いてもよい。なお、ここで「構造」とは、領域間の「含む」、「含まれる」の関係をいう。
また、「周囲長×周囲長/面積」を採用する場合は、前述した電気回路部品図面における図面のサイズの正規化を、樹脂図面又は板金図面に対しても実施する。
なお、電気回路部品図面である場合においても、前述の樹脂図面又は板金図面における「図形の複雑度」を特徴量として含めるようにしてもよい。図形の複雑度は、電気回路部品図面の品質評価においても有用であることが、実験において判明したからである。
どの特徴を図面評価AIモジュール460に入力するかは、図面の種別を判定する必要がある。図面の種別の判定を以下のように行うようにしてもよい。
(1)図面に含まれる情報から推定するようにしてもよい。図面に含まれる情報として、例えば、部品番号、部品名、注記等がある。部品番号について、図面の種別毎の命名規則がある。したがって、部品番号が、電気回路部品図面の命名規則にしたがっているか、樹脂図面又は板金図面の命名規則にしたがっているかを判定することによって、図面の種別を判定することができる。
(2)図面情報DB420内の図面情報テーブル500(具体的には、図面種類欄506)を用いて、判定してもよい。
(3)図面の内容から判定してもよい。例えば、抵抗等の電気部品の要素をパターンマッチング等で抽出できれば、電気回路部品図面と判定してもよい。
(4)複数の特徴から算出した値の妥当性から判定してもよい。例えば、1つも電気部品が実装されていない図面は、電気回路部品図面ではないと判定する等がある。
図9は、図面上のNONASSYの数と回路の複雑さとの関係例を示すグラフである。
一般的に、長く変更されずに使われてきた図面の設計品質は高いことが知られている。
また、電気回路部品図面において、熟練の設計者は、設計変更時のインパクトを最小とするため、NONASSYと呼ばれるスルーホールを回路図に設ける。つまり、設計者は、回路の変更可能性を予測している。例えば、回路が複雑なもの、新規であるもの、適用範囲が広いことを狙った場合は、NONASSYを回路図に設けるようにしている。一方、コスト低減のため部品点数の削減を狙った設計(いわゆる投機的な設計)をする場合もある。
例えば、図面上のNONASSYの数をY軸に、回路の複雑さをX軸とした場合、図9のグラフに示すように最適となるNONASSY数(確率密度)がある。なお、設計期間や採用期間、レビュー量等の他の特徴量が一定の場合に、このグラフは成り立つ。逆に、これらの他の特徴量によってグラフの形態は変化する。
図9の例に示すグラフのX軸の複雑度の計算は以下のように算出する。
複雑度:O((部品数+1)×(結線数+1)×(電源接続数+1)×(外部結線数+1))
例えば、図7の(a)に示した図面画像700では、以下のように算出されることになる。
複雑度:O((3+1)×(14+1)×(4+1)×(4+1)×(6+1))=4
図9の例に示すグラフに適用すると、最適となるNONASSY数は、4~6個となる。ただし、新規設計の場合である。
しかし、図7の(a)に示した図面画像700のNONASSY数は「3」であるため、レビューを実施してNONASSYを増やしておくことが望ましい。
ただし、図面画像700の回路が長年多くの製品群に使われてきた実績があると、一般的に最適NONASSY数は減少する。例えば、NONASSYであった部分にコンデンサ等の部品が実装され、NONASSYではなくなることがある。
図10は、本実施の形態による処理例を示す説明図である。出力装置470による出力例を示すものである。
図10(a)の例に示すように、図面画像410aには、評価結果(文字)1012a、評価結果(図形)1014aを表示する。この例は、対象としている図面の品質が高いと評価された場合の例を示している。
図10(b)の例に示すように、図面画像410bには、評価結果(文字)1012b、評価結果(図形)1014bを表示する。この例は、対象としている図面の品質が低いと評価された場合の例を示している。
なお、図面評価AIモジュール460の評価結果として、「変更可能性」を示しているが、「この図面はレビューをすべきである」等のアドバイスとして出力するようにしてもよい。
図11は、本実施の形態による処理例を示すフローチャートである。この処理例は、学習モジュール156により評価用人工知能モデルモジュール152を生成するものである。例えば、電気回路図面による機械学習の結果を用いて、樹脂図面等の機械学習を行う場合に用いる。
ステップS1102では、図面画像に関するメタデータを入力する。ここでのメタデータには、評価結果を含む。
ステップS1104では、画像を解析する。
ステップS1106では、ベクトル化を実行する。ステップS1104、ステップS1106の処理は、図3の例に示したフローチャートのステップS306、ステップS308の処理と同等である。
ステップS1108では、転移学習を実行する。転移学習は機械学習の一種であり、前述したように、既に機械学習を行った学習モデル(評価用人工知能モデルモジュール152)の知識を適応して、機械学習を行い、新たな学習モデルを生成する。
ステップS1110では、学習モデルを記憶する。
なお、説明したプログラムについては、記録媒体に格納して提供してもよく、また、そのプログラムを通信手段によって提供してもよい。その場合、例えば、前記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通等のために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク(DVD)であって、DVDフォーラムで策定された規格である「DVD-R、DVD-RW、DVD-RAM等」、DVD+RWで策定された規格である「DVD+R、DVD+RW等」、コンパクトディスク(CD)であって、読出し専用メモリ(CD-ROM)、CDレコーダブル(CD-R)、CDリライタブル(CD-RW)等、ブルーレイ・ディスク(Blu-ray(登録商標) Disc)、光磁気ディスク(MO)、フレキシブルディスク(FD)、磁気テープ、ハードディスク、読出し専用メモリ(ROM)、電気的消去及び書換可能な読出し専用メモリ(EEPROM(登録商標))、フラッシュ・メモリ、ランダム・アクセス・メモリ(RAM)、SD(Secure Digitalの略)メモリーカード等が含まれる。
そして、前記のプログラムの全体又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク(LAN)、メトロポリタン・エリア・ネットワーク(MAN)、ワイド・エリア・ネットワーク(WAN)、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、又は無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分若しくは全部であってもよく、又は別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して記録されていてもよい。また、圧縮や暗号化等、復元可能であればどのような態様で記録されていてもよい。
100…情報処理装置
105…プロセッサ
110…メモリ
120…データメモリ
122…図面画像記憶領域
124…図面情報記憶領域
126…教師データ記憶領域
140…プログラムメモリ
142…図面画像受付モジュール
144…前処理モジュール
146…部品特定情報読取モジュール
148…図面情報抽出モジュール
150…特徴抽出モジュール
152…評価用人工知能モデルモジュール
154…表示制御モジュール
156…学習モジュール
185…出力装置
187…表示装置
189…印刷装置
190…受付装置
192…指示受付装置
194…文書読取装置
195…通信装置
198…バス
200…画像処理装置
210…画像処理装置
250…ユーザー端末
290…通信回線
410…図面画像
420…図面情報DB
430…用語DB
440…クレンジング処理モジュール
450…抽出画像
460…図面評価AIモジュール
470…出力装置

Claims (10)

  1. メモリと一又は複数のプロセッサを備え、
    前記メモリは、図面に関して、部品特定情報と該図面に関する情報を対応させて記憶しており、
    前記プロセッサは、
    図面の画像を受け付け、
    前記画像から部品特定情報を読み取り、
    前記メモリから、前記部品特定情報に対応する図面に関する情報を抽出し、
    前記画像から特徴を抽出し、
    予め機械学習により図面を評価することを学習した人工知能に対して、前記図面に関する情報と前記特徴を入力して、前記受け付けた図面の品質を評価し、
    前記図面を評価した結果を表示装置に表示するように制御する、
    情報処理装置。
  2. 前記メモリは、
    図面に関する情報として、該図面における品質を示す情報を記憶している、
    請求項1に記載の情報処理装置。
  3. 前記メモリは、
    前記図面における品質を示す情報として、該図面の版数、過去に検討を行った人数、開発開始から該図面の検討が終わるまでの日数、該図面の重要度のうち、少なくとも1つ以上を記憶している、
    請求項2に記載の情報処理装置。
  4. 前記プロセッサは、
    前記特徴として、部品名、シート番号、全シート数、重複なしの承認者の数のうち、少なくとも1つ以上を抽出する、
    請求項1に記載の情報処理装置。
  5. 前記プロセッサは、
    前記受け付けた図面から部品以外の情報を消去し、その後に、該図面の画像からさらに特徴を抽出する、
    請求項4に記載の情報処理装置。
  6. 前記受け付けた図面は電気回路部品図面であり、
    前記画像から抽出する特徴として、将来的に実装可能なことを示す表記、電気部品のうち、少なくとも1つ以上を抽出する、
    請求項5に記載の情報処理装置。
  7. 前記受け付けた画像に対して不要な要素を削除する前処理を施した後の画像を、前記特徴として抽出する、
    請求項1から6のいずれか一項に記載の情報処理装置。
  8. 前記受け付けた図面が樹脂図面又は板金図面である場合は、前記前処理として、さらに、該図面の画像を正規化する、
    請求項7に記載の情報処理装置。
  9. 前記受け付けた画像から、前記図面に関する情報に基づいて定まる該画像内に記載された情報を、前記特徴として抽出する、
    請求項1から6のいずれか一項に記載の情報処理装置。
  10. メモリと一又は複数のプロセッサを備えたコンピュータの前記メモリは、
    図面に関して、部品特定情報と該図面に関する情報を対応させて記憶しており、
    前記プロセッサに、
    図面の画像を受け付け、
    前記画像から部品特定情報を読み取り、
    前記メモリから、前記部品特定情報に対応する図面に関する情報を抽出し、
    前記画像から特徴を抽出し、
    予め機械学習により図面を評価することを学習した人工知能に対して、前記図面に関する情報と前記特徴を入力して、前記受け付けた図面の品質を評価し、
    前記図面を評価した結果を表示装置に表示するように制御する、
    処理を実行させるための情報処理プログラム。
JP2020158347A 2020-09-23 2020-09-23 情報処理装置及び情報処理プログラム Active JP7528669B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020158347A JP7528669B2 (ja) 2020-09-23 2020-09-23 情報処理装置及び情報処理プログラム
US17/163,542 US20220092761A1 (en) 2020-09-23 2021-01-31 Information processing apparatus and non-transitory computer readable medium
CN202110228542.4A CN114299530A (zh) 2020-09-23 2021-03-02 信息处理装置及计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020158347A JP7528669B2 (ja) 2020-09-23 2020-09-23 情報処理装置及び情報処理プログラム

Publications (2)

Publication Number Publication Date
JP2022052148A JP2022052148A (ja) 2022-04-04
JP7528669B2 true JP7528669B2 (ja) 2024-08-06

Family

ID=80741674

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020158347A Active JP7528669B2 (ja) 2020-09-23 2020-09-23 情報処理装置及び情報処理プログラム

Country Status (3)

Country Link
US (1) US20220092761A1 (ja)
JP (1) JP7528669B2 (ja)
CN (1) CN114299530A (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010113396A (ja) 2008-11-04 2010-05-20 Fujitsu Ltd 進捗管理プログラム、進捗管理装置、および進捗管理方法
JP2014199483A (ja) 2013-03-29 2014-10-23 日本電気株式会社 進捗度算出装置、進捗度算出方法及びプログラム
WO2020017875A1 (en) 2018-07-17 2020-01-23 Samsung Electronics Co., Ltd. Electronic apparatus, method for processing image and computer-readable recording medium
JP2020095553A (ja) 2018-12-14 2020-06-18 東京電力ホールディングス株式会社 図面検査システム、図面検査装置、図面検査方法、およびプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10410412B2 (en) * 2015-05-29 2019-09-10 Hover Inc. Real-time processing of captured building imagery
JP6693938B2 (ja) * 2017-11-17 2020-05-13 ファナック株式会社 外観検査装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010113396A (ja) 2008-11-04 2010-05-20 Fujitsu Ltd 進捗管理プログラム、進捗管理装置、および進捗管理方法
JP2014199483A (ja) 2013-03-29 2014-10-23 日本電気株式会社 進捗度算出装置、進捗度算出方法及びプログラム
WO2020017875A1 (en) 2018-07-17 2020-01-23 Samsung Electronics Co., Ltd. Electronic apparatus, method for processing image and computer-readable recording medium
JP2020095553A (ja) 2018-12-14 2020-06-18 東京電力ホールディングス株式会社 図面検査システム、図面検査装置、図面検査方法、およびプログラム

Also Published As

Publication number Publication date
US20220092761A1 (en) 2022-03-24
JP2022052148A (ja) 2022-04-04
CN114299530A (zh) 2022-04-08

Similar Documents

Publication Publication Date Title
US20170316066A1 (en) Concept-based analysis of structured and unstructured data using concept inheritance
JP6653929B1 (ja) 自動判別処理装置、自動判別処理方法、検査システム、プログラム、および記録媒体
JP2019212115A (ja) 検査装置、検査方法、プログラム及び学習装置
US11972490B2 (en) Determining a category of a request by word vector representation of a natural language text string with a similarity value
Kanungo et al. Estimating degradation model parameters using neighborhood pattern distributions: An optimization approach
CN113673294B (zh) 文献关键信息的提取方法、装置、计算机设备和存储介质
JP7528669B2 (ja) 情報処理装置及び情報処理プログラム
US11663761B2 (en) Hand-drawn diagram recognition using visual arrow-relation detection
US20230306193A1 (en) Information processing apparatus, non-transitory computer readable medium, and method for processing information
CN117859122A (zh) 包括用于自动化文档处理的技术的ai增强的审计平台
JP6768750B2 (ja) 学習方法、誤り判定方法、学習システム、誤り判定システム、およびプログラム
US7788643B2 (en) Method and apparatus for supporting verification of hardware and software, and computer product
JP5343644B2 (ja) テスト項目表生成プログラム及びテスト項目表生成方法
JP7536269B1 (ja) 図面処理装置、及び、図面処理方法
JP2022003446A (ja) 情報処理装置
JP6736742B1 (ja) 帳票処理プログラム、帳票処理装置、帳票処理方法
JP7465025B1 (ja) 情報処理装置、推論装置、機械学習装置、情報処理方法、推論方法、及び、機械学習方法
US11574490B2 (en) Information processing apparatus and non-transitory computer readable medium storing information processing program
JP7584073B2 (ja) 画像判定装置、画像判定方法、及び、プログラム
JP7484236B2 (ja) 情報処理装置及び情報処理プログラム
CN112861757B (zh) 基于文本语义理解的笔录智能审核方法及电子设备
US20240233426A9 (en) Method of classifying a document for a straight-through processing
JP7456289B2 (ja) 判定プログラム、判定方法および情報処理装置
WO2024214705A1 (ja) 画像処理装置、画像処理方法及びプログラム
JP2019021037A (ja) ソースコード評価装置、ソースコード評価方法及びソースコード評価プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230830

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240606

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240625

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240708

R150 Certificate of patent or registration of utility model

Ref document number: 7528669

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150