JP5930405B2 - Inspection system, inspection method and terminal - Google Patents

Inspection system, inspection method and terminal Download PDF

Info

Publication number
JP5930405B2
JP5930405B2 JP2013131677A JP2013131677A JP5930405B2 JP 5930405 B2 JP5930405 B2 JP 5930405B2 JP 2013131677 A JP2013131677 A JP 2013131677A JP 2013131677 A JP2013131677 A JP 2013131677A JP 5930405 B2 JP5930405 B2 JP 5930405B2
Authority
JP
Japan
Prior art keywords
inspection
image
terminal
inspection object
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013131677A
Other languages
Japanese (ja)
Other versions
JP2015005700A (en
Inventor
道子 清水
道子 清水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Fielding Ltd
Original Assignee
NEC Fielding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Fielding Ltd filed Critical NEC Fielding Ltd
Priority to JP2013131677A priority Critical patent/JP5930405B2/en
Publication of JP2015005700A publication Critical patent/JP2015005700A/en
Application granted granted Critical
Publication of JP5930405B2 publication Critical patent/JP5930405B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Supply And Installment Of Electrical Components (AREA)

Description

本発明は、検査システム、検査方法及び端末に関する。特に、回路基板等の実装状態を検査する検査システム、検査方法及び端末に関する。   The present invention relates to an inspection system, an inspection method, and a terminal. In particular, the present invention relates to an inspection system, an inspection method, and a terminal for inspecting a mounting state of a circuit board or the like.

電子機器に不具合が認められる場合に、故障(障害)の原因を調べる保守管理作業が行われる。故障原因は、装置の使用環境(例えば、装置への電源供給)等の外部要因である場合と、装置自身に原因が存在する場合と、が存在する。故障原因が、装置の回路基板や部品である場合には、さらに、回路基板や部品のいずれの箇所に不具合が存在するかについて調査がなされる。その際の調査では、作業員が、回路基板や部品の外観を確認し、誤った部品が実装されていないか、又は、何らかの原因により回路パターンが切断されていないか、等を確認する。作業員は、回路基板や部品の実装図、外観図、又は写真等を入手し、故障が疑われる回路基板や部品及びその周辺を目視することで、保守管理作業を行う。なお、作業員が用いる保守管理に用いる資料には、実装図、外観図に加え、保守管理用のマニュアルやハンドブック等がある。   When an electronic device is found to be defective, maintenance management work is performed to investigate the cause of the failure (failure). There are cases where the cause of the failure is an external factor such as a use environment of the device (for example, power supply to the device) and a case where the cause exists in the device itself. When the cause of the failure is a circuit board or a component of the apparatus, an investigation is further made as to which part of the circuit board or the component is defective. In the investigation at that time, the worker confirms the external appearance of the circuit board and the component, and confirms whether an incorrect component is mounted or the circuit pattern is not cut for some reason. An operator obtains a circuit board or component mounting drawing, an external view, a photograph, or the like, and performs maintenance management work by visually observing the circuit board or component suspected of failure and its surroundings. Materials used for maintenance management used by workers include a maintenance management manual and handbook in addition to the mounting diagram and the external view.

特許文献1において、光源と、光源からの光を集光するコンデンサレンズと、被検査物(検査対象)が搭載される戴物台と、拡大レンズと、拡大レンズで拡大された光源を反射する反射鏡と、反射鏡で反射された光源を写し出すスクリーンと、を備える形状検査用投影機が開示されている。特許文献1が開示する形状検査用投影機では、戴物台と拡大レンズの間にマスター形状図を挿入し、スクリーンに写し出される被検査物とそのマスター形状図を比較することで、形状検査を実現している。   In Patent Document 1, a light source, a condenser lens that collects light from the light source, a table on which an object to be inspected (inspection target) is mounted, a magnifying lens, and a light source magnified by the magnifying lens are reflected. A shape inspection projector including a reflecting mirror and a screen that projects a light source reflected by the reflecting mirror is disclosed. In the shape inspection projector disclosed in Patent Document 1, a master shape drawing is inserted between the table and the magnifying lens, and the shape to be inspected is compared with the inspection object projected on the screen and the master shape drawing. Realized.

特許文献2において、部品が実装される前の部品未搭載画像を記憶部に記憶し、部品が実装された後の基板においてその部品の位置に対応する部品搭載画像とその部品に対応する部品未搭載画像とを比較し、部品の実装状態の良否を判定する実装部品検査装置が開示されている。   In Patent Document 2, a component non-mounting image before mounting a component is stored in a storage unit, and a component mounting image corresponding to the position of the component on the substrate after the component is mounted and a component not corresponding to the component are not stored. There is disclosed a mounted component inspection apparatus that compares a mounted image and determines whether or not a component is mounted properly.

実開昭61−170009号公報Japanese Utility Model Publication No. 61-170009 特開平11−017400号公報JP-A-11-017400

なお、上記先行技術文献の各開示を、本書に引用をもって繰り込むものとする。以下の分析は、本発明者らによってなされたものである。   Each disclosure of the above prior art document is incorporated herein by reference. The following analysis was made by the present inventors.

上述のように、作業員は、回路基板や部品の実装図、外観図、又は写真等を入手し、作業員が、故障が疑われる回路基板や部品及びその周辺を視認する。その際、故障している装置に含まれる全ての回路基板や部品の実装状態や外観が示される図面、写真から、故障原因を調査するために必要な図面、写真等を絞り込む作業が行われる。従って、このような保守管理作業では、故障している装置に含まれる全ての回路基板や部品の実装図面等を予め用意しておく必要があり、実装図面等の入手に労力(コスト)を要する。さらに、入手した実装図面等と、故障が疑われる装置に実装されている回路基板や部品等と、詳細に比較することで故障原因の特定を行うため、作業者の多大な労力を必要とする。   As described above, the worker obtains a circuit board or component mounting drawing, an external view, a photograph, or the like, and the worker visually recognizes the circuit board or component suspected of failure and its surroundings. At that time, an operation for narrowing down the drawings and photographs necessary for investigating the cause of the failure from the drawings and photographs showing the mounting state and appearance of all the circuit boards and components included in the failed device is performed. Therefore, in such maintenance management work, it is necessary to prepare in advance the mounting drawings of all circuit boards and components included in the failed device, and labor (cost) is required to obtain the mounting drawings. . In addition, the cause of the failure is identified by comparing the obtained mounting drawings and the like with the circuit boards and components mounted on the device suspected of failure, requiring a great deal of labor. .

本発明は、故障原因を容易に特定できることに寄与する検査システム、検査方法及び端末を提供することを目的とする。   An object of the present invention is to provide an inspection system, an inspection method, and a terminal that contribute to easily identifying the cause of a failure.

本発明の第1の視点によれば、検査対象を識別する検査対象識別情報を入力する入力部、画像を投射する投射部、を備える端末と、前記端末と接続され、前記検査対象識別情報と、検査対象に関する検査画像と、を1つのレコードとして関連付けて保存するデータベースにアクセスする情報処理装置と、を含み、前記端末は、前記検査対象識別情報を前記情報処理装置に送信し、前記情報処理装置は、前記データベースから、受信した前記検査対象識別情報に対応する前記検査画像を検索すると共に、前記検索された検査画像を前記端末に送信し、前記端末は、受信した前記検査画像を投射し、前記データベースは、前記検査対象識別情報と、前記検査画像と、検査対象の外形情報と、を1つのレコードとして関連付けて保存し、前記情報処理装置は、前記検査画像と共に、前記外形情報を前記端末に送信し、前記端末は、前記検査画像を投射する際の倍率を、前記外形情報に基づき決定する、検査システムが提供される。 According to a first aspect of the present invention, a terminal including an input unit for inputting inspection target identification information for identifying an inspection target, a projection unit for projecting an image, and connected to the terminal, the inspection target identification information and An information processing device that accesses a database that stores the inspection image related to the inspection object in association with each other as a record, and the terminal transmits the inspection object identification information to the information processing device, and device, from the database, the search for the inspection image corresponding to the received said object identification information, and sends the retrieved inspection image to the terminal, the terminal, and projects the inspection image received The database stores the inspection object identification information, the inspection image, and the inspection object outline information in association with each other as one record, and stores the information processing. Apparatus, together with the inspection image, and sends the profile information to the terminal, the terminal, the magnification at the time of projecting the test image, determining based on the external shape information, the inspection system is provided.

本発明の第2の視点によれば、検査対象を識別する検査対象識別情報を入力する端末と、前記端末と接続され、前記端末から受け付けた画像を投射する投射装置と、前記端末と接続され、前記検査対象識別情報と、検査対象に関する検査画像と、検査対象の外形情報と、を1つのレコードとして関連付けて保存するデータベースにアクセスする情報処理装置と、を含み、前記端末は、前記検査対象識別情報を前記情報処理装置に送信し、前記情報処理装置は、前記データベースから、受信した前記検査対象識別情報に対応する前記検査画像を検索すると共に、前記検索された検査画像を前記端末に送信し、前記端末は、受信した前記検査画像を前記投射装置に送信し、前記投射装置は、受信した前記検査画像を投射する際の倍率を、前記外形情報に基づき決定する、検査システムが提供される。 According to a second aspect of the present invention, a terminal that inputs inspection object identification information for identifying an inspection object, a projection apparatus that is connected to the terminal and projects an image received from the terminal, and the terminal are connected. An information processing device that accesses a database that stores the inspection object identification information, the inspection image related to the inspection object, and the outer shape information of the inspection object in association with each other, and the terminal includes the inspection object The identification information is transmitted to the information processing apparatus, and the information processing apparatus retrieves the inspection image corresponding to the received inspection object identification information from the database and transmits the retrieved inspection image to the terminal. and, wherein the terminal transmits the test image received in the projection apparatus, the projection device, the magnification at the time of projecting the test image received, said outer Determined based on the distribution, the inspection system is provided.

本発明の第3の視点によれば、端末に検査対象を識別する検査対象識別情報を入力する工程と、前記検査対象識別情報と、検査対象に関する検査画像と、検査対象の外形情報と、を1つのレコードとして関連付けて保存するデータベースから、前記検査対象識別情報に対応する前記検査画像を検索する工程と、前記端末が、前記検索された検査画像を投射する工程と、を含み、前記端末は、前記検査画像を投射する際の倍率を、前記外形情報に基づき決定する、検査方法が提供される。
なお、本方法は、情報を入力する端末という、特定の機械に結びつけられている。
According to a third aspect of the present invention, a step of inputting inspection object identification information for identifying an inspection object to a terminal, the inspection object identification information, an inspection image related to the inspection object, and outer shape information of the inspection object , from a database stored in association as a single record, the steps of searching for the inspection image corresponding to said object identification information, the terminal, looking contains and a step for projecting the retrieved inspection image, the terminal is the magnification at the time of projecting the test image is determined based on the contour information, search査方method is provided.
Note that this method is associated with a specific machine called a terminal for inputting information.

本発明の第4の視点によれば、検査対象を識別する検査対象識別情報を入力する入力部と、画像を投射する投射部と、前記検査対象識別情報と、検査対象に関する検査画像と、検査対象の外形情報と、を1つのレコードとして関連付けて保存するデータベースが構築された記憶部と、を備え、前記データベースから、入力された前記検査対象識別情報に対応する前記検査画像を検索すると共に、前記検索された検査画像を投射し、前記検査画像を投射する際の倍率を、前記外形情報に基づき決定する、端末が提供される。

According to the fourth aspect of the present invention, an input unit that inputs inspection object identification information for identifying an inspection object, a projection unit that projects an image, the inspection object identification information, an inspection image related to the inspection object, and an inspection A storage unit in which a database for storing the target external shape information in association with one record is constructed, and searching the inspection image corresponding to the input inspection target identification information from the database, A terminal is provided that projects the retrieved inspection image and determines a magnification for projecting the inspection image based on the outer shape information .

本発明の各視点によれば、故障原因を容易に特定できることに寄与する検査システム、検査方法及び端末が、提供される。   According to each aspect of the present invention, an inspection system, an inspection method, and a terminal that contribute to easily specifying the cause of a failure are provided.

一実施形態の概要を説明するための図である。It is a figure for demonstrating the outline | summary of one Embodiment. 第1の実施形態に係る検査システム10の構成の一例を示す図である。It is a figure showing an example of composition of inspection system 10 concerning a 1st embodiment. 携帯端末11の内部構成の一例を示す図である。2 is a diagram illustrating an example of an internal configuration of a mobile terminal 11. FIG. 情報処理装置12の内部構成の一例を示す図である。2 is a diagram illustrating an example of an internal configuration of an information processing device 12. FIG. 画像データベースに格納された情報の一例を示す図である。It is a figure which shows an example of the information stored in the image database. 情報処理装置12の動作の一例を示すフローチャートである。3 is a flowchart illustrating an example of an operation of the information processing apparatus 12. 検査システム10の動作の一例を示すシーケンス図である。4 is a sequence diagram showing an example of the operation of the inspection system 10. FIG. 検査対象と、検査対象に投射された検査画像の一例を示す図である。It is a figure which shows an example of a test | inspection object and a test | inspection image projected on the test | inspection object. 画像データベースに格納された情報の一例を示す図である。It is a figure which shows an example of the information stored in the image database. 第1の変形例に係る検査システム10bの構成の一例を示す図である。It is a figure which shows an example of a structure of the test | inspection system 10b which concerns on a 1st modification.

初めに、図1を用いて一実施形態の概要について説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、この概要の記載はなんらの限定を意図するものではない。   First, an outline of an embodiment will be described with reference to FIG. Note that the reference numerals of the drawings attached to the outline are attached to the respective elements for convenience as an example for facilitating understanding, and the description of the outline is not intended to be any limitation.

紙資料の図面等を用いた保守管理では、実際の装置と図面との違い、縮尺の違い、離れた位置の両者を見比べる必要がある等に起因し、作業者の熟練度によっては、故障原因の特定に多大な労力を要することがある。そのため、故障原因を容易に特定できることに寄与する検査システムが望まれる。   In maintenance management using drawings of paper materials, it is necessary to compare both actual equipment and drawings, differences in scale, and remote locations. It may take a great deal of effort to identify. Therefore, an inspection system that contributes to easily identifying the cause of failure is desired.

そこで、一例として図1に示す検査システム100を提供する。検査システム100は、検査対象を識別する検査対象識別情報を入力する入力部101、画像を投射する投射部102、を備える端末103と、端末103と接続され、検査対象識別情報と、検査対象に関する検査画像と、を1つのレコードとして関連付けて保存するデータベースにアクセスする情報処理装置104と、を含む。端末103は、検査対象識別情報を情報処理装置104に送信し、情報処理装置104は、データベースから、受信した検査対象識別情報に対応する検査画像を検索すると共に、検索された検査画像を端末103に送信する。端末103は、受信した検査画像を、投射部102を用いて、検査対象に投射する。   Therefore, an inspection system 100 shown in FIG. 1 is provided as an example. The inspection system 100 is connected to a terminal 103 including an input unit 101 for inputting inspection object identification information for identifying an inspection object and a projection unit 102 for projecting an image, and relates to the inspection object identification information and the inspection object. And an information processing apparatus 104 that accesses a database that stores the inspection image in association with each other as one record. The terminal 103 transmits the inspection object identification information to the information processing apparatus 104, and the information processing apparatus 104 searches the database for an inspection image corresponding to the received inspection object identification information, and the retrieved inspection image is transmitted to the terminal 103. Send to. The terminal 103 projects the received inspection image onto the inspection target using the projection unit 102.

検査システム100の運用において、検査対象の表面に検査画像を投射することで、故障が疑われる検査対象と、故障が存在しない検査画像(正常画像)の比較ができる。その結果、作業者は、両者の異なる部分が故障箇所(誤実装等)であると容易に特定できる。つまり、熟練した作業員ではなくとも、容易に、故障が疑われる回路基板、部品の実装状態を確認することができる。あるいは、故障が存在する検査画像(故障画像)と検査対象を比較することで、検査対象に特定の故障が生じているか否かを判定することもできる。   In the operation of the inspection system 100, by projecting the inspection image onto the surface of the inspection object, it is possible to compare the inspection object suspected of failure with the inspection image (normal image) in which no failure exists. As a result, the operator can easily specify that the different part is a fault location (misinstalled, etc.). That is, even a skilled worker can easily check the mounting state of a circuit board or a component suspected of having a failure. Alternatively, it is possible to determine whether or not a specific failure has occurred in the inspection object by comparing the inspection object with the inspection image (failure image) in which the failure exists.

以下に具体的な実施の形態について、図面を参照してさらに詳しく説明する。   Hereinafter, specific embodiments will be described in more detail with reference to the drawings.

[第1の実施形態]
第1の実施形態について、図面を用いてより詳細に説明する。
[First Embodiment]
The first embodiment will be described in more detail with reference to the drawings.

図2は、第1の実施形態に係る検査システム10の構成の一例を示す図である。検査システム10は、携帯端末11と、情報処理装置12と、を含んで構成される。   FIG. 2 is a diagram illustrating an example of the configuration of the inspection system 10 according to the first embodiment. The inspection system 10 includes a mobile terminal 11 and an information processing device 12.

図2に示す携帯端末11と情報処理装置12はそれぞれ、通信機能を備えている。通信機能は、事業者が提供する回線網、有線又は無線のLAN(Local Area Network)、その他の手段により形成されたインターネット等のネットワークに接続する機能や、近赤外線等を用いた相互通信を実現する機能である。あるいは、携帯端末11と情報処理装置12の間は、USB(Universal Serial Bus)メモリ等の記憶媒体によるデータの入出力が可能に構成され、記憶媒体を用いて装置間のデータ授受を実現してもよい。   Each of the mobile terminal 11 and the information processing apparatus 12 illustrated in FIG. 2 has a communication function. The communication function realizes the function to connect to networks such as the Internet formed by the network provided by the operator, wired or wireless LAN (Local Area Network), and other means, and mutual communication using near infrared rays etc. It is a function to do. Alternatively, the portable terminal 11 and the information processing apparatus 12 are configured to be able to input and output data using a storage medium such as a USB (Universal Serial Bus) memory, and implement data exchange between the apparatuses using the storage medium. Also good.

図2に示す検査システム10において、作業員は、検査対象である回路基板201の保守管理(故障原因の特定、不具合の回復等)を行うものとする。なお、検査対象とは、故障が疑われる(不完全な機能が存在する)、又は、実装状態の確認が必要な、回路基板や部品等である。   In the inspection system 10 shown in FIG. 2, it is assumed that an operator performs maintenance management (identification of the cause of failure, recovery of failure, etc.) of the circuit board 201 to be inspected. Note that the inspection target is a circuit board, a component, or the like that is suspected of having a failure (has an incomplete function) or that requires confirmation of a mounting state.

初めに、各装置の詳細を説明するに先立ち、検査システム10の動作の概略について説明する。   First, before explaining the details of each device, an outline of the operation of the inspection system 10 will be described.

作業員は、検査対象を識別するための情報(以下、検査対象識別情報と表記する)を、携帯端末11に入力する。検査対象識別情報には、例えば、故障が疑われる回路基板、部品を識別する名称、型番等が考えられる。あるいは、検査対象識別情報は、実装状態を確認したい部品等の総称であってもよい。例えば、回路基板201に使用されているコネクタの実装状態を集中的に確認したい場合には、検査対象識別情報として、「回路基板201のコネクタ群」のように指定することもできる。   The worker inputs information for identifying the inspection object (hereinafter referred to as inspection object identification information) to the mobile terminal 11. The inspection target identification information may be, for example, a circuit board suspected of failure, a name for identifying a component, a model number, or the like. Alternatively, the inspection target identification information may be a generic name for components and the like whose mounting state is to be confirmed. For example, when it is desired to intensively check the mounting state of the connectors used on the circuit board 201, the inspection target identification information can be designated as “connector group of the circuit board 201”.

携帯端末11は、検査対象識別情報の入力を受けると、当該検査対象識別情報を情報処理装置12に送信する。情報処理装置12は、携帯端末11が送信する検査対象識別情報を受信する。情報処理装置12は、検査対象識別情報に基づいて、検査対象である回路基板201に関する画像(後述する検査画像)を、データベースから検索する。情報処理装置12は、データベースから検索された結果である検査画像を含む情報を携帯端末11に送信する。   When receiving the inspection object identification information, the portable terminal 11 transmits the inspection object identification information to the information processing apparatus 12. The information processing apparatus 12 receives the inspection target identification information transmitted from the mobile terminal 11. Based on the inspection object identification information, the information processing apparatus 12 searches the database for an image (an inspection image described later) relating to the circuit board 201 that is the inspection object. The information processing apparatus 12 transmits information including the inspection image that is the result retrieved from the database to the mobile terminal 11.

携帯端末11は、回路基板201に関する検査画像を、内蔵するプロジェクタ機能を用いて、回路基板201上に投射する。作業者は、回路基板201と、回路基板201上に投射された検査画像と、を比較し、故障箇所の特定や、回路基板201の実装状態を確認する。   The portable terminal 11 projects an inspection image relating to the circuit board 201 onto the circuit board 201 using a built-in projector function. The operator compares the circuit board 201 with the inspection image projected on the circuit board 201 to identify the fault location and confirm the mounting state of the circuit board 201.

図3は、携帯端末11の内部構成の一例を示す図である。図3を参照すると、携帯端末11は、通信部21と、表示部22と、入力部23と、制御部24と、電源部25と、記憶部26と、投射部27と、を含んで構成される。   FIG. 3 is a diagram illustrating an example of the internal configuration of the mobile terminal 11. Referring to FIG. 3, the mobile terminal 11 includes a communication unit 21, a display unit 22, an input unit 23, a control unit 24, a power supply unit 25, a storage unit 26, and a projection unit 27. Is done.

通信部21は、作業員により入力部23から入力された検査対象識別情報を、制御部24の指示により、情報処理装置12に送信する手段である。通信部21は、情報処理装置12が送信する情報を受信する手段でもある。   The communication unit 21 is means for transmitting the inspection object identification information input from the input unit 23 by the worker to the information processing apparatus 12 according to an instruction from the control unit 24. The communication unit 21 is also means for receiving information transmitted by the information processing apparatus 12.

表示部22は、制御部24の指示により、作業員により入力された検査対象識別情報、情報処理装置12から受け付けた情報等を表示する手段である。入力部23は、例えば、キーボード、タッチパネル、ボタン等を含んで構成され、作業員からの情報入力を受け付ける手段である。   The display unit 22 is means for displaying the inspection object identification information input by the worker, information received from the information processing apparatus 12, and the like according to instructions from the control unit 24. The input unit 23 includes, for example, a keyboard, a touch panel, buttons, and the like, and is means for receiving information input from a worker.

制御部24は、携帯端末11の各部(通信部21等)を制御する。制御部24は、入力部23が受け付けた内容に応じて、各部を制御する。電源部25は、携帯端末11の各部(通信部21等)に電源を供給し、各部を動作可能とする。なお、図3において、電源部25から各部に電源を供給するための電源配線の図示は省略している。   The control unit 24 controls each unit (communication unit 21 or the like) of the mobile terminal 11. The control unit 24 controls each unit according to the content received by the input unit 23. The power supply unit 25 supplies power to each unit (communication unit 21 or the like) of the mobile terminal 11 so that each unit can operate. In FIG. 3, illustration of power supply wiring for supplying power from the power supply unit 25 to each unit is omitted.

記憶部26は、制御部24によりアクセスされ、携帯端末11の動作に必要な種々のデータを記憶する、又は、出力する手段である。   The storage unit 26 is a unit that is accessed by the control unit 24 and stores or outputs various data necessary for the operation of the mobile terminal 11.

投射部27は、光源301と、コンデンサレンズ302と、映像生成部303と、投影レンズ304と、を含んで構成されている。投射部27は、データバス28を介して制御部24から供給される画像データを取得し、画像を投射する手段である。制御部24から供給される画像には、情報処理装置12から取得した検査画像や、記憶部26に格納されている各種情報に対応する画像を含む。   The projection unit 27 includes a light source 301, a condenser lens 302, a video generation unit 303, and a projection lens 304. The projection unit 27 is a unit that acquires image data supplied from the control unit 24 via the data bus 28 and projects an image. The images supplied from the control unit 24 include inspection images acquired from the information processing apparatus 12 and images corresponding to various types of information stored in the storage unit 26.

投射部27の光源301が発した光束は、コンデンサレンズ302により集約される。映像生成部303には、液晶パネルが含まれており、コンデンサレンズ302により集約された光は液晶パネルを透過し、投影レンズ304を介して、投射される。映像生成部303は、液晶パネルの各画素における光の透過と遮断を適切に制御することで、投射画像を作りだす。なお、投射部27として、液晶パネルを含む構成を例示したが、投射部27の構成を限定する趣旨ではない。投射部27は、画像を投射できるものであれば、どのような構成であってもよい。   The luminous flux emitted from the light source 301 of the projection unit 27 is collected by the condenser lens 302. The video generation unit 303 includes a liquid crystal panel, and the light collected by the condenser lens 302 is transmitted through the liquid crystal panel and projected through the projection lens 304. The video generation unit 303 creates a projection image by appropriately controlling light transmission and blocking in each pixel of the liquid crystal panel. In addition, although the structure containing a liquid crystal panel was illustrated as the projection part 27, it is not the meaning which limits the structure of the projection part 27. FIG. The projection unit 27 may have any configuration as long as it can project an image.

図4は、情報処理装置12の内部構成の一例を示す図である。情報処理装置12は、通信部31と、制御部32と、記憶部33と、を含んで構成される。   FIG. 4 is a diagram illustrating an example of the internal configuration of the information processing apparatus 12. The information processing apparatus 12 includes a communication unit 31, a control unit 32, and a storage unit 33.

通信部31は、携帯端末11との間で相互通信を実現するための手段である。制御部32は、情報処理装置12の各部(通信部31等)を制御する。また、制御部32は、携帯端末11から検査対象識別情報を受け付けたことに応じて、対応する検査画像を携帯端末11に送信する。   The communication unit 31 is means for realizing mutual communication with the mobile terminal 11. The control unit 32 controls each unit (communication unit 31 or the like) of the information processing apparatus 12. Further, the control unit 32 transmits a corresponding inspection image to the mobile terminal 11 in response to receiving the inspection object identification information from the mobile terminal 11.

記憶部33には、データベース(以下、画像データベースと表記する)が構築されている。記憶部33に構築された画像データベースは、検査対象識別情報と、対応する検査画像と、が関連付けられて1つのレコードとして保存されている。   In the storage unit 33, a database (hereinafter referred to as an image database) is constructed. The image database constructed in the storage unit 33 stores inspection target identification information and a corresponding inspection image in association with each other.

検査画像には、例えば、故障が生じていないことが確認されている検査対象の写真や図面等が含まれる。つまり、検査画像には、回路基板や部品等が正しく実装されている状態での回路基板の平面写真や平面図面が含まれる。平面写真とは、回路基板等に対して、実装面から垂直に離れた位置から当該回路基板等を撮影した写真である。平面図面とは、回路基板等の三面図における平面図である。   The inspection image includes, for example, a photograph or a drawing of an inspection object that has been confirmed that no failure has occurred. That is, the inspection image includes a plan photograph and a plan view of the circuit board in a state where the circuit board, components, and the like are correctly mounted. A plane photograph is a photograph of a circuit board or the like taken from a position perpendicular to the mounting surface. A plan view is a plan view of a three-sided view of a circuit board or the like.

図5は、画像データベースに格納された情報の一例を示す図である。図5を参照すると、第1のレコードは、検査対象識別情報により指定される回路基板と、当該回路基板の検査画像と、を関連付けている。この場合の検査画像には、平面写真や平面図面が予定される。また、第2のレコードは、ラック(検査対象の部品)のボード挿入口と、挿入する側から視認した(撮影した)ラックの検査画像を関連付けている。この場合の検査画像は、回路基板挿入側からラックを斜めに視認した画像データが予定される。このように、検査画像には、回路基板等に対して、その実装面に対し、所定の角度から回路基板等を撮影した写真や、回路基板等の平面図面を所定の角度から(斜めから)視認した場合に得られる、図面座標変換図面等も含まれる。   FIG. 5 is a diagram illustrating an example of information stored in the image database. Referring to FIG. 5, the first record associates the circuit board specified by the inspection object identification information with the inspection image of the circuit board. In this case, a plan photograph or a plan drawing is scheduled as the inspection image. Further, the second record associates the board insertion port of the rack (part to be inspected) with the inspection image of the rack visually recognized (taken) from the insertion side. The inspection image in this case is scheduled to be image data obtained by visually observing the rack from the circuit board insertion side. As described above, the inspection image is a photograph of the circuit board or the like taken from a predetermined angle with respect to the mounting surface of the circuit board or the like, or a plan view of the circuit board or the like from a predetermined angle (from an oblique direction) A drawing coordinate conversion drawing and the like obtained when viewed visually are also included.

図6は、情報処理装置12の動作の一例を示すフローチャートである。制御部32は、携帯端末11から検査対象識別情報を受け付けると(ステップS01)、記憶部33に構築された画像データベースにアクセスする(ステップS02)。その際、制御部32は、画像データベースにおいて、受け付けた検査対象識別情報に一致するレコードが存在するか否か検索する(ステップS03)。検査対象識別情報に一致するレコードが存在すれば(ステップS03、Yes分岐)、制御部32は、対応する検査画像を含む情報を、携帯端末11に対して送信する。即ち、情報処理装置12は、画像データベースから、受信した検査対象識別情報に対応する検査画像を検索すると共に、検索された検査画像を携帯端末11に送信する。   FIG. 6 is a flowchart illustrating an example of the operation of the information processing apparatus 12. When receiving the inspection object identification information from the mobile terminal 11 (step S01), the control unit 32 accesses the image database constructed in the storage unit 33 (step S02). At that time, the control unit 32 searches the image database for a record that matches the received inspection object identification information (step S03). If there is a record that matches the inspection target identification information (step S03, Yes branch), the control unit 32 transmits information including the corresponding inspection image to the mobile terminal 11. That is, the information processing apparatus 12 searches for an inspection image corresponding to the received inspection object identification information from the image database, and transmits the searched inspection image to the mobile terminal 11.

情報処理装置12から携帯端末11に送信する情報には、検査画像に加えて、検査対象上での故障した可能性が高い領域を規定する情報や、故障箇所の関連情報が含まれていてもよい。なお、故障した可能性が高い領域を規定する情報は、例えば、電子機器の保守管理により積み重ねられた故障時の現象とその原因をまとめて記憶するデータベース等から、検査対象に関連しそうな情報を抽出することで得ることができる。   The information transmitted from the information processing device 12 to the mobile terminal 11 may include information that defines a region that is highly likely to have failed on the inspection object and related information on the failure location, in addition to the inspection image. Good. Information specifying the area where there is a high possibility of failure is, for example, information that is likely to be related to the inspection target from a database that stores the phenomenon at the time of failure accumulated by maintenance management of electronic devices and the cause of the failure. It can be obtained by extraction.

次に、第1の実施形態に係る検査システム10の動作について説明する。   Next, the operation of the inspection system 10 according to the first embodiment will be described.

図7は、検査システム10の動作の一例を示すシーケンス図である。   FIG. 7 is a sequence diagram illustrating an example of the operation of the inspection system 10.

初めに、作業者は、携帯端末11に対して、故障が疑われる検査対象を特定する検査対象識別情報を入力する(ステップS101)。検査対象識別情報の入力を受けた携帯端末11は、検査対象識別情報を情報処理装置12に送信する(ステップS201)。情報処理装置12は、受け付けた検査対象識別情報を検索キーとして、画像データベースを検索し、当該検査対象識別情報に対応する検査画像を特定する。その後、情報処理装置12は、対応する検査画像を含む情報を、携帯端末11に送信する(ステップS301)。   First, the worker inputs inspection object identification information for specifying an inspection object suspected of malfunctioning to the mobile terminal 11 (step S101). The mobile terminal 11 that has received the input of the inspection object identification information transmits the inspection object identification information to the information processing apparatus 12 (step S201). The information processing apparatus 12 searches the image database using the received inspection object identification information as a search key, and specifies an inspection image corresponding to the inspection object identification information. Thereafter, the information processing apparatus 12 transmits information including the corresponding inspection image to the mobile terminal 11 (step S301).

携帯端末11は、受信した情報から得られる検査画像を、投射部27を使用して、投射する(ステップS202)。作業者は、携帯端末11から投射される検査画像を、検査対象である回路基板201に重ねる(回路基板201上に検査画像が投射されるように携帯端末11を動かす)。作業者は、投射部27における焦点調整機能を用いて、投射する検査画像の焦点を調整し、検査対象と検査画像が重なるように操作してもよい。あるいは、投射部27がズーム機能を備えている場合には、作業者は、ズーム機能を利用して、検査対象と検査画像を重ねてもよい。   The portable terminal 11 projects the inspection image obtained from the received information using the projection unit 27 (step S202). The worker superimposes the inspection image projected from the mobile terminal 11 on the circuit board 201 to be inspected (moves the mobile terminal 11 so that the inspection image is projected on the circuit board 201). The operator may use the focus adjustment function in the projection unit 27 to adjust the focus of the inspection image to be projected and operate so that the inspection object and the inspection image overlap. Alternatively, when the projection unit 27 has a zoom function, the operator may use the zoom function to overlap the inspection object and the inspection image.

作業者は、検査対象と検査画像を比較することで、相違点を抽出し、故障した可能性が高い場所を特定する(ステップS102)。   The operator compares the inspection object with the inspection image, extracts differences, and identifies a place where there is a high possibility of failure (step S102).

図8は、検査対象と、検査対象に投射された検査画像の一例を示す図である。図8において、網掛けのブロックは検査対象の部品を示し、実線はその接続配線を示す。また、網掛けのないブロックは投射された検査画像に対応する部品を示し、破線はその接続配線を示す。例えば、部品401に対応する検査画像は、参照符号402で示されるブロックである。作業者は、検査対象上に投射された検査画像と相違する点を探すことで、検査対象に生じた故障原因の特定を行う、又は、検査対象の実装状態の確認を行う。   FIG. 8 is a diagram illustrating an example of an inspection target and an inspection image projected on the inspection target. In FIG. 8, shaded blocks indicate parts to be inspected, and solid lines indicate the connection wiring. A block without shading indicates a part corresponding to the projected inspection image, and a broken line indicates the connection wiring. For example, the inspection image corresponding to the component 401 is a block indicated by reference numeral 402. The operator searches for a point that is different from the inspection image projected on the inspection target, thereby identifying the cause of the failure that has occurred in the inspection target, or confirming the mounting state of the inspection target.

また、情報処理装置12から検査画像に加えて、故障した可能性の高い箇所を特定する領域情報を受信した場合には、当該領域を強調して表示してもよい。あるいは、携帯端末11は、その内部に、故障箇所を自動診断するアプリケーションがインストールされていれば、当該アプリケーションにより診断された故障情報を表示し、作業者の作業を支援してもよい。   In addition, in addition to the inspection image from the information processing device 12, when receiving region information specifying a location with a high possibility of failure, the region may be displayed with emphasis. Or if the application which automatically diagnoses a failure location is installed in the portable terminal 11, the failure information diagnosed by the said application may be displayed, and a worker's work may be supported.

以上のように、第1の実施形態に係る検査システム10では、検査対象の表面に検査画像を投射することで、故障が疑われる検査対象と、回路基板等に故障が存在しない状態での検査画像(正常画像)の比較を可能とする。その結果、作業者は、両者の異なる部分が故障箇所(誤実装等)であると容易に特定できる。つまり、熟練した作業員ではなくとも、容易に、故障が疑われる回路基板、部品の実装状態を確認することができる。   As described above, in the inspection system 10 according to the first embodiment, the inspection image is projected onto the surface of the inspection target, thereby inspecting the inspection target suspected of failure and the state in which no failure exists on the circuit board or the like. Allows comparison of images (normal images). As a result, the operator can easily specify that the different part is a fault location (misinstalled, etc.). That is, even a skilled worker can easily check the mounting state of a circuit board or a component suspected of having a failure.

ここで、電子機器の故障原因を特定する際に、特許文献1が開示する形状検査用投影機を使用することが考えられる。しかし、特許文献1が開示する形状検査用投影機は、電子機器の故障原因の特定には不適である。当該形状検査用投影機は、被検査物と対応するマスター形状図を入れ替えなければ、その被検査物の良否を判定できないためである。被検査物と対応するマスター形状図の入れ替えは、多大な労力を要し、故障原因を容易に特定するのは困難である。一方、第1の実施形態に係る検査システム10では、作業者は、携帯端末11に送信されてくる検査画像を、検査対象である回路基板に投射すればよいので、検査対象等の入れ替えが発生せず、容易に故障原因の特定が行える。   Here, it is conceivable to use the shape inspection projector disclosed in Patent Document 1 when specifying the cause of failure of the electronic device. However, the shape inspection projector disclosed in Patent Document 1 is unsuitable for identifying the cause of failure of an electronic device. This is because the shape inspection projector cannot determine the quality of the inspection object unless the master shape diagram corresponding to the inspection object is replaced. The replacement of the master figure corresponding to the object to be inspected requires a lot of labor, and it is difficult to easily identify the cause of the failure. On the other hand, in the inspection system 10 according to the first embodiment, since the operator only has to project the inspection image transmitted to the mobile terminal 11 onto the circuit board that is the inspection target, replacement of the inspection target or the like occurs. The cause of failure can be easily identified.

また、検査システム10では、特許文献2が開示する実装部品検査装置のように部品単位で、実装状態を確認するのではなく、基板全体にて実装状態を確認できるので、より迅速に故障原因を特定することが可能となる。   Moreover, in the inspection system 10, since the mounting state can be confirmed on the whole board, not on a component basis as in the mounting component inspection apparatus disclosed in Patent Document 2, the cause of failure can be identified more quickly. It becomes possible to specify.

さらに、保守管理の対象となる装置が、顧客の拠点等に存在する場合には、作業員は、不具合が生じている回路基板や部品の実装図面等を、顧客の拠点に持参する必要がある。このような場合であっても、検査システム10では、作業員が回路基板等の資料を持参する必要はない。作業員は、携帯端末11を用いて、情報処理装置12にアクセスすることで、必要な情報(検査画像)を得ることができるためである。   In addition, when the device subject to maintenance management is present at the customer's base, the worker must bring the circuit board or component mounting drawing etc. in which the fault has occurred to the customer's base. . Even in such a case, the inspection system 10 does not require an operator to bring materials such as a circuit board. This is because the worker can obtain necessary information (inspection image) by accessing the information processing apparatus 12 using the mobile terminal 11.

さらにまた、検査システム10は、作業員による、回路基板や部品等の取り付けや取り外しの訓練に用いることができる。具体的には、取り付ける部品や取り外す部品等を、その対象の回路基板に投射することで、訓練を受けている作業員は、容易に作業内容を把握し、作業を実行できる。   Furthermore, the inspection system 10 can be used for training of attachment and removal of circuit boards and components by an operator. Specifically, by projecting a part to be attached or a part to be removed onto the target circuit board, a worker who has been trained can easily grasp the work content and execute the work.

[第2の実施形態]
続いて、第2の実施形態について図面を参照して詳細に説明する。
[Second Embodiment]
Next, a second embodiment will be described in detail with reference to the drawings.

第2の実施形態に係る検査システム10aは、検査システム10と同様の構成とすることができるため、検査システム10aに関する図2に相当する説明は省略する。また、検査システム10aに含まれる携帯端末11aや情報処理装置12aの内部構成に関しても、検査システム10に含まれるものと相違する点は存在しないので、図3や図4に相当する説明を省略する。検査システム10と検査システム10aの相違点は、記憶部33に記憶する情報が異なる点である。   Since the inspection system 10a according to the second embodiment can have the same configuration as the inspection system 10, a description corresponding to FIG. 2 regarding the inspection system 10a is omitted. Further, the internal configuration of the portable terminal 11a and the information processing apparatus 12a included in the inspection system 10a is not different from that included in the inspection system 10, and thus description corresponding to FIG. 3 and FIG. 4 is omitted. . The difference between the inspection system 10 and the inspection system 10a is that the information stored in the storage unit 33 is different.

第2の実施形態において、記憶部33に構築された画像データベースは、検査対象識別情報と、検査画像と、検査対象の外形情報と、を1つのレコードとして関連付けて保存する。   In the second embodiment, the image database constructed in the storage unit 33 stores the inspection object identification information, the inspection image, and the inspection object outer shape information in association with each other as one record.

図9は、画像データベースに格納された情報の一例を示す図である。図9を参照すると、検査対象の外形情報として、回路基板や部品等の平面サイズを規定する情報が格納されている。検査対象の外形情報は、例えば、回路基板等の1辺の長さ等により規定される。   FIG. 9 is a diagram illustrating an example of information stored in the image database. Referring to FIG. 9, information defining the planar size of a circuit board, a component, etc. is stored as the outer shape information to be inspected. The outline information to be inspected is defined by, for example, the length of one side of a circuit board or the like.

第2の実施形態に係る情報処理装置12aは、携帯端末11aから検査対象識別情報を受信すると、画像データベースを検査し、対応する検査画像に加えて、外形情報も携帯端末11aに送信する。携帯端末11aは、検査画像を検査対象の表面に投射する際、その照射倍率を取得した外形情報に基づき決定する。即ち、携帯端末11aは、投射部27がズーム機能を備え、ズーム倍率を電動モータや超音波モータによりズーム倍率が変更可能であれば、検査対象の外形情報を利用し、検査画像を照査する際の倍率を自動的に調整する。   When the information processing apparatus 12a according to the second embodiment receives the inspection target identification information from the mobile terminal 11a, the information processing apparatus 12a inspects the image database and transmits the external shape information to the mobile terminal 11a in addition to the corresponding inspection image. When the portable terminal 11a projects the inspection image onto the surface of the inspection object, the portable terminal 11a determines the irradiation magnification based on the acquired outer shape information. That is, in the portable terminal 11a, when the projection unit 27 has a zoom function and the zoom magnification can be changed by an electric motor or an ultrasonic motor, the inspection information is used to check the inspection image using the outer shape information of the inspection object. Automatically adjust the magnification.

このように、第2の実施形態では、検査対象の外形情報から、検査対象の表面に検査画像を照射する際の倍率を変更することにより、検査対象の外形と検査画像の大きさを容易に一致させることが可能となる。その結果、より一層、作業員は、故障原因の特定や部品の実装状態等の保守管理作業が容易に行うことができる。   As described above, in the second embodiment, by changing the magnification at the time of irradiating the inspection image on the surface of the inspection object from the outline information of the inspection object, the outer shape of the inspection object and the size of the inspection image can be easily obtained. It is possible to match. As a result, the worker can more easily perform maintenance management work such as identification of the cause of failure and the mounting state of components.

なお、第1及び第2の実施形態にて説明した検査システムの構成及び動作は例示であって、種々の変形が可能である。例えば、検査システムは、以下のような構成又は動作であってもよい。   The configuration and operation of the inspection system described in the first and second embodiments are examples, and various modifications can be made. For example, the inspection system may have the following configuration or operation.

[変形例1]
第1及び第2の実施形態においては、携帯端末11等の内部に投射部27を備える構成について説明したが、投射部27の機能は携帯端末11等とは別の装置により実現してもよい。この場合には、携帯端末と、プロジェクタ機能を備える投射装置が、有線又は無線の通信により接続されていればよい(図10参照)。つまり、携帯型の投射装置13と、携帯端末11bと、が近距離無線通信(例えば、Bluetooth(登録商標)等)により接続され、相互に情報の交換を行うことで、携帯端末11等の機能を実現する。
[Modification 1]
In 1st and 2nd embodiment, although the structure provided with the projection part 27 inside portable terminal 11 grade | etc., You may implement | achieve the function of the projection part 27 with apparatuses different from the portable terminal 11 grade | etc.,. . In this case, the portable terminal and the projection apparatus having a projector function may be connected by wired or wireless communication (see FIG. 10). That is, the portable projection device 13 and the portable terminal 11b are connected by short-range wireless communication (for example, Bluetooth (registered trademark), etc.), and the functions of the portable terminal 11 and the like are performed by exchanging information with each other. Is realized.

[変形例2]
情報処理装置12等の機能が、携帯端末11等において実現されるものであってもよい。具体的には、携帯端末11等が通信機能を備えていなくとも、その内部の記憶部26に画像データベースが構築され、制御部24が、当該画像データベースを検索することで、必要な情報(検査画像や外形情報等)を取得してもよい。
[Modification 2]
Functions of the information processing device 12 and the like may be realized in the mobile terminal 11 and the like. Specifically, even if the mobile terminal 11 or the like does not have a communication function, an image database is constructed in the internal storage unit 26, and the control unit 24 searches the image database to obtain necessary information (inspection). Image, outline information, etc.) may be acquired.

[変形例3]
携帯端末11等は、対象物との距離を測定する測距センサを備えている場合には、検査対象と携帯端末11(投射部)の間の距離を測定し、測定距離に応じて、検査画像を投射する際の倍率を決定してもよい。その結果、検査対象と検査画像の重ね合わせをより正確に行うことができるため、両者の比較が容易となり、作業員は故障原因の特定等を容易に行うことができる。なお、測距センサには、三角測量を用いた反射型光電センサや、発射した超音波と戻ってきた超音波を受信した時間差から、距離を測定する超音波センサ等を使用することができる。
[Modification 3]
When the portable terminal 11 or the like includes a distance measuring sensor that measures the distance to the object, the distance between the inspection target and the portable terminal 11 (projection unit) is measured, and the inspection is performed according to the measurement distance. You may determine the magnification at the time of projecting an image. As a result, the inspection object and the inspection image can be superimposed more accurately, making it easy to compare the two, and the operator can easily identify the cause of the failure. As the distance measuring sensor, a reflection type photoelectric sensor using triangulation, an ultrasonic sensor that measures a distance from a time difference between the emitted ultrasonic wave and the returned ultrasonic wave, or the like can be used.

[変形例4]
情報処理装置12等から検査画像に加えて、故障した可能性の高い箇所を特定する領域情報を受信した場合には、携帯端末11等は、当該領域(以下、強調領域と表記)を強調して表示してもよい。領域を強調する際の形態には、種々考えられる。例えば、検査画像の全体は色彩を薄くし、強調領域の色彩を濃くすることできる。あるいは、強調領域を枠で囲むことや、強調領域と他の領域との色彩を異なるようにすることもできる。即ち、携帯端末11は、検査画像内の領域のうち特定の領域に対応する画像を、他の領域に対応する画像とは異なる態様にて投射することで、作業者の注意を喚起してもよい。その結果、作業員は、強調領域を特に注意して確認すればよいので、より一層、故障原因の特定等が容易となる。
[Modification 4]
In the case where region information specifying a location with a high possibility of failure is received from the information processing device 12 or the like in addition to the inspection image, the mobile terminal 11 or the like emphasizes the region (hereinafter referred to as an emphasis region). May be displayed. Various forms for emphasizing the region are conceivable. For example, the color of the entire inspection image can be reduced and the color of the emphasized region can be increased. Alternatively, the emphasis region can be surrounded by a frame, or the color of the emphasis region and other regions can be made different. In other words, the mobile terminal 11 projects an image corresponding to a specific area among the areas in the inspection image in a manner different from the image corresponding to the other area, thereby alerting the operator. Good. As a result, the worker only has to check the emphasized area with particular attention, so that it becomes easier to identify the cause of the failure.

[変形例5]
情報処理装置12等から携帯端末11等に送信される検査画像に代えて、又は、検査画像に加えて、故障画像を送信してもよい。故障画像とは、故障が存在する状態にて撮影された写真や、故障を再現させた状態で撮影された写真等である。また、故障画像を得る際の、撮影対象とカメラがなす角度は垂直であっても良いし(即ち、平面写真)、所定の角度から回路基板等を撮影してもよい。このような故障画像を、携帯端末11等から検査対象に投射することで、作業員は、故障原因の特定や原因の切り分け等を容易に行うことができる。
[Modification 5]
Instead of the inspection image transmitted from the information processing apparatus 12 or the like to the mobile terminal 11 or the like, or in addition to the inspection image, a failure image may be transmitted. The failure image is a photograph taken in a state where a failure exists, a photograph taken in a state where the failure is reproduced, or the like. In addition, the angle formed by the imaging target and the camera when obtaining a fault image may be vertical (that is, a planar photograph), or a circuit board or the like may be captured from a predetermined angle. By projecting such a failure image from the portable terminal 11 or the like to the inspection object, the worker can easily identify the cause of the failure, isolate the cause, and the like.

[変形例6]
画像データベースに記憶する検査対象識別情報等を、顧客ごと、又は、製品ごと等に分類して保存することもできる。顧客ごとにカスタマイズされた製品は、その回路基板等において若干の相違点が存在するのが通常である。このような場合に、顧客ごとに分類された検査画像を用いず、代表的な検査画像をカスタマイズされた製品に投射すると、故障が生じていない箇所であっても検査画像との間に相違点が存在することになる。このような場合に、作業員が、逐次、相違点を確認して故障原因であるのか、当該製品の仕様であるのか、を確認するのは多大な労力を要する。
[Modification 6]
The inspection object identification information and the like stored in the image database can be classified and stored for each customer or each product. Products customized for each customer usually have some differences in their circuit boards and the like. In such a case, when a representative inspection image is projected onto a customized product without using an inspection image classified for each customer, the difference between the inspection image and a portion where no failure has occurred Will exist. In such a case, it takes a lot of labor for the worker to check the difference sequentially to confirm whether it is the cause of the failure or the specification of the product.

そこで、画像データベースは、検査対象の属性値も合わせて記憶する。検査対象の属性値は、例えば、検査対象の顧客や、検査対象が用いられる製品を識別する情報である。そして、作業員は、検査対象識別情報を入力する際に、対応する属性値(顧客の情報等)を入力する。属性値の入力を受けた携帯端末11等は、当該情報を情報処理装置12等に送信する。情報処理装置12等は、画像データベースから、受信した属性値に対応する検査画像を検索し、検索された検査画像を携帯端末11等に送信する。このような検査画像を、回路基板に投射することで、作業員は、顧客ごとに僅かに異なる相違点に関し、故障原因であるのか、仕様であるのかを確認する必要がなくなる。   Therefore, the image database also stores the attribute value to be inspected. The attribute value to be inspected is information for identifying, for example, a customer to be inspected and a product in which the inspection target is used. Then, the worker inputs the corresponding attribute value (customer information, etc.) when inputting the inspection object identification information. The mobile terminal 11 or the like that has received the input of the attribute value transmits the information to the information processing apparatus 12 or the like. The information processing apparatus 12 or the like searches the image database for an inspection image corresponding to the received attribute value, and transmits the searched inspection image to the mobile terminal 11 or the like. By projecting such an inspection image onto the circuit board, the worker does not need to confirm whether it is the cause of the failure or the specification regarding a slightly different difference for each customer.

第1及び第2の実施形態における携帯端末は、プロジェクタ機能を備える、携帯電話、スマートフォン、パーソナルコンピュータ、その他の電子機器が想定される。   As the portable terminal in the first and second embodiments, a mobile phone, a smartphone, a personal computer, and other electronic devices having a projector function are assumed.

上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。   A part or all of the above embodiments can be described as in the following supplementary notes, but is not limited thereto.

[付記1]
第1の視点に係る検査システムのとおりである。
[付記2]
前記データベースは、前記検査対象識別情報と、前記検査画像と、検査対象の外形情報と、を1つのレコードとして関連付けて保存し、
前記情報処理装置は、前記検査画像と共に、前記外形情報を前記端末に送信し、
前記端末は、前記検査画像を投射する際の倍率を、前記外形情報に基づき決定する、付記1の検査システム。
[付記3]
前記端末は、対象物と自身との間の距離を測定する測距センサを備えると共に、前記検査画像を投射する際の倍率を、検査対象と自身との間の距離に応じて決定する、付記1又は2の検査システム。
[付記4]
前記検査画像は、検査対象に障害が生じていない場合の画像、又は、検査対象に障害が生じている状態の画像である、付記1乃至3のいずれか一に記載の検査システム。
[付記5]
前記データベースは、検査対象の属性値を合わせて保存し、
前記端末は、検査対象の前記属性値を入力すると共に、検査対象の前記属性値を前記情報処理装置に送信し、
前記情報処理装置は、前記データベースから、受信した検査対象の前記属性値に対応する前記検査画像を検索し、前記検索された検査画像を前記端末に送信する、付記1乃至4のいずれか一に記載の検査システム。
[付記6]
前記端末は、前記検査画像内の領域のうち特定の領域に対応する画像を、他の領域に対応する画像とは異なる態様にて投射する、付記1乃至5のいずれか一に記載の検査システム。
[付記7]
前記情報処理装置は、前記データベースが構築された記憶部を備える、付記1乃至6のいずれか一に記載の検査システム。
[付記8]
第2の視点に係る検査システムのとおりである。
[付記9]
前記データベースは、前記検査対象識別情報と、前記検査画像と、検査対象の外形情報と、を1つのレコードとして関連付けて保存し、
前記情報処理装置は、前記検査画像と共に、前記外形情報を前記端末に送信し、
前記端末は、前記検査画像を投射する際の倍率を、前記外形情報に基づき決定し、
前記投射装置は、前記端末により決定された倍率により、前記検査画像を投射する、付記8の検査システム。
[付記10]
前記検査画像は、検査対象に障害が生じていない場合の画像、又は、検査対象に障害が生じている状態の画像である、付記8又は9の検査システム。
[付記11]
前記データベースは、検査対象の属性値を合わせて保存し、
前記端末は、検査対象の前記属性値を入力すると共に、検査対象の前記属性値を前記情報処理装置に送信し、
前記情報処理装置は、前記データベースから、受信した検査対象の前記属性値に対応する前記検査画像を検索し、前記検索された検査画像を前記端末に送信する、付記8乃至10のいずれか一に記載の検査システム。
[付記12]
前記端末は、前記検査画像内の領域のうち特定の領域に対応する画像を、他の領域に対応する画像とは異なる態様にて、前記投射装置に投射させる、付記8乃至11のいずれか一に記載の検査システム。
[付記13]
第3の視点に係る検査方法のとおりである。
[付記14]
前記データベースは、前記検査対象識別情報と、前記検査画像と、検査対象の外形情報と、を1つのレコードとして関連付けて保存し、
前記端末が、前記検査画像を投射する際の倍率を、前記外形情報に基づき決定する工程をさらに含む、付記13の検査方法。
[付記15]
前記端末は、対象物と自身との間の距離を測定する測距センサを備えると共に、前記検査画像を投射する際の倍率を、検査対象と自身との間の距離に応じて決定する工程をさらに含む、付記13又は14の検査方法。
[付記16]
前記検査画像は、検査対象に障害が生じていない場合の画像、又は、検査対象に障害が生じている状態の画像である、付記13乃至15のいずれか一に記載の検査方法。
[付記17]
前記端末が、前記検査画像内の領域のうち特定の領域に対応する画像を、他の領域に対応する画像とは異なる態様にて投射する工程を含む、付記13乃至16のいずれか一に記載の検査方法。
[付記18]
第4の視点に係る端末のとおりである。
[付記19]
検査対象を識別する検査対象識別情報を入力する入力部と、
画像を投射する投射部と、
前記検査対象識別情報と、検査対象に関する検査画像と、を1つのレコードとして関連付けて保存するデータベースが構築された記憶部と、
を備える端末の制御方法であって、
前記データベースから、入力された前記検査対象識別情報に対応する前記検査画像を検索する工程と、
前記検索された検査画像を投射する工程と、
を含む、端末の制御方法。
[付記20]
検査対象を識別する検査対象識別情報を入力する入力部と
画像を投射する投射部と、
前記検査対象識別情報と、検査対象に関する検査画像と、を1つのレコードとして関連付けて保存するデータベースが構築された記憶部と、
を備える端末を制御するコンピュータに実行させるプログラムであって、
前記データベースから、入力された前記検査対象識別情報に対応する前記検査画像を検索する処理と、
前記検索された検査画像を投射する処理と、
を実行させるプログラム。
なお、このプログラムは、コンピュータが読み取り可能な記憶媒体に記録することができる。記憶媒体は、半導体メモリ、ハードディスク、磁気記録媒体、光記録媒体等の非トランジェント(non−transient)なものとすることができる。本発明は、コンピュータプログラム製品として具現することも可能である。
[Appendix 1]
It is as the inspection system which concerns on a 1st viewpoint.
[Appendix 2]
The database stores the inspection object identification information, the inspection image, and outer shape information of the inspection object in association with each other as one record,
The information processing apparatus transmits the outline information together with the inspection image to the terminal,
The inspection system according to appendix 1, wherein the terminal determines a magnification for projecting the inspection image based on the outer shape information.
[Appendix 3]
The terminal includes a distance measuring sensor that measures a distance between an object and itself, and determines a magnification for projecting the inspection image according to a distance between the inspection object and itself. 1 or 2 inspection system.
[Appendix 4]
The inspection system according to any one of appendices 1 to 3, wherein the inspection image is an image in a case where no failure has occurred in the inspection object or an image in a state in which the failure has occurred in the inspection object.
[Appendix 5]
The database stores the attribute values to be inspected together,
The terminal inputs the attribute value to be inspected and transmits the attribute value to be inspected to the information processing apparatus.
The information processing device searches the database for the inspection image corresponding to the received attribute value of the inspection target, and transmits the searched inspection image to the terminal. The inspection system described.
[Appendix 6]
The inspection system according to any one of appendices 1 to 5, wherein the terminal projects an image corresponding to a specific region among the regions in the inspection image in a manner different from an image corresponding to another region. .
[Appendix 7]
The inspection system according to any one of appendices 1 to 6, wherein the information processing apparatus includes a storage unit in which the database is constructed.
[Appendix 8]
This is the same as the inspection system according to the second viewpoint.
[Appendix 9]
The database stores the inspection object identification information, the inspection image, and outer shape information of the inspection object in association with each other as one record,
The information processing apparatus transmits the outline information together with the inspection image to the terminal,
The terminal determines a magnification for projecting the inspection image based on the outer shape information,
The inspection system according to appendix 8, wherein the projection device projects the inspection image at a magnification determined by the terminal.
[Appendix 10]
The inspection system according to appendix 8 or 9, wherein the inspection image is an image in a case where no failure has occurred in the inspection object or an image in a state in which the inspection object has a failure.
[Appendix 11]
The database stores the attribute values to be inspected together,
The terminal inputs the attribute value to be inspected and transmits the attribute value to be inspected to the information processing apparatus.
The information processing apparatus searches the database for the inspection image corresponding to the received attribute value of the inspection target, and transmits the searched inspection image to the terminal. The inspection system described.
[Appendix 12]
Any one of appendices 8 to 11, wherein the terminal projects an image corresponding to a specific region among the regions in the inspection image in a manner different from an image corresponding to another region. Inspection system as described in.
[Appendix 13]
This is the same as the inspection method according to the third viewpoint.
[Appendix 14]
The database stores the inspection object identification information, the inspection image, and outer shape information of the inspection object in association with each other as one record,
The inspection method according to appendix 13, further comprising a step of determining a magnification at which the terminal projects the inspection image based on the outer shape information.
[Appendix 15]
The terminal includes a distance measuring sensor that measures a distance between the object and itself, and determines a magnification for projecting the inspection image according to a distance between the inspection object and itself. The inspection method according to appendix 13 or 14, further including:
[Appendix 16]
The inspection method according to any one of appendices 13 to 15, wherein the inspection image is an image in a case where no failure has occurred in the inspection target or an image in a state in which the failure has occurred in the inspection target.
[Appendix 17]
Additional remarks 13 thru | or 16 including the process in which the said terminal projects the image corresponding to a specific area | region among the area | regions in the said test | inspection image in the aspect different from the image corresponding to another area | region. Inspection method.
[Appendix 18]
It is as the terminal which concerns on a 4th viewpoint.
[Appendix 19]
An input unit for inputting inspection object identification information for identifying the inspection object;
A projection unit for projecting an image;
A storage unit in which a database that stores the inspection object identification information and the inspection image related to the inspection object in association with each other as a record;
A method of controlling a terminal comprising:
Searching the inspection image corresponding to the input inspection object identification information from the database;
Projecting the retrieved inspection image;
A method for controlling a terminal, including:
[Appendix 20]
An input unit for inputting inspection object identification information for identifying an inspection object, a projection unit for projecting an image,
A storage unit in which a database that stores the inspection object identification information and the inspection image related to the inspection object in association with each other as a record;
A program for causing a computer to control a terminal comprising:
Searching the inspection image corresponding to the input inspection object identification information from the database;
A process of projecting the retrieved inspection image;
A program that executes
This program can be recorded on a computer-readable storage medium. The storage medium can be non-transient such as a semiconductor memory, a hard disk, a magnetic recording medium, an optical recording medium, or the like. The present invention can also be embodied as a computer program product.

なお、引用した上記の特許文献等の各開示は、本書に引用をもって繰り込むものとする。本発明の全開示(請求の範囲を含む)の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の請求の範囲の枠内において種々の開示要素(各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む)の多様な組み合わせ、ないし、選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。特に、本書に記載した数値範囲については、当該範囲内に含まれる任意の数値ないし小範囲が、別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。   Each disclosure of the cited patent documents and the like cited above is incorporated herein by reference. Within the scope of the entire disclosure (including claims) of the present invention, the embodiments and examples can be changed and adjusted based on the basic technical concept. Various disclosed elements (including each element of each claim, each element of each embodiment or example, each element of each drawing, etc.) within the scope of the claims of the present invention, Selection is possible. That is, the present invention of course includes various variations and modifications that could be made by those skilled in the art according to the entire disclosure including the claims and the technical idea. In particular, with respect to the numerical ranges described in this document, any numerical value or small range included in the range should be construed as being specifically described even if there is no specific description.

10、10a、10b、100 検査システム
11、11a、11a 携帯端末
12、12a、12b、104 情報処理装置
13 投射装置
21、31 通信部
22 表示部
23、101 入力部
24、32 制御部
25 電源部
26、33 記憶部
27、102 投射部
28 データバス
103 端末
201 回路基板
301 光源
302 コンデンサレンズ
303 映像生成部
304 投影レンズ
401 部品
402 部品の検査画像
10, 10a, 10b, 100 Inspection system 11, 11a, 11a Portable terminal 12, 12a, 12b, 104 Information processing device 13 Projection device 21, 31 Communication unit 22 Display unit 23, 101 Input unit 24, 32 Control unit 25 Power supply unit 26, 33 Storage unit 27, 102 Projection unit 28 Data bus 103 Terminal 201 Circuit board 301 Light source 302 Condenser lens 303 Image generation unit 304 Projection lens 401 Component 402 Component inspection image

Claims (9)

検査対象を識別する検査対象識別情報を入力する入力部、画像を投射する投射部、を備える端末と、
前記端末と接続され、前記検査対象識別情報と、検査対象に関する検査画像と、を1つのレコードとして関連付けて保存するデータベースにアクセスする情報処理装置と、
を含み、
前記端末は、前記検査対象識別情報を前記情報処理装置に送信し、
前記情報処理装置は、前記データベースから、受信した前記検査対象識別情報に対応する前記検査画像を検索すると共に、前記検索された検査画像を前記端末に送信し、
前記端末は、受信した前記検査画像を投射し、
前記データベースは、前記検査対象識別情報と、前記検査画像と、検査対象の外形情報と、を1つのレコードとして関連付けて保存し、
前記情報処理装置は、前記検査画像と共に、前記外形情報を前記端末に送信し、
前記端末は、前記検査画像を投射する際の倍率を、前記外形情報に基づき決定する、検査システム。
A terminal including an input unit for inputting inspection target identification information for identifying an inspection target, and a projection unit for projecting an image;
An information processing apparatus connected to the terminal and accessing a database for storing the inspection object identification information and the inspection image related to the inspection object in association with each other; and
Including
The terminal transmits the inspection target identification information to the information processing apparatus,
The information processing device searches the inspection image corresponding to the received inspection object identification information from the database, and transmits the searched inspection image to the terminal.
The terminal projects the received inspection image ,
The database stores the inspection object identification information, the inspection image, and outer shape information of the inspection object in association with each other as one record,
The information processing apparatus transmits the outline information together with the inspection image to the terminal,
The said terminal determines the magnification at the time of projecting the said test | inspection image based on the said external shape information .
前記端末は、対象物と自身との間の距離を測定する測距センサを備えると共に、前記検査画像を投射する際の倍率を、検査対象と自身との間の距離に応じて決定する、請求項1の検査システム。 The terminal includes a distance measuring sensor that measures a distance between an object and itself, and determines a magnification for projecting the inspection image according to a distance between the inspection object and itself. Item 1. Inspection system. 前記検査画像は、検査対象に障害が生じていない場合の画像、又は、検査対象に障害が生じている状態を所定の角度から撮影された画像である、請求項1又は2の検査システム。 The inspection image is an image in the case where the inspection target is no failure occurs, or a picture image taken a state in which the inspection target fault has occurred from a predetermined angle, the inspection system according to claim 1 or 2. 前記データベースは、検査対象の属性値を合わせて保存し、
前記端末は、検査対象の前記属性値を入力すると共に、検査対象の前記属性値を前記情報処理装置に送信し、
前記情報処理装置は、前記データベースから、受信した検査対象の前記属性値に対応する前記検査画像を検索し、前記検索された検査画像を前記端末に送信する、請求項1乃至のいずれか一項に記載の検査システム。
The database stores the attribute values to be inspected together,
The terminal inputs the attribute value to be inspected and transmits the attribute value to be inspected to the information processing apparatus.
The information processing apparatus, from the database, searching for the inspection image corresponding to the attribute value of the inspected received, transmits the retrieved inspection image to the terminal, one of the claims 1 to 3 one Inspection system according to item.
前記端末は、前記検査画像内の領域のうち特定の領域に対応する画像を、他の領域に対応する画像とは異なる態様にて投射する、請求項1乃至のいずれか一項に記載の検査システム。 The terminal an image corresponding to a specific region of the region in the test image, projected at a different manner than the image corresponding to the other regions, according to any one of claims 1 to 4 Inspection system. 前記情報処理装置は、前記データベースが構築された記憶部を備える、請求項1乃至のいずれか一項に記載の検査システム。 The information processing apparatus, wherein comprises a database storage unit constructed, the inspection system according to any one of claims 1 to 5. 検査対象を識別する検査対象識別情報を入力する端末と、
前記端末と接続され、前記端末から受け付けた画像を投射する投射装置と、
前記端末と接続され、前記検査対象識別情報と、検査対象に関する検査画像と、検査対象の外形情報と、を1つのレコードとして関連付けて保存するデータベースにアクセスする情報処理装置と、
を含み、
前記端末は、前記検査対象識別情報を前記情報処理装置に送信し、
前記情報処理装置は、前記データベースから、受信した前記検査対象識別情報に対応する前記検査画像を検索すると共に、前記検索された検査画像を前記端末に送信し、
前記端末は、受信した前記検査画像を前記投射装置に送信し、
前記投射装置は、受信した前記検査画像を投射する際の倍率を、前記外形情報に基づき決定する、
検査システム。
A terminal for inputting inspection object identification information for identifying the inspection object;
A projection device connected to the terminal and projecting an image received from the terminal;
An information processing apparatus connected to the terminal and accessing a database for storing the inspection object identification information, the inspection image related to the inspection object, and the outer shape information of the inspection object in association with each other;
Including
The terminal transmits the inspection target identification information to the information processing apparatus,
The information processing device searches the inspection image corresponding to the received inspection object identification information from the database, and transmits the searched inspection image to the terminal.
The terminal transmits the received inspection image to the projection device,
The projection device determines a magnification when projecting the received inspection image based on the outer shape information .
Inspection system.
端末に検査対象を識別する検査対象識別情報を入力する工程と、
前記検査対象識別情報と、検査対象に関する検査画像と、検査対象の外形情報と、を1つのレコードとして関連付けて保存するデータベースから、前記検査対象識別情報に対応する前記検査画像を検索する工程と、
前記端末が、前記検索された検査画像を投射する工程と、
を含み、
前記端末は、前記検査画像を投射する際の倍率を、前記外形情報に基づき決定する、検査方法。
Inputting inspection object identification information for identifying the inspection object to the terminal;
Searching the inspection image corresponding to the inspection object identification information from a database that stores the inspection object identification information, the inspection image related to the inspection object, and the external information of the inspection object in association with each other;
The terminal projecting the retrieved inspection image;
Only including,
The terminal, the magnification at the time of projecting the test image is determined based on the contour information, search査方method.
検査対象を識別する検査対象識別情報を入力する入力部と、
画像を投射する投射部と、
前記検査対象識別情報と、検査対象に関する検査画像と、検査対象の外形情報と、を1つのレコードとして関連付けて保存するデータベースが構築された記憶部と、
を備え、
前記データベースから、入力された前記検査対象識別情報に対応する前記検査画像を検索すると共に、前記検索された検査画像を投射し、前記検査画像を投射する際の倍率を、前記外形情報に基づき決定する、端末。
An input unit for inputting inspection object identification information for identifying the inspection object;
A projection unit for projecting an image;
A storage unit in which a database for storing the inspection object identification information, the inspection image related to the inspection object, and the outer shape information of the inspection object in association with each other as one record;
With
The inspection image corresponding to the input inspection object identification information is searched from the database, and the searched inspection image is projected, and a magnification for projecting the inspection image is determined based on the outer shape information. to the terminal.
JP2013131677A 2013-06-24 2013-06-24 Inspection system, inspection method and terminal Active JP5930405B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013131677A JP5930405B2 (en) 2013-06-24 2013-06-24 Inspection system, inspection method and terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013131677A JP5930405B2 (en) 2013-06-24 2013-06-24 Inspection system, inspection method and terminal

Publications (2)

Publication Number Publication Date
JP2015005700A JP2015005700A (en) 2015-01-08
JP5930405B2 true JP5930405B2 (en) 2016-06-08

Family

ID=52301339

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013131677A Active JP5930405B2 (en) 2013-06-24 2013-06-24 Inspection system, inspection method and terminal

Country Status (1)

Country Link
JP (1) JP5930405B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112019007216T5 (en) * 2019-04-17 2021-12-30 Yamaha Hatsudoki Kabushiki Kaisha Image search device, component mounting system and image search method
JP7330075B2 (en) * 2019-11-21 2023-08-21 株式会社Fuji Component placement system

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000183493A (en) * 1998-12-21 2000-06-30 Micro Craft Kk Printed board inspection supporting apparatus and method for inspecting printed board
JP4470018B2 (en) * 2004-06-28 2010-06-02 コニカミノルタセンシング株式会社 Optical measurement system and optical property management method of sample
JP5948797B2 (en) * 2011-11-07 2016-07-06 オムロン株式会社 System, apparatus and method for supporting visual confirmation of inspection results

Also Published As

Publication number Publication date
JP2015005700A (en) 2015-01-08

Similar Documents

Publication Publication Date Title
US20220020139A1 (en) Methods for automatically generating a common measurement across multiple assembly units
JP6902926B2 (en) Systems and methods for producing improved stereographic video of the aircraft construction process
WO2019174009A1 (en) Machine room management method and dynamic environment system
CN105378700A (en) Capture and association of measurement data
KR102204016B1 (en) System and method for 3d based facilities safety management
CN104048687B (en) Measuring system with image capture capabilities
US10109111B2 (en) Providing mounting information for assembly of connectable components
JP5930405B2 (en) Inspection system, inspection method and terminal
WO2019019498A1 (en) Pcb line acquisition method, acquisition system and maintenance method
KR102011713B1 (en) Continuous structure defect monitoring system and method
JP2003263475A (en) Pump inspection work support system
US20200412949A1 (en) Device, system, and method for capturing and processing data from a space
JP7336253B2 (en) Installation method
JP4812700B2 (en) Work support method
JP6842819B2 (en) Road structure inspection information management system
CN113678578A (en) System and method for assisting manual assembly and testing of printed circuit boards
JP2010079926A (en) Intra-plant operation monitoring system
JP2019028642A (en) Inspection report reparation system
KR101326095B1 (en) Apparatus for uniting images and method thereof
JP2019140712A (en) Cable laying management device, cable laying management method and program
JP2010231811A (en) In-plant operation monitoring system
TWI649538B (en) Image capturing module detecting system and method thereof
KR101991277B1 (en) An automobile parts quality assurancing method using markers and a device thereof
WO2021205574A1 (en) Facility management system
US20230221709A1 (en) System and method for manufacturing and maintenance

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141003

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150814

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150825

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150928

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160329

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160421

R150 Certificate of patent (=grant) or registration of utility model

Ref document number: 5930405

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150