WO2019176007A1 - 情報処理システム、情報処理装置、および情報処理方法 - Google Patents

情報処理システム、情報処理装置、および情報処理方法 Download PDF

Info

Publication number
WO2019176007A1
WO2019176007A1 PCT/JP2018/009949 JP2018009949W WO2019176007A1 WO 2019176007 A1 WO2019176007 A1 WO 2019176007A1 JP 2018009949 W JP2018009949 W JP 2018009949W WO 2019176007 A1 WO2019176007 A1 WO 2019176007A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
information processing
information
circuit board
printed circuit
Prior art date
Application number
PCT/JP2018/009949
Other languages
English (en)
French (fr)
Inventor
公彦 川本
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2018/009949 priority Critical patent/WO2019176007A1/ja
Priority to US16/968,723 priority patent/US11551381B2/en
Priority to JP2020506018A priority patent/JP6952868B2/ja
Publication of WO2019176007A1 publication Critical patent/WO2019176007A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30141—Printed circuit board [PCB]

Definitions

  • the present disclosure relates to an information processing system, an information processing apparatus, and an information processing method.
  • Patent Document 1 discloses a placement support method that supports inspection work of electronic components placed by image projection.
  • Japanese Patent Laid-Open No. 2004-133867 discusses supporting the inspection work of electronic components placed by image projection, but does not identify individual wirings, electronic components, and the like provided on a printed circuit board. Moreover, since many wirings and electronic components are provided on the printed circuit board, it is difficult to identify them by image projection.
  • An object of an aspect of the present disclosure is to provide an information processing system capable of reducing the burden on an operator by displaying information of each element constituting the printed circuit board superimposed on a captured image of the printed circuit board, An information processing apparatus and an information processing method are provided.
  • an information processing system including a terminal device and an information processing device.
  • the terminal device includes an imaging unit that captures at least a part of the printed circuit board, and a first communication unit that transmits a captured image of at least a part of the captured printed circuit board to the information processing apparatus.
  • the information processing apparatus includes one or more elements that configure at least a part of the printed circuit board based on the second communication unit that receives the captured image, the captured image, and design information of a plurality of elements that configure the printed circuit board.
  • an image generation unit that generates an image in which an image based on the design information of one or more elements is superimposed on the captured image.
  • the second communication unit transmits the generated image to the terminal device.
  • the terminal device further includes a display control unit that causes the generated image received by the first communication unit to be displayed on the display of the terminal device.
  • An information processing apparatus includes an imaging unit that captures at least a part of a printed circuit board, a captured image of at least a part of the captured printed circuit board, and design information of a plurality of elements that configure the printed circuit board.
  • An extraction unit that extracts design information of one or more elements constituting at least a part of the printed circuit board, and image generation that generates an image in which an image based on the design information of one or more elements is superimposed on the captured image
  • a display control unit for displaying an image generated by the image generation unit on a display.
  • an information processing method includes a step of imaging at least a part of a printed circuit board, a captured image of at least a part of the captured printed circuit board, design information of a plurality of elements constituting the printed circuit board, A step of extracting design information of one or more elements constituting at least a part of the printed circuit board, and a step of generating an image in which an image based on the design information of one or more elements is superimposed on a captured image; Displaying the image generated by the generating step.
  • FIG. It is a figure for demonstrating the whole structure of the information processing system according to Embodiment 1.
  • FIG. It is a figure which shows an example of the hardware constitutions of the terminal device according to Embodiment 1.
  • FIG. 3 is a block diagram showing an example of a hardware configuration of an information processing apparatus according to Embodiment 1.
  • FIG. 6 is a flowchart for illustrating an operation outline of the information processing system according to the first embodiment. It is a figure which shows an example of the data structure of the design information database according to Embodiment 1. It is a figure which shows the captured image according to Embodiment 1.
  • FIG. It is a figure which shows an example of the design information extracted using the extraction system according to Embodiment 1.
  • FIG. 3 is a block diagram showing an example of a functional configuration of a terminal device and an information processing device according to Embodiment 1.
  • FIG. It is a figure which shows virtually the image based on the design information extracted using the extraction system according to Embodiment 2.
  • FIG. It is a figure which shows an example of the superimposed image according to Embodiment 2.
  • FIG. It is a figure which shows an example of the superimposed image according to Embodiment 3.
  • FIG. It is a figure which shows the other example of the superimposed image according to Embodiment 3.
  • FIG. 3 is a block diagram showing an example of a functional configuration of a terminal device and an information processing device according to Embodiment 1.
  • FIG. It is a figure which shows virtually the image based on the design information extracted using the extraction system according to Embodiment 2.
  • FIG. It is a figure which shows an example of the superimposed image according to Embodiment 2.
  • FIG. It is a figure which shows an example of the superimposed image according to Em
  • FIG. 1 is a diagram for illustrating an overall configuration of an information processing system 1000 according to the first embodiment.
  • information processing system 1000 is a system for supporting operations performed during substrate development, such as production, testing, and evaluation of substrate 30 that is a printed circuit board.
  • the information processing system 1000 includes a terminal device 10 and an information processing device 20.
  • the terminal device 10 and the information processing device 20 are configured to be able to communicate with each other.
  • the user (for example, worker) of the terminal device 10 and the user of the information processing device 20 may be the same or different.
  • printed circuit board is a concept including a printed wiring board before electronic parts are mounted and a printed circuit board after electronic parts are mounted.
  • the substrate 30 may be a printed wiring board or a printed circuit board.
  • the terminal device 10 is, for example, a head mounted device configured to be mounted on the user's head.
  • the terminal device 10 may be any device that can execute the functions and processes described below, and may be, for example, a tablet terminal device, a smartphone, or the like.
  • the information processing apparatus 20 is, for example, a rack top PC (Personal Computer).
  • the terminal device 10 may be any device that can execute the functions and processes described below, and may be, for example, a desktop PC, a tablet terminal device, a smartphone, or the like.
  • FIG. 2 is a diagram showing an example of a hardware configuration of terminal device 10 according to the first embodiment.
  • the terminal device 10 includes a processor 102, a ROM 104, a RAM 106, a display 108, a camera 110, a communication interface 112, and an input interface 114. These are connected via an internal bus 116 so as to communicate with each other.
  • the processor 102 is typically an arithmetic processing unit such as a CPU (Central Processing Unit) or MPU (Multi Processing Unit), reads various programs installed in the ROM 104, and executes them while developing them in the RAM 106.
  • a CPU Central Processing Unit
  • MPU Multi Processing Unit
  • the display 108 is a display that can be worn on the user's head.
  • the camera 110 is realized by, for example, a CCD (Charge Coupled Device) method, a CMOS (Complementary Mental Oxide Semiconductor) method, or other methods.
  • the camera 110 has a zoom function for changing the zoom magnification, a focus function for adjusting the focal length, and the like.
  • the communication interface 112 is a communication interface for exchanging various data between the terminal device 10 and the information processing device 20.
  • the communication method may be, for example, wireless communication using Bluetooth (registered trademark), wireless LAN, or wired communication using USB (Universal Serial Bus).
  • the input interface 114 is a button, for example, and accepts various instructions from the user.
  • the terminal device 10 may include a voice input device (for example, a microphone), a voice output device (for example, a speaker), etc. (not shown).
  • FIG. 3 is a block diagram showing an example of a hardware configuration of information processing apparatus 20 according to the first embodiment.
  • information processing device 20 includes a processor 150, a main storage device 152, a secondary storage device 154, a communication interface 156, a display 158, an input device 160, and a general-purpose interface 162. . These are connected via an internal bus 164 so as to communicate with each other.
  • the processor 150 reads out various programs including the OS installed in the secondary storage device 154, and executes them while developing them in the main storage device 152.
  • the main storage device 152 is typically a volatile storage medium such as a DRAM (Dynamic Random Access Memory), and is necessary for executing various programs in addition to codes of various programs including an OS executed by the processor 150. Holds various work data.
  • the secondary storage device 154 is a non-volatile storage medium such as a hard disk or an SSD (Solid State Drive), and holds various design information in addition to various programs including an OS.
  • the communication interface 156 is an interface for the information processing device 20 to communicate with the terminal device 10.
  • the display 158 displays various information according to instructions to the processor 150.
  • the input device 160 typically includes a keyboard, a mouse, and the like, and receives various settings and operations from the user.
  • the general-purpose interface 162 typically includes a USB (Universal Serial Bus) interface, a serial communication interface conforming to RS-232C, and the like, and exchanges data with external devices.
  • USB Universal Serial Bus
  • serial communication interface conforming to RS-232C, and the like, and exchanges data with external devices.
  • FIG. 4 is a flowchart for illustrating an outline of operation of information processing system 1000 according to the first embodiment.
  • each step of the terminal device 10 is executed by the processor 102
  • each step of the information processing device 20 is executed by the processor 150.
  • the worker recognizes that the substrate 30 that is the work target is imaged.
  • the terminal device 10 images the substrate 30 using the camera 110 (step S10). Specifically, the terminal device 10 mounted on the user's head images at least a part of the substrate 30 corresponding to the user's line of sight. At this time, the user may enlarge or reduce the part of the substrate 30 to be confirmed by changing the zoom magnification of the camera 110.
  • the terminal device 10 transmits the acquired captured image (that is, a captured image of at least a part of the substrate 30) to the information processing device 20 via the communication interface 112 (step S12).
  • the captured image may be either a still image or a moving image.
  • the information processing apparatus 20 receives a captured image from the terminal apparatus 10 via the communication interface 156 (step S14). At this time, the information processing apparatus 20 stores the captured image in the secondary storage device 154. Subsequently, the information processing apparatus 20 reads design information of the board 30 stored in the secondary storage device 154 in accordance with an instruction (for example, designation of a file name) from the worker, and takes a captured image using the design information. Is analyzed (step S16). Specifically, the information processing apparatus 20 determines which area of the substrate 30 is the captured image.
  • the design information includes various information such as electronic components, wiring, holes (for example, via holes) provided on the substrate 30, printed characters, substrate shapes, and the like. Therefore, the information processing apparatus 20 can determine, for example, which region of which surface of the substrate 30 is captured with reference to the positional relationship of electronic components, wiring, holes, and the like.
  • the information processing apparatus 20 calculates the angle ⁇ of the imaging axis of the camera 110 with respect to the plane of the substrate 30 based on the captured image, and further refers to the calculated angle ⁇ in addition to the design information, and includes the substrate 30 included in the captured image. The region may be determined.
  • the terminal device 10 detects its own position and inclination using at least one of an angular velocity sensor, a geomagnetic sensor, an acceleration sensor, a gyro sensor, and the like, and transmits information indicating the inclination to the information processing device 20. May be. Since the inclination of the plane of the substrate 30 is known, the information processing apparatus 20 can calculate the angle ⁇ of the imaging axis of the camera 110 with respect to the plane of the substrate 30.
  • the information processing apparatus 20 extracts design information related to the captured image from the design information of the substrate 30 stored in the secondary storage device 154 based on the analysis result of the captured image (step S18). For example, in step S16, the imaged area of the substrate 30 is surrounded by four coordinates P1 (X1, Y1), P2 (X2, Y1), P3 (X1, Y2), and P4 (X2, Y2) on the substrate 30. It is assumed that the rectangular area H is determined. In this case, the information processing apparatus 20 extracts, as design information related to the captured image, for example, design information of electronic components, wirings, and holes located at coordinates included in the rectangular area H.
  • the information processing apparatus 20 generates a superimposed image in which an image based on the extracted design information (hereinafter also referred to as “extracted design information”) is superimposed on the captured image received from the terminal apparatus 10 (step S20).
  • extracted design information an image based on the extracted design information
  • the information processing apparatus 20 is based on, for example, design information of electronic components (for example, mounting surface, mounting coordinates, mounting angle, terminal coordinates, and the like) and the angle ⁇ of the camera 110 with respect to the substrate 30.
  • a superimposed image is generated by superimposing a character image indicating identification information of the electronic component on the electronic component on the captured image.
  • the information processing apparatus 20 transmits the generated superimposed image to the terminal apparatus 10 via the communication interface 156 (step S22).
  • the terminal device 10 receives the superimposed image from the information processing device 20 via the communication interface 112 (step S24), and displays the superimposed image on the display 108 (step S26).
  • FIG. 5 shows an exemplary data structure of design information database 500 according to the first embodiment.
  • the design information database 500 is a collection of data in which information necessary for manufacturing a printed circuit board virtually generated by a CAD (computer-aided design) system is stored.
  • the design information database 500 is a database that stores design information of each element constituting the substrate 30.
  • the design information database 500 is realized by the secondary storage device 154, but may be realized by an external server device.
  • design information database 500 includes mounted component information, pattern information, hole information, connection information, graphic and character information, wiring board configuration information, and components as design information of each element. It includes unique information and substrate shape information. In the following description, “coordinates” is position information when a predetermined position of the substrate 30 is used as a reference.
  • the mounted component information is information regarding electronic components mounted on the board 30.
  • the mounted component information includes a component ID, a model name, a mounting surface (for example, a front surface or a back surface), mounting coordinates (for example, central coordinates of an electronic component to be mounted), and a mounting angle (for example, Angle at which the electronic component is mounted on the substrate 30), the terminal number of each terminal provided in the electronic component, and the terminal coordinates of each terminal.
  • the pattern information is information related to the wiring pattern. Specifically, the pattern information includes the line segment ID, the start point coordinates of each line segment, the end point coordinates of each line segment, the line width of each line segment, and the layer to which each line segment is wired. Wiring layer shown.
  • the hole information is information related to holes provided in the substrate 30. Specifically, the hole information includes the hole ID, the coordinates where the hole is provided, the hole diameter, the perforated layer 1 indicating the upper layer where the hole is open, and the lower layer where the hole is open. And a perforated layer 2 shown.
  • Connection information is information related to the connection relationship of each terminal of the electronic component.
  • the connection information includes a connection ID, a component ID 1 of one electronic component to be connected, a terminal number 1 of the one electronic component, a component ID 2 of the other electronic component to be connected, and a terminal of the other electronic component. Number 2 and the signal name of the signal exchanged between terminal number 1 and terminal number 2 are included.
  • the graphic and character information is information relating to a graphic and a character (for example, symbol printed) provided on the substrate 30.
  • the graphic and character information includes a graphic ID, graphic coordinates indicating the central coordinates of the graphic, character coordinates indicating the central coordinates of the character, and a display layer indicating a layer on which the graphic and the characters are displayed. .
  • Wiring board configuration information is information about the printed wiring board. Specifically, the wiring board configuration information includes the number of layers of the printed wiring board, the layer ID, information indicating whether the layer is configured by a conductor or a non-conductor, and a layer name. .
  • the component specific information is detailed specific information of the electronic component mounted on the board 30.
  • the component specific information includes a component width, a component length indicating the length of the electronic component, a component height, the number of electrodes provided in the electronic component, an electrode length, an electrode width, a captured image of the electronic component, and an electronic component. Information indicating the function of the.
  • the substrate shape information includes vertex coordinates 1 to 4 at the four corners of the substrate 30.
  • ⁇ Generated image generation method> With reference to FIGS. 6 to 9, a method for generating a superimposed image will be described. First, an extraction method for extracting design information related to a captured image from the design information database 500 will be specifically described.
  • FIG. 6 is a diagram showing a captured image 600 according to the first embodiment.
  • captured image 600 includes electronic components 71a to 71c, wirings 72a to 72c, and holes 73a and 73b. It is assumed that a part of the wiring 72b is covered with the electronic component 71b.
  • the information processing apparatus 20 uses the captured image 600 based on the image information of the electronic components 71a to 71c, the wirings 72a to 72c, and the holes 73a and 73b included in the captured image 600 and the design information included in the design information database 500. Is an image obtained by imaging which region of the substrate 30. For example, the information processing apparatus 20 selects a plurality of subjects from the captured image 600. Typically, the selection is made based on feature quantities such as the size and color of the subject.
  • feature quantities such as the size and color of the subject.
  • electronic components 71a to 71c having large shapes are selected as subjects. Since electronic parts mounted on a printed circuit board are generally black in the package part and silver or brown in the electrode part, the color can also be an index for selecting a subject.
  • the information processing apparatus 20 collates the images of the selected electronic components 71a to 71c with the component-specific information (for example, the captured image of the electronic component, the component width, the component length, the number of electrodes, etc.)
  • the electronic components corresponding to 71a to 71c are determined.
  • the information processing apparatus 20 refers to the determined mounting component information of each electronic component and acquires the mounting surface, mounting coordinates, and the like of the electronic component.
  • the information processing apparatus 20 estimates the positional relationship of each electronic component from the mounting surface, mounting coordinates, and the like of each electronic component, and the estimated positional relationship and the electronic components 71a to 71c included in the captured image 600. The positional relationship is compared, and based on the comparison result, it is determined which area of the substrate 30 the captured image 600 is captured. Specifically, in the information processing apparatus 20, the region where the estimated positional relationship and the positional relationship of the electronic components 71 a to 71 c included in the captured image 600 coincide with each other is the captured region of the substrate 30. judge.
  • the information processing apparatus 20 compares the positional relationship between the wirings 72a to 72c with the positional relationship between the wirings estimated from the pattern information (for example, the wiring layer, the line width, the start point coordinates, the end point coordinates, etc.), and Further, by using the comparison result between the positional relationship between the holes 73a and 73b and the positional relationship between the holes estimated from the hole information (for example, coordinates, hole diameter, etc.), which region of the substrate 30 is captured by the captured image 600 It may be determined whether the image has been made.
  • the pattern information for example, the wiring layer, the line width, the start point coordinates, the end point coordinates, etc.
  • the captured image 600 represents a rectangular area H surrounded by four coordinates P1 (X1, Y1), P2 (X2, Y1), P3 (X1, Y2), and P4 (X2, Y2) on the substrate 30. Assume that it is determined that the image is a captured image.
  • the information processing apparatus 20 extracts design information of each element (for example, electronic component, wiring, hole, figure, character, etc.) included in the rectangular area H of the substrate 30.
  • the information processing apparatus 20 stores the extracted design information in the main storage device 152 or the secondary storage device 154.
  • FIG. 7 is a diagram showing an example of design information extracted using the extraction method according to the first embodiment.
  • design information of three electronic components 71a to 71c included in the captured image 600 (that is, the rectangular area H) is extracted.
  • a part ID, a model name, a mounting surface, a mounting coordinate, and a mounting angle are extracted as design information.
  • the user can add the designated design information to the captured image 600 by designating desired design information among the design information via the input device 160.
  • the information processing device 20 when the designation of the component ID is received from the user, the information processing device 20 generates a superimposed image in which a virtual image indicating the component ID is superimposed on the captured image 600 and transmits the generated superimposed image to the terminal device 10. .
  • the terminal device 10 displays a superimposed image as shown in FIG.
  • FIG. 8 is a diagram showing an example of a superimposed image according to the first embodiment.
  • images 91 to 93 indicating component IDs are superimposed on electronic components 71a to 71c.
  • the user can easily grasp that the component IDs of the electronic components 71a to 71c are “IC1” to “IC3”, respectively.
  • the virtual image indicating the design information is the electronic component 71a on the captured image 600.
  • the virtual image indicating the design information is the electronic component 71a on the captured image 600.
  • the structure which designates all the design information may be sufficient.
  • the present invention is not limited to this.
  • the information processing apparatus 20 may generate an image in which a virtual image indicating the design information is superimposed on the captured image 600. Good.
  • the user can specify the element to be added to the captured image 600 from the extracted design information of the plurality of elements, and can also specify the design information of the elements.
  • the information processing apparatus 20 may arbitrarily switch between the captured image 600 and the superimposed image 610 and display these images on the display 158. In addition, when switching each image within the same imaging range, the information processing apparatus 20 does not perform the above-described extraction process again, and already extracts extraction design information stored in the main storage device 152 or the secondary storage device 154. The superimposed image 610 generated using is displayed.
  • FIG. 9 is a block diagram showing an example of functional configurations of terminal device 10 and information processing device 20 according to the first embodiment.
  • terminal device 10 includes an imaging unit 202, a communication unit 204, and a display control unit 206.
  • the information processing apparatus 20 includes a communication unit 252, a design information storage unit 254, an extraction unit 256, and an image generation unit 258.
  • the imaging unit 202 of the terminal device 10 captures at least a part of the substrate 30 and generates a captured image.
  • the captured image is stored in the RAM 106.
  • the imaging unit 202 is realized by the processor 102 and the camera 110.
  • the communication unit 204 transmits the captured image generated by the imaging unit 202 (that is, the captured image of at least a part of the substrate 30) to the information processing apparatus 20.
  • the communication unit 204 is realized by the processor 102 and the communication interface 112.
  • the communication unit 252 of the information processing apparatus 20 receives a captured image transmitted from the terminal apparatus 10.
  • the communication unit 252 is realized by the processor 150 and the communication interface 156.
  • the design information storage unit 254 stores design information of a plurality of elements constituting the substrate 30.
  • the design information storage unit 254 is the design information database 500.
  • the design information storage unit 254 is realized by the secondary storage device 154.
  • the extraction unit 256 extracts design information of one or more elements constituting at least a part of the substrate 30 based on at least a part of the captured image of the substrate 30 and design information of a plurality of elements constituting the substrate 30. To do.
  • the extraction unit 256 compares the positional relationship of one or more elements (for example, electronic components, wiring, holes) included in the captured image with the positional relationship of one or more elements derived from the design information. Then, based on the comparison result, it is determined which area of the substrate 30 is the captured image. Then, the extraction unit 256 extracts design information of one or more elements included in the determined region as one or more elements constituting at least a part of the substrate 30. Typically, the extraction unit 256 is realized by the processor 150.
  • elements for example, electronic components, wiring, holes
  • the image generation unit 258 generates an image in which an image based on design information of one or more extracted elements is superimposed on the captured image. Specifically, the image generation unit 258 generates an image in which a virtual image indicating design information of an element designated by the user is superimposed on the captured image. For example, the image generation unit 258 generates a superimposed image 610 as shown in FIG. Typically, the image generation unit 258 is realized by the processor 150.
  • the communication unit 252 transmits the superimposed image generated by the image generation unit 258 to the terminal device 10.
  • the communication unit 204 of the terminal device 10 receives the superimposed image.
  • the superimposed image is stored in the RAM 106.
  • the display control unit 206 of the terminal device 10 displays the superimposed image on the display 108.
  • the display control unit 206 causes the display 108 to display an image designated by the user among the captured image captured by the imaging unit 202 and the superimposed image generated by the image generation unit 258.
  • the display control unit 206 switches display of the captured image and the superimposed image in accordance with an instruction from the user via the input interface 114.
  • the display control unit 206 may switch the display of the captured image and the superimposed image in accordance with an instruction from the information processing apparatus 20.
  • the information processing apparatus 20 receives user instruction information indicating which of the captured image and the superimposed image is to be displayed via the input device 160.
  • the communication unit 252 transmits the instruction information to the terminal device 10.
  • a virtual image indicating design information of each element constituting the printed circuit board can be superimposed and displayed as augmented reality information on the captured image of the printed circuit board.
  • the work load can be reduced, and the work efficiency can be improved because the position of the electronic component to be placed (or placed) on the printed circuit board and the signal name and position of the wiring can be easily grasped. .
  • the function of each electronic component can be easily grasped, so that the work efficiency of the test work is improved.
  • the printed wiring board does not necessarily have a layer to be wired only on the surface, and has one or more wiring layers hidden from the surface.
  • a substrate that is, a printed circuit board
  • FIG. 10 is a diagram virtually showing an image based on design information extracted using the extraction method according to the second embodiment.
  • FIG. 10A is a diagram virtually showing an image corresponding to a layer on the surface of the substrate 30 (hereinafter also referred to as “surface layer”) among images based on the extracted design information.
  • FIG. 10B is a diagram virtually showing an image corresponding to the inner layer of the substrate 30 among images based on the extracted design information.
  • the virtual image 620 is an image based on the design information of each element included in the surface layer of the rectangular area H of the substrate 30.
  • design information of each element included in the surface layer of the rectangular region H design information of the electronic components 71a to 71c, design information of the wirings 72a to 72c, and design information of the holes 73a and 73b are extracted. .
  • the virtual image 620 includes component images 81a to 81c based on design information (for example, component specific information and mounted component information) of the electronic components 71a to 71c and wiring images based on design information (for example, pattern information) of the wires 72a to 72c. 82a to 82c and hole images 83a and 83b based on design information (for example, hole information) of the holes 73a and 73b.
  • design information for example, component specific information and mounted component information
  • design information for example, pattern information
  • hole images 83a and 83b based on design information (for example, hole information) of the holes 73a and 73b.
  • the captured image 600 of FIG. 6 is a real image
  • a part of the wiring 72b is covered with the electronic component 71b.
  • the wiring image 82b based on the design information of the wiring 72b is not covered with the component image 81b based on the design information of the electronic component 71b.
  • the virtual image 630 is an image based on the design information of each element included in the inner layer (that is, the inner layer) of the rectangular area H of the substrate 30.
  • the virtual image 630 includes a wiring image 82d and hole images 83a and 83b.
  • the wiring image 82d is a virtual image based on wiring design information provided only in the inner layer of the rectangular area H.
  • FIG. 11 is a diagram showing an example of a superimposed image according to the second embodiment.
  • the information processing apparatus 20 generates a superimposed image 640 in which the virtual images 620 and 630 in FIG. 10 are superimposed on the captured image 600 in FIG. 6.
  • the superimposed image 640 In the superimposed image 640, component images 81a to 81c, which are virtual images, are superimposed on the electronic components 71a to 71c, wiring images 82a to 82c, which are virtual images, are superimposed on the wirings 72a to 72c, and virtual images are formed in the holes 73a and 73b. A certain hole image 83a, 83b is superimposed.
  • the superimposed image 640 includes a wiring image 82 d that is a virtual image of the wiring included in the inner layer of the substrate 30 that cannot be captured by the camera 110.
  • the terminal device 10 displays the superimposed image 640 transmitted from the information processing device 20 on the display 108. Thereby, the user can obtain information that is difficult to grasp only by the captured image 600. Specifically, the user can grasp the wiring included in the inner layer of the substrate 30 that cannot be captured by the camera 110 by confirming the wiring image 82d. Also, by confirming the wiring image 82b, it can be understood that the wiring 72b is connected under the electronic component 71b.
  • the information processing apparatus 20 may generate an image in which a virtual image based on design information of each element included in the back layer of the rectangular area H of the substrate 30 is superimposed on the captured image 600.
  • FIG. 11 illustrates an example in which a real image (for example, an image of an electronic component) included in the captured image 600 and a virtual image (for example, a component image) are completely superimposed for ease of drawing.
  • a real image for example, an image of an electronic component
  • a virtual image for example, a component image
  • the image generation unit 258 of the information processing apparatus 20 generates an image in which an image based on the design information of the wiring provided in the rectangular region H of the substrate 30 is superimposed on the captured image 600.
  • the image generation unit 258 includes the wiring images 82a to 82c corresponding to the surface layer wirings 72a to 72c provided in the rectangular area H and the wiring image 82d corresponding to the inner layer wiring provided in the rectangular area H. Are superimposed on the captured image 600 to generate a superimposed image 640.
  • the wiring images 82a to 82c are respectively superimposed on positions in the captured image 600 based on the coordinates of the wirings 72a to 72c (that is, the start point coordinates and the end point coordinates).
  • the wiring image 82d is superimposed on a position based on the coordinates of the wiring provided in the inner layer in the captured image 600.
  • the image generation unit 258 may generate a superimposed image in which only one of the virtual images 620 and 630 is superimposed on the captured image 600 in accordance with an instruction from the user.
  • the display control unit 206 of the terminal device 10 displays an image designated by the user among a superimposed image in which the virtual image 620 is superimposed on the captured image 600 and a superimposed image in which the virtual image 630 is superimposed on the captured image 600. 108 may be displayed.
  • the configuration information for example, wiring
  • the configuration information for example, wiring
  • the wiring information obtained can be easily grasped. Thereby, an operator's work efficiency can be improved more.
  • Embodiment 3 FIG.
  • the configuration in which the information processing apparatus 20 extracts the design information of each element included in the captured image of the camera 110 has been described.
  • the third embodiment a configuration in which the information processing apparatus 20 extracts design information of an element designated by the user from design information of each element included in the design information database 500 will be described.
  • FIG. 12 is a diagram illustrating an example of a superimposed image according to the third embodiment.
  • the user designates the design information of the electronic component 71 a from the design information of each element of the design information database 500 using the input device 160.
  • the camera 110 of the terminal device 10 captures the rectangular area H of the substrate 30 including the electronic component 71a and generates the captured image 600.
  • the design information of the electronic component 71a is specified, and the captured image 600 includes the electronic component 71a. Therefore, the information processing apparatus 20 determines the position of the electronic component 71a (for example, , A superimposed image 650 is generated by superimposing a position image 95 (for example, a coordinate image) indicating the mounting coordinates (Xa, Ya)) on the captured image 600. In the superimposed image 650, the position image 95 is superimposed at a position corresponding to the mounting coordinates of the electronic component 71a in the captured image 600. The terminal device 10 displays the superimposed image 650 on the display 108.
  • a superimposed image 650 is generated by superimposing a position image 95 (for example, a coordinate image) indicating the mounting coordinates (Xa, Ya)) on the captured image 600.
  • the position image 95 is superimposed at a position corresponding to the mounting coordinates of the electronic component 71a in the captured image 600.
  • the terminal device 10 displays the superimposed image 650 on the display 108.
  • the information processing apparatus 20 includes a position image 96 (for example, an area occupied by the electronic component 71a) indicating the position of the electronic component 71a (for example, an area occupied by the electronic component 71a).
  • a superimposed image 660 is generated by superimposing the image surrounding the captured image 600.
  • the terminal device 10 displays the superimposed image 660 on the display 108.
  • the occupied area of the electronic component 71a is calculated based on the mounting coordinates (Xa, Ya), the component length L, and the component width W.
  • the occupied area has four vertex coordinates Q1 (Xa-L / 2, Ya-W / 2), Q2 (Xa + L / 2, Ya-W / 2), Q3 (Xa-L / 2, Ya + W / 2), Q4. This is a rectangular area surrounded by (Xa + L / 2, Ya + W / 2).
  • FIG. 13 shows another example of the superimposed image according to the third embodiment.
  • the mounting coordinates of the electronic component designated by the user are P5 ((X1 + X2) / 2, Y1- ⁇ ).
  • the captured image 600 is an image obtained by capturing a rectangular area H surrounded by vertex coordinates P1 (X1, Y1), P2 (X2, Y1), P3 (X1, Y2), and P4 (X2, Y2) on the substrate 30. Therefore, the coordinate P5 is not included in the captured image 600.
  • information processing device 20 calculates the position of coordinate P5 with respect to rectangular area H, and superimposes position image 98 indicating the position where coordinate P5 exists on captured image 600 based on the calculation result.
  • the superimposed image 670 thus generated is generated.
  • the position image 98 is generated, for example, as an arrow indicating the downward direction.
  • the user can easily include the electronic component designated by the user in the imaging range of the camera 110.
  • the image generation unit 258 of the information processing apparatus 20 is an element (hereinafter, also referred to as “instruction element”) according to a user instruction among a plurality of elements constituting the substrate 30. Based on the position information (for example, coordinates), an image in which a position image indicating the position of the pointing element is superimposed on the captured image 600 is generated.
  • the image generation unit 258 first determines whether or not an instruction element is included in the captured image 600.
  • the imaging range for example, the rectangular area H
  • the captured image 600 is displayed. It is determined that the instruction element is not included.
  • the image generation unit 258 When the captured image 600 includes an instruction element, the image generation unit 258 superimposes a position image (for example, position images 95 and 96) indicating the position of the instruction element on the captured image 600 (for example, superimposed image). , The superimposed images 650 and 660) are generated. If the captured image 600 does not include an instruction element, the image generation unit 258 superimposes a position image (for example, the position image 98) indicating the position of the instruction element on the captured image 600 (for example, a superimposed image). Image 670) is generated.
  • a position image for example, position images 95 and 96
  • the user recognizes that the substrate to be worked is the substrate 30, and the information processing apparatus 20 describes a configuration in which the design information of the substrate 30 is read according to an instruction from the user.
  • the configuration is not limited thereto, and a configuration in which the user does not recognize whether the substrate to be worked is the substrate 30 may be used.
  • the information processing apparatus 20 acquires the board outer shape and the mounting coordinate information of an arbitrary number (3 to 5) of electronic components from the entire captured image of the board that is the work target.
  • the information processing apparatus 20 is a work target by extracting matching board information from a plurality of board information stored in the design information database based on the acquired board outer shape and mounting coordinate information. It is determined that the substrate is the substrate 30.
  • substrate identification information for example, a one-dimensional barcode, a two-dimensional barcode, and a character symbol
  • the information processing apparatus 20 determines that the substrate to be worked is the substrate 30 by analyzing the captured image including the identification information of the substrate.
  • the terminal device 10 and the information processing device 20 are separated from each other.
  • the terminal device 10 and the information processing device 20 may be configured by a device in which these functions are integrated.
  • the information processing device 20 may be configured by a device having the functions of the imaging unit 202 and the display control unit 206 of the terminal device 10.
  • the information processing apparatus 20 has functions of an imaging unit 202, a display control unit 206, a design information storage unit 254, an extraction unit 256, and an image generation unit 258.
  • the information processing device 20 is configured by a tablet device including the camera 110, for example.
  • the display control unit 206 displays the captured image 600 and the superimposed images 610 and 640 to 670 described above on the display 158 of the information processing apparatus 20.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Supply And Installment Of Electrical Components (AREA)
  • Image Processing (AREA)

Abstract

端末装置（１０）と情報処理装置（２０）とを備える情報処理システムが提供される。端末装置（１０）は、プリント基板の少なくとも一部を撮像し、撮像されたプリント基板の少なくとも一部の撮像画像を情報処理装置（２０）に送信する。情報処理装置（２０）は、受信した撮像画像と、プリント基板を構成する複数の要素の設計情報とに基づいて、プリント基板の少なくとも一部を構成する１以上の要素の設計情報を抽出し、撮像画像に、１以上の要素の設計情報に基づく画像を重畳した画像を生成する。情報処理装置（２０）は、生成された画像を端末装置（１０）に送信する。端末装置（１０）は、受信した生成された画像を端末装置（１０）のディスプレイに表示する。

Description

情報処理システム、情報処理装置、および情報処理方法
　本開示は、情報処理システム、情報処理装置および情報処理方法に関する。
　従来、回路基板上の予め指定された箇所に電子部品を載置し、載置された電子部品の検査が広く行なわれている。例えば、特開２０１６－６２３６５号公報（特許文献１）は、画像投影により載置した電子部品の検査作業を支援する載置支援方法を開示している。
特開２０１６－６２３６５号公報
　近年、プリント基板に搭載される電子部品の小型化が著しく進んでおり、プリント基板には小型化した電子部品が多数（例えば、数百～数千個）搭載される。そのため、従来におけるプリント基板上へのシンボル印刷、および電子部品自体への印刷等がなされていない場合も多い。これにより、プリント基板に設けられた配線等の把握、あるいは、プリント基板上に搭載された電子部品の把握が困難となっている。例えば、プリント基板の開発、評価等の作業時においては、プリント基板に関する情報を記載した図面等を用いて作業を行なわなければならず、作業者に対する負担が大きいという問題がある。
　特許文献１では、画像投影により載置した電子部品の検査作業を支援することを検討しているが、プリント基板に設けられた個々の配線、電子部品等を識別するものではない。また、プリント基板には、多くの配線および電子部品が設けられているため、画像投影によりそれらを識別するのは困難である。
　本開示のある局面における目的は、プリント基板の撮像画像に、当該プリント基板を構成する各要素の情報を重畳して表示することにより、作業者の負荷を軽減することが可能な情報処理システム、情報処理装置、および情報処理方法を提供することである。
　ある実施の形態に従うと、端末装置と、情報処理装置とを備える情報処理システムが提供される。端末装置は、プリント基板の少なくとも一部を撮像する撮像部と、撮像されたプリント基板の少なくとも一部の撮像画像を情報処理装置に送信する第１の通信部とを含む。情報処理装置は、撮像画像を受信する第２の通信部と、撮像画像と、プリント基板を構成する複数の要素の設計情報とに基づいて、プリント基板の少なくとも一部を構成する１以上の要素の設計情報を抽出する抽出部と、撮像画像に、１以上の要素の設計情報に基づく画像を重畳した画像を生成する画像生成部とを含む。第２の通信部は、生成された画像を端末装置に送信する。端末装置は、第１の通信部によって受信された生成された画像を端末装置のディスプレイに表示させる表示制御部をさらに含む。
　他の実施の形態に従う情報処理装置は、プリント基板の少なくとも一部を撮像する撮像部と、撮像されたプリント基板の少なくとも一部の撮像画像と、プリント基板を構成する複数の要素の設計情報とに基づいて、プリント基板の少なくとも一部を構成する１以上の要素の設計情報を抽出する抽出部と、撮像画像に、１以上の要素の設計情報に基づく画像を重畳した画像を生成する画像生成部と、画像生成部により生成された画像をディスプレイに表示させる表示制御部とを含む。
　さらに他の実施の形態に従う情報処理方法は、プリント基板の少なくとも一部を撮像するステップと、撮像されたプリント基板の少なくとも一部の撮像画像と、プリント基板を構成する複数の要素の設計情報とに基づいて、プリント基板の少なくとも一部を構成する１以上の要素の設計情報を抽出するステップと、撮像画像に、１以上の要素の設計情報に基づく画像を重畳した画像を生成するステップと、生成するステップにより生成された画像を表示するステップとを含む。
　本開示によると、プリント基板の撮像画像に、当該プリント基板を構成する各要素の情報を重畳して表示することにより、作業者の負荷を軽減することが可能となる。
実施の形態１に従う情報処理システムの全体構成を説明するための図である。 実施の形態１に従う端末装置のハードウェア構成の一例を示す図である。 実施の形態１に従う情報処理装置のハードウェア構成の一例を示すブロック図である。 実施の形態１に従う情報処理システムの動作概要を説明するためのフローチャートである。 実施の形態１に従う設計情報データベースのデータ構造の一例を示す図である。 実施の形態１に従う撮像画像を示す図である。 実施の形態１に従う抽出方式を用いて抽出された設計情報の一例を示す図である。 実施の形態１に従う重畳画像の一例を示す図である。 実施の形態１に従う端末装置および情報処理装置の機能構成の一例を示すブロック図である。 実施の形態２に従う抽出方式を用いて抽出された設計情報に基づく画像を仮想的に示す図である。 実施の形態２に従う重畳画像の一例を示す図である。 実施の形態３に従う重畳画像の一例を示す図である。 実施の形態３に従う重畳画像の他の例を示す図である。
　以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
　実施の形態１．
　＜システム構成＞
　図１は、実施の形態１に従う情報処理システム１０００の全体構成を説明するための図である。図１を参照して、情報処理システム１０００は、プリント基板である基板３０の作製、試験および評価等の基板開発時に行なわれる作業を支援するためのシステムである。
　情報処理システム１０００は、端末装置１０と、情報処理装置２０とを含む。端末装置１０および情報処理装置２０は、互いに通信可能に構成されている。端末装置１０のユーザ（例えば、作業者）と情報処理装置２０のユーザとは同一であってもよいし、異なる場合であってもよい。
　本実施の形態において、「プリント基板」は、電子部品が実装される前のプリント配線板と、電子部品が実装された後のプリント回路板とを含む概念である。基板３０は、プリント配線板であってもよいし、プリント回路板であってもよい。
　端末装置１０は、例えば、ユーザの頭に装着可能に構成されたヘッドマウント機器である。端末装置１０は、以下に説明する機能および処理を実行可能な装置であればよく、例えば、タブレット端末装置、スマートフォン等であってもよい。
　情報処理装置２０は、例えば、ラックトップＰＣ（Personal　Computer）である。ただし、端末装置１０は、以下に説明する機能および処理を実行可能な装置であればよく、例えば、デスクトップＰＣ、タブレット端末装置、スマートフォン等であってもよい。
　図２は、実施の形態１に従う端末装置１０のハードウェア構成の一例を示す図である。図３を参照して、端末装置１０は、プロセッサ１０２と、ＲＯＭ１０４と、ＲＡＭ１０６と、ディスプレイ１０８と、カメラ１１０と、通信インターフェイス１１２と、入力インターフェイス１１４とを含む。これらは、内部バス１１６を介して互いに通信可能に接続されている。
　プロセッサ１０２は、典型的には、ＣＰＵ（Central　Processing　Unit）あるいはＭＰＵ（Multi　Processing　Unit）といった演算処理部であり、ＲＯＭ１０４にインストールされている各種プログラムを読出して、ＲＡＭ１０６に展開しつつ実行する。
　ディスプレイ１０８は、ユーザの頭部に装着可能なディスプレイである。カメラ１１０は、例えばＣＣＤ（Charge　Coupled　Device）方式、ＣＭＯＳ（Complementary　Mental　Oxide　Semiconductor）方式その他の方式により実現される。なお、カメラ１１０は、ズーム倍率を変更するためのズーム機能および焦点距離を調整するためのフォーカス機能などを有する。
　通信インターフェイス１１２は、端末装置１０と情報処理装置２０との間で各種データをやり取りするための通信インターフェイスである。通信方式としては、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、無線ＬＡＮなどによる無線通信であってもよいし、ＵＳＢ（Universal　Serial　Bus）などを利用した有線通信であってもよい。
　入力インターフェイス１１４は、例えば、ボタンであり、ユーザからの各種指示を受け付ける。なお、端末装置１０は、図示しない音声入力装置（例えば、マイク）、音声出力装置（例えば、スピーカ）等を含んでいてもよい。
　図３は、実施の形態１に従う情報処理装置２０のハードウェア構成の一例を示すブロック図である。図３を参照して、情報処理装置２０は、プロセッサ１５０と、主記憶装置１５２と、二次記憶装置１５４と、通信インターフェイス１５６と、ディスプレイ１５８と、入力装置１６０と、汎用インターフェイス１６２とを含む。これらは、内部バス１６４を介して互いに通信可能に接続されている。
　プロセッサ１５０は、二次記憶装置１５４にインストールされているＯＳを含む各種プログラムを読出して、主記憶装置１５２に展開しつつ実行する。主記憶装置１５２は、典型的には、ＤＲＡＭ（Dynamic　Random　Access　Memory）などの揮発性記憶媒体であり、プロセッサ１５０によって実行されるＯＳを含む各種プログラムのコードの他、各種プログラムの実行に必要な各種ワークデータを保持する。二次記憶装置１５４は、ハードディスクあるいはＳＳＤ（Solid　State　Drive）などの不揮発性記憶媒体であり、ＯＳを含む各種プログラムの他、各種設計情報などを保持する。
　通信インターフェイス１５６は、情報処理装置２０が端末装置１０と通信するためのインターフェイスである。ディスプレイ１５８は、プロセッサ１５０に指示に従って各種情報を表示する。入力装置１６０は、典型的には、キーボードやマウスなどから構成され、ユーザからの各種設定および操作を受付ける。
　汎用インターフェイス１６２は、典型的には、ＵＳＢ（Universal　Serial　Bus）インターフェイス、ＲＳ－２３２Ｃに従うシリアル通信インターフェイス等を含み、外部装置との間でデータを遣り取りする。
　＜システムの動作概要＞
　図４は、実施の形態１に従う情報処理システム１０００の動作概要を説明するためのフローチャートである。典型的には、端末装置１０の各ステップはプロセッサ１０２により実行され、情報処理装置２０の各ステップはプロセッサ１５０により実行される。ここでは、作業対象である基板３０を撮像することを作業者が認識しているものとする。
　図４を参照して、端末装置１０は、カメラ１１０を用いて基板３０を撮像する（ステップＳ１０）。具体的には、ユーザの頭に装着された端末装置１０は、ユーザの視線に応じた基板３０の少なくとも一部を撮像する。このとき、ユーザは、カメラ１１０のズーム倍率を変更することにより、基板３０の確認したい部分を拡大あるいは縮小してもよい。
　端末装置１０は、通信インターフェイス１１２を介して、取得した撮像画像（すなわち、基板３０の少なくとも一部の撮像画像）を情報処理装置２０に送信する（ステップＳ１２）。なお、撮像画像は、静止画、動画のいずれであってもよい。
　情報処理装置２０は、通信インターフェイス１５６を介して、端末装置１０からの撮像画像を受信する（ステップＳ１４）。このとき、情報処理装置２０は、撮像画像を二次記憶装置１５４に記憶する。続いて、情報処理装置２０は、作業者からの指示（例えば、ファイル名の指定等）に従って、二次記憶装置１５４に格納された基板３０の設計情報を読み出し、当該設計情報を用いて撮像画像を分析する（ステップＳ１６）。具体的には、情報処理装置２０は、当該撮像画像が基板３０のどの領域を撮像した画像なのかを判定する。
　ここで、設計情報には、基板３０に設けられる電子部品、配線、穴（例えば、ビアホール）、印刷文字、基板形状等の各種情報が含まれる。そのため、情報処理装置２０は、例えば、電子部品、配線、穴等の位置関係等を参照して、撮像画像が基板３０のどの面のどの領域を撮像した画像であるのかを判定できる。情報処理装置２０は、撮像画像に基づいて、基板３０の平面に対するカメラ１１０の撮像軸の角度θを算出し、上記設計情報に加えて算出角度θをさらに参照して撮像画像に含まれる基板３０の領域を判定してもよい。
　なお、端末装置１０は、角速度センサ、地磁気センサ、加速度センサ、およびジャイロセンサ等の少なくとも１つを用いて、自身の位置および傾きを検出し、当該傾きを示す情報を情報処理装置２０に送信してもよい。基板３０の平面の傾きは既知であることから、情報処理装置２０は、基板３０の平面に対するカメラ１１０の撮像軸の角度θを算出できる。
　情報処理装置２０は、撮像画像の分析結果に基づいて、二次記憶装置１５４に格納された基板３０の設計情報の中から、当該撮像画像に関連する設計情報を抽出する（ステップＳ１８）。例えば、ステップＳ１６において、撮像された基板３０の領域が、基板３０における４つの座標Ｐ１（Ｘ１，Ｙ１），Ｐ２（Ｘ２，Ｙ１），Ｐ３（Ｘ１，Ｙ２），Ｐ４（Ｘ２，Ｙ２）により囲まれた矩形領域Ｈであると判定されたものとする。この場合、情報処理装置２０は、撮像画像に関連する設計情報として、例えば、矩形領域Ｈに含まれる座標に位置する電子部品、配線、穴の設計情報を抽出する。
　情報処理装置２０は、端末装置１０から受信した撮像画像に、抽出された設計情報（以下、「抽出設計情報」とも称する。）に基づく画像を重畳した重畳画像を生成する（ステップＳ２０）。詳細は後述するが、情報処理装置２０は、例えば、電子部品の設計情報（例えば、搭載面、搭載座標、搭載角度および端子座標等）と、基板３０に対するカメラ１１０の角度θとに基づいて、撮像画像上の電子部品に、当該電子部品の識別情報を示す文字画像を重畳した重畳画像を生成する。
　情報処理装置２０は、通信インターフェイス１５６を介して、生成した重畳画像を端末装置１０に送信する（ステップＳ２２）。端末装置１０は、通信インターフェイス１１２を介して、情報処理装置２０から重畳画像を受信し（ステップＳ２４）、当該重畳画像をディスプレイ１０８に表示する（ステップＳ２６）。
　＜設計情報データベース＞
　図５は、実施の形態１に従う設計情報データベース５００のデータ構造の一例を示す図である。設計情報データベース５００は、ＣＡＤ（computer-aided　design）システムにより仮想的に生成されたプリント基板を製造するために必要な情報が蓄積されたデータの集合体である。具体的には、設計情報データベース５００は、基板３０を構成する各要素の設計情報を格納したデータベースである。典型的には、設計情報データベース５００は、二次記憶装置１５４により実現されるが、外部のサーバ装置により実現されてもよい。
　図５を参照して、設計情報データベース５００は、各要素の設計情報として、搭載部品情報と、パターン情報と、穴情報と、接続情報と、図形および文字情報と、配線板構成情報と、部品固有情報と、基板形状情報とを含む。以下の説明において、「座標」は、基板３０の予め定められた位置を基準としたときの位置情報である。
　搭載部品情報は、基板３０に搭載される電子部品に関する情報である。具体的には、搭載部品情報は、部品ＩＤと、型名と、搭載面（例えば、表面または裏面）と、搭載座標（例えば、搭載される電子部品の中心座標）と、搭載角度（例えば、基板３０に対して電子部品が搭載される角度）と、電子部品に設けられる各端子の端子番号と、各端子の端子座標とを含む。
　パターン情報は、配線パターンに関する情報である。具体的には、パターン情報は、配線を構成する各線分の線分ＩＤと、各線分の始点座標と、各線分の終点座標と、各線分の線幅と、各線分が配線される層を示す配線層とを含む。
　穴情報は、基板３０に設けられる穴に関する情報である。具体的には、穴情報は、穴ＩＤと、穴が設けられる座標と、穴径と、穴が空いている上側の層を示す穴あき層１と、穴が空いている下側の層を示す穴あき層２とを含む。
　接続情報は、電子部品の各端子の接続関係に関する情報である。接続情報は、接続ＩＤと、接続される一方の電子部品の部品ＩＤ１と、当該一方の電子部品の端子番号１と、接続される他方の電子部品の部品ＩＤ２と、当該他方の電子部品の端子番号２と、端子番号１および端子番号２間で遣り取りされる信号の信号名とを含む。
　図形および文字情報は、基板３０上に設けられる（例えば、シンボル印刷された）図形、および文字に関する情報である。具体的には、図形および文字情報は、図形ＩＤと、図形の中心座標を示す図形座標と、文字の中心座標を示す文字座標と、図形および文字が表示される層を示す表示層とを含む。
　配線板構成情報は、プリント配線板に関する情報である。具体的には、配線板構成情報は、プリント配線板の層数と、層ＩＤと、層が導体で構成されるか、非導電体で構成されるかを示す情報と、層名称とを含む。
　部品固有情報は、基板３０に搭載される電子部品の詳細な固有情報である。部品固有情報は、部品幅と、電子部品の長さを示す部品長と、部品高さと、電子部品に設けられる電極本数と、電極長と、電極幅と、電子部品の撮像画像と、電子部品の機能を示す情報とを含む。
　基板形状情報は、基板３０の４隅の頂点座標１～４を含む。
　＜重畳画像の生成方式＞
　図６～図９を参照して、重畳画像の生成方式について説明する。まず、設計情報データベース５００から、撮像画像に関連する設計情報を抽出する抽出方式について具体的に説明する。
　図６は、実施の形態１に従う撮像画像６００を示す図である。図６を参照して、撮像画像６００は、電子部品７１ａ～７１ｃと、配線７２ａ～７２ｃと、穴７３ａ，７３ｂとを含む。なお、配線７２ｂの一部は、電子部品７１ｂによって覆われているとする。
　情報処理装置２０は、撮像画像６００に含まれる電子部品７１ａ～７１ｃ、配線７２ａ～７２ｃ、および穴７３ａ，７３ｂの画像情報と、設計情報データベース５００に含まれる設計情報とに基づいて、撮像画像６００が基板３０のどの領域を撮像した画像なのかを判定する。情報処理装置２０は、例えば、撮像画像６００の中から複数の被写体を選定する。典型的には、被写体の大きさ、色等の特徴量に基づいて選定される。ここでは、形状の大きい電子部品７１ａ～７１ｃが被写体として選定されたとする。なお、プリント基板に搭載される電子部品は、一般的に、パッケージ部分が黒色、電極部分が銀色、あるいは茶色であるため、色も被写体を選定する際の指標となり得る。
　情報処理装置２０は、選定された電子部品７１ａ～７１ｃの画像と、部品固有情報（例えば、電子部品の撮像画像、部品幅、部品長さ、電極本数等）とを照合して、各電子部品７１ａ～７１ｃに対応する電子部品を判定する。情報処理装置２０は、当該判定された各電子部品の搭載部品情報を参照して、当該電子部品の搭載面、搭載座標等を取得する。
　次に、情報処理装置２０は、各電子部品の搭載面、搭載座標等から各電子部品の位置関係を推定し、当該推定された位置関係と、撮像画像６００に含まれる電子部品７１ａ～７１ｃの位置関係とを比較して、当該比較結果に基づいて撮像画像６００が基板３０のどの領域を撮像した画像かを判定する。具体的には、情報処理装置２０は、当該推定された位置関係と、撮像画像６００に含まれる電子部品７１ａ～７１ｃの位置関係とが一致する領域が、撮像された基板３０の領域であると判定する。
　なお、情報処理装置２０は、配線７２ａ～７２ｃの位置関係と、パターン情報（例えば、配線層、線幅、始点座標、終点座標等）から推定される各配線の位置関係との比較結果、および、穴７３ａ，７３ｂの位置関係と、穴情報（例えば、座標、穴径等）から推定される穴の位置関係との比較結果をさらに利用して、撮像画像６００が基板３０のどの領域を撮像した画像かを判定してもよい。
　ここでは、撮像画像６００は、基板３０における、４つの座標Ｐ１（Ｘ１，Ｙ１），Ｐ２（Ｘ２，Ｙ１），Ｐ３（Ｘ１，Ｙ２），Ｐ４（Ｘ２，Ｙ２）により囲まれた矩形領域Ｈを撮像した画像であると判定されたとする。この場合、情報処理装置２０は、基板３０の矩形領域Ｈに含まれる各要素（例えば、電子部品、配線、穴、図形、文字等）の設計情報を抽出する。情報処理装置２０は、抽出設計情報を主記憶装置１５２あるいは二次記憶装置１５４に記憶する。
　図７は、実施の形態１に従う抽出方式を用いて抽出された設計情報の一例を示す図である。図７の例では、撮像画像６００（すなわち、矩形領域Ｈ）に含まれている３つの電子部品７１ａ～７１ｃの設計情報が抽出されている。具体的には、設計情報として、部品ＩＤ、型名、搭載面、搭載座標、搭載角度が抽出されている。ユーザは、入力装置１６０を介して、これらの設計情報のうち所望の設計情報を指定することにより、当該指定した設計情報を撮像画像６００に付加することができる。
　情報処理装置２０は、例えば、ユーザから部品ＩＤの指定を受け付けると、撮像画像６００に部品ＩＤを示す仮想画像を重畳した重畳画像を生成して、当該生成した重畳画像を端末装置１０に送信する。端末装置１０は、図８に示すような重畳画像をディスプレイ１０８に表示する。
　図８は、実施の形態１に従う重畳画像の一例を示す図である。図８を参照して、重畳画像６１０では、電子部品７１ａ～７１ｃに、部品ＩＤを示す画像９１～９３が重畳されている。ユーザは、重畳画像６１０を確認することにより、電子部品７１ａ～７１ｃの部品ＩＤが、それぞれ「ＩＣ１」～「ＩＣ３」であることを容易に把握できる。
　ここでは、ユーザが部品ＩＤを指定する構成について説明したが、型名、搭載面、搭載座標等を指定した場合についても、これらの設計情報を示す仮想画像が、撮像画像６００上の電子部品７１ａ～７１ｃに重畳して表示される。なお、一部の設計情報（例えば、部品ＩＤ）だけではなく、すべての設計情報を指定する構成であってもよい。
　また、図８の例では、電子部品７１ａ～７１ｃの設計情報のみが抽出される構成について説明したが、これに限られない。例えば、配線７２ａ～７２ｃおよび穴７３ａ，７３ｂの設計情報も抽出されている場合には、情報処理装置２０は、これらの設計情報を示す仮想画像を撮像画像６００に重畳した画像を生成してもよい。この場合、ユーザは、抽出された複数の要素の設計情報から撮像画像６００に付加したい要素を指定し、かつ当該要素の設計情報を指定することができる。
　さらに、情報処理装置２０は、撮像画像６００と重畳画像６１０とを任意に切り替えて、これらの画像をディスプレイ１５８に表示してもよい。なお、同一の撮像範囲内で各画像を切り替える場合、情報処理装置２０は、再度上述した抽出処理を実行することなく、既に主記憶装置１５２あるいは二次記憶装置１５４に記憶されている抽出設計情報を用いて生成した重畳画像６１０を表示する。
　＜機能構成＞
　図９は、実施の形態１に従う端末装置１０および情報処理装置２０の機能構成の一例を示すブロック図である。図９を参照して、端末装置１０は、撮像部２０２と、通信部２０４と、表示制御部２０６とを含む。情報処理装置２０は、通信部２５２と、設計情報格納部２５４と、抽出部２５６と、画像生成部２５８とを含む。
　図９を参照して、端末装置１０の撮像部２０２は、基板３０の少なくとも一部を撮像し、撮像画像を生成する。撮像画像は、ＲＡＭ１０６に記憶される。典型的には、撮像部２０２は、プロセッサ１０２およびカメラ１１０によって実現される。
　通信部２０４は、撮像部２０２により生成された撮像画像（すなわち、基板３０の少なくとも一部の撮像画像）を情報処理装置２０に送信する。典型的には、通信部２０４は、プロセッサ１０２および通信インターフェイス１１２によって実現される。
　情報処理装置２０の通信部２５２は、端末装置１０から送信される撮像画像を受信する。典型的には、通信部２５２は、プロセッサ１５０および通信インターフェイス１５６によって実現される。
　設計情報格納部２５４は、基板３０を構成する複数の要素の設計情報を格納する。例えば、設計情報格納部２５４は、設計情報データベース５００である。典型的には、設計情報格納部２５４は、二次記憶装置１５４によって実現される。
　抽出部２５６は、基板３０の少なくとも一部の撮像画像と、基板３０を構成する複数の要素の設計情報とに基づいて、基板３０の少なくとも一部を構成する１以上の要素の設計情報を抽出する。
　具体的には、抽出部２５６は、撮像画像に含まれる１以上の要素（例えば、電子部品、配線、穴）の位置関係と、設計情報から導出される１以上の要素の位置関係とを比較し、当該比較結果に基づいて、撮像画像が基板３０のどの領域を撮像した画像であるのかを判定する。そして、抽出部２５６は、基板３０の少なくとも一部を構成する１以上の要素として、判定された領域に含まれる１以上の要素の設計情報を抽出する。典型的には、抽出部２５６は、プロセッサ１５０によって実現される。
　画像生成部２５８は、撮像画像に、抽出された１以上の要素の設計情報に基づく画像を重畳した画像を生成する。具体的には、画像生成部２５８は、撮像画像に、ユーザによって指定された要素の設計情報を示す仮想画像を重畳した画像を生成する。例えば、画像生成部２５８は、図８に示すような重畳画像６１０を生成する。典型的には、画像生成部２５８は、プロセッサ１５０によって実現される。
　通信部２５２は、画像生成部２５８によって生成された重畳画像を端末装置１０に送信する。端末装置１０の通信部２０４は、当該重畳画像を受信する。重畳画像は、ＲＡＭ１０６に記憶される。
　端末装置１０の表示制御部２０６は、重畳画像をディスプレイ１０８に表示させる。ある局面では、表示制御部２０６は、撮像部２０２によって撮像された撮像画像および画像生成部２５８によって生成された重畳画像のうち、ユーザによって指定された画像をディスプレイ１０８に表示させる。表示制御部２０６は、例えば、入力インターフェイス１１４を介したユーザからの指示に従って、撮像画像および重畳画像の表示を切り替える。
　あるいは、表示制御部２０６は、情報処理装置２０の指示に従って、撮像画像および重畳画像の表示を切り替えてもよい。この場合、情報処理装置２０は、入力装置１６０を介して、撮像画像および重畳画像のうちのどちらを表示させるのかを示すユーザの指示情報を受け付ける。通信部２５２は、当該指示情報を端末装置１０に送信する。
　＜利点＞
　実施の形態１によると、プリント基板の撮像画像に、プリント基板を構成する各要素の設計情報を示す仮想画像を拡張現実情報として重畳して表示することができる。これにより、作業者は、プリント基板に関する図面等を用いながら作業をする必要がない。また、作業の負荷を軽減するとともに、プリント基板に配置すべき（あるいは、配置された）電子部品の位置、および配線の信号名および位置等を容易に把握できるため作業効率を向上させることができる。例えば、多数の電子部品が搭載されたプリント回路板の評価試験作業において、各電子部品の機能を容易に把握することができるため、試験作業の作業効率が向上する。
　実施の形態２．
　一般的に、プリント配線板は、配線される層が表面のみとは限らず、表面から隠れた１層以上の配線層を内部に有している。また、プリント配線板に電子部品を搭載した基板（すなわち、プリント回路板）の場合、当該電子部品によって表面から視認できなくなる配線が存在することも多い。そこで、実施の形態２では、基板の撮像画像からは一見して把握できない情報を仮想画像として撮像画像に重畳し、当該重畳した画像を表示する構成について説明する。
　図１０は、実施の形態２に従う抽出方式を用いて抽出された設計情報に基づく画像を仮想的に示す図である。具体的には、図１０（ａ）は、抽出設計情報に基づく画像のうち、基板３０の表面の層（以下、「表層」とも称する。）に対応する画像を仮想的に示す図である。図１０（ｂ）は、抽出設計情報に基づく画像のうち、基板３０の内層に対応する画像を仮想的に示す図である。
　図１０（ａ）を参照して、仮想画像６２０は、基板３０の矩形領域Ｈの表層に含まれる各要素の設計情報に基づく画像である。ここで、矩形領域Ｈの表層に含まれる各要素の設計情報として、電子部品７１ａ～７１ｃの設計情報と、配線７２ａ～７２ｃの設計情報と、穴７３ａ，７３ｂの設計情報とが抽出されている。
　仮想画像６２０は、電子部品７１ａ～７１ｃの設計情報（例えば、部品固有情報、搭載部品情報）に基づく部品画像８１ａ～８１ｃと、配線７２ａ～７２ｃの設計情報（例えば、パターン情報）に基づく配線画像８２ａ～８２ｃと、穴７３ａ，７３ｂの設計情報（例えば、穴情報）に基づく穴画像８３ａ，８３ｂとを含む。
　ここで、図６の撮像画像６００は実画像であるため、撮像画像６００では、配線７２ｂの一部が電子部品７１ｂによって覆われている。一方、図１０（ａ）の仮想画像６２０では、配線７２ｂの設計情報に基づく配線画像８２ｂは、電子部品７１ｂの設計情報に基づく部品画像８１ｂには覆われていない。
　図１０（ｂ）を参照して、仮想画像６３０は、基板３０の矩形領域Ｈの内部の層（すなわち、内層）に含まれる各要素の設計情報に基づく画像である。具体的には、仮想画像６３０は、配線画像８２ｄと、穴画像８３ａ，８３ｂとを含む。配線画像８２ｄは、矩形領域Ｈの内層のみに設けられた配線の設計情報に基づく仮想画像である。
　図１１は、実施の形態２に従う重畳画像の一例を示す図である。図１１を参照して、情報処理装置２０は、図６の撮像画像６００に、図１０の仮想画像６２０，６３０を重畳した重畳画像６４０を生成する。
　重畳画像６４０では、電子部品７１ａ～７１ｃに仮想画像である部品画像８１ａ～８１ｃが重畳され、配線７２ａ～７２ｃに仮想画像である配線画像８２ａ～８２ｃが重畳され、穴７３ａ，７３ｂに仮想画像である穴画像８３ａ，８３ｂが重畳されている。また、重畳画像６４０には、カメラ１１０では撮像できない基板３０の内層に含まれる配線の仮想画像である配線画像８２ｄも含まれる。
　端末装置１０は、情報処理装置２０から送信された重畳画像６４０をディスプレイ１０８に表示する。これにより、ユーザは、撮像画像６００のみでは把握するのが困難な情報を得ることができる。具体的には、ユーザは、配線画像８２ｄを確認することにより、カメラ１１０では撮像できない基板３０の内層に含まれる配線を把握できる。また、配線画像８２ｂを確認することにより、配線７２ｂが電子部品７１ｂの下で繋がっていることを把握できる。
　図１０（ｂ）の例では、基板３０の矩形領域Ｈの内層に含まれる各要素の設計情報に基づく画像について説明したが、これに限られない。情報処理装置２０は、基板３０の矩形領域Ｈの裏面の層に含まれる各要素の設計情報に基づく仮想画像を、撮像画像６００に重畳した画像を生成してもよい。
　また、図１１では、図面の容易化のため、撮像画像６００に含まれる実画像（例えば、電子部品の画像）と、仮想画像（例えば、部品画像）とが完全に重畳されている例が示されている。しかし、実際には、仮想画像は、実画像と見分けがつくように３次元ポリゴン等により生成される。
　このように、実施の形態２では、情報処理装置２０の画像生成部２５８は、撮像画像６００に、基板３０の矩形領域Ｈに設けられた配線の設計情報に基づく画像を重畳した画像を生成する。具体的には、画像生成部２５８は、矩形領域Ｈに設けられた表層の配線７２ａ～７２ｃに対応する配線画像８２ａ～８２ｃと、矩形領域Ｈに設けられた内層の配線に対応する配線画像８２ｄとを、撮像画像６００に重畳した重畳画像６４０を生成する。
　配線画像８２ａ～８２ｃは、撮像画像６００における、配線７２ａ～７２ｃの座標（すなわち、始点座標および終点座標）に基づく位置に、それぞれ重畳される。配線画像８２ｄは、撮像画像６００における、内層に設けられた配線の座標に基づく位置に重畳される。
　上記では、撮像画像６００に、仮想画像６２０および６３０を重畳した重畳画像６４０が生成される構成について説明したが、当該構成に限られない。例えば、画像生成部２５８は、ユーザからの指示に従って、撮像画像６００に、仮想画像６２０および６３０のうちの一方のみを重畳した重畳画像を生成してもよい。また、端末装置１０の表示制御部２０６は、撮像画像６００に仮想画像６２０を重畳した重畳画像と、撮像画像６００に仮想画像６３０を重畳した重畳画像とのうち、ユーザによって指定された画像をディスプレイ１０８に表示させてもよい。
　＜利点＞
　実施の形態２によると、プリント配線板に電子部品を実装したことにより、電子部品の下に隠れて視認できなくなったプリント配線板の構成情報（例えば、配線）、およびプリント配線板の内部に設けられた配線情報を容易に把握できる。これにより、作業者の作業効率をより向上させることができる。
　実施の形態３．
　上述した実施の形態１，２では、情報処理装置２０が、カメラ１１０の撮像画像に含まれる各要素の設計情報を抽出する構成について説明した。実施の形態３では、情報処理装置２０は、設計情報データベース５００に含まれる各要素の設計情報の中から、ユーザが指定する要素の設計情報を抽出する構成について説明する。
　図１２は、実施の形態３に従う重畳画像の一例を示す図である。ここでは、ユーザが、入力装置１６０を用いて、設計情報データベース５００の各要素の設計情報の中から、電子部品７１ａの設計情報を指定したものとする。また、端末装置１０のカメラ１１０は、電子部品７１ａが含まれる基板３０の矩形領域Ｈを撮像し、撮像画像６００を生成しているものとする。
　図１２（ａ）を参照して、電子部品７１ａの設計情報が指定され、かつ、撮像画像６００には電子部品７１ａが含まれているため、情報処理装置２０は、電子部品７１ａの位置（例えば、搭載座標（Ｘａ，Ｙａ））を示す位置画像９５（例えば、座標画像）を、撮像画像６００に重畳した重畳画像６５０を生成する。重畳画像６５０では、撮像画像６００における、電子部品７１ａの搭載座標に対応する位置に位置画像９５が重畳される。端末装置１０は、重畳画像６５０をディスプレイ１０８に表示する。
　他の例として、図１２（ｂ）を参照して、情報処理装置２０は、電子部品７１ａの位置（例えば、電子部品７１ａが占める領域）を示す位置画像９６（例えば、電子部品７１ａの占有領域を囲む画像）を、撮像画像６００に重畳した重畳画像６６０を生成する。端末装置１０は、重畳画像６６０をディスプレイ１０８に表示する。
　なお、電子部品７１ａの占有領域は、搭載座標（Ｘａ，Ｙａ）と、部品長Ｌと、部品幅Ｗとに基づいて算出される。占有領域は、４つの頂点座標Ｑ１（Ｘａ－Ｌ／２，Ｙａ－Ｗ／２），Ｑ２（Ｘａ＋Ｌ／２，Ｙａ－Ｗ／２），Ｑ３（Ｘａ－Ｌ／２，Ｙａ＋Ｗ／２），Ｑ４（Ｘａ＋Ｌ／２，Ｙａ＋Ｗ／２）により囲まれた矩形領域である。
　次に、図１３を参照して、ユーザが指定した要素が撮像画像６００に含まれていない場合に、撮像画像６００に、当該指定した要素の位置を示す画像（例えば、矢印）を重畳した画像を生成する構成について説明する。
　図１３は、実施の形態３に従う重畳画像の他の例を示す図である。ここでは、ユーザが指定した電子部品の搭載座標が、Ｐ５（（Ｘ１＋Ｘ２）／２，Ｙ１－α）であるとする。撮像画像６００は、基板３０における頂点座標Ｐ１（Ｘ１，Ｙ１），Ｐ２（Ｘ２，Ｙ１），Ｐ３（Ｘ１，Ｙ２），Ｐ４（Ｘ２，Ｙ２）により囲まれた矩形領域Ｈを撮像した画像であるため、座標Ｐ５は撮像画像６００には含まれない。
　図１３を参照して、情報処理装置２０は、矩形領域Ｈに対する座標Ｐ５の位置を算出し、当該算出結果に基づいて、座標Ｐ５が存在する位置を示す位置画像９８を、撮像画像６００に重畳した重畳画像６７０を生成する。具体的には、矩形領域Ｈに対する座標Ｐ５の位置は、矩形領域Ｈの下方向であるため、位置画像９８は、例えば、下方向を示す矢印として生成される。これにより、ユーザは、自身が指定した電子部品を、カメラ１１０の撮像範囲に含めることが容易となる。
　上記のように、実施の形態３では、情報処理装置２０の画像生成部２５８は、基板３０を構成する複数の要素のうち、ユーザの指示に従う要素（以下、「指示要素」とも称する。）の位置情報（例えば、座標）に基づいて、撮像画像６００に、指示要素の位置を示す位置画像を重ねた画像を生成する。
　具体的には、画像生成部２５８は、まず、撮像画像６００に指示要素が含まれているか否かを判定する。カメラ１１０の撮像範囲（例えば、矩形領域Ｈ）が指示要素の座標を含んでいる場合には、撮像画像６００に指示要素が含まれていると判定し、そうではない場合には撮像画像６００に指示要素が含まれていないと判定する。
　撮像画像６００に指示要素が含まれている場合には、画像生成部２５８は、指示要素の位置を示す位置画像（例えば、位置画像９５，９６）を、撮像画像６００に重畳した重畳画像（例えば、重畳画像６５０，６６０）を生成する。撮像画像６００に指示要素が含まれていない場合には、画像生成部２５８は、指示要素の位置を示す位置画像（例えば、位置画像９８）を、撮像画像６００に重畳した重畳画像（例えば、重畳画像６７０）を生成する。
　＜利点＞
　実施の形態３によると、プリント基板における位置が不明な要素であっても、当該要素を指定することにより、撮像画像に当該要素の位置を示す画像が重畳して表示される。これにより、作業者の作業効率をより向上させることができる。
　その他の実施の形態．
　（１）上述した実施の形態では、作業対象である基板が基板３０であることをユーザが認識しており、情報処理装置２０は、ユーザからの指示に従って基板３０の設計情報を読み出す構成について説明したが、当該構成に限られず、作業対象とする基板が基板３０であるのかをユーザが認識していない構成であってもよい。
　この場合、情報処理装置２０は、作業対象である基板の全体の撮像画像から、基板外形形状と、任意の個数（３個～５個）の電子部品の搭載座標情報とを取得する。情報処理装置２０は、取得した基板外形形状と、搭載座標情報とに基づいて、設計情報データベースに格納されている複数の基板情報の中から一致する基板情報を抽出することにより、作業対象である基板が基板３０であると判定する。
　また、作業対象の基板上に、基板の識別情報（例えば、一次元バーコード、二次元バーコード、および文字記号等）を設けておいてもよい。この場合、情報処理装置２０は、当該基板の識別情報を含む撮像画像を解析することにより、作業対象である基板が基板３０であると判定する。
　（２）上述した実施の形態では、端末装置１０と情報処理装置２０とが分離した構成となっているが、これらの機能を一体化した装置で構成されていてもよい。例えば、情報処理装置２０が、端末装置１０の撮像部２０２および表示制御部２０６の機能を有する装置で構成されていてもよい。この場合、情報処理装置２０は、撮像部２０２、表示制御部２０６、設計情報格納部２５４、抽出部２５６、画像生成部２５８の各機能を有する。情報処理装置２０は、例えば、カメラ１１０を含むタブレット装置等で構成される。表示制御部２０６は、情報処理装置２０のディスプレイ１５８に、上述した撮像画像６００，重畳画像６１０，６４０～６７０を表示させる。
　（３）上述の実施の形態として例示した構成は、本発明の構成の一例であり、別の公知の技術と組み合わせることも可能であるし、本発明の要旨を逸脱しない範囲で、一部を省略する等、変更して構成することも可能である。
　また、上述した実施の形態において、その他の実施の形態で説明した処理や構成を適宜採用して実施する場合であってもよい。
　今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
　１０　端末装置、２０　情報処理装置、３０　基板、７１ａ～７１ｃ　電子部品、７２ａ～７２ｃ　配線、７３ａ，７３ｂ　穴、８１ａ～８１ｃ　部品画像、８２ａ～８２ｄ　配線画像、８３ａ，８３ｂ　穴画像、６２０，６３０　仮想画像、９５，９６，９８　位置画像、１０２，１５０　プロセッサ、１０４　ＲＯＭ、１０６　ＲＡＭ、１０８，１５８　ディスプレイ、１１０　カメラ、１１２，１５６　通信インターフェイス、１１４　入力インターフェイス、１１６，１６４　内部バス、１５２　主記憶装置、１５４　二次記憶装置、１６０　入力装置、１６２　汎用インターフェイス、２０２　撮像部、２０４，２５２　通信部、２０６　表示制御部、２５４　設計情報格納部、２５６　抽出部、２５８　画像生成部、５００　設計情報データベース、６００　撮像画像、６１０，６４０，６５０，６６０，６７０　重畳画像、１０００　情報処理システム。

Claims (7)

  1. 　端末装置と、情報処理装置とを備える情報処理システムであって、
    　前記端末装置は、
    　　プリント基板の少なくとも一部を撮像する撮像部と、
    　　前記撮像された前記プリント基板の少なくとも一部の撮像画像を前記情報処理装置に送信する第１の通信部とを含み、
    　前記情報処理装置は、
    　　前記撮像画像を受信する第２の通信部と、
    　　前記撮像画像と、前記プリント基板を構成する複数の要素の設計情報とに基づいて、前記プリント基板の少なくとも一部を構成する１以上の要素の設計情報を抽出する抽出部と、
    　　前記撮像画像に、前記１以上の要素の設計情報に基づく画像を重畳した画像を生成する画像生成部とを含み、
    　前記第２の通信部は、前記生成された画像を前記端末装置に送信し、
    　前記端末装置は、前記第１の通信部によって受信された前記生成された画像を前記端末装置のディスプレイに表示させる表示制御部をさらに含む、情報処理システム。
  2. 　前記表示制御部は、前記撮像画像および前記画像生成部により生成された画像のうち、ユーザによって指定された画像を前記ディスプレイに表示させる、請求項１に記載の情報処理システム。
  3. 　前記要素は、前記プリント基板に配置される電子部品を含み、
    　前記画像生成部は、前記撮像画像に含まれる電子部品に、前記電子部品の設計情報に基づく画像を重畳した画像を生成する、請求項１または請求項２に記載の情報処理システム。
  4. 　前記要素は、前記プリント基板の表面および内部に設けられた配線を含み、
    　前記画像生成部は、前記撮像画像に、前記プリント基板の少なくとも一部に設けられた前記配線の設計情報に基づく画像を重畳した画像を生成する、請求項１～請求項３のいずれか１項に記載の情報処理システム。
  5. 　前記情報処理装置は、外部からの指示を受け付ける入力部をさらに含み、
    　前記要素の設計情報は、前記プリント基板における前記要素の位置を示す位置情報を含み、
    　前記画像生成部は、前記プリント基板を構成する複数の要素のうち、前記入力部が受け付けた指示に従う要素の位置情報に基づいて、前記撮像画像に、前記指示に従う要素の位置を示す位置画像を重畳した画像を生成する、請求項１～請求項４のいずれか１項に記載の情報処理システム。
  6. 　プリント基板の少なくとも一部を撮像する撮像部と、
    　前記撮像された前記プリント基板の少なくとも一部の撮像画像と、前記プリント基板を構成する複数の要素の設計情報とに基づいて、前記プリント基板の少なくとも一部を構成する１以上の要素の設計情報を抽出する抽出部と、
    　前記撮像画像に、前記１以上の要素の設計情報に基づく画像を重畳した画像を生成する画像生成部と、
    　前記画像生成部により生成された画像をディスプレイに表示させる表示制御部とを含む、情報処理装置。
  7. 　プリント基板の少なくとも一部を撮像するステップと、
    　前記撮像された前記プリント基板の少なくとも一部の撮像画像と、前記プリント基板を構成する複数の要素の設計情報とに基づいて、前記プリント基板の少なくとも一部を構成する１以上の要素の設計情報を抽出するステップと、
    　前記撮像画像に、前記１以上の要素の設計情報に基づく画像を重畳した画像を生成するステップと、
    　前記生成するステップにより生成された画像を表示するステップとを含む、情報処理方法。
PCT/JP2018/009949 2018-03-14 2018-03-14 情報処理システム、情報処理装置、および情報処理方法 WO2019176007A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2018/009949 WO2019176007A1 (ja) 2018-03-14 2018-03-14 情報処理システム、情報処理装置、および情報処理方法
US16/968,723 US11551381B2 (en) 2018-03-14 2018-03-14 Information processing device, information processing system, and non-transitory computer-readable medium storing information processing program
JP2020506018A JP6952868B2 (ja) 2018-03-14 2018-03-14 情報処理装置、情報処理システム、および情報処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/009949 WO2019176007A1 (ja) 2018-03-14 2018-03-14 情報処理システム、情報処理装置、および情報処理方法

Publications (1)

Publication Number Publication Date
WO2019176007A1 true WO2019176007A1 (ja) 2019-09-19

Family

ID=67907627

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/009949 WO2019176007A1 (ja) 2018-03-14 2018-03-14 情報処理システム、情報処理装置、および情報処理方法

Country Status (3)

Country Link
US (1) US11551381B2 (ja)
JP (1) JP6952868B2 (ja)
WO (1) WO2019176007A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021157781A (ja) * 2020-03-27 2021-10-07 Ｓｐｐテクノロジーズ株式会社 保守作業支援システム、保守作業支援方法、および、保守作業支援プログラム
JP2021182211A (ja) * 2020-05-18 2021-11-25 トヨタ自動車株式会社 車両部品表示装置及び車両部品表示方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022093792A (ja) * 2020-12-14 2022-06-24 富士フイルムビジネスイノベーション株式会社 情報処理装置およびプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100084276A1 (en) * 2007-04-06 2010-04-08 Stuart Lindsay Devices and Methods for Target Molecule Characterization
JP2015059824A (ja) * 2013-09-18 2015-03-30 国立大学法人大阪大学 生体分子シーケンシング装置、方法、及びプログラム
JP2015145885A (ja) * 2010-02-02 2015-08-13 アリゾナ ボード オブ リージェンツ フォー アンド オン ビハーフ オブ アリゾナ ステート ユニバーシティ ポリマーの配列を決定するための制御されたトンネルギャップデバイス
JP2017517749A (ja) * 2014-05-08 2017-06-29 クオンタムバイオシステムズ株式会社 調節可能なナノギャップ電極用のデバイス及び方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6051027A (en) * 1997-08-01 2000-04-18 Lucent Technologies Efficient three dimensional extraction
US6625299B1 (en) 1998-04-08 2003-09-23 Jeffrey Meisner Augmented reality technology
US6757068B2 (en) * 2000-01-28 2004-06-29 Intersense, Inc. Self-referenced tracking
JP2006303242A (ja) * 2005-04-21 2006-11-02 Orion Denki Kk プリント基板を備えた電子機器
US7954953B2 (en) * 2008-07-30 2011-06-07 Microvision, Inc. Scanned beam overlay projection
US8400548B2 (en) * 2010-01-05 2013-03-19 Apple Inc. Synchronized, interactive augmented reality displays for multifunction devices
US8988102B2 (en) * 2011-02-02 2015-03-24 Rambus Inc. On-die termination
JP4908642B1 (ja) 2011-04-14 2012-04-04 昌治 井上 波形観測システム
US9411010B2 (en) * 2013-10-03 2016-08-09 Massachusetts Institute Of Technology System for introspection and annotation of electronic design data
JP2016062365A (ja) 2014-09-18 2016-04-25 富士通株式会社 載置支援方法
US10371718B2 (en) * 2016-11-14 2019-08-06 International Business Machines Corporation Method for identification of proper probe placement on printed circuit board
US11079522B1 (en) * 2017-05-31 2021-08-03 Magic Leap, Inc. Fiducial design
US11187720B2 (en) * 2017-06-16 2021-11-30 Tektronix, Inc. Test and measurement devices, systems, and methods associated with augmented reality
US10779398B2 (en) * 2018-12-20 2020-09-15 Arris Enterprises Llc Virtual silk screen for printed circuit boards

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100084276A1 (en) * 2007-04-06 2010-04-08 Stuart Lindsay Devices and Methods for Target Molecule Characterization
JP2015145885A (ja) * 2010-02-02 2015-08-13 アリゾナ ボード オブ リージェンツ フォー アンド オン ビハーフ オブ アリゾナ ステート ユニバーシティ ポリマーの配列を決定するための制御されたトンネルギャップデバイス
JP2015059824A (ja) * 2013-09-18 2015-03-30 国立大学法人大阪大学 生体分子シーケンシング装置、方法、及びプログラム
JP2017517749A (ja) * 2014-05-08 2017-06-29 クオンタムバイオシステムズ株式会社 調節可能なナノギャップ電極用のデバイス及び方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
OSHIRO TAKAHITO: "Development of single molecule electrical analysis for a high-throughput single molecule sequencer", BUNSEKI KAGAKU, vol. 66, no. 5, 2017 - 5 May 2017 (2017-05-05), pages 351 - 362, XP055637919 *
XIANG ET AL.: "Gap size dependent transition from direct tunneling to field emission in single molecule junctions", CHEMICAL COMMUNICATIONS, vol. 47, no. 16, 15 March 2011 (2011-03-15), pages 4760 - 4762, XP055637936 *
XIANG ET AL.: "Mechanically Controllable Break Junctions for Molecular Electronics", ADVANCED MATERIALS, vol. 25, no. 35, 2 August 2013 (2013-08-02) - 20 September 2013 (2013-09-20), pages 4845 - 4867, XP055637939 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021157781A (ja) * 2020-03-27 2021-10-07 Ｓｐｐテクノロジーズ株式会社 保守作業支援システム、保守作業支援方法、および、保守作業支援プログラム
JP7149354B2 (ja) 2020-03-27 2022-10-06 Ｓｐｐテクノロジーズ株式会社 保守作業支援システム、保守作業支援方法、および、保守作業支援プログラム
JP2021182211A (ja) * 2020-05-18 2021-11-25 トヨタ自動車株式会社 車両部品表示装置及び車両部品表示方法
JP7384111B2 (ja) 2020-05-18 2023-11-21 トヨタ自動車株式会社 車両部品表示装置及び車両部品表示方法

Also Published As

Publication number Publication date
JPWO2019176007A1 (ja) 2021-02-04
US20200402266A1 (en) 2020-12-24
JP6952868B2 (ja) 2021-10-27
US11551381B2 (en) 2023-01-10

Similar Documents

Publication Publication Date Title
WO2019176007A1 (ja) 情報処理システム、情報処理装置、および情報処理方法
JP2007072537A (ja) ３６０°画像撮影装置
AU2017294531B2 (en) A device for generating computer programs and a method for generating computer programs
JP2018116599A (ja) 情報処理装置、情報処理方法およびプログラム
JP6646208B2 (ja) 表示制御方法、表示制御プログラムおよび情報処理装置
JP2018142109A (ja) 表示制御プログラム、表示制御方法および表示制御装置
JP2018005477A (ja) 表示制御プログラム、表示制御方法および表示制御装置
JP2005310101A (ja) 視線誘導度算出システム、視線誘導度算出プログラムおよび記憶媒体、並びに視線誘導度算出方法
JP2005250890A (ja) レイアウト検証装置
JP6102445B2 (ja) 表示装置、表示方法、および表示プログラム
JP2011081557A (ja) 情報処理装置、情報処理方法およびプログラム
EP2919166A1 (en) Image processing device, image processing method, and image processing program
EP4001933B1 (en) Electromagnetic environment analysis system, electromagnetic environment analysis method, and program
US9041973B2 (en) Support system, control device, image forming apparatus, and support method utilizing cards on which written information is printed
JP2007316832A (ja) パーツカタログ表示システムおよびその制御方法
JP2013084109A (ja) 設計支援装置、設計支援プログラムおよび設計支援方法
JP2013206267A (ja) 情報処理システム、サーバ装置、端末装置、情報処理装置、情報処理方法、およびプログラム
JP2021060856A (ja) 画像合成装置、画像合成装置の制御方法およびプログラム
KR101873983B1 (ko) 구조물 정보 제공 장치 및 기록 매체
JP2003203216A (ja) 画像測定装置用パートプログラム生成装置及び画像測定装置用パートプログラム生成用プログラム
WO2024018974A1 (ja) 情報処理方法、情報処理装置、及び情報処理プログラム
JP5772540B2 (ja) 携帯型端末装置、エリア指定方法及びエリア指定プログラム
JP2018128803A (ja) 表示制御プログラム、表示制御方法および表示制御装置
JPH0816826A (ja) 立体図形配置入力方法及びグラフィックシステム
JP7311099B2 (ja) 画像表示システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18909805

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020506018

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18909805

Country of ref document: EP

Kind code of ref document: A1