WO2020017546A1 - 撮像装置と撮像方法 - Google Patents

撮像装置と撮像方法 Download PDF

Info

Publication number
WO2020017546A1
WO2020017546A1 PCT/JP2019/028064 JP2019028064W WO2020017546A1 WO 2020017546 A1 WO2020017546 A1 WO 2020017546A1 JP 2019028064 W JP2019028064 W JP 2019028064W WO 2020017546 A1 WO2020017546 A1 WO 2020017546A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
subject
imaging
information
identification
Prior art date
Application number
PCT/JP2019/028064
Other languages
English (en)
French (fr)
Inventor
水谷泰崇
Original Assignee
合同会社Ｓｙｎａｐｓｅ Ｇｅａｒ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 合同会社Ｓｙｎａｐｓｅ Ｇｅａｒ filed Critical 合同会社Ｓｙｎａｐｓｅ Ｇｅａｒ
Priority to JP2020531337A priority Critical patent/JP7403834B2/ja
Publication of WO2020017546A1 publication Critical patent/WO2020017546A1/ja
Priority to JP2023112943A priority patent/JP7440975B2/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/24—Details of cameras or camera bodies; Accessories therefor with means for separately producing marks on the film, e.g. title, time of exposure
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/56—Accessories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback

Definitions

  • the present invention relates to an imaging device and an imaging method.
  • Patent Literature 1 performs a visual inspection of a product based on teacher data (image data) of a good product and a defective product.
  • the technology disclosed in Patent Literature 2 performs product classification based on teacher data for each product type.
  • the amount and quality of teacher data for learning artificial intelligence greatly affects the image identification accuracy. That is, in order to execute the appearance inspection and the identification processing with high accuracy using artificial intelligence, a large amount of high-quality teacher data is required.
  • the area occupied by the imaging target in the teacher data is specified with some accuracy.
  • the identification of the area is performed visually for each teacher data. Therefore, it takes a huge amount of time and cost to specify the area.
  • the present invention has been made to solve the above-described problems of the conventional technology, and has an object to reduce time and cost for collecting a large amount of high-quality teacher data.
  • An imaging apparatus includes a type input unit that receives type information of a subject, an imaging unit that captures a subject and outputs a captured image, and a storage unit that stores the type information and the captured image in association with each other. , Has.
  • time and cost for collecting a large amount of high-quality teacher data can be reduced.
  • FIG. 5 is a flowchart showing an embodiment of an imaging device concerning the present invention.
  • 5 is a flowchart showing a learning mode included in the imaging method according to the present invention.
  • FIG. 2 is a schematic diagram illustrating an example of information stored in a storage unit included in the imaging device in FIG. 1.
  • 3 is a flowchart illustrating an identification mode included in the imaging method of FIG. 2.
  • FIG. 2 is a schematic diagram illustrating an example of the imaging device in FIG. 1.
  • FIG. 6 is a partial schematic diagram of the imaging device of FIG.
  • FIG. 6 is a schematic diagram illustrating an example of determining position information of a subject by the imaging device in FIG. 5.
  • FIG. 4 is a schematic diagram illustrating another example of the imaging device of FIG. 1.
  • FIG. 9 is a schematic diagram showing still another embodiment of the imaging device of FIG. 1.
  • FIG. 3 is a schematic diagram illustrating a state in which an object to be identified is irradiated with laser light. It is a schematic diagram which shows the modification of the imaging device of FIG.
  • FIG. 9 is a schematic diagram showing still another embodiment of the imaging device of FIG. 1.
  • FIG. 9 is a schematic diagram showing still another embodiment of the imaging device of FIG. 1.
  • FIG. 9 is a schematic diagram showing still another embodiment of the imaging device of FIG. 1.
  • FIG. 9 is a schematic diagram showing still another embodiment of the imaging device of FIG. 1.
  • present apparatus an imaging apparatus
  • present method an imaging method
  • the present invention captures a subject by changing the orientation, posture, shape, and the like of the subject, thereby capturing a plurality of captured images in different orientations, postures, shapes, and the like from a single subject.
  • An area is specified and acquired as artificial intelligence teacher data.
  • the “subject” is an object to be imaged by the present apparatus, and is, for example, a product or a product in which a good product or a defective product can be distinguished in the appearance inspection, and a product (product) classified (identified) by type in the identification processing. The type will be described later.
  • the “subject area” is an area surrounding the subject in the captured image.
  • the “captured image” is, for example, a still image captured by a digital camera or the like.
  • the captured image includes a subject image that is an image of the subject, and a surrounding image that is an image of the periphery of the subject (for example, a mounting surface such as a table or a belt conveyor on which the subject is mounted). Including.
  • FIG. 1 is a functional block diagram showing an embodiment of the present apparatus.
  • the device 1 images the subject while changing the orientation (posture), shape, and the like of the subject.
  • the apparatus 1 includes a type input unit 11, an imaging unit 12, a storage unit 13, a position determination unit 14, a form change unit 15, a positional relationship change unit 16, a subject information acquisition unit 17, a placement unit 18, a detection unit 19, a display unit 20, an imaging environment change unit 21, an identification information generation unit 22, an identification unit 23, a first identification processing unit 24, a second identification processing unit 25, It has a body detection unit 26 and a control unit 27.
  • the type input unit 11 is an input medium to which the user of the present apparatus 1 can input the type information of the subject, such as a keyboard, a touch panel, and a voice input device.
  • the type information input to the type input unit 11 is one or more.
  • the type input unit is not limited to an input medium to which a user can directly input. That is, for example, the type input unit receives the type information transmitted from a terminal (external device) arranged in a place physically distant from the present apparatus (for example, in the same room, next room, remote place, or the like). It may be a device. Alternatively, the type input unit may be an interface (USB terminal, SD card slot, etc.) capable of taking in information from a storage medium such as a USB or SD card in which type information is stored in advance.
  • a terminal external device
  • the type input unit may be an interface (USB terminal, SD card slot, etc.) capable of taking in information from a storage medium such as a USB or SD card in which type information is stored in advance.
  • Type information is information indicating types (labels, attributes, classes) for classifying a plurality of subjects, such as the types (names) of subjects such as apples and screws, and the states of subjects such as non-defective products and defective products. .
  • the imaging unit 12 captures an image of a subject and outputs a captured image.
  • the imaging unit 12 is, for example, a digital camera capable of capturing a two-dimensional still image.
  • the imaging unit may be a device that can acquire a three-dimensional still image or coordinate information, such as an infrared ToF (Time-of-Flight) camera or a three-dimensional laser scanner.
  • a three-dimensional still image or coordinate information such as an infrared ToF (Time-of-Flight) camera or a three-dimensional laser scanner.
  • the storage unit 13 stores information necessary for the device 1 to execute the method described below.
  • the storage unit 13 includes, for example, a recording device such as a hard disk drive (HDD) and a solid state drive (SSD), and a semiconductor memory device such as a random access memory (RAM) and a flash memory.
  • a recording device such as a hard disk drive (HDD) and a solid state drive (SSD)
  • a semiconductor memory device such as a random access memory (RAM) and a flash memory.
  • the position determining unit 14 determines the position information and stores the position information in the storage unit 13 in association with the captured image. The specific configuration and operation of the position determination unit 14 will be described later.
  • Position information is information for specifying the position of a subject in a captured image.
  • the position information includes coordinate information for specifying relative coordinates from a reference point in a captured image and coordinate information for specifying a subject area.
  • the “reference point” is, for example, the coordinates of a pixel located at the center or the four corners of the pixels constituting the captured image, or the coordinates of a pixel indicating a reference marker captured in the captured image.
  • the form changing unit 15 changes the form of the subject by, for example, applying external force or heat to the subject.
  • the form changing unit 15 is, for example, a robot arm that grasps and crushes the subject, a needle or blade that causes the subject to be lost, a heater that applies heat to the subject, and a cooling device that cools the subject. The specific configuration and operation of the form changing unit 15 will be described later.
  • “change of the form of the subject” includes deformation of the shape of the subject and discoloration of the color of the surface of the subject. That is, for example, the shape changing unit may apply external force or heat to the subject to deform the shape of the subject, or may change the color of the surface of the subject.
  • the positional relationship changing unit 16 changes the positional relationship between the subject and the imaging unit 12.
  • the positional relationship changing unit 16 changes the orientation (posture) of the subject by applying an external force to the subject, such as a robot arm that grips the subject, a vibration device that applies vibration to the subject, and an air gun that blows air (gas) to the subject.
  • the specific configuration and operation of the positional relationship changing unit 16 will be described later.
  • the positional relationship changing unit may function as a form changing unit. That is, for example, the positional relationship changing unit may be configured with one robot arm that grips the subject and changes the direction (posture) of the subject, and also grips and crushes the subject.
  • the subject information acquisition unit 17 acquires information about a subject (hereinafter, referred to as “subject information”).
  • the subject information acquisition unit 17 includes, for example, sensors such as a load cell, a beam sensor, an ultrasonic sensor, and a depth sensor, a device that receives signals from these sensors to calculate subject information, a mirror that captures a subject in a multi-faceted manner, and the like. It is. The specific configuration and operation of the subject information acquisition unit 17 will be described later.
  • the “subject information” is information on the subject that is difficult to directly obtain from a normal imaging method or an imaging device (digital camera), such as the length, weight, volume, and multifaceted image information obtained by a mirror of the subject. .
  • the mounting unit 18 is a device / table on which a subject to be imaged by the imaging unit 12 is mounted.
  • the mounting unit 18 is a device that can move a subject such as a turntable, a belt conveyor, and a slider table.
  • the mounting section 18 includes a mounting surface (not shown) on which the subject is mounted. The specific configuration and operation of the mounting section 18 will be described later.
  • the mounting surface can be captured as a surrounding image. That is, the surrounding image includes an image of the mounting surface (hereinafter, referred to as a “mounting surface image”). Therefore, for example, when the mounting portion 18 is a belt conveyor, the belt is replaced with a different color belt (mounting surface), or the color of the belt is differently colored in the belt length direction ( By mounting different color belts), the mounting surface on which the subject is mounted, that is, the surrounding image can be easily changed.
  • the detection unit 19 detects the position of the subject placed on the placement unit 18 and outputs a detection signal.
  • the detection unit 19 is, for example, a beam sensor. The specific configuration and operation of the detection unit 19 will be described later.
  • the detection signal is transmitted to the position determination unit 14.
  • the display unit 20 is arranged around a subject to be imaged by the imaging unit 12 and displays a display image.
  • the display unit 20 is, for example, an organic EL (Electro Luminescence) display or a liquid crystal display that displays a display image captured with the subject as a background of the subject, or a projector that projects the display image.
  • organic EL Electro Luminescence
  • the “display image” is, for example, a wallpaper composed of a single color, or a background (belt conveyor, etc.) that is imaged together with the product when an appearance inspection or an identification process is performed in an actual production line of a subject (product). ), And all or part of the image is an image captured by the imaging unit 12 as a surrounding image.
  • An image serving as a display image candidate (hereinafter, referred to as a “candidate image”) is stored in the storage unit 13 in advance.
  • the imaging environment changing unit 21 changes an imaging environment when the imaging unit 12 captures an image of a subject.
  • the imaging environment changing unit 21 is, for example, a lighting device that illuminates a subject, a filter attached to a lens included in the imaging unit 12 (covers the lens), and the like.
  • the “imaging environment” is displayed on the display unit 20, for example, the brightness and color of a lighting device that illuminates the subject, the brightness and color of light entering the lens of the imaging unit 12, the color of the mounting surface of the mounting unit 18, and the like.
  • This includes not only environments (elements) that affect the subject image, such as display images, but also environments (elements) that affect the surrounding images.
  • the imaging environment changing unit may be a device that changes a display image.
  • the identification information generation unit 22 generates identification information for each type information based on the captured image stored in the storage unit 13 in association with the type information. The specific configuration and operation of the identification information generation unit 22 will be described later.
  • Identification information is information that can be obtained from a captured image such as the shape, pattern, and color of a subject, and is information that characterizes the type.
  • the identification information includes information generated by the identification information generation unit and information generated by an external device different from the present device.
  • the identification unit 23 identifies the type information corresponding to the identification target based on the identification information. The specific configuration and operation of the identification unit 23 will be described later.
  • the “identified object” is, for example, a product (product) that is identified (classified) for each type when the present apparatus 1 operates in an identification mode described later.
  • the first identification processing unit 24 performs the identification processing on the identification target.
  • the first specifying unit is the specifying unit according to the present invention. The specific configuration and operation of the first specification processing unit 24 will be described later.
  • Specific type information is information indicating a specific type (specified type) such as a defective product of a certain product when the present apparatus 1 operates in an identification mode described later. That is, the type information includes the specific type information.
  • the “specifying process” includes, for example, a process of making an object identified as a specific type in the apparatus 1 visible by a laser beam using a laser marker, a laser pointer, a projector, or the like, For example, the process of removing from 1.
  • the second specifying unit 25 performs the second specifying process on the identified object on which the first specifying unit 24 has performed the specifying process.
  • the “second specifying process” changes, for example, a process of stopping the operation of the present apparatus 1 or a mode (for example, a laser beam irradiation mode to be described later) in which an object identified as a specific type can be visually recognized. Processing, processing for issuing (notifying) a sound such as an alarm, and the like.
  • the identified object detection unit 26 detects the identified object on which the specific processing has been executed.
  • the object detection unit 26 is, for example, a beam sensor. The specific configuration and operation of the object detection unit 26 will be described later.
  • the control unit 27 controls the entire operation of the present apparatus 1.
  • the control unit 27 includes, for example, a processor such as a CPU (Central Processing Unit), an MPU (Micro Processing Unit), a DSP (Digital Signal Processor), a GPU (Graphics Processing Unit), an ASIC (Application Specific Integrated Circuit), and an FPGA (Field). It is composed of an integrated circuit such as a Programmable Gate Array. The operation of the control unit 27 will be described later.
  • the control unit may function as a subject information acquisition unit, a position determination unit, an imaging environment change unit, an identification information generation unit, an identification unit, a first identification processing unit, and a second identification processing unit. That is, for example, the control unit may include a subject information acquisition unit, a position determination unit, an imaging environment change unit, an identification information generation unit, an identification unit, a first identification processing unit, and a second identification processing unit.
  • the subject information acquisition unit, the position determination unit, the imaging environment change unit, the identification information generation unit, the identification unit, the first identification processing unit, and the second identification processing unit are the same as the processor and the control unit. It may be constituted by an integrated circuit, or may be constituted by an individual processor or an integrated circuit.
  • the operation of the apparatus 1 will be described by taking as an example a case where the mounting unit 18 has a transport function such as a belt conveyor or a slider table.
  • the device 1 operates based on two operation modes: a learning mode and an identification mode.
  • the operation mode is switched by, for example, an operation on the device 1 by a user of the device 1.
  • the present apparatus 1 captures a subject by changing the orientation, posture, shape, and the like of the subject, thereby capturing a plurality of captured images in which the orientation, posture, shape, and the like are changed from the subject.
  • This is an operation mode in which a subject area is specified from each captured image and acquired as artificial intelligence teacher data.
  • FIG. 2 is a flowchart of the learning mode.
  • a box indicating “determination” is replaced by a hexagonal box indicating “preparation” (the same applies hereinafter). That is, for example, a process (S105) described later means “determination” in the flowchart.
  • a user of the apparatus 1 places a subject on a placement surface (not shown) of the placement unit 18 (S101).
  • the type information of the subject imaged by the device 1 is input to the device 1 (S102).
  • the input type information is stored in the storage unit 13.
  • the placement unit 18 conveys the subject to the imaging range of the imaging unit 12 (S103).
  • the subject information acquiring unit 17 acquires (calculates) information (subject information) on the length of the subject based on, for example, the detection signal of the detecting unit 19 and the transport speed and the transport amount of the mounting unit 18. ) (S104).
  • the “conveyance amount” is calculated based on, for example, a pulse from an encoder (such as a rotary encoder) attached to the belt conveyor or a servomotor that drives the belt conveyor.
  • the acquired subject information is stored in the storage unit 13.
  • the subject information acquired by the subject information acquisition unit is not limited to information on the length of the subject. That is, for example, the subject information acquisition unit may acquire, as subject information, information that can be detected using a sensor, such as the weight, height, volume, and temperature distribution of the subject.
  • control unit 27 determines whether or not the subject has entered the imaging range of the imaging unit 12 based on, for example, a detection signal of the detection unit 19 (S105).
  • the imaging unit 12 captures an image of the subject (S106).
  • the position determining unit 14 specifies a subject area in the captured image based on, for example, a detection signal of the detecting unit 19 and determines coordinate information (position information of the subject) (S107).
  • the imaging unit 12 waits until the subject enters the imaging range.
  • the position determining unit may determine, for example, the coordinates of two diagonally located points among the coordinates of the four corners of the rectangular object region as the position information of the object.
  • a mirror that can display an image of the side surface of the subject toward the imaging unit may be arranged in the imaging range of the imaging unit.
  • the mirror functions as the subject information acquisition unit in the present invention.
  • the captured image includes an image of the side surface of the subject, which is the subject information. That is, the present device can acquire the subject information associated with the captured image by specifying the area of the mirror in the captured image in advance.
  • the position determination unit 14 stores the position information in the storage unit 13 in association with the captured image (S108).
  • the present apparatus 1 stores, for example, the subject information acquired in the process (S104) in the storage unit 13 in association with the captured image.
  • the mounting section 18 transports the subject to the subject position change point (S109).
  • the “subject position change point” is a position at which the positional relationship changing unit 16 changes the orientation and posture of the subject.
  • the subject position change point is set, for example, on a device (vibration device) that applies vibration to the subject or within a movable range of a robot arm that grips the subject.
  • control unit 27 determines whether or not the number of times that the imaging unit 12 has imaged the subject has reached the number of times specified by the imaging number information (S110).
  • Imaging frequency information is information that specifies the number of times (the number of times of imaging) that the apparatus 1 changes the direction and orientation of the subject and images the subject.
  • the imaging count information is stored in the storage unit 13 in advance by, for example, an operation of an input unit (for example, the type input unit 11) by a user of the present apparatus 1.
  • the positional relationship changing unit 16 changes the direction and orientation of the object (S111). .
  • the positional relationship change unit may change the position and orientation of the camera, or may change the orientation and orientation of the subject and the position and orientation of the camera at the same time.
  • the placement unit 18 conveys (returns) the subject to the imaging range of the imaging unit 12 (S112).
  • the process of the device 1 returns to the process (S105). That is, the imaging unit 12 images the subject after the positional relationship changing unit 16 changes the positional relationship between the subject and the imaging unit 12 based on the imaging count information.
  • the present apparatus may acquire the subject information each time the subject returns to the imaging range of the imaging unit.
  • the control unit 27 issues an instruction to change the imaging environment (hereinafter, “environment change”). Command is issued) (S113).
  • the “environment change instruction” is information that causes the imaging environment changing unit 21 to change the imaging environment of the imaging unit 12 (for example, a change in the brightness and color of the illumination, a change in the background (mounting surface) of the subject, and the like). .
  • the environment change instruction is set in advance by, for example, a user of the present apparatus 1 and stored in the storage unit 13.
  • the imaging environment changing unit 21 changes the imaging environment (S114).
  • control unit 27 resets the number of times the imaging unit 12 has imaged the subject (S115).
  • the process of the device 1 returns to the process (S112).
  • the surrounding image of the captured image captured after the imaging environment changing unit 21 changes the imaging environment is around the captured image captured before the imaging environment changing unit 21 changes the imaging environment. Different from the picture.
  • control unit 27 checks whether there is an instruction to change the form of the subject (hereinafter, referred to as “form change instruction”) (S116).
  • the “form change instruction” is information that causes the form change unit 15 to execute processing such as changing the aspect ratio of the subject due to pressing, cutting / piercing the subject, and deforming / discoloring the subject due to heat.
  • the form change instruction is set based on, for example, information on the number of times of imaging.
  • the form change instruction is set in advance by the user of the present apparatus 1 and stored in the storage unit 13, for example.
  • form change unit 15 changes the form of the subject based on the form change instruction (S117).
  • the control unit 27 resets the number of times the imaging unit 12 has imaged the subject (S118). At this time, if necessary, the control unit 27 or the user of the present apparatus 1 inputs type information indicating that the form of the subject has been changed (S119). For example, when the type information is “watermelon good” and “watermelon defective”, and after a good watermelon is imaged as type information “watermelon good”, the watermelon is deformed and becomes a defective watermelon, the type information “ “Watermelon defective” is input.
  • the process of the device 1 returns to the process (S112). That is, when there is a form change instruction, the imaging unit 12 takes an image of the subject after the form change unit 15 changes the form of the subject.
  • control unit 27 inputs each captured image captured in the process (S106) with the corresponding type information (process (S102) and process (S119)). (S120) in association with the stored type information).
  • the identification information generation unit 22 reads the type information and the captured image stored in association with the type information from the storage unit 13, and identifies the identification information for each type information based on the type information and the captured image. Is generated (S121). The identification information is stored in the storage unit 13 in association with the type information (S122).
  • each process of the learning mode executed by the present apparatus is not limited to the present embodiment. That is, for example, the present device does not need to determine the position information in the learning mode, or need not acquire the subject information. Even in this case, the present apparatus can acquire a plurality of captured images for one subject. In addition, for example, the present apparatus does not have to reset the imaging count information in the learning mode.
  • the imaging count information may include, for example, an individual imaging count set for each change of the imaging environment (environment change instruction) and each change of the form (form change instruction).
  • the present device does not have to generate identification information for each type of information in the learning mode.
  • a user of the present apparatus may generate identification information for each type of information using the present apparatus or an external apparatus and store the generated identification information in the storage unit of the present apparatus.
  • the present apparatus converts the image obtained by rotating the captured image by a predetermined angle into type information corresponding to the captured image (the type input from the type input unit before capturing the captured image). (Information) may be stored in the storage unit.
  • the input of the type information is not limited to before the capturing of the captured image (process S102). That is, for example, the type information is input after the number of times specified by the imaging number information, the direction (posture) of the subject is changed, and the captured image is captured (before the processing S113), or all the captured images are It may be input before being stored in the storage unit in association with the information (process S120).
  • the identification information generation unit may determine whether to use the captured image for generating the identification information based on the identification information stored in the storage unit. That is, for example, when the accuracy (described later) of the identification information generated based on the captured image is sufficiently high (for example, the accuracy is “90” or more) and the update of the identification information is unnecessary, the identification information generation unit Is not used to generate identification information (no identification information is generated). On the other hand, when the accuracy of the identification information is low (for example, less than “90”), the identification information generation unit uses the captured image to generate the identification information (generates the identification information).
  • the position determination unit determines position information that specifies the position of the mark attached to the subject in the captured image, and associates the position information with the captured image.
  • the “mark” is, for example, a paint applied to the subject so as to indicate a specific portion of the subject in a special color or shape.
  • the information indicating the mark is stored in the storage unit in advance as information recognizable by the position determination unit.
  • the present apparatus can easily specify the position of the defect by attaching a mark so as to surround the defect (defect determined as tacit knowledge) determined by the craftsman based on experience or intuition.
  • the “mark” may be made of a paint that can be recognized only under special illumination such as an ultraviolet marker.
  • the present apparatus may include an imaging device capable of recognizing the paint, or may include a special illumination for visualizing the paint.
  • a displacement of the subject area in the captured image (displacement of positional information: displacement) may occur depending on the transport speed of the mounting unit.
  • the present apparatus may temporarily stop the operation of the mounting unit when switching between the imaging device and the illumination, and may reversely move the mounting unit in accordance with the amount of displacement to move the subject to the imaging range.
  • the correction information may be returned, or correction information may be calculated in consideration of the amount of displacement from the transport speed.
  • FIG. 3 is a schematic diagram illustrating an example of information stored in the storage unit 13.
  • the figure shows that the “imaging number”, the “imaging image”, the “position information”, and the “subject information” are stored in the storage unit 13 in association with each “type information”.
  • the “imaging number” is a number indicating the number of times (order) that the imaging unit 12 has imaged the subject based on the imaging number information.
  • the imaging number for example, for the type information “watermelon good”, the imaging number “01”, the captured image “p1”, the position information “x1y1z1”, and the subject information “A1” are associated with each other and stored in the storage unit 13. Is stored in the memory.
  • the imaging numbers “01”, “02”,... “Nn”, the captured image corresponding to each imaging number, the positional information, and the subject information are associated. Indicates that the information is stored in the storage unit 13.
  • the present apparatus 1 can read from the storage unit 13 a captured image stored in association with the type information, and position information and subject information associated with the captured image. . Further, for example, the present apparatus 1 can read the type information stored in association with the subject information by referring to the subject information.
  • the “identification mode” uses identification information generated by the device 1 in the learning mode or identification information generated by the user of the device 1 from a captured image acquired in the learning mode by the device 1. This is an operation mode for identifying a product (product).
  • FIG. 4 is a flowchart of the identification mode.
  • the identification information corresponding to the identification target is read from the storage unit 13 by the user of the present apparatus 1 (S201).
  • the identification target is placed on the placement unit 18 by, for example, the user of the present apparatus 1 (S202).
  • the placement unit 18 transports the object to be identified to the imaging range of the imaging unit 12 (S203).
  • the subject information acquiring unit 17 acquires information (identified object information) related to the length of the identified object based on, for example, the detection signal of the detecting unit 19 and the transport speed of the mounting unit 18. Calculation) (S204).
  • the acquired identification object information is stored in the storage unit 13.
  • the “identified object information” is, for example, the length, color, shape, weight, volume, and multifaceted image information obtained by a mirror directly from a normal imaging method or an imaging device (digital camera). This is information about the object to be identified that is difficult to obtain.
  • control unit 27 determines whether or not the object to be identified has entered the imaging range of the imaging unit 12 based on, for example, a detection signal of the detection unit 19 (S205).
  • the imaging unit 12 captures an image of the identification target (S206).
  • the position determination unit 14 determines the position information of the object to be identified in the captured image based on, for example, the detection signal of the detection unit 19 (S207).
  • the imaging unit 12 waits until the object to be identified enters the imaging range.
  • the position determination unit 14 stores the position information in the storage unit 13 in association with the captured image (S208).
  • the present apparatus 1 stores the subject information acquired in the process (S204) in the storage unit 13 in association with the captured image, for example.
  • the identification unit 23 uses the captured image of the object to be identified, the position information stored in association with the captured image, and the identification information stored in the storage unit 13 to generate the object to be identified.
  • the corresponding type information is identified (specified) (S209). That is, for example, when the identification information is information relating to a pixel value, the identification unit 23 calculates a pixel value in a range where an object to be identified in the captured image is captured based on the captured image and the position information of the subject. Then, the calculated pixel value is compared with the identification information for each type information. The identification unit 23 identifies the type information of the identification information corresponding to the calculated pixel value as the type information of the identification target.
  • the identification information corresponding to the identified object is stored in the storage unit 13 in association with the captured image of the identified object.
  • the first specification processing unit 24 determines whether or not the type information of the object identified by the identification unit 23 is the specific type information (S210).
  • the first specification processing unit 24 performs the specific processing on the identification target (for example, irradiates a defective product with laser light). Process) (S211).
  • the second identification processing unit 25 checks whether or not the identified object detection unit 26 has detected the identified object on which the identification process has been performed (S212).
  • the second identification processing unit 25 performs the second identification process (for example, removal of a defective product or laser light). (Such as changing the irradiation mode) (S213).
  • the “irradiation mode of the laser beam” is a mode in which the object to be identified is irradiated with the laser beam such as the color of the laser beam and the irradiation interval of the laser beam such as lighting or blinking.
  • the device 1 ends the identification mode.
  • each processing of the identification mode executed by the present apparatus is not limited to the present embodiment. That is, for example, the present apparatus does not need to execute the specifying process or the second specifying process in the identification mode, or may not acquire the subject information.
  • the identification unit reads the subject information stored in association with the captured image from the storage unit, compares the subject information with the identification target information, and identifies the type information corresponding to the identification target.
  • the information may be reference information for identifying type information corresponding to the object to be identified.
  • the type information of the object to be identified is specific type information
  • the imaging apparatus according to the present embodiment does not include the form change unit, the display unit, the first specification processing unit, the second specification processing unit, and the identification object detection unit. Different from the imaging device in the embodiment.
  • FIG. 5 is a schematic diagram showing an embodiment of the present apparatus.
  • the device 100 includes a housing 101, a touch panel 111, a camera 112, a vibration device 116, a weighing scale 117a, a pair of mirrors 117b1 and 117b2 (see FIG. 6), a belt conveyor 118, and four It includes one sensor 119a1, 119a2, 119a3, 119a4, eight second sensors 119b1, 119b2, 119b3, 119b4, 119b5, 119b6, 119b7, 119b8 (see FIG. 6), an illumination 121, and a control device 127. Do it.
  • the housing 101 includes a camera 112, a vibration device 116, a weighing scale 117a, a pair of mirrors 117b1 and 117b2, a belt conveyor 118, first sensors 119a1-119a4, second sensors 119b1-119b8, and illumination 121. And the control device 127 are accommodated.
  • the housing 101 is, for example, an aluminum frame.
  • the touch panel 111 is an input device to which the user of the present apparatus 100 inputs subject type information.
  • the touch panel 111 is an example of the type input unit in the present invention.
  • the touch panel 111 is attached to the outer surface of the housing 101.
  • the camera 112 is arranged above the center of the belt conveyor 118 and captures an image of a subject conveyed by the belt conveyor 118.
  • the camera 112 is an example of the imaging unit according to the present invention.
  • the camera 112 is, for example, a line scan camera.
  • the vibration device 116 is arranged on the rear side in the transport direction of the belt conveyor 118 (hereinafter referred to as “transport direction”), and changes the direction (posture) of the subject by applying vibration to the subject and changes the orientation of the subject. Later, the subject is returned to the belt conveyor 118 by inclining toward the belt conveyor 118. That is, the vibration device 116 is an example of the positional relationship changing unit in the present invention.
  • the weight scale 117a is disposed below the belt conveyor 118, and measures the weight of the belt conveyor 118 and the object placed on the placement surface 118a of the belt conveyor 118.
  • the weighing scale 117a is an example of the subject information acquisition unit in the present invention.
  • FIG. 6 is a partial schematic view of the device 100 of FIG.
  • the imaging range of the camera 112 is indicated by a dashed-dotted line
  • the luminous flux of each of the first sensor 119a1-119a3 and the second sensor 119b1-119b8 is indicated by a two-dot dashed line.
  • the mirror 117b1 is disposed on the right side of the center of the belt conveyor 118 (above the plane of FIG. 6), and displays the right side of the object conveyed by the belt conveyor 118 toward the camera 112.
  • the mirror 117b2 is disposed on the left side of the center of the belt conveyor 118 (below the sheet of FIG. 6), and displays the left side of the subject conveyed by the belt conveyor 118 toward the camera 112.
  • the mirrors 117b1 and 117b2 are examples of the subject information acquisition unit in the present invention.
  • the belt conveyor 118 changes the position of the subject with respect to the camera 112 by transporting the subject placed on the belt conveyor 118.
  • the belt conveyor 118 is an example of the placing unit and the positional relationship changing unit in the present invention.
  • the belt conveyor 118 includes a mounting surface 118a on which a subject is mounted.
  • the belt conveyor 118 is capable of transporting a subject in a forward direction (to the left in FIG. 6) and in a reverse direction (to the right in FIG. 6).
  • the mounting surface 118a of the belt conveyor 118 is made of, for example, a single-color synthetic resin.
  • the first sensors 119a1-119a4 detect the presence / absence of a subject conveyed by the belt conveyor 118 in the conveyance direction (the left-right direction in FIG. 6).
  • Each of the first sensors 119a1-119a4 is a beam sensor including a pair of a light projecting unit and a light receiving unit.
  • the first sensors 119a1-119a4 are examples of the detection unit in the present invention.
  • the first sensors 119a1-119a4 are arranged at the carry-in section of the belt conveyor 118, before and after the mirrors 117b1 and 117b2 in the carrying direction, and at the carry-out section of the belt conveyor 118.
  • the direction of the luminous flux of the first sensors 119a1-119a4 is along a direction parallel to the mounting surface 118a and perpendicular to the transport direction (crossing over the belt conveyor 118).
  • the second sensors 119b1-119b8 are narrow beam-shape beam sensors composed of a pair of light projecting units and light receiving units.
  • the second sensors 119b1-119b8 are examples of the detection unit in the present invention.
  • the second sensors 119b1-119b8 are attached to, for example, an elevating mechanism composed of a rail and an actuator, and can move vertically above the belt conveyor 118.
  • the directions of the light beams of the second sensors 119b1-119b8 are along the transport direction.
  • the numbers of the first sensors and the second sensors are not limited to the present embodiment. That is, for example, the number of the first sensors may be “1” or “2”, and the number of the second sensors may exceed “10”.
  • the illumination 121 illuminates the subject conveyed within the imaging range of the camera 112.
  • the illumination 121 is an example of the imaging environment changing unit in the present invention.
  • the control device 127 controls the overall operation of the device 100, stores information necessary for the operation of the method, determines the position information of the subject, obtains the subject information, and identifies the object to be identified. That is, the control device 127 is an example of the storage unit, the position determination unit, the subject information acquisition unit, the identification unit, and the control unit in the present invention. The control device 127 is realized by, for example, a personal computer.
  • members that generate vibration by driving are members that are easily affected by the vibration (the casing 101, the camera 112, the mirror 117b1, and the mirror 117b1).
  • 117b2 the first sensors 119a1-119a4, the second sensors 119b1-119b8, the illumination 121, the control device 127, etc.). Therefore, vibrations from the vibration device 116 and the belt conveyor 118 are not transmitted to the camera 112, the mirrors 117b1 and 117b2, the first sensors 119a1 to 119a4, the second sensors 119b1 to 119b8, the illumination 121, the control device 127, and the like.
  • the member that generates vibration by driving may be physically separated from a member that is easily affected by the vibration, or a vibration-proof material made of an elastic material such as rubber, They may be connected and arranged with a damping material or the like interposed therebetween.
  • the present apparatus may include a mechanism that can move the camera in a three-dimensional trajectory, for example, a mechanism that combines a plurality of slide rails, or together with the mechanism, a camera orientation such as a hinge.
  • a changeable mechanism may be provided.
  • the mechanism functions as a positional relationship changing unit.
  • the apparatus may further include a plurality of cameras (an imaging unit in the present invention) and a plurality of illuminations (an imaging environment changing unit in the present invention).
  • the apparatus 100 measures the weight and length of the subject placed on the placement surface 118a of the belt conveyor 118 (S104), captures an image of the subject while transporting the same (S106), and positions the subject in the captured image.
  • the information is determined (S107), the orientation (posture) of the subject is changed by the vibration device 116 (S111), and the subject whose orientation has been changed is imaged (S106).
  • the apparatus 100 can acquire a plurality of captured images for each type of information by repeating the change of the direction of the subject and the imaging.
  • the apparatus 100 measures the length of the subject conveyed to the belt conveyor 118 based on, for example, the detection signal of the first sensor 119a1 and the conveyance speed of the belt conveyor 118. That is, for example, the present apparatus 100 measures the time during which the first sensor 119a1 is detecting the subject and the transport speed of the belt conveyor 118 using the control device 127, and determines the same time and the same transport speed. Calculate (measure) the length of the subject from. At this time, the control device 127 functions as a subject information acquisition unit in the present invention.
  • the camera 112 starts capturing an image of the subject when the first sensor 119a2 detects the subject, and ends capturing the image of the subject when the first sensor 119a3 stops detecting the subject when the subject is transported in the forward direction. I do.
  • the camera 112 starts capturing an image of the subject when the first sensor 119a3 detects the subject, and captures the image of the subject when the first sensor 119a2 stops detecting the subject, when the subject is being transported in the reverse direction. To end. That is, the camera 112 starts imaging the subject based on the detection signals of the first sensors 119a2 and 119a3, and ends imaging the subject.
  • the camera (the imaging unit in the present invention) captures an image of a subject while changing an imaging time interval (timing rate) based on, for example, a detection signal of the first sensor 119a1 and a conveyance speed of a belt conveyor. Is also good.
  • the camera 112 is a line scan camera, and generates a captured image by combining a series of image data (line-shaped image data) acquired from the start to the end of imaging. Therefore, by reducing the distance between the imaging range of the camera 112 and the first sensors 119a2 and 119a3, the length of the captured image in the transport direction and the length of the subject captured in the captured image are substantially the same. That is, the present apparatus 100 can determine the position information of the subject in the captured image by specifying the position of the subject in a direction orthogonal to the transport direction in the captured image.
  • the control device 127 determines the position information of the subject in the captured image. That is, the control device 127 functions as a position determination unit in the present invention.
  • the control device 127 (the position determination unit 14) specifies the position of the subject in a direction orthogonal to the transport direction in the captured image based on the detection signals of the second sensors 119b1 to 119b8, thereby Determine location information.
  • FIG. 7 is a schematic diagram illustrating an example of how the apparatus 100 determines position information of a subject.
  • FIG. 4 schematically shows an example of a captured image captured by the camera 112.
  • the luminous flux of the second sensor 119b1-119b8 is indicated by a two-dot chain line.
  • the figure shows that the light flux of the second sensor 119b2-119b5 is blocked by the subject.
  • the imaging range of the camera 112 and the detection range (the position of the light beam) of the second sensors 119b1-119b8 are stored in the control device 127 (the storage unit 13) in association with each other in advance. Therefore, the control device 127 (the position determination unit 14) can determine the position information of the subject based on the position of the light flux blocked by the subject among the light fluxes of the second sensors 119b1 to 119b8. That is, for example, in the example illustrated in FIG. 7, the control device 127 (the position determining unit 14) includes, in the captured image, the light beams of the second sensors 119b1 and 119b6 and both ends in the transport direction of the captured image. It can be specified that the subject is located within a rectangular area (subject area). That is, the control device 127 (the position determination unit 14) determines the coordinates of the subject area in the captured image as the position information of the subject.
  • the position determining unit according to the present invention calculates the distance between the subject and the first sensor 119a2 based on the time from when the subject passes through the first sensor 119a2 to when the camera captures a captured image.
  • the region may be further limited.
  • the position determining unit according to the present invention may determine the position information of the subject based on the position of a reference marker, a mirror, or the like captured in the surrounding image.
  • ⁇ Circle around (1) ⁇ also shows that the mirror images 117b1 and 117b2 and the side surfaces of the subject reflected on the mirrors 117b1 and 117b2 are captured in the captured image.
  • the present apparatus 100 can acquire an image of the side surface of the subject as subject information every time the subject is imaged.
  • the camera may be an area camera.
  • the present device may determine the position information of the subject in the captured image based on the detection signals of the second sensors arranged in a grid.
  • the user of the present apparatus may change the orientation or posture of the subject together with or instead of the positional relationship changing unit.
  • the camera can output a captured image in which the positional relationship between the subject and the camera is different for each image capture. According to this configuration, the user can efficiently acquire the unacquired teacher data and the teacher data with few acquisition opportunities.
  • the control device may store a plurality of pieces of identification information and a captured image serving as a basis of the identification information.
  • the control device connects the identification information (or the captured image) stored in the control device (storage unit) in association with the type information input by the user to a display device (for example, a touch panel or this device). Monitor, etc.).
  • a display device for example, a touch panel or this device. Monitor, etc.
  • the user can change the direction and shape of the subject based on the identification information (or the captured image) displayed on the display device. That is, for example, by checking the display device, the user can grasp the direction and shape of the subject that has not been imaged or has few imaging opportunities, and can efficiently acquire the teacher data.
  • the subject type information may be transmitted from an external device connected to the apparatus via a network.
  • the identification information and the captured image output by the present device to the display device may be transmitted from an external device connected to the present device via a network.
  • Example (2) ⁇ Next, another embodiment of the imaging apparatus according to the present invention will be described, focusing on parts different from the above-described embodiment.
  • the imaging device according to the present embodiment is different from the imaging device according to the above-described embodiment in the configuration of the belt conveyor and the control device and in including a display unit.
  • FIG. 8 is a schematic diagram showing another embodiment of the present apparatus.
  • the device 100A includes a touch panel 111, a camera 112, a vibration device 116, a weighing scale 117a, a pair of mirrors 117b1 and 117b2 (see FIG. 6), a belt conveyor 118A, and four first sensors 119a1-119a4. , Eight second sensors 119b1-119b8 (see FIG. 6), a liquid crystal display 120A, an illumination 121, and a control device 127A.
  • the belt conveyor 118A conveys the subject placed on the placement surface 118aA of the belt conveyor 118A.
  • the belt conveyor 118A is an example of the placing section in the present invention.
  • the belt conveyor 118A is capable of transporting a subject in a forward direction (to the left in FIG. 8) and in a reverse direction (to the right in FIG. 8).
  • the mounting surface 118aA of the belt conveyor 118A is, for example, a metal mesh.
  • the mounting surface of the belt conveyor may be made of, for example, a transparent synthetic resin.
  • the liquid crystal display 120A is arranged below the belt conveyor 118A in the imaging range of the camera 112, and displays a display image toward the camera 112.
  • the liquid crystal display 120A is an example of the display unit in the present invention.
  • the control device 127A controls the overall operation of the device 100A, stores information necessary for the operation of the method, determines the position information of the subject, selects the display image, obtains the subject information, and identifies the object to be identified. Execute. That is, the control device 127A is an example of the storage unit, the position determination unit, the subject information acquisition unit, the imaging environment change unit, the identification unit, and the control unit in the present invention. The control device 127A is realized by, for example, a personal computer.
  • Embodiment (2) Next, the operation of the present apparatus 100A in the embodiment (2) will be described with reference to FIGS.
  • the apparatus 100A changes the display image on the liquid crystal display 120A that is taken as a surrounding image when the camera 112 takes an image of a subject, based on the imaging environment instruction (S114).
  • the control device 127A (the storage unit 13) stores a plurality of candidate images in advance.
  • the control device 127A selects a display image from the plurality of candidate images. That is, the control device 127A (imaging environment changing unit 21) functions as an imaging environment changing unit according to the present invention that changes a display image displayed on the liquid crystal display 120A.
  • the selection of the display image is executed in accordance with an instruction from the user of the apparatus 100A or the like, or an instruction (environment change instruction) such as a program stored in the control device 127A (the storage unit 13).
  • the candidate image is, for example, an image of an actual production line, an image of a product (product) of the same type as the subject, a wallpaper of a color that clarifies the contrast of the subject, and the like.
  • the liquid crystal display 120A displays a display image to the camera 112 via the placement surface 118aA of the belt conveyor 118A, which is a mesh.
  • the liquid crystal display 120A changes the display image based on the selection of the control device 127A (imaging environment changing unit 21).
  • the liquid crystal display 120A changes the imaging environment (surrounding image) under the control of the control device 127A (imaging environment changing unit 21).
  • the surrounding image of the captured image captured after the control device 127A (imaging environment changing unit 21) changes the imaging environment is imaged before the control device 127A (imaging environment changing unit 21) changes the imaging environment.
  • the captured image differs from the surrounding image.
  • the liquid crystal display may be arranged upright on the side of the belt conveyor instead of below the belt conveyor.
  • the camera images the subject from the side of the subject so that the liquid crystal display is imaged in the surrounding image.
  • the mounting surface of the belt conveyor may not be mesh or transparent.
  • the present device may include a rear projection device (a device that projects an image from the back of the screen as a screen) or a super single focus projector (hereinafter, referred to as a “projector”) instead of the liquid crystal display 120A.
  • the rear projection device is arranged below the belt conveyor (on the rear side of the mounting surface).
  • the mounting surface of the belt conveyor is made of, for example, a transparent synthetic resin capable of projecting an image from a rear projection device.
  • the projector may be arranged below the belt conveyor (on the back side of the mounting surface) or may be arranged on the side of the belt conveyor.
  • the mounting surface of the belt conveyor is made of, for example, (transparent) synthetic resin capable of projecting an image from a projector.
  • the imaging environment changing unit may replace (combine) the surrounding image with a replacement image selected from the candidate images after capturing the captured image.
  • the “replacement image” is, for example, an image of a background of a product (product), an image of a plurality of non-defective products (defective products), and an image of a plurality of non-defective products (defective products) which can be captured by a camera in an actual manufacturing line. It is an image rotated by an angle.
  • the image before rotation is the first candidate image in the present invention
  • the image after rotation is the second candidate image in the present invention.
  • the present apparatus uses, for example, a small number of non-defective images and replaces non-defective images at various angles with the surrounding image as a replacement image, and removes non-existent images from many non-defective products. It is possible to easily combine captured images of good products (subjects).
  • the imaging environment changing unit stores the position information (coordinates) of the subject image of the captured image before replacement in the storage unit in association with the captured image after replacement with the replacement image.
  • the imaging device according to the present embodiment is different from the imaging devices according to the above-described embodiments (1) and (2) in that the imaging device includes a first specification processing unit, a second specification processing unit, and an identification target detection unit.
  • FIG. 9 is a schematic diagram showing still another embodiment of the present apparatus.
  • the device 100B includes a housing 101, a touch panel 111, a camera 112, a vibration device 116, a weighing scale 117a, a pair of mirrors 117b1 and 117b2 (see FIG. 6), a belt conveyor 118, and four It includes one sensor 119a1-119a4, eight second sensors 119b1-119b8 (see FIG. 6), a light 121, a laser pointer 124B, an object detection sensor 126B, and a control device 127B. .
  • the laser pointer 124B When the apparatus 100B is operating in the identification mode, the laser pointer 124B irradiates the object to be identified identified by the specific type with laser light so that the identification of the identified object is identified by the specific type. I do.
  • the laser pointer 124B is an example of the specific processing unit in the present invention.
  • the object detection sensor 126B detects the presence or absence of the object irradiated with the laser beam at a predetermined position of the belt conveyor 118.
  • the object detection sensor 126B is, for example, a beam sensor.
  • the object detection sensor 126B is an example of the object detection unit in the present invention.
  • the “predetermined position” is, for example, between the first sensor 119a3 and the first sensor 119a4, and is a position at which the user of the apparatus 1 can remove the object to be irradiated with the laser beam.
  • the first sensor (corresponding to the first sensor 119a4) may function as the object detection sensor.
  • the control device 127B controls the overall operation of the device 100B, stores information necessary for the operation of the method, determines the position information of the subject, acquires the subject information, and identifies the object to be identified. That is, the control device 127B is an example of the storage unit, the position determination unit, the subject information acquisition unit, the identification unit, and the control unit in the present invention.
  • the control device 127B is realized by, for example, a personal computer.
  • the device 100B identifies type information corresponding to the identified object (S209), determines whether or not the type information is specific type information (S210), and determines that the type information of the identified object is the specific type information.
  • the object is irradiated with laser light (S211), the presence or absence of the object irradiated with the laser light is detected (S212), and the irradiation mode of the laser light is changed (S213).
  • the control device 127B (identification unit 23) identifies the type information of the identified object based on the captured image of the identified object and the identification information, and determines whether the type information is the specific type information. Confirmation (S210).
  • the laser pointer 124B irradiates the identified object with a laser beam to emphasize the identified object and make it visible. (S211).
  • the control device 127B (the control unit 27) predicts the movement path of the identified object based on the position information of the identified object in the captured image and the moving speed of the belt conveyor 118, and calculates the prediction result. Is transmitted to the laser pointer 124B. That is, the laser pointer 124B irradiates the identification object with laser light so as to track the identification object conveyed by the belt conveyor 118.
  • FIG. 10 is a schematic diagram illustrating a state in which the identification target is irradiated with laser light.
  • arrows indicate how the object and the laser beam move.
  • the lit laser light is indicated by a solid circle
  • the blinking laser light is indicated by a dashed circle.
  • the laser pointer 124B irradiates the target object identified as the specific type with the laser beam based on the prediction result of the control device 127B (the control unit 27), and the identified object is identified as the specific type.
  • the user is made visible to the user of the device 100B. Irradiation with laser light is an example of the specific processing in the present invention.
  • control device may control the operation of the laser pointer.
  • control device also functions as an imaging environment changing unit.
  • the control device 127B detects the target object detected by the target object detection sensor 126B. It is confirmed whether or not the identification object is the identification object irradiated with the laser beam (S212).
  • the laser pointer 124B changes the laser beam illumination mode (for example, turns on the laser beam illumination mode). Is changed to blinking) (S213).
  • the change of the irradiation mode of the laser beam by the laser pointer 124B is an example of the second specific processing in the present invention. That is, the laser pointer 124B functions as the second specific processing unit in the present invention.
  • the present apparatus may stop the operation of the belt conveyor when the object detection sensor detects the object irradiated with the laser beam.
  • the belt conveyor functions as the second specific processing unit in the present invention.
  • the stop of the operation of the belt conveyor by the present apparatus may be performed immediately, or may be performed under a predetermined condition (for example, when the object is transported to a position that can be removed by the user, the detection of the object detection sensor is performed. May be executed when a predetermined time has elapsed since the start of the process.
  • the present device detects a sensor (such as an area sensor) that detects the operation of removing the object to be identified that has been irradiated with the laser beam by a user of the device, or the like.
  • the irradiation of the laser beam may be terminated based on the detection result of a sensor (such as a second camera) that detects that the hand has covered the surface of the object to be irradiated with the laser beam.
  • the present apparatus may remove the identified object from the belt conveyor when the identified object detection sensor detects the identified object irradiated with the laser beam.
  • a means for removing the identification object from the belt conveyor for example, a robot arm, a sorting machine disposed on the belt conveyor, or the like functions as the second specific processing unit in the present invention.
  • the laser pointer (specific processing unit in the present invention) may change the irradiation mode of the laser light (perform the second specifying process) when a predetermined time has elapsed after the irradiation of the laser light.
  • the laser pointer functions as the second specific processing unit in the present invention.
  • the present device notifies the user of the occurrence of a sound when the identified object detection sensor detects the identified object irradiated with the laser light, or when a predetermined time has elapsed since the irradiation of the laser light.
  • a notification unit may be provided. In this case, the notification unit functions as the second specific processing unit in the present invention.
  • the present apparatus may execute different specific processing according to the content of the specific type information. That is, for example, when the type information of the object to be identified is the specific type information corresponding to the defective product of the shape and color, the device irradiates the object with a red laser beam, and the same type information is When the specific type information is the corresponding type information, the identification target may be irradiated with blue laser light.
  • the present apparatus may include, for example, a projector capable of projecting projection mapping onto an object to be identified, instead of the laser pointer.
  • the projector may change the projection mode of the mapping according to the content of the specific type information. That is, for example, when the type information of the object to be identified is the specific type information corresponding to the defective product of the shape and the color, the projector projects a red circle on the object to be identified, and the same type information corresponds to the contamination by the foreign matter.
  • the information is the specific type information, characters that call attention, such as “!”, Or a figure that emphasizes a circle may be additionally projected.
  • the user of the present apparatus can improve the efficiency of the identification work of the object to be identified (such as the work of removing defective products). At the same time, the user can select an object to be removed with priority.
  • the apparatus may further include an adjusting unit that adjusts the projection position of the projector to the mounting surface of the mounting unit.
  • the adjusting means includes, for example, a positioning mark arranged on the mounting surface and a moving mechanism for moving the projector.
  • the user adjusts the position of the projector by projecting the positioning image from the projector on the mounting surface and operating the moving mechanism so that the mark on the mounting surface and the positioning image overlap. I do.
  • the mark on the mounting surface may be directly attached to the mounting surface, or may be detachable from the mounting surface.
  • the present device may be provided with a projection correction function by operating the touch panel by linking the touch panel with the projection correction function (for example, trapezoid correction, zoom, focus, etc.) of the projector.
  • the user of the apparatus 100B can very easily remove the identified object from a manufacturing line or the like. It becomes possible.
  • the present apparatus may calculate the accuracy of identification of the identification unit, and classify the object to be identified based on the calculated accuracy.
  • “Probability” is a degree indicating the accuracy of the type information identified by the identification unit.
  • the accuracy is calculated by the identification unit using a known technique, for example.
  • the identification unit is an example of the specific processing unit in the present invention.
  • the classification of the identification target is performed by, for example, a robot arm provided in the present apparatus.
  • the robot arm is an example of the second specific processing unit in the present invention.
  • FIG. 11 is a schematic view showing a modification of the present device according to still another embodiment. This figure shows that the objects to be conveyed by the belt conveyor 118 are classified by the robot arm 125B1.
  • the robot arm 125B1 is disposed at a position where the object to be identified that has passed the object to be identified detection sensor 126B can be classified, for example.
  • the robot arm 125B1 classifies the target object detected by the target object detection sensor 126B, for example, based on the accuracy calculated by the control device 127B1 (the identification unit 23). That is, for example, when the accuracy of the type information “defective” is “80 or more”, the robot arm 125B1 moves the object to be identified to the left side in the traveling direction of the belt conveyor 118 (upper side of the sheet of FIG. 11).
  • the robot arm 125B1 moves the object to be identified to the right side in the traveling direction of the belt conveyor 118 (the lower side in the drawing of FIG. 11).
  • the robot arm 125B1 allows the user to visually recognize that the object to be identified has been identified by the specific type information and the accuracy thereof.
  • the user inspects only the object to be identified located on the right side in the traveling direction of the belt conveyor 118, so that it is possible to reliably inspect only the object whose identification by the present apparatus is ambiguous.
  • the user can use the present apparatus to identify the object to be identified with high accuracy even if the type information whose identification accuracy is not sufficient is mixed.
  • Example (4) still another embodiment of the imaging apparatus according to the present invention will be described focusing on parts different from the above-described embodiments (1), (2) and (3).
  • the imaging apparatus according to the present embodiment is different from the imaging apparatuses according to the above-described embodiments (1), (2), and (3) in including a form changing unit.
  • FIG. 12 is a schematic diagram showing still another embodiment of the present apparatus.
  • the device 100C includes a touch panel 111, a camera 112, a pressing device 115C, a vibration device 116, a weighing scale 117a, a pair of mirrors 117b1 and 117b2 (see FIG. 6), a belt conveyor 118, and four It has one sensor 119a1-119a4, eight second sensors 119b1-119b8 (see FIG. 6), illumination 121, and a control device 127C.
  • the pressing device 115C is disposed on the vibration device 116, and presses a subject carried into the vibration device 116 to deform the shape of the subject. That is, the pressing device 115C is an example of the form changing unit in the present invention.
  • the present device changes the form of the subject, such as a heating device that applies heat to the subject, a cutting device that cuts the subject, and a piercing device that makes a hole in the subject, instead of or together with the pressing device.
  • Other devices may be provided.
  • the present device can change the direction of a subject, such as a robot arm, and deform the shape of the subject (the function and form of the positional relationship changing unit). (A device that also has the function of the changing unit).
  • the control device 127C controls the overall operation of the device 100C, stores information necessary for the operation of the method, determines the position information of the subject, acquires the subject information, and identifies the object to be identified. That is, the control device 127C is an example of the storage unit, the position determination unit, the subject information acquisition unit, the identification unit, and the control unit in the present invention.
  • the control device 127C is realized by, for example, a personal computer.
  • Embodiment (4) Operation of Embodiment (4) Next, the operation of the device 100C in the embodiment (4) will be described with reference to FIGS.
  • the pressing device 115C presses the subject conveyed to the vibrating device 116 based on the above-described deformation instruction to deform the shape of the subject (S117).
  • the vibration device 116 returns the deformed subject to the belt conveyor 118.
  • the belt conveyor 118 conveys the deformed subject to the imaging range of the camera 112 (S112).
  • the present device 100C includes the pressing device 115C (the form change unit in the present invention), so that a single subject is used to capture a plurality of captured images of the same subject and to deform the shape of the subject. A plurality of captured images of a subject are captured.
  • the present apparatus 100C acquires a plurality of good teacher data and a plurality of defective teacher data from one product (product).
  • the user of the present apparatus may change the form of the subject together with or instead of the form changing section. Even in this case, the camera can output captured images of subjects having different forms. According to this configuration, the user can arbitrarily change the form of the subject to obtain the teacher data.
  • Example (5) still another embodiment of the imaging apparatus according to the present invention will be described focusing on portions different from the above-described embodiments (1), (2), (3), and (4).
  • the imaging apparatus according to the present embodiment is different from the above-described embodiments (1), (2), and (3) in that the imaging apparatus is attached to an existing belt conveyor (in which a vibration device, a weighing scale, and a belt conveyor are not provided). , (4).
  • FIG. 13 is a schematic diagram showing still another embodiment of the present apparatus.
  • the device 100D includes a touch panel 111, a camera 112, a pair of mirrors 117b1 and 117b2, four first sensors 119a1-119a4, eight second sensors 119b1-119b8 (see FIG. 6), and illumination 121. And a control device 127D.
  • the present apparatus 100D is attached to an existing belt conveyor (a belt conveyor arranged in an actual production line) X.
  • the present apparatus 100D does not include a unit for changing the shape of the subject (a form changing unit in the present invention) and a unit for changing the direction (posture) of the subject (a positional relationship changing unit). Therefore, for example, when the user of the device 100D changes the direction of the product (product) many times and inputs the product into the device 100D, the device 100D performs a plurality of imaging operations corresponding to one type information. Take an image.
  • the present apparatus 100D merely attaches to the existing belt conveyor X, and collects a plurality of teacher data and identifies product (product) type information using the existing belt conveyor X. I do. Even in this case, the camera 112 can output a captured image in which one of the positional relationship between the subject and the camera 112 or the form of the subject differs for each image capture.
  • the present apparatus controls the operation of an existing belt conveyor so that, for example, a product (subject) put into the apparatus by a user of the apparatus returns to a position where the product was put in after being imaged by a camera.
  • You may. That is, for example, the present apparatus may reversely rotate the belt conveyor at the timing when the first sensor 119a4 detects the product, and may return the rotation of the belt conveyor at the timing when the first sensor 119a1 detects the product, Alternatively, the operation of the belt conveyor may be temporarily stopped. According to this configuration, the efficiency of the work of the user of the present apparatus changing the direction of one type of product many times and putting it into the present apparatus is improved.
  • the present apparatus may include a mechanism for changing the position of the camera, that is, a positional relationship changing unit according to the present invention.
  • control device storage unit
  • the control device may store a plurality of pieces of identification information and a captured image serving as a basis of the identification information.
  • the control device may output identification information (or a captured image) stored in the control device (storage unit) in association with the type information input by the user to the display device.
  • the user can change the direction and shape of the subject based on the identification information (or the captured image) displayed on the display device. That is, for example, by confirming the display device, the user can grasp the direction and shape of the subject that has not been imaged or has few imaging opportunities, and can efficiently collect teacher data.
  • Example (6) still another embodiment of the imaging apparatus according to the present invention will be described focusing on portions different from the above-described embodiments (1), (2), (3), (4) and (5).
  • the imaging device according to the present embodiment is different from the imaging devices according to the above-described embodiments (1), (2), (3), (4), and (5) in that a turntable is provided instead of the belt conveyor. .
  • FIG. 14 is a schematic diagram showing still another embodiment of the present apparatus.
  • the device 200 includes a housing 201, a touch panel 211, a camera 212, a camera support member 216, a load cell 217, a turntable 218, a light 221 and a control board 227.
  • the housing 201 houses the camera 212, the camera support member 216, the load cell 217, the turntable 218, the lighting 221, and the control board 227.
  • the touch panel 211 is an input device to which the user of the present apparatus 200 inputs the type information of the subject.
  • the touch panel 211 is an example of the type input unit in the present invention.
  • the touch panel 211 is attached to the outer surface of the housing 201.
  • the camera 212 is attached to the camera support member 216, and captures an image of a subject placed on a placement surface 218a of the turntable 218 described below from above the turntable 218.
  • the camera 212 is an example of the imaging unit according to the present invention.
  • the camera 212 is, for example, an area camera.
  • the camera support member 216 is arranged on the side of the turntable 218 to change the position and orientation of the camera 212.
  • a portion of the camera support member 216 to which the camera 212 is attached is slidable in the vertical direction and swingable. That is, the camera support member 216 is an example of the positional relationship changing unit in the present invention that changes the position and orientation of the camera with respect to the subject.
  • the load cell 217 is disposed below the turntable 218, and measures the weight of the turntable 218 and the weight of a subject placed on the turntable 218.
  • the load cell 217 is an example of the subject information acquisition section in the present invention.
  • the turntable 218 changes the position and orientation of the subject with respect to the camera 212 by rotating.
  • the turntable 218 includes a mounting surface 218a on which a subject is mounted.
  • the turntable 218 is an example of the placing section and the positional relationship changing section in the present invention.
  • the illumination 221 illuminates a subject placed within the imaging range of the camera 212.
  • the illumination 221 is an example of the imaging environment changing unit according to the present invention.
  • the control board 227 controls the overall operation of the apparatus 200, stores information necessary for the operation of the present method, determines the position information of the subject, and identifies the object to be identified.
  • the control board 227 mounts, for example, a CPU and a flash memory.
  • the control board 227 is an example of the storage unit, the position determination unit, the identification unit, and the control unit in the present invention.
  • the present device functions as a positional relationship changing unit or a form changing unit in the present invention, such as a mechanism for vibrating a turntable or a mechanism for touching a subject placed on the turntable and applying an external force to the subject.
  • a mechanism may be provided.
  • a liquid crystal display functioning as a display unit in the present invention may be arranged on the side of the turntable and in the imaging range of the camera.
  • a mirror functioning as the subject information acquisition unit in the present invention may be arranged on the side of the turntable and in the imaging range of the camera.
  • Embodiment (6) Operation of Embodiment (6) Next, the operation of the present apparatus 200 in the embodiment (6) will be described with reference to FIGS.
  • the present apparatus 200 measures the weight of the subject placed on the placing surface 218a of the turntable 218 by the user of the present apparatus 200 or the like (S104), and images the subject while rotating the turntable 218 (S106).
  • the position information of the subject in the captured image is determined (S107), the position or orientation of the camera 212 is changed (S111), and the imaging of the subject is repeated (S106).
  • the apparatus 200 obtains a plurality of captured images for each type of information by repeatedly changing the direction of the subject and changing the position and orientation of the camera 212 with respect to the subject.
  • the apparatus 200 recognizes the outer edge of the turntable 218 by image recognition or the like using, for example, the control board 227, and detects the position information of the turntable 218 in the captured image and the position information of the subject in the turntable 218. And decide. At this time, the control board 227 functions as a position determining unit in the present invention.
  • the present apparatus may include an area sensor that can move in a space above the turntable, and may determine the position information of the subject based on the detection result of the area sensor.
  • the area sensor functions as a position determining unit in the present invention.
  • FIG. 15 is a schematic diagram showing still another embodiment of the present invention.
  • the apparatus 200A includes a housing 201, a touch panel 211, a camera 212, a camera support member 216, a load cell 217, a turntable 218, an area sensor 219A, an illumination 221 and a control board 227A. , And.
  • the area sensor 219A determines the position information of the subject placed on the turntable 218.
  • the area sensor 219A is an example of the position determining unit in the present invention.
  • the area sensor 219A is arranged above the turntable 218.
  • the area sensor 219A is movable in the up and down direction (the up and down direction in FIG. 15).
  • the imaging range of the camera 212 and the detection range (the position of the light beam) of the area sensor 219A are stored in the control board 227A (the storage unit 13) in association with each other in advance.
  • the detection result of the area sensor 219A is transmitted to the control board 227A.
  • the control board 227A determines the position information of the subject in the captured image based on the detection result of the area sensor 219A. At this time, the control board 227A functions as a position determining unit in the present invention.
  • the area sensor may be arranged on the side of the turntable. In this case, the area sensor is movable above the turntable in the horizontal direction (the left-right direction in FIG. 15).
  • the present apparatus 1 stores the type input unit 11 for inputting the type information of the subject, the imaging unit 12 for imaging the subject, and stores the type information and the captured image in association with each other.
  • a unit 13 Therefore, the present apparatus 1 can capture a plurality of captured images for each type information and store them in association with each other. That is, the present apparatus 1 reduces time and cost for collecting a large amount of teacher data.
  • the device 1 further includes at least one of a positional relationship changing unit 16 that changes the positional relationship between the subject and the imaging unit 12 or a form changing unit 15 that changes the shape of the subject.
  • the imaging unit 12 captures an image of the subject after the positional relationship changing unit 16 changes the positional relationship between the subject and the imaging unit 12 or after the form changing unit 15 changes the form of the subject. Therefore, the present apparatus 1 can change the type information, capture a plurality of captured images for each type information, and store them in association with each other. That is, the present apparatus 1 reduces time and cost for collecting a large amount of high-quality teacher data.
  • the positional relationship change section 16 or the form change section 15 changes the positional relation between the subject and the image pickup section 12 or changes the form of the subject based on the number-of-images information. Therefore, the present apparatus 1 automatically changes the positional relationship between the subject and the imaging unit 12 to image the subject according to the number of times set in the imaging count information, and automatically changes the form of the subject so that the subject is Take an image. That is, the present apparatus 1 reduces time and cost for collecting a large amount of high-quality teacher data.
  • the apparatus 1 further includes a subject information acquisition unit 17 that acquires subject information (such as the weight, length, volume, and multifaceted image of the subject).
  • the storage unit 13 stores the subject information in association with the captured image. Therefore, the present apparatus 1 can acquire and generate not only identification information for each type of information generated based on a captured image but also identification information in consideration of subject information.
  • the present apparatus 1 not only identifies the type information from the captured image of the identified object, but also identifies the type information from the identified object information (the weight, the length, and the like of the identified object) of the identified object. can do. That is, the present apparatus 1 can collect not only captured images but also subject information associated with the captured images as teacher data. Therefore, the identification accuracy of artificial intelligence learned using these teacher data is improved. As described above, the present apparatus 1 reduces the time and cost for collecting a large amount of high-quality teacher data.
  • the apparatus 1 further includes a position determination unit 14 that determines position information of the subject in the captured image and stores the position information in association with the captured image of the subject. Therefore, the present apparatus 1 can collect a large amount of high-quality teacher data in which position information of a subject in a captured image is determined (specified). That is, the present apparatus 1 reduces time and cost for collecting a large amount of high-quality teacher data.
  • the present apparatus 1 includes a placement unit 18 on which a subject is placed, and a detection unit 19 that detects the position of the subject placed on the placement unit 18 and outputs a detection signal.
  • the position determining unit 14 determines the position information of the subject in the captured image based on the detection signal. Therefore, the device 1 can easily determine the position information of the subject in the captured image. As a result, the present apparatus 1 reduces time and cost for collecting a large amount of high-quality teacher data.
  • the position determining unit 14 determines position information based on the surrounding image.
  • the position information includes coordinate information for specifying relative coordinates from a reference point in the captured image. Therefore, the present apparatus 1 can easily determine the position information by, for example, imaging a reference point such as a reference marker in a surrounding image.
  • the position determination unit 14 determines position information for specifying the position of the mark attached to the subject in the captured image, and stores the position information in the storage unit 13 in association with the captured image.
  • the position information of the mark in association with the captured image, the part to be learned by the artificial intelligence becomes clear.
  • the apparatus 1 can easily specify the position of the defect by attaching a mark to surround the defect (defect determined as tacit knowledge) determined by the craftsman based on experience or intuition. .
  • the apparatus 1 further includes an imaging environment changing unit 21 that changes an imaging environment when the imaging unit 12 images a subject.
  • the surrounding image of the captured image captured after the imaging environment changing unit 21 changes the imaging environment is different from a known image of the captured image captured before the imaging environment changing unit 21 changes the imaging environment. Therefore, the present apparatus 1 changes the imaging environment such as the brightness of the illumination, and changes the imaging environment such as the background (the mounting surface of the mounting unit 18 and the display unit 20) of the subject imaged as the surrounding image. This makes it possible to acquire a large number of teacher data in which the imaging environment has been changed. That is, the present apparatus 1 reduces time and cost for collecting a large amount of high-quality teacher data.
  • the surrounding image includes a mounting surface image of the mounting surface. Therefore, for example, the user of the apparatus 1 changes the color of the mounting surface to a color in which the contrast is clear according to the subject or a color of an actual manufacturing line, thereby increasing the identification accuracy of the artificial intelligence.
  • the present apparatus 1 reduces time and cost for collecting a large amount of high-quality teacher data.
  • the imaging environment changing unit 21 selects and changes the display image displayed on the display unit 20 arranged around the subject from the plurality of candidate images. Therefore, the present apparatus 1 can easily collect captured images including various surrounding images only by changing the display image. That is, the present apparatus 1 reduces time and cost for collecting a large amount of high-quality teacher data.
  • the imaging environment changing unit 21 replaces the surrounding image with a replacement image selected from a plurality of candidate images.
  • the candidate image includes a first candidate image and a second candidate image obtained by rotating the first candidate image at a predetermined angle.
  • the present apparatus 1 can generate a plurality of second candidate images from one first candidate image, for example.
  • the present apparatus 1 combines the image of the actual production line with the subject image, combines the non-defective subject image with a non-defective image rotated at a plurality of angles, and arbitrarily converts the defective product image.
  • Various captured images can be combined, such as by rotating and combining. Therefore, the present apparatus 1 reduces time and cost for collecting a large amount of high-quality teacher data.
  • the present apparatus 1 uses the identification information for each type information generated based on the captured image stored in the storage unit 13 in association with the type information to identify the type information corresponding to the identification target.
  • a part 23 is provided. That is, the present apparatus 1 not only acquires a large amount of teacher data, but also uses an artificial intelligence (identification unit) learned based on the teacher data to inspect the appearance of an object (product, product, etc.) An identification process can be performed. Generally, the practicality of appearance inspection and identification processing using artificial intelligence cannot be grasped until confirmation work is performed under a working environment such as an actual manufacturing line. Therefore, if a result indicating that it is impractical is obtained, time and cost spent on collecting teacher data and investing in equipment may be wasted.
  • the present apparatus 1 can switch between the collection of the teacher data (learning mode) and the identification process using the identification information generated based on the teacher data (identification mode). Therefore, the present apparatus 1 can reduce the time and cost for collecting a large amount of high-quality teacher data, and can confirm the usefulness of the teacher data collected by the present apparatus 1. As a result, the present apparatus 1 improves the accuracy of identification for a while and enables highly accurate (high accuracy) identification.
  • the present apparatus 1 includes an identification information generation unit 22 that generates identification information for each type of information. Therefore, a user or the like of the present apparatus 1 can generate identification information by using the present apparatus 1 without requesting the artificial intelligence vendor or the like to generate the identification information. As a result, the present apparatus 1 reduces the time and cost for collecting a large amount of high-quality teacher data, and reduces the time and cost required for confirming the usefulness of the teacher data collected by the present apparatus 1. Reduce.
  • the first identification processing unit 24 that executes the identification processing on the identification target.
  • the specific process is a process of making the identification of the object to be identified by the specific type information visible using a laser pointer or the like, for example. According to this configuration, the present device 1 can track a defective product, a foreign substance contaminant, or the like with a laser beam, and can notify the user of the present device 1 of the presence and position of these.
  • the present apparatus 1 can perform a process of inspecting for the presence of a defective product or a foreign material, among the processes that have conventionally been performed manually for the presence or absence of a defective product or a foreign material. And the number of inspection personnel can be reduced.
  • the present apparatus 1 includes a second identification processing unit 25 that executes the second identification processing on the identified object on which the first identification processing unit 24 has executed the identification processing.
  • the second identification processing unit 25 executes the second identification processing when a predetermined time has elapsed since the first identification processing unit 24 executed the identification processing.
  • the second specifying process is, for example, a process of changing the irradiation mode of the laser beam, removing the object to be identified, and the like. According to this configuration, the present apparatus 1 can make the user of the present apparatus 1 recognize that removal of defective products or foreign matter has not been performed due to a change in the irradiation mode of the laser beam or the like. .
  • the present apparatus 1 includes an object-to-be-identified detecting unit 26 that detects the object to be identified for which the specific processing has been executed.
  • the second identification processing unit 25 executes a second identification process when the identified object detection unit 26 detects the identified object. According to this configuration, the present apparatus 1 can execute the second specifying process only when the removal of a defective product or a foreign substance is not performed.
  • imaging device 11 type input unit 12 imaging unit 13 storage unit 14 position determination unit 15 form change unit 16 positional relationship change unit 17 subject information acquisition unit 18 placement unit 19 detection unit 20 display unit 21 imaging environment change unit 22 identification information generation Unit 23 identification unit 24 first specific processing unit (specific processing unit) 25 second specific processing unit 26 identification target object detection unit 27 control unit 100 imaging device 111 touch panel (type input unit) 112 Camera (imaging unit) 116 Vibration device (Position relation change unit) 117a Weight scale (subject information acquisition unit) 117b1 Mirror (subject information acquisition unit) 117b2 mirror (subject information acquisition unit) 118 Belt Conveyor (Placement Unit) 118a Mounting surface 119a1-119a4 First sensor (detection unit) 119b1-119b8 Second sensor (detection unit) 121 Lighting (imaging environment change unit) 127 control device (storage unit, position determination unit, subject information acquisition unit, identification unit) 100A Imaging device 118A Belt conveyor 118aA Mount

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Biochemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Studio Devices (AREA)
  • Accessories Of Cameras (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

【課題】高品質な教師データを大量に収集するための時間とコストとを低減する。 【解決手段】本発明にかかる撮像装置（１，１００，１００Ａ－１００Ｄ，２００）は、被写体の種別情報が入力される種別入力部（１１，１１１、２１１）と、被写体を撮像して撮像画像を出力する撮像部（１２，１１２，２１２）と、種別情報と撮像画像とが関連付けて記憶される記憶部（１３，１２７，１２７Ａ－１２７Ｄ，２２７）と、を有してなることを特徴とする。

Description

撮像装置と撮像方法
　本発明は、撮像装置と撮像方法とに関する。
　近年、人工知能（ＡＩ：Artificial Intelligence）に関連する技術の発達に伴い、各種製品の製造現場において、人工知能を用いた製造工程の自動化が急速に進んでいる。特に、画像認識（画像識別）の分野において、人工知能の能力は人間の能力を超えてきている。そのため、人工知能は、製品の良・不良を見分ける外観検査（例えば、特許文献１参照）や、製品を種別ごとに分類（識別）する識別処理（例えば、特許文献２参照）などの自動化に用いられている。
　特許文献１に開示された技術は、製品の良品と不良品それぞれの教師データ（画像データ）に基づいて、製品の外観検査を実行する。一方、特許文献２に開示された技術は、製品の種別ごとの教師データに基づいて、製品の分類を実行する。
特開２０１８－５６４０号公報 特開平０５－２０４２６号公報
　これらの技術では、人工知能を学習させるための教師データの量と質とが、画像識別精度に大きく影響を与える。すなわち、人工知能を用いて外観検査や識別処理を高精度に実行するためには、高品質な教師データが大量に必要となる。
　高品質な教師データを大量に収集するためには、製品の良品、不良品、種別などの分類（クラス）ごとの撮像環境の整備や、撮像サンプルの準備が必要となる。これらの準備には、膨大な時間とコストとが必要となる。また、これらの準備は、人工知能を用いた設備を導入する企業や同設備導入のコンサルタント（導入企業等）が行う場合が多く、人工知能を用いた設備の導入に対する導入企業等への負担となる。
　また、不良品や、希少種などの特殊な種別の教師データについては、その絶対数が少なく、大量の教師データ（撮像サンプル）を準備することが難しい。
　一方、人工知能が教師データから学習するためには、教師データ内における撮像対象が占める領域がある程度精度よく特定されている必要がある。通常、同領域の特定は、教師データごとに人間の目視により行われる。そのため、同領域の特定には、膨大な時間とコストとが必要となる。
　本発明は、以上のような従来技術の問題点を解消するためになされたもので、高品質な教師データを大量に収集するための時間とコストとを低減することを目的とする。
　本発明にかかる撮像装置は、被写体の種別情報が入力される種別入力部と、被写体を撮像して撮像画像を出力する撮像部と、種別情報と撮像画像とが関連付けて記憶される記憶部と、を有してなる。
　本発明によれば、高品質な教師データを大量に収集するための時間とコストとを低減することができる。
本発明にかかる撮像装置の実施の形態を示す機能ブロック図である。 本発明にかかる撮像方法に含まれる学習モードを示すフローチャートである。 図１の撮像装置が備える記憶部に記憶されている情報の例を示す模式図である。 図２の撮像方法に含まれる識別モードを示すフローチャートである。 図１の撮像装置の実施例を示す模式図である。 図５の撮像装置のＡ矢視における部分模式図である。 図５の撮像装置による被写体の位置情報の決定例を示す模式図である。 図１の撮像装置の別の実施例を示す模式図である。 図１の撮像装置のさらに別の実施例を示す模式図である。 被識別体にレーザ光が照射されている状態を示す模式図である。 図９の撮像装置の変形例を示す模式図である。 図１の撮像装置のさらに別の実施例を示す模式図である。 図１の撮像装置のさらに別の実施例を示す模式図である。 図１の撮像装置のさらに別の実施例を示す模式図である。 図１の撮像装置のさらに別の実施例を示す模式図である。
　以下、図面を参照しながら、本発明にかかる撮像装置（以下「本装置」という。）と撮像方法（以下「本方法」という。）との実施の形態について説明する。各図において、同一の部材と要素とについては同一の参照番号を付し、重複する説明は省略する。
　本発明は、被写体の向きや姿勢、形状などを変えて被写体を撮像することにより、１つの被写体から向きや姿勢、形状などを変えた複数の撮像画像を撮像し、同撮像画像の中から被写体領域を特定して人工知能用の教師データとして取得するものである。
　「被写体」は、本装置により撮像される対象であり、例えば、外観検査において良品・不良品が見分けられる製品や産品、識別処理において種別ごとに分類（識別）される製品（産品）である。種別については、後述する。
　「被写体領域」は、撮像画像において、被写体を取り囲む領域である。
　「撮像画像」は、例えば、デジタルカメラなどで撮像される静止画像である。撮像画像は、被写体が撮像された画像である被写体画像と、被写体の周囲（例えば、被写体が載置される台やベルトコンベアなどの載置面）が撮像された画像である周囲画像と、を含む。
●撮像装置●
●撮像装置の構成
　図１は、本装置の実施の形態を示す機能ブロック図である。
　本装置１は、被写体の向き（姿勢）や、形状などを変えて、同被写体を撮像する。本装置１は、種別入力部１１と、撮像部１２と、記憶部１３と、位置決定部１４と、形態変更部１５と、位置関係変更部１６と、被写体情報取得部１７と、載置部１８と、検知部１９と、表示部２０と、撮像環境変更部２１と、識別情報生成部２２と、識別部２３と、第１特定処理部２４と、第２特定処理部２５と、被識別体検知部２６と、制御部２７と、を有してなる。
　種別入力部１１は、本装置１の使用者により被写体の種別情報が入力される、例えば、キーボードやタッチパネル、音声入力デバイスなどの使用者が直接入力可能な入力媒体である。種別入力部１１に入力される種別情報は、１つ、または、複数である。
　なお、種別入力部は、使用者が直接入力可能な入力媒体に限定されない。すなわち、例えば、種別入力部は、本装置から物理的に離れた場所（例えば、同じ室内や、隣室、遠隔地など）に配置される端末（外部装置）から送信される種別情報を受信する通信機器でもよい。あるいは、種別入力部は、予め種別情報が記憶されているＵＳＢやＳＤカードなどの記憶媒体からの情報を取り込み可能なインターフェイス（ＵＳＢ端子やＳＤカードスロットなど）でもよい。
　「種別情報」は、例えば、リンゴ，ねじなどの被写体の種類（名称）、良品，不良品などの被写体の状態など、複数の被写体を区分する種別（ラベル、属性、クラス）を示す情報である。
　撮像部１２は、被写体を撮像して撮像画像を出力する。撮像部１２は、例えば、２次元の静止画像を撮像可能なデジタルカメラである。
　なお、撮像部は、赤外線ＴｏＦ（Time-of-Flight）方式カメラや３次元レーザスキャナなどの３次元の静止画像や座標情報を取得可能なデバイスでもよい。
　記憶部１３は、本装置１が後述する本方法を実行するために必要な情報を記憶する。記憶部１３は、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）などの記録装置や、ＲＡＭ（Random Access Memory）、フラッシュメモリなどの半導体メモリ素子、などにより構成される。
　位置決定部１４は、位置情報を決定して、同位置情報を撮像画像と関連付けて記憶部１３に記憶する。位置決定部１４の具体的な構成や動作については、後述する。
　「位置情報」は、撮像画像における被写体の位置を特定する情報である。位置情報は、撮像画像内の基準点からの相対座標を特定する座標情報や、被写体領域を特定する座標情報を含む。「基準点」は、例えば、撮像画像を構成する画素のうち、中央や４隅に位置する画素の座標であり、あるいは、撮像画像に撮像された基準マーカを示す画素の座標である。
　形態変更部１５は、例えば、被写体に外力や熱を加えることにより、被写体の形態を変更させる。形態変更部１５は、例えば、被写体を把持して押し潰すロボットアームや、被写体を欠損させる針や刃、被写体に熱を加えるヒータ、被写体を冷却する冷却装置などである。形態変更部１５の具体的な構成や動作については、後述する。
　なお、本発明において、「被写体の形態の変更」は、被写体の形状の変形や、被写体の表面の色の変色を含む。すなわち、例えば、形態変更部は、被写体に外力や熱を加えて、被写体の形状を変形させてもよく、あるいは、被写体の表面の色を変色させてもよい。
　位置関係変更部１６は、被写体と撮像部１２との位置関係を変更する。位置関係変更部１６は、例えば、被写体を把持するロボットアームや、被写体に振動を加える振動装置、被写体にエア（ガス）を吹き付けるエアガンなど、被写体に外力を加えることにより被写体の向き（姿勢）を変更させる装置（機構）、複数のスライドレールの組み合わせにより構成される撮像部１２を立体的（平面的）に移動させる装置（機構）、ヒンジなどにより構成される撮像部１２の向き（撮像範囲）を変える機構、または、これらの組み合わせを含む。位置関係変更部１６の具体的な構成や動作については、後述する。
　なお、位置関係変更部は、形態変更部として機能してもよい。すなわち、例えば、位置関係変更部は、被写体を把持して被写体の向き（姿勢）を変更すると共に、被写体を把持して押し潰す１つのロボットアームで構成されてもよい。
　被写体情報取得部１７は、被写体に関する情報（以下「被写体情報」という。）を取得する。被写体情報取得部１７は、例えば、ロードセルやビームセンサ、超音波センサ、深度センサなどのセンサや、これらのセンサからの信号を受信して被写体情報を算出するデバイス、被写体を多面的に写す鏡などである。被写体情報取得部１７の具体的な構成や動作については、後述する。
　「被写体情報」は、被写体の長さや重量、体積、鏡により得られる多面的な画像情報など、通常の撮像方法や撮像装置（デジタルカメラ）から直接的に取得することが難しい被写体に関する情報である。
　載置部１８は、撮像部１２に撮像される被写体が載置される装置・台である。載置部１８は、例えば、ターンテーブルやベルトコンベア、スライダテーブルなどの被写体を移動させることが可能な装置である。載置部１８は、被写体が載置される載置面（不図示）を備える。載置部１８の具体的な構成や動作については、後述する。
　載置面は、周囲画像として撮像され得る。すなわち、周囲画像は、載置面の画像（以下「載置面画像」という。）を含む。そのため、例えば、載置部１８がベルトコンベアである場合において、異なる色のベルト（載置面）に交換することにより、あるいは、ベルトの色がベルトの長さ方向において異なる色に塗り分けられる（異なる色のベルトが連結される）ことにより、被写体が載置される載置面、つまり、周囲画像は、容易に変更可能である。
　検知部１９は、載置部１８に載置された被写体の位置を検知して検知信号を出力する。検知部１９は、例えば、ビームセンサである。検知部１９の具体的な構成や動作については、後述する。検知信号は、位置決定部１４に送信される。
　表示部２０は、撮像部１２が撮像する被写体の周囲に配置されて、表示画像を表示する。表示部２０は、例えば、被写体の背景として被写体と共に撮像される表示画像を表示する有機ＥＬ（Electro Luminescence）ディスプレイや液晶ディスプレイ、あるいは、表示画像を投影するプロジェクタなどである。
　「表示画像」は、例えば、単一の色で構成される壁紙や、被写体（製品）の実際の製造ラインにおいて外観検査や識別処理が実行される際に製品と共に撮像される背景（ベルトコンベアなど）の画像であり、その全部または一部が撮像部１２に周囲画像として撮像される画像である。表示画像の候補となる画像（以下「候補画像」という。）は、予め記憶部１３に記憶されている。
　撮像環境変更部２１は、撮像部１２が被写体を撮像する際の撮像環境を変更する。撮像環境変更部２１は、例えば、被写体を照らす照明装置や、撮像部１２が備えるレンズに取り付けられる（レンズを覆う）フィルタなどである。
　「撮像環境」は、例えば、被写体を照らす照明装置の明るさや色、撮像部１２のレンズに入光する光の明るさや色、載置部１８の載置面の色、表示部２０に表示される表示画像など、被写体画像に影響を与える環境（要素）のみならず、周囲画像に影響を与える環境（要素）を含む。
　なお、撮像環境変更部は、表示画像を変更するデバイスでもよい。
　識別情報生成部２２は、種別情報と関連付けられて記憶部１３に記憶された撮像画像に基づいて、種別情報ごとの識別情報を生成する。識別情報生成部２２の具体的な構成や動作については、後述する。
　「識別情報」は、例えば、被写体の形状、模様、色彩などの撮像画像から取得可能な情報であって、種別を特徴付ける情報である。識別情報は、識別情報生成部により生成された情報と、本装置とは異なる外部装置により生成された情報と、を含む。
　識別部２３は、識別情報に基づいて、被識別体に対応する種別情報を識別する。識別部２３の具体的な構成や動作については、後述する。
　「被識別体」は、例えば、本装置１が後述する識別モードで動作するときに、種別ごとに識別（分類）される製品（産品）である。
　第１特定処理部２４は、識別部２３により識別された被識別体の種別情報が特定種別情報のとき、被識別体に対して特定処理を実行する。第１特定処理部は、本発明における特定処理部である。第１特定処理部２４の具体的な構成や動作については、後述する。
　「特定種別情報」は、例えば、本装置１が後述する識別モードで動作するときに、ある製品の不良品などの特定の種別（特定種別）を示す情報である。すなわち、種別情報は、特定種別情報を含む。「特定処理」は、例えば、本装置１において特定種別に識別された被識別体を、レーザマーカやレーザポインタ、プロジェクタなどを用いてレーザ光により視認可能にする処理や、同被識別体を本装置１から除去する処理などである。
　第２特定処理部２５は、第１特定処理部２４が特定処理を実行した被識別体に対して第２特定処理を実行する。
　「第２特定処理」は、例えば、本装置１の動作を停止させる処理や、特定種別に識別された被識別体を視認可能にする態様（例えば、後述するレーザ光の照射態様）を変更する処理、警報などの音を発する（報知する）処理などである。
　被識別体検知部２６は、特定処理が実行された被識別体を検知する。被識別体検知部２６は、例えば、ビームセンサである。被識別体検知部２６の具体的な構成や動作については、後述する。
　制御部２７は、本装置１の全体の動作を制御する。制御部２７は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＧＰＵ（Graphics Processing Unit）などのプロセッサや、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）などの集積回路により構成される。制御部２７の動作については、後述する。
　なお、制御部は、被写体情報取得部や、位置決定部、撮像環境変更部、識別情報生成部、識別部、第１特定処理部、第２特定処理部として機能してもよい。すなわち、例えば、制御部は、被写体情報取得部や、位置決定部、撮像環境変更部、識別情報生成部、識別部、第１特定処理部、第２特定処理部を備えてもよい。この場合、被写体情報取得部と、位置決定部と、撮像環境変更部と、識別情報生成部と、識別部、第１特定処理部、第２特定処理部とは、制御部と共通するプロセッサや集積回路により構成されてもよく、あるいは、個別のプロセッサや集積回路により構成されてもよい。
●撮像装置の動作
　次に、本装置１の動作について、載置部１８がベルトコンベアやスライダテーブルなどの搬送機能を備える場合を例に説明する。
　本装置１は、学習モードと識別モードとの２つの動作モードに基づいて動作する。動作モードは、例えば、本装置１の使用者の本装置１に対する操作により、切り替えられる。
●学習モード
　「学習モード」は、本装置１が被写体の向きや姿勢、形状などを変えて被写体を撮像することにより、被写体から向きや姿勢、形状などを変えた複数の撮像画像を撮像し、各撮像画像の中から被写体領域を特定して人工知能用の教師データとして取得する動作モードである。
　図２は、学習モードのフローチャートである。
　同図は、図示の便宜上、「判断」を示すボックスを「準備」を示す六角形のボックスで代用して示す（以下同じ）。すなわち、例えば、後述する処理（Ｓ１０５）は、フローチャート上における「判断」を意味する。
　先ず、本装置１の使用者により載置部１８の載置面（不図示）に被写体が載置される（Ｓ１０１）。
　次いで、本装置１の使用者により種別入力部１１が操作されることにより、本装置１により撮像される被写体の種別情報が本装置１に入力される（Ｓ１０２）。入力された種別情報は、記憶部１３に記憶される。
　次いで、載置部１８は、被写体を撮像部１２の撮像範囲へ搬送する（Ｓ１０３）。このとき、被写体情報取得部１７は、例えば、検知部１９の検知信号と、載置部１８の搬送速度や搬送量と、に基づいて、被写体の長さに関する情報（被写体情報）を取得（算出）する（Ｓ１０４）。「搬送量」は、例えば、ベルトコンベアに取り付けられるエンコーダ（ロータリエンコーダなど）や、ベルトコンベアを駆動させるサーボモータなどのパルスに基づいて算出される。取得された被写体情報は、記憶部１３に記憶される。
　なお、被写体情報取得部が取得する被写体情報は、被写体の長さに関する情報に限定されない。すなわち、例えば、被写体情報取得部は、被写体の重量や、高さ、体積、温度分布などセンサを用いて検知可能な情報を被写体情報として取得してもよい。
　次いで、制御部２７は、例えば、検知部１９の検知信号に基づいて、被写体が撮像部１２の撮像範囲に入ったか否かを判定する（Ｓ１０５）。
　被写体が撮像部１２の撮像範囲に入ったとき（Ｓ１０５の「Ｙｅｓ」）、撮像部１２は、被写体を撮像する（Ｓ１０６）。このとき、位置決定部１４は、例えば、検知部１９の検知信号に基づいて、撮像画像内における被写体領域を特定して、その座標情報（被写体の位置情報）を決定する（Ｓ１０７）。
　一方、被写体が撮像部１２の撮像範囲に入っていないとき（Ｓ１０５の「Ｎｏ」）、撮像部１２は、被写体が同撮像範囲に入るまで待機する。
　なお、本発明における位置決定部は、例えば、矩形状の被写体領域の４隅の座標のうち、対角に位置する２点の座標を被写体の位置情報として決定してもよい。
　また、被写体の側面の画像を撮像部に向けて表示可能な鏡が、撮像部の撮像範囲に配置されてもよい。この場合、鏡は、本発明における被写体情報取得部として機能する。このように鏡が配置されることにより、撮像画像は、被写体情報である被写体の側面の画像を含む。つまり、本装置は、撮像画像内における鏡の領域を予め特定しておくことにより、撮像画像に関連付いた被写体情報を取得することができる。
　次いで、位置決定部１４は、位置情報を撮像画像と関連付けて記憶部１３に記憶する（Ｓ１０８）。このとき、本装置１は、例えば、処理（Ｓ１０４）で取得した被写体情報についても、撮像画像と関連付けて記憶部１３に記憶する。
　次いで、載置部１８は、被写体を被写体位置変更点に搬送する（Ｓ１０９）。
　「被写体位置変更点」は、位置関係変更部１６が被写体の向きや姿勢を変更する位置である。被写体位置変更点は、例えば、被写体に振動を加える装置（振動装置）の上や、被写体を把持するロボットアームの可動範囲内に設定される。
　次いで、制御部２７は、撮像部１２が被写体を撮像した回数が撮像回数情報で特定される回数に到達しているか否かを判定する（Ｓ１１０）。
　「撮像回数情報」は、本装置１が被写体の向きや姿勢を変更して被写体を撮像する回数（撮像回数）を特定する情報である。撮像回数情報は、例えば、本装置１の使用者による入力手段（例えば、種別入力部１１）の操作により、予め記憶部１３に記憶されている。
　撮像部１２が被写体を撮像した回数が撮像回数情報で特定される回数に到達していないとき（Ｓ１１０の「Ｎｏ」）、位置関係変更部１６は、被写体の向きや姿勢を変更する（Ｓ１１１）。
　なお、位置関係変更部は、処理（Ｓ１１１）において、カメラの位置や向きを変更してもよく、被写体の向きや姿勢と、カメラの位置や向きと、を同時に変更してもよい。
　次いで、載置部１８は、被写体を撮像部１２の撮像範囲に搬送する（戻す）（Ｓ１１２）。本装置１の処理は、処理（Ｓ１０５）に戻る。すなわち、撮像部１２は、撮像回数情報に基づいて、位置関係変更部１６が被写体と撮像部１２との位置関係を変更した後に、被写体を撮像する。
　なお、本装置は、被写体を撮像部の撮像範囲に戻すたびに、被写体情報を取得してもよい。
　一方、撮像部１２が被写体を撮像した回数が撮像回数情報で特定される回数に到達しているとき（Ｓ１１０の「Ｙｅｓ」）、制御部２７は、撮像環境を変更させる指示（以下「環境変更指示」という。）の有無を確認する（Ｓ１１３）。
　「環境変更指示」は、撮像環境変更部２１に撮像部１２の撮像環境を変更させる（例えば、照明の明るさ、色の変更や、被写体の背景（載置面）の変更など）情報である。環境変更指示は、例えば、本装置１の使用者により予め設定されて、記憶部１３に記憶されている。
　環境変更指示があるとき（Ｓ１１３の「Ｙｅｓ」）、撮像環境変更部２１は、撮像環境を変更する（Ｓ１１４）。
　次いで、制御部２７は、撮像部１２が被写体を撮像した回数をリセットする（Ｓ１１５）。本装置１の処理は、処理（Ｓ１１２）に戻る。撮像環境が変更されたとき、撮像環境変更部２１が撮像環境を変更した後に撮像された撮像画像の周囲画像は、撮像環境変更部２１が撮像環境を変更する前に撮像された撮像画像の周囲画像とは異なる。
　一方、環境変更指示がないとき（Ｓ１１３の「Ｎｏ」）、制御部２７は、被写体の形態を変更させる指示（以下「形態変更指示」という。）の有無を確認する（Ｓ１１６）。
　「形態変更指示」は、形態変更部１５に、例えば、押圧による被写体の縦横比の変更や、被写体の切断・刺突、熱による被写体の変形・変色などの処理を実行させる情報である。形態変更指示は、例えば、撮像回数情報に基づいて設定される。形態変更指示は、例えば、本装置１の使用者により予め設定されて、記憶部１３に記憶されている。
　形態変更指示が有るとき（Ｓ１１６の「Ｙｅｓ」）、形態変更部１５は、形態変更指示に基づいて、被写体の形態を変更させる（Ｓ１１７）。
　次いで、制御部２７は、撮像部１２が被写体を撮像した回数をリセットする（Ｓ１１８）。このとき、必要に応じて、制御部２７、または、本装置１の使用者により、被写体の形態が変更されたことを示す種別情報が入力される（Ｓ１１９）。例えば、種別情報が「スイカ良品」と「スイカ不良品」で、良品のスイカが種別情報「スイカ良品」として撮像された後に同スイカが変形されて不良品のスイカとなったとき、種別情報「スイカ不良品」が入力される。本装置１の処理は、処理（Ｓ１１２）に戻る。すなわち、撮像部１２は、形態変更指示があるとき、形態変更部１５が被写体の形態を変更させた後に、被写体を撮像する。
　一方、形態変更指示がないとき（Ｓ１１６の「Ｎｏ」）、制御部２７は、処理（Ｓ１０６）で撮像された各撮像画像を、対応する種別情報（処理（Ｓ１０２）や処理（Ｓ１１９）で入力された種別情報）に関連付けて記憶部１３に記憶する（Ｓ１２０）。
　次いで、識別情報生成部２２は、記憶部１３から種別情報と、種別情報に関連付けて記憶されている撮像画像と、を読み出し、同種別情報と撮像画像とに基づいて、種別情報ごとの識別情報を生成する（Ｓ１２１）。識別情報は、種別情報に関連付けられて、記憶部１３に記憶される（Ｓ１２２）。
　なお、本装置が実行する学習モードの各処理は、本実施の形態に限定されない。すなわち、例えば、本装置は、学習モードにおいて位置情報を決定しなくてもよく、あるいは、被写体情報を取得しなくてもよい。この場合であっても、本装置は、１つの被写体に対して複数の撮像画像を取得可能である。また、例えば、本装置は、学習モードにおいて撮像回数情報をリセットしなくてもよい。この場合、撮像回数情報は、例えば、撮像環境の変更（環境変更指示）ごと、形態の変更（形態変更指示）ごとに設定された個別の撮像回数を含んでもよい。
　また、本装置は、学習モードにおいて、種別情報ごとの識別情報を生成しなくてもよい。この場合、例えば、本装置の使用者などが、本装置または外部装置を用いて種別情報ごとの識別情報を生成して、本装置の記憶部に記憶させてもよい。
　さらに、本装置は、撮像画像を撮像後、同撮像画像を所定の角度で回転させた画像を同撮像画像に対応する種別情報（同撮像画像の撮像前に、種別入力部から入力された種別情報）に関連付けて記憶部に記憶してもよい。
　さらにまた、種別情報の入力は、撮像画像の撮像前（処理Ｓ１０２）に限定されない。すなわち、例えば、種別情報の入力は、撮像回数情報で特定される回数、被写体の向き（姿勢）を変更して撮像画像を撮像した後（処理Ｓ１１３前）や、全ての撮像画像を対応する種別情報と関連付けて記憶部に記憶する（処理Ｓ１２０）前に入力されてもよい。
　さらにまた、識別情報生成部は、処理（Ｓ１２１）において、記憶部に記憶された識別情報に基づいて、撮像画像を識別情報の生成に用いるか否かを決定してもよい。すなわち、例えば、撮像画像に基づいて生成される識別情報の確度（後述）が十分に高く（例えば、確度「９０」以上）、識別情報の更新が不要なとき、識別情報生成部は、撮像画像を識別情報の生成に用いない（識別情報を生成しない）。一方、識別情報の確度が低いとき（例えば、確度「９０」未満）、識別情報生成部は、撮像画像を識別情報の生成に用いる（識別情報を生成する）。
　さらにまた、本発明における位置決定部は、被写体に目印が付された場合、撮像画像における被写体に付された目印の位置を特定する位置情報を決定して、同位置情報を撮像画像と関連付けて記憶部に記憶してもよい。この場合、「目印」は、例えば、特殊な色や形で被写体の特定箇所を示すように被写体に塗られた塗料である。目印を示す情報は、位置決定部が認識可能な情報として、予め記憶部に記憶されている。このように、目印の位置情報を撮像画像と関連付けて記憶することにより、人工知能（プログラム）に学習させる箇所が明確になる。その結果、例えば、職人が経験や勘で判別する不良（暗黙知として判別される不良）を囲むように目印を付すことで、本装置は、同不良の位置を容易に特定することができる。
　さらにまた、「目印」は、紫外線マーカなどの特殊な照明下においてのみ認識可能な塗料で構成されてもよい。この場合、本装置は、同塗料を認識可能な撮像機器を備えてもよく、あるいは、同塗料を可視化する特殊な照明を備えてもよい。撮像機器や照明を切り替えて被写体を撮像する場合、載置部の搬送速度に応じて、撮像画像内における被写体領域のずれ（位置情報のずれ：位置ずれ）が生じ得る。そのため、本装置は、撮像機器や照明の切り替えの際に、載置部の動作を一時的に停止させてもよく、位置ずれ量に応じて載置部を逆送させて被写体を撮像範囲に戻してもよく、あるいは、搬送速度から位置ずれ量を加味した補正情報を算出してもよい。
　図３は、記憶部１３に記憶されている情報の例を示す模式図である。
　同図は、「種別情報」ごとに「撮像番号」と「撮像画像」と「位置情報」と「被写体情報」とが関連付けられて記憶部１３に記憶されていることを示す。「撮像番号」は、撮像回数情報に基づいて、撮像部１２が被写体を撮像した回数（順番）を示す番号である。同図は、例えば、種別情報「スイカ良品」に対して、撮像番号「０１」と、撮像画像「ｐ１」と、位置情報「ｘ１ｙ１ｚ１」と、被写体情報「Ａ１」と、が関連付けて記憶部１３に記憶されていることを示す。また、同図は、種別情報「スイカ良品」に対して、撮像番号「０１」「０２」・・・「ｎｎ」と、各撮像番号に対応する撮像画像と位置情報と被写体情報とが関連付けられて記憶部１３に記憶されていることを示す。
　本装置１は、種別情報を参照することで、種別情報と関連付けて記憶されている撮像画像と、同撮像画像に関連付けられている位置情報と被写体情報と、を記憶部１３から読み出すことができる。また、例えば、本装置１は、被写体情報を参照することで、被写体情報と関連付けて記憶されている種別情報を読み出すことができる。
●識別モード
　「識別モード」は、本装置１が学習モードで生成した識別情報、あるいは、本装置１が学習モードで取得した撮像画像などから本装置１の使用者などが生成した識別情報を用いて、製品（産品）を識別する動作モードである。
　図４は、識別モードのフローチャートである。
　先ず、本装置１の使用者などにより、被識別体に対応する識別情報が、記憶部１３から読み出される（Ｓ２０１）。
　次いで、被識別体が、例えば、本装置１の使用者により載置部１８に載置される（Ｓ２０２）。
　次いで、載置部１８は、被識別体を撮像部１２の撮像範囲へ搬送する（Ｓ２０３）。このとき、被写体情報取得部１７は、例えば、検知部１９の検知信号と、載置部１８の搬送速度と、に基づいて、被識別体の長さに関する情報（被識別体情報）を取得（算出）する（Ｓ２０４）。取得された被識別体情報は、記憶部１３に記憶される。
　「被識別体情報」は、例えば、被識別体の長さや色、形状、重量、体積、鏡により得られる多面的な画像情報など、通常の撮像方法や撮像装置（デジタルカメラ）から直接的に取得することが難しい被識別体に関する情報である。
　次いで、制御部２７は、例えば、検知部１９の検知信号に基づいて、被識別体が撮像部１２の撮像範囲に入ったか否かを判定する（Ｓ２０５）。
　被識別体が撮像部１２の撮像範囲に入ったとき（Ｓ２０５の「Ｙｅｓ」）、撮像部１２は、被識別体を撮像する（Ｓ２０６）。このとき、位置決定部１４は、例えば、検知部１９の検知信号に基づいて、撮像画像内における被識別体の位置情報を決定する（Ｓ２０７）。
　一方、被識別体が撮像部１２の撮像範囲に入っていないとき（Ｓ２０５の「Ｎｏ」）、撮像部１２は、被識別体が同撮像範囲に入るまで待機する。
　次いで、位置決定部１４は、位置情報を撮像画像と関連付けて記憶部１３に記憶する（Ｓ２０８）。このとき、本装置１は、例えば、処理（Ｓ２０４）で取得した被写体情報についても、撮像画像と関連付けて記憶部１３に記憶する。
　次いで、識別部２３は、記憶部１３に記憶されている、被識別体の撮像画像と、同撮像画像に関連付けて記憶されている位置情報と、識別情報と、を用いて、被識別体に対応する種別情報を識別（特定）する（Ｓ２０９）。すなわち、例えば、識別情報が画素値に関する情報の場合、識別部２３は、被写体の撮像画像と位置情報とに基づいて、同撮像画像内の被識別体が撮像されている範囲の画素値を算出して、算出された画素値と種別情報ごとの識別情報とを照合する。識別部２３は、算出された画素値に対応する識別情報の種別情報を、被識別体の種別情報として識別する。被識別体に対応する識別情報は、同被識別体の撮像画像に関連付けられて記憶部１３に記憶される。
　次いで、第１特定処理部２４は、識別部２３が識別した被識別体の種別情報が特定種別情報であるか否かを判定する（Ｓ２１０）。
　被識別体の種別情報が特定種別情報であるとき（Ｓ２１０の「Ｙｅｓ」）、第１特定処理部２４は、被識別体に対して特定処理（例えば、不良品に対してレーザ光を照射する処理）を実行する（Ｓ２１１）。
　次いで、第２特定処理部２５は、特定処理が実行された被識別体を被識別体検知部２６が検知したか否かを確認する（Ｓ２１２）。
　特定処理が実行された被識別体を被識別体検知部２６が検知したとき（Ｓ２１２の「Ｙｅｓ」）、第２特定処理部２５は、第２特定処理（例えば、不良品の除去やレーザ光の照射態様の変更など）を実行する（Ｓ２１３）。「レーザ光の照射態様」は、例えば、レーザ光の色や、点灯・点滅などのレーザ光の照射間隔などのレーザ光が被識別体に照射される態様である。
　一方、被識別体の種別情報が特定種別情報でないとき（Ｓ２１０の「Ｎｏ」）、または、特定処理が実行された被識別体を被識別体検知部２６が検知しないとき（Ｓ２１２の「Ｎｏ」）、本装置１は、識別モードを終了する。
　なお、本装置が実行する識別モードの各処理は、本実施の形態に限定されない。すなわち、例えば、本装置は、識別モードにおいて特定処理や第２特定処理を実行しなくてもよく、あるいは、被写体情報を取得しなくてもよい。
　また、識別部は、撮像画像に関連付けて記憶されている被写体情報を記憶部から読み出して、被写体情報と被識別体情報とを比較して、被識別体に対応する種別情報を識別してもよく、あるいは、被識別体に対応する種別情報の識別の参考情報としてもよい。
　さらに、第１特定処理部は、被識別体の種別情報が特定種別情報であるとき、
●実施例（１）●
　次に、本発明にかかる撮像装置の実施例について、先に説明した実施の形態と異なる部分を中心に説明する。本実施例における撮像装置は、形態変更部と、表示部と、第１特定処理部と、第２特定処理部と、識別体検知部と、を備えていない点において、先に説明した実施の形態における撮像装置と異なる。
●実施例（１）の構成
　図５は、本装置の実施例を示す模式図である。
　本装置１００は、筐体１０１と、タッチパネル１１１と、カメラ１１２と、振動装置１１６と、重量計１１７ａと、一対の鏡１１７ｂ１，１１７ｂ２（図６参照）と、ベルトコンベア１１８と、４個の第１センサ１１９ａ１，１１９ａ２，１１９ａ３，１１９ａ４と、８個の第２センサ１１９ｂ１，１１９ｂ２，１１９ｂ３，１１９ｂ４，１１９ｂ５，１１９ｂ６，１１９ｂ７，１１９ｂ８（図６参照）と、照明１２１と、制御装置１２７と、を有してなる。
　筐体１０１は、カメラ１１２と、振動装置１１６と、重量計１１７ａと、一対の鏡１１７ｂ１，１１７ｂ２と、ベルトコンベア１１８と、第１センサ１１９ａ１－１１９ａ４と、第２センサ１１９ｂ１－１１９ｂ８と、照明１２１と、制御装置１２７と、を収容する。筐体１０１は、例えば、アルミ製のフレームである。
　タッチパネル１１１は、本装置１００の使用者により被写体の種別情報が入力される入力デバイスである。タッチパネル１１１は、本発明における種別入力部の例である。タッチパネル１１１は、筐体１０１の外面に取り付けられる。
　カメラ１１２は、ベルトコンベア１１８の中央上方に配置されて、ベルトコンベア１１８により搬送される被写体を撮像する。カメラ１１２は、本発明における撮像部の例である。カメラ１１２は、例えば、ラインスキャンカメラである。
　振動装置１１６は、ベルトコンベア１１８の搬送方向（以下「搬送方向」という。）の後方側に配置されて、被写体に振動を加えて被写体の向き（姿勢）を変更すると共に、被写体の向きを変更後にベルトコンベア１１８に向けて傾斜することにより同被写体をベルトコンベア１１８に戻す。すなわち、振動装置１１６は、本発明における位置関係変更部の例である。
　重量計１１７ａは、ベルトコンベア１１８の下方に配置されて、ベルトコンベア１１８とベルトコンベア１１８の載置面１１８ａに載置された被写体との重量を計測する。重量計１１７ａは、本発明における被写体情報取得部の例である。
　図６は、図５の本装置１００のＡ矢視における部分模式図である。
　同図は、カメラ１１２の撮像範囲を一点鎖線で示し、第１センサ１１９ａ１－１１９ａ３と第２センサ１１９ｂ１－１１９ｂ８それぞれの光束を二点鎖線で示す。
　図５と図６とに戻る。
　鏡１１７ｂ１は、ベルトコンベア１１８の中央右方（図６の紙面上方）に配置されて、ベルトコンベア１１８により搬送される被写体の右側面をカメラ１１２に向けて表示する。鏡１１７ｂ２は、ベルトコンベア１１８の中央左方（図６の紙面下方）に配置されて、ベルトコンベア１１８により搬送される被写体の左側面をカメラ１１２に向けて表示する。鏡１１７ｂ１，１１７ｂ２は、本発明における被写体情報取得部の例である。
　ベルトコンベア１１８は、ベルトコンベア１１８に載置された被写体を搬送することにより、カメラ１１２に対する被写体の位置を変更する。ベルトコンベア１１８は、本発明における載置部と位置関係変更部との例である。ベルトコンベア１１８は、被写体が載置される載置面１１８ａを備える。ベルトコンベア１１８は、被写体を正方向（図６の紙面左方）と逆方向（図６の紙面右方）とに搬送可能である。ベルトコンベア１１８の載置面１１８ａは、例えば、単色の合成樹脂製である。
　第１センサ１１９ａ１－１１９ａ４は、搬送方向（図６の紙面左右方向）において、ベルトコンベア１１８により搬送される被写体の有無を検知する。第１センサ１１９ａ１－１１９ａ４は、一対の投光部と受光部とから構成されるビームセンサである。第１センサ１１９ａ１－１１９ａ４は、本発明における検知部の例である。第１センサ１１９ａ１－１１９ａ４は、ベルトコンベア１１８の搬入部と、搬送方向における鏡１１７ｂ１，１１７ｂ２の前後と、ベルトコンベア１１８の搬出部と、に配置される。第１センサ１１９ａ１－１１９ａ４の光束の向きは、載置面１１８ａに平行かつ搬送方向に対して垂直な方向に沿う（ベルトコンベア１１８上を横断する）。
　第２センサ１１９ｂ１－１１９ｂ８は、一対の投光部と受光部とから構成される狭光芒性のビームセンサである。第２センサ１１９ｂ１－１１９ｂ８は、本発明における検知部の例である。第２センサ１１９ｂ１－１１９ｂ８は、例えば、レールとアクチュエータとから構成される昇降機構に取り付けられて、ベルトコンベア１１８の上方を上下方向に移動可能である。第２センサ１１９ｂ１－１１９ｂ８の光束の向きは、搬送方向に沿う。
　なお、第１センサと第２センサそれぞれの数は、本実施の形態に限定されない。すなわち、例えば、第１センサの数は「１」や「２」でもよく、第２センサの数は「１０」を超えてもよい。
　照明１２１は、カメラ１１２の撮像範囲内に搬送された被写体を照らす。照明１２１は、本発明における撮像環境変更部の例である。
　制御装置１２７は、本装置１００の全体の動作の制御や、本方法の動作に必要な情報の記憶、被写体の位置情報の決定、被写体情報の取得、被識別体の識別を実行する。すなわち、制御装置１２７は、本発明における記憶部と、位置決定部と、被写体情報取得部と、識別部と、制御部と、の例である。制御装置１２７は、例えば、パーソナルコンピュータで実現される。
　ここで、本装置１００が備える部材のうち、駆動して振動を発生させる部材（振動装置１１６やベルトコンベア１１８）は、同振動により影響を受けやすい部材（筐体１０１やカメラ１１２、鏡１１７ｂ１，１１７ｂ２、第１センサ１１９ａ１－１１９ａ４、第２センサ１１９ｂ１－１１９ｂ８、照明１２１、制御装置１２７など）と分離して配置される。そのため、振動装置１１６やベルトコンベア１１８からの振動は、カメラ１１２や鏡１１７ｂ１，１１７ｂ２、第１センサ１１９ａ１－１１９ａ４、第２センサ１１９ｂ１－１１９ｂ８、照明１２１、制御装置１２７などに伝達されない。
　なお、駆動して振動を発生させる部材は、同振動により影響を受けやすい部材に対して、物理的に分離して配置されてもよく、あるいは、ゴムなどの弾性材製の防振材や、制振材などを間に介在させて連結して配置されてもよい。
　また、本装置は、例えば、複数のスライドレールを組み合わせた機構など、カメラを立体的な軌道で移動させることができる機構を備えてもよく、あるいは、同機構と共にヒンジのようなカメラの向きを変更可能な機構を備えてもよい。この場合、同機構は、位置関係変更部として機能する。
　さらに、本装置は、カメラ（本発明における撮像部）や照明（本発明における撮像環境変更部）を複数備えてもよい。
●実施例（１）の動作
　次いで、本実施例（１）における本装置１００の動作について、図２、図５、図６を参照しながら説明する。
　本装置１００は、ベルトコンベア１１８の載置面１１８ａに載置された被写体の重量と長さとを計測し（Ｓ１０４）、同被写体を搬送しながら撮像し（Ｓ１０６）、撮像画像内の被写体の位置情報を決定し（Ｓ１０７）、振動装置１１６により被写体の向き（姿勢）を変更し（Ｓ１１１）、向きが変更された被写体を撮像する（Ｓ１０６）。本装置１００は、被写体の向きの変更と撮像とを繰り返すことにより、種別情報ごとに複数の撮像画像を取得することができる。
　本装置１００は、例えば、第１センサ１１９ａ１の検知信号と、ベルトコンベア１１８の搬送速度と、に基づいて、ベルトコンベア１１８に搬送される被写体の長さを計測する。すなわち、例えば、本装置１００は、制御装置１２７を用いて、第１センサ１１９ａ１が被写体を検知している時間と、ベルトコンベア１１８の搬送速度と、を計測して、同時間と同搬送速度とから被写体の長さを算出（計測）する。このとき、制御装置１２７は、本発明における被写体情報取得部として機能する。
　カメラ１１２は、被写体が正方向に搬送されている場合において、第１センサ１１９ａ２が被写体を検知したとき被写体の撮像を開始し、第１センサ１１９ａ３が被写体を検知しなくなったとき被写体の撮像を終了する。一方、カメラ１１２は、被写体が逆方向に搬送されている場合において、第１センサ１１９ａ３が被写体を検知したとき被写体の撮像を開始し、第１センサ１１９ａ２が被写体を検知しなくなったとき被写体の撮像を終了する。すなわち、カメラ１１２は、第１センサ１１９ａ２，１１９ａ３の検知信号に基づいて、被写体の撮像を開始すると共に、被写体の撮像を終了する。
　なお、カメラ（本発明における撮像部）は、例えば、第１センサ１１９ａ１の検知信号と、ベルトコンベアの搬送速度と、に基づいて、撮像時間間隔（タイミングレート）を変更しながら被写体を撮像してもよい。
　前述のとおり、カメラ１１２は、ラインスキャンカメラであり、撮像の開始から終了までの間に取得した一連の画像データ（ライン状の画像データ）を合成して撮像画像を生成する。そのため、カメラ１１２の撮像範囲と第１センサ１１９ａ２，１１９ａ３との間隔を狭めることで、搬送方向における撮像画像の長さと、同撮像画像に撮像されている被写体の長さとは、略同じとなる。つまり、本装置１００は、撮像画像において、搬送方向に直交する方向における被写体の位置を特定することにより、撮像画像内の被写体の位置情報を決定することができる。
　本実施例では、制御装置１２７が撮像画像内の被写体の位置情報を決定する。すなわち、制御装置１２７は、本発明における位置決定部として機能する。制御装置１２７（位置決定部１４）は、第２センサ１１９ｂ１－１１９ｂ８の検知信号に基づいて、撮像画像内の搬送方向に直交する方向における被写体の位置を特定することにより、撮像画像内における被写体の位置情報を決定する。
　図７は、本装置１００による被写体の位置情報の決定例を示す模式図である。
　同図は、カメラ１１２により撮像された撮像画像の例を模式的に示す。同図は、第２センサ１１９ｂ１－１１９ｂ８の光束を二点鎖線で示す。同図は、第２センサ１１９ｂ２－１１９ｂ５の光束が被写体により遮られていることを示す。
　ここで、カメラ１１２の撮像範囲と、第２センサ１１９ｂ１－１１９ｂ８の検知範囲（光束の位置）とは、予め関連付けられて制御装置１２７（記憶部１３）に記憶されている。そのため、制御装置１２７（位置決定部１４）は、第２センサ１１９ｂ１－１１９ｂ８の光束のうち、被写体に遮られている光束の位置に基づいて、被写体の位置情報を決定することができる。すなわち、例えば、図７に示される例において、制御装置１２７（位置決定部１４）は、撮像画像内において、第２センサ１１９ｂ１，１１９ｂ６の光束と、撮像画像の搬送方向における両端と、により構成される矩形の領域（被写体領域）内に被写体が位置していることを特定することができる。つまり、制御装置１２７（位置決定部１４）は、撮像画像内における被写体領域の座標を被写体の位置情報として決定する。
　なお、本発明における位置決定部は、被写体が第１センサ１１９ａ２を通過してからカメラが撮像画像を撮像するまでの時間に基づいて、被写体と第１センサ１１９ａ２との距離を算出して、被写体領域をさらに限定してもよい。また、本発明における位置決定部は、周囲画像に撮像されている基準マーカや、鏡などの位置に基づいて、被写体の位置情報を決定してもよい。
　また、同図は、撮像画像に鏡１１７ｂ１，１１７ｂ２と、鏡１１７ｂ１，１１７ｂ２に写り込んでいる被写体の側面と、が撮像されていることを示す。このように鏡１１７ｂ１，１１７ｂ２を撮像範囲に配置することにより、本装置１００は、被写体を撮像するごとに、同被写体の側面の画像を被写体情報として取得することができる。
　さらに、カメラ（本発明における撮像部）は、エリアカメラでもよい。この場合、例えば、本装置は、格子状に配置された第２センサの検知信号に基づいて、撮像画像内における被写体の位置情報を決定してもよい。
　さらにまた、位置関係変更部と共に、あるいは、位置関係変更部に代えて、本装置の使用者が、被写体の向きや姿勢を変更してもよい。この場合であっても、カメラは、撮像ごとに、被写体とカメラとの位置関係が異なる撮像画像を出力可能である。この構成によれば、使用者は、未取得の教師データや取得機会の少ない教師データを効率的に取得可能である。
　さらにまた、制御装置（記憶部）は、複数の識別情報や、識別情報の基となる撮像画像、を記憶していてもよい。この場合、制御装置は、使用者が入力した種別情報に関連付けられて制御装置（記憶部）に記憶されている識別情報（または、撮像画像）を表示装置（例えば、タッチパネルや、本装置に接続されるモニタなど）に出力してもよい。その結果、使用者は、表示装置に表示された識別情報（または、撮像画像）に基づいて、被写体の向きや形状を変更可能である。すなわち、例えば、使用者は、表示装置を確認することにより、未撮像あるいは撮像機会の少ない被写体の向きや形状を把握して、効率的に教師データを取得可能である。
　さらにまた、被写体の種別情報は、ネットワークを介して、本装置に接続される外部機器から送信されてもよい。また、本装置が表示装置に出力する識別情報や撮像画像は、ネットワークを介して、本装置に接続される外部機器から送信されてもよい。
●実施例（２）●
　次に、本発明にかかる撮像装置の別の実施例について、先に説明した実施例と異なる部分を中心に説明する。本実施例における撮像装置は、ベルトコンベアと制御装置の構成と、表示部を備える点と、において、先に説明した実施例における撮像装置と異なる。
●実施例（２）の構成
　図８は、本装置の別の実施例を示す模式図である。
　本装置１００Ａは、タッチパネル１１１と、カメラ１１２と、振動装置１１６と、重量計１１７ａと、一対の鏡１１７ｂ１，１１７ｂ２（図６参照）と、ベルトコンベア１１８Ａと、４個の第１センサ１１９ａ１－１１９ａ４と、８個の第２センサ１１９ｂ１－１１９ｂ８（図６参照）と、液晶ディスプレイ１２０Ａと、照明１２１と、制御装置１２７Ａと、を有してなる。
　ベルトコンベア１１８Ａは、ベルトコンベア１１８Ａの載置面１１８ａＡに載置された被写体を搬送する。ベルトコンベア１１８Ａは、本発明における載置部の例である。ベルトコンベア１１８Ａは、被写体を正方向（図８の紙面左方向）と逆方向（図８の紙面右方向）とに搬送可能である。ベルトコンベア１１８Ａの載置面１１８ａＡは、例えば、金属製のメッシュである。
　なお、ベルトコンベアの載置面は、例えば、透明な合成樹脂製でもよい。
　液晶ディスプレイ１２０Ａは、カメラ１１２の撮像範囲、かつ、ベルトコンベア１１８Ａの下方に配置されて、表示画像をカメラ１１２に向けて表示する。液晶ディスプレイ１２０Ａは、本発明における表示部の例である。
　制御装置１２７Ａは、本装置１００Ａの全体の動作の制御や、本方法の動作に必要な情報の記憶、被写体の位置情報の決定、表示画像の選択、被写体情報の取得、被識別体の識別を実行する。すなわち、制御装置１２７Ａは、本発明における記憶部と、位置決定部と、被写体情報取得部と、撮像環境変更部と、識別部と、制御部と、の例である。制御装置１２７Ａは、例えば、パーソナルコンピュータで実現される。
●実施例（２）の動作
　次いで、本実施例（２）における本装置１００Ａの動作について、図２、図８を参照しながら説明する。
　本装置１００Ａは、撮像環境指示に基づいて、カメラ１１２が被写体を撮像するときに周囲画像として撮像される液晶ディスプレイ１２０Ａの表示画像を変更する（Ｓ１１４）。
　制御装置１２７Ａ（記憶部１３）は、予め複数の候補画像を記憶している。制御装置１２７Ａは、複数の候補画像の中から表示画像を選択する。すなわち、制御装置１２７Ａ（撮像環境変更部２１）は、液晶ディスプレイ１２０Ａに表示される表示画像を変更する、本発明における撮像環境変更部として機能する。表示画像の選択は、本装置１００Ａの使用者などによる指示や、制御装置１２７Ａ（記憶部１３）に記憶されているプログラムなどの指示（環境変更指示）に従って実行される。候補画像は、例えば、実際の製造ラインの画像や、被写体と同一種別の製品（産品）の画像、被写体のコントラストを明確にする色彩の壁紙、などである。
　液晶ディスプレイ１２０Ａは、メッシュであるベルトコンベア１１８Ａの載置面１１８ａＡを介して、表示画像をカメラ１１２に向けて表示する。液晶ディスプレイ１２０Ａは、制御装置１２７Ａ（撮像環境変更部２１）の選択に基づいて、表示画像を変更する。換言すれば、液晶ディスプレイ１２０Ａは、制御装置１２７Ａ（撮像環境変更部２１）の制御により、撮像環境（周囲画像）を変更する。その結果、制御装置１２７Ａ（撮像環境変更部２１）が撮像環境を変更した後に撮像された撮像画像の周囲画像は、制御装置１２７Ａ（撮像環境変更部２１）が撮像環境を変更する前に撮像された撮像画像の周囲画像とは異なる。
　なお、液晶ディスプレイは、ベルトコンベアの下方ではなく、ベルトコンベアの側方に立てて配置されてもよい。この場合、カメラは、周囲画像に液晶ディスプレイが撮像されるように、被写体の側方から被写体を撮像する。また、この場合、ベルトコンベアの載置面は、メッシュや透明でなくともよい。
　また、本装置は、液晶ディスプレイ１２０Ａに代えて、リアプロジェクション装置（画面に見立てたスクリーンの背面から映像を投影する装置）や、超単焦点プロジェクタ（以下「プロジェクタ」という。）を備えてもよい。前者の場合、リアプロジェクション装置は、ベルトコンベアの下方（載置面の背面側）に配置される。ベルトコンベアの載置面は、例えば、リアプロジェクション装置からの映像が投影可能な透明な合成樹脂製である。後者の場合、プロジェクタは、ベルトコンベアの下方（載置面の背面側）に配置されてもよく、ベルトコンベアの側方に配置されてもよい。ベルトコンベアの載置面は、例えば、プロジェクタからの映像が投影可能な（透明な）合成樹脂製である。
　さらに、本発明における撮像環境変更部は、撮像画像を撮像後に周囲画像を候補画像の中から選択した置換画像で置換（合成）してもよい。「置換画像」は、例えば、実際の製造ラインにおいてカメラに撮像され得る製品（産品）の背景の画像や、複数の良品（不良品）の画像、複数の良品（不良品）の画像を所定の角度で回転させた画像である。この場合、回転前の画像は本発明における第１候補画像であり、回転後の画像は本発明における第２候補画像である。置換画像を回転させることで、本装置は、例えば、少数の良品の画像を用いて、様々な角度の良品の画像を置換画像として周囲画像と置換して、多数の良品の中に存在する不良品（被写体）の撮像画像を容易に合成することができる。周囲画像を置換画像で置換する場合、撮像環境変更部は、置換前の撮像画像の被写体画像の位置情報（座標）を、置換画像で置換後の撮像画像と関連付けて記憶部に記憶する。
●実施例（３）●
　次に、本発明にかかる撮像装置のさらに別の実施例について、先に説明した実施例（１），（２）と異なる部分を中心に説明する。本実施例における撮像装置は、第１特定処理部と第２特定処理部と被識別体検知部とを備える点において、先に説明した実施例（１），（２）における撮像装置と異なる。
●実施例（３）の構成
　図９は、本装置のさらに別の実施例を示す模式図である。
　本装置１００Ｂは、筐体１０１と、タッチパネル１１１と、カメラ１１２と、振動装置１１６と、重量計１１７ａと、一対の鏡１１７ｂ１，１１７ｂ２（図６参照）と、ベルトコンベア１１８と、４個の第１センサ１１９ａ１－１１９ａ４と、８個の第２センサ１１９ｂ１－１１９ｂ８（図６参照）と、照明１２１と、レーザポインタ１２４Ｂと、被識別体検知センサ１２６Ｂと、制御装置１２７Ｂと、を有してなる。
　レーザポインタ１２４Ｂは、本装置１００Ｂが識別モードで動作しているとき、特定種別に識別された被識別体にレーザ光を照射して、被識別体が特定種別に識別されたことを視認可能にする。レーザポインタ１２４Ｂは、本発明における特定処理部の例である。
　被識別体検知センサ１２６Ｂは、ベルトコンベア１１８の所定の位置において、レーザ光が照射された被識別体の有無を検知する。被識別体検知センサ１２６Ｂは、例えば、ビームセンサである。被識別体検知センサ１２６Ｂは、本発明における被識別体検知部の例である。
　「所定の位置」は、例えば、第１センサ１１９ａ３と第１センサ１１９ａ４との間であって、レーザ光が照射されている被識別体を本装置１の使用者が除去可能な位置である。
　なお、例えば、第１センサ（第１センサ１１９ａ４に相当）が被識別体検知センサとして機能してもよい。
　制御装置１２７Ｂは、本装置１００Ｂの全体の動作の制御や、本方法の動作に必要な情報の記憶、被写体の位置情報の決定、被写体情報の取得、被識別体の識別を実行する。すなわち、制御装置１２７Ｂは、本発明における記憶部と、位置決定部と、被写体情報取得部と、識別部と、制御部と、の例である。制御装置１２７Ｂは、例えば、パーソナルコンピュータで実現される。
●実施例（３）の動作
　次いで、本実施例（３）における本装置１００Ｂの動作について、図４、図９を参照しながら説明する。
　本装置１００Ｂは、被識別体に対応する種別情報を識別し（Ｓ２０９）、同種別情報が特定種別情報であるか否かを判定し（Ｓ２１０）、被識別体の種別情報が特定種別情報であるとき同被識別体にレーザ光を照射し（Ｓ２１１）、レーザ光が照射された被識別体の有無を検知し（Ｓ２１２）、レーザ光の照射態様を変更する（Ｓ２１３）。
　制御装置１２７Ｂ（識別部２３）は、被識別体の撮像画像と、識別情報と、に基づいて、被識別体の種別情報を識別して、同種別情報が特定種別情報であるか否かを確認する（Ｓ２１０）。
　被識別体の種別情報が特定種別情報である場合（Ｓ２１０の「Ｙｅｓ」）、レーザポインタ１２４Ｂは、同被識別体にレーザ光を照射して、同被識別体を強調して視認可能にする（Ｓ２１１）。このとき、制御装置１２７Ｂ（制御部２７）は、撮像画像内の被識別体の位置情報と、ベルトコンベア１１８の移動速度と、に基づいて、被識別体の移動経路を予測して、予測結果をレーザポインタ１２４Ｂに送信する。すなわち、レーザポインタ１２４Ｂは、ベルトコンベア１１８で搬送される被識別体を追尾するように、同識別体にレーザ光を照射する。
　図１０は、被識別体にレーザ光が照射されている状態を示す模式図である。
　同図は、被識別体とレーザ光それぞれが移動していく様子を矢印で示す。同図は、点灯しているレーザ光を実線の円で、点滅しているレーザ光を破線の円で、それぞれ示す。
　このように、レーザポインタ１２４Ｂは、制御装置１２７Ｂ（制御部２７）の予測結果に基づいて、特定種別に識別された被識別体にレーザ光を照射して、同被識別体が特定種別に識別されたことを本装置１００Ｂの使用者などに視認可能にする。レーザ光の照射は、本発明における特定処理の例である。
　なお、制御装置がレーザポインタの動作を制御してもよい。この場合、制御装置は、撮像環境変更部としても機能する。
　次いで、制御装置１２７Ｂは、被識別体検知センサ１２６Ｂの検知信号と、予測した被識別体の移動経路と、ベルトコンベア１１８の搬送速度と、に基づいて、被識別体検知センサ１２６Ｂが検知した被識別体がレーザ光が照射されている被識別体か否かを確認する（Ｓ２１２）。
　レーザ光が照射された被識別体を被識別体検知センサ１２６Ｂが検知したとき（Ｓ２１２の「Ｙｅｓ」）、レーザポインタ１２４Ｂは、レーザ光の照射態様を変更（例えば、レーザ光の照射態様を点灯から点滅へ変更）する（Ｓ２１３）。換言すれば、レーザポインタ１２４Ｂによるレーザ光の照射態様の変更は、本発明における第２特定処理の例である。すなわち、レーザポインタ１２４Ｂは、本発明における第２特定処理部として機能する。
　なお、本装置は、レーザ光が照射された被識別体を被識別体検知センサが検知したとき、ベルトコンベアの動作を停止してもよい。この場合、ベルトコンベアは、本発明における第２特定処理部として機能する。本装置によるベルトコンベアの動作の停止は、即時実行されてもよく、あるいは、所定の条件（例えば、被識別体が使用者により除去可能な位置まで搬送されたとき、被識別体検知センサの検知から所定時間経過したとき）を満たしたときに実行されてもよい。
　また、本装置は、例えば、被識別体センサに代えて、レーザ光が照射された被識別体を本装置の使用者などが取り除く動作を検知するセンサ（エリアセンサなど）や、同使用者などの手が被識別体のレーザ光の被照射面を覆ったことを検知するセンサ（第２のカメラなど）の検知結果に基づいて、レーザ光の照射を終了してもよい。
　さらに、本装置は、レーザ光が照射された被識別体を被識別体検知センサが検知したとき、同被識別体をベルトコンベアから除去してもよい。この場合、同識別体をベルトコンベアから除去する手段（例えば、ロボットアームや、ベルトコンベア上に配置された選別機など）は、本発明における第２特定処理部として機能する。
　さらにまた、レーザポインタ（本発明における特定処理部）は、レーザ光を照射してから所定時間が経過したときに、レーザ光の照射態様を変更（第２特定処理を実行）してもよい。この場合、レーザポインタは、本発明における第２特定処理部として機能する。
　さらにまた、本装置は、レーザ光が照射された被識別体を被識別体検知センサが検知したとき、または、レーザ光が照射されてから所定時間が経過したとき、その旨を音により報知する報知部を備えてもよい。この場合、報知部は、本発明における第２特定処理部として機能する。
　さらにまた、本装置は、特定種別情報の内容に応じて、異なる特定処理を実行してもよい。すなわち、例えば、本装置は、被識別体の種別情報が形や色の不良品に対応する特定種別情報であるとき、赤色のレーザ光を被識別体に照射し、同種別情報が異物混入に対応する特定種別情報であるとき、青色のレーザ光を被識別体に照射してもよい。
　さらにまた、本装置は、レーザポインタに代えて、例えば、プロジェクションマッピングを被識別体に投影可能なプロジェクタを備えてもよい。この場合、プロジェクタは、特定種別情報の内容に応じて、マッピングの投影態様を変更してもよい。すなわち、例えば、プロジェクタは、被識別体の種別情報が形や色の不良品に対応する特定種別情報であるとき、赤色の円を被識別体に投影し、同種別情報が異物混入に対応する特定種別情報であるとき、さらに「！」などの注意喚起を促す文字や、円を強調する図形などを追加投影してもよい。このように、特定種別情報の内容に応じてマッピングの投影態様を変更することにより、本装置の使用者は被識別体の識別作業（不良品の除去作業など）の効率化を図ることができると共に、同使用者は優先して除去すべき被識別体を選択することができる。
　さらにまた、本装置は、プロジェクタの投影位置を載置部の載置面に合わせる調整手段を備えてもよい。調整手段は、例えば、載置面に配置される位置決め用のマークと、プロジェクタを移動させる移動機構と、で構成される。この場合、使用者は、例えば、プロジェクタから位置決め用画像を載置面に投影して、載置面のマークと、位置決め用画像と、が重なるように移動機構を操作してプロジェクタの位置を調整する。載置面のマークは、載置面に直接付されてもよく、あるいは、載置面に着脱可能でもよい。また、タッチパネルとプロジェクタの投影補正機能（例えば、台形補正やズーム、焦点など）とを連動させて、タッチパネル操作による投影補正機能を本装置が備えてもよい。
　このように、特定種別（例えば、不良品など）に識別された被識別体を視認可能とすることにより、本装置１００Ｂの使用者は、極めて容易に同被識別体を製造ラインなどから除去することが可能となる。
　さらにまた、本実施例において、本装置は、識別部の識別の確度を算出し、算出した確度に基づいて、被識別体を分類してもよい。「確度」は、識別部が識別した種別情報の正確性を示す度合である。確度は、例えば、公知の手法を用いて、識別部により算出される。この場合、識別部は、本発明における特定処理部の例である。被識別体の分類は、例えば、本装置が備えるロボットアームにより実行される。ロボットアームは、本発明における第２特定処理部の例である。
　図１１は、本装置のさらに別の実施例の変形例を示す模式図である。
　同図は、ベルトコンベア１１８により搬送される被識別体がロボットアーム１２５Ｂ１により分類されていることを示す。
　ロボットアーム１２５Ｂ１は、例えば、被識別体検知センサ１２６Ｂを通過した被識別体を分類可能な位置に配置される。ロボットアーム１２５Ｂ１は、例えば、制御装置１２７Ｂ１（識別部２３）が算出した確度に基づいて、被識別体検知センサ１２６Ｂに検知された被識別体を分類する。すなわち、例えば、種別情報「不良品」の確度が「８０以上」のとき、ロボットアーム１２５Ｂ１は、被識別体をベルトコンベア１１８の進行方向左側（図１１の紙面上側）に移動させる。一方、同確度が「７９未満」のとき、ロボットアーム１２５Ｂ１は、被識別体をベルトコンベア１１８の進行方向右側（図１１の紙面下側）に移動させる。換言すれば、ロボットアーム１２５Ｂ１は、被識別体が特定種別情報に識別されたこと、および、その確度、を使用者に対して視認可能にする。この構成によれば、使用者は、ベルトコンベア１１８の進行方向右側に位置する被識別体のみを検査することで、本装置による識別が曖昧な被識別体のみを確実に検査可能である。その結果、使用者は、識別の確度が十分ではない種別情報が混在していても、本装置を使用して被識別体の高精度な識別を可能とする。
●実施例（４）●
　次に、本発明にかかる撮像装置のさらに別の実施例について、先に説明した実施例（１），（２），（３）と異なる部分を中心に説明する。本実施例における撮像装置は、形態変更部を備える点において、先に説明した実施例（１），（２），（３）における撮像装置と異なる。
●実施例（４）の構成
　図１２は、本装置のさらに別の実施例を示す模式図である。
　本装置１００Ｃは、タッチパネル１１１と、カメラ１１２と、押圧装置１１５Ｃと、振動装置１１６と、重量計１１７ａと、一対の鏡１１７ｂ１，１１７ｂ２（図６参照）と、ベルトコンベア１１８と、４個の第１センサ１１９ａ１－１１９ａ４と、８個の第２センサ１１９ｂ１－１１９ｂ８（図６参照）と、照明１２１と、制御装置１２７Ｃと、を有してなる。
　押圧装置１１５Ｃは、振動装置１１６に配置されて、振動装置１１６に搬入された被写体を押圧して、同被写体の形状を変形させる。すなわち、押圧装置１１５Ｃは、本発明における形態変更部の例である。
　なお、本装置は、押圧装置に代えて、あるいは、押圧装置と共に、被写体に熱を加える加熱装置や、被写体を切断する切断装置、被写体に穴をあける刺突装置など、被写体の形態を変更させる他の装置を備えてもよい。
　また、本装置は、押圧装置と振動装置とに代えて、例えば、ロボットアームのような被写体の向きを変更させると共に被写体の形状を変形させることが可能な装置（位置関係変更部の機能と形態変更部の機能とを併せ持つ装置）を備えてもよい。
　制御装置１２７Ｃは、本装置１００Ｃの全体の動作の制御や、本方法の動作に必要な情報の記憶、被写体の位置情報の決定、被写体情報の取得、被識別体の識別を実行する。すなわち、制御装置１２７Ｃは、本発明における記憶部と、位置決定部と、被写体情報取得部と、識別部と、制御部と、の例である。制御装置１２７Ｃは、例えば、パーソナルコンピュータで実現される。
●実施例（４）の動作
　次いで、本実施例（４）における本装置１００Ｃの動作について、図２、図１２を参照しながら説明する。
　押圧装置１１５Ｃは、前述した変形指示に基づいて、振動装置１１６に搬送された被写体を押圧して、被写体の形状を変形させる（Ｓ１１７）。次いで、振動装置１１６は、変形した被写体をベルトコンベア１１８に戻す。ベルトコンベア１１８は、変形した被写体をカメラ１１２の撮像範囲に搬送する（Ｓ１１２）。
　このように、本装置１００Ｃは、押圧装置１１５Ｃ（本発明における形態変更部）を備えることにより、１つの被写体を用いて、同被写体の複数の撮像画像を撮像すると共に、形状を変形させた同被写体の複数の撮像画像を撮像する。換言すれば、本装置１００Ｃは、１つの製品（産品）から、複数の良品の教師データを取得すると共に、複数の不良品の教師データを取得する。
　なお、形態変更部と共に、あるいは、形態変更部に代えて、本装置の使用者が、被写体の形態を変更してもよい。この場合であっても、カメラは、形態が異なる被写体の撮像画像を出力可能である。この構成によれば、使用者は、恣意的に被写体の形態を変更した教師データを取得可能である。
●実施例（５）●
　次に、本発明にかかる撮像装置のさらに別の実施例について、先に説明した実施例（１），（２），（３），（４）と異なる部分を中心に説明する。本実施例における撮像装置は、既存のベルトコンベアに取り付けられる点（振動装置と重量計とベルトコンベアとを備えない点）において、先に説明した実施例（１），（２），（３），（４）における撮像装置と異なる。
●実施例（５）の構成
　図１３は、本装置のさらに別の実施例を示す模式図である。
　本装置１００Ｄは、タッチパネル１１１と、カメラ１１２と、一対の鏡１１７ｂ１，１１７ｂ２と、４個の第１センサ１１９ａ１－１１９ａ４と、８個の第２センサ１１９ｂ１－１１９ｂ８（図６参照）と、照明１２１と、制御装置１２７Ｄと、を有してなる。
　本装置１００Ｄは、既存のベルトコンベア（実際の製造ラインに配置されるベルトコンベア）Ｘに取り付けられる。本装置１００Ｄは、被写体の形状を変形させる手段（本発明における形態変更部）と、被写体の向き（姿勢）を変更する手段（位置関係変更部）とを備えていない。そのため、例えば、本装置１００Ｄの使用者が１種の製品（産品）を何度も向きを変えて本装置１００Ｄに投入することにより、本装置１００Ｄは、１つの種別情報に対応する複数の撮像画像を撮像する。このように、本装置１００Ｄは、既存のベルトコンベアＸに取り付けられるだけで、既存のベルトコンベアＸを用いて、複数の教師データの収集と、製品（産品）の種別情報の識別と、を実行する。この場合であっても、カメラ１１２は、撮像ごとに、被写体とカメラ１１２との位置関係、または、被写体の形態、のいずれか一方が異なる撮像画像を出力可能である。
　なお、本装置は、例えば、本装置の使用者が本装置に投入した製品（被写体）が、カメラに撮像された後に同製品を投入した位置に戻るように既存のベルトコンベアの動作を制御してもよい。すなわち、例えば、本装置は、第１センサ１１９ａ４が製品を検知したタイミングで、ベルトコンベアを逆回転させて、第１センサ１１９ａ１が製品を検知したタイミングで、ベルトコンベアの回転を戻してもよく、あるいは、ベルトコンベアの動作を一時的に停止してもよい。この構成によれば、本装置の使用者が１種の製品を何度も向きを変えて本装置に投入する作業の効率は、向上する。
　また、本装置は、カメラの位置を変更する機構、すなわち、本発明における位置関係変更部を備えてもよい。
　さらに、制御装置（記憶部）は、複数の識別情報や、識別情報の基となる撮像画像、を記憶していてもよい。この場合、制御装置は、使用者が入力した種別情報に関連付けられて制御装置（記憶部）に記憶されている識別情報（または、撮像画像）を表示装置に出力してもよい。その結果、使用者は、表示装置に表示された識別情報（または、撮像画像）に基づいて、被写体の向きや形状を変更可能である。すなわち、例えば、使用者は、表示装置を確認することにより、未撮像あるいは撮像機会の少ない被写体の向きや形状を把握して、効率的に教師データを収集可能である。
●実施例（６）●
　次に、本発明にかかる撮像装置のさらに別の実施例について、先に説明した実施例（１），（２），（３），（４），（５）と異なる部分を中心に説明する。本実施例における撮像装置は、ベルトコンベアに代えてターンテーブルを備える点において、先に説明した実施例（１），（２），（３），（４），（５）における撮像装置と異なる。
●実施例（６）の構成
　図１４は、本装置のさらに別の実施例を示す模式図である。
　本装置２００は、筐体２０１と、タッチパネル２１１と、カメラ２１２と、カメラ支持部材２１６と、ロードセル２１７と、ターンテーブル２１８と、照明２２１と、制御基板２２７と、を有してなる。
　筐体２０１は、カメラ２１２と、カメラ支持部材２１６と、ロードセル２１７と、ターンテーブル２１８と、照明２２１と、制御基板２２７と、を収容する。
　タッチパネル２１１は、本装置２００の使用者により被写体の種別情報が入力される入力デバイスである。タッチパネル２１１は、本発明における種別入力部の例である。タッチパネル２１１は、筐体２０１の外面に取り付けられる。
　カメラ２１２は、カメラ支持部材２１６に取り付けられて、ターンテーブル２１８の上方から後述するターンテーブル２１８の載置面２１８ａに載置された被写体を撮像する。カメラ２１２は、本発明における撮像部の例である。カメラ２１２は、例えば、エリアカメラである。
　カメラ支持部材２１６は、ターンテーブル２１８の側方に配置されて、カメラ２１２の位置と向きとを変更する。カメラ支持部材２１６のうち、カメラ２１２が取り付けられる部分は、上下方向にスライド可能であると共に搖動可能である。すなわち、カメラ支持部材２１６は、被写体に対するカメラの位置と向きとを変更させる本発明における位置関係変更部の例である。
　ロードセル２１７は、ターンテーブル２１８の下方に配置されて、ターンテーブル２１８の重量と、ターンテーブル２１８に載置される被写体の重量と、を計測する。ロードセル２１７は、本発明における被写体情報取得部の例である。
　ターンテーブル２１８は、回転することで、カメラ２１２に対する被写体の位置や向きを変更する。ターンテーブル２１８は、被写体が載置される載置面２１８ａを備える。ターンテーブル２１８は、本発明における載置部と位置関係変更部との例である。
　照明２２１は、カメラ２１２の撮像範囲内に載置された被写体を照らす。照明２２１は、本発明における撮像環境変更部の例である。
　制御基板２２７は、本装置２００の全体の動作の制御や、本方法の動作に必要な情報の記憶、被写体の位置情報の決定、被識別体の識別を実行する。制御基板２２７は、例えば、ＣＰＵとフラッシュメモリとを実装する。制御基板２２７は、本発明における記憶部と、位置決定部と、識別部と、制御部と、の例である。
　なお、本装置は、例えば、ターンテーブルを振動させる機構や、ターンテーブルに載置された被写体に触れて同被写体に外力を加える機構など、本発明における位置関係変更部や形態変更部として機能する機構を備えてもよい。
　また、本装置は、例えば、ターンテーブルの側方、かつ、カメラの撮像範囲に、本発明における表示部として機能する液晶ディスプレイを配置してもよい。
　さらに、本装置は、例えば、ターンテーブルの側方、かつ、カメラの撮像範囲に、本発明における被写体情報取得部として機能する鏡を配置してもよい。
●実施例（６）の動作
　次いで、本実施例（６）における本装置２００の動作について、図２、図１４を参照しながら説明する。
　本装置２００は、本装置２００の使用者などによりターンテーブル２１８の載置面２１８ａに載置された被写体の重量を計測し（Ｓ１０４）、ターンテーブル２１８を回転させながら被写体を撮像し（Ｓ１０６）、撮像画像内の被写体の位置情報を決定し（Ｓ１０７）、カメラ２１２の位置または向きを変更し（Ｓ１１１）、被写体の撮像を繰り返す（Ｓ１０６）。本装置２００は、被写体の向きの変更と、被写体に対するカメラ２１２の位置と向きとの変更と、を繰り返すことにより、種別情報ごとに複数の撮像画像を取得する。
　本装置２００は、例えば、制御基板２２７を用いて、ターンテーブル２１８の外縁部を画像認識などにより認識して、撮像画像内のターンテーブル２１８の位置情報と、ターンテーブル２１８内の被写体の位置情報と、を決定する。このとき、制御基板２２７は、本発明における位置決定部として機能する。
　なお、本装置は、ターンテーブルの上方の空間を移動可能なエリアセンサを備え、同エリアセンサの検知結果に基づいて、被写体の位置情報を決定してもよい。この場合、エリアセンサは、本発明における位置決定部として機能する。
　図１５は、本発明のさらに別の実施例を示す模式図である。
　同図は、本装置２００Ａが、筐体２０１と、タッチパネル２１１と、カメラ２１２と、カメラ支持部材２１６と、ロードセル２１７と、ターンテーブル２１８と、エリアセンサ２１９Ａと、照明２２１と、制御基板２２７Ａと、を有してなることを示す。
　エリアセンサ２１９Ａは、ターンテーブル２１８に載置された被写体の位置情報を決定する。エリアセンサ２１９Ａは、本発明における位置決定部の例である。エリアセンサ２１９Ａは、ターンテーブル２１８の上方に配置される。エリアセンサ２１９Ａは、上下方向（図１５の紙面上下方向）に移動可能である。カメラ２１２の撮像範囲と、エリアセンサ２１９Ａの検知範囲（光束の位置）とは、予め関連付けられて制御基板２２７Ａ（記憶部１３）に記憶されている。エリアセンサ２１９Ａがターンテーブル２１８に載置された被写体に対して移動することで、被写体がエリアセンサ２１９Ａの検知光の一部を遮る。エリアセンサ２１９Ａの検知結果は、制御基板２２７Ａに送信される。制御基板２２７Ａは、エリアセンサ２１９Ａの検知結果に基づいて、撮像画像内の被写体の位置情報を決定する。このとき、制御基板２２７Ａは、本発明における位置決定部として機能する。
　なお、エリアセンサは、ターンテーブルの側方に配置されてもよい。この場合、エリアセンサは、ターンテーブルの上方であって、水平方向（図１５の紙面左右方向）に移動可能である。
●まとめ●
　以上説明した実施の形態によれば、本装置１は、被写体の種別情報が入力される種別入力部１１と、被写体を撮像する撮像部１２と、種別情報と撮像画像とを関連付けて記憶する記憶部１３と、を備える。そのため、本装置１は、種別情報ごとに複数の撮像画像を撮像して、関連付けて記憶することができる。すなわち、本装置１は、教師データを大量に収集するための時間とコストとを低減する。
　また、本装置１は、少なくとも、被写体と撮像部１２との位置関係を変更する位置関係変更部１６、または、被写体の形状を変形させる形態変更部１５と、のいずれか一方を備える。撮像部１２は、位置関係変更部１６が被写体と撮像部１２との位置関係を変更した後、または、形態変更部１５が被写体の形態を変更させた後、に被写体を撮像する。そのため、本装置１は、種別情報を変更して、種別情報ごとに複数の撮像画像を撮像して関連付けて記憶することができる。すなわち、本装置１は、高品質な教師データを大量に収集するための時間とコストとを低減する。
　さらに、位置関係変更部１６または形態変更部１５は、撮像回数情報に基づいて、被写体と撮像部１２との位置関係を変更し、あるいは、被写体の形態を変更させる。そのため、本装置１は、撮像回数情報に設定された回数、自動的に被写体と撮像部１２との位置関係を変更して被写体を撮像すると共に、自動的に被写体の形態を変更させて被写体を撮像する。すなわち、本装置１は、高品質な教師データを大量に収集するための時間とコストとを低減する。
　さらにまた、本装置１は、被写体情報（被写体の重量、長さ、体積、多面的な画像など）を取得する被写体情報取得部１７を備える。記憶部１３は、被写体情報を撮像画像と関連付けて記憶する。そのため、本装置１は、撮像画像に基づいて生成される種別情報ごとの識別情報のみならず、被写体情報をも加味した識別情報を取得・生成することができる。その結果、本装置１は、例えば、被識別体の撮像画像から種別情報を識別するのみならず、被識別体の被識別体情報（被識別体の重量、長さなど）から種別情報を識別することができる。すなわち、本装置１は、撮像画像のみならず、同撮像画像に関連付けられる被写体情報を教師データとして収集することができる。したがって、これらの教師データを用いて学習する人工知能の識別精度が向上する。このように、本装置１は、高品質な教師データを大量に収集するための時間とコストとを低減する。
　さらにまた、本装置１は、撮像画像内における被写体の位置情報を決定し、同位置情報を被写体の撮像画像と関連付けて記憶する位置決定部１４を備える。そのため、本装置１は、撮像画像内における被写体の位置情報が決定（特定）された高品質な教師データを大量に収集することができる。すなわち、本装置１は、高品質な教師データを大量に収集するための時間とコストとを低減する。
　さらにまた、本装置１は、被写体が載置される載置部１８と、載置部１８に載置された被写体の位置を検知して検知信号を出力する検知部１９と、を備える。位置決定部１４は、検知信号に基づいて、撮像画像内における被写体の位置情報を決定する。そのため、本装置１は、撮像画像内における被写体の位置情報を容易に決定することができる。その結果、本装置１は、高品質な教師データを大量に収集するための時間とコストとを低減する。
　さらにまた、位置決定部１４は、周囲画像に基づいて、位置情報を決定する。位置情報は、撮像画像内の基準点からの相対座標を特定する座標情報を含む。そのため、本装置１は、例えば、周囲画像に基準マーカなどの基準点を撮像させることにより、容易に位置情報を決定することができる。
　さらにまた、位置決定部１４は、撮像画像内における被写体に付された目印の位置を特定する位置情報を決定し、同位置情報を撮像画像と関連付けて記憶部１３に記憶する。このように、目印の位置情報を撮像画像と関連付けて記憶することにより、人工知能に学習させる箇所が明確になる。その結果、例えば、職人が経験や勘で判別する不良（暗黙知として判別される不良）を囲むように目印を付すことで、本装置１は、同不良の位置を容易に特定することができる。
　さらにまた、本装置１は、撮像部１２が被写体を撮像する際の撮像環境を変更する撮像環境変更部２１を備える。撮像環境変更部２１が撮像環境を変更した後に撮像された撮像画像の周囲画像は、撮像環境変更部２１が撮像環境を変更する前に撮像された撮像画像の周知画像とは異なる。そのため、本装置１は、照明の明るさなどの撮像環境を変更し、周囲画像として撮像される被写体の背景（載置部１８の載置面や、表示部２０）などの撮像環境を変更することにより、撮像環境を変更した多数の教師データを取得することができる。すなわち、本装置１は、高品質な教師データを大量に収集するための時間とコストとを低減する。
　さらにまた、周囲画像は、載置面の載置面画像を含む。そのため、例えば、本装置１の使用者などにより載置面の色が、被写体に合わせてコントラストが明確になる色や、実際の製造ラインの色などに変更されることにより、人工知能の識別精度が上がる高品質な教師データを収集することができる。すなわち、本装置１は、高品質な教師データを大量に収集するための時間とコストとを低減する。
　さらにまた、撮像環境変更部２１は、被写体の周囲に配置される表示部２０に表示される表示画像を、複数の候補画像の中から選択して、変更する。そのため、本装置１は、表示画像を変更するだけで、様々な周囲画像を含む撮像画像を容易に収集することができる。すなわち、本装置１は、高品質な教師データを大量に収集するための時間とコストとを低減する。
　さらにまた、撮像環境変更部２１は、周囲画像を複数の候補画像の中から選択された置換画像で置換する。候補画像は、第１候補画像と、第１候補画像を所定の角度で回転させた第２候補画像と、を含む。本装置１は、例えば、１つの第１候補画像から複数の第２候補画像を生成することができる。その結果、本装置１は、例えば、被写体画像に実際の製造ラインの画像を合成し、不良品の被写体画像に複数の角度に回転させた良品の画像を合成し、不良品の画像を任意に回転させて合成するなど、様々な撮像画像を合成することができる。したがって、本装置１は、高品質な教師データを大量に収集するための時間とコストとを低減する。
　さらにまた、本装置１は、種別情報と関連付けて記憶部１３に記憶された撮像画像に基づいて生成された種別情報ごとの識別情報を用いて、被識別体に対応する種別情報を識別する識別部２３を備える。すなわち、本装置１は、教師データを大量に取得するのみならず、同教師データに基づいて学習された人工知能（識別部）を用いて、被識別体（製品、産品など）の外観検査や識別処理を実行することができる。一般的に、人工知能を用いた外観検査や識別処理は、実際の製造ラインなどの作業環境の下で確認作業を行うまでは、その実用性を把握することができない。そのため、実用性がないという結果を得た場合、教師データの収集や設備投資に費やした時間と費用とが無駄になる可能性がある。しかし、本装置１は、教師データの収集（学習モード）と、同教師データに基づいて生成された識別情報を用いた識別処理（識別モード）と、を切り替えて実行することができる。したがって、本装置１は、高品質な教師データを大量に収集するための時間とコストとを低減すると共に、本装置１により収集された教師データの有用性を確認することができる。その結果、本装置１は、識別の確度を暫時向上させ、確度の高い（高精度の）識別を可能とする。
　さらにまた、本装置１は、種別情報ごとの識別情報を生成する識別情報生成部２２を備える。そのため、本装置１の使用者などは、識別情報の生成を人工知能のベンダーなどに依頼することなく、本装置１を使用して識別情報を生成することができる。その結果、本装置１は、高品質な教師データを大量に収集するための時間とコストとを低減すると共に、本装置１により収集された教師データの有用性の確認に要する時間とコストとを低減する。
　さらにまた、本装置１は、識別部２３が識別した被識別体の種別情報が特定種別情報（不良品など）のとき、同被識別体に対して特定処理を実行する第１特定処理部２４を備える。特定処理は、例えば、被識別体が特定種別情報に識別されたことをレーザポインタなどを用いて視認可能にする処理である。この構成によれば、本装置１は、不良品や、異物混入物などをレーザ光で追尾させて、これらの存在と位置とを本装置１の使用者などに報知することができる。その結果、本装置１は、従来、人手で不良品や異物混入物などの有無を検査して取り除いていた工程のうち、不良品や異物混入物などの有無の検査の工程を実行することができ、検査用の人員を削減することができる。
　さらにまた、本装置１は、第１特定処理部２４が特定処理を実行した被識別体に対して、第２特定処理を実行する第２特定処理部２５を備える。第２特定処理部２５は、第１特定処理部２４が特定処理を実行してから所定時間が経過したときに、第２特定処理を実行する。第２特定処理は、例えば、レーザ光の照射態様の変更や、被識別体の除去などを実行する処理である。この構成によれば、本装置１は、レーザ光の照射態様の変更などにより、不良品や異物混入物などの除去が実行されていないことを本装置１の使用者などに認知させることができる。
　さらにまた、本装置１は、特定処理が実行された被識別体を検知する被識別体検知部２６を備える。第２特定処理部２５は、被識別体検知部２６が被識別体を検知したとき、第２特定処理を実行する。この構成によれば、本装置１は、不良品や異物混入物などの除去が実行されていない場合にのみ、第２特定処理を実行することができる。
　さらにまた、以上説明した実施の形態は、特許請求の範囲に記載される発明の内容を不当に限定するものではない。また、以上説明した実施の形態で説明される構成の全てが、本開示の必須構成要件であるとは限らない。
　　１　　　撮像装置
　１１　　　種別入力部
　１２　　　撮像部
　１３　　　記憶部
　１４　　　位置決定部
　１５　　　形態変更部
　１６　　　位置関係変更部
　１７　　　被写体情報取得部
　１８　　　載置部
　１９　　　検知部
　２０　　　表示部
　２１　　　撮像環境変更部
　２２　　　識別情報生成部
　２３　　　識別部
　２４　　　第１特定処理部（特定処理部）
　２５　　　第２特定処理部
　２６　　　被識別体検知部
　２７　　　制御部
１００　　　撮像装置
１１１　　　タッチパネル（種別入力部）
１１２　　　カメラ（撮像部）
１１６　　　振動装置（位置関係変更部）
１１７ａ　　重量計（被写体情報取得部）
１１７ｂ１　鏡（被写体情報取得部）
１１７ｂ２　鏡（被写体情報取得部）
１１８　　　ベルトコンベア（載置部）
１１８ａ　　載置面
１１９ａ１－１１９ａ４　第１センサ（検知部）
１１９ｂ１－１１９ｂ８　第２センサ（検知部）
１２１　　　照明（撮像環境変更部）
１２７　　　制御装置（記憶部、位置決定部、被写体情報取得部、識別部）
１００Ａ　　撮像装置
１１８Ａ　　ベルトコンベア
１１８ａＡ　載置面
１２０Ａ　　液晶ディスプレイ（表示部）
１２７Ａ　　制御装置（記憶部、位置決定部、被写体情報取得部、環境変更部、識別部）
１００Ｂ　　撮像装置
１２４Ｂ　　レーザポインタ（特定処理部）
１２６Ｂ　　被識別体検知センサ（被識別体検知部）
１２７Ｂ　　制御装置（記憶部、位置決定部、被写体情報取得部、識別部）
１２５Ｂ１　ロボットアーム（第２特定処理部）
１２７Ｂ１　制御装置（記憶部、位置決定部、被写体情報取得部、識別部、特定処理部）
１００Ｃ　　撮像装置
１１５Ｃ　　押圧装置（形態変更部）
１２７Ｃ　　制御装置（記憶部、位置決定部、被写体情報取得部、識別部）
１００Ｄ　　撮像装置
２００　　　撮像装置
２１１　　　タッチパネル（種別入力部）
２１２　　　カメラ
２１６　　　カメラ支持部材（位置関係変更部）
２１７　　　ロードセル（被写体情報取得部）
２１８　　　ターンテーブル（載置部）
２１８ａ　　載置面
２２１　　　照明（撮像環境変更部）
２２７　　　制御基板（記憶部、位置決定部、識別部）

 

Claims (29)

  1. 　被写体の種別情報が入力される種別入力部と、
    　前記被写体を撮像して撮像画像を出力する撮像部と、
    　前記種別情報と前記撮像画像とが関連付けて記憶される記憶部と、
    を有してなる、
    ことを特徴とする撮像装置。
  2. 　前記撮像部は、撮像ごとに、前記被写体と前記撮像部との位置関係、または、前記被写体の形態、のいずれか一方が異なる前記撮像画像を出力する、
    請求項１記載の撮像装置。
  3. 　少なくとも、
    　前記被写体と前記撮像部との前記位置関係を変更する位置関係変更部、または、
    　前記被写体の前記形態を変更させる形態変更部、
    のいずれか一方、
    を備え、
    　前記撮像部は、
    　前記位置関係変更部が前記被写体と前記撮像部との前記位置関係を変更した後、または、
    　前記形態変更部が前記被写体の前記形態を変更させた後、
    に前記被写体を撮像する、
    請求項２記載の撮像装置。
  4. 　前記記憶部は、前記被写体の撮像回数を特定する撮像回数情報を記憶し、
    　前記位置関係変更部または前記形態変更部は、前記撮像回数情報に基づいて、前記被写体と前記撮像部との前記位置関係を変更し、あるいは、前記被写体の前記形態を変更させる、
    請求項３記載の撮像装置。
  5. 　前記被写体に関する被写体情報を取得する被写体情報取得部、
    を備え、
    　前記記憶部は、前記被写体情報を、前記撮像画像と関連付けて記憶する、
    請求項１記載の撮像装置。
  6. 　前記撮像画像における前記被写体の位置を特定する位置情報を決定し、前記位置情報を前記撮像画像と関連付けて前記記憶部に記憶する位置決定部、
    を備える、
    請求項１記載の撮像装置。
  7. 　前記被写体が載置される載置部と、
    　前記載置部に載置された前記被写体の位置を検知して検知信号を出力する検知部と、
    を備え、
    　前記位置決定部は、前記検知信号に基づいて、前記位置情報を決定する、
    請求項６記載の撮像装置。
  8. 　前記撮像画像は、
    　前記被写体の被写体画像と、
    　前記被写体の周囲の周囲画像と、
    を含み、
    　前記位置決定部は、前記周囲画像に基づいて、前記位置情報を決定する、
    請求項６記載の撮像装置。
  9. 　前記被写体には目印が付され、
    　前記撮像画像における前記被写体に付された前記目印の位置を特定する位置情報を決定し、前記位置情報を前記撮像画像と関連付けて前記記憶部に記憶する位置決定部、
    を備える、
    請求項１記載の撮像装置。
  10. 　前記位置情報は、前記撮像画像内の基準点からの相対座標を特定する座標情報を含む、
    請求項６または９記載の撮像装置。
  11. 　前記撮像部が前記被写体を撮像する際の撮像環境を変更する撮像環境変更部、
    を備える、
    請求項１記載の撮像装置。
  12. 　前記撮像画像は、
    　前記被写体の被写体画像と、
    　前記被写体の周囲の周囲画像と、
    を含み、
    　前記撮像環境変更部が前記撮像環境を変更した後に撮像された前記撮像画像の前記周囲画像は、前記撮像環境変更部が前記撮像環境を変更する前に撮像された前記撮像画像の前記周囲画像とは異なる、
    請求項１１記載の撮像装置。
  13. 　前記被写体が載置される載置部、
    を備え、
    　前記載置部は、前記被写体が載置される載置面、
    を備え、
    　前記周囲画像は、前記載置面の載置面画像を含む、
    請求項１２記載の撮像装置。
  14. 　前記撮像部が撮像する前記被写体の周囲に配置される表示部、
    を備え、
    　前記撮像環境変更部は、前記表示部に表示される表示画像を変更する、
    請求項１２記載の撮像装置。
  15. 　前記記憶部は、複数の候補画像を記憶し、
    　前記撮像環境変更部は、前記複数の候補画像の中から前記表示画像を選択する、
    請求項１４記載の撮像装置。
  16. 　前記記憶部は、複数の候補画像を記憶し、
    　前記撮像画像は、
    　前記被写体の被写体画像と、
    　前記被写体の周囲の周囲画像と、
    を含み、
    　前記撮像環境変更部は、前記周囲画像を、前記複数の候補画像の中から選択された置換画像で置換する、
    請求項１１記載の撮像装置。
  17. 　前記複数の候補画像は、
    　第１候補画像と、
    　前記第１候補画像を所定の角度で回転させた第２候補画像と、
    を含む、
    請求項１６記載の撮像装置。
  18. 　前記種別入力部に入力される前記種別情報は、複数で、
    　前記種別情報と関連付けて前記記憶部に記憶された前記撮像画像に基づいて生成された前記種別情報ごとの識別情報を用いて、被識別体に対応する前記種別情報を識別する識別部、
    を備える、
    請求項１記載の撮像装置。
  19. 　前記種別情報ごとの前記識別情報を生成する識別情報生成部、
    を備える、
    請求項１８記載の撮像装置。
  20. 　複数の前記種別情報は、
    　特定種別情報、
    を含み、
    　前記識別部が識別した前記被識別体の前記種別情報が前記特定種別情報のとき、前記被識別体に対して特定処理を実行する特定処理部、
    を備える、
    請求項１８記載の撮像装置。
  21. 　前記特定処理部は、前記被識別体が前記特定種別情報に識別されたことを視認可能にする、
    請求項２０記載の撮像装置。
  22. 　前記特定処理部が前記特定処理を実行した前記被識別体に対して第２特定処理を実行する第２特定処理部、
    を備える、
    請求項２０記載の撮像装置。
  23. 　前記第２特定処理部は、前記特定処理部が前記特定処理を実行してから所定時間が経過したときに、前記第２特定処理を実行する、
    請求項２２記載の撮像装置。
  24. 　前記特定処理が実行された前記被識別体を検知する被識別体検知部、
    を備え、
    　前記第２特定処理部は、前記被識別体検知部が前記被識別体を検知したとき、前記第２特定処理を実行する、
    請求項２２記載の撮像装置。
  25. 　前記特定処理部は、前記識別部が前記被識別体を識別した確度を算出する、
    請求項２０記載の撮像装置。
  26. 　前記特定処理部が算出した確度に基づいて、前記被識別体を分類する第２特定処理部、
    を備える、
    請求項２５記載の撮像装置。
  27. 　前記種別入力部に入力される前記種別情報は、複数で、
    　前記種別情報と関連付けて前記記憶部に記憶された前記撮像画像に基づいて生成された前記種別情報ごとの識別情報を出力する出力部、
    を備える、
    請求項２記載の撮像装置。
  28. 　前記種別情報ごとの前記識別情報を生成し、前記記憶部に記憶する識別情報生成部、
    を備え、
    　前記識別情報生成部は、前記記憶部に記憶された前記識別情報に基づいて、前記撮像画像を前記識別情報の生成に用いるか否かを決定する、
    請求項２７記載の撮像装置。
  29. 　被写体の種別情報が入力される種別入力部と、
    　前記被写体を撮像して撮像画像を出力する撮像部と、
    　前記種別情報と前記撮像画像とが関連付けて記憶される記憶部と、
    　少なくとも、
    　前記被写体と前記撮像部との位置関係を変更する位置関係変更部、または、
    　前記被写体の形態を変更させる形態変更部、
    のいずれか一方と、
    を有してなる撮像装置により実行される撮像方法であって、
    　前記位置関係変更部が、前記被写体と前記撮像部との位置関係を変更する工程、または、
    　前記形態変更部が、前記被写体の形態を変更させる工程、と、
    　前記撮像部が、
    　前記位置関係変更部が前記被写体と前記撮像部との位置関係を変更した後、または、
    　前記形態変更部が前記被写体の形態を変更させた後、
    に前記被写体を撮像する工程と、
    を有してなる、
    ことを特徴とする撮像方法。

     
PCT/JP2019/028064 2018-07-17 2019-07-17 撮像装置と撮像方法 WO2020017546A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020531337A JP7403834B2 (ja) 2018-07-17 2019-07-17 撮像装置と撮像方法
JP2023112943A JP7440975B2 (ja) 2018-07-17 2023-07-10 撮像装置と識別方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018133815 2018-07-17
JP2018-133815 2018-07-17

Publications (1)

Publication Number Publication Date
WO2020017546A1 true WO2020017546A1 (ja) 2020-01-23

Family

ID=69165061

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/028064 WO2020017546A1 (ja) 2018-07-17 2019-07-17 撮像装置と撮像方法

Country Status (2)

Country Link
JP (2) JP7403834B2 (ja)
WO (1) WO2020017546A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118298385B (zh) * 2024-06-06 2024-09-13 江苏省沿海开发投资有限公司 藻类识别数据管理方法及平台

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10340935A (ja) * 1997-06-06 1998-12-22 Mitsubishi Electric Corp 検査装置
JPH11344450A (ja) * 1998-06-03 1999-12-14 Hitachi Ltd 教示用データ作成方法並びに欠陥分類方法およびその装置
JP2006189915A (ja) * 2004-12-28 2006-07-20 Olympus Corp 分類装置及び分類方法
JP2014178957A (ja) * 2013-03-15 2014-09-25 Nec Corp 学習データ生成装置、学習データ作成システム、方法およびプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011159320A (ja) 2001-01-30 2011-08-18 Masanobu Kujirada カメラ等検知装置及び電気機器検知装置
JP2005136519A (ja) 2003-10-28 2005-05-26 Sanyo Electric Co Ltd 遠隔操作システム
JP5351084B2 (ja) 2010-03-16 2013-11-27 株式会社デンソーアイティーラボラトリ 画像認識装置及び画像認識方法
US9285296B2 (en) 2013-01-02 2016-03-15 The Boeing Company Systems and methods for stand-off inspection of aircraft structures
JP2016181068A (ja) 2015-03-24 2016-10-13 株式会社明電舎 学習サンプル撮影装置
JP7071054B2 (ja) 2017-01-20 2022-05-18 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
JP7051571B2 (ja) 2018-05-10 2022-04-11 アズビル株式会社 教師データ作成装置および方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10340935A (ja) * 1997-06-06 1998-12-22 Mitsubishi Electric Corp 検査装置
JPH11344450A (ja) * 1998-06-03 1999-12-14 Hitachi Ltd 教示用データ作成方法並びに欠陥分類方法およびその装置
JP2006189915A (ja) * 2004-12-28 2006-07-20 Olympus Corp 分類装置及び分類方法
JP2014178957A (ja) * 2013-03-15 2014-09-25 Nec Corp 学習データ生成装置、学習データ作成システム、方法およびプログラム

Also Published As

Publication number Publication date
JP2023126335A (ja) 2023-09-07
JP7403834B2 (ja) 2023-12-25
JPWO2020017546A1 (ja) 2021-08-12
JP7440975B2 (ja) 2024-02-29

Similar Documents

Publication Publication Date Title
JP6975474B2 (ja) 空気試料の自動分析を実行するためのシステム及び方法
US10706525B2 (en) Methods and systems for improved quality inspection
US20210090238A1 (en) System and method for performing automated analysis of air samples
US20190362480A1 (en) Methods and system for improved quality inspection
CN105817430A (zh) 基于机器视觉的产品检测方法
US5550583A (en) Inspection apparatus and method
US8164625B2 (en) Device and method for visually recording two-dimensional or three-dimensional objects
JP7440975B2 (ja) 撮像装置と識別方法
EP4202424A1 (en) Method and system for inspection of welds
JP7151873B2 (ja) 検査装置
CN114136975A (zh) 一种微波裸芯片表面缺陷智能检测系统和方法
WO1999016010A1 (en) Automated visual inspection system and process for detecting and classifying defects
CN111999314A (zh) 一种自动检查柔性pcb加工过程中变形的装置及其方法
CN116256366A (zh) 一种芯片缺陷的检测方法、检测系统及存储介质
CN113495073A (zh) 视觉检查系统的自动对焦功能
CN211403010U (zh) 显示面板异物定位装置
KR20220044741A (ko) 웨이퍼 외관 검사 장치 및 방법
JP2001266125A (ja) 基板検査装置
JP2007327903A (ja) 外観検査装置
JP5175916B2 (ja) 部品検索システム
CN110702688A (zh) 基于深度学习的白色家电喷漆外壳检测系统及方法
JPH07119705B2 (ja) 電子部品の検査装置
CN117531732B (zh) 一种半导体芯片测试探针分选与缺陷检测设备及检测方法
TWI663412B (zh) 協助陣列排版之電路板辨識且記錄缺陷位置的系統
JP2024130933A (ja) 外観検査支援方法、外観検査支援システムおよびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19838695

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2020531337

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19838695

Country of ref document: EP

Kind code of ref document: A1