WO2020059587A1 - 情報取得システム、制御装置、情報取得方法及び記憶媒体 - Google Patents

情報取得システム、制御装置、情報取得方法及び記憶媒体 Download PDF

Info

Publication number
WO2020059587A1
WO2020059587A1 PCT/JP2019/035658 JP2019035658W WO2020059587A1 WO 2020059587 A1 WO2020059587 A1 WO 2020059587A1 JP 2019035658 W JP2019035658 W JP 2019035658W WO 2020059587 A1 WO2020059587 A1 WO 2020059587A1
Authority
WO
WIPO (PCT)
Prior art keywords
information acquisition
images
information
unit
imaging device
Prior art date
Application number
PCT/JP2019/035658
Other languages
English (en)
French (fr)
Inventor
二徳 高田
秀雄 横井
岩元　浩太
壮馬 白石
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US17/276,217 priority Critical patent/US11450119B2/en
Publication of WO2020059587A1 publication Critical patent/WO2020059587A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/12—Cash registers electronically operated
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/22—Character recognition characterised by the type of writing
    • G06V30/224—Character recognition characterised by the type of writing of printed characters having additional code marks or containing code marks
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures

Definitions

  • the present invention relates to an information acquisition system, a control device, an information acquisition method, and a storage medium.
  • Patent Document 1 discloses a technique for creating a recognition dictionary used for object recognition.
  • the technique of Patent Document 1 extracts a feature amount after rotating a captured image, and acquires a plurality of feature amounts having different angles. This reduces the amount of work required to create the recognition dictionary.
  • Patent Literature 1 discloses reduction in the amount of work by extracting a plurality of feature amounts from one image, but does not disclose how to efficiently obtain a plurality of images.
  • the present invention has an object to provide an information acquisition system, a control device, an information acquisition method, and a storage medium that can efficiently acquire a plurality of object identification images captured under a plurality of environmental conditions.
  • an imaging device including a camera that captures an object to generate an image, and a control unit that controls the imaging device such that a plurality of images are generated under a plurality of different environmental conditions.
  • An information acquisition unit that acquires target object information input to a classifier that identifies an object, wherein the target object information includes a plurality of feature amounts obtained from the plurality of images or the plurality of images.
  • An information acquisition system including an acquisition unit and a control device including the acquisition unit is provided.
  • a control unit that controls an imaging device so that a plurality of images under a plurality of different environmental conditions is generated, and object information input to a classifier that identifies an object is obtained.
  • An information acquisition unit wherein the object information includes the plurality of images or a plurality of feature amounts obtained from the plurality of images.
  • a computer controls an imaging device to generate a plurality of images under a plurality of different environmental conditions, and object information input to a classifier for identifying an object.
  • the object information includes the plurality of images or a plurality of feature amounts obtained from the plurality of images, and a program for executing an information acquisition method comprising: Storage medium is provided.
  • an information acquisition system a control device, an information acquisition method, and a storage medium that can efficiently acquire a plurality of object identification images captured under a plurality of environmental conditions.
  • FIG. 2 is a block diagram illustrating a hardware configuration example of a control device according to the first embodiment.
  • FIG. 2 is a functional block diagram of a control device and an imaging device according to the first embodiment.
  • FIG. 2 is a diagram schematically illustrating an appearance of the imaging device according to the first embodiment.
  • 5 is a flowchart illustrating a process of acquiring target object information performed by the control device according to the first embodiment.
  • 5 is a table illustrating an example of information acquired by the information acquisition system according to the first embodiment.
  • It is a functional block diagram of an identification device concerning a 1st embodiment. 5 is a flowchart illustrating a learning process performed by the identification device according to the first embodiment.
  • the information acquisition system 10 is a system for acquiring information such as an image of an object input to a program for object recognition or a feature amount extracted from the image of the object.
  • the image of the object and the feature amount extracted from the image of the object may be more generally referred to as object information.
  • FIG. 1 is a block diagram showing the overall configuration of the information acquisition system 10 according to the present embodiment.
  • the information acquisition system 10 includes a control device 100 and an imaging device 200 communicably connected to each other.
  • the control device 100 and the imaging device 200 jointly acquire the object information of the object 400.
  • the control device 100 is a device that controls the imaging device 200.
  • the imaging device 200 is a device that captures an image of the target 400 under the control of the control device 100 and obtains an image of the target 400.
  • the type of the target object 400 is not particularly limited as long as it can be a target of object recognition, and may be, for example, a product sold in a retail store.
  • the identification device 300 is a device that identifies the type of an object from an image of the object.
  • the identification device 300 identifies an object using an image of the object 400 or an object recognition model constructed by inputting a feature amount extracted from the image of the object 400.
  • the object identification model includes, for example, a machine learning model such as deep learning, a classifier constructed based on a feature matching technique, or the like.
  • control device 100 and the imaging device 200 may be configured as an integrated device, and the function of the identification device 300 may be incorporated in the information acquisition system 10. .
  • FIG. 2 is a block diagram illustrating a hardware configuration example of the control device 100.
  • the control device 100 includes a CPU (Central Processing Unit) 151, a RAM (Random Access Memory) 152, a ROM (Read Only Memory) 153, and a HDD (Hard Disk Drive) 154 as computers that perform calculations, controls, and stores. Further, the control device 100 includes a communication I / F (interface) 155, a display device 156, and an input device 157.
  • the CPU 151, the RAM 152, the ROM 153, the HDD 154, the communication I / F 155, the display device 156, and the input device 157 are interconnected via a bus 158.
  • the display device 156 and the input device 157 may be connected to the bus 158 via a driving device (not shown) for driving these devices.
  • the components constituting the control device 100 are illustrated as an integrated device, but some of these functions may be provided by an external device.
  • the display device 156 and the input device 157 may be external devices that are different from the portions that configure the functions of the computer including the CPU 151 and the like.
  • the CPU 151 is a processor that performs a predetermined operation according to programs stored in the ROM 153, the HDD 154, and the like, and also has a function of controlling each unit of the control device 100.
  • the RAM 152 is configured by a volatile storage medium, and provides a temporary memory area necessary for the operation of the CPU 151.
  • the ROM 153 is configured from a nonvolatile storage medium, and stores necessary information such as a program used for the operation of the control device 100.
  • the HDD 154 is a storage device that is configured from a nonvolatile storage medium and stores data such as acquired images, operation programs of the control device 100, and the like.
  • the communication I / F 155 is a communication interface based on standards such as Ethernet (registered trademark), Wi-Fi (registered trademark), and 4G, and is a module for performing communication with other devices.
  • the display device 156 is a liquid crystal display, an OLED (Organic Light Emitting Diode) display, or the like, and is used for displaying an acquired image, setting photographing conditions, a GUI (Graphical User Interface) for operation input, and the like.
  • the input device 157 is a keyboard, a pointing device, or the like, and is used by a user to operate the control device 100. Examples of the pointing device include a mouse, a trackball, a touch panel, a pen tablet, and the like.
  • the display device 156 and the input device 157 may be integrally formed as a touch panel.
  • the hardware configuration shown in FIG. 2 is an example, and other devices may be added, or some of the devices may not be provided. In addition, some devices may be replaced with another device having a similar function. Furthermore, some functions of the present embodiment may be provided by another device via a network, and the functions of the present embodiment may be realized by being distributed to a plurality of devices.
  • the HDD 154 may be replaced with an SSD (Solid State Drive) using a semiconductor memory, or may be replaced with a cloud storage.
  • FIG. 3 is a functional block diagram of the control device 100 and the imaging device 200 according to the present embodiment.
  • the control device 100 includes a light source control unit 101, a camera control unit 102, an image acquisition unit 103, a feature amount acquisition unit 104, a display information generation unit 105, and a storage unit 106.
  • the imaging device 200 includes a light source 201 and a camera 202. Although FIG. 3 shows one light source 201 and one camera 202, each of the light sources 201 and the camera 202 may be plural.
  • the CPU 151 loads a program stored in the ROM 153, the HDD 154, or the like into the RAM 152 and executes the program. Accordingly, the CPU 151 implements the functions of the light source control unit 101, the camera control unit 102, the image acquisition unit 103, the feature amount acquisition unit 104, and the display information generation unit 105. The CPU 151 realizes the function of the storage unit 106 by controlling the HDD 154 based on the program. Specific processes performed by these units will be described later.
  • the light source 201 is a light emitting device that irradiates the object 400 with light for photographing.
  • the light source 201 includes a light-emitting element such as an incandescent lamp, a fluorescent lamp, and an LED (Light Emitting Diode), and a drive circuit having functions such as current supply and dimming.
  • the light irradiation conditions such as the presence or absence of light emission by the light source 201, the amount of light at the time of light emission, the timing of light emission, and the color of light (wavelength distribution of light) can be controlled by the light source control unit 101.
  • the camera 202 is a device such as a digital camera that captures the target object 400 and generates electronic data of a still image or a moving image.
  • the camera 202 includes an imaging element such as a CMOS (Complementary Metal Oxide Semiconductor) image sensor, a control circuit, a signal processing circuit, and the like.
  • the shooting conditions such as whether or not shooting is performed by the camera 202, shooting timing, shutter speed, aperture value, focal length, and ISO (International Organization for Standardization) sensitivity can be controlled by the camera control unit 102.
  • FIG. 4 is a diagram schematically illustrating the appearance of the imaging device 200 according to the first embodiment.
  • the imaging device 200 includes a plurality of light sources 201, a plurality of cameras 202, a frame 203, a mounting table 204, an input device installation table 205, a control device installation table 206, and a plurality of wheels 207.
  • the mounting table 204 is a table for mounting the object 400 at the time of photographing.
  • the user places the object 400 to be photographed on the mounting table 204.
  • the frame 203 is a rod-shaped member that forms a framework of the imaging device 200.
  • the frame 203 is combined in a three-dimensional lattice above the mounting table 204.
  • the plurality of cameras 202 are installed at different positions at the top of the frame 203.
  • the plurality of light sources 201 are installed at different positions in a stage between the plurality of cameras 202 and the mounting table 204.
  • the plurality of light sources 201 are installed on the mounting table 204 at positions where the object 400 can be irradiated with light.
  • the plurality of light sources 201 irradiate the object 400 with light from different angles.
  • the plurality of cameras 202 are installed at positions on the mounting table 204 where the object 400 can be photographed.
  • the plurality of cameras 202 photograph the object 400 from different angles.
  • the plurality of light sources 201 and the plurality of cameras 202 are arranged only above the object 400, but may be arranged beside the object 400.
  • the input device installation table 205 is a table for installing the input device 157 such as a keyboard and a mouse.
  • the input device installation table 205 and the input device 157 installed thereon can be stored below the mounting table 204 so as not to hinder the object 400 from being mounted on the mounting table 204.
  • the control device installation table 206 is provided below the mounting table 204.
  • the control device installation table 206 is a table on which the main body of the computer constituting the control device 100 is installed.
  • a device constituting the information acquisition system 10 such as a power supply device for supplying power to the light source 201 may be installed on the control device installation base 206.
  • the plurality of wheels 207 are provided at the bottom of the imaging device 200. This facilitates transportation of the imaging device 200.
  • the display device 156 may be attached to the frame 203, may be installed on the input device installation table 205, and may be different from the imaging device 200. May be installed at a location.
  • FIG. 5 is a flowchart showing a process of acquiring target object information performed by the control device 100 according to the present embodiment. The operation of the control device 100 will be described with reference to FIG.
  • step S101 the control device 100 performs a process for mounting the target object 400 on the mounting table 204.
  • the display information generation unit 105 may generate display information including a message urging the user to place the object 400 on the mounting table 204, and cause the display device 156 to display the message.
  • step S101 is omitted. Can be done.
  • step S102 the light source control unit 101 generates a control signal for controlling each of the plurality of light sources 201 and transmits the control signal to each of the plurality of light sources 201. Accordingly, the light source control unit 101 can control light irradiation conditions such as the presence or absence of light emission of the light source 201, the amount of light at the time of light emission, the timing of light emission, and the color of light (light wavelength distribution).
  • step S103 the camera control unit 102 generates a control signal for controlling the plurality of cameras 202 and transmits the control signal to each of the plurality of cameras 202. Accordingly, the camera control unit 102 can control shooting conditions such as whether or not shooting has been performed, shooting timing, shutter speed, aperture value, focal length, and ISO sensitivity. Thereafter, the plurality of cameras 202 shoot the target object 400 to shoot a plurality of images. Note that shooting by a plurality of cameras 202 may be performed simultaneously or sequentially. Note that the light source control unit 101 and the camera control unit 102 both control the imaging device 200, and thus may be more generally called a control unit.
  • the above-described irradiation conditions and photographing conditions may be more generally called environmental conditions.
  • a plurality of images under a plurality of different environmental conditions can be generated. Since the plurality of cameras 202 are arranged at different positions, the plurality of images photographed by the plurality of cameras 202 are images photographed from different photographing positions (viewpoints). In other words, it can be said that a plurality of images are taken by a plurality of cameras 202 under a plurality of different environmental conditions.
  • the environmental conditions may be set in advance, or may be input by the user in steps S102 and S103.
  • step S104 the image acquisition unit 103 acquires a plurality of images taken by the plurality of cameras 202.
  • the plurality of obtained images are stored in the storage unit 106.
  • step S105 the CPU 151 determines whether a predetermined number of images have been obtained. If a predetermined number of images have been acquired (YES in step S105), the process proceeds to step S107. If the predetermined number of images has not been acquired (NO in step S105), the process proceeds to step S106.
  • step S106 the control device 100 performs a process for changing the position of the object 400.
  • the display information generation unit 105 may generate display information including a message urging the user to move the position of the object 400, and cause the display device 156 to display the message. Thereafter, the process returns to step S102, and the same image acquisition is performed on the target object 400 whose position has been changed.
  • step S105 is based on the number of images, but this is merely an example, and the determination may be performed under other conditions. For example, it may be determined whether or not the imaging of the object 400 has been completed at all preset positions, and the user is prompted to input whether a sufficient number of images have been obtained. It may be.
  • step S107 the CPU 151 determines whether or not a predetermined number of objects 400 have been photographed. If a predetermined number of objects 400 have been photographed (YES in step S107), the process proceeds to step S109. If the predetermined number of objects 400 have not been photographed (NO in step S107), the process proceeds to step S108.
  • step S108 the control device 100 performs a process for changing the target object 400 by placing another target object 400 on the mounting table 204.
  • the display information generation unit 105 may generate display information including a message prompting the user to change the target object 400 to another object, and cause the display device 156 to display the message. Thereafter, the process returns to step S102, and the same image acquisition is performed on the changed object 400.
  • the determination criterion in step S107 is based on the number of objects 400, but this is merely an example, and the determination may be made under other conditions. For example, it may be a determination as to whether or not the imaging of all the preset target objects 400 has been completed, or may confirm with the user whether or not the imaging processing may be completed, and determine whether or not the imaging processing can be completed. It may be input.
  • the feature amount acquiring unit 104 performs a process of acquiring a feature amount from the plurality of images acquired by the image acquiring unit 103.
  • the acquisition of the feature amount may be, for example, a process of extracting a plurality of characteristic portions (feature points) included in the image and acquiring a group of coordinates of the extracted feature points as the feature amount. Since the image acquisition unit 103 and the feature amount acquisition unit 104 both acquire object information, they may be more generally called information acquisition units.
  • FIG. 6 is a table illustrating an example of information acquired by the information acquisition system 10 and stored in the storage unit 106.
  • the object 400 is a product sold at a store or the like.
  • the storage unit 106 stores “product ID (Identifier)”, “product name”, “image”, “feature amount”, “camera ID”, “irradiation condition”, and “product position”. Are stored in a state where they are associated with each other.
  • the “product ID” is an ID such as a product identification number
  • the “product name” is a product name.
  • Image indicates the file names of a plurality of images acquired by the image acquisition unit 103.
  • the “image” is stored in association with the “product ID” and “product name” of the photographed object 400.
  • Feature amount indicates the file names of a plurality of feature amounts obtained by the feature amount obtaining unit 104.
  • the “feature value” is stored in association with the “product ID” and “product name” of the image and the object 400 from which the feature value has been acquired. In the process illustrated in FIG. 5, a plurality of images and a plurality of feature amounts are obtained from one target object 400, and thus, as illustrated in FIG. Are associated.
  • Camera ID is an ID for identifying the camera 202 that has captured each image.
  • the camera ID is one of the photographing conditions. Since the position of the camera 202 is determined by the camera ID such as “camera 1” or “camera 2”, the angle at which the target object 400 is photographed is specified. In FIG. 6, only the ID of the camera 202 is described as the photographing condition. However, photographing conditions other than the camera ID, such as a shutter speed, an aperture value, a focal length, and an ISO sensitivity, may be further stored.
  • the “irradiation condition” is a condition such as presence / absence of light emission by the plurality of light sources 201, light quantity at the time of light emission, light emission timing, light color, and the like, and is one of photographing conditions.
  • FIG. 6 shows recipe numbers such as “recipe 1” and “recipe 2” which are a condition group in which combinations of the conditions of the light sources 201 are combined.
  • Product position indicates the position of the object 400 on the mounting table 204. This position may be input by the user, or may be a position specified by analyzing a plurality of images.
  • FIG. 6 shows reference numerals indicating the placement positions on the assumption that the object 400 is placed at a predetermined position such as “position A”. However, the position may be specified by another method. For example, the position may be specified by the position coordinates of the object 400 on the mounting table 204.
  • the object information acquired by the information acquisition system 10 is used as learning data of the classifier included in the classification device 300, reference data at the time of classification in the classifier, or evaluation data of the classifier.
  • the outline of the processing in the identification device 300 will be described with reference to FIGS. 7 to 9.
  • FIG. 7 is a functional block diagram of the identification device 300 according to the present embodiment.
  • the identification device 300 includes an input unit 301, a first identification unit 302, a second identification unit 303, an integration unit 304, a learning unit 305, a model storage unit 306, and a feature storage unit 307.
  • the hardware configuration of the identification device 300 is the same as that of the control device 100, and a description thereof will be omitted.
  • the function of each unit is realized by the CPU of the identification device 300 performing a process based on a program.
  • the input unit 301 is a part to which an image including an identification target of the identification device 300 is input.
  • the first identification unit 302 is a unit that identifies an object in an image using a machine learning model constructed by a neural network such as deep learning.
  • the second identification unit 303 is a part that identifies an object by image matching using a feature amount.
  • the integration unit 304 is a unit that integrates the identification result of the first identification unit 302 and the identification result of the second identification unit 303 to generate a final identification result.
  • the learning unit 305 is a unit that controls learning processing such as acquiring learning data from the storage unit 106 for learning the machine learning model of the first identification unit 302.
  • the model storage unit 306 is a part that stores a machine learning model.
  • the feature amount storage unit 307 is a unit that acquires a feature amount, which is reference data used for matching by the second identification unit 303, from the storage unit 106 and stores the feature amount.
  • FIG. 8 is a flowchart illustrating a process of learning a machine learning model performed by the identification device 300 according to the present embodiment. First, referring to FIG. 8, a description will be given of a process of learning a machine learning model.
  • step S201 the learning unit 305 acquires an image including an identification target from the storage unit 106.
  • the acquired image is input to the first identification unit 302 and used as learning data of a machine learning model.
  • an image obtained by processing an input image such as an image obtained by rotating the input image by a predetermined angle, an image obtained by combining a plurality of images, and the like. Learning may be performed by using.
  • step S202 the first identification unit 302 performs learning using the learning data, and updates the model so that the learning result is reflected.
  • This updating of the model may be, for example, a process of changing the weight between neurons constituting the neural network.
  • the updated model is stored in the model storage unit 306.
  • FIG. 9 is a flowchart illustrating the identification or evaluation processing performed by the identification device 300 according to the present embodiment.
  • the time of identification refers to a point in time at which the object is identified using an image of an object to be actually identified, and the time of evaluation uses an image for testing including one or more objects. It refers to the point at which it is evaluated whether an object can be correctly identified.
  • the evaluation here may include adjusting the parameters of the identification device 300 based on the evaluation result using the test image so as to obtain more appropriate results.
  • step S301 the input unit 301 receives an input of an image to be identified or an image for evaluation of the identification device 300.
  • the first identification unit 302 identifies an object included in the input image using the learned machine learning model stored in the model storage unit 306.
  • This identification processing is, for example, processing for identifying that the object is an apple when the input image includes an apple.
  • the object may be identified as an apple, and the type of the apple may be specified.
  • step S303 the second identification unit 303 extracts a feature amount from the input image, performs matching with the feature amount stored in the feature amount storage unit 307, and thereby detects the object included in the input image. Perform identification. This identification processing may also perform the same identification as the processing in the first identification unit 302.
  • step S304 the integration unit 304 integrates the identification result of the first identification unit 302 and the identification result of the second identification unit 303 to generate a final identification result.
  • This processing may integrate the two identification results at an application ratio according to the type of the object, in consideration of the object identification results by the first identification unit 302 and the second identification unit 303.
  • the identification device 300 includes the first identification unit 302 based on machine learning such as deep learning, and the second identification unit 303 based on feature amount matching. The identification device 300 can identify various objects with high accuracy by integrating the output results of the two algorithms.
  • the information acquisition system 10 of the present embodiment controls the imaging device 200 so as to photograph the object 400 under a plurality of different environmental conditions. This makes it possible to efficiently acquire a plurality of object identification images captured under a plurality of environmental conditions.
  • the acquired object identification image is input to the identification device 300, and is used as learning data of the identifier, reference data at the time of identification in the identifier, or evaluation data of the identifier. Regardless of the case where the object identification image is used for any of the above purposes, the higher the number of object identification images, the higher the accuracy of the identification device 300 is realized. Therefore, by obtaining a large number of object identification images efficiently by the information acquisition system 10 of the present embodiment, the accuracy of the identification device 300 is improved.
  • the information acquisition system 10 of the present embodiment is different from the first embodiment in that a display unit 208 is provided in the imaging device 200.
  • a display unit 208 is provided in the imaging device 200.
  • FIG. 10 is a diagram schematically illustrating an appearance of the imaging device 200 according to the present embodiment.
  • the mounting table 204 includes a display unit 208 on a part of the surface on which the object 400 is mounted.
  • the display unit 208 includes a liquid crystal display, an OLED display, and the like, and is controlled by the control device 100.
  • the display unit 208 can display a background image under the control of the control device 100.
  • the type of the background image is one of the environmental conditions, and the control device 100 controls the acquisition of a plurality of images under a plurality of different environmental conditions by changing the background image displayed on the display unit 208. Can be.
  • a background image An example of a background image will be described.
  • the background image any image can be used as long as it can change the appearance of the object 400 by changing the background of the object 400.
  • Specific examples of the background image include plain images such as red, blue, white, and black. In this case, a plurality of images with different background colors can be obtained. Accordingly, learning can be performed in consideration of the influence of the change in the contrast in the image depending on the relationship between the color of the object 400 and the background color.
  • the luminance value of the background image to a known value set in advance, it is possible to self-correct the color, luminance, and the like of the object 400 in the image after photographing.
  • a background image is one that displays a known pattern such as a character or a figure.
  • a known pattern can be used for image processing, for example, by cutting out an area of the target object 400 from the obtained image and using it.
  • Another example of a background image is one that displays a graphic of a known size such as a grid pattern or a dimension line. Thereby, the size of the object 400 can be measured from the obtained image.
  • the information acquisition system 10 that can acquire a plurality of images displaying a plurality of different background images is provided. Provided.
  • the display unit 208 may be used for operation navigation for the user.
  • the display unit 208 may display the position or the direction in which the target object 400 should be moved in the process of step S106.
  • the operation navigation for the user is realized by displaying the position or the orientation of the object 400 using characters such as messages, graphics such as arrows and broken lines.
  • the display unit 208 may display the position or the mounting direction of the target object 400 as described above, and may indicate the type or name of the target object 400 to be mounted. It may be displayed.
  • a part of the mounting table 204 may be replaced with an optically transparent material (transparent part). That is, the portion of the display portion 208 in FIG. 10 may be replaced with a transparent portion. Examples of the material constituting the transparent portion include plastic, glass, and the like.
  • the background of the image can be made colorless (transparent).
  • the camera 202 by further deforming the camera 202 so as to be installed below the mounting table 204, the object 400 can be photographed through the transparent portion. Thus, the reverse side of the object 400 can be photographed without turning the object 400 over.
  • the display unit 208 is a display having light transmissivity such as a transparent OLED display
  • the display unit 208 has a function of changing the background image of the second embodiment and a function of the transparent unit of the present modification. Can be compatible.
  • the information acquisition system 10 of the present embodiment differs from the first embodiment in that a position changing unit 209 is provided in the imaging device 200.
  • a position changing unit 209 is provided in the imaging device 200.
  • FIG. 11 is a diagram schematically illustrating an appearance of the imaging device 200 according to the present embodiment.
  • the imaging device 200 includes a position changing unit 209 for changing the position of the object 400.
  • the light source 201 is not shown.
  • the position change unit 209 is, for example, a robot arm as shown in FIG.
  • the position changing unit 209 can change the position by moving the object 400 in accordance with the control from the control device 100. Therefore, the position of the object 400 can be automatically changed without manually moving the object 400 by the user. This process is executed when the position of the object 400 is changed in the process of step S106 in FIG.
  • the position of the target object 400 can be automatically changed according to the control from the control device 100, and the information acquisition system 10 that further simplifies the work of the user is provided.
  • the configuration of the position changing unit 209 is not limited to the robot arm, but may be any other configuration that changes the positional relationship between the object 400 and the camera 202.
  • a part of the mounting table 204 may be configured by a belt conveyor, and the imaging device 200 may be configured to automatically move the target 400.
  • the imaging device 200 may be configured so that the camera 202 can automatically move the position of the camera 202 so that the positional relationship between the object 400 and the camera 202 automatically changes.
  • the position changing unit 209 may be a blower for moving the object 400 by blowing the wind.
  • the process of moving the object 400 by the position changing unit 209 may be executed when the object is changed in the process of step S108 in FIG. In this case, the work of the user is further simplified.
  • the position changing unit 209 is a belt conveyor, and when the shooting of a certain object is completed, the belt conveyor is driven to automatically move the next object to the shooting range. There are things that move to.
  • the position changing unit 209 can turn the object 400 upside down. In a state where the object 400 is placed on the mounting table 204, an image of the back side of the object 400 cannot be normally obtained even when the plurality of cameras 202 shoot. On the other hand, when the object 400 is turned over by the position changing unit 209, an image on the back side of the object 400 can be captured.
  • the information acquisition system 10 of the present embodiment is different from the first embodiment in that a process of optimizing image storage is added to the process of step S104 in FIG.
  • a process of optimizing image storage is added to the process of step S104 in FIG.
  • FIG. 12 is a flowchart illustrating an image acquisition process performed by the control device 100 according to the present embodiment. This processing shows the processing of step S104 of FIG. 5 in more detail, and the processing other than step S104 is the same as that of FIG.
  • step S110 the image acquiring unit 103 acquires a plurality of images captured by the plurality of cameras 202.
  • the CPU 151 determines whether or not an image including an object of the same type as the object 400 included in the image acquired in step S110 is already stored in the storage unit 106. If an image including the same type of object has been acquired (YES in step S111), the process proceeds to step S113. If an image including the same type of object has not been acquired (NO in step S111), the process proceeds to step S112.
  • step S112 the image obtained in the process in step S110 is stored in storage unit 106.
  • step S113 the image acquired in the processing in step S110 is discarded, and is not stored in the storage unit 106.
  • the present embodiment it is determined whether or not an image of the same kind of object is already stored in the storage unit 106 at the time of acquiring an image, and different processing is performed according to the determination result. As a result, it is possible to prevent an image including an object of the same kind from being registered as another one in an overlapping manner and the data capacity from being unnecessarily increased.
  • the same kind of object may be an object that is treated as the same kind of product in the retail business, such as a product with the same trade name, a fresh food of the same kind (for example, vegetables, fruits, fresh fish, meat). .
  • step S113 the image is discarded.
  • this image may be stored in the storage unit 106.
  • the storage unit 106 may store a duplicated flag indicating that the same type of object is already stored. In this case, the number of steps can be reduced by skipping an image for which the overlap flag has been added at the time of learning, evaluation, or the like, thereby reducing the number of steps and realizing the efficiency of these processes. You.
  • the product registration system 50 of the present embodiment includes a discriminator configured using object information such as an image and a feature amount acquired by the information acquisition system 10 of the above-described first to fourth embodiments.
  • the merchandise registration system 50 identifies the image of the merchandise by the classifier, acquires the identification information of the merchandise, and registers the merchandise.
  • FIG. 13 is a schematic diagram illustrating the overall configuration of the product registration system 50 according to the present embodiment.
  • the product registration system 50 includes a product registration device 500, a product imaging device 510, and a product registration stand 520.
  • the product registration system 50 of the present embodiment may be operated by a clerk, or may be a so-called self-checkout system in which a customer operates alone.
  • the merchandise registration apparatus 500 is an apparatus for registering merchandise brought by a customer at a retail store and calculating a sales amount for settlement of a price.
  • the product registration device 500 may cooperate with a POS (Point of Sales) system, and may be referred to as a POS device.
  • POS Point of Sales
  • the product photographing device 510 is a device having an image acquisition function such as a camera. Are arranged.
  • the product registration table 520 is a table on which a product to be purchased by a customer is placed. The placing work of the product may be performed by a customer or a clerk. Further, the number of products to be placed may be plural or one.
  • FIG. 14 is a functional block diagram of the product registration device 500 according to the present embodiment.
  • the product registration device 500 includes a product image acquisition unit 501, an identification information acquisition unit 502, a registration unit 503, and an identification information storage unit 504.
  • the hardware configuration of the merchandise registration device 500 is the same as the hardware of the computer shown in FIG. 2 except that a cash settlement device provided in a general POS device such as a cash drawer, a receipt printer, and a card reader is added. Therefore, the description is omitted. Further, the function of each unit is realized by the CPU of the product registration device 500 performing a process based on a program.
  • the identification information acquisition unit 502 is, for example, a part having the function of the identification device 300 shown in FIG.
  • the identification information acquisition unit 502 includes an identifier configured using the object information such as the image and the feature amount acquired by the information acquisition system 10 according to the above-described first to fourth embodiments.
  • the identification information storage unit 504 stores products that can be identified by the classifier and identification information of the products in association with each other.
  • the identification information is, for example, a product ID for identifying the type of the product.
  • a POS system provided in a retail store or the like can specify the price, stock amount, and the like of a product based on the product ID. The functions of the product image acquisition unit 501 and the registration unit 503 will be described later.
  • FIG. 15 is a flowchart showing a product registration process performed by the product registration device 500 according to the present embodiment. The process in FIG. 15 is started when a customer or a clerk performs a predetermined operation on the product registration device 500 after the product that the customer wants to purchase is placed on the product registration table 520.
  • step S401 the product image acquiring unit 501 controls the product photographing device 510 to photograph the photographing area A and acquire a product image.
  • This product image may include one or more products.
  • step S ⁇ b> 402 the identification information acquisition unit 502 identifies a product included in the product image, and acquires identification information of a corresponding product from the identification information storage unit 504. When a plurality of products are included in the product image, identification information is acquired for each of the plurality of products.
  • step S403 the registration unit 503 specifies and registers a product that the customer wants to purchase based on the identification information obtained in step S402.
  • each of the plurality of products is registered.
  • the registered merchandise is displayed on the display provided in the merchandise registration system 50 together with the price, for example, and the customer can make a payment for the purchase of the merchandise.
  • This payment process may be provided integrally with the product registration system 50, or may be performed in a payment device separately provided in the retail store.
  • a product registration system 50 including a discriminator configured using target information such as images and feature amounts acquired by the information acquisition system 10 according to the first to fourth embodiments. Is done. Since the information acquisition system 10 can efficiently acquire a plurality of object identification images captured under a plurality of environmental conditions, the product registration system 50 including a classifier constructed using these object identification images is It is possible to register a product by identifying the product with high accuracy.
  • the product registration system 50 of the present embodiment can collectively register products only by arranging a plurality of products on the product registration table 520. Thereby, the product registration work can be performed in a shorter time than in a case where a barcode is read from each product and the product is registered.
  • FIG. 16 is a functional block diagram of an information acquisition system 600 according to the sixth embodiment.
  • the information acquisition system 600 includes an imaging device 601 and a control device 602.
  • the control device 602 includes a control unit 603 and an information acquisition unit 604.
  • the imaging device 601 includes a camera that captures an object and generates an image.
  • the control unit 603 controls the imaging device 601 such that a plurality of images under a plurality of different environmental conditions are generated.
  • the information acquisition unit 604 acquires target object information input to a classifier that identifies an object.
  • the object information includes a plurality of images or a plurality of feature amounts obtained from the plurality of images.
  • an information acquisition system 600 capable of efficiently acquiring a plurality of object identification images captured under a plurality of environmental conditions is provided.
  • the number of the objects 400 may be plural.
  • the user places the plurality of objects 400 on the mounting table 204.
  • the imaging device 200 collectively photographs a plurality of objects 400.
  • the image acquisition unit 103 may divide the image for each object 400 and acquire the image by separating and detecting the plurality of objects 400 by an image recognition technique such as edge detection. Images may be acquired in a state where a plurality of objects 400 are included in one image.
  • the feature amount obtaining unit 104 obtains a feature amount for each target object 400 regardless of the case where an image is obtained in any of the above-described states. In this example, by photographing a plurality of objects 400 collectively, the work time is reduced.
  • the imaging device 200 is provided with the wheels 207 and is configured to be movable.
  • the imaging device 200 has a structure that is assumed to be stationary. However, it may be more convenient to bring the imaging device 200 to a place where the object 400 is located, and there is a need to carry the imaging device 200.
  • the imaging device 200 may have a configuration in which the light source 201, the camera 202, and the frame 203 can be stored in the carrying case, and the inner or outer surface of the carrying case may function as the mounting table 204.
  • the imaging device 200 can be assembled by assembling the frame 203 in a lattice shape above the carrying case with the carrying case opened, and connecting the light source 201 and the camera 202 to the frame 203.
  • the imaging device 200 having a structure excluding the input device installation table 205, the control device installation table 206, and the wheels 207 from FIG. 4 is realized.
  • a portable imaging device 200 is provided.
  • the control device 100 used together with the imaging device 200 may be further housed in a carrying case, or a portable PC such as a notebook PC may be used as the control device 100.
  • the image acquisition unit 103 or the information acquisition unit 604 of the control device 100 may have a function of a one-dimensional code reader, a two-dimensional code reader, or OCR (Optical Character Recognition).
  • the one-dimensional code and the two-dimensional code may be simply referred to as a code.
  • the object 400 in the image may be given a character or a code.
  • the characters or codes include, for example, product identification information that specifies the type of the target object 400, such as a product name and a product ID.
  • the image acquisition unit 103 or the information acquisition unit 604 can further acquire information specifying the object 400 corresponding to the object information (image or feature amount) of the object 400 by acquiring a character or a code. This makes it possible to automatically associate, for example, a product name, a product ID, an image, a feature amount, and the like.
  • the setting of the environmental conditions for image acquisition can be set according to the environment of the installation location of the identification device 300.
  • the identification device 300 when the identification device 300 is installed in a bright store where direct sunlight may enter, it is desirable that an image used for learning of the identification device 300 and the like is similarly shot in a bright environment.
  • the identification device 300 when the identification device 300 is installed in a store provided with lighting other than white such as blue, green, yellow, and red, an image used for learning of the identification device 300 or the like has a corresponding color. It is desirable that the image was taken under illumination.
  • the environmental conditions for image acquisition in consideration of the environment of the installation location of the identification device 300, the identification accuracy of the identification device 300 can be improved.
  • the image captured by the imaging device 200 is a still image, but this may be a moving image.
  • the same processing as in the case of a still image may be performed by extracting a part of the frame images constituting the moving image.
  • This example is effective when the object 400 is moving, such as when the object 400 is an animal, or when the user performs shooting while moving the object.
  • a processing method for operating the configuration of the embodiment to realize the functions of the above-described embodiment is recorded on a storage medium, the program recorded on the storage medium is read out as a code, and a processing method executed by a computer is also described in each embodiment. It is included in the category. That is, a computer-readable storage medium is also included in the scope of each embodiment. In addition, not only a storage medium on which the above-described program is recorded, but also the program itself is included in each embodiment.
  • One or more components included in the above-described embodiment are circuits such as an ASIC (Application Specific Integrated Circuit) and an FPGA (Field Programmable Gate Array) configured to realize the function of each component. There may be.
  • a floppy (registered trademark) disk for example, hard disk, optical disk, magneto-optical disk, CD (Compact Disk) -ROM, magnetic tape, nonvolatile memory card, ROM can be used.
  • a floppy (registered trademark) disk for example, hard disk, optical disk, magneto-optical disk, CD (Compact Disk) -ROM, magnetic tape, nonvolatile memory card, ROM can be used.
  • an OS Operating System
  • SaaS Software @ as @ a @ Service
  • An imaging device including a camera that captures an object and generates an image, A control unit that controls the imaging device so that a plurality of images according to a plurality of different environmental conditions are generated, An information acquisition unit that acquires target object information input to a classifier that identifies an object, wherein the target object information includes the plurality of images or a plurality of feature amounts obtained from the plurality of images.
  • Department and A control device comprising: An information acquisition system comprising:
  • the imaging device further includes a light source that irradiates the object with light,
  • the control unit controls the imaging device to generate a plurality of images having different light irradiation conditions,
  • the information acquisition system according to attachment 1.
  • the imaging device includes a plurality of cameras arranged at different positions from each other, The control unit controls the imaging device to generate a plurality of images having different imaging positions by causing each of the plurality of cameras to image the object.
  • the information acquisition system according to attachment 1 or 2.
  • the control device further includes a storage unit that stores the object information acquired by the information acquisition unit in association with the object. 4.
  • the information acquisition system according to any one of supplementary notes 1 to 3.
  • the storage unit further stores the environmental conditions in association with the object information, An information acquisition system according to attachment 4.
  • the information acquisition unit determines whether or not the object information of an object of the same type as the object has already been stored in the storage unit at the time of acquisition of the object information, and performs different processing according to the determination result. Do, An information acquisition system according to attachment 4 or 5.
  • the information acquisition unit specifies the object corresponding to the object information based on a character or code included in at least one of the plurality of images, 7.
  • the information acquisition system according to any one of Supplementary Notes 4 to 6, wherein:
  • the control unit sets the environmental conditions according to the environment of the installation location of the identification device that performs identification by the identifier.
  • the information acquisition system according to any one of supplementary notes 1 to 7.
  • the object information is used as learning data of the discriminator, reference data at the time of discrimination in the discriminator or evaluation data of the discriminator, 9.
  • the information acquisition system according to any one of supplementary notes 1 to 8.
  • the imaging device further includes a mounting table on which the object is mounted,
  • the mounting table includes a display unit that displays a background image, 10.
  • the information acquisition system according to any one of supplementary notes 1 to 9.
  • the imaging device further includes a mounting table on which the object is mounted, The mounting table is at least partially transparent, The camera shoots the object through a transparent portion of the mounting table, 11.
  • the information acquisition system according to any one of supplementary notes 1 to 10.
  • the imaging device further includes a position changing unit for changing a positional relationship between the object and the camera, 12.
  • the information acquisition system according to any one of supplementary notes 1 to 11.
  • the imaging device can collectively photograph a plurality of the objects,
  • the information acquisition unit acquires the object information for each of the plurality of objects, 13.
  • the information acquisition system according to any one of supplementary notes 1 to 12.
  • An identification information acquisition unit configured to acquire the identification information of the product from the image of the product by the identifier into which the object information acquired by the information acquisition system according to any one of supplementary notes 1 to 13 is input;
  • a registration unit for registering the product based on the identification information;
  • a product registration device comprising:
  • a control unit that controls the imaging device so that a plurality of images according to a plurality of different environmental conditions are generated;
  • An information acquisition unit that acquires target object information input to a classifier that identifies an object, wherein the target object information includes the plurality of images or a plurality of feature amounts obtained from the plurality of images.
  • Department and A control device comprising:

Abstract

対象物を撮影して画像を生成するカメラを含む撮像装置と、複数の異なる環境条件による複数の画像が生成されるように前記撮像装置を制御する制御部と、物体を識別する識別器に入力される対象物情報を取得する情報取得部であって、前記対象物情報は前記複数の画像又は前記複数の画像から得られた複数の特徴量を含む、情報取得部と、を含む制御装置と、を備える情報取得システムが提供される。

Description

情報取得システム、制御装置、情報取得方法及び記憶媒体
　本発明は、情報取得システム、制御装置、情報取得方法及び記憶媒体に関する。
　特許文献１には、物体認識に用いられる認識辞書の作成のための技術が開示されている。特許文献１の技術は、撮影した画像を回転させてから特徴量を抽出して、角度が異なる複数の特徴量を取得している。これにより、認識辞書を作成するために要する作業量が削減される。
特開２０１３－２４６７９０号公報
　物体認識の精度を向上させるためには、多くの異なる画像を取得することが必要となる場合がある。特許文献１には、１つの画像から複数の特徴量を抽出することによる作業量の削減については開示されているものの、複数の画像を効率よく取得することについては開示されていない。
　本発明は、複数の環境条件によって撮影された複数の物体識別用画像を効率よく取得することができる情報取得システム、制御装置、情報取得方法及び記憶媒体を提供することを目的とする。
　本発明の一観点によれば、対象物を撮影して画像を生成するカメラを含む撮像装置と、複数の異なる環境条件による複数の画像が生成されるように前記撮像装置を制御する制御部と、物体を識別する識別器に入力される対象物情報を取得する情報取得部であって、前記対象物情報は前記複数の画像又は前記複数の画像から得られた複数の特徴量を含む、情報取得部と、を含む制御装置と、を備える、情報取得システムが提供される。
　本発明の他の一観点によれば、複数の異なる環境条件による複数の画像が生成されるように撮像装置を制御する制御部と、物体を識別する識別器に入力される対象物情報を取得する情報取得部であって、前記対象物情報は前記複数の画像又は前記複数の画像から得られた複数の特徴量を含む、情報取得部と、を備える、制御装置が提供される。
　本発明の他の一観点によれば、複数の異なる環境条件による複数の画像が生成されるように撮像装置を制御するステップと、物体を識別する識別器に入力される対象物情報を取得するステップであって、前記対象物情報は前記複数の画像又は前記複数の画像から得られた複数の特徴量を含む、ステップと、を備える、情報取得方法が提供される。
　本発明の他の一観点によれば、コンピュータに、複数の異なる環境条件による複数の画像が生成されるように撮像装置を制御するステップと、物体を識別する識別器に入力される対象物情報を取得するステップであって、前記対象物情報は前記複数の画像又は前記複数の画像から得られた複数の特徴量を含む、ステップと、を備える情報取得方法を実行させるためのプログラムが記憶された記憶媒体が提供される。
　本発明によれば、複数の環境条件によって撮影された複数の物体識別用画像を効率よく取得することができる情報取得システム、制御装置、情報取得方法及び記憶媒体を提供することができる。
第１実施形態に係る情報取得システムの全体構成を示すブロック図である。 第１実施形態に係る制御装置のハードウェア構成例を示すブロック図である。 第１実施形態に係る制御装置及び撮像装置の機能ブロック図である。 第１実施形態に係る撮像装置の外観を模式的に示す図である。 第１実施形態に係る制御装置により行われる対象物情報の取得処理を示すフローチャートである。 第１実施形態に係る情報取得システムにより取得される情報の例を示す表である。 第１実施形態に係る識別装置の機能ブロック図である。 第１実施形態に係る識別装置により行われる学習の処理を示すフローチャートである。 第１実施形態に係る識別装置により行われる識別又は評価の処理を示すフローチャートである。 第２実施形態に係る撮像装置の外観を模式的に示す図である。 第３実施形態に係る撮像装置の外観を模式的に示す図である。 第４実施形態に係る制御装置により行われる画像の取得処理を示すフローチャートである。 第５実施形態に係る商品登録システムの全体構成を示す模式図である。 第５実施形態に係る商品登録装置の機能ブロック図である。 第５実施形態に係る商品登録装置により行われる商品登録の処理を示すフローチャートである。 第６実施形態に係る情報取得システムの機能ブロック図である。
　以下、図面を参照して、本発明の例示的な実施形態を説明する。図面において同様の要素又は対応する要素には同一の符号を付し、その説明を省略又は簡略化することがある。
　［第１実施形態］
　本実施形態に係る情報取得システム１０について、図１乃至図６を参照しつつ説明する。本実施形態の情報取得システム１０は、物体認識用のプログラムに入力される対象物の画像又は対象物の画像から抽出された特徴量等の情報を取得するためのシステムである。ここで、対象物の画像及び対象物の画像から抽出された特徴量は、より一般的に対象物情報と呼ばれることもある。
　図１は、本実施形態に係る情報取得システム１０の全体構成を示すブロック図である。情報取得システム１０は、互いに通信可能に接続された制御装置１００と撮像装置２００とを備える。
　制御装置１００と撮像装置２００は、共同して対象物４００の対象物情報を取得する。制御装置１００は撮像装置２００を制御する装置である。撮像装置２００は、制御装置１００の制御に応じて対象物４００を撮影し、対象物４００の画像を取得する装置である。対象物４００の種類は、物体認識の対象となり得るものであれば特に限定されないが、例えば、小売店において販売される商品であり得る。
　識別装置３００は、物体の画像から物体の種別等を識別する装置である。識別装置３００は、対象物４００の画像又は対象物４００の画像から抽出された特徴量が入力されて構築される物体認識モデルを用いて物体の識別を行う。この物体識別モデルは、例えば、ディープラーニング等の機械学習モデル、特徴量マッチング技術等に基づいて構築された識別器を含む。
　なお、この全体構成は一例であり、例えば、制御装置１００と撮像装置２００が一体の装置として構成されていてもよく、識別装置３００の機能が情報取得システム１０の内部に組み込まれていてもよい。
　図２は、制御装置１００のハードウェア構成例を示すブロック図である。制御装置１００は、演算、制御及び記憶を行うコンピュータとして、ＣＰＵ（Central　Processing　Unit）１５１、ＲＡＭ（Random　Access　Memory）１５２、ＲＯＭ（Read　Only　Memory）１５３及びＨＤＤ（Hard　Disk　Drive）１５４を備える。また、制御装置１００は、通信Ｉ／Ｆ（インターフェース）１５５、表示装置１５６及び入力装置１５７を備える。ＣＰＵ１５１、ＲＡＭ１５２、ＲＯＭ１５３、ＨＤＤ１５４、通信Ｉ／Ｆ１５５、表示装置１５６及び入力装置１５７は、バス１５８を介して相互に接続される。なお、表示装置１５６及び入力装置１５７は、これらの装置を駆動するための不図示の駆動装置を介してバス１５８に接続されていてもよい。
　図２では、制御装置１００を構成する各部が一体の装置として図示されているが、これらの機能の一部は外付け装置により提供されるものであってもよい。例えば、表示装置１５６及び入力装置１５７は、ＣＰＵ１５１等を含むコンピュータの機能を構成する部分とは別の外付け装置であってもよい。
　ＣＰＵ１５１は、ＲＯＭ１５３、ＨＤＤ１５４等に記憶されたプログラムに従って所定の演算を行うとともに、制御装置１００の各部を制御する機能をも有するプロセッサである。ＲＡＭ１５２は、揮発性記憶媒体から構成され、ＣＰＵ１５１の動作に必要な一時的なメモリ領域を提供する。ＲＯＭ１５３は、不揮発性記憶媒体から構成され、制御装置１００の動作に用いられるプログラム等の必要な情報を記憶する。ＨＤＤ１５４は、不揮発性記憶媒体から構成され、取得した画像等のデータ、制御装置１００の動作用プログラム等の記憶を行う記憶装置である。
　通信Ｉ／Ｆ１５５は、イーサネット（登録商標）、Ｗｉ－Ｆｉ（登録商標）、４Ｇ等の規格に基づく通信インターフェースであり、他の装置との通信を行うためのモジュールである。表示装置１５６は、液晶ディスプレイ、ＯＬＥＤ（Organic　Light　Emitting　Diode）ディスプレイ等であって、取得した画像、撮影条件の設定、操作入力用のＧＵＩ（Graphical　User　Interface）等の表示に用いられる。入力装置１５７は、キーボード、ポインティングデバイス等であって、ユーザが制御装置１００を操作するために用いられる。ポインティングデバイスの例としては、マウス、トラックボール、タッチパネル、ペンタブレット等が挙げられる。表示装置１５６及び入力装置１５７は、タッチパネルとして一体に形成されていてもよい。
　なお、図２に示されているハードウェア構成は例示であり、これら以外の装置が追加されていてもよく、一部の装置が設けられていなくてもよい。また、一部の装置が同様の機能を有する別の装置に置換されていてもよい。更に、本実施形態の一部の機能がネットワークを介して他の装置により提供されてもよく、本実施形態の機能が複数の装置に分散されて実現されるものであってもよい。例えば、ＨＤＤ１５４は、半導体メモリを用いたＳＳＤ（Solid　State　Drive）に置換されていてもよく、クラウドストレージに置換されていてもよい。
　図３は、本実施形態に係る制御装置１００及び撮像装置２００の機能ブロック図である。制御装置１００は、光源制御部１０１、カメラ制御部１０２、画像取得部１０３、特徴量取得部１０４、表示情報生成部１０５及び記憶部１０６を有する。撮像装置２００は、光源２０１及びカメラ２０２を有する。なお、図３において、光源２０１及びカメラ２０２は１個ずつ記載されているが、光源２０１及びカメラ２０２はいずれも複数個であり得る。
　ＣＰＵ１５１は、ＲＯＭ１５３、ＨＤＤ１５４等に記憶されたプログラムをＲＡＭ１５２にロードして実行する。これにより、ＣＰＵ１５１は、光源制御部１０１、カメラ制御部１０２、画像取得部１０３、特徴量取得部１０４及び表示情報生成部１０５の機能を実現する。ＣＰＵ１５１は、当該プログラムに基づいてＨＤＤ１５４を制御することにより記憶部１０６の機能を実現する。これらの各部で行われる具体的な処理については後述する。
　光源２０１は、対象物４００に撮影用の光を照射する発光装置である。光源２０１は、白熱電球、蛍光灯、ＬＥＤ（Light　Emitting　Diode）等の発光素子と、電流供給、調光等の機能を有する駆動回路とを有する。光源２０１による発光の有無、発光時の光量、発光のタイミング、光の色（光の波長分布）等の光の照射条件は、光源制御部１０１により制御され得る。
　カメラ２０２は、対象物４００を撮影して静止画又は動画の電子データを生成するデジタルカメラ等の装置である。カメラ２０２は、ＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）イメージセンサ等の撮像素子、制御回路、信号処理回路等を含んで構成される。カメラ２０２による撮影の有無、撮影のタイミング、シャッタースピード、絞り値、焦点距離、ＩＳＯ（International　Organization　for　Standardization）感度等の撮影条件は、カメラ制御部１０２により制御され得る。
　図４は、第１実施形態に係る撮像装置２００の外観を模式的に示す図である。撮像装置２００は、複数の光源２０１、複数のカメラ２０２、フレーム２０３、載置台２０４、入力装置設置台２０５、制御装置設置台２０６及び複数の車輪２０７を有する。
　載置台２０４は、撮影時に対象物４００を載置するための台である。ユーザは、撮影を行う対象物４００を載置台２０４の上面に載置する。フレーム２０３は、撮像装置２００の骨組みを構成する棒状の部材である。フレーム２０３は、載置台２０４の上方において、三次元格子状に組み合わされている。複数のカメラ２０２は、フレーム２０３の最上段の互いに異なる位置に設置されている。複数の光源２０１は、複数のカメラ２０２と載置台２０４の間の段において、互いに異なる位置に設置されている。複数の光源２０１は、載置台２０４の上の対象物４００に光を照射することができる位置に設置される。複数の光源２０１は、対象物４００に互いに異なる角度から光を照射する。複数のカメラ２０２は、載置台２０４の上の対象物４００を撮影することができる位置に設置される。複数のカメラ２０２は、対象物４００を互いに異なる角度から撮影する。
　なお、図４では、複数の光源２０１及び複数のカメラ２０２は、対象物４００の上方にのみ配されているが、対象物４００の側方に配されていてもよい。
　入力装置設置台２０５は、キーボード、マウス等の入力装置１５７を設置するための台である。入力装置設置台２０５及びその上に設置された入力装置１５７は、対象物４００を載置台２０４に載置する際の妨げにならないように、載置台２０４の下方に収納可能である。
　制御装置設置台２０６は、載置台２０４の下方に設けられている。制御装置設置台２０６は、制御装置１００を構成するコンピュータの本体を設置するための台である。制御装置設置台２０６には、光源２０１に電力を供給する電源装置等の情報取得システム１０を構成する装置が設置されていてもよい。
　複数の車輪２０７は、撮像装置２００の最下段に設けられている。これにより、撮像装置２００の運搬が容易となる。
　なお、表示装置１５６は、図４においては不図示であるが、例えば、フレーム２０３に取り付けられていてもよく、入力装置設置台２０５の上に設置されていてもよく、撮像装置２００とは別の場所に設置されていてもよい。
　図５は、本実施形態に係る制御装置１００により行われる対象物情報の取得処理を示すフローチャートである。図５を参照して、制御装置１００の動作を説明する。
　図５の処理は、ユーザが情報取得システム１０を操作して、撮像装置２００の制御を開始したときに実行される。ステップＳ１０１において、制御装置１００は、対象物４００を載置台２０４に載置させるための処理を行う。この処理は、例えば、表示情報生成部１０５が対象物４００を載置台２０４に載置するようユーザに促すメッセージを含む表示情報を生成し、表示装置１５６に当該メッセージを表示させるものであり得る。
　なお、情報取得システム１０の操作手順があらかじめ対象物４００を載置台２０４に載置しておくというものである等、既に対象物４００が載置されている場合には、ステップＳ１０１の処理は省略され得る。
　ステップＳ１０２において、光源制御部１０１は、複数の光源２０１の各々を制御するための制御信号を生成し、複数の光源２０１の各々に送信する。これにより、光源制御部１０１は、光源２０１の発光の有無、発光時の光量、発光のタイミング、光の色（光の波長分布）等の光の照射条件を制御することができる。
　ステップＳ１０３において、カメラ制御部１０２は、複数のカメラ２０２を制御するための制御信号を生成し、複数のカメラ２０２の各々に送信する。これにより、カメラ制御部１０２は、撮影の有無、撮影のタイミング、シャッタースピード、絞り値、焦点距離、ＩＳＯ感度等の撮影条件を制御することができる。その後、複数のカメラ２０２は、対象物４００の撮影を行い、複数の画像を撮影する。なお、複数のカメラ２０２による撮影は同時に行われるものであってもよく、順次行われるものであってもよい。なお、光源制御部１０１及びカメラ制御部１０２は、いずれも撮像装置２００を制御するものであることから、より一般的に制御部と呼ばれることもある。
　なお、上述の照射条件、撮影条件はより一般的に環境条件と呼ばれることもある。光源２０１の照射条件を変えることにより、複数の異なる環境条件による複数の画像が生成され得る。複数のカメラ２０２は互いに異なる位置に配されているため、複数のカメラ２０２で撮影された複数の画像は、異なる撮影位置（視点）から撮影された画像となる。言い換えると、複数のカメラ２０２により、複数の異なる環境条件による複数の画像が撮影されるといえる。なお、環境条件は、あらかじめ設定されていてもよく、ステップＳ１０２、Ｓ１０３の段階でユーザにより入力されるものであってもよい。
　ステップＳ１０４において、画像取得部１０３は、複数のカメラ２０２により撮影された複数の画像を取得する。取得された複数の画像は、記憶部１０６に記憶される。
　ステップＳ１０５において、ＣＰＵ１５１は、あらかじめ設定されている数の画像を取得したか否かを判定する。所定数の画像を取得済みである場合（ステップＳ１０５においてＹＥＳ）、処理はステップＳ１０７に移行する。所定数の画像を取得していない場合（ステップＳ１０５においてＮＯ）、処理はステップＳ１０６に移行する。
　ステップＳ１０６において、制御装置１００は、対象物４００の位置を変更させるための処理を行う。この処理は、例えば、表示情報生成部１０５がユーザに対象物４００の位置を動かすよう促すメッセージを含む表示情報を生成し、表示装置１５６に当該メッセージを表示させるものであり得る。その後、処理はステップＳ１０２に戻り、位置が変更された対象物４００に対して同様の画像取得が行われる。
　なお、ステップＳ１０５における判定の基準は画像の数としているが、これは一例であり、これ以外の条件で判定が行われてもよい。例えば、あらかじめ設定されたすべての位置で対象物４００の撮像が完了したか否かを判定するものであってもよく、十分な数の画像が取得されたかどうかをユーザに確認して入力させるものであってもよい。
　ステップＳ１０７において、ＣＰＵ１５１は、あらかじめ設定されている数の対象物４００を撮影したか否かを判定する。所定数の対象物４００を撮影済みである場合（ステップＳ１０７においてＹＥＳ）、処理はステップＳ１０９に移行する。所定数の対象物４００を撮影していない場合（ステップＳ１０７においてＮＯ）、処理はステップＳ１０８に移行する。
　ステップＳ１０８において、制御装置１００は、別の対象物４００を載置台２０４に載置させることにより対象物４００を変更するための処理を行う。この処理は、例えば、表示情報生成部１０５がユーザに対象物４００を別の物に変えるようユーザに促すメッセージを含む表示情報を生成し、表示装置１５６に当該メッセージを表示させるものであり得る。その後、処理はステップＳ１０２に戻り、変更された対象物４００に対して同様の画像取得が行われる。
　なお、ステップＳ１０７における判定の基準は対象物４００の数としているが、これは一例であり、これ以外の条件で判定が行われてもよい。例えば、あらかじめ設定されたすべての対象物４００の撮像が完了したか否かを判定するものであってもよく、撮像処理を完了してもよいかどうかをユーザに確認して、完了の可否を入力させるものであってもよい。
　ステップＳ１０９において、特徴量取得部１０４は、画像取得部１０３により取得された複数の画像から特徴量を取得する処理を行う。この特徴量の取得は、例えば、画像に含まれている複数の特徴的な箇所（特徴点）を抽出して、抽出された特徴点の座標群を特徴量として取得する処理であり得る。なお、画像取得部１０３及び特徴量取得部１０４は、いずれも対象物情報を取得するものであることから、より一般的に情報取得部と呼ばれることもある。
　上述のようにして、複数の画像及び複数の特徴量が取得され、記憶部１０６に記憶される。図６は、情報取得システム１０によって取得され、記憶部１０６に記憶される情報の例を示す表である。本例では、対象物４００は、店舗等で販売される商品であるものとしている。
　図６に示されるように、記憶部１０６には、「商品ＩＤ（Identifier）」、「商品名」、「画像」、「特徴量」、「カメラＩＤ」、「照射条件」及び「商品位置」が相互に対応付けられた状態で記憶されている。「商品ＩＤ」は、商品の識別番号等のＩＤであり、「商品名」は、商品の名称である。
　「画像」は、画像取得部１０３により取得された複数の画像のファイル名を示している。「画像」は、撮影された対象物４００の「商品ＩＤ」及び「商品名」と対応付けられて記憶されている。「特徴量」は、特徴量取得部１０４により取得された複数の特徴量のファイル名を示している。「特徴量」は、特徴量を取得した画像及び対象物４００の「商品ＩＤ」及び「商品名」と対応付けられて記憶されている。図５に示す処理では、１つの対象物４００から複数の画像及び複数の特徴量が取得されるため、図６に示されるように、１つの商品に対して複数の画像及び複数の特徴量が対応付けられている。
　「カメラＩＤ」は、各画像を撮影したカメラ２０２を識別するＩＤである。カメラＩＤは、撮影条件の１つである。「カメラ１」、「カメラ２」等のカメラＩＤにより、カメラ２０２の位置が確定されるため、対象物４００を撮影した角度が特定される。図６には、撮影条件としてカメラ２０２のＩＤのみが記載されているが、シャッタースピード、絞り値、焦点距離、ＩＳＯ感度等、カメラＩＤ以外の撮影条件が更に記憶されていてもよい。
　「照射条件」は、複数の光源２０１による発光の有無、発光時の光量、発光のタイミング、光の色等の条件であり、撮影条件の１つである。図６には、これらの光源２０１の条件の組み合わせをまとめた条件群である「レシピ１」、「レシピ２」等のレシピ番号が記載されている。
　「商品位置」は、対象物４００の載置台２０４における位置を示している。この位置は、ユーザにより入力されるものであってもよく、複数の画像を解析することにより位置を特定するものであってもよい。図６には、「位置Ａ」のようにあらかじめ定められている位置に対象物４００を載置することを前提として、載置位置を示す符号が示されている。しかしながら、別の方法により位置が特定されていてもよく、例えば、載置台２０４における対象物４００の位置座標により位置が特定されていてもよい。
　以上、情報取得システム１０による対象物情報の取得について説明した。情報取得システム１０により取得された対象物情報は、識別装置３００に含まれる識別器の学習データ、識別器における識別時の参照データ又は識別器の評価データとして用いられる。識別装置３００における処理の概略を図７乃至図９を参照しつつ説明する。
　図７は、本実施形態に係る識別装置３００の機能ブロック図である。識別装置３００は、入力部３０１、第１識別部３０２、第２識別部３０３、統合部３０４、学習部３０５、モデル記憶部３０６及び特徴量記憶部３０７を有する。識別装置３００のハードウェア構成は、制御装置１００と同様であるため説明を省略する。また、各部の機能は識別装置３００のＣＰＵがプログラムに基づく処理を行うことにより実現される。
　入力部３０１は、識別装置３００での識別対象を含む画像が入力される部分である。第１識別部３０２は、ディープラーニング等のニューラルネットワークにより構築された機械学習モデルを用いて画像中の物体の識別を行う部分である。第２識別部３０３は、特徴量を用いた画像マッチングにより物体の識別を行う部分である。統合部３０４は、第１識別部３０２による識別結果と、第２識別部３０３による識別結果とを統合して最終的な識別結果を生成する部分である。
　学習部３０５は、第１識別部３０２の機械学習モデルの学習のために学習用データを記憶部１０６から取得する等の学習処理の制御を行う部分である。モデル記憶部３０６は、機械学習モデルの記憶を行う部分である。特徴量記憶部３０７は、第２識別部３０３のマッチングに用いられる参照データである特徴量を記憶部１０６から取得して記憶する部分である。
　図８は、本実施形態に係る識別装置３００により行われる機械学習モデルの学習の処理を示すフローチャートである。まず、図８を参照して、機械学習モデルの学習の処理を説明する。
　図８の処理は、ユーザが識別装置３００に対して学習の操作を行ったときに実行される。ステップＳ２０１において、学習部３０５は、識別対象を含む画像を記憶部１０６から取得する。取得された画像は、第１識別部３０２に入力され、機械学習モデルの学習用データとして用いられる。なお、本学習処理において、入力された画像を所定の角度だけ回転して得られた画像、複数の画像を合成して得られた画像等の入力された画像を加工することにより得られた画像を用いて学習を行ってもよい。
　ステップＳ２０２において、第１識別部３０２は、学習用データを用いて学習を行い、学習の結果が反映されるようにモデルを更新する。このモデルの更新は、例えば、ニューラルネットワークを構成するニューロンの間の重みを変更する処理であり得る。更新されたモデルは、モデル記憶部３０６に記憶される。
　図９は、本実施形態に係る識別装置３００により行われる識別又は評価の処理を示すフローチャートである。図９を参照して、識別装置３００による識別時又は識別装置３００の評価時の処理を説明する。ここで、識別時とは、実際に識別すべき物体の画像を用いてその物体を特定する時点を指しており、評価時とは、１つ又は複数の物体を含むテスト用の画像を用いて正しく物体が特定できるかどうかを評価する時点を指している。なお、ここでの評価とは、テスト用の画像を用いた評価結果に基づいて、より適切な結果が得られるように識別装置３００のパラメータを調整することを含んでもよいものとする。識別時の処理と評価時の処理は、目的においては異なるものの、流れは大筋で同様となるので、以下ではこれらをまとめて説明する。
　図９の処理は、ユーザが識別装置３００に対して識別又は評価の操作を行ったときに実行される。ステップＳ３０１において、入力部３０１は、識別の対象となる画像又は識別装置３００の評価用の画像の入力を受け付ける。
　ステップＳ３０２において、第１識別部３０２は、モデル記憶部３０６に記憶されている学習済みの機械学習モデルを用いて、入力された画像に含まれる物体の識別を行う。この識別処理は例えば、入力された画像にりんごが含まれている場合に、その物体がりんごであることを識別するような処理である。あるいは、画像に含まれ得るりんごの品種がいくつかある場合にその物体がりんごであることを識別し、更にそのりんごの品種を特定するものであってもよい。
　ステップＳ３０３において、第２識別部３０３は、入力された画像から特徴量を抽出し、特徴量記憶部３０７に記憶されている特徴量とマッチングを行うことにより、入力された画像に含まれる物体の識別を行う。この識別処理も第１識別部３０２における処理と同様の識別を行うものであり得る。
　ステップＳ３０４において、統合部３０４は、第１識別部３０２による識別結果と第２識別部３０３による識別結果とを統合して、最終的な識別結果を生成する。この処理は、第１識別部３０２と第２識別部３０３による物体の識別結果を考慮して、物体の種類に応じた適用割合で２つの識別結果を統合するものであり得る。
　ディープラーニング等の機械学習は、個体ごとの外観の違いが大きい自然物の識別の精度が高く、特徴量マッチングは、外観が酷似した物体が多種存在する工業製品等の人工物の識別の精度が高い。このように物体の種類に応じて適切なアルゴリズムが異なる場合がある。上述のように、識別装置３００は、ディープラーニング等の機械学習に基づく第１識別部３０２と、特徴量マッチングに基づく第２識別部３０３とを備えている。識別装置３００は、２つのアルゴリズムの出力結果を統合することにより、様々な物体に対して高精度に識別を行うことができる。
　本実施形態の情報取得システム１０は、複数の異なる環境条件で対象物４００を撮影するように撮像装置２００を制御する。これにより、複数の環境条件によって撮影された複数の物体識別用画像を効率よく取得することができる。取得された物体識別用画像は、識別装置３００に入力され、識別器の学習データ、識別器における識別時の参照データ又は識別器の評価データとして用いられる。物体識別用画像が上述のいずれの用途に用いられる場合であっても、物体識別用画像の数が多いほど識別装置３００の高精度化が実現される。したがって、本実施形態の情報取得システム１０により効率よく多数の物体識別用画像を取得することにより、識別装置３００の高精度化が実現される。
　［第２実施形態］
　本実施形態の情報取得システム１０は、撮像装置２００に表示部２０８が設けられている点で第１実施形態と相違する。以下では主として第１実施形態との相違点について説明するものとし、共通部分については説明を省略又は簡略化する。
　図１０は、本実施形態に係る撮像装置２００の外観を模式的に示す図である。本実施形態において、載置台２０４は、対象物４００を載置する面の一部に表示部２０８を備えている。
　表示部２０８は、液晶ディスプレイ、ＯＬＥＤディスプレイ等により構成されており、制御装置１００により制御される。表示部２０８は、制御装置１００からの制御に応じて、背景画像を表示することができる。この背景画像の種別は、環境条件の１つであり、制御装置１００は、表示部２０８に表示される背景画像を変えることにより、複数の異なる環境条件による複数の画像を取得するよう制御することができる。
　背景画像の例について説明する。背景画像は、対象物４００の背景を変えて、対象物４００の見え方に変化を与えることができるものであれば、あらゆるものが用いられ得る。背景画像の具体例としては、赤色、青色、白色、黒色等の無地の画像が挙げられる。この場合、背景色を変えた複数の画像を得ることができる。これにより、対象物４００の色と背景色との関係によって画像内のコントラストが変化する影響を考慮した学習が可能となる。また、背景画像の輝度値をあらかじめ設定された既知の値としておくことにより、撮影後に画像中の対象物４００の色、輝度等を自己補正することができる。
　また背景画像の別の例としては、文字、図形等の既知のパターンを表示するものが挙げられる。この場合、既知のパターンの一部が対象物４００により隠されるため、対象物４００の輪郭が明確になる。これにより、得られた画像から対象物４００の領域を切り出して用いる等、既知のパターンを画像処理に活用することができる。
　また背景画像の更に別の例としては、グリッドパターン、寸法線等の既知の大きさの図形を表示するものが挙げられる。これにより、得られた画像から対象物４００のサイズを計測することができる。
　以上のように、本実施形態によれば、背景画像を変えることができる表示部２０８を備えることにより、複数の異なる背景画像が表示された複数の画像を取得することができる情報取得システム１０が提供される。
　なお、本実施形態において、表示部２０８は、ユーザに対する操作ナビゲーションに用いられてもよい。例えば、表示部２０８は、ステップＳ１０６の処理において、対象物４００を動かすべき位置又は向きを表示してもよい。具体的には、対象物４００の位置又は載置の向きをメッセージ等の文字、矢印、破線等の図形により表示させることで、ユーザに対する操作ナビゲーションが実現される。また、表示部２０８は、ステップＳ１０１又はステップＳ１０８の処理において、上述と同様に、対象物４００の位置又は載置の向きを表示してもよく、載置すべき対象物４００の種類又は名称を表示してもよい。
　［第２実施形態の変形例］
　上述の第２実施形態における載置台２０４の構造の変形例として、載置台２０４の一部が光学的に透明な材料（透明部）に置き換えられていてもよい。すなわち、図１０における表示部２０８の部分が透明部に置き換えられていてもよい。透明部を構成する材料の例としては、プラスチック、ガラス等が挙げられる。本例では、対象物４００を上方から撮影した場合に画像の背景を無色（透明）にすることができる。また、カメラ２０２を載置台２０４の下方にも設置するように更に変形することにより、透明部を介して対象物４００を撮影することができる。これにより、対象物４００を裏返すことなく、対象物４００の裏側を撮影することができる。
　なお、表示部２０８が透明ＯＬＥＤディスプレイ等の光透過性を有するディスプレイである場合には、表示部２０８は、第２実施形態の背景画像を変える機能と、本変形例の透明部の機能とを両立することができる。
　［第３実施形態］
　本実施形態の情報取得システム１０は、撮像装置２００に位置変更部２０９が設けられている点で第１実施形態と相違する。以下では主として第１実施形態との相違点について説明するものとし、共通部分については説明を省略又は簡略化する。
　図１１は、本実施形態に係る撮像装置２００の外観を模式的に示す図である。本実施形態において、撮像装置２００は、対象物４００の位置を変えるための位置変更部２０９を備えている。なお、図１１において、光源２０１については図示が省略されている。
　位置変更部２０９は、例えば、図１１に示されているようなロボットアームであり、制御装置１００により制御される。位置変更部２０９は、制御装置１００からの制御に応じて、対象物４００を動かして位置を変えることができる。したがって、ユーザが手動で対象物４００を動かさなくても自動的に対象物４００の位置を変えることができる。この処理は、図５のステップＳ１０６の処理において、対象物４００の位置を変更する際に実行される。
　本実施形態によれば、対象物４００の位置を制御装置１００からの制御に応じて自動的に変更させることができ、ユーザの作業が更に簡略化される情報取得システム１０が提供される。
　なお、位置変更部２０９の構成はロボットアームに限定されるものではなく、対象物４００とカメラ２０２との位置関係を変えるようなものであればこれ以外のものであってもよい。例えば、載置台２０４の一部がベルトコンベアで構成されており、自動的に対象物４００を動かすことができるように撮像装置２００が構成されていてもよい。あるいは、カメラ２０２の位置を動かすことができるカメラ駆動機構を追加することにより、対象物４００とカメラ２０２との位置関係が自動的に変化するように撮像装置２００が構成されていてもよい。あるいは、想定される対象物４００が被服等の軽いものであれば、位置変更部２０９は、対象物４００に風を当てて動かすための送風機であってもよい。
　また、位置変更部２０９によって対象物４００を動かす処理は、図５のステップＳ１０８の処理において、対象物を変更する際に実行されてもよい。この場合ユーザの作業が更に簡略化される。この処理を実現する撮像装置２００の具体的構成としては、位置変更部２０９がベルトコンベアであり、ある対象物の撮影が完了すると、ベルトコンベアが駆動して自動的に次の対象物が撮影範囲に移動してくるようなものが挙げられる。
　なお、位置変更部２０９は、対象物４００を裏返すことが可能であることが望ましい。対象物４００を載置台２０４に載置した状態では、複数のカメラ２０２で撮影しても通常は、対象物４００の裏側の画像が得られない。これに対し、位置変更部２０９により対象物４００を裏返すことで対象物４００の裏側の画像を撮影可能となる。
　［第４実施形態］
　本実施形態の情報取得システム１０は、図５のステップＳ１０４の処理に画像記憶の適正化の処理が追加されている点が第１実施形態と相違する。以下では主として第１実施形態との相違点について説明するものとし、共通部分については説明を省略又は簡略化する。
　図１２は、本実施形態に係る制御装置１００により行われる画像の取得処理を示すフローチャートである。本処理は、図５のステップＳ１０４の処理をより詳細に示したものであり、ステップＳ１０４以外の処理については図５と同一であるため説明を省略する。
　ステップＳ１１０において、画像取得部１０３は、複数のカメラ２０２により撮影された複数の画像を取得する。ステップＳ１１１において、ＣＰＵ１５１は、ステップＳ１１０において取得された画像に含まれる対象物４００と同種の物体が含まれている画像が既に記憶部１０６に記憶されているか否かを判定する。同種の物体が含まれている画像を取得済みである場合（ステップＳ１１１においてＹＥＳ）、処理はステップＳ１１３に移行する。同種の物体が含まれている画像を取得していない場合（ステップＳ１１１においてＮＯ）、処理はステップＳ１１２に移行する。
　ステップＳ１１２において、ステップＳ１１０の処理で取得された画像は、記憶部１０６に記憶される。他方、ステップＳ１１３において、ステップＳ１１０の処理で取得された画像は破棄され、記憶部１０６には記憶されない。
　以上のように、本実施形態では、画像の取得時において記憶部１０６に既に同種の物体の画像が記憶されているか否かを判定し、判定結果に応じて異なる処理を行っている。これにより、同種の物体を含む画像が重複して別のものとして登録されてデータ容量が不必要に増大することを避けることができる。
　なお、同種の物体とは、例えば、同じ商品名の商品、同じ品種の生鮮食品（例えば、野菜、果物、鮮魚、精肉）等、小売業において、同種の商品として扱われるような物体であり得る。
　ステップＳ１１３の処理において、画像の破棄を行っているが、ステップＳ１１２の場合と区別した処理がなされていれば、この画像は、記憶部１０６に記憶されてもよい。例えば、同種の物体が既に記憶されていることを示す重複フラグを付した上で、記憶部１０６に記憶しておくというものであってもよい。この場合、学習時、評価時等に重複フラグが付された画像をスキップして学習処理、評価処理等を行うことにより、ステップ数を少なくすることができ、これらの処理の効率化が実現される。
　［第５実施形態］
　本実施形態の商品登録システム５０は、上述の第１乃至第４実施形態の情報取得システム１０により取得された画像、特徴量等の対象物情報を用いて構成された識別器を含む。商品登録システム５０は、当該識別器により商品の画像を識別して商品の識別情報を取得し、商品登録を行う。
　本実施形態に係る商品登録システム５０について、図１３乃至図１５を参照しつつ説明する。図１３は、本実施形態に係る商品登録システム５０の全体構成を示す模式図である。商品登録システム５０は、商品登録装置５００、商品撮影装置５１０及び商品登録台５２０を備える。なお、本実施形態の商品登録システム５０は、店員が操作を行うものであってもよく、顧客が単独で操作を行う、いわゆるセルフレジであってもよい。
　商品登録装置５００は、小売店において、顧客が持参した商品を登録して代金の精算のための販売額の算出等を行う装置である。商品登録装置５００は、ＰＯＳ（Point　Of　Sales）システムと連携していてもよく、ＰＯＳ装置と呼ばれることもある。
　商品撮影装置５１０は、カメラ等の画像取得機能を有する装置であり、商品登録台５２０の上面の一部又は全部である撮影領域Ａを撮影することができるように、商品登録台５２０の上方に配されている。商品登録台５２０は顧客が購入しようとする商品を載置する台である。商品の載置作業は、顧客が行ってもよく、店員が行ってもよい。また、載置される商品は、複数であってもよく、１つであってもよい。
　図１４は、本実施形態に係る商品登録装置５００の機能ブロック図である。商品登録装置５００は、商品画像取得部５０１、識別情報取得部５０２、登録部５０３及び識別情報記憶部５０４を有する。なお、商品登録装置５００のハードウェア構成は、図２に示すコンピュータのハードウェアにキャッシュドロワ、レシートプリンタ、カードリーダ等の一般的なＰＯＳ装置に備えられている金銭の精算用装置が付加されたものであるため、説明を省略する。また、各部の機能は商品登録装置５００のＣＰＵがプログラムに基づく処理を行うことにより実現される。
　識別情報取得部５０２は、例えば、図７で示した識別装置３００の機能を有する部分である。識別情報取得部５０２は、上述の第１乃至第４実施形態の情報取得システム１０により取得された画像、特徴量等の対象物情報を用いて構成された識別器を含む。
　識別情報記憶部５０４は、識別器により識別可能な商品と、その商品の識別情報とが対応付けられて記憶されている。ここで、識別情報は、例えば、商品の種別を識別するための商品ＩＤである。小売店の店舗等に設けられたＰＯＳシステムは、商品ＩＤに基づいて、商品の価格、在庫量等を特定することができる。商品画像取得部５０１及び登録部５０３の機能については後述する。
　図１５は、本実施形態に係る商品登録装置５００により行われる商品登録の処理を示すフローチャートである。図１５の処理は、顧客が購入しようとする商品が商品登録台５２０に載置されたあと、顧客又は店員が商品登録装置５００に所定の操作を行ったときに開始される。
　ステップＳ４０１において、商品画像取得部５０１は、商品撮影装置５１０を制御することにより、撮影領域Ａを撮影して商品画像を取得する。この商品画像には１つ又は複数の商品が含まれ得る。
　ステップＳ４０２において、識別情報取得部５０２は、商品画像に含まれる商品を識別し、対応する商品の識別情報を識別情報記憶部５０４から取得する。商品画像に含まれる商品が複数である場合には、複数の商品のそれぞれについて、識別情報が取得される。
　ステップＳ４０３において、登録部５０３は、ステップＳ４０２において取得された識別情報に基づいて、顧客が購入しようとする商品を特定し、登録する。商品画像に含まれる商品が複数である場合には、複数の商品がいずれも登録される。登録された商品は、例えば、商品登録システム５０に備えられたディスプレイに価格とともに表示され、顧客は、商品の購入のための精算を行うことができる。この精算の処理は、商品登録システム５０に一体に備えられていてもよく、小売店内に別途設けられた精算装置において行われるものであってもよい。
　本実施形態によれば、上述の第１乃至第４実施形態の情報取得システム１０により取得された画像、特徴量等の対象物情報を用いて構成された識別器を含む商品登録システム５０が提供される。情報取得システム１０は複数の環境条件によって撮影された複数の物体識別用画像を効率よく取得することができるため、これらの物体識別用画像を用いて構築された識別器を含む商品登録システム５０は、高精度に商品の識別を行って商品を登録することができる。
　また、本実施形態の商品登録システム５０は、複数の商品を商品登録台５２０に並べるだけで一括して商品登録を行うことができる。これにより、各商品からバーコードを読み取って商品登録する場合等と比較して、商品登録作業を短時間に行うことができる。
　上述の実施形態において説明したシステムは以下の第６実施形態のようにも構成することができる。
　［第６実施形態］
　図１６は、第６実施形態に係る情報取得システム６００の機能ブロック図である。情報取得システム６００は、撮像装置６０１、制御装置６０２を備える。制御装置６０２は、制御部６０３及び情報取得部６０４を備える。撮像装置６０１は、対象物を撮影して画像を生成するカメラを含む。制御部６０３は、複数の異なる環境条件による複数の画像が生成されるように撮像装置６０１を制御する。情報取得部６０４は、物体を識別する識別器に入力される対象物情報を取得する。対象物情報は複数の画像又は複数の画像から得られた複数の特徴量を含む。
　本実施形態によれば、複数の環境条件によって撮影された複数の物体識別用画像を効率よく取得することができる情報取得システム６００が提供される。
　［変形実施形態］
　本発明は、上述の実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において適宜変更可能である。
　上述の実施形態において、対象物４００の個数は複数であってもよい。この場合、ユーザは、複数の対象物４００を載置台２０４に載置する。撮像装置２００は複数の対象物４００を一括して撮影する。この場合、画像取得部１０３は、エッジ検出等の画像認識技術により、複数の対象物４００を分離検出することにより、対象物４００ごとに画像を分割して画像を取得してもよいが、１つの画像に複数の対象物４００が含まれた状態で画像を取得してもよい。特徴量取得部１０４は上述のいずれの状態で画像が取得された場合であっても、対象物４００ごとに特徴量の取得を行う。本例では、複数個の対象物４００を一括して撮影することにより、作業時間が短縮される。
　上述の実施形態において、撮像装置２００は、車輪２０７を備えており移動可能な構成となっているが、あくまでも据え置きを前提とした構造となっている。しかしながら、対象物４００がある場所に撮像装置２００を持参する方が好都合な場合もあり、撮像装置２００を持ち運びたいというニーズが存在する。
　そこで、撮像装置２００は、運搬用ケース内に光源２０１、カメラ２０２、フレーム２０３を収納可能な構成とし、運搬用ケースの内面又は外面が載置台２０４として機能する構成であってもよい。この構成では、運搬用ケースを開いた状態でその上方にフレーム２０３を格子状に組み立て、フレーム２０３に光源２０１及びカメラ２０２を接続することにより、撮像装置２００を組み立てることができる。これにより、図４から入力装置設置台２０５、制御装置設置台２０６及び車輪２０７を除いた構造の撮像装置２００が実現される。本例では、持ち運び可能な撮像装置２００が提供される。なお、撮像装置２００とともに用いられる制御装置１００は、運搬用ケース内に更に収納可能であってもよく、ノートＰＣ等の運搬可能なＰＣを制御装置１００として用いてもよい。
　また、上述の実施形態において、制御装置１００の画像取得部１０３又は情報取得部６０４は、一次元コードリーダ、二次元コードリーダ又はＯＣＲ（Optical　Character　Recognition）の機能を備えていてもよい。ここで、一次元コード及び二次元コードは、単にコードと呼ばれる場合もある。
　画像中の対象物４００には、文字又はコードが付されている場合がある。この文字又はコードには、例えば、商品名、商品ＩＤ等の対象物４００の種別を特定する商品識別情報が含まれている。画像取得部１０３又は情報取得部６０４は文字又はコードを取得することにより、対象物４００の対象物情報（画像又は特徴量）に対応する対象物４００を特定する情報を更に取得することができる。これにより、例えば、商品名、商品ＩＤ、画像、特徴量等の対応付けを自動で行うことができる。
　また、上述の実施形態において、画像取得の環境条件の設定は、識別装置３００の設置場所の環境に応じて設定され得る。例えば、識別装置３００が、直射日光が入ることがある明るい店舗に設置される場合には、識別装置３００の学習等に用いられる画像も同様に明るい環境で撮影されたものであることが望ましい。また、識別装置３００が、青色、緑色、黄色、赤色等の白色以外の照明が設けられている店舗に設置される場合には、識別装置３００の学習等に用いられる画像は、対応する色の照明下で撮影されたものであることが望ましい。このように、識別装置３００の設置場所の環境を考慮して画像取得の環境条件を設定することで、識別装置３００の識別精度が向上し得る。
　また、上述の実施形態において、撮像装置２００により撮影される画像は静止画であることを前提としているが、これは動画であってもよい。この場合、動画を構成するフレーム画像のうちの一部を抜き出すことにより静止画の場合と同様の処理を行われ得る。本例は、対象物４００が動物である場合、ユーザが対象物を動かしながら撮影を行う場合等、対象物４００が動いている場合に有効である。
　上述の実施形態の機能を実現するように該実施形態の構成を動作させるプログラムを記憶媒体に記録させ、記憶媒体に記録されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も各実施形態の範疇に含まれる。すなわち、コンピュータ読取可能な記憶媒体も各実施形態の範囲に含まれる。また、上述のプログラムが記録された記憶媒体だけでなく、そのプログラム自体も各実施形態に含まれる。また、上述の実施形態に含まれる１又は２以上の構成要素は、各構成要素の機能を実現するように構成されたＡＳＩＣ（Application　Specific　Integrated　Circuit）、ＦＰＧＡ（Field　Programmable　Gate　Array）等の回路であってもよい。
　該記憶媒体としては例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ（Compact　Disk）－ＲＯＭ、磁気テープ、不揮発性メモリカード、ＲＯＭを用いることができる。また該記憶媒体に記録されたプログラム単体で処理を実行しているものに限らず、他のソフトウェア、拡張ボードの機能と共同して、ＯＳ（Operating　System）上で動作して処理を実行するものも各実施形態の範疇に含まれる。
　上述の各実施形態の機能により実現されるサービスは、ＳａａＳ（Software　as　a　Service）の形態でユーザに対して提供することもできる。
　なお、上述の実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
　上述の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
　（付記１）
　対象物を撮影して画像を生成するカメラを含む撮像装置と、
　　複数の異なる環境条件による複数の画像が生成されるように前記撮像装置を制御する制御部と、
　　物体を識別する識別器に入力される対象物情報を取得する情報取得部であって、前記対象物情報は前記複数の画像又は前記複数の画像から得られた複数の特徴量を含む、情報取得部と、
　を含む制御装置と、
　を備える、情報取得システム。
　（付記２）
　前記撮像装置は、前記対象物に光を照射する光源を更に備え、
　前記制御部は、前記光の照射条件が異なる複数の画像を生成させるように前記撮像装置を制御する、
　付記１に記載の情報取得システム。
　（付記３）
　前記撮像装置は、互いに異なる位置に配された複数のカメラを備え、
　前記制御部は、前記複数のカメラのそれぞれに前記対象物を撮像させることにより、撮影位置が異なる複数の画像を生成させるように前記撮像装置を制御する、
　付記１又は２に記載の情報取得システム。
　（付記４）
　前記制御装置は、前記情報取得部により取得された前記対象物情報を前記対象物と対応付けて記憶する記憶部を更に備える、
　付記１乃至３のいずれか１項に記載の情報取得システム。
　（付記５）
　前記記憶部は、更に前記環境条件を前記対象物情報と対応付けて記憶する、
　付記４に記載の情報取得システム。
　（付記６）
　前記情報取得部は、前記対象物情報の取得時において前記記憶部に既に前記対象物と同種の物体の前記対象物情報が記憶されているか否かを判定し、判定結果に応じて異なる処理を行う、
　付記４又は５に記載の情報取得システム。
　（付記７）
　前記情報取得部は、前記複数の画像の少なくとも１つに含まれる文字又はコードに基づいて前記対象物情報に対応する前記対象物を特定する、
　ことを特徴とする付記４乃至６のいずれか１項に記載の情報取得システム。
　（付記８）
　前記制御部は、前記識別器により識別を行う識別装置の設置場所の環境に応じて前記環境条件を設定する、
　付記１乃至７のいずれか１項に記載の情報取得システム。
　（付記９）
　前記対象物情報は、前記識別器の学習データ、前記識別器における識別時の参照データ又は前記識別器の評価データとして用いられる、
　付記１乃至８のいずれか１項に記載の情報取得システム。
　（付記１０）
　前記撮像装置は、前記対象物が載置される載置台を更に備え、
　前記載置台は、背景画像を表示する表示部を備える、
　付記１乃至９のいずれか１項に記載の情報取得システム。
　（付記１１）
　前記撮像装置は、前記対象物が載置される載置台を更に備え、
　前記載置台は、少なくとも一部が透明であり、
　前記カメラは、前記載置台の透明な部分を介して前記対象物を撮影する、
　付記１乃至１０のいずれか１項に記載の情報取得システム。
　（付記１２）
　前記撮像装置は、前記対象物と前記カメラとの位置関係を変えるための位置変更部を更に備える、
　付記１乃至１１のいずれか１項に記載の情報取得システム。
　（付記１３）
　前記撮像装置は、複数の前記対象物を一括して撮影可能であり、
　前記情報取得部は、前記複数の対象物のそれぞれについて前記対象物情報を取得する、
　付記１乃至１２のいずれか１項に記載の情報取得システム。
　（付記１４）
　付記１乃至１３のいずれか１項に記載の情報取得システムにより取得された前記対象物情報が入力された前記識別器により商品の画像から商品の識別情報を取得する識別情報取得部と、
　前記識別情報に基づいて前記商品を登録する登録部と、
　を備える、商品登録装置。
　（付記１５）
　複数の異なる環境条件による複数の画像が生成されるように撮像装置を制御する制御部と、
　物体を識別する識別器に入力される対象物情報を取得する情報取得部であって、前記対象物情報は前記複数の画像又は前記複数の画像から得られた複数の特徴量を含む、情報取得部と、
　を備える、制御装置。
　（付記１６）
　複数の異なる環境条件による複数の画像が生成されるように撮像装置を制御するステップと、
　物体を識別する識別器に入力される対象物情報を取得するステップであって、前記対象物情報は前記複数の画像又は前記複数の画像から得られた複数の特徴量を含む、ステップと、
　を備える、情報取得方法。
　（付記１７）
　コンピュータに、
　複数の異なる環境条件による複数の画像が生成されるように撮像装置を制御するステップと、
　物体を識別する識別器に入力される対象物情報を取得するステップであって、前記対象物情報は前記複数の画像又は前記複数の画像から得られた複数の特徴量を含む、ステップと、
　を備える情報取得方法を実行させるためのプログラムが記憶された記憶媒体。
　この出願は、２０１８年９月２０日に出願された日本出願特願２０１８－１７６０３５を基礎とする優先権を主張し、その開示の全てをここに取り込む。
１０、６００　　　情報取得システム
５０　　　　　　　商品登録システム
１００、６０２　　制御装置
１０１　　　　　　光源制御部
１０２　　　　　　カメラ制御部
１０３　　　　　　画像取得部
１０４　　　　　　特徴量取得部
１０５　　　　　　表示情報生成部
１０６　　　　　　記憶部
１５１　　　　　　ＣＰＵ
１５２　　　　　　ＲＡＭ
１５３　　　　　　ＲＯＭ
１５４　　　　　　ＨＤＤ
１５５　　　　　　通信Ｉ／Ｆ
１５６　　　　　　表示装置
１５７　　　　　　入力装置
１５８　　　　　　バス
２００、６０１　　撮像装置
２０１　　　　　　光源
２０２　　　　　　カメラ
２０３　　　　　　フレーム
２０４　　　　　　載置台
２０５　　　　　　入力装置設置台
２０６　　　　　　制御装置設置台
２０７　　　　　　車輪
２０８　　　　　　表示部
２０９　　　　　　位置変更部
３００　　　　　　識別装置
３０１　　　　　　入力部
３０２　　　　　　第１識別部
３０３　　　　　　第２識別部
３０４　　　　　　統合部
３０５　　　　　　学習部
３０６　　　　　　モデル記憶部
３０７　　　　　　特徴量記憶部
４００　　　　　　対象物
５００　　　　　　商品登録装置
５０１　　　　　　商品画像取得部
５０２　　　　　　識別情報取得部
５０３　　　　　　登録部
５０４　　　　　　識別情報記憶部
５１０　　　　　　商品撮影装置
５２０　　　　　　商品登録台
６０３　　　　　　制御部
６０４　　　　　　情報取得部

Claims (17)

  1. 　対象物を撮影して画像を生成するカメラを含む撮像装置と、
    　　複数の異なる環境条件による複数の画像が生成されるように前記撮像装置を制御する制御部と、
    　　物体を識別する識別器に入力される対象物情報を取得する情報取得部であって、前記対象物情報は前記複数の画像又は前記複数の画像から得られた複数の特徴量を含む、情報取得部と、
    　を含む制御装置と、
    　を備える、情報取得システム。
  2. 　前記撮像装置は、前記対象物に光を照射する光源を更に備え、
    　前記制御部は、前記光の照射条件が異なる複数の画像を生成させるように前記撮像装置を制御する、
    　請求項１に記載の情報取得システム。
  3. 　前記撮像装置は、互いに異なる位置に配された複数のカメラを備え、
    　前記制御部は、前記複数のカメラのそれぞれに前記対象物を撮像させることにより、撮影位置が異なる複数の画像を生成させるように前記撮像装置を制御する、
    　請求項１又は２に記載の情報取得システム。
  4. 　前記制御装置は、前記情報取得部により取得された前記対象物情報を前記対象物と対応付けて記憶する記憶部を更に備える、
    　請求項１乃至３のいずれか１項に記載の情報取得システム。
  5. 　前記記憶部は、更に前記環境条件を前記対象物情報と対応付けて記憶する、
    　請求項４に記載の情報取得システム。
  6. 　前記情報取得部は、前記対象物情報の取得時において前記記憶部に既に前記対象物と同種の物体の前記対象物情報が記憶されているか否かを判定し、判定結果に応じて異なる処理を行う、
    　請求項４又は５に記載の情報取得システム。
  7. 　前記情報取得部は、前記複数の画像の少なくとも１つに含まれる文字又はコードに基づいて前記対象物情報に対応する前記対象物を特定する、
    　ことを特徴とする請求項４乃至６のいずれか１項に記載の情報取得システム。
  8. 　前記制御部は、前記識別器により識別を行う識別装置の設置場所の環境に応じて前記環境条件を設定する、
    　請求項１乃至７のいずれか１項に記載の情報取得システム。
  9. 　前記対象物情報は、前記識別器の学習データ、前記識別器における識別時の参照データ又は前記識別器の評価データとして用いられる、
    　請求項１乃至８のいずれか１項に記載の情報取得システム。
  10. 　前記撮像装置は、前記対象物が載置される載置台を更に備え、
    　前記載置台は、背景画像を表示する表示部を備える、
    　請求項１乃至９のいずれか１項に記載の情報取得システム。
  11. 　前記撮像装置は、前記対象物が載置される載置台を更に備え、
    　前記載置台は、少なくとも一部が透明であり、
    　前記カメラは、前記載置台の透明な部分を介して前記対象物を撮影する、
    　請求項１乃至１０のいずれか１項に記載の情報取得システム。
  12. 　前記撮像装置は、前記対象物と前記カメラとの位置関係を変えるための位置変更部を更に備える、
    　請求項１乃至１１のいずれか１項に記載の情報取得システム。
  13. 　前記撮像装置は、複数の前記対象物を一括して撮影可能であり、
    　前記情報取得部は、前記複数の対象物のそれぞれについて前記対象物情報を取得する、
    　請求項１乃至１２のいずれか１項に記載の情報取得システム。
  14. 　請求項１乃至１３のいずれか１項に記載の情報取得システムにより取得された前記対象物情報が入力された前記識別器により商品の画像から商品の識別情報を取得する識別情報取得部と、
    　前記識別情報に基づいて前記商品を登録する登録部と、
    　を備える、商品登録装置。
  15. 　複数の異なる環境条件による複数の画像が生成されるように撮像装置を制御する制御部と、
    　物体を識別する識別器に入力される対象物情報を取得する情報取得部であって、前記対象物情報は前記複数の画像又は前記複数の画像から得られた複数の特徴量を含む、情報取得部と、
    　を備える、制御装置。
  16. 　複数の異なる環境条件による複数の画像が生成されるように撮像装置を制御するステップと、
    　物体を識別する識別器に入力される対象物情報を取得するステップであって、前記対象物情報は前記複数の画像又は前記複数の画像から得られた複数の特徴量を含む、ステップと、
    　を備える、情報取得方法。
  17. 　コンピュータに、
    　複数の異なる環境条件による複数の画像が生成されるように撮像装置を制御するステップと、
    　物体を識別する識別器に入力される対象物情報を取得するステップであって、前記対象物情報は前記複数の画像又は前記複数の画像から得られた複数の特徴量を含む、ステップと、
    　を備える情報取得方法を実行させるためのプログラムが記憶された記憶媒体。
PCT/JP2019/035658 2018-09-20 2019-09-11 情報取得システム、制御装置、情報取得方法及び記憶媒体 WO2020059587A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/276,217 US11450119B2 (en) 2018-09-20 2019-09-11 Information acquisition system, control apparatus, information acquisition method, and storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-176035 2018-09-20
JP2018176035A JP6780682B2 (ja) 2018-09-20 2018-09-20 情報取得システム、制御装置及び情報取得方法

Publications (1)

Publication Number Publication Date
WO2020059587A1 true WO2020059587A1 (ja) 2020-03-26

Family

ID=69887653

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/035658 WO2020059587A1 (ja) 2018-09-20 2019-09-11 情報取得システム、制御装置、情報取得方法及び記憶媒体

Country Status (3)

Country Link
US (1) US11450119B2 (ja)
JP (1) JP6780682B2 (ja)
WO (1) WO2020059587A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6780682B2 (ja) * 2018-09-20 2020-11-04 日本電気株式会社 情報取得システム、制御装置及び情報取得方法
CN111612875A (zh) * 2020-04-23 2020-09-01 北京达佳互联信息技术有限公司 一种动态图像生成方法、装置、电子设备及存储介质
JP2022071437A (ja) * 2020-10-28 2022-05-16 オムロン株式会社 寸法情報管理装置およびこれを備えた寸法情報管理システム、寸法情報管理方法、寸法情報管理プログラム
JP7459769B2 (ja) 2020-11-25 2024-04-02 オムロン株式会社 埋設物情報管理装置およびこれを備えた埋設物情報管理システム、埋設物情報管理方法、埋設物情報管理プログラム
CN112866559B (zh) * 2020-12-30 2021-09-28 深圳追一科技有限公司 图像采集方法、装置、系统及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009134478A (ja) * 2007-11-29 2009-06-18 Toshiba Tec Corp 商品販売データ処理装置及びコンピュータプログラム
JP2013054673A (ja) * 2011-09-06 2013-03-21 Toshiba Tec Corp 情報処理装置及びプログラム
JP2014219881A (ja) * 2013-05-09 2014-11-20 東芝テック株式会社 商品認識装置及び商品認識プログラム
WO2016092646A1 (ja) * 2014-12-10 2016-06-16 株式会社ニレコ 魚種判別装置および魚種判別方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6636635B2 (en) * 1995-11-01 2003-10-21 Canon Kabushiki Kaisha Object extraction method, and image sensing apparatus using the method
US6711293B1 (en) * 1999-03-08 2004-03-23 The University Of British Columbia Method and apparatus for identifying scale invariant features in an image and use of same for locating an object in an image
JP2001174881A (ja) 1999-12-16 2001-06-29 Casio Comput Co Ltd 撮影装置、及び記憶媒体
JP2004510363A (ja) * 2000-08-31 2004-04-02 ライテック　コーポレイション センサおよびイメージングシステム
JP2004266511A (ja) 2003-02-28 2004-09-24 Sony Corp 撮像装置
US7953277B2 (en) * 2006-09-05 2011-05-31 Williams Robert C Background separated images for print and on-line use
US8224021B2 (en) * 2008-03-14 2012-07-17 Millivision Technologies, Inc. Method and system for automatic detection of a class of objects
JP2012203668A (ja) * 2011-03-25 2012-10-22 Sony Corp 情報処理装置、物体認識方法、プログラム及び端末装置
JP2013246790A (ja) 2012-05-29 2013-12-09 Toshiba Tec Corp 認識辞書作成装置及びプログラム
JP6025470B2 (ja) * 2012-09-13 2016-11-16 キヤノン株式会社 撮像装置、制御方法、プログラム及び記憶媒体
JP2017049974A (ja) * 2015-09-04 2017-03-09 キヤノン株式会社 識別器生成装置、良否判定方法、およびプログラム
US20170069075A1 (en) 2015-09-04 2017-03-09 Canon Kabushiki Kaisha Classifier generation apparatus, defective/non-defective determination method, and program
JP6780682B2 (ja) * 2018-09-20 2020-11-04 日本電気株式会社 情報取得システム、制御装置及び情報取得方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009134478A (ja) * 2007-11-29 2009-06-18 Toshiba Tec Corp 商品販売データ処理装置及びコンピュータプログラム
JP2013054673A (ja) * 2011-09-06 2013-03-21 Toshiba Tec Corp 情報処理装置及びプログラム
JP2014219881A (ja) * 2013-05-09 2014-11-20 東芝テック株式会社 商品認識装置及び商品認識プログラム
WO2016092646A1 (ja) * 2014-12-10 2016-06-16 株式会社ニレコ 魚種判別装置および魚種判別方法

Also Published As

Publication number Publication date
US11450119B2 (en) 2022-09-20
JP6780682B2 (ja) 2020-11-04
JP2020047051A (ja) 2020-03-26
US20220036042A1 (en) 2022-02-03

Similar Documents

Publication Publication Date Title
WO2020059587A1 (ja) 情報取得システム、制御装置、情報取得方法及び記憶媒体
US10540551B2 (en) Generation of two-dimensional and three-dimensional images of items for visual recognition in checkout apparatus
US10423946B2 (en) POS terminal device, commodity recognition method, and non-transitory computer readable medium storing program
US8320633B2 (en) System and method for identifying produce
JP6919982B2 (ja) 画像検査装置
CN108073845A (zh) 用于单个帧时间内的两个或更多成像条件之下所呈现的光学标记的读取器
US11265481B1 (en) Aligning and blending image data from multiple image sensors
JP2023528391A (ja) ３ｄカメラを有するバーコードリーダ
JP2016173657A (ja) オブジェクト認識装置および認識結果提示方法
US20200202091A1 (en) System and method to enhance image input for object recognition system
JP2018189559A (ja) 画像検査装置
US9235836B2 (en) Point-of-sale scanner
CN112585667A (zh) 智能平台柜台展示系统和方法
US11354885B1 (en) Image data and simulated illumination maps
JP6981775B2 (ja) 画像検査装置および画像検査方法
JP2018189558A (ja) 画像検査装置
WO2019104293A1 (en) Robotic pill filling, counting, and validation
JP2021128171A (ja) 画像検査装置
US20190070324A1 (en) Data collection device with anti-microbial illumination
JP2021009581A (ja) 情報処理装置および消灯ランプ確認プログラム
US11562561B2 (en) Object verification/recognition with limited input
CN106164988B (zh) Pos终端、信息处理设备、白平衡调节方法以及记录介质
EP3727476B1 (en) Data collection device with anti-microbial illumination
TW202113681A (zh) 用以形成用於一物件辨識系統之至少一實況資料庫之裝置及方法
US10664962B1 (en) Determining direction of illumination

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19862505

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19862505

Country of ref document: EP

Kind code of ref document: A1