WO2021130906A1 - 画像検索システム、画像検索方法及び記憶媒体 - Google Patents

画像検索システム、画像検索方法及び記憶媒体 Download PDF

Info

Publication number
WO2021130906A1
WO2021130906A1 PCT/JP2019/050862 JP2019050862W WO2021130906A1 WO 2021130906 A1 WO2021130906 A1 WO 2021130906A1 JP 2019050862 W JP2019050862 W JP 2019050862W WO 2021130906 A1 WO2021130906 A1 WO 2021130906A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
search
region
registered
interest
Prior art date
Application number
PCT/JP2019/050862
Other languages
English (en)
French (fr)
Inventor
高橋　徹
石山　塁
賢吾 牧野
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2019/050862 priority Critical patent/WO2021130906A1/ja
Priority to EP19957798.2A priority patent/EP4083814A4/en
Priority to US17/640,687 priority patent/US20220327157A1/en
Priority to JP2021566641A priority patent/JP7482153B2/ja
Publication of WO2021130906A1 publication Critical patent/WO2021130906A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30121—CRT, LCD or plasma display

Definitions

  • the present invention relates to an image search system, an image search method, and a storage medium.
  • Patent Document 1 discloses an image inspection device that facilitates the detection of defects by generating an image decomposed into components such as specular reflection and diffuse reflection from a plurality of images taken with different illuminations. Has been done.
  • An object of the present invention is to provide an image search system, an image search method, and a storage medium capable of easily confirming a state at the time of inspection of an object including a region of interest such as a defect in view of the above-mentioned problems. And.
  • the image search system includes a storage means for storing a plurality of registered images obtained by capturing a plurality of registration target objects, an acquisition means for acquiring a search image including a region of interest, and the region of interest among the search images.
  • An extraction means for extracting a feature amount from a region other than the above, and a search means for searching a registered image having a feature amount matching the feature amount extracted by the extraction means from a plurality of registered images stored in the storage means.
  • an output means that outputs a part or all of the registered image searched by the search means in a manner in which a region corresponding to the region of interest of the search image can be recognized.
  • a plurality of registered images obtained by acquiring a search image including a region of interest, extracting a feature amount from a region other than the region of interest from the search image, and imaging a plurality of objects to be registered.
  • a mode in which a registered image having a feature amount matching the extracted feature amount is searched, and a part or all of the searched registered image can be recognized as a region corresponding to the attention region of the search image. Output with.
  • the storage medium according to the present invention is stored in a storage means, an acquisition means for acquiring a search image including a region of interest, an extraction means for extracting a feature amount from a region other than the region of interest in the search image, and a storage means.
  • the present invention it is possible to easily confirm the state at the time of inspection of an object including a region of interest such as a defect.
  • FIG. 1 is a diagram showing an example of a relationship between a manufacturer, a distributor, a distributor, a customer, and an image search system 1.
  • FIG. 1 is an example showing that when products are distributed in the order of a manufacturer, a distributor, a distributor, and a customer, each of them uses an image search system.
  • the usage pattern of the image search system shown in FIG. 1 is not limited, and for example, only the manufacturer and the customer may use the image search system.
  • the manufacturer may be subdivided into a parts manufacturer and a finished product manufacturer. In that case, a distributor may be added between the parts maker and the finished product maker, and the parts are distributed as a product from the parts maker to the finished product maker.
  • FIG. 2 is a diagram showing an example of actions performed by a registrant and a searcher.
  • the registrants are finished product manufacturers, parts manufacturers, distributors, distributors, etc.
  • the registrant uploads an image of the product to the image search system 1 using the registration terminal 2.
  • Searchers are finished product manufacturers, distributors, distributors, customers, and the like.
  • the searcher accesses the image search system 1 using the search terminal 3 and performs an image search.
  • the image search system 1 outputs the search result image to the search terminal 3.
  • FIG. 3 is an example of a functional block of the image search system according to the present embodiment.
  • the image search system 1 includes a registration unit 11, a storage unit 12, an acquisition unit 13, a specific unit 14, an extraction unit 15, a search unit 16, and an output unit 17.
  • the registration terminal 2 is connected to the registration unit 11 of the image search system 1.
  • the search terminal 3 is connected to the acquisition unit 13 and the output unit 17 of the image search system 1.
  • the registration unit 11 acquires the registration image 101 obtained by capturing each of the plurality of registration target objects and the information related to the registration target object from the registration terminal 2. Then, the registration unit 11 extracts the feature amount from the image of each registration target object. Then, the registration unit 11 associates each image with the information related to the feature amount and registers the image in the storage unit 12. It is preferable that the registration unit 11 divides the registered image 101 into each partial region, extracts a feature amount from each partial region, and registers the feature amount.
  • the object to be registered is, for example, an industrial product manufactured by a manufacturer or the like.
  • the object to be registered may be tangible, and includes leather products such as bags, food products such as lunch boxes, and pharmaceutical products such as tablets.
  • the registered image 101 is an image obtained by capturing an object to be registered.
  • the registered image 101 may be an image of the entire object to be registered or a part of the image. Further, the registered image 101 may be an image of a plurality of images of the same object. For example, the registered image 101 may be a plurality of images taken for each part of the same object to be registered or for each different shooting direction. Further, the registered image 101 may be a moving image. For example, the registered image 101 may be a plurality of still images or moving images in which the same location is captured from a plurality of illumination directions.
  • the registered image 101 preferably has a resolution that allows the feature amount to be extracted.
  • Information related to the object to be registered includes, for example, registrant information (registrant's affiliation, name, etc.), registration date and time, production date, registration location, manufacturing location, quality information (inspection results, etc.), and classification in the distribution process (inspection results, etc.). Distributor, distributor, etc.), serial number, lot number, information on the imaged position of the object to be registered, information on the related registered image 101, and the like.
  • the information related to the registration target object is information that can be recognized that each image is an image of the same registration target object. It is desirable to include information on the imaged position of the object to be registered (front surface, back surface, side surface, etc.).
  • the information related to the registered target object captures the same registered target object by matching the feature amounts of the registered image 101. It is preferable to include information that can be recognized as a result.
  • FIG. 4 is an example of the registered image 101 registered by the registrant.
  • FIG. 4A is an image of the entire surface of the smartphone, which is the object to be registered.
  • FIG. 4B is an image of the entire back surface of the smartphone, which is the object to be registered.
  • the storage unit 12 stores the registered image 101 registered by the registration unit 11, the feature amount extracted from the registered image 101, and the information related to the object to be registered in association with each other.
  • the acquisition unit 13 acquires the search image 102 including the region of interest from the search terminal 3.
  • the acquisition unit 13 outputs the acquired search image 102 to the specific unit 14. Further, the acquisition unit 13 may acquire information regarding the region of interest of the search image 102.
  • the acquisition unit 13 outputs the information regarding the attention area to the specific unit 14.
  • the search image 102 is an image obtained by capturing an object to be searched.
  • the search image 102 may be an image of the entire search target object or a part of the image. Further, the search image 102 may be a plurality of images.
  • the search image 102 includes an image taken at the same location so that the lighting conditions are different, an image taken at an illumination angle that makes it easy to recognize the region of interest, and an image taken at an illumination angle that makes it easy to extract feature quantities. It may be.
  • the search image 102 may be a moving image.
  • the search image 102 may be a moving image in which the same location is captured from a plurality of illumination directions.
  • the search image 102 preferably has a resolution that allows the feature amount to be extracted.
  • the area of interest is the area of interest in the search image 102.
  • the region of interest is an region including scratches on the search image 102, which is an image of defects such as scratches on the surface of the product.
  • the region of interest is a region containing insects in the search image 102, which is an image of a lunch box containing insects.
  • the information about the area of interest is information for designating the area of interest in the search image 102.
  • the information regarding the region of interest is information in which the searcher specifies a range while looking at the search image 102 on the search terminal 3.
  • the information regarding the region of interest is information entered by the searcher by tracing the outer circumference of the region of interest of the search image 102 displayed on the touch panel on the search terminal 3.
  • FIG. 5 is an example of the search image 102 used by the searcher.
  • FIG. 5A is an image of the entire back surface of the smartphone, which is the search target object.
  • FIG. 5B is an image obtained by capturing a part of the back surface of the smartphone, which is the search target object.
  • 6 and 7 are examples of areas of interest.
  • the searcher may specify the area of interest with a quadrangle including the area of interest as shown in FIG. 6A.
  • the searcher may specify the area of interest according to the shape of the area of interest as shown in FIG. 6B.
  • 7 (a) and 7 (b) show that even if the search image 102 is an image of a part of the search target object, the region of interest is the same as in FIGS. 6 (a) and 6 (b). Indicates that it can be specified.
  • the identification unit 14 specifies the region of interest of the search image 102 acquired by the acquisition unit 13. When the acquisition unit 13 has acquired the information regarding the region of interest, the identification unit 14 identifies the region of interest based on the information regarding the region of interest. When the acquisition unit 13 has not acquired the information regarding the area of interest, the identification unit 14 specifies the area of interest based on the search image 102 acquired by the acquisition unit 13. The identification unit 14 specifies the region of interest by, for example, dividing the search image 102 into each partial region and specifying the presence or absence of defects (scratches, etc.) in each of the divided partial regions. The identification unit 14 uses, for example, a neural network in which the characteristics of the defects are learned to identify the presence or absence of defects in each partial region.
  • the specific unit 14 may, for example, train the model to learn the characteristics of the partial region without defects to create a normal model, and specify the partial region deviating from the normal model as a defect.
  • the specific unit 14 outputs the specified region of interest to the extraction unit 15.
  • the extraction unit 15 extracts the feature amount from the region other than the region of interest specified by the specific unit 14 in the search image 102.
  • the area from which the feature amount is extracted (hereinafter, referred to as the feature amount extraction area) may be an area on the surface of the target object as long as the registered image is stored in the storage unit 12. For example, when the size of each partial region divided by the specific unit 14 is sufficient for extracting the feature amount even if the region of interest is excluded, the extraction unit 15 determines that the partial region is defective by the specific unit 14. Of these, the feature amount may be extracted from a region other than the region of interest.
  • the extraction unit 15 when the size of each partial region divided by the specific unit 14 is not sufficient for extracting the feature amount except for the region of interest, the extraction unit 15 is adjacent to the partial region specified as defective by the specific unit 14. The feature amount may be extracted from the partial region. Further, when the search image 102 includes an image taken at an illumination angle that makes it easy to recognize the area of interest and an image that is taken at an illumination angle that makes it easy to extract the feature amount, the extraction unit 15 recognizes the area of interest. The same part as the region of interest in the image captured by the easy-to-use illumination angle is set as the region of interest in the image captured by the easy-to-extract illumination angle, and the feature quantity is extracted from the region other than the region of interest. The extraction unit 15 outputs the extracted feature amount to the search unit 16.
  • the feature amount extracted by the extraction unit 15 is, for example, a frequency feature obtained by performing a two-dimensional discrete Fourier transform on the feature amount extraction region.
  • the feature amount is the brightness gradient of the feature amount extraction area, the binary feature amount based on the magnitude relationship of the pixels of the feature amount extraction area, and the output result of inputting the image of the feature amount extraction area into the pre-learned neural network. And so on.
  • FIG. 8 is an example of the feature amount extraction region.
  • the region excluding the region surrounded by the dotted line, which is the region of interest is the feature amount extraction region.
  • the extraction unit 15 may extract the feature amount from a region other than the region of interest among the regions surrounded by the alternate long and short dash line including the region of interest.
  • the region surrounded by the alternate long and short dash line is the feature extraction region.
  • the feature amount extraction region is preferably a region adjacent to the top, bottom, left, and right.
  • the extraction unit 15 may extract the feature amount from the region surrounded by the alternate long and short dash line adjacent to the region of interest. It should be noted that the feature amount extraction region does not have to be adjacent to the region of interest as long as the positional relationship with the region of interest is known.
  • FIG. 9 shows that even if the search image 102 is an image of a part of the search target object, the feature amount extraction region can be defined in the same manner as in FIG.
  • the search unit 16 searches the storage unit 12 for a registered image 101 having a feature amount that matches the feature amount extracted by the extraction unit 15. For example, when the registered image 101 and the feature amount extracted from the registered image 101 are associated with each other and stored in the storage unit 12, the search unit 16 together with the feature amount extracted from the storage unit 12 by the extraction unit 15. Search for registered images associated with matching features.
  • the search unit 16 outputs the search result to the output unit 17.
  • the output unit 17 outputs a part or all of the registered image 101 searched by the search unit 16 to the search terminal 3 in a manner in which the area corresponding to the area of interest of the search image 102 can be recognized.
  • the output unit 17 may superimpose and output an image in which the region corresponding to the region of interest of the search image 102 can be recognized.
  • the output registered image 101 may be an image partially cut out from the registered image 101 obtained by capturing the entire target object as long as it includes a region corresponding to the region of interest of the search image 102, and is one of the target objects. It may be the registered image 101 which imaged the part.
  • the output unit 17 may superimpose and output an image capable of recognizing the feature amount extraction region of the search image 102.
  • the output registered image 101 may be an image partially cut out from the registered image 101 in which the entire target object is imaged, as long as the region corresponding to the region of interest of the search image 102 and the feature amount extraction region are included.
  • the registered image 101 may be an image of a part of the target object.
  • FIG. 12 is an example in which the output unit 17 outputs an enlarged image.
  • the output unit 17 may output the registered image 101 searched by the search unit 16 and an enlarged image of a region corresponding to the region of interest of the search image 102 in the registered image 101 searched by the search unit 16.
  • the searcher can confirm in detail what kind of state the corresponding area was at the time of registration.
  • FIG. 13 is an example in which the output unit 17 outputs in a manner in which two images can be compared.
  • the output unit 17 may output a part or all of the registered image 101 including the area corresponding to the area of interest of the search image 102 and the search image 102.
  • the registered image 101 and the search image 102 in FIG. 13 may include a part or all of the target object.
  • the searcher can use the registered image corresponding to the area of interest of the search image 102.
  • the area 101 and the area of interest of the search image 102 can be compared on one screen.
  • FIG. 13 is an example of outputting the inspection result which is the information associated with the registered image 101.
  • the output unit 17 may further output the information associated with the registered image 101 searched by the search unit 16. As a result, the searcher can confirm the information related to the registered image 101.
  • FIG. 14 is an example in which the output unit 17 outputs an image registered at each distribution timing of the product.
  • the output unit 17 associates the registered image 101 with a part or all of the plurality of registered images 101.
  • the obtained information may be further output.
  • the distribution timing is not limited to the example shown in FIG.
  • the searcher confirms the state of the attention area of the target article at each distribution timing. be able to. Further, the searcher can confirm at which timing of each distribution timing the defect occurred. In addition, the searcher can investigate the cause and cause of the defect when the product is registered at each distribution timing.
  • FIG. 15 is an example of the display form of the attention area and the feature amount extraction area.
  • the attention area and the feature amount extraction area superimposed and displayed on the registered image 101 and the search image 102 are, for example, the embodiments shown in FIGS. 15 (a), 15 (b), 15 (c) and 15 (d). It may be recognized by.
  • the display form of the attention area and the feature amount extraction area may be a dotted line, a long-dotted chain line, or a solid line, and is not limited to the display form of FIG. Further, the area of interest and the area for extracting the feature amount may be displayed in different colors.
  • FIG. 16 is an example of a flowchart at the time of registration.
  • the registration unit 11 acquires the registration image 101 obtained by capturing each of the plurality of registration target objects and the information related to the registration target object from the registration terminal 2 (step S102).
  • the registration unit 11 extracts the feature amount from the registered image 101 of each registration target object (step S104).
  • the registration unit 11 associates each registered image 101 with the information related to the feature amount and registers it in the storage unit 12 (step S106).
  • FIG. 17 is an example of a flowchart at the time of search.
  • the acquisition unit 13 acquires the search image 102 including the region of interest from the search terminal 3 (step S202).
  • the specifying unit 14 specifies the region of interest of the search image 102 (step S204).
  • the extraction unit 15 extracts the feature amount from the region other than the region of interest in the search image 102 (step S206).
  • the search unit 16 searches for the registered image 101 having a feature amount that matches the extracted feature amount (step S208).
  • the output unit 17 outputs a part or all of the registered image 101 to the search terminal 3 in a manner in which the area corresponding to the area of interest of the search image 102 can be recognized (step S210).
  • the image retrieval system 1 makes it possible to easily confirm the state at the time of inspection of an object including a region of interest such as a defect.
  • the registrant can prove that the defect did not exist at the time of registration when the searcher searched for the target object including the defect by registering the image of the target object.
  • the searcher can preferably confirm the area of the registered image corresponding to the area of interest. Further, the searcher can confirm the information related to the target object.
  • the image search system 1 can prove that there are no scratches or dents on the surface of the product at the time of shipment, for example, when the manufacturer performs a visual inspection at the time of shipment. Therefore, even if the product is damaged by an intermediary distributor, retailer, etc. in the process until the product arrives at the consumer, there is no defect at the time of shipment. You can prove that. Further, the image search system 1 is a case where a malicious person digitally processes an image of the appearance of a product to make the product appear to be defective and cause reputational damage to the manufacturer. However, it can be proved that the defect did not exist.
  • the object to be registered in the first embodiment has been described for industrial products, the object to be registered may be a part or all of infrastructure such as a road or a tunnel.
  • the image search system 1 makes it possible to easily perform an image search in order to know the difference from the previous registration. For example, when an accident occurs on an inspected road, the image search system 1 can display proof that the previous inspection was performed at the location where the accident occurred and the state (image) at the time of the inspection.
  • FIG. 18 is an example of a functional block of the image search system in the modified example of the first embodiment.
  • Each functional block of FIG. 18 is the same as each functional block of FIG. 3, but differs from the first embodiment in that the storage unit 12 and the extraction unit 15 are connected.
  • the storage unit 12 stores the registered image 101, the feature amount of the registered image 101, and the information related to the object to be registered in association with each other, whereas in the modified example, it is stored.
  • the storage unit 12 is different from the first embodiment in that the feature amount of the registered image 101 is not stored.
  • the extraction unit 15 in the modified example extracts the feature amount from the registered image 101 stored in the storage unit 12. Then, the extraction unit 15 associates the extracted feature amount with the registered image 101.
  • the search unit 16 in the modified example searches for the registered image 101 associated with the feature amount matching the feature amount of the search image 102 from the feature amount of the registered image 101 extracted by the extraction unit 15.
  • FIG. 19 is an example of a functional block of the image search system according to the present embodiment.
  • the image search system 1A includes a storage unit 12A, an acquisition unit 13A, an extraction unit 15A, a search unit 16A, and an output unit 17A.
  • the storage unit 12A, the acquisition unit 13A, the extraction unit 15A, the search unit 16A, and the output unit 17A may be configured in the same manner as the storage unit 12, the acquisition unit 13, the extraction unit 15, the search unit 16, and the output unit 17, respectively. You can, but you are not limited to it.
  • the acquisition unit 13A acquires the search image 102 including the region of interest and outputs it to the extraction unit 15A.
  • the extraction unit 15A extracts a feature amount from a region other than the region of interest in the search image 102 and outputs the feature amount to the search unit 16A.
  • the search unit 16A searches for the registered image 101 having a feature amount that matches the extracted feature amount, and outputs the search result to the output unit 17A.
  • the output unit 17A outputs a part or all of the registered image 101 in such a manner that the region corresponding to the region of interest of the search image 102 can be recognized.
  • the image search system 1A makes it possible to confirm what happened when the region of interest of the target object was registered in advance.
  • Each functional component of the image retrieval system in the first embodiment and the second embodiment may be realized by hardware (eg, a hard-wired electronic circuit or the like) that realizes each functional component. It may be realized by a combination of hardware and software (eg, a combination of an electronic circuit and a program that controls it).
  • hardware e.g, a hard-wired electronic circuit or the like
  • software e.g, a combination of an electronic circuit and a program that controls it.
  • FIG. 20 is a diagram illustrating a computer 1000, a network 1300, a registration terminal 2, and a search terminal 3 for realizing the image search system according to the first embodiment and the second embodiment.
  • the computer 1000 is an arbitrary computer.
  • the computer 1000 is a personal computer (PC), a server machine, a tablet terminal, a smartphone, or the like.
  • the computer 1000 may be a dedicated computer designed to realize the image retrieval system in the first embodiment and the second embodiment, or may be a general-purpose computer.
  • the computer 1000 has a bus 1020, a processor 1040, a memory 1060, a storage device 1080, an input / output interface (I / F) 1100, and a network interface (I / F) 1120.
  • the bus 1020 is a data transmission line for the processor 1040, the memory 1060, the storage device 1080, the input / output interface 1100, and the network interface 1120 to transmit and receive data to and from each other.
  • the method of connecting the processors 1040 and the like to each other is not limited to the bus connection.
  • the processor 1040 is various processors such as a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), or an FPGA (Field-Programmable Gate Array).
  • the memory 1060 is a main storage device realized by using a RAM (Random Access Memory) or the like.
  • the storage device 1080 is an auxiliary storage device realized by using a hard disk, an SSD (Solid State Drive), a memory card, a ROM (Read Only Memory), or the like.
  • the input / output interface 1100 is an interface for connecting the computer 1000 and the input / output device.
  • an input device such as a keyboard and an output device such as a display device are connected to the input / output interface 1100.
  • the network interface 1120 is an interface for connecting the computer 1000 to the network 1300.
  • This network is, for example, LAN (Local Area Network) or WAN (Wide Area Network).
  • the method of connecting the network interface 1120 to the network may be a wireless connection or a wired connection.
  • the registration terminal 2 and the search terminal 3 are connected to the network 1300, and the computer 1000 and the registration terminal 2 and the search terminal 3 can communicate data via the network 1300.
  • the storage device 1080 stores a program module that realizes each means of the image search system in the first embodiment and the second embodiment.
  • the processor 1040 realizes the function corresponding to each program module by reading each of these program modules into the memory 1060 and executing the program module.
  • some functions of the image search system in the first embodiment and the second embodiment may be executed on the registration terminal 2 and the search terminal 3 side. That is, a processor, a storage device, and a memory are stored inside the registration terminal 2 and the search terminal 3, and all or part of the processing of each means of the image search system in the first embodiment and the second embodiment. May be executed using these components.
  • the processing of the registration unit 11 may be executed on the registration terminal 2 side, and the other processing may be executed on the computer 1000 side.
  • the processing of the acquisition unit 13, the specific unit 14, and the extraction unit 15 is executed on the search terminal 3 side, and the search unit 16 and the output unit 17 are executed on the computer 1000 side. May be good.
  • the search terminal 3 may be provided with a touch panel display like a smartphone or the like, and may be connected to both the acquisition unit 13 and the output unit 17. Further, the search terminal 3 is like a personal computer (PC) and a display, and even if the hardware connected to the acquisition unit 13 and the hardware connected to the output unit 17 are separate. I do not care.
  • PC personal computer
  • the image search system of the present invention makes it possible to easily perform an image search in order to know the difference from the previous registration even when detecting cracks in infrastructure such as roads and tunnels.
  • Appendix 1 A storage means for storing a plurality of registered images obtained by capturing a plurality of objects to be registered, and An acquisition method for acquiring a search image including a region of interest, and An extraction means for extracting a feature amount from a region other than the region of interest in the search image, A search means for searching a registered image having a feature amount matching the feature amount extracted by the extraction means from a plurality of registered images stored in the storage means, and a search means.
  • An image search system including an output means for outputting a part or all of the registered image searched by the search means in a manner in which a region corresponding to the region of interest of the search image can be recognized.
  • Appendix 2 The image according to Appendix 1, wherein the output means superimposes and outputs a part or all of the registered image searched by the search means with an image in which a region corresponding to the region of interest of the search image can be recognized.
  • Search system (Appendix 3) The output means outputs a part or all of the registered image searched by the search means by superimposing an image on which a region corresponding to the region from which the feature amount of the search image is extracted can be recognized is superimposed and output. Or the image search system according to 2. (Appendix 4) From Appendix 1, the output means outputs the registered image searched by the search means and an enlarged image of a region corresponding to the attention region of the search image in the registered image searched by the search means.
  • the image search system according to any one of 3.
  • the image search according to any one of Appendix 1 to 4 wherein the output means outputs a part or all of the registered image including a region corresponding to the region of interest of the search image and the search image. system.
  • the storage means stores information associated with each of the plurality of registered images, and stores the information associated with the plurality of registered images.
  • the storage means stores registered images captured at a plurality of different timings in the distribution process of the object to be registered.
  • the search means searches the plurality of registered images stored in the storage means for the registered images at each of the plurality of timings having the feature amount matching the feature amount extracted by the extraction means.
  • the output means outputs a part or all of the registered images for each of the plurality of timings searched by the search means in a manner in which a region corresponding to the region of interest of the search image can be recognized.
  • the image search system according to any one of the above. (Appendix 8)
  • the search image is further provided with a specific means for identifying a region of interest of the search image.
  • the image search system according to any one of Appendix 1 to 7.
  • Appendix 9 The specific means is described in Appendix 8 for identifying the area of interest by dividing the search image acquired by the acquisition means into each subregion and determining the presence or absence of defects in each of the divided subregions.
  • Image search system. The acquisition means further acquires information that specifies the region of interest.
  • Appendix 11 The image search system according to any one of Supplementary note 1 to 10, wherein the extraction means extracts a feature amount from a region other than the region of interest in a predetermined region including the region of interest.
  • Appendix 14 The image search method according to Appendix 13, wherein a part or all of the searched registered image is superimposed and output as an image in which a region corresponding to the region of interest of the search image can be recognized.
  • Appendix 15 The image search method according to Appendix 13 or 14, wherein a part or all of the searched registered images is output by superimposing an image in which a region corresponding to a region in which a feature amount of the search image is extracted can be recognized.
  • Appendix 16 The image search method according to any one of Appendix 13 to 15, which outputs the searched registered image and an enlarged image of a region corresponding to the region of interest of the search image in the searched registered image.
  • the image search method according to any one of Supplementary note 13 to 16, which outputs a part or all of the registered image including a region corresponding to the region of interest of the search image and the search image.
  • the storage means stores information associated with each of the plurality of registered images, and stores the information associated with the plurality of registered images.
  • the image search method according to any one of Appendix 13 to 17, which further outputs information associated with the searched registered image.
  • the storage means stores registered images captured at a plurality of different timings in the distribution process of the object to be registered. From the plurality of registered images stored in the storage means, the registered images for each of the plurality of timings having the feature amount matching the extracted feature amount are searched for.
  • Appendix 20 An acquisition method for acquiring a search image including a region of interest, and An extraction means for extracting a feature amount from a region other than the region of interest in the search image, A search means for searching a registered image having a feature amount matching the feature amount extracted by the extraction means from a plurality of registered images obtained by capturing a plurality of registered objects stored in the storage means.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Abstract

対象物体の注目領域が事前に登録された時点ではどうなっていたのかを確認するため、本発明の画像検索システムは、複数の登録対象物体を撮像した複数の登録画像を記憶する記憶手段と、注目領域を含む検索用画像を取得する取得手段と、前記検索用画像のうち前記注目領域以外の領域から特徴量を抽出する抽出手段と、前記記憶手段に記憶されている複数の登録画像から、前記抽出手段によって抽出された特徴量と一致する特徴量を有する登録画像を検索する検索手段と、前記検索手段によって検索された前記登録画像の一部または全部を、前記検索用画像の前記注目領域に対応する領域が認識できる態様で出力する出力手段とを備える。

Description

画像検索システム、画像検索方法及び記憶媒体
　本発明は、画像検索システム、画像検索方法及び記憶媒体に関する。
　検査対象物の表面に照明部から光を照射して、反射光を撮像部で受光し、受光した光による輝度分布を解析して、検査対象物に存在する傷等を検出する画像検査装置が知られている。例えば、特許文献１には、照明を変えて撮影した複数枚の画像から、正反射や拡散反射等の成分に分解した画像を生成することで、欠陥の検出を容易にする画像検査装置が開示されている。
特開２０１８－２０５０２５号公報
　検査対象物に関して検査時に欠陥がないことを証明できたとしても、検査対象物の運搬後等に欠陥が生じてしまう場合がある。一方、特許文献１に記載の装置は、検査対象物から欠陥を検出することは記載されているが、検査対象物が運搬された先で欠陥が生じた場合に、検査時に欠陥がなかった旨を証明することについては何ら開示されていない。
　本発明の目的は、上述した課題を鑑み、欠陥等の注目領域を含む物体の検査時の状態を容易に確認することが可能な画像検索システム、画像検索方法及び記憶媒体を提供することを主とする。
　本発明による画像検索システムは、複数の登録対象物体を撮像した複数の登録画像を記憶する記憶手段と、注目領域を含む検索用画像を取得する取得手段と、前記検索用画像のうち前記注目領域以外の領域から特徴量を抽出する抽出手段と、前記記憶手段に記憶されている複数の登録画像から、前記抽出手段によって抽出された特徴量と一致する特徴量を有する登録画像を検索する検索手段と、前記検索手段によって検索された前記登録画像の一部または全部を、前記検索用画像の前記注目領域に対応する領域が認識できる態様で出力する出力手段とを備える。
　本発明による画像検索方法は、注目領域を含む検索用画像を取得し、前記検索用画像のうち前記注目領域以外の領域から特徴量を抽出し、複数の登録対象物体を撮像した複数の登録画像から、抽出された前記特徴量と一致する特徴量を有する登録画像を検索し、検索された前記登録画像の一部または全部を、前記検索用画像の前記注目領域に対応する領域が認識できる態様で出力する。
　本発明による記憶媒体は、注目領域を含む検索用画像を取得する取得手段と、前記検索用画像のうち前記注目領域以外の領域から特徴量を抽出する抽出手段と、記憶手段に記憶されている複数の登録対象物体を撮像した複数の登録画像から、前記抽出手段によって抽出された特徴量と一致する特徴量を有する登録画像を検索する検索手段と、前記検索手段によって検索された前記登録画像の一部または全部を、前記検索用画像の前記注目領域に対応する領域が認識できる態様で出力する出力手段としてコンピュータを機能させるプログラムを格納する。
　本発明によれば、欠陥等の注目領域を含む物体の検査時の状態を容易に確認することが可能となる。
本発明における、メーカー、流通業者、販売業者、顧客および画像検索システム１の関係の例を示した図である。 本発明における、登録者および検索者がする行為の例を示した図である。 第１の実施形態における画像検索システムの機能ブロックの一例である。 登録者が登録する画像の一例である。 検索者が検索に用いる画像の一例である。 注目領域の一例である。 注目領域の一例である。 特徴量抽出領域の一例である。 特徴量抽出領域の一例である。 出力部が画像を重畳して出力する一例である。 出力部が画像を重畳して出力する一例である。 出力部が拡大画像を出力する一例である。 出力部が２つの画像を比較できる態様で出力する一例である。 出力部が製品の各流通タイミングで登録された画像を出力する一例である。 注目領域および特徴量抽出領域の表示形態の一例である。 登録時のフローチャートの一例である。 検索時のフローチャートの一例である。 第１の実施形態の変形例における画像検索システムの機能ブロックの一例である。 第２の実施形態における画像検索システムの機能ブロックの一例である。 本発明の各実施形態の各部を構成するハードウエアの一例を示すブロック図である。
　以下、図面を参照しながら、画像検索システム、画像検索方法及び記憶媒体について説明する。
　＜第１の実施形態＞
　図１は、メーカー、流通業者、販売業者、顧客および画像検索システム１の関係の例を示した図である。図１は、メーカー、流通業者、販売業者、顧客の順で製品が流通している場合に、それぞれが画像検索システムを利用することを示す一例である。しかしながら、図１に示す画像検索システムの利用形態に限定されず、例えば、メーカーと顧客のみが画像検索システムを利用してもよい。また、メーカーは部品メーカーと完成品メーカーとに細分化してもよい。その際には、部品メーカーと完成品メーカーの間に流通業者が加わってもよく、部品メーカーから完成品メーカーへは部品が製品として流通する。
　図２は、登録者および検索者がする行為の例を示した図である。登録者は、完成品メーカー、部品メーカー、流通業者、販売業者等である。登録者は登録端末２を用いて、製品の画像を画像検索システム１にアップロードする。検索者は、完成品メーカー、流通業者、販売業者、顧客等である。検索者は検索端末３を用いて画像検索システム１へアクセスし、画像検索を行う。画像検索システム１は検索結果画像を検索端末３へ出力する。
　図３は、本実施形態における画像検索システムの機能ブロックの一例である。図３に示すように、画像検索システム１は、登録部１１、記憶部１２、取得部１３、特定部１４、抽出部１５、検索部１６、出力部１７を含んで構成される。登録端末２は画像検索システム１の登録部１１に接続されている。検索端末３は画像検索システム１の取得部１３と出力部１７に接続されている。
　以下、画像検索システム１を構成するそれぞれの機能ブロックについて、図３に加え、図４以降の図面を参照しながら詳しく説明する。
　登録部１１は、複数の登録対象物体をそれぞれ撮像した登録画像１０１と、登録対象物体に関連する情報とを、登録端末２から取得する。そして、登録部１１は、各登録対象物体の画像から特徴量を抽出する。そして、登録部１１は、各画像と特徴量と関連する情報とをそれぞれ関連付けて記憶部１２に登録する。なお、登録部１１は、登録画像１０１を各部分領域に分割し、各部分領域から特徴量を抽出して登録することが好ましい。
　登録対象物体は、例えば、メーカー等で製造された工業製品である。登録対象物体は、有形であればよく、バッグ等の革製品、お弁当等の食料品、錠剤等の医薬品も含む。
　登録画像１０１は、登録対象物体を撮像した画像である。登録画像１０１は、登録対象物体の全体が撮像されていても、一部が撮像されていてもよい。また、登録画像１０１は、同一対象物を複数枚撮像したものであってもよい。例えば、登録画像１０１は、同一の登録対象物体の部位毎や異なる撮影方向毎に複数枚撮像されたものであってもよい。また、登録画像１０１は動画であってもよい。例えば、登録画像１０１は、複数の照明方向から同一箇所が撮像された複数枚の静止画又は動画であってもよい。なお、登録画像１０１は、特徴量を抽出することが可能な程度の解像度であることが好ましい。
　登録対象物体に関連する情報は、例えば、登録者の情報（登録者の所属、名前等）、登録日時、生産日、登録場所、製造場所、品質情報（検査結果等）、流通工程における区分（流通業者、販売業者等）、製造番号、ロット番号、登録対象物体の撮像された位置の情報、関連する登録画像１０１の情報、等である。例えば、同一の登録対象物体に対して複数枚の画像を撮像している場合、登録対象物体に関連する情報は、各画像が同一の登録対象物体を撮像したものであることが認識できる情報を含み、登録対象物体の撮像された位置の情報（表面、裏面、側面部等）を含むことが望ましい。また、例えば、メーカーで登録済みの対象物体が販売業者等で再度登録される場合、登録対象物体に関連する情報は、登録画像１０１の特徴量が一致することによって、同一の登録対象物体を撮像したものであることが認識できる情報を含むことが好ましい。
　図４は、登録者が登録する登録画像１０１の一例である。図４（ａ）は、登録対象物体であるスマートフォンの表面の全体を撮像した画像である。図４（ｂ）は、登録対象物体であるスマートフォンの裏面の全体を撮像した画像である。
　記憶部１２は、登録部１１によって登録された登録画像１０１と、登録画像１０１から抽出された特徴量と、登録対象物体に関連する情報とを関連付けて記憶する。
　取得部１３は、注目領域を含む検索用画像１０２を検索端末３から取得する。取得部１３は、取得した検索用画像１０２を特定部１４に出力する。さらに、取得部１３は、検索用画像１０２の注目領域に関する情報を取得してもよい。取得部１３は、検索用画像１０２の注目領域に関する情報を取得した場合に、注目領域に関する情報を特定部１４に出力する。
　検索用画像１０２は、検索対象物体を撮像した画像である。検索用画像１０２は、検索対象物体の全体が撮像されていても、一部が撮像されていてもよい。また、検索用画像１０２は複数枚であってもよい。例えば、検索用画像１０２は、照明条件が異なるように同一箇所の撮影を行い、注目領域を認識しやすい照明角度によって撮影された画像と、特徴量を抽出しやすい照明角度によって撮影された画像とであってもよい。また、検索用画像１０２は、動画であってもよい。例えば、検索用画像１０２は、複数の照明方向から同一箇所が撮像された動画であってもよい。なお、検索用画像１０２は、特徴量を抽出することが可能な程度の解像度であることが好ましい。
　注目領域は、検索用画像１０２中の注目する領域である。例えば、注目領域は、製品表面の傷等の欠陥を撮像した検索用画像１０２の傷を含む領域である。また、例えば、注目領域は、虫が混入している弁当を撮像した検索用画像１０２中の虫を含む領域である。
　注目領域に関する情報は、検索用画像１０２中の注目領域を指定するための情報である。例えば、注目領域に関する情報は、検索者が検索端末３にて検索用画像１０２を見ながら範囲を指定した情報である。例えば、注目領域に関する情報は、検索端末３にてタッチパネル上に表示された検索用画像１０２の注目領域の外周を検索者がなぞって入力した情報である。
　図５は、検索者が用いる検索用画像１０２の一例である。図５（ａ）は、検索対象物体であるスマートフォンの裏面の全体を撮像した画像である。図５（ｂ）は、検索対象物体であるスマートフォンの裏面の一部を撮像した画像である。
　図６および図７は、注目領域の一例である。例えば、検索者は、図６（ａ）のように注目領域を含む四角形で注目領域を指定してもよい。例えば、検索者は、図６（ｂ）のように注目領域の形に合わせて注目領域を指定してもよい。図７（ａ）および図７（ｂ）は、検索用画像１０２が検索対象物体の一部を撮像したものであっても、注目領域を図６（ａ）および図６（ｂ）と同様に指定できることを示す。
　特定部１４は、取得部１３が取得した検索用画像１０２の注目領域を特定する。特定部１４は、取得部１３が注目領域に関する情報を取得している場合、注目領域に関する情報に基づいて注目領域を特定する。特定部１４は、取得部１３が注目領域に関する情報を取得していない場合、取得部１３が取得した検索用画像１０２に基づいて注目領域を特定する。特定部１４は、例えば、検索用画像１０２を各部分領域に分割し、分割された各部分領域に対して欠陥（傷等）の有無を特定することで、注目領域を特定する。特定部１４は、例えば、各部分領域の欠陥の有無の特定には、欠陥の特徴を学習したニューラルネットワークを用いる。また特定部１４は、例えば、欠陥のない部分領域の特徴をモデルに学習させて正常モデルを作り、正常モデルに対して逸脱する部分領域を欠陥として特定してもよい。特定部１４は、特定した注目領域を抽出部１５へ出力する。
　抽出部１５は、検索用画像１０２のうち特定部１４によって特定された注目領域以外の領域から特徴量を抽出する。特徴量が抽出された領域（以下、特徴量抽出領域と呼ぶ）は、対象物体の表面の領域のうち、登録画像が記憶部１２に記憶されている領域であればよい。例えば、抽出部１５は、特定部１４によって分割された各部分領域の大きさが注目領域を除いても特徴量の抽出に十分である場合、特定部１４によって欠陥有りと特定された部分領域のうち注目領域以外の領域から特徴量を抽出してもよい。例えば、抽出部１５は、特定部１４によって分割された各部分領域の大きさが注目領域を除くと特徴量の抽出に十分でない場合、特定部１４によって欠陥有りと特定された部分領域に隣接する部分領域から特徴量を抽出してもよい。また、抽出部１５は、検索用画像１０２が、注目領域を認識しやすい照明角度によって撮影された画像と、特徴量を抽出しやすい照明角度によって撮影された画像とを含む場合、注目領域を認識しやすい照明角度によって撮影された画像における注目領域と同一箇所を、特徴量を抽出しやすい照明角度によって撮影された画像における注目領域とし、注目領域以外の領域から特徴量を抽出する。抽出部１５は、抽出した特徴量を検索部１６に出力する。
　抽出部１５が抽出する特徴量は、例えば、特徴量抽出領域に対して２次元離散フーリエ変換を施して得た周波数特徴である。また、特徴量は、特徴量抽出領域の輝度勾配、特徴量抽出領域の画素の大小関係に基づく二値の特徴量、特徴量抽出領域の画像を事前に学習されたニューラルネットに入力した出力結果等であってもよい。
　図８は、特徴量抽出領域の一例である。図８（ａ）は、一点鎖線で囲まれた領域のうち、注目領域である点線で囲まれた領域を除いた領域が、特徴量抽出領域である。抽出部１５は、注目領域を含む一点鎖線で囲まれた領域のうち、注目領域以外の領域から特徴量を抽出してもよい。図８（ｂ）は、一点鎖線で囲まれた領域が、特徴量抽出領域である。特徴量抽出領域は、上下左右隣接する領域が好ましい。抽出部１５は、注目領域と隣接する一点鎖線で囲まれた領域から特徴量を抽出してもよい。なお、特徴量抽出領域は、注目領域との位置関係が分かればよく、注目領域と隣接していなくてもよい。
　図９は、検索用画像１０２が検索対象物体の一部を撮像したものであっても、特徴量抽出領域を図８と同様に定められることを示す。
　検索部１６は、抽出部１５によって抽出された特徴量と一致する特徴量を有する登録画像１０１を記憶部１２から検索する。例えば、検索部１６は、登録画像１０１と登録画像１０１から抽出された特徴量とが関連付けられて記憶部１２に記憶されている場合、記憶部１２から、抽出部１５によって抽出された特徴量と一致する特徴量と関連付けられた登録画像を検索する。検索部１６は、検索結果を出力部１７に出力する。
　出力部１７は、検索部１６によって検索された登録画像１０１の一部または全部を、検索用画像１０２の注目領域に対応する領域が認識できる態様で検索端末３に出力する。
　図１０（ａ）および図１０（ｂ）は、出力部１７が画像を重畳して出力する一例である。出力部１７は、検索用画像１０２の注目領域に対応する領域が認識できる画像を重畳して出力してもよい。出力される登録画像１０１は、検索用画像１０２の注目領域に対応する領域を含んでいれば、対象物体の全体を撮像した登録画像１０１から一部が切り出された画像でもよく、対象物体の一部を撮像した登録画像１０１であってもよい。検索用画像１０２の注目領域に対応する領域が認識できる画像が重畳されることによって、検索者は、検索用画像１０２において注目領域となっていた領域と対応する登録画像１０１の領域を視覚的に理解し、登録時には対応する領域がどのような状態であったのかを確かめることができる。
　図１１（ａ）および図１１（ｂ）は、出力部１７が画像を重畳して出力する一例である。出力部１７は、検索用画像１０２の特徴量抽出領域を認識できる画像を重畳して出力してもよい。出力される登録画像１０１は、検索用画像１０２の注目領域に対応する領域および特徴量抽出領域を含んでいれば、対象物体の全体を撮像した登録画像１０１から一部が切り出された画像でもよく、対象物体の一部を撮像した登録画像１０１であってもよい。検索用画像１０２の特徴量抽出領域が認識できる画像が重畳されることによって、検索者は、検索用画像１０２において特徴量抽出領域と対応する登録画像１０１の領域を視覚的に理解し、確かめることができる。
　図１２は、出力部１７が拡大画像を出力する一例である。出力部１７は、検索部１６によって検索された登録画像１０１と、検索部１６によって検索された登録画像１０１における検索用画像１０２の注目領域に対応する領域の拡大画像とを出力してもよい。これにより、検索者は、登録時には対応する領域がどのような状態であったのかを詳細に確かめることができる。
　図１３は、出力部１７が２つの画像を比較できる態様で出力する一例である。出力部１７は、検索用画像１０２の注目領域に対応する領域を含む登録画像１０１の一部または全部と検索用画像１０２とを出力してもよい。図１３における登録画像１０１および検索用画像１０２は、対象物体の一部あるいは全部を含むものであってよい。検索用画像１０２の注目領域に対応する領域を含む登録画像１０１の一部または全部と検索用画像１０２とが出力されることによって、検索者は、検索用画像１０２の注目領域に対応する登録画像１０１の領域と検索用画像１０２の注目領域とを１画面上で比較することができる。
　また、図１３は、登録画像１０１に関連付けられた情報である検査結果を出力する一例である。出力部１７は、検索部１６によって検索された登録画像１０１に関連付けられた情報をさらに出力してもよい。これにより、検索者は、登録画像１０１に関連する情報を確認することができる。
　図１４は、出力部１７が製品の各流通タイミングで登録された画像を出力する一例である。出力部１７は、検索部１６によって検索された登録画像１０１が、図１に示したメーカー、流通業者および販売業者それぞれによって登録されている場合、複数の登録画像１０１の一部または全部にそれぞれ関連付けられた情報をさらに出力してもよい。なお、各流通タイミングは図１に示した例に限定されない。複数の登録画像１０１の一部または全部にそれぞれ関連付けられた情報がさらに出力されることによって、検索者は、対象物品の注目領域が各流通タイミングでどのような状態になっていたのかを確認することができる。さらに、検索者は、各流通タイミングのどのタイミングで欠陥が発生したのかを確認することができる。また、検索者は、製品が各流通タイミングで登録されている場合、欠陥が生じた原因や要因の調査を行うことができる。
　図１５は、注目領域および特徴量抽出領域の表示形態の一例である。登録画像１０１および検索用画像１０２に重畳表示される注目領域および特徴量抽出領域は、例えば、図１５（ａ）、図１５（ｂ）、図１５（ｃ）および図１５（ｄ）に示す態様で認識されるようにしてもよい。注目領域および特徴量抽出領域の表示形態は、点線でも一点鎖線でも実線でもよく、図１５の表示形態に限定されない。また、注目領域および特徴量抽出領域が、異なる色で表示されていてもよい。
　図１６は、登録時のフローチャートの一例である。
　まず、登録部１１は、複数の登録対象物体をそれぞれ撮像した登録画像１０１と登録対象物体に関連する情報とを、登録端末２から取得する（ステップＳ１０２）。
　次に、登録部１１は、各登録対象物体の登録画像１０１から特徴量を抽出する（ステップＳ１０４）。
　そして、登録部１１は、各登録画像１０１と特徴量と関連する情報とを関連付けて、記憶部１２に登録する（ステップＳ１０６）。
　図１７は、検索時のフローチャートの一例である。
　まず、取得部１３は、注目領域を含む検索用画像１０２を検索端末３から取得する（ステップＳ２０２）。
　次に、特定部１４は、検索用画像１０２の注目領域を特定する（ステップＳ２０４）。
　次に、抽出部１５は、検索用画像１０２のうち注目領域以外の領域から特徴量を抽出する（ステップＳ２０６）。
　次に、検索部１６は、抽出された特徴量と一致する特徴量を有する登録画像１０１を検索する（ステップＳ２０８）。
　そして、出力部１７は、登録画像１０１の一部または全部を、検索用画像１０２の注目領域に対応する領域が認識できる態様で検索端末３へ出力する（ステップＳ２１０）。
　このように、第１の実施形態によれば、画像検索システム１は、欠陥等の注目領域を含む物体の検査時の状態を容易に確認することを可能とする。これにより登録者は、対象物体の画像を登録しておくことで、検索者が欠陥を含む対象物体で検索した際に、登録時には欠陥が存在しなかったことを証明することができる。また、検索者は、注目領域に対応する登録画像の領域を好適に確認することができる。さらに、検索者は、対象物体に関連する情報を確認することができる。
　さらに、第１の実施形態によれば、画像検索システム１は、例えばメーカーが出荷時に外観検査を行った場合であれば、出荷時の製造物表面に傷や凹み等がないことの証明を可能とするため、消費者に製造物が届くまでの過程において、仲介する物流業者や小売業者等によって、製造物に傷等が生じてしまった場合であっても、出荷時には欠陥が存在しなかったことを証明することができる。また、画像検索システム１は、悪意のある人物が製造物外観の画像をデジタル上で加工し、製造物に欠陥があるように見せかけ、メーカーに対して風評被害をもたらそうとする場合であっても、欠陥が存在しなかったことを証明することができる。
　なお、第１の実施形態における登録対象物体は工業製品を対象に説明したが、登録対象物体は道路やトンネル等のインフラの一部又は全部であってもよい。画像検索システム１は、道路やトンネル等のインフラのひび割れ検知を行う場合、前回登録時との差分を知るために容易に画像検索することを可能とする。例えば、画像検索システム１は、検査済み道路における事故発生時において、事故発生個所で前回検査を実施していたことの証明や、検査時の状態（画像）を表示することができる。
　＜第１の実施形態の変形例＞
　図１８は、第１の実施形態の変形例における画像検索システムの機能ブロックの一例である。図１８の各機能ブロックは、図３の各機能ブロックと同様であるが、記憶部１２と抽出部１５が接続されている点で第１の実施形態と異なる。また、第１の実施形態においては、記憶部１２が登録画像１０１と、登録画像１０１の特徴量と、登録対象物体に関連する情報とを関連付けて記憶しているのに対し、変形例においては、記憶部１２が登録画像１０１の特徴量を記憶していない点で第１の実施形態と異なる。 以下、第１の実施形態とは異なる構成のみを説明する。
　変形例における抽出部１５は、記憶部１２に記憶されている登録画像１０１から特徴量を抽出する。そして、抽出部１５は、抽出した特徴量と、登録画像１０１とを関連づける。
　変形例における検索部１６は、抽出部１５によって抽出された登録画像１０１の特徴量から、検索用画像１０２の特徴量と一致する特徴量と関連付けられた登録画像１０１を検索する。
　＜第２の実施形態＞
　図１９は、本実施形態における画像検索システムの機能ブロックの一例である。図１９に示すように、画像検索システム１Ａは、記憶部１２Ａ、取得部１３Ａ、抽出部１５Ａ、検索部１６Ａ、出力部１７Ａを含んで構成される。
　例えば、記憶部１２Ａ、取得部１３Ａ、抽出部１５Ａ、検索部１６Ａ、出力部１７Ａは、それぞれ記憶部１２、取得部１３、抽出部１５、検索部１６、出力部１７と同様に構成することができるが、それに限定されない。
　取得部１３Ａは、注目領域を含む検索用画像１０２を取得し、抽出部１５Ａに出力する。抽出部１５Ａは、検索用画像１０２のうち注目領域以外の領域から特徴量を抽出し、検索部１６Ａに出力する。検索部１６Ａは、抽出された特徴量と一致する特徴量を有する登録画像１０１を検索し、検索結果を出力部１７Ａに出力する。出力部１７Ａは、登録画像１０１の一部または全部を、検索用画像１０２の注目領域に対応する領域が認識できる態様で出力する。
　第２の実施形態によっても、画像検索システム１Ａは、対象物体の注目領域が事前に登録された時点ではどうなっていたのかを確認可能とする。
　＜ハードウエアの構成例＞
　第１の実施形態および第２の実施形態における画像検索システムのハードウエア構成について以下に説明する。第１の実施形態および第２の実施形態における画像検索システムの各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、第１の実施形態および第２の実施形態における画像検索システムの各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。
　図２０は、第１の実施形態および第２の実施形態における画像検索システムを実現するための計算機１０００、ネットワーク１３００、登録端末２、検索端末３を例示する図である。計算機１０００は任意の計算機である。例えば計算機１０００は、Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ（ＰＣ）、サーバマシン、タブレット端末、又はスマートフォンなどである。計算機１０００は、第１の実施形態および第２の実施形態における画像検索システムを実現するために設計された専用の計算機であってもよいし、汎用の計算機であってもよい。
　計算機１０００は、バス１０２０、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース（Ｉ／Ｆ）１１００、及びネットワークインタフェース（Ｉ／Ｆ）１１２０を有する。バス１０２０は、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０４０などを互いに接続する方法は、バス接続に限定されない。プロセッサ１０４０は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、又はＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ Ａｒｒａｙ）などの種々のプロセッサである。メモリ１０６０は、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）などを用いて実現される主記憶装置である。ストレージデバイス１０８０は、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）、メモリカード、又はＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）などを用いて実現される補助記憶装置である。
　入出力インタフェース１１００は、計算機１０００と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース１１００には、キーボードなどの入力装置や、ディスプレイ装置などの出力装置が接続される。
　ネットワークインタフェース１１２０は、計算機１０００をネットワーク１３００に接続するためのインタフェースである。このネットワークは、例えばＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）やＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）である。ネットワークインタフェース１１２０がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。
　さらに、ネットワーク１３００には登録端末２および検索端末３が接続されており、計算機１０００と登録端末２および検索端末３とはネットワーク１３００を介してデータを通信できるようになっている。
　ストレージデバイス１０８０は、第１の実施形態および第２の実施形態における画像検索システムの各手段を実現するプログラムモジュールを記憶している。プロセッサ１０４０は、これら各プログラムモジュールをメモリ１０６０に読み出して実行することで、各プログラムモジュールに対応する機能を実現する。
　なお、第１の実施形態および第２の実施形態における画像検索システムの一部の機能は登録端末２および検索端末３側で実行されていてもよい。すなわち、登録端末２および検索端末３の内部にプロセッサやストレージデバイス、メモリが格納されており、第１の実施形態および第２の実施形態における画像検索システムの各手段の処理の全部、あるいは一部をこれらのコンポーネントを用いて実行するようになっていてもよい。例えば、登録部１１の処理を登録端末２側で実行し、それ以外の処理を計算機１０００側で実行するようになっていてもよい。あるいは、取得部１３、特定部１４、抽出部１５の処理を検索端末３側で実行するようになっており、検索部１６および出力部１７については、計算機１０００側で実行するようになっていてもよい。
　検索端末３は、スマートフォン等のようにタッチパネルディスプレイを備え、取得部１３と出力部１７の双方と接続していてもよい。また、検索端末３は、Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ（ＰＣ）およびディスプレイのようなものであって、取得部１３と接続されているハードウエアと出力部１７と接続されているハードウエアが別々となっていても構わない。
　以上、本発明を、上述した模範的な実施の形態に適用した例として説明した。しかしながら、本発明の技術的範囲は、上述した各実施の形態に記載した範囲には限定されない。当業者には、係る実施の形態に対して多様な変更または改良を加えることが可能であることは明らかである。そのような場合、係る変更または改良を加えた新たな実施の形態も、本発明の技術的範囲に含まれ得る。そしてこのことは、請求の範囲に記載した事項から明らかである。
　＜産業上の利用可能性＞
　本発明の画像検索システムを用いることで、対象物体の注目領域が、事前に登録された時点ではどうなっていたのかを確認可能となる。よって、メーカーは、出荷前検査を行う際に対象物体を撮像している画像を登録しておくことで、後に対象物体に欠陥等が生じたとしても、メーカー出荷時には欠陥等が存在しなかったことを証明することができる。また、本発明の画像検索システムは、道路やトンネル等のインフラのひび割れ検知を行う場合であっても、前回登録時との差分を知るために容易に画像検索することを可能とする。
　（付記事項）
　なお、前述の実施形態の構成は、組み合わせる或いは一部の構成部分を入れ替えてもよい。また、本発明の構成は前述の実施形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加えてもよい。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
　複数の登録対象物体を撮像した複数の登録画像を記憶する記憶手段と、
　注目領域を含む検索用画像を取得する取得手段と、
　前記検索用画像のうち前記注目領域以外の領域から特徴量を抽出する抽出手段と、
　前記記憶手段に記憶されている複数の登録画像から、前記抽出手段によって抽出された特徴量と一致する特徴量を有する登録画像を検索する検索手段と、
　前記検索手段によって検索された前記登録画像の一部または全部を、前記検索用画像の前記注目領域に対応する領域が認識できる態様で出力する出力手段と
を備える画像検索システム。
（付記２）
　前記出力手段は、前記検索手段によって検索された前記登録画像の一部または全部を、前記検索用画像の前記注目領域に対応する領域が認識できる画像を重畳して出力する
付記１に記載の画像検索システム。
（付記３）
　前記出力手段は、前記検索手段によって検索された前記登録画像の一部または全部を、前記検索用画像の特徴量が抽出された領域に対応する領域が認識できる画像を重畳して出力する
付記１または２に記載の画像検索システム。
（付記４）
　前記出力手段は、前記検索手段によって検索された前記登録画像と、前記検索手段によって検索された前記登録画像における前記検索用画像の前記注目領域に対応する領域の拡大画像とを出力する
付記１から３のいずれか１項に記載の画像検索システム。
（付記５）
　前記出力手段は、前記検索用画像の前記注目領域に対応する領域を含む前記登録画像の一部または全部と前記検索用画像とを出力する
付記１から４のいずれか１項に記載の画像検索システム。
（付記６）
　前記記憶手段は、前記複数の登録画像にそれぞれ関連付けられた情報を記憶し、
　前記出力手段は、前記検索手段によって検索された登録画像に関連付けられた情報をさらに出力する
付記１から５のいずれか１項に記載の画像検索システム。
（付記７）
　前記記憶手段は、前記登録対象物体の流通過程において異なる複数のタイミングで撮像された登録画像を記憶し、
　前記検索手段は、前記記憶手段に記憶されている複数の登録画像から、前記抽出手段によって抽出された特徴量と一致する特徴量を有する、前記複数のタイミングごとの登録画像を検索し、
　前記出力手段は、前記検索手段によって検索された前記複数のタイミングごとの登録画像の一部または全部を、前記検索用画像の前記注目領域に対応する領域が認識できる態様で出力する
付記１から６のいずれか１項に記載の画像検索システム。
（付記８）
　前記検索用画像を用いて、前記検索用画像の注目領域を特定する特定手段をさらに備える、
付記１から７のいずれか１項に記載の画像検索システム。
（付記９）
　前記特定手段は、前記取得手段によって取得された検索用画像を各部分領域に分割し、分割された各部分領域に対して欠陥の有無を判定することで前記注目領域を特定する
付記８に記載の画像検索システム。
（付記１０）
　前記取得手段は、前記注目領域を指定する情報をさらに取得し、
　前記取得手段によって取得された前記注目領域を指定する情報に基づいて、前記検索用画像の注目領域を特定する特定手段をさらに備える
付記１から７のいずれか１項に記載の画像検索システム。
（付記１１）
　前記抽出手段は、前記注目領域を含む所定の領域のうち、前記注目領域以外の領域から特徴量を抽出する
付記１から１０のいずれか１項に記載の画像検索システム。
（付記１２）
　前記抽出手段は、前記注目領域と隣接する所定の領域から特徴量を抽出する
付記１から１０のいずれか１項に記載の画像検索システム。
（付記１３）
　注目領域を含む検索用画像を取得し、
　前記検索用画像のうち前記注目領域以外の領域から特徴量を抽出し、
　複数の登録対象物体を撮像した複数の登録画像から、抽出された前記特徴量と一致する特徴量を有する登録画像を検索し、
　検索された前記登録画像の一部または全部を、前記検索用画像の前記注目領域に対応する領域が認識できる態様で出力する
画像検索方法。
（付記１４）
　検索された前記登録画像の一部または全部を、前記検索用画像の前記注目領域に対応する領域が認識できる画像を重畳して出力する
付記１３に記載の画像検索方法。
（付記１５）
　検索された前記登録画像の一部または全部を、前記検索用画像の特徴量が抽出された領域に対応する領域が認識できる画像を重畳して出力する
付記１３または１４に記載の画像検索方法。
（付記１６）
　検索された前記登録画像と、検索された前記登録画像における前記検索用画像の前記注目領域に対応する領域の拡大画像とを出力する
付記１３から１５のいずれか１項に記載の画像検索方法。
（付記１７）
　前記検索用画像の前記注目領域に対応する領域を含む前記登録画像の一部または全部と前記検索用画像とを出力する
付記１３から１６のいずれか１項に記載の画像検索方法。
（付記１８）
　前記記憶手段は、前記複数の登録画像にそれぞれ関連付けられた情報を記憶し、
　検索された前記登録画像に関連付けられた情報をさらに出力する
付記１３から１７のいずれか１項に記載の画像検索方法。
（付記１９）
　前記記憶手段は、前記登録対象物体の流通過程において異なる複数のタイミングで撮像された登録画像を記憶し、
　前記記憶手段に記憶されている複数の登録画像から、抽出された特徴量と一致する特徴量を有する、前記複数のタイミングごとの登録画像を検索し、
　検索された前記複数のタイミングごとの登録画像の一部または全部を、前記検索用画像の前記注目領域に対応する領域が認識できる態様で出力する
付記１３から１８のいずれか１項に記載の画像検索方法。
（付記２０）
　注目領域を含む検索用画像を取得する取得手段と、
　前記検索用画像のうち前記注目領域以外の領域から特徴量を抽出する抽出手段と、
　記憶手段に記憶されている複数の登録対象物体を撮像した複数の登録画像から、前記抽出手段によって抽出された特徴量と一致する特徴量を有する登録画像を検索する検索手段と、
　前記検索手段によって検索された前記登録画像の一部または全部を、前記検索用画像の前記注目領域に対応する領域が認識できる態様で出力する出力手段
としてコンピュータを機能させるプログラムが格納された記憶媒体。
１、１Ａ　画像検索システム
２　登録端末
３　検索端末
１１　登録部
１２　記憶部
１３、１３Ａ　取得部
１４　特定部
１５、１５Ａ　抽出部
１６、１６Ａ　検索部
１７、１７Ａ　出力部
１０１　登録画像
１０２　検索用画像
１０００　計算機
１０２０　バス
１０４０　プロセッサ
１０６０　メモリ
１０８０　ストレージデバイス
１１００　入出力Ｉ／Ｆ
１１２０　ネットワークＩ／Ｆ
１３００　ネットワーク

Claims (20)

  1. 　複数の登録対象物体を撮像した複数の登録画像を記憶する記憶手段と、
    　注目領域を含む検索用画像を取得する取得手段と、
    　前記検索用画像のうち前記注目領域以外の領域から特徴量を抽出する抽出手段と、
    　前記記憶手段に記憶されている複数の登録画像から、前記抽出手段によって抽出された特徴量と一致する特徴量を有する登録画像を検索する検索手段と、
    　前記検索手段によって検索された前記登録画像の一部または全部を、前記検索用画像の前記注目領域に対応する領域が認識できる態様で出力する出力手段と
    を備える画像検索システム。
  2. 　前記出力手段は、前記検索手段によって検索された前記登録画像の一部または全部を、前記検索用画像の前記注目領域に対応する領域が認識できる画像を重畳して出力する
    請求項１に記載の画像検索システム。
  3. 　前記出力手段は、前記検索手段によって検索された前記登録画像の一部または全部を、前記検索用画像の特徴量が抽出された領域に対応する領域が認識できる画像を重畳して出力する
    請求項１または２に記載の画像検索システム。
  4. 　前記出力手段は、前記検索手段によって検索された前記登録画像と、前記検索手段によって検索された前記登録画像における前記検索用画像の前記注目領域に対応する領域の拡大画像とを出力する
    請求項１から３のいずれか１項に記載の画像検索システム。
  5. 　前記出力手段は、前記検索用画像の前記注目領域に対応する領域を含む前記登録画像の一部または全部と前記検索用画像とを出力する
    請求項１から４のいずれか１項に記載の画像検索システム。
  6. 　前記記憶手段は、前記複数の登録画像にそれぞれ関連付けられた情報を記憶し、
    　前記出力手段は、前記検索手段によって検索された登録画像に関連付けられた情報をさらに出力する
    請求項１から５のいずれか１項に記載の画像検索システム。
  7. 　前記記憶手段は、前記登録対象物体の流通過程において異なる複数のタイミングで撮像された登録画像を記憶し、
    　前記検索手段は、前記記憶手段に記憶されている複数の登録画像から、前記抽出手段によって抽出された特徴量と一致する特徴量を有する、前記複数のタイミングごとの登録画像を検索し、
    　前記出力手段は、前記検索手段によって検索された前記複数のタイミングごとの登録画像の一部または全部を、前記検索用画像の前記注目領域に対応する領域が認識できる態様で出力する
    請求項１から６のいずれか１項に記載の画像検索システム。
  8. 　前記検索用画像を用いて、前記検索用画像の注目領域を特定する特定手段をさらに備える、
    請求項１から７のいずれか１項に記載の画像検索システム。
  9. 　前記特定手段は、前記取得手段によって取得された検索用画像を各部分領域に分割し、分割された各部分領域に対して欠陥の有無を判定することで前記注目領域を特定する
    請求項８に記載の画像検索システム。
  10. 　前記取得手段は、前記注目領域を指定する情報をさらに取得し、
    　前記取得手段によって取得された前記注目領域を指定する情報に基づいて、前記検索用画像の注目領域を特定する特定手段をさらに備える
    請求項１から７のいずれか１項に記載の画像検索システム。
  11. 　前記抽出手段は、前記注目領域を含む所定の領域のうち、前記注目領域以外の領域から特徴量を抽出する
    請求項１から１０のいずれか１項に記載の画像検索システム。
  12. 　前記抽出手段は、前記注目領域と隣接する所定の領域から特徴量を抽出する
    請求項１から１０のいずれか１項に記載の画像検索システム。
  13. 　注目領域を含む検索用画像を取得し、
    　前記検索用画像のうち前記注目領域以外の領域から特徴量を抽出し、
    　複数の登録対象物体を撮像した複数の登録画像から、抽出された前記特徴量と一致する特徴量を有する登録画像を検索し、
    　検索された前記登録画像の一部または全部を、前記検索用画像の前記注目領域に対応する領域が認識できる態様で出力する
    画像検索方法。
  14. 　検索された前記登録画像の一部または全部を、前記検索用画像の前記注目領域に対応する領域が認識できる画像を重畳して出力する
    請求項１３に記載の画像検索方法。
  15. 　検索された前記登録画像の一部または全部を、前記検索用画像の特徴量が抽出された領域に対応する領域が認識できる画像を重畳して出力する
    請求項１３または１４に記載の画像検索方法。
  16. 　検索された前記登録画像と、検索された前記登録画像における前記検索用画像の前記注目領域に対応する領域の拡大画像とを出力する
    請求項１３から１５のいずれか１項に記載の画像検索方法。
  17. 　前記検索用画像の前記注目領域に対応する領域を含む前記登録画像の一部または全部と前記検索用画像とを出力する
    請求項１３から１６のいずれか１項に記載の画像検索方法。
  18. 　前記記憶手段は、前記複数の登録画像にそれぞれ関連付けられた情報を記憶し、
    　検索された前記登録画像に関連付けられた情報をさらに出力する
    請求項１３から１７のいずれか１項に記載の画像検索方法。
  19. 　前記記憶手段は、前記登録対象物体の流通過程において異なる複数のタイミングで撮像された登録画像を記憶し、
    　前記記憶手段に記憶されている複数の登録画像から、抽出された特徴量と一致する特徴量を有する、前記複数のタイミングごとの登録画像を検索し、
    　検索された前記複数のタイミングごとの登録画像の一部または全部を、前記検索用画像の前記注目領域に対応する領域が認識できる態様で出力する
    請求項１３から１８のいずれか１項に記載の画像検索方法。
  20. 　注目領域を含む検索用画像を取得する取得手段と、
    　前記検索用画像のうち前記注目領域以外の領域から特徴量を抽出する抽出手段と、
    　記憶手段に記憶されている複数の登録対象物体を撮像した複数の登録画像から、前記抽出手段によって抽出された特徴量と一致する特徴量を有する登録画像を検索する検索手段と、
    　前記検索手段によって検索された前記登録画像の一部または全部を、前記検索用画像の前記注目領域に対応する領域が認識できる態様で出力する出力手段
    としてコンピュータを機能させるプログラムが格納された記憶媒体。
PCT/JP2019/050862 2019-12-25 2019-12-25 画像検索システム、画像検索方法及び記憶媒体 WO2021130906A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/JP2019/050862 WO2021130906A1 (ja) 2019-12-25 2019-12-25 画像検索システム、画像検索方法及び記憶媒体
EP19957798.2A EP4083814A4 (en) 2019-12-25 2019-12-25 IMAGE RECOVERY SYSTEM, IMAGE RECOVERY METHOD AND RECORDING MEDIA
US17/640,687 US20220327157A1 (en) 2019-12-25 2019-12-25 Image retrieval system, image retrieval method, and storage medium
JP2021566641A JP7482153B2 (ja) 2019-12-25 2019-12-25 画像検索システム、画像検索方法及び画像検索プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/050862 WO2021130906A1 (ja) 2019-12-25 2019-12-25 画像検索システム、画像検索方法及び記憶媒体

Publications (1)

Publication Number Publication Date
WO2021130906A1 true WO2021130906A1 (ja) 2021-07-01

Family

ID=76573758

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/050862 WO2021130906A1 (ja) 2019-12-25 2019-12-25 画像検索システム、画像検索方法及び記憶媒体

Country Status (4)

Country Link
US (1) US20220327157A1 (ja)
EP (1) EP4083814A4 (ja)
JP (1) JP7482153B2 (ja)
WO (1) WO2021130906A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013018614A1 (ja) * 2011-07-29 2013-02-07 日本電気株式会社 照合・検索システム、照合・検索サーバ、画像特徴抽出装置、照合・検索方法及びプログラム
JP2013185862A (ja) * 2012-03-06 2013-09-19 Toyota Motor Corp 欠陥検査装置及び欠陥検査方法
JP2017064387A (ja) * 2015-09-30 2017-04-06 パナソニックＩｐマネジメント株式会社 制御方法及びプログラム
JP2017068838A (ja) * 2015-09-29 2017-04-06 パナソニックＩｐマネジメント株式会社 情報端末の制御方法及びプログラム
JP2018019896A (ja) * 2016-08-03 2018-02-08 株式会社ニデック 眼底撮影装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10666905B2 (en) 2012-06-22 2020-05-26 Nec Corporation Verification method, verification system, verification apparatus, and program therefor
US20150186988A1 (en) 2013-08-05 2015-07-02 Record360 Inc. System, method, and apparatus for the automatic detection of property features when documenting the condition of tangible property
DE102016208621A1 (de) 2016-05-19 2017-11-23 Continental Automotive Gmbh Verfahren zur Verifizierung von Inhalt und Aufstellort von Verkehrszeichen

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013018614A1 (ja) * 2011-07-29 2013-02-07 日本電気株式会社 照合・検索システム、照合・検索サーバ、画像特徴抽出装置、照合・検索方法及びプログラム
JP2013185862A (ja) * 2012-03-06 2013-09-19 Toyota Motor Corp 欠陥検査装置及び欠陥検査方法
JP2017068838A (ja) * 2015-09-29 2017-04-06 パナソニックＩｐマネジメント株式会社 情報端末の制御方法及びプログラム
JP2017064387A (ja) * 2015-09-30 2017-04-06 パナソニックＩｐマネジメント株式会社 制御方法及びプログラム
JP2018019896A (ja) * 2016-08-03 2018-02-08 株式会社ニデック 眼底撮影装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4083814A4 *

Also Published As

Publication number Publication date
EP4083814A1 (en) 2022-11-02
EP4083814A4 (en) 2022-12-21
JP7482153B2 (ja) 2024-05-13
JPWO2021130906A1 (ja) 2021-07-01
US20220327157A1 (en) 2022-10-13

Similar Documents

Publication Publication Date Title
JP6503569B2 (ja) 製品を認証するための画像分析
US10706633B2 (en) Augmented reality systems and methods for vehicle inspection
EP3693893A1 (en) Object identification apparatus, object identification method, and program
CN107315011A (zh) 图像处理装置、图像处理方法及存储介质
US8331678B2 (en) Systems and methods for identifying a discontinuity in the boundary of an object in an image
EA019627B1 (ru) Система и способ идентификации единицы продукции
JP2014229154A (ja) 物品識別システムとそのプログラム
JP7505866B2 (ja) 点検支援方法、点検支援システム、及び点検支援プログラム
EP3673891A1 (en) Medicine inspection support device, image processing device, image processing method, and program
US20220415012A1 (en) Image processing based methods and apparatus for planogram compliance
WO2020121866A1 (ja) リスト生成装置、被写体識別装置、リスト生成方法、及びプログラム
CN116309532A (zh) 一种目标物品质量检测的方法、装置、设备及介质
JP6628336B2 (ja) 情報処理システム
WO2014103617A1 (ja) 位置合せ装置、欠陥検査装置、位置合せ方法、及び制御プログラム
WO2021130906A1 (ja) 画像検索システム、画像検索方法及び記憶媒体
US20210295491A1 (en) System and method for automated visual inspection
EP4213091A1 (en) Physics-informed anomaly detection in formed metal parts
JPH1038542A (ja) 物体認識方法及び装置並びに記録媒体
CN106164988B (zh) Pos终端、信息处理设备、白平衡调节方法以及记录介质
JP7095574B2 (ja) 画像処理プログラム、画像処理方法、および画像処理装置
JP6180889B2 (ja) 印字検査装置
JP2020021520A (ja) 情報処理システム
JP2020149162A (ja) 情報処理装置、画像処理プログラム及び画像処理方法
JP2020003452A (ja) 検査装置、検査方法、および、検査装置用のプログラム
JP6902396B2 (ja) 画像分類機能付製造装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19957798

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021566641

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019957798

Country of ref document: EP

Effective date: 20220725