WO2019188443A1 - 情報処理装置、情報処理システム、制御方法、及びプログラム - Google Patents

情報処理装置、情報処理システム、制御方法、及びプログラム Download PDF

Info

Publication number
WO2019188443A1
WO2019188443A1 PCT/JP2019/010933 JP2019010933W WO2019188443A1 WO 2019188443 A1 WO2019188443 A1 WO 2019188443A1 JP 2019010933 W JP2019010933 W JP 2019010933W WO 2019188443 A1 WO2019188443 A1 WO 2019188443A1
Authority
WO
WIPO (PCT)
Prior art keywords
feature points
information processing
captured image
detected
reference value
Prior art date
Application number
PCT/JP2019/010933
Other languages
English (en)
French (fr)
Inventor
八栄子 米澤
明子 久保
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US17/042,557 priority Critical patent/US20210034908A1/en
Publication of WO2019188443A1 publication Critical patent/WO2019188443A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Definitions

  • the present invention relates to article management.
  • Patent Literature 1 discloses a technique for generating a histogram for a luminance signal of a captured image and evaluating contrast and exposure based on the histogram.
  • Patent Document 2 discloses a technique for generating a light / dark distribution of an image for each color component and determining an image quality defect level for each color component based on this histogram.
  • the goods include products displayed on a store shelf and product samples displayed on a vending machine.
  • Patent Literature 3 recognizes a product and a price tag from a captured image obtained by imaging the display place, so that the relationship between the product placed at the display place and the shelf label attached to the display place is correct. Discloses a technique for automatically determining the.
  • Patent Document 1 and Patent Document 2 it is not assumed that image analysis is performed on a captured image after image quality evaluation, and the image quality required for a captured image to be image-analyzed for article management. Is not mentioned.
  • Patent Document 3 does not mention the image quality of a captured image to be analyzed.
  • the present invention has been made in view of the above-mentioned problems, and one of its purposes is to provide a technique for evaluating the image quality of a captured image that is analyzed for managing articles.
  • the information processing apparatus includes: 1) a detection unit that detects a feature point from a captured image generated by imaging the display location of an article; and 2) whether the number of detected feature points satisfies a predetermined condition.
  • a determination unit that determines whether or not, and 3) an output unit that outputs a predetermined notification when the number of detected feature points does not satisfy a predetermined condition.
  • the information processing system of the present invention includes a first information processing device and a second information processing device.
  • the first information processing apparatus includes: 1) a detection unit that detects feature points from a captured image generated by imaging the display location of the article; and 2) whether or not the number of detected feature points satisfies a predetermined condition. And 3) a predetermined notification is output when the number of detected feature points does not satisfy a predetermined condition, and imaging is performed when the detected feature points do not satisfy a predetermined condition.
  • the second information processing apparatus recognizes an article included in the captured image using feature points detected from the captured image output by the first information processing apparatus.
  • the control method of the present invention is a control method executed by a computer.
  • the control method includes 1) a detection step of detecting feature points from a captured image generated by imaging the display location of the article, and 2) whether or not the number of detected feature points satisfies a predetermined condition.
  • the program of the present invention causes a computer to execute each step of the control method of the present invention.
  • FIG. 3 is a diagram conceptually illustrating an operation of the information processing system according to the first embodiment. It is a figure which illustrates the function structure of an information processing system. It is a figure which illustrates the structure of the computer which implement
  • each block diagram represents a functional unit configuration, not a hardware unit configuration.
  • FIG. 1 is a diagram conceptually illustrating the operation of the information processing system 4000 according to the first embodiment.
  • the operation of the information processing system 4000 described with reference to FIG. 1 is an example for facilitating understanding of the information processing system 4000, and does not limit the operation of the information processing system 4000. Details and variations of the operation of the information processing system 4000 will be described later.
  • the information processing system 4000 includes a first information processing device 2000 and a second information processing device 3000.
  • the first information processing apparatus 2000 is used to generate a captured image in which a display place where an article is displayed is captured.
  • a captured image 12 is generated as a result of the display place 20 being captured by the camera 10 provided in the first information processing apparatus 2000.
  • the captured image 12 includes a display place 20 and articles displayed at the display place 20.
  • the article may be a commodity displayed on a commodity shelf or a commodity sample displayed on a vending machine. In the former case, the merchandise shelf becomes the display place 20, and in the latter case, the vending machine becomes the display place 20.
  • the display place targeted by the first information processing apparatus 2000 may be a place where articles are displayed, and is not limited to one having a plurality of stages as shown in FIG. For example, in a case where products are stacked on a desk, this desk is treated as a display place.
  • the first information processing apparatus 2000 outputs the captured image 12.
  • the second information processing device 3000 performs object recognition processing on the captured image 12 output from the first information processing device 2000. Thereby, the second information processing apparatus 3000 recognizes the article displayed at the display place 20.
  • “recognition of an article” means identifying what the article is (for example, an identifier of the article).
  • the feature point is a corner, an edge, or a blob.
  • the feature point group detected from the captured image 12 represents the article. A determination is made whether or not. If there is an article registered in the database that sufficiently matches the feature point group and the feature point group detected from the captured image 12, the article is recognized from the captured image 12.
  • the article may not be recognized even if an object recognition process using feature points is performed on the captured image 12.
  • the cause of such a situation is, for example, the occurrence of blurring, blurring, overexposure, or blackout in the captured image 12.
  • the number of feature points that can be detected is reduced from an image area in which blurring or blurring has occurred compared to an image area in which blurring or blurring has not occurred. As a result, it becomes difficult to recognize the article by matching the feature points described above.
  • the captured image 12 used by the second information processing apparatus 3000 is suitable for object recognition processing so that a situation in which an article cannot be recognized from the captured image 12 does not occur. That is, the first information processing apparatus 2000 is required to output the captured image 12 suitable for the object recognition process.
  • the first information processing apparatus 2000 has a function of determining whether or not the captured image 12 is suitable for object recognition processing. Specifically, the first information processing apparatus 2000 detects feature points from the captured image 12 and determines whether or not the number of detected feature points satisfies a predetermined condition. When the number of feature points does not satisfy the predetermined condition, the first information processing apparatus 2000 outputs a predetermined notification 40.
  • the notification 40 is a notification for allowing the user of the first information processing apparatus 2000 to grasp that the captured image 12 is not an image suitable for object recognition processing. For example, the notification 40 is a notification that prompts the user to retry shooting.
  • the output destination of the notification 40 is, for example, a display device provided in the information processing apparatus 2000.
  • the first information processing apparatus 2000 when the number of feature points satisfies a predetermined condition, the first information processing apparatus 2000 outputs the captured image 12.
  • the second information processing device 3000 recognizes an article by performing object recognition processing using feature points on the captured image 12. Since the number of feature points detected from the captured image 12 satisfies a predetermined condition, compared with the case where the number of feature points detected from the captured image 12 does not satisfy the predetermined condition, the article is extracted from the captured image 12. The probability that it can be recognized increases.
  • the information processing system 4000 of the present embodiment determines whether the number of feature points detected from the captured image 12 satisfies a predetermined condition, and outputs a notification 40 when the predetermined condition is not satisfied. Thereby, when the captured image 12 is not suitable for the object recognition process, the user of the first information processing apparatus 2000 can grasp that fact.
  • the information processing system 4000 focuses on the number of feature points detected from the captured image 12. In this way, by evaluating the captured image 12 by paying attention to information directly used for recognition of the article as feature points, it is possible to determine whether the captured image 12 is suitable for recognition of the article with higher accuracy. Can be judged. That is, according to the information processing system 4000, it is possible to evaluate the image quality of the captured image 12 used for image analysis (article recognition) with high accuracy.
  • the information processing system 4000 has an advantage of increasing the efficiency of work for managing articles.
  • the second information processing apparatus 3000 recognizes the article at the timing when the camera 10 generates the display place 20, and the second information processing apparatus 3000 starts the article from the captured image 12. It is conceivable to perform the next imaging after confirming that the image has been recognized. However, in this method, the work of imaging the display place 20 is delayed until the second information processing apparatus 3000 completes the recognition of the article. For this reason, the time required for the entire work becomes longer.
  • the image quality of the captured image 12 is not checked at the time of imaging, and the plurality of captured images 12 are collectively collected later (for example, by night batch processing), and the second information processing device 3000 performs article recognition.
  • the method of thinking is also conceivable.
  • the second information processing device 3000 cannot recognize the article from the captured image 12, a rework of re-imaging the display place 20 occurs.
  • the occurrence of rework in the work is a factor that lowers work efficiency.
  • a worker such as a rounder is sent to a store to perform an operation of imaging the display place 20
  • a situation in which the rounder must be sent to the store again at a later date results in a significant reduction in work efficiency.
  • the first information processing apparatus 2000 checks and outputs the image quality of the captured image 12, and the second information processing apparatus 3000 uses the captured image 12 after the check.
  • the process performed by the first information processing apparatus 2000 is detection of feature points and check of the number thereof, and the time required for the process is shorter than the process of recognizing an article. Therefore, even if it waits for the check of the captured image 12 by the first information processing apparatus 2000 to be completed, it can be said that the influence on the operation of capturing the display place 20 is small.
  • the notification 40 is output if the number of feature points of the captured image 12 does not satisfy a predetermined condition, the user of the first information processing apparatus 2000 can recapture the display place 20 on the spot. Therefore, it is possible to prevent rework from occurring.
  • the image capturing of the display place 20 is delayed by checking the image quality of the captured image 12 in a process that is completed in a relatively short time of checking the number of feature points. While avoiding this, it is possible to prevent rework from occurring. Therefore, the efficiency of the entire article management work is increased.
  • FIG. 2 is a diagram illustrating a functional configuration of the information processing system 4000.
  • the information processing system 4000 includes a first information processing device 2000 and a second information processing device 3000.
  • the first information processing apparatus 2000 includes a detection unit 2020, a determination unit 2040, and an output unit 2060.
  • the detection unit 2020 detects feature points from the captured image 12.
  • the determination unit 2040 determines whether the detected feature point satisfies a predetermined condition.
  • the output unit 2060 outputs a notification 40 when the detected feature point does not satisfy the predetermined condition.
  • the output unit 2060 outputs the captured image 12 when the detected feature point satisfies a predetermined condition.
  • the second information processing device 3000 acquires the captured image 12 output by the first information processing device 2000. Then, the second information processing device 3000 recognizes an article included in the captured image 12 by performing an object recognition process using the feature points detected from the captured image 12.
  • Each functional component of the first information processing apparatus 2000 may be realized by hardware (for example, a hard-wired electronic circuit) that implements each functional component, or a combination of hardware and software ( (Example: combination of an electronic circuit and a program for controlling the electronic circuit).
  • hardware for example, a hard-wired electronic circuit
  • software Example: combination of an electronic circuit and a program for controlling the electronic circuit.
  • FIG. 3 is a diagram illustrating a configuration of a computer 1000 that implements the first information processing apparatus 2000.
  • the computer 1000 is a variety of computers.
  • the computer 1000 is a portable computer such as a tablet terminal, a smartphone, or a head-mounted display.
  • the computer 1000 may be a dedicated computer designed for realizing the first information processing apparatus 2000 or a general-purpose computer.
  • the computer 1000 includes a bus 1020, a processor 1040, a memory 1060, a storage device 1080, an input / output interface 1100, and a network interface 1120.
  • the bus 1020 is a data transmission path through which the processor 1040, the memory 1060, the storage device 1080, the input / output interface 1100, and the network interface 1120 transmit / receive data to / from each other.
  • the processor 1040 is a processor realized by a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), or the like.
  • the memory 1060 is a main storage device realized by RAM (Random Access Memory).
  • the storage device 1080 is an auxiliary storage device implemented by a hard disk, an SSD (Solid State Drive), a memory card, or a ROM (Read Only Memory).
  • the input / output interface 1100 is an interface for connecting the computer 1000 and an input / output device.
  • the input / output interface 1100 is connected to an input device such as a keyboard and an output device such as a display device.
  • the camera 10 is connected to the input / output interface 1100.
  • the network interface 1120 is an interface for connecting the computer 1000 to the network.
  • This communication network is, for example, “LAN (Local Area Network)” or “WAN (Wide Area Network)”.
  • a method of connecting the network interface 1120 to the network may be a wireless connection or a wired connection.
  • the storage device 1080 stores program modules that implement the functions of the first information processing apparatus 2000.
  • the processor 1040 implements each function corresponding to the program module by executing each program module.
  • the camera 10 is an arbitrary imaging device that can capture an image and generate an image representing the imaging result.
  • a camera provided integrally with the first information processing apparatus 2000 can be used as the camera 10.
  • the camera 10 may be provided separately from the first information processing apparatus 2000.
  • Each functional component of the second information processing device 3000 may be realized by hardware (eg, a hard-wired electronic circuit) that implements each functional component, or a combination of hardware and software ( (Example: combination of an electronic circuit and a program for controlling the electronic circuit).
  • hardware eg, a hard-wired electronic circuit
  • software e.g., combination of an electronic circuit and a program for controlling the electronic circuit.
  • FIG. 4 is a diagram illustrating the configuration of a computer 5000 that implements the second information processing apparatus 3000.
  • the computer 5000 is a variety of computers.
  • the computer 5000 is a personal computer (PC) or a server machine.
  • the computer 5000 may be a dedicated computer designed for realizing the second information processing apparatus 3000 or a general-purpose computer.
  • the computer 5000 includes a bus 5020, a processor 5040, a memory 5060, a storage device 5080, an input / output interface 5100, and a network interface 5120.
  • the functions of the bus 5020, processor 5040, memory 5060, storage device 5080, input / output interface 5100, and network interface 5120 are the bus 1020, processor 1040, memory 1060, storage device 1080, input / output interface 1100, and network interface 1120, respectively.
  • the function is the same as that of.
  • the storage device 5080 stores program modules for realizing each function of the second information processing apparatus 3000.
  • the processor 5040 implements each function corresponding to the program module by executing the program module.
  • FIG. 5 is a flowchart illustrating the flow of processing executed by the information processing system 4000 according to the first embodiment.
  • the detection unit 2020 acquires the captured image 12 (S102).
  • the detection unit 2020 detects feature points from the captured image 12 (S104).
  • the output unit 2060 determines whether or not the number of feature points detected from the captured image 12 satisfies a predetermined condition (S106). When the predetermined condition is not satisfied (S106: NO), the output unit 2060 outputs the notification 40 (S108). On the other hand, when the predetermined condition is satisfied (S106: YES), the output unit 2060 outputs the captured image 12 (S110).
  • the second information processing apparatus 3000 acquires the captured image 12 output by the output unit 2060 (S112).
  • the second information processing device 3000 recognizes an article included in the captured image 12 using the feature points detected from the captured image 12 (S114).
  • the detection unit 2020 acquires the captured image 12 in response to the camera 10 generating the captured image 12, whereby the series of processes described above is executed.
  • an input operation for designating the captured image 12 may be received, and a series of processing illustrated in FIG. 5 may be performed on the designated captured image 12.
  • the first information processing apparatus 2000 executes a series of processes illustrated in FIG. 5 when an input operation is received from the user.
  • the second information processing device 3000 performs the process shown in FIG. 5 on the captured image 12 in response to the captured image 12 being output by the first information processing device 2000.
  • the second information processing device 3000 may execute the above-described series of processes on one or more captured images 12 at a predetermined timing.
  • one or more captured images 12 output from the first information processing device 2000 are stored in the storage device, and the second information processing device 3000 reads the captured images 12 from the storage device. . That is, one or more captured images 12 stored in the storage device are batch-processed at a predetermined timing.
  • the detection unit 2020 acquires the captured image 12 (S102).
  • the detection unit 2020 acquires the captured image 12 from a storage device in which the captured image 12 is stored.
  • the storage device in which the captured image 12 is stored may be provided inside the detection unit 2020 or may be provided outside.
  • the detection unit 2020 acquires the captured image 12 input by an input operation by the user.
  • the detection unit 2020 acquires the captured image 12 by receiving the captured image 12 transmitted by another device.
  • the captured image 12 acquired by the detection unit 2020 may be a captured image itself generated by the camera 10 or may be a captured image generated by the camera 10 that has undergone some processing. Good. In the latter case, for example, trimming is performed on the captured image generated by the camera 10 to remove unnecessary image areas, or camera shake correction or color tone correction is performed on the captured image generated by the camera 10. Thus, the captured image 12 is generated.
  • the detection unit 2020 detects feature points from the captured image 12 (S104).
  • an existing technique can be used as a technique for detecting feature points such as edges, corners, or blobs from an image.
  • the determination unit 2040 determines whether or not the number of feature points detected from the captured image 12 satisfies a predetermined condition (S106).
  • the predetermined condition is a condition that is satisfied when the captured image 12 is suitable for use in recognition of an article.
  • the predetermined condition is a condition that “the number of feature points detected from the entire captured image 12 is greater than or equal to a reference value”.
  • the detection unit 2020 performs processing for detecting feature points for the entire captured image 12.
  • the determination unit 2040 determines whether or not the number of feature points detected from the entire captured image 12 is greater than or equal to a reference value. The predetermined condition is satisfied if the number of detected feature points is equal to or greater than the reference value, and the predetermined condition is not satisfied if the number of detected feature points is less than the reference value. Become.
  • the predetermined condition is a condition that “the number of feature points detected from the partial region included in the captured image 12 is greater than or equal to a reference value”.
  • the detection unit 2020 performs processing for detecting a feature point for a partial region in the captured image 12.
  • the determination unit 2040 determines whether or not the number of feature points detected from the partial region is equal to or greater than a reference value.
  • the partial area targeted for feature point detection may be specified by the user or may be determined in advance. Hereinafter, each case will be described.
  • the first information processing apparatus 2000 displays the captured image 12 on a display device provided in the first information processing apparatus 2000, and receives an input for designating a partial region for the captured image 12 displayed on the display apparatus. Accept.
  • the number of partial areas that can be specified may be one or more.
  • FIG. 6 is a diagram illustrating a state in which an input for designating a partial area is received.
  • the display device 30 provided in the first information processing apparatus 2000 is provided with a touch panel.
  • the user is tapping the display device 30.
  • the first information processing apparatus 2000 defines a region of a predetermined size centered on the tapped position as the partial region 14.
  • the user is dragging the display device 30.
  • the first information processing apparatus 2000 defines the entire range through which the area passes when the area of a predetermined size is moved from the start point to the end point of the drag position as the partial area 14.
  • the partial region 14 is preferably a region including an article.
  • the verification of the number of feature points is targeted for the area including the article. It is preferred that this is done.
  • the user specifies an area including the article in the input operation.
  • the user designates an area including an article by tapping the position of the article.
  • the user designates an area in which the article is included by dragging an area in which the article is displayed in the commodity shelf.
  • the detection unit 2020 detects feature points from the predetermined partial area 14.
  • Information defining the partial area 14 is stored in advance in a storage device accessible from the detection unit 2020.
  • the partial area 14 can be an arbitrary area.
  • FIG. 7 is a diagram illustrating a case where the partial areas are predetermined.
  • FIG. 8 is a diagram conceptually illustrating imaging performed while shifting the position in the horizontal direction.
  • the display place 20 that is long in the horizontal direction is imaged while the position is shifted five times in the horizontal direction. Note that the imaging ranges are partially overlapped so that there are no articles that are not imaged.
  • the first information processing apparatus 2000 accepts an input for designating an area where an article is displayed for the first captured image 12 from the user. For example, this input is the same as the input shown in the lower part of FIG.
  • the first information processing apparatus 2000 automatically sets the same area as the designated area as the partial area 14 for the captured image 12 generated thereafter.
  • Reference value for each type of article The reference values determined for the entire captured image 12 and the partial area 14 may be different depending on the type of article to be displayed. This is because an article having a more complicated shape or pattern tends to have more reference values necessary for the recognition of the article. For example, information that associates the type of article with a reference value is stored in the storage device in advance. The information processing apparatus 2000 receives an input designating the type of article displayed at the display place 20, acquires a reference value corresponding to the specified type from the storage device, and uses this reference value.
  • the reference value may be determined for the total number of feature points detected from each partial area 14, or determined for the number of feature points detected from each partial area 14. It may be done.
  • the predetermined condition is a condition that “the total number of feature points detected from each partial region 14 is greater than or equal to a reference value”.
  • the determination unit 2040 uses a value obtained by multiplying a value obtained by summing the pixels included in each partial region 14 by a unit reference value as a reference value.
  • a sufficient number of feature points are detected from other partial regions 14. If a feature point is detected, there is an advantage that a predetermined condition is satisfied. For example, as shown in the middle example of FIG. 7, when a feature point is detected from a predetermined partial area 14, there is an area (for example, a shelf of a product shelf) that does not include an article in the plurality of partial areas 14. Yes. Thus, the area
  • the determination unit 2040 may notify the notification 40 if there is at least one partial region 14 having the number of feature points less than the reference value.
  • a reference value may be provided for the number of partial regions 14 in which the number of feature points is equal to or greater than the reference value.
  • the determination unit 2040 outputs the notification 40 when the number of partial areas 14 in which the number of feature points is greater than or equal to a reference value is less than a predetermined number. That is, the predetermined condition may be “the number of feature points is equal to or greater than a reference value in a predetermined number of partial regions 14”.
  • the determination unit 2040 sets the reference value of each partial region 14 to the number of pixels included in the partial region 14 as a unit reference. The value obtained by multiplying the value.
  • a part of the captured image 12 and a captured image 12 generated next to the captured image 12 are regions where substantially the same place is captured.
  • this area is referred to as a common area. If these two captured images 12 are both appropriate images with no blurring, it is considered that the difference in the number of feature points detected from the common area is small.
  • the first information processing apparatus 2000 sets the common area described above as one of the partial areas 14. May be.
  • the common area can be set as the partial area 14 in the captured image 12 generated in the second and subsequent imaging.
  • the reference value may be set based on the number of feature points detected from the common region of the previous captured image 12.
  • ⁇ N obtained by multiplying the number of feature points ⁇ ⁇ N detected from the common area of the previous captured image 12 by a predetermined coefficient ⁇ is used as the reference value.
  • ⁇ ⁇ 1 a value smaller than the number of feature points detected from the common area of the previous captured image 12 is set as the reference value.
  • the output unit 2060 outputs the notification 40 when the number of feature points detected from the captured image 12 does not satisfy the predetermined condition (S106: NO) (S108).
  • the notification 40 is a notification for allowing the user of the first information processing apparatus 2000 to grasp that the captured image 12 is not suitable for article recognition.
  • the notification 40 is a notification that prompts the user to redo the imaging.
  • the user can grasp that imaging should be performed again (that is, generation of the captured image 12 should be performed again).
  • the user operates the first information processing apparatus 2000 and performs imaging with the camera 10 again.
  • the first information processing apparatus 2000 newly handles the captured image generated as a result as the captured image 12 and executes a series of processes.
  • FIG. 9 is a diagram illustrating a notification that prompts the user to redo the imaging.
  • a notification 40 urging re-imaging is displayed on the display device 30 provided in the first information processing apparatus 2000.
  • the first information processing apparatus 2000 switches to a state in which imaging by the camera 10 can be performed.
  • the predetermined notification is a notification that prompts the user to check whether or not the captured image 12 is appropriate.
  • FIG. 10 is a notification that prompts the user to check the captured image 12. If it is determined that there is a problem, the user restarts imaging by pressing a “camera activation” button. On the other hand, the user of the first information processing apparatus 2000 visually checks the captured image 12 and presses a “no problem” button when it is determined that there is no problem. In this case, the output unit 2060 outputs the captured image 12.
  • the form using the notification that prompts the user to check whether or not the captured image 12 is appropriate has the following advantages, for example.
  • the user confirms each partial area 14 and the captured image 12 is not problematic as described above. It can be confirmed whether or not it can be used for article recognition. Then, if the captured image 12 can be used for article recognition without any problem, re-imaging can be avoided by pressing the “no problem” button.
  • FIG. 11 is a diagram illustrating a state in which the partial region 14 in which the number of feature points is less than the reference value is highlighted.
  • the partial area 14 in which the number of feature points is less than the reference value is highlighted by the frame 50. Further, in the lower part of FIG. 11, the partial region 14 having the number of feature points less than the reference value is enlarged and displayed (reference numeral 60), thereby highlighting the partial region 14. In practice, the dotted line representing the partial region 14 may not be displayed.
  • the highlighting method is not limited to the method described above.
  • various methods such as adding marks or changing colors can be employed.
  • the output unit 2060 is a predetermined storage device that can be accessed from the second information processing device 3000 (for example, a network NAS attached to both the first information processing device 2000 and the second information processing device 3000 so as to be communicable). Storage)), the captured image 12 is stored. In addition, for example, the output unit 2060 may transmit the captured image 12 to the second information processing device 3000.
  • the second information processing device 3000 acquires the captured image 12 output by the output unit 2060 (S108). For example, when the output unit 2060 stores the captured image 12 in the storage device, the second information processing apparatus 3000 acquires the captured image 12 by reading the captured image 12 from the storage device. In addition, for example, when the first information processing apparatus 2000 transmits the captured image 12 to the second information processing apparatus 3000, the second information processing apparatus 3000 receives the captured image 12, thereby capturing the captured image 12. To get.
  • the second information processing device 3000 recognizes the article using the feature points detected from the captured image 12 (S110). Existing techniques can be used for object recognition using feature points.
  • the second information processing apparatus 3000 may use the feature points detected from the captured image 12 by the detection unit 2020 for recognition of the article.
  • the output unit 2060 outputs information representing the feature points detected from the captured image 12 in association with the captured image 12.
  • the processing for detecting the feature points from the captured image 12 is not executed repeatedly, and the processing of the entire information processing system 4000 can be made efficient.
  • the second information processing device 3000 detects the feature point at least for the remaining region.
  • the second information processing apparatus 3000 may not use the feature points detected from the captured image 12 by the detection unit 2020.
  • the second information processing device 3000 performs processing for detecting feature points from the captured image 12.
  • the algorithm used by the first information processing device 2000 for feature point detection and the algorithm used by the second information processing device 3000 for feature point detection are the same. It is preferable that If these algorithms are different, the feature points detected by the first information processing device 2000 are not detected by the second information processing device 3000, and the number of feature points in the second information processing device 3000 may be insufficient. Because there is.
  • a feature point detection algorithm used in each of the information processing apparatuses 3000 may be determined.
  • the information processing system 4000 described above includes the first information processing device 2000 and the second information processing device 3000, but the first information processing device 2000 may also serve as the second information processing device 3000.
  • the first information processing apparatus 2000 may perform processing for recognizing an article from the captured image 12.
  • the information processing system 4000 need only include the first information processing apparatus 2000, and does not need to include the second information processing apparatus 3000.
  • a detection unit for detecting a feature point from a captured image generated by imaging the display place of the article;
  • a determination unit for determining whether the number of detected feature points satisfies a predetermined condition;
  • an output unit that outputs a predetermined notification when the number of detected feature points does not satisfy a predetermined condition.
  • the predetermined condition is that the number of feature points detected from the entire captured image is greater than or equal to a reference value.
  • the detection unit detects a feature point from one or more partial regions included in the captured image;
  • the predetermined condition is: The total number of feature points detected from each of the plurality of partial areas is equal to or greater than a reference value; The number of feature points detected from each of the plurality of partial areas is all greater than or equal to a reference value, or 1.
  • the number of feature points detected in a predetermined number or more of the plurality of partial areas is all equal to or greater than a reference value.
  • the information processing apparatus described in 1. 4). Accepting input of the type of article included in the captured image,
  • the determination unit obtains a reference value of the number of feature points corresponding to the input type of article from a storage device that stores a reference value of the number of feature points in association with the type of article. 1.
  • the predetermined notification includes a notification that prompts the user to image the display place again.
  • the predetermined notification includes a display representing a partial region in which the number of detected feature points is less than a reference value.
  • the predetermined notification includes an enlarged display of a partial region in which the number of detected feature points is less than a reference value.
  • the output unit outputs the captured image when the number of detected feature points satisfies a predetermined condition, Using the feature points detected from the output captured image, recognition of an article included in the captured image is performed.
  • To 7. The information processing apparatus according to any one of the above.
  • An information processing system having a first information processing apparatus and a second information processing apparatus,
  • the first information processing apparatus A detection unit for detecting a feature point from a captured image generated by imaging the display place of the article;
  • a determination unit for determining whether the number of detected feature points satisfies a predetermined condition;
  • An output unit that outputs a predetermined notification when the number of detected feature points does not satisfy a predetermined condition, and outputs the captured image when the detected feature points do not satisfy a predetermined condition;
  • Have The information processing system, wherein the second information processing apparatus recognizes an article included in the captured image using feature points detected from the captured image output by the first information processing apparatus.
  • the predetermined condition is that the number of feature points detected from the entire captured image is equal to or greater than a reference value.
  • the detection unit detects a feature point from one or more partial regions included in the captured image;
  • the predetermined condition is: The total number of feature points detected from each of the plurality of partial areas is equal to or greater than a reference value;
  • the number of feature points detected from each of the plurality of partial areas is all greater than or equal to a reference value, or 8.
  • the number of feature points detected in a predetermined number or more of the plurality of partial areas is all equal to or greater than a reference value.
  • Information processing system described in 1. 12 Accepting input of the type of article included in the captured image,
  • the determination unit obtains a reference value of the number of feature points corresponding to the input type of article from a storage device that stores a reference value of the number of feature points in association with the type of article.
  • the predetermined notification includes a notification that prompts the user to image the display place again. To 12. The information processing system according to any one of the above. 14 8. The predetermined notification includes a display representing a partial region in which the number of detected feature points is less than a reference value. Thru 13. The information processing system according to any one of the above. 15. 13. The predetermined notification includes an enlarged display of a partial region in which the number of detected feature points is less than a reference value. Information processing system described in 1.
  • a control method executed by a computer A detection step of detecting a feature point from a captured image generated by imaging the display place of the article; A determination step of determining whether or not the number of detected feature points satisfies a predetermined condition; An output step of outputting a predetermined notification when the number of detected feature points does not satisfy a predetermined condition.
  • the predetermined condition is that the number of feature points detected from the entire captured image is equal to or greater than a reference value. The control method described in 1. 18.
  • the predetermined condition is: The total number of feature points detected from each of the plurality of partial areas is equal to or greater than a reference value; The number of feature points detected from each of the plurality of partial areas is all greater than or equal to a reference value, or 15. The number of feature points detected in a predetermined number or more of the plurality of partial areas is all equal to or greater than a reference value.
  • the predetermined notification includes a notification prompting to image the display place again. Thru 19.
  • the predetermined notification includes a display representing a partial region in which the number of detected feature points is less than a reference value; To 20.
  • the predetermined notification includes an enlarged display of a partial region in which the number of detected feature points is less than a reference value.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Multimedia (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

情報処理システム（４０００）は、第１情報処理装置（２０００）と第２情報処理装置（３０００）を有する。第１情報処理装置（２０００）は、撮像画像（１２）から特徴点を検出し、検出した特徴点の数が所定の条件を満たすか否かを判定する。そして、特徴点の数が所定の条件を満たさない場合、第１情報処理装置（２０００）は所定の通知（４０）を出力する。第２情報処理装置（３０００）は、この撮像画像（１２）について、特徴点を用いたオブジェクト認識処理を行うことにより、物品の認識を行う。

Description

情報処理装置、情報処理システム、制御方法、及びプログラム
　本発明は物品の管理に関する。
　撮像画像の画質を評価する技術が開発されている。例えば特許文献１は、撮像画像の輝度信号に対してヒストグラムを生成し、このヒストグラムに基づいて、コントラストと露出を評価する技術を開示している。その他にも例えば、特許文献２は、画像の明暗の分布を色成分ごとに生成し、このヒストグラムに基づいて、色成分ごとの画質不良レベルを判定する技術を開示している。
特開２００３－３３３３８１号公報 特開２００７－０８８５５２号公報 国際公開第２０１６／０５２３８３号
　画像解析の活用方法の一つとして、物品の管理がある。例えば物品には、店舗の商品棚に陳列されている商品や、自動販売機に陳列される商品サンプルなどがある。例えば特許文献３は、陳列場所が撮像された撮像画像から商品と値札を認識することで、陳列場所に置かれている商品と、陳列場所に付されている棚札との関係が正しいかどうかを自動的に判定する技術を開示している。
　この点、特許文献１や特許文献２では、画質評価後の撮像画像に対して画像解析を行うことは想定されておらず、物品の管理のために画像解析される撮像画像に求められる画質については言及されていない。また、特許文献３は、解析する撮像画像の画質については言及していない。
　本願発明は上記の課題に鑑みてなされたものであり、その目的の一つは、物品の管理のために解析される撮像画像の画質を評価する技術を提供することである。
　本発明の情報処理装置は、１）物品の陳列場所を撮像することで生成された撮像画像から特徴点を検出する検出部と、２）検出された特徴点の数が所定の条件を満たすか否かを判定する判定部と、３）検出された特徴点の数が所定の条件を満たさない場合、所定の通知を出力する出力部と、を有する。
　本発明の情報処理システムは、第１情報処理装置と第２情報処理装置を有する。
　第１情報処理装置は、１）物品の陳列場所を撮像することで生成された撮像画像から特徴点を検出する検出部と、２）検出された特徴点の数が所定の条件を満たすか否かを判定する判定部と、３）検出された特徴点の数が所定の条件を満たさない場合には所定の通知を出力し、検出された特徴点が所定の条件を満たさない場合には撮像画像を出力する出力部と、を有する。
　第２情報処理装置は、第１情報処理装置によって出力された撮像画像から検出される特徴点を用いて、その撮像画像に含まれる物品の認識を行う。
　本発明の制御方法は、コンピュータによって実行される制御方法である。当該制御方法は、１）物品の陳列場所を撮像することで生成された撮像画像から特徴点を検出する検出ステップと、２）検出された特徴点の数が所定の条件を満たすか否かを判定する判定ステップと、検出された特徴点の数が所定の条件を満たさない場合、所定の通知を出力する出力ステップと、を有する。
　本発明のプログラムは、本発明の制御方法が有する各ステップをコンピュータに実行させる。
　本発明によれば、物品の管理のために解析される撮像画像の画質を評価する技術が提供される。
　上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
実施形態１に係る情報処理システムの動作を概念的に例示する図である。 情報処理システムの機能構成を例示する図である。 第１情報処理装置を実現する計算機の構成を例示する図である。 第２情報処理装置を実現する計算機の構成を例示する図である。 実施形態１の情報処理システムによって実行される処理の流れを例示するフローチャートである。 部分領域を指定する入力を受け付ける様子を例示する図である。 部分領域が予め定められているケースを例示する図である。 横方向に位置をずらしながら行う撮像を概念的に例示する図である。 撮像のやり直しを促す通知を例示する図である。 撮像画像のチェックを促す通知である。 特徴点の数が基準値未満である部分領域が強調表示される様子を例示する図である。
　以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また、特に説明する場合を除き、各ブロック図において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。
　以下の説明において、特に説明しない限り、各種の基準値や所定値は、これらを利用する機能構成部からアクセス可能な記憶装置に予め記憶させておく。
［実施形態１］
＜概要＞
　図１は、実施形態１に係る情報処理システム４０００の動作を概念的に例示する図である。ここで、図１を用いて説明する情報処理システム４０００の動作は、情報処理システム４０００の理解を容易にするための例示であり、情報処理システム４０００の動作を限定するものではない。情報処理システム４０００の動作の詳細やバリエーションについては後述する。
　情報処理システム４０００は、第１情報処理装置２０００と第２情報処理装置３０００を有する。第１情報処理装置２０００は、物品が陳列されている陳列場所が撮像された撮像画像の生成に利用される。図１では、第１情報処理装置２０００に設けられているカメラ１０によって陳列場所２０が撮像された結果、撮像画像１２が生成されている。撮像画像１２には、陳列場所２０及び陳列場所２０に陳列されている物品が含まれている。例えば物品は、商品棚に陳列される商品や、自動販売機に陳列されている商品サンプルなどである。なお、前者の場合には商品棚が陳列場所２０となり、後者の場合には自動販売機が陳列場所２０となる。
　第１情報処理装置２０００が対象とする陳列場所は、物品が陳列される場所であればよく、図１に示されるような複数の段を持つものに限定されない。例えば、机に商品が平積みにされるようなケースでは、この机が陳列場所として扱われる。
　第１情報処理装置２０００は、撮像画像１２を出力する。第２情報処理装置３０００は、第１情報処理装置２０００から出力された撮像画像１２に対してオブジェクト認識処理を行う。これにより、第２情報処理装置３０００は、陳列場所２０に陳列されている物品を認識する。ここで、「物品の認識」とは、その物品が何であるか（例えば物品の識別子）を特定することを意味する。
　オブジェクト認識処理の手法の一つとして、画像から検出される特徴点を利用してオブジェクト認識を行う手法がある。例えば特徴点は、コーナー、エッジ、又はブロブなどである。例えば、データベースに予め登録されている物品の特徴点群と、撮像画像１２から検出される特徴点群とのマッチングを行うことで、撮像画像１２から検出された特徴点群がその物品を表しているかどうかの判定が行われる。そして、データベースに登録されている物品の中に、その特徴点群と撮像画像１２から検出される特徴点群とが十分にマッチするものがある場合、撮像画像１２からその物品が認識される。
　ここで、撮像画像１２に物品が含まれているにもかかわらず、撮像画像１２に対して特徴点を利用したオブジェクト認識処理を行っても、その物品を認識できないことがある。このような事態が生じる原因には、例えば、撮像画像１２においてぶれ、ボケ、白とび、又は黒つぶれなどが生じているといった原因がある。ぶれやボケが生じている画像領域からは、ぶれやボケなどが生じていない画像領域と比較し、検出できる特徴点の数が少なくなる。その結果、前述した特徴点のマッチングによる物品の認識が難しくなる。
　撮像画像１２から物品を認識できないという事態が生じないように、第２情報処理装置３０００が利用する撮像画像１２は、オブジェクト認識処理に適したものであることが好適である。すなわち、第１情報処理装置２０００には、オブジェクト認識処理に適した撮像画像１２を出力することが求められる。
　そこで第１情報処理装置２０００は、撮像画像１２がオブジェクト認識処理に適したものであるか否かを判定する機能を有する。具体的には、第１情報処理装置２０００は、撮像画像１２から特徴点を検出し、検出した特徴点の数が所定の条件を満たすか否かを判定する。そして、特徴点の数が所定の条件を満たさない場合、第１情報処理装置２０００は所定の通知４０を出力する。通知４０は、撮像画像１２がオブジェクト認識処理に適した画像でないことを第１情報処理装置２０００のユーザが把握できるようにするための通知である。例えば通知４０は、撮影のやり直しを促す通知である。通知４０の出力先は、例えば、情報処理装置２０００に設けられているディスプレイ装置である。
　一方、特徴点の数が所定の条件を満たす場合、第１情報処理装置２０００は撮像画像１２を出力する。第２情報処理装置３０００は、この撮像画像１２について、特徴点を用いたオブジェクト認識処理を行うことにより、物品の認識を行う。撮像画像１２から検出される特徴点の数が所定の条件を満たしているため、撮像画像１２から検出される特徴点の数が所定の条件を満たさない場合と比較し、撮像画像１２から物品を認識できる蓋然性が高くなる。
＜作用効果＞
　本実施形態の情報処理システム４０００は、撮像画像１２から検出される特徴点の数が所定の条件を満たしているかを判定し、所定の条件が満たされていない場合には通知４０を出力する。これにより、撮像画像１２がオブジェクト認識処理に適したものでない場合に、そのことを第１情報処理装置２０００のユーザが把握できるようになる。
　ここで、撮像画像１２の画質を評価する指標として、撮像画像１２の輝度の分布に着目したり、輝度の分布から導き出される明るさやコントラストに着目したりする方法も考えられる。これに対し、情報処理システム４０００は、撮像画像１２から検出される特徴点の数に着目している。このように、特徴点という物品の認識に直接利用される情報に着目して撮像画像１２を評価することにより、撮像画像１２が物品の認識に適したものであるか否かをより高い精度で判定できる。すなわち、情報処理システム４０００によれば、画像解析（物品の認識）に利用される撮像画像１２の画質を高い精度で評価することができる。
　また、情報処理システム４０００には、物品を管理する作業の効率を高くするという利点もある。撮像画像１２を利用して物品を管理する方法として、カメラ１０が陳列場所２０を生成したタイミングで第２情報処理装置３０００に物品認識を行わせ、第２情報処理装置３０００が撮像画像１２から物品を認識できたことを確認してから次の撮像を行うという方法が考えられる。しかしながらこの方法では、第２情報処理装置３０００が物品の認識を完了するまで陳列場所２０を撮像する作業が遅延する。そのため、作業全体に要する時間が長くなる。
　その他の方法として、撮像の際には撮像画像１２の画質をチェックせず、複数の撮像画像１２について後でまとめて（例えば、夜間のバッチ処理で）第２情報処理装置３０００による物品認識を行うという方法も考えられる。しかしながらこの方法では、第２情報処理装置３０００が撮像画像１２から物品を認識できなかった場合に、陳列場所２０の撮像をやり直すという手戻りが発生する。作業における手戻りの発生は、作業効率を下げる要因となる。特に、店舗にラウンダー等の作業員が出向して陳列場所２０を撮像する作業を行う場合、後日再度ラウンダーがその店舗に出向しなければならない事態が生じ、作業効率が大きく下がる。
　これに対し、本実施形態の情報処理システム４０００では、第１情報処理装置２０００が撮像画像１２の画質をチェックして出力し、チェック後の撮像画像１２を第２情報処理装置３０００が利用する。ここで、第１情報処理装置２０００が行う処理は特徴点の検出及びその数のチェックであり、物品を認識する処理と比較して処理に要する時間が短い。よって、第１情報処理装置２０００による撮像画像１２のチェックが完了するのを待っても、陳列場所２０の撮像を行う作業に与える影響は小さいと言える。また、撮像画像１２の特徴点の数が所定の条件を満たさなければ通知４０が出力されるため、第１情報処理装置２０００のユーザはその場で陳列場所２０の撮像をやり直すことができる。そのため、作業の手戻りが発生することを防ぐことができる。
　このように、情報処理システム４０００によれば、特徴点の数のチェックという比較的短い時間で完了する処理で撮像画像１２の画質をチェックすることにより、陳列場所２０を撮像する作業に遅延が生じることを避けつつ、作業の手戻りの発生を防ぐことができる。よって、物品の管理作業全体の効率が高くなる。
　以下、情報処理システム４０００についてより詳細に説明する。
＜機能構成の例＞
　図２は、情報処理システム４０００の機能構成を例示する図である。情報処理システム４０００は、第１情報処理装置２０００及び第２情報処理装置３０００を有する。第１情報処理装置２０００は、検出部２０２０、判定部２０４０、及び出力部２０６０を有する。検出部２０２０は、撮像画像１２から特徴点を検出する。判定部２０４０は、検出された特徴点が所定の条件を満たすか否かを判定する。出力部２０６０は、検出された特徴点が所定の条件を満たさない場合、通知４０を出力する。一方で、出力部２０６０は、検出された特徴点が所定の条件を満たす場合、撮像画像１２を出力する。
　第２情報処理装置３０００は、第１情報処理装置２０００によって出力された撮像画像１２を取得する。そして、第２情報処理装置３０００は、撮像画像１２から検出される特徴点を用いてオブジェクト認識処理を行うことで、撮像画像１２に含まれる物品の認識を行う。
＜第１情報処理装置２０００のハードウエア構成の例＞
　第１情報処理装置２０００の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、第１情報処理装置２０００の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。
　図３は、第１情報処理装置２０００を実現する計算機１０００の構成を例示する図である。計算機１０００は種々の計算機である。例えば計算機１０００は、タブレット端末、スマートフォン、又なヘッドマウントディスプレイなどの可搬型の計算機である。計算機１０００は、第１情報処理装置２０００を実現するために設計された専用の計算機であってもよいし、汎用の計算機であってもよい。
　計算機１０００は、バス１０２０、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０を有する。バス１０２０は、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０４０などを互いに接続する方法は、バス接続に限定されない。プロセッサ１０４０は、CPU (Central Processing Unit) や GPU (Graphics Processing Unit) などで実現されるプロセッサである。メモリ１０６０は、RAM (Random Access Memory) などで実現される主記憶装置である。ストレージデバイス１０８０は、ハードディスク、SSD (Solid State Drive)、メモリカード、又は ROM (Read Only Memory) などで実現される補助記憶装置である。
　入出力インタフェース１１００は、計算機１０００と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース１１００には、キーボードなどの入力装置や、ディスプレイ装置などの出力装置が接続される。その他にも例えば、入出力インタフェース１１００には、カメラ１０が接続される。
　ネットワークインタフェース１１２０は、計算機１０００をネットワークに接続するためのインタフェースである。この通信網は、例えば LAN（Local Area Network）や WAN（Wide Area Network）である。ネットワークインタフェース１１２０がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。
　ストレージデバイス１０８０は第１情報処理装置２０００の各機能を実現するプログラムモジュールを記憶している。プロセッサ１０４０は、これら各プログラムモジュールを実行することで、そのプログラムモジュールに対応する各機能を実現する。
＜カメラ１０について＞
　カメラ１０は、撮像を行い、撮像結果を表す画像を生成することができる任意の撮像装置である。例えば第１情報処理装置２０００がスマートフォン等の可搬型の端末で実現される場合、カメラ１０には、第１情報処理装置２０００と一体として設けられるカメラを利用することができる。ただし、カメラ１０は、第１情報処理装置２０００と別体として設けられてもよい。
＜第２情報処理装置３０００のハードウエア構成の例＞
　第２情報処理装置３０００の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、第２情報処理装置３０００の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。
　図４は、第２情報処理装置３０００を実現する計算機５０００の構成を例示する図である。計算機５０００は種々の計算機である。例えば計算機５０００は、Personal Computer（PC）やサーバマシンなどである。計算機５０００は、第２情報処理装置３０００を実現するために設計された専用の計算機であってもよいし、汎用の計算機であってもよい。
　計算機５０００は、バス５０２０、プロセッサ５０４０、メモリ５０６０、ストレージデバイス５０８０、入出力インタフェース５１００、及びネットワークインタフェース５１２０を有する。バス５０２０、プロセッサ５０４０、メモリ５０６０、ストレージデバイス５０８０、入出力インタフェース５１００、及びネットワークインタフェース５１２０が有する機能はそれぞれ、バス１０２０、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０が有する機能と同様である。
　ただし、ストレージデバイス５０８０には、第２情報処理装置３０００の各機能を実現するためのプログラムモジュールが記憶される。プロセッサ５０４０は、これら各プログラムモジュールを実行することで、そのプログラムモジュールに対応する各機能を実現する。
＜処理の流れ＞
　図５は、実施形態１の情報処理システム４０００によって実行される処理の流れを例示するフローチャートである。検出部２０２０は、撮像画像１２を取得する（Ｓ１０２）。検出部２０２０は、撮像画像１２から特徴点を検出する（Ｓ１０４）。出力部２０６０は、撮像画像１２から検出された特徴点の数が所定の条件を満たすか否かを判定する（Ｓ１０６）。所定の条件が満たされない場合（Ｓ１０６：ＮＯ）、出力部２０６０は通知４０を出力する（Ｓ１０８）。一方、所定の条件が満たされる場合（Ｓ１０６：ＹＥＳ）、出力部２０６０は、撮像画像１２を出力する（Ｓ１１０）。
　第２情報処理装置３０００は、出力部２０６０によって出力された撮像画像１２を取得する（Ｓ１１２）。第２情報処理装置３０００は、撮像画像１２から検出される特徴点を用いて、撮像画像１２に含まれる物品を認識する（Ｓ１１４）。
　第１情報処理装置２０００が図５に示す一連の処理を実行する契機は様々である。例えば、カメラ１０が撮像画像１２を生成したことに応じて検出部２０２０がこの撮像画像１２を取得することにより、上記一連の処理が実行される。その他にも例えば、撮像画像１２を指定する入力操作を受け付け、指定された撮像画像１２について図５に示す一連の処理を実行してもよい。この場合、第１情報処理装置２０００は、ユーザから入力操作を受け付けたことを契機として、図５に示す一連の処理を実行する。
　第２情報処理装置３０００が図５に示す一連の処理を実行する契機は様々である。例えば第２情報処理装置３０００は、第１情報処理装置２０００によって撮像画像１２が出力されたことに応じ、その撮像画像１２を対象として、上記図５に示す処理を実行する。その他にも例えば、第２情報処理装置３０００は、所定のタイミングで、１つ以上の撮像画像１２を対象に、上記一連の処理を実行してもよい。この場合、例えば、第１情報処理装置２０００から出力される１つ以上の撮像画像１２を記憶装置に記憶させておき、第２情報処理装置３０００がこの記憶装置から撮像画像１２を読み出すようにする。すなわち、記憶装置に記憶されている１つ以上の撮像画像１２が、所定のタイミングでバッチ処理される。
＜撮像画像１２の取得：Ｓ１０２＞
　検出部２０２０は、撮像画像１２を取得する（Ｓ１０２）。例えば検出部２０２０は、撮像画像１２が記憶されている記憶装置から撮像画像１２を取得する。撮像画像１２が記憶されている記憶装置は、検出部２０２０の内部に設けられていてもよいし、外部に設けられていてもよい。その他にも例えば、検出部２０２０は、ユーザによる入力操作によって入力される撮像画像１２を取得する。その他にも例えば、検出部２０２０は、他の装置によって送信される撮像画像１２を受信することで、撮像画像１２を取得する。
　ここで、検出部２０２０が取得する撮像画像１２は、カメラ１０によって生成された撮像画像そのものであってもよいし、カメラ１０によって生成された撮像画像に何らかの処理が施されたものであってもよい。後者の場合、例えば、カメラ１０によって生成された撮像画像に対してトリミングを行って不要な画像領域を取り除いたり、カメラ１０によって生成された撮像画像に対して手ぶれ補正や色調補正を施したりすることで、撮像画像１２が生成される。
＜特徴点の検出：Ｓ１０４＞
　検出部２０２０は、撮像画像１２から特徴点を検出する（Ｓ１０４）。ここで、画像からエッジ、コーナー、又はブロブなどの特徴点を検出する技術には、既存の技術を利用することができる。
＜判定部２０４０による判定：Ｓ１０６＞
　判定部２０４０は、撮像画像１２から検出された特徴点の数が所定の条件を満たすか否かを判定する（Ｓ１０６）。ここで、概念的には、所定の条件は、撮像画像１２が物品の認識に利用することに適しているものである場合に満たされる条件である。以下、そのような条件のバリエーションについて例示する。
＜＜撮像画像１２全体における特徴点の数＞＞
　例えば所定の条件は、「撮像画像１２全体から検出される特徴点の数が基準値以上である」という条件である。この場合、検出部２０２０は、撮像画像１２全体について、特徴点を検出する処理を行う。そして、判定部２０４０は、撮像画像１２全体から検出された特徴点の数が基準値以上であるか否かを判定する。検出された特徴点の数が基準値以上であれば所定の条件が満たされていることになり、検出された特徴点の数が基準値未満であれば所定の条件が満たされていないことになる。
＜＜撮像画像１２の特定の領域から検出される特徴点の数＞＞
　例えば所定の条件は、「撮像画像１２に含まれる部分領域から検出される特徴点の数が基準値以上である」という条件である。検出部２０２０は、撮像画像１２内の部分領域について、特徴点を検出する処理を行う。そして判定部２０４０は、部分領域から検出された特徴点の数が基準値以上であるか否かを判定する。
　特徴点検出の対象とする部分領域は、ユーザによって指定されてもよいし、予め定められていてもよい。以下、それぞれのケースについて説明する。
＜＜＜部分領域をユーザが指定するケース＞＞＞
　例えば第１情報処理装置２０００は、第１情報処理装置２０００に設けられているディスプレイ装置に撮像画像１２を表示させ、このディスプレイ装置に表示された撮像画像１２に対して部分領域を指定する入力を受け付ける。指定できる部分領域は１つであってもよいし、複数であってもよい。
　図６は、部分領域を指定する入力を受け付ける様子を例示する図である。図６において、第１情報処理装置２０００に設けられているディスプレイ装置３０には、タッチパネルが備えられている。
　図６の上段の例において、ユーザは、ディスプレイ装置３０をタップしている。第１情報処理装置２０００は、タップされた位置を中心とする所定サイズの領域を、部分領域１４として定義する。一方、図６の下段の例において、ユーザは、ディスプレイ装置３０をドラッグしている。例えば、第１情報処理装置２０００は、ドラッグ位置の始点から終点まで所定サイズの領域を移動させた場合にその領域が通過する範囲全体を、部分領域１４として定義する。
　ここで、部分領域１４は、物品を含む領域であることが好ましい。撮像画像１２から物品を認識できるためには、物品を含む領域において十分な数の特徴点が検出されることが必要であるため、特徴点の数についての検証は、物品を含む領域を対象として行われることが好適である。
　そこでユーザは、入力操作において物品を含む領域を指定することが好適である。例えば図６の上段の例では、ユーザは、物品の位置をタップすることで、物品が含まれる領域を指定している。また、図６の下段の例では、ユーザは、商品棚のうち、物品が陳列される領域をドラッグすることで、物品が含まれる領域を指定している。
＜＜＜部分領域が予め決められているケース＞＞＞
　検出部２０２０は、予め定められている部分領域１４から特徴点を検出する。部分領域１４を定義する情報は、検出部２０２０からアクセス可能な記憶装置に予め記憶させておく。
　部分領域１４は、任意の領域とすることができる。図７は、部分領域が予め定められているケースを例示する図である。左側の例では、部分領域１４が１つあり、撮像画像１２の中央に位置する。中央の例では、部分領域１４が３つあり、それぞれ撮像画像１２の左上、中央、及び右下に位置する。右側の例では、部分領域１４が３つあり、それぞれ撮像画像１２において物品が陳列されると推測される領域である。
　ここで、撮像画像１２において物品が陳列される領域を推測する方法について説明する。前提として、第１情報処理装置２０００のユーザは、横方向に位置をずらしながら陳列場所２０を繰り返し撮像することで、陳列場所２０に陳列されている物品を撮像していくとする。図８は、横方向に位置をずらしながら行う撮像を概念的に例示する図である。図８では、横方向に長い陳列場所２０が、横方向に位置を５回ずらして撮像される。なお、撮像されない物品がないように、撮像範囲を一部重複させている。
　このように横方向に位置をずらしながら撮像する場合、２回目以降に生成される撮像画像１２において物品が陳列される高さ方向の位置は、１回目の撮像画像１２と同じであると推測できる。そこで、第１情報処理装置２０００は、１回目の撮像画像１２について、ユーザから、物品が陳列されている領域を指定する入力を受け付ける。例えばこの入力は、図６の下段に示した入力と同様である。そして、第１情報処理装置２０００は、以降に生成される撮像画像１２については自動的に、上記指定された領域と同じ領域を部分領域１４として設定する。
＜＜物品の種類ごとの基準値＞＞
　撮像画像１２全体や部分領域１４について定められる基準値は、陳列される物品の種類に応じて異なっていてもよい。形状や模様が複雑な物品ほど、物品の認識に必要となる基準値が多くなる傾向があるためである。例えば、物品の種類と基準値とを対応づけた情報を、予め記憶装置に記憶させておく。情報処理装置２０００は、陳列場所２０に陳列されている物品の種類を指定する入力を受け付け、指定された種類に対応する基準値を記憶装置から取得し、この基準値を利用する。
＜＜複数存在する部分領域１４の基準値について＞＞
　部分領域１４が複数存在する場合、基準値は、各部分領域１４から検出される特徴点の合計数について定められていてもよいし、個々の部分領域１４から検出される特徴点の数について定められていてもよい。前者の場合、所定の条件は、「各部分領域１４から検出される特徴点の合計数が基準値以上である」という条件となる。例えば判定部２０４０は、各部分領域１４に含まれる画素を合計した値に単位基準値を乗じることで得られる値を基準値とする。
　各部分領域１４から検出される特徴点の合計数について基準値を定めることには、検出される特徴点の数が少ない部分領域１４があったとしても、他の部分領域１４から十分な数の特徴点が検出されれば、所定の条件が満たされることになるという利点がある。例えば図７の真ん中の例のように、予め定められた部分領域１４から特徴点を検出する場合、複数の部分領域１４の中に、物品が含まれない領域（例えば商品棚の枠）が存在しうる。このように物品が含まれない領域は、物品が含まれる領域と比較し、検出される特徴点の数が少ない蓋然性が高い。しかしながら、物品が含まれる領域から十分な数の特徴点が得られれば物品の認識には支障がないため、このように物品が含まれない領域から検出される特徴点の数は少なくてもよい。そこで、部分領域１４から検出される特徴点の合計数について基準値を定めておくことにより、物品を内部に含まない部分領域１４があったとしても、他の部分領域１４から十分な数の特徴点が検出されれば、所定の条件が満たされるようにしておく。
　個々の部分領域１４から検出される特徴点の数について基準値を定める場合、例えば判定部２０４０は、特徴点の数が基準値未満である部分領域１４が１つでも存在すれば、通知４０を出力する。すなわち、「全ての部分領域１４において、特徴点の数が基準値以上である」を所定の条件とする。例えばユーザが物品の位置を複数指定することで複数の部分領域１４が定められた場合、これらの部分領域１４はいずれも物品の認識に利用できる必要がある。そこで、全ての部分領域１４について十分な数の特徴点が検出されるようにする。
　ただし、特徴点の数が基準値以上となる部分領域１４の数にも、基準値を設けるようにしてもよい。具体的には、判定部２０４０は、特徴点の数が基準値以上である部分領域１４の数が所定数未満である場合に、通知４０を出力する。すなわち、「所定数以上の部分領域１４において、特徴点の数が基準値以上である」を所定の条件とうる。
　なお、個々の部分領域１４から検出される特徴点の数について基準値を定める場合、例えば判定部２０４０は、各部分領域１４の基準値を、その部分領域１４に含まれる画素の数に単位基準値を乗じることで得られる値とする。
＜＜複数の撮像画像１２の一部を重複させるケースについて＞＞
　図８に示したように、第１情報処理装置２０００のユーザが、横方向に位置をずらしながら陳列場所２０を繰り返し撮像することで、陳列場所２０に陳列されている物品を撮像していくケースがある。そしてこの場合、図８に示すように、隣接する撮像範囲を一部重複させることが好適である。
　ここで、隣接する撮像範囲を一部重複させると、或る撮像画像１２とその次に生成される撮像画像１２とにおいて、一部の領域が、略同一の場所を撮像した領域となる。以下、この領域を、共通領域と呼ぶ。これら２つの撮像画像１２がいずれもブレなどがない適切な画像であれば、共通領域から検出される特徴点の数の差は小さいと考えられる。
　そこで、このように横方向に位置をずらしながら撮像を行うという方法で第１情報処理装置２０００を運用する場合、第１情報処理装置２０００は、部分領域１４の一つとして前述した共通領域を設定してもよい。ただし、共通領域を部分領域１４として設定できるのは、２回目以降の撮像で生成される撮像画像１２である。
　この場合、共通領域に対応する部分領域１４から検出される特徴点の数については、基準値を、前の撮像画像１２の共通領域から検出された特徴点の数に基づいて設定してもよい。例えば、前の撮像画像１２の共通領域から検出された特徴点の数 N に所定の係数αを乗じたαN を基準値とする。α＝１の場合、前の撮像画像１２の共通領域から検出された特徴点の数を基準値とすることになる。一方、α＜１の場合、前の撮像画像１２の共通領域から検出された特徴点の数よりも小さい値を基準値とすることになる。αを１に近い１未満の値（例えば、0.9など）に設定することにより、特徴点の数の多少の減少を許容することができる。
＜通知４０の出力：Ｓ１０８＞
　出力部２０６０は、撮像画像１２から検出される特徴点の数が所定の条件を満たさない場合に（Ｓ１０６：ＮＯ）、通知４０を出力する（Ｓ１０８）。通知４０は、撮像画像１２が物品認識に適していないものであることを第１情報処理装置２０００のユーザに把握させるための通知である。
　例えば前述したように、通知４０は、撮像のやり直しをユーザに促す通知である。この通知により、ユーザは、撮像のやり直し（すなわち、撮像画像１２の生成のやり直し）をすべきことを把握することができる。ユーザは、第１情報処理装置２０００を操作してカメラ１０による撮像を再度行う。第１情報処理装置２０００は、この結果として生成される撮像画像を新たに撮像画像１２として扱って、一連の処理を実行する。
　図９は、撮像のやり直しを促す通知を例示する図である。図９では、第１情報処理装置２０００に設けられているディスプレイ装置３０に、撮像のやり直しを促す通知４０が表示されている。ユーザによって通知４０に含まれる「カメラ起動」というボタンを押されると、第１情報処理装置２０００は、カメラ１０による撮像を行える状態に切り替わる。
　その他にも例えば、所定の通知は、撮像画像１２が適切なものであるか否かをチェックするように促す通知である。図１０は、撮像画像１２のチェックを促す通知である。問題があると判断した場合、ユーザは、「カメラ起動」というボタンを押すことで撮像をやり直す。一方、第１情報処理装置２０００のユーザは、撮像画像１２を目で見て確認し、問題がないと判断したら「問題なし」というボタンを押す。この場合、出力部２０６０は、撮像画像１２の出力を行う。
　撮像画像１２が適切なものであるか否かをチェックするように促す通知を利用する形態には、例えば次のような利点がある。まず、複数設定されている部分領域１４の中に、物品が含まれていない部分領域１４があるとする。この場合、その部分領域１４から検出される特徴点の数は少なくなるため、特徴点の数が所定の条件を満たさない可能性がある。しかしながらこの場合、物品が含まれる他の部分領域１４から検出される特徴点の数が十分多ければ、撮像画像１２は問題なく物品認識に利用できる蓋然性が高いと考えられる。
　そこで、撮像画像１２が適切なものであるか否かをチェックするように促す通知を出力するようにすれば、ユーザが各部分領域１４を確認して、上述したように撮像画像１２が問題なく物品認識に利用できるものであるかどうかを確認することができる。そして、撮像画像１２が問題なく物品認識に利用できるならば「問題なし」ボタンを押すようにすることで、撮像のやり直しを避けることができる。
　ここで、判定部２０４０が部分領域１４について判定を行った場合、出力部２０６０は、特徴点の数が基準値未満である部分領域１４を強調表示することが好適である。図１１は、特徴点の数が基準値未満である部分領域１４が強調表示される様子を例示する図である。
　図１１の上段では、枠５０により、特徴点の数が基準値未満である部分領域１４が強調表示されている。また、図１１の下段では、特徴点の数が基準値未満である部分領域１４を拡大して表示（符号６０）することにより、この部分領域１４を強調表示している。なお、実際には、部分領域１４を表す点線は表示されなくてもよい。
　強調表示の方法は、上述した方法に限定されない。例えば、マークを付したり色を変えたりするといった様々な方法を採用することができる。
＜撮像画像１２の出力：Ｓ１１０＞
　出力部２０６０は、撮像画像１２から検出される特徴点の数が所定の条件を満たす場合に（Ｓ１０６：ＹＥＳ）、撮像画像１２を出力する（Ｓ１１０）。ここで出力される撮像画像１２は第２情報処理装置３０００によって利用されるため、撮像画像１２は、第２情報処理装置３０００が利用可能な態様で出力される必要がある。
　例えば出力部２０６０は、第２情報処理装置３０００からアクセス可能な所定の記憶装置（例えば、第１情報処理装置２０００と第２情報処理装置３０００の双方と通信可能に接続されている NAS（Network Attached Storage））に、撮像画像１２を記憶させる。その他にも例えば、出力部２０６０は、第２情報処理装置３０００に対して撮像画像１２を送信してもよい。
＜第２情報処理装置３０００による撮像画像１２の取得：Ｓ１０８＞
　第２情報処理装置３０００は、出力部２０６０によって出力された撮像画像１２を取得する（Ｓ１０８）。例えば出力部２０６０が撮像画像１２を記憶装置に記憶させる場合、第２情報処理装置３０００は、この記憶装置から撮像画像１２を読み出すことで、撮像画像１２を取得する。その他にも例えば、第１情報処理装置２０００が第２情報処理装置３０００に対して撮像画像１２を送信する場合、第２情報処理装置３０００は、この撮像画像１２を受信することで、撮像画像１２を取得する。
＜物品の認識：Ｓ１１０＞
　第２情報処理装置３０００は、撮像画像１２から検出された特徴点を用いて、物品の認識を行う（Ｓ１１０）。特徴点を用いたオブジェクト認識には、既存の技術を利用することができる。
　第２情報処理装置３０００は、検出部２０２０によって撮像画像１２から検出された特徴点を物品の認識に利用してもよい。この場合、出力部２０６０は、撮像画像１２に対応づけて、撮像画像１２から検出された特徴点を表す情報を出力する。こうすることで、撮像画像１２から特徴点を検出する処理を重複して実行することがなくなるため、情報処理システム４０００全体の処理を効率化できる。ただし、検出部２０２０によって特徴点が検出された領域が撮像画像１２の一部である場合、第２情報処理装置３０００は、少なくとも残りの領域については、特徴点の検出を行う。
　第２情報処理装置３０００は、検出部２０２０によって撮像画像１２から検出された特徴点を用いなくてもよい。この場合、第２情報処理装置３０００は、撮像画像１２から特徴点を検出する処理を行う。第２情報処理装置３０００でも特徴点の検出を行う場合、第１情報処理装置２０００が特徴点検出に利用するアルゴリズムと、第２情報処理装置３０００が特徴点検出に利用するアルゴリズムとは、互いに同一であることが好適である。これらのアルゴリズムを異なるものにすると、第１情報処理装置２０００で検出された特徴点が第２情報処理装置３０００において検出されなくなり、第２情報処理装置３０００において特徴点の数が不足する可能性があるためである。
　ただし、第２情報処理装置３０００で検出される特徴点の数が第１情報処理装置２０００で検出される特徴点の数より多くなればよいため、そのように第１情報処理装置２０００と第２情報処理装置３０００のそれぞれで利用する特徴点検出のアルゴリズムを決めてもよい。
　以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
　例えば、上述した情報処理システム４０００は第１情報処理装置２０００と第２情報処理装置３０００を有しているが、第１情報処理装置２０００が第２情報処理装置３０００の役割も担うようにしてもよい。すなわち、撮像画像１２から物品を認識する処理を第１情報処理装置２０００が行うようにしてもよい。この場合、情報処理システム４０００は第１情報処理装置２０００のみを有すればよく、第２情報処理装置３０００を有する必要はない。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
１．　物品の陳列場所を撮像することで生成された撮像画像から特徴点を検出する検出部と、
　前記検出された特徴点の数が所定の条件を満たすか否かを判定する判定部と、
　前記検出された特徴点の数が所定の条件を満たさない場合、所定の通知を出力する出力部と、を有する情報処理装置。
２．　前記所定の条件は、前記撮像画像全体から検出された特徴点の数が基準値以上であることである、１．に記載の情報処理装置。
３．　前記検出部は、前記撮像画像に含まれる１つ以上の各部分領域から特徴点を検出し、
　前記所定の条件は、
　　複数の部分領域それぞれから検出された特徴点の数の合計が基準値以上であることであること、
　　複数の部分領域それぞれから検出された特徴点の数がいずれも基準値以上であること、又は、
　　複数の部分領域のうち、所定数以上の部分領域において検出された特徴点の数がいずれも基準値以上であることである、１．に記載の情報処理装置。
４．　前記撮像画像に含まれる物品の種類の入力を受け付け、
　前記判定部は、物品の種類に対応づけて前記特徴点の数の基準値を記憶している記憶装置から、前記入力された物品の種類に対応する前記特徴点の数の基準値を取得し、前記取得した基準値を用いて、前記検出された特徴点の数が前記所定の条件を満たすか否かを判定する、２．又は３．に記載の情報処理装置。
５．　前記所定の通知は、前記陳列場所を再度撮像することを促す通知を含む、１．乃至４．いずれか一つに記載の情報処理装置。
６．　前記所定の通知は、検出された特徴点の数が基準値未満である部分領域を表す表示を含む、１．乃至５．いずれか一つに記載の情報処理装置。
７．　前記所定の通知は、検出された特徴点の数が基準値未満である部分領域を拡大した表示を含む、６．に記載の情報処理装置。
８．　前記出力部は、前記検出された特徴点の数が所定の条件を満たす場合に前記撮像画像を出力し、
　前記出力された撮像画像から検出される特徴点を用いて、その撮像画像に含まれる物品の認識が行われる、１．乃至７．いずれか一つに記載の情報処理装置。
９．　第１情報処理装置と第２情報処理装置を有する情報処理システムであって、
　前記第１情報処理装置は、
　　物品の陳列場所を撮像することで生成された撮像画像から特徴点を検出する検出部と、
　　前記検出された特徴点の数が所定の条件を満たすか否かを判定する判定部と、
　　前記検出された特徴点の数が所定の条件を満たさない場合には所定の通知を出力し、前記検出された特徴点が所定の条件を満たさない場合には前記撮像画像を出力する出力部と、を有し、
　前記第２情報処理装置は、前記第１情報処理装置によって出力された撮像画像から検出される特徴点を用いて、その撮像画像に含まれる物品の認識を行う、情報処理システム。
１０．　前記所定の条件は、前記撮像画像全体から検出された特徴点の数が基準値以上であることである、９．に記載の情報処理システム。
１１．　前記検出部は、前記撮像画像に含まれる１つ以上の各部分領域から特徴点を検出し、
　前記所定の条件は、
　　複数の部分領域それぞれから検出された特徴点の数の合計が基準値以上であることであること、
　　複数の部分領域それぞれから検出された特徴点の数がいずれも基準値以上であること、又は、
　　複数の部分領域のうち、所定数以上の部分領域において検出された特徴点の数がいずれも基準値以上であることである、９．に記載の情報処理システム。
１２．　前記撮像画像に含まれる物品の種類の入力を受け付け、
　前記判定部は、物品の種類に対応づけて前記特徴点の数の基準値を記憶している記憶装置から、前記入力された物品の種類に対応する前記特徴点の数の基準値を取得し、前記取得した基準値を用いて、前記検出された特徴点の数が前記所定の条件を満たすか否かを判定する、１０．又は１１．に記載の情報処理システム。
１３．　前記所定の通知は、前記陳列場所を再度撮像することを促す通知を含む、９．乃至１２．いずれか一つに記載の情報処理システム。
１４．　前記所定の通知は、検出された特徴点の数が基準値未満である部分領域を表す表示を含む、９．乃至１３．いずれか一つに記載の情報処理システム。
１５．　前記所定の通知は、検出された特徴点の数が基準値未満である部分領域を拡大した表示を含む、１４．に記載の情報処理システム。
１６．　コンピュータによって実行される制御方法であって、
　物品の陳列場所を撮像することで生成された撮像画像から特徴点を検出する検出ステップと、
　前記検出された特徴点の数が所定の条件を満たすか否かを判定する判定ステップと、
　前記検出された特徴点の数が所定の条件を満たさない場合、所定の通知を出力する出力ステップと、を有する制御方法。
１７．　前記所定の条件は、前記撮像画像全体から検出された特徴点の数が基準値以上であることである、１６．に記載の制御方法。
１８．　前記検出ステップにおいて、前記撮像画像に含まれる１つ以上の各部分領域から特徴点を検出し、
　前記所定の条件は、
　　複数の部分領域それぞれから検出された特徴点の数の合計が基準値以上であることであること、
　　複数の部分領域それぞれから検出された特徴点の数がいずれも基準値以上であること、又は、
　　複数の部分領域のうち、所定数以上の部分領域において検出された特徴点の数がいずれも基準値以上であることである、１６．に記載の制御方法。
１９．　前記撮像画像に含まれる物品の種類の入力を受け付け、
　前記判定ステップにおいて、物品の種類に対応づけて前記特徴点の数の基準値を記憶している記憶装置から、前記入力された物品の種類に対応する前記特徴点の数の基準値を取得し、前記取得した基準値を用いて、前記検出された特徴点の数が前記所定の条件を満たすか否かを判定する、１７．又は１８．に記載の制御方法。
２０．　前記所定の通知は、前記陳列場所を再度撮像することを促す通知を含む、１６．乃至１９．いずれか一つに記載の制御方法。
２１．　前記所定の通知は、検出された特徴点の数が基準値未満である部分領域を表す表示を含む、１６．乃至２０．いずれか一つに記載の制御方法。
２２．　前記所定の通知は、検出された特徴点の数が基準値未満である部分領域を拡大した表示を含む、２１．に記載の制御方法。
２３．　前記出力ステップにおいて、前記検出された特徴点の数が所定の条件を満たす場合に前記撮像画像を出力し、
　前記出力された撮像画像から検出される特徴点を用いて、その撮像画像に含まれる物品の認識が行われる、１６．乃至２２．いずれか一つに記載の制御方法。
２４．　１６．乃至２３．いずれか一つに記載の制御方法の各ステップをコンピュータに実行させるプログラム。
　この出願は、２０１８年３月３０日に出願された日本出願特願２０１８－０６９５８２号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (24)

  1. 　物品の陳列場所を撮像することで生成された撮像画像から特徴点を検出する検出部と、
    　前記検出された特徴点の数が所定の条件を満たすか否かを判定する判定部と、
    　前記検出された特徴点の数が所定の条件を満たさない場合、所定の通知を出力する出力部と、を有する情報処理装置。
  2. 　前記所定の条件は、前記撮像画像全体から検出された特徴点の数が基準値以上であることである、請求項１に記載の情報処理装置。
  3. 　前記検出部は、前記撮像画像に含まれる１つ以上の各部分領域から特徴点を検出し、
    　前記所定の条件は、
    　　複数の部分領域それぞれから検出された特徴点の数の合計が基準値以上であることであること、
    　　複数の部分領域それぞれから検出された特徴点の数がいずれも基準値以上であること、又は、
    　　複数の部分領域のうち、所定数以上の部分領域において検出された特徴点の数がいずれも基準値以上であることである、請求項１に記載の情報処理装置。
  4. 　前記撮像画像に含まれる物品の種類の入力を受け付け、
    　前記判定部は、物品の種類に対応づけて前記特徴点の数の基準値を記憶している記憶装置から、前記入力された物品の種類に対応する前記特徴点の数の基準値を取得し、前記取得した基準値を用いて、前記検出された特徴点の数が前記所定の条件を満たすか否かを判定する、請求項２又は３に記載の情報処理装置。
  5. 　前記所定の通知は、前記陳列場所を再度撮像することを促す通知を含む、請求項１乃至４いずれか一項に記載の情報処理装置。
  6. 　前記所定の通知は、検出された特徴点の数が基準値未満である部分領域を表す表示を含む、請求項１乃至５いずれか一項に記載の情報処理装置。
  7. 　前記所定の通知は、検出された特徴点の数が基準値未満である部分領域を拡大した表示を含む、請求項６に記載の情報処理装置。
  8. 　前記出力部は、前記検出された特徴点の数が所定の条件を満たす場合に前記撮像画像を出力し、
    　前記出力された撮像画像から検出される特徴点を用いて、その撮像画像に含まれる物品の認識が行われる、請求項１乃至７いずれか一項に記載の情報処理装置。
  9. 　第１情報処理装置と第２情報処理装置を有する情報処理システムであって、
    　前記第１情報処理装置は、
    　　物品の陳列場所を撮像することで生成された撮像画像から特徴点を検出する検出部と、
    　　前記検出された特徴点の数が所定の条件を満たすか否かを判定する判定部と、
    　　前記検出された特徴点の数が所定の条件を満たさない場合には所定の通知を出力し、前記検出された特徴点が所定の条件を満たさない場合には前記撮像画像を出力する出力部と、を有し、
    　前記第２情報処理装置は、前記第１情報処理装置によって出力された撮像画像から検出される特徴点を用いて、その撮像画像に含まれる物品の認識を行う、情報処理システム。
  10. 　前記所定の条件は、前記撮像画像全体から検出された特徴点の数が基準値以上であることである、請求項９に記載の情報処理システム。
  11. 　前記検出部は、前記撮像画像に含まれる１つ以上の各部分領域から特徴点を検出し、
    　前記所定の条件は、
    　　複数の部分領域それぞれから検出された特徴点の数の合計が基準値以上であることであること、
    　　複数の部分領域それぞれから検出された特徴点の数がいずれも基準値以上であること、又は、
    　　複数の部分領域のうち、所定数以上の部分領域において検出された特徴点の数がいずれも基準値以上であることである、請求項９に記載の情報処理システム。
  12. 　前記撮像画像に含まれる物品の種類の入力を受け付け、
    　前記判定部は、物品の種類に対応づけて前記特徴点の数の基準値を記憶している記憶装置から、前記入力された物品の種類に対応する前記特徴点の数の基準値を取得し、前記取得した基準値を用いて、前記検出された特徴点の数が前記所定の条件を満たすか否かを判定する、請求項１０又は１１に記載の情報処理システム。
  13. 　前記所定の通知は、前記陳列場所を再度撮像することを促す通知を含む、請求項９乃至１２いずれか一項に記載の情報処理システム。
  14. 　前記所定の通知は、検出された特徴点の数が基準値未満である部分領域を表す表示を含む、請求項９乃至１３いずれか一項に記載の情報処理システム。
  15. 　前記所定の通知は、検出された特徴点の数が基準値未満である部分領域を拡大した表示を含む、請求項１４に記載の情報処理システム。
  16. 　コンピュータによって実行される制御方法であって、
    　物品の陳列場所を撮像することで生成された撮像画像から特徴点を検出する検出ステップと、
    　前記検出された特徴点の数が所定の条件を満たすか否かを判定する判定ステップと、
    　前記検出された特徴点の数が所定の条件を満たさない場合、所定の通知を出力する出力ステップと、を有する制御方法。
  17. 　前記所定の条件は、前記撮像画像全体から検出された特徴点の数が基準値以上であることである、請求項１６に記載の制御方法。
  18. 　前記検出ステップにおいて、前記撮像画像に含まれる１つ以上の各部分領域から特徴点を検出し、
    　前記所定の条件は、
    　　複数の部分領域それぞれから検出された特徴点の数の合計が基準値以上であることであること、
    　　複数の部分領域それぞれから検出された特徴点の数がいずれも基準値以上であること、又は、
    　　複数の部分領域のうち、所定数以上の部分領域において検出された特徴点の数がいずれも基準値以上であることである、請求項１６に記載の制御方法。
  19. 　前記撮像画像に含まれる物品の種類の入力を受け付け、
    　前記判定ステップにおいて、物品の種類に対応づけて前記特徴点の数の基準値を記憶している記憶装置から、前記入力された物品の種類に対応する前記特徴点の数の基準値を取得し、前記取得した基準値を用いて、前記検出された特徴点の数が前記所定の条件を満たすか否かを判定する、請求項１７又は１８に記載の制御方法。
  20. 　前記所定の通知は、前記陳列場所を再度撮像することを促す通知を含む、請求項１６乃至１９いずれか一項に記載の制御方法。
  21. 　前記所定の通知は、検出された特徴点の数が基準値未満である部分領域を表す表示を含む、請求項１６乃至２０いずれか一項に記載の制御方法。
  22. 　前記所定の通知は、検出された特徴点の数が基準値未満である部分領域を拡大した表示を含む、請求項２１に記載の制御方法。
  23. 　前記出力ステップにおいて、前記検出された特徴点の数が所定の条件を満たす場合に前記撮像画像を出力し、
    　前記出力された撮像画像から検出される特徴点を用いて、その撮像画像に含まれる物品の認識が行われる、請求項１６乃至２２いずれか一項に記載の制御方法。
  24. 　請求項１６乃至２３いずれか一項に記載の制御方法の各ステップをコンピュータに実行させるプログラム。
PCT/JP2019/010933 2018-03-30 2019-03-15 情報処理装置、情報処理システム、制御方法、及びプログラム WO2019188443A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/042,557 US20210034908A1 (en) 2018-03-30 2019-03-15 Information processing device, information processing system, and control method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018069582A JP6575628B1 (ja) 2018-03-30 2018-03-30 情報処理装置、情報処理システム、制御方法、及びプログラム
JP2018-069582 2018-03-30

Publications (1)

Publication Number Publication Date
WO2019188443A1 true WO2019188443A1 (ja) 2019-10-03

Family

ID=67982818

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/010933 WO2019188443A1 (ja) 2018-03-30 2019-03-15 情報処理装置、情報処理システム、制御方法、及びプログラム

Country Status (3)

Country Link
US (1) US20210034908A1 (ja)
JP (1) JP6575628B1 (ja)
WO (1) WO2019188443A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021245813A1 (ja) * 2020-06-02 2021-12-09

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014127168A (ja) * 2012-12-27 2014-07-07 Nec Corp 自動販売機管理装置、そのデータ処理方法、およびプログラム
WO2014147917A1 (ja) * 2013-03-19 2014-09-25 日本電気株式会社 処理装置、処理装置のデータ処理方法、およびプログラム
WO2016063484A1 (ja) * 2014-10-23 2016-04-28 日本電気株式会社 画像処理装置、表示制御装置、画像処理方法、および、記録媒体
JP2016115108A (ja) * 2014-12-15 2016-06-23 富士通株式会社 認証装置、方法及びプログラム
JP2017509981A (ja) * 2014-12-31 2017-04-06 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ センサデータの選択的処理

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004196440A (ja) * 2002-12-16 2004-07-15 Fuji Photo Film Co Ltd 自動倉庫システム
JP2009075868A (ja) * 2007-09-20 2009-04-09 Toshiba Corp 画像から対象を検出する装置、方法およびプログラム
US20110261081A1 (en) * 2010-04-23 2011-10-27 Weinblatt Lee S Testing of Internet Ads
JP2015062089A (ja) * 2011-12-15 2015-04-02 日本電気株式会社 映像処理システム、映像処理方法、携帯端末用またはサーバ用の映像処理装置およびその制御方法と制御プログラム
CN109564619A (zh) * 2016-05-19 2019-04-02 思比机器人公司 跟踪商店内的货架上的产品的放置的方法
JP6838903B2 (ja) * 2016-09-13 2021-03-03 東芝テック株式会社 物品読取装置およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014127168A (ja) * 2012-12-27 2014-07-07 Nec Corp 自動販売機管理装置、そのデータ処理方法、およびプログラム
WO2014147917A1 (ja) * 2013-03-19 2014-09-25 日本電気株式会社 処理装置、処理装置のデータ処理方法、およびプログラム
WO2016063484A1 (ja) * 2014-10-23 2016-04-28 日本電気株式会社 画像処理装置、表示制御装置、画像処理方法、および、記録媒体
JP2016115108A (ja) * 2014-12-15 2016-06-23 富士通株式会社 認証装置、方法及びプログラム
JP2017509981A (ja) * 2014-12-31 2017-04-06 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ センサデータの選択的処理

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021245813A1 (ja) * 2020-06-02 2021-12-09
JP7452647B2 (ja) 2020-06-02 2024-03-19 日本電気株式会社 処理装置、処理方法及びプログラム

Also Published As

Publication number Publication date
JP2019179488A (ja) 2019-10-17
US20210034908A1 (en) 2021-02-04
JP6575628B1 (ja) 2019-09-18

Similar Documents

Publication Publication Date Title
US11087407B2 (en) Systems and methods for mobile image capture and processing
US9754164B2 (en) Systems and methods for classifying objects in digital images captured using mobile devices
US10146795B2 (en) Systems and methods for mobile image capture and processing
CN109886928B (zh) 一种目标细胞标记方法、装置、存储介质及终端设备
JP6549558B2 (ja) 売上登録装置、プログラム及び売上登録方法
US11348248B1 (en) Automatic image cropping systems and methods
JP2017521011A (ja) シンボルの光学的検出方法
US11455714B2 (en) Multi-access edge computing methods and systems for computer-vision-based product compliance verification
JP6575628B1 (ja) 情報処理装置、情報処理システム、制御方法、及びプログラム
JP7279755B2 (ja) 情報処理装置、情報処理システム、制御方法、及びプログラム
JP6939855B2 (ja) 情報処理装置、情報処理システム、制御方法、及びプログラム
US11989874B2 (en) Multi-tier PCBA integrity validation process
JP6947283B2 (ja) 店舗装置、店舗システム、画像取得方法、およびプログラム
US20230298445A1 (en) Learning apparatus, estimation apparatus, learning method, and non-transitory storage medium
US20230222802A1 (en) Processing apparatus, pre-processing apparatus, processing method, and non-transitory storage mediu
US20230386209A1 (en) Processing device, processing method, and non-transitory storage medium
JP6532114B1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2019181442A1 (ja) 情報処理装置、制御方法、及びプログラム
CN111766236A (zh) 纸张纹理的采集方法、装置和存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19775676

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 19775676

Country of ref document: EP

Kind code of ref document: A1