WO2024201705A1 - 検知装置、検知方法、及び非一時的なコンピュータ可読媒体 - Google Patents

検知装置、検知方法、及び非一時的なコンピュータ可読媒体 Download PDF

Info

Publication number
WO2024201705A1
WO2024201705A1 PCT/JP2023/012481 JP2023012481W WO2024201705A1 WO 2024201705 A1 WO2024201705 A1 WO 2024201705A1 JP 2023012481 W JP2023012481 W JP 2023012481W WO 2024201705 A1 WO2024201705 A1 WO 2024201705A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
image area
shelf
area
item
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2023/012481
Other languages
English (en)
French (fr)
Inventor
俊介 山本
裕司 田原
八栄子 米澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to PCT/JP2023/012481 priority Critical patent/WO2024201705A1/ja
Priority to JP2025509327A priority patent/JP7823791B2/ja
Publication of WO2024201705A1 publication Critical patent/WO2024201705A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present disclosure relates to a detection device, a detection method, and a non-transitory computer-readable medium.
  • a technology has been proposed that uses a single trained discrimination model to detect areas in an image of a group of items, such as merchandise, where the group of items is present in a continuous manner (for example, Patent Document 1).
  • a single classification model may not provide sufficient accuracy in detecting an image region.
  • a classification model usually has objects that it is good at detecting and objects that it is not good at detecting. For this reason, the inventor has found that it is possible to improve the accuracy in detecting an image region by applying a first model and a second model with different characteristics to an image of a group of items.
  • One of the objectives of the present disclosure is to provide a detection device, a detection method, and a non-transitory computer-readable medium that can improve the detection accuracy of an image region. It should be noted that this objective is only one of multiple objectives that the multiple embodiments disclosed in this specification aim to achieve. Other objectives or problems and novel features will become apparent from the description of this specification or the accompanying drawings.
  • the sensing device comprises: a first detection unit that detects a first image area in a captured image of an item shelf by using a first model that identifies a first image area based on an item main occupied space that is mainly occupied by an item group in a target image; a second detection unit that detects a second image area in the captured image using a second model that identifies a second image area corresponding to an image of a group of items arranged in front in the target image; an identification unit that identifies a plurality of shelf level image areas in the captured image, each of which corresponds to a plurality of shelf levels of the item shelf; an index calculation unit that calculates an index related to a deviation between the first image area and the second image area in each shelf image area; a determination unit that determines a detection result to be adopted for each shelf level image area from among the first image area and the second image area in each shelf level image area based on the index calculated for each shelf level image area; Equipped with:
  • the method of detection comprises: Detecting a first image area in a captured image of an item shelf using a first model that identifies a first image area based on an item main occupied space that is mainly occupied by an item group in the target image; detecting a second image region in the captured image using a second model that identifies a second image region corresponding to an image of a group of items located in front of the target image; Identifying a plurality of shelf level image areas in the captured image, each of which corresponds to a plurality of shelf levels of the item shelf; Calculating an index related to a deviation between the first image area and the second image area in each shelf image area; determining a detection result to be adopted for each shelf level image area from among the first image area and the second image area in each shelf level image area, based on the index calculated for each shelf level image area; Includes.
  • a non-transitory computer readable medium comprises: Detecting a first image area in a captured image of an item shelf using a first model that identifies a first image area based on an item main occupied space that is mainly occupied by an item group in the target image; detecting a second image region in the captured image using a second model that identifies a second image region corresponding to an image of a group of items located in front of the target image; Identifying a plurality of shelf level image areas in the captured image, each of which corresponds to a plurality of shelf levels of the item shelf; Calculating an index related to a deviation between the first image area and the second image area in each shelf image area; determining a detection result to be adopted for each shelf level image area from among the first image area and the second image area in each shelf level image area, based on the index calculated for each shelf level image area; The program for causing the detection device to execute the process including the steps described above is stored.
  • the present disclosure provides a detection device, a detection method, and a non-transitory computer-readable medium that can improve the accuracy of detecting an image area.
  • FIG. 2 is a block diagram showing an example of a detection device according to the first embodiment.
  • 4 is a flowchart showing an example of a processing operation of the detection device in the first embodiment.
  • FIG. 11 is a block diagram showing an example of a detection device according to a second embodiment.
  • FIG. 13 is a diagram showing an example of an item shelf image.
  • FIG. 11 is a diagram illustrating an example of a second image area.
  • FIG. 4 is a diagram illustrating an example of a first image area.
  • FIG. 13 is a block diagram showing an example of a detection device according to a third embodiment.
  • FIG. 13 is a diagram illustrating an example of an integrated image.
  • FIG. 2 illustrates an example of a hardware configuration of a detection device.
  • the detection device 10 in the first embodiment detects an image area corresponding to an image of a group of items in a "captured image” by using, for example, a "first model” and a “second model” that have different detection characteristics from each other.
  • the "captured image” is, for example, an image of an item shelf (hereinafter, may be referred to as an "item shelf image").
  • second model is a model that identifies an image area (hereinafter sometimes referred to as the “second image area” or “second item group image area”) that corresponds to the image of the item group placed in the foreground in the target image.
  • image of the item group may be referred to as the “item group image.”
  • the second model may be a trained model trained using training data that includes the following images: - An image showing one side of the entire item. An item shelf image in which an image area corresponding to an item group image of an item group arranged in the front row of each shelf in the item shelf image is designated as an "item group image area.”
  • a large portion of one side of the item (e.g., more than half of one side) is usually shown in the item shelf image.
  • the second model can accurately detect image areas corresponding to products located at the front of each shelf level, but may not be able to accurately detect image areas corresponding to products located behind the products at the front and with most of one side hidden.
  • first model is a model that identifies an image area (hereinafter, sometimes referred to as the “first image area” or “first item group image area”) based on the space that is primarily occupied by the item group in the target image (hereinafter, sometimes referred to as the "item main occupied space”).
  • the first model may be a trained model trained using training data that includes the following images: - An image showing one side of the entire item.
  • An item shelf image in which an image area corresponding to an item group image of an item group arranged in the front row of each shelf in the item shelf image is designated as an "item group image area.”
  • An item shelf image in which an image area corresponding to an "image equivalent to the true background (hereinafter sometimes referred to as a "true background image”)" in the item shelf image is designated as a "true background image area.”
  • the "true background image area” includes the image area corresponding to the image of the back panel, side panel, or shelf of the item shelf that is shown in the item shelf image without being hidden by the shadow of the item.
  • the first model has the characteristic of being able to accurately detect image areas that are likely to be background images (for example, image areas corresponding to large empty spaces where no items are placed) and image areas corresponding to the above-mentioned space mainly occupied by items.
  • the first model learns the contradictory information of "item group image areas” and "true background image areas,” for areas that cannot be designated as either, there is a possibility that the model will detect areas close to "item group image areas” as “item group image areas” and areas close to "true background image areas” as “true background image areas.” As a result, there is a possibility that the model will detect an image area that corresponds to a narrow empty space sandwiched between two "item group image areas" as part of the item group image area. This is because it is thought that in many cases, sufficient information cannot be obtained from an image that corresponds to a narrow empty space to detect that it is a background image.
  • the training data for the second model does not include any item shelf images with a specified "true background image area," or if it does include such images, the number of images is small.
  • the detection device 10 detects an image area corresponding to an image of a group of items in a captured image using a "first model” and a “second model” that have different detection characteristics. This makes it possible to improve the detection accuracy of the image area.
  • Fig. 1 is a block diagram showing an example of a detection device in the first embodiment.
  • the detection device 10 has a detection unit (first detection unit) 11, a detection unit (second detection unit) 12, an identification unit 13, an index calculation unit 14, and a determination unit 15.
  • the detection device 10 acquires a captured image.
  • This captured image is, for example, an item shelf image in which an item shelf is captured. The following description will be given on the assumption that the captured image is an item shelf image.
  • This item shelf has a plurality of shelf levels.
  • the detection unit (first detection unit) 11 detects a "first image area" in the captured image by applying a first model to the captured image.
  • the detection unit (second detection unit) 12 detects a "second image area" in the captured image by applying a second model to the captured image.
  • the identification unit 13 identifies a number of "shelf level image areas" in the captured image, each of which corresponds to a number of shelf levels.
  • a shelf level image area corresponding to one shelf level is, for example, an image area corresponding to the space between the shelf board of that shelf level and the shelf board of the shelf level immediately above that shelf level.
  • the index calculation unit 14 calculates an "index related to the deviation" between the first image area and the second image area in each shelf image area. A specific example of the "index related to the deviation" will be described in the second embodiment.
  • the determination unit 15 determines the detection result to be adopted for each shelf level image area from among the first image area and the second image area in each shelf level image area based on the above-mentioned index calculated for each shelf level image area.
  • Fig. 2 is a flowchart showing an example of the processing operation of the detection device in the first embodiment.
  • the detection unit 11 detects a first image area in the captured image by applying a first model to the captured image (step S101).
  • the detection unit 12 detects a second image area in the captured image by applying the second model to the captured image (step S102).
  • the identification unit 13 identifies a number of shelf level image areas in the captured image that respectively correspond to a number of shelf levels (step S103).
  • the index calculation unit 14 calculates an index related to the deviation between the first image area and the second image area in each shelf image area (step S104).
  • the determination unit 15 determines the detection result to be adopted for each shelf level image area from the first image area and the second image area in each shelf level image area based on the index calculated for each shelf level image area (step S105).
  • the detection device 10 detects an item group image area in a captured image using a "first model” and a “second model” that have different detection characteristics. This allows one model to compensate for the weaknesses of the other model in detecting objects, thereby improving the detection accuracy of the item group image area.
  • the index calculation unit 14 in the detection device 10 calculates an "index related to the deviation" between the first image area and the second image area in each shelf level image area.
  • the determination unit 15 determines the detection result to be adopted for each shelf level image area from among the first image area and the second image area in each shelf level image area, based on the index calculated for each shelf level image area.
  • the configuration of the detection device 10 can improve the detection accuracy of the item group image area. That is, when the above index indicates that the deviation between the first image area and the second image area in one shelf image area is large, it is highly likely that even items located at the back are captured in the shelf image area. When the second model is applied to such a shelf image area, it is possible that the image area corresponding to the items located at the back cannot be detected with high accuracy. On the other hand, when the first model is applied to such a shelf image area, it is highly likely that the image area corresponding to the items located at the back can be detected with high accuracy. Therefore, in such a case, the detection device 10 can adopt the first image area obtained by applying the first model to the one shelf image area as the detection result.
  • the detection device 10 can use the second image area obtained by applying the second model to the one shelf image area as the detection result. Therefore, one model can compensate for the poor detection of the detection target of the other model, thereby improving the detection accuracy of the item group image area.
  • the second embodiment relates to an embodiment that embodies the contents of the first embodiment more specifically.
  • FIG. 3 is a block diagram showing an example of a detection device in the second embodiment.
  • the detection device 20 has a detection unit (first detection unit) 21, a detection unit (second detection unit) 22, an identification unit 23, an index calculation unit 24, and a determination unit 25.
  • the detection device 20 acquires a captured image.
  • This captured image is, for example, an item shelf image of an item shelf. The following description will be given on the assumption that the captured image is an item shelf image. This item shelf has multiple shelf levels.
  • the detection unit 22 detects a second image area in the captured image (i.e., the item shelf image) by applying a second model to the captured image.
  • FIG. 4A is a diagram showing an example of an item shelf image.
  • FIG. 4B is a diagram showing an example of a second image area.
  • Figure 4A shows an image of a shelf where PET bottled drinks are displayed.
  • the shelf shown in the image of the shelf in Figure 4A has four shelf levels.
  • PET bottles are arranged in an upright position as items.
  • PET bottles are arranged lying on their sides and stacked.
  • the space above the PET bottles is narrow, while on the bottom shelf level, the space above the PET bottles is wide. For this reason, in the image of the top three shelf levels, most of the PET bottles at the back are hidden by the PET bottles in front, while in the image of the bottom shelf level, even the PET bottles at the back are visible.
  • FIG. 4B The result of applying the second model to the item shelf image in FIG. 4A is shown in FIG. 4B.
  • the shaded area corresponds to the second image area.
  • the second model is able to accurately detect the item group image area corresponding to the plastic bottles in the images of the top three shelves.
  • the second model can accurately detect even image areas corresponding to narrow empty spaces such as those sandwiched between two item group image areas.
  • the detection unit 21 detects a "first image area" in the captured image by applying a first model to the captured image.
  • FIG. 4C is a diagram showing an example of the first image area.
  • the shaded area in shelf level image area SA14 corresponds to the first image area.
  • model 1 is able to accurately detect not only the item group image area corresponding to the group of PET bottles located at the front in shelf level image area SA14 (i.e., the image of the bottom shelf), but also the item group image area corresponding to the group of PET bottles located at the back. Note that, as can be seen from FIGS. 4B and 4C, model 1 may detect an image area corresponding to a narrow empty space SP1 sandwiched between two item group image areas as part of the item group image area.
  • the identification unit 23 like the identification unit 13 in the first embodiment, identifies a number of "shelf level image areas" in the captured image that respectively correspond to a number of shelf levels.
  • the lower line that defines the second image area in the image of each shelf appears as a straight line that is approximately parallel to the shelf. In other words, by identifying this straight line, it is possible to identify the line that corresponds to the surface of the plastic bottle that is in contact with the shelf.
  • the identification unit 23 may identify the lower line that defines the second image area in the image of each shelf level, and identify the image area sandwiched between two adjacent lines as the "shelf level image area.”
  • the identification unit 23 may directly identify the front image of the shelf by pattern matching or the like. This front image of the shelf can also be identified as a line corresponding to the surface of the plastic bottle in contact with the shelf. The identification unit 23 may then identify the image area sandwiched between two adjacent lines as a "shelf level image area.” Note that image areas SA11, SA12, SA13, and SA14, each surrounded by a frame in FIG. 4B, are each an example of a shelf level image area.
  • the index calculation unit 24 like the index calculation unit 14 in the first embodiment, calculates an "index related to the deviation" between the first image area and the second image area in each shelf image area.
  • the index calculation unit 24 may calculate the ratio of the area of the first image area to the area of the second image area in each shelf level image area as an "index related to deviation.”
  • the ratio of the area of the first image area to the area of the second image area is close to 1. This is because the areas of the second image area and the first image area are approximately equal in shelf level image areas SA11, SA12, and SA13.
  • the ratio of the area of the first image area to the area of the second image area is greater than the ratios for shelf level image areas SA11, SA12, and SA13. This is because the difference between the area of the second image area and the area of the first image area is significantly different in shelf level image area SA14.
  • the determination unit 25 determines the detection result to be adopted for each shelf level image area from among the first image area and the second image area in each shelf level image area based on the above-mentioned index calculated for each shelf level image area.
  • the determination unit 25 determines the detection result to be adopted for each shelf level image area based on the ratio of the area of the first image area to the area of the second image area in each shelf level image area. Specifically, for shelf level image areas where the above ratio is equal to or greater than a threshold, the determination unit 25 determines that the detection result adopts the first image area. That is, for shelf level image area SA14, the determination unit 25 determines that the detection result adopts the first image area. On the other hand, for shelf level image areas where the ratio is less than the threshold, the determination unit 25 determines that the detection result adopts the second image area. That is, for shelf level image areas SA11, SA12, and SA13, the determination unit 25 determines that the detection result adopts the second image area.
  • the third embodiment relates to identifying free space.
  • FIG. 5 is a block diagram showing an example of a detection device in the third embodiment.
  • the detection device 30 has a detection unit (first detection unit) 11, a detection unit (second detection unit) 12, an identification unit 13, an index calculation unit 14, a determination unit 15, an integration unit 31, and a space identification unit 32.
  • the integration unit 31 integrates the detection results used for each shelf level image area to obtain an "integrated image.”
  • an integrated image For example, in the case of Figures 4B and 4C above, the second image area in shelf level image areas SA11, SA12, and SA13 detected by the second model and the first image area in shelf level image area SA14 detected by the first model are integrated to form an "integrated image.”
  • Figure 6 is a diagram showing an example of an integrated image.
  • the space identifying unit 32 identifies free space on each shelf level where no items are placed, based on the integrated image. For example, the space identifying unit 32 may identify free space by subtracting the integrated image from the shelf level image area. In FIG. 6, for example, the areas surrounded by rectangular frames (spaces SP1, SP2, SP3, and SP4) correspond to free space.
  • the detection device 30 in the third embodiment identifies free space based on an integrated image obtained by applying the first model and the second model to the shelf image areas, which are the detection targets that the model is good at, and integrating the image areas obtained, so that free space can be identified with high accuracy.
  • the description here is based on the assumption that the integration unit 31 and the space identification unit 32 are applied to the detection device 10 of the first embodiment, the present disclosure is not limited to this.
  • the integration unit 31 and the space identification unit 32 may also be applied to the detection device 20 of the second embodiment.
  • Fig. 7 is a diagram showing an example of a hardware configuration of a detection device.
  • the detection device 100 has a processor 101 and a memory 102.
  • the processor 101 may be, for example, a microprocessor, a micro processing unit (MPU), or a central processing unit (CPU).
  • the processor 101 may include a plurality of processors.
  • the memory 102 is configured by a combination of a volatile memory and a non-volatile memory.
  • the memory 102 may include a storage located away from the processor 101. In this case, the processor 101 may access the memory 102 via an I/O interface not shown.
  • the detection devices 10, 20, and 30 of the first to third embodiments may each have the hardware configuration shown in FIG. 7.
  • the detection units 11 and 21, the detection units 12 and 22, the identification units 13 and 23, the index calculation units 14 and 24, the determination units 15 and 25, the integration unit 31, and the space identification unit 32 of the detection devices 10, 20, and 30 of the first to third embodiments may be realized by the processor 101 reading and executing a program stored in the memory 102.
  • the program can be stored using various types of non-transitory computer readable medium and supplied to the detection devices 10, 20, and 30.
  • Examples of non-transitory computer readable media include magnetic recording media (e.g., flexible disks, magnetic tapes, hard disk drives) and magneto-optical recording media (e.g., magneto-optical disks).
  • non-transitory computer readable media include CD-ROMs (Read Only Memory), CD-Rs, and CD-R/Ws.
  • Further examples of non-transitory computer readable media include semiconductor memory.
  • Semiconductor memory includes, for example, mask ROM, programmable ROM (PROM), erasable PROM (EPROM), flash ROM, and random access memory (RAM).
  • the program may also be provided to the detection devices 10, 20, and 30 by various types of transitory computer readable medium. Examples of transitory computer readable medium include electrical signals, optical signals, and electromagnetic waves.
  • the transitory computer readable medium may provide the program to the detection devices 10, 20, and 30 via wired communication paths such as electrical wires and optical fibers, or wireless communication paths.
  • Detection device 11 Detection unit (first detection unit) 12 Detection unit (second detection unit) 13 Identification unit 14 Index calculation unit 15 Determination unit 20 Detection device 21 Detection unit (first detection unit) 22 Detection unit (second detection unit) 23 Identification unit 24 Index calculation unit 25 Determination unit 30 Detection device 31 Integration unit 32 Space identification unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

検知装置（１０）にて検知部（１１）は、撮影画像に対して第１モデルを適用することによって、撮影画像における第１画像領域を検知する。検知部（１２）は、撮影画像に対して第２モデルを適用することによって、撮影画像における第２画像領域を検知する。第２モデルは、対象画像において前側に配置された物品群の画像に対応する第２画像領域を識別するモデルである。第１モデルは、対象画像において物品主占有空間に基づく第１画像領域を識別するモデルである。指標算出部（１４）は、各棚段画像領域における、第１画像領域と第２画像領域との乖離に関連する指標を算出する。決定部（１５）は、各棚段画像領域における第１画像領域及び第２画像領域のうちから、各棚段画像領域について算出された指標に基づいて、各棚段画像領域について採用する検知結果を決定する。

Description

検知装置、検知方法、及び非一時的なコンピュータ可読媒体
　本開示は、検知装置、検知方法、及び非一時的なコンピュータ可読媒体に関する。
　学習済みの１つの識別モデルを用いて、商品等の物品群の画像において物品群が連続的に存在する領域を検出する技術が提案されている（例えば、特許文献１）。
特開２０２１－１１７５３１号公報
　本発明者は、１つの識別モデルでは画像領域の検知精度が十分に得られない可能性があることを見出した。すなわち、通常、識別モデルは、得意な検知対象と不得意な検知対象とを有している。このため、本発明者は、特性の異なる第１モデル及び第２モデルを物品群の画像に適用することによって画像領域の検知精度を向上させることができることを見出だした。
　本開示の目的の１つは、画像領域の検知精度を向上させることができる、検知装置、検知方法、及び非一時的なコンピュータ可読媒体を提供することにある。なお、この目的は、本明細書に開示される複数の実施形態が達成しようとする複数の目的の１つに過ぎないことに留意されるべきである。その他の目的又は課題と新規な特徴は、本明細書の記述又は添付図面から明らかにされる。
　　１つの態様では、検知装置は、
　対象画像において物品群が主に占有する物品主占有空間に基づく第１画像領域を識別する第１モデルを用いて、物品棚が撮影された撮影画像における前記第１画像領域を検知する第１検知部と、
　対象画像において前側に配置された物品群の画像に対応する第２画像領域を識別する第２モデルを用いて、前記撮影画像における前記第２画像領域を検知する第２検知部と、
　前記撮影画像において前記物品棚の複数の棚段にそれぞれ対応する複数の棚段画像領域を特定する特定部と、
　各棚段画像領域における、前記第１画像領域と前記第２画像領域との乖離に関連する指標を算出する指標算出部と、
　各棚段画像領域における前記第１画像領域及び前記第２画像領域のうちから、各棚段画像領域について算出された前記指標に基づいて、各棚段画像領域について採用する検知結果を決定する決定部と、
　を具備する。
　他の態様では、検知方法は、
　対象画像において物品群が主に占有する物品主占有空間に基づく第１画像領域を識別する第１モデルを用いて、物品棚が撮影された撮影画像における前記第１画像領域を検知することと、
　対象画像において前側に配置された物品群の画像に対応する第２画像領域を識別する第２モデルを用いて、前記撮影画像における前記第２画像領域を検知することと、
　前記撮影画像において前記物品棚の複数の棚段にそれぞれ対応する複数の棚段画像領域を特定することと、
　各棚段画像領域における、前記第１画像領域と前記第２画像領域との乖離に関連する指標を算出することと、
　各棚段画像領域における前記第１画像領域及び前記第２画像領域のうちから、各棚段画像領域について算出された前記指標に基づいて、各棚段画像領域について採用する検知結果を決定することと、
　を含む。
　他の態様では、非一時的なコンピュータ可読媒体は、
　対象画像において物品群が主に占有する物品主占有空間に基づく第１画像領域を識別する第１モデルを用いて、物品棚が撮影された撮影画像における前記第１画像領域を検知することと、
　対象画像において前側に配置された物品群の画像に対応する第２画像領域を識別する第２モデルを用いて、前記撮影画像における前記第２画像領域を検知することと、
　前記撮影画像において前記物品棚の複数の棚段にそれぞれ対応する複数の棚段画像領域を特定することと、
　各棚段画像領域における、前記第１画像領域と前記第２画像領域との乖離に関連する指標を算出することと、
　各棚段画像領域における前記第１画像領域及び前記第２画像領域のうちから、各棚段画像領域について算出された前記指標に基づいて、各棚段画像領域について採用する検知結果を決定することと、
　を含む処理を、検知装置に実行させるプログラムを格納している。
　本開示により、画像領域の検知精度を向上させることができる、検知装置、検知方法、及び非一時的なコンピュータ可読媒体を提供することができる。
第１実施形態における検知装置の一例を示すブロック図である。 第１実施形態における検知装置の処理動作の一例を示すフローチャートである。 第２実施形態における検知装置の一例を示すブロック図である。 物品棚画像の一例を示す図である。 第２画像領域の一例を示す図である。 第１画像領域の一例を示す図である。 第３実施形態における検知装置の一例を示すブロック図である。 統合画像の一例を示す図である。 検知装置のハードウェア構成例を示す図である。
　以下、図面を参照しつつ、実施形態について説明する。なお、実施形態において、同一又は同等の要素には、同一の符号を付し、重複する説明は省略される。
＜第１実施形態＞
　＜検知装置の概要＞
　第１実施形態における検知装置１０は、例えば、互いに検知特性の異なる「第１モデル」及び「第２モデル」を用いて、「撮影画像」における物品群の画像に対応する画像領域を検知する。「撮影画像」は、例えば、物品棚が撮影された画像（以下では、「物品棚画像」と呼ぶことがある）である。
　上記の「第２モデル」は、対象画像において前側に配置された物品群の画像に対応する画像領域（以下では、「第２画像領域」又は「第２物品群画像領域」と呼ぶことがある）を識別するモデルである。なお、以下では、「物品群の画像」を「物品群画像」と呼ぶことがある。
　例えば、第２モデルは、以下の画像を含む学習データを用いて学習された、学習済みモデルであってもよい。
　－　物品単体の一側面の全体が撮影された画像。
　－　物品棚画像において各棚段の最前列に並べられた物品群の物品群画像に対応する画像領域を「物品群画像領域」として指定した、物品棚画像。
　なお、棚段の最前列に並べられた物品群の各物品は、通常、その物品の一側面の大部分（例えば、一側面の半分以上の部分）が物品棚画像にて現れている。
　このような学習データを用いた学習が行われることによって、第２モデルは、各棚段の前側に位置する商品群に対応する画像領域を精度良く検知できる一方で、前側に位置する商品群の後ろに位置して一側面の大部分が隠れている商品群に対応する画像領域を精度良く検知できない可能性がある。
　また、上記の「第１モデル」は、対象画像において物品群が主に占有する空間（以下では、「物品主占有空間」と呼ぶことがある）に基づく画像領域（以下では、「第１画像領域」又は「第１物品群画像領域」と呼ぶことがある）を識別するモデルである。
　例えば、第１モデルは、以下の画像を含む学習データを用いて学習された、学習済みモデルであってもよい。
　－　物品単体の一側面の全体が撮影された画像。
　－　物品棚画像において各棚段の最前列に並べられた物品群の物品群画像に対応する画像領域を「物品群画像領域」として指定した、物品棚画像。
　－　物品棚画像において「真の背景に相当する画像（以下では、「真背景画像」と呼ぶことがある）」に対応する画像領域を「真背景画像領域」として指定した、物品棚画像。
　ここで、「真背景画像領域」は、物品棚画像にて物品の影に隠れることなく写し出されている物品棚の背板、側板、又は、棚板の画像に対応する画像領域を含む。
　このような学習データを用いた学習が行われることによって、第１モデルは、背景画像である可能性が高い画像領域（例えば、物品が配置されていない大きな空きスペースに対応する画像領域）、及び、上記の物品主占有空間に対応する画像領域を精度良く検知できる特性を有している。しかしながら、第１モデルは、「物品群画像領域」及び「真背景画像領域」という相反する情報を学習するため、そのどちらにも指定ができていない領域については、「物品群画像領域」に近い領域は「物品群画像領域」として、「真背景画像領域」に近い領域は「真背景画像領域」として検知してしまう可能性がある。そのため、２つの「物品群画像領域」に挟まれているような狭い空きスペースに対応する画像領域を物品群画像領域の一部として検知してしまう可能性がある。これは、狭い空きスペースに対応する画像からは背景画像であることを検知するために十分な情報が得られないケースが多いと考えられるためである。
　なお、上記の第２モデルの学習データは、第１モデルの学習データと異なり、「真背景画像領域」が指定された物品棚画像を含まないか又は含んでいたとしてもその数が少ない。
　以上のように、検知装置１０は、互いに検知特性の異なる「第１モデル」及び「第２モデル」を用いて、撮影画像における物品群の画像に対応する画像領域を検知する。これにより、画像領域の検知精度を向上させることができる。
　＜検知装置の構成例＞
　図１は、第１実施形態における検知装置の一例を示すブロック図である。図１において検知装置１０は、検知部（第１検知部）１１と、検知部（第２検知部）１２と、特定部１３と、指標算出部１４と、決定部１５とを有している。検知装置１０は、撮影画像を取得する。この撮影画像は、例えば、物品棚が撮影された物品棚画像である。以下では、撮影画像が物品棚画像であることを前提に説明する。この物品棚は、複数の棚段を有している。
　検知部（第１検知部）１１は、撮影画像に対して第１モデルを適用することによって、撮影画像における「第１画像領域」を検知する。
　検知部（第２検知部）１２は、撮影画像に対して第２モデルを適用することによって、撮影画像における「第２画像領域」を検知する。
　特定部１３は、撮影画像において複数の棚段にそれぞれ対応する複数の「棚段画像領域」を特定する。１つの棚段に対応する棚段画像領域は、例えば、該１つの棚段の棚板と該１つの棚段の直ぐ上の棚段の棚板との間の空間に対応する画像領域である。
　指標算出部１４は、各棚段画像領域における、第１画像領域と第２画像領域との「乖離に関連する指標」を算出する。「乖離に関連する指標」の具体例については第２実施形態で説明する。
　決定部１５は、各棚段画像領域における第１画像領域及び第２画像領域のうちから、各棚段画像領域について算出された上記の指標に基づいて、各棚段画像領域について採用する検知結果を決定する。
　＜検知装置の動作例＞
　以上の構成を有する検知装置１０の処理動作の一例について説明する。図２は、第１実施形態における検知装置の処理動作の一例を示すフローチャートである。
　検知部１１は、撮影画像に対して第１モデルを適用することによって、撮影画像における第１画像領域を検知する（ステップＳ１０１）。
　検知部１２は、撮影画像に対して第２モデルを適用することによって、撮影画像における第２画像領域を検知する（ステップＳ１０２）。
　特定部１３は、撮影画像において複数の棚段にそれぞれ対応する複数の棚段画像領域を特定する（ステップＳ１０３）。
　指標算出部１４は、各棚段画像領域における、第１画像領域と第２画像領域との乖離に関連する指標を算出する（ステップＳ１０４）。
　決定部１５は、各棚段画像領域における第１画像領域及び第２画像領域のうちから、各棚段画像領域について算出された指標に基づいて、各棚段画像領域について採用する検知結果を決定する（ステップＳ１０５）。
　以上で説明したように第１実施形態によれば、検知装置１０は、互いに検知特性の異なる「第１モデル」及び「第２モデル」を用いて、撮影画像における物品群画像領域を検知する。これにより、一方のモデルの不得意な検知対象の検知を他方のモデルが補うことができるので、物品群画像領域の検知精度を向上させることができる。
　また、検知装置１０にて指標算出部１４は、各棚段画像領域における、第１画像領域と第２画像領域との「乖離に関連する指標」を算出する。決定部１５は、各棚段画像領域における第１画像領域及び第２画像領域のうちから、各棚段画像領域について算出された指標に基づいて、各棚段画像領域について採用する検知結果を決定する。
　この検知装置１０の構成により、物品群画像領域の検知精度を向上させることができる。すなわち、上記の指標が一の棚段画像領域における第１画像領域と第２画像領域との乖離が大きいことを示している場合、該棚段画像領域には奥の方に位置する物品まで写っている可能性が高い。このような棚段画像領域に対して第２モデルを適用した場合、奥の方に位置する物品に対応する画像領域を精度良く検知できない可能性がある。一方で、このような棚段画像領域に対して第１モデルを適用した場合、奥の方に位置する物品に対応する画像領域を精度良く検知できる可能性が高い。このため、このような場合には、検知装置１０は、該一の棚段画像領域については第１モデルを適用することによって得られた第１画像領域を検知結果として採用することができる。これに対して、上記の指標が一の棚段画像領域における第１画像領域と第２画像領域との乖離が小さいことを示している場合、該棚段画像領域には奥の方に位置する物品はほとんど写っていない可能性が高い。このような棚段画像領域に対して第２モデルを適用した場合、前側に位置する商品群に対応する画像領域を精度良く検知できる可能性が高い。このため、このような場合には、検知装置１０は、該一の棚段画像領域については第２モデルを適用することによって得られた第２画像領域を検知結果として採用することができる。このため、一方のモデルの不得意な検知対象の検知を他方のモデルが補うことができるので、物品群画像領域の検知精度を向上させることができる。
＜第２実施形態＞
　第２実施形態は、第１実施形態の内容をより具体化する実施形態に関する。
　図３は、第２実施形態における検知装置の一例を示すブロック図である。図３において検知装置２０は、検知部（第１検知部）２１と、検知部（第２検知部）２２と、特定部２３と、指標算出部２４と、決定部２５とを有している。検知装置２０は、撮影画像を取得する。この撮影画像は、例えば、物品棚が撮影された物品棚画像である。以下では、撮影画像が物品棚画像であることを前提に説明する。この物品棚は、複数の棚段を有している。
　検知部２２は、第１実施形態の検知部１２と同様に、撮影画像に対して第２モデルを適用することによって、撮影画像（つまり、物品棚画像）における第２画像領域を検知する。
　図４Ａは、物品棚画像の一例を示す図である。図４Ｂは、第２画像領域の一例を示す図である。
　図４Ａには、ペットボトル飲料が陳列された棚の物品棚画像が示されている。図４Ａの物品棚画像に写されている物品棚は、４つの棚段を有している。上から３つの棚段では、物品としてのペットボトルが立った姿勢で配置されている。一番下の棚段では、ペットボトルが横に寝た状態で且つ重ねられた状態で配置されている。上から３つの棚段ではペットボトルの上方に広がるスペースが狭い一方で、一番下の棚段ではペットボトルの上方に広がるスペースが広い。このため、上から３つの棚段の画像では奥のペットボトルの大部分が前側のペットボトルに隠れている一方、一番下の棚段の画像では奥の方のペットボトルまで写されている。
　図４Ａの物品棚画像に対して第２モデルを適用した結果が図４Ｂに示されている。図４Ｂにおいて、網掛けで表された領域が、第２画像領域に相当する。
　図４Ｂを見て分かるように、第２モデルは、上から３つの棚段の画像では、ペットボトル群に対応する物品群画像領域を精度良く検出できている。この結果、第２モデルは、２つの物品群画像領域に挟まれているような狭い空きスペースに対応する画像領域であっても精度良く検出することができる。
　一方で、図４Ｂを見て分かるように、一番下の棚段の画像では、前側に位置するペットボトル群に対応する物品群画像領域を検出することはできているが、奥の方に位置するペットボトル群に対応する物品群画像領域を検出できていない。
　検知部２１は、第１実施形態の検知部１１と同様に、撮影画像に対して第１モデルを適用することによって、撮影画像における「第１画像領域」を検知する。
　図４Ｃは、第１画像領域の一例を示す図である。図４Ｃにおいて、棚段画像領域ＳＡ１４における網掛けで表された領域が、第１画像領域に相当する。図４Ｃを見て分かるように、モデル１は、棚段画像領域ＳＡ１４（つまり、一番下の棚段の画像）において、前側に位置するペットボトル群に対応する物品群画像領域だけでなく、奥の方に位置するペットボトル群に対応する物品群画像領域も精度良く検出できている。なお、図４Ｂ，４Ｃを見て分かるように、モデル１は、２つの物品群画像領域に挟まれているような狭い空きスペースＳＰ１に対応する画像領域を物品群画像領域の一部として検知してしまう可能性がある。
　図３の説明に戻り、特定部２３は、第１実施形態の特定部１３と同様に、撮影画像において複数の棚段にそれぞれ対応する複数の「棚段画像領域」を特定する。
　例えば、図４Ｂを見て分かるように、各棚段の画像における第２画像領域を規定する下側の線は、棚板と略平行な直線として現れている。すなわち、この直線を特定することによって、棚板に接するペットボトルの面に対応するラインを特定することができる。
　このため、特定部２３は、各棚段の画像における第２画像領域を規定する下側のラインを特定し、隣り合う２つのラインで挟まれる画像領域を「棚段画像領域」として特定してもよい。
　又は、例えば、特定部２３は、パタンマッチング等によって棚板の前面画像を直接的に特定してもよい。この棚板の前面画像も、棚板に接するペットボトルの面に対応するラインとして特定することができる。そして、特定部２３は、隣り合う２つのラインで挟まれる画像領域を「棚段画像領域」として特定してもよい。なお、図４Ｂにおいてそれぞれ枠で囲まれた画像領域ＳＡ１１，ＳＡ１２，ＳＡ１３，ＳＡ１４は、それぞれ、棚段画像領域の例である。
　指標算出部２４は、第１実施形態の指標算出部１４と同様に、撮各棚段画像領域における、第１画像領域と第２画像領域との「乖離に関連する指標」を算出する。
　例えば、指標算出部２４は、各棚段画像領域における第２画像領域の面積に対する第１画像領域の面積の比率を、「乖離に関連する指標」として算出してもよい。例えば、図４Ｂ，４Ｃの例では、棚段画像領域ＳＡ１１，ＳＡ１２，ＳＡ１３については、第２画像領域の面積に対する第１画像領域の面積の比率は、１に近い。これは、棚段画像領域ＳＡ１１，ＳＡ１２，ＳＡ１３では、第２画像領域の面積と第１画像領域の面積とが略等しくなるためである。一方で、棚段画像領域ＳＡ１４については、第２画像領域の面積に対する第１画像領域の面積の比率は、棚段画像領域ＳＡ１１，ＳＡ１２，ＳＡ１３についての比率よりも大きくなる。これは、棚段画像領域ＳＡ１４では、第２画像領域の面積と第１画像領域の面積との差が大きく異なるためである。
　決定部２５は、第１実施形態の決定部１５と同様に、各棚段画像領域における第１画像領域及び第２画像領域のうちから、各棚段画像領域について算出された上記の指標に基づいて、各棚段画像領域について採用する検知結果を決定する。
　例えば、決定部２５は、各棚段画像領域における第２画像領域の面積に対する第１画像領域の面積の比率に基づいて、各棚段画像領域について採用する検知結果を決定する。具体的には、決定部２５は、上記の比率が閾値以上である棚段画像領域については、第１画像領域を採用する検知結果として決定する。すなわち、棚段画像領域ＳＡ１４については、決定部２５は、第１画像領域を採用する検知結果として決定する。一方、決定部２５は、比率が閾値未満である棚段画像領域については、第２画像領域を採用する検知結果として決定する。すなわち、棚段画像領域ＳＡ１１，ＳＡ１２，ＳＡ１３については、決定部２５は、第２画像領域を採用する検知結果として決定する。
＜第３実施形態＞
　第３実施形態は、空きスペースの特定に関する。
　図５は、第３実施形態における検知装置の一例を示すブロック図である。図５において検知装置３０は、検知部（第１検知部）１１と、検知部（第２検知部）１２と、特定部１３と、指標算出部１４と、決定部１５と、統合部３１と、スペース特定部３２とを有している。
　統合部３１は、各棚段画像領域について採用された検知結果を統合して「統合画像」を得る。例えば、上記の図４Ｂ，４Ｃのケースでは、第２モデルによって検知された棚段画像領域ＳＡ１１，ＳＡ１２，ＳＡ１３における第２画像領域と、第１モデルによって検知された棚段画像領域ＳＡ１４における第１画像領域とが統合されて「統合画像」が形成される。図６は、統合画像の一例を示す図である。
　スペース特定部３２は、統合画像に基づいて、各棚段において物品が配置されていない空きスペースを特定する。例えば、スペース特定部３２は、棚段画像領域から統合画像を差し引くことによって、空きスペースを特定してもよい。図６において、例えば、矩形枠で囲まれた部分（スペースＳＰ１，ＳＰ２，ＳＰ３，ＳＰ４）が、空きスペースに対応する。
　以上のように第３実施形態における検知装置３０は、第１モデル及び第２モデルをそれぞれ得意な検知対象である棚段画像領域に適用して得られた画像領域を統合した統合画像に基づいて空きスペースを特定するので、精度よく空きスペースを特定することができる。
　なお、ここでは、統合部３１及びスペース特定部３２を第１実施形態の検知装置１０に適用することを前提に説明を行ったが、本開示はこれに限定されない。統合部３１及びスペース特定部３２は、第２実施形態の検知装置２０に適用されてもよい。
　＜他の実施形態＞
　図７は、検知装置のハードウェア構成例を示す図である。図７において検知装置１００は、プロセッサ１０１と、メモリ１０２とを有している。プロセッサ１０１は、例えば、マイクロプロセッサ、MPU（Micro Processing Unit）、又はCPU（Central Processing Unit）であってもよい。プロセッサ１０１は、複数のプロセッサを含んでもよい。メモリ１０２は、揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。メモリ１０２は、プロセッサ１０１から離れて配置されたストレージを含んでもよい。この場合、プロセッサ１０１は、図示されていないI/Oインタフェースを介してメモリ１０２にアクセスしてもよい。
　第１実施形態から第３実施形態の検知装置１０，２０，３０は、それぞれ、図７に示したハードウェア構成を有することができる。第１実施形態から第３実施形態の検知装置１０，２０，３０の検知部１１，２１と、検知部１２，２２と、特定部１３，２３と、指標算出部１４，２４と、決定部１５，２５と、統合部３１と、スペース特定部３２とは、プロセッサ１０１がメモリ１０２に記憶されたプログラムを読み込んで実行することにより実現されてもよい。プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、検知装置１０，２０，３０に供給することができる。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）を含む。さらに、非一時的なコンピュータ可読媒体の例は、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗを含む。さらに、非一時的なコンピュータ可読媒体の例は、半導体メモリを含む。半導体メモリは、例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory）を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によって検知装置１０，２０，３０に供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムを検知装置１０，２０，３０に供給できる。
　以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　１０　検知装置
　１１　検知部（第１検知部）
　１２　検知部（第２検知部）
　１３　特定部
　１４　指標算出部
　１５　決定部
　２０　検知装置
　２１　検知部（第１検知部）
　２２　検知部（第２検知部）
　２３　特定部
　２４　指標算出部
　２５　決定部
　３０　検知装置
　３１　統合部
　３２　スペース特定部

Claims (10)

  1. 　対象画像において物品群が主に占有する物品主占有空間に基づく第１画像領域を識別する第１モデルを用いて、物品棚が撮影された撮影画像における前記第１画像領域を検知する第１検知部と、
    　対象画像において前側に配置された物品群の画像に対応する第２画像領域を識別する第２モデルを用いて、前記撮影画像における前記第２画像領域を検知する第２検知部と、
    　前記撮影画像において前記物品棚の複数の棚段にそれぞれ対応する複数の棚段画像領域を特定する特定部と、
    　各棚段画像領域における、前記第１画像領域と前記第２画像領域との乖離に関連する指標を算出する指標算出部と、
    　各棚段画像領域における前記第１画像領域及び前記第２画像領域のうちから、各棚段画像領域について算出された前記指標に基づいて、各棚段画像領域について採用する検知結果を決定する決定部と、
    　を具備する検知装置。
  2. 　前記指標算出部は、各棚段画像領域における前記第２画像領域の面積に対する前記第１画像領域の面積の比率を、前記指標として算出し、
    　前記決定部は、前記比率に基づいて、各棚段画像領域について採用する検知結果を決定する、
    　請求項１記載の検知装置。
  3. 　前記決定部は、
    　前記比率が閾値以上である棚段画像領域については、前記第１画像領域を前記採用する検知結果として決定し、
    　前記比率が前記閾値未満である棚段画像領域については、前記第２画像領域を前記採用する検知結果として決定する、
    　請求項２記載の検知装置。
  4. 　前記特定部は、前記第２画像領域おいて前記物品棚の棚板に接する物品の面に対応する複数のラインを特定し、前記複数のラインによって前記撮影画像を分割することによって、前記複数の棚段画像領域を特定する、
    　請求項１記載の検知装置。
  5. 　各棚段画像領域について採用された検知結果を統合して統合画像を得る統合部をさらに具備する、
    　請求項１記載の検知装置。
  6. 　前記統合画像に基づいて、各棚段において物品が配置されていない空きスペースを特定するスペース特定部をさらに具備する、
    　請求項５記載の検知装置。
  7. 　対象画像において物品群が主に占有する物品主占有空間に基づく第１画像領域を識別する第１モデルを用いて、物品棚が撮影された撮影画像における前記第１画像領域を検知することと、
    　対象画像において前側に配置された物品群の画像に対応する第２画像領域を識別する第２モデルを用いて、前記撮影画像における前記第２画像領域を検知することと、
    　前記撮影画像において前記物品棚の複数の棚段にそれぞれ対応する複数の棚段画像領域を特定することと、
    　各棚段画像領域における、前記第１画像領域と前記第２画像領域との乖離に関連する指標を算出することと、
    　各棚段画像領域における前記第１画像領域及び前記第２画像領域のうちから、各棚段画像領域について算出された前記指標に基づいて、各棚段画像領域について採用する検知結果を決定することと、
    　を含む検知方法。
  8. 　前記算出することは、各棚段画像領域における前記第２画像領域の面積に対する前記第１画像領域の面積の比率を、前記指標として算出することを含み、
    　前記決定することは、前記比率に基づいて、各棚段画像領域について採用する検知結果を決定することを含む、
    　請求項７記載の検知方法。
  9. 　対象画像において物品群が主に占有する物品主占有空間に基づく第１画像領域を識別する第１モデルを用いて、物品棚が撮影された撮影画像における前記第１画像領域を検知することと、
    　対象画像において前側に配置された物品群の画像に対応する第２画像領域を識別する第２モデルを用いて、前記撮影画像における前記第２画像領域を検知することと、
    　前記撮影画像において前記物品棚の複数の棚段にそれぞれ対応する複数の棚段画像領域を特定することと、
    　各棚段画像領域における、前記第１画像領域と前記第２画像領域との乖離に関連する指標を算出することと、
    　各棚段画像領域における前記第１画像領域及び前記第２画像領域のうちから、各棚段画像領域について算出された前記指標に基づいて、各棚段画像領域について採用する検知結果を決定することと、
    　を含む処理を、検知装置に実行させるプログラムが格納された非一時的なコンピュータ可読媒体。
  10. 　前記算出することは、各棚段画像領域における前記第２画像領域の面積に対する前記第１画像領域の面積の比率を、前記指標として算出することを含み、
    　前記決定することは、前記比率に基づいて、各棚段画像領域について採用する検知結果を決定することを含む、
    　請求項９記載の非一時的なコンピュータ可読媒体。
PCT/JP2023/012481 2023-03-28 2023-03-28 検知装置、検知方法、及び非一時的なコンピュータ可読媒体 Ceased WO2024201705A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2023/012481 WO2024201705A1 (ja) 2023-03-28 2023-03-28 検知装置、検知方法、及び非一時的なコンピュータ可読媒体
JP2025509327A JP7823791B2 (ja) 2023-03-28 2023-03-28 検知装置、検知方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2023/012481 WO2024201705A1 (ja) 2023-03-28 2023-03-28 検知装置、検知方法、及び非一時的なコンピュータ可読媒体

Publications (1)

Publication Number Publication Date
WO2024201705A1 true WO2024201705A1 (ja) 2024-10-03

Family

ID=92904292

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/012481 Ceased WO2024201705A1 (ja) 2023-03-28 2023-03-28 検知装置、検知方法、及び非一時的なコンピュータ可読媒体

Country Status (2)

Country Link
JP (1) JP7823791B2 (ja)
WO (1) WO2024201705A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019087792A1 (ja) * 2017-10-30 2019-05-09 パナソニックＩｐマネジメント株式会社 棚札検出装置、棚札検出方法、及び、棚札検出プログラム
JP2020187438A (ja) * 2019-05-10 2020-11-19 株式会社マーケットヴィジョン 画像処理システム
WO2022024341A1 (ja) * 2020-07-31 2022-02-03 日本電気株式会社 商品検知装置、商品検知システム、商品検知方法および記録媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019087792A1 (ja) * 2017-10-30 2019-05-09 パナソニックＩｐマネジメント株式会社 棚札検出装置、棚札検出方法、及び、棚札検出プログラム
JP2020187438A (ja) * 2019-05-10 2020-11-19 株式会社マーケットヴィジョン 画像処理システム
WO2022024341A1 (ja) * 2020-07-31 2022-02-03 日本電気株式会社 商品検知装置、商品検知システム、商品検知方法および記録媒体

Also Published As

Publication number Publication date
JPWO2024201705A1 (ja) 2024-10-03
JP7823791B2 (ja) 2026-03-04

Similar Documents

Publication Publication Date Title
US11281876B2 (en) Retail store with sensor-fusion enhancements
WO2020048492A1 (zh) 商品状态识别
US12536769B2 (en) System and method for matching products and determining spreads and plugs
US10902544B2 (en) Methods and arrangements for identifying objects
CN110472515B (zh) 货架商品检测方法及系统
US9129277B2 (en) Methods and arrangements for identifying objects
CA2888153C (en) Methods and arrangements for identifying objects
US20190188435A1 (en) Methods and arrangements for identifying objects
US9367770B2 (en) Methods and arrangements for identifying objects
EP2751748B1 (en) Methods and arrangements for identifying objects
US20150310601A1 (en) Methods and arrangements for identifying objects
CN110472486B (zh) 一种货架障碍物识别方法、装置、设备及可读存储介质
US10565703B2 (en) Image inspection device, image inspection method, and image inspection program
US20140100916A1 (en) Allocating commodity shelves in a supermarket
CN111161346B (zh) 将商品在货架中进行分层的方法、装置和电子设备
TWI578272B (zh) Shelf detection system and method
US9170682B2 (en) Image processing method for optical touch system
CN113627415B (zh) 确定目标对象摆放信息的方法及装置
JP7130945B2 (ja) 在庫検出プログラム、在庫検出方法及び在庫検出装置
CN113269053B (zh) 商品的货架层列获取方法、终端、存储装置
US20080154736A1 (en) Method for determining product length for use in regulating transactions in a self-checkout conveyer system
JP7459947B2 (ja) 商品検知装置、商品検知システム、商品検知方法および商品検知プログラム
WO2024201705A1 (ja) 検知装置、検知方法、及び非一時的なコンピュータ可読媒体
WO2024201704A1 (ja) 検知装置、検知方法、及び非一時的なコンピュータ可読媒体
WO2024201706A1 (ja) 検知装置、検知方法、及び非一時的なコンピュータ可読媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23930345

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2025509327

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2025509327

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 23930345

Country of ref document: EP

Kind code of ref document: A1