WO2024201704A1 - 検知装置、検知方法、及び非一時的なコンピュータ可読媒体 - Google Patents

検知装置、検知方法、及び非一時的なコンピュータ可読媒体 Download PDF

Info

Publication number
WO2024201704A1
WO2024201704A1 PCT/JP2023/012479 JP2023012479W WO2024201704A1 WO 2024201704 A1 WO2024201704 A1 WO 2024201704A1 JP 2023012479 W JP2023012479 W JP 2023012479W WO 2024201704 A1 WO2024201704 A1 WO 2024201704A1
Authority
WO
WIPO (PCT)
Prior art keywords
image area
shelf
image
item
shelf level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2023/012479
Other languages
English (en)
French (fr)
Inventor
八栄子 米澤
俊介 山本
裕司 田原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2025509326A priority Critical patent/JPWO2024201704A5/ja
Priority to PCT/JP2023/012479 priority patent/WO2024201704A1/ja
Publication of WO2024201704A1 publication Critical patent/WO2024201704A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation

Definitions

  • the present disclosure relates to a detection device, a detection method, and a non-transitory computer-readable medium.
  • a technology has been proposed that uses a single trained discrimination model to detect areas in an image of a group of items, such as merchandise, where the group of items is present in a continuous manner (for example, Patent Document 1).
  • a single classification model may not provide sufficient accuracy in detecting an image region.
  • a classification model usually has objects that it is good at detecting and objects that it is not good at detecting. For this reason, the inventor has found that it is possible to improve the accuracy in detecting an image region by applying a first model and a second model with different characteristics to an image of a group of items.
  • One of the objectives of the present disclosure is to provide a detection device, a detection method, and a non-transitory computer-readable medium that can improve the detection accuracy of an image region. It should be noted that this objective is only one of multiple objectives that the multiple embodiments disclosed in this specification aim to achieve. Other objectives or problems and novel features will become apparent from the description of this specification or the accompanying drawings.
  • the sensing device comprises: a first detection unit that detects a second image area in a captured image of an item shelf by using a first model that identifies a first image area based on an item main occupied space that is mainly occupied by an item group in the target image, and a second model that identifies a second image area corresponding to an image of an item group arranged in the front side in the target image; an identification unit that identifies a plurality of shelf level image areas in the captured image, each of which corresponds to a plurality of shelf levels of the item shelf; an average value calculation unit that calculates an average value of the heights of the second image areas corresponding to a height direction of the item shelf in each shelf level image area; a determination unit that determines a processing target image area from among the plurality of shelf level image areas based on the average value in each shelf level image area and the height of each shelf level image area; a second detection unit that detects the first image area in the processing target image area by applying the first model to the processing target image
  • the method of detection comprises: Detecting the second image area in the captured image of the item shelf using a first model that identifies a first image area based on an item main occupied space that is mainly occupied by an item group in the target image, and a second model that identifies a second image area corresponding to an image of an item group arranged in the front side in the target image; Identifying a plurality of shelf level image areas in the captured image, each of which corresponds to a plurality of shelf levels of the item shelf; Calculating an average value of the height of the second image area corresponding to the height direction of the item shelf in each shelf level image area; determining a processing target image area from among the plurality of shelf level image areas based on the average value in each shelf level image area and the height of each shelf level image area; detecting the first image region in the target image region by applying the first model to the target image region; Includes.
  • a non-transitory computer readable medium comprises: Detecting the second image area in the captured image of the item shelf using a first model that identifies a first image area based on an item main occupied space that is mainly occupied by an item group in the target image, and a second model that identifies a second image area corresponding to an image of an item group arranged in the front side in the target image; Identifying a plurality of shelf level image areas in the captured image, each of which corresponds to a plurality of shelf levels of the item shelf; Calculating an average value of the height of the second image area corresponding to the height direction of the item shelf in each shelf level image area; determining a processing target image area from among the plurality of shelf level image areas based on the average value in each shelf level image area and the height of each shelf level image area; detecting the first image region in the target image region by applying the first model to the target image region; The program for causing the detection device to execute the process including the steps described above is stored.
  • the present disclosure provides a detection device, a detection method, and a non-transitory computer-readable medium that can improve the accuracy of detecting an image area.
  • FIG. 2 is a block diagram showing an example of a detection device according to the first embodiment.
  • 4 is a flowchart showing an example of a processing operation of the detection device in the first embodiment.
  • FIG. 11 is a block diagram showing an example of a detection device according to a second embodiment.
  • FIG. 13 is a diagram showing an example of an item shelf image.
  • FIG. 11 is a diagram illustrating an example of a second image area.
  • FIG. 4 is a diagram illustrating an example of a first image area.
  • FIG. 13 is a block diagram showing an example of a detection device according to a third embodiment.
  • FIG. 13 is a diagram illustrating an example of an integrated image.
  • FIG. 2 illustrates an example of a hardware configuration of a detection device.
  • the detection device 10 in the first embodiment detects an image area corresponding to an image of a group of items in a "captured image” by using, for example, a "first model” and a “second model” that have different detection characteristics from each other.
  • the "captured image” is, for example, an image of an item shelf (hereinafter, may be referred to as an "item shelf image").
  • second model is a model that identifies an image area (hereinafter sometimes referred to as the “second image area” or “second item group image area”) that corresponds to the image of the item group placed in the foreground in the target image.
  • image of the item group may be referred to as the “item group image.”
  • the second model may be a trained model trained using training data that includes the following images: - An image showing one side of the entire item. An item shelf image in which an image area corresponding to an item group image of an item group arranged in the front row of each shelf in the item shelf image is designated as an "item group image area.”
  • a large portion of one side of the item (e.g., more than half of one side) is usually shown in the item shelf image.
  • the second model can accurately detect image areas corresponding to products located at the front of each shelf level, but may not be able to accurately detect image areas corresponding to products located behind the products at the front and with most of one side hidden.
  • first model is a model that identifies an image area (hereinafter, sometimes referred to as the “first image area” or “first item group image area”) based on the space that is primarily occupied by the item group in the target image (hereinafter, sometimes referred to as the "item main occupied space”).
  • the first model may be a trained model trained using training data that includes the following images: - An image showing one side of the entire item.
  • An item shelf image in which an image area corresponding to an item group image of an item group arranged in the front row of each shelf in the item shelf image is designated as an "item group image area.”
  • An item shelf image in which an image area corresponding to an "image equivalent to the true background (hereinafter sometimes referred to as a "true background image”)" in the item shelf image is designated as a "true background image area.”
  • the "true background image area” includes the image area corresponding to the image of the back panel, side panel, or shelf of the item shelf that is shown in the item shelf image without being hidden by the shadow of the item.
  • the first model has the characteristic of being able to accurately detect image areas that are likely to be background images (for example, image areas corresponding to large empty spaces where no items are placed) and image areas corresponding to the above-mentioned space mainly occupied by items.
  • the first model learns the contradictory information of "item group image areas” and "true background image areas,” for areas that cannot be designated as either, there is a possibility that the model will detect areas close to "item group image areas” as “item group image areas” and areas close to "true background image areas” as “true background image areas.” As a result, there is a possibility that the model will detect an image area that corresponds to a narrow empty space sandwiched between two "item group image areas" as part of the item group image area. This is because it is thought that in many cases, sufficient information cannot be obtained from an image that corresponds to a narrow empty space to detect that it is a background image.
  • the detection device 10 detects an image area corresponding to an image of a group of items in a captured image using a "first model” and a “second model” that have different detection characteristics. This makes it possible to improve the detection accuracy of the image area.
  • Fig. 1 is a block diagram showing an example of a detection device in the first embodiment.
  • the detection device 10 has a detection unit (first detection unit) 11, an identification unit 12, an average value calculation unit 13, a detection unit (second detection unit) 14, and a determination unit 15.
  • the detection device 10 acquires a captured image.
  • This captured image is, for example, an item shelf image of an item shelf. The following description will be given on the assumption that the captured image is an item shelf image.
  • This item shelf has a plurality of shelf levels.
  • the detection unit 11 detects the second image area in the captured image by applying the second model to the captured image.
  • the identification unit 12 identifies a number of "shelf level image areas" in the captured image, each of which corresponds to a number of shelf levels.
  • a shelf level image area corresponding to one shelf level is, for example, an image area corresponding to the space between the shelf board of that shelf level and the shelf board of the shelf level immediately above that shelf level.
  • the average value calculation unit 13 calculates the average value of the height of the second image area in each shelf level image area.
  • the height of the second image area is the length of the second image area corresponding to the height direction of the item shelf.
  • the determination unit 15 determines an image area to be processed by the detection unit 14 from among the multiple shelf level image areas based on the average value of the height of the second image area in each shelf level image area and the height of each shelf level image area.
  • the height of the shelf level image area is the length of the shelf level image area corresponding to the height direction of the item shelf.
  • Fig. 2 is a flowchart showing an example of the processing operation of the detection device in the first embodiment.
  • the detection unit 11 detects a second image area in the captured image by applying the second model to the captured image (step S101).
  • the identification unit 12 identifies a number of shelf level image areas in the captured image that respectively correspond to a number of shelf levels (step S102).
  • the average value calculation unit 13 calculates the average value of the height of the second image area in each shelf image area (step S103).
  • the determination unit 15 determines an image area to be processed by the detection unit 14 from among the multiple shelf level image areas based on the average value of the height of the second image area in each shelf level image area and the height of each shelf level image area (step S104).
  • the detection unit 14 detects the first image area in the processing target image area determined by the determination unit 15 by applying the first model to the processing target image area (step S105).
  • the detection device 10 detects an item group image area in a captured image using a "first model” and a “second model” that have different detection characteristics. This allows one model to compensate for the weaknesses of the other model in detecting objects, thereby improving the detection accuracy of the item group image area.
  • the detection unit 11 of the detection device 10 detects a second image area in the captured image by applying a second model to the captured image.
  • the determination unit 15 determines an image area to be processed by the detection unit 14 from among the multiple shelf level image areas based on the average value of the heights of the second image areas in each shelf level image area and the height of each shelf level image area.
  • the detection unit 14 detects a first image area in the image area to be processed by applying a first model to the image area to be processed determined by the determination unit 15.
  • the second model is a model that identifies a second image area that corresponds to an image of a group of items arranged at the front in the target image.
  • the first model is a model that identifies a first image area in the target image based on the main occupied space of the items.
  • the configuration of the detection device 10 can improve the detection accuracy of the item group image area. That is, for example, if the average value of the height of the second image area in the shelf image area is sufficiently small compared to the height of the shelf image area, it is highly likely that even items located at the back are captured in the shelf image area.
  • the second model is applied to such a shelf image area, it is possible that the image area corresponding to the items located at the back cannot be detected with high accuracy.
  • the first model is applied to such a shelf image area, it is highly likely that the image area corresponding to the items located at the back can be detected with high accuracy.
  • the average value of the height of the second image area in the shelf image area is sufficiently large compared to the height of the shelf image area, it is highly likely that almost no items located at the back are captured in the shelf image area.
  • the second model is applied to such a shelf image area, it is highly likely that the image area corresponding to the product group located at the front can be detected with high accuracy. Therefore, one model can compensate for the poor detection of the detection target of the other model, so that the detection accuracy of the item group image area can be improved.
  • the second embodiment relates to an embodiment that embodies the contents of the first embodiment more specifically.
  • FIG. 3 is a block diagram showing an example of a detection device in the second embodiment.
  • the detection device 20 has a detection unit (first detection unit) 21, an identification unit 22, an average value calculation unit 23, a detection unit (second detection unit) 24, and a determination unit 25.
  • the detection device 20 acquires a captured image in the same manner as the detection device 10 in the first embodiment.
  • This captured image is, for example, an item shelf image in which an item shelf is captured. The following description will be given on the assumption that the captured image is an item shelf image.
  • This item shelf has multiple shelf levels.
  • the detection unit 21 detects a second image area in the captured image (i.e., the item shelf image) by applying a second model to the captured image.
  • FIG. 4A is a diagram showing an example of an item shelf image.
  • FIG. 4B is a diagram showing an example of a second image area.
  • Figure 4A shows an item shelf image of a shelf where PET bottled drinks are displayed.
  • the item shelf shown in the item shelf image in Figure 4A has four shelf levels.
  • PET bottles are arranged in an upright position as items.
  • PET bottles are arranged lying on their sides and stacked.
  • the space above the PET bottles is narrow, while on the bottom shelf level, the space above the PET bottles is wide. For this reason, in the image of the top three shelf levels, most of the PET bottles at the back are hidden by the PET bottles in front, while in the image of the bottom shelf level, even the PET bottles at the back are visible.
  • FIG. 4B The result of applying the second model to the item shelf image in FIG. 4A is shown in FIG. 4B.
  • the shaded area corresponds to the second image area.
  • the second model is able to accurately detect the item group image area corresponding to the plastic bottles in the images of the top three shelves.
  • the second model can accurately detect even image areas corresponding to narrow empty spaces such as those sandwiched between two item group image areas.
  • the identification unit 22 like the identification unit 12 of the first embodiment, identifies a number of "shelf level image areas" in the captured image that respectively correspond to a number of shelf levels.
  • the lower line that defines the second image area in the image of each shelf appears as a straight line that is approximately parallel to the shelf. In other words, by identifying this straight line, it is possible to identify the line that corresponds to the surface of the plastic bottle that is in contact with the shelf.
  • the identification unit 22 may identify the lower line that defines the second image area in the image of each shelf level, and identify the image area sandwiched between two adjacent lines as the "shelf level image area.”
  • the identification unit 22 may directly identify the front image of the shelf by pattern matching or the like. This front image of the shelf can also be identified as a line corresponding to the surface of the plastic bottle in contact with the shelf. The identification unit 22 may then identify the image area sandwiched between two adjacent lines as a "shelf level image area.” Note that image areas SA11, SA12, SA13, and SA14, each surrounded by a frame in FIG. 4B, are each an example of a shelf level image area.
  • the average value calculation unit 23 like the average value calculation unit 13 in the first embodiment, calculates the average value of the heights of the second image areas in each shelf level image area.
  • the height of the second image area is the length of the second image area corresponding to the height direction of the item shelf.
  • the determination unit 25 determines an image area to be processed by the detection unit 24 from among the multiple shelf level image areas based on the average value of the height of the second image area in each shelf level image area and the height of each shelf level image area.
  • the determination unit 25 has a specific processing unit 25A and a determination processing unit 25B.
  • the identification processing unit 25A identifies the length of each shelf level image area corresponding to the height direction of the item shelf as the height ( ⁇ ) of each shelf level image area.
  • the determination processing unit 25B calculates a "reference value" for each identified shelf level image area by multiplying the height ( ⁇ ) of each identified shelf level image area by a predetermined ratio (e.g., 0.6). The determination processing unit 25B then determines the image area to be processed by comparing the calculated "reference value" for each shelf level image area with the average value of the height of the second image area corresponding to each shelf level image area. For example, the determination processing unit 25B determines the shelf level image area corresponding to the second image area having an average value smaller than the "reference value" as the image area to be processed by the detection unit 24. In the example of FIG. 4B, the determination processing unit 25B determines the shelf level image area SA14 as the image area to be processed by the detection unit 24.
  • the detection unit 24 detects the first image area in the processing target image area by applying the first model to the processing target image area determined by the determination unit 25.
  • FIG. 4C is a diagram showing an example of the first image area.
  • the shaded area in shelf level image area SA14 corresponds to the first image area.
  • model 1 can accurately detect not only the item group image area corresponding to the PET bottle group located at the front in shelf level image area SA14 (i.e., the image of the bottom shelf), but also the item group image area corresponding to the PET bottle group located at the back.
  • FIG. 4C also shows the results of applying model 1 to shelf level image areas SA11, SA12, and SA13.
  • model 1 may detect an image area corresponding to a narrow empty space SP1, such as that sandwiched between two item group image areas, as part of the item group image area.
  • the third embodiment relates to identifying free space.
  • FIG. 5 is a block diagram showing an example of a detection device in the third embodiment.
  • the detection device 30 has a detection unit (first detection unit) 11, an identification unit 12, an average value calculation unit 13, a detection unit (second detection unit) 14, a determination unit 15, an integration unit 31, and a space identification unit 32.
  • the integration unit 31 integrates a first image area in the processing target image area detected by the detection unit 14 with a second image area in each shelf level image area other than the processing target image area detected by the detection unit 11 to obtain an "integrated image.”
  • the second image area in the shelf level image areas SA11, SA12, and SA13 detected by the second model and the first image area in the shelf level image area SA14 detected by the first model are integrated to form an "integrated image.”
  • Figure 6 is a diagram showing an example of an integrated image.
  • the space identifying unit 32 identifies free space on each shelf level where no items are placed, based on the integrated image. For example, the space identifying unit 32 may identify free space by subtracting the integrated image from the shelf level image area. In FIG. 6, for example, the areas surrounded by rectangular frames (spaces SP1, SP2, SP3, and SP4) correspond to free space.
  • the detection device 30 in the third embodiment identifies free space based on an integrated image obtained by applying the first model and the second model to the shelf image areas, which are the detection targets that the model is good at, and integrating the image areas obtained, so that free space can be identified with high accuracy.
  • the description here is based on the assumption that the integration unit 31 and the space identification unit 32 are applied to the detection device 10 of the first embodiment, the present disclosure is not limited to this.
  • the integration unit 31 and the space identification unit 32 may also be applied to the detection device 20 of the second embodiment.
  • Fig. 7 is a diagram showing an example of a hardware configuration of a detection device.
  • the detection device 100 has a processor 101 and a memory 102.
  • the processor 101 may be, for example, a microprocessor, a micro processing unit (MPU), or a central processing unit (CPU).
  • the processor 101 may include a plurality of processors.
  • the memory 102 is configured by a combination of a volatile memory and a non-volatile memory.
  • the memory 102 may include a storage located away from the processor 101. In this case, the processor 101 may access the memory 102 via an I/O interface not shown.
  • the detection devices 10, 20, and 30 of the first to third embodiments may each have the hardware configuration shown in FIG. 7.
  • the detection units 11 and 21, the identification units 12 and 22, the average value calculation units 13 and 23, the detection units 14 and 24, the determination units 15 and 25, the integration unit 31, and the space identification unit 32 of the detection devices 10, 20, and 30 of the first to third embodiments may be realized by the processor 101 reading and executing a program stored in the memory 102.
  • the program can be stored using various types of non-transitory computer readable medium and supplied to the detection devices 10, 20, and 30.
  • Examples of non-transitory computer readable media include magnetic recording media (e.g., flexible disks, magnetic tapes, hard disk drives) and magneto-optical recording media (e.g., magneto-optical disks).
  • Detection device 11 Detection unit (first detection unit) 12 Identification unit 13 Average value calculation unit 14 Detection unit (second detection unit) 15 Determination unit 20 Detection device 21 Detection unit (first detection unit) 22 Identification unit 23 Average value calculation unit 24 Detection unit (second detection unit) 25 Determination unit 25A Identification processing unit 25B Determination processing unit 30 Detection device 31 Integration unit 32 Space identification unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

検知装置（１０）にて検知部（１１）は、撮影画像に対して第２モデルを適用することによって、撮影画像における第２画像領域を検知する。決定部（１５）は、各棚段画像領域における第２画像領域の高さの平均値と、各棚段画像領域の高さとに基づいて、複数の棚段画像領域の中から、検知部（１４）の処理対象画像領域を決定する。検知部（１４）は、決定部（１５）にて決定された処理対象画像領域に対して第１モデルを適用することによって処理対象画像領域における第１画像領域を検知する。第２モデルは、対象画像において前側に配置された物品群の画像に対応する第２画像領域を識別するモデルである。第１モデルは、対象画像において物品主占有空間に基づく第１画像領域を識別するモデルである。

Description

検知装置、検知方法、及び非一時的なコンピュータ可読媒体
　本開示は、検知装置、検知方法、及び非一時的なコンピュータ可読媒体に関する。
　学習済みの１つの識別モデルを用いて、商品等の物品群の画像において物品群が連続的に存在する領域を検出する技術が提案されている（例えば、特許文献１）。
特開２０２１－１１７５３１号公報
　本発明者は、１つの識別モデルでは画像領域の検知精度が十分に得られない可能性があることを見出した。すなわち、通常、識別モデルは、得意な検知対象と不得意な検知対象とを有している。このため、本発明者は、特性の異なる第１モデル及び第２モデルを物品群の画像に適用することによって画像領域の検知精度を向上させることができることを見出だした。
　本開示の目的の１つは、画像領域の検知精度を向上させることができる、検知装置、検知方法、及び非一時的なコンピュータ可読媒体を提供することにある。なお、この目的は、本明細書に開示される複数の実施形態が達成しようとする複数の目的の１つに過ぎないことに留意されるべきである。その他の目的又は課題と新規な特徴は、本明細書の記述又は添付図面から明らかにされる。
　１つの態様では、検知装置は、
　対象画像において物品群が主に占有する物品主占有空間に基づく第１画像領域を識別する第１モデルと、対象画像において前側に配置された物品群の画像に対応する第２画像領域を識別する第２モデルとのうちの、前記第２モデルを用いて、物品棚が撮影された撮影画像における前記第２画像領域を検知する第１検知部と、
　前記撮影画像において前記物品棚の複数の棚段にそれぞれ対応する複数の棚段画像領域を特定する特定部と、
　各棚段画像領域における、前記物品棚の高さ方向に対応する前記第２画像領域の高さの平均値を算出する平均値算出部と、
　各棚段画像領域における前記平均値と、各棚段画像領域の高さとに基づいて、前記複数の棚段画像領域の中から、処理対象画像領域を決定する決定部と、
　前記処理対象画像領域に対して前記第１モデルを適用することによって前記処理対象画像領域における前記第１画像領域を検知する第２検知部と、
　を具備する。
　他の態様では、検知方法は、
　対象画像において物品群が主に占有する物品主占有空間に基づく第１画像領域を識別する第１モデルと、対象画像において前側に配置された物品群の画像に対応する第２画像領域を識別する第２モデルとのうちの、前記第２モデルを用いて、物品棚が撮影された撮影画像における前記第２画像領域を検知することと、
　前記撮影画像において前記物品棚の複数の棚段にそれぞれ対応する複数の棚段画像領域を特定することと、
　各棚段画像領域における、前記物品棚の高さ方向に対応する前記第２画像領域の高さの平均値を算出することと、
　各棚段画像領域における前記平均値と、各棚段画像領域の高さとに基づいて、前記複数の棚段画像領域の中から、処理対象画像領域を決定することと、
　前記処理対象画像領域に対して前記第１モデルを適用することによって前記処理対象画像領域における前記第１画像領域を検知することと、
　を含む。
　他の態様では、非一時的なコンピュータ可読媒体は、
　対象画像において物品群が主に占有する物品主占有空間に基づく第１画像領域を識別する第１モデルと、対象画像において前側に配置された物品群の画像に対応する第２画像領域を識別する第２モデルとのうちの、前記第２モデルを用いて、物品棚が撮影された撮影画像における前記第２画像領域を検知することと、
　前記撮影画像において前記物品棚の複数の棚段にそれぞれ対応する複数の棚段画像領域を特定することと、
　各棚段画像領域における、前記物品棚の高さ方向に対応する前記第２画像領域の高さの平均値を算出することと、
　各棚段画像領域における前記平均値と、各棚段画像領域の高さとに基づいて、前記複数の棚段画像領域の中から、処理対象画像領域を決定することと、
　前記処理対象画像領域に対して前記第１モデルを適用することによって前記処理対象画像領域における前記第１画像領域を検知することと、
　を含む処理を、検知装置に実行させるプログラムを格納している。
　本開示により、画像領域の検知精度を向上させることができる、検知装置、検知方法、及び非一時的なコンピュータ可読媒体を提供することができる。
第１実施形態における検知装置の一例を示すブロック図である。 第１実施形態における検知装置の処理動作の一例を示すフローチャートである。 第２実施形態における検知装置の一例を示すブロック図である。 物品棚画像の一例を示す図である。 第２画像領域の一例を示す図である。 第１画像領域の一例を示す図である。 第３実施形態における検知装置の一例を示すブロック図である。 統合画像の一例を示す図である。 検知装置のハードウェア構成例を示す図である。
　以下、図面を参照しつつ、実施形態について説明する。なお、実施形態において、同一又は同等の要素には、同一の符号を付し、重複する説明は省略される。
＜第１実施形態＞
　＜検知装置の概要＞
　第１実施形態における検知装置１０は、例えば、互いに検知特性の異なる「第１モデル」及び「第２モデル」を用いて、「撮影画像」における物品群の画像に対応する画像領域を検知する。「撮影画像」は、例えば、物品棚が撮影された画像（以下では、「物品棚画像」と呼ぶことがある）である。
　上記の「第２モデル」は、対象画像において前側に配置された物品群の画像に対応する画像領域（以下では、「第２画像領域」又は「第２物品群画像領域」と呼ぶことがある）を識別するモデルである。なお、以下では、「物品群の画像」を「物品群画像」と呼ぶことがある。
　例えば、第２モデルは、以下の画像を含む学習データを用いて学習された、学習済みモデルであってもよい。
　－　物品単体の一側面の全体が撮影された画像。
　－　物品棚画像において各棚段の最前列に並べられた物品群の物品群画像に対応する画像領域を「物品群画像領域」として指定した、物品棚画像。
　なお、棚段の最前列に並べられた物品群の各物品は、通常、その物品の一側面の大部分（例えば、一側面の半分以上の部分）が物品棚画像にて現れている。
　このような学習データを用いた学習が行われることによって、第２モデルは、各棚段の前側に位置する商品群に対応する画像領域を精度良く検知できる一方で、前側に位置する商品群の後ろに位置して一側面の大部分が隠れている商品群に対応する画像領域を精度良く検知できない可能性がある。
　また、上記の「第１モデル」は、対象画像において物品群が主に占有する空間（以下では、「物品主占有空間」と呼ぶことがある）に基づく画像領域（以下では、「第１画像領域」又は「第１物品群画像領域」と呼ぶことがある）を識別するモデルである。
　例えば、第１モデルは、以下の画像を含む学習データを用いて学習された、学習済みモデルであってもよい。
　－　物品単体の一側面の全体が撮影された画像。
　－　物品棚画像において各棚段の最前列に並べられた物品群の物品群画像に対応する画像領域を「物品群画像領域」として指定した、物品棚画像。
　－　物品棚画像において「真の背景に相当する画像（以下では、「真背景画像」と呼ぶことがある）」に対応する画像領域を「真背景画像領域」として指定した、物品棚画像。
　ここで、「真背景画像領域」は、物品棚画像にて物品の影に隠れることなく写し出されている物品棚の背板、側板、又は、棚板の画像に対応する画像領域を含む。
　このような学習データを用いた学習が行われることによって、第１モデルは、背景画像である可能性が高い画像領域（例えば、物品が配置されていない大きな空きスペースに対応する画像領域）、及び、上記の物品主占有空間に対応する画像領域を精度良く検知できる特性を有している。しかしながら、第１モデルは、「物品群画像領域」及び「真背景画像領域」という相反する情報を学習するため、そのどちらにも指定ができていない領域については、「物品群画像領域」に近い領域は「物品群画像領域」として、「真背景画像領域」に近い領域は「真背景画像領域」として検知してしまう可能性がある。そのため、２つの「物品群画像領域」に挟まれているような狭い空きスペースに対応する画像領域を物品群画像領域の一部として検知してしまう可能性がある。これは、狭い空きスペースに対応する画像からは背景画像であることを検知するために十分な情報が得られないケースが多いと考えられるためである。
　なお、上記の第２モデルの学習データは、第１モデルの学習データと異なり、「真背景画像領域」が指定された物品棚画像を含まないか又は含んでいたとしてもその数が少ない。
　以上のように、検知装置１０は、互いに検知特性の異なる「第１モデル」及び「第２モデル」を用いて、撮影画像における物品群の画像に対応する画像領域を検知する。これにより、画像領域の検知精度を向上させることができる。
　＜検知装置の構成例＞
　図１は、第１実施形態における検知装置の一例を示すブロック図である。図１において検知装置１０は、検知部（第１検知部）１１と、特定部１２と、平均値算出部１３と、検知部（第２検知部）１４と、決定部１５とを有している。検知装置１０は、撮影画像を取得する。この撮影画像は、例えば、物品棚が撮影された物品棚画像である。以下では、撮影画像が物品棚画像であることを前提に説明する。この物品棚は、複数の棚段を有している。
　検知部１１は、撮影画像に対して第２モデルを適用することによって、撮影画像における第２画像領域を検知する。
　特定部１２は、撮影画像において複数の棚段にそれぞれ対応する複数の「棚段画像領域」を特定する。１つの棚段に対応する棚段画像領域は、例えば、該１つの棚段の棚板と該１つの棚段の直ぐ上の棚段の棚板との間の空間に対応する画像領域である。
　平均値算出部１３は、各棚段画像領域における第２画像領域の高さの平均値を算出する。第２画像領域の高さは、物品棚の高さ方向に対応する第２画像領域の長さである。
　決定部１５は、各棚段画像領域における第２画像領域の高さの平均値と、各棚段画像領域の高さとに基づいて、複数の棚段画像領域の中から、検知部１４の処理対象画像領域を決定する。棚段画像領域の高さは、物品棚の高さ方向に対応する棚段画像領域の長さである。
　検知部１４は、決定部１５にて決定された処理対象画像領域に対して第１モデルを適用することによって処理対象画像領域における第１画像領域を検知する。
　＜検知装置の動作例＞
　以上の構成を有する検知装置１０の処理動作の一例について説明する。図２は、第１実施形態における検知装置の処理動作の一例を示すフローチャートである。
　検知部１１は、撮影画像に対して第２モデルを適用することによって、撮影画像における第２画像領域を検知する（ステップＳ１０１）。
　特定部１２は、撮影画像において複数の棚段にそれぞれ対応する複数の棚段画像領域を特定する（ステップＳ１０２）。
　平均値算出部１３は、各棚段画像領域における第２画像領域の高さの平均値を算出する（ステップＳ１０３）。
　決定部１５は、各棚段画像領域における第２画像領域の高さの平均値と、各棚段画像領域の高さとに基づいて、複数の棚段画像領域の中から、検知部１４の処理対象画像領域を決定する（ステップＳ１０４）。
　検知部１４は、決定部１５にて決定された処理対象画像領域に対して第１モデルを適用することによって処理対象画像領域における第１画像領域を検知する（ステップＳ１０５）。
　以上で説明したように第１実施形態によれば、検知装置１０は、互いに検知特性の異なる「第１モデル」及び「第２モデル」を用いて、撮影画像における物品群画像領域を検知する。これにより、一方のモデルの不得意な検知対象の検知を他方のモデルが補うことができるので、物品群画像領域の検知精度を向上させることができる。
　また、検知装置１０にて検知部１１は、撮影画像に対して第２モデルを適用することによって、撮影画像における第２画像領域を検知する。決定部１５は、各棚段画像領域における第２画像領域の高さの平均値と、各棚段画像領域の高さとに基づいて、複数の棚段画像領域の中から、検知部１４の処理対象画像領域を決定する。検知部１４は、決定部１５にて決定された処理対象画像領域に対して第１モデルを適用することによって処理対象画像領域における第１画像領域を検知する。第２モデルは、対象画像において前側に配置された物品群の画像に対応する第２画像領域を識別するモデルである。第１モデルは、対象画像において物品主占有空間に基づく第１画像領域を識別するモデルである。
　この検知装置１０の構成により、物品群画像領域の検知精度を向上させることができる。すなわち、例えば、棚段画像領域の高さに比べて該棚段画像領域における第２画像領域の高さの平均値が十分に小さい場合、該棚段画像領域には奥の方に位置する物品まで写っている可能性が高い。このような棚段画像領域に対して第２モデルを適用した場合、奥の方に位置する物品に対応する画像領域を精度良く検知できない可能性がある。一方で、このような棚段画像領域に対して第１モデルを適用した場合、奥の方に位置する物品に対応する画像領域を精度良く検知できる可能性が高い。これに対して、棚段画像領域の高さに比べて該棚段画像領域における第２画像領域の高さの平均値が十分に大きい場合、該棚段画像領域には奥の方に位置する物品はほとんど写っていない可能性が高い。このような棚段画像領域に対して第２モデルを適用した場合、前側に位置する商品群に対応する画像領域を精度良く検知できる可能性が高い。このため、一方のモデルの不得意な検知対象の検知を他方のモデルが補うことができるので、物品群画像領域の検知精度を向上させることができる。
＜第２実施形態＞
　第２実施形態は、第１実施形態の内容をより具体化する実施形態に関する。
　図３は、第２実施形態における検知装置の一例を示すブロック図である。図３において検知装置２０は、検知部（第１検知部）２１と、特定部２２と、平均値算出部２３と、検知部（第２検知部）２４と、決定部２５とを有している。検知装置２０は、第１実施形態の検知装置１０と同様に、撮影画像を取得する。この撮影画像は、例えば、物品棚が撮影された物品棚画像である。以下では、撮影画像が物品棚画像であることを前提に説明する。この物品棚は、複数の棚段を有している。
　検知部２１は、第１実施形態の検知部１１と同様に、撮影画像に対して第２モデルを適用することによって、撮影画像（つまり、物品棚画像）における第２画像領域を検知する。
　図４Ａは、物品棚画像の一例を示す図である。図４Ｂは、第２画像領域の一例を示す図である。
　図４Ａには、ペットボトル飲料が陳列された棚の物品棚画像が示されている。図４Ａの物品棚画像に写されている物品棚は、４つの棚段を有している。上から３つの棚段では、物品としてのペットボトルが立った姿勢で配置されている。一番下の棚段では、ペットボトルが横に寝た状態で且つ重ねられた状態で配置されている。上から３つの棚段ではペットボトルの上方に広がるスペースが狭い一方で、一番下の棚段ではペットボトルの上方に広がるスペースが広い。このため、上から３つの棚段の画像では奥のペットボトルの大部分が前側のペットボトルに隠れている一方、一番下の棚段の画像では奥の方のペットボトルまで写されている。
　図４Ａの物品棚画像に対して第２モデルを適用した結果が図４Ｂに示されている。図４Ｂにおいて、網掛けで表された領域が、第２画像領域に相当する。
　図４Ｂを見て分かるように、第２モデルは、上から３つの棚段の画像では、ペットボトル群に対応する物品群画像領域を精度良く検出できている。この結果、第２モデルは、２つの物品群画像領域に挟まれているような狭い空きスペースに対応する画像領域であっても精度良く検出することができる。
　一方で、図４Ｂを見て分かるように、一番下の棚段の画像では、前側に位置するペットボトル群に対応する物品群画像領域を検出することはできているが、奥の方に位置するペットボトル群に対応する物品群画像領域を検出できていない。
　図３の説明に戻り、特定部２２は、第１実施形態の特定部１２と同様に、撮影画像において複数の棚段にそれぞれ対応する複数の「棚段画像領域」を特定する。
　例えば、図４Ｂを見て分かるように、各棚段の画像における第２画像領域を規定する下側の線は、棚板と略平行な直線として現れている。すなわち、この直線を特定することによって、棚板に接するペットボトルの面に対応するラインを特定することができる。
　このため、特定部２２は、各棚段の画像における第２画像領域を規定する下側のラインを特定し、隣り合う２つのラインで挟まれる画像領域を「棚段画像領域」として特定してもよい。
　又は、例えば、特定部２２は、パタンマッチング等によって棚板の前面画像を直接的に特定してもよい。この棚板の前面画像も、棚板に接するペットボトルの面に対応するラインとして特定することができる。そして、特定部２２は、隣り合う２つのラインで挟まれる画像領域を「棚段画像領域」として特定してもよい。なお、図４Ｂにおいてそれぞれ枠で囲まれた画像領域ＳＡ１１，ＳＡ１２，ＳＡ１３，ＳＡ１４は、それぞれ、棚段画像領域の例である。
　平均値算出部２３は、第１実施形態の平均値算出部１３と同様に、各棚段画像領域における第２画像領域の高さの平均値を算出する。第２画像領域の高さは、物品棚の高さ方向に対応する第２画像領域の長さである。
　決定部２５は、第１実施形態の決定部１５と同様に、各棚段画像領域における第２画像領域の高さの平均値と、各棚段画像領域の高さとに基づいて、複数の棚段画像領域の中から、検知部２４の処理対象画像領域を決定する。
　例えば、決定部２５は、図３に示すように、特定処理部２５Ａと、決定処理部２５Ｂとを有している。
　特定処理部２５Ａは、物品棚の高さ方向に対応する各棚段画像領域の長さを、各棚段画像領域の高さ（α）として特定する。
　決定処理部２５Ｂは、特定された各棚段画像領域の高さ（α）に所定割合（例えば、０．６）を乗算することによって、各棚段画像領域についての「基準値」を算出する。そして、決定処理部２５Ｂは、算出した各棚段画像領域についての「基準値」と、各棚段画像領域に対応する第２画像領域の高さの平均値とを比較することによって、処理対象画像領域を決定する。例えば、決定処理部２５Ｂは、「基準値」よりも小さい平均値を有する第２画像領域に対応する棚段画像領域を、検知部２４の処理対象画像領域として決定する。図４Ｂの例においては、決定処理部２５Ｂによって棚段画像領域ＳＡ１４が、検知部２４の処理対象画像領域として決定される。
　検知部２４は、第１実施形態の検知部１４と同様に、決定部２５にて決定された処理対象画像領域に対して第１モデルを適用することによって処理対象画像領域における第１画像領域を検知する。
　図４Ｃは、第１画像領域の一例を示す図である。図４Ｃにおいて、棚段画像領域ＳＡ１４における網掛けで表された領域が、第１画像領域に相当する。図４Ｃを見て分かるように、モデル１は、棚段画像領域ＳＡ１４（つまり、一番下の棚段の画像）において、前側に位置するペットボトル群に対応する物品群画像領域だけでなく、奥の方に位置するペットボトル群に対応する物品群画像領域も精度良く検出できている。なお、図４Ｃには、参考として、棚段画像領域ＳＡ１１，ＳＡ１２，ＳＡ１３にモデル１が適用された結果も示されている。図４Ｂ，４Ｃを見て分かるように、モデル１は、２つの物品群画像領域に挟まれているような狭い空きスペースＳＰ１等に対応する画像領域を物品群画像領域の一部として検知してしまう可能性がある。
＜第３実施形態＞
　第３実施形態は、空きスペースの特定に関する。
　図５は、第３実施形態における検知装置の一例を示すブロック図である。図５において検知装置３０は、検知部（第１検知部）１１と、特定部１２と、平均値算出部１３と、検知部（第２検知部）１４と、決定部１５と、統合部３１と、スペース特定部３２とを有している。
　統合部３１は、検知部１４によって検知された処理対象画像領域における第１画像領域と、検知部１１によって検知された処理対象画像領域以外の各棚段画像領域における第２画像領域とを統合して「統合画像」を得る。例えば、上記の図４Ｂ，４Ｃのケースでは、第２モデルによって検知された棚段画像領域ＳＡ１１，ＳＡ１２，ＳＡ１３における第２画像領域と、第１モデルによって検知された棚段画像領域ＳＡ１４における第１画像領域とが統合されて「統合画像」が形成される。図６は、統合画像の一例を示す図である。
　スペース特定部３２は、統合画像に基づいて、各棚段において物品が配置されていない空きスペースを特定する。例えば、スペース特定部３２は、棚段画像領域から統合画像を差し引くことによって、空きスペースを特定してもよい。図６において、例えば、矩形枠で囲まれた部分（スペースＳＰ１，ＳＰ２，ＳＰ３，ＳＰ４）が、空きスペースに対応する。
　以上のように第３実施形態における検知装置３０は、第１モデル及び第２モデルをそれぞれ得意な検知対象である棚段画像領域に適用して得られた画像領域を統合した統合画像に基づいて空きスペースを特定するので、精度よく空きスペースを特定することができる。
　なお、ここでは、統合部３１及びスペース特定部３２を第１実施形態の検知装置１０に適用することを前提に説明を行ったが、本開示はこれに限定されない。統合部３１及びスペース特定部３２は、第２実施形態の検知装置２０に適用されてもよい。
　＜他の実施形態＞
　図７は、検知装置のハードウェア構成例を示す図である。図７において検知装置１００は、プロセッサ１０１と、メモリ１０２とを有している。プロセッサ１０１は、例えば、マイクロプロセッサ、MPU（Micro Processing Unit）、又はCPU（Central Processing Unit）であってもよい。プロセッサ１０１は、複数のプロセッサを含んでもよい。メモリ１０２は、揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。メモリ１０２は、プロセッサ１０１から離れて配置されたストレージを含んでもよい。この場合、プロセッサ１０１は、図示されていないI/Oインタフェースを介してメモリ１０２にアクセスしてもよい。
　第１実施形態から第３実施形態の検知装置１０，２０，３０は、それぞれ、図７に示したハードウェア構成を有することができる。第１実施形態から第３実施形態の検知装置１０，２０，３０の検知部１１，２１と、特定部１２，２２と、平均値算出部１３，２３と、検知部１４，２４と、決定部１５，２５と、統合部３１と、スペース特定部３２とは、プロセッサ１０１がメモリ１０２に記憶されたプログラムを読み込んで実行することにより実現されてもよい。プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、検知装置１０，２０，３０に供給することができる。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）を含む。さらに、非一時的なコンピュータ可読媒体の例は、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗを含む。さらに、非一時的なコンピュータ可読媒体の例は、半導体メモリを含む。半導体メモリは、例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory）を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によって検知装置１０，２０，３０に供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムを検知装置１０，２０，３０に供給できる。
　以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　１０　検知装置
　１１　検知部（第１検知部）
　１２　特定部
　１３　平均値算出部
　１４　検知部（第２検知部）
　１５　決定部
　２０　検知装置
　２１　検知部（第１検知部）
　２２　特定部
　２３　平均値算出部
　２４　検知部（第２検知部）
　２５　決定部
　２５Ａ　特定処理部
　２５Ｂ　決定処理部
　３０　検知装置
　３１　統合部
　３２　スペース特定部

Claims (10)

  1. 　対象画像において物品群が主に占有する物品主占有空間に基づく第１画像領域を識別する第１モデルと、対象画像において前側に配置された物品群の画像に対応する第２画像領域を識別する第２モデルとのうちの、前記第２モデルを用いて、物品棚が撮影された撮影画像における前記第２画像領域を検知する第１検知部と、
    　前記撮影画像において前記物品棚の複数の棚段にそれぞれ対応する複数の棚段画像領域を特定する特定部と、
    　各棚段画像領域における、前記物品棚の高さ方向に対応する前記第２画像領域の高さの平均値を算出する平均値算出部と、

    　各棚段画像領域における前記平均値と、各棚段画像領域の高さとに基づいて、前記複数の棚段画像領域の中から、処理対象画像領域を決定する決定部と、
    　前記処理対象画像領域に対して前記第１モデルを適用することによって前記処理対象画像領域における前記第１画像領域を検知する第２検知部と、
    　を具備する検知装置。
  2. 　前記決定部は、前記複数の棚段画像領域のうちで、前記棚段画像領域の高さの所定割合未満の前記平均値を有する前記第２画像領域に対応する前記棚段画像領域を、前記処理対象画像領域として決定する、
    　請求項１記載の検知装置。
  3. 　前記決定部は、
    　　前記物品棚の高さ方向に対応する各棚段画像領域の長さを、各棚段画像領域の高さとして特定する特定処理部と、
    　　前記特定された各棚段画像領域の高さに前記所定割合を乗算して得られる値と、各棚段画像領域に対応する前記第２画像領域の高さの平均値とを比較することによって、前記処理対象画像領域を決定する決定処理部と、
    　を具備する、
    　請求項２記載の検知装置。
  4. 　前記特定部は、前記第２画像領域おいて前記物品棚の棚板に接する物品の面に対応する複数のラインを特定し、前記複数のラインによって前記撮影画像を分割することによって、前記複数の棚段画像領域を特定する、
    　請求項１記載の検知装置。
  5. 　前記処理対象画像領域における前記第１画像領域と、前記処理対象画像領域以外の各棚段画像領域における前記第２画像領域とを統合して統合画像を得る統合部をさらに具備する、請求項１記載の検知装置。
  6. 　前記統合画像に基づいて、各棚段において物品が配置されていない空きスペースを特定するスペース特定部をさらに具備する、
    　請求項５記載の検知装置。
  7. 　対象画像において物品群が主に占有する物品主占有空間に基づく第１画像領域を識別する第１モデルと、対象画像において前側に配置された物品群の画像に対応する第２画像領域を識別する第２モデルとのうちの、前記第２モデルを用いて、物品棚が撮影された撮影画像における前記第２画像領域を検知することと、
    　前記撮影画像において前記物品棚の複数の棚段にそれぞれ対応する複数の棚段画像領域を特定することと、
    　各棚段画像領域における、前記物品棚の高さ方向に対応する前記第２画像領域の高さの平均値を算出することと、
    　各棚段画像領域における前記平均値と、各棚段画像領域の高さとに基づいて、前記複数の棚段画像領域の中から、処理対象画像領域を決定することと、
    　前記処理対象画像領域に対して前記第１モデルを適用することによって前記処理対象画像領域における前記第１画像領域を検知することと、
    　を含む検知方法。
  8. 　前記決定することは、前記複数の棚段画像領域のうちで、前記棚段画像領域の高さの所定割合未満の前記平均値を有する前記第２画像領域に対応する棚段画像領域を、前記処理対象画像領域として決定することを含む、
    　請求項７記載の検知方法。
  9. 　対象画像において物品群が主に占有する物品主占有空間に基づく第１画像領域を識別する第１モデルと、対象画像において前側に配置された物品群の画像に対応する第２画像領域を識別する第２モデルとのうちの、前記第２モデルを用いて、物品棚が撮影された撮影画像における前記第２画像領域を検知することと、
    　前記撮影画像において前記物品棚の複数の棚段にそれぞれ対応する複数の棚段画像領域を特定することと、
    　各棚段画像領域における、前記物品棚の高さ方向に対応する前記第２画像領域の高さの平均値を算出することと、
    　各棚段画像領域における前記平均値と、各棚段画像領域の高さとに基づいて、前記複数の棚段画像領域の中から、処理対象画像領域を決定することと、
    　前記処理対象画像領域に対して前記第１モデルを適用することによって前記処理対象画像領域における前記第１画像領域を検知することと、
    　を含む処理を、検知装置に実行させるプログラムが格納された非一時的なコンピュータ可読媒体。
  10. 　前記決定することは、前記複数の棚段画像領域のうちで、前記棚段画像領域の高さの所定割合未満の前記平均値を有する前記第２画像領域に対応する棚段画像領域を、前記処理対象画像領域として決定することを含む、
    　請求項９記載の非一時的なコンピュータ可読媒体。
PCT/JP2023/012479 2023-03-28 2023-03-28 検知装置、検知方法、及び非一時的なコンピュータ可読媒体 Ceased WO2024201704A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2025509326A JPWO2024201704A5 (ja) 2023-03-28 検知装置、検知方法、及びプログラム
PCT/JP2023/012479 WO2024201704A1 (ja) 2023-03-28 2023-03-28 検知装置、検知方法、及び非一時的なコンピュータ可読媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2023/012479 WO2024201704A1 (ja) 2023-03-28 2023-03-28 検知装置、検知方法、及び非一時的なコンピュータ可読媒体

Publications (1)

Publication Number Publication Date
WO2024201704A1 true WO2024201704A1 (ja) 2024-10-03

Family

ID=92903535

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/012479 Ceased WO2024201704A1 (ja) 2023-03-28 2023-03-28 検知装置、検知方法、及び非一時的なコンピュータ可読媒体

Country Status (1)

Country Link
WO (1) WO2024201704A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013118218A1 (ja) * 2012-02-09 2013-08-15 パナソニック株式会社 画像認識装置、画像認識方法、プログラムおよび集積回路
JP2020087155A (ja) * 2018-11-29 2020-06-04 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP2021117531A (ja) * 2020-01-22 2021-08-10 国立研究開発法人産業技術総合研究所 物品群の配置状態を認識するための情報処理方法、装置及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013118218A1 (ja) * 2012-02-09 2013-08-15 パナソニック株式会社 画像認識装置、画像認識方法、プログラムおよび集積回路
JP2020087155A (ja) * 2018-11-29 2020-06-04 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP2021117531A (ja) * 2020-01-22 2021-08-10 国立研究開発法人産業技術総合研究所 物品群の配置状態を認識するための情報処理方法、装置及びプログラム

Also Published As

Publication number Publication date
JPWO2024201704A1 (ja) 2024-10-03

Similar Documents

Publication Publication Date Title
US12536769B2 (en) System and method for matching products and determining spreads and plugs
US11281876B2 (en) Retail store with sensor-fusion enhancements
US12437258B2 (en) System and method for identifying products in a shelf management system
US12118506B2 (en) System and method for associating products and product labels
CN110472515B (zh) 货架商品检测方法及系统
US9600982B2 (en) Methods and arrangements for identifying objects
US20190188435A1 (en) Methods and arrangements for identifying objects
CA2888153C (en) Methods and arrangements for identifying objects
US9224184B2 (en) Methods and arrangements for identifying objects
US20170249491A1 (en) Methods and arrangements for identifying objects
CN110472486B (zh) 一种货架障碍物识别方法、装置、设备及可读存储介质
US20150310601A1 (en) Methods and arrangements for identifying objects
US20250045692A1 (en) System and method for identifying misplaced products in a shelf management system
CN111161346B (zh) 将商品在货架中进行分层的方法、装置和电子设备
EP2751748A1 (en) Methods and arrangements for identifying objects
TWI578272B (zh) Shelf detection system and method
JP7459947B2 (ja) 商品検知装置、商品検知システム、商品検知方法および商品検知プログラム
JP2022188754A (ja) 認識装置、端末装置、認識器構築装置、認識器修正装置、構築方法、及び修正方法
US20080154736A1 (en) Method for determining product length for use in regulating transactions in a self-checkout conveyer system
WO2024201704A1 (ja) 検知装置、検知方法、及び非一時的なコンピュータ可読媒体
WO2024201705A1 (ja) 検知装置、検知方法、及び非一時的なコンピュータ可読媒体
CN113269053A (zh) 商品的货架层列获取方法、终端、存储装置
CN104123528B (zh) 一种识别图片的方法及装置
WO2024201706A1 (ja) 検知装置、検知方法、及び非一時的なコンピュータ可読媒体
JP7476905B2 (ja) 処理装置、処理方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23930344

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2025509326

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2025509326

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 23930344

Country of ref document: EP

Kind code of ref document: A1