WO2019163096A1 - 登録装置、登録方法及びプログラム - Google Patents

登録装置、登録方法及びプログラム Download PDF

Info

Publication number
WO2019163096A1
WO2019163096A1 PCT/JP2018/006719 JP2018006719W WO2019163096A1 WO 2019163096 A1 WO2019163096 A1 WO 2019163096A1 JP 2018006719 W JP2018006719 W JP 2018006719W WO 2019163096 A1 WO2019163096 A1 WO 2019163096A1
Authority
WO
WIPO (PCT)
Prior art keywords
product
image
registration
information
analysis
Prior art date
Application number
PCT/JP2018/006719
Other languages
English (en)
French (fr)
Inventor
壮馬 白石
岩元　浩太
秀雄 横井
二徳 高田
恵美 北川
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2020501955A priority Critical patent/JP6984725B2/ja
Priority to US16/971,972 priority patent/US20200394637A1/en
Priority to PCT/JP2018/006719 priority patent/WO2019163096A1/ja
Publication of WO2019163096A1 publication Critical patent/WO2019163096A1/ja
Priority to JP2021185447A priority patent/JP7205603B2/ja

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G07G1/0063—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles with means for detecting the geometric dimensions of the article of which the code is read, such as its size or height, for the verification of the registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/12—Cash registers electronically operated
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables

Definitions

  • the present invention relates to a registration device, a registration method, and a program.
  • Patent Document 1 discloses a product registration device that captures a product for accounting and recognizes and registers the product in the image by image analysis.
  • Patent Document 2 discloses a display control device that determines a display area of a display object displayed on a display surface according to information on a real object on the display surface.
  • the display control device can recognize the type of tableware placed on the table and output a display effect and sound according to the type.
  • Patent Document 3 discloses a user terminal that receives an image of a product generated by a camera, displays the image, and receives designation of the product from the displayed products.
  • An object of the present invention is to enable an accounting operator to grasp the progress of image analysis in a technique for recognizing and registering a product to be accounted for by image analysis.
  • Image acquisition means for acquiring an image obtained by photographing the mounting surface of the table on which the product is mounted; Analyzing means for recognizing the product included in the image; Registration means for registering the recognized product as an accounting object; Output means for displaying information corresponding to the progress of the analysis of the image by the analyzing means on the table; A registration device is provided.
  • Computer An image acquisition step of acquiring an image obtained by photographing the mounting surface of the table on which the product is mounted; An analysis step for recognizing the product included in the image; A registration process for registering the recognized product as an accounting object; An output step for displaying information corresponding to the progress of the analysis of the image in the analysis step on the table; A registration method is provided for performing
  • Computer Image acquisition means for acquiring an image obtained by photographing the mounting surface of the table on which the product is mounted; Analysis means for recognizing the product included in the image; Registration means for registering the recognized product as an accounting object; Output means for displaying information corresponding to the progress of the analysis of the image by the analyzing means on the table;
  • an accounting operator in a technique for recognizing and registering a product to be accounted for by image analysis, an accounting operator can grasp the progress of image analysis.
  • the registration device of this embodiment is used for accounting processing at a store that sells products.
  • the registration device may be a so-called POS (point of sales) register.
  • the registration device may be a device that is assumed to be operated by a store clerk, or may be a device that is assumed to be operated by a customer.
  • a stand for placing a product subject to the accounting process and a camera for photographing the placement surface of the stand are prepared.
  • an accounting operator a store clerk, a customer, etc. places a product to be accounted for on the mounting surface of the table.
  • the registration device acquires an image generated by the camera, the registration device analyzes the image and recognizes a product included in the image. Then, the registration device registers the recognized product as a product for accounting.
  • the registration device has a function that allows an accounting operator to grasp the progress of image analysis. Specifically, the registration device displays information corresponding to the progress status on the table in accordance with the progress status of the image analysis. A plurality of pieces of information corresponding to the progress status are different from each other.
  • the accounting worker can grasp the progress of image analysis based on the information displayed on the table.
  • the functions of the registration device are: a CPU (Central Processing Unit) of an arbitrary computer, a memory, a program loaded into the memory, a storage unit such as a hard disk for storing the program (a program stored in advance from the stage of shipping the device)
  • a storage medium such as a CD (Compact Disc) or a program downloaded from a server on the Internet or the like can be stored
  • a network connection interface is mainly implemented by any combination of hardware and software. It will be understood by those skilled in the art that there are various modifications to the implementation method and apparatus.
  • FIG. 1 is a block diagram illustrating the hardware configuration of the registration device.
  • the registration apparatus includes a processor 1A, a memory 2A, an input / output interface 3A, a peripheral circuit 4A, and a bus 5A.
  • the peripheral circuit 4A includes various modules. The peripheral circuit 4A may not be provided.
  • the bus 5A is a data transmission path through which the processor 1A, the memory 2A, the peripheral circuit 4A, and the input / output interface 3A transmit / receive data to / from each other.
  • the processor 1A is an arithmetic processing unit such as a CPU (Central Processing Unit) or a GPU (Graphics Processing Unit).
  • the memory 2A is a memory such as a RAM (Random Access Memory) or a ROM (Read Only Memory).
  • the input / output interface 3A is an interface for acquiring information from an input device (eg, keyboard, mouse, microphone, etc.), external device, external server, external sensor, etc., and an output device (eg, display, speaker, printer, mailer). Etc.), an interface for outputting information to an external device, an external server, etc.
  • the processor 1A can issue a command to each module and perform a calculation based on the calculation result.
  • FIG. 2 shows an example of a functional block diagram of the registration device 10.
  • the registration device 10 includes an image acquisition unit 11, an analysis unit 12, an output unit 13, and a registration unit 14.
  • the image acquisition unit 11 acquires an image obtained by photographing the placement surface of the table on which the product is placed. As described above, in the accounting process using the registration device 10, a stand for placing the product to be subjected to the accounting process and a camera for photographing the placement surface of the stand are prepared. The image acquisition unit 11 acquires an image generated by the camera. The camera may generate a moving image (a plurality of images), and the image acquisition unit 11 may acquire the moving image from the camera.
  • Fig. 3 schematically shows an example of a table and a camera.
  • a stand 1 a member 2, a column 3, and a camera 4 are shown.
  • the member 2 is located on the upper surface of the table 1 and forms a part of the table 1.
  • the exposed surface of the member 2 becomes a placement surface on which the product is placed.
  • the member 2 may be a display or another member.
  • the camera 4 is attached to the column 3 and photographs the exposed surface of the member 2 from above.
  • An image generated by the camera 4 is transmitted to a registration device 10 (not shown) by wired and / or wireless communication.
  • the analysis unit 12 analyzes the image acquired by the image acquisition unit 11 and recognizes a product included in the image.
  • the analysis unit 12 can recognize a product using a pattern matching technique or the like.
  • the analysis unit 12 detects an object included in the image by using techniques such as binarization of the image and contour extraction (object detection). After that, the analysis unit 12 collates the appearance feature (feature of the region where the object exists in the image) that appears in the image of the detected object with the appearance feature of each of the plurality of products registered in advance. , Specify which product the object is (product recognition). For example, the analysis unit 12 may specify a product having the highest appearance similarity with the object, or a product having the highest appearance similarity with the object and having the similarity equal to or higher than a reference value. Examples of the appearance characteristics of the product include, but are not limited to, color, surface unevenness, and shape.
  • the output unit 13 displays information corresponding to the progress of the image analysis performed by the analysis unit 12 on a table (for example, a mounting surface of the table). A plurality of pieces of information corresponding to the progress status are different from each other.
  • the output unit 13 displays the first mark M (eg, circle) on the table as shown in FIG. 5 upon completion of object detection, and as shown in FIG. 6 upon completion of product recognition. You may display the 2nd mark M (example: square etc.) on a stand.
  • the example which displays information on a stand according to the completion of object detection and the completion of product recognition was shown here, as a composition which displays information on a stand when image analysis reached other situations Also good.
  • the information to be displayed is not limited to the mark, and may be other information such as letters, numbers, pictures, characters, and the like.
  • the display mode (eg, color, shading) of the mark may be varied according to the progress of image analysis. For example, when the analysis unit 12 recognizes that the object is placed on the table, the output unit 13 displays a first color mark on the table, and when the analysis unit 12 recognizes the product, the output unit 13 displays the second color. A color mark may be displayed on the table.
  • the output unit 13 can display information corresponding to the progress of image analysis on the display. For example, as described with reference to FIG. 3, when the placement surface on which the product is placed is configured by a display (member 2), the output unit 13 displays the progress of image analysis on the display (member 2). The information corresponding to can be displayed. In addition, the output unit 13 may project information on a table using a projection device.
  • the output unit 13 can display information corresponding to the progress of the image analysis at a position corresponding to the placement position of the object.
  • information (mark M) may be displayed so as to surround the object mounting position as shown in FIGS. 5 and 6, or information (mark (M) may be displayed close to the object mounting position as shown in FIG. Mark M) may be displayed.
  • the output unit 13 holds in advance a conversion rule for converting “image coordinates” to “coordinates of a display area of a display that constitutes the mounting surface of the table”. Then, the output unit 13 converts the position (coordinates) of the object in the image into the coordinates of the display area of the display based on the conversion rule. For example, the output unit 13 surrounds the converted position or information close to the position. Is displayed.
  • the output unit 13 may hold in advance a conversion rule for converting “image coordinates” into “projection area coordinates of the projection apparatus”. Then, the output unit 13 converts the position (coordinates) of the object in the image to the coordinates of the projection area of the projection device based on the conversion rule, and surrounds the converted position, for example, or close to the position. Information may be displayed.
  • the coordinates of the image are indicated by a coordinate system in which an arbitrary position in the image is an origin and an arbitrary direction is defined as an x-axis direction and a y-axis direction.
  • the coordinates of the display area of the display are indicated by a coordinate system in which an arbitrary position in the display area is an origin and an arbitrary direction is defined as an x-axis direction and a y-axis direction.
  • the coordinates of the projection area of the projection apparatus are indicated by a coordinate system in which an arbitrary position in the projection area is an origin and an arbitrary direction is defined as an x-axis direction and a y-axis direction.
  • the registration unit 14 registers the product recognized by the analysis unit 12 as an accounting object. For example, the registration unit 14 acquires the product information of the product recognized by the analysis unit 12 from the product master, and registers at least a part of the acquired product information in the registration device 10.
  • the product information includes a price, a product name, a product code, and the like.
  • a product placed on a table can be recognized by image analysis, and the recognized product can be registered as a target for accounting processing. According to such a registration apparatus 10, the registration work of the product is made efficient.
  • the registration device 10 can display information corresponding to the progress status on the table according to the progress status of the image analysis. A plurality of pieces of information corresponding to the progress status are different from each other. For example, the registration device 10 displays a first mark (eg, circle) on the table upon completion of the object detection, and places a second mark (eg: square) on the table upon completion of product recognition. It may be displayed. According to such a registration apparatus 10, the accounting operator can grasp the progress of the image analysis based on the information displayed on the table.
  • a first mark eg, circle
  • a second mark eg: square
  • the registration device 10 can display information on the table at a timing different from that of the first embodiment. Details will be described below.
  • An example of the hardware configuration of the registration device 10 is the same as that of the first embodiment.
  • FIG. 2 An example of a functional block diagram of the registration device 10 is shown in FIG. 2 as in the first embodiment.
  • the configurations of the image acquisition unit 11 and the registration unit 14 are the same as those in the first embodiment.
  • the analysis unit 12 analyzes the image acquired by the image acquisition unit 11 and recognizes a product included in the image, as in the first embodiment.
  • the analysis unit 12 may execute “object detection”, “recognition that the object is placed on the table”, and “identification of which product the object placed on the table is” in this order. it can.
  • Object detection can be realized using any technique such as image binarization and contour extraction.
  • the recognition that the object is placed on the table can be realized as follows, for example.
  • the information indicating the display area of the mounting surface of the table in the image is stored in the analysis unit 12 in advance.
  • the display area may be indicated by coordinates in a coordinate system in which an arbitrary point in the image is an origin and an arbitrary direction is an x-axis and a y-axis (for example, when the display area is a polygon, the coordinates of the vertexes) ).
  • a part of the image may be the display area of the table mounting surface, or the entire image may be the display area of the table mounting surface.
  • the installation position of the base, the installation position of the camera, the orientation of the camera, and the like are fixed, and the relative positional relationship between the base and the camera is constant.
  • the analysis part 12 detects that the motion of the object which exists in the display area of the mounting surface of a stand stops for a predetermined time or more, it may recognize that the object was placed on the stand.
  • Identifying which product is the object placed on the table is a pre-registered feature of the appearance that appears in the image of the detected object (feature of the region in which the object exists) This is realized by collating the appearance characteristics of each of a plurality of products.
  • the analysis unit 12 may specify a product having the highest appearance similarity with the object, or a product having the highest appearance similarity with the object and having the similarity equal to or higher than a reference value.
  • the appearance characteristics of the product include, but are not limited to, color, surface unevenness, and shape.
  • the output unit 13 displays information indicating that the analysis unit 12 recognizes that the object has been placed on the table and that the product on which the object placed on the table is specified. For example, when the analysis unit 12 recognizes that the object is placed on the table, the output unit 13 displays the first information corresponding to the situation on the table. Further, when the analysis unit 12 specifies which product is the object placed on the table, the output unit 13 displays the second information corresponding to the situation on the table. The first information and the second information are different information.
  • the output unit 13 may display information corresponding to the situation (information different from the first and second information) on the table when the analysis unit 12 detects the object.
  • the image acquisition unit 11 starts acquiring an image from the camera.
  • the analysis unit 12 starts image analysis.
  • the output unit 13 displays the first information corresponding to the situation on the table (S11).
  • the output unit 13 displays the first information at a position corresponding to the placement position of the object. Note that while the analysis unit 12 does not recognize that the object has been placed on the table (No in S10), the first information is not displayed on the table.
  • the output unit 13 displays the second information corresponding to the situation (S13).
  • the output unit 13 displays the second information at a position corresponding to the placement position of the object.
  • the registration unit 14 registers the specified product as an accounting object. If it is not specified by the analysis unit 12 which product the object placed on the table is (No in S12), the second information is not displayed on the table.
  • the output unit 13 may continue displaying the first information until the second information is displayed.
  • the analysis unit 12 specifies which product the object is (Yes in S12)
  • the display of the first information is ended accordingly, and the second information is displayed instead. Good.
  • the output unit 13 may continue displaying the second information until the object leaves from the top of the table or until the settlement process is input.
  • the output unit 13 may display the first information and the second information for a predetermined time, and may end the display of the first information and the second information as the predetermined time elapses.
  • the output unit 13 displays the first information corresponding to the situation on the table (S15). .
  • the output unit 13 displays the first information at a position corresponding to the placement position of the object.
  • the analysis unit 12 identifies which product is the object (Yes in S16)
  • the output unit 13 displays the second information corresponding to the situation on the table (S17).
  • the output unit 13 displays the second information at a position corresponding to the placement position of the object.
  • the registration unit 14 further registers the specified product as an accounting object.
  • the registration device 10 executes the settlement process ( S19).
  • the registration device 10 may accept cash input as the payment of the total payment amount calculated based on the products registered so far, and may output change or receipt as necessary.
  • the registration device 10 may accept a credit card input, communicate with a credit company system, and perform a settlement process. Further, the registration device 10 may transmit information for payment processing (information indicating registered products, total payment amount, etc.) to another payment device.
  • the registration device 10 of the present embodiment described above, the same operational effects as those of the first embodiment can be realized. Further, according to the registration device 10 of the present embodiment, different information can be displayed on the table in accordance with the recognition that the object is placed on the table and the product recognition.
  • the accounting worker can grasp that the placement of the object on the table has been recognized based on the information displayed on the table.
  • the accounting worker can grasp that the product has been recognized. Since the accounting worker can grasp the progress of the image analysis, he can proceed with the registration work without any anxiety.
  • the registration device 10 of the present embodiment differs from the first and second embodiments in the information displayed on the stand when the product is recognized. Details will be described below.
  • An example of the hardware configuration of the registration device 10 is the same as in the first and second embodiments.
  • FIG. 2 An example of a functional block diagram of the registration device 10 is shown in FIG. 2 as in the first and second embodiments.
  • the configurations of the image acquisition unit 11 and the registration unit 14 are the same as those in the first and second embodiments.
  • the analysis unit 12 identifies the product category of the recognized product.
  • Other configurations of the analysis unit 12 are the same as those in the first and second embodiments.
  • product category information indicating a product category for each product is stored in the analysis unit 12 in advance. Then, when the analysis unit 12 recognizes a product by image analysis, the analysis unit 12 refers to the product category information and identifies the product category of the recognized product.
  • the output unit 13 varies the second information displayed on the table when the object placed on the table by the analysis unit 12 is specified according to the product category of the specified product.
  • the output unit 13 may display a star mark on the table when “food” is specified, and may display a triangle mark on the table when “daily miscellaneous goods” are specified.
  • Other configurations of the output unit 13 are the same as those in the first and second embodiments.
  • the same operational effects as those of the first and second embodiments can be realized. Further, according to the registration device 10 of the present embodiment, the accounting worker can grasp not only that the product is recognized but also the recognized content (product category) based on the information displayed on the table. Based on this, the accounting worker can check whether the recognition content is correct.
  • the registration device 10 of the present embodiment differs from the first and second embodiments in the information displayed on the stand when the product is recognized. Details will be described below.
  • An example of the hardware configuration of the registration device 10 is the same as in the first and second embodiments.
  • FIG. 2 An example of a functional block diagram of the registration device 10 is shown in FIG. 2 as in the first and second embodiments.
  • the configurations of the image acquisition unit 11 and the registration unit 14 are the same as those in the first and second embodiments.
  • the analysis unit 12 outputs the reliability of the recognition result of the product recognition.
  • the reliability may be a similarity calculated by pattern matching (similarity between a recognized product and an object included in an image).
  • Other configurations of the analysis unit 12 are the same as those in the first and second embodiments.
  • the output unit 13 changes the information displayed on the table when the object placed on the table is recognized by the analysis unit 12 according to the reliability of the recognition result.
  • the reliability may be divided into a plurality of layers such as “high”, “medium”, and “low”, and information may be prepared for each layer.
  • the output unit 13 displays a double circle mark on the table when the reliability is “high”, displays a circle mark on the table when the reliability is “medium”, and the reliability is “low”.
  • a cross mark may be displayed on the table.
  • Other configurations of the output unit 13 are the same as those in the first and second embodiments.
  • the same operational effects as those of the first and second embodiments can be realized.
  • the accounting worker can grasp not only the product has been recognized but also the reliability of the product recognition based on the information displayed on the table. If the reliability is low, the accounting worker can check whether the recognition content is correct.
  • the accounting operator can check the recognition contents only for the products with low reliability, instead of checking whether the recognition contents are correct for all the products. As a result, it is possible to save work.
  • the registration device 10 can display information on a table at a timing different from that of the first to fourth embodiments. Details will be described below.
  • An example of the hardware configuration of the registration apparatus 10 is the same as in the first to fourth embodiments.
  • FIG. 2 An example of a functional block diagram of the registration device 10 is shown in FIG. 2 as in the first to fourth embodiments.
  • the configurations of the image acquisition unit 11 and the registration unit 14 are the same as those in the first to fourth embodiments.
  • the analysis unit 12 continuously analyzes a plurality of frames (images) included in the moving image.
  • the analysis unit 12 recognizes the first product that was not recognized in the frame immediately before the first frame in the first frame, and then the recognition result for the frame after the first frame satisfies a predetermined condition. If satisfied, the recognition result that the first product is included in the image is determined.
  • the predetermined condition may be that after the first product is recognized in the first frame, the first product is recognized continuously for M frames (M is an integer of 1 or more).
  • M is an integer of 1 or more
  • the output unit 13 displays the third information on the table when the analysis unit 12 recognizes the first product in the first frame.
  • the output unit 13 displays the second information on the table.
  • the third information is different from information corresponding to other situations of image analysis (eg, first information, second information).
  • Other configurations of the output unit 13 are the same as those in the first to fourth embodiments.
  • the registration unit 14 registers the first product as an accounting object after confirming the recognition result that the first product is included in the image.
  • the same operational effects as those of the first to fourth embodiments can be realized.
  • the recognition result of the goods contained in an image can be decided based not only on the analysis result with respect to one frame but also on the analysis results with respect to a plurality of frames. As a result, the reliability of the analysis result can be increased.
  • the accounting worker proceeds with the process of determining the recognition result of the product included in the image based on the analysis result for a plurality of frames based on the information displayed on the table.
  • the situation can be grasped.
  • the accounting worker can grasp the status of the image analysis in more detail.
  • the registration device 10 may include a switching unit that turns on / off the display of information on the platform by the output unit 13.
  • the switching unit can switch ON / OFF according to a user input.
  • the output unit 13 displays information corresponding to the progress state on the stand according to the progress state of the image analysis by the analysis unit 12.
  • the output unit 13 does not display information corresponding to the progress of image analysis by the analysis unit 12 on the table.
  • Customers and stores who are bothered by the display of information on the table can avoid displaying information on the table by operating the registration device 10 and setting it to OFF.
  • a user-friendly configuration can be realized.
  • the switching unit that turns on / off the display of information on the stand by the output unit 13 may have a function of turning on / off the display of information about a part of the product group. For example, when a product (fresh food, medicine, etc.) belonging to a specific product category is identified, it may have a function of displaying information on a table. Or you may restrict
  • the switching unit may be a physical switch, or a button for the switching unit may be displayed on a table for displaying information.
  • the output unit 13 displays information indicating that fact. It may be displayed on the table.
  • the information is different from information corresponding to other situations of image analysis (eg, first information, second information, third information).
  • the case where the product is not recognized may be, for example, a case where there is no product whose similarity is equal to or higher than a reference value.
  • the accounting worker can grasp the situation in which the object is detected but the product is not recognized based on the information displayed on the table. As a result, the status of image analysis can be grasped in detail.
  • the product recognized by the analysis unit 12 in the case of the fifth embodiment, the recognition result is confirmed
  • the product registered by the registration unit 14 (hereinafter, “registered product”) is a frame image after registration (eg, product)
  • the output unit 13 returns the original placement position of the registered product (the last detected one).
  • Information indicating that is displayed at the mounting position specified by the frame image The output unit 13 may change the mode of the information displayed at the original placement position according to the continuous time that is not detected (the number of continuous frames that are not detected).
  • the output unit 13 may display predetermined information (for example, a predetermined mark) at the original placement position, and lighten or darken the information gradually as the continuous time increases.
  • the output unit 13 gradually decreases the density of information (eg, a predetermined mark) displayed at the original placement position while the registered product is detected, as the continuous time increases. Also good.
  • Image acquisition means for acquiring an image obtained by photographing the mounting surface of the table on which the product is mounted; Analyzing means for recognizing the product included in the image; Registration means for registering the recognized product as an accounting object; Output means for displaying information corresponding to the progress of the analysis of the image by the analyzing means on the table; A registration device.
  • the output unit is a registration device that displays the first information on the table when the analyzing unit recognizes that the object is placed on the table. 3.
  • the output unit is a registration device that displays the second information on the table when the product is recognized by the analysis unit. 4).
  • the analysis means recognizes the first product not recognized in the frame immediately before the first frame in the first frame, and then recognizes the recognition result for the frame after the first frame as a predetermined condition. If satisfied, the recognition result that the first product is included in the image is confirmed,
  • the output means displays the third information on the table when the analyzing means recognizes the first product in the first frame, and the analyzing means determines that the predetermined condition is satisfied. Then, a registration device that displays the second information on the table. 7).
  • the output means displays a mark of the first color on the table when the analyzing means recognizes that the object is placed on the table, and the second means when the analysis means recognizes the product.
  • the said output means is the registration apparatus which displays the information which shows that it cannot recognize, when the object which cannot recognize the said goods in the said analysis means is included in the said stand. 9.
  • the output unit displays predetermined information at the mounting position specified in the detected last image, and is not detected continuously A registration device that thins the information as the size of the device increases. 10.

Abstract

本発明は、商品を載置する台の載置面を撮影した画像を取得する画像取得部（１１）と、画像に含まれる商品を認識する解析部（１２）と、認識された商品を会計対象として登録する登録部（１４）と、解析部（１２）による画像の解析の進行状況に対応した情報を上記台に表示する出力部（１３）と、を有する登録装置（１０）を提供する。

Description

登録装置、登録方法及びプログラム
　本発明は、登録装置、登録方法及びプログラムに関する。
　特許文献１には、会計対象の商品を撮影し、画像解析で画像内の商品を認識して登録する商品登録装置が開示されている。
　特許文献２には、表示面上の実オブジェクトの情報に応じて表示面に表示される表示オブジェクトの表示領域を決定する表示制御装置が開示されている。当該表示制御装置は、食卓に置かれた食器の種別を認識し、種別に応じた表示エフェクトおよび音を出力することができる。
　特許文献３には、カメラで生成された商品の画像を受信し、当該画像を表示し、表示した商品の中から商品の指定を受付ける利用者端末が開示されている。
特開２０１６－６２５４５号公報 国際公開第２０１５／０９８１８９号 特開平３－１４３１８５号公報
　会計対象の商品を撮影し、画像解析で画像内の商品を認識して登録する技術においては、会計作業者が画像解析の進行状況を把握し難という問題がある。本発明は、画像解析で会計対象の商品を認識して登録する技術において、会計作業者が画像解析の進行状況を把握できるようにすることを課題とする。
　本発明によれば、
　商品を載置する台の載置面を撮影した画像を取得する画像取得手段と、
　前記画像に含まれる前記商品を認識する解析手段と、
　認識された前記商品を会計対象として登録する登録手段と、
　前記解析手段による前記画像の解析の進行状況に対応した情報を前記台に表示する出力手段と、
を有する登録装置が提供される。
　また、本発明によれば、
　コンピュータが、
　商品を載置する台の載置面を撮影した画像を取得する画像取得工程と、
　前記画像に含まれる前記商品を認識する解析工程と、
　認識された前記商品を会計対象として登録する登録工程と、
　前記解析工程での前記画像の解析の進行状況に対応した情報を前記台に表示する出力工程と、
を実行する登録方法が提供される。
　また、本発明によれば、
　コンピュータを、
　商品を載置する台の載置面を撮影した画像を取得する画像取得手段、
　前記画像に含まれる前記商品を認識する解析手段、
　認識された前記商品を会計対象として登録する登録手段、
　前記解析手段による前記画像の解析の進行状況に対応した情報を前記台に表示する出力手段、
として機能させるプログラムが提供される。
　本発明によれば、画像解析で会計対象の商品を認識して登録する技術において、会計作業者が画像解析の進行状況を把握できるようになる。
　上述した目的、および、その他の目的、特徴および利点は、以下に述べる好適な実施の形態、および、それに付随する以下の図面によって、さらに明らかになる。
本実施形態の登録装置のハードウエア構成の一例を示す図である。 本実施形態の登録装置の機能ブロック図の一例を示す図である。 本実施形態の登録装置を利用した会計処理で利用されるカメラと台の一例を模式的に示す図である。 本実施形態の登録装置の処理の流れの一例を示すフローチャートである。 本実施形態の登録装置が台に表示する情報の一例を模式的に示す図である。 本実施形態の登録装置が台に表示する情報の一例を模式的に示す図である。 本実施形態の登録装置が台に表示する情報の一例を模式的に示す図である。
＜第１の実施形態＞
　まず、本実施形態の登録装置の概要を説明する。本実施形態の登録装置は、商品を販売する店舗での会計処理に利用される。登録装置は、いわゆるＰＯＳ（point of sales）レジスターであってもよい。登録装置は、店員に操作されることを前提とした装置であってもよいし、顧客に操作されることを前提とした装置であってもよい。
　登録装置を利用した会計処理では、会計処理の対象の商品を載置するための台と、当該台の載置面を撮影するカメラとが用意される。会計処理において、会計作業者（店員、顧客等）は、会計対象の商品を台の載置面に載置する。登録装置は、カメラにより生成された画像を取得すると、画像を解析し、画像に含まれる商品を認識する。そして、登録装置は、認識した商品を会計対象の商品として登録する。
　なお、登録装置は、会計作業者が画像解析の進行状況を把握できるようにする機能を有する。具体的には、登録装置は、画像解析の進行状況に応じて、進行状況に対応した情報を台に表示する。進行状況に対応した複数の情報は互いに異なる。
　このような本実施形態の登録装置によれば、会計作業者は、台に表示された情報に基づき、画像解析の進行状況を把握することができる。
　次に、本実施形態の登録装置の構成を詳細に説明する。まず、登録装置のハードウエア構成の一例について説明する。登録装置が備える機能は、任意のコンピュータのＣＰＵ（Central Processing Unit）、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット（あらかじめ装置を出荷する段階から格納されているプログラムのほか、ＣＤ（Compact Disc）等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる）、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。
　図１は、登録装置のハードウエア構成を例示するブロック図である。図１に示すように、登録装置は、プロセッサ１Ａ、メモリ２Ａ、入出力インターフェイス３Ａ、周辺回路４Ａ、バス５Ａを有する。周辺回路４Ａには、様々なモジュールが含まれる。なお、周辺回路４Ａを有さなくてもよい。
　バス５Ａは、プロセッサ１Ａ、メモリ２Ａ、周辺回路４Ａ及び入出力インターフェイス３Ａが相互にデータを送受信するためのデータ伝送路である。プロセッサ１Ａは、例えばＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などの演算処理装置である。メモリ２Ａは、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリである。入出力インターフェイス３Ａは、入力装置（例：キーボード、マウス、マイク等）、外部装置、外部サーバ、外部センサー等から情報を取得するためのインターフェイスや、出力装置（例：ディスプレイ、スピーカ、プリンター、メーラ等）、外部装置、外部サーバ等に情報を出力するためのインターフェイスなどを含む。プロセッサ１Ａは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。
　図２に、登録装置１０の機能ブロック図の一例を示す。図示するように、登録装置１０は、画像取得部１１と、解析部１２と、出力部１３と、登録部１４とを有する。
　画像取得部１１は、商品を載置する台の載置面を撮影した画像を取得する。上述の通り、登録装置１０を利用した会計処理では、会計処理の対象の商品を載置するための台と、当該台の載置面を撮影するカメラとが用意される。画像取得部１１は、当該カメラにより生成された画像を取得する。カメラは動画像（複数の画像）を生成し、画像取得部１１は当該動画像をカメラから取得してもよい。
　図３に、台とカメラの一例を模式的に示す。図では、台１と、部材２と、支柱３と、カメラ４とが示されている。部材２は、台１の上面に位置し、台１の一部をなす。部材２の露出面が、商品を載置する載置面となる。なお、部材２はディスプレイであってもよいし、他の部材であってもよい。カメラ４は支柱３に取り付けられており、上方から部材２の露出面を撮影する。カメラ４により生成された画像は、有線及び／又は無線での通信により、不図示の登録装置１０に送信される。
　図２に戻り、解析部１２は、画像取得部１１により取得された画像を解析し、画像に含まれる商品を認識する。解析部１２は、パターンマッチング技術などを利用して、商品を認識することができる。
　例えば、解析部１２は、画像の二値化、輪郭線抽出等の技術を利用して画像に含まれる物体を検出する（物体検出）。その後、解析部１２は、検出した物体の画像に現れる外観の特徴（画像内の物体が存在する領域の特徴）と、予め登録されている複数の商品各々の外観の特徴とを照合することで、その物体がいずれの商品であるかを特定する（商品認識）。例えば、解析部１２は、その物体との外観の類似度が最も高い商品、又は、その物体との外観の類似度が最も高くかつ当該類似度が基準値以上の商品を特定してもよい。商品の外観の特徴は、色、表面の凹凸、形状等が例示されるが、これらに限定されない。
　出力部１３は、解析部１２による画像解析の進行状況に対応した情報を台（例：台の載置面）に表示する。進行状況に対応した複数の情報は互いに異なる。例えば、出力部１３は、物体検出の完了に応じて図５に示すように第１のマークＭ（例：丸等）を台に表示し、商品認識の完了に応じて図６に示すように第２のマークＭ（例：四角等）を台に表示してもよい。なお、ここでは、物体検出の完了及び商品認識の完了に応じて情報を台に表示する例を示したが、画像解析が他の状況に達したことに応じて情報を台に表示する構成としてもよい。また、表示する情報はマークに限定されず、文字、数字、絵、キャラクター等、他の情報としてもよい。さらに、画像解析の進行状況に応じてマークの表示態様（例：色、濃淡）を異ならせてもよい。例えば、出力部１３は、解析部１２により物体が台に載置されたことを認識されると第１の色のマークを台に表示し、解析部１２により商品を認識されると第２の色のマークを台に表示してもよい。
　台の一部にディスプレイが設けられている場合、出力部１３は当該ディスプレイに、画像解析の進行状況に対応した情報を表示させることができる。例えば、図３を用いて説明したように、商品を載置する載置面がディスプレイ（部材２）で構成されている場合、出力部１３は当該ディスプレイ（部材２）に、画像解析の進行状況に対応した情報を表示させることができる。その他、出力部１３は、投影装置を用いて、台に情報を投影してもよい。
　また、出力部１３は、物体の載置位置に対応する位置に、画像解析の進行状況に対応した情報を表示させることができる。例えば、図５及び図６に示すように物体の載置位置を囲むように情報（マークＭ）を表示させてもよいし、図７に示すように物体の載置位置に近接して情報（マークＭ）を表示させてもよい。例えば、出力部１３は、「画像の座標」を「台の載置面を構成するディスプレイの表示領域の座標」に変換する変換ルールを予め保持しておく。そして、出力部１３は、画像内の物体の位置（座標）を当該変換ルールに基づきディスプレイの表示領域の座標に変換し、例えば変換した位置を囲むように、又は、その位置に近接して情報を表示させる。
　同様に、出力部１３は、「画像の座標」を「投影装置の投影領域の座標」に変換する変換ルールを予め保持しておいてもよい。そして、出力部１３は、画像内の物体の位置（座標）を当該変換ルールに基づき投影装置の投影領域の座標に変換し、例えば変換した位置を囲むように、又は、その位置に近接して情報を表示させてもよい。
　画像の座標は、画像内の任意の位置を原点とし、任意の方向をｘ軸方向及びｙ軸方向と定めた座標系で示される。ディスプレイの表示領域の座標は、表示領域内の任意の位置を原点とし、任意の方向をｘ軸方向及びｙ軸方向と定めた座標系で示される。投影装置の投影領域の座標は、投影領域内の任意の位置を原点とし、任意の方向をｘ軸方向及びｙ軸方向と定めた座標系で示される。
　登録部１４は、解析部１２により認識された商品を会計対象として登録する。例えば、登録部１４は、解析部１２により認識された商品の商品情報を商品マスタから取得し、取得した商品情報の少なくとも一部を登録装置１０に登録する。商品情報は、価格、商品名、商品コード等を含む。
　以上説明した本実施形態の登録装置１０によれば、台に載置された商品を画像解析で認識し、認識した商品を会計処理の対象として登録することができる。このような登録装置１０によれば、商品の登録作業が効率化する。
　また、登録装置１０は、画像解析の進行状況に応じて、進行状況に対応した情報を台に表示することができる。なお、進行状況に対応した複数の情報互いに異なる。例えば、登録装置１０は、物体検出の完了に応じて第１のマーク（例：丸等）を台に表示し、商品認識の完了に応じて第２のマーク（例：四角等）を台に表示してもよい。このような登録装置１０によれば、会計作業者は、台に表示された情報に基づき、画像解析の進行状況を把握することができる。
＜第２の実施形態＞
　本実施形態の登録装置１０は、第１の実施形態と異なるタイミングで台に情報を表示することができる。以下、詳細に説明する。
　登録装置１０のハードウエア構成の一例は、第１の実施形態と同様である。
　登録装置１０の機能ブロック図の一例は、第１の実施形態同様、図２で示される。画像取得部１１及び登録部１４の構成は、第１の実施形態と同様である。
　解析部１２は、第１の実施形態同様、画像取得部１１により取得された画像を解析し、画像に含まれる商品を認識する。解析部１２は、「物体の検出」、「物体が台に載置されたことの認識」、「台に載置された物体がいずれの商品であるかの特定」をこの順に実行することができる。
　物体の検出は、画像の二値化、輪郭線抽出等のあらゆる技術を利用して実現できる。
　物体が台に載置されたことの認識は、例えば、以下のようにして実現することができる。まず、予め、画像内の台の載置面の表示領域を示す情報を解析部１２に保持させておく。表示領域は、画像内の任意の点を原点とし、任意の方向をｘ軸及びｙ軸とした座標系の座標で示されてもよい（例：表示領域が多角形である場合、頂点の座標）。画像内の一部が台の載置面の表示領域であってもよいし、画像の全部が台の載置面の表示領域であってもよい。台の設置位置、カメラの設置位置、カメラの向き等は固定され、台とカメラとの相対的な位置関係等は一定であるものとする。そして、解析部１２は、台の載置面の表示領域に存在する物体の動きが所定時間以上停止したことを検出すると、その物体が台に載置されたと認識してもよい。
　台に載置された物体がいずれの商品であるかの特定（商品認識）は、検出した物体の画像に現れる外観の特徴（画像内の物体が存在する領域の特徴）と、予め登録されている複数の商品各々の外観の特徴とを照合することで実現される。例えば、解析部１２は、その物体との外観の類似度が最も高い商品、又は、その物体との外観の類似度が最も高くかつ当該類似度が基準値以上の商品を特定してもよい。商品の外観の特徴は、色、表面の凹凸、形状等が例示されるが、これらに限定されない。
　出力部１３は、解析部１２により物体が台に載置されたことが認識されたことや、台に載置された物体がいずれの商品であるか特定されたことを示す情報を表示する。例えば、出力部１３は、解析部１２により物体が台に載置されたことを認識されると、当該状況に対応した第１の情報を台に表示する。また、出力部１３は、解析部１２により台に載置された物体がいずれの商品であるかを特定されると、当該状況に対応した第２の情報を台に表示する。第１の情報及び第２の情報は、互いに異なる情報である。
　なお、出力部１３は、解析部１２により物体が検出されると、当該状況に対応した情報（第１及び第２の情報と異なる情報）を台に表示してもよい。
　次に、図４のフローチャートを用いて、本実施形態の登録装置１０の処理の流れの一例を説明する。
　処理がスタートされると、画像取得部１１はカメラからの画像の取得を開始する。そして、解析部１２は、画像の解析を開始する。
　解析部１２により物体が台に載置されたことを認識されると（Ｓ１０のＹｅｓ）、出力部１３は、その状況に対応した第１の情報を台に表示する（Ｓ１１）。出力部１３は、物体の載置位置に対応する位置に第１の情報を表示する。なお、解析部１２により物体が台に載置されたことを認識されない間（Ｓ１０のＮｏ）、第１の情報は台に表示されない。
　その後、解析部１２によりその物体がいずれの商品であるか特定されると（Ｓ１２のＹｅｓ）、出力部１３は、その状況に対応した第２の情報を表示する（Ｓ１３）。出力部１３は、物体の載置位置に対応する位置に第２の情報を表示する。また、Ｓ１３では、登録部１４は、特定された商品を会計対象として登録する。解析部１２により台に載置された物体がいずれの商品であるかを特定されなければ（Ｓ１２のＮｏ）、第２の情報は台に表示されない。
　なお、出力部１３は、第２の情報を表示するまで、第１の情報の表示を継続してもよい。そして、解析部１２によりその物体がいずれの商品であるか特定されると（Ｓ１２のＹｅｓ）、それに応じて第１の情報の表示を終了し、代わりに、第２の情報を表示してもよい。出力部１３は、その後、台の上からその物体が離れるまで、又は、精算処理の入力があるまで、第２の情報の表示を継続してもよい。他の例として、出力部１３は、第１の情報及び第２の情報を所定時間表示し、所定時間の経過に応じて第１の情報及び第２の情報の表示を終了してもよい。
　その後、解析部１２により次の物体が台に載置されたことを認識されると（Ｓ１４のＹｅｓ）、出力部１３は、その状況に対応した第１の情報を台に表示する（Ｓ１５）。出力部１３は、その物体の載置位置に対応する位置に第１の情報を表示する。その後、解析部１２によりその物体がいずれの商品であるか特定されると（Ｓ１６のＹｅｓ）、出力部１３はその状況に対応した第２の情報を台に表示する（Ｓ１７）。出力部１３は、その物体の載置位置に対応する位置に第２の情報を表示する。Ｓ１７では、さらに、登録部１４は特定された商品を会計対象として登録する。なお、台に複数の物体が載置された場合、台に複数の第１の情報が表示されてもよいし、台に複数の第２の情報が表示されてもよいし、台に第１の情報及び第２の情報の両方が表示されてもよい。
　解析部１２によるＳ１４及びＳ１６での新たな認識／特定がなく（Ｓ１４のＮｏ、Ｓ１６のＮｏ）、精算処理の入力があった場合（Ｓ１８のＹｅｓ）、登録装置１０は精算処理を実行する（Ｓ１９）。例えば、登録装置１０は、それまでに登録された商品に基づき算出された支払合計金額の支払いとして、現金の入力を受付け、必要に応じて釣銭の出力やレシートの出力を行ってもよい。また、登録装置１０は、クレジットカードの入力を受付け、クレジット会社のシステムと通信し、決済処理を行ってもよい。また、登録装置１０は、精算処理のための情報（登録された商品を示す情報、支払合計金額等）を他の精算装置に送信してもよい。
　以上説明した本実施形態の登録装置１０によれば、第１の実施形態と同様な作用効果を実現できる。また、本実施形態の登録装置１０によれば、物体が台に載置されたことの認識、及び、商品認識各々に応じて、互いに異なる情報を台に表示することができる。
　このような本実施形態の登録装置１０によれば、会計作業者は、台に表示された情報に基づき、台への物体の載置を認識されたことを把握できる。また、会計作業者は、商品認識されたことを把握できる。会計作業者は、画像解析の進行状況を把握できるので、不安なく登録作業を進めることができる。
＜第３の実施形態＞
　本実施形態の登録装置１０は、商品認識された際に台に表示される情報が、第１及び第２の実施形態と異なる。以下、詳細に説明する。
　登録装置１０のハードウエア構成の一例は、第１及び第２の実施形態と同様である。
　登録装置１０の機能ブロック図の一例は、第１及び第２の実施形態同様、図２で示される。画像取得部１１及び登録部１４の構成は、第１及び第２の実施形態と同様である。
　解析部１２は、認識した商品の商品カテゴリを特定する。解析部１２のその他の構成は、第１及び第２の実施形態と同様である。例えば、予め、商品毎に商品カテゴリを示した商品カテゴリ情報を、解析部１２に保持させておく。そして、解析部１２は、画像解析で商品を認識すると、当該商品カテゴリ情報を参照し、認識した商品の商品カテゴリを特定する。
　出力部１３は、解析部１２により台に載置された物体がいずれの商品であるか特定された際に台に表示する第２の情報を、特定された商品の商品カテゴリに応じて異ならせる。例えば、出力部１３は、「食品」が特定された際に星マークを台に表示し、「日用雑貨」が特定された際に三角マークを台に表示してもよい。出力部１３のその他の構成は、第１及び第２の実施形態と同様である。
　以上説明した本実施形態の登録装置１０によれば、第１及び第２の実施形態と同様な作用効果を実現できる。また、本実施形態の登録装置１０によれば、会計作業者は、台に表示された情報に基づき、商品認識されたことのみならず、認識内容（商品カテゴリ）を把握することができる。それに基づき、会計作業者は、認識内容が間違っていないかを確認できる。
＜第４の実施形態＞
　本実施形態の登録装置１０は、商品認識された際に台に表示される情報が、第１及び第２の実施形態と異なる。以下、詳細に説明する。
　登録装置１０のハードウエア構成の一例は、第１及び第２の実施形態と同様である。
　登録装置１０の機能ブロック図の一例は、第１及び第２の実施形態同様、図２で示される。画像取得部１１及び登録部１４の構成は、第１及び第２の実施形態と同様である。
　解析部１２は、商品認識の認識結果の信頼度を出力する。当該信頼度は、パターンマッチングで算出された類似度（認識した商品と画像に含まれる物体との類似度）であってもよい。解析部１２のその他の構成は、第１及び第２の実施形態と同様である。
　出力部１３は、解析部１２により台に載置された物体がいずれの商品であるか認識された際に台に表示する情報を、認識結果の信頼度に応じて異ならせる。例えば、信頼度を「高」、「中」、「低」のように複数に階層分けし、階層毎に情報が用意されてもよい。例えば、出力部１３は、信頼度が「高」の場合に二重丸マークを台に表示し、信頼度が「中」の場合に丸マークを台に表示し、信頼度が「低」の場合にバツマークを台に表示してもよい。出力部１３のその他の構成は、第１及び第２の実施形態と同様である。
　以上説明した本実施形態の登録装置１０によれば、第１及び第２の実施形態と同様な作用効果を実現できる。また、本実施形態の登録装置１０によれば、会計作業者は、台に表示された情報に基づき、商品認識されたことのみならず、商品認識の信頼度を把握することができる。会計作業者は、信頼度が低い場合には、認識内容が間違っていないか確認することができる。本実施形態によれば、会計作業者は、全ての商品に対して認識内容が間違っていないか確認するのでなく、信頼度が低い商品に対してのみ認識内容の確認をすることができる。結果、作業の手間を省くことができる。
＜第５の実施形態＞
　本実施形態の登録装置１０は、第１乃至第４の実施形態と異なるタイミングで台に情報を表示することができる。以下、詳細に説明する。
　登録装置１０のハードウエア構成の一例は、第１乃至第４の実施形態と同様である。
　登録装置１０の機能ブロック図の一例は、第１乃至第４の実施形態同様、図２で示される。画像取得部１１及び登録部１４の構成は、第１乃至第４の実施形態と同様である。
　解析部１２は、動画像に含まれる複数のフレーム（画像）を連続的に解析する。そして、解析部１２は、第１のフレームの直前のフレームで認識されなかった第１の商品を第１のフレームで認識した後、第１のフレームの後のフレームに対する認識結果が所定の条件を満たすと、第１の商品が画像に含まれるという認識結果を確定する。所定の条件は、第１の商品を第１のフレームで認識した後、Ｍフレーム連続で第１の商品を認識することであってもよい（Ｍは１以上の整数）。解析部１２のその他の構成は、第１乃至第４の実施形態と同様である。
　出力部１３は、解析部１２により第１の商品が第１のフレームで認識されると、第３の情報を台に表示する。そして、出力部１３は、解析部１２により上記所定の条件を満たすと判断されると、第２の情報を台に表示する。第３の情報は、画像解析のその他の状況に対応した情報（例：第１の情報、第２の情報）と異なる。出力部１３のその他の構成は、第１乃至第４の実施形態と同様である。
　登録部１４は、第１の商品が画像に含まれるという認識結果を確定された後、第１の商品を会計対象として登録する。
　以上説明した本実施形態の登録装置１０によれば、第１乃至第４の実施形態と同様な作用効果を実現できる。また、本実施形態の登録装置１０によれば、１つのフレームに対する解析結果だけでなく、複数のフレームに対する解析結果に基づいて、画像に含まれる商品の認識結果を確定することができる。結果、解析結果の信頼性を高めることができる。
　また、本実施形態の登録装置１０によれば、会計作業者は、台に表示された情報に基づき、複数のフレームに対する解析結果に基づいて画像に含まれる商品の認識結果を確定する処理の進行状況を把握することができる。結果、会計作業者は、より詳細に画像解析の状況を把握できる。
　ここで、すべての実施形態に適用可能な変形例を説明する。登録装置１０は、出力部１３による台への情報の表示をＯＮ／ＯＦＦする切替部を有してもよい。切替部は、ユーザ入力に応じてＯＮ／ＯＦＦを切り替えることができる。出力部１３による台への情報の表示がＯＮになっている場合、出力部１３は、解析部１２による画像の解析の進行状況に応じて、進行状況に対応した情報を台に表示する。一方、出力部１３による台への情報の表示がＯＦＦになっている場合、出力部１３は、解析部１２による画像の解析の進行状況に対応した情報を台に表示しない。台への情報の表示を煩わしく思う客や店舗は、登録装置１０を操作し、ＯＦＦ設定にすることで、台に情報が表示されることを回避できる。このように、当該変形例によれば、ユーザフレンドリーな構成を実現できる。
　なお、出力部１３による台への情報の表示をＯＮ／ＯＦＦする切替部は、一部の商品群に関する情報の表示をＯＮ／ＯＦＦする機能を有してもよい。たとえば、特定の商品カテゴリに属する商品（生鮮食品、医薬品等）を識別した場合に、台へ情報を表示させる機能を有してもよい。または、特定の商品カテゴリに属する商品について、台への情報の表示を制限してもよい。または、所定の金額以上の商品について台への情報を表示させる機能や、所定の金額以下の商品について台への情報を表示させない機能であってもよい。切替部は物理的なスイッチであってもよいし、情報を表示する台に切替部のボタンを表示させてもよい。
　すべての実施形態に適用可能な他の変形例を説明する。解析部１２により、物体が台に載置されたことを認識されたが、その物体がいずれの商品であるかを特定されない場合（商品認識されない場合）、出力部１３はその旨を示す情報を台に表示してもよい。当該情報は、画像解析のその他の状況に対応した情報（例：第１の情報、第２の情報、第３の情報）と異なる。商品認識されない場合は、例えば、上述した類似度が基準値以上となる商品が存在しない場合であってもよい。当該変形例によれば、会計作業者は、物体検出されているが、商品認識されない状況を、台に表示された情報に基づき把握することができる。結果、画像解析の状況を詳細に把握できる。
　すべての実施形態に適用可能な他の変形例を説明する。解析部１２により商品認識され（第５の実施形態の場合、認識結果が確定され）、登録部１４により登録された商品（以下、「登録商品」）が、登録以降のフレーム画像（例：商品認識されたフレーム画像以降のフレーム画像、認識結果が確定されたフレーム画像以降のフレーム画像）において検出されなくなった場合、出力部１３は、その登録商品の元の載置位置（検出された最後のフレーム画像で特定された載置位置）にその旨を示す情報を表示する。出力部１３は、検出されない連続時間（検出されない連続フレーム数）に応じて、元の載置位置に表示した情報の態様を変化させてもよい。例えば、出力部１３は、元の載置位置に所定の情報（例：所定のマーク）を表示し、その情報の濃淡を上記連続時間が大きくなるに従いだんだんに薄くしてもよい。その他、出力部１３は、登録商品が検出されている間に元の載置位置に表示されていた情報（例：所定のマーク）の濃淡を、上記連続時間が大きくなるに従いだんだんに薄くしてもよい。
　隠れやノイズなどで、一時的に載置された商品が検出されなくなる場合がある。連続フレームで検出と未検出が交互に入れ替わると、情報表示が不連続に変化してしまい、会計作業者にとって認識結果状況の把握が困難となる。討議変形例によれば、これを防止することができる。
　以下、参考形態の例を付記する。
１．　商品を載置する台の載置面を撮影した画像を取得する画像取得手段と、
　前記画像に含まれる前記商品を認識する解析手段と、
　認識された前記商品を会計対象として登録する登録手段と、
　前記解析手段による前記画像の解析の進行状況に対応した情報を前記台に表示する出力手段と、
を有する登録装置。
２．　１に記載の登録装置において、
　前記出力手段は、前記解析手段により物体が前記台に載置されたことを認識されると、第１の前記情報を前記台に表示する登録装置。
３．　１又は２に記載の登録装置において、
　前記出力手段は、前記解析手段により前記商品を認識されると、第２の前記情報を前記台に表示する登録装置。
４．　３に記載の登録装置において、
　前記出力手段は、前記第２の情報を、認識された前記商品の商品カテゴリに応じて異ならせる登録装置。
５．　３に記載の登録装置において、
　前記出力手段は、前記第２の情報を、前記商品の認識結果の信頼度に応じて異ならせる登録装置。
６．　３から５のいずれかに記載の登録装置において、
　前記解析手段は、第１のフレームの直前のフレームで認識されなかった第１の前記商品を前記第１のフレームで認識した後、前記第１のフレームの後のフレームに対する認識結果が所定の条件を満たすと、前記第１の商品が前記画像に含まれるという認識結果を確定し、
　前記出力手段は、前記解析手段により前記第１の商品が前記第１のフレームで認識されると第３の前記情報を前記台に表示し、前記解析手段により前記所定の条件を満たすと判断されると前記第２の情報を前記台に表示する登録装置。
７．　１から６のいずれかに記載の登録装置において、
　前記出力手段は、前記解析手段により物体が前記台に載置されたことを認識されると第１の色のマークを前記台に表示し、前記解析手段により前記商品を認識されると第２の色のマークを前記台に表示する登録装置。
８．　１から７のいずれかに記載の登録装置において、
　前記出力手段は、前記解析手段において前記商品の認識ができない物体が前記画像に含まれる場合、認識できないことを示す情報を前記台に表示する登録装置。
９．　１から８のいずれかに記載の登録装置において、
　前記出力手段は、前記登録手段により登録された商品が登録以降の画像において検出されなくなった場合、検出された最後の画像で特定された載置位置に所定の情報を表示し、検出されない連続時間が大きくなるに従い前記情報を薄くする登録装置。
１０．　コンピュータが、
　商品を載置する台の載置面を撮影した画像を取得する画像取得工程と、
　前記画像に含まれる前記商品を認識する解析工程と、
　認識された前記商品を会計対象として登録する登録工程と、
　前記解析工程での前記画像の解析の進行状況に対応した情報を前記台に表示する出力工程と、
を実行する登録方法。
１１．　コンピュータを、
　商品を載置する台の載置面を撮影した画像を取得する画像取得手段、
　前記画像に含まれる前記商品を認識する解析手段、
　認識された前記商品を会計対象として登録する登録手段、
　前記解析手段による前記画像の解析の進行状況に対応した情報を前記台に表示する出力手段、
として機能させるプログラム。

Claims (11)

  1. 　商品を載置する台の載置面を撮影した画像を取得する画像取得手段と、
    　前記画像に含まれる前記商品を認識する解析手段と、
    　認識された前記商品を会計対象として登録する登録手段と、
    　前記解析手段による前記画像の解析の進行状況に対応した情報を前記台に表示する出力手段と、
    を有する登録装置。
  2. 　請求項１に記載の登録装置において、
    　前記出力手段は、前記解析手段により物体が前記台に載置されたことを認識されると、第１の前記情報を前記台に表示する登録装置。
  3. 　請求項１又は２に記載の登録装置において、
    　前記出力手段は、前記解析手段により前記商品を認識されると、第２の前記情報を前記台に表示する登録装置。
  4. 　請求項３に記載の登録装置において、
    　前記出力手段は、前記第２の情報を、認識された前記商品の商品カテゴリに応じて異ならせる登録装置。
  5. 　請求項３に記載の登録装置において、
    　前記出力手段は、前記第２の情報を、前記商品の認識結果の信頼度に応じて異ならせる登録装置。
  6. 　請求項３から５のいずれか１項に記載の登録装置において、
    　前記解析手段は、第１のフレームの直前のフレームで認識されなかった第１の前記商品を前記第１のフレームで認識した後、前記第１のフレームの後のフレームに対する認識結果が所定の条件を満たすと、前記第１の商品が前記画像に含まれるという認識結果を確定し、
    　前記出力手段は、前記解析手段により前記第１の商品が前記第１のフレームで認識されると第３の前記情報を前記台に表示し、前記解析手段により前記所定の条件を満たすと判断されると前記第２の情報を前記台に表示する登録装置。
  7. 　請求項１から６のいずれか１項に記載の登録装置において、
    　前記出力手段は、前記解析手段により物体が前記台に載置されたことを認識されると第１の色のマークを前記台に表示し、前記解析手段により前記商品を認識されると第２の色のマークを前記台に表示する登録装置。
  8. 　請求項１から７のいずれか１項に記載の登録装置において、
    　前記出力手段は、前記解析手段において前記商品の認識ができない物体が前記画像に含まれる場合、認識できないことを示す情報を前記台に表示する登録装置。
  9. 　請求項１から８のいずれか１項に記載の登録装置において、
    　前記出力手段は、前記登録手段により登録された商品が登録以降の画像において検出されなくなった場合、検出された最後の画像で特定された載置位置に所定の情報を表示し、検出されない連続時間が大きくなるに従い前記情報を薄くする登録装置。
  10. 　コンピュータが、
    　商品を載置する台の載置面を撮影した画像を取得する画像取得工程と、
    　前記画像に含まれる前記商品を認識する解析工程と、
    　認識された前記商品を会計対象として登録する登録工程と、
    　前記解析工程での前記画像の解析の進行状況に対応した情報を前記台に表示する出力工程と、
    を実行する登録方法。
  11. 　コンピュータを、
    　商品を載置する台の載置面を撮影した画像を取得する画像取得手段、
    　前記画像に含まれる前記商品を認識する解析手段、
    　認識された前記商品を会計対象として登録する登録手段、
    　前記解析手段による前記画像の解析の進行状況に対応した情報を前記台に表示する出力手段、
    として機能させるプログラム。
PCT/JP2018/006719 2018-02-23 2018-02-23 登録装置、登録方法及びプログラム WO2019163096A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020501955A JP6984725B2 (ja) 2018-02-23 2018-02-23 登録装置、登録方法及びプログラム
US16/971,972 US20200394637A1 (en) 2018-02-23 2018-02-23 Registration apparatus, registration method, and non-transitory storage medium
PCT/JP2018/006719 WO2019163096A1 (ja) 2018-02-23 2018-02-23 登録装置、登録方法及びプログラム
JP2021185447A JP7205603B2 (ja) 2018-02-23 2021-11-15 登録装置、登録方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/006719 WO2019163096A1 (ja) 2018-02-23 2018-02-23 登録装置、登録方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2019163096A1 true WO2019163096A1 (ja) 2019-08-29

Family

ID=67687149

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/006719 WO2019163096A1 (ja) 2018-02-23 2018-02-23 登録装置、登録方法及びプログラム

Country Status (3)

Country Link
US (1) US20200394637A1 (ja)
JP (1) JP6984725B2 (ja)
WO (1) WO2019163096A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004240835A (ja) * 2003-02-07 2004-08-26 Glory Ltd 物品認識装置
US20100158310A1 (en) * 2008-12-23 2010-06-24 Datalogic Scanning, Inc. Method and apparatus for identifying and tallying objects
JP2012069092A (ja) * 2010-08-23 2012-04-05 Toshiba Tec Corp 店舗システムおよびプログラム
JP2013050924A (ja) * 2011-08-31 2013-03-14 Toshiba Tec Corp 店舗システム及びプログラム
JP2015018506A (ja) * 2013-07-12 2015-01-29 東芝テック株式会社 商品認識装置及び商品認識プログラム
JP2016173657A (ja) * 2015-03-16 2016-09-29 カシオ計算機株式会社 オブジェクト認識装置および認識結果提示方法
US20170017944A1 (en) * 2015-07-15 2017-01-19 Toshiba Tec Kabushiki Kaisha Commodity-sales-data processing apparatus, commodity-sales-data processing method, and computer-readable storage medium
WO2017126253A1 (ja) * 2016-01-21 2017-07-27 日本電気株式会社 情報処理装置、情報処理方法、及び、プログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9367770B2 (en) * 2011-08-30 2016-06-14 Digimarc Corporation Methods and arrangements for identifying objects
EP3483780A1 (en) * 2017-11-10 2019-05-15 Skidata Ag Classification and identification systems and methods

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004240835A (ja) * 2003-02-07 2004-08-26 Glory Ltd 物品認識装置
US20100158310A1 (en) * 2008-12-23 2010-06-24 Datalogic Scanning, Inc. Method and apparatus for identifying and tallying objects
JP2012069092A (ja) * 2010-08-23 2012-04-05 Toshiba Tec Corp 店舗システムおよびプログラム
JP2013050924A (ja) * 2011-08-31 2013-03-14 Toshiba Tec Corp 店舗システム及びプログラム
JP2015018506A (ja) * 2013-07-12 2015-01-29 東芝テック株式会社 商品認識装置及び商品認識プログラム
JP2016173657A (ja) * 2015-03-16 2016-09-29 カシオ計算機株式会社 オブジェクト認識装置および認識結果提示方法
US20170017944A1 (en) * 2015-07-15 2017-01-19 Toshiba Tec Kabushiki Kaisha Commodity-sales-data processing apparatus, commodity-sales-data processing method, and computer-readable storage medium
WO2017126253A1 (ja) * 2016-01-21 2017-07-27 日本電気株式会社 情報処理装置、情報処理方法、及び、プログラム

Also Published As

Publication number Publication date
JP6984725B2 (ja) 2021-12-22
JPWO2019163096A1 (ja) 2021-02-04
US20200394637A1 (en) 2020-12-17

Similar Documents

Publication Publication Date Title
JP2019168762A (ja) 精算システム、精算方法及びプログラム
JP7464156B2 (ja) 登録装置、登録方法及びプログラム
JP7070654B2 (ja) 登録装置、登録方法及びプログラム
JP7248009B2 (ja) 登録システム、登録方法及びプログラム
JP7205603B2 (ja) 登録装置、登録方法及びプログラム
WO2019163096A1 (ja) 登録装置、登録方法及びプログラム
JP7435716B2 (ja) 登録装置、登録方法及びプログラム
JP7215474B2 (ja) 登録システム、登録方法及びプログラム
JP7070674B2 (ja) 登録システム、登録方法及びプログラム
JP7248010B2 (ja) 登録システム、登録方法及びプログラム
JP7405144B2 (ja) 処理装置、処理方法及びプログラム
JP7214967B2 (ja) 商品情報取得装置、商品情報取得方法、およびプログラム
JP7200487B2 (ja) 精算システム、精算方法及びプログラム
JP7322945B2 (ja) 処理装置、処理方法及びプログラム
JP7464162B2 (ja) 処理装置、処理方法及びプログラム
JP7342943B2 (ja) 販売管理システム、店舗装置、販売管理方法、およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18907134

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020501955

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18907134

Country of ref document: EP

Kind code of ref document: A1