WO2021255953A1 - 情報処理装置 - Google Patents

情報処理装置 Download PDF

Info

Publication number
WO2021255953A1
WO2021255953A1 PCT/JP2020/039938 JP2020039938W WO2021255953A1 WO 2021255953 A1 WO2021255953 A1 WO 2021255953A1 JP 2020039938 W JP2020039938 W JP 2020039938W WO 2021255953 A1 WO2021255953 A1 WO 2021255953A1
Authority
WO
WIPO (PCT)
Prior art keywords
inspection
image
unit
instruction
facility
Prior art date
Application number
PCT/JP2020/039938
Other languages
English (en)
French (fr)
Inventor
裕敬 大内
輝俊 鈴木
Original Assignee
Ｏｍリサーチ＆コンサルティング株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ｏｍリサーチ＆コンサルティング株式会社 filed Critical Ｏｍリサーチ＆コンサルティング株式会社
Publication of WO2021255953A1 publication Critical patent/WO2021255953A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Definitions

  • the present invention relates to food hygiene management.
  • Patent Document 1 states that the inspection results of the state of hygiene management of business establishments handling food and their employees are worse than the predetermined standard values determined according to the importance.
  • a technique for notifying a predetermined notification destination of an alert when it is a result is disclosed.
  • the present invention includes an image acquisition unit that acquires an image of a food hygiene inspection target in a facility that handles food, and a presentation unit that presents the acquired image to the instructor of the inspection.
  • an information processing apparatus including a first transmission unit for transmitting first instruction data indicating an instruction given by the instructor based on the presented image to a destination associated with the facility.
  • a determination unit for determining an inspection for the inspection target reflected in the image based on the acquired feature amount of the image is provided, and the presentation unit makes the determination when the determination is a predetermined result.
  • the image used may be presented to the instructor of the examination.
  • an evaluation unit that evaluates the quality of the acquired image as an image for inspection based on the feature amount of the acquired image, and an evaluation unit that evaluates the acquired image as a predetermined quality are used for the evaluation. It may be provided with a second transmission unit that transmits the second instruction data indicating the instruction for re-imaging of the inspection target shown in the image to the destination.
  • the second transmission unit may transmit data for displaying a sample image for shooting to be inspected as the second instruction data.
  • the second transmission unit may transmit data for displaying the sample image according to the type of the facility as the second instruction data.
  • the presenting unit may make it easier to determine the inspection result of the inspection target as the predetermined result, as the result of the inspection regarding the inspection target for which the determination is made is small.
  • the image acquisition unit acquires an image of a wide-angle camera installed in the facility, and the presentation unit guides the image obtained by correcting the distortion of the inspection target in the image used for the determination. May be presented to a person.
  • the first transmission unit may transmit data for displaying a sample image for shooting to be inspected as the first instruction data.
  • a diagram showing an example of the displayed instruction screen Diagram showing an example of the displayed inspection screen The figure which shows an example of the operation procedure of each device in a storage process.
  • FIG. 1 shows an example of the overall configuration of the inspection support system 1 according to the embodiment.
  • the inspection support system 1 is a system that supports inspection work, which is one of the work related to food hygiene management in a facility that handles food.
  • the inspection work is a work to inspect whether the food hygiene condition in the facility meets the standards required for safety (for example, the standards defined by HACCP (Hazard Analysis and Critical Control Point)).
  • a facility that handles food is, for example, a restaurant, a restaurant for food and drink, a warehouse for food and drink, a factory for manufacturing food and drink, and the like, and is also a facility where food hygiene is inspected.
  • the person in charge of food hygiene inspection is determined, but the person in charge of inspection work is not necessarily the person who has specialized knowledge and experience in food hygiene inspection.
  • the inspection support system 1 particularly supports inspection work in a facility where only a person in charge who does not have the specialized knowledge and experience of such food hygiene inspection is available.
  • the inspection support system 1 includes a network 2, a server device 10, a user terminal 20, an instructor terminal 30, and a printing device 3.
  • the network 2 is a communication system including a mobile communication network, the Internet, and the like, and relays data exchange between devices accessing the own system.
  • the server device 10 accesses the network 2 by wire communication (may be wireless communication), and the user terminal 20 and the instructor terminal 30 access by wireless communication.
  • the user terminal 20 is a terminal used by an inspector who performs inspection work in a facility that handles food, and is a so-called mobile terminal that can be carried like a smartphone or a tablet terminal.
  • the person in charge of inspection is, for example, an employee in charge of inspection work among employees of a facility that handles food.
  • the user terminal 20 stores the items to be inspected and displays the stored items.
  • the person in charge of inspection inspects the displayed items and inputs the inspection result to the user terminal 20.
  • the instructor terminal 30 is a terminal used by an instructor who supports an inspector from a remote location, and is a mobile terminal such as a smartphone. In this embodiment, there is only one instructor for the sake of brevity.
  • the server device 10 performs a process of managing information related to inspection by a plurality of user terminals 20 and instructor terminals 30.
  • the server device 10 is an example of the "information processing device" of the present invention.
  • the information related to the inspection is the inspection items described above and the inspection results for each inspection item. The processing performed by the server device 10 will be described in detail later.
  • FIG. 2 shows an example of the hardware configuration of the server device 10.
  • the server device 10 is a computer including a processor 11, a memory 12, a storage 13, a communication device 14, and a bus 15.
  • the processor 11 operates, for example, an operating system to control the entire computer.
  • the processor 11 includes a central processing unit (CPU: Central Processing Unit) including an interface with peripheral devices, a control device, an arithmetic unit, a register, and the like.
  • CPU Central Processing Unit
  • the processor 11 reads a program, data, and the like from at least one of the storage 13 and the communication device 14 into the memory 12, and executes various processes according to the read program and the like.
  • the memory 12 is a computer-readable recording medium such as a ROM (Read Only Memory) and a RAM (Random Access Memory).
  • the storage 13 is a recording medium that can be read by a computer such as a hard disk drive.
  • the communication device 14 is hardware (transmission / reception device) for communicating between computers via at least one of a wired network and a wireless network.
  • Each device such as the processor 11 and the memory 12 is connected by a bus 15 for communicating information.
  • the bus 15 may be configured by using a single bus, or may be configured by using a different bus for each device.
  • FIG. 3 shows an example of the hardware configuration of the user terminal 20 and the instructor terminal 30.
  • the user terminal 20 and the instructor terminal 30 are computers including a processor 21, a memory 22, a storage 23, a communication device 24, an input device 25, an output device 26, an image pickup device 27, and a bus 28.
  • the processor 21 or the like in which the hardware having the same name is shown in FIG. 2 is the same type of hardware as in FIG. 2, although there are differences in performance, specifications, and the like.
  • the input device 25 is an input device (for example, a switch, a button, a sensor, etc.) that receives an input from the outside.
  • the input device 25 includes an image pickup device (such as a digital camera) for taking a picture.
  • the output device 26 is an output device (for example, a display, a speaker, an LED lamp, etc.) that outputs to the outside.
  • the input device 25 and the output device 26 include an integrated configuration (a touch screen in which a display and a touch panel are integrated).
  • the image pickup apparatus 27 includes a lens, an optical system, an image sensor, and the like, and captures an image represented by light reaching the image sensor.
  • Each function in each device included in the inspection support system 1 is performed by the processor by loading predetermined software (program) on the hardware such as each processor and memory, and the communication by each communication device is controlled. It is realized by controlling at least one of reading and writing of data in memory and storage.
  • FIG. 4 shows the functional configuration realized by each device.
  • the server device 10 includes a facility information storage unit 101, a print control unit 102, a read information acquisition unit 103, an inspection information output unit 104, an inspection image acquisition unit 111, an inspection image evaluation unit 112, and a re-shooting instruction unit. It includes 113, a machine determination unit 121, and an inspection instruction transfer unit 122.
  • the user terminal 20 includes a code reading unit 201, an inspection information storage unit 202, and an inspection processing unit 203.
  • the instructor terminal 30 includes a machine determination display unit 301, an instruction operation reception unit 302, and an inspection instruction transmission unit 303.
  • the facility information storage unit 101 stores facility information, which is information about facilities where food hygiene inspections are performed. Specifically, the facility information storage unit 101 stores information in which a facility where a food hygiene inspection is performed and inspection information indicating a predetermined inspection method for the facility are associated with each other as facility information. Appropriate methods for food hygiene inspection are determined according to factors such as industry, business type, facility equipment environment, facility scale, and types of foodstuffs to be handled.
  • FIG. 5 shows an example of facility information.
  • the facility information storage unit 101 associates the facilities A, B, and C with "major item”, “medium item”, “inspection item”, “inspection time”, and “passing standard”, respectively.
  • the information is stored as facility information.
  • "Employees”, “ingredients”, etc. are defined as major items.
  • "Hand wash”, "clothes”, etc. are stipulated as medium items.
  • the inspection items are represented by symbols in FIG. 5, but are actually represented by sentences explaining the contents of the inspection.
  • the inspection item K-1 shall be the content of the inspection, for example, "washing hands for a predetermined time or longer".
  • this "predetermined time” is defined as a pass criterion for the inspection item K-1.
  • different pass criteria standard a for facility A, standard b for facility B, and standard c for facility C are associated with each facility as the pass criteria for the inspection item K-1.
  • the inspection items K-1, K-2, and K-3 are associated with the hand washing of the facility A, but only the inspection items K-1, K-3 are associated with the hand washing of the facility B. Only the inspection items K-1 and K-2 are associated with the hand washing.
  • the facility information storage unit 101 stores facility information associated with inspection items that differ depending on the facility.
  • the print control unit 102 outputs print data for printing information associated with the facility (hereinafter referred to as "correspondence information").
  • the correspondence information is, for example, identification information individually assigned to each facility, and specifically, a facility ID (Identification). Further, in the present embodiment, the print control unit 102 outputs print data for printing the coded correspondence information.
  • the print control unit 102 outputs, for example, print data for printing a two-dimensional code indicating a facility ID for each facility.
  • the facility information storage unit 101 stores the facility ID "ID001" in the facility A, "ID002" in the facility B, and "ID003" in the facility C as identification information. Therefore, these identification information are information associated with the facility.
  • the print control unit 102 outputs print data for printing the two-dimensional code indicating "ID001" for facility A, and outputs print data for printing the two-dimensional code indicating "ID002" for facility B. ..
  • the print control unit 102 outputs print data to the above-mentioned printing device 3.
  • the coded correspondence information is not limited to the two-dimensional code, but may be a one-dimensional code, or may be a list of symbols obtained by converting the identification information by a predetermined algorithm.
  • the printing device 3 prints the corresponding information indicated by the output print data on a medium such as paper.
  • FIG. 6 shows an example of printed correspondence information.
  • the two-dimensional code 5 which is the corresponding information associated with the “facility A” is printed on the paper 4.
  • the character strings "Food hygiene inspection support information for facility A” and "Start the inspection application and read the following two-dimensional code” are printed on the form 4.
  • the print control unit 102 outputs print data indicating a procedure for supporting the inspection of food hygiene by using the corresponding information.
  • the code reading unit 201 reads the two-dimensional code which is the printed correspondence information.
  • the code reading unit 201 analyzes the image taken by the image pickup device 27 of its own device, and if a two-dimensional code is included, reads the information indicated by the two-dimensional code.
  • the code reading unit 201 reads the facility ID "ID001" of the facility A.
  • the code reading unit 201 transmits the read information (hereinafter referred to as “reading information”) to the server device 10.
  • the read information acquisition unit 103 of the server device 10 acquires the transmitted read information.
  • the reading information acquisition unit 103 supplies the acquired reading information to the inspection information output unit 104.
  • the read information supplied in this way is the facility ID read by the user terminal 20 as described above.
  • the inspection information output unit 104 is supplied with the read information (facility ID) as described above, that is, when the correspondence information read by the user terminal 20 is transmitted from the user terminal 20 capable of reading the correspondence information.
  • the inspection information associated with the same facility to which the corresponding information is associated is output to the user terminal 20.
  • the inspection information output unit 104 first reads out the inspection information stored in association with the supplied reading information (facility ID) from the facility information storage unit 101. Then, the inspection information output unit 104 outputs the read inspection information to the user terminal 20 which is the transmission source of the read information.
  • the output inspection information is supplied to the inspection information storage unit 202 of the user terminal 20.
  • the facility ID read by the code reading unit 201 is also supplied to the inspection information storage unit 202.
  • the inspection information storage unit 202 stores the supplied inspection information in association with the supplied facility ID.
  • FIG. 7 shows an example of stored inspection information.
  • the inspection information in the facility A is stored.
  • the user terminal 20 provided with the inspection information storage unit 202 in this case is the user terminal 20 that has read the correspondence information printed for the facility A.
  • the user terminal 20 provided with the inspection information storage unit 202 is the user terminal 20 in which the inspection information in the facility B is printed for the facility B and the corresponding information is read.
  • the inspection processing unit 203 performs processing related to food hygiene inspection based on the stored inspection information.
  • the inspection processing unit 203 first displays an inspection screen for the relevant facility.
  • FIG. 8 shows an example of the displayed inspection screen.
  • the inspection processing unit 203 has the major items “employee” tab T1, “foodstuff” tab T2, “equipment / tableware” tab T3, “storage status” tab T4, and “environment”.
  • the inspection list including the tab T5 of "" and the tab T6 of "determination” described later is displayed with the tab T1 open.
  • the display area C1 of the "employee” includes a display area D1 for "hand washing", a display area D2 for "clothes", a display area D3 for "visual inspection of fingers", and the like.
  • Inspection items such as "K-1" and "K-2" are displayed in the display area of each middle item.
  • the display area C1 is scrolled, the display area of the middle item and the inspection item that are not displayed are displayed.
  • an NG button E1 On the left side of the inspection item, an NG button E1, a photo button E2, a comment button E3, and an OK button E4 are displayed.
  • the inspection processing unit 203 enlarges and displays only the selected inspection item.
  • FIG. 9 shows an example of an enlarged display of the selected inspection item.
  • the inspection item K-4 is enlarged and displayed.
  • an "x" mark mark indicating that the inspection result is NG, that is, a failure
  • the OK button E4 is pressed, " ⁇ " is displayed.
  • "Mark mark indicating that the inspection result is OK) is displayed.
  • the photo input field E5 is tapped, for example, the image pickup device of the user terminal 20 is activated to take a picture by the user's operation, and the taken picture is displayed in the picture input field E5.
  • the inspection processing unit 203 displays the result of the accepted input operation.
  • the inspection processing unit 203 determines that when the temporary suspension button B1 is tapped, the input to the enlarged inspection item K-4 is temporarily suspended, and returns to the inspection screen of FIG. 8 to display a list of inspection items. indicate. Further, when the input completion button B2 is tapped, the inspection processing unit 203 determines that the input to the enlarged inspection item K-4 has been completed, and returns to the inspection screen of FIG. 8 to list the inspection items. Is displayed.
  • the inspection processing unit 203 stores the inspection result table, and when the input completion button B2 is tapped, reflects the result of the input operation up to that point in the inspection result table as the inspection result.
  • FIG. 10 shows an example of an inspection result table.
  • "facility ID”, "inspection count”, “inspection item”, “NG”, “OK”, “photograph”, “comment” and “input date and time” are stored in association with each other. ..
  • the "facility ID” and "number of inspections” are stored when the inspection processing unit 203 generates an inspection result table.
  • "1" times are stored as “inspection times”.
  • "NG” means that the test failed
  • "OK” means that the test passed.
  • the input of "NG” is represented by "x”
  • the input of "OK” is represented by " ⁇ ”.
  • the photo is represented by the file name of the image data
  • the comment is represented by the file name of the text data.
  • the input date and time is represented by the date and time, but it may be represented up to the detailed time.
  • the inspection processing unit 203 refers to the inspection results stored in the inspection result table and performs the aggregation processing of the inspection results.
  • the aggregation process is a process of calculating a value obtained by totaling the number of common inspection results (for example, OK inspection results) as an aggregation value.
  • the aggregation process also includes a process of calculating yet another value based on the calculated aggregated value.
  • the inspection processing unit 203 aggregates the inspection results of OK and calculates the ratio of the aggregated value of OK to the total number of inspection items (hereinafter referred to as “evaluation rate”) for each major item and for the whole. I do. The higher the evaluation rate, the more work that should be carried out for hygiene management is being carried out, and it can be used as an index indicating that safer food supply can be expected.
  • the inspection processing unit 203 handles the inspection results of each inspection item with a weight rather than a uniform weight in the calculation of the evaluation rate. For example, when there are 50 inspection items, if they are treated uniformly, the evaluation rate will decrease by 2% for each NG. On the other hand, by weighting each inspection item, the evaluation rate is calculated so that, for example, if the inspection item with high importance is NG, it decreases by 3%, and if the inspection item with low importance is NG, it decreases by 1%. To.
  • Importance means, for example, that inspection items that have a greater impact on food hygiene are more important. By weighting with the importance added, the reliability of the evaluation rate as the above index can be improved as compared with the case where the importance is not added.
  • the inspection processing unit 203 displays the result of the previously performed aggregation.
  • FIG. 11 shows an example of the displayed aggregation result.
  • the inspection processing unit 203 displays a result table F1 showing the evaluation rate for each major item and a radar chart F2 showing the evaluation rate for each major item.
  • the inspection processing unit 203 indicates the overall evaluation rate as "comprehensive evaluation”, and the character string "S" of the evaluation rank determined according to the comprehensive evaluation and "excellent store” which is the name determined according to the comprehensive evaluation. it's shown.
  • the inspection processing unit 203 updates and stores the inspection result table. Since the stored test result includes the facility ID and the number of tests, it is possible to know which facility and which test result it is.
  • the inspection processing unit 203 transmits an image (hereinafter referred to as “inspection image”) input by the user and used for inspection to the server device 10.
  • the inspection image is, for example, a photograph of an inspection target such as a sink, a washroom, a floor, and a refrigerator.
  • the inspection image acquisition unit 111 receives the transmitted inspection image and acquires the inspection image, that is, the image of the food hygiene inspection target in the facility that handles food.
  • the inspection image acquisition unit 111 is an example of the "image acquisition unit" of the present invention.
  • the inspection image acquisition unit 111 supplies the acquired inspection image to the inspection image evaluation unit 112.
  • the inspection image evaluation unit 112 evaluates the quality of the inspection image as an inspection image based on the feature amount of the inspection image acquired by the inspection image acquisition unit 111.
  • the inspection image evaluation unit 112 is an example of the "evaluation unit" of the present invention.
  • the inspection image evaluation unit 112 stores, for example, an inspection image table in which the feature quantities of inspection images of samples of various facilities having a common inspection target and the high quality of the inspection images as images for inspection are associated with each other. Keep it.
  • the inspection image evaluation unit 112 calculates the feature amount of the acquired inspection image, compares the calculated feature amount with the feature amount stored in the inspection image table, and determines the degree of similarity with the acquired inspection image. Calculate for the inspection image of the sample.
  • the inspection image evaluation unit 112 evaluates the quality associated with the inspection image of the sample having the highest similarity as the quality of the acquired inspection image.
  • the inspection image evaluation unit 112 supplies the quality evaluation result to the rephotographing instruction unit 113.
  • the re-shooting instruction unit 113 sends the instruction data indicating the re-shooting instruction of the inspection target reflected in the inspection image used for the evaluation to the above-mentioned destination (this implementation). In the example, it is transmitted to the user terminal 20).
  • the instruction data in this case is an example of the "second instruction data" of the present invention
  • the reshooting instruction unit 113 is an example of the "second transmission unit" of the present invention.
  • the re-shooting instruction unit 113 transmits data for displaying the sample image for shooting to be inspected on the user terminal 20 as instruction data. For example, the re-shooting instruction unit 113 transmits an inspection image of a sample evaluated as having the highest quality in the inspection image table as a sample image for the inspection target reflected in the inspection image evaluated as having a predetermined quality. In this embodiment, if the inspection target is the same, the same sample image is transmitted to the user terminal 20 used in any facility.
  • the inspection processing unit 203 of the user terminal 20 displays an inspection screen including a sample image indicated by the transmitted instruction data.
  • the re-shooting instruction unit 113 is not limited to transmitting data indicating the sample image itself, and may, for example, transmit data indicating the save destination and file name of the sample image as the data for displaying as described above. ..
  • FIG. 12 shows an example of the displayed inspection screen.
  • the inspection processing unit 203 displays the sample image F1 next to the instruction content in addition to the determination result and the like shown in FIG.
  • the inspector takes a picture of the inspection target again with reference to the displayed sample image F1 and inputs it as the second inspection image. After that, the inspection is input as described in the explanations of FIGS. 8 and 9.
  • the re-shooting instruction unit 113 evaluates that the acquired inspection image is not of a predetermined quality, the re-shooting instruction unit 113 notifies the inspection image acquisition unit 111 to that effect. Upon receiving this notification, the inspection image acquisition unit 111 supplies the acquired inspection image to the machine determination unit 121.
  • the machine determination unit 121 makes the following determination when the inspection image is received, that is, when the inspection image is evaluated to be of a predetermined quality.
  • the machine determination unit 121 determines the inspection of the inspection target reflected in the inspection image based on the feature amount of the inspection image acquired by the inspection image acquisition unit 111.
  • the machine determination unit 121 is an example of the "determination unit" of the present invention.
  • the machine determination unit 121 learns the relationship between the feature amount of the inspection image and the correct inspection result, for example, using the inspection image used in the past inspection and the inspection result performed by a person based on the inspection image as teacher data. ..
  • the feature amount of the inspection image for example, one or more feature amounts among SIFT (Scaled Invariance. Feature Transform) feature amount, SURF (Speeded-Up Robust Features) feature amount, HOG (Histograms of Oriented Gradients) feature amount, and the like are used. It may be used.
  • the machine determination unit 121 determines an inspection result for which the learned relationship holds with respect to the feature amount of the acquired inspection image.
  • the machine determination unit 121 may make an inspection determination using so-called AI (Artificial Intelligence) technology, or may make an inspection determination using an algorithm researched and determined by an engineer or the like. good. In short, the machine determination unit 121 may determine the inspection without bothering human hands, and the higher the accuracy of the determination (the more consistent with the judgment of the inspection expert), the more desirable.
  • AI Artificial Intelligence
  • the machine determination unit 121 transmits the inspection image used for the determination to the instructor terminal 30.
  • the predetermined result in this embodiment, the result that the inspection fails is used as in the case where the NG button E1 shown in FIG. 8 is pressed.
  • the predetermined result for example, the determination result of the inspection item having a significant influence on the risk reduction of food poisoning may be used even if the inspection is passed.
  • the machine determination unit 121 transmits the input inspection image for the inspection item determined to be unacceptable to the instructor terminal 30.
  • the machine determination display unit 301 of the instructor terminal 30 displays the determination result transmitted from the server device 10.
  • FIG. 13 shows an example of the displayed determination result.
  • the machine judgment display unit 301 includes the NG judgment result, inspection image and comment of the inspection item “K1-3”, and the NG judgment result, inspection image and comment of the inspection item “K1-8”. Is displayed.
  • the displayed inspection image is viewed by the instructor who uses the instructor terminal 30.
  • the machine determination unit 121 transmits the inspection image used for the determination, and presents the inspection image used for the determination to the instructor.
  • the machine determination unit 121 is an example of the "presentation unit" of the present invention.
  • the machine determination display unit 301 displays an instruction creation button B3 for displaying an instruction screen for creating an instruction for an inspection item.
  • FIG. 14 shows an example of the displayed instruction screen.
  • the machine judgment display unit 301 gives an instruction input field E8 for the instructor to input an instruction under the NG judgment result, the inspection image, and the comment of the inspection item “K1-3” shown in FIG. Is displayed.
  • the instruction operation reception unit 302 receives these operations, that is, the instruction operation by the instructor.
  • the instruction operation reception unit 302 supplies instruction data indicating an instruction input by the received instruction operation to the inspection instruction transmission unit 303.
  • the inspection instruction transmission unit 303 transmits the instruction indicated by the supplied instruction data to the person in charge of inspection who uses the user terminal 20. In this embodiment, the inspection instruction transmission unit 303 transmits the supplied instruction data to the server device 10.
  • the inspection instruction transfer unit 122 of the server device 10 transfers the transmitted instruction data, that is, instruction data indicating an instruction given by the instructor based on the inspection image presented by the machine determination unit 121, to the user terminal 20.
  • the user terminal 20 which is the transfer destination is the destination associated with the facility.
  • the instruction data in this case is an example of the "first instruction data" of the present invention
  • the inspection instruction transfer unit 122 is an example of the "first transmission unit” of the present invention.
  • the inspection processing unit 203 of the user terminal 20 displays an inspection screen including an instruction indicated by the transferred instruction data.
  • FIG. 15 shows an example of the displayed inspection screen.
  • the inspection processing unit 203 takes an instruction content and a picture taken by the instructor under the judgment result of NG of the inspection item “K1-3” shown in FIG. 13, the first inspection image and the first comment.
  • the input field E9 for the corrected second inspection image and the input field E10 for the second comment are displayed.
  • the temporary interruption button B1 and the input completion button B2 shown in FIG. 9 are displayed, and it is assumed that the input is performed in the same manner as in the example of FIG.
  • the server device 10 and the user terminal 20 perform a storage process for storing inspection information based on printed correspondence information and a guidance support process for supporting remote guidance by an instructor.
  • FIG. 16 shows an example of the operation procedure of each device in the storage process. The operation procedure of FIG. 16 is started, for example, when the operator of the inspection support system 1 performs an operation of instructing the server device 10 to print correspondence information for each facility from an external device or the like.
  • the server device 10 (print control unit 102) outputs print data for printing coded correspondence information (two-dimensional code indicating facility identification information in this embodiment), and outputs the correspondence information on paper or the like. Printing on a medium (step S11).
  • the user terminal 20 (code reading unit 201) reads the two-dimensional code which is the printed correspondence information (step S21).
  • the user terminal 20 (code reading unit 201) transmits the read information (facility ID indicated by the two-dimensional code), which is the read information, to the server device 10 (step S22).
  • the server device 10 acquires the transmitted read information (step S23).
  • the server device 10 (inspection information output unit 104) reads out the inspection information stored in association with the acquired read information (facility ID) from the facility information storage unit 101 (step S24).
  • the server device 10 (inspection information output unit 104) outputs the read inspection information to the user terminal 20 which is the transmission source of the read information (step S25).
  • the user terminal 20 (inspection information storage unit 202) stores the output inspection information in association with the facility ID (step S26).
  • FIG. 17 shows an example of the operation procedure of each device in the instruction support process.
  • the operation procedure of FIG. 17 is started, for example, when the person in charge of inspection performs an operation of displaying the inspection screen on the user terminal 20.
  • the user terminal 20 (inspection processing unit 203) displays an inspection screen including inspection items stored in the operation procedure of FIG. 16 and performs an inspection process for accepting an inspection input by an inspector (step S31).
  • the user terminal 20 transmits the inspection image input by the inspection process to the server device 10 (step S32).
  • the server device 10 acquires the transmitted inspection image (step S33).
  • the server device 10 evaluates the quality of the inspection image as an inspection image based on the feature amount of the acquired inspection image (step S34).
  • step S34 it is assumed that the predetermined quality is evaluated in step S34.
  • the server device 10 (re-shooting instruction unit 113) transmits instruction data indicating a re-shooting instruction of the inspection target reflected in the inspection image used for the evaluation to the user terminal 20 (step S41).
  • the user terminal 20 (inspection processing unit 203) photographs the inspection target again by the operation of the person in charge of inspection (step S42), and transmits the captured image, that is, the inspection image to the server device 10 (step S43).
  • the server device 10 performs the same operation as in steps S33 and S34 in steps S44 and S45.
  • the quality is not the predetermined quality in step S34.
  • the server device 10 (machine determination unit 121) determines the inspection of the inspection target reflected in the inspection image based on the feature amount of the inspection image acquired in step S44 (step S46).
  • step S46 is the above-mentioned predetermined result (for example, the result of failing).
  • the server device 10 transmits the input inspection image for the inspection item determined to be a predetermined result to the instructor terminal 30 (step S51).
  • the instructor terminal 30 displays the transmitted determination result (step S52).
  • the instructor terminal 30 accepts the instruction operation by the instructor (step S53). Subsequently, the instructor terminal 30 (inspection instruction transmission unit 303) transmits the instruction data indicating the instruction input by the instructor to the user terminal 20 via the server device 10, so that the person in charge of inspection using the user terminal 20 is used. The instruction from the instructor is transmitted to (step S54).
  • the server device 10 transfers (transmits) the transmitted instruction data, that is, the instruction data indicating the instruction given by the instructor based on the presented inspection image, to the user terminal 20. (Step S55).
  • the user terminal 20 displays an inspection screen including an instruction indicated by the transferred instruction data (step S56). Then, the user terminal 20 (inspection processing unit 203) displays an inspection screen and performs an inspection process for accepting an inspection input by an inspector (step S57).
  • the inspector it is possible for the inspector to be remotely involved in the food hygiene inspection without the instructor going to the site. Further, in the present embodiment, when it is determined that the quality of the image for inspection is low, the instructor is presented with the inspection image which is re-photographed and the quality is improved. As a result, the instructor is less likely to instruct the re-shooting of the inspection image, and the instructor's labor can be reduced.
  • a sample image for photography to be inspected is displayed.
  • the quality of the re-photographed inspection image as an inspection image can be improved as compared with the case where the sample image is not displayed.
  • the server device 10 mechanically inspects and only the inspection image which is a predetermined result is presented to the instructor.
  • the number of inspection items instructed by the instructor can be reduced and the number of facilities that the instructor can remotely support can be increased as compared with the case where all the inspection images are presented to the instructor.
  • sample image In the example, if the inspection target is the same, the same sample image is transmitted to the user terminal 20 used in any facility, but the sample image may be different depending on the facility. ..
  • the re-shooting instruction unit 113 of this modification transmits data for displaying a sample image (sample image for shooting to be inspected) according to the type of facility on the user terminal 20 as instruction data.
  • the reshooting instruction unit 113 uses, for example, a sample image table in which the type of facility and the sample image are associated with each other.
  • FIG. 18 shows an example of a sample image table.
  • inspection items and sample images are associated with each of the facility types (types classified according to the scale of the facility) of "large scale”, “medium scale”, and "small scale”.
  • the reshooting instruction unit 113 stores, for example, a list in which the identification information of the user terminal 20 and the scale of the facility associated with the user terminal 20 are associated with each other. Then, the reshooting instruction unit 113 reads out the sample image associated with the sample image table at the scale of the facility associated with the identification information of the user terminal 20 to which the instruction data is transmitted, and reads out the sample image. Is transmitted to the user terminal 20 as a sample image according to the type of facility.
  • the type of facility is not limited to the type classified according to the scale of the facility.
  • the type of business conducted at the facility may be used as the type of facility.
  • the reshooting instruction unit 113 reads out a sample image using a sample image table in which a sample image of the equipment is associated with that industry. Send.
  • the area where the facility is located may be used as the type of facility.
  • the reshooting instruction unit 113 uses a sample image table in which the area and the sample image of the equipment provided in the area are associated with each other to display a sample image. Read and send.
  • the reshooting instruction unit 113 reads out and transmits a sample image associated with those types.
  • an image showing equipment specific to that type of facility is used as a sample image, so re-shooting is performed compared to the case where a uniform sample image is used regardless of the type of facility. It is possible to display a sample image that is more helpful in.
  • the machine judgment unit 121 may provide so-called feedback using an inspection image actually judged as teacher data and a judgment result judged by a person based on the inspection image. In that case, the reliability of the determination improves as the amount of feedback increases. In other words, the reliability of the judgment is not high while the amount of feedback is small.
  • the machine determination unit 121 makes it easier to determine the inspection result of the inspection target as the above-mentioned predetermined result as the inspection record of the inspection target to be determined is small.
  • the machine determination unit 121 uses, for example, a result table in which inspection results and predetermined results are associated with each other.
  • FIG. 19 shows an example of a result table.
  • the inspection results of "less than Th1", “Th1 or more and less than Th2", and “Th2 or more” are referred to as "two consecutive failures", “failure”, “failure and specific inspection target". Predetermined results are associated.
  • the machine determination unit 121 When the machine determination unit 121 first determines the inspection of the inspection target, the machine determination unit 121 adds "1" to the number of inspections associated with the inspection target and updates the inspection results. Then, when the machine determination unit 121 determines a new inspection for the inspection target, the inspection result of the inspection target is read out, and the predetermined result associated with the read inspection result in the result table is used. It is determined whether or not the judgment result of the inspection is a predetermined result.
  • the machine determination unit 121 determines that the result is a predetermined result when the inspection result is less than Th1 and the inspection result is "two consecutive failures". Further, the machine determination unit 121 determines that the result is a predetermined result when the inspection record is Th2 or more and the inspection result is "failure and a specific inspection target".
  • the inspection image is a photograph, that is, a still image in the embodiment, but may be a moving image.
  • the inspection image evaluation unit 112 may evaluate the quality of the inspection image based on a still image cut out from the moving image, or may evaluate the quality of the inspection image based on the moving image for a certain period of time.
  • the machine determination unit 121 may also make an inspection determination based on a still image cut out from a moving image, or may make an inspection determination based on a moving image for a certain period of time.
  • a wide-angle camera may be used for photographing the inspection target.
  • a wide-angle camera is a camera that uses a so-called wide-angle lens that has a wider angle of view than a standard lens. For example, by installing a wide-angle camera on the ceiling in a store, it is possible to simultaneously photograph a plurality of inspection targets such as a kitchen, a dishwashing place, and a hand washing place. The wide-angle camera transmits the captured image to the server device 10.
  • the inspection image acquisition unit 111 acquires the transmitted image, that is, the image of the wide-angle camera installed in the facility. Since the image taken by the wide-angle camera has a distorted object as compared with the image taken by the standard lens, the inspection image evaluation unit 112 has the distortion of the inspection target shown in the image taken by the wide-angle camera. To correct.
  • the machine determination unit 121 for example, cuts out a portion showing an inspection target from an image of a wide-angle camera.
  • the machine determination unit 121 cuts out a portion including an object recognized as an inspection target by, for example, an image recognition process.
  • the machine determination unit 121 may cut out a range set by a human hand as a portion in which the inspection target is shown.
  • the machine determination unit 121 performs coordinate conversion using, for example, coordinate conversion using conversion parameters between the coordinates in the wide-angle camera image of each pixel included in the cut-out image and the coordinates when distortion and inclination are corrected, and the corrected image. To generate.
  • the machine determination unit 121 uses the generated corrected image as an inspection image to determine the inspection of the inspection target reflected in the inspection image.
  • the machine determination unit 121 presents the inspection image used for the determination to the instructor by transmitting the inspection image used for the determination, that is, the image corrected for the distortion of the inspection target reflected in the image used for the determination. ..
  • a 360-degree camera may be used as the wide-angle camera.
  • a 360-degree camera is a camera that can shoot in any direction, front, back, left, and right by shooting through a plurality of lenses and stitching the shot images together.
  • the 360 degree camera has, for example, a viewing angle of 360 degrees in a horizontal angle of view and 180 degrees in a vertical angle of view. For example, by installing a 360-degree camera on the ceiling in a store, it is possible to take pictures of a plurality of inspection targets such as a kitchen, a dishwashing place, and a hand washing place at the same time.
  • a wide-angle camera including a 360-degree camera
  • the number of cameras installed can be reduced as compared with a camera having a standard lens. ..
  • a wide-angle camera is more likely to distort an object than a standard lens camera, but in this modified example, the distortion of the image is corrected as described above, so the state of the inspection target is better than when this correction is not performed. Can be grasped correctly.
  • processing before presentation of inspection image is not limited to that described in the examples.
  • the determination by the machine determination unit 121 is a predetermined result
  • the inspection image used for the determination is presented to the instructor and a remote instruction is given, but the determination is a predetermined result.
  • the machine determination unit 121 may present the inspection image used for the determination to the instructor and give a remote instruction.
  • the re-imaging instruction unit 113 transmits instruction data indicating an instruction for re-imaging, but the inspection image It is not necessary to give instructions for evaluation and re-imaging. In either case, as in the embodiment, the instructor can remotely support the food hygiene inspection by the inspector without going to the site.
  • Instruction data The instruction data transmitted by the reshooting instruction unit 113 and the inspection instruction transmission unit 303 is not limited to the data indicating the character string and the image, but may be, for example, data indicating voice. In that case, by outputting the voice indicated by the instruction data on the user terminal 20 from the speaker or the like, the instruction by the instructor can be transmitted to the person in charge at the site.
  • the timing at which the instruction data is transmitted by the reimaging instruction unit 113 and the inspection instruction transmission unit 303 is not particularly limited.
  • the instructor may input an instruction while the inspection is being performed at the site, and the instruction data may be transmitted in real time.
  • the inspection instruction transmission unit 303 after the on-site inspection is completed, the instructor sees the inspection result at his / her convenient time and inputs an instruction, and gives an instruction at a different timing from the on-site inspection. Data may be sent.
  • both the person in charge of inspection and the instructor can work at their own convenient time.
  • the instructor can not only give guidance without geographical restrictions but also give guidance without time restrictions.
  • a business operator that provides a remote inspection support service may charge different charges for real-time remote instructions and remote instructions at different timings (real-time is better).
  • the inspection instruction transfer unit 122 and the reshooting instruction unit 113 transmit the instruction data to the user terminal 20 used by the person in charge of inspection in the embodiment, but this is the destination of the instruction data.
  • the e-mail address of the inspector or the account of the SNS (Social Networking Service) may be the destination, or the terminal used by the manager who manages the group of restaurants may be the destination.
  • the machine determination unit 121 may select the instructor terminal 30 for transmitting the input inspection image for the inspection item determined to be unacceptable. For example, it is assumed that a plurality of instructors have different specialized fields.
  • the specialized field is, for example, the type of industry of the facility where the inspection is performed (fast food, restaurant, pub, food factory, food distribution, etc.). For example, some instructors are familiar with fast food inspections, while others are familiar with tavern inspections. In addition, for example, the instructor may have a specialized field for each equipment to be inspected. For example, some instructors are familiar with inspections related to water, while others are familiar with inspections related to foodstuffs.
  • the machine determination unit 121 transmits the inspection image to the instructor terminal 30 used by the instructor in the specialized field who is familiar with the inspection item determined to be unacceptable.
  • the inspector can receive remote support from an instructor who is more familiar with the relevant inspection work, as compared with the case where the inspection image is always transmitted to the specific instructor terminal 30.
  • the machine determination unit 121 may, for example, transmit an inspection image to the instructor terminal 30 used by an instructor at a level corresponding to the difficulty of determining the inspection item determined to be unacceptable.
  • the level is the level of skill (knowledge, skill, etc.) for performing inspection work correctly.
  • Subject of inspection The subject of food hygiene inspection may be a local person in charge or a remote instructor. Even when the instructor takes the lead in performing the inspection remotely, the instructor operates the instructor terminal 30 to instruct, for example, the photographing method of the inspection target.
  • the image to be inspected is taken according to the instruction, the quality of the inspection image is evaluated, the instruction for re-imaging, the presentation of the inspection image to the instructor, the instruction of the instructor, and the like are performed as in the embodiment.
  • the device for realizing each function shown in FIG. 4 is not limited to the above-mentioned device.
  • the functions realized by the server device 10 may be shared and realized by two or more devices, or the functions realized by the user terminal 20 or the instructor terminal 30 may be shared and realized by two or more devices. .. In either case, it is sufficient that each function shown in FIG. 4 is realized in the entire inspection support system 1.
  • the present invention in addition to the above-mentioned information processing devices such as the server device 10, the user terminal 20 and the instructor terminal 30, an information processing system including each information processing device (the inspection support system 1 is an example thereof). ). Further, the present invention can be regarded as an information processing method for realizing the processing performed by each information processing device, and also as a program for operating a computer that controls each information processing device.
  • the program regarded as the present invention may be provided in the form of a recording medium such as an optical disk in which the program is stored, or may be downloaded to a computer via a network such as the Internet, and the downloaded program may be installed and used. It may be provided in the form of a computer.

Landscapes

  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Engineering & Computer Science (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Primary Health Care (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Manufacturing & Machinery (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

【課題】食品衛生の検査への遠隔からの関与を可能にすること。 【解決手段】検査画像評価部１１２は、取得された検査画像の特徴量に基づきその検査画像の検査用の画像としての品質を評価する。再撮影指示部１１３は、取得された検査画像が所定の品質と評価された場合に、その評価に用いた検査画像に写る検査対象の再撮影の指示を示す指示データをユーザ端末２０に送信する。機械判定部１２１は、取得された検査画像の特徴量に基づきその検査画像に写る検査対象に対する検査の判定を行う。機械判定部１２１は、判定が所定の結果である場合に、その判定に用いた検査画像を指導員端末３０に送信し、判定に用いた検査画像を指導員に提示する。検査指示転送部１２２は、機械判定部１２１により提示された検査画像に基づき指導者が行う指示を示す指示データを、ユーザ端末２０に対して転送（送信）する。

Description

情報処理装置
　本発明は食品衛生管理に関する。
　食品衛生管理に関する技術として、特許文献１には、食品を取り扱う事業所及びその従業者の衛生管理の状態の検査結果が、重要度に応じて決められている所定の基準値と比較して悪い結果である場合に、所定の通知先にアラートを通知する技術が開示されている。
特開２０１２－２１６１１５号公報
　食品を扱う施設における食品衛生の検査においては、例えば食品衛生についての専門的な知識又は経験に裏付けされた検査の技量を持たない者（例えば店舗の店員）が検査を行うこともある。そのような場合、専門の検査員が遠隔から検査を行ったり現地の検査員を支援したりして遠隔から検査に関与できるとよいが、そうではなくて検査員が常に現地に行くとなると、移動に時間がかかるため検査可能な施設数が少なくなる。
　そこで、本発明は、食品衛生の検査への遠隔からの関与を可能にすることを目的とする。
　上記目的を達成するために、本発明は、食品を扱う施設における食品衛生の検査の対象の画像を取得する画像取得部と、取得された前記画像を前記検査の指導者に提示する提示部と、提示された前記画像に基づき前記指導者が行う指示を示す第１指示データを前記施設に対応付けられた宛先に送信する第１送信部とを備える情報処理装置を提供する。
　また、取得された前記画像の特徴量に基づき当該画像に写る前記検査の対象に対する検査の判定を行う判定部を備え、前記提示部は、前記判定が所定の結果である場合に、当該判定に用いた画像を前記検査の指導者に提示してもよい。
　また、取得された前記画像の特徴量に基づき当該画像の検査用の画像としての品質を評価する評価部と、取得された前記画像が所定の品質と評価された場合に、当該評価に用いた画像に写る検査対象の再撮影の指示を示す第２指示データを前記宛先に送信する第２送信部とを備えてもよい。
　また、前記第２送信部は、前記検査の対象の撮影用のサンプル画像を表示させるためのデータを前記第２指示データとして送信してもよい。
　また、前記第２送信部は、前記施設の種類に応じた前記サンプル画像を表示させるためのデータを前記第２指示データとして送信してもよい。
　また、前記提示部は、前記判定がされた前記検査の対象に関する検査の実績が少ないほど、当該検査の対象の検査結果を前記所定の結果として判断しやすくしてもよい。
　また、前記画像取得部は、前記施設に設置された広角カメラの画像を取得し、前記提示部は、前記判定に用いた画像に写っている前記検査の対象の歪みを補正した画像を前記指導者に提示してもよい。
　また、前記第１送信部は、前記検査の対象の撮影用のサンプル画像を表示させるためのデータを前記第１指示データとして送信してもよい。
　本発明によれば、食品衛生の検査への遠隔からの関与を可能にすることができる。
実施例に係る検査支援システムの全体構成の一例を表す図 サーバ装置のハードウェア構成の一例を表す図 ユーザ端末のハードウェア構成の一例を表す図 各装置が実現する機能構成を表す図 施設情報の一例を表す図 印刷された対応情報の一例を表す図 記憶された検査情報の一例を表す図 表示された検査画面の一例を表す図 選択された検査項目の拡大表示の一例を表す図 検査結果テーブルの一例を表す図 表示された集計結果の一例を表す図 表示された検査画面の一例を表す図 表示された判定結果の一例を表す図 表示された指示画面の一例を表す図 表示された検査画面の一例を表す図 記憶処理における各装置の動作手順の一例を表す図 指導支援処理における各装置の動作手順の一例を表す図 サンプル画像テーブルの一例を表す図 結果テーブルの一例を表す図
１…検査支援システム、３…印刷装置、１０…サーバ装置、２０…ユーザ端末、３０…指導員端末、１０１…施設情報記憶部、１０２…印刷制御部、１０３…読取情報取得部、１０４…検査情報出力部、１１１…検査画像取得部、１１２…検査画像評価部、１１３…再撮影指示部、１２１…機械判定部、１２２…検査指示転送部、２０１…コード読取部、２０２…検査情報記憶部、２０３…検査処理部、３０１…機械判定表示部、３０２…指示操作受付部、３０３…検査指示伝達部。
［１］第１実施例
　図１は実施例に係る検査支援システム１の全体構成の一例を表す。検査支援システム１は、食品を扱う施設における食品の衛生管理に関する業務の１つである検査業務を支援するシステムである。検査業務とは、施設内の食品衛生の状態が安全のために求められる基準（例えばＨＡＣＣＰ（Hazard Analysis and Critical Control Point）で定められた基準）を満たしているか否かを検査する業務である。
　食品を扱う施設とは、例えば飲食店、飲食品の販売店、飲食品の倉庫及び飲食品の製造工場等であり、食品衛生の検査が行われる施設でもある。これらの施設においては、食品衛生の検査を行う担当者が決められているが、検査業務の担当者は、必ずしも食品衛生の検査の専門的な知識や経験を持つ者とは限らない。
　例えば、食品販売のイベントに出店している店舗、ショッピングモールに出店している飲食店又は商店街の自営業の飲食店等においては、専門の検査員がいないので、食品衛生の検査に詳しくない従業員が検査を行うことになる。検査支援システム１は、特に、そのように食品衛生の検査の専門的な知識や経験を持たない担当者しかいない施設における検査業務を支援する。
　検査支援システム１は、ネットワーク２と、サーバ装置１０と、ユーザ端末２０と、指導員端末３０と、印刷装置３とを備える。ネットワーク２は、移動体通信網及びインターネット等を含む通信システムであり、自システムにアクセスする装置同士のデータのやり取りを中継する。ネットワーク２には、サーバ装置１０が有線通信で（無線通信でもよい）、ユーザ端末２０及び指導員端末３０が無線通信でアクセスしている。
　ユーザ端末２０は、食品を扱う施設において検査業務を行う検査担当者が利用する端末であり、スマートフォン及びタブレット端末のように持ち運び可能ないわゆるモバイル端末である。検査担当者は、例えば食品を扱う施設の従業員のうち、検査業務を担当する従業員である。ユーザ端末２０は、検査を行う項目を記憶し、記憶した項目を表示する。検査担当者は、表示された項目について検査を行い、検査結果をユーザ端末２０に入力する。
　図１では、ユーザ端末２０を１台しか表していないが、検査対象となる施設が多く存在する場合は、複数のユーザ端末２０を複数の検査担当者がそれぞれ利用して複数の検査が並行して行われる。指導員端末３０は、検査担当者を遠隔地から支援する指導員が利用する端末であり、例えばスマートフォン等のモバイル端末である。なお、本実施例では、説明を簡潔にするため指導員は一人だけであるものとする。
　サーバ装置１０は、複数のユーザ端末２０及び指導員端末３０による検査に関する情報を管理する処理等を行う。サーバ装置１０は本発明の「情報処理装置」の一例である。検査に関する情報とは、先に述べた検査項目及び各検査項目に対する検査結果等である。サーバ装置１０が行う処理については後程詳しく説明する。
　図２はサーバ装置１０のハードウェア構成の一例を表す。サーバ装置１０は、プロセッサ１１と、メモリ１２と、ストレージ１３と、通信装置１４と、バス１５とを備えるコンピュータである。プロセッサ１１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Central Processing Unit）を備える。
　プロセッサ１１は、プログラム及びデータ等をストレージ１３及び通信装置１４の少なくとも一方からメモリ１２に読み出し、読み出したプログラム等に従って各種の処理を実行する。メモリ１２は、例えばＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等のコンピュータで読み取り可能な記録媒体である。ストレージ１３は、ハードディスクドライブ等のコンピュータで読み取り可能な記録媒体である。
　通信装置１４は、有線ネットワーク及び無線ネットワークの少なくとも一方を介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）である。プロセッサ１１及びメモリ１２等の各装置は、情報を通信するためのバス１５によって接続される。バス１５は、単一のバスを用いて構成されてもよいし、装置間毎に異なるバスを用いて構成されてもよい。
　図３はユーザ端末２０及び指導員端末３０のハードウェア構成の一例を表す。ユーザ端末２０及び指導員端末３０は、プロセッサ２１と、メモリ２２と、ストレージ２３と、通信装置２４と、入力装置２５と、出力装置２６と、撮像装置２７と、バス２８とを備えるコンピュータである。図２に同名のハードウェアが表されているプロセッサ２１等は、性能及び仕様等の違いはあるが図２と同種のハードウェアである。
　入力装置２５は、外部からの入力を受け付ける入力デバイス（例えばスイッチ、ボタン、センサなど）である。入力装置２５は、写真を撮影する撮像装置（デジタルカメラなど）を含んでいる。出力装置２６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカ、ＬＥＤランプなど）である。ユーザ端末２０においては、入力装置２５及び出力装置２６は、一体となった構成（ディスプレイ及びタッチパネルが一体となったタッチスクリーン）を含む。撮像装置２７は、レンズ、光学系及びイメージセンサ等を備え、イメージセンサに到達する光が表す画像を撮影する。
　検査支援システム１が備える各装置における各機能は、各々のプロセッサ、メモリなどのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることによって、プロセッサが演算を行い、各々の通信装置による通信を制御したり、メモリ及びストレージにおけるデータの読み出し及び書き込みの少なくとも一方を制御したりすることによって実現される。
　図４は各装置が実現する機能構成を表す。サーバ装置１０は、施設情報記憶部１０１と、印刷制御部１０２と、読取情報取得部１０３と、検査情報出力部１０４と、検査画像取得部１１１と、検査画像評価部１１２と、再撮影指示部１１３と、機械判定部１２１と、検査指示転送部１２２とを備える。ユーザ端末２０は、コード読取部２０１と、検査情報記憶部２０２と、検査処理部２０３とを備える。指導員端末３０は、機械判定表示部３０１と、指示操作受付部３０２と、検査指示伝達部３０３とを備える。
　施設情報記憶部１０１は、食品衛生の検査が行われる施設に関する情報である施設情報を記憶する。具体的には、施設情報記憶部１０１は、食品衛生の検査が行われる施設とその施設について定められた検査方法を示す検査情報とを対応付けた情報を施設情報として記憶する。食品衛生の検査は、業種、事業形態、施設の設備環境、施設の規模及び扱う食材の種類等の要素に応じて適切な方法が定められる。
　図５は施設情報の一例を表す。図５の例では、施設情報記憶部１０１は、施設Ａ、Ｂ、Ｃに対して「大項目」、「中項目」、「検査項目」、「検査時期」及び「合格基準」をそれぞれ対応付けた情報を施設情報として記憶している。大項目としては、「従業員」、「食材」等が定められている。中項目としては、「手洗い」、「服装」等が定められている。検査項目は、図５では記号で表されているが、実際には検査の内容を説明する文章で表されているものとする。
　例えば検査項目Ｋ－１は、例えば「手洗いを所定の時間以上行うこと」という検査の内容であるものとする。検査項目Ｋ－１に対する合格基準としては、例えばこの「所定の時間」が定められている。図５の例では、検査項目Ｋ－１に対する合格基準として、施設毎に異なる合格基準（施設Ａは基準ａ、施設Ｂは基準ｂ、施設Ｃは基準ｃ）が対応付けられている。
　また、例えば施設Ａの手洗いには検査項目Ｋ－１、Ｋ－２、Ｋ－３が対応付けられているが、施設Ｂの手洗いには検査項目Ｋ－１、Ｋ－３だけが、施設Ｃの手洗いには検査項目Ｋ－１、Ｋ－２だけが対応付けられている。このように、施設情報記憶部１０１は、施設によって異なる検査項目を対応付けた施設情報を記憶している。
　印刷制御部１０２は、施設に対応付けられた情報（以下「対応情報」と言う）を印刷する印刷データを出力する。対応情報とは、例えば、施設毎に個別に割り当てられた識別情報であり、具体的には施設ＩＤ（Identification）である。また、印刷制御部１０２は、本実施例では、コード化された対応情報を印刷する印刷データを出力する。
　印刷制御部１０２は、例えば、施設ＩＤを示す２次元コードを印刷する印刷データを、各施設についてそれぞれ出力する。図５の例では、施設情報記憶部１０１が、施設Ａには「ＩＤ００１」、施設Ｂには「ＩＤ００２」、施設Ｃには「ＩＤ００３」という施設ＩＤを識別情報として記憶している。そのため、これらの識別情報は、施設に対応付けられた情報となっている。
　印刷制御部１０２は、例えば施設Ａについては、「ＩＤ００１」を示す２次元コードを印刷する印刷データを出力し、施設Ｂについては、「ＩＤ００２」を示す２次元コードを印刷する印刷データを出力する。印刷制御部１０２は、上述した印刷装置３に対して印刷データを出力する。なお、コード化された対応情報は、２次元コードに限らず、１次元コードでもよいし、識別情報を所定のアルゴリズムで変換した記号の羅列等であってもよい。印刷装置３は、出力されてきた印刷データが示す対応情報を用紙等の媒体に印刷する。
　図６は印刷された対応情報の一例を表す。図６の例では、「施設Ａ」に対応付けられた対応情報である２次元コード５が用紙４に印刷されている。また、用紙４には、「施設Ａ向け　食品衛生検査の支援情報」及び「検査アプリを起動し、以下の２次元コードを読み取ってください。」という文字列が印刷されている。このように、印刷制御部１０２は、対応情報を用いて食品衛生の検査を支援するための手順も示す印刷データを出力する。
　コード読取部２０１は、印刷された対応情報である２次元コードを読み取る。コード読取部２０１は、自装置の撮像装置２７が撮影した画像を解析して２次元コードが含まれている場合には、その２次元コードが示す情報を読み取る。コード読取部２０１は、図６の２次元コード５を読み取った場合には、施設Ａの「ＩＤ００１」という施設ＩＤを読み取る。
　コード読取部２０１は、読み取った情報（以下「読取情報」と言う）をサーバ装置１０に送信する。サーバ装置１０の読取情報取得部１０３は、送信されてきた読取情報を取得する。読取情報取得部１０３は、取得した読取情報を検査情報出力部１０４に供給する。こうして供給される読取情報は、前述したようにユーザ端末２０が読み取った施設ＩＤである。
　検査情報出力部１０４は、上記のとおり読取情報（施設ＩＤ）が供給された場合、すなわち、対応情報を読み取り可能なユーザ端末２０からそのユーザ端末２０により読み取られた対応情報が送信されてきた場合に、その対応情報が対応付けられた施設と同じ施設に対応付けられた検査情報をそのユーザ端末２０に対して出力する。
　検査情報出力部１０４は、まず、供給された読取情報（施設ＩＤ）に対応付けて記憶されている検査情報を施設情報記憶部１０１から読み出す。そして、検査情報出力部１０４は、読み出した検査情報を、読取情報の送信元であるユーザ端末２０に対して出力する。出力された検査情報は、ユーザ端末２０の検査情報記憶部２０２に供給される。検査情報記憶部２０２には、コード読取部２０１が読み取った施設ＩＤも供給される。
　検査情報記憶部２０２は、供給された検査情報を、供給された施設ＩＤに対応付けて記憶する。
　図７は記憶された検査情報の一例を表す。図７（ａ）の例では、施設Ａにおける検査情報が記憶されている。この場合の検査情報記憶部２０２を備えるユーザ端末２０は、施設Ａ向けに印刷された対応情報を読み取ったユーザ端末２０である。
　また、図７（ｂ）の例では、検査情報記憶部２０２を備えるユーザ端末２０は、施設Ｂにおける検査情報が施設Ｂ向けに印刷された対応情報を読み取ったユーザ端末２０である。以上のとおり検査情報が記憶されることで、食品衛生の検査の準備が整ったことになる。検査処理部２０３は、記憶された検査情報に基づいて、食品衛生の検査に関する処理を行う。検査処理部２０３は、まず、該当する施設向けの検査画面を表示する。
　図８は表示された検査画面の一例を表す。図８の例では、検査処理部２０３は、大項目である「従業員」のタブＴ１、「食材」のタブＴ２、「器具・食器」のタブＴ３、「保管状況」のタブＴ４及び「環境」のタブＴ５と、後述する「判定」のタブＴ６を含む検査リストを、タブＴ１を開いた状態で表示している。「従業員」の表示領域Ｃ１には、中項目の「手洗い」の表示領域Ｄ１、「服装」の表示領域Ｄ２及び「手指目視検査」の表示領域Ｄ３等が含まれている。
　以降の表示も検査処理部２０３によって行われるものとする。各中項目の表示領域には、検査項目「Ｋ－１」及び「Ｋ－２」等が表示されている。表示領域Ｃ１をスクロールさせると、表示されていない中項目の表示領域及び検査項目が表示される。検査項目の左側には、ＮＧボタンＥ１、写真ボタンＥ２、コメントボタンＥ３及びＯＫボタンＥ４が表示されている。検査担当者が検査の結果を入力しようとする検査項目をタップ等の操作により選択すると、検査処理部２０３は、選択された検査項目だけを拡大して表示する。
　図９は選択された検査項目の拡大表示の一例を表す。図９の例では、検査項目Ｋ－４が拡大して表示されている。拡大表示がされた状態で、ＮＧボタンＥ１が押されると、「×」マーク（検査結果がＮＧ、すなわち不合格であることを示すマーク）が表示され、ＯＫボタンＥ４が押されると、「〇」マーク（検査結果がＯＫであることを示すマーク）が表示される。写真入力欄Ｅ５をタップすると、例えばユーザ端末２０の撮像装置が起動されてユーザの操作により写真を撮影し、撮影された写真が写真入力欄Ｅ５に表示される。
　なお、写真入力欄Ｅ５をタップした場合にユーザ端末２０に記憶されている撮影済みの写真を取り込めるようにしてもよい。コメント入力欄Ｅ６には、手入力でコメントを入力してもよいし、コメント例文一覧Ｅ７に含まれている例文を選択することでコメントを入力してもよい。検査処理部２０３は、検査結果の入力操作を受け付けると、受け付けた入力操作の結果を表示する。
　検査処理部２０３は、一時中断ボタンＢ１がタップされると、拡大表示した検査項目Ｋ－４への入力を一時中断するものと判断して、図８の検査画面に戻って検査項目の一覧を表示する。また、検査処理部２０３は、入力完了ボタンＢ２がタップされると、拡大表示した検査項目Ｋ－４への入力が完了したものと判断して、図８の検査画面に戻って検査項目の一覧を表示する。
　また、検査処理部２０３は、検査結果テーブルを記憶しておき、入力完了ボタンＢ２がタップされた場合に、その時点までの入力操作の結果を検査結果として検査結果テーブルに反映する。
　図１０は検査結果テーブルの一例を表す。検査結果テーブルには、「施設ＩＤ」、「検査回数」、「検査項目」、「ＮＧ」、「ＯＫ」、「写真」、「コメント」及び「入力日時」がそれぞれ対応付けて格納されている。
　「施設ＩＤ」及び「検査回数」は、検査処理部２０３が検査結果テーブルを生成する際に格納されている。図１０の例では、該当する施設ＩＤの検査結果テーブルを初めて生成したので、「１」回が「検査回数」として格納されている。「ＮＧ」は検査が不合格であったことを意味し、「ＯＫ」は検査が合格であったことを意味する。「ＮＧ」の入力は「×」、「ＯＫ」の入力は「〇」で表されている。
　写真は画像データのファイル名で、コメントはテキストデータのファイル名で表されている。入力日時は年月日で表されているが、詳細な時刻まで表されていてもよい。検査処理部２０３は、検査結果テーブルに格納された検査結果を参照して、検査結果の集計処理を行う。集計処理とは、共通の検査結果（例えばＯＫの検査結果）の件数を合計した値を集計値として算出する処理である。
　また、集計処理には、算出した集計値に基づいてさらに別の値を算出する処理も含まれる。具体的には、検査処理部２０３は、ＯＫの検査結果を集計し、検査項目の全体数に対するＯＫの集計値の割合（以下「評価率」と言う）を大項目毎及び全体について算出する処理を行う。評価率は、この値が高いほど衛生管理のために実施すべき作業が実施されていることを意味する値であり、より安全な食品の供給が期待できることを示す指標として利用可能である。
　検査処理部２０３は、評価率の算出において、各検査項目の検査結果を一律ではなく重みを付けて扱う。例えば検査項目が５０個ある場合、一律に扱うと１つのＮＧにつき評価率が２％減少する。これに対し、各検査項目に重みを付けることで、例えば重要度が高い検査項目がＮＧだと３％減少し、重要度が低い検査項目だと１％減少するというように評価率が算出される。
　重要度とは、例えば、食品衛生に対する影響が大きい検査項目ほど重要度が高いという意味である。重要度を加味した重み付けをすることで、重要度を加味しない場合に比べて、評価率の上記指標としての信頼性を高めることができる。検査処理部２０３は、図８に表す「判定」のタブＴ６を押す操作が行われると、先に行った集計の結果を表示する。
　図１１は表示された集計結果の一例を表す。検査処理部２０３は、大項目毎の評価率を示す結果表Ｆ１と、大項目毎の評価率を示すレーダーチャートＦ２とを表示している。また、検査処理部２０３は、全体の評価率を「総合評価」として示し、総合評価に応じて決まる呼称である「優秀店」及び総合評価に応じて決まる評価ランクの「Ｓ」という文字列を表示している。
　これらの呼称及び評価ランクは、総合評価の値に応じて例えば「優秀店」及び「Ｓ」、「優良店」及び「Ａ」、「良店」及び「Ｂ」、「要改善点」及び「Ｃ」というように定められる。検査画面に表示されている入力完了ボタンＢ２を押す操作が行われると、検査処理部２０３は、検査結果テーブルを更新して記憶する。記憶された検査結果には、施設ＩＤ及び検査回数が含まれているため、どの施設の何回目の検査結果であるかが分かるようになっている。
　検査処理部２０３は、ユーザによって入力されて検査に用いられた画像（以下「検査画像」と言う）をサーバ装置１０に送信する。検査画像は、例えば、シンク、手洗い場、床及び冷蔵庫等の検査対象を撮影した写真である。検査画像取得部１１１は、送信されてきた検査画像を受信し、その検査画像、すなわち、食品を扱う施設における食品衛生の検査対象の画像を取得する。検査画像取得部１１１は本発明の「画像取得部」の一例である。
　検査画像取得部１１１は、取得した検査画像を検査画像評価部１１２に供給する。検査画像評価部１１２は、検査画像取得部１１１により取得された検査画像の特徴量に基づきその検査画像の検査用の画像としての品質を評価する。検査画像評価部１１２は本発明の「評価部」の一例である。検査画像評価部１１２は、例えば、検査対象が共通する様々な施設のサンプルの検査画像の特徴量とその検査画像の検査用の画像としての品質の高さとを対応付けた検査画像テーブルを記憶しておく。
　検査画像評価部１１２は、取得された検査画像の特徴量を算出すると、算出した特徴量と検査画像テーブルに格納されている特徴量とを比較して取得された検査画像との類似度を各サンプルの検査画像について算出する。検査画像評価部１１２は、類似度が最も高いサンプルの検査画像に対応付けられている品質を、取得された検査画像の品質として評価する。
　検査画像評価部１１２は、品質の評価結果を再撮影指示部１１３に供給する。再撮影指示部１１３は、取得された検査画像が所定の品質と評価された場合に、その評価に用いた検査画像に写る検査対象の再撮影の指示を示す指示データを前述した宛先（本実施例ではユーザ端末２０）に送信する。この場合の指示データは本発明の「第２指示データ」の一例であり、再撮影指示部１１３は本発明の「第２送信部」の一例である。
　また、再撮影指示部１１３は、検査対象の撮影用のサンプル画像をユーザ端末２０に表示させるためのデータを指示データとして送信する。再撮影指示部１１３は、例えば、所定の品質と評価された検査画像に写る検査対象について、検査画像テーブルにおいて最も品質が高いと評価されているサンプルの検査画像をサンプル画像として送信する。本実施例では、検査対象が同じであれば、どの施設で用いられるユーザ端末２０に対しても同じサンプル画像が送信される。
　ユーザ端末２０の検査処理部２０３は、送信されてきた指示データが示すサンプル画像を含む検査画面を表示する。なお、再撮影指示部１１３は、サンプル画像そのものを示すデータを送信するものに限らず、例えばサンプル画像の保存先及びファイル名を示すデータを、前述した表示させるためのデータとして送信してもよい。
　図１２は表示された検査画面の一例を表す。図１２の例では、検査処理部２０３が、図１５に表す判定結果等に加えて、指示内容の隣にサンプル画像Ｆ１を表示している。検査員は、表示されたサンプル画像Ｆ１を参考にして、検査対象を再度撮影し、２回目の検査画像として入力する。以降は、図８、図９の説明で述べたように検査の入力が行われる。
　再撮影指示部１１３は、取得された検査画像が所定の品質ではないと評価された場合には、その旨を検査画像取得部１１１に通知する。検査画像取得部１１１は、この通知を受け取ると、取得した検査画像を機械判定部１２１に供給する。機械判定部１２１は、検査画像を受け取った場合、すなわち検査画像が所定の品質ではないと評価された場合に、次の判定を行う。
　機械判定部１２１は、検査画像取得部１１１により取得された検査画像の特徴量に基づきその検査画像に写る検査対象に対する検査の判定を行う。機械判定部１２１は本発明の「判定部」の一例である。機械判定部１２１は、例えば過去の検査で用いられた検査画像と、その検査画像に基づき人が行った検査結果とを教師データとして、検査画像の特徴量と正しい検査結果との関係を学習する。
　検査画像の特徴量としては、例えば、ＳＩＦＴ（Scaled Invariance. Feature Transform）特徴量、ＳＵＲＦ（Speeded-Up Robust Features）特徴量又はＨＯＧ（Histograms of Oriented Gradients）特徴量等のうち１以上の特徴量が用いられればよい。機械判定部１２１は、取得された検査画像の特徴量に対して学習した関係が成り立つ検査結果を判定する。
　なお、機械判定部１２１は、いわゆるＡＩ（Artificial Intelligence）技術を用いて検査の判定を行ってもよいし、又は、技術者等が研究して定めたアルゴリズムを用いて検査の判定を行ってもよい。要するに、機械判定部１２１は、人の手を煩わせることなく検査の判定を行うものであればよく、その判定の精度が高いほど（検査の熟練者の判断と一致する程）望ましい。
　機械判定部１２１は、判定が所定の結果である場合に、その判定に用いた検査画像を指導員端末３０に送信する。所定の結果としては、本実施例では、図８に表すＮＧボタンＥ１を押した場合の結果と同じく、検査が不合格という結果が用いられる。なお、所定の結果としては、例えば検査が合格であっても食中毒のリスク低減に重大な影響がある検査項目の判定結果が用いられてもよい。機械判定部１２１は、不合格と判定した検査項目について入力された検査画像を指導員端末３０に送信する。
　指導員端末３０の機械判定表示部３０１は、サーバ装置１０から送信されてきた判定結果を表示する。
　図１３は表示された判定結果の一例を表す。図１３の例では、機械判定表示部３０１が、検査項目「Ｋ１－３」のＮＧの判定結果、検査画像及びコメントと、検査項目「Ｋ１－８」のＮＧの判定結果、検査画像及びコメントとを表示している。
　表示された検査画像は、指導員端末３０を利用する指導員によって閲覧される。このように、機械判定部１２１は、判定に用いた検査画像を送信することで、その判定に用いた検査画像を指導員に提示する。機械判定部１２１は本発明の「提示部」の一例である。機械判定表示部３０１は、検査項目の指示を作成する指示画面を表示するための指示作成ボタンＢ３を表示している。
　指導員は、提示された検査画像及びコメントを見て、判定結果が妥当であるか否かを判断する。指導員は、或る検査項目の判定結果が妥当でない場合、その検査項目の指示作成ボタンＢ３を押す操作を行い、指示画面を表示させる。
　図１４は表示された指示画面の一例を表す。図１４の例では、機械判定表示部３０１が、図１３に表す検査項目「Ｋ１－３」のＮＧの判定結果、検査画像及びコメントの下に、指導員が指示を入力するための指示入力欄Ｅ８を表示している。
　指導員が指示入力欄Ｅ８に指示内容を入力して指示確定ボタンＢ４を押す操作を行うと、指示操作受付部３０２は、これらの操作、すなわち指導員による指示操作を受け付ける。指示操作受付部３０２は、受け付けた指示操作により入力された指示を示す指示データを検査指示伝達部３０３に供給する。検査指示伝達部３０３は、供給された指示データが示す指示を、ユーザ端末２０を利用する検査担当者に伝達する。検査指示伝達部３０３は、本実施例では、供給された指示データをサーバ装置１０に送信する。
　サーバ装置１０の検査指示転送部１２２は、送信されてきた指示データ、すなわち、機械判定部１２１により提示された検査画像に基づき指導者が行う指示を示す指示データを、ユーザ端末２０に対して転送（送信）する。転送先であるユーザ端末２０は、施設に対応付けられた宛先となる。この場合の指示データは本発明の「第１指示データ」の一例であり、検査指示転送部１２２は本発明の「第１送信部」の一例である。ユーザ端末２０の検査処理部２０３は、転送されてきた指示データが示す指示を含む検査画面を表示する。
　図１５は表示された検査画面の一例を表す。図１５の例では、検査処理部２０３が、図１３に表す検査項目「Ｋ１－３」のＮＧの判定結果、１回目の検査画像及び１回目のコメントの下に、指導員による指示内容と、撮り直した２回目の検査画像の入力欄Ｅ９及び２回目のコメントの入力欄Ｅ１０とを表示している。なお、図１５には現れていないが、画面を下にスクロールすると図９に示す一時中断ボタンＢ１及び入力完了ボタンＢ２が表示され、図９の例と同様に入力がされるものとする。
　サーバ装置１０及びユーザ端末２０は、上記の構成に基づいて、印刷された対応情報に基づいて検査情報を記憶する記憶処理と、指導員による遠隔からの指導を支援する指導支援処理とを行う。
　図１６は記憶処理における各装置の動作手順の一例を表す。図１６の動作手順は、例えば、検査支援システム１の運用者が各施設向けに対応情報の印刷をサーバ装置１０に対して指示する操作を外部装置等から行うことを契機に開始される。
　まず、サーバ装置１０（印刷制御部１０２）は、コード化された対応情報（本実施例では施設の識別情報を示す２次元コード）を印刷する印刷データを出力してその対応情報を用紙等の媒体に印刷する（ステップＳ１１）。次に、ユーザ端末２０（コード読取部２０１）は、印刷された対応情報である２次元コードを読み取る（ステップＳ２１）。次に、ユーザ端末２０（コード読取部２０１）は、読み取った情報である読取情報（２次元コードが示す施設ＩＤ）をサーバ装置１０に送信する（ステップＳ２２）。
　サーバ装置１０（読取情報取得部１０３）は、送信されてきた読取情報を取得する（ステップＳ２３）。次に、サーバ装置１０（検査情報出力部１０４）は、取得された読取情報（施設ＩＤ）に対応付けて記憶されている検査情報を施設情報記憶部１０１から読み出す（ステップＳ２４）。続いて、サーバ装置１０（検査情報出力部１０４）は、読み出した検査情報を、読取情報の送信元であるユーザ端末２０に対して出力する（ステップＳ２５）。ユーザ端末２０（検査情報記憶部２０２）は、出力されてきた検査情報を施設ＩＤに対応付けて記憶する（ステップＳ２６）。
　図１７は指導支援処理における各装置の動作手順の一例を表す。図１７の動作手順は、例えば、検査担当者が検査画面を表示させる操作をユーザ端末２０に対して行うことを契機に開始される。まず、ユーザ端末２０（検査処理部２０３）は、図１６の動作手順で記憶した検査項目を含む検査画面を表示して、検査担当者による検査の入力を受け付ける検査処理を行う（ステップＳ３１）。
　次に、ユーザ端末２０（検査処理部２０３）は、検査処理により入力された検査画像をサーバ装置１０に送信する（ステップＳ３２）。サーバ装置１０（検査画像取得部１１１）は、送信されてきた検査画像を取得する（ステップＳ３３）。次に、サーバ装置１０（検査画像評価部１１２）は、取得された検査画像の特徴量に基づきその検査画像の検査用の画像としての品質を評価する（ステップＳ３４）。
　図１７の例では、ステップＳ３４において所定の品質が評価されたものとする。その場合、サーバ装置１０（再撮影指示部１１３）は、その評価に用いた検査画像に写る検査対象の再撮影の指示を示す指示データをユーザ端末２０に送信する（ステップＳ４１）。ユーザ端末２０（検査処理部２０３）は、検査担当者の操作により再度検査対象を撮影し（ステップＳ４２）、撮影した画像、すなわち検査画像をサーバ装置１０に送信する（ステップＳ４３）。
　サーバ装置１０は、ステップＳ４４、Ｓ４５において、ステップＳ３３、Ｓ３４と同じ動作を行う。図１７の例では、ステップＳ３４において所定の品質ではないと評価されたものとする。その場合、サーバ装置１０（機械判定部１２１）は、ステップＳ４４において取得された検査画像の特徴量に基づきその検査画像に写る検査対象に対する検査の判定を行う（ステップＳ４６）。
　図１７の例では、ステップＳ４６における判定が上述した所定の結果（例えば不合格という結果）であったものとする。その場合、サーバ装置１０（機械判定部１２１）は、所定の結果と判定した検査項目について入力された検査画像を指導員端末３０に送信する（ステップＳ５１）。指導員端末３０（機械判定表示部３０１）は、送信されてきた判定結果を表示する（ステップＳ５２）。
　次に、指導員端末３０（指示操作受付部３０２）は、指導員による指示操作を受け付ける（ステップＳ５３）。続いて、指導員端末３０（検査指示伝達部３０３）は、指導員により入力された指示を示す指示データをサーバ装置１０を介してユーザ端末２０に送信することで、ユーザ端末２０を利用する検査担当者に指導員からの指示を伝達する（ステップＳ５４）。
　サーバ装置１０（検査指示転送部１２２）は、送信されてきた指示データ、すなわち、提示された検査画像に基づき指導者が行う指示を示す指示データを、ユーザ端末２０に対して転送（送信）する（ステップＳ５５）。ユーザ端末２０（検査処理部２０３）は、転送されてきた指示データが示す指示を含む検査画面を表示する（ステップＳ５６）。そして、ユーザ端末２０（検査処理部２０３）は、検査画面を表示して、検査担当者による検査の入力を受け付ける検査処理を行う（ステップＳ５７）。
　本実施例では、上記のとおり、指導者が現地に行かなくても検査担当者による食品衛生の検査への遠隔からの関与を可能にすることができる。また、本実施例では、検査用の画像としての品質が低いと判定された場合は再撮影させて品質が良くなった検査画像が指導者に提示される。これにより、指導者が検査画像の再撮影を指示することが少なくなり、指導者の手間を少なくすることができる。
　また、本実施例では、図１２に表したように検査対象の撮影用のサンプル画像が表示される。これにより、サンプル画像が表示されない場合に比べて、再撮影された検査画像の検査用の画像としての品質を高くすることができる。また、本実施例では、サーバ装置１０が機械的に検査を行い所定の結果である検査画像だけが指導者に提示される。これにより、全ての検査画像が指導者に提示される場合に比べて、指導者が指示する検査項目の件数を減らし、指導者が遠隔から支援可能な施設の数を増やすことができる。
［２］変形例
　上述した実施例は本発明の実施の一例に過ぎず、以下のように変形させてもよい。また、実施例及び各変形例は、必要に応じて組み合わせて実施してもよい。
［２－１］サンプル画像
　実施例では、検査対象が同じであれば、どの施設で用いられるユーザ端末２０に対しても同じサンプル画像が送信されたが、施設によってサンプル画像を異ならせてもよい。本変形例の再撮影指示部１１３は、施設の種類に応じたサンプル画像（検査対象の撮影用のサンプル画像）をユーザ端末２０に表示させるためのデータを指示データとして送信する。
　再撮影指示部１１３は、例えば、施設の種類とサンプル画像とを対応付けたサンプル画像テーブルを用いる。
　図１８はサンプル画像テーブルの一例を表す。図１８の例では、「大規模」、「中規模」、「小規模」という施設の種類（施設の規模によって分類される種類）にそれぞれ、検査項目及びサンプル画像が対応付けられている。
　再撮影指示部１１３は、例えば、ユーザ端末２０の識別情報とそのユーザ端末２０に対応付けられた施設の規模とを対応付けたリストを記憶しておく。そして、再撮影指示部１１３は、指示データの送信先となるユーザ端末２０の識別情報に対応付けられている施設の規模にサンプル画像テーブルにおいて対応付けられているサンプル画像を読み出し、読み出したサンプル画像を施設の種類に応じたサンプル画像としてそのユーザ端末２０に送信する。
　なお、施設の種類は施設の規模で分類される種類に限らない。例えば、施設で行われている事業の業種が施設の種類として用いられてもよい。例えば特定の業種においてはその業種に特有の設備が施設に設けられる場合、再撮影指示部１１３は、その業種にその設備のサンプル画像が対応付けられたサンプル画像テーブルを用いてサンプル画像を読み出して送信する。
　また、施設の所在する地域が施設の種類として用いられてもよい。例えば寒冷地と温暖な地で設けられる設備が異なるという場合に、再撮影指示部１１３は、地域とその地域で設けられる設備のサンプル画像とが対応付けられたサンプル画像テーブルを用いてサンプル画像を読み出して送信する。なお、設備だけでなく道具又は食材等が施設の種類毎に異なっている場合、再撮影指示部１１３は、それらの種類に対応付けられたサンプル画像を読み出して送信する。
　いずれの種類が用いられる場合も、その種類の施設に特有の設備等を写した画像がサンプル画像として用いられるので、施設の種類に関係なく一律のサンプル画像が用いられる場合に比べて、再撮影においてより参考になるサンプル画像を表示させることができる。
［２－２］機械判定の信頼度
　機械判定部１２１は、教師データとして実際に判定した検査画像とその検査画像に基づき人が判断した判定結果とを用いるいわゆるフィードバックを行ってもよい。その場合、フィードバックの量が増えるほど判定の信頼度が向上する。言い換えると、フィードバックの量が少ないうちは判定の信頼度が高くない。
　そこで、機械判定部１２１は、判定する検査対象に関する検査の実績が少ないほど、その検査対象の検査結果を上述した所定の結果として判断しやすくする。機械判定部１２１は、例えば、検査実績と所定の結果とを対応付けた結果テーブルを用いる。
　図１９は結果テーブルの一例を表す。図１９の例では、「Ｔｈ１未満」、「Ｔｈ１以上Ｔｈ２未満」、「Ｔｈ２以上」という検査実績に、「２回連続不合格」、「不合格」、「不合格及び特定の検査対象」という所定の結果が対応付けられている。
　機械判定部１２１は、まず、検査対象について検査の判定を行うと、その検査対象に対応付けた検査の回数に「１」を加算して、検査実績を更新する。そして、機械判定部１２１は、検査対象について新たな検査の判定を行う際に、その検査対象の検査実績を読み出し、読み出した検査実績に結果テーブルで対応付けられている所定の結果を用いて、検査の判定結果が所定の結果であるか否かを判断する。
　例えば、機械判定部１２１は、検査実績がＴｈ１未満である場合には「２回連続不合格」である場合に所定の結果であると判断する。また、機械判定部１２１は、検査実績がＴｈ２以上である場合には「不合格及び特定の検査対象」である場合に所定の結果であると判断する。
　本変形例によれば、判定の信頼度が高い検査対象ほど指導者に提示されにくくなるので、所定の結果が一律である場合に比べて、指導者の負担を軽減することができる。また、判定の信頼度が低い検査対象ほど指導者に提示されやすくなるので、所定の結果が一律である場合に比べて、不適切な検査結果が見逃される可能性を軽減することができる。
［２－３］検査画像
　検査画像は、実施例では写真、すなわち静止画であったが、動画であってもよい。動画の場合に、検査画像評価部１１２は、動画から切り出した静止画に基づき検査画像の品質を評価してもよいし、一定期間の動画に基づき検査画像の品質を評価してもよい。また、機械判定部１２１も、動画から切り出した静止画に基づき検査の判定を行ってもよいし、一定期間の動画に基づき検査の判定を行ってもよい。
［２－４］広角カメラ
　検査対象の撮影に広角カメラが用いられてもよい。広角カメラとは、標準的なレンズに比べて画角が広いいわゆる広角レンズを用いたカメラのことである。例えば店舗において天井に広角カメラを設置することで、厨房、食器洗い場及び手洗い場等の複数の検査対象を同時に撮影することも可能である。広角カメラは、撮影した画像をサーバ装置１０に送信する。
　検査画像取得部１１１は、送信されてきた画像、すなわち、施設に設置された広角カメラの画像を取得する。広角カメラで撮影された画像は、標準レンズで撮影された画像に比べて物体が歪んで写っているので、検査画像評価部１１２は、広角カメラで撮影された画像に写っている検査対象の歪みを補正する。機械判定部１２１は、例えば、広角カメラの画像から検査対象が写っている部分を切り出す。
　機械判定部１２１は、例えば画像認識処理によって検査対象と認識された物体を含む部分を切り出す。なお、機械判定部１２１は、人の手で設定された範囲を検査対象が写っている部分として切り出してもよい。機械判定部１２１は、例えば、切り出した画像に含まれる各画素の広角カメラの画像における座標と、歪み及び傾きを補正した場合の座標との変換パラメータを用いた座標変換を行い、補正後の画像を生成する。
　機械判定部１２１は、生成された補正後の画像を検査画像として用いて、検査画像に写る検査対象に対する検査の判定を行う。機械判定部１２１は、判定に用いた検査画像、すなわち、判定に用いた画像に写っている検査対象の歪みを補正した画像を送信することで、その判定に用いた検査画像を指導員に提示する。
　広角カメラとして、３６０度カメラが用いられてもよい。３６０度カメラとは、複数のレンズを通して撮影し、撮影した画像を繋ぎ合わせることで前後左右のどの方向も撮影可能なカメラのことである。３６０度カメラは、例えば、水平画角３６０度、垂直画角１８０度の視野角を有する。例えば店舗において天井に３６０度カメラを設置することで、厨房、食器洗い場及び手洗い場等の複数の検査対象を全て同時に撮影することも可能である。
　上記のとおり広角カメラ（３６０度カメラを含む）を用いると、施設にカメラを設置して検査対象を撮影する場合に、標準レンズを有するカメラに比べて設置するカメラの数を少なくすることができる。また、広角カメラは標準レンズのカメラに比べて物体が歪んで写りやすいが、本変形例では上記のとおり画像の歪みを補正するので、この補正をしない場合に比べて、検査対象の状態をより正しく把握することができる。
［２－５］検査画像の提示前の処理
　検査画像の指導員への提示前に行われる処理は、実施例で述べたものに限らない。例えば、実施例では、機械判定部１２１による判定が所定の結果である場合に、その判定に用いた検査画像が指導員に提示され、遠隔からの指示が行われたが、判定が所定の結果であるか否かに関わらず、機械判定部１２１がその判定に用いた検査画像を指導員に提示し、遠隔からの指示が行われてもよい。
　また、実施例では、取得された検査画像が検査画像評価部１１２により所定の品質と評価された場合に、再撮影指示部１１３が再撮影の指示を示す指示データを送信したが、検査画像の評価及び再撮影の指示が行われなくてもよい。いずれの場合でも、実施例と同様に、指導者が現地に行かなくても検査担当者による食品衛生の検査を遠隔から支援することができる。
［２－６］指示データ
　再撮影指示部１１３及び検査指示伝達部３０３が送信する指示データは、文字列及び画像を示すデータに限らず、例えば音声を示すデータであってもよい。その場合、ユーザ端末２０においてその指示データが示す音声をスピーカ等から出力することで、指導者による指導を現場の担当者に伝えることができる。
［２－７］指示タイミング
　再撮影指示部１１３及び検査指示伝達部３０３により指示データが送信されるタイミングは、特に限定されない。例えば、現場で検査が行われている最中に指導者が指示を入力して、リアルタイムに指示データが送信されてもよい。また、検査指示伝達部３０３の場合、現場での検査が終了した後に、指導者が自分の都合のよい時間に検査結果を見て指示を入力して、現場の検査とはタイミングをずらして指示データを送信してもよい。
　上記のとおり指示のタイミングをずらすことで、検査の担当者も指導者も自分の都合のよい時間に作業を行うことができる。検査支援システム１においては、指導者が地理的な制限なく指導を行うだけでなく、時間的な制限もなく指導を行うことができる。なお、遠隔での検査支援のサービスを提供する事業者は、リアルタイムでの遠隔指示とタイミングを異ならせた遠隔指示とで料金を異ならせてもよい（リアルタイムの方が高額にするとよい）。
［２－８］指示データの送信先
　検査指示転送部１２２及び再撮影指示部１１３は、実施例では検査担当者が利用するユーザ端末２０に指示データを送信したが、指示データの送信先はこれに限らない。例えば、検査担当者の電子メールアドレス又はＳＮＳ（Social Networking Service）のアカウントを送信先としてもよいし、飲食店のグループを管理する管理担当者が利用する端末を送信先としてもよい。
［２－９］検査画像の送信先
　実施例では指導員が一人であったが、複数人いる場合もある。その場合に、機械判定部１２１は、不合格と判定した検査項目について入力された検査画像を送信する指導員端末３０を選択してもよい。例えば、複数の指導員がそれぞれ異なる専門分野を有しているものとする。
　専門分野とは、例えば検査を行う施設の業種（ファーストフード、レストラン、居酒屋、食品工場及び食品流通等）である。例えば、ファーストフードでの検査に詳しい指導員もいれば、居酒屋での検査に詳しい指導員もいるという具合である。他にも、例えば、指導員が検査対象の設備毎に専門分野を有していてもよい。例えば、水周りに関する検査に詳しい指導員もいれば、食材に関する検査に詳しい指導員もいるという具合である。
　いずれの場合も、機械判定部１２１は、不合格と判定した検査項目に詳しい専門分野の指導員が利用する指導員端末３０に検査画像を送信する。これにより、検査担当者は、常に特定の指導員端末３０に検査画像が送信される場合に比べて、より該当する検査業務に詳しい指導員による遠隔支援を受けることができる。
　なお、上記以外にも、機械判定部１２１は、例えば、不合格と判定した検査項目の判断の難しさに応じたレベルの指導員が利用する指導員端末３０に検査画像を送信してもよい。ここでいうレベルとは、検査業務を正しく行うためのスキル（知識及び技術等）の高さのことである。これにより、常に特定の指導員端末３０に検査画像が送信される場合に比べて、判断が難しい検査項目に対して十分なスキルを持つ指導員による遠隔支援が提供されやすいようにすることができる。
［２－１０］検査の主体
　食品衛生の検査を行う主体は、現地の担当者であってもよいし、遠隔にいる指導員であってもよい。指導員が主体となって遠隔から検査を行う場合でも、指導員は、指導員端末３０を操作して、例えば検査対象の撮影方法を指示する。その指示により検査対象の画像が撮影されると、実施例と同様に、検査画像の品質の評価、再撮影の指示、検査画像の指導員への提示及び指導員の指示等が行われる。
［２－１１］各機能を実現する装置
　図４に表す各機能を実現する装置は、上述した装置に限らない。例えば、サーバ装置１０が実現する機能を２以上の装置で分担して実現してもよいし、ユーザ端末２０又は指導員端末３０が実現する機能を２以上の装置で分担して実現してもよい。いずれの場合も、検査支援システム１の全体で図４に表す各機能が実現されていればよい。
［２－１２］発明のカテゴリ
　本発明は、上述したサーバ装置１０、ユーザ端末２０及び指導員端末３０という各情報処理装置の他、各情報処理装置を備える情報処理システム（検査支援システム１はその一例）としても捉えられる。また、本発明は、各情報処理装置が実施する処理を実現するための情報処理方法としても捉えられるし、各情報処理装置を制御するコンピュータを機能させるためのプログラムとしても捉えられる。本発明として捉えられるプログラムは、プログラムを記憶させた光ディスク等の記録媒体の形態で提供されてもよいし、インターネット等のネットワークを介してコンピュータにダウンロードさせ、ダウンロードしたプログラムをインストールして利用可能にするなどの形態で提供されてもよい。

Claims (8)

  1. 　食品を扱う施設における食品衛生の検査の対象の画像を取得する画像取得部と、
    　取得された前記画像を前記検査の指導者に提示する提示部と、
    　提示された前記画像に基づき前記指導者が行う指示を示す第１指示データを前記施設に対応付けられた宛先に送信する第１送信部と
    　を備える情報処理装置。
  2. 　取得された前記画像の特徴量に基づき当該画像に写る前記検査の対象に対する検査の判定を行う判定部を備え、
    　前記提示部は、前記判定が所定の結果である場合に、当該判定に用いた画像を前記検査の指導者に提示する
    　請求項１に記載の情報処理装置。
  3. 　取得された前記画像の特徴量に基づき当該画像の検査用の画像としての品質を評価する評価部と、
    　取得された前記画像が所定の品質と評価された場合に、当該評価に用いた画像に写る検査対象の再撮影の指示を示す第２指示データを前記宛先に送信する第２送信部とを備える
    　請求項２に記載の情報処理装置。
  4. 　前記第２送信部は、前記検査の対象の撮影用のサンプル画像を表示させるためのデータを前記第２指示データとして送信する
    　請求項３に記載の情報処理装置。
  5. 　前記第２送信部は、前記施設の種類に応じた前記サンプル画像を表示させるためのデータを前記第２指示データとして送信する
    　請求項４に記載の情報処理装置。
  6. 　前記提示部は、前記判定がされた前記検査の対象に関する検査の実績が少ないほど、当該検査の対象の検査結果を前記所定の結果として判断しやすくする
    　請求項２から５のいずれか１項に記載の情報処理装置。
  7. 　前記画像取得部は、前記施設に設置された広角カメラの画像を取得し、
    　前記提示部は、前記判定に用いた画像に写っている前記検査の対象の歪みを補正した画像を前記指導者に提示する
    　請求項２から６のいずれか１項に記載の情報処理装置。
  8. 　前記第１送信部は、前記検査の対象の撮影用のサンプル画像を表示させるためのデータを前記第１指示データとして送信する
    　請求項１から７のいずれか１項に記載の情報処理装置。
PCT/JP2020/039938 2020-06-17 2020-10-23 情報処理装置 WO2021255953A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-104824 2020-06-17
JP2020104824A JP2021197035A (ja) 2020-06-17 2020-06-17 情報処理装置

Publications (1)

Publication Number Publication Date
WO2021255953A1 true WO2021255953A1 (ja) 2021-12-23

Family

ID=79195686

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/039938 WO2021255953A1 (ja) 2020-06-17 2020-10-23 情報処理装置

Country Status (2)

Country Link
JP (1) JP2021197035A (ja)
WO (1) WO2021255953A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002024370A (ja) * 2000-07-06 2002-01-25 Hideo Otake ライティングサポートシステム
JP2002149828A (ja) * 2000-11-10 2002-05-24 Olympus Optical Co Ltd 遠隔栄養相談システム及び装置及び方法及び撮影装置
WO2015045183A1 (ja) * 2013-09-30 2015-04-02 富士通株式会社 コロニー画像検査プログラム、コロニー画像検査方法及びコロニー画像検査装置
JP2017049695A (ja) * 2015-08-31 2017-03-09 キヤノン株式会社 支援システム、支援方法、プログラム
JP2018190120A (ja) * 2017-05-01 2018-11-29 三菱電機株式会社 物品収納装置及び物品管理システム
JP2019093137A (ja) * 2017-11-22 2019-06-20 ゼネラル・エレクトリック・カンパニイ 放射線学的所見のためのポイントオブケア警報を送達するためのシステムおよび方法
JP2020064437A (ja) * 2018-10-17 2020-04-23 株式会社アルプロン 報告支援サーバ、報告支援システム、報告支援方法、及び報告支援プログラム
JP2020091440A (ja) * 2018-12-07 2020-06-11 セイコーエプソン株式会社 情報処理装置の制御方法、情報処理装置およびプログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002024370A (ja) * 2000-07-06 2002-01-25 Hideo Otake ライティングサポートシステム
JP2002149828A (ja) * 2000-11-10 2002-05-24 Olympus Optical Co Ltd 遠隔栄養相談システム及び装置及び方法及び撮影装置
WO2015045183A1 (ja) * 2013-09-30 2015-04-02 富士通株式会社 コロニー画像検査プログラム、コロニー画像検査方法及びコロニー画像検査装置
JP2017049695A (ja) * 2015-08-31 2017-03-09 キヤノン株式会社 支援システム、支援方法、プログラム
JP2018190120A (ja) * 2017-05-01 2018-11-29 三菱電機株式会社 物品収納装置及び物品管理システム
JP2019093137A (ja) * 2017-11-22 2019-06-20 ゼネラル・エレクトリック・カンパニイ 放射線学的所見のためのポイントオブケア警報を送達するためのシステムおよび方法
JP2020064437A (ja) * 2018-10-17 2020-04-23 株式会社アルプロン 報告支援サーバ、報告支援システム、報告支援方法、及び報告支援プログラム
JP2020091440A (ja) * 2018-12-07 2020-06-11 セイコーエプソン株式会社 情報処理装置の制御方法、情報処理装置およびプログラム

Also Published As

Publication number Publication date
JP2021197035A (ja) 2021-12-27

Similar Documents

Publication Publication Date Title
JP2021503147A (ja) 給食管理システム及びその運営方法
WO2019065212A1 (ja) 情報処理装置、情報処理システム、制御方法、及びプログラム
CN106203225B (zh) 基于深度的图像元素删除
CN108139387A (zh) 用于从使用一次性检测试剂盒收集测试数据的方法和装置
JP2019192082A (ja) 学習用サーバ、不足学習用画像収集支援システム、及び不足学習用画像推定プログラム
EP2897093A1 (en) Personal information management system
CN109214548B (zh) 一种订单准备时间的预测方法及装置
WO2021255953A1 (ja) 情報処理装置
WO2022074799A1 (ja) 情報処理装置
JP7337557B2 (ja) 情報処理装置、システム、情報処理方法及びプログラム
US12039487B2 (en) Computer-vision pickup system and methods
WO2020217415A1 (ja) 情報処理装置
JP2020201769A (ja) 物品識別システム及び物品識別システムを備えた会計処理システム
JP2017068331A (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP2019152727A (ja) 情報処理装置、情報処理システム、及びプログラム
CN112183914B (zh) 一种菜项的评价方法及装置
WO2021255952A1 (ja) 情報処理装置
JP2020166508A (ja) 食材管理支援システムおよび食材管理支援方法
WO2021255955A1 (ja) 情報処理装置
JP2021096695A (ja) 情報処理システム、情報処理システムの制御方法及びプログラム
JP4478047B2 (ja) 情報提示装置及び情報提示方法とそのプログラム
CN111435511A (zh) 订单处理方法、装置、设备、系统及可读存储介质
KR102469244B1 (ko) 이미지 프로세싱에 기반하여 오프라인 광고 성과 데이터를 수집하는 방법
WO2021255951A1 (ja) 情報処理装置
JP7564146B2 (ja) 劣化検査装置、劣化検査方法、情報処理システムおよびコンピュータプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20940900

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20940900

Country of ref document: EP

Kind code of ref document: A1