WO2014171381A1 - コロニー検出装置、培地情報登録システム、プログラム及び衛生管理システム - Google Patents

コロニー検出装置、培地情報登録システム、プログラム及び衛生管理システム Download PDF

Info

Publication number
WO2014171381A1
WO2014171381A1 PCT/JP2014/060315 JP2014060315W WO2014171381A1 WO 2014171381 A1 WO2014171381 A1 WO 2014171381A1 JP 2014060315 W JP2014060315 W JP 2014060315W WO 2014171381 A1 WO2014171381 A1 WO 2014171381A1
Authority
WO
WIPO (PCT)
Prior art keywords
colony
pixel
feature amount
color feature
culture medium
Prior art date
Application number
PCT/JP2014/060315
Other languages
English (en)
French (fr)
Inventor
勇司 都築
竜馬 備瀬
将慶 籠田
累 齋藤
京谷 均
Original Assignee
大日本印刷株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大日本印刷株式会社 filed Critical 大日本印刷株式会社
Priority to JP2015512457A priority Critical patent/JP6471689B2/ja
Publication of WO2014171381A1 publication Critical patent/WO2014171381A1/ja

Links

Images

Classifications

    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/48Automatic or computerized control
    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/30Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration
    • C12M41/36Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration of biomass, e.g. colony counters or by turbidity measurements
    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12QMEASURING OR TESTING PROCESSES INVOLVING ENZYMES, NUCLEIC ACIDS OR MICROORGANISMS; COMPOSITIONS OR TEST PAPERS THEREFOR; PROCESSES OF PREPARING SUCH COMPOSITIONS; CONDITION-RESPONSIVE CONTROL IN MICROBIOLOGICAL OR ENZYMOLOGICAL PROCESSES
    • C12Q1/00Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions
    • C12Q1/02Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions involving viable microorganisms
    • C12Q1/04Determining presence or kind of microorganism; Use of selective media for testing antibiotics or bacteriocides; Compositions containing a chemical indicator therefor
    • C12Q1/06Quantitative determination

Definitions

  • the present invention relates to a food hygiene management system and the like.
  • a film-type medium is used, a specimen cultured in the film-type medium is imaged, and image processing is performed on the image of the imaged medium.
  • detection of colonies that are a mass of bacteria generated in a specimen and counting them are known (for example, Patent Document 1 or 2).
  • Patent Document 3 recently, while binarizing the feature amount of each pixel of an image of a medium imaged using a plurality of threshold values, two pixels having different threshold values at different threshold values are physically adjacent to each other. Is also known (for example, Patent Document 3).
  • the present invention has been made to solve the above-described problems, and its purpose is to accurately detect colonies even when the color of the medium fluctuates, such as individual differences or the occurrence of colonies. It is to provide a medium information registration system and the like that can be used.
  • the culture medium information registration system and the like include an acquisition unit that acquires, as culture medium image data, medium data obtained by imaging a culture medium in which a colony is cultured.
  • Extracting means for extracting a color feature amount relating to a color of a pixel constituting a predetermined region in the medium image of the culture medium image data, and specifying the color feature amount having a predetermined condition from the color feature amount of the extracted pixel
  • a non-colony pixel different from the colony pixel used for imaging the colony is specified, and the color feature amount of the non-colony pixel is determined from the specified non-colony pixel.
  • the culture medium information registration system and the like according to the present invention specify the color feature amount of the pixel where the colony is not formed for each culture medium (that is, the color feature amount of the culture medium itself), and Since the colony pixels constituting the colony can be identified based on the feature value of the color of the pixel, individual differences in the color of the culture medium in which the colony is cultured, the influence of the imaging environment when the culture medium is imaged, and the colony Even when the color of the culture medium varies, such as when the color of the culture medium after culturing varies depending on the occurrence of colonies, colony pixels can be detected according to the variation.
  • the medium information registration system and the like according to the present invention can accurately detect a colony in any situation and register medium information including information on the accurately detected colony in a database.
  • the culture medium information registration system and the like according to the present invention can save resources as compared with the case where various data analysis and provision are performed using physical resources such as paper media, and the culture medium.
  • registration mistakes can be remarkably reduced and difficult medium management can be facilitated, so that resource saving can be achieved without wastefully consuming the culture medium.
  • the medium information registration system and the like according to the present invention can accurately detect a colony in any situation and can register medium information including information on the accurately detected colony in a database.
  • the culture medium information registration system and the like according to the present invention can be digitized by registering the culture medium information in the database, it is possible to save resources and save the medium without wastefully consuming it. Recycling can be achieved.
  • FIG. (1) for demonstrating the detection process of the colony pixel in the colony detection determination part of one Embodiment.
  • FIG. (2) for demonstrating the detection process of the colony pixel in the colony detection determination part of one Embodiment.
  • the following embodiment is a medium information registration system, program, and the like according to the present invention for a hygiene management system using a film-type medium in a food production line or an inspection line (hereinafter referred to as “work line”). It is embodiment at the time of applying a colony detection apparatus and a hygiene management system.
  • the present invention is not limited to the following embodiments within the scope including the technical idea.
  • FIG. 1 is a block diagram which shows the structure of the sanitary management system S of this embodiment.
  • the sanitary management system S of the present embodiment uses a film-type culture medium (that is, a film-type culture medium) and performs data management on information on the culture medium (hereinafter referred to as “medium information”), thereby producing food. Or it is a system for inspecting the sanitary condition on inspection.
  • a film-type culture medium that is, a film-type culture medium
  • medium information information on the culture medium
  • the sanitary management system S of the present embodiment extracts a processed or processed food as a specimen in a work line 80 having a manufacturing process for manufacturing a processed or processed food or an inspection process for inspecting the food.
  • this is a system for managing data on the culture state when a pre-specified bacterium such as a general bacterium or E. coli or the like occurring in a specimen in the film-type medium 60 is cultured.
  • the hygiene management system S of the present embodiment manages and determines the sanitary state of food on the data, information relating to work in food production or inspection (hereinafter referred to as “work information”), and the extracted sample.
  • work information information relating to work in food production or inspection
  • extracted sample are registered in the server device 40 (specifically, the database 400) in association with the culture medium information of the film-type culture medium 60 acquired by the portable communication terminal device 10 before and after culturing the bacteria (colony) generated in It has a possible configuration.
  • the sanitary management system S of the present embodiment is (1) Pixels used to image a colony (hereinafter referred to as “colony” based on the feature amount of each pixel constituting a medium image (specifically, a predetermined target region) in which the film-type medium 60 is imaged. While specifying a pixel different from “pixel”), that is, a pixel constituting the color of the medium of the film-type medium 60 on the medium image (hereinafter referred to as “non-colony pixel”), (2) Detecting colonies while detecting colony pixels on the medium image based on the color feature amount of the specified non-colony pixels, It has a configuration.
  • the sanitary management system S of the present embodiment includes a plurality of portable communication terminal devices 10 used when registering culture medium information regarding each film-type culture medium 60.
  • the administrator terminal device 20 that manages the sanitary management system S, the network 30, and the database 400, and in conjunction with the portable communication terminal device 10 or the administrator terminal device 20, registration management of medium information is performed.
  • a server device 40 that executes various types of processing.
  • the work information of this embodiment includes, in addition to various types of information related to the manufacturing process or the inspection process, information regarding the culture of the food extracted from the manufacturing process or the inspection process as a specimen and the colonies generated in the specimen. In addition, it is registered in the database 400 using unique identification information (hereinafter referred to as “work ID”).
  • work ID unique identification information
  • each work information includes (1) Work ID, (2) Identification information (hereinafter referred to as “line ID”) of the work line 80 from which the sample is to be extracted or, if the work line 80 has a plurality of processes, the line ID and process identification information (hereinafter referred to as “line ID”). , Referred to as “process ID”) 71b; (3) Product name of food as a sample, identification information of lot (hereinafter referred to as “lot ID”), lot name, (4) Type of bacteria detected from specimens such as general bacteria or E.
  • test type a sample culture conditions such as dilution factor, type of diluent, culture temperature, culture humidity, and culture time, (6) Specimen culture start time; (7) a time after a predetermined time has elapsed since the start of culture of the specimen (hereinafter also referred to as “culture test time”); (8) Sample incubator location such as incubator number and number of stages in incubator, (9) Work date and time indicating the work start time and end time; (10) Worker identification information (hereinafter referred to as “worker ID (employee ID)”) and worker name; Is included. Each piece of work information is registered in the database 400 for each type and for each work.
  • the portable communication terminal device 10 is, for example, a digital camera having a communication function, a tablet-type information terminal device, a smartphone or a portable telephone, or the like, or an imaging function such as a still image or a recording function (hereinafter simply referred to as “camera function”). And a communication terminal device portable by an operator.
  • the portable communication terminal device 10 generates an image data (hereinafter referred to as “medium image data”) by imaging the film-type culture medium 60 by the camera function, and also images the work instruction sheet 70 and displays the instruction sheet. It has a configuration capable of generating an image.
  • the portable communication terminal device 10 acquires the work ID 71 and the culture medium ID 66 from the image data of the instruction manual image (hereinafter referred to as “instruction data image data”) and the culture medium image data of the film type culture medium 60,
  • the acquired work ID 71 and medium ID 66, medium image data, and metadata of the medium image data can be registered in the database 400 of the server device 40 as medium information.
  • the portable communication terminal device 10 transmits BLUETOOTH (registered trademark), wireless LAN (WLAN: Wireless Local Area Network), or wireless PAN (WPAN: Wireless Personal Area Network).
  • BLUETOOTH registered trademark
  • WLAN Wireless Local Area Network
  • PAN Wireless Personal Area Network
  • the data is transmitted to the server device 40 directly or via the access point 50 using a communication standard for short-range wireless communication or the like, or is transmitted to the server device 40 using a public telephone line network via a mobile base station (not shown). It has a configuration.
  • the portable communication terminal device 10 has a browser function constructed by a markup language such as XML (extensible Markup Language), and executes an operation input instruction and an operation confirmation of an operator using the browser function.
  • the culture medium information is transmitted to the server device 40 via the browser function.
  • the administrator terminal device 20 is an information communication terminal device such as a tablet information terminal device, a smartphone, a personal computer, or a workstation.
  • the administrator terminal device 20 manages the administrator identification information (hereinafter referred to as “manager ID”), the administrator password, and the worker ID, manages the access authority to the server device 40, and is portable. It functions as a control device capable of performing management of the terminal ID of the communication terminal device 10, correction of registered medium information, and other management.
  • the administrator terminal device 20 has a browser function constructed by a markup language, and uses the browser function to exchange data with the server device 40 and to generate a report. It has a configuration capable of executing browsing and the like.
  • the administrator terminal device 20 determines the culture medium information when each operation is interrupted due to a failure of a machine that performs the process or the like in the same lot, or when an error in registration of culture medium information occurs in the operator. It has a configuration that can correct other information.
  • the network 30 includes, for example, a public telephone line network (hereinafter referred to as “long-distance communication network”) including a mobile phone network, an IP (Internet Protocol) network such as a short-distance wireless network, or both of which are interconnected.
  • long-distance communication network including a mobile phone network, an IP (Internet Protocol) network such as a short-distance wireless network, or both of which are interconnected.
  • IP Internet Protocol
  • the configuration of the network 30 is not limited to this.
  • the server device 40 is a server device used in conjunction with the portable communication terminal device 10 or the administrator terminal device 20 to execute each data process for performing hygiene management of the lot and work line 80.
  • the server device 40 is linked with the portable communication terminal device 10, registers the culture medium information in each film-type medium 60 before the start of culture (hereinafter referred to as “initial registration”), and starts the culture in the database 400. While performing subsequent registration (hereinafter referred to as “post-cultivation registration”), the medium information transmitted from the portable communication terminal device 10 is acquired, and from the medium image formed by the medium image data of the acquired medium information In addition, it has a configuration for detecting colonies generated and cultured in a specimen.
  • the server device 40 (1) Acquire media image data (2) Extracting a color feature amount relating to the color of each pixel constituting a predetermined area in the culture medium image of the acquired culture medium image data, (3) Specify a non-colony pixel based on the extracted color feature amount of each pixel, specify the color feature amount (representative value) of the non-colony pixel from the specified colony pixel, (4) Detecting a colony based on the detected colony pixel while detecting a pixel having a color feature amount (representative value) of the specified non-colony pixel and a color feature amount having a predetermined color difference as a colony pixel, (5) Register information about the colonies including the detected colonies in the database as medium information; It has a configuration.
  • the server device 40 classifies each gradation value and class when the color feature amount such as the luminance value, brightness, saturation, or RGB color component is defined by the gradation value. Based on a predetermined reference value (that is, a predetermined color feature amount) such as a reference value for binarization or a threshold for binarization, the color component of each pixel is classified into a plurality of types, The non-colony pixels are specified based on the classified result.
  • a predetermined reference value that is, a predetermined color feature amount
  • a predetermined color feature amount such as a reference value for binarization or a threshold for binarization
  • the server device 40 is configured to identify the non-colony pixels based on the number of pixels in each reference value. Specifically, (3A) The number of pixels is counted for each reference value (for example, for each gradation value) for the color feature amount of each pixel extracted, (3B) Based on the number of pixels of each reference value, specify a reference value having a predetermined condition, that is, a color feature amount, (3C) specifying a non-colony pixel based on the specified color feature, (3D) The color feature amount of the non-colony pixel is specified from the specified non-colony pixel.
  • the server device 40 replaces the processing of the above (3) with two classes of color feature values of each extracted pixel based on a predetermined reference value or according to a predetermined condition. And non-colony pixels may be specified based on the classified result.
  • the server device 40 classifies the extracted feature quantities of each pixel into two classes by the k-means method, and identifies the classified pixels of the one class as non-colony pixels. Further, for example, the server device 40 calculates an intermediate value based on the extracted maximum value and minimum value of the color feature amount of each pixel, binarizes each pixel using the intermediate value as a threshold value, and sets one value. The pixel having is identified as a non-colony pixel.
  • the server device 40 counts the number of pixels for each color feature amount as the color feature amount satisfying a predetermined condition, and the color feature amount that is the mode value with respect to the number of pixels of each color feature amount. May be used.
  • the colony pixels constituting the colony can be specified based on the color feature amount of the non-colony pixel, individual differences in the color of the culture medium in which the colony is cultured, the influence of the imaging environment when imaging the culture medium, and Even when the color of the medium varies, such as when the color of the medium after the colony culture varies depending on the state of colony generation, colony pixels can be detected according to the variation.
  • the sanitary management system S of the present embodiment it is possible to accurately detect colonies in any situation and to register medium information including information related to the accurately detected colonies in the database. ing.
  • the sanitary management system S of the present embodiment it is possible to save resources as compared with the case where various data analyzes and provisions are performed using physical resources such as paper media, and the culture medium.
  • registration mistakes can be remarkably reduced, and management of difficult culture media can be facilitated. Therefore, resource saving can be achieved without consuming wasteful culture media.
  • FIG. 2 is an example of a film-type medium 60 used in this embodiment.
  • the film-type medium 60 used in the present embodiment is a medium for culturing bacteria generated in food as a specimen detected from each step of the work line 80 using a film or sheet-like dry medium.
  • the film-type medium 60 is used as a medium for culturing general live bacteria, coliforms, and Staphylococcus aureus.
  • the film-type medium 60 includes, for example, a base sheet 61 formed of a film and a circular frame formed on the base sheet 61 with reference to the center of the base sheet 61 as shown in FIG. (Hereinafter referred to as “circular frame”) 62, a culture layer 63 for culturing bacteria provided in the frame, a cover sheet 64 covering the culture layer 63, and the right side of the base sheet 61.
  • Medium ID66 a base sheet 61 formed of a film and a circular frame formed on the base sheet 61 with reference to the center of the base sheet 61 as shown in FIG.
  • circular frame 62
  • a culture layer 63 for culturing bacteria provided in the frame
  • cover sheet 64 covering the culture layer 63
  • right side of the base sheet 61 The film-type medium 60 includes, for example, a base sheet 61 formed of a film and a circular frame formed on the base sheet 61 with reference to the center of the base sheet 61 as shown in FIG. (Hereinafter referred to as “
  • the culture medium ID 66 is formed of a barcode such as a two-dimensional barcode or alphanumeric characters, and is imaged together when the film-type culture medium 60 is imaged, such as a barcode recognition function or an OCR (Optical Character Recognition) function. It is acquired in the portable communication terminal device 10 or the server device 40 using the image analysis function.
  • a barcode such as a two-dimensional barcode or alphanumeric characters
  • OCR Optical Character Recognition
  • the substrate sheet 61 is not particularly limited as long as it is a film-like or sheet-like substrate, and for example, a plastic film, paper, or the like can be used.
  • plastic films include resin films such as polyethylene, polypropylene, polyethylene terephthalate, polyethylene naphthalate, polymethacrylate, polymethyl methacrylate, polymethyl acrylate, polyester, and polycarbonate.
  • Preferred examples include polyethylene terephthalate and polypropylene synthetic paper.
  • the polypropylene-based synthetic paper is a film synthetic paper whose main raw material is polypropylene.
  • the film-type culture medium 60 has an IC tag in which a culture medium ID 66 is stored.
  • the short-range wireless communication interface 140 (for example, an IC tag reader) included in the portable communication terminal apparatus 10 causes the medium to be connected to the portable communication terminal apparatus 10. ID66 may be acquired.
  • FIG. 3 is an example of a work instruction sheet 70 used in the present embodiment.
  • the work instruction sheet 70 of the present embodiment includes, for each food group manufactured or inspected under the same conditions, that is, for each lot, work names and contents of one or more manufacturing processes or inspection processes, and work lines 80 to be used. It is an instruction document that describes the name of the food (processed food) to be manufactured or inspected, the quantity, and other information.
  • the work instruction sheet 70 of the present embodiment has an instruction sheet ID 71a formed by printing or other methods on the upper right and a plurality of process IDs 71b formed by printing or other methods on a predetermined area. .
  • the instruction sheet ID 71a and each process ID 71b are used as the work ID 71, and are formed of, for example, a barcode such as a two-dimensional barcode or alphanumeric characters.
  • the instruction ID 71a and each process ID 71b are imaged in the same manner as the film-type medium 60 when the registration of the film-type medium 60 is executed, and analyzed by the portable communication terminal device 10 or the server device 40. Be recognized.
  • the work instruction sheet 70 has an IC tag in which the work ID 71 of the instruction sheet ID 71a or the process ID 71b is stored, like the film type culture medium 60, and has an interface (short distance) that the portable communication terminal device 10 such as a tag reader has.
  • the portable communication terminal device 10 may acquire the work ID 71 by the wireless communication interface 140).
  • the work ID 71 indicates an instruction ID 71a or a process ID 71b.
  • FIG. 4 is a block diagram showing the configuration of the portable communication terminal device 10 of the present embodiment.
  • the portable communication terminal device 10 of the present embodiment has a data storage unit 100 having a memory function used when various programs are executed, an imaging function, image data of the film-type medium 60, and other image data.
  • the image data generation unit 110 that generates the media information the media information is registered in the server device 40 after the initial registration and the post-cultivation registration immediately after the culture in conjunction with the server device 40 (hereinafter referred to as “medium information registration processing”).
  • an application control unit 120 that executes processing.
  • the portable communication terminal device 10 includes a network communication unit 130 that communicates with the server device 40 and other communication devices, a short-range wireless communication interface 140 that exchanges data with an IC tag and other communication interfaces, Controls the current position detection unit 150 that detects the current position, the display unit 160, the display control unit 161 that controls the display unit 160, the operation unit 170 for inputting user operations, the timer 180, and the entire apparatus.
  • a portable terminal management control unit 190 A portable terminal management control unit 190.
  • the portable communication terminal device 10 has various necessary members such as a microphone, a speaker, and an e-mail transmission / reception function when having a mail function such as a telephone function and e-mail. Further, the above-described units are connected to each other by a bus 11 to exchange data.
  • the data storage unit 100 includes an application storage unit 101 that stores various application programs, an image data storage unit 102 that stores image data captured and generated by the image data generation unit 110, and a portable communication terminal device 10 and management / control programs, and a ROM / RAM 103 that is used as a work area during execution of each program and stores data used in each process executed by the portable communication terminal device 10. is doing.
  • the application storage unit 101 includes an application program (hereinafter referred to as “application”) that is executed by the application control unit 120 in conjunction with the image data generation unit 110, the operation unit 170, the display control unit 161, and the image data storage unit 102. Is stored).
  • the application storage unit 101 also stores a browser program for realizing the browsing function described above.
  • the imaged medium image data and instruction sheet image data In the image data storage unit 102, the imaged medium image data and instruction sheet image data, the image ID for managing each image data, various metadata corresponding to each image data such as the imaging time, and the work ID 71
  • the medium ID 66 and various flag information are stored in association with each other.
  • the image ID is arbitrary identification information that is appropriately given in each portable communication terminal device 10.
  • the image data generation unit 110 includes an optical system, a CCDI sensor (Charge Coupled Device Image Sensor) that converts an optical image input from the optical system into an electrical signal, and image data based on the electrical signal generated by the CCDI sensor. And a generating unit that generates
  • the image data generation unit 110 images the captured work instruction sheet 70 and generates instruction sheet image data.
  • the image data generation unit 110 images the film-type medium 60 that has been imaged when the bacteria generated in the specimen are cultured or the film-type medium 60 that has been cultured is imaged. 60 pieces of medium image data are generated as medium image data.
  • the application control unit 120 realizes the medium information registration process by a predetermined application.
  • the application control unit 120 executes the network communication unit 130 and the display control unit 161 while executing various control programs for controlling each unit of the portable communication terminal device 10 using the culture medium registration application stored in the application storage unit 101.
  • various processes are executed in conjunction with or controlled by the operation unit 170.
  • the application control unit 120 executes the culture medium registration application recorded in the application storage unit 101, controls the image data generation unit 110, acquires the culture medium image data of the film-type culture medium 60 that is imaged.
  • the image data is stored in the image data storage unit 102.
  • the application control unit 120 acquires the culture medium ID 66 from the imaged culture medium image data, and stores the culture medium image data, the metadata of the culture medium image data, and various flag information together with the acquired culture medium ID 66. Store in the unit 102. Note that the application control unit 120 may execute barcode recognition or OCR recognition in conjunction with another communication device or the database 400 via a communication line.
  • the application control unit 120 performs initial registration for registering the culture medium information in the server device 40 at the start of the culture of the specimen after imaging of the culture medium image data or at a predetermined timing, and registers the culture medium information after the start of the culture of the specimen. Perform registration after incubation.
  • the application control unit 120 identifies whether the registration is initial registration or post-cultivation registration based on the operator's instruction, and includes information (flag information) indicating either registration in the culture medium information in the server device 40. Send.
  • the application control unit 120 acquires the current time from the timer 180 when the film-type medium 60 is imaged, and the image data storage unit as the metadata of the medium image data together with a predetermined image ID using the current time as the imaging time. 102.
  • the medium image data is transmitted to the server device 40, it is transmitted together.
  • the application control unit 120 when the culture medium ID 66 and the work ID 71 that is the instruction ID 71a and the process ID 71b are stored in the IC tag, the operation unit 170, the display control unit 161, and the short-range wireless communication interface The medium ID 66 and the work ID 71 are acquired in conjunction with 140.
  • the application control unit 120 transmits instruction sheet image data in addition to the medium image data as the medium information.
  • the application control unit 120 may be realized as a function when the CPU (central processing unit) constituting the mobile terminal management control unit 190 executes the application in terms of implementation.
  • the network communication unit 130 establishes a communication line with the server device 40 connected to the network 30 under the control of the application control unit 120 and the mobile terminal management control unit 190, and exchanges various data such as culture medium image data. Do.
  • the near field communication interface 140 performs near field communication using an IC tag under the control of the application control unit 120 and the mobile terminal management control unit 190.
  • the current position detection unit 150 recognizes the position of a GPS (Global Positioning System) satellite via the network 30 under the control of the application control unit 120 or the mobile terminal management control unit 190, and a satellite transmitted from the GPS satellite. A signal (GPS signal) is detected.
  • GPS Global Positioning System
  • the current position detection unit 150 calculates (that is, detects) a coordinate value indicated by the latitude and longitude of the current position of the portable communication terminal device 10 based on the detected GPS signal. In addition, the current position detection unit 150 provides the calculated coordinate value to the application control unit 120 as position information.
  • the portable communication terminal device 10 when the portable communication terminal device 10 has a telephone function or a short-range wireless function, the portable communication terminal device 10 is based on the direction and the radio field intensity received by the telephone base station or the like for the radio wave used for the telephone or the short-range radio.
  • the current position of the portable communication terminal device 10 may be calculated (detected).
  • the display unit 160 has an image display area of a predetermined size (for example, 5 inches, W480 ⁇ H960 pixels), is configured by a panel of liquid crystal elements or EL (Electro Luminescence) elements, and is generated by the display control unit 161 A predetermined image is displayed based on the display data.
  • a predetermined size for example, 5 inches, W480 ⁇ H960 pixels
  • EL Electro Luminescence
  • a predetermined image is displayed based on the display data.
  • the display unit 160 is linked to the operation unit 170, and various displays, captured work instructions 70 and film-type culture media that have been imaged. 60 is displayed.
  • the display control unit 161 generates drawing data necessary to cause the display unit 160 to draw a predetermined image under the control of the application control unit 120 or the mobile terminal management control unit 190, and the generated drawing data is displayed on the display unit. 160 is output.
  • the operation unit 170 includes various confirmation buttons, operation buttons for inputting operation commands, a number of keys such as a numeric keypad, and a touch sensor provided on the display unit 160, and is used when performing each operation. It has become. Specifically, the operation unit 170 is used when performing operations for executing the various processes described above when the culture medium registration application is activated.
  • the operation unit 170 can also be used when manually inputting the culture medium ID 66 directly.
  • the timer 180 provides the application control unit 120 with the date and time when the image data generation unit 110 images the film-type medium.
  • the portable terminal management control unit 190 is mainly configured by a central processing unit (CPU) and includes various input / output ports such as a key input port and a display control port, and the overall functions of the portable communication terminal device 10. In addition, overall functions for executing the information providing program are generally controlled.
  • CPU central processing unit
  • FIG. 5 is a configuration diagram showing the configuration of the server device 40 of the present embodiment.
  • the server device 40 communicates with a database 400 in which various information such as work information and culture medium information is stored, and the portable communication terminal device 10 and the administrator terminal device 20.
  • a communication control unit 410 a data processing unit 420 that executes various processes such as a culture medium information registration process, a server management control unit 430 that controls each unit of the server device 40, a ROM / RAM 440 that is used to control each unit, and a time And a timer 450 used for management.
  • the above-described units are connected to each other by a bus 41, and data transfer is performed between the components.
  • the communication control unit 410 is a predetermined network interface, establishes a communication line with the portable communication terminal device 10 or the administrator terminal device 20, and exchanges various data with the portable communication terminal device 10 or the administrator terminal device 20. I do.
  • the database 400 includes an HDD or an SSD, and includes a medium information database (hereinafter abbreviated as “medium information DB”) 401, a line information database (hereinafter abbreviated as “line information DB”) 402, and a lot information database (hereinafter referred to as “line information DB”). , “Lot information DB”) 403 and a work management database (hereinafter abbreviated as “work management DB”) 404.
  • each DB of the present embodiment constitutes a database according to the present invention.
  • the medium information DB 401 is a database in which medium information regarding the film-type medium 60 of the sample extracted for each process of each work line 80 is stored for each work ID 71 and medium ID 66.
  • medium information regarding the film-type medium 60 of the sample extracted for each process of each work line 80 is stored for each work ID 71 and medium ID 66.
  • (1) Medium ID (2) Imaged medium image data (3) Image capture time (4)
  • Other information including flag information (5)
  • Colony candidate imaged Information of each colony candidate (hereinafter referred to as “colony candidate information”) including the feature quantity of the detection pixel used for the detection and the coordinate position of the film-type medium 60 (hereinafter referred to as “colony candidate information”).
  • ID) and the number of colonies (8) Results of medium determination for determining whether the film-type medium 60 (ie, specimen) is normal or abnormal based on the number of colonies (9) Work ID Are recorded in association with each other.
  • the work ID may be a lot ID, and the sample to be extracted is the same lot.
  • the line ID or the process ID 71b is obtained.
  • the number of colonies and the result of medium determination in each medium information may be registered when the medium information is registered, or may be registered at a predetermined timing different from the registration timing of the medium information.
  • the line information DB 402 is a database in which line information regarding each work line 80 is stored for each line ID.
  • the line information DB 402 includes (1) Line ID (2) The process ID 71b of the process included in the work line 80 and the two types of data are recorded in association with each other.
  • As the process type a name for identifying each process such as material input, blending, filling, boiling, packaging, and packaging is used.
  • the lot information DB 403 is a database in which lot information regarding each lot is stored for each lot ID. For example, in the lot information DB 403, (1) Lot ID (instruction ID 71a) (2) Line ID of work line used for production or inspection of lots (3) Lot work start time (4) Lot work end time (5) Five data of the work teams of the workers who perform the lot work are recorded in association with each other.
  • the work management DB 404 is a database that stores various types of information related to work contents.
  • the work management DB 404 includes (1) Work ID (2) Line ID (or line ID and process ID 71b) of the work line from which the sample is to be extracted (3) Type of sample (food) (product name, lot ID and / or lot name) (4) Type of inspection (generic bacteria or bacteria to be detected such as E.
  • Culture conditions (dilution ratio, type of diluent, culture temperature, culture humidity and culture time) (6) Culture start time (7) Time after a predetermined time has elapsed from the start of culture (hereinafter also referred to as “culture test time”) (8) Culture location (for example, the position of the incubator number and the number of steps in the incubator) (9) Work date and time (work start time and end time) (10) Worker ID (and / or worker name) Are recorded in association with each other.
  • only a single time (that is, an end time for ending the culture of the specimen) may be set as the culture examination time, or after the statutory or predetermined time has elapsed from the culture start time, for example, the culture
  • a plurality of times such as 24 hours from the start time, 48 hours, or 72 hours may be set.
  • the data processing unit 420 executes various data processing in accordance with the application recorded in the ROM / RAM 440.
  • the data processing unit 420 executes a predetermined program, (1) Operation management of the communication control unit 410; (2) Medium information registration processing for acquiring various medium information in cooperation with each portable communication terminal device 10 and registering it in the database 400; (3) A colony is detected from each medium image of each film type medium 60 during the medium information registration process or at a predetermined timing after the medium information registration process, the colonies are counted, and the medium is based on the number of colonies A colony detection determination process for executing the determination; (4) lot determination processing for determining a lot based on registered medium information; (5) Report processing for outputting the determination result in a report format; (6) Management and control of the database 400; I do.
  • the data processing unit 420 specifies the color feature amount of the non-colony pixel indicating the color of the medium for each film-type medium 60, and based on the specified color feature amount of the non-colony pixel. While detecting colony pixels, colony detection and counting are performed.
  • the data processing unit 420 includes a registration processing unit 421 that executes a medium information registration process including management and control of the database 400, a colony detection determination unit 422 that executes a colony detection determination process, and a lot determination process.
  • the registration processing unit 421 of the present embodiment constitutes an acquisition unit and a registration unit according to the present invention
  • the colony detection determination unit 422 of the present embodiment includes the extraction unit, the identification unit, and the detection unit of the present invention. Constitute. Further, details of the registration processing unit 421, the colony detection determination unit 422, the lot determination processing unit 424, and the report processing unit 425 of this embodiment will be described later.
  • the server management control unit 430 is mainly configured by a central processing unit (CPU), and integrally controls each unit of the server device 40 by executing a program. Specifically, the server management control unit 430 performs login processing for each user and various other controls based on a login request from the portable communication terminal device 10 by a user operation.
  • CPU central processing unit
  • ROM / RAM 440 Various programs necessary for driving the server device 40 are recorded in the ROM / RAM 440.
  • Each information such as information (hereinafter also referred to as “medium determination criterion information”) is stored.
  • the ROM / RAM 440 is used as a work area during execution of each program.
  • the timer 450 is used for managing the time required when the medium information registration process and the lot determination process are executed.
  • the registration processing unit 421 executes a medium information registration process for registering each medium information in the medium information DB 401 while being associated with the work ID 71 in conjunction with the portable communication terminal device 10.
  • the registration processing unit 421 executes different medium information registration processing based on flag information indicating whether the registration is initial registration or post-culture registration included in the culture medium information.
  • the registration processing unit 421 performs a culture medium information registration process based on the initial registration.
  • the registration processing unit 421 acquires the culture medium information via the communication control unit 410
  • the registration processing unit 421 identifies the culture medium ID 66 and the work ID 71 included in the culture medium information.
  • the registration processing unit 421 searches the work management DB 404 based on the specified work ID 71, specifies the corresponding work information, and associates the acquired medium image data and imaging time with the specified work information. Is registered in the culture medium information DB 401.
  • the registration processing unit 421 specifies the lot ID including the work line 80 from which the sample is extracted based on the acquired work ID 71, the line ID of the work line 80, the process ID 71b from which the sample is extracted, and the specification.
  • the medium image data and the imaging time included in the medium information are registered in the medium information DB 401 in association with the lot ID, the line ID, and the process ID 71b.
  • the registration processing unit 421 registers the imaging time in the culture medium information DB 401 as the culture start time.
  • a preset time may be used instead of the imaging time on the assumption that the medium information registration process is executed at the time.
  • the registration processing unit 421 performs a registration process based on post-cultivation registration.
  • the registration processing unit 421 when acquiring the culture medium information via the communication control unit 410, specifies the culture medium ID 66 and the work ID 71 included in the culture medium information as in the initial registration. Then, the registration processing unit 421 searches the work management DB 404 based on the identified work ID 71, identifies the corresponding work information, and registers the imaging time in the culture medium information DB 401 in association with the identified work information. To do.
  • the culture examination time may be a preset time instead of the imaging time on the assumption that the culture information registration process is executed at the same time as the culture start time.
  • the registration processing unit 421 registers the acquired medium image data in the medium information DB 401 together with the analysis result or without analysis while causing the colony detection determination unit 422 to perform image analysis.
  • the colony detection determination unit 422 performs colony detection, colony count, and medium determination by image analysis, and details of the image analysis will be described later.
  • FIG. 6 is a diagram for explaining that there is an individual difference in the color of the culture medium itself for culturing colonies
  • FIG. 7 is a diagram for explaining the operating principle of the colony detection determination unit 422 in the present embodiment
  • FIG. 8 and 9 are diagrams for explaining a colony pixel detection process in the colony detection determination unit 422 of the present embodiment.
  • the relative colors of the color of the film-type medium 60 itself and the color of the colonies cultured on the medium are used. It is also necessary to take into account such relationships.
  • the influence of the imaging environment when imaging the culture medium, and the color of the culture medium itself after culturing the colony vary depending on the occurrence of the colony,
  • the color of the medium may vary.
  • the color of the medium is not the same, and The color fluctuates.
  • the color of the colony is often reflected in the color of the colony.
  • the color of the colony when the color of the medium changes, the color of the colony also changes. .
  • colonies have the property that the intensity of color development increases as they are formed and grown on the medium, and changes in the color intensity appear in the formation process and formed colonies. As a result, the color of the medium is reflected in the color of the colony.
  • a threshold value for discriminating between a colony pixel and a non-colony pixel is fixed for each pixel extracted from the medium image, and a detection criterion for distinguishing the colony from the medium is fixed. If this happens, colony detection omission or false detection may occur, and it cannot be said that colonies can be detected accurately.
  • the colony detection determination unit 422 of the present embodiment determines, for each film-type culture medium 60, colonies based on the color feature amount of each pixel constituting a predetermined area (that is, the area of the culture layer 63) in the culture medium image. Identifies non-colony pixels that make up different non-colonies (ie, the medium itself), and detects colony pixels based on the color features (representative values) of the identified non-colony pixels, According to the detected colony pixel, the colony is detected and counted.
  • the colony detection determination unit 422 does not change the colony color even if the color of the non-colony varies for each film-type medium 60 and affects the color of the colony. Since the threshold value for identifying a non-colony can be changed, the colony can be accurately detected.
  • the colony detection determination unit 422 specifies the non-colony pixel (black portion) as illustrated in FIG. 8B while acquiring the medium image as illustrated in FIG. 8A. Based on the non-colony pixel, the color feature amount of the non-colony pixel as shown in FIG. Then, as illustrated in FIG. 9A, the colony detection determination unit 422 subtracts the feature amount of each pixel from the color feature amount of the non-colony pixel, and the subtraction result is as illustrated in FIG. 9B. A pixel having a predetermined value, that is, a feature amount having a predetermined color difference from the color feature amount of the non-colony pixel is detected as a colony pixel.
  • FIG.8 and FIG.9 is the figure which imaged each process performed in the colony detection determination part 422.
  • FIG. 8 and FIG.9 is the figure which imaged each process performed in the colony detection determination part 422.
  • the colony detection determination unit 422 can detect colonies by detecting colony pixels based on the color of the medium for each film-type medium 60, and therefore, when the color of the medium fluctuates. Even if it exists, a colony can be detected accurately.
  • FIG. 10 is a diagram for explaining the histogram and non-colony pixel feature amount specifying process generated in the colony detection determination unit 422 of the server device 40 of this embodiment
  • FIG. 11 is the server of this embodiment. It is a figure for demonstrating the butterflies distance calculated in the colony detection determination part 422 of the apparatus 40.
  • the colony detection determination unit 422 is controlled by the registration processing unit 421, and the medium image data included in the medium information transmitted from the portable communication terminal device 10 at the time of registration of the medium information in the medium information DB 401 or at a predetermined timing. Obtain media images from
  • the colony detection determination unit 422 extracts the color feature amount of each pixel constituting the acquired medium image such as the RGB gradation value, luminance value, or saturation, and identifies the non-colony pixel while identifying the non-colony pixel. Specify the color feature of the pixel.
  • the colony detection determination unit 422 detects colony pixels based on the identified non-colony pixels, and based on the detected colony pixels, detects the colonies and counts them, and determines whether the specimen is acceptable based on the number of colonies. Are provided to the registration processing unit 421.
  • the colony detection determination unit 422 (1) While specifying the region to be processed (the region of the culture layer 63) from the medium image of the medium image data, it relates to the color of each pixel constituting the region, such as the luminance, brightness, or RGB gradation value of each pixel. Color feature extraction processing for extracting feature quantities as color feature quantities, (2) A non-colony pixel specifying process for specifying a non-colony pixel based on the extracted color feature while extracting a color feature having a predetermined condition based on the extracted color feature of each pixel.
  • non-colony pixel feature amount specifying process A specifying process for specifying a characteristic amount of a representative non-colony pixel from a plurality of specified non-colony pixels (hereinafter referred to as “non-colony pixel feature amount specifying process”), (4) Detection processing (hereinafter referred to as “colony pixel detection processing”) for detecting a pixel having a color feature amount having a predetermined color difference from a color feature amount of a non-colony pixel as a colony pixel. (5) Colony detection processing for counting the number of colonies while detecting colonies based on the detected colony pixels, and (6) Medium determination process for performing medium determination based on the counted number of colonies, Execute.
  • the colony detection determination unit 422 identifies the region to be processed (the region of the culture layer 63) from the medium image based on the position of the medium ID 66 and the like, and determines the luminance value, brightness, saturation, or sub for each pixel constituting the region. A preset color feature amount such as a gradation value of a pixel (RGB) is extracted. For example, when the luminance value is used, the colony detection determination unit 422 extracts a gradation value indicating a luminance value from 0 to 255 in each pixel constituting a predetermined area in the culture medium image.
  • the colony detection determination unit 422 classifies the extracted color feature amount of each pixel into a plurality of types based on a predetermined reference value, and identifies a non-colony pixel based on the classified result. That is, the colony detection determination unit 422 counts the number of pixels for each reference value, and identifies a non-colony pixel based on the counted number of pixels.
  • the colony detection determination unit 422 uses a histogram of the number of pixels for each color feature amount (reference value) as the probability distribution of the color feature amount of the pixel (the color of the pixel having the color feature amount and the pixel number as coordinate axes).
  • a histogram indicating a probability distribution in the feature amount is generated, and a color feature amount assumed to be a non-colony pixel is specified based on the generated histogram, and a non-colony pixel is specified based on the specified color feature amount.
  • a certain number or more of the total number of pixels that is, a certain area or more (for example, at least one-half or more) of the entire area of the region is a colony. It is assumed that it is a non-colony pixel, not a pixel.
  • the colony detection determination unit 422 of the present embodiment is closest to the color feature amount of the colony pixel among the color feature amounts of the non-colony pixels as the color feature amount having a predetermined condition based on the generated histogram.
  • a color feature amount assumed to be a color feature amount is specified, and a range of the color feature amount of a non-colony pixel is specified based on the specified color feature amount.
  • the colony detection determination part 422 specifies the pixel which belongs to the range of the color feature-value of a non-colony pixel as a non-colony pixel.
  • the colony detection determination unit 422 sequentially accumulates the number of corresponding pixels according to a continuous change from the first reference value to the second reference value of the color feature amount for the generated histogram, and the accumulated pixel number A color feature amount at a preset value is specified as a reference feature amount.
  • the colony detection determining unit 422 classifies each pixel constituting the medium image into each luminance value from 0 to 255, and uses each color feature amount and the number of pixels as coordinate axes.
  • the colony detection determination unit 422 determines the color of the most colony as the second reference value from the color feature amount (luminance gradation value “255”) indicating the color of the medium itself as the first reference value.
  • the number of pixels of each color feature amount is sequentially integrated up to the color feature amount indicating luminance (brightness gradation value “0” or the minimum gradation value when indicating a color as a colony such as R, G, or B).
  • the color feature amount (for example, the color feature amount when the number of pixels is a half of the total number of pixels in the culture layer 63 region ( The gradation value)) is specified as the reference feature amount.
  • the colony detection determination unit 422 identifies the color feature amount from the first reference value to the reference feature amount as the color feature amount range of the non-colony pixel, and identifies pixels belonging to the range as the non-colony pixel.
  • the colony detection determination unit 422 differs from the reference feature amount calculated by integrating the number of pixels as described above, in the generated histogram, the color feature amount having the mode number of pixels as a reference feature amount,
  • the non-colony pixel may be specified by specifying the range of the color feature amount of the non-colony pixel based on the reference special feature amount in the same manner as described above.
  • the colony detection determination unit 422 extracts the minimum value and the maximum value of the color feature amount of each pixel in the area of the culture layer 63, binarizes the intermediate value between the minimum value and the maximum value as a threshold value, A pixel having a value (for example, belonging to the maximum value side when the color feature amount is luminance) may be specified as a non-colony pixel.
  • the colony detection determination unit 422 uses the K-means method that does not require teacher data and can be classified into a specified number of classes based on the color feature amount of each pixel, and uses two color feature amounts (average). ), And a pixel belonging to one class (for example, a class having a high average luminance when the color feature amount is luminance) may be specified as a non-colony pixel.
  • the colony detection determination unit 422 may specify all the regions of the culture layer 63 in the medium image as non-colony pixels. Normally, in order to statistically identify the non-colony color, even if all colonies in the area are identified as non-colony pixels, there is almost no effect if the number of colony pixels is small, and there is no decrease in accuracy. At the same time, the processing speed can be improved.
  • the colony detection determination unit 422 specifies a color feature amount determined based on the color feature amount of each pixel identified as a non-colony pixel as a color feature amount (representative value) of the non-colony pixel.
  • the colony detection determination unit 422 uses the luminance value, brightness, or gradation value of the RGB color component as a color feature amount for each pixel identified as a non-colony pixel, and displays these values as a graph.
  • the median value or the maximum value of the color feature amount at the time of conversion into the color mode, or the mode feature value or the average value color feature value with the maximum number of pixels is specified as the color feature amount (representative value) of the non-colony pixel.
  • the color feature amount of the non-colony pixels can be accurately determined using any of the median, mode, and average values. Can be identified as
  • the colony detection determination unit 422 when calculating the color feature amount (representative value) of a non-colony pixel using a single color feature amount in each pixel such as a luminance value or brightness, is simply a median, maximum In the case of calculating a color feature amount (representative value) of a non-colony pixel using a plurality of color feature amounts such as gradation values of RGB color components, for example, each color feature amount ( That is, a combination of the median value, maximum value, mode value, or average value of each of RGB color components) is used.
  • the colony detection determination unit 422 may use the same color feature amount as the color feature amount used when specifying the non-colony pixel, or may use a different color feature amount. However, in order to calculate the color difference used when the colony pixel is detected, the colony detection determination unit 422 preferably uses the same color feature amount as the color feature amount used for the calculation of the color difference.
  • the colony detection determination unit 422 calculates the color difference between the color feature amount (representative value) of the identified non-colony pixel, such as the gradation value of each color component of RGB, and the feature amount of each pixel, and exceeds a predetermined color difference. A pixel having a color feature amount is detected as a colony pixel.
  • the colony detection determination unit 422 when using a plurality of color feature amounts such as RGB color components, the colony detection determination unit 422 includes a plurality of color components of each pixel specified as a non-colony pixel and a plurality of color components of each pixel.
  • the similarity of the generated histogram is calculated as a color difference, and a colony pixel is detected based on the color difference calculated as the similarity.
  • the colony detection determination unit 422 uses the batch coefficient and the batch distance to calculate the similarity in the histogram.
  • the colony detection determination unit 422 uses a plurality of color feature amounts such as RGB color components and uses the batcher coefficient BC and the batcher distance DB
  • the RGB of each pixel specified as a non-colony pixel is used.
  • the calculation shown in (Equation 1) and (Equation 2) is executed to detect a pixel having a batch rear distance of a certain value as a colony pixel.
  • the color portion of the medium is specified as a non-colony pixel, and each color component of RGB of the non-colony pixel is specified as a color feature amount (representative value). If it is, the colony detection determination unit 422 can detect the colony pixel based on the batcha rear distance as shown in FIG.
  • the colony detection determination unit 422 normalizes the RGB gradation values of each pixel and the non-colony pixels so that the sum of the RGB gradation values is “1”, and calculates the virtual coefficient.
  • the batcher coefficient BC defines two or more histograms (that is, a histogram composed of tone values of the color components RGB in the above case) as a one-dimensional value, and the value is “0”. ”To“ 1 ”, and the higher the similarity, the higher the histogram.
  • the batcha rear distance DB is a value obtained by converting the batch rear coefficient into a distance, and it is determined that two histograms are more similar as the value is larger. Therefore, the colony detection determination unit 422 detects a colony pixel by calculating a buttery rear coefficient and converting it to a buttery rear distance.
  • the colony detection determination unit 422 when using a single color feature amount such as a luminance value or brightness, performs Euclidean for the color component specified as the color feature amount of the non-colony pixel and the color component of each pixel.
  • a pixel having a color feature amount equal to or greater than a predetermined distance difference is detected as a colony pixel.
  • the colony detection determination unit 422 performs ID filtering by performing connection and labeling of adjacent colony pixels while performing image filter processing for reducing noise based on the detected colony pixels, and connecting the colony pixel groups Are detected as one object, that is, a colony, and the number is counted as the number of colonies.
  • the colony detection determination unit 422 includes an expansion process that replaces all the pixels adjacent to the colony pixel with colony pixels when there are other colony pixels adjacent to each colony pixel as the image filter process, and When there is a non-colony pixel adjacent to the colony pixel (hereinafter referred to as “non-colony pixel”), a colony is detected and the number of pixels detected while performing a contraction process to replace all adjacent pixels with non-colony pixels. Count.
  • the colony detection determination part 422 is for each detected colony. (1) Various information of colony pixels included in the colony, such as the position of the colony pixel included in each colony, the feature amount relating to the color, and the arrangement position on the medium image, and (2) Specify information related to colonies such as the position of the center of gravity of each colony on the medium image or the color feature amount (average).
  • the colony detection determination unit 422 provides various information including the number of colonies to the registration processing unit 421.
  • the colony detection determination unit 422 performs medium determination (that is, determination of pass / fail of the specimen) as to whether the specimen of each film type culture medium 60 is abnormal or normal. For example, the colony detection determination unit 422 determines pass / fail of each sample based on a threshold value of the number of bacteria set in advance according to the bacterial species to be detected from the sample (that is, the determination criterion), and the result is the registration processing unit 421. To provide.
  • the registration processing unit 421 obtains the medium determination criterion information from the ROM / RAM 440 based on the criteria used when cultivating the specimen and the bacterial species. Read out and perform medium determination.
  • Each criterion information is specified in association with the medium ID 66. That is, since the type of the film-type medium 60 is different for each bacterial species detected from the specimen, the bacterial species to be detected can be specified by specifying the medium ID 66. Therefore, in this embodiment, the determination reference information specified based on the culture medium ID 66 can be read out by setting the dilution rate and the like in advance.
  • the pass / fail determination of each film type medium 60 is used in the process determination, the line determination, and the lot determination, the medium determination is executed in association with these determinations.
  • the method of pass / fail determination of each film type culture medium 60 in process determination, line determination, and lot determination will be described later.
  • the lot determination processing unit 424 of the present embodiment analyzes data on hygiene management in the designated lot, work line 80 or process based on the instructions of the administrator input to the administrator terminal device 20 (ie, pass / fail determination). Execute.
  • the lot determination processing unit 424 for each lot, line information of the work line 80 used for the corresponding lot, and medium information registered in association with the corresponding work line 80 (at least the number of colonies). Based on the above, it is determined whether the food group manufactured or inspected under the same condition has a predetermined condition.
  • the lot determination processing unit 424 determines whether the work line 80 included in the corresponding lot and the processes belonging to the work line 80 are abnormal or normal in terms of hygiene management. 80 line determinations (that is, pass / fail determination for hygiene management) and process determinations for each process (that is, determination of pass / fail for hygiene management) are performed, and lot determination is performed using the process determination and line determination.
  • the lot determination processing unit 424 for example, the number of colonies of the film-type medium 60 in the medium information that has passed a predetermined culture inspection time such as 24 hours or 48 hours from the start of culture, Based on the medium information of the pass / fail determination of the specimen, the pass / fail of hygienic management of the process is determined, and the pass / fail of hygiene management of the work line 80 is determined based on the pass / fail determination of the process included in the corresponding work line 80. Based on the pass / fail determination of the work line 80 included in the corresponding lot, the pass / fail in sanitary management of the lot is determined.
  • lot determination processing unit 424 of the present embodiment may execute not only lot determination but also process determination or line determination as data analysis.
  • the lot determination processing unit 424 has a culture start time at the same timing, a culture examination time at the same timing, a culture start time having a time within a preset time from the first time to the second time, or a preset first time.
  • the culture start time or the culture test time has a predetermined condition, such as having a culture test time having a time within the time from the first time to the second time, and is registered in association with the same process in the same lot.
  • Each process determination is performed based on the culture medium information of the plurality of film-type culture media 60 that has been performed. That is, the lot determination processing unit 424 executes each process determination by comprehensive determination based on each medium determination result of the plurality of film-type mediums 60.
  • the lot determination processing unit 424 displays the medium determination results of the corresponding film-type medium 60 (that is, all the medium determination results registered in the medium information having the process ID 71b of the process to be subjected to the process determination).
  • the process judgment of the process to be judged is judged to be acceptable, and if not, the judgment should be made The process judgment of the process is judged as rejected.
  • the lot determination processing unit 424 determines that the conditions for all the film-type culture media 60 when the acceptable film-type culture media 60 are a predetermined ratio (60%) or more in the individual film-type culture media 60 in the corresponding process ( The number of colonies is equal to or less than a certain number), or the condition that the number of colonies of each film-type medium 60 corresponds (the average number of colonies of a single film-type medium 60 is equal to or less than a certain number). In this case, the corresponding process is determined to be acceptable.
  • the lot determination processing unit 424 of the present embodiment can change conditions depending on the type of specimen, the type of bacteria to be detected, etc., and can be set by an administrator or provided as part of a program.
  • the lot determination processing unit 424 performs line determination for each work line 80 based on the pass / fail determination for hygiene management of a plurality of processes that are determined at a predetermined timing and registered in association with the corresponding line information. To do. That is, the lot determination processing unit 424 performs line determination by comprehensive determination based on the determination results of a plurality of processes of the same lot determined at a predetermined timing.
  • the lot determination processing unit 424 is determined at the same timing or a timing satisfying a predetermined condition, and has the line ID of the work line 80 to be subjected to line determination as described above.
  • the line determination of the work line 80 to be determined is determined to be acceptable, and the condition is not satisfied
  • the line determination of the work line 80 to be determined is determined to be unacceptable.
  • the lot determination processing unit 424 determines that the line determination of the work line 80 to be determined is acceptable.
  • the lot determination processing unit 424 executes the lot determination for each lot based on the hygiene management pass / fail determination of the plurality of work lines 80 that are determined at a predetermined timing and registered in association with the corresponding lot information. To do. That is, the lot determination processing unit 424 executes lot determination by comprehensive determination based on the determination results of the plurality of work lines 80.
  • the lot determination processing unit 424 performs lot determination based on the pass / fail determination in the work line 80 having the lot ID of the lot for which lot determination is to be performed.
  • the lot determination processing unit 424 determines that the lot determination of the lot to be determined is acceptable when the line determination is successful in 60% of the work lines 80 having the lot ID, and the three work lines 80 determine the lot to be determined. Assume that a lot ID is included. In this case, when the first work line 80 is “pass”, the second work line 80 is “pass”, and the third work line 80 is “fail”, the lot determination processing unit 424 determines the lot to be determined. It is determined that the lot determination is acceptable.
  • the lot may be determined by dividing the time every predetermined time (for example, 8 hours or 12 hours). In this case, when the lot determination is performed while the work is suspended, a dummy result may be used, or it may be determined that the work is being suspended.
  • the lot determination processing unit 424 can perform determinations and data analysis other than those described above using the culture medium information, line information, lot information, and work management DB 404, and the determination result or data analysis via the report processing unit 425.
  • the result can be provided to the administrator terminal device 20 so that the administrator can view the result.
  • the lot determination processing unit 424 checks the reliability of the sample cultured in each film-type medium 60, that is, checks whether or not an inspection error has occurred.
  • the medium information in the medium ID is subjected to a predetermined analysis of the medium information or the medium image data in time series from the culture start time to the end of the culture.
  • the lot determination processing unit 424 has a specific culture medium ID (same culture medium ID) 66 based on an instruction from the administrator received via the administrator terminal device 20, and starts from the culture start time to a predetermined time. Are extracted together with the medium image data. Then, the lot determination processing unit 424 performs a predetermined analysis on each medium information and each image data along a predetermined time series, or aggregates each medium information and each image data along a time series. In addition, the lot determination processing unit 424 causes the report processing unit 425 to generate the analysis result or the aggregation result as browsing data having a predetermined data format, and allows the administrator to browse the generated browsing data. 20 to provide.
  • a specific culture medium ID standard culture medium ID
  • the lot determination processing unit 424 causes the report processing unit 425 to generate the analysis result or the aggregation result as browsing data having a predetermined data format, and allows the administrator to browse the generated browsing data. 20 to provide.
  • the lot determination processing unit 424 is linked to the report processing unit 425, and at this time, based on an instruction from the manager terminal device 20, each medium information in one medium ID 66 is used for legal hygiene management reporting. May be made individually viewable.
  • the lot determination processing unit 424 may have a search function for medium information, line information, lot information, or work management information. Specifically, the lot determination processing unit 424 uses the lot ID (instruction ID 71a), the work line ID, the process ID 71b, the work ID 71, the culture start time, the lot work date and time, the culture medium ID 66, the specimen type, and the like as search keys.
  • the database 400 may be searched, and the report processing unit 425 may be linked to generate data that allows the administrator to view the corresponding medium information and various types of information.
  • the report processing unit 425 is configured to search for medium information (medium image data, number of colonies and medium determination result), process information, and line specified by a search based on an instruction from the administrator received via the administrator terminal device 20. It is also possible to provide information or information on lots in a predetermined report format. That is, the report processing unit 425 is configured to be able to provide various information as evidence or reports in legal inspection reports and other cases.
  • the report processing unit 425 performs data analysis related to hygiene management in the designated lot, work line 80 or process based on the administrator's instruction input to the administrator terminal device 20 and template data having a predetermined report format.
  • An analysis result (that is, a determination result of pass / fail determination) is generated as report data, and the generated report data is provided to the administrator terminal device 20 so as to be viewable by the administrator via the communication control unit 410.
  • the report processing unit 425 extracts necessary information from the medium information, the line information, and the lot information such as the medium image data, the number of colonies, or the medium determination result, and the extracted information and the lot determination processing unit 424. Based on the analysis result obtained by the above, report data is generated while assigning each information to the template data. Then, the report processing unit 425 provides the administrator terminal device 20 with report data having an image of a medium in which the processing such as rotation is not executed and the identity is ensured.
  • the report processing unit 425 is configured to generate predetermined report data or browsing data in accordance with various analyzes or searches and provide the data to the administrator terminal device 20. .
  • the report processing unit 425 can also provide medium information, process information, line information, or lot-related information specified by the search in a predetermined report format based on the received administrator's instruction.
  • it is configured so that various information can be provided as evidence or reports in statutory inspection reports and other cases.
  • FIG. 12 is a flowchart which shows the registration processing operation
  • the medium ID 66 or the instruction ID 71a is attached to the film-type medium 60 and the work instruction sheet 70 by a two-dimensional barcode.
  • the number of colonies in each film-type medium 60 is detected at the time of registration in the medium information database 400, and the portable communication terminal device 10 uses RGB for capturing a medium image. It is assumed that calibration for the gradation value or the luminance value is performed.
  • the application control unit 120 detects an activation instruction for the culture medium registration application via the operation unit 170 (step S101)
  • the application control unit 120 reads the culture medium registration application from the application storage unit 101 and activates it (Ste S102).
  • the application control unit 120 performs initialization of the work memory and other necessary processes under the control of the mobile terminal management control unit 190.
  • the application control unit 120 interlocks with the display control unit 161 to display an image for selecting whether the initial registration of the film-type medium 60 or the registration after culturing after a predetermined time has elapsed from the start of the culture. It is displayed on the display unit 160 and waits for its input (step S103).
  • step S104 when detecting an input of a selection instruction by the operation unit 170 (step S104), the application control unit 120 determines whether the registration is initial registration or post-culture registration, and sets the result in flag information (step S105).
  • the application control unit 120 causes the display unit 160 to display a screen that prompts the imaging of the film-type medium 60, and waits for imaging by the image data generation unit 110 in conjunction with the operation unit 170 (step S106). At this time, the application control unit 120 causes a predetermined image to be superimposed on the display unit 160 in order to align the medium image to be acquired.
  • the image data generation unit 110 causes the medium ID 66 to be detected.
  • the imaged medium image data of the film type medium 60 is acquired and stored in the image data storage unit 102 while giving a predetermined image ID (step S108).
  • the application control unit 120 acquires the current time as the imaging time of the medium image data from the timer 180, and stores it in the image data storage unit 102 as metadata in association with the medium image data (step S109).
  • the application control unit 120 analyzes the two-dimensional barcode formed in a predetermined area of the acquired imaged culture medium image data, acquires the culture medium ID 66, and stores the image data in association with the culture medium image data.
  • the information is stored in the unit 102 (step S110).
  • the application control unit 120 causes the display unit 160 to display a screen for acquiring the instruction sheet image data together with the instruction sheet ID 71a and the process ID 71b in conjunction with the display control unit 161, and waits for acquisition of the instruction sheet image data. (Step S111).
  • step S112 when the application control unit 120 detects imaging by the image data generation unit 110 in cooperation with the image data generation unit 110, the display control unit 161, and the operation unit 170 (step S112), an instruction in which the work ID 71 is imaged.
  • the book image data is acquired and stored in the image data storage unit 102 in association with the culture medium image data acquired in step S108 (step S113).
  • the application control unit 120 when acquiring the process ID 71b as the work ID 71, or when acquiring the one process ID 71b from the plurality of process IDs 71b, the application control unit 120 operates in conjunction with the display control unit 161 and the operation unit 170, and the user The process ID 71b to be acquired is displayed, and the corresponding process ID 71b is acquired.
  • the application control unit 120 analyzes the two-dimensional barcode formed in a predetermined area of the imaged instruction sheet image data and the culture medium image data, acquires the work ID 71, and associates it with the instruction sheet image data. And stored in the image data storage unit 102 (step S114).
  • the application control unit 120 acquires the current time as the imaging time of the medium image data from the timer 180, and in conjunction with the display control unit 161 and the operation unit 170, the application control unit 120 acquires the acquired instruction image data, work ID 71, The medium image data, medium ID 66, and imaging time are confirmed (step S115).
  • the application control unit 120 may re-acquire the culture image data based on an instruction from the operator when the acquired medium information is confirmed by the operator. At this time, the application control unit 120 may be able to correct the medium image data by the operator in conjunction with the display control unit 161 and the operation unit 170.
  • the application control unit 120 based on the operator's instruction, together with flag information indicating whether it is initial registration or post-culture registration, terminal ID, and work ID 71, the acquired medium image data, its metadata, and whether it is initial registration.
  • Flag information indicating whether it is registered after culture is transmitted as medium information to the server device 40 via the network communication unit 130 (step S116), and the registration process of the portable communication terminal device 10 is terminated.
  • the network communication unit 130 executes login for accessing the server device 40 based on the terminal ID or the input ID and password, and the server device 40 is completed after the login is completed. Communication line is established and medium information is transmitted.
  • FIG. 13 is a flowchart showing the operation of registering medium information in the server device 40 of the present embodiment.
  • movement is a process performed in conjunction with the culture medium information registration process performed by the portable communication terminal device 10, and the server apparatus 40 is based on the culture medium information transmitted from the portable communication terminal device 10. The following processing is executed.
  • the registration processing unit 421 is based on the flag information included in the received culture medium information. Whether the registration is initial registration or post-culture registration is determined (step S301).
  • step S302 If the registration processing unit 421 determines that it is not initial registration, that is, if it is determined to be post-culture registration, step S304 is performed. Move on to processing.
  • the registration processing unit 421 determines initial registration
  • the registration processing unit 421 extracts and specifies the work ID 71 included in the culture medium information (step S302).
  • the registration processing unit 421 determines that the registration is after culture, it extracts and specifies the work ID 71 included in the culture medium information (step S304), and registers the culture medium information based on the imaging time included in the culture medium information.
  • the culture examination time to be specified is specified (step S305).
  • the registration processing unit 421 may be registered by designating a culture examination time for registering the culture medium information in conjunction with the portable communication terminal device 10, or the imaging time included in the received culture medium information.
  • the culture examination time may be registered as it is.
  • the registration processing unit 421 manages the culture medium registration at the culture test time that has already been performed, and specifies the culture test time based on the timing at which the culture medium information is received and the culture test time that has already been used to register the culture medium information. May be. That is, the registration processing unit 421 may specify the culture examination time by rewriting the execution flag each time the medium information is registered and comparing the received imaging time with reference to the information of the flag.
  • the registration processing unit 421 causes the colony detection determination unit 422 to perform image analysis on the received medium image data, and the feature amount (luminance value) of each pixel constituting the region of the culture layer 63 in the medium image. And the number of colonies generated in the specimen imaged based on the feature quantity of each pixel constituting the region of the culture layer 63 is identified and counted (step S307).
  • the colony detection determination unit 422 reads out the medium determination criterion based on the type of the sample specified based on the work ID 71 and the fungus species to be detected, and detects the number of colonies detected based on the read sample determination criterion. It is determined whether or not satisfies a predetermined condition (step S308). That is, the colony detection determination unit 422 determines that it is acceptable (normal) when the predetermined condition is satisfied, and determines that it is unacceptable (abnormal) when the predetermined condition is not satisfied.
  • the colony detection determination unit 422 is linked to the portable communication terminal device 10 instead of the automatic registration described above, and displays the detected number of colonies and the result of the pass / fail determination on the display unit 160 of the portable communication terminal device 10. The user may be allowed to view and confirm.
  • the registration processing unit 421 specifies culture start time information using the culture image data, the recognized medium ID 66, the determined pass / fail, the number of detected colonies, and the imaging time included in the medium information as the culture start time. In association with the work ID 71, it is registered in the culture medium information DB 401 (step S309), and this operation is terminated.
  • the registration processing unit 421 displays line information and information to be registered on the display unit 160 of the portable communication terminal device 10, and based on a user instruction input via the portable communication terminal device 10, the culture medium Information or the like may be registered.
  • the registration processing unit 421 receives the reception in the process of step S301.
  • the medium ID 66 imaged on each predetermined area of the medium image data thus obtained is analyzed, and the medium ID 66 is recognized and acquired.
  • the server device 40 also recognizes the work ID 71 in the instruction image data.
  • FIG. 14 is a flowchart showing the operation of the colony detection process in the server device 40 of the present embodiment
  • FIG. 15 is an image of the color feature amount of the non-colony pixel specified in the culture medium image in which the colony is to be detected.
  • This operation is a process executed in the colony detection determination unit 422 under the control of the registration processing unit 421 in the process of step S307 of the culture medium registration process shown in FIG.
  • the colony detection determination unit 422 executes a color feature amount extraction process for extracting a color feature amount (for example, a luminance value) of each pixel constituting the region of the culture layer 63 in the culture medium image acquired from the culture image data. (Step S401).
  • a color feature amount for example, a luminance value
  • the colony detection determination unit 422 counts the number of pixels for each extracted color feature amount, and counts the number of pixels to generate a histogram (probability distribution of color feature amount) as the number of pixels for each color feature amount. (Step S402).
  • the colony detection determination unit 422 specifies a non-colony pixel based on the specified color feature amount while specifying a color feature amount having a predetermined condition based on the generated histogram (step S403).
  • the colony detection determination unit 422 executes a non-colony pixel feature amount specifying process for specifying a feature amount of a representative non-colony pixel from the plurality of specified non-colony pixels (step S404).
  • FIG. 15A a medium image in which many colonies appear (colony appearance pattern 1), and as shown in FIG. 15B, a medium in which colonies appear sparsely is displayed as an image (colony colony).
  • FIG. 15B a medium in which colonies appear sparsely is displayed as an image (colony colony).
  • FIG. 15C in the case of a medium image in which no colonies appear, the color characteristics of the non-colony pixels are superimposed on the right corner of each medium image. Specify the amount.
  • the colony detection determination unit 422 executes a colony pixel detection process for detecting a pixel having a color feature amount having a predetermined color difference from the color feature amount of the non-colony pixel as a colony pixel (step S405).
  • the colony detection determination unit 422 executes colony detection processing for counting the number of colonies while detecting colonies based on the detected colony pixels (step S406), and ends the operation.
  • a portable communication terminal device 10 such as a tablet information terminal device, a smartphone, or a mobile phone
  • a laptop or desktop personal computer is used.
  • the registration process of the culture medium information may be realized by a computer and an image input device such as a scanner, a digital camera, or a smartphone.
  • the personal computer and the image input device may be connected according to a predetermined communication standard, and the registration process of the culture medium information may be realized by using the personal computer and the image input device integrally, or a memory card.
  • the medium image data and instruction sheet image data previously acquired by the image input device are stored in other physical memory, and the registration process of the medium information is realized while the stored image data is captured by the personal computer. May be.
  • the portable communication terminal device 10, the administrator terminal device 20, and the server device 40 may be installed or used in the same site, or each may be installed in a remote place such as outside the country or remotely. It may be used on the ground and each process described above may be executed. However, it is assumed that the portable communication terminal device 10 is used in the same lot.
  • Modification 4 In the present embodiment, registration of medium information in a specimen cultured in the film-type medium 60 using the film-type medium 60 is executed, but the medium in the specimen cultured in the agar medium using an agar medium. Information registration may be executed.
  • the culture medium ID 66 may be input by an operator's operation input.
  • the application control unit 120 interlocks with the display control unit 161 and the operation unit 170, and allows the operator to manually input the culture medium ID 66 directly using the operation unit 170.
  • the application control unit 120 controls the display control unit 161 and the operation unit 170 to select a display item such as a pull-down menu by clicking or touch selection, and causes the operator to input the medium ID 66.
  • Modification 6 In the present embodiment, various processes are executed by the single server device 40, but various processes may be executed by a server system including a plurality of server devices 40.
  • the color feature amount of the pixel where the colony is not formed for each film type medium 60 (that is, the color feature amount of the medium itself) is specified, and the medium itself is identified. Since the colony pixels constituting the colony can be specified based on the feature amount of the color of the pixel, the individual difference of the color of the film type medium 60 in which the colony is cultured, the imaging environment when the film type medium 60 is imaged Even if the color of the film-type medium 60 varies, such as when the color of the film-type medium 60 after the colony culture and the color of the film-type medium 60 varies depending on the state of colony generation, colony pixels are detected according to the variation can do.
  • the sanitary management system S of the present embodiment it is possible to accurately detect colonies in any situation and register medium information including information on the accurately detected colonies in the database.
  • the sanitary management system S of the present embodiment it is possible to save resources as compared with the case where various data analyzes and provisions are performed using physical resources such as paper media, and the culture medium.
  • registration mistakes can be remarkably reduced and difficult medium management can be facilitated, so that resource saving can be achieved without wastefully consuming the culture medium.
  • the present invention is not limited to the food, and can be applied to products that are provided to all living organisms including drugs and drugs. .
  • the present invention can be used for food and other hygiene management systems.

Landscapes

  • Chemical & Material Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Organic Chemistry (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Wood Science & Technology (AREA)
  • Zoology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Analytical Chemistry (AREA)
  • Microbiology (AREA)
  • Biotechnology (AREA)
  • Biochemistry (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Genetics & Genomics (AREA)
  • Proteomics, Peptides & Aminoacids (AREA)
  • Sustainable Development (AREA)
  • Biomedical Technology (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Toxicology (AREA)
  • Immunology (AREA)
  • Molecular Biology (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)

Abstract

個体差又はコロニーの発生状況など、培地の色が変動するであっても、的確にコロニーを検出することが可能な培地情報登録システム等を提供する。衛生管理システムSは、(1)フィルム型培地60が画像化された培地画像の所定の対象領域を構成する各ピクセルの特徴量に基づいて、コロニーを画像化するために用いられるコロニーピクセルとは異なる非コロニーピクセルを特定しつつ、その色特徴量を特定し、(2)特定した非コロニーピクセルの色特徴量に基づいて培地画像上におけるコロニーピクセルを検出しつつ、コロニーを検出する、構成を有している。

Description

コロニー検出装置、培地情報登録システム、プログラム及び衛生管理システム
 本発明は、食品用の衛生管理システム等に関する。
 近年、ファーストフードその他の外食産業の成長や手軽な加工食品の増加により、他人が調理した食品を食する機会が著しく増加している。その一方で、加工食材や加工食品等の食品に毒物又は微生物等の危険なものが混入すると、人体に直接影響を与えるため、加工食品を取り扱う場合には、原材料の安全性だけでなく、製造工程の衛生面を厳しく管理し、食品の生産加工の全般に渡る食品の安全性が求められている。
 特に、各地で発生して問題となっている食中毒事件を発端に、食品の一層の安全性を図ることが命題となっており、食品衛生法を遵守するだけでなく、「HACCP(Hazard Analysis Critical Control Point)System」や「FSSC(Food Safety System Certification)22000」を導入する企業も増加している。
 このような加工食品に混入する微生物を検出するシステムとしては、フィルム型培地を用いるとともに、当該フィルム型培地において培養された検体を画像化し、画像化された培地の画像に対して画像処理を実行して検体に発生する菌の塊であるコロニーの検出及びそれを計数するものが知られている(例えば、特許文献1又は2)。また、最近では、複数の閾値を用いて画像化した培地の画像の各ピクセルの特徴量を2値化しつつ、異なる閾値においてそれぞれ閾値以上の異なるピクセルが物理的に近接する場合に、2つのピクセルが同一のコロニーであると判定するコロニー検出装置も知られている(例えば、特許文献3)。
特開2011-212013号公報 特開2012-135240号公報 国際公開WO2000-039329号パンフレット
 しかしながら、上述の各特許文献のシステム等にあっては、閾値が固定化されているため、的確にコロニーを検出することができない場合も多い。
 すなわち、通常、作業員の目視によるコロニー検出も含め、フィルム型培地などの培地から的確にコロニーを検出するためには、培地の色との相対的な関係性についても考慮する必要があるが、上述の各特許文献のシステム等にあっては、各培地において、当該培地の色が変動する場合であっても、常に一定の閾値によってコロニーを構成するピクセル(すなわち、コロニーピクセル)を検出してコロニーを検出することとなるので、誤検出を生じさせる可能性が高い。
 本発明は、上述の課題を解決するためになされたものであって、その目的は、個体差又はコロニーの発生状況など、培地の色が変動する場合であっても、的確にコロニーを検出することが可能な培地情報登録システム等を提供することにある。
 上述した課題を解決するため、本発明に係る培地情報登録システム等は、コロニーを培養する培地が撮像されて画像化された培地画像のデータを培地画像データとして取得する取得手段と、前記取得された培地画像データの培地画像内における所定領域を構成するピクセルの色に関する色特徴量を抽出する抽出手段と、前記抽出されたピクセルの色特徴量から所定の条件を具備する前記色特徴量を特定しつつ、当該特定した色特徴量に基づいて、前記コロニーを画像化するために用いられるコロニーピクセルとは異なる非コロニーピクセルを特定し、当該特定した非コロニーピクセルから非コロニーピクセルの色特徴量を特定する特定手段と、前記特定された非コロニーピクセルの色特徴量と所定の色差を有する色特徴量を具備するピクセルをコロニーピクセルとして検出し、当該検出したコロニーピクセルに基づいて前記コロニーを検出する検出手段と、前記検出されたコロニーを含む、当該コロニーに関する情報を培地情報としてデータベースに登録する登録手段と、を備える構成を有している。
 この構成により、本発明に係る培地情報登録システム等は、培地毎にコロニーが形成されていない部分のピクセルの色特徴量(すなわち、培地自体の色特徴量)を特定しつつ、当該培地自体のピクセルの色の特徴量に基づいてコロニーを構成するコロニーピクセルを特定することができるので、コロニーを培養する培地の色の個体差、培地を画像化する際の撮像環境の影響、及び、コロニーの培養後の培地の色がコロニーの発生状況によって異なる場合など、培地の色が変動する場合であっても、その変動に応じてコロニーピクセルを検出することができる。
 したがって、本発明に係る培地情報登録システム等は、如何なる状況においてもコロニーを的確に検出すること、及び、的確に検出されたコロニーに関する情報を含む培地情報をデータベースに登録することができる。
 また、本発明に係る培地情報登録システム等は、紙媒体などの物理的な資源を利用して種々のデータ解析及びその提供を行う場合に比べて省資源化をも図ることができるとともに、培地に関する培地情報をデータベースに登録させることによって登録ミスが著しく減少し、難しい培地の管理を容易にすることができるので、無駄に培地を消費すること無く省資源化を図ることができる。
 本発明に係る培地情報登録システム等は、如何なる状況においても的確にコロニーを検出すること、及び、的確に検出されたコロニーに関する情報を含む培地情報をデータベースに登録することができる。
 また、本発明に係る培地情報登録システム等は、培地情報をデータベースに登録することによって電子化することができるので、省資源化をも図ることができるとともに、無駄に培地を消費すること無く省資源化を図ることができる。
本発明に係る衛生管理システムの一実施形態の構成を示す構成図である。 一実施形態の衛生管理システムに用いるフィルム型培地の一例である。 一実施形態の衛生管理システムに用いる作業指示書の一例である。 一実施形態の衛生管理システムに用いる携帯用通信端末装置の構成を示すブロック図である。 一実施形態の衛生管理システムに用いるサーバ装置の構成を示すブロック図である。 一実施形態において、コロニーを培養する培地そのものの色について個体差があることを説明するための図である。 一実施形態のコロニー検出判定部において実行される各処理の動作原理を説明するための図である。 一実施形態のコロニー検出判定部におけるコロニーピクセルの検出過程を説明するための図(その1)である。 一実施形態のコロニー検出判定部におけるコロニーピクセルの検出過程を説明するための図(その2)である。 一実施形態のコロニー検出判定部422において生成されるヒストグラム及び非コロニーピクセル特徴量特定処理を説明するための図である。 一実施形態のコロニー検出判定部422において演算されるバタチャリヤ距離について説明するための図である。 一実施形態の携帯用通信端末装置における培地情報の登録処理の動作を示すフローチャートである 一実施形態のサーバ装置における培地情報の登録処理の動作を示すフローチャートである。 一実施形態のサーバ装置におけるコロニー検出判定処理の動作を示すフローチャートである。 一実施形態におおて、コロニーを検出すべき培地画像において特定した非コロニーピクセルの色特徴量を画像化した図である。
 以下、本発明に係る実施形態について、図面を参照しながら説明する。なお、以下の実施形態は、食品の製造ライン又は検査ライン(以下、「作業ライン」という。)におけるフィルム型培地を用いた衛生管理システムに対して、本発明に係る培地情報登録システム、プログラム、コロニー検出装置及び衛生管理システムを適用した場合の実施形態である。ただし、本発明は、その技術的思想を含む範囲内で以下の実施形態に限定されない。
[1]衛生管理システム
 まず、図1を用いて本実施形態の衛生管理システムSについて説明する。なお、図1は、本実施形態の衛生管理システムSの構成を示す構成図である。
 本実施形態の衛生管理システムSは、フィルム型の培地(すなわち、フィルム型培地)を用いるとともに、当該培地に関する情報(以下、「培地情報」という。)をデータ管理することによって、食品の製造上又は検査上の衛生状態を検査するためのシステムである。
 特に、本実施形態の衛生管理システムSは、加工中又は加工後の食品を製造する製造工程又は当該食品を検査する検査工程を有する作業ライン80において、加工中又は加工後の食品を検体として抽出し、フィルム型培地60で検体に発生している一般性菌又は大腸菌等の予め特定した菌を培養させた際の培養状況をデータ管理するシステムである。
 本実施形態の衛生管理システムSは、食品の衛生状態をデータ上で管理及び判定するために、食品の製造又は検査における作業に関する情報(以下、「作業情報」という。)と、当該抽出した検体に発生する菌(コロニー)を培養する前後において携帯用通信端末装置10によって取得されるフィルム型培地60の培地情報と、を対応付けてサーバ装置40(具体的には、データベース400)に登録することが可能な構成を有している。
 具体的には、本実施形態の衛生管理システムSは、
(1)フィルム型培地60が画像化された培地画像(詳細には所定の対象領域)を構成する各ピクセルの特徴量に基づいて、コロニーを画像化するために用いられるピクセル(以下、「コロニーピクセル」)とは異なるピクセル、すなわち、培地画像上のフィルム型培地60の培地の色を構成するピクセル(以下、「非コロニーピクセル」という。)を特定しつつ、その色特徴量を特定し、
(2)特定した非コロニーピクセルの色特徴量に基づいて培地画像上におけるコロニーピクセルを検出しつつ、コロニーを検出する、
構成を有している。
 このような構成を実現するために、本実施形態の衛生管理システムSは、図1に示すように、各フィルム型培地60に関する培地情報を登録する際に用いる複数の携帯用通信端末装置10と、当該衛生管理システムSを管理する管理者端末装置20と、ネットワーク30と、データベース400を有し、かつ、携帯用通信端末装置10又は管理者端末装置20と連動し、培地情報の登録管理を含む各種の処理を実行するサーバ装置40と、を有している。
 本実施形態の作業情報は、製造工程又は検査工程に係わる各種の情報の他に、検体として製造工程又は検査工程から抽出された食品及び当該検体に発生するコロニーの培養に関する情報を含み、作業毎に、固有の識別情報(以下、「作業ID」という。)を用いてデータベース400に登録されるようになっている。
 具体的には、各作業情報には、
(1)作業IDと、
(2)検体を抽出すべき作業ライン80の識別情報(以下、「ラインID」という。)又は作業ライン80が複数の工程を有している場合には、ラインID及び工程の識別情報(以下、「工程ID」という。)71bと、
(3)検体としての食品の製品名、ロットの識別情報(以下、「ロットID」という。)及びロット名と、
(4)一般性菌又は大腸菌等の検体から検出する菌の種別(以下、「検査種別」という。)と、
(5)希釈倍率、希釈液の種別、培養温度、培養湿度及び培養時間等の検体の培養条件と、
(6)検体の培養開始時刻と、
(7)検体の培養開始から所定の時間経過後の時刻(以下、「培養検査時刻」ともいう。)と、
(8)インキュベータ番号及びインキュベータ内の段数等の検体の培養場所と、
(9)作業開始時刻及び終了時刻を示す作業日時と、
(10)作業者の識別情報(以下、「作業者ID(社員ID)」という。)及び作業者名と、
が含まれる。そして、作業情報の各情報は、種別毎にかつ作業毎にデータベース400に登録されている。
 携帯用通信端末装置10は、例えば、通信機能を有するデジタルカメラ、タブレット型情報端末装置、スマートフォン又は携帯用電話機等、静止画像等の撮像機能又は録画機能(以下、単に「カメラ機能」という。)を有し、かつ、作業者によって携帯可能な通信端末装置である。
 特に、携帯用通信端末装置10は、カメラ機能によって、フィルム型培地60を画像化して画像データ(以下、「培地画像データ」という。)を生成するとともに、作業指示書70を画像化して指示書画像を生成することが可能な構成を有している。
 そして、携帯用通信端末装置10は、画像化された指示書画像のデータ(以下、「指示書画像データ」という。)及びフィルム型培地60の培地画像データから作業ID71及び培地ID66を取得し、当該取得した作業ID71及び培地ID66と、培地画像データと、当該培地画像データのメタデータと、を培地情報として、サーバ装置40のデータベース400に登録することが可能な構成を有している。
 一方、携帯用通信端末装置10は、培地情報をサーバ装置40に送信する際には、BLUETOOTH(登録商標)、ワイヤレスLAN(WLAN:Wireless Local Area Network)又はワイヤレスPAN(WPAN:Wireless Personal Area Network)等の近距離無線用の通信規格を用いて直接若しくはアクセスポイント50を介してサーバ装置40に送信し、又は、図示しない移動基地局を介して公衆電話回線網を用いてサーバ装置40に送信する構成を有している。
 そして、携帯用通信端末装置10は、XML(eXtensible Markup Language)等のマークアップ言語によって構築されたブラウザ機能を有し、当該ブラウザ機能を用いて作業者の操作入力指示及び操作確認を実行するとともに、当該ブラウザ機能を介して培地情報をサーバ装置40に送信するようになっている。
 管理者端末装置20は、例えば、タブレット型情報端末装置、スマートフォン、パーソナルコンピュータ又はワークステーション等の情報通信端末装置である。そして、管理者端末装置20は、管理者の識別情報(以下、「管理者ID」という。)と管理者のパスワード及び作業者IDを管理し、サーバ装置40へのアクセス権限の管理、携帯用通信端末装置10の端末IDの管理、及び、登録された培地情報の修正その他の管理を行うことができる制御装置として機能する。
 また、管理者端末装置20は、携帯用通信端末装置10と同様に、マークアップ言語によって構築されたブラウザ機能を有し、当該ブラウザ機能を用いてサーバ装置40とのデータの授受、報告書の閲覧等を実行することができる構成を有している。
 なお、管理者端末装置20は、同一ロット内において、工程を実行する機械の故障その他によって各作業が中断した場合に、又は、作業者における培地情報の登録ミス等が発生した場合に、培地情報その他の情報を修正することができる構成を有している。
 ネットワーク30は、例えば、携帯電話網を含む公衆電話回線網(以下、「長距離通信ネットワーク」という)、近距離無線ネットワーク等のIP(Internet Protocol)ネットワーク、又は、その双方が相互接続されて構成されている。ただし、当該ネットワーク30の構成は、これに限られない。
 サーバ装置40は、携帯用通信端末装置10又は管理者端末装置20と連動し、ロット及び作業ライン80の衛生管理を行うための各データ処理を実行するために用いられるサーバ装置である。
 そして、サーバ装置40は、携帯用通信端末装置10と連動し、データベース400に、培養開始前の各フィルム型培地60における培地情報の登録(以下、「初期登録」という。)、及び、培養開始後の登録(以下、「培養後登録」という。)を行うとともに、携帯用通信端末装置10から送信された培地情報を取得し、当該取得した培地情報の培地画像データによって形成される培地画像から、検体に発生して培養されたコロニーを検出する構成を有している。
 具体的には、サーバ装置40は、
(1)培地画像データを取得し、
(2)取得した培地画像データの培地画像内における所定領域を構成する各ピクセルの色に関する色特徴量を抽出し、
(3)抽出した各ピクセルの色特徴量に基づいて非コロニーピクセルを特定し、特定したコロニーピクセルから非コロニーピクセルの色特徴量(代表値)として特定し、
(4)特定した非コロニーピクセルの色特徴量(代表値)と所定の色差を有する色特徴量を具備するピクセルをコロニーピクセルとして検出しつつ、当該検出したコロニーピクセルに基づいてコロニーを検出し、
(5)検出したコロニーを含む、当該コロニーに関する情報を培地情報としてデータベースに登録する、
構成を有している。
 また、サーバ装置40は、(3)の処理においては、輝度値、明度、彩度若しくはRGBの色成分など色特徴量が階調値で規定されている場合には各階調値、クラス分けするための基準値、又は、2値化するための閾値など、予め定められた基準値(すなわち、予め定められた色特徴量)に基づいて、各ピクセルの色成分を複数種類に分類し、当該分類した結果に基づいて前記非コロニーピクセルを特定するようになっている。
 特に、サーバ装置40は、各基準値におけるピクセル数に基づいて、前記非コロニーピクセルを特定するようになっており、具体的には、
(3A)抽出した各ピクセルの色特徴量について基準値毎(例えば、階調値毎)にピクセル数をカウントし、
(3B)各基準値のピクセル数に基づいて、所定の条件を具備する基準値、すなわち、色特徴量を特定し、
(3C)当該特定した色特徴量に基づいて非コロニーピクセルを特定し、
(3D)特定した非コロニーピクセルから非コロニーピクセルの色特徴量を特定するようになっている。
 なお、サーバ装置40は、上記の(3)の処理に代えて、抽出した各ピクセルの色特徴量を、予め定められた基準値に基づいて、又は、予め定められた条件に従って、2つのクラスに分類し、当該分類した結果に基づいて非コロニーピクセルを特定してもよい。
 例えば、サーバ装置40は、抽出した各ピクセルの特徴量を、k-means法によって2つのクラスに分類し、当該分類した一方のクラスのピクセルを非コロニーピクセルとして特定する。また、例えば、サーバ装置40は、抽出した各ピクセルの色特徴量の最大値及び最小値に基づいて、中間値を算出し、当該中間値を閾値として各ピクセルを2値化して一方の値を有するピクセルを非コロニーピクセルに特定する。
 また、本実施形態のサーバ装置40は、所定の条件を具備する色特徴量として、色特徴量毎のピクセル数をカウントし、各色特徴量のピクセル数に対して最頻値となる色特徴量を用いてもよい。
 このような構成により、本実施形態の衛生管理システムSにおいては、培地毎にコロニーが形成されていない部分のピクセルの色特徴量(すなわち、非コロニーピクセルの色特徴量)を特定しつつ、当該非コロニーピクセルの色の特徴量に基づいてコロニーを構成するコロニーピクセルを特定することができるので、コロニーを培養する培地の色の個体差、培地を画像化する際の撮像環境の影響、及び、コロニーの培養後の培地の色がコロニーの発生状況によって異なる場合など、培地の色が変動する場合であっても、その変動に応じてコロニーピクセルを検出することができる。
 したがって、本実施形態の衛生管理システムSにおいては、如何なる状況においてもコロニーを的確に検出すること、及び、的確に検出されたコロニーに関する情報を含む培地情報をデータベースに登録することができるようになっている。
 また、本実施形態の衛生管理システムSにおいては、紙媒体などの物理的な資源を利用して種々のデータ解析及びその提供を行う場合に比べて省資源化をも図ることができるとともに、培地に関する培地情報をデータベース400に登録させることによって登録ミスが著しく減少し、難しい培地の管理を容易にすることができるので、無駄に培地を消費すること無く省資源化を図ることができる。
[2]フィルム型培地
 次に、図2を用いて本実施形態のフィルム型培地60について説明する。なお、図2は、本実施形態に用いるフィルム型培地60の一例である。
 本実施形態に用いるフィルム型培地60は、フィルム又はシ-ト状の乾燥培地によって作業ライン80の各工程から検出した検体としての食品に発生した菌を培養するための培地である。例えば、フィルム型培地60は、一般生菌、大腸菌群及び黄色ブドウ球菌を培養する培地として用いられる。なお、カビや酵母、リステリア菌、水質用微生物、乳酸菌、タンパク質等の各種の菌、物質又は微生物を培養する培地として用いてもよい。
 また、フィルム型培地60は、例えば、図2に示すように、フィルムによって形成される基材シート61と、基材シート61の中心を基準に当該基材シート61上に形成される円形の枠(以下、「円形枠」という。)62と、当該枠内に設けられる菌を培養する培養層63と、当該培養層63を被覆するカバーシート64と、基材シート61の右側に形成された培地ID66と、を有している。
 例えば、培地ID66は、2次元バーコード等のバーコード又は英数字で形成されており、フィルム型培地60の撮像時に一緒に画像化され、バーコード認識機能又はOCR(Optical Character Recognition)機能などの画像解析機能を用いて、携帯用通信端末装置10又はサーバ装置40において取得される。
 基材シート61は、フィルム状又はシート状の基材であれば特に限定されず、例えば、プラスチックフィルムや紙等を用いることができる。プラスチックフィルムの例としては、ポリエチレン、ポリプロピレン、ポリエチレンテレフタレート、ポリエチレンナフタレート、ポリメタクリレート、ポリメチルメタクリレート、ポリメチルアクリレート、ポリエステル、ポリカーボネート等の樹脂フィルムを好ましく挙げることができる。ポリエチレンテレフタレート、ポリプロピレン系の合成紙等が好ましく挙げることができる。なお、ポリプロピレン系合成紙は、ポリプロピレンを主原料とするフィルム合成紙である。
 なお、フィルム型培地60は、培地ID66を記憶させたICタグを有し、携帯用通信端末装置10が有する近距離無線通信インターフェース140(例えば、ICタグリーダ)によって当該携帯用通信端末装置10に培地ID66を取得させてもよい。
[3]作業指示書
 次に、図3を用いて本実施形態の作業指示書70について説明する。なお、図3は、本実施形態に用いる作業指示書70の一例である。
 本実施形態の作業指示書70は、同一条件によって製造又は検査された食品群毎、すなわち、ロット毎に、一以上の製造工程又は検査工程の作業名称及びその内容と、使用する作業ライン80と、製造又は検査される食品(加工食品)名称、数量その他の情報と、が記載された指示書である。
 また、本実施形態の作業指示書70は、右上に印刷その他の方法によって形成された指示書ID71aと、所定の領域に印刷その他の方法によって形成された複数の工程ID71bと、を有している。指示書ID71a及び各工程ID71bは、作業ID71として用いられ、例えば、2次元バーコード等のバーコード又は英数字で形成されている。そして、指示書ID71a及び各工程ID71bは、フィルム型培地60の登録が実行される際に当該フィルム型培地60と同様に画像化され、携帯用通信端末装置10又はサーバ装置40において解析することによって認識される。
 なお、作業指示書70は、フィルム型培地60と同様に、指示書ID71a又は工程ID71bの作業ID71を記憶させたICタグを有し、タグリーダなどの携帯用通信端末装置10が有するインターフェース(近距離無線通信インターフェース140)によって当該携帯用通信端末装置10に作業ID71を取得させてもよい。また、以下の説明においては、特別に言及しない場合には、作業ID71とは、指示書ID71a又は工程ID71bを示す。
[4]携帯用通信端末装置
 次に、図4を用いて本実施形態の携帯用通信端末装置10の構成について説明する。なお、図4は、本実施形態の携帯用通信端末装置10の構成を示すブロック図である。
 本実施形態の携帯用通信端末装置10は、各種のプログラムが実行される際に用いられるメモリ機能を有するデータ記憶部100と、撮像機能を有し、フィルム型培地60の画像データその他の画像データを生成する画像データ生成部110と、サーバ装置40と連動して培地情報をサーバ装置40に初期登録及び培養直後を含む培養後登録する処理(以下、「培地情報登録処理」という。)その他の処理を実行するアプリケーション制御部120と、を備えている。
 また、携帯用通信端末装置10は、サーバ装置40及び他の通信装置と通信を行うネットワーク通信部130と、ICタグその他の通信用のインターフェースとデータの授受を行う近距離無線通信インターフェース140と、現在位置を検出する現在位置検出部150と、表示部160と、表示部160を制御する表示制御部161と、ユーザの操作を入力するための操作部170と、タイマー180と、装置全体を制御する携帯端末管理制御部190と、を有している。
 そして、携帯用通信端末装置10は、例えば、電話機能及び電子メール等のメール機能を有する場合には、マイク、スピーカ及び電子メールの送受信機能等の種々の必要な部材を有している。さらに、上述の各部は、バス11によって互いに接続され、データの授受が実行される。
 データ記憶部100は、各種のアプリケーションプログラムが記憶されるアプリケーション記憶部101と、画像データ生成部110によって撮像されて生成された画像データが記憶される画像データ記憶部102と、携帯用通信端末装置10の管理及び制御に関するプログラム、並びに、各プログラムの実行中にワークエリアとして用いられるとともに、携帯用通信端末装置10で実行される各処理において用いられるデータが記憶されるROM/RAM103と、を有している。
 特に、アプリケーション記憶部101には、画像データ生成部110、操作部170、表示制御部161及び画像データ記憶部102と連動しつつ、アプリケーション制御部120によって実行されるアプリケーションプログラム(以下、「アプリ」という。)が記憶されている。また、アプリケーション記憶部101には、上述のブラウジング機能を実現するためのブラウザ用のプログラムも記憶されている。
 画像データ記憶部102には、撮像した培地画像データ及び指示書画像データと、各画像データを管理するための画像IDと、撮像時刻等の各画像データに対応する各種のメタデータと、作業ID71と、培地ID66と、各種のフラグ情報と、が対応付けられて記憶される。なお、画像IDとは、各携帯用通信端末装置10において適宜付与される任意の識別情報である。
 画像データ生成部110は、光学システムと、当該光学システムから入力された光学画像を電気信号に変換するCCDIセンサ(Charge Coupled Device Image Sensor)と、CCDIセンサにおいて生成された電気信号に基づいて画像データを生成する生成部と、を有する。
 特に、画像データ生成部110は、作業指示書70を撮像した際に、当該撮像された作業指示書70を画像化し、指示書画像データを生成する。また、画像データ生成部110は、検体に発生した菌が培養される、又は、培養されたフィルム型培地60を撮像した際に、当該撮像されたフィルム型培地60を画像化し、当該フィルム型培地60の培地画像データを培地画像データとして生成する。
 アプリケーション制御部120は、所定のアプリケーションによって培地情報登録処理を実現する。特に、アプリケーション制御部120は、アプリケーション記憶部101に記憶された培地登録アプリによって携帯用通信端末装置10の各部を制御するための各種制御プログラムを実行しつつ、ネットワーク通信部130、表示制御部161及び操作部170と連動して、又は、制御して各種の処理を実行する。
 具体的には、アプリケーション制御部120は、アプリケーション記憶部101に記録された培地登録アプリを実行し、画像データ生成部110を制御して撮像されたフィルム型培地60の培地画像データを取得して画像データ記憶部102に記憶する。
 そして、アプリケーション制御部120は、画像化された培地画像データから培地ID66を取得し、当該取得した培地ID66とともに、培地画像データと当該培地画像データのメタデータと各種のフラグ情報とを画像データ記憶部102に記憶する。なお、アプリケーション制御部120は、通信回線を介して他の通信装置又はデータベース400と連動してバーコード認識又はOCR認識を実行してもよい。
 また、アプリケーション制御部120は、培地画像データの撮像後、又は、所定のタイミングによって、検体の培養開始時に培地情報をサーバ装置40に登録する初期登録及び当該検体の培養開始後に培地情報を登録する培養後登録を実行する。特に、アプリケーション制御部120は、作業者の指示に基づいて、初期登録か又は培養後登録かを特定し、いずれかの登録かを示す情報(フラグ情報)を培地情報に含めてサーバ装置40に送信する。
 また、アプリケーション制御部120は、フィルム型培地60を撮像した際に、タイマー180から現在時刻を取得し、当該現在時刻を撮像時刻として所定の画像IDとともに培地画像データのメタデータとして画像データ記憶部102に記憶し、サーバ装置40に培地画像データを送信する際に一緒に送信する。
 なお、アプリケーション制御部120は、培地ID66と、指示書ID71a及び工程ID71bである作業ID71と、がICタグに記憶されている場合には、操作部170及び表示制御部161及び近距離無線通信インターフェース140と連動して培地ID66及び作業ID71を取得する。
 また、アプリケーション制御部120は、サーバ装置40によって培地ID66及び作業ID71を培地画像データ及び指示書画像データから認識する場合には、培地情報として培地画像データの他に指示書画像データを送信する。
 さらに、アプリケーション制御部120は、実装上、携帯端末管理制御部190を構成するCPU(中央演算処理装置)が、アプリを実行した際の機能として実現されるものであってもよい。
 ネットワーク通信部130は、アプリケーション制御部120及び携帯端末管理制御部190の制御の下、ネットワーク30に接続されるサーバ装置40との通信回線を構築し、培地画像データ等の種々のデータの授受を行う。
 近距離無線通信インターフェース140は、アプリケーション制御部120及び携帯端末管理制御部190の制御の下、ICタグを用いた近距離無線通信を行う。
 現在位置検出部150は、アプリケーション制御部120又は携帯端末管理制御部190の制御の下、ネットワーク30を介してGPS(Global Positioning System)衛星の位置を認識しつつ、当該GPS衛星から送信された衛星信号(GPS信号)を検出する。
 そして、現在位置検出部150は、当該検出されたGPS信号に基づいて携帯用通信端末装置10の現在位置の緯度及び経度によって示される座標値を算出(すなわち、検出)する。また、この現在位置検出部150は、この算出された座標値を位置情報としてアプリケーション制御部120に提供する。
 なお、携帯用通信端末装置10が、電話機能や近距離無線機能を有している場合には、電話や近距離無線に用いる電波を電話基地局等において受信した方角と電波強度に基づいて当該携帯用通信端末装置10の現在位置を算出(検出)してもよい。
 表示部160は、所定のサイズ(例えば、5インチ、W480×H960ピクセル)の画像表示領域を有し、液晶素子又はEL(Electro Luminescence)素子のパネルによって構成され、表示制御部161において生成された表示データに基づいて所定の画像を表示するようになっている。特に、本実施形態では、表示部160は、培地登録アプリが実行されている際に、操作部170と連動しつつ、各種の表示及び撮像されて画像化された作業指示書70とフィルム型培地60との画像を表示する。
 表示制御部161は、アプリケーション制御部120又は携帯端末管理制御部190の制御の下、表示部160に所定の画像を描画させるために必要な描画データを生成し、生成した描画データを当該表示部160に出力するようになっている。
 操作部170は、各種の確認ボタン、各操作指令を入力する操作ボタン、テンキー等の多数のキー及び表示部160上に設けられたタッチセンサにより構成され、各操作を行う際に用いられるようになっている。具体的には、操作部170は、培地登録アプリの起動時に上述の各種の処理を実行するための操作を行う際に用いられるようになっている。
 なお、本実施形態においては、操作部170は、培地ID66を直接手入力する際に用いることも可能である。
 タイマー180は、画像データ生成部110がフィルム型培地を撮像するときの日付及び時刻をアプリケーション制御部120に提供する。
 携帯端末管理制御部190は、主に中央演算処理装置(CPU)によって構成されるとともに、キー入力ポート、表示制御ポート等の各種入出力ポートを含み、携帯用通信端末装置10の全般的な機能及び情報提供プログラムを実行するための全般的な機能を総括的に制御するようになっている。
[5]サーバ装置
[5.1]サーバ装置の構成
 次に、図5を用いて本実施形態のサーバ装置40の構成について説明する。なお、図5は、本実施形態のサーバ装置40の構成を示す構成図である。
 本実施形態のサーバ装置40は、図5に示すように、作業情報及び培地情報等の各種の情報が記憶されるデータベース400と、携帯用通信端末装置10及び管理者端末装置20と通信を行う通信制御部410と、培地情報登録処理等の各種の処理を実行するデータ処理部420と、サーバ装置40の各部を制御するサーバ管理制御部430と、各部の制御に用いるROM/RAM440と、時刻管理を行うために用いるタイマー450と、を有する。なお、上述の各部は、バス41によって相互に接続され、各構成要素間におけるデータの転送が実行される。
 通信制御部410は、所定のネットワークインターフェースであり、携帯用通信端末装置10又は管理者端末装置20と通信回線を構築し、携帯用通信端末装置10又は管理者端末装置20と種々のデータの授受を行う。
 データベース400は、HDD又はSSDにより構成され、培地情報データベース(以下、「培地情報DB」と略す。)401、ライン情報データベース(以下、「ライン情報DB」と略す。)402及びロット情報データベース(以下、「ロット情報DB」と略す。)403及び作業管理データベース(以下、「作業管理DB」と略す。)404を有する。なお、例えば、本実施形態の各DBは、本発明に係るデータベースを構成する。
 培地情報DB401は、各作業ライン80の工程毎に抽出された検体のフィルム型培地60に関する培地情報が作業ID71及び培地ID66毎に格納されるデータベースである。例えば、培地情報DB401には、
(1)培地ID
(2)撮像された培地画像データ
(3)撮像時刻
(4)フラグ情報を含むその他の情報
(5)各コロニー候補の色に関する特徴量を含むコロニー候補の特定情報
(6)コロニー候補を画像化するために用いる検出ピクセルの特徴量及びフィルム型培地60の座標位置等を含む各コロニー候補の情報(以下、「コロニー候補情報」という。)(7)コロニーとなる各コロニー候補のID(ラベリングされた際のID)及びコロニー数
(8)コロニー数に基づいてフィルム型培地60(すなわち、検体)が正常であるか異常であるかを判定する培地判定の結果
(9)作業ID
の9つのデータが対応付けて記録される。
 なお、抽出すべき検体が、同一のロットにおいて、常に同一の作業ライン80の同一の工程から抽出する場合には、作業IDは、ロットIDであればよく、抽出すべき検体が、同一のロットであっても異なる作業ライン80又は異なる工程から抽出する場合には、ラインID又は工程ID71bとなる。
 また、各培地情報におけるコロニー数及び培地判定の結果は、培地情報が登録される際に登録されてもよいし、当該培地情報の登録タイミングと異なる所定のタイミングで登録されてもよい。
 さらに、同一のフィルム型培地60の培地情報の撮像時刻が複数登録される場合には(すなわち、後述の培養検査時刻が複数の場合には)、同一の培地ID66において、培養検査時刻毎に培地画像、撮像時刻、コロニー数、培地判定の各培地情報が記憶される。
 ライン情報DB402は、各作業ライン80に関するライン情報がラインID毎に格納されるデータベースである。例えば、ライン情報DB402には、
(1)ラインID
(2)作業ライン80が有する工程の工程ID71b及びその種別
の2つのデータが対応付けて記録される。工程種別としては、材料投入、調合、充填、ボイル、包装、及び、梱包等の各工程を特定する名称が用いられる。
 ロット情報DB403は、各ロットに関するロット情報がロットID毎に格納されるデータベースである。例えば、ロット情報DB403には、
(1)ロットID(指示書ID71a)
(2)ロットの製造又は検査に用いる作業ラインのラインID
(3)ロットの作業開始時刻
(4)ロットの作業終了時刻
(5)ロットの作業を実行する作業者の作業班
の5つのデータが対応付けて記録される。
 作業管理DB404は、作業内容に関する各種の情報が格納されるデータベースである。例えば、作業管理DB404には、
(1)作業ID
(2)検体を抽出すべき作業ラインのラインID(又はラインID及び工程ID71b)(3)検体(食品)の種別(製品名、ロットID及び/又はロット名)
(4)検査種別(一般性菌又は大腸菌など検出する菌種)
(5)培養条件(希釈倍率、希釈液の種別、培養温度、培養湿度及び培養時間)
(6)培養開始時刻
(7)培養開始から所定の時間経過後の時刻(以下、「培養検査時刻」ともいう。)
(8)培養場所(例えば、インキュベータ番号及びインキュベータ内の段数等の位置)
(9)作業日時(作業開始時刻及び終了時刻)
(10)作業者ID(及び/又は作業者名)
の10個のデータが対応付けて記録される。
 なお、培養検査時刻には、単一の時刻(すなわち、検体の培養を終了させる終了時刻)だけが設定されてもよいし、培養開始時刻から法定された又は所定の時間経過後、例えば、培養開始時刻から24時間経過後、48時間経過後又は72時間経過後等の複数の時刻が設定されてもよい。
 データ処理部420は、ROM/RAM440に記録されているアプリケーションに応じて各種データ処理を実行する。特に、データ処理部420は、所定のプログラムを実行
することによって、
(1)通信制御部410の動作管理と、
(2)各携帯用通信端末装置10と連動しつつ各種の培地情報を取得してデータベース400に登録する培地情報登録処理と、
(3)培地情報登録処理中に又は培地情報登録処理後の所定のタイミングにおいて、各フィルム型培地60の各培地画像からコロニーを検出し、そのコロニーを計数し、かつ、当該コロニー数に基づく培地判定を実行するコロニー検出判定処理と、
(4)登録した培地情報に基づいてロットの判定を行うロット判定処理と、
(5)判定結果を報告書形式で出力する報告処理と、
(6)データベース400の管理及び制御と、
を行う。
 特に、データ処理部420は、コロニー検出判定処理においては、フィルム型培地60毎に培地の色を示す非コロニーピクセルの色特徴量を特定し、当該特定した非コロニーピクセルの色特徴量に基づいてコロニーピクセルを検出しつつ、コロニーの検出及びその計数を実行する。
 具体的には、データ処理部420は、データベース400の管理及び制御を含めて培地情報登録処理を実行する登録処理部421と、コロニー検出判定処理を実行するコロニー検出判定部422と、ロット判定処理を実行するロット判定処理部424と、報告処理を実行する報告処理部425と、を含む。
 なお、例えば、本実施形態の登録処理部421は、本発明に係る取得手段及び登録手段を構成し、本実施形態のコロニー検出判定部422は、本発明の抽出手段、特定手段及び検出手段を構成する。また、さらに、本実施形態の登録処理部421、コロニー検出判定部422、ロット判定処理部424及び報告処理部425の詳細については後述する。
 サーバ管理制御部430は、主に中央演算処理装置(CPU)によって構成され、プログラムを実行することによって、サーバ装置40の各部を統合制御する。具体的には、サーバ管理制御部430は、ユーザの操作による携帯用通信端末装置10からのログイン要求に基づいて各ユーザのログイン処理、及び、その他の各種の制御を行う。
 ROM/RAM440には、サーバ装置40の駆動に必要な各種のプログラムが記録されている。特に、ROM/RAM440には、基準特性を規定するための情報、各フィルム型培地60の培地判定(合否判定)、工程判定、ライン判定及びロット判定の各判定を実行する際に用いる判定基準の情報(以下、「培地判定基準情報」ともいう。)等のそれぞれの各情報が記憶される。また、ROM/RAM440は、各プログラムの実行中にワークエリアとして用いられる。
 タイマー450は、培地情報の登録処理及びロット判定処理を実行する際に必要な時刻を管理するために用いられる。
[5.2]登録処理部
 次に、本実施形態のサーバ装置40における登録処理部421の詳細について説明する。
 本実施形態の登録処理部421は、携帯用通信端末装置10と連動し、作業ID71に対応付けつつ、各培地情報を培地情報DB401に登録する培地情報登録処理を実行する。特に、登録処理部421は、培地情報に含まれる、初期登録か又は培養後登録かを示すフラグ情報に基づいて、異なる培地情報登録処理を実行する。
(初期登録)
 登録処理部421は、初期登録を示すフラグ情報が携帯用通信端末装置10から送信された培地情報に含まれている場合には、初期登録に基づく培地情報登録処理を実行する。
 具体的には、登録処理部421は、通信制御部410介して培地情報を取得すると、培地情報に含まれる培地ID66及び作業ID71を特定する。また、登録処理部421は、特定した作業ID71に基づいて、作業管理DB404を検索し、該当する作業情報を特定しつつ、当該特定した作業情報に対応付けて、取得した培地画像データ及び撮像時刻を培地情報DB401に登録する。
 特に、登録処理部421は、取得した作業ID71に基づいて検体を抽出した作業ライン80が含まれるロットID、当該作業ライン80のラインID、当該検体を抽出した工程ID71bを特定するとともに、当該特定したロットID、ラインID及び工程ID71bに対応付けて、培地情報に含まれる培地画像データ及び撮像時刻を培地情報DB401に登録する。
 そして、登録処理部421は、撮像時刻を培養開始時刻として培地情報DB401に登録する。なお、培養開始時刻は、当該時刻に培地情報の登録処理を実行することを前提に撮像時刻に代えて予め設定された時刻を用いてもよい。
(培養後登録)
 登録処理部421は、培養後登録を示すフラグ情報が携帯用通信端末装置10から送信された培地情報に含まれている場合には、培養後登録に基づく登録処理を実行する。
 具体的には、登録処理部421は、初期登録と同様に、通信制御部410を介し培地情報を取得すると、当該培地情報に含まれる培地ID66及び作業ID71を特定する。そして、登録処理部421は、特定した作業ID71に基づいて、作業管理DB404を検索し、該当する作業情報を特定しつつ、当該特定した作業情報に対応付けて、撮像時刻を培地情報DB401に登録する。なお、培養検査時刻は、培養開始時刻と同様に、当該時刻に培地情報の登録処理を実行することを前提に撮像時刻に代えて予め設定された時刻を用いてもよい。
 一方、登録処理部421は、取得した培地画像データを、コロニー検出判定部422に画像解析させつつ、解析結果とともに、又は、解析せずに直接、培地情報DB401に登録する。なお、コロニー検出判定部422は、画像解析によって、コロニーの検出、コロニー数の計数及び培地判定を実行するようになっており、当該画像解析の詳細については後述する。
[5.3]コロニー検出判定部
[5.3.1]コロニー検出判定部の動作原理
 次に、図6~図9の各図を用いて本実施形態のサーバ装置40におけるコロニー検出判定部422の動作原理について説明する。
 なお、図6は、コロニーを培養する培地そのものの色について個体差があることを説明するための図であり、図7は、本実施形態におけるコロニー検出判定部422の動作原理を説明するための図である。また、図8及び図9は、本実施形態のコロニー検出判定部422におけるコロニーピクセルの検出過程を説明するための図である。
 通常、作業員の目視によるコロニー検出も含め、フィルム型培地60から的確にコロニーを検出するためには、当該フィルム型培地60の培地そのもの色と当該培地上に培養されたコロニーの色の相対的な関係性についても考慮する必要がある。
 例えば、コロニーを培養する培地そのものの色の個体差がある場合、培地を画像化する際の撮像環境の影響、及び、コロニーを培養した後の培地そのもの色がコロニーの発生状況によって異なる場合など、培地の色が変動する場合がある。特に、図6(A)、(B)及び(C)に示すように、フィルム型培地60が同一の素材によって形成されている場合であっても、培地の色が同一とならず、培地の色が変動する。
 また、コロニーは、培地上に形成されるので、当該コロニーの色には培地の色が反映される場合も多く、そのような場合には、培地の色が変動すると、コロニーの色も変動する。すなわち、コロニーは、培地上に形成されて成長するに従ってその発色の強度が強くなる性質を有しており、その形成過程や形成されたコロニーには、発色の強度の変化が現れるので、発色強度によってコロニーの色に培地の色が反映することとなる。
 特に、コロニーの周辺領域、又は、十分にコロニーが成長しない場合には、「にじみ」と呼ばれる発色強度の低い領域も形成されるので、このような「にじみ」領域には、培地の色が特に反映される。
 したがって、図7(A)に示すように、培地画像から抽出した各ピクセルについてコロニーピクセルか非コロニーピクセルかを識別すための閾値を固定し、コロニーと培地とを区別するための検出基準を固定化すると、コロニーの検出漏れ又は誤検出が発生する場合があり、必ずしもコロニーが的確に検出できるとはいえない。
 そこで、本実施形態のコロニー検出判定部422は、フィルム型培地60毎に、培地画像内の所定領域(すなわち、培養層63の領域)を構成する各ピクセルの色特徴量に基づいて、コロニーとは異なる非コロニー(すなわち、培地そのもの)を構成する非コロニーピクセルを特定しつつ、当該特定した非コロニーピクセルの色特徴量(代表値)に基づいてコロニーピクセルを検出するようになっており、当該検出したコロニーピクセルによって当該コロニーの検出及びその計数を実行するようになっている。
 すなわち、コロニー検出判定部422は、図7(B)に示すように、フィルム型培地60毎に非コロニーの色が変動してコロニーの色に影響が出ている場合であっても、コロニーと非コロニーを識別する閾値を変動することができるので、的確にコロニーを検出することができるようになっている。
 例えば、コロニー検出判定部422は、図8(A)に例示するような培地画像を取得すると、図8(B)に例示するような非コロニーピクセル(黒の部分)を特定しつつ、特定した非コロニーピクセルに基づいて図8(C)に示すような非コロニーピクセルの色特徴量を特定する。そして、コロニー検出判定部422は、図9(A)に例示するように、非コロニーピクセルの色特徴量から各ピクセルの特徴量を減算し、図9(B)に示すように、減算結果が所定の値、すなわち、非コロニーピクセルの色特徴量から所定の色差を有する特徴量を有するピクセルをコロニーピクセルとして検出する。
 なお、図8及び図9の各図は、コロニー検出判定部422において実行される各処理過程を画像化した図である。
 このように、本実施形態のコロニー検出判定部422は、フィルム型培地60毎に培地の色を基準にコロニーピクセルを検出してコロニーを検出することができるので、培地の色が変動する場合であっても、的確にコロニーを検出することができるようになっている。
 また、このような構成を有することによって、本実施形態においては、如何なる状況においてもコロニーを的確に検出すること、及び、的確に検出されたコロニーに関する情報を含む培地情報をデータベースに登録することができるようになっている。なお、以下に、コロニー検出判定部422の各処理の詳細を説明する。
[5.3.2]コロニー検出判定部の各処理の詳細
 次に、図10及び図11を用いて本実施形態のサーバ装置40におけるコロニー検出判定部422の各処理の詳細について説明する。
 なお、図10は、本実施形態のサーバ装置40のコロニー検出判定部422において生成されるヒストグラム及び非コロニーピクセル特徴量特定処理を説明するための図であり、図11は、本実施形態のサーバ装置40のコロニー検出判定部422において演算されるバタチャリヤ距離について説明するための図である。
 コロニー検出判定部422は、登録処理部421の制御の下、培地情報の培地情報DB401への登録時又は所定のタイミングにおいて、携帯用通信端末装置10から送信された培地情報に含まれる培地画像データから培地画像を取得する。
 また、コロニー検出判定部422は、RGBの階調値、輝度値又は彩度などの取得した培地画像を構成する各ピクセルの色特徴量を抽出するとともに、非コロニーピクセルを特定しつつ、非コロニーピクセルの色特徴量を特定する。
 そして、コロニー検出判定部422は、特定した非コロニーピクセルに基づいてコロニーピクセルの検出をしつつ、当該検出したコロニーピクセルに基づいて、コロニーの検出及びその計数と、コロニー数に基づく検体の合否判定と、を実行して、登録処理部421に提供する。
 具体的には、コロニー検出判定部422は、
(1)培地画像データの培地画像から処理対象の領域(培養層63の領域)を特定しつつ、各ピクセルの輝度、明度又はRGBの各階調値などの当該領域を構成する各ピクセルの色に関する特徴量を、色特徴量として、抽出する色特徴量抽出処理、
(2)抽出した各ピクセルの色特徴量に基づいて、所定の条件を具備する色特徴量を抽出しつつ、抽出した色特徴量に基づいて非コロニーピクセルを特定する非コロニーピクセル特定処理、
(3)特定した複数の非コロニーピクセルから代表的な非コロニーピクセルの特徴量を特定する特定処理(以下、「非コロニーピクセル特徴量特定処理」という。)、
(4)非コロニーピクセルの色特徴量と所定の色差を有する色特徴量を具備するピクセルをコロニーピクセルとして検出する検出処理(以下、「コロニーピクセル検出処理」という。)、
(5)検出したコロニーピクセルに基づいてコロニーを検出しつつ、その数を計数するコロニー検出処理、及び、
(6)カウントしたコロニー数に基づいて培地判定を実行する培地判定処理、
を実行する。
(色特徴量抽出処理)
 コロニー検出判定部422は、培地ID66の位置などによって培地画像から処理対象の領域(培養層63の領域)を特定しつつ、当該領域を構成するピクセル毎に、輝度値、明度、彩度又はサブピクセル(RGB)の階調値などの予め設定された色特徴量を抽出する。例えば、輝度値を用いる場合には、コロニー検出判定部422は、培地画像内の所定の領域を構成する各ピクセルにおいて、0~255までの輝度値を示す階調値を抽出する。
(非コロニーピクセル特定処理)
 本実施形態のコロニー検出判定部422は、抽出した各ピクセルの色特徴量を、予め定められた基準値に基づいて複数種類に分類し、当該分類した結果に基づいて非コロニーピクセルを特定する。すなわち、コロニー検出判定部422は、基準値毎にピクセル数をカウントし、当該カウントしたピクセル数に基づいて非コロニーピクセルを特定する。
 具体的には、コロニー検出判定部422は、ピクセルの色特徴量の確率分布として、各色特徴量(基準値)に対するピクセルの数についてのヒストグラム(色特徴量とピクセル数を座標軸とするピクセルの色特徴量における確率分布を示すヒストグラム)を生成し、生成したヒストグラムに基づいて、非コロニーピクセルと想定される色特徴量を特定しつつ、特定した色特徴量に基づいて非コロニーピクセルを特定する。
 通常、培地画像内の培養層63の領域上においては、例えば、ピクセル総数の一定数以上、すなわち、当該領域の全体の面積の一定の面積以上(例えば、少なくとも2分の1以上)は、コロニーピクセルではなく、非コロニーピクセルであると想定される。
 そこで、本実施形態のコロニー検出判定部422は、生成したヒストグラムに基づいて、所定の条件を具備する色特徴量として、非コロニーピクセルの色特徴量の中でコロニーピクセルの色特徴量に最も近い色特徴量と想定される色特徴量を特定し、当該特定した色特徴量に基づいて、非コロニーピクセルの色特徴量の範囲を特定する。そして、コロニー検出判定部422は、非コロニーピクセルの色特徴量の範囲に属するピクセルを非コロニーピクセルと特定する。
 特に、コロニー検出判定部422は、生成したヒストグラムについて、当該色特徴量の第1基準値から第2基準値までの連続的な変化に従って該当するピクセル数を順次積算し、当該積算したピクセル数が予め設定した値となるときの色特徴量を基準特徴量として特定する。
 例えば、輝度値を用いる場合には、コロニー検出判定部422は、培地画像を構成する各ピクセルを、0~255までの各輝度値に分類し、各色特徴量とピクセル数とを座標軸とする図10に示すようなヒストグラムを生成する。
 具体的には、コロニー検出判定部422は、第1基準値としての最も培地そのものの色を示す色特徴量(輝度の階調値「255」)から、第2基準値としての最もコロニーの色を示す色特徴量(輝度の階調値「0」又はR、G若しくはBなどコロニーとしての色を示す際の最小の階調値)まで、各色特徴量のピクセル数を順次積算し、当該積算したピクセル数が培養層63の領域のピクセル総数に基づいて予め規定されるピクセル数となる色特徴量(例えば、培養層63の領域のピクセル総数の2分の1となるときの色特徴量(階調値))を基準特徴量として特定する。
 そして、コロニー検出判定部422は、第1基準値から基準特徴量までの色特徴量を非コロニーピクセルの色特徴量の範囲と特定し、当該範囲に属するピクセルを非コロニーピクセルと特定する。
 なお、コロニー検出判定部422は、上記のピクセル数を積算して算出した基準特徴量とは異なり、生成したヒストグラムにおいて、ピクセル数が最頻値である色特徴量などを基準特徴量とし、当該基準特著量に基づいて上述と同様に非コロニーピクセルの色特徴量の範囲を特定して非コロニーピクセルを特定してもよい。
 また、コロニー検出判定部422は、培養層63の領域内の各ピクセルの色特徴量の最小値と最大値を抽出し、当該最小値と最大値の中間値を閾値として2値化し、一方の値を有する(例えば、色特徴量が輝度の場合には最大値側に属する)ピクセルを非コロニーピクセルとして特定してもよい。
 そして、コロニー検出判定部422は、各ピクセルの色特徴量に基づいて、教師データが不要で指定した数のクラスに分類することができるK-means法を用いて、2つの色特徴量(平均)のクラスに分類し、一方のクラス(例えば、色特徴量が輝度の場合には平均輝度の高いクラス)に属するピクセルを非コロニーピクセルとして特定してもよい。
 さらに、コロニー検出判定部422は、培地画像内の培養層63の領域を全て非コロニーピクセルと特定してもよい。通常、非コロニー色を統計的に特定するためには、当該領域の全てのコロニーを非コロニーピクセルと特定したとしても、コロニーピクセルが僅少であれば影響がほとんど無く、かつ、精度の低下が無いとともに、処理速度を向上させることができる。
(非コロニーピクセル色特徴量特定処理)
 コロニー検出判定部422は、非コロニーピクセルと特定された各ピクセルの色特徴量に基づいて定まる色特徴量を、非コロニーピクセルの色特徴量(代表値)として特定する。
 具体的には、コロニー検出判定部422は、非コロニーピクセルと特定された各ピクセルの輝度値、明度、又は、RGBの色成分の階調値を色特徴量として用いるとともに、これらの値をグラフ化した際の色特徴量の中央値若しくは最大値、又は、ピクセル数が最大となる最頻値若しくは平均値の色特徴量を非コロニーピクセルの色特徴量(代表値)として特定する。
 なお、非コロニーピクセルの色に大きなブレがなく、また、非コロニーピクセル数が十分に多いことから、中央値、最頻値又は平均値のいずれを用いても的確に非コロニーピクセルの色特徴量をとして特定することができる。
 また、コロニー検出判定部422は、輝度値又は明度などの各ピクセルにおいて単一の色特徴量を用いて非コロニーピクセルの色特徴量(代表値)を算出する場合には、単なる中央値、最大値又は最頻値でよいが、RGBの色成分の階調値など複数の色特徴量を用いて非コロニーピクセルの色特徴量(代表値)を算出する場合には、例えば、各色特徴量(すなわち、RGBの各色成分)のそれぞれの中央値、最大値、最頻値又は平均値の組合せを用いる。
 また、コロニー検出判定部422は、非コロニーピクセルを特定する際に用いた色特徴量と同一の色特徴量を用いてもよいし、異なる色特徴量を用いてもよい。ただし、コロニー検出判定部422は、コロニーピクセルを検出する際に用いる色差を算出するために、当該色差の演算に用いる色特徴量と同一の色特徴量を用いることが好ましい。
(コロニーピクセル検出処理)
 コロニー検出判定部422は、RGBの各色成分の階調値など、上述の特定した非コロニーピクセルの色特徴量(代表値)と各ピクセルの特徴量との色差を算出し、所定の色差以上となる色特徴量を有するピクセルをコロニーピクセルとして検出する。
 具体的には、コロニー検出判定部422は、RGBの各色成分など複数の色特徴量を用いる場合には、非コロニーピクセルとして特定された各ピクセルの複数の色成分と各ピクセルの複数の色成分に対してそれぞれ色成分の階調値におけるヒストグラムを生成しつつ、当該生成したヒストグラムの類似度を色差として算出し、当該類似度として算出した色差に基づいてコロニーピクセルとして検出する。特に、コロニー検出判定部422は、ヒストグラムにおける類似度を算出するために、バタチャリヤ係数及びバタチャリヤ距離を用いている。
 例えば、コロニー検出判定部422は、RGBの各色成分など複数の色特徴量を用いる場合であって、バタチャリヤ係数BC及びバタチャリヤ距離DBを用いる場合には、非コロニーピクセルとして特定された各ピクセルのRGBの色成分pと各ピクセルの色成分qとについて正規化しつつ、(式1)及び(式2)を示す演算を実行し、バタチャリヤ距離が一定以上となるピクセルをコロニーピクセルとして検出する。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
 なお、図11(A)に示すような培地画像であって培地の色の部分を非コロニーピクセルと特定しつつ、当該非コロニーピクセルのRGBの各色成分を色特徴量(代表値)として特定している場合には、コロニー検出判定部422は、図11(B)に示すようにバタチャリヤ距離に基づいてコロニーピクセルを検出することができることがわかる。
 また、コロニー検出判定部422は、各ピクセル及び非コロニーピクセルのRGBの階調値をRGBの各階調値の合計が「1」となるように正規化してバタチャリヤ係数を算出する。
 そして、バタチャリヤ係数BCは、2つ以上のヒストグラム(すなわち、上述の場合には、色成分RGBの階調値からなるヒストグラム)を一次元の値として定義するものであって、その値は「0」~「1」であり、ヒストグラムが類似するほど高い値となる。また、バタチャリヤ距離DBは、バタチャリヤ係数を距離に変換した値であり、大きい値ほど2つのヒストグラムが類似すると判定される。そこで、コロニー検出判定部422は、バタチャリヤ係数を算出しつつ、バタチャリヤ距離に変換してコロニーピクセルを検出するようになっている。
 一方、コロニー検出判定部422は、輝度値又は明度などの単一の色特徴量を用いる場合には、非コロニーピクセルの色特徴量として特定された色成分と各ピクセルの色成分に対してユークリッド距離又はマンハッタン距離を算出することによって、所定の距離差(すなわち、色差)以上となる色特徴量を有するピクセルをコロニーピクセルとして検出する。
 なお、特定した非コロニーピクセルの色特徴量(代表値)との色差を算出する際に用いるコロニーとしては、原則、非コロニーピクセルと特定されなかったピクセルが対象となるが、全てのピクセルを対象としてもよい。
(コロニー検出処理)
 コロニー検出判定部422は、検出したコロニーピクセルに基づいてノイズを低減させるための画像フィルタ処理を実行しつつ、隣接するコロニーピクセルの連結及びラベリングを実行してIDを付与し、連結したコロニーピクセル群を一のオブジェクト、すなわち、コロニーとして検出し、その数をコロニー数として計数する。
 特に、コロニー検出判定部422は、画像フィルタ処理としては、各コロニーピクセルに隣接して他のコロニーピクセルが存在する場合に、コロニーピクセルに隣接する全てのピクセルをコロニーピクセルに置き換える膨張処理、及び、コロニーピクセルに隣接してコロニーピクセルでないピクセル(以下、「非コロニーピクセル」という。)が存在する場合に隣接するピクセルを全て非コロニーピクセルに置き換える収縮処理を実行しつつ、コロニーを検出し、その数を計数する。
 なお、コロニー検出判定部422は、検出したコロニー毎に、
(1)各コロニーに含まれるコロニーピクセルの位置、色に関する特徴量、及び、培地画像上の配列位置などコロニーに含まれるコロニーピクセルの各種の情報、及び、
(2)各コロニーの培地画像上の重心位置又は色特徴量(平均)などコロニー関する情報を特定する。
 そして、コロニー検出判定部422は、コロニー数を含め各種の情報を登録処理部421に提供する。
(検体の合否判定)
 コロニー検出判定部422は、各フィルム型培地60の検体が異常であるか正常であるかの培地判定(すなわち、検体の合否判定)を実行する。例えば、コロニー検出判定部422は、検体から検出すべき菌種によって予め設定された菌数の閾値(すなわち、判定基準)に基づいて、各検体の合否を判定し、その結果を登録処理部421に提供する。
 特に、本実施形態においては、菌種や希釈倍率に基づいて判定基準は異なるので、登録処理部421は、検体を培養する際の基準及び菌種に基づいて培地判定基準情報をROM/RAM440から読み出して培地判定を実行する。
 各判定基準情報は、培地ID66に対応付けて特定されるようになっている。すなわち、検体から検出する菌種毎にフィルム型培地60の種類が異なるので、培地ID66を特定すれば、検出すべき菌種を特定することができる。したがって、本実施形態においては、予め希釈倍率等を定めておくことによって、培地ID66に基づいて特定される判定基準情報を読み出すことができるようになっている。
 また、本実施形態において、工程判定、ライン判定、及び、ロット判定において各フィルム型培地60の合否判定を用いるので、これらの各判定と対応付けて培地判定が実行される。なお、工程判定、ライン判定、及び、ロット判定において各フィルム型培地60の合否判定の手法については後述する。
[5.4]ロット判定処理部
 次に、本実施形態のサーバ装置40におけるロット判定処理部424の詳細について説明する。
 本実施形態のロット判定処理部424は、管理者端末装置20に入力された管理者の指示に基づいて、指定されたロット、作業ライン80又は工程における衛生管理に関するデータ解析(すなわち、合否判定)を実行する。
 具体的には、ロット判定処理部424は、各ロットについて、該当するロットに用いられる作業ライン80のライン情報と、該当する作業ライン80に対応付けられて登録された培地情報(少なくともコロニー数)と、に基づいて、同一条件によって製造又は検査された食品群が所定の条件を具備しているか否かを判定する。
 また、ロット判定処理部424は、ロット判定が指示されると、該当するロットに含まれる作業ライン80及び当該作業ライン80に属する工程が衛生管理上において異常であるか正常であるかの作業ライン80のライン判定(すなわち、衛生管理上の合否の判定)及び各工程の工程判定(すなわち、衛生管理上の合否の判定)を実行し、工程判定及びライン判定を用いてロット判定を実行する。
 特に、ロット判定処理部424は、ロット判定が指示された際に、例えば、培養開始後から24時間、48時間等の所定の培養検査時刻を経過した培地情報におけるフィルム型培地60のコロニー数や検体の合否判定の培地情報に基づいて当該工程の衛生管理上の合否を判定し、該当する作業ライン80に含まれる工程の合否判定に基づいて当該作業ライン80の衛生管理上の合否を判定し、該当するロットに含まれる作業ライン80の合否判定に基づいて当該ロットの衛生管理上の合否を判定する。
 なお、本実施形態のロット判定処理部424は、ロット判定だけでなく、工程判定又はライン判定のみをデータ解析として実行してもよい。
(工程判定)
 ロット判定処理部424は、同一タイミングの培養開始時刻、同一タイミングの培養検査時刻、予め設定された第1時刻から第2時刻までの時間内の時刻を有する培養開始時刻又は、予め設定された第1時刻から第2時刻までの時間内の時刻を有する培養検査時刻を有するなど、培養開始時刻又は培養検査時刻が所定の条件を有し、かつ、同一のロットの同一の工程に対応付けて登録された複数のフィルム型培地60の培地情報に基づいて、各工程判定を実行する。すなわち、ロット判定処理部424は、複数のフィルム型培地60の各培地判定の結果に基づく、総合判定によって各工程判定を実行する。
 具体的には、ロット判定処理部424は、該当するフィルム型培地60の培地判定結果(すなわち、工程判定を実行すべき工程の工程ID71bを有する培地情報に登録されたすべての培地判定結果)を取得するとともに、判定結果の合否の数が所定の条件を具備している場合には、判定すべき工程の工程判定を合格と判定し、当該条件を具備していない場合には、判定すべき工程の工程判定を不合格と判定する。
 例えば、ロット判定処理部424は、該当する工程における個々のフィルム型培地60において、合格のフィルム型培地60が所定の割合(60%)以上の場合、全てのフィルム型培地60が該当する条件(コロニー数が一定数以下)を具備している場合、又は、各フィルム型培地60のコロニー数が該当する条件(単一のフィルム型培地60の平均コロニー数が一定数以下)を具備している場合に、該当する工程を合格と判定する。
 なお、本実施形態のロット判定処理部424は、検体の種別、検出する菌種等によって条件を変更することが可能となっており、管理者によって設定可能、又は、プログラムの一部として提供される。
(ライン判定)
 ロット判定処理部424は、所定のタイミングで判定され、かつ、該当するライン情報に対応付けて登録された複数の工程の衛生管理上の合否判定に基づいて、各作業ライン80のライン判定を実行する。すなわち、ロット判定処理部424は、所定のタイミングで判定された同一ロットの複数の工程の各判定結果に基づく、総合判定によってライン判定を実行する。
 具体的には、ロット判定処理部424は、同タイミング又は所定の条件を具備するタイミングに判定され、かつ、上述のように、ライン判定を実行すべき作業ライン80のラインIDを有する工程の工程判定の判定結果を取得するとともに、判定結果の合否の数が所定の条件を具備している場合には、判定すべき作業ライン80のライン判定を合格と判定し、当該条件を不具備の場合には、判定すべき作業ライン80のライン判定を不合格と判定する。
 例えば、3つの工程が判定すべき作業ライン80のラインIDを有している場合であって、第1工程が「合格」、第2工程が「合格」及び第3工程が「不合格」で、所定の条件が「60%」の合格した工程から作業ライン80が構成されている場合には、ロット判定処理部424は、判定すべき作業ライン80のライン判定を合格と判定する。
(ロット判定)
 ロット判定処理部424は、所定のタイミングで判定され、かつ、該当するロット情報に対応付けて登録された複数の作業ライン80の衛生管理上の合否判定に基づいて、各ロットのロット判定を実行する。すなわち、ロット判定処理部424は、複数の作業ライン80の各判定結果に基づく総合判定によってロット判定を実行する。
 具体的には、ロット判定処理部424は、ロット判定を実行すべきロットのロットIDを有する作業ライン80における合否判定に基づいて、ロット判定を実行する。
 例えば、ロット判定処理部424は、ロットIDを有する作業ライン80の60%においてライン判定が合格の場合に、判定すべきロットのロット判定を合格とし、3つの作業ライン80が判定すべきロットのロットIDを有している場合を想定する。この場合において、第1作業ライン80が「合格」、第2作業ライン80が「合格」及び第3作業ライン80が「不合格」の場合には、ロット判定処理部424は、判定すべきロットのロット判定を合格と判定する。
 なお、ロットの作業時間が長時間に及ぶ場合には、所定の時間(例えば8時間又は12時間)毎に時間を区切ってロットの判定を実行してもよい。この場合には、作業が中断している間のロット判定を実行する場合には、ダミーの結果を用いてもよいし、作業中断中として判定してもよい。
(その他)
 ロット判定処理部424は、培地情報、ライン情報、ロット情報及び作業管理DB404を用いて、上述以外の判定及びデータ解析を行うことができるとともに、報告処理部425を介して当該判定結果又はデータ解析結果を管理者が閲覧可能に管理者端末装置20に提供することができるようになっている。
 具体的には、ロット判定処理部424は、各フィルム型培地60に培養された検体の信頼性を確認するために、すなわち、検査ミスが発生していない否かを確認するために、一の培地IDにおける培地情報を培養開始時時刻から培養の終了まで、時系列に培地情報又は培地画像データの所定の解析を実行する。
 例えば、ロット判定処理部424は、管理者端末装置20を介して受信した管理者の指示に基づいて、特定の培地ID(同一の培地ID)66を有し、培養開始時刻から所定の時刻までの複数の培地情報を、培地画像データとともに抽出する。そして、ロット判定処理部424は、各培地情報及び各画像データについて所定の時系列に沿って所定の解析を実行し、又は、各培地情報及び各画像データを時系列に沿って集約する。また、ロット判定処理部424は、報告処理部425に、解析結果又は集約結果を所定のデータ形式を有する閲覧データに生成させ、当該生成させた閲覧データを管理者に閲覧可能に管理者端末装置20に提供させる。
 なお、ロット判定処理部424は、報告処理部425と連動して、このとき、管理者端末装置20の指示に基づいて、法定された衛生管理の報告用に、一の培地ID66における各培地情報を個々に閲覧可能にさせてもよい。
 また、ロット判定処理部424は、培地情報、ライン情報、ロット情報又は作業管理情報の検索機能を有していてもよい。具体的には、ロット判定処理部424は、ロットID(指示書ID71a)、作業ラインID、工程ID71b、作業ID71、培養開始時刻、ロットの作業日時、培地ID66、検体の種別などを検索キーとしてデータベース400を検索し、報告処理部425と連動し、該当する培地情報や各種の情報を管理者に閲覧可能なデータを生成してもよい。
 なお、報告処理部425は、管理者端末装置20を介して受信した管理者の指示に基づいて、検索によって特定された培地情報(培地画像データ、コロニー数及び培地判定結果)、工程情報、ライン情報、又は、ロットに関する情報を所定の報告形式で提供することも可能である。すなわち、報告処理部425は、法定の検査報告その他の場合においてその証拠又は報告書として種々の情報を提供することができるように構成されている。
[5.5]報告処理部
 次に、本実施形態のサーバ装置40における報告処理部425の詳細について説明する。
 報告処理部425は、管理者端末装置20に入力された管理者の指示及び所定の報告書形式を有するテンプレートデータに基づいて、指定されたロット、作業ライン80又は工程における衛生管理に関するデータ解析の解析結果(すなわち、合否判定の判定結果)を報告書データとして生成し、生成した報告書データを、通信制御部410を介して管理者に閲覧可能に管理者端末装置20に提供する。
 具体的には、報告処理部425は、培地画像のデータ、コロニー数又は培地判定結果等、培地情報、ライン情報及びロット情報から必要な情報を抽出するとともに、抽出した情報とロット判定処理部424によって得られた解析結果に基づいて、テンプレートデータに各情報を割り当てつつ、報告書データを生成する。そして、報告処理部425は、回転等の加工処理が実行されず、同一性が担保された培地の画像を有する報告書データを管理者端末装置20に提供する。
 なお、報告処理部425は、上述したように、種々の解析又は検索に応じて所定の報告書データ又は閲覧データを生成し、管理者端末装置20に提供することができるように構成されている。すなわち、報告処理部425は、受信した管理者の指示に基づいて、検索によって特定された培地情報、工程情報、ライン情報、又は、ロットに関する情報を所定の報告形式で提供することも可能であるとともに、法定の検査報告その他の場合においてその証拠又は報告書として種々の情報を提供することができるように構成されている。
[6]衛生管理システムの動作処理
[6.1]培地情報登録処理(携帯用通信端末装置)
 次に、図12を用いて本実施形態の携帯用通信端末装置10における培地情報登録処理の動作について説明する。なお、図12は、本実施形態の携帯用通信端末装置10における培地情報の登録処理動作を示すフローチャートである。
 本動作においては、ライン情報DB402及びロット情報DB403には、既に作業指示書70に対応付けられた該当するロット情報及びライン情報が記憶されているものとする。
 また、フィルム型培地60及び作業指示書70には、2次元バーコードによって培地ID66又は指示書ID71aが付されているものとする。
 さらに、本動作においては、各フィルム型培地60におけるコロニー数の検出は、培地情報のデータベース400への登録時に実行されるものとし、携帯用通信端末装置10においては培地画像を撮像するためのRGBの階調値又は輝度値に対するキャリブレーションが実行されているものとする。
 まず、携帯用通信端末装置10において、アプリケーション制御部120は、操作部170を介して培地登録アプリの起動指示を検出すると(ステップS101)、アプリケーション記憶部101から培地登録アプリを読み出して起動する(ステップS102)。このとき、アプリケーション制御部120は、携帯端末管理制御部190の制御下、ワークメモリの初期化その他の必要な処理を実行する。
 次いで、アプリケーション制御部120は、表示制御部161と連動し、フィルム型培地60の初期登録であるか、又は、培養開始から所定の時間経過した培養後登録であるかを選択させるための画像を表示部160に表示させてその入力を待機する(ステップS103)。
 次いで、アプリケーション制御部120は、操作部170による選択指示の入力を検出すると(ステップS104)、初期登録か培養後登録かを判断し、フラグ情報にその結果を設定する(ステップS105)。
 次いで、アプリケーション制御部120は、フィルム型培地60の撮像を促す画面を表示部160に表示させるとともに、操作部170と連動し、画像データ生成部110による撮像を待機する(ステップS106)。なお、このとき、アプリケーション制御部120は、取得すべき培地画像の位置合わせするために所定の画像を表示部160に重畳表示させる。
 次いで、アプリケーション制御部120は、画像データ生成部110、表示制御部161及び操作部170と連動しつつ、画像データ生成部110による撮像を検出すると(ステップS107)、画像データ生成部110によって培地ID66とともに画像化されたフィルム型培地60の培地画像データを取得し、画像データ記憶部102に所定の画像IDを付与しつつ記憶する(ステップS108)。
 次いで、アプリケーション制御部120は、タイマー180より現在時刻を培地画像データの撮像時刻として取得し、当該培地画像データに対応付けてメタデータとして画像データ記憶部102に記憶する(ステップS109)。
 次いで、アプリケーション制御部120は、取得した画像化された培地画像データの所定の領域に形成された2次元バーコードを解析して培地ID66を取得し、当該培地画像データに対応付けて画像データ記憶部102に記憶する(ステップS110)。
 次いで、アプリケーション制御部120は、表示制御部161と連動して指示書ID71a及び工程ID71bとともに指示書画像データを取得するための画面を表示部160に表示させ、指示書画像データの取得を待機する(ステップS111)。
 次いで、アプリケーション制御部120は、画像データ生成部110、表示制御部161及び操作部170と連動しつつ、画像データ生成部110による撮像を検出すると(ステップS112)、作業ID71が画像化された指示書画像データを取得し、ステップS108によって取得した培地画像データに対応付けて画像データ記憶部102に記憶する(ステップS113)。
 なお、アプリケーション制御部120は、工程ID71bを作業ID71として取得する場合、又は、複数の工程ID71bから一の工程ID71bを取得する場合には、表示制御部161及び操作部170と連動しつつ、ユーザに取得すべき工程ID71bを選択させる表示をし、該当する工程ID71bを取得する。
 次いで、アプリケーション制御部120は、画像化された指示書画像データ及び培地画像データの所定の領域に形成された2次元バーコードを解析して作業ID71を取得し、当該指示書画像データに対応付けて画像データ記憶部102に記憶する(ステップS114)。
 次いで、アプリケーション制御部120は、タイマー180より現在時刻を培地画像データの撮像時刻として取得し、表示制御部161及び操作部170と連動して作業者に、取得した指示書画像データ、作業ID71、培地画像データ、培地ID66、及び、撮像時刻を確認させる(ステップS115)。
 なお、アプリケーション制御部120は、取得した培地情報の作業者による確認時に、作業者の指示に基づいて、培地画像データの再取得を行っていてもよい。また、このとき、アプリケーション制御部120は、表示制御部161及び操作部170と連動して作業者によって培地画像データの補正を行うことができるようにしてもよい。
 次いで、アプリケーション制御部120は、作業者の指示に基づいて、初期登録か培養後登録かを示すフラグ情報及び端末IDと作業ID71とともに、取得した培地画像データとそのメタデータ、及び、初期登録か培養後登録かを示すフラグ情報を培地情報として、ネットワーク通信部130を介してサーバ装置40に送信し(ステップS116)、携帯用通信端末装置10の登録処理を終了する。
 このとき、ネットワーク通信部130は、培地情報を送信する際に、端末IDや入力されたID及びパスワードに基づいてサーバ装置40へのアクセスをするためのログインを実行し、ログイン完了後にサーバ装置40との通信回線を確立し、培地情報を送信する。
[6.2]培地情報登録処理(サーバ装置)
 次に、図13を用いて本実施形態のサーバ装置40における培地情報の登録処理動作について説明する。なお、図13は、本実施形態のサーバ装置40における培地情報の登録処理動作を示すフローチャートである。
 なお、本動作は、携帯用通信端末装置10によって実行された培地情報登録処理と連動して実行される処理であり、サーバ装置40は、携帯用通信端末装置10から送信された培地情報に基づいて以下の処理を実行する。
 まず、サーバ装置40においては、通信制御部410が携帯用通信端末装置10から送信された培地情報を受信すると(ステップS300)、登録処理部421は、受信した培地情報に含まれるフラグ情報に基づいて、初期登録か培養後登録であるかを判定する(ステップS301)。
 このとき、登録処理部421は、初期登録と判定した場合には、ステップS302の処理に移行し、初期登録でないと判定した場合には、すなわち、培養後登録と判定した場合には、ステップS304の処理に移行する。
 次いで、登録処理部421は、初期登録と判定した場合には、培地情報に含まれる作業ID71を抽出して特定する(ステップS302)。
 次いで、登録処理部421は、特定した作業ID71に基づいて培地情報を培地情報DB401に登録し(ステップS303)、本動作を終了する。なお、培養開始時刻は作業管理DB404に予め記憶されているが、登録処理部421は、ステップS303の処理において、受信した培地情報に含まれる撮像時刻を培養開始時刻として作業管理DB404に登録してもよい。
 一方、登録処理部421は、培養後登録と判定した場合には、培地情報に含まれる作業ID71を抽出して特定し(ステップS304)、培地情報に含まれる撮像時刻に基づいて培地情報を登録する培養検査時刻を特定する(ステップS305)。
 なお、このとき、登録処理部421は、携帯用通信端末装置10と連動して培地情報を登録する培養検査時刻を指定させて登録してもよいし、受信した培地情報に含まれる撮像時刻を培養検査時刻としてそのまま登録してもよい。また、登録処理部421は、既に実行された培養検査時刻における培地登録を管理し、培地情報を受信したタイミング及び既に培地情報の登録に用いた培養検査時刻に基づいて、培養検査時刻を特定してもよい。すなわち、登録処理部421は、培地情報の登録を実行する毎に実行フラグを書き換え、当該フラグの情報を参照しつつ、受信した撮像時刻と比較して、培養検査時刻を特定してもよい。
 次いで、登録処理部421は、コロニー検出判定部422に、受信した培地画像データに対して画像解析を実行し、培地画像内の培養層63の領域を構成する各ピクセルの特徴量(輝度値)を抽出させるとともに、当該培養層63の領域を構成する各ピクセルの特徴量に基づいて画像化された検体に発生したコロニーを特定させつつ、その数を計数する(ステップS307)。
 なお、ステップS307の処理におけるコロニーの特定及びその計数の処理の詳細については、後述する。
 次いで、コロニー検出判定部422は、作業ID71に基づいて特定された検体の種別及び検出する菌種に基づいて、培地判定基準を読み出しつつ、当該読み出した検体判定基準に基づいて、検出したコロニー数が所定の条件を具備するか否かを判定する(ステップS308)。すなわち、コロニー検出判定部422は、所定の条件を具備する場合には、合格(正常)と判定し、所定の条件を不具備な場合には、不合格(異常)と判定する。
 なお、コロニー検出判定部422は、上述の自動登録に代えて、携帯用通信端末装置10と連動し、検出したコロニー数及び合否判定の結果を当該携帯用通信端末装置10の表示部160に表示させ、ユーザに閲覧及び確認させるようにしてもよい。
 次いで、登録処理部421は、培地画像データ、認識した培地ID66、判定された合否、検出されたコロニーの数及び培地情報に含まれる撮像時刻を培養開始時刻とした培養開始時刻情報を、特定した作業ID71に対応付けて培地情報DB401に登録し(ステップS309)、本動作を終了する。
 なお、登録処理部421は、ライン情報及び登録すべき情報を携帯用通信端末装置10の表示部160に表示させ、当該携帯用通信端末装置10を介して入力されたユーザ指示に基づいて、培地情報等の登録をするようにしてもよい。
 また、携帯用通信端末装置10から培地画像データが送信され、サーバ装置40によって各画像データを解析することによって培地ID66を認識する場合には、登録処理部421は、ステップS301の処理において、受信した培地画像データのそれぞれの所定の領域上に画像化された培地ID66を解析して当該培地ID66を認識して取得するようになる。同様に、指示書画像データにおける作業ID71についても、サーバ装置40において認識させる。
[6.3]コロニーの検出処理
 次に、図14及び図15の各図を用いて本実施形態のサーバ装置40におけるコロニーの検出処理の動作について説明する。なお、図14、本実施形態のサーバ装置40におけるコロニーの検出処理の動作を示すフローチャートであり、図15は、コロニーを検出すべき培地画像において特定した非コロニーピクセルの色特徴量を画像化した図である。
 本動作は、図13に示す培地登録処理のステップS307の処理で登録処理部421の制御の下にコロニー検出判定部422において実行される処理である。
 まず、コロニー検出判定部422は、培地画像データから取得した培地画像内の培養層63の領域を構成する各ピクセルの色特徴量(例えば、輝度値)を抽出する色特徴量抽出処理を実行する(ステップS401)。
 次いで、コロニー検出判定部422は、抽出した色特徴量毎にピクセル数をカウントして各色特徴量に対するピクセルの数としてのヒストグラム(色特徴量の確率分布)を生成するピクセル数のカウントを実行する(ステップS402)。
 次いで、コロニー検出判定部422は、生成したヒストグラムに基づいて、所定の条件を具備する色特徴量を特定しつつ、特定した色特徴量に基づいて非コロニーピクセルを特定する(ステップS403)。
 次いで、コロニー検出判定部422は、特定した複数の非コロニーピクセルから代表的な非コロニーピクセルの特徴量を特定する非コロニーピクセル特徴量特定処理を実行する(ステップS404)。
 なお、図15には、画像解析を行う培地画像と、上述のように非コロニーピクセル特徴量特定処理を実行することによって当該培地画像から検出された非コロニーピクセルの色特徴量を示す。
 図15(A)に示すように、多くのコロニーが出現している培地画像(コロニー出現パターン1)、図15(B)に示すように、まばらにコロニーが出現している培地が画像(コロニー出現パターン2)、及び、図15(C)に示すように、コロニーが出現していない培地画像の場合には、各培地画像の右隅に重畳されているように、非コロニーピクセルの色特徴量を特定する。
 次いで、コロニー検出判定部422は、非コロニーピクセルの色特徴量と所定の色差を有する色特徴量を具備するピクセルをコロニーピクセルとして検出するコロニーピクセル検出処理を実行する(ステップS405)。
 次いで、コロニー検出判定部422は、検出したコロニーピクセルに基づいてコロニーを検出しつつ、その数を計数するコロニー検出処理を実行し(ステップS406)、本動作を終了させる。
[7]変形例
[7.1]変形例1
 上述の実施形態においては、培地情報登録処理とコロニー検出判定処理を同タイミングで実行しているが、コロニー検出判定処理を任意のタイミングによって実行してもよい。
[7.2]変形例2
 本実施形態において、タブレット型情報端末装置、スマートフォン又は携帯用電話機等の携帯用通信端末装置10を用いて培地情報の登録処理を実行している点に代えて、ラップトップ型又はデスクトップ型のパーソナルコンピュータと、スキャナ、デジタルカメラ又はスマートフォン等の画像入力装置と、によって当該培地情報の登録処理を実現してもよい。
 この場合には、パーソナルコンピュータと画像入力装置とを所定の通信規格によって接続し、パーソナルコンピュータと画像入力装置とを一体的に用いて当該培地情報の登録処理を実現してもよいし、メモリカードその他の物理的なメモリに画像入力装置によって先に取得した培地画像データ及び指示書画像データを記憶させ、当該記憶させた各画像データをパーソナルコンピュータによって取り込みつつ、当該培地情報の登録処理を実現してもよい。
[7.3]変形例3
 本実施形態においては、携帯用通信端末装置10、管理者端末装置20、サーバ装置40が同一敷地内で設置又は使用されてもよいし、それぞれが国外などの遠隔地に設置され、又は、遠隔地にて使用されて上述の各処理が実行されてもよい。ただし、携帯用通信端末装置10は、同一ロットにおいて使用させることが前提となる。
[7.4]変形例4
 本実施形態においては、フィルム型培地60を用いて当該フィルム型培地60に培養された検体における培地情報の登録を実行しているが、寒天培地を用いて当該寒天培地に培養された検体における培地情報の登録を実行してもよい。
[7.5]変形例5
 本実施形態において、画像データ生成部110によってフィルム型培地60を撮像して培地ID66を取得する点に代えて、作業者の操作入力によって培地ID66を入力させるようにしてもよい。
 この場合には、アプリケーション制御部120は、表示制御部161及び操作部170と連動し、作業者に培地ID66を操作部170を用いて直接手入力させる。
 また、アプリケーション制御部120は、クリック又はタッチ選択等によって、プルダウンメニュー等の表示項目を選択させるように表示制御部161及び操作部170を制御させて、作業者に培地ID66を入力させる。
[7.6]変形例6
 本実施形態においては、単一のサーバ装置40によって各種の処理を実行しているが、複数のサーバ装置40から構成されるサーバシステムによって各種の処理を実行するようにしてもよい。
 以上、本実施形態の衛生管理システムSにおいては、フィルム型培地60毎にコロニーが形成されていない部分のピクセルの色特徴量(すなわち、培地そのもの色特徴量)を特定しつつ、当該培地自体のピクセルの色の特徴量に基づいてコロニーを構成するコロニーピクセルを特定することができるので、コロニーを培養するフィルム型培地60の色の個体差、当該フィルム型培地60を画像化する際の撮像環境の影響、及び、コロニーの培養後のフィルム型培地60の色がコロニーの発生状況によって異なる場合など、フィルム型培地60の色が変動する場合であっても、その変動に応じてコロニーピクセルを検出することができる。
 したがって、本実施形態の衛生管理システムSにおいては、如何なる状況においてもコロニーを的確に検出すること、及び、的確に検出されたコロニーに関する情報を含む培地情報をデータベースに登録することができる。
 また、本実施形態の衛生管理システムSにおいては、紙媒体などの物理的な資源を利用して種々のデータ解析及びその提供を行う場合に比べて省資源化をも図ることができるとともに、培地に関する培地情報をデータベースに登録させることによって登録ミスが著しく減少し、難しい培地の管理を容易にすることができるので、無駄に培地を消費すること無く省資源化を図ることができる。
 なお、本実施形態の衛生管理システムSにおいては、食品を用いて説明したが、当該食品に限らず、薬品や薬剤の人体をはじめとする生物全般に提供される生産品について適用することができる。
 本発明は、食品その他の衛生管理システム等に利用することができる。
S … 衛生管理システム
10 … 携帯用通信端末装置
20 … 管理者端末装置
30 … ネットワーク
40 … サーバ装置
60 … フィルム型培地
70 … 作業指示書
80 … 作業ライン
100 … データ記憶部
101 … アプリケーション記憶部
102 … 画像データ記憶部
110 … 画像データ生成部
120 … アプリケーション制御部
130 … ネットワーク通信部
140 … 近距離無線通信インターフェース
150 … 現在位置検出部
160 … 表示部
170 … 操作部
180 … タイマー
190 … 携帯端末管理制御部
400 … データベース
401 … 培地情報DB
402 … ライン情報DB
403 … ロット情報DB
404 … 作業管理DB
410 … 通信制御部
420 … データ処理部
421 … 登録処理部
422 … コロニー検出判定部
424 … ロット判定処理部
425 … 報告処理部
430 … サーバ管理制御部

Claims (13)

  1.  コロニーを培養する培地が撮像されて画像化された培地画像のデータを培地画像データとして取得する取得手段と、
     前記取得された培地画像データの培地画像内における所定領域を構成するピクセルの色に関する色特徴量を抽出する抽出手段と、
     前記抽出されたピクセルの色特徴量から所定の条件を具備する前記色特徴量を特定しつつ、当該特定した色特徴量に基づいて、前記コロニーを画像化するために用いられるコロニーピクセルとは異なる非コロニーピクセルを特定し、当該特定した非コロニーピクセルから非コロニーピクセルの色特徴量を特定する特定手段と、
     前記特定された非コロニーピクセルの色特徴量と所定の色差を有する色特徴量を具備するピクセルをコロニーピクセルとして検出し、当該検出したコロニーピクセルに基づいて前記コロニーを検出する検出手段と、
     前記検出されたコロニーを含む、当該コロニーに関する情報を培地情報としてデータベースに登録する登録手段と、
     を備えることを特徴とする培地情報登録システム。
  2.  請求項1に記載の培地情報登録システムにおいて、
     前記特定手段が、前記抽出されたピクセルの色特徴量を、予め定められた基準値に基づいて、又は、予め定められた条件に従って、複数種類に分類し、当該分類した結果に基づいて前記非コロニーピクセルを特定する、培地情報登録システム。
  3.  請求項2に記載の培地情報登録システムにおいて、
     前記特定手段が、前記各基準値におけるピクセル数に基づいて、前記非コロニーピクセルを特定する、培地情報登録システム。
  4.  請求項3に記載の培地情報登録システムにおいて、
     前記特定手段が、
      前記抽出されたピクセルの色特徴量について前記基準値毎にピクセル数をカウントし、
      前記基準値毎のピクセル数に基づいて、前記所定の条件を具備する前記色特徴量を特定し、
      当該特定した色特徴量に基づいて前記非コロニーピクセルを特定する、培地情報登録システム。
  5.  請求項2に記載の培地情報登録システムにおいて、
     前記特定手段が、前記抽出されたピクセルの色特徴量を、前記複数種類として2つのクラスに分類し、当該分類した結果に基づいて前記非コロニーピクセルを特定する、培地情報登録システム。
  6.  請求項5に記載の培地情報登録システムにおいて、
     前記特定手段が、前記抽出された色特徴量の最大値又は最小値の少なくともいずれか一方に基づいて予め定められた基準値を決定し、当該決定した基準値に基づいて2つのクラスに分類し、当該分類した結果に基づいて前記非コロニーピクセルを特定する、培地情報登録システム。
  7.  請求項3に記載の培地情報登録システムにおいて、
     前記所定の条件を具備する色特徴量が、予め定められた色特徴量毎にカウントされたピクセル数の最頻値となる色特徴量である、培地情報登録システム。
  8.  請求項1~7のいずれか1項に記載の培地情報登録システムにおいて、
     前記色特徴量が2色以上の色特徴量であり、
     前記色差が、2以上の色特徴量のヒストグラムの類似度によって規定される、培地情報登録システム。
  9.  請求項1~7のいずれか1項に記載の培地情報登録システムにおいて、
     前記色差が、前記色特徴量に基づくユークリッド距離の差である、培地情報登録システム。
  10.  コンピュータを、
     コロニーを培養する培地が撮像されて画像化された培地画像のデータを培地画像データとして取得する取得手段、
     前記取得された培地画像データの培地画像内における所定領域を構成するピクセルの色に関する色特徴量を抽出する抽出手段、
     前記抽出されたピクセルの色特徴量から所定の条件を具備する前記色特徴量を特定しつつ、当該特定した色特徴量に基づいて、前記コロニーを画像化するために用いられるコロニーピクセルとは異なる非コロニーピクセルを特定し、当該特定した非コロニーピクセルから非コロニーピクセルの色特徴量を特定する特定手段、
     前記特定された非コロニーピクセルの色特徴量と所定の色差を有する色特徴量を具備するピクセルをコロニーピクセルとして検出し、当該検出したコロニーピクセルに基づいて前記コロニーを検出する検出手段、及び、
     前記検出されたコロニーを含む、当該コロニーに関する情報を培地情報としてデータベースに登録する登録手段、
     として機能させることを特徴とするプログラム。
  11.  コロニーを培養する培地が撮像されて画像化された培地画像のデータを培地画像データとして取得する取得手段と、
     前記取得された培地画像データの培地画像内における所定領域を構成するピクセルの色に関する色特徴量を抽出する抽出手段と、
     前記抽出されたピクセルの色特徴量から所定の条件を具備する前記色特徴量を特定しつつ、当該特定した色特徴量に基づいて、前記コロニーを画像化するために用いられるコロニーピクセルとは異なる非コロニーピクセルを特定し、当該特定した非コロニーピクセルから非コロニーピクセルの色特徴量を特定する特定手段と、
     前記特定された非コロニーピクセルの色特徴量と所定の色差を有する色特徴量を具備するピクセルをコロニーピクセルとして検出し、当該検出したコロニーピクセルに基づいて前記コロニーを検出する検出手段と、
     を備えることを特徴とするコロニー検出装置。
  12.  コンピュータを、
     コロニーを培養する培地が撮像されて画像化された培地画像のデータを培地画像データとして取得する取得手段、
     前記取得された培地画像データの培地画像内における所定領域を構成するピクセルの色に関する色特徴量を抽出する抽出手段、
     前記抽出されたピクセルの色特徴量から所定の条件を具備する前記色特徴量を特定しつつ、当該特定した色特徴量に基づいて、前記コロニーを画像化するために用いられるコロニーピクセルとは異なる非コロニーピクセルを特定し、当該特定した非コロニーピクセルから非コロニーピクセルの色特徴量を特定する特定手段、及び、
     前記特定された非コロニーピクセルの色特徴量と所定の色差を有する色特徴量を具備するピクセルをコロニーピクセルとして検出し、当該検出したコロニーピクセルに基づいて前記コロニーを検出する検出手段、
     として機能させることを特徴とするプログラム。
  13.  検体に発生する菌を培養するための培地を画像化した培地画像を、培地画像データとして生成する通信端末装置と、
     前記培地画像データに基づいて前記培地に発生したコロニーを検出してデータベースに登録するサーバ装置と、
     を備え、
     前記サーバ装置が、
      前記通信端末装置から前記培地画像データを取得する取得手段と、
      前記取得された培地画像データの培地画像内における所定領域を構成するピクセルの色に関する色特徴量を抽出する抽出手段と、
      前記抽出されたピクセルの色特徴量から所定の条件を具備する前記色特徴量を特定しつつ、当該特定した色特徴量に基づいて、前記コロニーを画像化するために用いられるコロニーピクセルとは異なる非コロニーピクセルを特定し、当該特定した非コロニーピクセルから非コロニーピクセルの色特徴量を特定する特定手段と、
      前記特定された非コロニーピクセルの色特徴量と所定の色差を有する色特徴量を具備するピクセルをコロニーピクセルとして検出し、当該検出したコロニーピクセルに基づいて前記コロニーを検出する検出手段と、
      前記検出されたコロニーを含む、当該コロニーに関する情報を培地情報としてデータベースに登録する登録手段と、
      を備えることを特徴とする衛生管理システム。
PCT/JP2014/060315 2013-04-17 2014-04-09 コロニー検出装置、培地情報登録システム、プログラム及び衛生管理システム WO2014171381A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015512457A JP6471689B2 (ja) 2013-04-17 2014-04-09 コロニー検出装置、培地情報登録システム、プログラム及び衛生管理システム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-087002 2013-04-17
JP2013087002 2013-04-17

Publications (1)

Publication Number Publication Date
WO2014171381A1 true WO2014171381A1 (ja) 2014-10-23

Family

ID=51731324

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/060315 WO2014171381A1 (ja) 2013-04-17 2014-04-09 コロニー検出装置、培地情報登録システム、プログラム及び衛生管理システム

Country Status (2)

Country Link
JP (1) JP6471689B2 (ja)
WO (1) WO2014171381A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019193815A1 (ja) * 2018-04-04 2019-10-10 株式会社日立ハイテクノロジーズ 細菌検査装置および細菌検査方法
JP2022066269A (ja) * 2018-04-04 2022-04-28 株式会社日立ハイテク 細菌検査装置および細菌検査方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007080921A1 (ja) * 2006-01-13 2007-07-19 Nec Corporation 情報記録システム、情報記録装置、情報記録方法及び情報収集プログラム
JP2008028716A (ja) * 2006-07-21 2008-02-07 Canon Inc 画像処理方法及び装置
JP2008048142A (ja) * 2006-08-15 2008-02-28 Fuji Xerox Co Ltd 画像処理システム、画像処理方法及び画像処理プログラム
JP2009009290A (ja) * 2007-06-27 2009-01-15 Kddi Corp 類似画像検索装置
WO2009072466A1 (ja) * 2007-12-03 2009-06-11 National University Corporation Hokkaido University 画像分類装置および画像分類プログラム
JP2011043872A (ja) * 2009-08-19 2011-03-03 Yahoo Japan Corp カラーヒストグラム生成装置、カラーヒストグラム生成方法及びプログラム
WO2011162213A1 (ja) * 2010-06-23 2011-12-29 株式会社エヌテック 微生物検出方法、微生物検出装置及びプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5239128B2 (ja) * 2006-05-22 2013-07-17 株式会社ニコン 観察装置
JP2012215609A (ja) * 2011-03-31 2012-11-08 Yokogawa Electric Corp 培養細胞観察用顕微鏡装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007080921A1 (ja) * 2006-01-13 2007-07-19 Nec Corporation 情報記録システム、情報記録装置、情報記録方法及び情報収集プログラム
JP2008028716A (ja) * 2006-07-21 2008-02-07 Canon Inc 画像処理方法及び装置
JP2008048142A (ja) * 2006-08-15 2008-02-28 Fuji Xerox Co Ltd 画像処理システム、画像処理方法及び画像処理プログラム
JP2009009290A (ja) * 2007-06-27 2009-01-15 Kddi Corp 類似画像検索装置
WO2009072466A1 (ja) * 2007-12-03 2009-06-11 National University Corporation Hokkaido University 画像分類装置および画像分類プログラム
JP2011043872A (ja) * 2009-08-19 2011-03-03 Yahoo Japan Corp カラーヒストグラム生成装置、カラーヒストグラム生成方法及びプログラム
WO2011162213A1 (ja) * 2010-06-23 2011-12-29 株式会社エヌテック 微生物検出方法、微生物検出装置及びプログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019193815A1 (ja) * 2018-04-04 2019-10-10 株式会社日立ハイテクノロジーズ 細菌検査装置および細菌検査方法
JP2019180264A (ja) * 2018-04-04 2019-10-24 株式会社日立ハイテクノロジーズ 細菌検査装置および細菌検査方法
JP7032216B2 (ja) 2018-04-04 2022-03-08 株式会社日立ハイテク 細菌検査装置および細菌検査方法
JP2022066269A (ja) * 2018-04-04 2022-04-28 株式会社日立ハイテク 細菌検査装置および細菌検査方法
JP7319407B2 (ja) 2018-04-04 2023-08-01 株式会社日立ハイテク 細菌検査装置および細菌検査方法

Also Published As

Publication number Publication date
JPWO2014171381A1 (ja) 2017-02-23
JP6471689B2 (ja) 2019-02-20

Similar Documents

Publication Publication Date Title
JP5998744B2 (ja) コロニー検出装置、培地情報登録システム、衛生管理システム、及びプログラム
JP5522333B1 (ja) 培地情報登録システム、コロニー検出装置、プログラム及び衛生管理システム
JP5850205B2 (ja) 培地情報登録システム、コロニー検出装置、プログラム及び衛生管理システム
JP5971391B2 (ja) 衛生管理システム、プログラム及びフィルム型培地
JP5910417B2 (ja) 培地情報登録システム、コロニー検出装置、プログラム及び衛生管理システム
JP5928586B2 (ja) 培地情報登録システム、通信端末装置、プログラム、衛生管理システム及びフィルム型培地
JP2017035042A (ja) コロニー検出システム、コロニー検出方法、及び、プログラム
JP2014140335A (ja) 培地画像解析装置、培地情報登録システム、プログラム及び衛生管理システム
JP6471689B2 (ja) コロニー検出装置、培地情報登録システム、プログラム及び衛生管理システム
JP5962330B2 (ja) コロニー検出装置、培地情報登録システム、衛生管理システム、及びプログラム
JP6337885B2 (ja) コロニー検出装置、培地情報登録システム、プログラム及び衛生管理システム
JP6135268B2 (ja) コロニー検出装置、培地情報登録システム、プログラム及び衛生管理システム
JP6036201B2 (ja) 培地情報登録システム、コロニー検出装置、プログラム及び衛生管理システム
JP5880715B2 (ja) 培地情報登録システム、衛生管理システム、及び、プログラム
JP2014135948A (ja) 培地情報登録システム、コロニー検出装置、プログラム及び衛生管理システム
JP6277718B2 (ja) 培地情報登録システム、コロニー検出装置、プログラム及び衛生管理システム
JP2017201992A (ja) 培地情報登録システム、コロニー検出装置、衛生管理システム、プログラム、及び、フィルム型培地
JP6286999B2 (ja) 培地情報登録システム、コロニー検出装置、衛生管理システム、及び、プログラム
JP6287000B2 (ja) 培地情報登録システム、コロニー検出装置、衛生管理システム、及び、プログラム
JP6291717B2 (ja) コロニー検出装置、培地情報登録システム、プログラム及び衛生管理システム
JP5605529B1 (ja) 培地検査装置、培地情報登録システム、衛生管理システム、及びプログラム
JP6287140B2 (ja) 培地情報登録システム、コロニー検出装置、衛生管理システム、プログラム、及び、フィルム型培地
JP2014135949A (ja) 培地情報登録システム、培地画像解析装置、プログラム及び衛生管理システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14786000

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015512457

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14786000

Country of ref document: EP

Kind code of ref document: A1