WO2020162262A1 - 薬剤識別システム、薬剤識別装置、薬剤識別方法及びプログラム - Google Patents

薬剤識別システム、薬剤識別装置、薬剤識別方法及びプログラム Download PDF

Info

Publication number
WO2020162262A1
WO2020162262A1 PCT/JP2020/002946 JP2020002946W WO2020162262A1 WO 2020162262 A1 WO2020162262 A1 WO 2020162262A1 JP 2020002946 W JP2020002946 W JP 2020002946W WO 2020162262 A1 WO2020162262 A1 WO 2020162262A1
Authority
WO
WIPO (PCT)
Prior art keywords
drug
image
images
medicine
unit
Prior art date
Application number
PCT/JP2020/002946
Other languages
English (en)
French (fr)
Inventor
一央 岩見
Original Assignee
富士フイルム富山化学株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム富山化学株式会社 filed Critical 富士フイルム富山化学株式会社
Priority to JP2020571113A priority Critical patent/JP7106688B2/ja
Priority to CN202080008525.3A priority patent/CN113301883A/zh
Priority to EP20752369.7A priority patent/EP3922232B1/en
Publication of WO2020162262A1 publication Critical patent/WO2020162262A1/ja
Priority to US17/349,927 priority patent/US20210312219A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61J—CONTAINERS SPECIALLY ADAPTED FOR MEDICAL OR PHARMACEUTICAL PURPOSES; DEVICES OR METHODS SPECIALLY ADAPTED FOR BRINGING PHARMACEUTICAL PRODUCTS INTO PARTICULAR PHYSICAL OR ADMINISTERING FORMS; DEVICES FOR ADMINISTERING FOOD OR MEDICINES ORALLY; BABY COMFORTERS; DEVICES FOR RECEIVING SPITTLE
    • A61J7/00—Devices for administering medicines orally, e.g. spoons; Pill counting devices; Arrangements for time indication or reminder for taking medicine
    • A61J7/0069—Trays for holding or distributing medicines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/66—Trinkets, e.g. shirt buttons or jewellery items
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61J—CONTAINERS SPECIALLY ADAPTED FOR MEDICAL OR PHARMACEUTICAL PURPOSES; DEVICES OR METHODS SPECIALLY ADAPTED FOR BRINGING PHARMACEUTICAL PRODUCTS INTO PARTICULAR PHYSICAL OR ADMINISTERING FORMS; DEVICES FOR ADMINISTERING FOOD OR MEDICINES ORALLY; BABY COMFORTERS; DEVICES FOR RECEIVING SPITTLE
    • A61J2205/00—General identification or selection means
    • A61J2205/40—General identification or selection means by shape or form, e.g. by using shape recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61J—CONTAINERS SPECIALLY ADAPTED FOR MEDICAL OR PHARMACEUTICAL PURPOSES; DEVICES OR METHODS SPECIALLY ADAPTED FOR BRINGING PHARMACEUTICAL PRODUCTS INTO PARTICULAR PHYSICAL OR ADMINISTERING FORMS; DEVICES FOR ADMINISTERING FOOD OR MEDICINES ORALLY; BABY COMFORTERS; DEVICES FOR RECEIVING SPITTLE
    • A61J2205/00—General identification or selection means
    • A61J2205/60—General identification or selection means using magnetic or electronic identifications, e.g. chips, RFID, electronic tags
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/10—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients

Definitions

  • the present invention relates to a drug identification system, a drug identification device, a drug identification method and a program, and particularly to a technique for identifying a drug to be identified by a simple device.
  • Patent Document 1 a mobile device such as a smartphone including a camera is used to acquire an image for identifying a tablet (medicine), and the drug is identified based on the acquired image.
  • the surface described in Patent Document 1 (the surface of the tray on which the medicine is placed) has a rectangular background area on which the medicine is placed and a boundary area surrounding the background area.
  • the background area has a high density colored checkerboard pattern so that the background and the drug can be distinguished, and the boundary area has a color characteristic of known color (white).
  • four known objects (yellow circles) are provided in the boundary area (areas corresponding to the four corners of the rectangular background), and an anchor point is provided at the center of this object.
  • the four objects attached to the boundary area have a function of supporting the user so that the mobile device can image the drug at a preset position and posture when the drug is imaged by the mobile device.
  • Areas of objects corresponding to the four objects are displayed in advance on the screen of the mobile device, and four objects having anchor points are appropriately positioned in the displayed areas of the four objects.
  • the size and shape of the drug can be standardized and photographed.
  • Patent Document 1 corrects the color of the pixel belonging to the medicine based on the known color attached to the boundary area so as to be the color of the pixel captured under the ideal illumination condition. ing.
  • Patent Document 1 describes that a drug is identified by the shape, size, color, and imprint (letters or numbers stamped or printed) of the drug, but there is no description regarding emphasis processing for emphasizing the stamp or printing.
  • Patent Document 1 describes a system that supports adjustment of the position and orientation of a mobile device so that the shape and size of a drug can be standardized and photographed by a mobile device with a camera. Since it is necessary to adjust the position and orientation of the device to take a picture, there is a problem that the picture taking is complicated.
  • the present invention has been made in view of such circumstances, and provides a drug identification system, a drug identification device, a drug identification method, and a program capable of excellently identifying a drug by a simple device using a mobile terminal with a camera.
  • the purpose is to do.
  • the invention has an indicator used for standardizing the size and shape of a drug, and a camera on the same surface side as a tray on which a drug to be identified is placed and a display.
  • a drug identification system comprising: a camera-equipped mobile terminal having a camera; and a medicine identification device that identifies a medicine based on an image taken by the camera-equipped mobile terminal, wherein the camera-equipped mobile terminal is a medicine identification instruction.
  • the display control unit changes the light emission area of the display and changes the illumination direction of the medicine placed on the tray multiple times.
  • An image acquisition unit that captures multiple times and acquires a plurality of first images of a medicine, and the medicine identification device standardizes each of the plurality of first images based on an index included in the plurality of first images.
  • a standardization unit an image extraction unit that extracts images of the drug region from each of the plurality of standardized first images, and emphasizes the marking or printing attached to the drug based on the extracted images of the plurality of drug regions.
  • An image processing unit that generates a second image that has been subjected to the emphasis process and a drug identifying unit that identifies a drug based on the generated second image.
  • the camera-equipped mobile terminal photographs the drug placed on the tray together with the index provided on the tray.
  • a display on the same side as the camera is used as an illumination means.
  • the illumination direction to the medicine placed on the tray is changed a plurality of times, the medicines having different illumination directions are photographed a plurality of times by the camera, and a plurality of images (first image) are displayed.
  • the normalization unit normalizes each of the plurality of first images based on the index included in each of the plurality of first images, thereby making the images independent of the position and orientation of the camera at the time of shooting.
  • the image extraction unit extracts images of the drug area from the standardized first images, and the image processing unit prints a marking or a print on the drug based on the extracted images of the drug areas.
  • An image (second image) that has been subjected to an emphasis process for emphasis is generated. According to this second image, the size and shape of the medicine can be known, and the marking or printing attached to the medicine is emphasized, so that the medicine can be satisfactorily identified.
  • a dedicated lighting device, a camera, or the like is not required, and a drug can be identified by a simple device.
  • the image processing unit acquires a plurality of edge images from the extracted images of the plurality of drug regions by using edge extraction filters in directions corresponding to the respective illumination directions. , It is preferable to generate the second image using a plurality of edge images.
  • the tray has a grid-shaped partition of which size and shape are known, and the drug is mounted on the mounting surface partitioned by the grid-shaped partition,
  • the grid-shaped partition also serves as an index.
  • At least one of hue, lightness, and saturation is one or a plurality of colors of the drug placement surface partitioned by the grid-like partition of the tray. It is preferable that each mounting surface is different. It is preferable that the medicine is placed by selecting a placement surface having one of hue, lightness and saturation different from the color of the medicine. This is because it is easy to distinguish the image of the medicine region from the placement surface (background), and the image extraction unit can easily cut out the image of the medicine region.
  • the image acquisition unit acquires, as the plurality of first images, three or more images with different illumination directions and an image in a state where the display is turned off, and the drug
  • the identification device includes a generation unit that subtracts the images with the display turned off from the three or more images to generate a plurality of first images in which the influence of ambient light is removed.
  • the display is a display having a polarizing plate
  • the camera has a polarization direction of 90 degrees with respect to the polarization direction of the light emitted from the display in front of the taking lens.
  • Different polarizing plates are preferably installed. This makes it possible to capture an image from which the specular reflection component has been removed.
  • the drug identifying unit includes a feature amount calculating unit that calculates a feature amount of the second image, and a drug among registered drugs based on the feature amount of the second image. It is preferable to have an inference unit that infers which one is closer.
  • the feature amount calculation unit and the inference unit use the second image corresponding to the registered drug and the drug identification information for identifying the registered drug as teacher data, It is preferable to be configured by a learned convolutional neural network that has been learned for each.
  • the drug identification unit identify the drug by template matching between the image of the registered drug narrowed down by the inference by the inference unit and the second image.
  • the tray also serves as a protective cover that protects the camera-equipped mobile terminal.
  • the invention is a drug identification device for identifying a drug to be identified based on an image taken by a camera-equipped mobile terminal, wherein the camera-equipped mobile terminal has a camera on the same side as the display.
  • the light emitting area of the display is changed to illuminate the drug placed on the tray.
  • the direction is changed a plurality of times, and the medicines having different illumination directions are photographed by a camera a plurality of times by changing the light emitting area of the display to acquire a plurality of first images of the medicine.
  • An image receiving unit that receives the first image, a standardization unit that normalizes the plurality of first images based on the indices included in the plurality of first images, and a medicine from the plurality of first images after the standardization.
  • An image extraction unit that extracts an image of a region, an image processing unit that generates a second image that has been subjected to an emphasis process for emphasizing the marking or the printing attached to the medicine based on the extracted images of the plurality of medicine regions,
  • a drug identifying unit for identifying a drug based on the generated second image.
  • the invention according to yet another aspect is a drug identification method for identifying a drug to be identified placed on a tray having an index used for standardizing the size and shape of the drug, wherein the display control unit includes a display and The first step of changing the light emitting area of the display of the camera-equipped mobile terminal having the camera on the same side, and changing the illumination direction of the medicine placed on the tray a plurality of times; The second step of capturing a plurality of first images of the medicine by photographing the medicine with a different illumination direction by the camera by changing the above, and the normalization unit makes a plurality of images based on the index shown in the plurality of first images.
  • the third step of normalizing each first image of the above, the fourth step of the image extracting unit extracting each image of the drug region from the plurality of standardized first images, and the image extracting unit extracted A fifth step of generating a second image subjected to an emphasizing process for emphasizing markings or prints on the medicine based on the images of the plurality of medicine regions, and the medicine identifying section based on the generated second image.
  • a sixth step of identifying the drug is
  • the fifth step is to acquire a plurality of edge images from the extracted images of the plurality of drug regions by using edge extraction filters in directions corresponding to the respective illumination directions.
  • the tray has a grid-shaped partition of known size and shape, and the drug is mounted on the mounting surface partitioned by the grid-shaped partition, It is preferable that the grid-shaped partition also serves as an index.
  • At least one of hue, lightness, and saturation is one or a plurality of colors on the placement surface of the drug partitioned by the grid-shaped partition of the tray. It is preferable that each mounting surface is different.
  • the second step acquires and generates, as the plurality of first images, three or more images with different illumination directions and an image with the display turned off. It is preferable that the section includes a step of subtracting an image in a state where the display is turned off from each of the three or more images to generate a plurality of first images in which the influence of the ambient light is removed.
  • the 5 steps identify the drug based on the second images generated for the drug before the inversion and the drug after the inversion, respectively.
  • the invention according to still another aspect is a program installed in a camera-equipped mobile terminal that constitutes the above-mentioned drug identification system, and upon receiving an instruction input for drug identification, changes the light-emitting area of the display and places it on the tray.
  • Display control function to change the illumination direction to the placed medicine multiple times, and image acquisition to take multiple first images of the medicine by photographing the medicine with different illumination directions by the camera multiple times by changing the light emitting area of the display
  • the functions and are realized in a mobile terminal with a camera.
  • a standardization function for standardizing each of the plurality of first images based on an index appearing in the plurality of first images, and a plurality of standardized first images
  • An image extracting function for extracting an image of each drug region and an image processing function for generating a second image subjected to an emphasis process for emphasizing a marking or a print attached to a drug based on the extracted images of a plurality of drug regions It is preferable that the mobile terminal with a camera realizes the medicine identification function of identifying the medicine based on the generated second image.
  • the image can be displayed based on the indicator shown in the image. Normalization can be performed.
  • the display on the same side as the camera as the illumination means and by changing the light emitting area of the display in particular, it is possible to use the camera to capture drugs with different illumination directions for the drugs placed on the tray.
  • the image (second image) in which the marking or printing on the medicine is emphasized is generated based on the plurality of images (first image) captured in different illumination directions, the medicine can be satisfactorily displayed by the second image. Can be identified.
  • FIG. 1 is a system configuration diagram showing an embodiment of a drug identification system according to the present invention.
  • FIG. 2 is an external view of a smartphone that constitutes the drug identification system shown in FIG.
  • FIG. 3 is a block diagram showing an internal configuration of the smartphone shown in FIG.
  • FIG. 4 is a principal block diagram showing the electrical configuration of the medicine identification system shown in FIG.
  • FIG. 5 is a diagram showing a configuration of a tray constituting the medicine identification system shown in FIG. 1 and a situation in which an image of a medicine placed on the tray is photographed by a smartphone.
  • FIG. 6 is a diagram showing a light emitting area of the display controlled when the medicine placed on the tray is photographed five times.
  • FIG. 1 is a system configuration diagram showing an embodiment of a drug identification system according to the present invention.
  • FIG. 2 is an external view of a smartphone that constitutes the drug identification system shown in FIG.
  • FIG. 3 is a block diagram showing an internal configuration of the smartphone shown in FIG.
  • FIG. 4 is
  • FIG. 7 is a block diagram showing a standardization unit, an image extraction unit, and an image processing unit of the server shown in FIG.
  • FIG. 8 is a diagram showing an example of five standardized first images.
  • FIG. 9 is a schematic diagram of a cross-sectional structure of a drug taken along an xy plane that passes through the center of the drug.
  • FIG. 10 is a diagram showing an example of a Sobel filter used for edge extraction in the edge image generation unit.
  • FIG. 11 is a diagram showing an outline of the drug identifying process by the drug identifying unit of the first embodiment of the drug identifying unit shown in FIG.
  • FIG. 12 is a functional block diagram showing the main functions of the medicine identifying section of the first embodiment.
  • FIG. 13 is a block diagram showing a medicine identifying section according to the second embodiment.
  • FIG. 14 is a diagram showing another embodiment of the tray used in the medicine identifying system according to the present invention.
  • FIG. 15 is a flowchart showing an embodiment of the drug identifying method according
  • FIG. 1 is a system configuration diagram showing an embodiment of a drug identification system according to the present invention.
  • the drug identification system includes a tray 10, a smartphone 100 that is a camera-equipped mobile terminal, and a server 200 that functions as a drug identification device.
  • the smartphone 100 and the server 200 are connected to the Internet, a LAN ( It is connected for data communication via network 2 such as Local Area Network).
  • the tray 10 is one on which one or more drugs 20 to be identified are placed, and has an index used for standardizing the size and shape of the drug, as described later. Further, it is preferable that the tray 10 also serves as a protective cover that protects the smartphone 100.
  • the smartphone 100 has a camera (in-camera) on the same surface side as the display, and photographs the drug 20 on the tray 10 with the camera.
  • the smartphone 100 transmits the captured image of the medicine 20 to the server 200 via the network 2.
  • the server 200 identifies the medicine 20 based on the image of the medicine 20 uploaded from the smartphone 100, and uses the identification result (for example, medicine identification information including a medicine name, a product name, an abbreviation or a combination thereof) as a medicine. It transmits to the smart phone 100 which transmitted 20 images.
  • the identification result for example, medicine identification information including a medicine name, a product name, an abbreviation or a combination thereof.
  • identification code information for identifying the type of drug is attached to the surface of the drug (tablet).
  • This identification code information is generally attached by engraving or printing (printing).
  • the server 200 uses the identification code information attached to the medicine to improve the medicine's identification power. The details will be described later.
  • the engraved mark on the medicine means that the identification code information is formed by forming a groove, which is a depressed area, on the surface of the medicine.
  • the grooves are not limited to those formed by digging the surface, and may be formed by pressing the surface.
  • the marking may include a marking line or the like that does not have an identification function.
  • the printing attached to the medicine means that the identification code information is formed by applying edible ink or the like to the surface of the medicine in contact or non-contact.
  • identification code information is formed by applying edible ink or the like to the surface of the medicine in contact or non-contact.
  • printed is synonymous with “printed”.
  • the smartphone 100 shown in FIG. 2 has a flat housing 102, and a display panel 121 as a display unit and an operation panel 122 as an input unit are integrally formed on one surface of the housing 102.
  • Display 120 is provided.
  • the display panel 121 is composed of a liquid crystal panel, and the display 120 of this example is a liquid crystal display.
  • the case 102 also includes a speaker 131, a microphone 132, an operation unit 140, and a camera unit 141.
  • the camera unit 141 is a camera (in-camera) provided on the same surface side as the display 120.
  • the smartphone 100 includes a camera (out-camera) (not shown) on the back surface of the housing 102, not on the front surface of the housing 102 on which the display 120 is provided. Note that another lens (adapter lens for short-distance shooting) may be attached in front of the lens of the camera unit 141.
  • FIG. 3 is a block diagram showing an internal configuration of the smartphone 100 shown in FIG.
  • the smartphone 100 has, as main components, a wireless communication unit 110, a display 120, a call unit 130, an operation unit 140, a camera unit 141, a storage unit 150, and an external input/output unit 160.
  • An (output unit), a GPS (global positioning system) receiving unit 170, a motion sensor unit 180, a power supply unit 190, and a main control unit 101 are provided.
  • a wireless communication function for performing mobile wireless communication via a base station device and a mobile communication network is provided as a main function of the smartphone 100.
  • the wireless communication unit 110 performs wireless communication with a base station device connected to the mobile communication network according to an instruction from the main control unit 101.
  • the wireless communication is used to transmit and receive various file data such as voice data and image data and electronic mail data, and receive web data and streaming data.
  • the display 120 is a so-called touch panel display including an operation panel 122 arranged on the screen of the display panel 121, and displays images (still images and moving images) and character information under the control of the main control unit 101. Information is visually transmitted to the user, and a user operation for the displayed information is detected.
  • the display panel 121 uses an LCD (Liquid Crystal Display) as a display device.
  • the display panel 121 is not limited to the LCD and may be, for example, an OLED (organic light emitting diode).
  • the operation panel 122 is a device that is provided in a state in which an image displayed on the display surface of the display panel 121 is visible and that detects one or more coordinates operated by a user's finger or stylus.
  • the operation panel 122 outputs a detection signal generated due to the operation to the main control unit 101.
  • the main control unit 101 detects the operation position (coordinates) on the display panel 121 based on the received detection signal.
  • the call unit 130 includes a speaker 131 and a microphone 132, converts a user's voice input through the microphone 132 into voice data that can be processed by the main control unit 101, and outputs the voice data to the main control unit 101, or a wireless communication unit.
  • the audio data received by 110 or the external input/output unit 160 is decoded and output from the speaker 131.
  • the operation unit 140 is a hardware key using a key switch or the like, and receives an instruction from the user.
  • the operation unit 140 is mounted on the side surface of the housing 102 of the smartphone 100, and is switched on when pressed by a finger or the like, and switched off by a restoring force such as a spring when the finger is released. It is a push button type switch that is in a state.
  • the storage unit 150 includes control programs and control data for the main control unit 101, address data associated with names and telephone numbers of communication partners, sent/received e-mail data, web data downloaded by web browsing, and downloaded contents. It stores data and the like, and also temporarily stores streaming data and the like.
  • the storage unit 150 includes an internal storage unit 151 and an external storage unit 152 having a detachable external memory slot.
  • Each of the internal storage unit 151 and the external storage unit 152 constituting the storage unit 150 is a flash memory type, a hard disk type, a multimedia card micro type, a card type memory, a RAM (Random Access Memory), or a ROM (Read). It is realized using a storage medium such as Only Memory).
  • the external input/output unit 160 plays a role of an interface with all external devices connected to the smartphone 100, and performs communication (eg, USB (Universal Serial Bus), IEEE 1394, etc.) or network (eg, wireless LAN (Local Area Area)). Network) or Bluetooth (registered trademark) to directly or indirectly connect to another external device.
  • communication eg, USB (Universal Serial Bus), IEEE 1394, etc.
  • network eg, wireless LAN (Local Area Area)).
  • Bluetooth registered trademark
  • the GPS receiving unit 170 receives the GPS signals transmitted from the GPS satellites ST1, ST2 to STn according to the instruction of the main control unit 101, executes the positioning calculation process based on the plurality of received GPS signals, and outputs the latitude of the smartphone 100. , Position information (GPS information) specified by the longitude and altitude is acquired.
  • GPS information GPS information
  • the GPS receiving unit 170 can acquire position information from the wireless communication unit 110 and/or the external input/output unit 160 (for example, wireless LAN), the GPS receiving unit 170 can also detect the position using the position information.
  • the motion sensor unit 180 includes, for example, a 3-axis acceleration sensor, and detects a physical movement of the smartphone 100 according to an instruction from the main control unit 101. By detecting the physical movement of the smartphone 100, the moving direction and acceleration of the smartphone 100 are detected. The result of the detection is output to the main control unit 101.
  • the power supply unit 190 supplies power stored in a battery (not shown) to each unit of the smartphone 100 according to an instruction from the main control unit 101.
  • the main control unit 101 includes a microprocessor, operates according to control programs and control data stored in the storage unit 150, and controls each unit of the smartphone 100 in an integrated manner.
  • the main control unit 101 includes a mobile communication control function for controlling each unit of the communication system and a software processing function for performing voice communication and data communication through the wireless communication unit 110.
  • the software processing function is realized by the main control unit 101 operating according to the software stored in the storage unit 150.
  • the software processing function for example, an e-mail function of transmitting and receiving e-mail by controlling the external input/output unit 160, a web browsing function of browsing a web page, and the drug identification system according to the present invention are used. There are functions for this.
  • the function for using the drug identification system according to the present invention is achieved by downloading the corresponding software (the program according to the present invention) from the server 200 functioning as a drug identification device or the site of a business operator operating the server 200. Can be realized.
  • the main control unit 101 has an image processing function such as displaying an image on the display 120 based on image data (still image or moving image data) such as received data or downloaded streaming data.
  • image data still image or moving image data
  • the main control unit 101 executes display control for the display 120 and operation detection control for detecting a user operation through the operation unit 140 or the operation panel 122.
  • the camera unit 141 converts the image data obtained by imaging into compressed image data such as JPEG (Joint Photographic Experts Group), and records the image data in the storage unit 150, It can be output through the external input/output unit 160 or the wireless communication unit 110.
  • compressed image data such as JPEG (Joint Photographic Experts Group)
  • the camera unit 141 can be used for various functions of the smartphone 100. In this example, when identifying a drug, it is used to image the drug. The image from the camera unit 141 can also be used in software.
  • FIG. 4 is a principal block diagram showing the electrical configuration of the drug identification system.
  • the main control unit 101 of the smartphone 100 has a program (application) according to the present invention installed, and by executing this application, it functions as a display control unit 101A, an image acquisition unit 101B, and a communication control unit 101C.
  • the display control unit 101A controls the display 120 as an illuminating unit at the time of photographing a medicine, and in particular, changes the light emitting area of the display 120 a plurality of times to change the illuminating direction to the medicine 20 placed on the tray 10. ..
  • the image acquisition unit 101B acquires multiple images (first images) of the drug from the camera unit 141 by causing the camera unit 141 to take multiple shots of the drug 20 having different illumination directions by changing the light emitting area of the display 120.
  • the communication control unit 101C transmits the plurality of first images acquired by the image acquisition unit 101B to the server 200 via the wireless communication unit 110 and the network 2, and the medicine identified by the server 200 based on the plurality of first images.
  • the identification result of 20 is acquired via the network 2 and the wireless communication unit 110.
  • FIG. 5 is a diagram showing a configuration of the tray 10 and a situation in which the smartphone 20 photographs the medicine 20 placed on the tray 10.
  • the tray 10 has a mounting surface 12 (in this example, a rectangular mounting surface that is the background of the medicine) 12 on which the medicine 20 is mounted, and is used for standardizing the size and shape of the medicine.
  • Indicators four indicators 14A, 14B, 14C, and 14D are provided.
  • the mounting surface 12 has a specific background color (a color different from the color of the medicine) or a specific fine color in order to easily extract (cut out) an image of an area (medicine area) corresponding to the medicine from the photographed image. It is preferable to have a background pattern.
  • the background color of the medicine is preferably different in at least one of hue, lightness and saturation of the medicine color.
  • the four indices 14A, 14B, 14C, and 14D have known mutual positional relationships. Instead of the four indexes 14A, 14B, 14C and 14D, for example, information relating to the shape of the mounting surface 12 (coordinates of four corners of the rectangular mounting surface 12 and lengths of four sides) is used as an index. can do.
  • the position and orientation of the smartphone 100 so that the four indicators 14A, 14B, 14C and 14D are within the photographing range of the camera unit 141. It is necessary to decide and shoot. It is preferable that the image is taken in a position and posture in which the drug 20 is directly faced and the size of the drug 20 is large. It just needs to fit.
  • the display 120 on the same side as the camera unit 141 is used as an illumination means, and the tray 10 on which the medicine 20 is placed by the camera unit 141 is used. It is photographed a plurality of times (five times in this example).
  • FIG. 6 is a diagram showing a light emitting area of the display 120 which is controlled when the medicine 20 placed on the tray 10 is imaged five times.
  • the display control unit 101A causes the light emitting area of the display 120 to move to the time t as shown in FIG. 1 , the time t 2 , the time t 3 , the time t 4 , and the time t 5 are changed in accordance with the five photographing timings.
  • the display 120 is turned off, and the medicine 20 is photographed in a state where only the ambient light 30 (FIG. 5) becomes the illumination light.
  • the display 120 of this example is a liquid crystal display that uses a liquid crystal panel as the display panel 121, turning off the display 120 means minimizing the amount of light transmitted through the entire liquid crystal panel (displaying black).
  • the photographing timing of the time t 2 the light-emitting region of the display 120, the left half of the display 120, imaging agents 20 is performed in a state where the illumination light are mixed from ambient light 30 and the display 120 .
  • setting the light emitting area of the display 120 to the left half of the display 120 means increasing the amount of transmitted light in the left half of the liquid crystal panel (preferably maximum) and minimizing the amount of light transmission in the right half.
  • the light emitting area of the display 120 is the right half of the display 120
  • the shooting timing at time t 4 the light emitting area of the display 120 is the upper half of the display 120.
  • the imaging timing of 5 the light emitting area of the display 120 is set to the lower half of the display 120, and the medicine 20 is imaged at each imaging timing.
  • Image acquisition unit 101B the time t 1, time t 2, the time t 3, time t 4, the camera unit 141 is a shooting operation with 5 shoots timing of time t 5, were taken the drug 20 from the camera unit 141 5 Acquire a first image of a sheet. Since the light emitting areas of the display 120 at time t 2 , time t 3 , time t 4 , and time t 5 are the left half, the right half, the upper half, and the lower half of the display 120, respectively, the medicine 20 is illuminated from the display 120. The light has different illumination directions. In addition, in the first image obtained by photographing the medicine 20 irradiated with the illumination light having different illumination directions, when the medicine 20 is engraved with uneven brightness, the first image is uneven. The appearance of the engraved shadow is different.
  • the time interval between each shooting timing is short so that the change in the position and orientation of the camera unit 141 during the five shootings is minimized.
  • the display 120 is a liquid crystal display having a polarizing plate
  • the illumination light emitted from the display 120 is polarized light corresponding to the polarizing plate. Therefore, it is preferable to install a polarizing plate (polarization filter) having a polarization direction different by 90 degrees with respect to the polarization direction of the light emitted from the display 120, in front of the taking lens of the camera unit 141.
  • a polarizing plate polarization filter
  • the camera unit 141 can capture the first image from which the specular reflection component has been removed.
  • the medicine 20 When the medicine 20 is engraved or printed, it is preferable to place the medicine 20 on the tray 10 so that the surface on which the engraved or printed medicine is placed faces up. If both sides of the medicine 20 are marked or printed, the medicine 20 should be placed on the tray 10 so that the surface marked or marked with a high function as identification code information faces up. Is preferred.
  • the server 200 shown in FIG. 4 functions as a drug identification device, and mainly includes a communication unit 210, a CPU (Central Processing Unit) 220, a normalization unit 230, an image extraction unit 240, a drug DB (database) 250, and a memory 260.
  • the image processing section 270 and the medicine identifying section 280 are mainly included in the communication unit 210, a CPU (Central Processing Unit) 220, a normalization unit 230, an image extraction unit 240, a drug DB (database) 250, and a memory 260.
  • the image processing section 270 and the medicine identifying section 280 are examples of the medicine identifying section.
  • the CPU 220 is a unit that integrally controls each unit of the server 200, and the communication unit 210 that functions as an image reception unit that receives a plurality of first images transmitted from the smartphone 100, and a standard for the plurality of received first images.
  • Each processing is executed by the conversion unit 230, the image extraction unit 240, the image processing unit 270, and the medicine identification unit 280. Then, the CPU 220 transmits the drug identification result to the smartphone 100 that has transmitted the first image via the communication unit 210.
  • the drug DB 250 is a part that registers and manages drug images (drug images on the front and back sides of the drug) in association with drug identification information such as the name of the drug.
  • the drug image of the drug (registered drug) registered in the drug DB 250 is used as teacher data when learning a machine learning device that classifies which registered drug is closer to the registered drug. Alternatively, it is used as a template image when identifying the drug to be identified by template matching with the image of the drug to be identified.
  • the memory 260 includes a storage unit in which a program for providing a drug identification service is stored, and a unit serving as a work area of the CPU 220.
  • FIG. 7 is a block diagram showing the normalization unit 230, the image extraction unit 240, and the image processing unit 270 of the server 200 shown in FIG.
  • the five first images 50 taken by changing the light emitting area of the display 120 are added to the normalization unit 230, and are standardized into images that do not depend on the position and orientation of the camera unit 141.
  • the first image 50 shows the four indicators 14A, 14B, 14C and 14D attached to the tray 10 shown in FIG.
  • the normalization unit 230 obtains the coordinates of the four indices 14A, 14B, 14C, 14D in the first image 50 and the coordinates of the four indices 14A, 14B, 14C, 14D and the four indices whose mutual positional relationships are known.
  • the projective transformation parameter is obtained from the relationship with 14A, 14B, 14C and 14D.
  • the standardization unit 230 standardizes the shape of the first image 50 (medicine 20) by projectively converting the first image 50 using the obtained projective conversion parameter. Moreover, since the actual sizes of the four indicators 14A, 14B, 14C, and 14D are also known, the size of the medicine 20 can be standardized.
  • FIG. 8 an example of the five standardized first images is shown in FIG. Note that, in FIG. 8, a part of the first image including the image of the medicine 20 is illustrated for the sake of simplicity.
  • the four first images G L , G R , G U, and G D illuminate the left half, right half, upper half, and lower half of the display 120 and illuminate the illumination light from the display 120, respectively.
  • the first image G A is an image captured in different directions, and the first image G A is an image captured with the display 120 turned off.
  • the normalization unit 230 subtracts the first image G A in the state where the display 120 is turned off from the four first images G L , G R , G U, and G D in which the illumination direction of the display 120 is different, to determine the environment. It includes a generation unit that generates four first images G L , G R , G U and G D from which the influence of light is removed.
  • the four first images G L , G R , G U, and G D from which the influence of ambient light has been removed by this generation unit are images that are illuminated only by the illumination light of the display 120, so the normalization unit 230 , By adjusting the white balance of the four first images G L , G R , G U, and G D with the white balance gain corresponding to the color temperature (known color temperature) of the illumination light of the display 120, the fourth image.
  • the color of one image G L , G R , G U and G D is made to match the original color of the drug 20.
  • white balance adjustment is performed so that a known color of the tray 10 (for example, the color of the area where the four indexes 14A, 14B, 14C, and 14D are provided, preferably white) can be reproduced.
  • the influence of ambient light may be removed or reduced. In this case, it is not necessary to acquire the first image G A with the display 120 turned off.
  • the four first images G L , G R , G U, and G D in which the size and shape of the medicine 20 are standardized by the normalization unit 230 and the influence of ambient light is removed or reduced are displayed in the image extraction unit 240. Is output.
  • the image extraction unit 240 extracts (cuts out) images of the drug region from the four standardized first images G L , G R , G U, and G D , respectively. As shown in FIG. 5, the image extraction unit 240 uses the background color of the mounting surface 12 on which the medicine 20 of the tray 10 is mounted, or the background pattern of the mounting surface 12 to appropriately select the image of the medicine region. Can be cut into
  • the four images G L , G R , G U , and G D which are cut out by the image extraction unit 240 and have different shadows of the marking S, are added to the image processing unit 270.
  • the edge image generation unit 274 of the image processing unit 270 provides an edge extraction filter (for example, a Sobel filter) in each of the four images G L , G R , G U , and G D in a direction corresponding to the irradiation direction of the illumination light. Used to generate four edge images.
  • an edge extraction filter for example, a Sobel filter
  • FIG. 9 is a schematic diagram of a cross-sectional structure of the drug T cut in an xy plane passing through the center of the drug T, showing a profile of a line for one pixel.
  • the drug T on FIG. 7 has a diameter D, and the surface thereof is provided with a marking S which is a secant consisting of a groove having a V-shaped cross section.
  • the width of the groove of the marking S is W.
  • the width of the groove of the marking S is the distance from one end of the groove to the other end in the direction orthogonal to the extending direction of the groove, and refers to the distance on the surface of the drug T.
  • the light emission area of the display 120 is the left half and the medicine T is illuminated by the illumination light L L of the light emission area
  • the light emission area of the display 120 is the right half and the medicine is illuminated by the illumination light L R of the light emission area. The way the shadow of the marking S appears is different from when T is illuminated.
  • the medicine T is illuminated with the illumination light L L
  • the right side surface S R of the marking S is illuminated with the illumination light L L
  • the left side surface S L of the marking S is illuminated with the illumination light L L.
  • the shadow disappears on the left surface S L of the marking S.
  • the illumination light L If L is to illuminate the drug T illumination light L R in the opposite direction, but the surface S L of the left stamp S is illumination light L R is irradiated, the right side of the engraved S S
  • the illumination light L R is not emitted to R, and a shadow is generated on the surface S R on the right side of the marking S.
  • FIG. 10 is a diagram showing an example of a Sobel filter used for edge extraction in the edge image generation unit 274.
  • the Sobel filter F L is used when edge extraction is performed from the image G L of the medicine T irradiated with the illumination light L L from the left direction, and the Sobel filter F R is illuminated with the illumination light L R from the right direction. It is used when edge extraction is performed from the image G R of the drug T thus obtained.
  • the kernel sizes of the Sobel filters F L and F R shown in FIG. 10 are 3 pixels in the x-axis direction ⁇ 3 pixels in the y-axis direction in this example, but are not limited to this, and change depending on the resolution of the camera unit 141.
  • the kernel size of the Sobel filters FL and FR is preferably larger than half the width W (the number of pixels) of the marking S. For example, if the number of pixels in the width of the groove of the stamp S is 4, a Sobel filter having a size larger than 2 pixels, which is half the width, is used.
  • the groove is accurately extracted, and information other than the marking such as the surface pattern and scratches smaller than the width of the groove is reduced. be able to.
  • the method of deriving the filter size and filter coefficient of the Sobel filter is described in http://sssiii.seesaa.net/article/368842002.html.
  • Edge image generation unit 274 an image G L, respectively Sobel against G R filter F L, using the F R, the image G L, and generates an edge image corresponding to the G R.
  • the edge image generation unit 274 sets the light emitting area of the display 120 to the upper half, and the image G U of the medicine T irradiated with illumination light from above and the light emitting area of the display 120 to the lower half.
  • the edge image is generated by using the Sobel filter according to the direction of the illumination light as in the above.
  • the filter used for the edge extraction filter processing in the edge image synthesis unit 272 is not limited to the Sobel filter, and a Laplacian filter, a Canny filter, or the like can be used.
  • the edge image generation unit 274 outputs the four edge images generated for the four images G L , G R , G U , and G D to the edge image synthesis unit 272 of the image processing unit 270.
  • the four images G L , G R , G U , and G D from the image extraction unit 240 are added to the other input of the edge image synthesis unit 272, and the edge image synthesis unit 272 uses, for example, four images.
  • One image of G L , G R , G U , and G D is selected, the uneven brightness of the selected one image is detected, and the uneven brightness of the selected image is corrected based on the detected uneven brightness.
  • the edge image synthesizing unit 272 synthesizes the four edge images generated by the edge image synthesizing unit 272 with the image having less uneven brightness.
  • the image processing unit 270 can generate the image (second image) 60 in which the emphasizing process for emphasizing the marking is performed on the image of the medicine with less uneven brightness due to the illumination light.
  • FIG. 11 is a diagram showing an outline of a drug identifying process by the drug identifying unit 280-1 of the first embodiment of the drug identifying unit 280 shown in FIG.
  • reference numeral 60 is a diagram showing an example of the second image of the medicine in which the marking is emphasized by the image processing unit 270.
  • the drug identifying unit 280-1 infers which of the registered drugs the drug to be identified is based on the second image 60. Deep learning is used for inference. In this example, it is inferred by the drug identifying unit 280-1, and details thereof will be described later.
  • the inference result is output so that it can be visually recognized by the output unit such as a display or printer.
  • the registered drug information (drug identification information and drug image, etc.) can be output in the order close to the drug to be identified (Rank 1, Rank 2, Rank 3, ).
  • FIG. 12 is a functional block diagram showing the main functions of the medicine identifying unit 280-1 of the first embodiment.
  • the medicine identifying unit 280-1 shown in FIG. 12 is configured by a convolutional neural network (CNN) 280-1 that is one mode of a machine learning device, and the medicine to be identified is registered. It is to classify which of the registered drugs (registered drugs) is closer to the registered drug.
  • the CNN 280-1 can be learned in advance by the teacher data corresponding to each registered drug, or can be additionally learned by the teacher data corresponding to the registered drug to be added.
  • the teacher data corresponding to the registered drug is, for example, a drug image on which an image of the registered drug has been subjected to emphasis processing for emphasizing marking or printing, and correct data such as the name of the registered drug.
  • the teacher data used or used for learning is preferably stored in the drug DB 250 (FIG. 4). Further, since the learning method using the teacher data is publicly known, detailed description thereof will be omitted.
  • the CNN 280-1 shown in FIG. 12 is based on the feature amount calculation unit 282 that extracts (calculates) the feature amount of the second image 60 when the second image 60 to be identified is the input image, and the calculated feature amount.
  • the CNN 280-1 has a plurality of layer structures and holds a plurality of weight parameters.
  • the weight parameter is a filter coefficient of a filter called a kernel used for the convolution operation in the convolution layer.
  • the CNN280-1 can change from an unlearned model to a learned model that performs learning for each registered drug by updating the weight parameter from the initial value to the optimum value.
  • the CNN 280-1 includes a plurality of sets (6 sets in this example) including an input layer 280A, a convolutional layer 286A1, a normalization layer 286B1, an activation function activation processing unit 286C1, and a pooling layer 286D1, and all of them.
  • An intermediate layer 280B having a coupling layer 286E1 and an output layer 280C are provided, and each layer has a structure in which a plurality of “nodes” are connected by “edges”.
  • CNN280-1 is not limited to the one illustrated in FIG. 12, and typical learning models such as VGG16 and AlexNet can be applied.
  • the second image 60 of the medicine to be identified is input as an input image to the input layer 280A of the CNN 280-1.
  • the second image 60 is an RGB (Red Green Blue) color image, and is therefore three R images, G images, and B images, and a total of three image sets are input images.
  • the convolutional layers 286A1 to 286A6 play a role of feature extraction such as edge extraction from an image.
  • the convolutional layers 285A1 to 286A6 obtain the “feature map” by filtering the image set input from the input layer 280A and the nearby nodes in the previous layer (performing a convolution operation using the filter). It plays the role of feature extraction such as edge extraction.
  • the first convolutional layer 286A1 performs a convolutional operation on the image set and the filter.
  • the image set has three channels (three) of R image, G image, and B image, for example, in the case of a size 5 filter, the filter size is a filter of 5 ⁇ 5 ⁇ 3.
  • a 1-channel (1 sheet) "feature map” is generated for one filter by the convolution operation using a 5x5x3 filter. Therefore, N filters can be used to generate an N-channel “feature map”.
  • the filter used in the second convolutional layer 285A2 (not shown) is, for example, a size 3 filter
  • the filter size is 3 ⁇ 3 ⁇ N.
  • the normalization layers 286B1 to 286B6 are parts that perform normalization of brightness, contrast, etc. on the input image, and normalize not only the input image but also the "feature map" in the middle of CNN280-1. To do.
  • the activation processing units 286C1 to 286C6 are portions that process an input signal by an activation function (for example, a step function, a sigmoid function, a softmax function), and play a role of adjusting a value to be passed to the next layer.
  • an activation function for example, a step function, a sigmoid function, a softmax function
  • the pooling layer 286D1 reduces the feature map output from the convolutional layer 286A1 (in this example, the activation processing unit 286C1) to form a new feature map.
  • the “pooling layer” plays a role of imparting robustness so that the extracted features are not affected by translation or the like.
  • One or a plurality of fully connected layers 286E1 functioning as the inference unit 284 are weightedly connected to all the nodes of the previous layer (in this example, the feature map output from the activation processing unit 286C6), and the activation function The value (feature variable) converted by is output.
  • the number of nodes is increased, the number of divisions of the feature quantity space is increased and the number of feature variables is also increased.
  • the output layer 280C functioning as the inference unit 284 converts the output (feature variable) from the fully connected layer 286E1 into a probability using a softmax function, and correctly converts the probability into each region (each drug in this example). Classification is performed by maximizing the probability of classification (maximum likelihood estimation method).
  • the final fully-connected layer may be referred to as an output layer.
  • the output layer 280C outputs, to the output unit 288, an inference result indicating which of the registered medicines the second image 60 (input image) of the medicine is closer to, as shown in FIG.
  • the inference result can be output from the output unit 288 as information on registered drugs (drug identification information and drug image, etc.) and their probabilities in the order of closeness to the drug to be identified (Rank 1, Rank 2, Rank 3,... ). it can.
  • the user can use the inference result output from the output unit 288 as support information when auditing and distinguishing the drug to be identified.
  • FIG. 13 is a block diagram showing the medicine identifying section 280-2 according to the second embodiment.
  • the drug identifying unit 280-2 shown in FIG. 13 mainly includes a CNN 280-1 and a template matching unit 289.
  • the result of inference by CNN280-1 is added to the template matching unit 289.
  • the second image 60 to be identified is added to the other input of the template matching unit 289, and the template matching unit 289 narrows down the registered drugs registered in the drug DB 250 based on the inference result by the CNN 280-1.
  • the medicine is identified by template matching between the registered medicine image and the second image 60. For example, clustering is performed on an image of a drug (image of a drug on which marking or printing is emphasized) obtained in advance.
  • the CNN 280-1 infers which class in the cluster the second image 60 to be identified falls in, and the template matching unit 289 performs template matching in that class. As a result, the processing time for template matching can be shortened.
  • FIG. 14 is a diagram showing another embodiment of the tray used in the medicine identifying system according to the present invention.
  • the tray 40 shown in FIG. 14 has a grid-shaped partition, and one drug is placed in each of the nine areas A11, A12, A13, A21, A22, A23, A31, A32, A33 partitioned by the grid-shaped partition. It can be placed.
  • the tray 40 is divided into nine areas A11 to A33 by a grid-like partition, but the number of areas partitioned by the partition is not limited to this.
  • the size and shape of the grid-shaped partition of the tray 40 are known. That is, the grid-shaped partition of which size and shape are known also serves as an index used for standardizing the size and shape of the drug, like the indexes 14A to 14D shown in FIG.
  • the color of the drug placement surface of the nine areas A11 to A33 divided by the partition at least one of hue, lightness, and saturation is different for each one or more placement surfaces.
  • the medicine 20 may be placed on the placing surface having a color different from the color of the medicine 20 to be identified. preferable.
  • a mounting surface with a high concentration of black or the like for a chemical with a low concentration of white or the like it is preferable to select a mounting surface with a high concentration of black or the like for a chemical with a low concentration of white or the like. This is because it is easy to cut out the image of the medicine region corresponding to the medicine 20 from the image captured by the camera unit 141.
  • this tray 40 has the placement surfaces of the nine areas A11 to A33, it is possible to place a plurality of (up to nine) medicines at the same time, and these plurality of medicines are stored in the camera unit 141 of the smartphone 100. You can shoot at the same time.
  • both sides of the medicine are marked or printed, when the photographing of one side of the medicine placed on the tray 40 is completed, the medicine on the tray 40 is inverted and the other surface of the medicine is reversed. It is preferable to take a picture. It is preferable to identify the drug based on a second image generated from a plurality of images of the drug before inversion and a second image generated from a plurality of drugs of the drug after inversion. According to this, the marking or printing information provided on both sides of the medicine can be used for identifying the medicine, and the accuracy of identifying the medicine can be improved.
  • the method of photographing a drug by the smartphone 100 and the method of processing an image of the photographed drug can be performed in the same manner as in the case of photographing a single drug, and therefore detailed description thereof will be omitted here.
  • FIG. 15 is a flowchart showing an embodiment of the medicine identifying method according to the present invention, and shows the processing procedure of each unit of the medicine identifying system shown in FIG.
  • the user mounts the drug 20 to be identified on the mounting surface 12 (FIG. 5) of the tray 10. Then, the user operates the smartphone 100 and causes the smartphone 100 to perform photographing of the medicine 20.
  • the display control unit 101A of the smartphone 100 turns off the display 120, and the image acquisition unit 101B causes the camera unit 141 to photograph the drug 20 with the display 120 turned off, and only ambient light is emitted.
  • An image (first image) of the medicine 20 is acquired (step S10).
  • the display control unit 101A sequentially changes the light emission area of the display 120 (first step), and the image acquisition unit 101B causes the camera unit 141 to make a plurality of medicines 20 having different illumination directions by changing the light emission area of the display 120.
  • the image is captured once (four times in this example) and four images (first image) are acquired (second step S12).
  • the communication control unit 101C of the smartphone 100 changes the illumination direction by changing the light emitting area of the display 120 acquired in the second step S1 and the one first image captured in the state where the display 120 acquired in step S10 is turned off.
  • Four different first images 50 (a total of five first images) 50 are transmitted to the server 200.
  • the normalization unit 230 of the server 200 obtains the coordinates of the four indexes 14A, 14B, 14C, 14D in the plurality of first images, and the coordinates of the four indexes 14A, 14B, 14C, 14D and the mutual positional relationship are known.
  • the shapes and sizes of the plurality of first images (medicine 20) are standardized based on the relationship with the four indices 14A, 14B, 14C, and 14D (3rd step S14).
  • the normalizing unit 230 selects a plurality of (four in this example) first images G L , G R , G U, and G D having different illumination directions of the display 120 from each other in a state where the display 120 is turned off.
  • One image G A is subtracted to generate a plurality of first images from which the influence of ambient light has been removed.
  • the image extraction unit 240 extracts (cuts out) the first images G L , G R , G U , and G D of the drug region from the standardized plurality (four in this example) of the first images (fourth). Step S16).
  • the edge image generation unit 274 of the image processing unit 270 uses the Sobel filter corresponding to the illumination direction of the illumination light on each of the plurality of images G L , G R , G U , and G D to generate an edge image. Is generated (step S18).
  • the edge image synthesizing unit 272 selects one of the plurality of images G L , G R , G U , and G D , detects luminance unevenness of the selected one image, and based on the detected luminance unevenness. By performing the brightness unevenness correction processing for correcting the brightness unevenness of the image selected by selecting the image, an image with less brightness unevenness is generated. Then, the edge image synthesizing unit 272 synthesizes the plurality of edge images generated in step S18 with the image with less uneven brightness to generate a synthesized image (second image) (fifth step S20).
  • the drug identifying unit 280 identifies the drug 20 to be identified based on the generated second image (sixth step S22).
  • the drug identifying unit 280 visually outputs an inference result indicating which of the registered drugs the second image of the drug (input image) is closer to, by the learned CNN 280-1, and the template matching unit 289.
  • the medicine is identified by template matching between the image of the registered medicine narrowed down based on the inference result and the second image, and the identification result is visually output.
  • images of four different medicines are taken from the illumination direction by changing the light emitting area of the display.
  • the plurality of images having different illumination directions is not limited to four and may be three or more.
  • the change of the light emitting area of the display is not limited to the left half, right half, upper half and lower half of the display. Good.
  • the drug identification device is not limited to a server, and may be any device that can communicate with a mobile terminal with a camera represented by a smartphone.
  • the hardware structure of the drug identification device is the following various processors.
  • the circuit configuration can be changed after manufacturing the CPU (Central Processing Unit), FPGA (Field Programmable Gate Array), etc., which are general-purpose processors that execute software (programs) and function as various control units.
  • CPU Central Processing Unit
  • FPGA Field Programmable Gate Array
  • a dedicated electrical circuit that is a processor that has a circuit configuration specifically designed to execute specific processing such as a programmable logic device (PLD) that is a standard processor, and an ASIC (Application Specific Integrated Circuit) Be done.
  • PLD programmable logic device
  • ASIC Application Specific Integrated Circuit
  • One processing unit may be configured by one of these various processors, or may be configured by two or more processors of the same type or different types (for example, a plurality of FPGAs or a combination of CPU and FPGA). May be.
  • the plurality of control units may be configured by one processor.
  • a plurality of control units with one processor, firstly, as represented by a computer such as a client or a server, one processor is configured with a combination of one or more CPUs and software. There is a form in which the processor functions as a plurality of control units.
  • SoC system-on-chip
  • a processor that realizes the functions of the entire system including a plurality of control units by one IC (Integrated Circuit) chip is used.
  • the various control units are configured using one or more of the above various processors as a hardware structure.
  • the camera-equipped mobile terminal has a function of capturing a plurality of images with different illumination directions. It may have the function of the image processing unit) or may have all the functions of the medicine identifying device. In the latter case, a medicine identification device separate from the camera-equipped mobile terminal becomes unnecessary.
  • the method of identifying the medicine by the medicine identifying unit is not limited to the present embodiment, and any method can be used as long as it identifies the medicine based on the image (second image) in which the marking or the print attached to the medicine is emphasized. Any method will do.
  • the present invention is a program that, when installed in a general-purpose camera-equipped mobile terminal, realizes various functions (display control function, image acquisition function, etc.) as the camera-equipped mobile terminal according to the present invention, and the program Includes recorded recording media.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Business, Economics & Management (AREA)
  • Epidemiology (AREA)
  • General Business, Economics & Management (AREA)
  • Medical Preparation Storing Or Oral Administration Devices (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

カメラ付き携帯端末を使用した簡易な装置により薬剤を良好に識別することができる薬剤識別システム、薬剤識別方法及びプログラムを提供する。ディスプレイと同じ面側にカメラを有するスマートフォン（１００）は、ディスプレイの発光領域を変更し、薬剤のサイズ及び形状の規格化に使用する指標を有するトレー（１０）に載置された薬剤（２０）への照明方向を変更し、照明方向が異なる薬剤（２０）をカメラで撮影する。薬剤識別装置は、撮影により取得した複数の第１画像のサイズ及び形状を、第１画像に写っている指標（１４Ａ－１４Ｄ）に基づいて規格化し、規格化後の複数の第１画像からそれぞれ薬剤領域の画像を抽出する。抽出された複数の薬剤領域の画像に基づいて薬剤（２０）に付された刻印又は印字を強調する強調処理を施した第２画像を生成し、生成した第２画像に基づいて薬剤を識別する。

Description

薬剤識別システム、薬剤識別装置、薬剤識別方法及びプログラム
　本発明は薬剤識別システム、薬剤識別装置、薬剤識別方法及びプログラムに係り、特に識別対象の薬剤を簡易な装置により識別する技術に関する。
　従来、カメラを含むスマートフォン等のモバイル機器を使用して、錠剤（薬剤）の識別のための画像を取得し、取得した画像を元に薬剤を識別するシステムが提案されている（特許文献１）。
　特許文献１に記載の表面（薬剤が載置されるトレーの表面）は、薬剤が載置される矩形の背景の領域と、背景の領域を囲む境界の領域とを有している。背景の領域は、背景と薬剤とを区別できるように高密度の着色チェッカーボードパターンを有し、境界の領域は、色が既知（白）の色特性を有する。また、境界の領域（矩形の背景の４隅に対応する領域）には、４つの既知の対象物（黄色い円）が設けられ、この対象物の中心にはアンカーポイントが設けられている。
　境界領域に付された４つの対象物は、モバイル機器により薬剤を撮影する際に、モバイル機器が予め設定された位置及び姿勢で撮影できるようにユーザを支援する機能を有する。
　モバイル機器の画面には、４つの対象物に対応する対象物の領域が予め表示されており、表示された４つの対象物の領域に、アンカーポイントを有する４つの対象物が適切に位置するようにモバイル機器の位置及び姿勢を決定して薬剤を撮影することで、薬剤のサイズ及び形状を規格化して撮影できるようにしている。
　また、特許文献１に記載のシステムは、境界領域に付されている既知の色に基づいて薬剤に属する画素の色を、理想的な照明条件で撮影された画素の色になるように補正している。
特表２０１５－５３５１０８号公報
　特許文献１には、薬剤の形状、サイズ、色、及びインプリント（刻印又は印字された文字や数字）により薬剤を識別する記載があるが、刻印又は印字を強調する強調処理に関する記載はない。
　また、特許文献１には、カメラ付きのモバイル機器により薬剤の形状及びサイズを規格化して撮影できるように、モバイル機器の位置及び姿勢の調整を支援するシステムが記載されているが、ユーザがモバイル機器の位置及び姿勢を調整して撮影する必要があり、撮影が煩雑であるという問題がある。
　本発明はこのような事情に鑑みてなされたもので、カメラ付き携帯端末を使用した簡易な装置により薬剤を良好に識別することができる薬剤識別システム、薬剤識別装置、薬剤識別方法及びプログラムを提供することを目的とする。
　上記目的を達成するために一の態様に係る発明は、薬剤のサイズ及び形状の規格化に使用する指標を有し、識別対象の薬剤が載置されるトレーと、ディスプレイと同じ面側にカメラを有するカメラ付き携帯端末と、カメラ付き携帯端末により撮影された画像に基づいて薬剤を識別する薬剤識別装置と、から構成された薬剤識別システムであって、カメラ付き携帯端末は、薬剤識別の指示入力を受け付けると、ディスプレイの発光領域を変更し、トレーに載置された薬剤への照明方向を複数回変更するディスプレイ制御部と、ディスプレイの発光領域の変更により照明方向が異なる薬剤をカメラにより複数回撮影させ、薬剤の複数の第１画像を取得する画像取得部と、を備え、薬剤識別装置は、複数の第１画像に写っている指標に基づいて複数の第１画像をそれぞれ規格化する規格化部と、規格化後の複数の第１画像からそれぞれ薬剤領域の画像を抽出する画像抽出部と、抽出された複数の薬剤領域の画像に基づいて薬剤に付された刻印又は印字を強調する強調処理を施した第２画像を生成する画像処理部と、生成された第２画像に基づいて薬剤を識別する薬剤識別部と、を備える。
　本発明の一の態様では、カメラ付き携帯端末は、トレーに設けられた指標とともに、トレーに載置された薬剤を撮影する。薬剤を撮影する場合、カメラと同じ面側のディスプレイを照明手段として使用する。特にディスプレイの発光領域を変更することで、トレーに載置された薬剤への照明方向を複数回変更し、照明方向が異なる薬剤をカメラにより複数回撮影させ、複数の画像（第１画像）を取得する。規格化部は、複数の第１画像に写っている指標に基づいて複数の第１画像をそれぞれ規格化し、これにより撮影時のカメラの位置及び姿勢に依存しない画像にしている。画像抽出部は、規格化後の複数の第１画像からそれぞれ薬剤領域の画像を抽出し、画像処理部は、抽出された複数の薬剤領域の画像に基づいて薬剤に付された刻印又は印字を強調する強調処理を施した画像（第２画像）を生成する。この第２画像によれば、薬剤のサイズ及び形状が分かり、また、薬剤に付された刻印又は印字が強調されているため、薬剤を良好に識別することができる。更に、本発明の一の態様によれば、専用の照明装置やカメラ等が不要であり、簡易な装置により薬剤を識別することができる。
　本発明の他の態様に係る薬剤識別システムにおいて、画像処理部は、抽出された複数の薬剤領域の画像からそれぞれ照明方向に応じた方向のエッジ抽出フィルタを使用して複数のエッジ画像を取得し、複数のエッジ画像を使用して第２画像を生成することが好ましい。
　本発明の更に他の態様に係る薬剤識別システムにおいて、トレーは、サイズ及び形状が既知の格子状の仕切りを有し、格子状の仕切りにより区画された載置面には薬剤が載置され、格子状の仕切りは指標を兼ねる。格子状の仕切りにより区画された複数の載置面に種類の異なる複数の薬剤を載置することで、複数の薬剤を識別するための撮影を同時に行うことができ、また、格子状の仕切りを手掛かりにして薬剤領域の画像を容易に抽出する（切り出す）ことができる。
　本発明の更に他の態様に係る薬剤識別システムにおいて、トレーの格子状の仕切りにより区画された薬剤の載置面の色は、色相、明度及び彩度のうちの少なくとも１つが、１又は複数の載置面毎に異なることが好ましい。薬剤は、その薬剤の色とは、色相、明度及び彩度のうちの１つが異なる載置面を選んで載置することが好ましい。薬剤領域の画像と載置面（背景）とを区別しやすくし、画像抽出部による薬剤領域の画像の切り出しを容易にするためである。
　本発明の更に他の態様に係る薬剤識別システムにおいて、画像取得部は、複数の第１画像として、照明方向が異なる３つ以上の画像とディスプレイを消灯させた状態の画像とを取得し、薬剤識別装置は、３つ以上の画像からそれぞれディスプレイを消灯させた状態の画像を減算し、環境光の影響を除去した複数の第１画像を生成する生成部を備えることが好ましい。これにより、環境光の影響を受けずに、薬剤領域の画像の色を薬剤本来の色に再現することができる。
　本発明の更に他の態様に係る薬剤識別システムにおいて、ディスプレイは、偏光板を有するディスプレイであり、カメラは、撮影レンズの前にディスプレイから出射される光の偏光方向に対して偏光方向が９０度異なる偏光板が設置されることが好ましい。これにより、鏡面反射成分が除去された画像を撮影することができる。
　本発明の更に他の態様に係る薬剤識別システムにおいて、薬剤識別部は、第２画像の特徴量を演算する特徴量演算部と、第２画像の特徴量に基づいて薬剤が登録薬剤のうちのいずれに近いかを推論する推論部とを有することが好ましい。
　本発明の更に他の態様に係る薬剤識別システムにおいて、特徴量演算部及び推論部は、登録薬剤に対応する第２画像と登録薬剤を特定する薬剤識別情報とを教師データとして使用し、登録薬剤毎に学習を行った学習済みの畳み込みニューラルネットワークで構成されることが好ましい。
　本発明の更に他の態様に係る薬剤識別システムにおいて、薬剤識別部は、推論部での推論により絞り込んだ登録薬剤の画像と、第２画像とのテンプレートマッチングにより薬剤を識別することが好ましい。
　本発明の更に他の態様に係る薬剤識別システムにおいて、トレーは、カメラ付き携帯端末を保護する保護カバーを兼ねることが好ましい。
　更に他の態様に係る発明は、カメラ付き携帯端末により撮影された画像に基づいて識別対象の薬剤を識別する薬剤識別装置であって、カメラ付き携帯端末は、ディスプレイと同じ面側にカメラを有し、薬剤のサイズ及び形状の規格化に使用する指標を有するトレーに載置された識別対象の薬剤を撮影する際に、ディスプレイの発光領域を変更し、トレーに載置された薬剤への照明方向を複数回変更し、ディスプレイの発光領域の変更により照明方向が異なる薬剤をカメラにより複数回撮影し、薬剤の複数の第１画像を取得するものであり、カメラ付き携帯端末から薬剤の複数の第１画像を受け付ける画像受付部と、複数の第１画像に写っている指標に基づいて複数の第１画像をそれぞれ規格化する規格化部と、規格化後の複数の第１画像からそれぞれ薬剤領域の画像を抽出する画像抽出部と、抽出された複数の薬剤領域の画像に基づいて薬剤に付された刻印又は印字を強調する強調処理を施した第２画像を生成する画像処理部と、生成された第２画像に基づいて薬剤を識別する薬剤識別部と、を備える。
　更に他の態様に係る発明は、薬剤のサイズ及び形状の規格化に使用する指標を有するトレーに載置された識別対象の薬剤を識別する薬剤識別方法であって、ディスプレイ制御部が、ディスプレイと同じ面側にカメラを有するカメラ付き携帯端末のディスプレイの発光領域を変更し、トレーに載置された薬剤への照明方向を複数回変更する第１ステップと、画像取得部が、ディスプレイの発光領域の変更により照明方向が異なる薬剤をカメラにより複数回撮影させ、薬剤の複数の第１画像を取得する第２ステップと、規格化部が、複数の第１画像に写っている指標に基づいて複数の第１画像をそれぞれ規格化する第３ステップと、画像抽出部が、規格化後の複数の第１画像からそれぞれ薬剤領域の画像を抽出する第４ステップと、画像抽出部が、抽出された複数の薬剤領域の画像に基づいて薬剤に付された刻印又は印字を強調する強調処理を施した第２画像を生成する第５ステップと、薬剤識別部が、生成された第２画像に基づいて薬剤を識別する第６ステップと、を含む。
　本発明の更に他の態様に係る薬剤識別方法において、第５ステップは、抽出された複数の薬剤領域の画像からそれぞれ照明方向に応じた方向のエッジ抽出フィルタを使用して複数のエッジ画像を取得し、複数のエッジ画像を使用して第２画像を生成することが好ましい。
　本発明の更に他の態様に係る薬剤識別方法において、トレーは、サイズ及び形状が既知の格子状の仕切りを有し、格子状の仕切りにより区画された載置面には薬剤が載置され、格子状の仕切りは、指標を兼ねることが好ましい。
　本発明の更に他の態様に係る薬剤識別方法において、トレーの格子状の仕切りにより区画された薬剤の載置面の色は、色相、明度及び彩度のうちの少なくとも１つが、１又は複数の載置面毎に異なることが好ましい。
　本発明の更に他の態様に係る薬剤識別方法において、第２ステップは、複数の第１画像として、照明方向が異なる３つ以上の画像とディスプレイを消灯させた状態の画像とを取得し、生成部が、３つ以上の画像からそれぞれディスプレイを消灯させた状態の画像を減算し、環境光の影響を除去した複数の第１画像を生成するステップを含むことが好ましい。
　本発明の更に他の態様に係る薬剤識別方法において、第１ステップから第５ステップは、それぞれトレーに載置された薬剤が反転された後に、反転された薬剤に対して同じ処理を行い、第５ステップは、反転前及び反転後の薬剤に対してそれぞれ生成された第２画像に基づいて薬剤を識別することが好ましい。
　更に他の態様に係る発明は、上記の薬剤識別システムを構成するカメラ付き携帯端末にインストールされるプログラムであって、薬剤識別の指示入力を受け付けると、ディスプレイの発光領域を変更し、トレーに載置された薬剤への照明方向を複数回変更するディスプレイ制御機能と、ディスプレイの発光領域の変更により照明方向が異なる薬剤をカメラにより複数回撮影させ、薬剤の複数の第１画像を取得する画像取得機能と、をカメラ付き携帯端末に実現させる。
　本発明の更に他の態様に係るプログラムにおいて、複数の第１画像に写っている指標に基づいて複数の第１画像をそれぞれ規格化する規格化機能と、規格化後の複数の第１画像からそれぞれ薬剤領域の画像を抽出する画像抽出機能と、抽出された複数の薬剤領域の画像に基づいて薬剤に付された刻印又は印字を強調する強調処理を施した第２画像を生成する画像処理機能と、生成された第２画像に基づいて薬剤を識別する薬剤識別機能と、をカメラ付き携帯端末に実現させることが好ましい。
　本発明によれば、トレーに設けられた指標とともに、トレーに載置された薬剤をカメラ付き携帯端末により撮影することで、画像に写っている指標に基づいて画像（薬剤のサイズ及び形状）の規格化を行うことができる。また、カメラと同じ面側のディスプレイを照明手段として使用し、特にディスプレイの発光領域を変更することで、トレーに載置された薬剤への照明方向が異なる薬剤をカメラにて撮影することができ、撮影された照明方向が異なる複数の画像（第１画像）に基づいて薬剤に付された刻印又は印字を強調処理した画像（第２画像）を生成するため、第２画像により薬剤を良好に識別することができる。
図１は、本発明に係る薬剤識別システムの実施形態を示すシステム構成図である。 図２は、図１に示した薬剤識別システムを構成するスマートフォンの外観図である。 図３は、図２に示したスマートフォンの内部構成を示すブロック図である。 図４は、図１に示した薬剤識別システムの電気的な構成を示す要部ブロック図である。 図５は、図１に示した薬剤識別システムを構成するトレーの構成、及びスマートフォンによりトレー上に載置された薬剤を撮影する状況を示す図である。 図６は、トレーに載置された薬剤を５回撮影する場合に制御されるディスプレイの発光領域を示す図である。 図７は、図４に示したサーバの規格化部、画像抽出部及び画像処理部を示すブロック図である。 図８は、規格化後の５つの第１画像の一例を示す図である。 図９は、薬剤の中心を通るｘ－ｙ平面で切断した薬剤の断面構造の模式図である。 図１０は、エッジ画像生成部でのエッジ抽出に使用するソーベルフィルタの一例を示す図である。 図１１は、図４に示した薬剤識別部の第１実施形態の薬剤識別部による薬剤の識別処理の概要を示す図である。 図１２は、第１実施形態の薬剤識別部の主要な機能を示す機能ブロック図である。 図１３は、第２実施形態に係る薬剤識別部を示すブロック図である。 図１４は、本発明に係る薬剤識別システムに使用されるトレーの他の実施形態を示す図である。 図１５は、本発明に係る薬剤識別方法の実施形態を示すフローチャートである。
　以下、添付図面に従って本発明に係る薬剤識別システム、薬剤識別装置、薬剤識別方法及びプログラムの好ましい実施形態について説明する。
　［薬剤識別システムの構成］
　図１は、本発明に係る薬剤識別システムの実施形態を示すシステム構成図である。
　図１に示すように、薬剤識別システムは、トレー１０と、カメラ付き携帯端末であるスマートフォン１００と、薬剤識別装置として機能するサーバ２００とから構成され、スマートフォン１００とサーバ２００とはインターネット、ＬＡＮ（Local Area Network）等のネットワーク２を介してデータ通信可能に接続されている。
　トレー１０は、識別対象の１又は複数の薬剤２０が載置されるもので、後述するように薬剤のサイズ及び形状の規格化に使用する指標を有している。また、トレー１０は、スマートフォン１００を保護する保護カバーを兼ねることが好ましい。
　スマートフォン１００は、ディスプレイと同じ面側にカメラ（インカメラ）を有するもので、カメラによりトレー１０上の薬剤２０を撮影する。スマートフォン１００は、撮影した薬剤２０の画像をネットワーク２を介してサーバ２００に送信する。
　サーバ２００は、スマートフォン１００からアップロードされた薬剤２０の画像に基づいて薬剤２０の識別を行い、その識別結果（例えば、薬剤名、商品名、略称又はこれらの組合せからなる薬剤識別情報）を、薬剤２０の画像を送信したスマートフォン１００に送信する。
　ところで、薬剤（錠剤）の表面には、薬剤の種別を識別するための識別コード情報が付されている。この識別コード情報は、一般に、刻印又は印字（印刷）によって付される。
　サーバ２００は、薬剤に付された識別コード情報を利用することで、薬剤の識別力を向上させているが、その詳細については後述する。
　尚、薬剤に付された刻印とは、薬剤の表面に陥没領域である溝を形成することによって識別コード情報が形成されたものをいう。溝は、表面を掘って形成されたものに限定されず、表面を押圧することで形成されたものでもよい。また、刻印は、割線等の識別機能を伴わないものを含んでもよい。
　また、薬剤に付された印字とは、薬剤の表面に接触又は非接触で可食性インク等を付与することによって識別コード情報が形成されたものをいう。ここでは、印字によって付されたとは、印刷によって付されたと同義である。
　＜スマートフォンの構成＞
　図２に示すスマートフォン１００は、平板状の筐体１０２を有し、筐体１０２の一方の面に表示部としての表示パネル１２１と、入力部としての操作パネル１２２とが一体となって形成されるディスプレイ１２０が設けられる。表示パネル１２１は液晶パネルから構成されており、本例のディスプレイ１２０は液晶ディスプレイである。
　また、その筐体１０２は、スピーカ１３１と、マイクロホン１３２と、操作部１４０と、カメラ部１４１とを備える。カメラ部１４１は、ディスプレイ１２０と同じ面側に設けられたカメラ（インカメラ）である。スマートフォン１００は、ディスプレイ１２０が設けられる筐体１０２の表面ではなく、筐体１０２の背面にも図示しないカメラ（アウトカメラ）を備えている。尚、カメラ部１４１のレンズの前方に別のレンズ（近距離撮影用のアダプタレンズ）を取り付けてもよい。
　図３は、図２に示したスマートフォン１００の内部構成を示すブロック図である。
　図３に示すようにスマートフォン１００は、主たる構成要素として、無線通信部１１０と、ディスプレイ１２０と、通話部１３０と、操作部１４０と、カメラ部１４１と、記憶部１５０と、外部入出力部１６０（出力部）と、ＧＰＳ（global positioning system）受信部１７０と、モーションセンサ部１８０と、電源部１９０と、主制御部１０１とを備える。また、スマートフォン１００の主たる機能として、基地局装置と移動通信網とを介した移動無線通信を行う無線通信機能を備える。
　無線通信部１１０は、主制御部１０１の指示に従って、移動通信網に接続された基地局装置との間で無線通信を行う。その無線通信が使用されて、音声データ及び画像データ等の各種ファイルデータや電子メールデータなどの送受信、及びウェブデータやストリーミングデータなどの受信が行われる。
　ディスプレイ１２０は、表示パネル１２１の画面上に配設された操作パネル１２２を備えたいわゆるタッチパネル付きディスプレイであり、主制御部１０１の制御により、画像（静止画及び動画）や文字情報などを表示して視覚的にユーザに情報を伝達し、また表示した情報に対するユーザ操作を検出する。
　表示パネル１２１は、ＬＣＤ(Liquid Crystal Display)を表示デバイスとして用いる。尚、表示パネル１２１は、ＬＣＤに限らず、例えば、ＯＬＥＤ（organic light emitting diode）でもよい。
　操作パネル１２２は、表示パネル１２１の表示面上に表示される画像が視認可能な状態で設けられ、ユーザの指や尖筆によって操作される１又は複数の座標を検出するデバイスである。そのデバイスがユーザの指や尖筆によって操作されると、操作パネル１２２は、操作に起因して発生する検出信号を主制御部１０１に出力する。次いで、主制御部１０１は、受信した検出信号に基づいて、表示パネル１２１上の操作位置（座標）を検出する。
　通話部１３０は、スピーカ１３１及びマイクロホン１３２を備え、マイクロホン１３２を通じて入力されたユーザの音声を主制御部１０１にて処理可能な音声データに変換して主制御部１０１に出力したり、無線通信部１１０或いは外部入出力部１６０により受信された音声データを復号してスピーカ１３１から出力したりする。
　操作部１４０は、キースイッチなどを用いたハードウエアキーであって、ユーザからの指示を受け付ける。例えば、図２に示すように、操作部１４０は、スマートフォン１００の筐体１０２の側面に搭載され、指などで押下されるとスイッチオン状態となり、指を離すとバネなどの復元力によってスイッチオフ状態となる押しボタン式のスイッチである。
　記憶部１５０は、主制御部１０１の制御プログラムや制御データ、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ウェブブラウジングによりダウンロードしたウェブデータ、及びダウンロードしたコンテンツデータ等を記憶し、またストリーミングデータなどを一時的に記憶する。
　また、記憶部１５０は、内部記憶部１５１と着脱自在な外部メモリスロットを有する外部記憶部１５２とにより構成される。尚、記憶部１５０を構成する内部記憶部１５１及び外部記憶部１５２のそれぞれは、フラッシュメモリタイプ、ハードディスクタイプ、マルチメディアカードマイクロタイプ、カードタイプのメモリ、ＲＡＭ(Random Access Memory)、或いはＲＯＭ(Read Only Memory)などの格納媒体を用いて実現される。
　外部入出力部１６０は、スマートフォン１００に連結される全ての外部機器とのインターフェースの役割を果たし、通信等（例えば、ＵＳＢ（Universal Serial Bus）、ＩＥＥＥ１３９４など）又はネットワーク（例えば、無線ＬＡＮ(Local Area Network)、ブルートゥース(Bluetooth)（登録商標）により他の外部機器に直接的又は間接的に接続する。
　ＧＰＳ受信部１７０は、主制御部１０１の指示に従って、ＧＰＳ衛星ＳＴ１、ＳＴ２～ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン１００の緯度、経度及び高度によって特定される位置情報（ＧＰＳ情報）を取得する。ＧＰＳ受信部１７０は、無線通信部１１０及び／又は外部入出力部１６０（例えば、無線ＬＡＮ）から位置情報を取得できる場合には、その位置情報を用いて位置を検出することもできる。
　モーションセンサ部１８０は、例えば、３軸の加速度センサなどを備え、主制御部１０１の指示に従って、スマートフォン１００の物理的な動きを検出する。スマートフォン１００の物理的な動きを検出することにより、スマートフォン１００の動く方向や加速度が検出される。その検出の結果は、主制御部１０１に出力される。
　電源部１９０は、主制御部１０１の指示に従って、スマートフォン１００の各部に、バッテリ（図示しない）に蓄えられる電力を供給する。
　主制御部１０１は、マイクロプロセッサを備え、記憶部１５０が記憶する制御プログラムや制御データに従って動作し、スマートフォン１００の各部を統括して制御する。また、主制御部１０１は、無線通信部１１０を通じて音声通信及びデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、ソフトウェア処理機能とを備える。
　ソフトウェア処理機能は、記憶部１５０が記憶するソフトウェアに従って主制御部１０１が動作することにより実現される。ソフトウェア処理機能としては、例えば、外部入出力部１６０を制御することで電子メールの送受信を行う電子メール機能、及びウェブページを閲覧するウェブブラウジング機能の他、本発明に係る薬剤識別システムを利用するための機能などがある。本発明に係る薬剤識別システムを利用するための機能は、薬剤識別装置として機能するサーバ２００又はサーバ２００を運営する事業者のサイト等から対応するソフトウェア（本発明に係るプログラム）をダウンロードすることにより実現することができる。
　また、主制御部１０１は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画や動画のデータ）に基づいて、映像をディスプレイ１２０に表示する等の画像処理機能を備える。
　更に、主制御部１０１は、ディスプレイ１２０に対する表示制御と、操作部１４０や操作パネル１２２を通じたユーザ操作を検出する操作検出制御とを実行する。
　カメラ部１４１は、主制御部１０１の制御により、撮像によって得た画像データを例えばＪＰＥＧ（Joint Photographic Experts Group）などの圧縮した画像データに変換し、その画像データを記憶部１５０に記録したり、外部入出力部１６０や無線通信部１１０を通じて出力したりすることができる。
　また、カメラ部１４１は、スマートフォン１００の各種機能に利用することができる。本例では、薬剤を識別する場合、薬剤の撮影に利用される。カメラ部１４１からの画像をソフトウェア内で利用することもできる。
　＜薬剤識別システムの電気的な構成＞
　図４は、薬剤識別システムの電気的な構成を示す要部ブロック図である。
　スマートフォン１００の主制御部１０１は、本発明に係るプログラム（アプリケーション）がインストールされており、このアプリケーションを実行することにより、ディスプレイ制御部１０１Ａ、画像取得部１０１Ｂ、及び通信制御部１０１Ｃとして機能する。
　ディスプレイ制御部１０１Ａは、ディスプレイ１２０を薬剤撮影時の照明手段として制御し、特にディスプレイ１２０の発光領域を複数回変更し、トレー１０に載置された薬剤２０への照明方向を変更する制御を行う。
　画像取得部１０１Ｂは、ディスプレイ１２０の発光領域の変更により照明方向が異なる薬剤２０をカメラ部１４１により複数回撮影させ、カメラ部１４１から薬剤の複数の画像（第１画像）を取得する。
　通信制御部１０１Ｃは、画像取得部１０１Ｂが取得した複数の第１画像を無線通信部１１０及びネットワーク２を介してサーバ２００に送信し、複数の第１画像に基づいてサーバ２００により識別された薬剤２０の識別結果をネットワーク２及び無線通信部１１０を介して取得する。
　図５は、トレー１０の構成、及びスマートフォン１００によりトレー１０上に載置された薬剤２０を撮影する状況を示す図である。
　図５に示すようにトレー１０には、薬剤２０が載置される載置面（本例では、薬剤の背景となる矩形の載置面）１２と、薬剤のサイズ及び形状の規格化に使用する指標（４つの指標）１４Ａ，１４Ｂ，１４Ｃ，１４Ｄとが設けられている。
　載置面１２は、撮影された画像から薬剤に対応する領域（薬剤領域）の画像の抽出（切り出し）を容易にするために、特定の背景色（薬剤の色と異なる色）や特定の細かい背景パターンを有することが好ましい。薬剤の背景色は、薬剤の色の色相、明度及び彩度のうちの少なくとも１つが異なることが好ましい。
　４つの指標１４Ａ，１４Ｂ，１４Ｃ及び１４Ｄは、相互に位置関係が既知のものである。尚、４つの指標１４Ａ，１４Ｂ，１４Ｃ及び１４Ｄの代わりに、例えば、載置面１２の形状にかかわる情報（矩形の載置面１２の４隅の座標や４辺の長さ等）を指標とすることができる。
　トレー１０に載置された薬剤２０をスマートフォン１００により撮影する場合、カメラ部１４１の撮影範囲内に４つの指標１４Ａ，１４Ｂ，１４Ｃ及び１４Ｄが収まるようにスマートフォン１００（カメラ部１４１）の位置及び姿勢を決めて撮影を行う必要がある。尚、薬剤２０に正対し、かつ薬剤２０が大きくなる位置及び姿勢で撮影することが好ましいが、カメラ部１４１の位置及び姿勢は、少なくとも４つの指標１４Ａ，１４Ｂ，１４Ｃ及び１４Ｄが撮影範囲内に収まっていればよい。
　また、トレー１０に載置された薬剤２０をスマートフォン１００により撮影する場合、カメラ部１４１と同じ面側のディスプレイ１２０を照明手段として使用し、カメラ部１４１により薬剤２０が載置されたトレー１０を複数回（本例では５回）撮影させる。
　図６は、トレー１０に載置された薬剤２０を５回撮影する場合に制御されるディスプレイ１２０の発光領域を示す図である。
　ディスプレイ制御部１０１Ａは、例えば、本例のアプリケーションが起動され、その後、操作部から撮影指示入力（薬剤識別の指示入力）を受け付けると、図６に示すようにディスプレイ１２０の発光領域を、時刻ｔ１、時刻ｔ２、時刻ｔ３、時刻ｔ４、時刻ｔ５の５回の撮影タイミングに合せて変更させる。
　時刻ｔ１の撮影タイミングでは、ディスプレイ１２０を消灯させ、環境光３０（図５）のみが照明光となる状態で薬剤２０の撮影が行われる。
　尚、本例のディスプレイ１２０は、表示パネル１２１として液晶パネルを使用する液晶ディスプレイであるため、ディスプレイ１２０を消灯させるとは、液晶パネル全体の透過光量を最小にする（黒を表示させる）ことをいう。
　続いて、時刻ｔ２の撮影タイミングでは、ディスプレイ１２０の発光領域を、ディスプレイ１２０の左半分とし、環境光３０とディスプレイ１２０からの照明光とが混在している状態で薬剤２０の撮影が行われる。ここで、ディスプレイ１２０の発光領域を、ディスプレイ１２０の左半分にするとは、液晶パネルの左半分の透過光量を高く（好ましくは最大）にし、右半分の光透過量を最小にすることをいう。
　同様にして、時刻ｔ３の撮影タイミングでは、ディスプレイ１２０の発光領域を、ディスプレイ１２０の右半分とし、時刻ｔ４の撮影タイミングでは、ディスプレイ１２０の発光領域を、ディスプレイ１２０の上半分とし、時刻ｔ５の撮影タイミングでは、ディスプレイ１２０の発光領域を、ディスプレイ１２０の下半分とし、それぞれの撮影タイミングで薬剤２０の撮影が行われる。
　画像取得部１０１Ｂは、時刻ｔ１、時刻ｔ２、時刻ｔ３、時刻ｔ４、時刻ｔ５の５回の撮影タイミングでカメラ部１４１を撮影動作させ、カメラ部１４１から薬剤２０を撮影した５枚の第１画像を取得する。時刻ｔ２、時刻ｔ３、時刻ｔ４、時刻ｔ５のディスプレイ１２０の発光領域は、それぞれディスプレイ１２０の左半分、右半分、上半分、下半分であるため、薬剤２０に対するディスプレイ１２０からの照明光は、それぞれ照明方向が異なる。また、それぞれ照明方向が異なる照明光が照射された薬剤２０を撮影して得られる第１画像は、照明方向に伴って輝度ムラが発生し、薬剤２０に刻印が付されている場合には、刻印の影の出方が異なる。
　５回の撮影時におけるカメラ部１４１の位置及び姿勢の変化が最小になるように、各撮影タイミングの時間間隔は短いことが好ましい。
　ディスプレイ１２０は、偏光板を有する液晶ディスプレイであるため、ディスプレイ１２０から出射される照明光は、偏光板に対応した偏光した光である。そこで、ディスプレイ１２０から出射される光の偏光方向に対して偏光方向が９０度異なる偏光板（偏光フィルタ）をカメラ部１４１の撮影レンズの前に設置することが好ましい。
　カメラ部１４１に偏光フィルタを設置することで、カメラ部１４１は、鏡面反射成分が除去された第１画像を撮影することができる。
　尚、薬剤２０に刻印又は印字が付されている場合には、刻印又は印字が付されている面が上になるように薬剤２０をトレー１０に載置することが好ましい。薬剤２０の両面に刻印又は印字が付されている場合には、識別コード情報としての機能が高い刻印又は印字が付されている面が上になるように薬剤２０をトレー１０に載置することが好ましい。
　＜サーバ２００＞
　図４に示すサーバ２００は、薬剤識別装置として機能するものであり、主として通信部２１０、ＣＰＵ（Central Processing Unit）２２０、規格化部２３０、画像抽出部２４０、薬剤ＤＢ（database）２５０、メモリ２６０、画像処理部２７０及び薬剤識別部２８０から構成されている。
　ＣＰＵ２２０は、サーバ２００の各部を統括制御する部分であり、スマートフォン１００から送信された複数の第１画像を受け付ける画像受付部として機能する通信部２１０と、受け付けた複数の第１画像に対して規格化部２３０、画像抽出部２４０、画像処理部２７０及び薬剤識別部２８０により各処理を実行させる。そして、ＣＰＵ２２０は、薬剤の識別結果を通信部２１０を介して第１画像を送信したスマートフォン１００に送信する。
　薬剤ＤＢ２５０は、薬剤の名前等の薬剤識別情報と関連付けて薬剤の画像（薬剤の表側及び裏側の薬剤画像）を登録及び管理する部分である。薬剤ＤＢ２５０に登録された薬剤（登録薬剤）の薬剤画像は、識別対象の薬剤が、登録薬剤のうちのいずれの登録薬剤に近いかを分類する機械学習器を学習させる場合の教師データとして使用され、あるいは識別対象の薬剤の画像とのテンプレートマッチングにより識別対象の薬剤を識別する場合のテンプレート画像として使用される。
　メモリ２６０は、薬剤識別サービスを提供するプログラムが格納される記憶部、及びＣＰＵ２２０の作業領域となる部分を含む。
　図７は、図４に示したサーバ２００の規格化部２３０、画像抽出部２４０及び画像処理部２７０を示すブロック図である。
　ディスプレイ１２０の発光領域を変更して撮影された５枚の第１画像５０は、規格化部２３０に加えられ、ここで、カメラ部１４１の位置及び姿勢に依存しない画像に規格化される。
　第１画像５０には、図５に示したトレー１０に付された４つの指標１４Ａ，１４Ｂ，１４Ｃ，１４Ｄが写り込んでいる。規格化部２３０は、第１画像５０における４つの指標１４Ａ，１４Ｂ，１４Ｃ，１４Ｄの座標を求め、４つの指標１４Ａ，１４Ｂ，１４Ｃ，１４Ｄの座標と、相互に位置関係が既知の４つの指標１４Ａ，１４Ｂ，１４Ｃ及び１４Ｄとの関係から射影変換パラメータを求める。規格化部２３０は、求めた射影変換パラメータにより第１画像５０を射影変換することで、第１画像５０（薬剤２０）の形状を規格化する。また、４つの指標１４Ａ，１４Ｂ，１４Ｃ及び１４Ｄの実寸も既知であるため、薬剤２０のサイズも規格化することができる。
　また、規格化後の５つの第１画像の一例を、図８に示す。尚、図８には、説明を簡単にするために、薬剤２０の画像を含む第１画像の一部が図示されている。
　図８において、４つの第１画像ＧＬ，ＧＲ，ＧＵ及びＧＤは、ディスプレイ１２０の左半分、右半分、上半分、及び下半分を点灯させ、それぞれディスプレイ１２０からの照明光の照明方向がそれぞれ異なる状態で撮影された画像であり、第１画像ＧＡは、ディスプレイ１２０を消灯させた状態で撮影された画像である。
　図８に示す４つの第１画像ＧＬ，ＧＲ，ＧＵ及びＧＤには、それぞれ照明方向に伴って輝度ムラが発生している。また、図８に示す各画像上の「Ａ」は、刻印Ｓを示している。画像ＧＬ，ＧＲ，ＧＵ及びＧＤの刻印Ｓは、薬剤の表面の凹凸形状であり、後述するように照明光の照明方向に伴って刻印Ｓの影の出方が異なるものとなる。
　規格化部２３０は、ディスプレイ１２０の照明方向が異なる４つ第１画像ＧＬ，ＧＲ，ＧＵ及びＧＤから、それぞれディスプレイ１２０を消灯させた状態の第１画像ＧＡを減算し、環境光の影響を除去した４つの第１画像ＧＬ，ＧＲ，ＧＵ及びＧＤを生成する生成部を含む。この生成部により環境光の影響が除去された４つの第１画像ＧＬ，ＧＲ，ＧＵ及びＧＤは、ディスプレイ１２０の照明光のみにより照明された画像であるため、規格化部２３０は、ディスプレイ１２０の照明光の色温度（既知の色温度）に対応するホワイトバランスゲインにより４つの第１画像ＧＬ，ＧＲ，ＧＵ及びＧＤのホワイトバランス調整を行うことで、４つの第１画像ＧＬ，ＧＲ，ＧＵ及びＧＤの色を、薬剤２０の本来の色と一致させる。
　尚、トレー１０の既知の色（例えば、４つの指標１４Ａ，１４Ｂ，１４Ｃ，１４Ｄが設けられている領域の色であって、好ましくは白色）が再現できるように、ホワイトバランス調整を行うことで、環境光の影響を除去又は低減するようにしてもよい。この場合、ディスプレイ１２０を消灯させた状態の第１画像ＧＡの取得は不要である。
　規格化部２３０により薬剤２０のサイズ及び形状が規格化され、かつ環境光の影響が除去又は低減された４つの第１画像ＧＬ，ＧＲ，ＧＵ及びＧＤは、画像抽出部２４０に出力される。
　画像抽出部２４０は、規格化後の４つの第１画像ＧＬ，ＧＲ，ＧＵ及びＧＤからそれぞれ薬剤領域の画像を抽出する（切り出す）。画像抽出部２４０は、図５に示すようにトレー１０の薬剤２０が載置される載置面１２の背景色、又は載置面１２の背景パターンを利用することで、薬剤領域の画像を適切に切り出すことができる。
　画像抽出部２４０により切り出された、刻印Ｓの影の出方が異なる４つの画像ＧＬ，ＧＲ，ＧＵ，及びＧＤは、それぞれ画像処理部２７０に加えられる。
　画像処理部２７０のエッジ画像生成部２７４は、４つの画像ＧＬ，ＧＲ，ＧＵ，及びＧＤからそれぞれ照明光の照射方向に応じた方向のエッジ抽出フィルタ（例えば、ソーベルフィルタ）を使用し、４つのエッジ画像を生成する。
　図９は、薬剤Ｔの中心を通るｘ－ｙ平面で切断した薬剤Ｔの断面構造の模式図であり、１画素分のラインのプロファイルを示している。
　図７上の薬剤Ｔは、直径がＤであり、表面には断面がＶ字状の溝からなる割線である刻印Ｓが形成されている。刻印Ｓの溝の幅はＷである。尚、刻印Ｓの溝の幅とは、溝の延伸方向と直交する方向における溝の一方の端から他方の端までの距離であって、薬剤Ｔの表面における距離をいう。
　ここで、ディスプレイ１２０の発光領域を左半分とし、その発光領域の照明光ＬＬにより薬剤Ｔを照明する場合と、ディスプレイ１２０の発光領域を右半分とし、その発光領域の照明光ＬＲにより薬剤Ｔを照明する場合とでは、刻印Ｓの影の出方が異なる。
　即ち、照明光ＬＬにより薬剤Ｔを照明する場合、刻印Ｓの右側の面ＳＲは照明光ＬＬが照射されるが、刻印Ｓの左側の面ＳＬには照明光ＬＬは照射されなくなり、刻印Ｓの左側の面ＳＬに影が発生する。同様に、照明光ＬＬとは反対方向の照明光ＬＲにより薬剤Ｔを照明する場合、刻印Ｓの左側の面ＳＬは照明光ＬＲが照射されるが、刻印Ｓの右側の面ＳＲには照明光ＬＲは照射されなくなり、刻印Ｓの右側の面ＳＲに影が発生する。
　図１０は、エッジ画像生成部２７４でのエッジ抽出に使用するソーベルフィルタの一例を示す図である。
　ソーベルフィルタＦＬは、左方向からの照明光ＬＬが照射された薬剤Ｔの画像ＧＬからエッジ抽出する場合に使用され、ソーベルフィルタＦＲは、右方向から照明光ＬＲが照射された薬剤Ｔの画像ＧＲからエッジ抽出する場合に使用される。
　図１０に示すソーベルフィルタＦＬ、ＦＲのカーネルサイズは、本例ではｘ軸方向３画素×ｙ軸方向３画素であるが、これに限らず、カメラ部１４１の解像度に依存して変更することが好ましい。また、ソーベルフィルタＦＬ、ＦＲのカーネルサイズは、刻印Ｓの幅Ｗ（の画素数）の半分より大きいサイズのソーベルフィルタを用いることが好ましい。例えば、刻印Ｓの溝の幅の画素数が４画素であれば、その半分の２画素より大きいサイズのソーベルフィルタを用いる。刻印Ｓの溝の幅の画素数を鑑みたサイズのエッジ抽出フィルタを用いることで、溝を精度よく抽出するとともに、溝の幅よりも小さい表面の模様及び傷等の刻印以外の情報を低減することができる。尚、ソーベルフィルタのフィルタサイズとフィルタ係数の導出方法は、http://sssiii.seesaa.net/article/368842002.htmlに記載されている。
　エッジ画像生成部２７４は、画像ＧＬ、ＧＲに対してそれぞれソーベルフィルタＦＬ、ＦＲを使用し、画像ＧＬ、ＧＲに対応するエッジ画像を生成する。また、エッジ画像生成部２７４は、ディスプレイ１２０の発光領域を上半分とした、上方向からの照明光が照射された薬剤Ｔの画像ＧＵ、及びディスプレイ１２０の発光領域を下半分とした、下方向からの照明光が照射された薬剤Ｔの画像ＧＤに対しても、上記と同様に照明光の方向に応じたソーベルフィルタを使用することで、エッジ画像を生成する。
　尚、エッジ画像合成部２７２におけるエッジ抽出フィルタ処理に使用するフィルタとしては、ソーベルフィルタに限らず、ラプラシアンフィルタ、キャニーフィルタ等を使用することができる。
　エッジ画像生成部２７４は、４つの画像ＧＬ，ＧＲ，ＧＵ，及びＧＤに対してそれぞれ生成した４つのエッジ画像を、画像処理部２７０のエッジ画像合成部２７２に出力する。
　エッジ画像合成部２７２の他の入力には、画像抽出部２４０から４つの画像ＧＬ，ＧＲ，ＧＵ，及びＧＤが加えられており、エッジ画像合成部２７２は、例えば、４つの画像ＧＬ，ＧＲ，ＧＵ，及びＧＤのうちの１つの画像を選択し、選択した１つの画像の輝度ムラを検出し、検出した輝度ムラに基づいて選択した画像の輝度ムラを補正する輝度ムラ補正処理を施すことで、輝度ムラの少ない画像を生成する。そして、エッジ画像合成部２７２は、この輝度ムラの少ない画像にエッジ画像合成部２７２により生成された４つのエッジ画像を合成する。
　これにより、画像処理部２７０は、照明光による輝度ムラの少ない薬剤の画像に対して、刻印を強調する強調処理が施された画像（第２画像）６０を生成することができる。
　＜薬剤識別部の第１実施形態＞
　図１１は、図４に示した薬剤識別部２８０の第１実施形態の薬剤識別部２８０－１による薬剤の識別処理の概要を示す図である。
　図１１において、６０は、画像処理部２７０により刻印が強調された薬剤の第２画像の一例を示す図である。
　薬剤識別部２８０－１は、第２画像６０に基づいて識別対象の薬剤が、登録薬剤のうちのいずれに近いかを推論する。推論には深層学習(classification)を利用する。本例では、薬剤識別部２８０－１により推論するが、その詳細については後述する。
　推論結果は、表示器、プリンタ等の出力部により視認可能に出力する。
　推論結果として、登録された薬剤の情報（薬剤識別情報と薬剤画像等）を、識別対象の薬剤に近い順（Rank 1,Rank 2,Rank 3,…）に出力することができる。また、最も近い１つの薬剤の情報、又は予め設定された上位の複数の薬剤の情報を出力することができる。
　図１２は、第１実施形態の薬剤識別部２８０－１の主要な機能を示す機能ブロック図である。
　図１２に示す薬剤識別部２８０－１は、本例では、機械学習器の一態様である畳み込みニューラルネットワーク（ＣＮＮ： Convolutional Neural Network））２８０－１により構成され、識別対象の薬剤が、登録された薬剤（登録薬剤）のうちのいずれの登録薬剤に近いかを分類するものである。ＣＮＮ２８０－１は、登録薬剤毎に対応する教師データにより事前に学習し、又は追加する登録薬剤に対応する教師データにより追加の学習が可能である。
　登録薬剤に対応する教師データは、例えば、登録薬剤を撮影した画像について刻印又は印字を強調する強調処理が施された薬剤画像と、その登録薬剤の名前等の正解データであることが好ましい。尚、学習に使用した、又は使用する教師データは、薬剤ＤＢ２５０（図４）に保存しておくことが好ましい。また、教師データを使用した学習方法は公知であるため、その詳細な説明は省略する。
　図１２に示すＣＮＮ２８０－１は、識別対象の第２画像６０を入力画像とするとき、その第２画像６０の特徴量を抽出（演算）する特徴量演算部２８２と、演算した特徴量に基づいて入力画像に対応する薬剤が登録薬剤のうちのいずれに近いかを推論する推論部２８４として機能する。ＣＮＮ２８０－１は、複数のレイヤ構造を有し、複数の重みパラメータを保持している。重みパラメータは、畳み込み層での畳み込み演算に使用されるカーネルと呼ばれるフィルタのフィルタ係数などである。
　ＣＮＮ２８０－１は、重みパラメータが初期値から最適値に更新されることで、未学習モデルから登録薬剤毎に学習を行う学習済みモデルに変化しうる。
　このＣＮＮ２８０－１は、入力層２８０Ａと、畳み込み層２８６Ａ１、正規化層２８６Ｂ１、活性化関数による活性化処理部２８６Ｃ１、プーリング層２８６Ｄ１から構成される複数セット（本例では、６セット）、及び全結合層２８６Ｅ１を有する中間層２８０Ｂと、出力層２８０Ｃとを備え、各層は複数の「ノード」が「エッジ」で結ばれる構造となっている。
　ＣＮＮ２８０－１の構造は、図１２に例示するものに限らず、代表的な学習モデルであるVGG16、AlexNetなどを適用することができる。
　ＣＮＮ２８０－１の入力層２８０Ａには、識別対象の薬剤の第２画像６０が入力画像として入力される。本例では、第２画像６０は、ＲＧＢ（Red Green Blue）のカラー画像であるため、３枚のＲ画像、Ｇ画像、Ｂ画像であり、合計３枚の画像セットが入力画像である。
　畳み込み層２８６Ａ１～２８６Ａ６は、画像からのエッジ抽出等の特徴抽出の役割を担う部分である。畳み込み層２８５Ａ１～２８６Ａ６は、入力層２８０Ａから入力した画像セットや前の層で近くにあるノードにフィルタ処理し（フィルタを使用した畳み込み演算を行い）、「特徴マップ」を取得するもので、画像からのエッジ抽出等の特徴抽出の役割を担う。
　１番目の畳み込み層２８６Ａ１は、画像セットとフィルタとの畳み込み演算を行う。ここで、画像セットは、Ｒ画像、Ｇ画像、Ｂ画像の３チャンネル（３枚）であるため、例えば、サイズ５のフィルタの場合、フィルタサイズは、５×５×３のフィルタになる。
　５×５×３のフィルタを用いた畳み込み演算により、１つのフィルタに対して１チャンネル(１枚)の「特徴マップ」が生成される。したがって、Ｎ個のフィルタを使用すると、Ｎチャンネルの「特徴マップ」を生成することができる。
　２番目の畳み込み層２８５Ａ２（図示せず）で使用されるフィルタは、例えばサイズ３のフィルタの場合、フィルタサイズは、３×３×Ｎのフィルタになる。
　正規化層２８６Ｂ１～２８６Ｂ６は、入力画像に対して輝度やコントラスト等の正規化を行う部分であり、入力画像だけでなく、ＣＮＮ２８０－１の途中経過の「特徴マップ」に対しても正規化を行う。
　活性化処理部２８６Ｃ１～２８６Ｃ６は、活性化関数（例えば、ステップ関数、シグモイド関数、ソフトマックス関数)により入力信号を処理する部分であり、次の層に渡す値を整えるような役割を果たす。
　プーリング層２８６Ｄ１は、畳み込み層２８６Ａ１（本例では、活性化処理部２８６Ｃ１）から出力された特徴マップを縮小して新たな特徴マップとする。「プーリング層」は抽出された特徴が、平行移動などによる影響を受けないようにロバスト性を与える役割を担う。
　推論部２８４として機能する１つ又は複数の全結合層２８６Ｅ１は、前の層の全てのノード（本例では、活性化処理部２８６Ｃ６から出力される特徴マップ）と重み付き結合し、活性化関数によって変換された値（特徴変数）を出力する。ノードの数を増加させると、特徴量空間の分割数が増加し、特徴変数の数も増加する。
　推論部２８４として機能する出力層２８０Ｃは、全結合層２８６Ｅ１からの出力（特徴変数）を元に、ソフトマックス関数を用いて確率に変換し、それぞれの領域（本例ではそれぞれの薬剤）に正しく分類される確率を最大化する（最尤推定法）ことによって分類を行う。尚、最終段の全結合層を出力層と呼ぶこともある。
　出力層２８０Ｃは、図１１に示したように薬剤の第２画像６０（入力画像）が、登録薬剤のうちのいずれに近いかを示す推論結果を出力部２８８に出力する。
　推論結果は、識別対象の薬剤に近い順（Rank 1,Rank 2,Rank 3,…）に、登録薬剤の情報（薬剤識別情報と薬剤画像等）やその確率として出力部２８８から出力することができる。
　ユーザは、出力部２８８から出力される推論結果を、識別対象の薬剤を監査、鑑別する際の支援情報として使用することができる。
　＜薬剤識別部の第２実施形態＞
　図１３は、第２実施形態に係る薬剤識別部２８０－２を示すブロック図である。
　図１３に示す薬剤識別部２８０－２は、主としてＣＮＮ２８０－１と、テンプレートマッチング部２８９とから構成されている。
　ＣＮＮ２８０－１は、図１２に示したものと同一であるため、その詳細な説明は省略する。
　ＣＮＮ２８０－１による推論結果は、テンプレートマッチング部２８９に加えられる。
　テンプレートマッチング部２８９の他の入力には、識別対象の第２画像６０が加えられており、テンプレートマッチング部２８９は、薬剤ＤＢ２５０に登録されている登録薬剤のうち、ＣＮＮ２８０－１による推論結果により絞り込んだ登録薬剤の画像と、第２画像６０とのテンプレートマッチングにより薬剤を識別する。例えば、事前に得られている薬剤の画像（刻印又は印字が強調された薬剤の画像）について、クラスタリングをしておく。識別対象の第２画像６０が、クラスタリング内のどのクラスに入るかをＣＮＮ２８０－１により推論し、テンプレートマッチング部２８９は、そのクラス中でテンプレートマッチングを行う。これにより、テンプレートマッチングの処理時間の短縮化を図ることができる。
　＜トレーの他の実施形態＞
　図１４は、本発明に係る薬剤識別システムに使用されるトレーの他の実施形態を示す図である。
　図１４に示すトレー４０は、格子状の仕切りを有し、格子状の仕切りにより区画された９つの領域A11,A12,A13,A21,A22,A23,A31,A32,A33にそれぞれ１つの薬剤が載置可能になっている。このトレー４０は、格子状の仕切りにより９つの領域A11～A33に区画されているが、仕切りにより区画される領域の数は、これに限定されない。
　また、トレー４０の格子状の仕切りは、サイズ及び形状が既知となっている。即ち、サイズ及び形状が既知の格子状の仕切りは、図５に示した指標１４Ａ～１４Ｄと同様に薬剤のサイズ及び形状の規格化に使用する指標を兼ねている。
　更に、仕切りにより区画された９つの領域A11～A33の薬剤の載置面の色は、色相、明度及び彩度のうちの少なくとも１つが、１又は複数の載置面毎に異なっている。
　したがって、ユーザが識別対象の薬剤２０を、９つ領域A11～A33のいずれかに載置する場合、識別対象の薬剤２０の色と異なる色を有する載置面に薬剤２０を載置することが好ましい。
　例えば、白等の濃度の低い薬剤は、黒等の濃度の高い載置面を選択して載置することが好ましい。カメラ部１４１により撮影された画像から薬剤２０に対応する薬剤領域の画像の切り出しを容易にするためである。
　このトレー４０は、９つ領域A11～A33の載置面を有するため、複数（最大で９個）の薬剤を同時に載置することができ、これらの複数の薬剤は、スマートフォン１００のカメラ部１４１により同時に撮影することができる。
　また、薬剤の両面に刻印又は印字が付されている場合には、トレー４０に載置された薬剤の一方の面の撮影が終了すると、トレー４０上の薬剤を反転させ、薬剤の他の面の撮影を行うことが好ましい。反転前の薬剤を撮影した複数の画像から生成した第２画像と、反転後の薬剤を撮影した複数の薬剤から生成した第２画像とに基づいて薬剤を識別することが好ましい。これによれば、薬剤の両面に付された刻印又は印字の情報を薬剤の識別に使用することができ、薬剤の識別の精度を上げることができる。
　尚、スマートフォン１００による薬剤の撮影方法及び撮影された薬剤の画像の処理方法は、１個の薬剤を撮影する場合と同様に行うことができるため、ここではその詳細な説明は省略する。
　［薬剤識別方法］
　図１５は、本発明に係る薬剤識別方法の実施形態を示すフローチャートであり、図４に示した薬剤識別システムの各部の処理手順に関して示している。
　図１２において、ユーザは、識別対象の薬剤２０をトレー１０の載置面１２（図５）を載置する。続いて、ユーザはスマートフォン１００を操作し、スマートフォン１００により薬剤２０の撮影を実行させる。
　即ち、スマートフォン１００のディスプレイ制御部１０１Ａは、ディスプレイ１２０を消灯した状態にし、画像取得部１０１Ｂは、ディスプレイ１２０が消灯した状態でカメラ部１４１による薬剤２０の撮影を実行させ、環境光のみが照射された薬剤２０の画像（第１画像）を取得する（ステップＳ１０）。
　続いて、ディスプレイ制御部１０１Ａは、ディスプレイ１２０の発光領域を順次変更し（第１ステップ）、画像取得部１０１Ｂは、ディスプレイ１２０の発光領域の変更により照明方向が異なる薬剤２０をカメラ部１４１により複数回（本例では４回）撮影させ、４枚の画像（第１画像）を取得する（第２ステップＳ１２）。
　スマートフォン１００の通信制御部１０１Ｃは、ステップＳ１０で取得したディスプレイ１２０が消灯した状態で撮影された１枚の第１画像と、第２ステップＳ１２で取得したディスプレイ１２０の発光領域の変更により照明方向が異なる４枚の第１画像（合計５枚の第１画像）５０を、サーバ２００に送信する。
　サーバ２００の規格化部２３０は、複数の第１画像における４つの指標１４Ａ，１４Ｂ，１４Ｃ，１４Ｄの座標を求め、４つの指標１４Ａ，１４Ｂ，１４Ｃ，１４Ｄの座標と、相互に位置関係が既知の４つの指標１４Ａ，１４Ｂ，１４Ｃ及び１４Ｄとの関係に基づいて複数の第１画像（薬剤２０）の形状及びサイズを規格化する（第３ステップＳ１４）。また、規格化部２３０は、ディスプレイ１２０の照明方向が異なる複数（本例では４枚）の第１画像ＧＬ，ＧＲ，ＧＵ及びＧＤから、それぞれディスプレイ１２０を消灯させた状態の第１画像ＧＡを減算し、環境光の影響を除去した複数の第１画像を生成する。
　画像抽出部２４０は、規格化後の複数（本例では４枚）の第１画像からそれぞれ薬剤領域の第１画像ＧＬ，ＧＲ，ＧＵ，ＧＤを抽出する（切り出す）（第４ステップＳ１６）。
　画像処理部２７０のエッジ画像生成部２７４は、複数の画像ＧＬ，ＧＲ，ＧＵ，及びＧＤに対してそれぞれ照明光の照明方向に応じたソーベルフィルタを使用することで、エッジ画像を生成する（ステップＳ１８）。
　エッジ画像合成部２７２は、複数の画像ＧＬ，ＧＲ，ＧＵ，及びＧＤのうちの１つの画像を選択し、選択した１つの画像の輝度ムラを検出し、検出した輝度ムラに基づいて選択した画像の輝度ムラを補正する輝度ムラ補正処理を施ことで、輝度ムラの少ない画像を生成する。そして、エッジ画像合成部２７２は、この輝度ムラの少ない画像にステップＳ１８で生成された複数のエッジ画像を合成し、合成画像（第２画像）を生成する（第５ステップＳ２０）。
　薬剤識別部２８０は、生成された第２画像に基づいて識別対象の薬剤２０を識別する（第６ステップＳ２２）。薬剤識別部２８０は、学習済みのＣＮＮ２８０－１により薬剤の第２画像（入力画像）が、登録薬剤のうちのいずれに近いかを示す推論結果を視認可能に出力したり、テンプレートマッチング部２８９により推論結果により絞り込んだ登録薬剤の画像と、第２画像とのテンプレートマッチングにより薬剤を識別し、識別結果を視認可能に出力する。
　［その他］
　本実施形態では、ディスプレイの発光領域の変更により照明方向からそれぞれ異なる４つの薬剤の画像を撮影するが、照明方向が異なる複数の画像は４つに限らず、３つ以上であればよい。また、ディスプレイの発光領域の変更もディスプレイの左半分、右半分、上半分及び下半分に限らず、ディスプレイの発光領域（発光強度の強弱パターンも含む）の変更により薬剤への照明方向が異なればよい。
　また、薬剤識別装置は、サーバに限らず、スマートフォンに代表されるカメラ付き携帯端末と通信可能な装置であれば、如何なるものでもよい。
　薬剤識別装置のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の制御部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
　１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の制御部を１つのプロセッサで構成してもよい。複数の制御部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の制御部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の制御部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の制御部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
　また、本実施形態では、カメラ付き携帯端末は、照明方向が異なる複数の画像を撮影する機能を備えているが、薬剤識別装置の一部の機能（例えば、規格化部、画像抽出部、及び画像処理部の機能）を備えるものでもよいし、薬剤識別装置の全ての機能を備えるものでもよい。後者の場合、カメラ付き携帯端末とは別体の薬剤識別装置は不要になる。
　更に、薬剤識別部による薬剤の識別方法は、本実施形態に限定されず、薬剤に付された刻印又は印字が強調された画像（第２画像）に基づいて薬剤を識別する方法であれば、如何なる方法でもよい。
　また、本発明は、汎用のカメラ付き携帯端末にインストールされることにより、本発明に係るカメラ付き携帯端末として各種の機能（ディスプレイ制御機能、画像取得機能等）を実現させるプログラム、及びこのプログラムが記録された記録媒体を含む。
　更に、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
２　ネットワーク
１０、４０　トレー
１２　載置面
１４Ａ、１４Ｂ、１４Ｃ、１４Ｄ　指標
２０　薬剤
３０　環境光
５０　第１画像
６０　第２画像
１００　スマートフォン
１０１　主制御部
１０１Ａ　ディスプレイ制御部
１０１Ｂ　画像取得部
１０１Ｃ　通信制御部
１０２　筐体
１１０　無線通信部
１２０　ディスプレイ
１２１　表示パネル
１２２　操作パネル
１３０　通話部
１３１　スピーカ
１３２　マイクロホン
１４０　操作部
１４１　カメラ部
１５０　記憶部
１５１　内部記憶部
１５２　外部記憶部
１６０　外部入出力部
１７０　ＧＰＳ受信部
１８０　モーションセンサ部
１９０　電源部
２００　薬剤識別装置（サーバ）
２１０　通信部
２２０　ＣＰＵ
２３０　規格化部
２４０　画像抽出部
２５０　薬剤ＤＢ
２６０　メモリ
２７０　画像処理部
２７２　エッジ画像合成部
２７４　エッジ画像生成部
２８０　薬剤識別部
２８０－１　薬剤識別部（ＣＮＮ）
２８０－２　薬剤識別部
２８０Ａ　入力層
２８０Ｂ　中間層
２８０Ｃ　出力層
２８２　特徴量演算部
２８４　推論部
２８８　出力部
２８９　テンプレートマッチング部
Ｓ　刻印

Claims (20)

  1. 　薬剤のサイズ及び形状の規格化に使用する指標を有し、識別対象の薬剤が載置されるトレーと、
    　ディスプレイと同じ面側にカメラを有するカメラ付き携帯端末と、
    　前記カメラ付き携帯端末により撮影された画像に基づいて前記薬剤を識別する薬剤識別装置と、から構成された薬剤識別システムであって、
    　前記カメラ付き携帯端末は、
    　薬剤識別の指示入力を受け付けると、前記ディスプレイの発光領域を変更し、前記トレーに載置された前記薬剤への照明方向を複数回変更するディスプレイ制御部と、
    　前記ディスプレイの発光領域の変更により照明方向が異なる前記薬剤を前記カメラにより複数回撮影させ、前記薬剤の複数の第１画像を取得する画像取得部と、を備え、
    　前記薬剤識別装置は、
    　前記複数の第１画像に写っている前記指標に基づいて前記複数の第１画像をそれぞれ規格化する規格化部と、
    　前記規格化後の前記複数の第１画像からそれぞれ薬剤領域の画像を抽出する画像抽出部と、
    　前記抽出された複数の薬剤領域の画像に基づいて前記薬剤に付された刻印又は印字を強調する強調処理を施した第２画像を生成する画像処理部と、
    　前記生成された前記第２画像に基づいて前記薬剤を識別する薬剤識別部と、を備えた、
    　薬剤識別システム。
  2. 　前記画像処理部は、前記抽出された複数の薬剤領域の画像からそれぞれ前記照明方向に応じた方向のエッジ抽出フィルタを使用して複数のエッジ画像を取得し、前記複数のエッジ画像を使用して前記第２画像を生成する請求項１に記載の薬剤識別システム。
  3. 　前記トレーは、サイズ及び形状が既知の格子状の仕切りを有し、
    　前記格子状の仕切りに区画された載置面には薬剤が載置され、
    　前記格子状の仕切りは指標を兼ねる請求項１又は２に記載の薬剤識別システム。
  4. 　前記トレーの前記格子状の仕切りにより区画された前記薬剤の載置面の色は、色相、明度及び彩度のうちの少なくとも１つが、１又は複数の載置面毎に異なる請求項３に記載の薬剤識別システム。
  5. 　前記画像取得部は、前記複数の第１画像として、照明方向が異なる３つ以上の画像と前記ディスプレイを消灯させた状態の画像とを取得し、
    　前記薬剤識別装置は、前記３つ以上の画像からそれぞれ前記ディスプレイを消灯させた状態の画像を減算し、環境光の影響を除去した前記複数の第１画像を生成する生成部を備えた請求項１から４のいずれか１項に記載の薬剤識別システム。
  6. 　前記ディスプレイは、偏光板を有するディスプレイであり、
    　前記カメラは、撮影レンズの前に前記ディスプレイから出射される光の偏光方向に対して偏光方向が９０度異なる偏光板が設置される請求項１から５のいずれか１項に記載の薬剤識別システム。
  7. 　前記薬剤識別部は、前記第２画像の特徴量を演算する特徴量演算部と、前記第２画像の特徴量に基づいて前記薬剤が登録薬剤のうちのいずれに近いかを推論する推論部とを有する請求項１から６のいずれか１項に記載の薬剤識別システム。
  8. 　前記特徴量演算部及び前記推論部は、前記登録薬剤に対応する前記第２画像と前記登録薬剤を特定する薬剤識別情報とを教師データとして使用し、登録薬剤毎に学習を行った学習済みの畳み込みニューラルネットワークで構成される請求項７に記載の薬剤識別システム。
  9. 　前記薬剤識別部は、前記推論部での推論により絞り込んだ前記登録薬剤の画像と、前記第２画像とのテンプレートマッチングにより前記薬剤を識別する請求項７又は８に記載の薬剤識別システム。
  10. 　前記トレーは、前記カメラ付き携帯端末を保護する保護カバーを兼ねる請求項１から９のいずれか１項に記載の薬剤識別システム。
  11. 　カメラ付き携帯端末により撮影された画像に基づいて識別対象の薬剤を識別する薬剤識別装置であって、
    　前記カメラ付き携帯端末は、ディスプレイと同じ面側にカメラを有し、薬剤のサイズ及び形状の規格化に使用する指標を有するトレーに載置された前記識別対象の薬剤を撮影する際に、前記ディスプレイの発光領域を変更し、前記トレーに載置された前記薬剤への照明方向を複数回変更し、前記ディスプレイの発光領域の変更により照明方向が異なる前記薬剤を前記カメラにより複数回撮影し、前記薬剤の複数の第１画像を取得するものであり、
    　前記カメラ付き携帯端末から前記薬剤の複数の第１画像を受け付ける画像受付部と、
    　前記複数の第１画像に写っている前記指標に基づいて前記複数の第１画像をそれぞれ規格化する規格化部と、
    　前記規格化後の前記複数の第１画像からそれぞれ薬剤領域の画像を抽出する画像抽出部と、
    　前記抽出された複数の薬剤領域の画像に基づいて前記薬剤に付された刻印又は印字を強調する強調処理を施した第２画像を生成する画像処理部と、
    　前記生成された前記第２画像に基づいて前記薬剤を識別する薬剤識別部と、
    　を備えた薬剤識別装置。
  12. 　薬剤のサイズ及び形状の規格化に使用する指標を有するトレーに載置された識別対象の薬剤を識別する薬剤識別方法であって、
    　ディスプレイ制御部が、ディスプレイと同じ面側にカメラを有するカメラ付き携帯端末の前記ディスプレイの発光領域を変更し、前記トレーに載置された前記薬剤への照明方向を複数回変更する第１ステップと、
    　画像取得部が、前記ディスプレイの発光領域の変更により照明方向が異なる前記薬剤を前記カメラにより複数回撮影させ、前記薬剤の複数の第１画像を取得する第２ステップと、
    　規格化部が、前記複数の第１画像に写っている前記指標に基づいて前記複数の第１画像をそれぞれ規格化する第３ステップと、
    　画像抽出部が、前記規格化後の前記複数の第１画像からそれぞれ薬剤領域の画像を抽出する第４ステップと、
    　画像抽出部が、前記抽出された複数の薬剤領域の画像に基づいて前記薬剤に付された刻印又は印字を強調する強調処理を施した第２画像を生成する第５ステップと、
    　薬剤識別部が、前記生成された前記第２画像に基づいて前記薬剤を識別する第６ステップと、
    　を含む薬剤識別方法。
  13. 　前記第５ステップは、前記抽出された複数の薬剤領域の画像からそれぞれ前記照明方向に応じた方向のエッジ抽出フィルタを使用して複数のエッジ画像を取得し、前記複数のエッジ画像を使用して前記第２画像を生成する請求項１２に記載の薬剤識別方法。
  14. 　前記トレーは、サイズ及び形状が既知の格子状の仕切りを有し、
    　前記格子状の仕切りにより区画された載置面には薬剤が載置され、
    　前記格子状の仕切りは、前記指標を兼ねる請求項１２又は１３に記載の薬剤識別方法。
  15. 　前記トレーの前記格子状の仕切りにより区画された前記薬剤の載置面の色は、色相、明度及び彩度のうちの少なくとも１つが、１又は複数の載置面毎に異なる請求項１４に記載の薬剤識別方法。
  16. 　前記第２ステップは、前記複数の第１画像として、照明方向が異なる３つ以上の画像と前記ディスプレイを消灯させた状態の画像とを取得し、
    　生成部が、前記３つ以上の画像からそれぞれ前記ディスプレイを消灯させた状態の画像を減算し、環境光の影響を除去した前記複数の第１画像を生成するステップを含む請求項１２から１５のいずれか１項に記載の薬剤識別方法。
  17. 　前記第１ステップから前記第５ステップは、それぞれ前記トレーに載置された前記薬剤が反転された後に、前記反転された前記薬剤に対して同じ処理を行い、
    　前記第５ステップは、反転前及び反転後の前記薬剤に対してそれぞれ生成された前記第２画像に基づいて前記薬剤を識別する請求項１２から１６のいずれか１項に記載の薬剤識別方法。
  18. 　請求項１から１０のいずれか１項に記載の薬剤識別システムを構成する前記カメラ付き携帯端末にインストールされるプログラムであって、
    　薬剤識別の指示入力を受け付けると、前記ディスプレイの発光領域を変更し、前記トレーに載置された前記薬剤への照明方向を複数回変更するディスプレイ制御機能と、
    　前記ディスプレイの発光領域の変更により照明方向が異なる前記薬剤を前記カメラにより複数回撮影させ、前記薬剤の複数の第１画像を取得する画像取得機能と、
    　を前記カメラ付き携帯端末に実現させるプログラム。
  19. 　前記複数の第１画像に写っている前記指標に基づいて前記複数の第１画像をそれぞれ規格化する規格化機能と、
    　前記規格化後の前記複数の第１画像からそれぞれ薬剤領域の画像を抽出する画像抽出機能と、
    　前記抽出された複数の薬剤領域の画像に基づいて前記薬剤に付された刻印又は印字を強調する強調処理を施した第２画像を生成する画像処理機能と、
    　前記生成された前記第２画像に基づいて前記薬剤を識別する薬剤識別機能と、
    　を前記カメラ付き携帯端末に実現させる請求項１８に記載のプログラム。
  20. 　非一時的かつコンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がコンピュータによって読み取られた場合に請求項１８又は１９に記載のプログラムをコンピュータに実行させる記録媒体。
PCT/JP2020/002946 2019-02-08 2020-01-28 薬剤識別システム、薬剤識別装置、薬剤識別方法及びプログラム WO2020162262A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020571113A JP7106688B2 (ja) 2019-02-08 2020-01-28 薬剤識別システム、薬剤識別装置、薬剤識別方法及びプログラム
CN202080008525.3A CN113301883A (zh) 2019-02-08 2020-01-28 药剂识别系统、药剂识别装置、药剂识别方法以及程序
EP20752369.7A EP3922232B1 (en) 2019-02-08 2020-01-28 Medicine identification system, medicine identification device, medicine identification method, and program
US17/349,927 US20210312219A1 (en) 2019-02-08 2021-06-17 Medicine identification system, medicine identification device, medicine identification method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-021802 2019-02-08
JP2019021802 2019-02-08

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/349,927 Continuation US20210312219A1 (en) 2019-02-08 2021-06-17 Medicine identification system, medicine identification device, medicine identification method, and program

Publications (1)

Publication Number Publication Date
WO2020162262A1 true WO2020162262A1 (ja) 2020-08-13

Family

ID=71948236

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/002946 WO2020162262A1 (ja) 2019-02-08 2020-01-28 薬剤識別システム、薬剤識別装置、薬剤識別方法及びプログラム

Country Status (5)

Country Link
US (1) US20210312219A1 (ja)
EP (1) EP3922232B1 (ja)
JP (1) JP7106688B2 (ja)
CN (1) CN113301883A (ja)
WO (1) WO2020162262A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6891360B1 (ja) * 2021-01-05 2021-06-18 アイティアクセス株式会社 撮影補助治具及び肌撮影装置
JPWO2022092130A1 (ja) * 2020-10-29 2022-05-05
WO2022163508A1 (ja) * 2021-01-26 2022-08-04 富士フイルム富山化学株式会社 薬剤識別装置、薬剤識別方法及びプログラム、薬剤識別システム、薬剤載置台、照明装置、撮影補助装置、学習済みモデル、並びに学習装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI781856B (zh) * 2021-12-16 2022-10-21 新加坡商鴻運科股份有限公司 藥物影像辨識方法、電腦設備及儲存介質

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015535108A (ja) 2012-10-31 2015-12-07 メドスナップ・リミテッド・ライアビリティ・カンパニーＭｅｄｓｎａｐ， ＬＬＣ デジタル画像における錠剤の認識のための適応色補正のシステム及び方法

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4923282B2 (ja) * 2002-11-22 2012-04-25 グローリー株式会社 薬剤認識装置
WO2006090671A1 (ja) * 2005-02-23 2006-08-31 Matsushita Electric Works, Ltd. 粒状物体の検査方法及びその方法を実施する検査装置
CN201534392U (zh) * 2009-07-16 2010-07-28 上海理工大学 药片冲压设备高精度检测系统
US8224391B2 (en) * 2009-07-20 2012-07-17 Lg Electronics Inc. Mobile terminal having an LED backlight unit
WO2011145351A1 (ja) * 2010-05-20 2011-11-24 パナソニック株式会社 薬液判定装置及び薬液判定方法
JP5748624B2 (ja) * 2011-09-14 2015-07-15 株式会社トーショー 薬品管理システム
JP2014053791A (ja) * 2012-09-07 2014-03-20 Panasonic Corp 画像処理装置、画像処理プログラムおよび画像撮影装置
JP2014095652A (ja) * 2012-11-12 2014-05-22 Kansai Seiki Kogyo Kk 薬剤認識方法および薬剤認識装置
US9994347B2 (en) * 2013-02-20 2018-06-12 Yuyama Mfg. Co., Ltd. Medicine inspection device and medicine packaging system
EP2987106A4 (en) * 2013-04-18 2016-12-14 Digimarc Corp ACQUIRING AND ANALYZING PHYSIOLOGICAL DATA
US20140313303A1 (en) * 2013-04-18 2014-10-23 Digimarc Corporation Longitudinal dermoscopic study employing smartphone-based image registration
US20140378810A1 (en) * 2013-04-18 2014-12-25 Digimarc Corporation Physiologic data acquisition and analysis
JP6100136B2 (ja) * 2013-09-30 2017-03-22 富士フイルム株式会社 薬剤認識装置及び方法
US9940439B2 (en) * 2013-11-29 2018-04-10 Atabak Reza Royaee Method and device for identification and/or sorting of medicines
US9462169B2 (en) * 2013-12-31 2016-10-04 Huawei Technologies Co., Ltd. Shooting method, apparatus, and terminal
US20160360084A1 (en) * 2014-02-26 2016-12-08 Huawei Device Co., Ltd. Method and Apparatus for Controlling Photographic Fill-In Light and Terminal
JP6213662B2 (ja) * 2014-03-07 2017-10-18 新日鐵住金株式会社 表面性状指標化装置、表面性状指標化方法及びプログラム
AU2015239178B2 (en) * 2014-03-31 2019-12-05 Yuyama Mfg.Co.,Ltd. Medicine photographing device
WO2016047569A1 (ja) * 2014-09-25 2016-03-31 株式会社湯山製作所 鑑査支援システム、錠剤分包装置
KR102322987B1 (ko) * 2015-06-26 2021-11-09 (주)제이브이엠 약포 검사 장치 및 약포 검사 방법
CN107920956B (zh) * 2015-09-28 2020-06-16 富士胶片株式会社 药剂检查装置及方法以及记录介质
JP2017130887A (ja) * 2016-01-22 2017-07-27 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、撮像方法、及びプログラム
JP6674834B2 (ja) 2016-04-22 2020-04-01 富士フイルム富山化学株式会社 薬剤監査装置及び方法並びにプログラム
US10713540B2 (en) * 2017-03-07 2020-07-14 Board Of Trustees Of Michigan State University Deep learning system for recognizing pills in images
JP2018190085A (ja) * 2017-04-28 2018-11-29 キヤノンマーケティングジャパン株式会社 情報処理システム、情報処理システムの制御方法、およびプログラム
WO2019222541A1 (en) * 2018-05-16 2019-11-21 Conex Digital Llc Smart platform counter display system and method

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015535108A (ja) 2012-10-31 2015-12-07 メドスナップ・リミテッド・ライアビリティ・カンパニーＭｅｄｓｎａｐ， ＬＬＣ デジタル画像における錠剤の認識のための適応色補正のシステム及び方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3922232A4

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2022092130A1 (ja) * 2020-10-29 2022-05-05
WO2022092130A1 (ja) * 2020-10-29 2022-05-05 株式会社湯山製作所 種類判別装置、種類判別方法、種類判別プログラム、及び薬剤仕分装置
EP4201389A4 (en) * 2020-10-29 2024-05-08 Yuyama Mfg Co Ltd TYPE DISCRIMINATION DEVICE, TYPE DISCRIMINATION METHOD, TYPE DISCRIMINATION PROGRAM AND DRUG SORTING DEVICE
JP6891360B1 (ja) * 2021-01-05 2021-06-18 アイティアクセス株式会社 撮影補助治具及び肌撮影装置
WO2022149193A1 (ja) * 2021-01-05 2022-07-14 アイティアクセス株式会社 撮影補助治具及び肌撮影装置
WO2022163508A1 (ja) * 2021-01-26 2022-08-04 富士フイルム富山化学株式会社 薬剤識別装置、薬剤識別方法及びプログラム、薬剤識別システム、薬剤載置台、照明装置、撮影補助装置、学習済みモデル、並びに学習装置

Also Published As

Publication number Publication date
CN113301883A (zh) 2021-08-24
EP3922232A4 (en) 2022-03-23
JPWO2020162262A1 (ja) 2021-11-25
EP3922232A1 (en) 2021-12-15
EP3922232B1 (en) 2022-11-23
JP7106688B2 (ja) 2022-07-26
US20210312219A1 (en) 2021-10-07

Similar Documents

Publication Publication Date Title
WO2020162262A1 (ja) 薬剤識別システム、薬剤識別装置、薬剤識別方法及びプログラム
JP4285290B2 (ja) 画像処理装置、画像処理方法、およびプログラム
US20050279833A1 (en) Direct print system
US9953433B2 (en) Distance image acquisition apparatus and distance image acquisition method
EP2887632A1 (en) Methods and apparatus for color balance correction
US20170094240A1 (en) Image processing device, imaging device, image processing method, and program
JP6884248B2 (ja) プリント用画像生成プログラム
CN109565577A (zh) 色彩校正装置、色彩校正系统、色彩校正用全息图、色彩校正方法以及程序
JP2017059927A (ja) ユーザ端末、色彩補正システム及び色彩補正方法
US20230368552A1 (en) Drug identification device, drug identification method and program, drug identification system, drug loading table, illumination device, imaging assistance device, trained model, and learning device
KR20200036314A (ko) 식품 정보 추정을 위한 가이드 카드, 이를 이용한 식품 정보 추정 시스템 및 방법
JP2006277445A (ja) 情報取得方法、及び情報取得プログラム
JP2012205089A (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
CN108765321A (zh) 拍照修复方法、装置、存储介质及终端设备
CN113412615B (zh) 信息处理终端、记录介质、信息处理系统及颜色校正方法
JP7225416B2 (ja) 画像処理装置、携帯端末、画像処理方法及びプログラム
CN108632485B (zh) 图像形成系统和图像形成装置
JP5314521B2 (ja) 画像処理システム及び画像処理方法
JP2020038611A (ja) 情報処理装置、情報処理システム、方法、およびプログラム
US20240111470A1 (en) System, terminal, server, image display method, and program
TWI387323B (zh) 具有輔助定位功能的取像裝置
JP2022129126A (ja) 印刷システム、プログラムおよび印刷物生産方法
US20160063763A1 (en) Image processor and information processor
JP2009135592A (ja) 有価媒体印刷システム、および印刷決定装置
WO2024079900A1 (ja) 撮影用テストチャート、情報処理装置、情報処理方法、及び記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20752369

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020571113

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020752369

Country of ref document: EP

Effective date: 20210908