WO2014034683A1 - 電子機器、情報提供システム、制御方法および制御プログラム - Google Patents

電子機器、情報提供システム、制御方法および制御プログラム Download PDF

Info

Publication number
WO2014034683A1
WO2014034683A1 PCT/JP2013/072915 JP2013072915W WO2014034683A1 WO 2014034683 A1 WO2014034683 A1 WO 2014034683A1 JP 2013072915 W JP2013072915 W JP 2013072915W WO 2014034683 A1 WO2014034683 A1 WO 2014034683A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
indicator
camera
measurement value
display
Prior art date
Application number
PCT/JP2013/072915
Other languages
English (en)
French (fr)
Inventor
原田 直樹
友康 ▲高▼橋
伊東 裕樹
一晃 中江
Original Assignee
京セラ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2012188808A external-priority patent/JP6320671B2/ja
Priority claimed from JP2012195484A external-priority patent/JP6196024B2/ja
Priority claimed from JP2012197763A external-priority patent/JP5898596B2/ja
Application filed by 京セラ株式会社 filed Critical 京セラ株式会社
Priority to US14/424,297 priority Critical patent/US9654743B2/en
Publication of WO2014034683A1 publication Critical patent/WO2014034683A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6898Portable consumer electronic devices, e.g. music players, telephones, tablet computers
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0046Arrangements of imaging apparatus in a room, e.g. room provided with shielding or for improved access to apparatus
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/743Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4869Determining body composition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/02Recognising information on displays, dials, clocks

Definitions

  • This application relates to an electronic device, an information providing system, a control method, and a control program.
  • measuring instruments such as a weight scale for measuring body weight, a sphygmomanometer for measuring blood pressure, and a pedometer for measuring the number of steps are used.
  • Some of such measuring instruments have a communication function for transmitting measured values to the information processing apparatus (see, for example, Patent Document 1 and Patent Document 2).
  • the value transmitted to the information processing apparatus is used for various types of analysis.
  • An electronic apparatus includes a camera, a controller that determines whether a measurement value of a health measuring instrument is included in an image captured by the camera, and the measurement when the measurement value is included in the image. And a communication unit that transmits information related to the value to the information providing apparatus.
  • the controller may be configured to perform control to match an orientation of an image captured by the camera with an orientation of an indicator indicating a measurement value of the health measuring device.
  • the controller specifies an area where the indicator is imaged from the video imaged by the camera, performs photometry processing for the specified area, and performs imaging It may be configured to adjust the exposure amount.
  • the electronic device which concerns on one aspect WHEREIN The display which displays the image
  • the said controller is an image of the indicator which shows the measured value of the said health measuring device in the image
  • the display may be controlled so that becomes a trapezoid.
  • the electronic apparatus may further include a display that displays the indicator captured by the camera in a trapezoidal manner when the camera faces the indicator of the health measuring instrument. Good.
  • the information providing system includes an electronic device and an information providing apparatus.
  • the electronic device includes a camera, a first controller that determines whether a measurement value of a health measuring instrument is included in an image captured by the camera, and the measurement value when the measurement value is included in the image.
  • a communication unit for transmitting information related to the information providing apparatus.
  • the information providing apparatus includes a storage that stores information related to the measurement value, and a second controller that performs analysis based on the information related to the measurement value.
  • the first controller may be configured to perform control to match an orientation of an image captured by the camera with an orientation of an indicator indicating a measurement value of the health measuring device. Good.
  • the first controller specifies an area where the indicator is imaged from the video imaged by the camera, and executes photometric processing for the specified area And the structure which adjusts the exposure amount at the time of imaging may be sufficient.
  • the electronic device further includes a display that displays an image captured by the camera, and the first controller measures the health of the image captured by the camera.
  • the display of the display may be controlled so that the indicator image indicating the measured value of the vessel becomes a trapezoid.
  • the electronic device further includes a display that displays the indicator captured by the camera in a trapezoidal manner when the camera faces the indicator of the health measuring device.
  • the structure provided may be sufficient.
  • An information providing method is a method of controlling an electronic device including a camera, the step of determining whether a measurement value of a health measuring device is included in an image captured by the camera, and the measurement value Storing the information in a storage, and performing an analysis for providing information based on the stored information related to the measurement value.
  • the information providing method may further include a step of performing control to match the direction of the image captured by the camera with the direction of the indicator indicating the measurement value of the health measuring device.
  • An information providing method includes: an exposure when a region in which the indicator is imaged is identified from the image captured by the camera, a photometric process is performed on the identified region, and the image is captured
  • the method may further include adjusting the amount.
  • An information providing method includes a step of displaying an image captured by the camera on a display included in the electronic device, and an indicator indicating a measurement value of the health measuring device in the image captured by the camera And controlling the display of the display so that the image of the image becomes a trapezoid.
  • the indicator imaged by the camera is displayed on a display included in the electronic device so as to be trapezoidal.
  • a step may be further included.
  • a control program stores, in an electronic device including a camera, a step of determining whether a measurement value of a health measuring device is included in an image captured by the camera, and stores information related to the measurement value in a storage And a step of performing an analysis for providing information based on the stored information related to the measurement value.
  • the control program may further cause the electronic device to execute a step of performing control to match an orientation of an image captured by the camera with an orientation of an indicator indicating a measurement value of the health measuring device.
  • the control program specifies an area where the indicator is imaged from the video imaged by the camera, performs a photometric process for the identified area, and an exposure amount when imaging
  • the electronic device may be further subjected to the step of adjusting.
  • the control program includes a step of displaying an image captured by the camera on a display provided in the electronic device, and an indicator indicating a measurement value of the health measuring device in the image captured by the camera And controlling the display on the display so that the image has a trapezoidal shape.
  • the control program includes a step of displaying the indicator imaged by the camera on a display included in the electronic device so as to form a trapezoid when the electronic device faces the indicator of the health measuring instrument. May be further executed by the electronic device.
  • FIG. 1 is a diagram illustrating a configuration of an information providing system according to an embodiment.
  • FIG. 2 is a diagram showing an outline of the operation of the information providing system.
  • FIG. 3 is a block diagram of a mobile phone.
  • FIG. 4 is a diagram illustrating an example of a body composition meter included in an image.
  • FIG. 5 is a diagram illustrating an example of an activity meter included in an image.
  • FIG. 6 is a diagram illustrating an example of a sphygmomanometer included in an image.
  • FIG. 7 is a block diagram of the information providing apparatus.
  • FIG. 8 is a diagram illustrating an example of measurement value information.
  • FIG. 9 is a flowchart illustrating a procedure of processing for reading and transmitting a measurement value.
  • FIG. 9 is a flowchart illustrating a procedure of processing for reading and transmitting a measurement value.
  • FIG. 9 is a flowchart illustrating a procedure of processing for reading and transmitting a measurement value.
  • FIG. 10 is a diagram illustrating an example of screen transition.
  • FIG. 11 is a diagram illustrating a modified example of the operation of the information providing system.
  • FIG. 12 is a diagram illustrating another modified example of the operation of the information providing system.
  • FIG. 13 is a diagram illustrating another modification of the operation of the information providing system.
  • FIG. 14 is a diagram illustrating another configuration of the information providing system.
  • FIG. 15 is a diagram illustrating an example of imaging a body composition meter indicator under a light source.
  • FIG. 16 is a diagram illustrating an example of an image in which a shadow of a mobile phone is reflected.
  • FIG. 17 is a diagram illustrating another example of an image in which a shadow of a mobile phone is reflected.
  • FIG. 16 is a diagram illustrating an example of an image in which a shadow of a mobile phone is reflected.
  • FIG. 18 is a diagram illustrating an example of an image captured in a different direction from the indicator.
  • FIG. 19 is a diagram illustrating an example of an image captured in the same direction as the indicator.
  • FIG. 20 is a flowchart illustrating an example of control for making the orientation of the captured image coincide with the orientation of the indicator of the health measuring instrument included in the image.
  • FIG. 21 is a diagram illustrating an example of a state where image data is supplemented by a camera.
  • FIG. 22 is a diagram showing an example of the luminance distribution of the image data shown in FIG.
  • FIG. 23 is a diagram illustrating an example of a position in the image data of a pixel having a peak luminance value in the luminance distribution illustrated in FIG. FIG.
  • FIG. 24 is a diagram illustrating an example of a region that is cut out as a candidate for a region in which an image of an indicator of the body composition meter is displayed.
  • FIG. 25 shows an example of a processing procedure for specifying a region in which an image of an indicator of a health measuring device is displayed from image data captured by a mobile phone with a camera and performing photometric processing for the specified region.
  • FIG. 26 is a diagram illustrating an example of a pattern design for specifying a region in image data in which an image of a body composition indicator is displayed.
  • FIG. 27 is a diagram illustrating an example in which the mobile phone itself is reflected in an image.
  • FIG. 28 is a diagram illustrating an example of an image captured by the mobile phone itself.
  • FIG. 29 is a diagram illustrating an example in which the shadow of the mobile phone is reflected in the image.
  • FIG. 30 is a diagram illustrating an example of an image in which a shadow of the mobile phone is reflected.
  • FIG. 31 is a diagram illustrating an example of a state in which no reflection occurs.
  • FIG. 32 is a diagram illustrating an example of an image captured in the state illustrated in FIG.
  • FIG. 33 is a diagram illustrating an example of an imaging screen.
  • FIG. 34 is a diagram illustrating an example of an imaging screen in a state of facing the health measuring device.
  • FIG. 35 is a diagram illustrating an example of an imaging screen in the state illustrated in FIG.
  • FIG. 36 is a flowchart illustrating an example of control for reducing the possibility of occurrence of reflection.
  • FIG. 37 is a diagram illustrating an example in which trapezoidal correction is performed on the image captured in the state illustrated in FIG. 31.
  • FIG. 38 is a diagram illustrating another example of the imaging screen.
  • FIG. 39 is a diagram illustrating an example of an imaging screen in a state of facing the health measuring device.
  • FIG. 40 is a diagram illustrating an example of an imaging screen in the state illustrated in FIG.
  • FIG. 1 is a diagram illustrating a configuration of an information providing system according to an embodiment.
  • the information providing system includes a mobile phone 100, a base station 200, information providing devices 300a and 300b, and a voice recognition device 400.
  • the information providing apparatus 300a and 300b may be collectively referred to as the information providing apparatus 300 without specifying which one.
  • the mobile phone 100 has a function of reading a measurement value measured by the health measuring instrument and transmitting it to the information providing apparatus 300.
  • the health measuring instrument is a measuring instrument that measures numerical values related to health.
  • the health meter is, for example, a weight scale that measures body weight, a body composition meter that measures body fat percentage in addition to body weight, a thermometer that measures body temperature, a sphygmomanometer that measures blood pressure, a pulsometer that measures pulse, a step count A pedometer that measures the amount of activity and an activity meter that measures the amount of activity due to exercise including walking.
  • the mobile phone 100 reads the measurement value displayed on the indicator provided in the health measuring device by imaging the health measuring device with a camera. As described above, by capturing the measurement value displayed on the indicator with the camera, the mobile phone 100 can read the measurement value measured by the health measuring device even if the health measuring device does not have a communication function. The read measurement value is transmitted to the information providing apparatus 300 by the communication function of the mobile phone 100. Details of reading the measurement values by the mobile phone 100 will be described later.
  • the base station 200, the information providing device 300, and the voice recognition device 400 are communicably connected via a network 500.
  • the base station 200 establishes a wireless communication line with the mobile phone 100 located in the communication area, and enables the mobile phone 100 to communicate with other devices through this wireless communication line.
  • the description regarding the base station 200 may be omitted.
  • the information providing apparatus 300 stores the measurement value transmitted from the mobile phone 100 in association with the ID (identification number) and date / time (time stamp) of the user of the mobile phone 100.
  • the information providing apparatus 300 can store the measurement values of a plurality of types of health measuring devices in association with the identification numbers of the respective users. Then, the information providing apparatus 300 performs analysis processing based on the measurement values accumulated in this way, and transmits information such as health advice to the mobile phone 100.
  • the voice recognition device 400 analyzes the content of voice information transmitted from another device by voice recognition processing, and transmits the analyzed content to the transmission source device. For example, when the mobile phone 100 transmits voice information in which the user's voice is recorded to the voice recognition device 400, the voice recognition device 400 analyzes the content of the voice information by voice recognition processing and carries the analyzed content as text data. Send to phone 100. With such a mechanism, voice operation of the mobile phone 100 is realized.
  • the configuration of the information providing system is not limited to the example shown in FIG.
  • the number of various devices included in the information providing system may be larger or smaller than the number shown in FIG.
  • the information providing system may not include the voice recognition device 400.
  • the information providing apparatus 300 may be a home personal computer, and the base station 200 may be a home wireless LAN router.
  • FIG. 2 is a diagram showing an outline of the operation of the information providing system.
  • the health measuring device performs measurement and the measured value is displayed on the indicator of the health measuring device.
  • the mobile phone 100 takes an image of the health measuring device using the camera (step S11).
  • the mobile phone 100 determines the position and type of the measurement value included in the captured image (step S12).
  • Imaging in the present application is not limited to acquiring an image when the shutter is released (when the release button is pressed), and the image (image) being captured is displayed on a display as in a so-called live view. Including continuous acquisition while displaying.
  • the mobile phone 100 reads the measurement value from the captured image (step S13). Reading of the measurement value included in the image can be realized by using a known character recognition technique.
  • the mobile phone 100 transmits the read measurement value together with the additional information to the information providing apparatus 300 (step S14).
  • the additional information is information necessary for using the measurement value of the information providing apparatus 300 for analysis.
  • the additional information includes, for example, a value indicating the type of measurement value, a value indicating the unit of measurement value, and the like.
  • the mobile phone 100 may transmit the measurement values separately or collectively.
  • the mobile phone 100 may store measurement values acquired from a plurality of types of health measuring devices, and collectively transmit them to the information providing apparatus 300 at some timing.
  • the mobile phone 100 stores the date and time when the measurement value is acquired in association with each measurement value, and includes the stored date and time in the additional information at the time of transmission.
  • the mobile phone 100 may transmit the measurement value and the additional information to a predetermined information providing apparatus 300, or the manufacturer, type, etc. acquired from the captured image Depending on the information, the destination information providing apparatus 300 may be determined.
  • the information providing apparatus 300 stores the measurement value transmitted from the mobile phone 100 in association with the ID and time stamp of the user of the mobile phone 100 (step S15).
  • the user ID may be acquired from the additional information, or may be acquired based on the value of the header of the packet that transmits the measurement value from the mobile phone 100 to the information providing apparatus 300.
  • the time stamp may be acquired from the additional information, or may be acquired based on the value of the time measuring unit of the information providing apparatus 300 when the measured value is received.
  • the time stamp indicates the date / time when the measurement value was read or the date / time when the measurement value was transmitted when it is acquired from the additional information. Indicates the date and time when
  • the information providing apparatus 300 executes analysis processing based on the stored measurement values (step S16).
  • the analysis process may be executed every time a measurement value is received, or may be executed every time a specific type of measurement value (for example, weight) is received. Alternatively, the analysis process may be executed at a predetermined time.
  • health-related analysis is performed based on changes over time of a plurality of measurement values related to the user of the mobile phone 100. Since the information providing apparatus 300 stores measurement values related to a plurality of users, the information providing apparatus 300 may use information obtained by statistically processing the measurement values related to a plurality of users in the analysis process.
  • the information providing apparatus 300 transmits the analysis result to the mobile phone 100 (step S17).
  • the mobile phone 100 displays the transmitted analysis result (step S18).
  • the analysis result may be transmitted to the mobile phone 100 as an e-mail, or may be transmitted to the mobile phone 100 in another predetermined format.
  • the measurement value and the additional information may be transmitted as an HTTP (HyperText Transfer Protocol) request, and the analysis result may be returned in an HTML (HyperText Markup Language) format.
  • FIG. 3 is a block diagram of the mobile phone 100.
  • the mobile phone 100 includes a touch screen display 2, a button 3, an illuminance sensor 4, a proximity sensor 5, a communication unit 6, a receiver 7, a microphone 8, a storage 9, and a controller.
  • a speaker 11 a camera 12, a camera 13, a connector 14, an acceleration sensor 15, an orientation sensor 16, a gyroscope 17, and a GPS (Global Positioning System) receiver 18.
  • GPS Global Positioning System
  • the touch screen display 2 has a display 2A and a touch screen 2B.
  • the display 2A includes a liquid crystal display (LCD: Liquid Crystal Display), an organic EL display (OELD: Organic Electro-Luminescence Display), or an inorganic EL display (IELD: Inorganic Electro-Luminescence Display device).
  • LCD Liquid Crystal Display
  • OELD Organic Electro-Luminescence Display
  • IELD Inorganic Electro-Luminescence Display device
  • the touch screen 2B detects contact of a finger, a pen, a stylus pen, or the like with the touch screen 2B.
  • the touch screen 2B can detect a position where a plurality of fingers, a pen, a stylus pen, or the like is in contact with the touch screen 2B.
  • a finger, pen, stylus pen or the like that comes into contact with the touch screen 2B may be referred to as a “contact object (contact object)”.
  • the detection method of the touch screen 2B may be any method such as a capacitance method, a resistive film method, a surface acoustic wave method (or an ultrasonic method), an infrared method, an electromagnetic induction method, and a load detection method.
  • a capacitance method a resistive film method
  • a surface acoustic wave method or an ultrasonic method
  • an infrared method an electromagnetic induction method
  • a load detection method for the sake of simplicity, it is assumed that the user uses his / her finger to touch the touch screen 2 ⁇ / b> B in order to operate the mobile phone 100.
  • the mobile phone 100 is based on at least one of the contact detected by the touch screen 2B, the position at which the contact is detected, the change in the position at which the contact is detected, the interval at which the contact is detected, and the number of times the contact is detected. To determine the type of gesture.
  • the gesture is an operation performed on the touch screen 2B.
  • Gestures identified by the mobile phone 100 include, but are not limited to, touch, long touch, release, swipe, tap, double tap, long tap, drag, flick, pinch in, and pinch out, for example.
  • the touch screen detects contact, and based on the contact, the mobile phone 100 determines that the gesture type is X”, May be described as “detecting X”, “the controller detects X”, or “the touch screen detects X”. The controller will be described later.
  • the button 3 is operated by the user.
  • the controller 10 detects an operation on the button 3 by cooperating with the button 3.
  • the operation on the button 3 includes, but is not limited to, click, double click, triple click, push, and multi-push.
  • the illuminance sensor 4 detects the illuminance of ambient light of the mobile phone 100. Illuminance indicates light intensity, brightness, or luminance. The illuminance sensor 4 is used for adjusting the luminance of the display 2A, for example.
  • the proximity sensor 5 detects the presence of a nearby object without contact. The proximity sensor 5 detects the presence of an object based on a change in a magnetic field or a change in a feedback time of an ultrasonic reflected wave. The proximity sensor 5 detects that the touch screen display 2 is brought close to the face, for example.
  • the illuminance sensor 4 and the proximity sensor 5 may be configured as one sensor. The illuminance sensor 4 may be used as a proximity sensor.
  • the communication unit 6 communicates wirelessly.
  • the communication method supported by the communication unit 6 is a wireless communication standard.
  • wireless communication standards include cellular phone communication standards such as 2G, 3G, and 4G.
  • Cellular phone communication standards include, for example, LTE (Long Term Evolution), W-CDMA (Wideband Code Multiple Access), CDMA2000, PDC (Personal Digital Cellular), GSM (Regular Trademark) (GloSmMobleSport). (Personal Handy-phone System).
  • wireless communication standards for example, there are WiMAX (Worldwide Interoperability for Microwave Access), IEEE 802.11, Bluetooth (registered trademark), IrDA (Infrared Data Association), NFC (NearFarm, etc.).
  • the communication unit 6 may support one or more of the communication standards described above.
  • the receiver 7 and the speaker 11 are sound output units.
  • the receiver 7 and the speaker 11 output the sound signal transmitted from the controller 10 as sound.
  • the receiver 7 is used, for example, to output the other party's voice during a call.
  • the speaker 11 is used, for example, for outputting a ring tone and music.
  • One of the receiver 7 and the speaker 11 may also function as the other.
  • the microphone 8 is a sound input unit. The microphone 8 converts the user's voice or the like into a sound signal and transmits the sound signal to the controller 10.
  • Storage 9 stores programs and data.
  • the storage 9 is also used as a work area for temporarily storing the processing result of the controller 10.
  • the storage 9 may include any non-transitory storage medium such as a semiconductor storage medium and a magnetic storage medium.
  • the storage 9 may include a plurality of types of storage media.
  • the storage 9 may include a combination of a portable storage medium such as a memory card, an optical disk, or a magneto-optical disk, and a storage medium reader.
  • the storage 9 may include a storage device used as a temporary storage area such as a RAM (Random Access Memory).
  • the program stored in the storage 9 includes an application executed in the foreground or the background, and a control program that supports the operation of the application.
  • the application displays a screen on the display 2A, and causes the controller 10 to execute processing according to a gesture detected via the touch screen 2B.
  • the control program is, for example, an OS.
  • the application and the control program may be introduced into the storage 9 via wireless communication by the communication unit 6 or a non-transitory storage medium.
  • the storage 9 stores, for example, a control program 9A, a mail application 9B, a browser application 9C, a health management application 9D, used device information 9X, determination information 9Y, and setting data 9Z.
  • the control program 9A provides functions related to various controls for operating the mobile phone 100. For example, the control program 9A activates or terminates the application according to the detected operation.
  • the mail application 9B provides an email function for creating, sending, receiving, and displaying an email.
  • the browser application 9C provides a WEB browsing function for displaying a WEB page.
  • the health management application 9D provides a function of reading a measurement value displayed on the indicator of the health measuring instrument and transmitting it to the information providing apparatus 300, and a function of displaying an analysis result transmitted from the information providing apparatus 300 on the display 2A. To do.
  • the used device information 9X includes information indicating the appearance characteristics of a health measuring device (hereinafter also referred to as “used device”) used by the user of the mobile phone 100, and measurement values displayed by the health measuring device.
  • Information indicating the position and type of the is, for example, the shape (the whole or part of the health measuring instrument), the color, the shape of the measurement value, the arrangement of the measurement value, the character string existing in the vicinity of the measurement value, or It includes at least one of a symbol, other characters or symbols present on the surface of the health meter, and their positions.
  • the information indicating the position and type of the measurement value includes information corresponding to each measurement value.
  • the information indicating the position and type of the measurement value includes information regarding the order in which the measurement values are displayed.
  • the used device information 9X may be initially empty or may hold information corresponding to a pre-selected health measuring device.
  • the determination information 9Y includes information for determining which measurement value exists in the captured image. Specifically, in the determination information 9Y, for each health measuring instrument existing in the market, information relating to appearance characteristics and information indicating the position and type of the measurement value displayed by the health measuring instrument are stored in association with each other. Is done.
  • the information indicating the appearance characteristics of the health measuring instrument is, for example, the shape (the whole or part of the health measuring instrument), the color, the shape of the measurement value, the arrangement of the measurement value, the character string existing in the vicinity of the measurement value, or It includes at least one of a symbol, other characters or symbols present on the surface of the health meter, and their positions.
  • the information indicating the position and type of the measurement value includes information corresponding to each measurement value.
  • the information indicating the position and type of the measurement value includes information regarding the order in which the measurement values are displayed.
  • a plurality of models having substantially the same appearance characteristics and the same position and type of measurement values to be displayed may be collected and stored as one health measuring device.
  • the determination information 9Y may not cover information on all health measuring instruments existing in the market.
  • the judgment information 9Y includes abstracted information so that the measurement value can be read from an unknown health measuring device. Specifically, the determination information 9Y stores information on characters or symbols that are likely to exist in the vicinity of the measurement value for each type of measurement value. Generally, at least one of the name or unit of the measurement value exists in the vicinity of the measurement value. By storing such a name or unit in association with the type of measurement value, it is possible to detect the measurement value in the vicinity using the name or unit as a clue and determine the type of the measurement value. Become. In this case, in order to easily detect the measurement value, the relative position of the measurement value corresponding to the name or unit may be stored. For example, when storing a unit, it may be further stored that a measurement value exists on the left side.
  • information regarding the range of the measurement value is further stored for each type of measurement value as abstracted information. For example, when the measured value is body temperature, a range from 35 ° C. to 40 ° C. is stored as the range. For example, when the measured value is the maximum blood pressure, a range from 100 mmHg to 200 mmHg is stored as the range.
  • a numerical value is detected in the image, it is possible to determine whether the numerical value is a measured value and what type of measured value by comparing the numerical value with a range.
  • the arrangement of the measurement values may have a law for each manufacturer or health measuring device. For example, in the case of a pulse meter, the highest blood pressure, the lowest blood pressure, and the pulse rate are often displayed vertically from the top.
  • the arrangement of the numerical values is checked against the law to determine whether the numerical values are measured values and what type of measured values each is. Can do.
  • the determination information 9Y includes information for determining the manufacturer and type of the health measuring instrument. Specifically, in the determination information 9Y, information on the character shape of the displayed measurement value is stored for each manufacturer. Further, the determination information 9Y stores information on the name or symbol of the company to be printed, stamped, or affixed on the surface of the health measuring device for each manufacturer. Further, the determination information 9Y stores information on the model number printed, stamped, or affixed on the surface of the health measuring device for each manufacturer and type of the health measuring device. In the determination information 9Y, information for determining the manufacturer and type of the health measuring device is stored in association with the information regarding the appearance characteristics of the health measuring device. The abstracted information included in the determination information 9Y may be stored for each manufacturer or type of health measuring instrument.
  • the setting data 9Z includes information related to various settings related to the operation of the mobile phone 100.
  • the controller 10 is an arithmetic processing unit.
  • the arithmetic processing unit includes, for example, a CPU (Central Processing Unit), an SoC (System-on-a-chip), an MCU (Micro Control Unit), and an FPGA (Field-Programmable Gate Array), but is not limited thereto.
  • the controller 10 implements various functions by comprehensively controlling the operation of the mobile phone 100.
  • the controller 10 executes instructions included in the program stored in the storage 9 while referring to the data stored in the storage 9 as necessary. And the controller 10 controls a function part according to data and a command, and implement
  • the functional unit includes, for example, the display 2A, the communication unit 6, the receiver 7, and the speaker 11, but is not limited thereto.
  • the controller 10 may change the control according to the detection result of the detection unit.
  • the detection unit includes, for example, a touch screen 2B, a button 3, an illuminance sensor 4, a proximity sensor 5, a microphone 8, a camera 12, a camera 13, an acceleration sensor 15, an orientation sensor 16, a gyroscope 17, and a GPS receiver 18. It is not limited to these.
  • the controller 10 executes the health management application 9D to read the measurement value displayed on the indicator of the health measuring instrument and transmit it to the information providing apparatus 300, and the analysis result transmitted from the information providing apparatus 300 Is realized on the display 2A.
  • the camera 12 is an in-camera that captures an object facing the front face.
  • the camera 13 is an out camera that captures an image of an object facing the back face.
  • the camera 13 is also used for imaging the health measuring device.
  • the connector 14 is a terminal to which other devices are connected.
  • the connector 14 may be a general-purpose terminal such as a USB (Universal Serial Bus), HDMI (registered trademark) (High-Definition Multimedia Interface), Light Peak (Thunderbolt (registered trademark)), or an earphone microphone connector.
  • the connector 14 may be a dedicated terminal such as a dock connector.
  • Devices connected to connector 14 include, but are not limited to, external storage, speakers, and communication devices, for example.
  • the acceleration sensor 15 detects the direction and magnitude of acceleration acting on the mobile phone 100.
  • the direction sensor 16 detects the direction of geomagnetism.
  • the gyroscope 17 detects the angle and angular velocity of the mobile phone 100.
  • the detection results of the acceleration sensor 15, the azimuth sensor 16, and the gyroscope 17 are used in combination in order to detect changes in the position and orientation of the mobile phone 100.
  • the GPS receiver 18 detects the position of the mobile phone 100.
  • Non-transitory storage media include, for example, optical disks such as CD (registered trademark), DVD (registered trademark), and Blu-ray (registered trademark), magneto-optical disks, magnetic storage media, memory cards, and solid-state storage media Including, but not limited to.
  • the configuration of the mobile phone 100 shown in FIG. 3 is an example, and may be changed as appropriate without departing from the spirit of the present invention.
  • the mobile phone 100 includes two cameras, but the mobile phone 100 may include only the camera 13.
  • the mobile phone 100 includes four types of sensors for detecting the position and orientation, but the mobile phone 100 may not include some of these sensors.
  • the mobile phone 100 may include another type of sensor for detecting at least one of a position and a posture.
  • FIG. 4 is a diagram illustrating an example of the body composition meter 40 included in the image captured by the camera 13.
  • the body composition meter 40 includes an indicator 41, a manufacturer name 44 printed on the surface, and an electrode 45 for measuring a body fat percentage.
  • the indicator 41 displays a measured value 42a indicating weight and a measured value 43a indicating body fat percentage. Further, a unit 42b indicating that the unit of weight is Kg is displayed on the right side of the measured value 42a, and a symbol indicating that the body fat percentage is displayed on the right side of the measured value 43a. 43b is displayed.
  • the mobile phone 100 When such a body composition meter 40 is included in the image, the mobile phone 100 includes the measured values 42a and 43a that are numerical values, a unit 42b in the vicinity of the measured value 42a, and a symbol 43b in the vicinity of the measured value 43a. Is detected. Furthermore, the mobile phone 100 acquires information related to the appearance characteristics of the body composition meter 40 including the measurement value 42a and the measurement value 43a. For example, the shape 40a of the body composition meter 40, the color of the body composition meter 40, the position of the indicator 41, the font and arrangement of information displayed on the indicator 41, the characters constituting the manufacturer name 44, the font and position of the manufacturer name 44, The electrode 45, the position of the electrode 45, and the like are acquired as information relating to appearance characteristics.
  • the mobile phone 100 collates the acquired information with at least one of the used device information 9X and the determination information 9Y, the measured value 42a indicates the weight and the measured value 43a indicates the body fat percentage. judge. Then, the mobile phone 100 acquires the weight and body fat percentage as numerical data by the character recognition process.
  • FIG. 5 is a diagram illustrating an example of the activity meter 50 included in the image captured by the camera 13.
  • the activity meter 50 includes an indicator 51, a model number 54 printed on the surface, a button 55, and a button 56.
  • the indicator 51 displays a measured value 52a indicating the number of steps and a measured value 53a indicating calorie consumption.
  • a unit 52b indicating that the unit of the number of steps is a step (STEP) is displayed to the right of the measured value 52a, and a unit of calorie consumption is Kcal to the right of the measured value 53a.
  • Unit 53b is displayed.
  • the mobile phone 100 When such an active mass meter 50 is included in the image, the mobile phone 100 includes a measured value 52a and a measured value 53a that are numerical values, a unit 52b in the vicinity of the measured value 52a, and a unit 53b in the vicinity of the measured value 53a. Is detected. Furthermore, the mobile phone 100 acquires information related to appearance features of the activity meter 50 including the measurement value 52a and the measurement value 53a. For example, the shape 50a of the activity meter 50, the color of the activity meter 50, the position of the indicator 51, the font and arrangement of information displayed on the indicator 51, the characters constituting the model number 54, the font and position of the model 54, the button 55 And the shape and position of 56 and the like are acquired as information relating to appearance features.
  • the mobile phone 100 determines that the measured value 52a indicates the number of steps and the measured value 53a indicates the calorie consumption by comparing the acquired information with at least one of the used device information 9X and the determination information 9Y. To do. Then, the cellular phone 100 acquires the number of steps and the calorie consumption as numerical data by the character recognition process. The timing at which the mobile phone 100 determines that the measured value 52a indicates the number of steps and the measured value 53a indicates calorie consumption may be after the character recognition process is performed.
  • FIG. 6 is a diagram illustrating an example of a sphygmomanometer 60 included in an image captured by the camera 13.
  • the sphygmomanometer 60 includes an indicator 61 and a button 65.
  • the indicator 61 displays a measured value 62a indicating the maximum blood pressure, a measured value 63a indicating the minimum blood pressure, and a measured value 64a indicating the pulse rate. Further, a name 62b indicating that the measured value 62a indicates the maximum blood pressure is printed on the left side of the measured value 62a, and a name 63b indicating that the measured value 63a indicates the minimum blood pressure is displayed on the left side of the measured value 63a. Is printed on the left side of the measured value 64a, and a name 64b indicating that the measured value 64a indicates the pulse rate is printed.
  • the mobile phone 100 uses the measured value 62a, the measured value 63a, and the measured value 64a that are numerical values, the name 62b in the vicinity of the measured value 62a, and the vicinity of the measured value 63a. And a name 64b in the vicinity of the measured value 64a are detected. Furthermore, the mobile phone 100 acquires information regarding the appearance characteristics of the sphygmomanometer 60 including the measurement value 62a, the measurement value 63a, and the measurement value 64a.
  • the shape, position, and the like of the button 65 are acquired as information related to appearance features.
  • the mobile phone 100 collates the acquired information with at least one of the used device information 9X and the determination information 9Y, so that the measured value 62a indicates the maximum blood pressure, and the measured value 63a indicates the minimum blood pressure. It is determined that the measured value 64a indicates a pulse. Then, the cellular phone 100 acquires the systolic blood pressure, the diastolic blood pressure, and the pulse rate as numerical data by character recognition processing.
  • FIG. 7 is a block diagram of the information providing apparatus 300.
  • FIG. 8 is a diagram illustrating an example of measurement value information.
  • the information providing apparatus 300 includes a communication unit 301, a controller 302, and a storage 303.
  • the communication unit 301 enables communication with other devices based on a predetermined protocol.
  • the controller 302 is an arithmetic processing unit such as a CPU (Central Processing Unit).
  • the controller 302 implements various functions by comprehensively controlling the operation of the information providing apparatus 300. Specifically, the controller 302 executes instructions included in the program stored in the storage 303 while referring to the data stored in the storage 303 as necessary. Then, the controller 302 executes various types of information processing according to data and instructions.
  • the controller 302 executes an analysis process based on the accumulated measurement values by executing the analysis program 304, for example.
  • the storage 303 stores programs and data.
  • the storage 303 is also used as a work area for temporarily storing the processing result of the controller 302.
  • the storage 303 may include any non-transitory storage medium such as a semiconductor storage medium and a magnetic storage medium.
  • the storage 303 may include a plurality of types of storage media.
  • the storage 303 may include a combination of a portable storage medium such as a memory card, an optical disk, or a magneto-optical disk and a storage medium reading device.
  • the storage 303 may include a storage device used as a temporary storage area, such as a RAM (Random Access Memory).
  • the storage 303 stores an analysis program 304 and measurement value information 306, for example.
  • the analysis program 304 provides a function for executing analysis processing based on accumulated measurement values.
  • the measurement value information 306 includes items such as a user ID, a time stamp, and a type, and a plurality of items in which the measurement value and a name indicating the type are stored in association with each other.
  • the item of user ID an identifier for identifying the user of the mobile phone 100 is stored.
  • the time stamp item stores the date and time when the measurement value was read, the date and time when the measurement value was transmitted, or the date and time when the measurement value was received.
  • the type item a value indicating the type of the health measuring device from which the measured value is read is stored.
  • the measurement value information 306 is configured so that a plurality of types of measurement values can be stored in time series. For this reason, the information provision apparatus 300 can perform the advanced analysis regarding health based on the time-dependent change of several types of measured values.
  • FIG. 9 is a flowchart illustrating a procedure of processing for reading and transmitting a measurement value.
  • FIG. 10 is a diagram illustrating an example of screen transition when a measured value is read and transmitted. The operations shown in FIGS. 9 and 10 are realized by the controller 10 of the mobile phone 100 executing the health management application 9D.
  • the controller 10 first activates the health management application 9D.
  • the health management application 9D is activated, for example, triggered by detection of a user operation.
  • the operation for starting the health management application 9D may be an operation for a menu or an operation for an icon similar to the operation for starting another application.
  • the operation for starting the health management application 9D may be an operation on the lock screen.
  • the lock screen is a screen on which an operation for shifting the mobile phone 100 from the standby state to the normal state is performed.
  • the lock screen 31 is displayed on the display 2A.
  • an unlock icon 31a, a camera icon 31b, and a measured value reading icon 31c are arranged.
  • the controller 10 When the operation for moving the unlock icon 31a in the direction of the camera icon 31b by flicking or dragging is detected by the touch screen 2B, the controller 10 starts an application for taking a picture. When an operation for moving the unlock icon 31a in the direction of the measurement value reading icon 31c by flicking or dragging is detected by the touch screen 2B, the controller 10 activates the health management application 9D. When an operation for moving the unlock icon 31a in the other direction by flicking or dragging is detected by the touch screen 2B, the controller 10 displays on the display 2A the screen that was displayed before the transition to the home screen or standby state. Let
  • the health management application 9D by configuring the health management application 9D to be activated by operating the lock screen, the user can quickly start reading the measurement values from the health measuring instrument.
  • the controller 10 When the health management application 9D is activated, as shown in FIG. 9, the controller 10 first activates the camera 13 (step S101). Then, the controller 10 captures an image using the camera 13 (step S102), and displays the captured image on the display 2A (step S103).
  • an imaging screen 32 for imaging is displayed on the display 2A.
  • the body composition meter displaying the weight and body fat percentage on the indicators is imaged.
  • the controller 10 detects a number in the image captured by the camera 13 (step S104).
  • the controller 10 re-executes Step S102 and the subsequent steps.
  • step S105 If the number in the image captured by the camera 13 can be detected (step S105, Yes), the controller 10 detects a character near the number (step S106). Furthermore, the controller 10 acquires the shape and color of the device including numbers (step S107), and detects other characters and symbols included in the device (step S108). And the controller 10 acquires arrangement
  • the order of steps S106 to S108 is not limited to this.
  • the controller 10 collates the acquired information with the use device information 9X (step S110).
  • the controller 10 performs step S115 and subsequent steps. Execute.
  • step S111 When the used device in the image is not detected (step S111, No), the controller 10 uses the acquired information on the appearance characteristic of the health measuring device as the determination information 9Y in order to detect the health measuring device other than the used device. Collation is performed (step S112). When the health measuring device in the image cannot be specified by collation (No at Step S113), the controller 10 re-executes Step S102 and the subsequent steps.
  • the controller 10 adds the information of the specified health measuring device to the used device information 9X (step S114).
  • the information on the appearance characteristics acquired in steps S104 to S109 is information indicating the position and type of the measurement value of the data in the determination information 9Y corresponding to the health measuring instrument specified in step S113. And is added to the used device information 9X.
  • the controller 10 executes step S115 and subsequent steps.
  • step S115 the controller 10 displays a detection result display screen on the display 2A (step S115). Then, the controller 10 displays the manufacturer name and type of the health measuring instrument included in the captured image on the detection result display screen (step S116).
  • the controller 10 captures an image using the camera 13 (step S117), and displays the captured image on the detection result display screen (step S118). And the controller 10 detects the measured value in an image (step S119), and displays the detected measured value on a detection result display screen (step S120).
  • a detection result display screen 33 as shown in step S23 of FIG. 10 is displayed on the display 2A.
  • the detection result display screen 33 includes an image display area 33a, a transmission button 33b, and a detection result display area 33c.
  • the image display area 33a is an area where a captured image is displayed.
  • the controller 10 enlarges the area where the measurement value is displayed in the captured image and displays it in the image display area 33a. For this reason, even in a situation where it is difficult to see the indicator of the health measuring device, the user can easily grasp the measured value.
  • the mobile phone 100 may be configured so that the detection result can be corrected using the touch screen 2B or the button 3 in step S120.
  • the transmission button 33b is a button for instructing execution of transmission of the measurement value and the additional information to the information providing apparatus 300.
  • the detection result display area 33c is an area in which information obtained by analyzing the captured image is displayed.
  • the controller 10 determines whether an instruction to transmit the measurement value and the additional information has been given (step S121).
  • the controller 10 re-executes Step S117 and the subsequent steps. In this way, the controller 10 repeats image acquisition, image display, measurement value detection, and detection value display until a transmission instruction is issued. For this reason, the mobile phone 100 can reflect the change in the detection result when the measurement value included in the image changes.
  • the controller 10 performs detection of a character or symbol near the measurement value and matching of the detected character or symbol with the determination information 9Y. May be.
  • the controller 10 since the controller 10 repeatedly executes the process of enlarging the area where the measurement value is displayed in the captured image and displaying it in the image display area 33a, even if the image is blurred due to camera shake, You can continue to display the same part of. For this reason, the mobile phone 100 can improve the visibility of the displayed image.
  • the mobile phone 100 is read the model number of the health measuring device, and the type of the health measuring device and the position and type of the measurement value displayed on the health measuring device indicator are determined. Then, the user can also perform an operation of causing the mobile phone 100 to read the measured value after that.
  • step S121 If a transmission instruction is made (step S121, Yes), the controller 10 instructs the communication unit 6 to transmit the detected measurement value and additional information to the information providing apparatus 300 (step S122).
  • the transmission instruction is performed, for example, when the user who has confirmed the measurement value displayed on the detection result display screen 33 taps the transmission button 33b using the finger F1 as shown in step S24 of FIG.
  • the analysis result screen 34 includes a history display area 34a that shows changes over time in a plurality of types of measurement values, and an advice display area 34b that displays advice obtained by analysis processing.
  • each program shown in FIG. 3 and FIG. 7 may be divided into a plurality of modules, or may be combined with other programs.
  • the arrangement of the functions of the mobile phone 100 and the information providing apparatus 300 may be changed as appropriate.
  • the mobile phone 100 may execute the function of the information providing apparatus 300. That is, the mobile phone 100 may execute accumulation and analysis of measurement values in addition to reading of measurement values.
  • the information providing apparatus 300 may execute part of the functions of the mobile phone 100.
  • the information providing apparatus 300 may execute a process for determining the position and type of the measurement value included in the image.
  • the mobile phone 100 transmits an image to the information providing apparatus 300, and the information providing apparatus 300 executes both the collation with the used device information 9 ⁇ / b> X and the collation with the determination information 9 ⁇ / b> Y. It may be configured.
  • FIG. 11 is a diagram illustrating a modified example of the operation of the information providing system. Alternatively, as shown in FIG.
  • FIG. 12 is a diagram illustrating another modified example of the operation of the information providing system.
  • the information providing apparatus 300 transmits the used device information 9X corresponding to the determination result to the mobile phone 100 together with the determination result, but may be configured to transmit only the determination result. Good.
  • the load on the mobile phone 100 is reduced, and it is easy to cope with a new model of the health measuring device.
  • FIG. 12 it is possible to reduce the time required for determining the position of the measurement value and the like while facilitating the correspondence to the new model of the health measuring instrument.
  • FIG. 13 is a diagram illustrating another modification of the operation of the information providing system. In the configuration shown in FIG. 13, the load on the mobile phone 100 is further reduced.
  • some of the functions of the mobile phone 100 may be executed by a device other than the information providing device 300.
  • a device determination apparatus 600 that determines the position of a measurement value or the like may be added to the information providing system.
  • FIG. 14 is a diagram illustrating another configuration of the information providing system.
  • the mobile phone 100 reads the measurement value displayed on the indicator of the health measuring device
  • the method of reading the measurement value is not limited to this.
  • the mobile phone 100 may read the measurement value from the positional relationship between the needle and the scale of the analog health measuring device.
  • the weight of the mobile phone 100 is stored in advance, and the device displaying the measurement value is a measuring instrument that measures the body weight.
  • the mobile phone 100 may be configured so as to subtract the weight of the mobile phone 100 from the measurement value indicating the body weight.
  • the health measuring device may be configured to display the measured value not only as a numerical value but also as a code that the mobile phone 100 can easily read. In this case, not only the measured value but also the type and unit of the measured value may be encoded.
  • the encoding can be realized using, for example, a one-dimensional barcode or a two-dimensional barcode. Or when the indicator of a health measuring device is a 7 segment display, you may implement
  • the health meter may be configured to display not only the measured value but also the personal information on the indicator.
  • personal information that is not registered in the mobile phone 100 can be acquired from the health measuring device by the mobile phone 100 and transmitted to the information providing apparatus 300 to be useful for analysis.
  • the personal information may be displayed as characters on the indicator of the health measuring device, or may be encoded and displayed as described above.
  • the personal information may be stored in advance in the information providing apparatus 300.
  • the mobile phone 100 may perform control so that the orientation of the image picked up by the indicator is changed according to the aspect ratio (aspect ratio) of the indicator of the health measuring device.
  • the relationship between the aspect ratio of the indicator and the aspect ratio of the image will be described by taking as an example the case of imaging the indicator 41 of the body composition meter 40 shown in FIG.
  • the fact that the direction of the indicator of the health measuring device coincides with the direction of the image to be captured means that the longitudinal direction of the indicator coincides with the longitudinal direction of the image (the short direction of the indicator is the short side of the image). Match the direction).
  • the direction of the indicator of the health measuring device matches the direction of the image to be captured, which means that the direction of the measurement value displayed on the indicator, the character or symbol in the vicinity of the measurement value is the short direction of the image. It may mean matching.
  • FIG. 15 is a diagram illustrating an example of imaging the indicator 41 of the body composition meter 40 under a light source.
  • the light source L1 is provided on the ceiling, and the body composition meter 40 is placed on the floor.
  • the cellular phone 100 is held by the user between the light source L1 and the body composition meter 40 in order to capture the indicator 41 of the body composition meter 40 with the camera 13.
  • the light from the light source L1 may cause a shadow of the mobile phone 100 on the body composition meter 40, and the shadow may be reflected in an image captured by the camera 13.
  • the body (particularly the hand) of the user holding the mobile phone 100 is not considered for the sake of simplicity.
  • FIG. 16 is a diagram illustrating an example of an image in which a shadow of the mobile phone 100 is reflected.
  • An image P ⁇ b> 1 illustrated in FIG. 16 is captured in a different direction from the indicator 41. That is, the image P1 illustrated in FIG. 16 is captured in a direction in which the longitudinal direction of the image P1 does not match the longitudinal direction of the indicator 41 (the direction in which the short side direction of the image P1 does not match the short side direction of the indicator 41). For this reason, the orientation of the image P1a of the indicator 41 in the image P1 does not coincide with the orientation of the image P1.
  • the shadow P1b of the mobile phone 100 is reflected in the image P1.
  • the touch screen display 2 of the mobile phone 100 is provided on almost the entire surface opposite to the camera 13, and is configured so that the camera 13 can display an image being captured on almost the entire surface thereof. For this reason, since the orientation of the image captured by the camera 13 matches the orientation of the mobile phone 100, the orientation of the shadow P1b of the mobile phone 100 in the image P1 is always the same as the orientation of the image P1.
  • the image P1 includes the image P1a of the indicator 41 having a different orientation from the image P1 and the shadow P1b having the same orientation as the image P1.
  • Such images having different orientations tend to be in a partially overlapping relationship as in the example shown in FIG.
  • the shadow P1b overlaps a part of the image P1a of the indicator 41
  • the luminance or the like inside the image P1a partially changes, and this partial change causes the reading of the measurement value in the image P1a. May have adverse effects.
  • the health meter indicator uses a reflective display panel that does not have a backlight, the change in brightness of the indicator is originally small, making it difficult to read the measurement value due to the brightness difference caused by the shadow. there is a possibility.
  • FIG. 17 is a diagram illustrating another example of an image in which a shadow of the mobile phone 100 is reflected.
  • An image P2 illustrated in FIG. 17 is captured in the same direction as the indicator 41. That is, the image P2 illustrated in FIG. 17 is captured in a direction in which the longitudinal direction of the image P2 matches the longitudinal direction of the indicator 41 (the direction in which the short side direction of the image P2 matches the short side direction of the indicator 41). For this reason, the orientation of the image P2a of the indicator 41 in the image P2 matches the orientation of the image P2.
  • the shadow P2b of the mobile phone 100 is reflected in the image P2.
  • the orientation of the image captured by the camera 13 matches the orientation of the mobile phone 100.
  • the direction of the shadow P2b of the mobile phone 100 in the image P2 matches the direction of the image P2.
  • the image P2 includes the image P2a of the indicator 41 in the same direction as the image P2 and the shadow P2b in the same direction as the image P2.
  • Such images having the same orientation are likely to have a relationship in which one is included in the other, as in the example shown in FIG.
  • P2b is often larger than the image P2a of the indicator 41. For this reason, when the image P2 is captured in the same direction as the indicator 41, the image P2a of the indicator 41 is likely to be included in the shadow P2b as in the example shown in FIG.
  • FIG. 18 is a diagram illustrating an example of an image captured in a different direction from the indicator.
  • the image P3a of the indicator 41 includes the entire indicator 41, but is largely shifted upward from the center of the image P3.
  • the entire image to be captured may become dark and the measurement value in the image P3a of the indicator 41 may be blackened.
  • region P3b of the body composition meter 40 is black, the whole image imaged may become bright, and the measured value in the image P3a of the indicator 41 may be overwhelmed.
  • FIG. 19 is a diagram illustrating an example of an image captured in the same direction as the indicator.
  • the image P4a of the indicator 41 includes the entire indicator 41.
  • the image P4a of the indicator 41 has almost the same size as the image P3a of the indicator 41 in FIG. 18, and is shown at a position greatly shifted to the left from the center of the image P4. It is located at the center.
  • the possibility of obtaining an image suitable for reading the measurement value can be increased. For example, if the measurement of the health meter indicator and the analysis of the captured image are repeatedly performed until the measurement value is successfully read from the health meter, the orientation of the image and the health meter indicator Can be reduced in time required for successful reading of the measurement value.
  • FIG. 20 is a flowchart illustrating an example of control for making the orientation of the captured image coincide with the orientation of the indicator of the health measuring instrument included in the image.
  • the control shown in FIG. 20 is realized by the controller 10 executing the health management application 9D.
  • the control shown in FIG. 20 is executed in parallel with the processing shown in FIG.
  • the controller 10 executes the control on the assumption that the orientation of the health measuring instrument indicator is horizontal as the initial operation before the orientation of the health measuring instrument indicator is determined. This is because the orientation of the indicator of the health measuring instrument is often landscape.
  • the controller 10 may be configured to execute the control on the assumption that the direction of the indicator of the health measuring device is the vertical orientation according to the setting or operation by the user.
  • the controller 10 displays an imaging screen for capturing an indicator of the health measuring instrument in a landscape orientation in step S201. Images captured by the camera 13 are continuously displayed on the imaging screen. Subsequently, as Step S202, the controller 10 determines whether or not the measurement value of the health measuring device is detected in Step S104 of the process shown in FIG. When the measured value is not detected (No at Step S202), the controller 10 proceeds to Step S203.
  • Controller 10 determines the orientation of mobile phone 100 in step S203.
  • the orientation of the mobile phone 100 can be determined using a detector such as the acceleration sensor 15 and the gyroscope 17. If the orientation of the mobile phone 100 is landscape (step S204, Yes), the controller 10 returns to step S202.
  • the controller 10 performs control for making the orientation of the mobile phone 100 landscape orientation. Specifically, the controller 10 displays a message prompting the change of the orientation of the mobile phone 100 on the display 2A as step S205. In addition to displaying the message, the controller 10 may stop displaying the captured image on the imaging screen. By stopping the display of the image, the user can be made aware that the direction in which the image is captured is not appropriate. Thereafter, the controller 10 returns to step S202.
  • step S104 the controller 10 proceeds to step S206.
  • step S206 the controller 10 determines the orientation of the indicator in the image. Note that the direction determined here is the direction determined by the longitudinal direction and the short direction of the indicator, and is not related to the direction in which the measurement value is displayed. The direction of the indicator can be determined based on, for example, the shape of the region in which the measurement value is detected in the process shown in FIG. 9, the model of the health measuring instrument specified in the process shown in FIG.
  • step S207 the controller 10 determines whether the orientation of the health measuring instrument indicator matches the orientation of the image being captured.
  • the controller 10 proceeds to step S210.
  • step S207 If the direction of the indicator of the health measuring device does not match the direction of the image being captured (No at step S207), control is performed to match the direction of the captured image with the direction of the indicator. Specifically, the controller 10 displays a message for prompting the change of the orientation of the mobile phone 100 on the display 2A in step S208, and changes the orientation of the imaging screen in step S209. Step S208 and step S209 may be executed in any order. In addition to these controls, the controller 10 may stop displaying the captured image on the imaging screen. Thereafter, the controller 10 proceeds to step S210.
  • the controller 10 determines whether or not the imaging is finished as step S210. When the imaging is not completed (No at Step S210), the controller 10 returns to Step S206. When imaging ends (step S210, Yes), the controller 10 ends the process shown in FIG. The controller 10 may always end the process in step S210.
  • the information providing apparatus 300 cannot correctly analyze the user's health condition, and the quality of the service related to health management also deteriorates. Therefore, hereinafter, an example of control for the mobile phone 100 to accurately read the measurement value displayed on the indicator from the image obtained by capturing the indicator of the health measuring device will be described.
  • the health management application 9D provides the functions described below in addition to the functions described in the first embodiment.
  • the health management application 9D has a function of specifying a region in the image data in which an image (image) of the health measuring instrument indicator is displayed based on the luminance distribution of the health measuring instrument image data captured by the camera 13. provide.
  • the health management application 9D provides a function of executing photometric processing for the specified area.
  • the controller 10 executes the health management application 9D, thereby displaying an image (image) of the indicator of the health measuring instrument based on the luminance distribution of the image data of the health measuring instrument captured by the camera 13. Identify areas in the data. Further, the controller 10 executes the health management application 9D to execute a photometric process for the specified area.
  • FIG. 21 is a diagram illustrating an example of a state where image data is supplemented by a camera.
  • FIG. 21 shows a case where image data of the body composition meter 40 which is a health measuring device is captured.
  • the user operates the camera 13 and the mobile phone 100 while confirming that the image data of the indicator 41 of the body composition meter 40 to be imaged is displayed on the touch screen display 2 (display 2A).
  • the controller 10 as shown in FIG. 21, in response to user's operation, and displays the image data I 1 of the body composition monitor 40 which can be imaged on the display 2A by the camera 13.
  • FIG. 22 is a diagram showing an example of the luminance distribution of the image data shown in FIG.
  • the horizontal axis indicates the luminance value
  • the vertical axis indicates the frequency of the luminance value.
  • the controller 10 calculates a luminance distribution of the image data I 1 shown in FIG. 21.
  • the image data I 1 shown in FIG. 21 includes a luminance value “ ⁇ ” and a luminance value “ ⁇ ” that are peaks as shown in FIG.
  • the user focuses on the indicator 41 of the body composition monitor 40 which is an imaging target, since the operation of the camera 13 and the cellular phone 100, the image data I 1, the indicator 41 of the body composition monitor 40 Image Many are included.
  • the indicator 41 of the body composition meter 40 is configured by a liquid crystal panel that displays character information in gray scale
  • the luminance values of the pixels constituting the indicator 41 are approximately the same value. Therefore, it can be determined that one of the peak luminance value “ ⁇ ” and the luminance value “ ⁇ ” is likely to be the indicator 41.
  • FIG. 23 is a diagram illustrating an example of a position in the image data I 1 of a pixel having a peak luminance value in the luminance distribution illustrated in FIG.
  • FIG. 23 shows an example of the position in the image data I 1 of the pixel P ⁇ having the luminance value “ ⁇ ” that is the peak in the luminance distribution shown in FIG.
  • FIG. 24 is a diagram illustrating an example of a region that is cut out as a candidate for a region in which the image of the indicator 41 of the body composition meter 40 is displayed.
  • the user focuses on the indicator 41 of the body composition monitor 40 which is an imaging target, since the operation of the camera 13 and the cellular phone 100, the image data I 1, the indicator 41 of the body composition monitor 40 Image It can be predicted that many are included. Therefore, the controller 10 refers to the position in the image data I 1 of the pixel P alpha having a luminance value "alpha" which is a peak in the luminance distribution (Fig. 23), and concentrated pixel P alpha shown in FIG.
  • the area A ⁇ is cut out from the image data I 1 as a candidate area where the image of the indicator 41 of the body composition meter 40 is projected.
  • the controller 10 cuts out a region candidate where the image of the indicator 41 of the body composition meter 40 is projected from the image data I 1 , for example, a region where pixels P ⁇ having a peak luminance value are concentrated. Cut out with the smallest rectangle containing.
  • the controller 10 is not limited to cutting out in a rectangular shape, and can be cut out in various shapes such as a circle, an ellipse, and a triangle according to the shape of the region where the pixels P ⁇ are concentrated.
  • the controller 10 performs a character recognition process on the area A ⁇ cut out from the image data I 1 as a candidate area where the image of the indicator 41 of the body composition meter 40 is projected. Then, the controller 10, when the recognized character information in the area A alpha identifies the region A alpha as an area where the image of the indicator 41 of the body composition monitor 40 is displayed.
  • the controller 10 executes photometry processing intended for the area A alpha.
  • the controller 10 when performing photometric processing intended for the area A alpha, segment metering, center-weighted metering, may be either a spot metering.
  • the controller 10 divides the area A ⁇ into a plurality of areas, and calculates a control value for determining the exposure amount from the average of the light amounts of the divided areas.
  • Controller 10 when performing photometric processing using a center-weighted metering, with emphasis on the light amount of the central part of the area of region A alpha, calculates a control value for determining the exposure amount.
  • Controller 10 when performing photometric processing using a spot metering, based on the small amount of a portion of the region A alpha, calculates a control value for determining the exposure amount.
  • FIG. 25 shows a procedure of processing for specifying a region in which an image of an indicator of the health measuring device is displayed from image data captured by the mobile phone 100 with the camera 13 and performing photometric processing for the specified region. It is a figure explaining an example.
  • the processing procedure shown in FIG. 25 is started when the controller 10 activates the health management application 9D.
  • the health management application 9D is activated in the same way as in the first embodiment, for example, when a user operation is detected.
  • the controller 10 After starting the health management application 9D, the controller 10 starts the camera 13 and calculates the luminance distribution (see FIG. 22) of the image data I 1 (see FIG. 21 and the like) captured by the camera 13 (step S301). ). Subsequently, the controller 10 selects one luminance value (for example, ⁇ ) that has a peak in the luminance distribution (step S302).
  • the controller 10 cuts out a region (for example, A ⁇ , see FIG. 24) of the image data I 1 where pixels having a peak luminance value (for example, P ⁇ ) are concentrated (step S303).
  • the controller 10 performs a character recognition process on the area (for example, A ⁇ ) cut out in step S303, and determines whether or not character information can be detected in the area (step S304).
  • step S304 if the controller 10 can detect character information in the area cut out in step S303 (step S304, Yes), the image of the indicator 41 of the body composition meter 40 indicates the area cut out in step S303. projected is specified as a region in the image data I 1 are (step S305).
  • step S306 the controller 10 performs a photometric process for the area specified in step S305. Then, the controller 10 based on the result of the photometry processing, by imaging the image data I 1 adjusts the exposure amount at the time of acquiring an image (step S307), and terminates the processing procedure shown in FIG. 25.
  • step S304 when the controller 10 cannot detect the character information in the region cut out in step S303 as a result of the determination (No in step S304), the controller 10 has not selected the peak luminance value. It is determined whether there is something (step S308). As a result of the determination, if there is an unselected one (step S308, Yes), the controller 10 returns to step S302, selects one luminance value from the unselected luminance values, and executes the above-described procedure. To do. On the other hand, if the result of determination is that there is no unselected item (step S308, No), the controller 10 ends the processing procedure shown in FIG.
  • the mobile phone 100 by executing the healthcare applications 9D, based on the luminance distribution of the image data I 1 of the body composition monitor 40 for imaging by the camera 13, health measurement A region in the image data I 1 in which an image (image) of the indicator of the container is projected is specified. Further, the controller 10 executes the health management application 9D to execute a photometric process for the specified area. For this reason, according to the second embodiment, the measurement value displayed on the indicator can be accurately read from the image obtained by capturing the indicator of the health measuring instrument.
  • the mobile phone 100 cuts out a region in the image data I 1 corresponding to a luminance value that is a peak in the luminance distribution as a candidate for a region where the image of the indicator 41 is displayed.
  • the mobile phone 100 can detect character information (for example, 7 segments) in the region cut out as a candidate, the mobile phone 100 displays the region in the image data I 1 corresponding to the peak luminance value as the indicator image. Is identified as the area where is projected.
  • the user focuses on the indicator 41 of the body composition monitor 40 which is an imaging target, since the operation of the camera 13 and the cellular phone 100, the image data I 1, the indicator 41 of the body composition monitor 40 Image It can be predicted that many are included.
  • the position of the camera 13 is at a position not facing the body composition meter 40. Even in this case, the measurement value displayed on the indicator 41 can be read with high accuracy. That is, even when the image of the indicator 41 is taken from an oblique direction, since the photometric process for the indicator 41 is executed, it is affected by light reflected from the indicator 41, reflection on the indicator 41, and the like. The measured value displayed on the indicator 41 can be read.
  • the region in the image data I 1 in which the image of the indicator 41 of the body composition meter 40 is projected is displayed.
  • the body composition meter 40 may be provided with a pattern design that identifies an area in the image data 41 where the image of the indicator 41 of the body composition meter 40 is displayed.
  • FIG. 26 is a diagram showing an example of a pattern design for specifying a region in the image data in which the image of the indicator 41 of the body composition meter 40 is projected.
  • the pattern design includes three quadrangles 41 a arranged so as to inscribe three corners of the indicator 41 of the body composition meter 40 among the four corners of the indicator 41 of the body composition meter 40, And a straight line 41 b surrounding the indicator 41.
  • the controller 10 captures the image data of the body composition meter 40 with the camera 13, the controller 10 recognizes the pattern design shown in FIG. 26 so that the image of the indicator 41 of the body composition meter 40 is displayed in the image data. Identify the area.
  • the controller 10 may read the pattern design shown in FIG. 26 by pattern matching, or may extract the edge from the image data and read the pattern design shown in FIG.
  • the pattern design shown in FIG. 26 is used to not only identify the area in which the image of the indicator 41 of the body composition meter 40 is projected, but also to detect the display content of the indicator 41 and the change in the display content, thereby
  • the area may be specified.
  • the controller 10 executes character recognition processing of the image data of the body composition meter 40 imaged by the camera 13 and can detect a character being “measured”, the controller 10 uses the position of the character as an indicator. An area where 41 images are displayed is specified.
  • the controller 10 can detect a change in display content displayed on the indicator 41 during measurement by taking a difference between frames of the image data of the body composition meter 40 captured by the camera 13, A region where the image of the indicator 41 is projected is specified by using the changed portion as a guide. Changes in display content include changes in numbers until the measured weight value is determined, changes in the case of displaying body fat from weight display, and the like.
  • a guide frame or the like for matching with the indicator 41 may be displayed on the display 2A.
  • the area inside the guide frame in the image data captured by the camera 13 is specified as the area where the image of the indicator 41 is projected.
  • thermometer other than the body composition meter 40 a blood pressure meter that measures blood pressure
  • a pulse meter that measures a pulse
  • number of steps that measures the number of steps.
  • Indicators of other health measuring devices such as a meter and an activity meter that measures the amount of activity due to exercise including walking can be specified in the same manner as in the case of the body composition meter 40.
  • the mobile phone 100 when the color temperature of the indicator 41 of the body composition meter 40 and the type of the light source are known in advance, the mobile phone 100 has a white balance according to the color temperature of the area of the indicator 41 and the type of the light source. Adjustments can also be made.
  • the mobile phone 100 may change the ISO sensitivity according to the result of the photometric process for the area where the image of the indicator 41 is displayed.
  • the mobile phone 100 uses the used device information 9X, the determination information 9Y, and the like, so that the area where the indicator 41 is displayed in the image data of the body composition meter 40 captured by the camera 13 to some extent. After narrowing down, the area where the indicator 41 is projected may be specified based on the luminance distribution of the narrowed area.
  • the mobile phone 100 adjusts the exposure amount based on the result of the photometric process for the area of the indicator 41, acquires the measurement value from the captured image, and then uses the used device information 9X and the determination information 9Y. Processing similar to that in the first embodiment (step S105 in FIG. 9, Yes to step S122) may be executed.
  • the mobile phone 100 may perform control such that the possibility that the shadow of the mobile phone 100 or the mobile phone 100 itself is reflected in an image obtained by imaging the indicator of the health measuring device is reduced. With reference to FIGS. 27 to 30, the shadow of the mobile phone 100 or the reflection of the image of the mobile phone 100 itself will be described.
  • FIG. 27 is a diagram showing an example in which the mobile phone 100 itself is reflected in an image.
  • FIG. 28 is a diagram illustrating an example of an image captured by the mobile phone 100 itself.
  • the mobile phone 100 captures the substantially rectangular (including square) indicator 41 of the body composition meter 40 with the camera 13, so that the body composition meter 40 is positioned almost directly above the body composition meter 40. It is held by the user so as to face up.
  • the surface of the indicator 41 is covered with a material that reflects light, such as glass or transparent resin, the surface of the indicator 41 functions as a kind of mirror.
  • the mobile phone 100 itself may be reflected.
  • the image P5b of the mobile phone 100 is reflected inside the image P5a of the indicator 41.
  • Such reflection may partially change the luminance or the like of the image P5a and make it difficult to read the measurement value contained in the image P5a.
  • the health meter indicator uses a reflective display panel that does not have a backlight, the change in brightness of the indicator is originally small, making it difficult to read the measurement value due to the brightness difference caused by the reflection. There is a possibility.
  • FIG. 29 is a diagram illustrating an example in which the shadow of the mobile phone 100 is reflected in the image.
  • FIG. 30 is a diagram illustrating an example of an image in which a shadow of the mobile phone 100 is reflected.
  • the light source L1 is provided on the ceiling, and the body composition meter 40 is placed on the floor.
  • the cellular phone 100 is held by the user between the light source L1 and the body composition meter 40 in order to capture the indicator 41 of the body composition meter 40 with the camera 13.
  • the light from the light source L1 may cause a shadow of the mobile phone 100 on the body composition meter 40, and the shadow may be reflected in an image captured by the camera 13.
  • the body (particularly the hand) of the user holding the mobile phone 100 is not considered.
  • the image P6b of the mobile phone 100 is reflected so as to overlap a part of the image P6a of the indicator 41.
  • Such a shadow reflection may change the luminance or the like of the image P6a partially and make it difficult to read the measurement value included in the image P6a.
  • FIG. 31 is a diagram illustrating an example of a state in which no reflection occurs.
  • FIG. 32 is a diagram illustrating an example of an image captured in the state illustrated in FIG. In the image P7 shown in FIG. 32, neither the shadow of the mobile phone 100 nor the mobile phone 100 itself is reflected in the image P7a of the indicator 41.
  • the image P7a is distorted into an isosceles trapezoid whose upper base is shorter than the lower base because it is captured in an inclined state. However, by performing a trapezoidal correction process, the image P7a is corrected to a rectangle suitable for reading the measurement value. can do.
  • the image of the substantially rectangular indicator of the health measuring device in the image taken by the camera 13 as in the image P7 shown in FIG. Control may be performed so as to form a trapezoid depending on the difference in feeling. Therefore, the cellular phone 100 can display an imaging screen S1 as shown in FIG. 33 on the display 2A when imaging the indicator of the health measuring instrument.
  • FIG. 33 is a diagram illustrating an example of the imaging screen S1.
  • the imaging screen S1 has an image display area S1a that occupies the upper half and a message display area S1b that occupies the lower half.
  • the image display area S1a is an area where images captured by the camera 13 are continuously displayed.
  • the image display area S1a includes a frame w1.
  • the frame w1 has an isosceles trapezoidal shape in which the upper base is shorter than the lower base.
  • the message display area S1b is an area in which a message for the user is displayed. In the example shown in FIG. 33, a message prompting the user to take a picture is displayed in the message display area S1b so that the indicator 41 of the body composition meter 40 is just within the frame.
  • the message display area S1b may further include a message that prompts the mobile phone 100 to tilt.
  • the frame w1 functions as a frame for matching the outer shape of the indicator of the health measuring instrument in the image captured by the camera 13. That is, the user adjusts the position and inclination of the mobile phone 100 while looking at the imaging screen S1 so that the outer shape of the indicator image of the health measuring instrument matches the frame w1. As a result, shooting is performed in the state shown in FIG.
  • FIG. 34 is a diagram showing an example of an imaging screen in a state of being almost directly opposed to the health measuring device.
  • FIG. 35 is a diagram illustrating an example of an imaging screen in the state illustrated in FIG.
  • FIG. 27 or FIG. 29 when imaging is performed with the mobile phone 100 facing the body composition meter 40 almost directly above the body composition meter 40, as shown in the example of FIG.
  • the image of the indicator 41 does not coincide with the frame w1.
  • the user can easily understand that the position and inclination of the mobile phone 100 are not appropriate.
  • the image P7 shown in FIG. 32 is obtained.
  • the state that is, the state shown in FIG. 31 is achieved.
  • the imaging screen S1 including the trapezoidal frame w1 it is possible to cause the user to perform shooting in a suitable state without giving a complicated instruction to the user. Furthermore, if this method is used, it can be expected that the shape of the image of the indicator 41 included in the image to be captured is substantially constant. For this reason, in order to read the measurement value included in the image of the indicator 41, a correction coefficient for correcting the number of images for correcting the shape of the image to a rectangle can be determined in advance, and the load of image processing is reduced.
  • FIG. 36 is a flowchart illustrating an example of control for reducing the possibility of occurrence of reflection.
  • the control shown in FIG. 36 is realized by the controller 10 executing the health management application 9D.
  • the controller 10 displays an imaging screen S1 including a trapezoidal frame w1 on the display 2A as step S401.
  • the controller 10 sets a correction coefficient for correcting the trapezoid of the captured image.
  • the correction coefficient set here is, for example, a coefficient for correcting the shape of the frame w1 to a rectangle.
  • the controller 10 performs the process shown in FIG. 9 as step S403. In this process, the controller 10 corrects the keystone of the image captured by the camera 13 using the correction coefficient set in step S402 before reading the numbers, symbols, and the like included in the image captured by the camera 13.
  • the controller 10 may dynamically change the shape of the frame w1 displayed on the display 2A during the execution of the processing shown in FIG. For example, when the distortion of the image of the indicator 41 in the image is too large and it is difficult to read numbers or the like, the controller 10 controls the length of the upper base of the frame w1 and the upper and lower bases of the frame w1. At least one of the control to increase the distance may be performed.
  • the distortion of the image is reduced, in other words, the user can change the position of the mobile phone 100 and the body composition meter 40 so that the mobile phone 100 and the body composition meter 40 are more directly opposed. It can be induced to change the slope. For example, when the numbers included in the image of the indicator 41 cannot be read as a whole, it can be determined that the distortion of the image is too large.
  • the controller 10 when it is difficult to read numbers or the like due to the shadow of the mobile phone 100 or the reflection of the mobile phone 100 itself, the controller 10 performs control to shorten the upper base of the frame w1 and the upper and lower sides of the frame w1. You may perform at least one of the control which narrows the distance with a bottom. In this way, by changing the shape of the frame w1, in a direction in which the reflection is unlikely to occur, in other words, the user can set the position of the mobile phone 100 and the mobile phone 100 so that the mobile phone 100 and the body composition meter 40 do not face each other. It can be induced to change the slope. For example, it can be determined that the reflection has occurred when the numbers included in the image of the indicator 41 cannot be partially read.
  • the controller 10 changes the correction coefficient set in step S402 according to the shape of the changed frame w1.
  • the controller 10 may display an image subjected to trapezoidal correction using the correction coefficient set in step S402 illustrated in FIG. 36 on the display 2A as an imaging screen.
  • the image P7 (see FIG. 32) captured in the state shown in FIG. 31 is displayed as an image without distortion like the image P8 shown in FIG.
  • FIG. 37 is a diagram illustrating an example in which trapezoidal correction is performed on the image captured in the state illustrated in FIG. 31.
  • An image P8a of the indicator 41 shown in FIG. 37 is an image obtained by correcting the shape of the image P7a distorted into an isosceles trapezoid whose upper base is shorter than the lower base into a rectangle by trapezoid correction.
  • FIG. 38 is a diagram illustrating another example of the imaging screen.
  • the imaging screen S2 has an image display area S2a that occupies the upper half, and a message display area S2b that occupies the lower half.
  • the image display area S2a is an area where images captured by the camera 13 are continuously displayed.
  • the image display area S2a includes a frame w2.
  • the frame w2 has a rectangular shape.
  • the image display area S2a may not include the frame w2.
  • the message display area S2b is an area where a message for the user is displayed. In the example shown in FIG. 38, a message prompting the user to take a picture is displayed in the message display area S2b so that the indicator 41 of the body composition meter 40 is just within the frame.
  • FIG. 39 is a diagram showing an example of an imaging screen in a state of facing the health measuring device.
  • FIG. 40 is a diagram illustrating an example of an imaging screen in the state illustrated in FIG.
  • the image of the indicator 41 is distorted into a trapezoidal shape in which the upper side is longer than the lower side because trapezoidal correction is performed, and does not coincide with the frame w2. For this reason, the user can easily understand that the position and inclination of the mobile phone 100 are not appropriate.
  • the user adjusts the position and inclination of the mobile phone 100 so that distortion is reduced in the displayed image, that is, the image from which the measurement value is read, so that an image with less distortion is obtained. Measurement values can be read with high accuracy.
  • the present embodiment uses a user's psychology that "I want to make the mobile phone face the body composition meter", that is, as shown in FIG. 39, the image of the indicator 41 is distorted.
  • the illusion that the mobile phone 100 is not directly facing the body composition meter 40 is utilized using the psychology of the user trying to tilt the mobile phone 100 as shown in FIG.
  • a mobile phone has been described as an example of an electronic device, but the mobile electronic device according to the appended claims is not limited to a mobile phone.
  • the electronic device according to the appended claims may be a portable electronic device other than a mobile phone. Examples of the portable electronic device include, but are not limited to, a tablet, a portable personal computer, a digital camera, a media player, an electronic book reader, a navigator, and a game machine.
  • the electronic device according to the appended claims may be an electronic device other than the portable electronic device.

Abstract

 電子機器(携帯電話)(100)は、カメラ(13)と、カメラ(13)によって撮像される画像に健康測定器の計測値が含まれるかを判定するコントローラ(10)と、画像に計測値が含まれる場合に、当該計測値に係る情報を情報提供装置へ送信する通信ユニット(6)とを備える。コントローラ(10)は、健康測定器の計測値を示すインジケータの向きに、カメラ(13)によって撮像する画像の向きを一致させる制御を行ってもよい。コントローラ(10)は、カメラ(13)によって撮像している映像のうちインジケータが撮像されている領域を特定し、特定した領域を対象とする測光処理を実行し、撮像するときの露出量を調整してもよい。コントローラ(10)は、カメラ(13)によって撮像している映像における健康測定器の計測値を示すインジケータの像が台形となるようにディスプレイ(2A)の表示を制御してもよい。

Description

電子機器、情報提供システム、制御方法および制御プログラム
 本出願は、電子機器、情報提供システム、制御方法および制御プログラムに関する。
 健康管理のために、体重を計測する体重計、血圧を計測する血圧計、歩数を計測する歩数計等の様々な測定器が利用されている。このような測定器には、測定した値を情報処理装置へ送信するための通信機能を持つものがある(例えば、特許文献1および特許文献2参照)。情報処理装置へ送信された値は、各種の分析に用いられる。
特開2008-033834号公報 特開2005-319216号公報
 個々の測定器に通信機能を持たせると、構成が複雑化するために、コストの増大を招くとともに、小型化が難しくなる。上記のことから、測定器の構成を複雑化することなく、測定器の測定した値を他の装置へ送信することを可能にする電子機器、情報提供システム、制御方法および制御プログラムに対するニーズがある。
 1つの態様に係る電子機器は、カメラと、前記カメラによって撮像される画像に健康測定器の計測値が含まれるかを判定するコントローラと、前記画像に前記計測値が含まれる場合に、当該計測値に係る情報を情報提供装置へ送信する通信ユニットとを備える。
 1つの態様に係る電子機器において、前記コントローラは、前記健康測定器の計測値を示すインジケータの向きに、前記カメラによって撮像する画像の向きを一致させる制御を行う構成であってもよい。
 1つの態様に係る電子機器において、前記コントローラは、前記カメラによって撮像している映像のうち前記インジケータが撮像されている領域を特定し、特定した領域を対象とする測光処理を実行し、撮像するときの露出量を調整する構成であってもよい。
 1つの態様に係る電子機器において、前記カメラによって撮像している映像を表示するディスプレイをさらに備え、前記コントローラは、前記カメラによって撮像している映像における前記健康測定器の計測値を示すインジケータの像が台形となるように前記ディスプレイの表示を制御する構成であってもよい。
 1つの態様に係る電子機器において、前記カメラが前記健康測定器のインジケータと正対する場合に、前記カメラが撮像している当該インジケータを台形になるように表示するディスプレイをさらに備える構成であってもよい。
 1つの態様に係る情報提供システムは、電子機器と情報提供装置とを有する。前記電子機器は、カメラと、前記カメラによって撮像される画像に健康測定器の計測値が含まれるかを判定する第1のコントローラと、前記画像に前記計測値が含まれる場合に、当該計測値に係る情報を前記情報提供装置へ送信する通信ユニットとを備える。前記情報提供装置は、前記計測値に係る情報を記憶するストレージと、前記計測値に係る情報に基づく分析を行う第2のコントローラとを備える。
 1つの態様に係る情報提供システムにおいて、前記第1のコントローラは、前記健康測定器の計測値を示すインジケータの向きに、前記カメラによって撮像する画像の向きを一致させる制御を行う構成であってもよい。
 1つの態様に係る情報提供システムにおいて、前記第1のコントローラは、前記カメラによって撮像している映像のうち前記インジケータが撮像されている領域を特定し、特定した領域を対象とする測光処理を実行し、撮像するときの露出量を調整する構成であってもよい。
 1つの態様に係る情報提供システムにおいて、前記電子機器は、前記カメラによって撮像している映像を表示するディスプレイをさらに備え、前記第1のコントローラは、前記カメラによって撮像している映像における前記健康測定器の計測値を示すインジケータの像が台形となるように前記ディスプレイの表示を制御する構成であってもよい。
 1つの態様に係る情報提供システムにおいて、前記電子機器は、前記カメラが前記健康測定器のインジケータと正対する場合に、前記カメラが撮像している当該インジケータを台形になるように表示するディスプレイをさらに備える構成であってもよい。
 1つの態様に係る情報提供方法は、カメラを備える電子機器の制御方法であって、前記カメラによって撮像される画像に健康測定器の計測値が含まれるかを判定するステップと、前記計測値に係る情報をストレージに記憶するステップと、記憶されている前記計測値に係る情報に基づいて情報提供のための分析を行うステップとを含む。
 1つの態様に係る情報提供方法は、前記健康測定器の計測値を示すインジケータの向きに、前記カメラによって撮像する画像の向きを一致させる制御を行うステップをさらに含んでもよい。
 1つの態様に係る情報提供方法は、前記カメラによって撮像している映像のうち前記インジケータが撮像されている領域を特定し、特定した領域を対象とする測光処理を実行し、撮像するときの露出量を調整するステップをさらに含んでもよい。
 1つの態様に係る情報提供方法は、前記カメラによって撮像している映像を前記電子機器が備えるディスプレイに表示するステップと、前記カメラによって撮像している映像における前記健康測定器の計測値を示すインジケータの像が台形となるように前記ディスプレイの表示を制御するステップとをさらに含んでもよい。
 1つの態様に係る情報提供方法は、前記電子機器が前記健康測定器のインジケータと正対する場合に、前記カメラが撮像している当該インジケータを台形になるように前記電子機器が備えるディスプレイに表示するステップをさらに含んでもよい。
 1つの態様に係る制御プログラムは、カメラを備える電子機器に、前記カメラによって撮像される画像に健康測定器の計測値が含まれるかを判定するステップと、前記計測値に係る情報をストレージに記憶するステップと、記憶されている前記計測値に係る情報に基づいて情報提供のための分析を行うステップとを実行させる。
 1つの態様に係る制御プログラムは、前記健康測定器の計測値を示すインジケータの向きに、前記カメラによって撮像する画像の向きを一致させる制御を行うステップをさらに前記電子機器に実行させてもよい。
 1つの態様に係る制御プログラムは、前記カメラによって撮像している映像のうち前記インジケータが撮像されている領域を特定し、特定した領域を対象とする測光処理を実行し、撮像するときの露出量を調整するステップをさらに前記電子機器に実行させてもよい。
 1つの態様に係る制御プログラムは、前記カメラによって撮像している映像を前記電子機器が備えるディスプレイに表示するステップと、前記カメラによって撮像している映像における前記健康測定器の計測値を示すインジケータの像が台形となるように前記ディスプレイの表示を制御するステップとをさらに前記電子機器に実行させてもよい。
 1つの態様に係る制御プログラムは、前記電子機器が前記健康測定器のインジケータと正対する場合に、前記カメラが撮像している当該インジケータを台形になるように前記電子機器が備えるディスプレイに表示するステップをさらに前記電子機器に実行させてもよい。
図1は、実施形態に係る情報提供システムの構成を示す図である。 図2は、情報提供システムの動作の概要を示す図である。 図3は、携帯電話のブロック図である。 図4は、画像に含まれる体組成計の例を示す図である。 図5は、画像に含まれる活動量計の例を示す図である。 図6は、画像に含まれる血圧計の例を示す図である。 図7は、情報提供装置のブロック図である。 図8は、計測値情報の例を示す図である。 図9は、計測値を読み取って送信する処理の手順を示すフローチャートである。 図10は、画面遷移の例を示す図である。 図11は、情報提供システムの動作の変形例を示す図である。 図12は、情報提供システムの動作の他の変形例を示す図である。 図13は、情報提供システムの動作の他の変形例を示す図である。 図14は、情報提供システムの他の構成を示す図である。 図15は、光源の下で体組成計のインジケータを撮像する場合の例を示す図である。 図16は、携帯電話の影が写り込んだ画像の例を示す図である。 図17は、携帯電話の影が写り込んだ画像の他の例を示す図である。 図18は、インジケータと異なる向きで撮像された画像の例を示す図である。 図19は、インジケータと同じ向きで撮像された画像の例を示す図である。 図20は、撮像される画像の向きと画像に含まれる健康測定器のインジケータの向きとを一致させるための制御の例を示すフローチャートである。 図21は、カメラでイメージデータを補足している状態の一例を示す図である。 図22は、図21に示すイメージデータの輝度分布の一例を示す図である。 図23は、図22に示す輝度分布においてピークとなる輝度値を有する画素のイメージデータにおける位置の一例を示す図である。 図24は、体組成計のインジケータのイメージが映し出されている領域の候補として切り出される領域の一例を示す図である。 図25は、携帯電話がカメラで撮像しているイメージデータから健康測定器のインジケータのイメージが映し出されている領域を特定し、特定した領域を対象とする測光処理を実行する処理の手順の一例を説明する図である。 図26は、体組成計のインジケータのイメージが映し出されているイメージデータ内の領域を特定するためのパターンデザインの一例を示す図である。 図27は、携帯電話自体が画像に写り込む場合の例を示す図である。 図28は、携帯電話自体が写り込んだ画像の例を示す図である。 図29は、携帯電話の影が画像に写り込む場合の例を示す図である。 図30は、携帯電話の影が写り込んだ画像の例を示す図である。 図31は、写り込みが生じない状態の例を示す図である。 図32は、図31に示す状態で撮像される画像の例を示す図である。 図33は、撮像画面の例を示す図である。 図34は、健康測定器とほぼ正対した状態での撮像画面の例を示す図である。 図35は、図31に示す状態での撮像画面の例を示す図である。 図36は、写り込みが生じる可能性を低減するための制御の例を示すフローチャートである。 図37は、図31に示す状態で撮像された画像に台形補正を施した例を示す図である。 図38は、撮像画面の他の例を示す図である。 図39は、健康測定器とほぼ正対した状態での撮像画面の例を示す図である。 図40は、図31に示す状態での撮像画面の例を示す図である。
 本発明を実施するための実施形態を、図面を参照しつつ詳細に説明する。以下の実施形態では、電子機器の例として携帯電話を用いて説明を行う。
(実施形態1)
 図1を参照しながら、実施形態に係る情報提供システムの構成について説明する。図1は、実施形態に係る情報提供システムの構成を示す図である。図1に示すように、情報提供システムは、携帯電話100と、基地局200と、情報提供装置300aおよび300bと、音声認識装置400と、を含む。以下の説明では、情報提供装置300aおよび300bをいずれであるかを特定することなく情報提供装置300と総称することがある。
 携帯電話100は、健康測定器の計測した計測値を読み取り、情報提供装置300へ送信する機能を有する。健康測定器は、健康に関する数値を計測する測定器である。健康測定器は、例えば、体重を計測する体重計、体重に加えて体脂肪率等を計測する体組成計、体温を計測する体温計、血圧を計測する血圧計、脈拍を計測する脈拍計、歩数を計測する歩数計、歩行を含む運動による活動量を計測する活動量計を含む。
 携帯電話100は、健康測定器をカメラで撮像することにより、健康測定器が備えるインジケータに表示される計測値を読み取る。このようにインジケータに表示される計測値をカメラで撮像することにより、携帯電話100は、健康測定器が通信機能を持たなくても、健康測定器の計測した計測値を読み取ることができる。読み取られた計測値は、携帯電話100が有する通信機能によって情報提供装置300へ送信される。携帯電話100による計測値の読み取りの詳細については後述する。
 基地局200、情報提供装置300、および音声認識装置400は、ネットワーク500によって通信可能に接続される。
 基地局200は、通信圏内に所在する携帯電話100との間に無線通信回線を確立し、携帯電話100がこの無線通信回線を通じて他の装置と通信することを可能にする。以下では、説明を簡単にするため、携帯電話100の通信に関して説明する場合に、基地局200に関する記載を省略することがある。
 情報提供装置300は、携帯電話100から送信される計測値を、携帯電話100の利用者のID(識別番号)および日時(タイムスタンプ)と対応付けて記憶する。情報提供装置300は、それぞれの利用者の識別番号と対応付けて、複数の種類の健康測定器の計測値を記憶することができる。そして、情報提供装置300は、こうして蓄積された計測値に基づいて分析処理を行い、健康に関するアドバイス等の情報を携帯電話100へ送信する。情報提供装置300は、複数存在し、それぞれが異なる運営業者によって運営される。
 音声認識装置400は、他の装置から送信される音声情報の内容を音声認識処理によって解析し、解析した内容を送信元の装置へ送信する。例えば、携帯電話100が利用者の音声を記録した音声情報を音声認識装置400へ送信すると、音声認識装置400は、音声情報の内容を音声認識処理によって解析し、解析した内容をテキストデータとして携帯電話100へ送信する。このような仕組みにより、携帯電話100の音声操作が実現される。
 情報提供システムの構成は、図1に示した例に限定されない。例えば、情報提供システムに含まれる各種装置の数は、図1に示した数よりも多くてもよいし、少なくてもよい。情報提供システムは、音声認識装置400を含まなくてもよい。情報提供装置300が家庭内のパソコンであり、基地局200が家庭内の無線LANルータであってもよい。
 図2を参照しながら、情報提供システムの動作の概要について説明する。図2は、情報提供システムの動作の概要を示す図である。図2に示す動作に先立って、健康測定器が計測を実行し、計測値が健康測定器のインジケータに表示されているものとする。この状態で、携帯電話100は、カメラを用いて健康測定器を撮像する(ステップS11)。そして、携帯電話100は、撮像された画像に含まれる計測値の位置および種別を判定する(ステップS12)。本出願における撮像は、シャッターが切られたとき(レリーズボタンが押されたとき)に画像を取得することに限定されず、いわゆるライブビューのように、撮像している映像(画像)をディスプレイに表示しながら継続的に取得することも含む。
 こうして計測値の位置および種別を判定した後、携帯電話100は、撮像された画像から計測値を読み取る(ステップS13)。画像に含まれる計測値の読み取りは、公知の文字認識技術を用いて実現できる。携帯電話100は、読み取った計測値を、付加情報とともに情報提供装置300へ送信する(ステップS14)。付加情報は、情報提供装置300の計測値を分析に利用するために必要な情報である。付加情報は、例えば、計測値の種別を示す値、計測値の単位を示す値等を含む。
 撮像された画像から複数の計測値が読み取られた場合、携帯電話100は、計測値を別々に送信してもよいし、まとめて送信してもよい。携帯電話100は、複数の種類の健康測定器から取得した計測値を記憶しておき、何らかのタイミングでそれらをまとめて情報提供装置300へ送信してもよい。この場合、携帯電話100は、それぞれの計測値と対応付けて、計測値を取得した日時を記憶しておき、記憶しておいた日時を送信時に付加情報に含める。
 情報提供装置300が複数存在する場合、携帯電話100は、予め決められた情報提供装置300へ計測値および付加情報を送信してもよいし、撮像された画像から取得されたメーカ、種別等の情報に応じて、送信先の情報提供装置300を決定してもよい。
 情報提供装置300は、携帯電話100から送信された計測値を、携帯電話100の利用者のIDおよびタイムスタンプと対応付けて記憶する(ステップS15)。利用者のIDは、付加情報から取得してもよいし、携帯電話100から情報提供装置300へ計測値を送信するパケットのヘッダの値に基づいて取得してもよい。タイムスタンプは、付加情報から取得してもよいし、計測値を受信した際の情報提供装置300の計時部の値に基づいて取得してもよい。タイムスタンプは、付加情報から取得する場合、計測値が読み取られた日時、または計測値が送信された日時を示し、情報提供装置300の計時部の値に基づいて取得する場合、計測値が受信された日時を示す。
 その後、情報提供装置300は、記憶している計測値に基づいて分析処理を実行する(ステップS16)。分析処理は、何らかの計測値を受信する度に実行してもよいし、特定の種類の計測値(例えば、体重)を受信する度に実行してもよい。あるいは、分析処理は、予め決められた時刻に実行してもよい。
 分析処理では、携帯電話100の利用者に関する複数の計測値の経時的な変化等に基づいて、健康に関する分析が行われる。情報提供装置300には複数の利用者に関する計測値が蓄積されるため、情報提供装置300は、分析処理において、複数の利用者に関する計測値を統計的に処理した情報を利用してもよい。
 情報提供装置300は、分析結果を携帯電話100へ送信する(ステップS17)。携帯電話100は、送信された分析結果を表示する(ステップS18)。分析結果は、電子メールとして携帯電話100へ送信してもよいし、他の所定の形式で携帯電話100へ送信してもよい。計測値および付加情報がHTTP(HyperText Transfer Protocol)リクエストとして送信され、分析結果がHTML(HyperText Markup Language)形式で応答されるように構成してもよい。
 このように、健康測定器から読み取られた計測値を蓄積して分析することにより、個別の計測値からは気付くことが難しい情報を利用者に提供することができる。
 図3を参照しながら、携帯電話100の構成について説明する。図3は、携帯電話100のブロック図である。図3に示すように、携帯電話100は、タッチスクリーンディスプレイ2と、ボタン3と、照度センサ4と、近接センサ5と、通信ユニット6と、レシーバ7と、マイク8と、ストレージ9と、コントローラ10と、スピーカ11と、カメラ12と、カメラ13と、コネクタ14と、加速度センサ15と、方位センサ16と、ジャイロスコープ17と、GPS(Global Positioning System)レシーバ18とを有する。
 タッチスクリーンディスプレイ2は、ディスプレイ2Aと、タッチスクリーン2Bとを有する。ディスプレイ2Aは、液晶ディスプレイ(LCD:Liquid Crystal Display)、有機ELディスプレイ(OELD:Organic Electro-Luminescence Display)、または無機ELディスプレイ(IELD:Inorganic Electro-Luminescence Display)等の表示デバイスを備える。ディスプレイ2Aは、文字、画像、記号、および図形等を表示する。
 タッチスクリーン2Bは、タッチスクリーン2Bに対する指、ペン、またはスタイラスペン等の接触を検出する。タッチスクリーン2Bは、複数の指、ペン、またはスタイラスペン等がタッチスクリーン2Bに接触した位置を検出することができる。以下の説明では、タッチスクリーン2Bに対して接触する指、ペン、またはスタイラスペン等を、「接触オブジェクト(接触物)」と呼ぶことがある。
 タッチスクリーン2Bの検出方式は、静電容量方式、抵抗膜方式、表面弾性波方式(または超音波方式)、赤外線方式、電磁誘導方式、および荷重検出方式等の任意の方式でよい。以下の説明では、説明を簡単にするため、利用者は携帯電話100を操作するために指を用いてタッチスクリーン2Bに接触するものと想定する。
 携帯電話100は、タッチスクリーン2Bにより検出された接触、接触が検出された位置、接触が検出された位置の変化、接触が検出された間隔、および接触が検出された回数の少なくとも1つに基づいてジェスチャの種別を判別する。ジェスチャは、タッチスクリーン2Bに対して行われる操作である。携帯電話100によって判別されるジェスチャは、例えば、タッチ、ロングタッチ、リリース、スワイプ、タップ、ダブルタップ、ロングタップ、ドラッグ、フリック、ピンチイン、およびピンチアウトを含むがこれらに限定されない。以下の説明では、説明を簡単にするために、「タッチスクリーンが接触を検出し、その接触に基づいて、ジェスチャの種別を携帯電話100がXと判別すること」を、「携帯電話100がXを検出する」、「コントローラがXを検出する」、又は「タッチスクリーンがXを検出する」と記載することがある。コントローラについては後述する。
 ボタン3は、利用者によって操作される。コントローラ10はボタン3と協働することによってボタン3に対する操作を検出する。ボタン3に対する操作は、例えば、クリック、ダブルクリック、トリプルクリック、プッシュ、およびマルチプッシュを含むが、これらに限定されない。
 照度センサ4は、携帯電話100の周囲光の照度を検出する。照度は、光の強さ、明るさ、または輝度を示す。照度センサ4は、例えば、ディスプレイ2Aの輝度の調整に用いられる。近接センサ5は、近隣の物体の存在を非接触で検出する。近接センサ5は、磁界の変化または超音波の反射波の帰還時間の変化等に基づいて物体の存在を検出する。近接センサ5は、例えば、タッチスクリーンディスプレイ2が顔に近付けられたことを検出する。照度センサ4および近接センサ5は、1つのセンサとして構成されていてもよい。照度センサ4は、近接センサとして用いられてもよい。
 通信ユニット6は、無線により通信する。通信ユニット6によってサポートされる通信方式は、無線通信規格である。無線通信規格として、例えば、2G、3G、4G等のセルラーフォンの通信規格がある。セルラーフォンの通信規格として、例えば、LTE(Long Term Evolution)、W-CDMA(Wideband Code Division Multiple Access)、CDMA2000、PDC(Personal Digital Cellular)、GSM(登録商標)(Global System for Mobile Communications)、PHS(Personal Handy-phone System)等がある。無線通信規格として、さらに、例えば、WiMAX(Worldwide Interoperability for Microwave Access)、IEEE802.11、Bluetooth(登録商標)、IrDA(Infrared Data Association)、NFC(Near Field Communication)等がある。通信ユニット6は、上述した通信規格の1つまたは複数をサポートしていてもよい。
 レシーバ7およびスピーカ11は、音出力部である。レシーバ7およびスピーカ11は、コントローラ10から送信される音信号を音として出力する。レシーバ7は、例えば、通話時に相手の声を出力するために用いられる。スピーカ11は、例えば、着信音および音楽を出力するために用いられる。レシーバ7およびスピーカ11の一方が、他方の機能を兼ねてもよい。マイク8は、音入力部である。マイク8は、利用者の音声等を音信号へ変換してコントローラ10へ送信する。
 ストレージ9は、プログラムおよびデータを記憶する。ストレージ9は、コントローラ10の処理結果を一時的に記憶する作業領域としても利用される。ストレージ9は、半導体記憶媒体、および磁気記憶媒体等の任意の非一過的(non-transitory)な記憶媒体を含んでよい。ストレージ9は、複数の種類の記憶媒体を含んでよい。ストレージ9は、メモリカード、光ディスク、または光磁気ディスク等の可搬の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。ストレージ9は、RAM(Random Access Memory)等の一時的な記憶領域として利用される記憶デバイスを含んでよい。
 ストレージ9に記憶されるプログラムには、フォアグランドまたはバックグランドで実行されるアプリケーションと、アプリケーションの動作を支援する制御プログラムとが含まれる。アプリケーションは、例えば、ディスプレイ2Aに画面を表示させ、タッチスクリーン2Bを介して検出されるジェスチャに応じた処理をコントローラ10に実行させる。制御プログラムは、例えば、OSである。アプリケーションおよび制御プログラムは、通信ユニット6による無線通信または非一過的な記憶媒体を介してストレージ9に導入されてもよい。
 ストレージ9は、例えば、制御プログラム9A、メールアプリケーション9B、ブラウザアプリケーション9C、健康管理アプリケーション9D、使用機器情報9X、判定情報9Y、および設定データ9Zを記憶する。制御プログラム9Aは、携帯電話100を稼働させるための各種制御に関する機能を提供する。制御プログラム9Aは、例えば、検出される操作に応じて、アプリケーションを起動または終了させる。
 メールアプリケーション9Bは、電子メールの作成、送信、受信、および表示等のための電子メール機能を提供する。ブラウザアプリケーション9Cは、WEBページを表示するためのWEBブラウジング機能を提供する。
 健康管理アプリケーション9Dは、健康測定器のインジケータに表示される計測値を読み取って情報提供装置300へ送信する機能と、情報提供装置300から送信される分析結果をディスプレイ2Aに表示する機能とを提供する。
 使用機器情報9Xには、携帯電話100の利用者が使用する健康測定器(以下、「使用機器」ということがある)の外観上の特徴を示す情報と、その健康測定器が表示する計測値の位置および種別を示す情報とが含まれる。健康測定器の外観上の特徴を示す情報は、例えば、形状(健康測定器全体または一部の形状)、色、計測値の字形、計測値の配置、計測値の近傍に存在する文字列または記号、健康測定器の表面に存在するその他の文字またはシンボルとその位置、の少なくとも1つを含む。健康測定器のインジケータに複数の計測値が同時に表示される場合、計測値の位置および種別を示す情報には、それぞれの計測値に対応する情報が含まれる。健康測定器のインジケータに表示される計測値が切り替わる場合、計測値の位置および種別を示す情報には、計測値が表示される順序に関する情報が含まれる。
 後述するように、使用機器情報9Xには、携帯電話100が新たな健康測定器から計測値を読み取る度に情報が追加される。使用機器情報9Xは、当初は、空であってもよいし、予め選択された健康測定器に対応する情報を保持していてもよい。
 判定情報9Yには、撮像された画像のどこにどの計測値が存在するかを判定するための情報が含まれる。具体的には、判定情報9Yには、市場に存在する健康測定器毎に、外観上の特徴に関する情報と、健康測定器が表示する計測値の位置および種別を示す情報とが対応付けて格納される。健康測定器の外観上の特徴を示す情報は、例えば、形状(健康測定器全体または一部の形状)、色、計測値の字形、計測値の配置、計測値の近傍に存在する文字列または記号、健康測定器の表面に存在するその他の文字またはシンボルとその位置、の少なくとも1つを含む。健康測定器のインジケータに複数の計測値が同時に表示される場合、計測値の位置および種別を示す情報には、それぞれの計測値に対応する情報が含まれる。健康測定器のインジケータに表示される計測値が切り替わる場合、計測値の位置および種別を示す情報には、計測値が表示される順序に関する情報が含まれる。
 判定情報9Yには、外観上の特徴がほぼ同じで、表示される計測値の位置および種別が同じ複数の機種をまとめて、1つの健康測定器として情報を格納してもよい。判定情報9Yは、市場に存在する全ての健康測定器に関する情報を網羅しなくてもよい。
 判定情報9Yには、未知の健康測定器からも計測値を読み取ることができるように、抽象化された情報も含まれる。具体的には、判定情報9Yには、計測値の種別毎に、計測値の近傍に存在する可能性の高い文字またはシンボルに関する情報が格納される。一般に、計測値の近傍には、計測値の名称または単位の少なくとも一方が存在する。このような名称または単位を計測値の種別と対応付けて格納しておくことにより、名称または単位を手がかりとして、その近傍の計測値を検出し、その計測値の種別を判定することが可能になる。この場合、計測値の検出を容易にするために、名称または単位とともに、それに対応する計測値の相対位置を格納してもよい。例えば、単位を格納する場合、その左側に計測値が存在する旨をさらに格納してもよい。
 判定情報9Yには、抽象化された情報として、さらに、計測値の種別毎に、計測値の範囲に関する情報が格納される。例えば、計測値が体温である場合、その範囲として、35℃から40℃の範囲が格納される。例えば、計測値が最高血圧である場合、その範囲として、100mmHgから200mmHgの範囲が格納される。画像中に数値が検出された場合に、その数値を範囲と照合することにより、その数値が計測値であるかと、どの種別の計測値であるかとを判定することができる。
 判定情報9Yには、抽象化された情報として、さらに、計測値の配置に関する情報が格納される。複数の計測値が同時に表示される場合、計測値の配置は、メーカまたは健康測定器毎に法則性を有することがある。例えば、脈拍計の場合、上から順に最高血圧、最低血圧、脈拍数が縦に表示されることが多い。画像中に複数の数値が検出された場合にそれらの数値の配置を法則性と照合することにより、それらの数値が計測値であるかと、それぞれがどの種別の計測値であるかとを判定することができる。
 判定情報9Yには、健康測定器のメーカおよび種別を判定するための情報も含まれる。具体的には、判定情報9Yには、メーカ毎に、表示される計測値の字形に関する情報が格納される。さらに、判定情報9Yには、メーカ毎別に、健康測定器の表面に印字、刻印、または貼付される会社の名称またはシンボルに関する情報が格納される。さらに、判定情報9Yには、メーカ毎および健康測定器の種別に、健康測定器の表面に印字、刻印、または貼付される型番に関する情報が格納される。判定情報9Yには、健康測定器の外観上の特徴に関する情報と対応付けて、健康測定器のメーカおよび種別を判定するための情報が格納される。判定情報9Yに含まれる上記の抽象化された情報は、健康測定器のメーカまたは種別毎に格納されてもよい。
 設定データ9Zは、携帯電話100の動作に関する各種の設定に関する情報を含む。
 コントローラ10は、演算処理装置である。演算処理装置は、例えば、CPU(Central Processing Unit)、SoC(System-on-a-chip)、MCU(Micro Control Unit)、およびFPGA(Field-Programmable Gate Array)を含むが、これらに限定されない。コントローラ10は、携帯電話100の動作を統括的に制御して各種の機能を実現する。
 具体的には、コントローラ10は、ストレージ9に記憶されているデータを必要に応じて参照しつつ、ストレージ9に記憶されているプログラムに含まれる命令を実行する。そして、コントローラ10は、データおよび命令に応じて機能部を制御し、それによって各種機能を実現する。機能部は、例えば、ディスプレイ2A、通信ユニット6、レシーバ7、およびスピーカ11を含むが、これらに限定されない。コントローラ10は、検出部の検出結果に応じて、制御を変更することがある。検出部は、例えば、タッチスクリーン2B、ボタン3、照度センサ4、近接センサ5、マイク8、カメラ12、カメラ13、加速度センサ15、方位センサ16、ジャイロスコープ17、およびGPSレシーバ18を含むが、これらに限定されない。
 コントローラ10は、例えば、健康管理アプリケーション9Dを実行することにより、健康測定器のインジケータに表示される計測値を読み取って情報提供装置300へ送信する機能と、情報提供装置300から送信される分析結果をディスプレイ2Aに表示する機能とを実現する。
 カメラ12は、フロントフェイスに面している物体を撮像するインカメラである。カメラ13は、バックフェイスに面している物体を撮像するアウトカメラである。カメラ13は、健康測定器を撮像するためにも用いられる。
 コネクタ14は、他の装置が接続される端子である。コネクタ14は、USB(Universal Serial Bus)、HDMI(登録商標)(High-Definition Multimedia Interface)、ライトピーク(サンダーボルト(登録商標))、イヤホンマイクコネクタのような汎用的な端子であってもよい。コネクタ14は、Dockコネクタのような専用の端子でもよい。コネクタ14に接続される装置は、例えば、外部ストレージ、スピーカ、および通信装置を含むが、これらに限定されない。
 加速度センサ15は、携帯電話100に働く加速度の方向および大きさを検出する。方位センサ16は、地磁気の向きを検出する。ジャイロスコープ17は、携帯電話100の角度および角速度を検出する。加速度センサ15、方位センサ16およびジャイロスコープ17の検出結果は、携帯電話100の位置および姿勢の変化を検出するために、組み合わせて利用される。GPSレシーバ18は、携帯電話100の位置を検出する。
 図3においてストレージ9が記憶するプログラムおよびデータの一部または全部は、通信ユニット6による無線通信で他の装置からダウンロードされてもよい。図3においてストレージ9が記憶するプログラムおよびデータの一部または全部は、ストレージ9に含まれる読み取り装置が読み取り可能な非一過的な記憶媒体に記憶されていてもよい。図3においてストレージ9が記憶するプログラムおよびデータの一部または全部は、コネクタ14に接続される読み取り装置が読み取り可能な非一過的な記憶媒体に記憶されていてもよい。非一過的な記憶媒体は、例えば、CD(登録商標)、DVD(登録商標)、Blu-ray(登録商標)等の光ディスク、光磁気ディスク、磁気記憶媒体、メモリカード、およびソリッドステート記憶媒体を含むが、これらに限定されない。
 図3に示した携帯電話100の構成は例であり、本発明の要旨を損なわない範囲において適宜変更してよい。例えば、図3に示した例では、携帯電話100が2つのカメラを備えるが、携帯電話100は、カメラ13のみを備えてもよい。図3に示した例では、携帯電話100が位置および姿勢を検出するために4種類のセンサを備えるが、携帯電話100は、このうちいくつかのセンサを備えなくてもよい。あるいは、携帯電話100は、位置および姿勢の少なくとも1つを検出するための他の種類のセンサを備えてもよい。
 図4~図6を参照しながら、携帯電話100による計測値の読み取りの例について説明する。図4は、カメラ13によって撮像された画像に含まれる体組成計40の例を示す図である。体組成計40は、インジケータ41と、表面に印字されたメーカ名44と、体脂肪率を計測するための電極45とを有する。インジケータ41には、体重を示す計測値42aと、体脂肪率を示す計測値43aとが表示されている。さらに、計測値42aの右隣には、体重の単位がKgであることを示す単位42bが表示され、計測値43aの右隣には、体脂肪率が百分率で表示されていることを示すシンボル43bが表示されている。
 このような体組成計40が画像に含まれる場合、携帯電話100は、数値である計測値42aおよび計測値43aと、計測値42aの近傍の単位42bと、計測値43aの近傍のシンボル43bとを検出する。さらに、携帯電話100は、計測値42aおよび計測値43aを含む体組成計40の外観上の特徴に関する情報を取得する。例えば、体組成計40の形状40a、体組成計40の色、インジケータ41の位置、インジケータ41に表示される情報の字体および配置、メーカ名44を構成する文字、メーカ名44の字体および位置、電極45および電極45の位置等が、外観上の特徴に関する情報として取得される。
 携帯電話100は、取得したこれらの情報を使用機器情報9Xおよび判定情報9Yの少なくとも一方と照合することにより、計測値42aが体重を示しており、計測値43aが体脂肪率を示していると判定する。そして、携帯電話100は、文字認識処理によって、体重および体脂肪率を数値データとして取得する。
 図5は、カメラ13によって撮像された画像に含まれる活動量計50の例を示す図である。活動量計50は、インジケータ51と、表面に印字された型番54と、ボタン55と、ボタン56とを有する。インジケータ51には、歩数を示す計測値52aと、消費カロリーを示す計測値53aとが表示されている。さらに、計測値52aの右隣には、歩数の単位が歩(STEP)であることを示す単位52bが表示され、計測値53aの右隣には、消費カロリーの単位がKcalであることを示す単位53bが表示されている。
 このような活動量計50が画像に含まれる場合、携帯電話100は、数値である計測値52aおよび計測値53aと、計測値52aの近傍の単位52bと、計測値53aの近傍の単位53bとを検出する。さらに、携帯電話100は、計測値52aおよび計測値53aを含む活動量計50の外観上の特徴に関する情報を取得する。例えば、活動量計50の形状50a、活動量計50の色、インジケータ51の位置、インジケータ51に表示される情報の字体および配置、型番54を構成する文字、型番54の字体および位置、ボタン55および56の形状および位置等が、外観上の特徴に関する情報として取得される。
 携帯電話100は、取得したこれらの情報を使用機器情報9Xおよび判定情報9Yの少なくとも一方と照合することにより、計測値52aが歩数を示しており、計測値53aが消費カロリーを示していると判定する。そして、携帯電話100は、文字認識処理によって、歩数および消費カロリーを数値データとして取得する。計測値52aが歩数を示しており、計測値53aが消費カロリーを示していると携帯電話100が判定するタイミングは、文字認識処理を行った後でもよい。
 図6は、カメラ13によって撮像された画像に含まれる血圧計60の例を示す図である。血圧計60は、インジケータ61と、ボタン65とを有する。インジケータ61には、最高血圧を示す計測値62aと、最低血圧を示す計測値63aと、脈拍数を示す計測値64aとが表示されている。さらに、計測値62aの左隣には、計測値62aが最高血圧を示すことを表す名称62bが印字され、計測値63aの左隣には、計測値63aが最低血圧を示すことを表す名称63bが印字され、計測値64aの左隣には、計測値64aが脈拍数を示すことを表す名称64bが印字されている。
 このような血圧計60が画像に含まれる場合、携帯電話100は、数値である計測値62a、計測値63a、および計測値64aと、計測値62aの近傍の名称62bと、計測値63aの近傍の名称63bと、計測値64aの近傍の名称64bとを検出する。さらに、携帯電話100は、計測値62a、計測値63a、および計測値64aを含む血圧計60の外観上の特徴に関する情報を取得する。例えば、血圧計60の形状60a、血圧計60の色、インジケータ61の位置、インジケータ61に表示される情報の字体および配置、名称62b~64bを構成する文字、名称62b~64bの字体および位置、ボタン65の形状および位置等が、外観上の特徴に関する情報として取得される。
 携帯電話100は、取得したこれらの情報を使用機器情報9Xおよび判定情報9Yの少なくとも一方と照合することにより、計測値62aが最高血圧を示しており、計測値63aが最低血圧を示しており、計測値64aが脈拍を示していると判定する。そして、携帯電話100は、文字認識処理によって、最高血圧、最低血圧、および脈拍数を数値データとして取得する。
 図7および図8を参照しながら、情報提供装置300の構成について説明する。図7は、情報提供装置300のブロック図である。図8は、計測値情報の例を示す図である。図7に示すように、情報提供装置300は、通信ユニット301と、コントローラ302と、ストレージ303とを有する。通信ユニット301は、所定のプロトコルに基づく他の装置との通信を可能にする。
 コントローラ302は、CPU(Central Processing Unit)等の演算処理装置である。コントローラ302は、情報提供装置300の動作を統括的に制御して各種の機能を実現する。具体的には、コントローラ302は、ストレージ303に記憶されているデータを必要に応じて参照しつつ、ストレージ303に記憶されているプログラムに含まれる命令を実行する。そして、コントローラ302は、データおよび命令に応じて各種の情報処理を実行する。
 コントローラ302は、例えば、分析プログラム304を実行することにより、蓄積されている計測値に基づく分析処理を実行する。
 ストレージ303は、プログラムおよびデータを記憶する。ストレージ303は、コントローラ302の処理結果を一時的に記憶する作業領域としても利用される。ストレージ303は、半導体記憶媒体、および磁気記憶媒体等の任意の非一過的(non-transitory)な記憶媒体を含んでよい。ストレージ303は、複数の種類の記憶媒体を含んでよい。ストレージ303は、メモリカード、光ディスク、または光磁気ディスク等の可搬の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。ストレージ303は、RAM(Random Access Memory)等の一時的な記憶領域として利用される記憶デバイスを含んでよい。
 ストレージ303は、例えば、分析プログラム304、および計測値情報306を記憶する。分析プログラム304は、蓄積されている計測値に基づく分析処理を実行するための機能を提供する。
 計測値情報306には、携帯電話100から送信される計測値が蓄積される。計測値情報306の例を図8に示す。図8に示すように、計測値情報306は、利用者ID、タイムスタンプ、および種別といった項目と、計測値とその種別を示す名称とが対応付けて格納される複数の項目とを有する。利用者IDの項目には、携帯電話100の利用者を識別するための識別子が格納される。タイムスタンプの項目には、計測値が読み取られた日時、計測値が送信された日時、または計測値が受信された日時が格納される。種別の項目には、計測値が読み取られた健康測定器の種別を示す値が格納される。
 図8に示す例のように、計測値情報306は、複数の種類の計測値が時系列に格納できるように構成される。このため、情報提供装置300は、複数の種類の計測値の経時的な変化に基づいて、健康に関する高度な分析を行うことができる。
 図9および図10を参照しながら、携帯電話100が計測値を読み取って送信する処理の手順について説明する。図9は、計測値を読み取って送信する処理の手順を示すフローチャートである。図10は、計測値を読み取って送信する場合の画面遷移の例を示す図である。図9および図10に示す動作は、携帯電話100のコントローラ10が健康管理アプリケーション9Dを実行することによって実現される。
 図9に示す手順を実行するために、コントローラ10は、まず、健康管理アプリケーション9Dを起動する。健康管理アプリケーション9Dの起動は、例えば、利用者の操作の検出を契機として実行される。健康管理アプリケーション9Dを起動するための操作は、他のアプリケーションを起動するための操作と同様の、メニューに対する操作、またはアイコンに対する操作であってもよい。あるいは、健康管理アプリケーション9Dを起動するための操作は、ロック画面上での操作であってもよい。
 ロック画面は、携帯電話100を待機状態から通常の状態へ移行させるための操作が行われる画面である。図10に示すステップS21では、ロック画面31がディスプレイ2Aに表示されている。ロック画面31上には、ロック解除アイコン31a、カメラアイコン31b、および計測値読み取りアイコン31cが配置されている。
 ロック解除アイコン31aをフリックまたはドラッグによってカメラアイコン31bの方向へ移動させる操作がタッチスクリーン2Bによって検出された場合、コントローラ10は、写真撮影のためのアプリケーションを起動する。ロック解除アイコン31aをフリックまたはドラッグによって計測値読み取りアイコン31cの方向へ移動させる操作がタッチスクリーン2Bによって検出された場合、コントローラ10は、健康管理アプリケーション9Dを起動する。ロック解除アイコン31aをフリックまたはドラッグによって他の方向へ移動させる操作がタッチスクリーン2Bによって検出された場合、コントローラ10は、ホーム画面または待機状態への移行前に表示されていた画面をディスプレイ2Aに表示させる。
 このように、ロック画面に対する操作によって健康管理アプリケーション9Dを起動するように構成することにより、利用者が、健康測定器からの計測値の読み取りを迅速に開始することが可能になる。
 健康管理アプリケーション9Dが起動されると、図9に示すように、コントローラ10は、まず、カメラ13を起動する(ステップS101)。そして、コントローラ10は、カメラ13を用いて画像を撮像し(ステップS102)、撮像された画像をディスプレイ2Aに表示する(ステップS103)。
 この段階では、図10のステップS22に示すように、画像の撮像のための撮像画面32がディスプレイ2Aに表示される。利用者が体組成計に載った状態でカメラ13を体組成計へ向けると、ステップS22に示すように、体重および体脂肪率をインジケータに表示している体組成計が撮像される。
 続いて、コントローラ10は、カメラ13が撮像する画像中の数字を検出する(ステップS104)。画像中の数字を検出できない場合、すなわち、計測値を表示している健康測定器が写っていない場合(ステップS105,No)、コントローラ10は、ステップS102以降を再実行する。
 カメラ13が撮像する画像中の数字を検出できた場合(ステップS105,Yes)、コントローラ10は、数字の近傍の文字を検出する(ステップS106)。さらに、コントローラ10は、数字を含む機器の形状および色を取得し(ステップS107)、機器に含まれるその他の文字およびシンボルを検出する(ステップS108)。そして、コントローラ10は、検出した数字、文字、およびシンボルの配置を取得する(ステップS109)。ステップS106~S108の順番は、これに限定されない。
 こうして健康測定器の外観上の特徴に関する情報を取得した後、コントローラ10は、取得した情報を使用機器情報9Xと照合する(ステップS110)。外観上の特徴に関する情報の一致の度合いが所定値より高い健康測定器が存在する場合、すなわち、画像中の使用機器が検出された場合(ステップS111,Yes)、コントローラ10は、ステップS115以降を実行する。
 画像中の使用機器が検出されない場合(ステップS111,No)、コントローラ10は、使用機器以外の健康測定器を検出するために、取得した健康測定器の外観上の特徴に関する情報を判定情報9Yと照合する(ステップS112)。照合によって画像中の健康測定器を特定できない場合(ステップS113,No)、コントローラ10は、ステップS102以降を再実行する。
 照合によって画像中の健康測定器が特定された場合(ステップS113,Yes)、コントローラ10は、特定した健康測定器の情報を使用機器情報9Xに追加する(ステップS114)。具体的には、ステップS104からステップS109で取得された外観上の特徴に関する情報が、ステップS113で特定された健康測定器に対応する判定情報9Y中のデータの計測値の位置および種別を示す情報と対応付けて、使用機器情報9Xに追加される。このように、新たに認識された健康測定器の情報を使用機器情報9Xに格納することにより、その健康測定器に関する処理が次回以降高速化される。その後、コントローラ10は、ステップS115以降を実行する。
 ステップS115で、コントローラ10は、検出結果表示画面をディスプレイ2Aに表示させる(ステップS115)。そして、コントローラ10は、撮像された画像に含まれる健康測定器のメーカ名および種別を検出結果表示画面上に表示する(ステップS116)。
 続いて、コントローラ10は、カメラ13を用いて画像を撮像し(ステップS117)、撮像された画像を検出結果表示画面上に表示する(ステップS118)。そして、コントローラ10は、画像中の計測値を検出し(ステップS119)、検出した計測値を検出結果表示画面上に表示する(ステップS120)。
 この段階では、ディスプレイ2Aには、例えば、図10のステップS23に示すような検出結果表示画面33が表示される。検出結果表示画面33は、画像表示領域33aと、送信ボタン33bと、検出結果表示領域33cとを有する。画像表示領域33aは、撮像された画像が表示される領域である。コントローラ10は、撮像された画像のうち、計測値が表示されている領域を拡大して画像表示領域33aに表示する。このため、健康測定器のインジケータを見にくい状況でも、利用者は計測値を容易に把握することができる。利用者が、ステップS120において、タッチスクリーン2Bまたはボタン3等を用いて検出結果を修正できるように、携帯電話100を構成してもよい。
 送信ボタン33bは、計測値および付加情報の情報提供装置300への送信の実行を指示するためのボタンである。検出結果表示領域33cは、撮像された画像を解析することによって得られた情報が表示される領域である。
 続いて、コントローラ10は、計測値および付加情報の送信指示がなされたかを判定する(ステップS121)。送信指示がなされていない場合(ステップS121,No)、コントローラ10は、ステップS117以降を再実行する。このように、コントローラ10は、送信指示がなされるまで、画像の取得、画像の表示、計測値の検出、および検出値の表示を繰り返す。このため、携帯電話100は、画像に含まれる計測値が変化した場合に、その変化を検出結果に反映させることができる。
 例えば、体組成計の場合、計測値が安定するまでにしばらく時間を要することがある。この場合でも、コントローラ10は、計測値の検出を繰り返して実行するので、最新の計測値を検出結果に反映させることができる。さらに、体組成計の場合、利用者の操作に応じて、または時間の経過に応じて、インジケータに表示される計測値の種類が変化することがある。この場合でも、コントローラ10は、計測値の検出を繰り返して実行するので、図10のステップS24に示すように、新たに表示された計測値を検出結果に反映させることができる。新たに表示された計測値の種別を判定するために、コントローラ10は、ステップS119において、計測値の近傍の文字またはシンボルの検出と、検出した文字またはシンボルと判定情報9Yとの照合とを実行してもよい。
 さらに、コントローラ10は、撮像された画像のうち、計測値が表示されている領域を拡大して画像表示領域33aに表示する処理を繰り返して実行するので、手ぶれによって画像がぶれても、画像中の同じ部分を表示させ続けることができる。このため、携帯電話100は、表示される画像の視認性を高めることができる。
 さらに、画像の解析が繰り返して実行されるため、健康測定器の型番を携帯電話100に読み取らせて健康測定器の種別と健康測定器のインジケータに表示される計測値の位置および種別とを確定させ、その後に計測値を携帯電話100に読み取らせるという運用を利用者が行うこともできる。
 送信指示がなされた場合(ステップS121,Yes)、コントローラ10は、通信ユニット6に、検出した計測値と付加情報とを情報提供装置300へ送信するように指示する(ステップS122)。送信指示は、例えば、検出結果表示画面33に表示される計測値を確認した利用者が、図10のステップS24に示すように、指F1を用いて送信ボタン33bをタップすることによって行われる。
 その後、情報提供装置300から分析結果が送信されると、分析結果をディスプレイ2Aに表示する。例えば、コントローラ10は、例えば、図10のステップS25に示す分析結果画面34をディスプレイ2Aに表示する。分析結果画面34は、複数の種別の計測値の経時的な変化を示す履歴表示領域34aと、分析処理によって得られたアドバイスが表示されるアドバイス表示領域34bとを有する。
 本出願の開示する実施形態は、発明の要旨および範囲を逸脱しない範囲で変更することができる。さらに、本出願の開示する実施形態およびその変形例は、適宜組み合わせることができる。例えば、上記の実施形態は、以下のように変形してもよい。
 例えば、図3および図7に示した各プログラムは、複数のモジュールに分割されていてもよいし、他のプログラムと結合されていてもよい。
 携帯電話100の機能と情報提供装置300の機能は、適宜配置を変更してもよい。例えば、情報提供装置300の機能を携帯電話100が実行してもよい。すなわち、携帯電話100が、計測値の読み取りに加えて、計測値の蓄積および分析を実行してもよい。
 あるいは、携帯電話100の機能の一部を情報提供装置300が実行してもよい。携帯電話100の機能の一部を情報提供装置300が実行する場合、画像に含まれる計測値の位置と種別を判定するための処理を情報提供装置300が実行してもよい。この場合、図11に示すように、携帯電話100が画像を情報提供装置300へ送信し、使用機器情報9Xとの照合および判定情報9Yとの照合の両方を情報提供装置300が実行するように構成してもよい。図11は、情報提供システムの動作の変形例を示す図である。あるいは、図12に示すように、使用機器情報9Xとの照合を携帯電話100が実行して計測値の位置等の判定が不能の場合に携帯電話100が画像を情報提供装置300へ送信し、判定情報9Yとの照合を情報提供装置300が実行するように構成してもよい。図12は、情報提供システムの動作の他の変形例を示す図である。図12に示す例では、情報提供装置300は、判定結果とともに、当該判定結果に対応した使用機器情報9Xを携帯電話100に送信しているが、判定結果のみを送信するように構成してもよい。図11に示す構成では、携帯電話100の負荷が軽減されるとともに、健康測定器の新機種への対応が容易になる。図12に示す構成では、健康測定器の新機種への対応を容易にしつつ、計測値の位置等の判定に要する時間を短縮することができる。
 携帯電話100の機能の一部を情報提供装置300が実行する場合、図13に示すように、携帯電話100が画像および付加情報を情報提供装置300へ送信し、情報提供装置300が計測値の位置等の判定に加えて、計測値の読み取りを実行するように構成してもよい。図13は、情報提供システムの動作の他の変形例を示す図である。図13に示す構成では、携帯電話100の負荷がさらに軽減される。
 あるいは、携帯電話100の機能の一部を情報提供装置300以外の他の装置に実行させてもよい。例えば、図14に示すように、計測値の位置等の判定を行う機器判定装置600を情報提供システムに追加してもよい。図14は、情報提供システムの他の構成を示す図である。
 上記の実施例では、携帯電話100が健康測定器のインジケータに表示される計測値を読み取る例について説明したが、計測値の読み取り方はこれに限定されない。例えば、携帯電話100は、アナログ式の健康測定器が有する針と目盛りの位置関係から計測値を読み取ってもよい。
 体重計または体組成計等の体重を計測する測定器の計測値を読み取る場合、利用者は、携帯電話100を持ったままで測定器に載ると考えられる。そこで、携帯電話100の重量が計測値に与える影響を除去するために、携帯電話100の重量を予め記憶しておき、計測値を表示している機器が体重を計測する測定器の場合には、体重を示す計測値から携帯電話100の重量を控除するように携帯電話100を構成してもよい。
 計測値を数値としてだけではなく、携帯電話100が容易に読み取ることができる符号として表示するように健康測定器を構成してもよい。この場合、計測値だけでなく、計測値の種別および単位等を符号化してもよい。符号化は、例えば、一次元バーコードまたは二次元バーコードを用いて実現できる。あるいは、健康測定器のインジケータが7セグメントディスプレイの場合、各文字を構成する要素の点滅パターンを符号に割り当てることによって符号化を実現してもよい。
 健康測定器に年齢、身長、性別等の利用者の個人情報が登録されている場合、計測値だけでなく、それらの個人情報をインジケータに表示するように健康測定器を構成してもよい。このように構成することにより、携帯電話100に登録されていない個人情報を携帯電話100が健康測定器から取得し、情報提供装置300へ送信する等して分析に役立てることが可能になる。個人情報は、文字として健康測定器のインジケータに表示されてもよいし、上記のように符号化されて表示されてもよい。個人情報は、予め情報提供装置300に記憶されてもよい。
 携帯電話100は、健康測定器のインジケータの縦横比(アスペクト比)に応じて、インジケータを撮像する画像の向きが変更されるように制御を行ってもよい。図4に示した体組成計40のインジケータ41を撮像する場合を例にして、インジケータの縦横比と画像の縦横比の関係について説明する。以下の説明において、健康測定器のインジケータの向きが撮像される画像の向きと一致するということは、インジケータの長手方向が画像の長手方向と一致すること(インジケータの短手方向が画像の短手方向と一致すること)を意味する。なお、健康測定器のインジケータの向きが撮像される画像の向きと一致するということは、インジケータに表示されている計測値、計測値の近傍の文字またはシンボル等の向きが画像の短手方向と一致することを意味してもよい。
 図15は、光源の下で体組成計40のインジケータ41を撮像する場合の例を示す図である。図15に示す例では、天井に光源L1が設けられ、体組成計40は床に置かれている。携帯電話100は、体組成計40のインジケータ41をカメラ13で撮像するために、光源L1と体組成計40の間で利用者によって保持されている。この場合、光源L1からの光によって体組成計40上に携帯電話100の影ができ、その影が、カメラ13で撮像される画像内に写り込む可能性がある。なお、以下の説明では、説明を簡単にするため、携帯電話100を保持する利用者の身体(特に手)については考慮しない。
 図16は、携帯電話100の影が写り込んだ画像の例を示す図である。図16に示す画像P1は、インジケータ41と異なる向きで撮像されている。すなわち、図16に示す画像P1は、画像P1の長手方向がインジケータ41の長手方向と一致しない向き(画像P1の短手方向がインジケータ41の短手方向と一致しない向き)で撮像されている。このため、画像P1中のインジケータ41の像P1aの向きは、画像P1の向きと一致していない。
 画像P1には、携帯電話100の影P1bが写り込んでいる。携帯電話100のタッチスクリーンディスプレイ2は、カメラ13と反対側の面のほぼ全面に設けられ、カメラ13が撮像中の画像を自身のほぼ全体に表示することができるように構成される。このため、カメラ13が撮像する画像の向きは、携帯電話100の向きと一致するので、画像P1中の携帯電話100の影P1bの向きは、画像P1の向きと常に同一となる。
 このように、画像P1中には、画像P1と異なる向きのインジケータ41の像P1aと、画像P1と同じ向きの影P1bとが含まれている。このように向きの異なる像は、図16に示す例のように、一部のみが重なり合う関係になりやすい。このように、インジケータ41の像P1aの一部に影P1bが重なっている場合、像P1a内部の輝度等が部分的に変化し、この部分的な変化が、像P1a内の計測値の読み取りに悪影響を及ぼす可能性がある。特に、健康測定器のインジケータがバックライトを持たない反射式の表示パネルを用いている場合、インジケータの輝度の変化の幅が元々小さいため、影によって生じる輝度差によって計測値の読み取りが困難になる可能性がある。
 図17は、携帯電話100の影が写り込んだ画像の他の例を示す図である。図17に示す画像P2は、インジケータ41と同じ向きで撮像されている。すなわち、図17に示す画像P2は、画像P2の長手方向がインジケータ41の長手方向と一致する向き(画像P2の短手方向がインジケータ41の短手方向と一致する向き)で撮像されている。このため、画像P2中のインジケータ41の像P2aの向きは、画像P2の向きと一致している。
 画像P2には、携帯電話100の影P2bが写り込んでいる。上述したように、カメラ13が撮像する画像の向きは、携帯電話100の向きと一致する。このため、画像P2中の携帯電話100の影P2bの向きは、画像P2の向きと一致している。
 このように、画像P2中には、画像P2と同じ向きのインジケータ41の像P2aと、画像P2と同じ向きの影P2bとが含まれる。このように向きが同じ像は、図17に示す例のように、一方が他方に含まれる関係になりやすい。さらに、健康測定器のインジケータの一般的な大きさ、携帯電話の一般的な大きさ、一般的な室内を想定した場合の光源、携帯電話、及び健康測定器の相対位置等を考慮すると、影P2bは、インジケータ41の像P2aよりも大きくなることが多いと考えられる。このため、画像P2がインジケータ41と同じ向きで撮像されている場合には、図17に示す例のように、インジケータ41の像P2aが影P2bに含まれる関係になりやすい。このような関係にあれば、インジケータ41の像P2aの内部に影P2bによる輝度等の差は生じないため、影P2bが写り込んだとしても、影P2bが計測値の読み取りに与える影響は小さい。
 計測値の読み取りには、影による輝度等の変化以外にも、露出調整(自動露出、自動感度調整)のための測光処理が行われる箇所が影響を及ぼすことがある。健康測定器のインジケータの向きと撮像される画像の向きとが異なっていると、画像中でのインジケータの位置が画像の中心から大きくずれていてもインジケータ全体を撮像することができる。図18は、インジケータと異なる向きで撮像された画像の例を示す図である。図18に示す画像P3では、インジケータ41の像P3aは、インジケータ41全体を含んでいるが、画像P3の中心から大きく上にずれている。このため、携帯電話100が、既定の動作として中央の領域P3bに基づいて測光処理を行うと、インジケータ41の像P3aを含まない領域の明るさに基づいて露出調整が行われるために、インジケータ41の像P3a内の計測値の読み取りが困難になる可能性がある。
 例えば、体組成計40の領域P3bに対応する部分の色が白色の場合、撮像される画像全体が暗くなり、インジケータ41の像P3a内の計測値が黒つぶれする可能性がある。あるいは、体組成計40の領域P3bに対応する部分の色が黒色の場合、撮像される画像全体が明るくなり、インジケータ41の像P3a内の計測値が白飛びする可能性がある。
 一方、健康測定器のインジケータの向きと撮像される画像の向きとが同じであれば、全体が撮像されたインジケータの像の位置は画像の中心から大きくずれ難い。図19は、インジケータと同じ向きで撮像された画像の例を示す図である。図19に示す画像P4では、インジケータ41の像P4aは、インジケータ41全体を含んでいる。画像P4において、インジケータ41の像P4aは、図18におけるインジケータ41の像P3aとほぼ同じ大きさを有し、画像P4の中心から大きく左にずれた位置に写っているが、右端が画像P4のほぼ中央に位置している。このため、携帯電話100が、既定の動作として中央の領域P4bに基づいて測光処理を行うと、インジケータ41の像P4aを含む領域の明るさに基づいて露出調整が行われるために、インジケータ41の像P4a内の計測値の読み取りに適した画像P4が得られる。
 このように、撮像される画像の向きと画像に含まれる健康測定器のインジケータの向きとを一致させることにより、計測値の読み取りに適した画像が得られる可能性を高くすることができる。例えば、健康測定器からの計測値の読み取りが成功するまで、健康測定器のインジケータの撮像と撮像された画像の解析とが繰り返して実行される場合、画像の向きと健康測定器のインジケータの向きとを一致させることにより、計測値の読み取りが成功するまでに要する時間を短縮することができる。
 図20を参照しながら、撮像される画像の向きと画像に含まれる健康測定器のインジケータの向きとを一致させるための制御について説明する。図20は、撮像される画像の向きと画像に含まれる健康測定器のインジケータの向きとを一致させるための制御の例を示すフローチャートである。図20に示す制御は、コントローラ10が、健康管理アプリケーション9Dを実行することにより実現される。図20に示す制御は、図9に示した処理と並行して実行される。
 図20に示すように、コントローラ10は、健康測定器のインジケータの向きが確定する前の初期動作として、健康測定器のインジケータの向きが横向きであるものと仮定して制御を実行する。これは、健康測定器のインジケータの向きは、横向きであることが多いからである。コントローラ10は、利用者による設定または操作に応じて、健康測定器のインジケータの向きが縦向きであるものと仮定して制御を実行するように構成されてもよい。
 具体的には、コントローラ10は、ステップS201として、健康測定器のインジケータを撮像するための撮像画面を横向きに表示する。撮像画面には、カメラ13によって撮像された画像が継続的に表示される。続いて、コントローラ10は、ステップS202として、図9に示した処理のステップS104において、健康測定器の計測値が検出されかを判定する。計測値が検出されていない場合(ステップS202,No)、コントローラ10はステップS203へ進む。
 コントローラ10は、ステップS203として、携帯電話100の向きを判定する。携帯電話100の向きは、加速度センサ15、ジャイロスコープ17等の検出器を用いて判定することができる。携帯電話100の向きが横向きである場合(ステップS204,Yes)、コントローラ10は、ステップS202へ戻る。
 携帯電話100の向きが横向きでない場合(ステップS204,No)、コントローラ10は、携帯電話100の向きを横向きにするための制御を行う。具体的には、コントローラ10は、ステップS205として、携帯電話100の向きの変更を促すメッセージをディスプレイ2Aに表示する。コントローラ10は、メッセージの表示に加えて、撮像画面への撮像画像の表示を停止してもよい。画像の表示を停止することにより、画像を撮像する向きが適切でないことを利用者に気付かせることができる。その後、コントローラ10は、ステップS202へ戻る。
 図9に示した処理のステップS104において、健康測定器の計測値が検出された場合(ステップS202,Yes)、コントローラ10はステップS206へ進む。コントローラ10は、ステップS206として、画像中のインジケータの向きを判定する。なお、ここで判定される向きは、インジケータの長手方向及び短手方向によって決定される向きであり、計測値が表示される向きとは関係がない。インジケータの向きは、例えば、図9に示した処理において計測値が検出された領域の形状、図9に示した処理において特定された健康測定器の機種等に基づいて判定することができる。
 続いて、コントローラ10は、ステップS207として、健康測定器のインジケータの向きが撮像中の画像の向きと一致するかを判定する。インジケータの向きが撮像中の画像の向きと一致する場合(ステップS207,Yes)、コントローラ10は、ステップS210へ進む。
 健康測定器のインジケータの向きが撮像中の画像の向きと一致しない場合(ステップS207,No)、撮像される画像の向きをインジケータの向きと一致させるための制御を行う。具体的には、コントローラ10は、ステップS208として、携帯電話100の向きの変更を促すメッセージをディスプレイ2Aに表示し、ステップS209として、撮像画面の向きを変更する。ステップS208とステップS209は、実行順序を問わない。コントローラ10は、これらの制御に加えて、撮像画面への撮像画像の表示を停止してもよい。その後、コントローラ10は、ステップS210へ進む。
 コントローラ10は、ステップS210として、撮像が終了するかを判定する。撮像が終了しない場合(ステップS210,No)、コントローラ10は、ステップS206に戻る。撮像が終了する場合(ステップS210,Yes)、コントローラ10は、図20に示す処理を終了する。コントローラ10は、ステップS210において、常に処理を終了させてもよい。
(実施形態2)
 実施形態1では、携帯電話100が、健康測定器のインジケータに表示される計測値を撮像した画像から、文字認識処理によって計測値に対応する数値データを読み取る例を説明した。このとき、カメラで撮像しているイメージデータ(画像)に含まれる計測値以外のオブジェクトが、イメージデータから画像を取得するときの露出量などの調整に影響を与えるので、携帯電話100により画像から読み取られる計測値の精度にばらつきが生じる恐れがある。特に、健康測定器のインジケータがグレースケールの液晶パネル上に黒色の文字を表示する7セグメントディスプレイで構成される場合、イメージデータ内に含まれる白色のオブジェクトの割合により、イメージデータから取得される画像において計測値が不鮮明となってしまう。計測値の精度が悪いと、情報提供装置300において利用者の健康状態について正しい分析を行うことができず、健康管理に関するサービスの品質も低下してしまう。そこで、以下では、携帯電話100が、健康測定器のインジケータが撮像された画像から、インジケータに表示されている計測値を精度良く読み取るための制御の例について説明する。
 健康管理アプリケーション9Dは、実施形態1で説明した機能に加えて、以下に説明する機能を提供する。健康管理アプリケーション9Dは、カメラ13により撮像している健康測定器のイメージデータの輝度分布に基づいて、健康測定器のインジケータのイメージ(像)が映し出されているイメージデータにおける領域を特定する機能を提供する。さらに、健康管理アプリケーション9Dは、特定した領域を対象とする測光処理を実行する機能とを提供する。
 コントローラ10は、健康管理アプリケーション9Dを実行することにより、カメラ13により撮像している健康測定器のイメージデータの輝度分布に基づいて、健康測定器のインジケータのイメージ(像)が映し出されているイメージデータにおける領域を特定する。さらに、コントローラ10は、健康管理アプリケーション9Dを実行することにより、特定した領域を対象とする測光処理を実行する。
 図21は、カメラでイメージデータを補足している状態の一例を示す図である。図21は、健康測定器である体組成計40のイメージデータを撮像する場合を示している。利用者は、撮像対象である体組成計40のインジケータ41のイメージデータがタッチスクリーンディスプレイ2(ディスプレイ2A)に表示されている状況を確認しつつ、カメラ13及び携帯電話100を操作する。コントローラ10は、図21に示すように、利用者の操作に応じて、カメラ13により撮像できる体組成計40のイメージデータIをディスプレイ2Aに表示する。
 図22は、図21に示すイメージデータの輝度分布の一例を示す図である。図22に示す横軸は輝度値、縦軸は輝度値の頻度を示す。コントローラ10は、図21に示すイメージデータIの輝度分布を算出する。図21に示すイメージデータIには、図22に示すように、ピークとなる輝度値“α”及び輝度値“β”が含まれている。利用者は、撮像対象である体組成計40のインジケータ41に焦点をあてて、カメラ13及び携帯電話100を操作しているので、イメージデータIには、体組成計40のインジケータ41のイメージが多く含まれている。さらに、体組成計40のインジケータ41が、グレースケールで文字情報を表示する液晶パネルで構成される場合には、インジケータ41を構成する各画素の輝度値は概ね同じ値となる。よって、ピークとなる輝度値“α”及び輝度値“β”のいずれか一方がインジケータ41である可能性が高いものと判断できる。
 図23は、図22に示す輝度分布においてピークとなる輝度値を有する画素のイメージデータIにおける位置の一例を示す図である。図23は、図22に示す輝度分布においてピークとなっている輝度値“α”を有する画素PαのイメージデータIにおける位置の例を示している。
 図24は、体組成計40のインジケータ41のイメージが映し出されている領域の候補として切り出される領域の一例を示す図である。利用者は、撮像対象である体組成計40のインジケータ41に焦点をあてて、カメラ13及び携帯電話100を操作しているので、イメージデータIには、体組成計40のインジケータ41のイメージが多く含まれているものと予測できる。そこで、コントローラ10は、輝度分布においてピークとなっている輝度値“α”を有する画素PαのイメージデータIにおける位置(図23)を参照し、図24に示す画素Pαが集中している領域Aαを、体組成計40のインジケータ41のイメージが映し出されている領域の候補としてイメージデータIから切り出す。例えば、コントローラ10は、体組成計40のインジケータ41のイメージが映し出されている領域の候補をイメージデータIから切り出す場合、例えば、ピークとなる輝度値を有する画素Pαが集中している領域を含む最小の矩形で切り出す。コントローラ10は、矩形で切り出す場合に限られず、例えば、画素Pαが集中している領域の形状に応じて、円形、楕円形、三角形など種々の形状で切り出すことができる。
 コントローラ10は、体組成計40のインジケータ41のイメージが映し出されている領域の候補としてイメージデータIから切り出した領域Aαに対して、文字認識処理を実行する。そして、コントローラ10は、領域Aαにおいて文字情報を認識できた場合には、領域Aαを体組成計40のインジケータ41のイメージが映し出されている領域として特定する。
 領域Aαを体組成計40のインジケータ41のイメージが映し出されている領域として特定できた場合には、コントローラ10は、領域Aαを対象とする測光処理を実行する。コントローラ10は、領域Aαを対象とする測光処理を実行する場合、分割測光、中央重点測光、スポット測光のいずれを用いてもよい。コントローラ10は、分割測光を用いて測光処理を行う場合、領域Aαを複数の領域に分割し、分割した各領域の光量の平均から露出量を決定するための制御値を算出する。コントローラ10は、中央重点測光を用いて測光処理を行う場合、領域Aαの中央部分の領域の光量に重点をおいて、露出量を決定するための制御値を算出する。コントローラ10は、スポット測光を用いて測光処理を行う場合、領域Aαのごく一部分の光量を基準として、露出量を決定するための制御値を算出する。
 図25は、携帯電話100がカメラ13で撮像しているイメージデータから健康測定器のインジケータのイメージが映し出されている領域を特定し、特定した領域を対象とする測光処理を実行する処理の手順の一例を説明する図である。図25に示す処理手順は、コントローラ10が、健康管理アプリケーション9Dを起動することにより開始される。健康管理アプリケーション9Dの起動は、実施形態1と同様に、例えば、利用者の操作の検出を契機として実行される。
 コントローラ10は、健康管理アプリケーション9Dを起動した後、カメラ13を起動し、カメラ13で撮像しているイメージデータI(図21など参照)の輝度分布(図22参照)を算出する(ステップS301)。続いて、コントローラ10は、輝度分布においてピークとなっている輝度値(例えば、α)を1つ選択する(ステップS302)。
 続いて、コントローラ10は、ピークとなっている輝度値を有する画素(例えば、Pα)が集中するイメージデータIの領域(例えば、Aα、図24参照)を切り出す(ステップS303)。
 続いて、コントローラ10は、ステップS303で切り出した領域(例えば、Aα)に対して文字認識処理を実行し、領域内で文字情報を検出できるか否かを判定する(ステップS304)。
 コントローラ10は、判定の結果、ステップS303で切り出した領域内に文字情報を検出できた場合には(ステップS304、Yes)、ステップS303で切り出した領域を、体組成計40のインジケータ41のイメージが映し出されているイメージデータIにおける領域として特定する(ステップS305)。
 続いて、コントローラ10は、ステップS305で特定した領域を対象とする測光処理を実行する(ステップS306)。そして、コントローラ10は、測光処理の結果に基づいて、イメージデータIを撮像して画像を取得する際の露出量を調整し(ステップS307)、図25に示す処理手順を終了する。
 ステップS304において、コントローラ10は、判定の結果、ステップS303で切り出した領域内に文字情報を検出できなかった場合には(ステップS304、No)、ピークとなっている輝度値のうち、未選択のものがあるかどうかを判定する(ステップS308)。判定の結果、未選択のものがある場合には(ステップS308、Yes)、コントローラ10は、ステップS302に戻り、未選択の輝度値の中から1つ輝度値を選択し、上述した手順を実行する。一方、判定の結果、未選択のものがない場合には(ステップS308、No)、コントローラ10は、そのまま、図25に示す処理手順を終了する。
 上述してきたように、実施形態2にて、携帯電話100は、健康管理アプリケーション9Dを実行することにより、カメラ13により撮像する体組成計40のイメージデータIの輝度分布に基づいて、健康測定器のインジケータのイメージ(像)が映し出されているイメージデータI内の領域を特定する。さらに、コントローラ10は、健康管理アプリケーション9Dを実行することにより、特定した領域を対象とする測光処理を実行する。このため、実施形態2によれば、健康測定器のインジケータが撮像された画像から、インジケータに表示されている計測値を精度良く読み取ることができる。
 実施形態2にて、携帯電話100は、輝度分布においてピークとなる輝度値に対応するイメージデータI内の領域を、インジケータ41のイメージが映し出されている領域の候補として切り出す。そして、携帯電話100は、候補として切り出した領域内に文字情報(例えば、7セグ)を検出できた場合には、ピークとなる輝度値に対応するイメージデータI内の領域を、インジケータのイメージが映し出されている領域として特定する。利用者は、撮像対象である体組成計40のインジケータ41に焦点をあてて、カメラ13及び携帯電話100を操作しているので、イメージデータIには、体組成計40のインジケータ41のイメージが多く含まれているものと予測できる。よって、輝度分布でピークとなる輝度値に対応するイメージデータI内の該当領域を、インジケータ41が映し出されている領域として処理を進める方法も有効ではあるが、該当領域に文字情報を認識できれば、より確実にインジケータ41のイメージが映し出されている領域を特定できる。
 実施形態2では、体組成計40のイメージデータIの輝度分布に基づいてインジケータ41の領域を特定するので、例えば、カメラ13の位置が体組成計40に対して正対していない位置にある場合であっても、インジケータ41に表示されている計測値を精度良く読み取ることができる。すなわち、インジケータ41の画像を斜めから撮像した場合であっても、インジケータ41を対象とする測光処理を実行するので、インジケータ41から反射する光やインジケータ41への写りこみなどの影響などを受けることなく、インジケータ41に表示されている計測値を読み取ることができる。
 実施形態2では、カメラ13により撮像している体組成計40のイメージデータIの輝度分布に基づいて、体組成計40のインジケータ41のイメージが映し出されているイメージデータI内の領域を特定する例を説明した。例えば、体組成計40に対して、体組成計40のインジケータ41のイメージが映し出されているイメージデータ41内の領域を特定するようなパターンデザインを設けてもよい。
 図26は、体組成計40のインジケータ41のイメージが映し出されているイメージデータ内の領域を特定するためのパターンデザインの一例を示す図である。図26に示すように、パターンデザインは、体組成計40のインジケータ41の4つの角のうち、体組成計40のインジケータ41を3つの角に内接するように配置される3つの四角形41aと、インジケータ41を取り囲む直線41bとで構成される。コントローラ10は、カメラ13で体組成計40のイメージデータを撮像する際に、図26に示すパターンデザインを認識することで、体組成計40のインジケータ41のイメージが映し出されているイメージデータ内の領域を特定する。コントローラ10は、パターンマッチングにより、図26に示すパターンデザインを読み取ってもよいし、イメージデータからエッジを抽出して、図26に示すパターンデザインを読み取ってもよい。
 図26に示すパターンデザインを用いて、体組成計40のインジケータ41のイメージが映し出されている領域を特定するだけではなく、インジケータ41の表示内容や表示内容の変化を検出することにより、インジケータ41の領域を特定するようにしてもよい。例えば、コントローラ10は、カメラ13で撮像している体組成計40のイメージデータの文字認識処理を実行し、“測定中”の文字を検出できた場合には、その文字の位置を目安としてインジケータ41のイメージが映し出されている領域を特定する。あるいは、コントローラ10は、カメラ13で撮像している体組成計40のイメージデータのフレーム間差分をとって、計測実行中のインジケータ41に表示される表示内容の変化を検出できた場合には、変化があった箇所を目安としインジケータ41のイメージが映し出されている領域を特定する。表示内容の変化には、体重の計測値が確定するまでの数字の変化や、体重表示から体脂肪表示を行う場合の変化などがある。
 あるいは、カメラ13で体組成計40のインジケータ41のイメージデータを撮像する際に、インジケータ41に合わせるためのガイド枠などをディスプレイ2Aに表示させるようにしてもよい。この場合には、カメラ13で撮像するイメージデータのうち、ガイド枠の内側の領域をインジケータ41のイメージが映し出されている領域として特定する。
 実施形態2では、体組成計40のインジケータ41の領域を特定する例を説明したが、体組成計40以外の体温計、血圧を計測する血圧計、脈拍を計測する脈拍計、歩数を計測する歩数計、歩行を含む運動による活動量を計測する活動量計などの他の健康測定器のインジケータについても、体組成計40の場合と同様の方法で特定できる。
 実施形態2において、体組成計40のインジケータ41の色温度や光源の種類が事前に判明している場合、携帯電話100は、インジケータ41の領域の色温度や光源の種類に応じたホワイトバランスの調整を行うこともできる。
 実施形態2において、携帯電話100は、インジケータ41のイメージが映し出されている領域を対象とする測光処理の結果に応じて、ISO感度を変更するようにしてもよい。
 実施形態2において、携帯電話100は、使用機器情報9X及び判定情報9Yなどを利用することにより、カメラ13で撮像している体組成計40のイメージデータにおいてインジケータ41が映し出されている領域をある程度絞りこんだ後、絞り込んだ領域の輝度分布に基づいて、インジケータ41が映し出されている領域を特定するようにしてもよい。
 携帯電話100は、インジケータ41の領域を対象とする測光処理の結果に基づいて露出量を調整して撮像した画像から計測値を取得した後、使用機器情報9X及び判定情報9Yなどを用いて、実施形態1と同様の処理(図9のステップS105,Yes~ステップS122)を実行してよい。
(実施形態3)
 携帯電話100は、健康測定器のインジケータを撮像する画像に携帯電話100の影または携帯電話100自体が写り込む可能性が低くなるように制御を行ってもよい。図27から図30を参照しながら、携帯電話100の影または携帯電話100自体の画像への映り込みについて説明する。
 図27は、携帯電話100自体が画像に写り込む場合の例を示す図である。図28は、携帯電話100自体が写り込んだ画像の例を示す図である。図27に示す例では、携帯電話100は、体組成計40の略長方形(正方形を含む)のインジケータ41をカメラ13で撮像するために、体組成計40のほぼ真上で体組成計40と正対するように、利用者によって保持されている。この場合、インジケータ41の表面がガラスや透明な樹脂のように光を反射する素材で覆われていると、インジケータ41の表面が一種の鏡として機能するために、カメラ13が撮像する画像中に携帯電話100自体が写り込むことがある。
 例えば、図28に示す画像P5では、インジケータ41の像P5aの内部に携帯電話100の像P5bが写り込んでいる。このような写り込みは、像P5aの輝度等を部分的に変化させ、像P5aに含まれる計測値の読み取りを困難にすることがある。特に、健康測定器のインジケータがバックライトを持たない反射式の表示パネルを用いている場合、インジケータの輝度の変化の幅が元々小さいため、写り込みによって生じる輝度差によって計測値の読み取りが困難になる可能性がある。
 図29は、携帯電話100の影が画像に写り込む場合の例を示す図である。図30は、携帯電話100の影が写り込んだ画像の例を示す図である。図29に示す例では、天井に光源L1が設けられ、体組成計40は床に置かれている。携帯電話100は、体組成計40のインジケータ41をカメラ13で撮像するために、光源L1と体組成計40の間で利用者によって保持されている。この場合、光源L1からの光によって体組成計40上に携帯電話100の影ができ、その影が、カメラ13で撮像される画像内に写り込む可能性がある。なお、説明を簡単にするため、携帯電話100を保持する利用者の身体(特に手)については考慮しない。
 例えば、図30に示す画像P6では、インジケータ41の像P6aの一部と重なるように、携帯電話100の像P6bが写り込んでいる。このような影の写り込みは、像P6aの輝度等を部分的に変化させ、像P6aに含まれる計測値の読み取りを困難にすることがある。
 このような、携帯電話100の影または携帯電話100自体の画像への写り込みが生じることを避けるために、図31に示すように、携帯電話100をインジケータ41の真上から外れた位置で傾けて、インジケータ41の撮像を行うことが考えられる。図31は、写り込みが生じない状態の例を示す図である。図32は、図31に示す状態で撮像される画像の例を示す図である。図32に示す画像P7では、インジケータ41の像P7aに、携帯電話100の影も携帯電話100自体も写り込んでいない。傾いた状態で撮像されたために像P7aは、上底が下底よりも短い等脚台形に歪んでいるが、台形補正処理を施すことにより、像P7aを計測値の読み取りに適した矩形に補正することができる。
 図31に示す状態で利用者に撮影を行わせるには、図32に示す画像P7のように、カメラ13によって撮像される画像における健康測定器の略長方形のインジケータの像が上辺と下辺の遠近感の違いにより台形となるように制御を行えばよい。そこで、携帯電話100は、健康測定器のインジケータの撮像時に、図33に示すような撮像画面S1をディスプレイ2Aに表示することができる。図33は、撮像画面S1の例を示す図である。
 撮像画面S1は、上半分を占める画像表示領域S1aと、下半分を占めるメッセージ表示領域S1bとを有する。画像表示領域S1aは、カメラ13によって撮像される画像が継続的に表示される領域である。画像表示領域S1aには、枠w1が含まれる。枠w1は、画像P7におけるインジケータ41の像P7aと同様に、上底が下底よりも短い等脚台形の形状を有する。メッセージ表示領域S1bは、利用者へのメッセージが表示される領域である。図33に示す例では、体組成計40のインジケータ41が枠に丁度収まるように、利用者に撮影を促すメッセージがメッセージ表示領域S1b内に表示されている。メッセージ表示領域S1bは、携帯電話100を傾けるように促すメッセージをさらに含んでもよい。
 このような撮像画面S1をディスプレイ2Aに表示することにより、枠w1は、カメラ13によって撮像される画像における健康測定器のインジケータの像の外形を一致させるべき枠として機能する。すなわち、利用者は、撮像画面S1を見ながら、健康測定器のインジケータの像の外形が枠w1と一致するように、携帯電話100の位置及び傾きを調整する。その結果、図31に示したような状態で撮影が行われることとなる。
 図34は、健康測定器とほぼ正対した状態での撮像画面の例を示す図である。図35は、図31に示す状態での撮像画面の例を示す図である。例えば、図27または図29に示したように、携帯電話100が体組成計40のほぼ真上で体組成計40と正対する状態で撮像が行われた場合、図34の例に示すように、インジケータ41の像は、枠w1と一致しない。このため、利用者は、携帯電話100の位置及び傾きが適切でないことを容易に理解することができる。そして、利用者が携帯電話100の位置及び傾きを調整して、図35の例に示すように、インジケータ41の像の外形を枠w1と一致させると、図32に示した画像P7が得られる状態、すなわち、図31に示す状態が達成される。
 このように、台形の枠w1を含む撮像画面S1を表示することにより、複雑な指示を利用者に与えることなく、好適な状態で利用者に撮影を行わせることができる。さらに、この手法を用いれば、撮像される画像に含まれるインジケータ41の像の形状がほぼ一定になることが期待できる。このため、インジケータ41の像に含まれる計測値を読み取るために像の形状を矩形に補正する台数補正の補正係数を予め決めておくことができ、画像処理の負荷が軽減される。
 図36を参照しながら、携帯電話100の影または携帯電話100自体の写り込みが生じる可能性を低減するための制御について説明する。図36は、写り込みが生じる可能性を低減するための制御の例を示すフローチャートである。図36に示す制御は、コントローラ10が、健康管理アプリケーション9Dを実行することにより実現される。
 図36に示すように、コントローラ10は、ステップS401として、台形の枠w1を含む撮像画面S1をディスプレイ2Aに表示する。そして、コントローラ10は、ステップS402として、撮像した画像を台形補正するための補正係数を設定する。ここで設定される補正係数は、例えば、枠w1の形状を矩形に補正する係数である。その後、コントローラ10は、ステップS403として、図9に示した処理を実行する。この処理において、コントローラ10は、カメラ13が撮像した画像に含まれる数字、シンボル等を読み取る前に、カメラ13が撮像した画像を、ステップS402で設定した補正係数を用いて台形補正する。
 コントローラ10は、図9に示した処理の実行中に、ディスプレイ2Aに表示する枠w1の形状を動的に変化させてもよい。例えば、画像の中のインジケータ41の像の歪みが大き過ぎて数字等の読み取りが困難な場合、コントローラ10は、枠w1の上底を長くする制御、及び、枠w1の上底と下底との距離を広げる制御の少なくとも一方を行ってもよい。このように枠w1の形状を変化させることにより、像の歪みが小さくなる方向へ、換言すれば、携帯電話100と体組成計40がより正対するように、利用者が携帯電話100の位置及び傾きを変化させるように誘導することができる。例えば、インジケータ41の像に含まれる数字等を全体的に読み取ることができない場合に、像の歪みが大き過ぎると判断できる。
 あるいは、携帯電話100の影または携帯電話100自体の写り込みのために数字等の読み取りが困難な場合、コントローラ10は、枠w1の上底を短くする制御、及び、枠w1の上底と下底との距離を狭くする制御の少なくとも一方を行ってもよい。このように枠w1の形状を変化させることにより、写り込みの生じ難い方向へ、換言すれば、携帯電話100と体組成計40がより正対しないように、利用者が携帯電話100の位置及び傾きを変化させるように誘導することができる。例えば、インジケータ41の像に含まれる数字等を部分的に読み取ることができない場合に、写り込みが生じていると判断できる。
 このように枠w1の形状を動的に変化させる場合、コントローラ10は、ステップS402で設定した補正係数を、変化後の枠w1の形状に合わせて変更する。
 上記の説明では、携帯電話100の影または携帯電話100自体の写り込みが生じる可能性を低減するための表示制御の例として、台形の枠w1を表示する例について説明したが、表示制御は、これに限定されない。例えば、コントローラ10は、台形の枠w1を表示させる代わりに、図36に示したステップS402で設定する補正係数を用いて台形補正を施した画像を撮像画面としてディスプレイ2Aに表示させてもよい。このような制御により、例えば、図31に示した状態で撮像される画像P7(図32参照)は、図37に示す画像P8のように歪みのない画像として表示される。図37は、図31に示す状態で撮像された画像に台形補正を施した例を示す図である。図37に示すインジケータ41の像P8aは、上底が下底よりも短い等脚台形に歪んだ像P7aの形状を、台形補正によって矩形に補正した像である。
 この場合、携帯電話100は、健康測定器のインジケータの撮像時に、図38に示すような撮像画面S2をディスプレイ2Aに表示する。図38は、撮像画面の他の例を示す図である。撮像画面S2は、上半分を占める画像表示領域S2aと、下半分を占めるメッセージ表示領域S2bとを有する。画像表示領域S2aは、カメラ13によって撮像される画像が継続的に表示される領域である。画像表示領域S2aには、枠w2が含まれる。枠w2は、矩形形状を有する。画像表示領域S2aは、枠w2を含まなくてもよい。メッセージ表示領域S2bは、利用者へのメッセージが表示される領域である。図38に示す例では、体組成計40のインジケータ41が枠に丁度収まるように、利用者に撮影を促すメッセージがメッセージ表示領域S2b内に表示されている。
 図39は、健康測定器とほぼ正対した状態での撮像画面の例を示す図である。図40は、図31に示す状態での撮像画面の例を示す図である。例えば、図27または図29に示したように、携帯電話100が体組成計40のほぼ真上で体組成計40と正対する状態で撮影が行われた場合、図39の例に示すように、インジケータ41の像は、台形補正が施されるために上辺が下辺よりも長い台形の形状に歪んでおり、さらに、枠w2と一致しない。このため、利用者は、携帯電話100の位置及び傾きが適切でないことを容易に理解することができる。そして、利用者が携帯電話100の位置及び傾きを調整して、図40の例に示すように、画像の歪みを解消させつつ、インジケータ41の像の外形を枠w2と一致させると、図37に示した画像P8が得られる状態、すなわち、図31に示す状態が達成される。
 このように、台形補正後の画像を表示することによっても、複雑な指示を利用者に与えることなく、好適な状態で利用者に撮影を行わせることができる。さらに、この手法を用いれば、表示される画像、すなわち、計測値の読み取りが行われる画像に歪みが少なくなるように利用者が携帯電話100の位置及び傾きを調整するため、歪みの少ない画像を用いて精度良く計測値を読み取ることができる。
 換言すれば、本実施形態は、「携帯電話を体組成計に正対させたい」という利用者の心理を利用したもの、すなわち、図39に示すように、インジケータ41の像が歪んでいると、携帯電話100が体組成計40に対して正対していないと錯覚し、図31に示すように携帯電話100を傾けようとする利用者の心理を利用したものである。
 なお、上述の実施形態では、台形の枠w1及び図39に示したインジケータ41の像を上辺と下辺とが平行な台形にて表示する例を示したものの、実施形態は、携帯電話100と体組成計40とが正対しないように利用者に意識させることができれば、これに限定されない。
 上記の実施形態では、電子機器の例として、携帯電話について説明したが、添付の請求項に係る携帯電子機器は、携帯電話に限定されない。添付の請求項に係る電子機器は、携帯電話以外の携帯電子機器であってもよい。携帯電子機器は、例えば、タブレット、携帯型パソコン、デジタルカメラ、メディアプレイヤ、電子書籍リーダ、ナビゲータ、およびゲーム機を含むが、これらに限定されない。添付の請求項に係る電子機器は、携帯電子機器以外の電子機器であってもよい。
 添付の請求項に係る技術を完全かつ明瞭に開示するために特徴的な実施形態に関し記載してきた。しかし、添付の請求項は、上記実施形態に限定されるべきものでなく、本明細書に示した基礎的事項の範囲内で当該技術分野の当業者が創作しうるすべての変形例および代替可能な構成を具現化するように構成されるべきである。
100 携帯電話
2 タッチスクリーンディスプレイ
2A ディスプレイ
2B タッチスクリーン
3 ボタン
4 照度センサ
5 近接センサ
6 通信ユニット
7 レシーバ
8 マイク
9 ストレージ
9A 制御プログラム
9B メールアプリケーション
9C ブラウザアプリケーション
9D 健康管理アプリケーション
9X 使用機器情報
9Y 判定情報
9Z 設定データ
10 コントローラ
11 スピーカ
12 カメラ
13 カメラ
14 コネクタ
15 加速度センサ
16 方位センサ
17 ジャイロスコープ
18 GPSレシーバ
200 基地局
300a、300b 情報提供装置
301 通信ユニット
302 コントローラ
303 ストレージ
304 分析プログラム
306 計測値情報
400 音声認識装置
500 ネットワーク
600 機器判定装置

Claims (28)

  1.  カメラと、
     前記カメラによって撮像される画像に健康測定器の計測値が含まれるかを判定するコントローラと、
     前記画像に前記計測値が含まれる場合に、当該計測値に係る情報を情報提供装置へ送信する通信ユニットと
     を備える電子機器。
  2.  前記コントローラは、前記健康測定器の計測値を示すインジケータの向きに、前記カメラによって撮像する画像の向きを一致させる制御を行う請求項1に記載の電子機器。
  3.  前記コントローラは、前記カメラによって撮像している映像に前記健康測定器の計測値が含まれると判定した場合に、前記制御を行う請求項2に記載の電子機器。
  4.  前記カメラによって撮像している映像を表示するディスプレイをさらに備え、
     前記コントローラは、前記カメラによって撮像している映像の向きが前記インジケータの向きと一致しない場合には、前記映像の向きを変更する請求項2に記載の電子機器。
  5.  前記カメラによって撮像している映像の向きが前記インジケータの向きと一致しない場合に、当該電子機器の向きを変更するように促すメッセージを表示するディスプレイをさらに備える請求項2に記載の電子機器。
  6.  前記コントローラは、前記撮像している映像の向きが前記インジケータの向きと一致しない場合には、当該撮像している映像を前記ディスプレイに表示を行わせない請求項4に記載の電子機器。
  7.  前記コントローラは、前記カメラによって撮像している映像のうち前記インジケータが撮像されている領域を特定し、特定した領域を対象とする測光処理を実行し、撮像するときの露出量を調整する請求項1に記載の電子機器。
  8.  前記カメラによって撮像している映像を表示するディスプレイをさらに備え、
     前記コントローラは、前記カメラによって撮像している映像における前記健康測定器の計測値を示すインジケータの像が台形となるように前記ディスプレイの表示を制御する請求項1に記載の電子機器。
  9.  前記コントローラは、前記カメラによって撮像している映像における前記インジケータの像の外形を一致させるべき枠として、台形の枠を前記ディスプレイに表示させる請求項8に記載の電子機器。
  10.  前記コントローラは、前記カメラによって撮像した前記インジケータの画像の形状を補正した画像から前記インジケータに示されている計測値を読み出すとともに、当該補正した画像を前記ディスプレイに表示させる請求項8に記載の電子機器。
  11.  前記カメラが前記健康測定器のインジケータと正対する場合に、前記カメラが撮像している当該インジケータを台形になるように表示するディスプレイをさらに備える請求項1に記載の電子機器。
  12.  電子機器と情報提供装置とを有する情報提供システムであって、
     前記電子機器は、
      カメラと、
      前記カメラによって撮像される画像に健康測定器の計測値が含まれるかを判定する第1のコントローラと、
      前記画像に前記計測値が含まれる場合に、当該計測値に係る情報を前記情報提供装置へ送信する通信ユニットとを備え、
     前記情報提供装置は、
      前記計測値に係る情報を記憶するストレージと、
      前記計測値に係る情報に基づく分析を行う第2のコントローラとを備える情報提供システム。
  13.  前記第1のコントローラは、前記健康測定器の計測値を示すインジケータの向きに、前記カメラによって撮像する画像の向きを一致させる制御を行う請求項12に記載の情報提供システム。
  14.  前記第1のコントローラは、前記カメラによって撮像している映像のうち前記インジケータが撮像されている領域を特定し、特定した領域を対象とする測光処理を実行し、撮像するときの露出量を調整する請求項12に記載の情報提供システム。
  15.  前記電子機器は、前記カメラによって撮像している映像を表示するディスプレイをさらに備え、
     前記第1のコントローラは、前記カメラによって撮像している映像における前記健康測定器の計測値を示すインジケータの像が台形となるように前記ディスプレイの表示を制御する請求項12に記載の情報提供システム。
  16.  前記電子機器は、前記カメラが前記健康測定器のインジケータと正対する場合に、前記カメラが撮像している当該インジケータを台形になるように表示するディスプレイをさらに備える請求項12に記載の情報提供システム。
  17.  カメラを備える電子機器の制御方法であって、
     前記カメラによって撮像される画像に健康測定器の計測値が含まれるかを判定するステップと、
     前記計測値に係る情報をストレージに記憶するステップと、
     記憶されている前記計測値に係る情報に基づいて情報提供のための分析を行うステップと
     を含む制御方法。
  18.  前記健康測定器の計測値を示すインジケータの向きに、前記カメラによって撮像する画像の向きを一致させる制御を行うステップをさらに含む請求項17に記載の制御方法。
  19.  前記制御を行うステップは、前記カメラによって撮像している映像に前記健康測定器の計測値が含まれると判定された場合に実行される請求項18に記載の制御方法。
  20.  前記カメラによって撮像している映像のうち前記インジケータが撮像されている領域を特定し、特定した領域を対象とする測光処理を実行し、撮像するときの露出量を調整するステップをさらに含む請求項17に記載の制御方法。
  21.  前記カメラによって撮像している映像を前記電子機器が備えるディスプレイに表示するステップと、
     前記カメラによって撮像している映像における前記健康測定器の計測値を示すインジケータの像が台形となるように前記ディスプレイの表示を制御するステップと
     をさらに含む請求項17に記載の制御方法。
  22.  前記電子機器が前記健康測定器のインジケータと正対する場合に、前記カメラが撮像している当該インジケータを台形になるように前記電子機器が備えるディスプレイに表示するステップをさらに含む請求項17に記載の制御方法。
  23.  カメラを備える電子機器に、
     前記カメラによって撮像される画像に健康測定器の計測値が含まれるかを判定するステップと、
     前記計測値に係る情報をストレージに記憶するステップと、
     記憶されている前記計測値に係る情報に基づいて情報提供のための分析を行うステップと
     を実行させる制御プログラム。
  24.  前記健康測定器の計測値を示すインジケータの向きに、前記カメラによって撮像する画像の向きを一致させる制御を行うステップをさらに前記電子機器に実行させる請求項23に記載の制御プログラム。
  25.  前記制御を行うステップは、前記カメラによって撮像している映像に前記健康測定器の計測値が含まれると判定された場合に実行される請求項24に記載の制御プログラム。
  26.  前記カメラによって撮像している映像のうち前記インジケータが撮像されている領域を特定し、特定した領域を対象とする測光処理を実行し、撮像するときの露出量を調整するステップをさらに前記電子機器に実行させる請求項23に記載の制御プログラム。
  27.  前記カメラによって撮像している映像を前記電子機器が備えるディスプレイに表示するステップと、
     前記カメラによって撮像している映像における前記健康測定器の計測値を示すインジケータの像が台形となるように前記ディスプレイの表示を制御するステップと
     をさらに前記電子機器に実行させる請求項23に記載の制御プログラム。
  28.  前記電子機器が前記健康測定器のインジケータと正対する場合に、前記カメラが撮像している当該インジケータを台形になるように前記電子機器が備えるディスプレイに表示するステップをさらに前記電子機器に実行させる請求項23に記載の制御プログラム。
PCT/JP2013/072915 2012-08-29 2013-08-27 電子機器、情報提供システム、制御方法および制御プログラム WO2014034683A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/424,297 US9654743B2 (en) 2012-08-29 2013-08-27 Electronic device, information providing system, control method, and control program

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2012-188808 2012-08-29
JP2012188808A JP6320671B2 (ja) 2012-08-29 2012-08-29 電子機器、制御方法およびプログラム
JP2012-195484 2012-09-05
JP2012195484A JP6196024B2 (ja) 2012-09-05 2012-09-05 情報提供システム、電子機器、制御方法及び制御プログラム
JP2012-197763 2012-09-07
JP2012197763A JP5898596B2 (ja) 2012-09-07 2012-09-07 電子機器、制御方法およびプログラム

Publications (1)

Publication Number Publication Date
WO2014034683A1 true WO2014034683A1 (ja) 2014-03-06

Family

ID=50183494

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/072915 WO2014034683A1 (ja) 2012-08-29 2013-08-27 電子機器、情報提供システム、制御方法および制御プログラム

Country Status (2)

Country Link
US (1) US9654743B2 (ja)
WO (1) WO2014034683A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3171351A4 (en) * 2014-07-15 2018-05-16 Hitachi, Ltd. Measurement data processing system
WO2018181339A1 (ja) * 2017-03-30 2018-10-04 株式会社DSi 電子秤

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102169523B1 (ko) * 2013-05-31 2020-10-23 삼성전자 주식회사 디스플레이장치 및 그 제어방법
KR101545654B1 (ko) * 2014-06-26 2015-08-20 주식회사 아이파이브 개인별 맞춤형 운동 시스템 및 개인별 맞춤형 운동 방법
EP3621086A1 (en) * 2018-09-06 2020-03-11 Koninklijke Philips N.V. Augmented reality user guidance during examinations or interventional procedures
JP6818002B2 (ja) * 2018-12-12 2021-01-20 株式会社東芝 読取支援システム、移動体、読取支援方法、プログラム、及び記憶媒体
US20200215376A1 (en) * 2019-01-07 2020-07-09 Spencer Bishop Smartbell
US11071484B2 (en) * 2019-11-20 2021-07-27 International Business Machines Corporation Reduce electromagnetic frequency emissions from a mobile device
IT202000000631A1 (it) * 2020-01-15 2021-07-15 Corob Spa Metodo di calibrazione di una macchina dispensatrice e relativo kit di calibrazione
US11308846B2 (en) * 2020-03-13 2022-04-19 Apple Inc. Electronic devices with color compensation

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003272076A (ja) * 2002-03-14 2003-09-26 Osaka Gas Co Ltd 検針方法
JP2008067321A (ja) * 2006-09-11 2008-03-21 Matsushita Electric Ind Co Ltd データ登録管理装置
JP2011081715A (ja) * 2009-10-09 2011-04-21 Toshiba Corp 監視システム及び監視方法
WO2011145335A1 (ja) * 2010-05-19 2011-11-24 日本電気株式会社 データ処理システム、その電子周辺機器および移動通信端末

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4089051B2 (ja) * 1998-02-18 2008-05-21 セイコーエプソン株式会社 画像処理装置および画像処理方法
US6909793B1 (en) * 1999-09-09 2005-06-21 Matsushita Electric Industrial Co., Ltd. Data input apparatus, data input system, displayed data analyzing apparatus and medium
JP3587775B2 (ja) 1999-09-09 2004-11-10 松下電器産業株式会社 表示データ解析装置および記録媒体
US8320708B2 (en) * 2004-04-02 2012-11-27 K-Nfb Reading Technology, Inc. Tilt adjustment for optical character recognition in portable reading machine
US8131478B2 (en) * 2004-04-28 2012-03-06 Arkray, Inc. Data processing apparatus, measurement apparatus and data collection method
JP2005319216A (ja) 2004-05-11 2005-11-17 Sony Corp 健康管理システム、計測機器、及び情報処理装置
DE112005001597T5 (de) * 2004-07-06 2007-05-24 Viisage Technology, Inc., Billerica Dokumentenklassifizierung und Echtheitsprüfung
US7349588B2 (en) * 2004-08-25 2008-03-25 Avago Technologies Ecbu Ip Pte Ltd Automatic meter reading
JP4654925B2 (ja) * 2006-01-31 2011-03-23 株式会社ニコン カメラ
JP4855172B2 (ja) 2006-07-31 2012-01-18 シャープ株式会社 生体情報測定装置、管理装置、および生体情報通信システム
US20100043004A1 (en) * 2008-08-12 2010-02-18 Ashwini Kumar Tambi Method and system for computer system diagnostic scheduling using service level objectives
JP2011199479A (ja) 2010-03-18 2011-10-06 Toshiba Corp 情報処理装置、情報処理プログラムおよび情報処理方法
JP5725793B2 (ja) * 2010-10-26 2015-05-27 キヤノン株式会社 撮像装置およびその制御方法
US8774558B2 (en) * 2010-11-29 2014-07-08 Microsoft Corporation Rectification of characters and text as transform invariant low-rank textures
JP5601250B2 (ja) 2011-03-08 2014-10-08 富士通株式会社 画像データの処理方法、プログラム、および端末装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003272076A (ja) * 2002-03-14 2003-09-26 Osaka Gas Co Ltd 検針方法
JP2008067321A (ja) * 2006-09-11 2008-03-21 Matsushita Electric Ind Co Ltd データ登録管理装置
JP2011081715A (ja) * 2009-10-09 2011-04-21 Toshiba Corp 監視システム及び監視方法
WO2011145335A1 (ja) * 2010-05-19 2011-11-24 日本電気株式会社 データ処理システム、その電子周辺機器および移動通信端末

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3171351A4 (en) * 2014-07-15 2018-05-16 Hitachi, Ltd. Measurement data processing system
EP3511919A1 (en) * 2014-07-15 2019-07-17 Hitachi, Ltd. Measurement data processing system
WO2018181339A1 (ja) * 2017-03-30 2018-10-04 株式会社DSi 電子秤
JP2018169337A (ja) * 2017-03-30 2018-11-01 株式会社DSi 電子秤
US11209305B2 (en) 2017-03-30 2021-12-28 Dsi Corporation Electronic scale displaying an object to be weighed and the measured weight of the object

Also Published As

Publication number Publication date
US20150229888A1 (en) 2015-08-13
US9654743B2 (en) 2017-05-16

Similar Documents

Publication Publication Date Title
WO2014034683A1 (ja) 電子機器、情報提供システム、制御方法および制御プログラム
KR102289837B1 (ko) 촬영 방법 및 전자 장치
CN107665697B (zh) 一种屏幕亮度的调节方法及移动终端
KR101977703B1 (ko) 단말의 촬영 제어 방법 및 그 단말
EP3136757A1 (en) Information display method and apparatus
JP6392991B2 (ja) 画像による空間パラメータ特定方法、装置、プログラム、記録媒体および端末機器
JP6196024B2 (ja) 情報提供システム、電子機器、制御方法及び制御プログラム
WO2019091486A1 (zh) 拍照处理的方法、装置、终端和存储介质
US9413967B2 (en) Apparatus and method for photographing an image using photographing guide
US20160156837A1 (en) Alternative camera function control
KR101796399B1 (ko) 터치 스크린 제어 방법, 장치, 프로그램 및 저장매체
KR20170019823A (ko) 이미지 처리 방법 및 이를 지원하는 전자장치
CN103927080A (zh) 控制控件操作的方法和装置
CN112423138A (zh) 一种搜索结果展示方法及终端设备
CN108924452A (zh) 局部录屏方法、装置及计算机可读存储介质
WO2018184260A1 (zh) 文档图像的校正方法及装置
JP2012231276A (ja) 携帯端末、無効領域設定プログラムおよび無効領域設定方法
CN113157172A (zh) 弹幕信息显示方法、发送方法、装置、终端及存储介质
US20160084781A1 (en) Apparatus and method for identifying object
WO2017050090A1 (zh) 生成gif文件的方法、设备及计算机可读存储介质
KR20140142441A (ko) 전자 장치 및 전자 장치의 3차원 모델링을 위한 촬영방법
US10037132B2 (en) Enlargement and reduction of data with a stylus
CN110287903B (zh) 一种皮肤检测方法及终端
CN108510266A (zh) 一种数字对象唯一标识符识别方法及移动终端
JP5917999B2 (ja) 情報提供システム、情報提供方法、および電子機器

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13833913

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14424297

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13833913

Country of ref document: EP

Kind code of ref document: A1