WO2020017296A1 - 端末装置、情報処理方法、及びプログラム - Google Patents

端末装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
WO2020017296A1
WO2020017296A1 PCT/JP2019/026075 JP2019026075W WO2020017296A1 WO 2020017296 A1 WO2020017296 A1 WO 2020017296A1 JP 2019026075 W JP2019026075 W JP 2019026075W WO 2020017296 A1 WO2020017296 A1 WO 2020017296A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
terminal device
image
information
unit
Prior art date
Application number
PCT/JP2019/026075
Other languages
English (en)
French (fr)
Inventor
勇規 坂本
中西　義人
山内　隆伸
Original Assignee
オムロンヘルスケア株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オムロンヘルスケア株式会社 filed Critical オムロンヘルスケア株式会社
Priority to DE112019003050.7T priority Critical patent/DE112019003050T5/de
Priority to CN201980040535.2A priority patent/CN112334887A/zh
Publication of WO2020017296A1 publication Critical patent/WO2020017296A1/ja
Priority to US17/147,031 priority patent/US20210133453A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/432—Query formulation
    • G06F16/434—Query formulation using image data, e.g. images, photos, pictures taken by a user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/438—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G06F16/9566—URL specific, e.g. using aliases, detecting broken or misspelled links
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/453—Help systems

Definitions

  • the present invention relates to, for example, a technique for providing a user with an explanation about an electronic device.
  • a terminal device such as a smartphone accesses a website related to the electronic device. It is a common practice to refer to an electronic manual (sometimes referred to as an operation guide) of an electronic device.
  • an electronic manual sometimes referred to as an operation guide
  • the desired information for example, a description explaining the meaning of the pictogram
  • an operation such as a search is required to access a Web site.
  • electronic manuals can use keyword search, it is necessary to enter a keyword to perform a search.
  • display elements such as pictograms
  • the user does not know what keyword to search for, and even if the electronic manual can be used for keyword search, the user can find desired information on many pages.
  • information such as a correct product name or model may be required, but such information is often not easily obtained.
  • Patent Document 1 discloses a terminal device for displaying an electronic manual.
  • the terminal device displays an image of a vehicle including a plurality of points, and displays a balloon indicating an item of a portion corresponding to the point tapped by the user, superimposed on the image. Then, in response to the user tapping the balloon, the terminal device displays manual information corresponding to the item.
  • Patent Document 1 access to manual information is easy. However, it is necessary to search for desired information from the manual information, and the desired information cannot be easily reached.
  • the present invention has been made in view of the above circumstances, and provides a terminal device, an information processing method, and a program that enable a user to easily obtain a description of a display element displayed on an electronic device.
  • the purpose is to do.
  • the present invention employs the following configuration in order to solve the above problems.
  • a terminal device includes a display device, an imaging device that captures an electronic device in a state in which display content including at least one display element is displayed on a display screen to generate a captured image, A presentation image generation unit that generates a presentation image corresponding to the display content, a first display control unit that causes the display device to display the presentation image, and a user input that selects a display element included in the presentation image.
  • a presentation image corresponding to the display content being displayed on the electronic device is displayed on the display device of the terminal device.
  • a description of the selected display element is displayed on the display device of the terminal device.
  • the user may perform a simple operation including shooting and selection. Therefore, the user can easily obtain the description of the display element being displayed on the electronic device.
  • the display element may be a pictogram. According to this configuration, it is possible to easily obtain a description of a pictogram that is difficult to express with a keyword.
  • the presentation image generation unit may generate, as the presentation image, an image reproducing the display content. According to this configuration, an image similar to the display content being displayed on the electronic device is displayed on the display device of the terminal device, so that the user can intuitively perform an operation of selecting a display element.
  • the explanation information acquisition unit may acquire the explanation information via the Internet in response to the user input.
  • the explanation information is obtained via the Internet immediately before presenting the explanation information. Thereby, the latest explanation information can be presented to the user.
  • the terminal device may further include a type identification unit that identifies a type of the electronic device based on a partial image corresponding to the display content included in the captured image, The unit may acquire the explanation information associated with the model. According to this configuration, the user does not need to input the model information to the terminal device. Therefore, the convenience for the user is further improved.
  • the description information may further include a URL (Uniform Resource Locator) of a Web page related to the display element
  • the second display control unit may display a hyperlink to the Web page on the display device. May be displayed further. According to this configuration, the user can easily obtain a more detailed description of the display element.
  • the present invention it is possible to provide a terminal device, an information processing method, and a program that enable a user to easily obtain a description of a display element displayed on an electronic device.
  • FIG. 1 is a diagram illustrating a terminal device according to an embodiment.
  • FIG. 2 is a diagram illustrating an appearance of the sphygmomanometer according to the embodiment.
  • FIG. 3 is a block diagram illustrating a hardware configuration of the terminal device according to the embodiment.
  • FIG. 4 is a block diagram illustrating a software configuration of the terminal device according to the embodiment.
  • FIG. 5 is a diagram illustrating a shooting screen displayed on the terminal device according to the embodiment.
  • FIG. 6 is a diagram illustrating a selection screen displayed on the terminal device according to the embodiment.
  • FIG. 7 is a diagram exemplifying an explanation screen displayed on the terminal device according to the embodiment.
  • FIG. 8 is a flowchart illustrating an information processing method executed by the terminal device according to the embodiment.
  • FIG. 9 is a diagram illustrating a selection screen displayed on the terminal device according to the embodiment.
  • FIG. 1 illustrates a terminal device 10 according to an embodiment.
  • the terminal device 10 is typically a mobile device equipped with a camera 11 and a touch screen 12.
  • the terminal device 10 can be, for example, a smartphone, a tablet PC (Personal Computer), a PDA (Personal Digital Assistance), a mobile phone, or the like.
  • the terminal device 10 provides an instruction service for electronic devices.
  • the handling explanation service is a service for presenting a description of a display element (also referred to as an item) displayed on a display screen (a screen of a display device) of an electronic device to a user.
  • the display element refers to information included in the display content displayed on the display screen of the electronic device, and has a meaning alone.
  • the sphygmomanometer 20 which is an example of an electronic device includes a measured value of a systolic blood pressure (systolic blood pressure), a measured value of a diastolic blood pressure (diastolic blood pressure), a date, a time, a pictogram (hereinafter simply referred to as “pict”).
  • Display elements such as an error code and an error message can be displayed.
  • the pictogram expresses information with pictograms.
  • the error code is a code assigned to the type (content) of an error that can occur in the sphygmomanometer 20.
  • the user may not know what the pictogram displayed on the display screen 21 of the sphygmomanometer 20 means, and may want to know the meaning of the pictogram.
  • the user can use the camera 11 of the terminal device 10 to photograph the sphygmomanometer 20 and thereby obtain a description of the pictogram.
  • the terminal device 10 includes an information processing unit 13 in addition to the camera 11 and the touch screen 12.
  • the camera 11 captures an image of an object to generate a captured image.
  • the target is an electronic device equipped with a display device.
  • the electronic device is a personal or home health device, but is not limited thereto.
  • the health device include a blood pressure monitor, an electrocardiograph, a weight scale, a body composition meter, a pedometer, a sleep meter, and other measuring devices for measuring indicators relating to the human body, and percutaneous peripheral nerve electrical stimulation (TENS). It includes a treatment device for performing treatment on the human body, such as a massager.
  • the electronic device may be a telephone, an audio device, a remote control of an air conditioner, or the like. Further, the electronic device may be used in a hospital or a factory.
  • the target is a home-use blood pressure monitor 20.
  • the camera 11 corresponds to the “imaging device” of the present invention.
  • the touch screen 12 includes a display device 12A and a touch panel 12B provided on a screen (for example, a liquid crystal panel) of the display device 12A.
  • the display device 12A receives the image data from the information processing unit 13, and displays an image corresponding to the image data.
  • the touch panel 12 ⁇ / b> B detects a position (contact position) on the screen where an object such as a finger contacts, and outputs an operation signal indicating the contact position to the information processing unit 13.
  • the information processing unit 13 determines the content of the operation by the user based on the image data given to the display device 12A and the operation signal received from the touch panel 12B.
  • the information processing unit 13 receives a captured image from the camera 11.
  • the information processing unit 13 generates a presentation image corresponding to the display content displayed on the display screen 21 of the sphygmomanometer 20 based on the received captured image, and causes the display device 12A to display the presentation image.
  • the presentation image is, for example, an image that reproduces the display content displayed on the display screen 21 of the sphygmomanometer 20.
  • the display content includes at least one display element, and therefore, the presentation image includes at least one display element.
  • the information processing unit 13 receives an input from the user for selecting a display element included in the presentation image, and causes the display device 12A to display explanatory information on the display element. For example, when the user taps an area on the screen corresponding to one of the display elements while the presentation image is displayed on the display device 12A, the information processing unit 13 responds to the operation by the user and performs a process on the display element. The explanation information is displayed on the display device 12A.
  • the terminal device 10 captures an image of the sphygmomanometer 20 with the camera 11 and presents a presentation image corresponding to the display content displayed on the sphygmomanometer 20 to the user. And accepts an input for selecting a display element included in, and presents explanatory information on the display element to the user. For this reason, the user only has to perform a simple operation including photographing of the sphygmomanometer 20 and selection of the display element in order to obtain an explanation of the display element. Therefore, the user can easily obtain the description of the display element such as the pictogram displayed on the sphygmomanometer 20.
  • FIG. 2 illustrates an external view of a sphygmomanometer 200 as an electronic device.
  • the sphygmomanometer 200 shown in FIG. 2 is an oscillometric sphygmomanometer, and is a stationary sphygmomanometer in which the main body 201 and a cuff (arm band) wound around the upper arm of the user are separate bodies.
  • the cuff and the air tube connecting the main body 201 and the cuff are not shown.
  • the sphygmomanometer 200 may be a general sphygmomanometer, a detailed description of the sphygmomanometer 200 will be omitted.
  • brand information 202 indicating the brand (manufacturer) of the sphygmomanometer 200 and model information 203 indicating the model of the sphygmomanometer 200 are printed.
  • the main body 201 includes a plurality of push buttons 211 to 216 as input devices.
  • Button 211 is a button for starting blood pressure measurement. When the button 211 is pressed, the power of the sphygmomanometer 200 is turned on, and the sphygmomanometer 200 starts measuring the blood pressure. When the button 211 is pressed during blood pressure measurement, the sphygmomanometer 200 stops (interrupts) blood pressure measurement.
  • the button 212 is a button for setting a clock.
  • the button 213 is a button for browsing a record (history). Buttons 215 and 216 are used to set the clock, select a record to be viewed, and the like.
  • the button 214 is a button for browsing the average values of the systolic blood pressure, the diastolic blood pressure, and the pulse rate.
  • the average value is, for example, the average of the measurement values obtained in the last week.
  • button 214 is pressed, the average value of the measurements performed in the morning is displayed.
  • button 214 is pressed again, the average value for the measurements performed in the evening is displayed.
  • the main body 201 further includes a display device 220 and lamps 231 and 232.
  • the display device 220 can display a plurality of display elements such as a date, a time, a systolic blood pressure value, a diastolic blood pressure value, a pulse rate, a blood pressure level display, a body movement mark, a cuff mark, a measurement completion display, and an error code. Body motion marks and cuff marks are examples of pictograms.
  • the display device 220 is a segment type liquid crystal display device. For this reason, the area (position) where each display element is displayed is determined.
  • FIG. 2 shows sphygmomanometer 200 immediately after the blood pressure measurement is completed, and some display elements are not displayed on the screen of display device 220.
  • the screen of the display device 220 includes a plurality of areas including the areas 221 to 229.
  • the date is displayed in area 221 and the time is displayed in area 222.
  • the measurement completion display is displayed in the area 223.
  • the systolic blood pressure value is displayed in area 224
  • the diastolic blood pressure value is displayed in area 225
  • the pulse rate is displayed in area 226.
  • the blood pressure level display is displayed in area 227.
  • the blood pressure value level display expresses the state of blood pressure in 17 levels.
  • the body movement mark is displayed in area 228.
  • the body movement mark indicates that the body has moved during the measurement. If it is not detected that the body has moved during the measurement, the body movement mark does not light.
  • the cuff mark is displayed in area 229.
  • the cuff mark indicates whether or not the cuff is wound with an appropriate strength.
  • the cuff mark shown in FIG. 2 indicates that the cuff is wound with an appropriate strength.
  • An error code may be displayed in the area 224 and / or the area 226.
  • a plurality of error codes corresponding to the type of error that has occurred in the sphygmomanometer 200 are prepared. For example, the error code “E1” indicates that the cuff is not correctly connected to the main body 201.
  • the error code “E2” indicates that the measurement has failed because the arm or body has moved during the measurement.
  • the error code “Er” indicates that the main body 201 has failed.
  • the lamp 231 is turned on when the cuff is properly wound.
  • the lamp 232 is turned on when the cuff is improperly wound.
  • the sphygmomanometer 200 is not limited to the configuration shown in FIG.
  • the display device 220 may be a dot matrix type display device.
  • blood pressure monitor 200 may include a wireless module such as a Bluetooth (registered trademark) module.
  • the sphygmomanometer 200 may be a wearable sphygmomanometer.
  • the terminal device 100 includes a control unit 101, a storage unit 105, a display device 106, an input device 107, a communication interface 108, a camera 109, a speaker 110, a microphone 111, and a battery 112.
  • the control unit 101 includes a CPU (Central Processing Unit) 102, a RAM (Random Access Memory) 103, a ROM (Read Only Memory) 104, and controls each component.
  • the storage unit 105 is, for example, an auxiliary storage device such as a hard disk drive (HDD) or a semiconductor memory (for example, a flash memory), and stores a program executed by the control unit 101 and setting data necessary for executing the program.
  • the storage medium included in the storage unit 105 stores information such as a program stored in an electronic, magnetic, optical, mechanical, or chemical It is a medium that accumulates through the action. Note that some programs may be stored in the ROM 104.
  • the display device 106 displays information. Specifically, the display device 106 receives the image data from the control unit 101 and displays an image corresponding to the received image data.
  • the display device 106 may be, for example, a liquid crystal display device or an organic EL (Electro-Luminescence) display.
  • the organic EL display is sometimes called an OLED (Organic Light Emitting Diode) display.
  • the input device 107 accepts an operation on the terminal device 10 from a user.
  • the input device 107 includes a touch panel provided on a screen of the display device 106.
  • the touch panel detects a position (contact position) on the screen of the display device 106 with which an object such as a finger has contacted, and outputs an operation signal indicating the contact position to the control unit 101.
  • the control unit 101 determines the content of the operation performed by the user based on the image data given to the display device 106 and the operation signal received from the touch panel.
  • the touch panel may be, for example, a capacitive touch panel.
  • the input device 107 may further include a push button.
  • the communication interface 108 is an interface for communicating with an external device.
  • the communication interface 108 transmits information to an external device and receives information from the external device.
  • the communication interface 108 includes, for example, a wireless module including an antenna.
  • the communication interface 108 includes an LTE (Long Term Evolution) module and a Bluetooth module.
  • the terminal device 100 communicates with a device such as a web server via the mobile communication network using the LTE module, or directly communicates with another terminal device owned by the user using the Bluetooth module. Or you can.
  • the communication interface 108 may include a terminal such as a micro USB (Universal Serial Bus) connector.
  • the camera 109 captures an object to generate a captured image, and outputs data of the captured image to the control unit 101.
  • the camera 109 includes, for example, a charge coupled device (CCD) or a complementary metal oxide semiconductor (CMOS) sensor, and an image processing circuit that generates a captured image based on an output of the CCD or the CMOS sensor.
  • the camera 109 corresponds to the “imaging device” of the present invention. Note that at least a part of the processing performed by the image processing circuit may be performed by the control unit 101. In this case, the “imaging device” of the present invention is realized by the camera 109 and the control unit 101.
  • the speaker 110 converts the sound signal supplied from the control unit 101 into sound.
  • the microphone 111 converts sound into an electric signal.
  • the microphone 111 enables a user to perform an operation (for example, character input) on the terminal device 100 by voice.
  • the battery 112 supplies power to each component.
  • the battery 112 is, for example, a rechargeable battery.
  • control unit 101 may include a plurality of processors.
  • the terminal device 100 includes a manual information acquisition unit 151, an input unit 152, a display control unit 153, a presentation image generation unit 154, an explanation information acquisition unit 155, and a manual information storage unit 161.
  • the manual information acquisition unit 151, the input unit 152, the display control unit 153, the presentation image generation unit 154, and the explanation information acquisition unit 155 are configured such that the control unit 101 of the terminal device 100 executes a program stored in the storage unit 105. Perform the following process.
  • the control unit 101 executes the program, the control unit 101 loads the program on the RAM 103.
  • the control unit 101 controls the components by interpreting and executing the program developed in the RAM 103 by the CPU 102.
  • the manual information storage unit 161 is realized by the storage unit 105.
  • the manual information acquisition unit 151 acquires manual information on the sphygmomanometer 200 and stores the manual information in the manual information storage unit 161.
  • the manual information includes explanatory information on each display element that can be displayed by the sphygmomanometer 200, display position information indicating a position on the display screen where each display element is displayed, and image data of each display element.
  • the description information about each display element includes a description of the display element.
  • the description information may further include a URL (Uniform Resource Locator) of a Web page related to the display element.
  • the manual information acquisition unit 151 sends the manual information associated with the input model information to the communication interface 108. Obtained from a server on the Internet via
  • the input unit 152 receives a user input.
  • the user input is, for example, an instruction to execute shooting using the camera 109, an instruction to select a display element, model information, and the like.
  • the input unit 152 receives an operation signal from the touch panel, receives display content information indicating the content of the image being displayed on the display device 106 from the display control unit 153, and allows the user to perform the operation based on the operation signal and the display content information. Identify the content of the input instruction.
  • the input unit 152 provides the model information to the manual information acquisition unit 151.
  • the input unit 152 provides information indicating the display element selected by the user to the explanation information acquisition unit 155.
  • the display control unit 153 controls the display device 106.
  • the display control unit 153 causes the display device 106 to display an image.
  • the display control unit 153 includes a first display control unit 1531 that causes the display device 106 to display a selection screen including the presentation image (for example, the selection screen 600 illustrated in FIG. 6) on the display device 106, and a description screen including a description (for example, FIG. And a second display control unit 1532 for causing the display device 106 to display the explanation screen 700) shown in FIG.
  • the display control unit 153 may cause the display device 106 to display a guide indicating a range in which the display screen of the sphygmomanometer 200 should be accommodated in the imaging mode in which the camera 109 performs imaging. This range corresponds to a recognition range in which recognition is performed by a recognition unit 1541 described below.
  • the presentation image generation unit 154 receives the captured image from the camera 109, and generates a presentation image corresponding to the display content displayed on the display screen of the sphygmomanometer 200 based on the captured image.
  • the presentation image generation unit 154 includes a recognition unit 1541 and a reproduction unit 1542.
  • the recognizing unit 1541 recognizes the content displayed on the display screen of the sphygmomanometer 200 from the captured image. Specifically, the recognition unit 1541 displays on the display device 220 of the sphygmomanometer 200 based on the captured image, the display position information and the image data included in the manual information stored in the manual information storage unit 161. Recognize the displayed elements.
  • the recognizing unit 1541 defines an area where each display element is displayed on the captured image based on the display position information. Subsequently, the recognition unit 1541 performs character recognition for each of the areas where numerical values are displayed. Thereby, the recognizing unit 1541 can recognize the date, the time, the measured value, or the error code. For each region where a specific image such as a body movement mark is displayed, the recognizing unit 1541 determines whether or not a display element is displayed in that region based on comparison with image data included in the manual information. judge.
  • the recognizing unit 1541 indicates, for example, the result of character recognition for the regions 221 to 226 and whether or not display elements corresponding to each of the regions 227 to 229 are displayed (for example, whether or not a body movement mark is displayed). And a recognition result including the flag.
  • the recognition unit 1541 may perform image recognition using AI (Artificial Intelligence) technology such as a neural network.
  • AI Artificial Intelligence
  • the reproduction unit 1542 displays the display content displayed on the display device 220 of the sphygmomanometer 200 based on the recognition result output from the recognition unit 1541, the display position information included in the manual information, and the image data of each display element. Generate an image that reproduces The image generated by the reproduction unit 1542 is displayed on the display device 106 as a presentation image. Since an image similar to the display content displayed on blood pressure monitor 200 is displayed on display device 106 of terminal device 100, the user can intuitively perform an operation of selecting a display element.
  • the presentation image generation unit 154 may extract a partial image corresponding to the display content from the captured image and output this partial image as a presentation image.
  • the explanation information acquisition unit 155 acquires explanation information on the display element selected by the user. Specifically, the explanation information acquisition unit 155 extracts the explanation information on the display element selected by the user from the manual information stored in the manual information storage unit 161.
  • FIG. 5 shows an example of a guide displayed on the display device 106 in the shooting mode.
  • the display control unit 153 causes the display device 106 to display a frame 501 as a guide and an image to be captured by the camera 109.
  • FIG. 5 does not show an image to be captured by the camera 109.
  • the user photographs the sphygmomanometer 200 such that the display screen of the sphygmomanometer 200 fits within the frame 501.
  • recognition by the recognition unit 1541 can be facilitated.
  • FIG. 6 shows an example of a selection screen 600 for a user to select a display element whose meaning is to be known
  • FIG. 7 shows an example of an explanation screen 700 for presenting explanation information on a display element selected by the user. Is shown.
  • the selection screen 600 shown in FIG. 6 is displayed on the display device 106 after the user photographs the sphygmomanometer 200 with the camera 109.
  • the selection screen 600 includes a presentation image 601 and a message 602 that prompts the user to select a display element for which presentation of an explanatory note is desired. After the user taps any display element on the presentation image 601, an explanation screen 700 shown in FIG. 7 is displayed on the display device 106.
  • the explanation screen 700 includes a presentation image portion 701 including a display element selected by the user, and explanation information 702 on the display element.
  • the description information 702 includes a description 702A related to a display element and a hyperlink 702B to a Web page related to the display element.
  • the browser is activated and the web page is displayed on the browser.
  • a moving image may be embedded in the Web page.
  • the Web page related to the cuff mark includes, for example, a moving image explaining a method of attaching the cuff. Thereby, the user can obtain a more detailed description than the description about each display element generally described in an instruction manual (for example, an electronic manual).
  • the explanation screen 700 may further include a button 703 for calling an operator.
  • button 703 is initially inactive and is activated after the user taps on hyperlink 702B.
  • the control unit 101 of the terminal device 100 calls the call center for the sphygmomanometer 200.
  • the button 703 may be made inactive until a predetermined time elapses after the button 703 is pressed.
  • FIG. 8 illustrates an operation flow when the terminal device 100 provides the handling explanation service.
  • step S11 of FIG. 8 the control unit 101 of the terminal device 100 acquires a captured image from the camera 109.
  • the user activates an instruction application on the terminal device 100 in order to check the meaning of the body movement mark displayed on the display screen of the sphygmomanometer 200.
  • the terminal device 100 enters a shooting mode. The user takes an image of the sphygmomanometer 200 with the body movement mark displayed on the display screen using the camera 109, and the camera 109 outputs a captured image to the control unit 101.
  • step S12 the control unit 101 operates as the presentation image generation unit 154, and generates a presentation image corresponding to the display content displayed on the display screen of the sphygmomanometer 200 based on the acquired captured image.
  • the presentation image includes a body movement mark.
  • the control unit 101 generates, as a presentation image, an image that reproduces the display content displayed on the display screen of the sphygmomanometer 200.
  • step S13 the control unit 101 operates as the first display control unit 1531, and causes the display device 106 to display the generated presentation image.
  • the control unit 101 causes the display device 106 to display a selection screen including the presentation image (for example, the selection screen 600 illustrated in FIG. 6).
  • step S14 the control unit 101 operates as the input unit 152, and receives a user input indicating a display element selected by the user from the display elements included in the presentation image. For example, the user touches a body movement mark displayed on the display device 106.
  • the control unit 101 receives an operation signal corresponding to a touch by the user from the input device 107, and identifies that the display element selected by the user is a body movement mark based on the operation signal.
  • step S15 the control unit 101 operates as the explanation information acquisition unit 155, and acquires the explanation information on the display element selected by the user. For example, the control unit 101 extracts, from the manual information stored in the storage unit 105, explanation information associated with the body movement mark.
  • step S16 the control unit 101 operates as the second display control unit 1532, and causes the display device 106 to display the acquired explanation information.
  • the control unit 101 causes the display device 106 to display an explanation screen (eg, an explanation screen 700 shown in FIG. 7) including an explanation of the body movement mark.
  • the explanation screen may further include a hyperlink to a Web page related to the body movement mark.
  • terminal device 100 displays the explanation information on the display element displayed on sphygmomanometer 200.
  • step S ⁇ b> 11 it is assumed that the user takes an image of sphygmomanometer 200 such that the entire display screen of sphygmomanometer 200 falls within the frame of camera 109. However, sphygmomanometer 200 may be imaged so that only a part of the display screen of sphygmomanometer 200 fits within the frame.
  • the explanatory note may be synthesized by speech and output through the speaker 110.
  • the terminal device 100 described above generates a presentation image corresponding to the display content based on a captured image generated by imaging the sphygmomanometer 200 with the display content displayed on the display screen by the camera 109,
  • the presentation image is displayed on the display device 106, a user input indicating a display element selected by the user is received, explanation information including a description of the display element is obtained, and the explanation information is displayed on the display device 106.
  • the user can obtain explanatory information on the display element by performing a simple operation including photographing of the sphygmomanometer 200 and selection of the display element.
  • the user can reach the explanation information on the display element with a small number of steps. Therefore, the user can quickly and easily know the meaning of the display element displayed on the electronic device.
  • the selection of the display element is made by touching the touch panel. Therefore, it is possible to easily obtain a description of a display element, such as a pictogram, which is difficult to be expressed by a keyword.
  • the manual information acquisition unit 151 and the manual information storage unit 161 are not always necessary.
  • the terminal device 100 accesses a server that holds the manual information via the Internet every time the instruction explanation service is provided.
  • the presentation image generation unit 154 acquires display position information and image data associated with the model information from the server via the communication interface 108, and presents the display position information based on the acquired display position information, image data, and the captured image. Generate an image.
  • the explanation information acquisition unit 155 acquires explanation information about the display element indicated by the user input via the Internet in response to the input unit 152 receiving the user input.
  • the explanation information acquisition unit 155 transmits a request signal for requesting explanation information about the display element selected by the user to the server via the communication interface 108, and the server via the communication interface 108 transmits the request signal.
  • the description information may be updated at an arbitrary timing. By acquiring the explanation information every time the handling explanation service is provided, the latest explanation information can be presented to the user. Further, since the terminal device 100 does not need to hold the manual information, storage resources can be saved.
  • the manufacturer grasps what information the user has requested based on the request signal collected by the server. It is possible to That is, the manufacturer can obtain information useful for improving the product (the blood pressure monitor 200 in this example). For example, if descriptive information for a pictogram is requested by many users, the manufacturer determines that the pictogram is difficult for the user to understand and changes the design of the pictogram.
  • the request signal may include information about the user together with information specifying the display element selected by the user. Information about the user includes, for example, the gender and / or age of the user.
  • the terminal device 100 may include a type identification unit that identifies the type of the sphygmomanometer 200 from the captured image.
  • the type identification unit executes a predetermined process by causing the control unit 101 to execute a program stored in the storage unit 105.
  • model information 203 is printed near the display screen of sphygmomanometer 200, and the user operates sphygmomanometer 200 so that the display screen and model information 203 are contained in the frame of camera 109.
  • the type identification unit performs character recognition on the captured image, and thereby identifies the type of the sphygmomanometer 200.
  • an identification code for identifying a model is provided on a display screen or a housing of the sphygmomanometer 200.
  • the identification code can be, for example, a two-dimensional code.
  • the type identification unit decodes the identification code included in the captured image, and thereby identifies the type of the sphygmomanometer 200.
  • the identification code may include an instruction for launching the instruction application. In this case, when the identification code is read by the camera 109, the control unit 101 activates the instruction application and identifies the type of the sphygmomanometer 200.
  • the type identification unit identifies the type of the sphygmomanometer 200 based on the arrangement of the display elements included in the captured image. This example utilizes the fact that the arrangement of display elements differs for each model. In another example, the type identification unit identifies the type of the sphygmomanometer 200 from the appearance of the sphygmomanometer 200 included in the captured image.
  • the manual information storage unit 161 stores manual information in association with each of a plurality of models.
  • the recognition unit 1541 in the presentation image generation unit 154 reads the manual information associated with the model identified by the model identification unit from the manual information storage unit 161, and extracts a partial image corresponding to the recognition range from the captured image. Then, based on a comparison between the extracted partial image and the image data included in the read manual information, a display element displayed on the display device of the electronic device is recognized. Then, the reproduction unit 1542 in the presentation image generation unit 154 generates a presentation image based on the recognition result output from the recognition unit 1541.
  • the terminal device 100 includes the type identification unit, the user does not need to input the type information. Therefore, convenience for the user is improved.
  • the instruction service may be a function of a health management application for recording and managing blood pressure measurement results and the like.
  • a help button for executing an instruction service is provided on the user interface of the health care application. When the user taps the button, the processing described with reference to FIG. 8 is executed.
  • the operation of selecting a display element is not limited to the user tapping an area on the screen corresponding to any of the display elements as shown in FIG.
  • the presentation image 901 may be arranged at the center of the display screen, and the display element may be selected by tapping the outside of the presentation image 901.
  • the terminal device 100 presents explanation information on the body movement mark.
  • the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying constituent elements in an implementation stage without departing from the scope of the invention.
  • Various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the above embodiments. For example, some components may be deleted from all the components shown in the embodiment. Further, components of different embodiments may be appropriately combined.

Abstract

一態様に係る端末装置は、表示装置と、少なくとも１つの表示要素を含む表示内容が表示画面に表示された状態の電子機器を撮像して撮像画像を生成する撮像装置と、前記撮像画像に基づいて、前記表示内容に対応する提示画像を生成する提示画像生成部と、前記提示画像を前記表示装置に表示させる第１の表示制御部と、前記提示画像に含まれる表示要素を選択するユーザ入力を受け付ける入力部と、前記表示要素の説明文を含む説明情報を取得する説明情報取得部と、前記説明文を前記表示装置に表示させる第２の表示制御部と、を備える。

Description

端末装置、情報処理方法、及びプログラム
　本発明は、例えば、電子機器に関する説明をユーザに提供する技術に関する。
　電子機器の表示画面に不明な表示要素（例えばピクトグラム）が表示された場合のように電子機器について不明なことがある場合には、スマートフォンなどの端末装置で電子機器に関連するＷｅｂサイトにアクセスし、電子機器の電子マニュアル（操作ガイドと称されることもある）を参照するということが一般に行われている。
　上記の方法では、所望する情報（例えばピクトグラムの意味を説明する説明文）に到達するまでの手順が多い。例えば、Ｗｅｂサイトにアクセスするために検索などの操作が必要となる。さらに、所望する情報が電子マニュアル内のどこにあるかを探索する必要がある。電子マニュアルではキーワード検索を利用できることがあるが、検索を行うためにキーワードを入力する必要がある。また、ピクトグラムなどの表示要素については、ユーザは、どのようなキーワードで検索を行えばよいかわからず、キーワード検索を利用可能な電子マニュアルであったとしても、所望する情報を何ページにもわたって探索することになる。さらに、該当する電子マニュアルにたどりつくための検索を行うためには、正しい商品名又は型式といった情報が必要となる場合があるが、そのような情報が容易に得られないことも多々ある。
　例えば、特許文献１には、電子マニュアルを表示する端末装置が開示されている。この端末装置は、複数のポイントを含む車両の画像を表示し、ユーザにタップされたポイントに対応する部位の項目を示す吹き出しを画像上に重ね合わせて表示する。そして、端末装置は、ユーザが吹き出しをタップしたことに応答して、前記の項目に応じたマニュアル情報を表示する。
日本国特開２０１６－１６２１５５号公報
　特許文献１では、マニュアル情報へのアクセスは容易である。しかしながら、マニュアル情報から所望する情報を探索する必要があり、所望する情報に容易に到達することはできない。
　本発明は、上記の事情に着目してなされたものであり、ユーザが電子機器に表示されている表示要素の説明を容易に得ることを可能にする端末装置、情報処理方法、及びプログラムを提供することを目的とする。
　本発明は、上記課題を解決するために、以下の構成を採用する。
　一態様に係る端末装置は、表示装置と、少なくとも１つの表示要素を含む表示内容が表示画面に表示された状態の電子機器を撮像して撮像画像を生成する撮像装置と、前記撮像画像に基づいて、前記表示内容に対応する提示画像を生成する提示画像生成部と、前記提示画像を前記表示装置に表示させる第１の表示制御部と、前記提示画像に含まれる表示要素を選択するユーザ入力を受け付ける入力部と、前記表示要素の説明文を含む説明情報を取得する説明情報取得部と、前記説明文を前記表示装置に表示させる第２の表示制御部と、を備える。
　上記の構成によれば、ユーザが端末装置の撮像装置で電子機器を撮影すると、電子機器に表示中の表示内容に対応する提示画像が端末装置の表示装置に表示される。そして、ユーザが提示画像に含まれるいずれかの表示要素を選択すると、選択された表示要素の説明文が端末装置の表示装置に表示される。このように、ユーザは、表示要素の説明を得るためには、撮影と選択とを含む簡単な操作を行えばよい。したがって、ユーザは、電子機器に表示中の表示要素の説明を容易に得ることができる。
　一態様では、前記表示要素は、ピクトグラムであってよい。当該構成によれば、キーワードで表現することが難しいピクトグラムであっても、その説明を容易に得ることが可能になる。
　一態様では、前記提示画像生成部は、前記提示画像として、前記表示内容を再現した画像を生成してよい。当該構成によれば、電子機器に表示中の表示内容と同様の画像が端末装置の表示装置に表示されるので、ユーザは表示要素を選択する操作を直感的に行うことができるようになる。
　一態様では、前記説明情報取得部は、前記ユーザ入力に応答して、インターネット経由で前記説明情報を取得してよい。当該構成によれば、説明情報はそれを提示する直前にインターネット経由で取得される。それにより、最新の説明情報をユーザに提示することができるようになる。
　一態様では、上記の端末装置は、前記撮像画像に含まれる前記表示内容に対応する部分画像に基づいて、前記電子機器の型式を識別する型式識別部をさらに備えてもよく、前記説明情報取得部は、前記型式に関連付けられた前記説明情報を取得してよい。当該構成によれば、ユーザが型式情報を端末装置に入力する必要がなくなる。このため、ユーザにとって利便性がさらに向上する。
　一態様では、前記説明情報は、前記表示要素に関連するＷｅｂページのＵＲＬ（Uniform Resource Locator）をさらに含んでよく、前記第２の表示制御部は、前記Ｗｅｂページへのハイパーリンクを前記表示装置にさらに表示させてよい。当該構成によれば、ユーザは表示要素のより詳細な説明を容易に得ることができるようになる。
　本発明によれば、ユーザが電子機器に表示されている表示要素の説明を容易に得ることを可能にする端末装置、情報処理方法、及びプログラムを提供することができる。
図１は、一実施形態に係る端末装置を例示する図である。 図２は、一実施形態に係る血圧計の外観を示す図である。 図３は、一実施形態に係る端末装置のハードウェア構成を例示するブロック図である。 図４は、一実施形態に係る端末装置のソフトウェア構成を例示するブロック図である。 図５は、一実施形態に係る端末装置に表示される撮影画面を例示する図である。 図６は、一実施形態に係る端末装置に表示される選択画面を例示する図である。 図７は、一実施形態に係る端末装置に表示される説明画面を例示する図である。 図８は、一実施形態に係る端末装置によって実行される情報処理方法を例示するフローチャートである。 図９は、一実施形態に係る端末装置に表示される選択画面を例示する図である。
　以下、図面を参照しながら本発明の実施形態を説明する。
　［適用例］
　図１を参照して、本発明が適用される場面の一例について説明する。図１は、一実施形態に係る端末装置１０を例示する。端末装置１０は、典型的には、カメラ１１及びタッチスクリーン１２を搭載したモバイルデバイスである。端末装置１０は、例えば、スマートフォン、タブレットＰＣ（Personal Computer）、ＰＤＡ（Personal Digital Assistance）、携帯電話機などであり得る。
　端末装置１０は、電子機器に関する取扱説明サービスを提供する。取扱説明サービスは、電子機器の表示画面（表示装置の画面）に表示される表示要素（項目と称されることもある）の説明文をユーザに提示するサービスである。ここで、表示要素とは、電子機器の表示画面に表示される表示内容に含まれる情報を指し、それ単体で意味を成すものである。例えば、電子機器の一例である血圧計２０は、最高血圧（収縮期血圧）の測定値、最低血圧（拡張期血圧）の測定値、日付、時刻、ピクトグラム（単に「ピクト」と称されることもある）、エラーコード、エラーメッセージなどの表示要素を表示することが可能である。ピクトグラムは、情報を絵記号で表現したものである。エラーコードは、血圧計２０に発生し得るエラーの種類（内容）に割り当てられたコードである。例えば、ユーザは、血圧計２０の表示画面２１に表示されているピクトグラムが何を意味するかわからないことがあり、そのピクトグラムの意味を知りたいと望むことがある。その場合、ユーザは、端末装置１０のカメラ１１を使用して血圧計２０を撮影し、それにより、そのピクトグラムの説明文を得ることができる。
　端末装置１０は、カメラ１１及びタッチスクリーン１２に加えて、情報処理部１３を備える。
　カメラ１１は、対象物を撮像して撮像画像を生成する。対象物は、表示装置を搭載した電子機器である。電子機器は、個人又は家庭向けの健康機器であるが、これに限定されない。健康機器の例には、血圧計、心電計、体重計、体組成計、歩数計、睡眠計など、人間の身体に関する指標を測定する測定機器や、経皮的末梢神経電気刺激（ＴＥＮＳ）マッサージ器など、人間の身体に対する治療を行う治療機器が含まれる。また、電子機器は、電話機、オーディオ機器、エアコンディショナのリモコンなどであってもよい。また、電子機器は、病院又は工場で使用されるものであってもよい。図１の例では、対象物は家庭用の血圧計２０である。カメラ１１は、本発明の「撮像装置」に相当する。
　タッチスクリーン１２は、表示装置１２Ａと、表示装置１２Ａの画面（例えば液晶パネル）に設けられたタッチパネル１２Ｂと、を備える。表示装置１２Ａは、情報処理部１３から画像データを受け取り、この画像データに応じた画像を表示する。タッチパネル１２Ｂは、指などの物体が接触した画面上の位置（接触位置）を検出し、接触位置を表す操作信号を情報処理部１３に出力する。情報処理部１３は、表示装置１２Ａへ与えた画像データとタッチパネル１２Ｂから受け取った操作信号とに基づいて、ユーザによる操作の内容を判断する。
　情報処理部１３は、カメラ１１から撮像画像を受け取る。情報処理部１３は、受け取った撮像画像に基づいて、血圧計２０の表示画面２１に表示された表示内容に対応する提示画像を生成し、提示画像を表示装置１２Ａに表示させる。提示画像は、例えば、血圧計２０の表示画面２１に表示された表示内容を再現した画像である。表示内容は少なくとも１つの表示要素を含み、したがって、提示画像は少なくとも１つの表示要素を含む。
　情報処理部１３は、ユーザから提示画像に含まれる表示要素を選択する入力を受け付け、この表示要素に関する説明情報を表示装置１２Ａに表示させる。例えば、提示画像が表示装置１２Ａに表示された状態でユーザがいずれかの表示要素に対応する画面上の領域をタップすると、情報処理部１３は、ユーザによる操作に応答して、その表示要素に関する説明情報を表示装置１２Ａに表示させる。
　以上のように、本実施形態に係る端末装置１０は、カメラ１１で血圧計２０を撮像し、血圧計２０に表示されている表示内容に対応する提示画像をユーザに提示し、ユーザから提示画像に含まれる表示要素を選択する入力を受け付け、この表示要素に関する説明情報をユーザに提示する。このため、ユーザは、表示要素の説明を得るためには、血圧計２０の撮影と表示要素の選択とを含む簡単な操作を行えばよい。したがって、ユーザは、血圧計２０に表示されているピクトグラムなどの表示要素の説明を容易に得ることができる。
　次に、一実施形態に係る端末装置について詳細に説明する。
　［構成例］
　＜血圧計＞
　まず、本実施形態に係る端末装置を説明するために参照する血圧計について説明する。
　図２は、電子機器としての血圧計２００の外観を例示する。図２に示される血圧計２００は、オシロメトリック式の血圧計であって、本体２０１とユーザの上腕に巻き付けられるカフ（腕帯）とが別体である据置型の血圧計である。なお、図２では、簡略化のために、カフ及び本体２０１とカフとを接続するエアチューブについては図示が省略されている。また、血圧計２００は一般的な血圧計であってよいので、血圧計２００についての詳細な説明は省略する。
　本体２０１には、血圧計２００のブランド（製造業者）を表すブランド情報２０２及び血圧計２００の型式を表す型式情報２０３が印字されている。
　本体２０１は、入力装置として複数のプッシュ式ボタン２１１～２１６を備える。ボタン２１１は、血圧測定を開始するためのボタンである。ボタン２１１が押下されると、血圧計２００の電源が入り、血圧計２００は血圧測定を開始する。血圧測定中にボタン２１１が押下されると、血圧計２００は血圧測定を停止（中断）する。ボタン２１２は、時計を合わせるためのボタンである。ボタン２１３は、記録（履歴）を閲覧するためのボタンである。ボタン２１５、２１６は、時計合わせ、閲覧する記録の選択などに使用される。ボタン２１４は、最高血圧、最低血圧、及び脈拍数の平均値を閲覧するためのボタンである。平均値は、例えば、直近１週間に得られた測定値の平均である。ボタン２１４が押下されると、朝に実施した測定に関する平均値が表示される。ボタン２１４がもう一度押下されると、晩に実施した測定に関する平均値が表示される。
　本体２０１は、表示装置２２０及びランプ２３１、２３２をさらに備える。表示装置２２０は、日付、時刻、最高血圧値、最低血圧値、脈拍数、血圧値レベル表示、体動マーク、カフマーク、測定完了表示、エラーコードなどの複数の表示要素を表示することができる。体動マーク及びカフマークはピクトグラムの例である。図２の例では、表示装置２２０は、セグメント方式の液晶表示装置である。このため、各表示要素が表示される領域（位置）は決まっている。図２では、血圧測定が完了した直後における血圧計２００が示されており、いくつかの表示要素は表示装置２２０の画面に表示されていない。
　表示装置２２０の画面は、領域２２１～２２９を含む複数の領域を備える。日付は領域２２１に表示され、時刻は領域２２２に表示される。測定完了表示は領域２２３に表示される。最高血圧値は領域２２４に表示され、最低血圧値は領域２２５に表示され、脈拍数は領域２２６に表示される。血圧値レベル表示は領域２２７に表示される。血圧値レベル表示は、血圧の状態を１７段階で表現する。体動マークは領域２２８に表示される。体動マークは、測定中に体が動いたことを表す。測定中に体が動いたことが検出されなかった場合には、体動マークは点灯しない。カフマークは領域２２９に表示される。カフマークは、カフが適切な強さで巻かれているか否かを示す。図２に示されるカフマークは、カフが適切な強さで巻かれていることを表す。
　領域２２４及び／又は領域２２６には、エラーコードが表示されることもある。血圧計２００に生じたエラーの種類に応じた複数のエラーコードが用意される。例えば、エラーコード「Ｅ１」は、カフが本体２０１に正しく接続されていないことを表す。エラーコード「Ｅ２」は、測定中に腕又は体が動いたために測定が失敗したことを表す。エラーコード「Ｅｒ」は、本体２０１が故障していることを表す。
　ランプ２３１は、カフの巻き方が適切であるときに点灯する。ランプ２３２は、カフの巻き方が不適切であるときに点灯する。
　血圧計２００は、図２に示した構成に限定されない。例えば、表示装置２２０は、ドットマトリクス方式の表示装置であってもよい。また、血圧計２００が通信機能を有しないことを想定するが、血圧計２００は、Bluetooth（登録商標）モジュールなどの無線モジュールを備えていてもよい。血圧計２００は、ウェアラブル型の血圧計であってもよい。
　＜端末装置＞
　（ハードウェア構成）
　図３を参照して、一実施形態に係る端末装置１００のハードウェア構成の一例を説明する。図３に示される例では、端末装置１００は、制御部１０１、記憶部１０５、表示装置１０６、入力装置１０７、通信インタフェース１０８、カメラ１０９、スピーカ１１０、マイクロフォン１１１、及び電池１１２を備える。
　制御部１０１は、ＣＰＵ（Central Processing Unit）１０２、ＲＡＭ（Random Access Memory）１０３、ＲＯＭ（Read Only Memory）１０４などを含み、各構成要素を制御する。記憶部１０５は、例えば、ハードディスクドライブ（ＨＤＤ）、半導体メモリ（例えばフラッシュメモリ）などの補助記憶装置であり、制御部１０１で実行されるプログラムや、プログラムを実行するために必要な設定データなどを非一時的に記憶する。記憶部１０５が備える記憶媒体は、コンピュータその他装置、機械等が記録されたプログラムなどの情報を読み取り可能なように、当該プログラムなどの情報を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する媒体である。なお、いくつかのプログラムは、ＲＯＭ１０４に記憶されていてよい。
　表示装置１０６は、情報を表示する。具体的には、表示装置１０６は、制御部１０１から画像データを受け取り、受け取った画像データに応じた画像を表示する。表示装置１０６は、例えば、液晶表示装置又は有機ＥＬ（Electro-Luminescence）ディスプレイであり得る。有機ＥＬディスプレイは、ＯＬＥＤ（Organic Light Emitting Diode）ディスプレイと呼ばれることもある。
　入力装置１０７は、ユーザからの端末装置１０に対する操作を受け付ける。典型的には、入力装置１０７は、表示装置１０６の画面に設けられたタッチパネルを備える。タッチパネルは、指などの物体が接触した表示装置１０６の画面上の位置（接触位置）を検出し、接触位置を表す操作信号を制御部１０１に出力する。制御部１０１は、表示装置１０６に与えた画像データとタッチパネルから受け取った操作信号とに基づいて、ユーザが行った操作の内容を判断する。タッチパネルは、例えば、静電容量式のタッチパネルであり得る。入力装置１０７は、プッシュ式ボタンをさらに備えてもよい。
　通信インタフェース１０８は、外部装置と通信するためのインタフェースである。通信インタフェース１０８は、外部装置に情報を送信したり、外部装置から情報を受信したりする。通信インタフェース１０８は、例えば、アンテナを含む無線モジュールを備える。一例では、通信インタフェース１０８は、ＬＴＥ（登録商標）（Long Term Evolution）モジュール及びBluetoothモジュールを備える。これにより、端末装置１００は、ＬＴＥモジュールを用いて、移動体通信網を介してＷｅｂサーバなどの装置と通信したり、Bluetoothモジュールを用いて、ユーザが所有する他の端末装置と直接に通信したりすることができる。なお、通信インタフェース１０８は、マイクロＵＳＢ（Universal Serial Bus）コネクタなどの端子を備えていてもよい。
　カメラ１０９は、対象物を撮像して撮像画像を生成し、撮像画像のデータを制御部１０１に出力する。カメラ１０９は、例えば、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサと、ＣＣＤ又はＣＭＯＳセンサの出力に基づいて撮像画像を生成する画像処理回路と、を含む。カメラ１０９は本発明の「撮像装置」に相当する。なお、画像処理回路が行う処理の少なくとも一部は制御部１０１によって行われてもよい。この場合、本発明の「撮像装置」はカメラ１０９及び制御部１０１によって実現される。
　スピーカ１１０は、制御部１０１から供給される音響信号を音に変換する。マイクロフォン１１１は、音を電気信号に変換する。マイクロフォン１１１は、ユーザが音声で端末装置１００に対する操作（例えば文字入力）を行うことを可能にする。
　電池１１２は、各構成要素に電力を供給する。電池１１２は、例えば、充電可能なバッテリである。
　なお、端末装置１００の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換及び追加が可能である。例えば、制御部１０１は、複数のプロセッサを含んでいてもよい。
　（ソフトウェア構成）
　図４を参照して、端末装置１００のソフトウェア構成の一例を説明する。図４に示される例では、端末装置１００は、マニュアル情報取得部１５１、入力部１５２、表示制御部１５３、提示画像生成部１５４、説明情報取得部１５５、及びマニュアル情報記憶部１６１を備える。マニュアル情報取得部１５１、入力部１５２、表示制御部１５３、提示画像生成部１５４、及び説明情報取得部１５５は、端末装置１００の制御部１０１が記憶部１０５に記憶されたプログラムを実行することによって下記の処理を実行する。制御部１０１がプログラムを実行する際は、制御部１０１は、プログラムをＲＡＭ１０３に展開する。そして、制御部１０１は、ＲＡＭ１０３に展開されたプログラムをＣＰＵ１０２により解釈及び実行して、各構成要素を制御する。マニュアル情報記憶部１６１は記憶部１０５により実現される。
　マニュアル情報取得部１５１は、血圧計２００に関するマニュアル情報を取得し、このマニュアル情報をマニュアル情報記憶部１６１に記憶させる。マニュアル情報は、血圧計２００が表示可能な各表示要素に関する説明情報と、各表示要素が表示される表示画面上の位置を示す表示位置情報と、各表示要素の画像データと、を含む。各表示要素に関する説明情報は、その表示要素の説明文を含む。説明情報は、その表示要素に関連するＷｅｂページのＵＲＬ（Uniform Resource Locator）をさらに含んでよい。例えば、ユーザが入力装置１０７を用いて血圧計２００の型式情報（例えばHEM-XXXXT）を入力すると、マニュアル情報取得部１５１は、入力された型式情報に関連付けられたマニュアル情報を、通信インタフェース１０８を介してインターネット上のサーバから取得する。
　入力部１５２は、ユーザ入力を受け付ける。ユーザ入力は、例えば、カメラ１０９を用いた撮影を実行する指示、表示要素を選択する指示、型式情報などである。例えば、入力部１５２は、タッチパネルから操作信号を受け取り、表示制御部１５３から、表示装置１０６に表示中の画像の内容を表す表示内容情報を受け取り、操作信号及び表示内容情報に基づいて、ユーザが入力した指示の内容を特定する。入力部１５２は型式情報をマニュアル情報取得部１５１に与える。入力部１５２はユーザによって選択された表示要素を示す情報を説明情報取得部１５５に与える。
　表示制御部１５３は、表示装置１０６を制御する。表示制御部１５３は、画像を表示装置１０６に表示させる。例えば、表示制御部１５３は、提示画像を含む選択画面（例えば図６に示される選択画面６００）を表示装置１０６に表示させる第１の表示制御部１５３１と、説明文を含む説明画面（例えば図７に示される説明画面７００）を表示装置１０６に表示させる第２の表示制御部１５３２と、を備える。表示制御部１５３は、カメラ１０９による撮影を行う撮影モードにおいて、血圧計２００の表示画面を収めるべき範囲を示すガイドを表示装置１０６に表示させてよい。この範囲は、後述する認識部１５４１による認識が行われることになる認識範囲に対応する。
　提示画像生成部１５４は、カメラ１０９から撮像画像を受け取り、この撮像画像に基づいて、血圧計２００の表示画面に表示された表示内容に対応する提示画像を生成する。本実施形態では、提示画像生成部１５４は、認識部１５４１及び再現部１５４２を備える。認識部１５４１は、撮像画像から血圧計２００の表示画面に表示された内容を認識する。具体的には、認識部１５４１は、撮像画像と、マニュアル情報記憶部１６１に記憶されているマニュアル情報に含まれる表示位置情報及び画像データと、に基づいて、血圧計２００の表示装置２２０に表示されている表示要素を認識する。例えば、認識部１５４１は、表示位置情報に基づいて、表示要素それぞれが表示される領域を撮像画像上に画定する。続いて、数値が表示される領域の各々については、認識部１５４１は、文字認識を行う。それにより、認識部１５４１は、日付、時刻、測定値、又はエラーコードを認識することができる。体動マークなどの特定の画像が表示される領域の各々については、認識部１５４１は、マニュアル情報に含まれる画像データとの比較に基づいて、その領域に表示要素が表示されているか否かを判定する。認識部１５４１は、例えば、領域２２１～２２６に関する文字認識結果と、領域２２７～２２９の各々に対応する表示要素が表示されているか否か（例えば体動マークが表示されているか否か）を表すフラグと、を含む認識結果を出力する。なお、認識部１５４１は、ニューラルネットワークなどのＡＩ（Artificial Intelligence）技術を使用した画像認識を行うものであってもよい。
　再現部１５４２は、認識部１５４１から出力された認識結果と、マニュアル情報に含まれる表示位置情報及び各表示要素の画像データと、に基づいて、血圧計２００の表示装置２２０に表示された表示内容を再現した画像を生成する。再現部１５４２によって生成された画像は提示画像として表示装置１０６に表示される。血圧計２００に表示中の表示内容と同様の画像が端末装置１００の表示装置１０６に表示されるので、ユーザは表示要素を選択する操作を直感的に行うことができる。
　なお、提示画像生成部１５４は、撮像画像から表示内容に対応する部分画像を抽出し、この部分画像を提示画像として出力してもよい。
　説明情報取得部１５５は、ユーザによって選択された表示要素に関する説明情報を取得する。具体的には、説明情報取得部１５５は、マニュアル情報記憶部１６１に記憶されているマニュアル情報から、ユーザによって選択された表示要素に関する説明情報を抽出する。
　図５は、撮影モードで表示装置１０６に表示されるガイドの一例を示す。図５に示されるように、表示制御部１５３は、ガイドとしてのフレーム５０１と、カメラ１０９で撮影されることになる画像と、を表示装置１０６に表示させる。図５では、カメラ１０９で撮影されることになる画像は示されていない。ユーザは、血圧計２００の表示画面がフレーム５０１内に収まるようにして血圧計２００を撮影する。このようにフレーム５０１を表示装置１０６に表示することにより、認識部１５４１による認識を容易にすることができる。
　図６は、ユーザがその意味を知りたい表示要素を選択するための選択画面６００の一例を示し、図７は、ユーザによって選択された表示要素に関する説明情報を提示するための説明画面７００の一例を示す。図６に示される選択画面６００は、ユーザがカメラ１０９で血圧計２００を撮影した後に表示装置１０６に表示される。選択画面６００は、提示画像６０１と、説明文の提示を望む表示要素を選択することをユーザに促すメッセージ６０２と、を含む。ユーザが提示画像６０１上のいずれかの表示要素をタップした後に図７に示される説明画面７００が表示装置１０６に表示される。
　説明画面７００は、ユーザによって選択された表示要素を含む提示画像の部分７０１と、その表示要素に関する説明情報７０２と、を含む。図７の例では、説明情報７０２は、表示要素に関する説明文７０２Ａと、その表示要素に関連するＷｅｂページへのハイパーリンク７０２Ｂと、を含む。ユーザがハイパーリンク７０２Ｂをタップしたことに応答して、ブラウザが起動し、Ｗｅｂページがブラウザに表示される。Ｗｅｂページには、動画が埋め込まれていてもよい。カフマークに関連するＷｅｂページは、例えば、カフの装着方法を説明する動画を含む。これにより、ユーザは、取扱説明書（例えば電子マニュアル）に一般に記載される各表示要素に関する説明よりも詳細な説明を得ることができる。
　説明画面７００は、オペレータを呼び出すためのボタン７０３をさらに含んでいてもよい。典型的には、ボタン７０３は、最初は非アクティブであって、ユーザがハイパーリンク７０２Ｂをタップした後にアクティブ化される。ユーザがアクティブな状態のボタン７０３をタップしたことに応答して、端末装置１００の制御部１０１は、血圧計２００に関するコールセンターに発呼する。ユーザが何度も連続してオペレータを呼び出すことを防止するために、ボタン７０３は、一旦ボタン７０３が押されてから所定時間が経過するまでは非アクティブにされてもよい。
　なお、本実施形態では、端末装置１００の機能がいずれも汎用のプロセッサによって実現される例について説明している。しかしながら、機能の一部又は全部が１又は複数の専用のプロセッサにより実現されてもよい。
　［動作例］
　図８は、端末装置１００が取扱説明サービスを提供する際の動作フローを例示する。
　図８のステップＳ１１では、端末装置１００の制御部１０１は、カメラ１０９から撮像画像を取得する。例えば、ユーザは、血圧計２００の表示画面に表示された体動マークの意味を調べるために、端末装置１００上で取扱説明アプリケーションを起動させる。取扱説明アプリケーションが起動すると、端末装置１００は撮影モードになる。ユーザはカメラ１０９で体動マークが表示画面に表示された状態の血圧計２００を撮影し、カメラ１０９は撮像画像を制御部１０１に出力する。
　ステップＳ１２では、制御部１０１は、提示画像生成部１５４として動作し、取得した撮像画像に基づいて、血圧計２００の表示画面に表示された表示内容に対応する提示画像を生成する。提示画像は、体動マークを含む。例えば、制御部１０１は、血圧計２００の表示画面に表示された表示内容を再現した画像を、提示画像として生成する。
　ステップＳ１３では、制御部１０１は、第１の表示制御部１５３１として動作し、生成した提示画像を表示装置１０６に表示させる。例えば、制御部１０１は、提示画像を含む選択画面（例えば図６に示される選択画面６００）を表示装置１０６に表示させる。
　ステップＳ１４では、制御部１０１は、入力部１５２として動作し、提示画像に含まれる表示要素の中からユーザによって選択された表示要素を示すユーザ入力を受け取る。例えば、ユーザは、表示装置１０６に表示された体動マークをタッチする。制御部１０１は、入力装置１０７から、ユーザによるタッチに応じた操作信号を受け取り、この操作信号に基づいて、ユーザによって選択された表示要素が体動マークであることを識別する。
　ステップＳ１５では、制御部１０１は、説明情報取得部１５５として動作し、ユーザによって選択された表示要素に関する説明情報を取得する。例えば、制御部１０１は、記憶部１０５に記憶されているマニュアル情報から、体動マークに関連付けられた説明情報を抽出する。
　ステップＳ１６では、制御部１０１は、第２の表示制御部１５３２として動作し、取得した説明情報を表示装置１０６に表示させる。例えば、制御部１０１は、体動マークの説明文を含む説明画面（例えば図７に示される説明画面７００）を表示装置１０６に表示させる。説明画面は、体動マークに関連するＷｅｂページへのハイパーリンクをさらに含んでいてもよい。
　このようにして、端末装置１００は、血圧計２００に表示された表示要素に関する説明情報を表示する。
　なお、ステップＳ１１では、血圧計２００の表示画面全体がカメラ１０９のフレーム内に収まるようにユーザが血圧計２００を撮影することを想定する。しかしながら、血圧計２００の表示画面の一部のみがフレーム内に収まるように血圧計２００が撮影されてもよい。また、ステップＳ１６において、説明文は、音声合成され、スピーカ１１０を通じて出力されてもよい。
　［効果］
　上述した端末装置１００は、表示内容が表示画面に表示された状態の血圧計２００をカメラ１０９で撮像することで生成された撮像画像に基づいて、表示内容に対応する提示画像を生成し、その提示画像を表示装置１０６に表示し、ユーザが選択した表示要素を示すユーザ入力を受け付け、その表示要素の説明文を含む説明情報を取得し、その説明情報を表示装置１０６に表示する。これにより、ユーザは、血圧計２００の撮影及び表示要素の選択を含む簡単な操作を行うことにより、表示要素に関する説明情報を得ることができる。言い換えると、ユーザは、少ない手順で表示要素に関する説明情報に到達することができる。したがって、ユーザは、電子機器に表示されている表示要素の意味を素早くかつ容易に知ることができる。
　表示要素の選択は、タッチパネルにタッチすることでなされる。このため、ピクトグラムのようなキーワードで表現することが困難な表示要素についても、簡単にその説明を得ることが可能である。
　［変形例］
　なお、この発明は上記実施形態に限定されるものではない。
　例えば、マニュアル情報取得部１５１及びマニュアル情報記憶部１６１は必ずしも必要というわけではない。マニュアル情報取得部１５１及びマニュアル情報記憶部１６１が設けられない実施形態では、端末装置１００は、取扱説明サービスを提供するたびに、インターネット経由でマニュアル情報を保持するサーバにアクセスする。例えば、提示画像生成部１５４は、通信インタフェース１０８を介してサーバから、型式情報に関連付けられた表示位置情報及び画像データを取得し、取得した表示位置情報及び画像データと撮像画像とに基づいて提示画像を生成する。説明情報取得部１５５は、入力部１５２がユーザ入力を受け取ったことに応答して、インターネット経由で、ユーザ入力により示される表示要素に関する説明情報を取得する。例えば、説明情報取得部１５５は、通信インタフェース１０８を介してサーバに、ユーザによって選択された表示要素に関する説明情報を要求する要求信号を送信し、通信インタフェース１０８を介してサーバから、その表示要素に関する説明情報を受信する。説明情報は任意のタイミングで更新されることがある。取扱説明サービスを提供するたびに説明情報を取得することにより、最新の説明情報をユーザに提示することができるようになる。さらに、端末装置１００がマニュアル情報を保持しておく必要がないので、記憶資源を節約することができる。
　また、端末装置１００がその都度インターネット経由で説明情報を取得するようにした場合には、製造業者は、サーバによって収集された要求信号に基づいて、ユーザがどのような情報を要求したかを把握することが可能である。すなわち、製造業者は、製品（この例では血圧計２００）の改善に役立つ情報を得ることができる。例えば、あるピクトグラムの説明情報が多数のユーザによって要求された場合には、製造業者は、そのピクトグラムがユーザにとって理解しづらいものであると判断し、そのピクトグラムのデザインを変更する。要求信号は、ユーザによって選択された表示要素を特定する情報とともに、ユーザに関する情報を含んでよい。ユーザに関する情報は、例えば、ユーザの性別及び／又は年齢を含む。
　上述した実施形態では、ユーザが血圧計２００の型式情報を入力している。一実施形態では、端末装置１００は、撮像画像から血圧計２００の型式を識別する型式識別部を備えていてもよい。型式識別部は、制御部１０１が記憶部１０５に記憶されたプログラムを実行することによって所定の処理を実行する。
　一例では、図２に示されるように血圧計２００の表示画面の近傍に型式情報２０３が印字されており、ユーザは表示画面と型式情報２０３とをカメラ１０９のフレーム内に収めるように血圧計２００を撮影する。型式識別部は、撮像画像に対して文字認識を行い、それにより血圧計２００の型式を識別する。
　他の例では、血圧計２００の表示画面又はハウジングに、型式を識別するための識別符号が設けられる。識別符号は、例えば２次元コードであり得る。型式識別部は、撮像画像に含まれる識別符号を解読し、それにより血圧計２００の型式を識別する。識別符号は、取扱説明アプリケーションを起動するための命令を含んでいてもよい。この場合、識別符号がカメラ１０９により読み込まれると、制御部１０１は、取扱説明アプリケーションを起動するとともに、血圧計２００の型式を識別する。
　さらなる例では、型式識別部は、撮像画像に含まれる表示要素の配置に基づいて、血圧計２００の型式を識別する。この例は、表示要素の配置が型式ごとに異なることを利用するものである。また他の例では、型式識別部は、撮像画像に含まれる血圧計２００の外観から血圧計２００の型式を識別する。
　マニュアル情報記憶部１６１では、複数の型式それぞれに関連付けてマニュアル情報が記憶されている。提示画像生成部１５４内の認識部１５４１は、マニュアル情報記憶部１６１から、上述した型式識別部により識別された型式に関連付けられたマニュアル情報を読み出し、撮像画像から認識範囲に対応する部分画像を抽出し、抽出した部分画像と読み出したマニュアル情報に含まれる画像データとの比較に基づいて、電子機器の表示装置に表示されている表示要素を認識する。そして、提示画像生成部１５４内の再現部１５４２は、認識部１５４１から出力される認識結果に基づいて提示画像を生成する。
　端末装置１００が型式識別部を備える場合には、ユーザが型式情報を入力する必要がなくなる。このため、ユーザにとって利便性が向上する。
　取扱説明サービスは、血圧測定結果などを記録し管理するための健康管理アプリケーションの一機能であってもよい。例えば、健康管理アプリケーションのユーザインタフェースに、取扱説明サービスを実行するためのヘルプボタンが設けられる。ユーザがそのボタンをタップすると、図８を参照して説明した処理が実行される。
　表示要素を選択する操作は、図６に示されるようなユーザがいずれかの表示要素に対応する画面上の領域をタップすることに限定されない。例えば、図９に示されるように、提示画像９０１が表示画面の中央に配置され、提示画像９０１の外側をタップすることで表示要素を選択するようにしてもよい。例えば、ユーザが体動マークに接続するマーク９０２をタップすると、端末装置１００は、体動マークに関する説明情報を提示する。
　要するに本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
　［付記］
　上記各実施形態の一部または全部は、特許請求の範囲のほか以下の付記に示すように記載することも可能であるが、これに限られない。
　表示装置（１０６）と、
　少なくとも１つの表示要素を含む表示内容が表示画面に表示された状態の電子機器を撮像して撮像画像を生成する撮像装置（１０９）と、
　前記撮像画像に基づいて、前記表示内容に対応する提示画像を生成する提示画像生成部（１５４）と、
　前記提示画像を前記表示装置に表示させる第１の表示制御部（１５３１）と、
　前記提示画像に含まれる表示要素を選択するユーザ入力を受け付ける入力部（１５２）と、
　前記表示要素の説明文を含む説明情報を取得する説明情報取得部（１５５）と、
　前記説明文を前記表示装置に表示させる第２の表示制御部（１５３２）と、
　を備える端末装置（１００）。
　１０…端末装置
　１１…カメラ
　１２…タッチスクリーン
　１２Ａ…表示装置
　１２Ｂ…タッチパネル
　１３…情報処理部
　２０…血圧計
　２１…表示画面
　１００…端末装置
　１０１…制御部
　１０２…ＣＰＵ
　１０３…ＲＡＭ
　１０４…ＲＯＭ
　１０５…記憶部
　１０６…表示装置
　１０７…入力装置
　１０８…通信インタフェース
　１０９…カメラ
　１１０…スピーカ
　１１１…マイクロフォン
　１１２…電池
　１５１…マニュアル情報取得部
　１５２…入力部
　１５３…表示制御部
　１５３１…第１の表示制御部
　１５３２…第２の表示制御部
　１５４…提示画像生成部
　１５４１…認識部
　１５４２…再現部
　１５５…説明情報取得部
　１６１…マニュアル情報記憶部
　２００…血圧計
　２０１…本体
　２０２…ブランド情報
　２０３…型式情報
　２１１～２１６…ボタン
　２２０…表示装置

Claims (8)

  1. 　表示装置と、
    　少なくとも１つの表示要素を含む表示内容が表示画面に表示された状態の電子機器を撮像して撮像画像を生成する撮像装置と、
    　前記撮像画像に基づいて、前記表示内容に対応する提示画像を生成する提示画像生成部と、
    　前記提示画像を前記表示装置に表示させる第１の表示制御部と、
    　前記提示画像に含まれる表示要素を選択するユーザ入力を受け付ける入力部と、
    　前記表示要素の説明文を含む説明情報を取得する説明情報取得部と、
    　前記説明文を前記表示装置に表示させる第２の表示制御部と、
    　を備える端末装置。
  2. 　前記表示要素は、ピクトグラムである、請求項１に記載の端末装置。
  3. 　前記提示画像生成部は、前記提示画像として、前記表示内容を再現した画像を生成する、請求項１又は２に記載の端末装置。
  4. 　前記説明情報取得部は、前記ユーザ入力に応答して、インターネット経由で前記説明情報を取得する、請求項１乃至３のいずれか１項に記載の端末装置。
  5. 　前記撮像画像に含まれる前記表示内容に対応する部分画像に基づいて、前記電子機器の型式を識別する型式識別部をさらに備え、
    　前記説明情報取得部は、前記型式に関連付けられた前記説明情報を取得する、請求項１乃至４のいずれか１項に記載の端末装置。
  6. 　前記説明情報は、前記表示要素に関連するＷｅｂページのＵＲＬ（Uniform Resource Locator）をさらに含み、前記第２の表示制御部は、前記Ｗｅｂページへのハイパーリンクを前記表示装置にさらに表示させる、請求項１乃至５のいずれか１項に記載の端末装置。
  7. 　表示装置と、少なくとも１つの表示要素を含む表示内容が表示画面に表示された状態の電子機器を撮像して撮像画像を生成する撮像装置と、を備える端末装置によって実行される情報処理方法であって、
    　前記撮像画像に基づいて、前記表示内容に対応する提示画像を生成する過程と、
    　前記提示画像を前記表示装置に表示させる過程と、
    　前記提示画像に含まれる表示要素を選択するユーザ入力を受け付ける過程と、
    　前記表示要素の説明文を含む説明情報を取得する過程と、
    　前記説明文を前記表示装置に表示させる過程と、
    　を備える情報処理方法。
  8. 　請求項１乃至６のいずれか１項に記載の端末装置が備える各部としてコンピュータを機能させるためのプログラム。
PCT/JP2019/026075 2018-07-20 2019-07-01 端末装置、情報処理方法、及びプログラム WO2020017296A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE112019003050.7T DE112019003050T5 (de) 2018-07-20 2019-07-01 Endgerätvorrichtung, Informationsverarbeitungsverfahren und Programm
CN201980040535.2A CN112334887A (zh) 2018-07-20 2019-07-01 终端装置、信息处理方法和程序
US17/147,031 US20210133453A1 (en) 2018-07-20 2021-01-12 Terminal device, information processing method, and non-transitory storage medium recording program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018136985A JP7147317B2 (ja) 2018-07-20 2018-07-20 端末装置、情報処理方法、及びプログラム
JP2018-136985 2018-07-20

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/147,031 Continuation US20210133453A1 (en) 2018-07-20 2021-01-12 Terminal device, information processing method, and non-transitory storage medium recording program

Publications (1)

Publication Number Publication Date
WO2020017296A1 true WO2020017296A1 (ja) 2020-01-23

Family

ID=69163540

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/026075 WO2020017296A1 (ja) 2018-07-20 2019-07-01 端末装置、情報処理方法、及びプログラム

Country Status (5)

Country Link
US (1) US20210133453A1 (ja)
JP (1) JP7147317B2 (ja)
CN (1) CN112334887A (ja)
DE (1) DE112019003050T5 (ja)
WO (1) WO2020017296A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022153986A (ja) * 2021-03-30 2022-10-13 セイコーエプソン株式会社 表示制御方法及び表示システム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015106862A (ja) * 2013-12-02 2015-06-08 日本放送協会 コンテンツ情報取得装置およびそのプログラム、ならびに、コンテンツ配信装置
JP2018109802A (ja) * 2016-12-28 2018-07-12 オムロンヘルスケア株式会社 端末装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4911903B2 (ja) * 2005-02-21 2012-04-04 インターナショナル・ビジネス・マシーンズ・コーポレーション 表示装置、表示システム、表示方法、及びプログラム
KR101657565B1 (ko) * 2010-04-21 2016-09-19 엘지전자 주식회사 증강 원격제어장치 및 그 동작 방법
JP5983053B2 (ja) 2012-06-01 2016-08-31 コニカミノルタ株式会社 ガイダンス表示システム、ガイダンス表示装置、ガイダンス表示方法、およびガイダンス表示プログラム
JP2014064115A (ja) * 2012-09-20 2014-04-10 Sharp Corp 端末装置、遠隔操作システム及び遠隔操作方法
JP6048093B2 (ja) * 2012-11-28 2016-12-21 ブラザー工業株式会社 制御装置およびコンピュータプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015106862A (ja) * 2013-12-02 2015-06-08 日本放送協会 コンテンツ情報取得装置およびそのプログラム、ならびに、コンテンツ配信装置
JP2018109802A (ja) * 2016-12-28 2018-07-12 オムロンヘルスケア株式会社 端末装置

Also Published As

Publication number Publication date
JP7147317B2 (ja) 2022-10-05
DE112019003050T5 (de) 2021-04-08
JP2020013487A (ja) 2020-01-23
CN112334887A (zh) 2021-02-05
US20210133453A1 (en) 2021-05-06

Similar Documents

Publication Publication Date Title
EP3131027B1 (en) Method for detecting activity information of user and electronic device thereof
KR102399049B1 (ko) 전자 장치 및 전자 장치의 이미지 처리 방법
KR102386398B1 (ko) 촬영 모드에 따라 이미지에 대한 표시자를 다르게 제공하는 방법 및 그 전자 장치
US10525304B2 (en) Method for detecting information of exercise and electronic device thereof
KR102561587B1 (ko) 전자 장치 및 그의 동작 방법
KR102495523B1 (ko) 음성 명령을 처리하는 방법 및 이를 제공하는 전자 장치
CN108463832B (zh) 电子设备和基于硬件诊断结果的过程执行方法
US20180253586A1 (en) Fingerprint information processing method and electronic device supporting the same
KR102360453B1 (ko) 카메라 설정 방법 및 장치
KR102393683B1 (ko) 센서를 포함하는 전자 장치 및 그의 동작 방법
US10165978B2 (en) Method for measuring human body information, and electronic device thereof
KR102279674B1 (ko) 전자 장치의 멀티미디어 데이터 처리 방법 및 그 전자 장치
KR102560635B1 (ko) 컨텐트 인식 장치 및 그 동작 방법
KR102356889B1 (ko) 음성 인식을 수행하는 방법 및 이를 사용하는 전자 장치
CN106293907A (zh) 用于应用程序的操作方法以及支持其的电子设备
WO2020135334A1 (zh) 电视应用主题切换方法、电视、可读存储介质及设备
CN111710381A (zh) 远程诊断方法、装置、设备及计算机存储介质
US20160286132A1 (en) Electronic device and method for photographing
KR20190141348A (ko) 전자 장치에서 생체 정보 제공 방법 및 장치
KR20170027589A (ko) 기능 제어 방법 및 그 방법을 처리하는 전자 장치
KR20180089699A (ko) 건강 콘텐트 제공 방법 및 이를 수행하는 전자 장치
WO2020017296A1 (ja) 端末装置、情報処理方法、及びプログラム
US20210133454A1 (en) Terminal device, information processing method, and non-transitory storage medium recording program
KR20180082043A (ko) 전자 장치 및 그의 음성을 이용한 통신 연결 방법
US20210012130A1 (en) Method and device for measuring biometric information in electronic device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19837551

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 19837551

Country of ref document: EP

Kind code of ref document: A1