WO2020017300A1 - 端末装置、情報処理方法、及びプログラム - Google Patents

端末装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
WO2020017300A1
WO2020017300A1 PCT/JP2019/026086 JP2019026086W WO2020017300A1 WO 2020017300 A1 WO2020017300 A1 WO 2020017300A1 JP 2019026086 W JP2019026086 W JP 2019026086W WO 2020017300 A1 WO2020017300 A1 WO 2020017300A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
information
explanation
terminal device
display element
Prior art date
Application number
PCT/JP2019/026086
Other languages
English (en)
French (fr)
Inventor
勇規 坂本
中西　義人
山内　隆伸
Original Assignee
オムロンヘルスケア株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オムロンヘルスケア株式会社 filed Critical オムロンヘルスケア株式会社
Priority to DE112019002928.2T priority Critical patent/DE112019002928T5/de
Priority to CN201980040431.1A priority patent/CN112352226A/zh
Publication of WO2020017300A1 publication Critical patent/WO2020017300A1/ja
Priority to US17/148,899 priority patent/US20210133454A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
    • G06F3/04895—Guidance during keyboard input operation, e.g. prompting
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/40—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management of medical equipment or devices, e.g. scheduling maintenance or upgrades
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/02—Recognising information on displays, dials, clocks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS

Definitions

  • the present invention relates to, for example, a technique for providing a user with an explanation about an electronic device.
  • a terminal device such as a smartphone accesses a website related to the electronic device. It is a common practice to refer to an electronic manual (sometimes referred to as an operation guide) of an electronic device.
  • an electronic manual sometimes referred to as an operation guide
  • the desired information for example, a description explaining the meaning of the pictogram
  • an operation such as a search is required to access a Web site.
  • electronic manuals can use keyword search, it is necessary to enter a keyword to perform a search.
  • display elements such as pictograms
  • the user does not know what keyword to search for, and even if the electronic manual can be used for keyword search, the user can find desired information on many pages.
  • information such as a correct product name or model may be required, but such information is often not easily obtained.
  • Patent Document 1 discloses a terminal device for displaying an electronic manual.
  • the terminal device displays an image of a vehicle including a plurality of points, and displays a balloon indicating an item of a portion corresponding to the point tapped by the user, superimposed on the image. Then, in response to the user tapping the balloon, the terminal device displays manual information corresponding to the item.
  • Patent Document 1 access to manual information is easy. However, it is necessary to search for desired information from the manual information, and the desired information cannot be easily reached.
  • the present invention has been made in view of the above circumstances, and provides a terminal device, an information processing method, and a program that enable a user to easily obtain a description of a display element displayed on an electronic device.
  • the purpose is to do.
  • the present invention employs the following configuration in order to solve the above problems.
  • a terminal device includes an imaging device configured to capture an electronic device in a state where display content including a display element is displayed on a display screen to generate a captured image, and the captured image included in the display content.
  • the display device includes a recognition unit that recognizes a display element, an explanation information acquisition unit that acquires explanation information including an explanation of the display element, and a presentation unit that presents the explanation included in the explanation information.
  • the display element included in the display content being displayed on the electronic device is recognized, and the description of the recognized display element is presented to the user. Is done.
  • the user may perform a simple operation including photographing of the electronic device. Therefore, the user can easily obtain the description of the display element being displayed on the electronic device.
  • the display element may be a pictogram. According to this configuration, it is possible to easily obtain a description of a pictogram that is difficult to express with a keyword.
  • the terminal device further includes a display device, and a display control unit that causes the display device to display a guide indicating a range in which the recognition unit performs recognition in an operation mode in which the imaging device performs imaging. May be provided. According to this configuration, it is possible for the user to select a display element whose meaning is desired to be known at the time of shooting. Therefore, convenience for the user is improved.
  • the explanation information acquisition unit may acquire the explanation information from an external storage device via the Internet.
  • the explanation information is obtained via the Internet immediately before presenting the explanation information. Thereby, the latest explanation information can be presented to the user.
  • the description information may further include a URL (Uniform Resource Locator) of a Web page related to the display element, and the presentation unit may further present a hyperlink to the Web page.
  • URL Uniform Resource Locator
  • the present invention it is possible to provide a terminal device, an information processing method, and a program that enable a user to easily obtain a description of a display element displayed on an electronic device.
  • FIG. 1 is a diagram illustrating a terminal device according to an embodiment.
  • FIG. 2 is a diagram illustrating an appearance of the sphygmomanometer according to the embodiment.
  • FIG. 3 is a block diagram illustrating a hardware configuration of the terminal device according to the embodiment.
  • FIG. 4 is a block diagram illustrating a software configuration of the terminal device according to the embodiment.
  • FIG. 5 is a diagram illustrating a shooting screen displayed on the terminal device according to the embodiment.
  • FIG. 6 is a diagram exemplifying an explanation screen displayed on the terminal device according to the embodiment.
  • FIG. 7 is a flowchart illustrating an information processing method executed by the terminal device according to the embodiment.
  • FIG. 1 illustrates a terminal device 10 according to an embodiment.
  • the terminal device 10 is typically a mobile device equipped with a camera 11 and a touch screen 12.
  • the terminal device 10 can be, for example, a smartphone, a tablet PC (Personal Computer), a PDA (Personal Digital Assistance), a mobile phone, or the like.
  • the terminal device 10 provides an instruction service for electronic devices.
  • the handling explanation service is a service for presenting a description of a display element (also referred to as an item) displayed on a display screen (a screen of a display device) of an electronic device to a user.
  • the display element refers to information included in the display content displayed on the display screen of the electronic device, and has a meaning alone.
  • the sphygmomanometer 20 which is an example of an electronic device includes a measured value of a systolic blood pressure (systolic blood pressure), a measured value of a diastolic blood pressure (diastolic blood pressure), a date, a time, a pictogram (hereinafter simply referred to as “pict”).
  • Display elements such as an error code and an error message can be displayed.
  • the pictogram expresses information with pictograms.
  • the error code is a code assigned to the type (content) of an error that can occur in the sphygmomanometer 20.
  • the user may not know what the pictogram displayed on the display screen 21 of the sphygmomanometer 20 means, and may want to know the meaning of the pictogram.
  • the user can use the camera 11 of the terminal device 10 to photograph the sphygmomanometer 20 and thereby obtain a description of the pictogram.
  • the terminal device 10 includes an information processing unit 13 in addition to the camera 11 and the touch screen 12.
  • the camera 11 captures an image of an object to generate a captured image.
  • the target is an electronic device equipped with a display device.
  • the electronic device is a personal or home health device, but is not limited thereto.
  • the health device include a blood pressure monitor, an electrocardiograph, a weight scale, a body composition meter, a pedometer, a sleep meter, and other measuring devices for measuring indicators relating to the human body, and percutaneous peripheral nerve electrical stimulation (TENS). It includes a treatment device for performing treatment on the human body, such as a massager.
  • the electronic device may be a telephone, an audio device, a remote control of an air conditioner, or the like.
  • the electronic device may be used in an office, a factory, a hospital, or the like.
  • the target is a home-use blood pressure monitor 20.
  • the camera 11 corresponds to the “imaging device” of the present invention.
  • the touch screen 12 includes a display device 12A and a touch panel 12B provided on a screen (for example, a liquid crystal panel) of the display device 12A.
  • the display device 12A receives the image data from the information processing unit 13, and displays an image corresponding to the image data.
  • the touch panel 12 ⁇ / b> B detects a position (contact position) on the screen where an object such as a finger contacts, and outputs an operation signal indicating the contact position to the information processing unit 13.
  • the information processing unit 13 determines the content of the operation by the user based on the image data given to the display device 12A and the operation signal received from the touch panel 12B.
  • the information processing unit 13 receives a captured image from the camera 11.
  • the information processing unit 13 recognizes a display element displayed on the display screen 21 of the sphygmomanometer 20 based on the received captured image, and causes the display device 12A to display explanatory information on the recognized display element.
  • the terminal device 10 captures the image of the sphygmomanometer 20 with the camera 11, recognizes the display elements displayed on the sphygmomanometer 20, and presents the user with explanatory information on the recognized display elements. I do. Therefore, the user only has to perform a simple operation including photographing of the sphygmomanometer 20 in order to obtain an explanation of the display element. Therefore, the user can easily obtain the description of the display element such as the pictogram displayed on the sphygmomanometer 20.
  • FIG. 2 illustrates an external view of a sphygmomanometer 200 as an electronic device.
  • the sphygmomanometer 200 shown in FIG. 2 is an oscillometric sphygmomanometer, and is a stationary sphygmomanometer in which the main body 201 and a cuff (arm band) wound around the upper arm of the user are separate bodies.
  • the cuff and the air tube connecting the main body 201 and the cuff are not shown.
  • the sphygmomanometer 200 may be a general sphygmomanometer, a detailed description of the sphygmomanometer 200 will be omitted.
  • brand information 202 indicating the brand (manufacturer) of the sphygmomanometer 200 and model information 203 indicating the model of the sphygmomanometer 200 are printed.
  • the main body 201 includes a plurality of push buttons 211 to 216 as input devices.
  • Button 211 is a button for starting blood pressure measurement. When the button 211 is pressed, the power of the sphygmomanometer 200 is turned on, and the sphygmomanometer 200 starts measuring the blood pressure. When the button 211 is pressed during blood pressure measurement, the sphygmomanometer 200 stops (interrupts) blood pressure measurement.
  • the button 212 is a button for setting a clock.
  • the button 213 is a button for browsing a record (history). Buttons 215 and 216 are used to set the clock, select a record to be viewed, and the like.
  • the button 214 is a button for browsing the average values of the systolic blood pressure, the diastolic blood pressure, and the pulse rate.
  • the average value is, for example, the average of the measurement values obtained in the last week.
  • button 214 is pressed, the average value of the measurements performed in the morning is displayed.
  • button 214 is pressed again, the average value for the measurements performed in the evening is displayed.
  • the main body 201 further includes a display device 220 and lamps 231 and 232.
  • the display device 220 can display a plurality of display elements such as a date, a time, a systolic blood pressure value, a diastolic blood pressure value, a pulse rate, a blood pressure level display, a body movement mark, a cuff mark, a measurement completion display, and an error code. Body motion marks and cuff marks are examples of pictograms.
  • the display device 220 is a segment type liquid crystal display device. For this reason, the area (position) where each display element is displayed is determined.
  • FIG. 2 shows sphygmomanometer 200 immediately after the blood pressure measurement is completed, and some display elements are not displayed on the screen of display device 220.
  • the screen of the display device 220 includes a plurality of areas including the areas 221 to 229.
  • the date is displayed in area 221 and the time is displayed in area 222.
  • the measurement completion display is displayed in the area 223.
  • the systolic blood pressure value is displayed in area 224
  • the diastolic blood pressure value is displayed in area 225
  • the pulse rate is displayed in area 226.
  • the blood pressure level display is displayed in area 227.
  • the blood pressure value level display expresses the state of blood pressure in 17 levels.
  • the body movement mark is displayed in area 228.
  • the body movement mark indicates that the body has moved during the measurement. If it is not detected that the body has moved during the measurement, the body movement mark does not light.
  • the cuff mark is displayed in area 229.
  • the cuff mark indicates whether or not the cuff is wound with an appropriate strength.
  • the cuff mark shown in FIG. 2 indicates that the cuff is wound with an appropriate strength.
  • An error code may be displayed in the area 224 and / or the area 226.
  • a plurality of error codes corresponding to the type of error that has occurred in the sphygmomanometer 200 are prepared. For example, the error code “E1” indicates that the cuff is not correctly connected to the main body 201.
  • the error code “E2” indicates that the measurement has failed because the arm or body has moved during the measurement.
  • the error code “Er” indicates that the main body 201 has failed.
  • the lamp 231 is turned on when the cuff is properly wound.
  • the lamp 232 is turned on when the cuff is improperly wound.
  • the sphygmomanometer 200 is not limited to the configuration shown in FIG.
  • the display device 220 may be a dot matrix type display device.
  • blood pressure monitor 200 may include a wireless module such as a Bluetooth (registered trademark) module.
  • the sphygmomanometer 200 may be a wearable sphygmomanometer.
  • the terminal device 100 includes a control unit 101, a storage unit 105, a display device 106, an input device 107, a communication interface 108, a camera 109, a speaker 110, a microphone 111, and a battery 112.
  • the control unit 101 includes a CPU (Central Processing Unit) 102, a RAM (Random Access Memory) 103, a ROM (Read Only Memory) 104, and controls each component.
  • the storage unit 105 is, for example, an auxiliary storage device such as a hard disk drive (HDD) or a semiconductor memory (for example, a flash memory), and stores a program executed by the control unit 101 and setting data necessary for executing the program.
  • the storage medium included in the storage unit 105 stores information such as a program stored in an electronic, magnetic, optical, mechanical, or chemical It is a medium that accumulates through the action. Note that some programs may be stored in the ROM 104.
  • the display device 106 displays information. Specifically, the display device 106 receives the image data from the control unit 101 and displays an image corresponding to the received image data.
  • the display device 106 may be, for example, a liquid crystal display device or an organic EL (Electro-Luminescence) display.
  • the organic EL display is sometimes called an OLED (Organic Light Emitting Diode) display.
  • the input device 107 accepts an operation on the terminal device 10 from a user.
  • the input device 107 includes a touch panel provided on a screen of the display device 106.
  • the touch panel detects a position (contact position) on the screen of the display device 106 with which an object such as a finger has contacted, and outputs an operation signal indicating the contact position to the control unit 101.
  • the control unit 101 determines the content of the operation performed by the user based on the image data given to the display device 106 and the operation signal received from the touch panel.
  • the touch panel may be, for example, a capacitive touch panel.
  • the input device 107 may further include a push button.
  • the communication interface 108 is an interface for communicating with an external device.
  • the communication interface 108 transmits information to an external device and receives information from the external device.
  • the communication interface 108 includes, for example, a wireless module including an antenna.
  • the communication interface 108 includes an LTE (Long Term Evolution) module and a Bluetooth module.
  • the terminal device 100 communicates with a device such as a web server via the mobile communication network using the LTE module, or directly communicates with another terminal device owned by the user using the Bluetooth module. Or you can.
  • the communication interface 108 may include a terminal such as a micro USB (Universal Serial Bus) connector.
  • the camera 109 captures an object to generate a captured image, and outputs data of the captured image to the control unit 101.
  • the camera 109 includes, for example, a charge coupled device (CCD) or a complementary metal oxide semiconductor (CMOS) sensor, and an image processing circuit that generates a captured image based on an output of the CCD or the CMOS sensor.
  • the camera 109 corresponds to the “imaging device” of the present invention. Note that at least a part of the processing performed by the image processing circuit may be performed by the control unit 101. In this case, the “imaging device” of the present invention is realized by the camera 109 and the control unit 101.
  • the speaker 110 converts the sound signal supplied from the control unit 101 into sound.
  • the microphone 111 converts sound into an electric signal.
  • the microphone 111 enables a user to perform an operation (for example, character input) on the terminal device 100 by voice.
  • the battery 112 supplies power to each component.
  • the battery 112 is, for example, a rechargeable battery.
  • control unit 101 may include a plurality of processors.
  • the terminal device 100 includes a manual information acquisition unit 151, an input unit 152, a display control unit 153, a recognition unit 154, an explanation information acquisition unit 155, a presentation unit 156, and a manual information storage unit 161.
  • the manual information acquisition unit 151, the input unit 152, the display control unit 153, the recognition unit 154, the explanation information acquisition unit 155, and the presentation unit 156 execute the program stored in the storage unit 105 by the control unit 101 of the terminal device 100.
  • the control unit 101 loads the program on the RAM 103.
  • the control unit 101 controls the components by interpreting and executing the program developed in the RAM 103 by the CPU 102.
  • the manual information storage unit 161 is realized by the storage unit 105.
  • the manual information acquisition unit 151 acquires manual information on the sphygmomanometer 200 and stores the manual information in the manual information storage unit 161.
  • the manual information includes explanatory information on each display element that can be displayed by the sphygmomanometer 200 and image data of each display element.
  • the description information about each display element includes a description of the display element.
  • the description information may further include a URL (Uniform Resource Locator) of a Web page related to the display element.
  • the manual information acquisition unit 151 sends the manual information associated with the input model information to the communication interface 108. Obtained from a server on the Internet via
  • the input unit 152 receives a user input.
  • the user input is, for example, an instruction to execute shooting in a shooting mode in which shooting is performed by the camera 109, model information, and the like.
  • the model information is provided to the manual information acquisition unit 151.
  • the input unit 152 receives an operation signal from the touch panel, receives display content information indicating the content of the image being displayed on the display device 106 from the display control unit 153, and allows the user to perform the operation based on the operation signal and the display content information. Identify the content of the input instruction.
  • the display control unit 153 controls the display device 106.
  • the display control unit 153 causes the display device 106 to display an image.
  • the display control unit 153 causes the display device 106 to display an explanation screen including explanation information (eg, the explanation screen 600 shown in FIG. 6).
  • the display control unit 153 may cause the display device 106 to display a guide indicating a range in which a display element whose meaning is to be known is to be contained in the shooting mode. This range corresponds to a recognition range in which recognition is performed by the recognition unit 154 described later.
  • the recognition unit 154 receives a captured image from the camera 109.
  • the recognition unit 154 recognizes a display element displayed on the display screen of the sphygmomanometer 200 based on the imaging screen. Specifically, the recognition unit 154 extracts a partial image corresponding to the recognition range from the captured image, and based on a comparison between the partial image and image data included in the manual information stored in the manual information storage unit 161.
  • the display element displayed on the display device 220 of the sphygmomanometer 200 is recognized.
  • the display element to be recognized in the present embodiment is, for example, a pictogram, an error code, and / or an error message.
  • the recognition unit 154 determines whether or not the extracted partial image includes the display element by performing matching between the extracted partial image and the image data of each display element.
  • the recognizing unit 154 outputs a recognition result including information indicating the recognized display element.
  • the recognition unit 154 may perform image recognition using AI (Artificial Intelligence) technology such as a neural network.
  • AI Artificial Intelligence
  • the explanation information acquisition unit 155 acquires explanation information on the display element recognized by the recognition unit 154. Specifically, the explanation information acquisition unit 155 extracts the explanation information on the display element recognized by the recognition unit 154 from the manual information stored in the manual information storage unit 161.
  • the presenting unit 156 presents the explanation information acquired by the explanation information acquiring unit 155 to the user.
  • the presentation unit 156 is the display control unit 153, and causes the display device 106 to display the description of the display element.
  • the presentation unit 156 may cause the display device 106 to display a hyperlink to a Web page related to the display element.
  • the presentation unit 156 may synthesize the description with speech and output the description via the speaker 110. The description may be displayed on the display device 106 and output as audio through the speaker 110.
  • FIG. 5 shows an example of a guide displayed on the display device 106 in the shooting mode.
  • the display control unit 153 causes the display device 106 to display a frame 501 as a guide and an image to be captured by the camera 109.
  • FIG. 5 does not show an image to be captured by the camera 109.
  • the user takes an image of the sphygmomanometer 200 such that a specific display element (for example, a body movement mark) falls within the frame 501. As a result, explanation information on a specific display element is presented.
  • a specific display element for example, a body movement mark
  • the display control section 153 may display a pointer for the user to select a display element whose meaning is desired. Thereby, even when two display elements are close to each other, it is easy to select one display element. Further, the display control unit 153 may not display a guide in the shooting mode. In this case, the user selectively captures a specific display element using the zoom function of the camera 109, for example.
  • the explanation screen 600 includes an image 601 of the display element recognized by the recognition unit 154 and explanation information 602 on the display element.
  • the description information 602 includes a description 602A related to a display element and a hyperlink 602B to a Web page related to the display element.
  • the browser is activated, and the Web page is displayed on the browser.
  • a moving image may be embedded in the Web page.
  • the Web page related to the cuff mark includes, for example, a moving image explaining a method of attaching the cuff. Thereby, the user can obtain a more detailed description than the description about each display element generally described in an instruction manual (for example, an electronic manual).
  • the explanation screen 600 may further include a button 603 for calling an operator.
  • button 603 is initially inactive and is activated after the user taps on hyperlink 602B.
  • control unit 101 of terminal device 100 calls the call center for sphygmomanometer 200.
  • the button 603 is inactive or hidden until a predetermined time (for example, one hour) elapses after the button 603 is pressed. Is also good.
  • FIG. 7 illustrates an operation flow when the terminal device 100 provides the handling explanation service.
  • step S11 of FIG. 7 the control unit 101 of the terminal device 100 acquires a captured image from the camera 109.
  • the user activates an instruction application on the terminal device 100 in order to check the meaning of the body movement mark displayed on the display screen of the sphygmomanometer 200.
  • the terminal device 100 enters a shooting mode.
  • the user takes an image of the sphygmomanometer 200 with the body movement mark displayed on the display screen using the camera 109, and the camera 109 outputs a captured image to the control unit 101.
  • the user photographs the sphygmomanometer 200 with the camera 109 such that the body motion mark falls within the frame 501 corresponding to the recognition range.
  • step S12 the control unit 101 operates as the recognizing unit 154, and recognizes a display element displayed on the display screen of the sphygmomanometer 200 based on the acquired captured image. For example, the control unit 101 extracts a partial image corresponding to the recognition range from the captured image, performs matching between the partial image and a plurality of pieces of image data, and specifies a display element corresponding to the image data having the highest similarity. For example, the control unit 101 recognizes that a body movement mark is displayed on the display screen of the sphygmomanometer 200.
  • step S13 the control unit 101 operates as the explanation information acquisition unit 155, and acquires the explanation information about the recognized display element. For example, the control unit 101 extracts, from the manual information stored in the storage unit 105, explanation information associated with the body movement mark.
  • step S14 the control unit 101 operates as the presentation unit 156, and causes the display device 106 to display the explanatory text included in the acquired explanatory information.
  • the control unit 101 causes the display device 106 to display an explanation screen (eg, the explanation screen 600 shown in FIG. 6) including the explanation of the body movement mark.
  • the explanation screen may further include a hyperlink to a Web page related to the body movement mark.
  • terminal device 100 displays the explanation information on the display element displayed on sphygmomanometer 200.
  • the processing procedure illustrated in FIG. 7 is merely an example, and the processing procedure or the content of each processing can be appropriately changed.
  • the control unit 101 may cause the display device 106 to display explanatory information on each of the display elements.
  • the control unit 101 may cause the display device 106 to display a list of a plurality of recognized display elements in order to allow the user to select one display element. In this case, the explanation information on the display element selected by the user is displayed on the display device 106.
  • the terminal device 100 described above recognizes and recognizes a display element included in the display content based on a captured image generated by imaging the sphygmomanometer 200 with the display content displayed on the display screen by the camera 109.
  • the explanation information including the explanation of the displayed display element is obtained, and the explanation information is displayed on the display device 106.
  • the user can obtain the explanation information on the display element by performing a simple operation including the photographing of the sphygmomanometer 200.
  • the user can reach the explanation information on the display element with a small number of steps. Therefore, the user can quickly and easily know the meaning of the display element displayed on the electronic device.
  • the manual information acquisition unit 151 and the manual information storage unit 161 are not always necessary.
  • the terminal device 100 accesses a server that holds the manual information via the Internet every time the instruction explanation service is provided.
  • the recognition unit 154 acquires image data associated with the model information from the server via the communication interface 108, and performs recognition based on the acquired image data and the captured image.
  • the explanation information acquisition unit 155 acquires explanation information about the display element recognized by the recognition unit 154 via the Internet.
  • the explanation information acquisition unit 155 transmits a request signal for requesting explanation information on the display element recognized by the recognizing unit 154 to the server via the communication interface 108, and the display signal is displayed from the server via the communication interface 108.
  • the description information may be updated at an arbitrary timing.
  • the manufacturer grasps what information the user has requested based on the request signal collected by the server. It is possible to That is, the manufacturer can obtain information useful for improving the product (the blood pressure monitor 200 in this example).
  • the request signal may include information about the user together with information specifying the display element selected by the user. Information about the user includes, for example, the gender and / or age of the user.
  • the terminal device 100 may include a type identification unit that identifies the type of the sphygmomanometer 200 from the captured image.
  • the type identification unit executes a predetermined process by causing the control unit 101 to execute a program stored in the storage unit 105.
  • the type information 203 is printed near the display screen of the sphygmomanometer 200 so that any of the display elements fits in a guide (for example, the frame 501 shown in FIG. 5).
  • the model information 203 is included in the captured image.
  • the type identification unit performs character recognition on the captured image, and thereby identifies the type of the sphygmomanometer 200.
  • an identification code for identifying the model may be provided near the display screen of the sphygmomanometer 200.
  • the identification code can be, for example, a two-dimensional code.
  • the type identification unit decodes the identification code included in the captured image, and thereby identifies the type of the sphygmomanometer 200.
  • the identification code may include an instruction for launching the instruction application. In this case, when the identification code is read by the camera 109, the control unit 101 activates the instruction application and identifies the type of the sphygmomanometer 200.
  • the manual information storage unit 161 stores manual information in association with each of a plurality of models.
  • the recognition unit 154 reads, from the manual information storage unit 161, manual information associated with the model identified by the type identification unit described above, extracts a partial image corresponding to the recognition range from the captured image, and Based on a comparison with the image data included in the read manual information, a display element displayed on the display device of the electronic device is recognized.
  • the explanation information acquisition unit 155 acquires, from the manual information storage unit 161, explanation information about the display element recognized by the recognition unit 154.
  • the presentation unit 156 presents the explanation information acquired by the explanation information acquisition unit 155 to the user.
  • the terminal device 100 includes the type identification unit, the user does not need to input the type information. Therefore, convenience for the user is improved.
  • the instruction service may be a function of a health management application for recording and managing blood pressure measurement results and the like.
  • a help button for executing an instruction service is provided on the user interface of the health care application. When the user taps the button, the processing described with reference to FIG. 7 is executed.
  • the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying constituent elements in an implementation stage without departing from the scope of the invention.
  • Various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the above embodiments. For example, some components may be deleted from all the components shown in the embodiment. Further, components of different embodiments may be appropriately combined.
  • An imaging device (109) configured to capture an electronic device in a state where display contents including display elements are displayed on a display screen and generate a captured image;
  • a recognition unit (154) for recognizing the display element included in the display content from the captured image;
  • An explanation information acquisition unit (155) for acquiring explanation information including an explanation of the display element;
  • a presentation unit (156) for presenting the explanation included in the explanation information;
  • a terminal device (100) comprising:

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Signal Processing (AREA)
  • Public Health (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Abstract

一態様に係る端末装置は、表示要素を含む表示内容が表示画面に表示された状態の電子機器を撮像して撮像画像を生成する撮像装置と、前記撮像画像から、前記表示内容に含まれる前記表示要素を認識する認識部と、前記表示要素の説明文を含む説明情報を取得する説明情報取得部と、前記説明情報に含まれる前記説明文を提示する提示部と、を備える。

Description

端末装置、情報処理方法、及びプログラム
　本発明は、例えば、電子機器に関する説明をユーザに提供する技術に関する。
　電子機器の表示画面に不明な表示要素（例えばピクトグラム）が表示された場合のように電子機器について不明なことがある場合には、スマートフォンなどの端末装置で電子機器に関連するＷｅｂサイトにアクセスし、電子機器の電子マニュアル（操作ガイドと称されることもある）を参照するということが一般に行われている。
　上記の方法では、所望する情報（例えばピクトグラムの意味を説明する説明文）に到達するまでの手順が多い。例えば、Ｗｅｂサイトにアクセスするために検索などの操作が必要となる。さらに、所望する情報が電子マニュアル内のどこにあるかを探索する必要がある。電子マニュアルではキーワード検索を利用できることがあるが、検索を行うためにキーワードを入力する必要がある。また、ピクトグラムなどの表示要素については、ユーザは、どのようなキーワードで検索を行えばよいかわからず、キーワード検索を利用可能な電子マニュアルであったとしても、所望する情報を何ページにもわたって探索することになる。さらに、該当する電子マニュアルにたどりつくための検索を行うためには、正しい商品名又は型式といった情報が必要となる場合があるが、そのような情報が容易に得られないことも多々ある。
　例えば、特許文献１には、電子マニュアルを表示する端末装置が開示されている。この端末装置は、複数のポイントを含む車両の画像を表示し、ユーザにタップされたポイントに対応する部位の項目を示す吹き出しを画像上に重ね合わせて表示する。そして、端末装置は、ユーザが吹き出しをタップしたことに応答して、前記の項目に応じたマニュアル情報を表示する。
日本国特開２０１６－１６２１５５号公報
　特許文献１では、マニュアル情報へのアクセスは容易である。しかしながら、マニュアル情報から所望する情報を探索する必要があり、所望する情報に容易に到達することはできない。
　本発明は、上記の事情に着目してなされたものであり、ユーザが電子機器に表示されている表示要素の説明を容易に得ることを可能にする端末装置、情報処理方法、及びプログラムを提供することを目的とする。
　本発明は、上記課題を解決するために、以下の構成を採用する。
　一態様に係る端末装置は、表示要素を含む表示内容が表示画面に表示された状態の電子機器を撮像して撮像画像を生成する撮像装置と、前記撮像画像から、前記表示内容に含まれる前記表示要素を認識する認識部と、前記表示要素の説明文を含む説明情報を取得する説明情報取得部と、前記説明情報に含まれる前記説明文を提示する提示部と、を備える。
　上記の構成によれば、ユーザが端末装置の撮像装置で電子機器を撮影すると、電子機器に表示中の表示内容に含まれる表示要素が認識され、認識された表示要素の説明文がユーザに提示される。このように、ユーザは、表示要素の説明を得るためには、電子機器の撮影を含む簡単な操作を行えばよい。したがって、ユーザは、電子機器に表示中の表示要素の説明を容易に得ることができる。
　一態様では、前記表示要素は、ピクトグラムであってよい。当該構成によれば、キーワードで表現することが難しいピクトグラムであっても、その説明を容易に得ることが可能になる。
　一態様では、上記端末装置は、表示装置と、前記撮像装置による撮像を行う動作モードにおいて、前記認識部による認識が行われる範囲を示すガイドを前記表示装置に表示させる表示制御部と、をさらに備えてよい。当該構成によれば、撮影時にユーザがその意味を知りたい表示要素を選択することが可能になる。このため、ユーザにとって利便性が向上する。
　一態様では、前記説明情報取得部は、インターネットを経由して外部記憶装置から前記説明情報を取得してよい。当該構成によれば、説明情報はそれを提示する直前にインターネット経由で取得される。それにより、最新の説明情報をユーザに提示することができるようになる。
　一態様では、前記説明情報は、前記表示要素に関連するＷｅｂページのＵＲＬ（Uniform Resource Locator）をさらに含んでよく、前記提示部は、前記Ｗｅｂページへのハイパーリンクをさらに提示してよい。当該構成によれば、ユーザは表示要素のより詳細な説明を容易に得ることができるようになる。
　本発明によれば、ユーザが電子機器に表示されている表示要素の説明を容易に得ることを可能にする端末装置、情報処理方法、及びプログラムを提供することができる。
図１は、一実施形態に係る端末装置を例示する図である。 図２は、一実施形態に係る血圧計の外観を示す図である。 図３は、一実施形態に係る端末装置のハードウェア構成を例示するブロック図である。 図４は、一実施形態に係る端末装置のソフトウェア構成を例示するブロック図である。 図５は、一実施形態に係る端末装置に表示される撮影画面を例示する図である。 図６は、一実施形態に係る端末装置に表示される説明画面を例示する図である。 図７は、一実施形態に係る端末装置によって実行される情報処理方法を例示するフローチャートである。
　以下、図面を参照しながら本発明の実施形態を説明する。
　［適用例］
　図１を参照して、本発明が適用される場面の一例について説明する。図１は、一実施形態に係る端末装置１０を例示する。端末装置１０は、典型的には、カメラ１１及びタッチスクリーン１２を搭載したモバイルデバイスである。端末装置１０は、例えば、スマートフォン、タブレットＰＣ（Personal Computer）、ＰＤＡ（Personal Digital Assistance）、携帯電話機などであり得る。
　端末装置１０は、電子機器に関する取扱説明サービスを提供する。取扱説明サービスは、電子機器の表示画面（表示装置の画面）に表示される表示要素（項目と称されることもある）の説明文をユーザに提示するサービスである。ここで、表示要素とは、電子機器の表示画面に表示される表示内容に含まれる情報を指し、それ単体で意味を成すものである。例えば、電子機器の一例である血圧計２０は、最高血圧（収縮期血圧）の測定値、最低血圧（拡張期血圧）の測定値、日付、時刻、ピクトグラム（単に「ピクト」と称されることもある）、エラーコード、エラーメッセージなどの表示要素を表示することが可能である。ピクトグラムは、情報を絵記号で表現したものである。エラーコードは、血圧計２０に発生し得るエラーの種類（内容）に割り当てられたコードである。例えば、ユーザは、血圧計２０の表示画面２１に表示されているピクトグラムが何を意味するかわからないことがあり、そのピクトグラムの意味を知りたいと望むことがある。その場合、ユーザは、端末装置１０のカメラ１１を使用して血圧計２０を撮影し、それにより、そのピクトグラムの説明文を得ることができる。
　端末装置１０は、カメラ１１及びタッチスクリーン１２に加えて、情報処理部１３を備える。
　カメラ１１は、対象物を撮像して撮像画像を生成する。対象物は、表示装置を搭載した電子機器である。電子機器は、個人又は家庭向けの健康機器であるが、これに限定されない。健康機器の例には、血圧計、心電計、体重計、体組成計、歩数計、睡眠計など、人間の身体に関する指標を測定する測定機器や、経皮的末梢神経電気刺激（ＴＥＮＳ）マッサージ器など、人間の身体に対する治療を行う治療機器が含まれる。また、電子機器は、電話機、オーディオ機器、エアコンディショナのリモコンなどであってもよい。また、電子機器は、オフィス、工場、又は病院などで使用されるものであってもよい。図１の例では、対象物は家庭用の血圧計２０である。カメラ１１は、本発明の「撮像装置」に相当する。
　タッチスクリーン１２は、表示装置１２Ａと、表示装置１２Ａの画面（例えば液晶パネル）に設けられたタッチパネル１２Ｂと、を備える。表示装置１２Ａは、情報処理部１３から画像データを受け取り、この画像データに応じた画像を表示する。タッチパネル１２Ｂは、指などの物体が接触した画面上の位置（接触位置）を検出し、接触位置を表す操作信号を情報処理部１３に出力する。情報処理部１３は、表示装置１２Ａへ与えた画像データとタッチパネル１２Ｂから受け取った操作信号とに基づいて、ユーザによる操作の内容を判断する。
　情報処理部１３は、カメラ１１から撮像画像を受け取る。情報処理部１３は、受け取った撮像画像に基づいて、血圧計２０の表示画面２１に表示された表示要素を認識し、認識した表示要素に関する説明情報を表示装置１２Ａに表示させる。
　以上のように、本実施形態に係る端末装置１０は、カメラ１１で血圧計２０を撮像し、血圧計２０に表示されている表示要素を認識し、認識した表示要素に関する説明情報をユーザに提示する。このため、ユーザは、表示要素の説明を得るためには、血圧計２０の撮影を含む簡単な操作を行えばよい。したがって、ユーザは、血圧計２０に表示されているピクトグラムなどの表示要素の説明を容易に得ることができる。
　次に、一実施形態に係る端末装置について詳細に説明する。
　［構成例］
　＜血圧計＞
　まず、本実施形態に係る端末装置を説明するために参照する血圧計について説明する。
　図２は、電子機器としての血圧計２００の外観を例示する。図２に示される血圧計２００は、オシロメトリック式の血圧計であって、本体２０１とユーザの上腕に巻き付けられるカフ（腕帯）とが別体である据置型の血圧計である。なお、図２では、簡略化のために、カフ及び本体２０１とカフとを接続するエアチューブについては図示が省略されている。また、血圧計２００は一般的な血圧計であってよいので、血圧計２００についての詳細な説明は省略する。
　本体２０１には、血圧計２００のブランド（製造業者）を表すブランド情報２０２及び血圧計２００の型式を表す型式情報２０３が印字されている。
　本体２０１は、入力装置として複数のプッシュ式ボタン２１１～２１６を備える。ボタン２１１は、血圧測定を開始するためのボタンである。ボタン２１１が押下されると、血圧計２００の電源が入り、血圧計２００は血圧測定を開始する。血圧測定中にボタン２１１が押下されると、血圧計２００は血圧測定を停止（中断）する。ボタン２１２は、時計を合わせるためのボタンである。ボタン２１３は、記録（履歴）を閲覧するためのボタンである。ボタン２１５、２１６は、時計合わせ、閲覧する記録の選択などに使用される。ボタン２１４は、最高血圧、最低血圧、及び脈拍数の平均値を閲覧するためのボタンである。平均値は、例えば、直近１週間に得られた測定値の平均である。ボタン２１４が押下されると、朝に実施した測定に関する平均値が表示される。ボタン２１４がもう一度押下されると、晩に実施した測定に関する平均値が表示される。
　本体２０１は、表示装置２２０及びランプ２３１、２３２をさらに備える。表示装置２２０は、日付、時刻、最高血圧値、最低血圧値、脈拍数、血圧値レベル表示、体動マーク、カフマーク、測定完了表示、エラーコードなどの複数の表示要素を表示することができる。体動マーク及びカフマークはピクトグラムの例である。図２の例では、表示装置２２０は、セグメント方式の液晶表示装置である。このため、各表示要素が表示される領域（位置）は決まっている。図２では、血圧測定が完了した直後における血圧計２００が示されており、いくつかの表示要素は表示装置２２０の画面に表示されていない。
　表示装置２２０の画面は、領域２２１～２２９を含む複数の領域を備える。日付は領域２２１に表示され、時刻は領域２２２に表示される。測定完了表示は領域２２３に表示される。最高血圧値は領域２２４に表示され、最低血圧値は領域２２５に表示され、脈拍数は領域２２６に表示される。血圧値レベル表示は領域２２７に表示される。血圧値レベル表示は、血圧の状態を１７段階で表現する。体動マークは領域２２８に表示される。体動マークは、測定中に体が動いたことを表す。測定中に体が動いたことが検出されなかった場合には、体動マークは点灯しない。カフマークは領域２２９に表示される。カフマークは、カフが適切な強さで巻かれているか否かを示す。図２に示されるカフマークは、カフが適切な強さで巻かれていることを表す。
　領域２２４及び／又は領域２２６には、エラーコードが表示されることもある。血圧計２００に生じたエラーの種類に応じた複数のエラーコードが用意される。例えば、エラーコード「Ｅ１」は、カフが本体２０１に正しく接続されていないことを表す。エラーコード「Ｅ２」は、測定中に腕又は体が動いたために測定が失敗したことを表す。エラーコード「Ｅｒ」は、本体２０１が故障していることを表す。
　ランプ２３１は、カフの巻き方が適切であるときに点灯する。ランプ２３２は、カフの巻き方が不適切であるときに点灯する。
　血圧計２００は、図２に示した構成に限定されない。例えば、表示装置２２０は、ドットマトリクス方式の表示装置であってもよい。また、血圧計２００が通信機能を有しないことを想定するが、血圧計２００は、Bluetooth（登録商標）モジュールなどの無線モジュールを備えていてもよい。血圧計２００は、ウェアラブル型の血圧計であってもよい。
　＜端末装置＞
　（ハードウェア構成）
　図３を参照して、一実施形態に係る端末装置１００のハードウェア構成の一例を説明する。図３に示される例では、端末装置１００は、制御部１０１、記憶部１０５、表示装置１０６、入力装置１０７、通信インタフェース１０８、カメラ１０９、スピーカ１１０、マイクロフォン１１１、及び電池１１２を備える。
　制御部１０１は、ＣＰＵ（Central Processing Unit）１０２、ＲＡＭ（Random Access Memory）１０３、ＲＯＭ（Read Only Memory）１０４などを含み、各構成要素を制御する。記憶部１０５は、例えば、ハードディスクドライブ（ＨＤＤ）、半導体メモリ（例えばフラッシュメモリ）などの補助記憶装置であり、制御部１０１で実行されるプログラムや、プログラムを実行するために必要な設定データなどを非一時的に記憶する。記憶部１０５が備える記憶媒体は、コンピュータその他装置、機械等が記録されたプログラムなどの情報を読み取り可能なように、当該プログラムなどの情報を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する媒体である。なお、いくつかのプログラムは、ＲＯＭ１０４に記憶されていてよい。
　表示装置１０６は、情報を表示する。具体的には、表示装置１０６は、制御部１０１から画像データを受け取り、受け取った画像データに応じた画像を表示する。表示装置１０６は、例えば、液晶表示装置又は有機ＥＬ（Electro-Luminescence）ディスプレイであり得る。有機ＥＬディスプレイは、ＯＬＥＤ（Organic Light Emitting Diode）ディスプレイと呼ばれることもある。
　入力装置１０７は、ユーザからの端末装置１０に対する操作を受け付ける。典型的には、入力装置１０７は、表示装置１０６の画面に設けられたタッチパネルを備える。タッチパネルは、指などの物体が接触した表示装置１０６の画面上の位置（接触位置）を検出し、接触位置を表す操作信号を制御部１０１に出力する。制御部１０１は、表示装置１０６に与えた画像データとタッチパネルから受け取った操作信号とに基づいて、ユーザが行った操作の内容を判断する。タッチパネルは、例えば、静電容量式のタッチパネルであり得る。入力装置１０７は、プッシュ式ボタンをさらに備えてもよい。
　通信インタフェース１０８は、外部装置と通信するためのインタフェースである。通信インタフェース１０８は、外部装置に情報を送信したり、外部装置から情報を受信したりする。通信インタフェース１０８は、例えば、アンテナを含む無線モジュールを備える。一例では、通信インタフェース１０８は、ＬＴＥ（登録商標）（Long Term Evolution）モジュール及びBluetoothモジュールを備える。これにより、端末装置１００は、ＬＴＥモジュールを用いて、移動体通信網を介してＷｅｂサーバなどの装置と通信したり、Bluetoothモジュールを用いて、ユーザが所有する他の端末装置と直接に通信したりすることができる。なお、通信インタフェース１０８は、マイクロＵＳＢ（Universal Serial Bus）コネクタなどの端子を備えていてもよい。
　カメラ１０９は、対象物を撮像して撮像画像を生成し、撮像画像のデータを制御部１０１に出力する。カメラ１０９は、例えば、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサと、ＣＣＤ又はＣＭＯＳセンサの出力に基づいて撮像画像を生成する画像処理回路と、を含む。カメラ１０９は本発明の「撮像装置」に相当する。なお、画像処理回路が行う処理の少なくとも一部は制御部１０１によって行われてもよい。この場合、本発明の「撮像装置」はカメラ１０９及び制御部１０１によって実現される。
　スピーカ１１０は、制御部１０１から供給される音響信号を音に変換する。マイクロフォン１１１は、音を電気信号に変換する。マイクロフォン１１１は、ユーザが音声で端末装置１００に対する操作（例えば文字入力）を行うことを可能にする。
　電池１１２は、各構成要素に電力を供給する。電池１１２は、例えば、充電可能なバッテリである。
　なお、端末装置１００の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換及び追加が可能である。例えば、制御部１０１は、複数のプロセッサを含んでいてもよい。
　（ソフトウェア構成）
　図４を参照して、端末装置１００のソフトウェア構成の一例を説明する。図４に示される例では、端末装置１００は、マニュアル情報取得部１５１、入力部１５２、表示制御部１５３、認識部１５４、説明情報取得部１５５、提示部１５６、及びマニュアル情報記憶部１６１を備える。マニュアル情報取得部１５１、入力部１５２、表示制御部１５３、認識部１５４、説明情報取得部１５５、及び提示部１５６は、端末装置１００の制御部１０１が記憶部１０５に記憶されたプログラムを実行することによって下記の処理を実行する。制御部１０１がプログラムを実行する際は、制御部１０１は、プログラムをＲＡＭ１０３に展開する。そして、制御部１０１は、ＲＡＭ１０３に展開されたプログラムをＣＰＵ１０２により解釈及び実行して、各構成要素を制御する。マニュアル情報記憶部１６１は記憶部１０５により実現される。
　マニュアル情報取得部１５１は、血圧計２００に関するマニュアル情報を取得し、このマニュアル情報をマニュアル情報記憶部１６１に記憶させる。マニュアル情報は、血圧計２００が表示可能な各表示要素に関する説明情報と、各表示要素の画像データと、を含む。各表示要素に関する説明情報は、その表示要素の説明文を含む。説明情報は、その表示要素に関連するＷｅｂページのＵＲＬ（Uniform Resource Locator）をさらに含んでよい。例えば、ユーザが入力装置１０７を用いて血圧計２００の型式情報（例えばHEM-XXXXT）を入力すると、マニュアル情報取得部１５１は、入力された型式情報に関連付けられたマニュアル情報を、通信インタフェース１０８を介してインターネット上のサーバから取得する。
　入力部１５２は、ユーザ入力を受け付ける。ユーザ入力は、例えば、カメラ１０９による撮影を行う撮影モードにおいて撮影を実行する指示、型式情報などである。型式情報はマニュアル情報取得部１５１へ与えられる。例えば、入力部１５２は、タッチパネルから操作信号を受け取り、表示制御部１５３から、表示装置１０６に表示中の画像の内容を表す表示内容情報を受け取り、操作信号及び表示内容情報に基づいて、ユーザが入力した指示の内容を特定する。
　表示制御部１５３は、表示装置１０６を制御する。表示制御部１５３は、画像を表示装置１０６に表示させる。例えば、表示制御部１５３は、説明情報を含む説明画面（例えば図６に示される説明画面６００）を表示装置１０６に表示させる。表示制御部１５３は、撮影モードにおいて、その意味を知りたい表示要素を収めるべき範囲を示すガイドを表示装置１０６に表示させてよい。この範囲は、後述する認識部１５４による認識が行われることになる認識範囲に対応する。
　認識部１５４は、カメラ１０９から撮像画像を受け取る。認識部１５４は、この撮像画面に基づいて、血圧計２００の表示画面に表示された表示要素を認識する。具体的には、認識部１５４は、撮像画像から認識範囲に対応する部分画像を抽出し、部分画像とマニュアル情報記憶部１６１に記憶されているマニュアル情報に含まれる画像データとの比較に基づいて、血圧計２００の表示装置２２０に表示されている表示要素を認識する。本実施形態で認識対象とする表示要素は、例えば、ピクトグラム、エラーコード、及び／又はエラーメッセージである。例えば、認識部１５４は、抽出した部分画像と各表示要素の画像データとのマッチングを行うことにより、抽出した部分画像にその表示要素が含まれるか否かを判定する。認識部１５４は、認識した表示要素を示す情報を含む認識結果を出力する。なお、認識部１５４は、ニューラルネットワークなどのＡＩ（Artificial Intelligence）技術を使用した画像認識を行うものであってもよい。
　説明情報取得部１５５は、認識部１５４により認識された表示要素に関する説明情報を取得する。具体的には、説明情報取得部１５５は、マニュアル情報記憶部１６１に記憶されているマニュアル情報から、認識部１５４により認識された表示要素に関する説明情報を抽出する。
　提示部１５６は、説明情報取得部１５５により取得された説明情報をユーザに提示する。本実施形態では、提示部１５６は、表示制御部１５３であり、表示要素の説明文を表示装置１０６に表示させる。提示部１５６は、表示要素に関連するＷｅｂページへのハイパーリンクを表示装置１０６に表示させてもよい。他の実施形態では、提示部１５６は、説明文を音声合成し、スピーカ１１０を通じて説明文を出力してよい。なお、説明文は、表示装置１０６に表示されるとともに、スピーカ１１０を通じて音声として出力されてもよい。
　図５は、撮影モードで表示装置１０６に表示されるガイドの一例を示す。図５に示されるように、表示制御部１５３は、ガイドとしてのフレーム５０１と、カメラ１０９で撮影されることになる画像と、を表示装置１０６に表示させる。図５では、カメラ１０９で撮影されることになる画像は示されていない。ユーザは、特定の表示要素（例えば体動マーク）がフレーム５０１内に収まるようにして血圧計２００を撮影する。これにより、特定の表示要素に関する説明情報が提示されることになる。
　なお、表示制御部１５３は、ユーザがその意味を知りたい表示要素を選択するためのポインタを表示してもよい。それにより、２つの表示要素が近接する場合にも、１つの表示要素を選択することが容易になる。また、表示制御部１５３は、撮影モードにおいてガイドを表示しなくてもよい。この場合、ユーザは、例えば、カメラ１０９のズーム機能を用いて特定の表示要素を選択的に撮影する。
　説明画面６００は、認識部１５４により認識された表示要素の画像６０１と、その表示要素に関する説明情報６０２と、を含む。図６の例では、説明情報６０２は、表示要素に関する説明文６０２Ａと、その表示要素に関連するＷｅｂページへのハイパーリンク６０２Ｂと、を含む。ユーザがハイパーリンク６０２Ｂをタップしたことに応答して、ブラウザが起動し、Ｗｅｂページがブラウザに表示される。Ｗｅｂページには、動画が埋め込まれていてもよい。カフマークに関連するＷｅｂページは、例えば、カフの装着方法を説明する動画を含む。これにより、ユーザは、取扱説明書（例えば電子マニュアル）に一般に記載される各表示要素に関する説明よりも詳細な説明を得ることができる。
　説明画面６００は、オペレータを呼び出すためのボタン６０３をさらに含んでいてもよい。典型的には、ボタン６０３は、最初は非アクティブであって、ユーザがハイパーリンク６０２Ｂをタップした後にアクティブ化される。ユーザがアクティブな状態のボタン６０３をタップしたことに応答して、端末装置１００の制御部１０１は、血圧計２００に関するコールセンターに発呼する。ユーザが何度も連続してオペレータを呼び出すことを防止するために、ボタン６０３は、一旦ボタン６０３が押されてから所定時間（例えば１時間）が経過するまでは非アクティブ又は非表示にされてもよい。
　なお、本実施形態では、端末装置１００の機能がいずれも汎用のプロセッサによって実現される例について説明している。しかしながら、機能の一部又は全部が１又は複数の専用のプロセッサにより実現されてもよい。
　［動作例］
　図７は、端末装置１００が取扱説明サービスを提供する際の動作フローを例示する。
　図７のステップＳ１１では、端末装置１００の制御部１０１は、カメラ１０９から撮像画像を取得する。例えば、ユーザは、血圧計２００の表示画面に表示された体動マークの意味を調べるために、端末装置１００上で取扱説明アプリケーションを起動させる。取扱説明アプリケーションが起動すると、端末装置１００は撮影モードになる。ユーザはカメラ１０９で体動マークが表示画面に表示された状態の血圧計２００を撮影し、カメラ１０９は撮像画像を制御部１０１に出力する。具体的には、ユーザは、体動マークが認識範囲に対応するフレーム５０１内に収まるようにしてカメラ１０９で血圧計２００を撮影する。
　ステップＳ１２では、制御部１０１は、認識部１５４として動作し、取得した撮像画像に基づいて、血圧計２００の表示画面に表示された表示要素を認識する。例えば、制御部１０１は、撮像画像から認識範囲に対応する部分画像を抽出し、部分画像と複数の画像データとのマッチングを行い、類似度が最も高い画像データに対応する表示要素を特定する。例えば、制御部１０１は、血圧計２００の表示画面に体動マークが表示されていることを認識する。
　ステップＳ１３では、制御部１０１は、説明情報取得部１５５として動作し、認識した表示要素に関する説明情報を取得する。例えば、制御部１０１は、記憶部１０５に記憶されているマニュアル情報から、体動マークに関連付けられた説明情報を抽出する。
　ステップＳ１４では、制御部１０１は、提示部１５６として動作し、取得した説明情報に含まれる説明文を表示装置１０６に表示させる。例えば、制御部１０１は、体動マークの説明文を含む説明画面（例えば図６に示される説明画面６００）を表示装置１０６に表示させる。説明画面は、体動マークに関連するＷｅｂページへのハイパーリンクをさらに含んでいてもよい。
　このようにして、端末装置１００は、血圧計２００に表示された表示要素に関する説明情報を表示する。
　なお、図７に示した処理手順は一例に過ぎず、処理手順又は各処理の内容を適宜変更することが可能である。例えば、ステップＳ１２において制御部１０１が複数の表示要素を認識した場合、制御部１０１は、表示要素それぞれに関する説明情報を表示装置１０６に表示させてよい。あるいは、制御部１０１は、ユーザに１つの表示要素を選択させるために、認識した複数の表示要素を表示装置１０６に一覧で表示させてもよい。この場合、ユーザによって選択された表示要素に関する説明情報が表示装置１０６に表示されることになる。
　［効果］
　上述した端末装置１００は、表示内容が表示画面に表示された状態の血圧計２００をカメラ１０９で撮像することで生成された撮像画像に基づいて、表示内容に含まれる表示要素を認識し、認識した表示要素の説明文を含む説明情報を取得し、その説明情報を表示装置１０６に表示する。これにより、ユーザは、血圧計２００の撮影を含む簡単な操作を行うことにより、表示要素に関する説明情報を得ることができる。言い換えると、ユーザは、少ない手順で表示要素に関する説明情報に到達することができる。したがって、ユーザは、電子機器に表示されている表示要素の意味を素早くかつ容易に知ることができる。
　ユーザは、ユーザがその意味を知りたい表示要素がガイド（例えば図５に示したフレーム５０１）内に収まるようにカメラ１０９で撮影を行う。すなわち、ユーザがその意味を知りたい表示要素の選択は、カメラ１０９での撮影によりなされる。このため、ピクトグラムのようなキーワードで表現することが困難な表示要素についても、簡単にその説明を得ることが可能である。
　［変形例］
　なお、この発明は上記実施形態に限定されるものではない。
　例えば、マニュアル情報取得部１５１及びマニュアル情報記憶部１６１は必ずしも必要というわけではない。マニュアル情報取得部１５１及びマニュアル情報記憶部１６１が設けられない実施形態では、端末装置１００は、取扱説明サービスを提供するたびに、インターネット経由でマニュアル情報を保持するサーバにアクセスする。例えば、認識部１５４は、通信インタフェース１０８を介してサーバから、型式情報に関連付けられた画像データを取得し、取得した画像データと撮像画像とに基づいて認識を行う。説明情報取得部１５５は、インターネット経由で、認識部１５４により認識された表示要素に関する説明情報を取得する。例えば、説明情報取得部１５５は、通信インタフェース１０８を介してサーバに、認識部１５４により認識された表示要素に関する説明情報を要求する要求信号を送信し、通信インタフェース１０８を介してサーバから、その表示要素に関する説明情報を受信する。説明情報は任意のタイミングで更新されることがある。取扱説明サービスを提供するたびに説明情報を取得することにより、最新の説明情報をユーザに提示することができるようになる。さらに、端末装置１００がマニュアル情報を保持しておく必要がないので、記憶資源を節約することができる。
　また、端末装置１００がその都度インターネット経由で説明情報を取得するようにした場合には、製造業者は、サーバによって収集された要求信号に基づいて、ユーザがどのような情報を要求したかを把握することが可能である。すなわち、製造業者は、製品（この例では血圧計２００）の改善に役立つ情報を得ることができる。要求信号は、ユーザによって選択された表示要素を特定する情報とともに、ユーザに関する情報を含んでよい。ユーザに関する情報は、例えば、ユーザの性別及び／又は年齢を含む。
　上述した実施形態では、ユーザが血圧計２００の型式情報を入力している。一実施形態では、端末装置１００は、撮像画像から血圧計２００の型式を識別する型式識別部を備えていてもよい。型式識別部は、制御部１０１が記憶部１０５に記憶されたプログラムを実行することによって所定の処理を実行する。
　一例では、図２に示されるように血圧計２００の表示画面の近傍に型式情報２０３が印字されており、いずれかの表示要素がガイド（例えば図５に示されるフレーム５０１）内に収まるように血圧計２００を撮影した場合には、撮像画像に型式情報２０３が含まれる。型式識別部は、撮像画像に対して文字認識を行い、それにより血圧計２００の型式を識別する。型式情報２０３に代えて又は追加して、血圧計２００の表示画面の近傍に、型式を識別するための識別符号が設けられてもよい。識別符号は、例えば２次元コードであり得る。型式識別部は、撮像画像に含まれる識別符号を解読し、それにより血圧計２００の型式を識別する。識別符号は、取扱説明アプリケーションを起動するための命令を含んでいてもよい。この場合、識別符号がカメラ１０９により読み込まれると、制御部１０１は、取扱説明アプリケーションを起動するとともに、血圧計２００の型式を識別する。
　マニュアル情報記憶部１６１では、複数の型式それぞれに関連付けてマニュアル情報が記憶されている。認識部１５４は、マニュアル情報記憶部１６１から、上述した型式識別部により識別された型式に関連付けられたマニュアル情報を読み出し、撮像画像から認識範囲に対応する部分画像を抽出し、抽出した部分画像と読み出したマニュアル情報に含まれる画像データとの比較に基づいて、電子機器の表示装置に表示されている表示要素を認識する。説明情報取得部１５５は、マニュアル情報記憶部１６１から、認識部１５４により認識された表示要素に関する説明情報を取得する。提示部１５６は、説明情報取得部１５５により取得された説明情報をユーザに提示する。
　端末装置１００が型式識別部を備える場合には、ユーザが型式情報を入力する必要がなくなる。このため、ユーザにとって利便性が向上する。
　取扱説明サービスは、血圧測定結果などを記録し管理するための健康管理アプリケーションの一機能であってもよい。例えば、健康管理アプリケーションのユーザインタフェースに、取扱説明サービスを実行するためのヘルプボタンが設けられる。ユーザがそのボタンをタップすると、図７を参照して説明した処理が実行される。
　要するに本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
　［付記］
　上記各実施形態の一部または全部は、特許請求の範囲のほか以下の付記に示すように記載することも可能であるが、これに限られない。
　表示要素を含む表示内容が表示画面に表示された状態の電子機器を撮像して撮像画像を生成する撮像装置（１０９）と、
　前記撮像画像から、前記表示内容に含まれる前記表示要素を認識する認識部（１５４）と、
　前記表示要素の説明文を含む説明情報を取得する説明情報取得部（１５５）と、
　前記説明情報に含まれる前記説明文を提示する提示部（１５６）と、
　を備える端末装置（１００）。
　１０…端末装置
　１１…カメラ
　１２…タッチスクリーン
　１２Ａ…表示装置
　１２Ｂ…タッチパネル
　１３…情報処理部
　２０…血圧計
　２１…表示画面
　１００…端末装置
　１０１…制御部
　１０２…ＣＰＵ
　１０３…ＲＡＭ
　１０４…ＲＯＭ
　１０５…記憶部
　１０６…表示装置
　１０７…入力装置
　１０８…通信インタフェース
　１０９…カメラ
　１１０…スピーカ
　１１１…マイクロフォン
　１１２…電池
　１５１…マニュアル情報取得部
　１５２…入力部
　１５３…表示制御部
　１５４…認識部
　１５５…説明情報取得部
　１５６…提示部
　１６１…マニュアル情報記憶部
　２００…血圧計
　２０１…本体
　２０２…ブランド情報
　２０３…型式情報
　２１１～２１６…ボタン
　２２０…表示装置

Claims (7)

  1. 　表示要素を含む表示内容が表示画面に表示された状態の電子機器を撮像して撮像画像を生成する撮像装置と、
    　前記撮像画像から、前記表示内容に含まれる前記表示要素を認識する認識部と、
    　前記表示要素の説明文を含む説明情報を取得する説明情報取得部と、
    　前記説明情報に含まれる前記説明文を提示する提示部と、
    　を備える端末装置。
  2. 　前記表示要素は、ピクトグラムである、請求項１に記載の端末装置。
  3. 　表示装置と、
    　前記撮像装置による撮像を行う動作モードにおいて、前記認識部による認識が行われる範囲を示すガイドを前記表示装置に表示させる表示制御部と、
    　をさらに備える請求項１又は２に記載の端末装置。
  4. 　前記説明情報取得部は、インターネットを経由して外部記憶装置から前記説明情報を取得する、請求項１乃至３のいずれか１項に記載の端末装置。
  5. 　前記説明情報は、前記表示要素に関連するＷｅｂページのＵＲＬ（Uniform Resource Locator）をさらに含み、前記提示部は、前記Ｗｅｂページへのハイパーリンクをさらに提示する、請求項１乃至４のいずれか１項に記載の端末装置。
  6. 　表示要素を含む表示内容が表示画面に表示された状態の電子機器を撮像して撮像画像を生成する撮像装置を備える端末装置によって実行される情報処理方法であって、
    　前記撮像画像から、前記表示内容に含まれる前記表示要素を認識する過程と、
    　前記表示要素の説明文を含む説明情報を取得する過程と、
    　前記説明情報に含まれる前記説明文を提示する過程と、
    　を備える情報処理方法。
  7. 　請求項１乃至５のいずれか１項に記載の端末装置が備える各部としてコンピュータを機能させるためのプログラム。
PCT/JP2019/026086 2018-07-20 2019-07-01 端末装置、情報処理方法、及びプログラム WO2020017300A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE112019002928.2T DE112019002928T5 (de) 2018-07-20 2019-07-01 Endgerätvorrichtung, Informationsverarbeitungsverfahren und Programm
CN201980040431.1A CN112352226A (zh) 2018-07-20 2019-07-01 终端装置、信息处理方法及程序
US17/148,899 US20210133454A1 (en) 2018-07-20 2021-01-14 Terminal device, information processing method, and non-transitory storage medium recording program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018136992A JP7147318B2 (ja) 2018-07-20 2018-07-20 端末装置、情報処理方法、及びプログラム
JP2018-136992 2018-07-20

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/148,899 Continuation US20210133454A1 (en) 2018-07-20 2021-01-14 Terminal device, information processing method, and non-transitory storage medium recording program

Publications (1)

Publication Number Publication Date
WO2020017300A1 true WO2020017300A1 (ja) 2020-01-23

Family

ID=69164320

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/026086 WO2020017300A1 (ja) 2018-07-20 2019-07-01 端末装置、情報処理方法、及びプログラム

Country Status (5)

Country Link
US (1) US20210133454A1 (ja)
JP (1) JP7147318B2 (ja)
CN (1) CN112352226A (ja)
DE (1) DE112019002928T5 (ja)
WO (1) WO2020017300A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113613041A (zh) * 2021-08-06 2021-11-05 北京奇艺世纪科技有限公司 页面识别方法、装置、系统、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015106862A (ja) * 2013-12-02 2015-06-08 日本放送協会 コンテンツ情報取得装置およびそのプログラム、ならびに、コンテンツ配信装置
JP2018109802A (ja) * 2016-12-28 2018-07-12 オムロンヘルスケア株式会社 端末装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9264785B2 (en) * 2010-04-01 2016-02-16 Sony Computer Entertainment Inc. Media fingerprinting for content determination and retrieval
JP5983053B2 (ja) 2012-06-01 2016-08-31 コニカミノルタ株式会社 ガイダンス表示システム、ガイダンス表示装置、ガイダンス表示方法、およびガイダンス表示プログラム
JP2014064115A (ja) * 2012-09-20 2014-04-10 Sharp Corp 端末装置、遠隔操作システム及び遠隔操作方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015106862A (ja) * 2013-12-02 2015-06-08 日本放送協会 コンテンツ情報取得装置およびそのプログラム、ならびに、コンテンツ配信装置
JP2018109802A (ja) * 2016-12-28 2018-07-12 オムロンヘルスケア株式会社 端末装置

Also Published As

Publication number Publication date
CN112352226A (zh) 2021-02-09
DE112019002928T5 (de) 2021-04-22
JP7147318B2 (ja) 2022-10-05
JP2020013488A (ja) 2020-01-23
US20210133454A1 (en) 2021-05-06

Similar Documents

Publication Publication Date Title
KR102399049B1 (ko) 전자 장치 및 전자 장치의 이미지 처리 방법
KR102336601B1 (ko) 사용자의 활동 정보를 검출하기 위한 방법 및 그 전자 장치
KR102495523B1 (ko) 음성 명령을 처리하는 방법 및 이를 제공하는 전자 장치
US10525304B2 (en) Method for detecting information of exercise and electronic device thereof
KR102360453B1 (ko) 카메라 설정 방법 및 장치
US20180285752A1 (en) Method for providing information and electronic device supporting the same
CN108053046B (zh) 挂号方法、装置、存储介质及电子设备
US20190038151A1 (en) Electronic device for determining biometric information and method of operating same
US10165978B2 (en) Method for measuring human body information, and electronic device thereof
US20170161240A1 (en) Web page operation method and electronic device for supporting the same
KR102356889B1 (ko) 음성 인식을 수행하는 방법 및 이를 사용하는 전자 장치
CN106293907A (zh) 用于应用程序的操作方法以及支持其的电子设备
WO2020135334A1 (zh) 电视应用主题切换方法、电视、可读存储介质及设备
KR20170046380A (ko) 센서를 포함하는 전자 장치 및 그의 동작 방법
KR102437135B1 (ko) 이미지를 처리하는 전자 장치 및 그 제어 방법
CN111710381A (zh) 远程诊断方法、装置、设备及计算机存储介质
KR20180088073A (ko) 헬스케어 프로그램 관리 방법 및 그 전자 장치
WO2020017300A1 (ja) 端末装置、情報処理方法、及びプログラム
US20210133453A1 (en) Terminal device, information processing method, and non-transitory storage medium recording program
US20210012130A1 (en) Method and device for measuring biometric information in electronic device
EP3379431A1 (en) Electronic device and method for capturing contents
WO2018174551A1 (ko) 결제를 수행하는 전자 장치 및 그 동작 방법
JP2020013488A5 (ja)
KR20180042550A (ko) 컨텐츠 처리 방법 및 이를 지원하는 전자 장치
KR20170097517A (ko) 외부 전자 장치에 표시되는 이미지 인식 방법 및 이를 지원하는 전자 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19836938

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 19836938

Country of ref document: EP

Kind code of ref document: A1