WO2018033953A1 - IoT DEVICE USER INTERFACE DISPLAY SYSTEM, IoT DEVICE USER INTERFACE DISPLAY METHOD, AND PROGRAM - Google Patents

IoT DEVICE USER INTERFACE DISPLAY SYSTEM, IoT DEVICE USER INTERFACE DISPLAY METHOD, AND PROGRAM Download PDF

Info

Publication number
WO2018033953A1
WO2018033953A1 PCT/JP2016/073856 JP2016073856W WO2018033953A1 WO 2018033953 A1 WO2018033953 A1 WO 2018033953A1 JP 2016073856 W JP2016073856 W JP 2016073856W WO 2018033953 A1 WO2018033953 A1 WO 2018033953A1
Authority
WO
WIPO (PCT)
Prior art keywords
user interface
iot device
user
user terminal
icon
Prior art date
Application number
PCT/JP2016/073856
Other languages
French (fr)
Japanese (ja)
Inventor
俊二 菅谷
Original Assignee
株式会社オプティム
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社オプティム filed Critical 株式会社オプティム
Priority to PCT/JP2016/073856 priority Critical patent/WO2018033953A1/en
Publication of WO2018033953A1 publication Critical patent/WO2018033953A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom

Definitions

  • the present invention relates to an IoT device user interface display system, an IoT device user interface display method, and a program for displaying a user interface of an IoT (Internet of Things) device on a user terminal.
  • IoT Internet of Things
  • IoT device In recent years, by connecting various devices to a public network such as the Internet, it has been possible to remotely operate the devices. Such a device is called an IoT device.
  • IoT device the user performs an operation desired by the user through a user terminal or a dedicated terminal device owned by the user.
  • An object of the present invention is to provide an IoT device user interface display system, an IoT device user interface display method, and a program capable of displaying a user interface of an IoT device on a user terminal.
  • the present invention provides the following solutions.
  • the invention according to the first aspect is an IoT device user interface display system for displaying a user interface of an IoT device on a user terminal, Captured image acquisition means for acquiring a captured image of an IoT device imaged by a camera; Image analysis means for image analysis of the acquired captured image; IoT device specifying means for specifying the IoT device based on the image analysis result; User interface specifying means for specifying a user interface of the specified IoT device; User interface display means for displaying the identified user interface on the user terminal; An IoT device user interface display system is provided.
  • an IoT device user interface display system that displays a user interface of an IoT device on a user terminal acquires a captured image of the IoT device captured by a camera, and the acquired captured image The IoT device is identified based on the result of the image analysis, the user interface of the identified IoT device is identified, and the identified user interface is displayed on the user terminal.
  • the invention according to the first feature is a category of the IoT device user interface display system, but in other categories such as a method or a program, the same actions and effects according to the category are exhibited.
  • the invention according to the second feature is an input receiving means for receiving an input to the displayed user interface; Information transmitting means for transmitting the input information to the specified IoT device; An IoT device user interface display system, which is an invention according to a first feature, is provided.
  • the IoT device user interface display system receives an input to the displayed user interface, and the input information is determined by the specified information. Send to IoT device.
  • the information transmission unit transmits the input information from the user terminal to the specified IoT device using short-range radio.
  • An IoT device user interface display system which is an invention according to the second feature is provided.
  • the IoT device user interface display system uses the short-range radio to the specified IoT device from the user terminal, and the input Sent information.
  • the user interface specifying unit when the user interface specifying unit cannot specify the user interface of the specified IoT device, it specifies a general-purpose user interface according to the type of the IoT device,
  • the user interface display means displays the specified universal user interface on the user terminal;
  • An IoT device user interface display system which is an invention according to the first feature is provided.
  • the IoT device user interface display system when the IoT device user interface display system according to the first feature of the invention is unable to specify the user interface of the specified IoT device, the IoT device user interface display system sets the type of the IoT device. A corresponding general-purpose user interface is specified, and the specified general-purpose user interface is displayed on the user terminal.
  • An invention according to a fifth aspect is a IoT device user interface display method for displaying a user interface of an IoT device on a user terminal, Obtaining a captured image of the IoT device captured by the camera; Analyzing the acquired captured image; and Identifying the IoT device based on the image analysis result; Identifying a user interface of the identified IoT device; Displaying the identified user interface on the user terminal; An IoT device user interface display method is provided.
  • the invention according to a sixth aspect provides an IoT device user interface display system for displaying a user interface of an IoT device on a user terminal. Obtaining a captured image of an IoT device captured by a camera; Image analysis of the acquired captured image; Identifying the IoT device based on the image analysis result; Identifying a user interface of the identified IoT device; Displaying the identified user interface on the user terminal; Provide a program to execute.
  • an IoT device user interface display system an IoT device user interface display method, and a program capable of displaying a user interface of an IoT device on a user terminal.
  • FIG. 1 is a diagram showing an overview of an IoT device user interface display system 1.
  • FIG. 2 is an overall configuration diagram of the IoT device user interface display system 1.
  • FIG. 3 is a functional block diagram of the computer 10, the user terminal 100, and the IoT device 200.
  • FIG. 4 is a diagram illustrating an IoT device user interface display process executed by the computer 10, the user terminal 100, and the IoT device 200.
  • FIG. 5 is a diagram illustrating an IoT device user interface display process executed by the computer 10, the user terminal 100, and the IoT device 200.
  • FIG. 6 is a diagram illustrating an example of a user interface corresponding to the IoT device 200 displayed on the user terminal 100.
  • FIG. 1 is a diagram showing an overview of an IoT device user interface display system 1.
  • FIG. 2 is an overall configuration diagram of the IoT device user interface display system 1.
  • FIG. 3 is a functional block diagram of the computer 10, the user terminal 100, and the IoT device 200.
  • FIG. 7 is a diagram showing an example of a user interface showing a state where the user has selected the remote control selection icon 450 displayed on the user terminal 100.
  • FIG. 8 is a diagram illustrating an example of a general-purpose user interface corresponding to the type of the IoT device 200 displayed on the user terminal 100.
  • FIG. 9 is a diagram illustrating an example of a general-purpose user interface showing a state where the user has selected the remote control selection icon 640 displayed on the user terminal 100.
  • FIG. 1 is a diagram for explaining an overview of an IoT device user interface display system 1 according to a preferred embodiment of the present invention.
  • the IoT device user interface display system 1 includes a computer 10, a user terminal 100, and an IoT device 200.
  • the computer 10, the user terminal 100, and the IoT device 200 are not limited to one and may be plural.
  • the computer 10, the user terminal 100, and the IoT device 200 are not limited to real devices and may be virtual devices.
  • each process mentioned later may be implement
  • the computer 10 is a computer device capable of data communication with the user terminal 100 and the IoT device 200.
  • the user terminal 100 is a terminal device operated by a user capable of data communication with the computer 10 and the IoT device 200.
  • the user terminal 100 is, for example, a cellular phone, a portable information terminal, a tablet terminal, a personal computer, an electric appliance such as a netbook terminal, a slate terminal, an electronic book terminal, a portable music player, a smart glass, a head mounted display, or the like Wearable terminals and other items.
  • the IoT device 200 is a device capable of data communication with the computer 10 and the user terminal 100.
  • the IoT device 200 is, for example, an electric appliance such as an air conditioner, a television, and a refrigerator, an electronic device such as a monitor, a tablet, a printer, and a camera, and various items such as clothing and daily necessities.
  • the user terminal 100 acquires a captured image of the IoT device 200 (step S01).
  • the user terminal 100 acquires a captured image of the IoT device 200 by, for example, capturing all or a part of the IoT device 200 with an imaging device such as a camera that the user terminal 100 has.
  • the user terminal 100 connects an imaging device such as a camera by wire or wirelessly, the connected imaging device images the IoT device 200, and acquires a captured image of the captured IoT device 200.
  • the user terminal 100 transmits captured image data that is acquired captured image data to the computer 10 (step S02).
  • an imaging device connected to the computer 10 via a public network or the like may transmit the captured image data to the computer 10.
  • the computer 10 receives captured image data.
  • the computer 10 analyzes the captured image based on the captured image data (step S03).
  • the computer 10 extracts feature quantities of the IoT device 200 included in the captured image, for example, by executing pattern recognition and edge extraction.
  • the computer 10 extracts, for example, the shape, the model, the position of the structure, and the like as the feature amount of the IoT device 200.
  • step S03 may be executed by the user terminal 100 instead of the computer 10.
  • the user terminal 100 may extract the feature amount of the IoT device 200.
  • step S04 may be executed by the user terminal 100 instead of the computer 10.
  • the user terminal 100 may store the device database described above and specify device data.
  • step S05 may be executed by the user terminal 100 instead of the computer 10.
  • the user terminal 100 stores the above-described user interface database and the like, and specifies the user interface.
  • the computer 10 creates a URL (Uniform Resource Locator) for accessing the specified user interface (step S06).
  • the computer 10 provides a user interface to the user terminal 100 as a Web page.
  • the computer 10 may create a URL for accessing a part of a preset user interface, or may create a URL for accessing all user interfaces. Note that the computer 10 may create a URL in the same manner even when the above-described general-purpose user interface is specified.
  • the computer 10 transmits the created URL to the user terminal 100 (step S07).
  • the user terminal 100 receives the URL and displays the user interface of the IoT device 200 specified by the computer 10 based on the URL (step S08). Note that the user terminal 100 may display all user interfaces or may display some preset user interfaces.
  • the user terminal 100 may receive an input to the displayed user interface, and the computer 10 may transmit the input information to the specified IoT device 200 via a public line network or the like. Further, the user terminal 100 receives an input to the displayed user interface, the computer 10 transmits the input information to the user terminal 100, and the user terminal 100 uses the short-range radio to transmit this information to the IoT. You may transmit to the apparatus 200.
  • FIG. 1 A block diagram illustrating an a public line network or the like.
  • the computer 10 is the above-described computer device having the functions described below.
  • the user terminal 100 is the above-described terminal device having the functions described later.
  • the IoT device 200 is the above-described device having the functions described later.
  • FIG. 3 is a functional block diagram of the computer 10, the user terminal 100, and the IoT device 200.
  • the computer 10 includes a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory), etc. as the control unit 11, and a device for enabling communication with other devices as the communication unit 12.
  • a WiFi (Wireless Fidelity) compatible device compliant with IEEE 802.11 is provided.
  • the computer 10 also includes a data storage unit such as a hard disk, a semiconductor memory, a recording medium, or a memory card as the storage unit 13.
  • the storage unit 13 stores a device database and a user interface database, which will be described later.
  • the computer 10 includes various image analysis devices as the analysis unit 14.
  • control unit 11 reads a predetermined program, thereby realizing the data transmission / reception module 20 in cooperation with the communication unit 12.
  • control unit 11 reads a predetermined program, thereby realizing the data storage module 30 in cooperation with the storage unit 13.
  • control unit 11 reads a predetermined program, thereby realizing an analysis module 40, a device identification module 41, a user interface identification module 42, and a URL creation module 43 in cooperation with the analysis unit 14.
  • the user terminal 100 includes a CPU, RAM, ROM, and the like as the control unit 110, and a WiFi compatible device and the like for enabling communication with other devices as the communication unit 120.
  • the user terminal 100 includes, as the input / output unit 140, a display unit that outputs and displays data and images controlled by the control unit 110, an input unit such as a touch panel, a keyboard, and a mouse that receives input from the user, An imaging device such as a lens is provided.
  • the control unit 110 when the control unit 110 reads a predetermined program, the data transmission / reception module 150 is realized in cooperation with the communication unit 120. In the user terminal 100, the control unit 110 reads a predetermined program, thereby realizing the imaging module 170, the display module 171, and the input receiving module 172 in cooperation with the input / output unit 140.
  • the IoT device 200 includes a CPU, RAM, ROM, and the like as the control unit 210, and a WiFi compatible device and the like for enabling communication with other devices as the communication unit 220.
  • the IoT device 200 includes various devices that perform various functions included in the IoT device 200 as the driving unit 240.
  • IoT device user interface display processing The IoT device user interface display process executed by the IoT device user interface display system 1 will be described with reference to FIGS. 4 and 5.
  • 4 and 5 are flowcharts of IoT device user interface display processing executed by the computer 10, the user terminal 100, and the IoT device 200.
  • FIG. The processing executed by the modules of each device described above will be described together with this processing.
  • the imaging module 170 images the IoT device 200 (step S10).
  • step S10 for example, the imaging module 170 images all or a part of the IoT device 200.
  • the imaging module 170 captures a captured image such as a moving image or a still image that can specify device data such as the shape, type, and type of the IoT device 200, for example.
  • the user terminal 100 acquires a captured image of the IoT device 200.
  • step S10 instead of the imaging module 170, an external device such as a camera connected to the user terminal 100 by short-range wireless or wired, or an external device connected to the computer 10 via the public network 5 or the like.
  • the IoT device 200 may be imaged.
  • the external device transmits the captured image to the user terminal 100 or the computer 10, whereby the user terminal 100 or the computer 10 acquires the captured image of the IoT device 200.
  • the data transmission / reception module 150 transmits captured image data, which is acquired captured image data, to the computer 10 (step S11).
  • the data transmission / reception module 20 receives captured image data.
  • the analysis module 40 performs image analysis of the captured image based on the captured image data (step S12).
  • the analysis module 40 performs image analysis of the captured image by executing various types of analysis, recognition, and processing such as pattern recognition, color tone recognition, dimension measurement, and edge extraction, for example.
  • the analysis module 40 extracts, for example, the shape, model, position of the structure, etc. of the IoT device 200 as the feature amount.
  • step S12 may be executed by the user terminal 100 instead of the computer 10.
  • the user terminal 100 may analyze the captured image and extract the above-described feature amount.
  • the device identification module 41 identifies the IoT device 200 based on the extracted feature amount (step S13). In step S13, the device identification module 41 compares the extracted feature value with the feature value of the IoT device 200 stored in the device database stored in the data storage module 30 based on the extracted feature value. The IoT device 200 to be identified is specified.
  • step S13 may be executed by the user terminal 100 instead of the computer 10.
  • the user terminal 100 may specify the IoT device 200 corresponding to the extracted feature amount by storing the device database or acquiring information corresponding to the device database from the computer 10 or the like.
  • the device database is a database in which the feature amount of the IoT device 200 is associated with device data such as the name, manufacturer, and model of the IoT device 200.
  • the device database stores, for example, the shape, color, and shape of the structure of the IoT device 200 as feature amounts.
  • the device specifying module 41 compares the extracted feature amount of the IoT device 200 with the feature amount stored in the device database, and specifies device data associated with the matching feature amount of the IoT device 200. Thus, the IoT device 200 is specified.
  • the user interface specifying module 42 specifies the user interface of the specified IoT device 200 (step S14).
  • the user interface is a screen configuration that accepts an instruction input to a position such as an icon or a character on the screen.
  • the user interface specifying module 42 compares the device data of the IoT device 200 stored in the user interface database stored in the data storage module 30 based on the device data of the specified IoT device 200, A user interface corresponding to the device data of the specified IoT device 200 is specified.
  • the user interface is, for example, an operation screen, a setting screen, a manual, a device state, or the like.
  • the user interface database is a database in which device data of the IoT device 200 is associated with a user interface of the IoT device 200.
  • the user interface database stores, for example, a manufacturer and model as device data.
  • the user interface specifying module 42 compares the device data of the specified IoT device 200 with the device data stored in the user interface database, and specifies the user interface associated with the matching device data.
  • the user interface of the IoT device 200 is specified.
  • the user interface specifying module 42 determines whether the user interface has been specified (step S15). In step S15, the user interface specifying module 42 determines whether or not the user interface of the specified IoT device 200 has been specified in the process of step S14 described above.
  • the user interface identification module 42 can identify the device interface based on, for example, whether the device data can be identified, whether the user interface corresponding to the device data has been identified, whether the device data has not been identified, or the like. It is judged whether it was able to be done.
  • step S15 when the user interface specifying module 42 determines that the user interface could not be specified (NO in step S15), the user interface specifying module 42 responds to the type of the IoT device 200 based on the device data specified in step S13 described above.
  • a general-purpose user interface that is a general-purpose user interface is acquired (step S16).
  • step S16 the user interface specifying module 42 specifies and acquires a general-purpose user interface based on the type and device name of the IoT device 200 in the device data.
  • step S15 if it is determined in step S15 that the user interface identification module 42 has identified the user interface (YES in step S15), the user interface identification module 42 acquires a user interface corresponding to the identified IoT device 200 (step S17).
  • step S14 to step S17 may be executed by the user terminal 100 instead of the computer 10.
  • the user terminal 100 stores the user interface database or acquires information corresponding to the user interface database from the computer 10 or the like, thereby specifying and acquiring the user interface or general-purpose user interface corresponding to the specified device data. do it.
  • the URL creation module 43 creates a URL for the user terminal 100 to access the identified user interface (step S18).
  • the URL creation module 43 creates a URL for accessing part or all of the acquired user interface.
  • the URL creation module 43 may create a URL for accessing a part of the acquired user interface based on a part of the preset user interface, a part of the user interface specified by the user terminal 100, or the like. Alternatively, a URL for accessing the entire acquired user interface may be created. By doing so, the computer 10 can provide the user interface 100 to the user terminal 100 as a Web page.
  • the URL is created regardless of whether it is a user interface or a general-purpose user interface.
  • the computer 10 may transmit the acquired user interface data as user interface data to the user terminal 100 instead of creating a URL.
  • the data transmission / reception module 20 transmits the created URL as URL data to the user terminal 100 (step S19).
  • the data transmission / reception module 150 receives URL data.
  • the display module 171 displays the URL based on the URL data (step S20).
  • the input receiving module 172 receives a selection input to the URL from the user, accesses the computer 10, and displays the user interface as a Web page (step S21).
  • FIG. 6 is a diagram illustrating an example of a user interface corresponding to the IoT device 200 displayed by the display module 171.
  • the IoT device 200 will be described as an air conditioner.
  • the display module 171 displays a model name display icon 410, a manual selection icon 420, a setting selection icon 430, an operation status selection icon 440, and a remote control selection icon 450 as the user interface screen 400.
  • the model name display icon 410 displays the type and model of the IoT device 200.
  • the instruction selection icon 420 receives a selection input from the user and displays an instruction of the IoT device 200.
  • the setting selection icon 430 receives a selection input from the user and displays a setting screen of the IoT device 200.
  • the driving status selection icon 440 displays a voice input icon 460, accepts a selection input or voice input from the user, and displays a driving status screen of the IoT device 200. By selecting the voice input icon 460, the user can execute the operation of the driving situation selection icon 440 by voice.
  • the remote control selection icon 450 displays a voice input icon 460, accepts a selection input or voice input from the user, and displays a remote control screen of the IoT device 200. By selecting the voice input icon 460, the user can perform an operation of the remote control selection icon 450 by voice.
  • the selection input to each icon mentioned above may accept not only the selection input but also the voice input.
  • only a part of the icons described above may be displayed by the user setting in advance.
  • you may display icons and description other than each icon mentioned above.
  • the display mode, display position, and the like of each icon described above can be changed as appropriate, and may be anything corresponding to the device data of the IoT device 200.
  • FIG. 7 is a diagram showing an example of a user interface showing a state where the user has selected the remote control selection icon 450 displayed by the display module 171.
  • the display module 171 displays a model name display icon 510, an operation content display icon 520, a cooling icon 530, a dehumidification icon 540, a heating icon 550, a transmission icon 560, and a stop icon 570 as the user interface screen 500.
  • the model name display icon 510 displays the type, model, and current screen content of the IoT device 200.
  • the operation content display icon 520 displays the type of operation, the set temperature, the up / down direction of the wind direction, the action of the wind direction, and the air volume.
  • the operation content display icon 520 receives a selection input from the user and changes the operation content. For example, a selection input for a change in set temperature, a change in wind direction, a change in air volume, or the like is received, and the operation content is changed.
  • the cooling icon 530, the dehumidification icon 540, and the heating icon 550 accept selection input from the user, and change the operation content according to the selected icon.
  • the transmission icon 560 receives a selection input from the user, and the computer 10 transmits an instruction based on information input to the user terminal 100 or the IoT device 200.
  • the stop icon 570 receives a selection input from the user, and the computer 10 transmits an instruction to stop the operation of the user terminal 100 or the IoT device 200.
  • the user interface screen 500 demonstrated in FIG. 7 is not restricted to the screen mentioned above, It can change suitably.
  • the selection input to each icon mentioned above may accept not only the selection input but also the voice input.
  • only a part of the icons described above may be displayed by the user setting in advance.
  • the display mode, display position, and the like of each icon to be displayed can be changed as appropriate, and any icon corresponding to the IoT device 200 may be used.
  • FIG. 8 is a diagram illustrating an example of a general-purpose user interface corresponding to the type of the IoT device 200 displayed by the display module 171.
  • the IoT device 200 will be described as an air conditioner.
  • the display module 171 displays a type display icon 610, a setting selection icon 620, an operation status selection icon 630, a remote control selection icon 640, and a model designation icon 650 as a general-purpose user interface screen 600.
  • the type display icon 610 displays the type of the IoT device 200 and that the model name is unknown.
  • the setting selection icon 620 receives a selection input from the user and displays a general-purpose setting screen corresponding to the type of the IoT device 200.
  • the driving status selection icon 630 displays a voice input icon 660, accepts a selection input or voice input from the user, and displays a general-purpose driving status screen corresponding to the type of the IoT device 200.
  • the remote control selection icon 640 displays a voice input icon 660, accepts a selection input or voice input from the user, and displays a general-purpose remote control screen corresponding to the type of the IoT device 200.
  • the model designation icon 650 receives a selection input or voice input from the user, and displays a screen for accepting input of specific information that can uniquely identify the IoT device 200 such as a model name of the IoT device 200 as a model designation screen.
  • the user inputs specific information on the model designation screen, and the computer 10 specifies the IoT device 200 based on the specific information, specifies the user interface of the specified IoT device 200, and uses this user interface. Based on this, the processing from step S17 onward is executed. That is, on the general-purpose user interface screen 600, the user can acquire a desired user interface of the IoT device 200, and the operation of the IoT device 200 becomes easy.
  • the selection input to each icon mentioned above may accept not only the selection input but also the voice input.
  • only a part of the icons described above may be displayed by the user setting in advance.
  • you may display icons and description other than each icon mentioned above.
  • the display mode, display position, and the like of each icon described above can be changed as appropriate, and may be anything that corresponds to the type of the IoT device 200.
  • FIG. 9 is a diagram showing an example of a general-purpose user interface showing a state where the user has selected the remote control selection icon 640 displayed by the display module 171.
  • a general-purpose user interface corresponding to the selected icon is displayed.
  • the display module 171 displays a type display icon 710, an operation content display icon 720, a cooling icon 730, a dehumidification icon 740, a heating icon 750, a transmission icon 760, and a stop icon 770 as a general-purpose user interface screen 700.
  • the type display icon 710 displays the type of the IoT device 200 and the current screen content.
  • the operation content display icon 720 displays the current operation content.
  • the operation content display icon 720 displays the type of operation and the set temperature.
  • the operation content display icon 720 accepts a selection input from the user and changes the operation content. For example, a selection input for changing the set temperature or the like is received, and the operation content is changed.
  • the cooling icon 730, the dehumidification icon 740, and the heating icon 750 receive selection input from the user, and change the operation content according to the selected icon.
  • the transmission icon 760 receives a selection input from the user, and the computer 10 transmits an instruction based on information input to the user terminal 100 or the IoT device 200.
  • the stop icon 770 receives a selection input from the user, and the computer 10 transmits an instruction to stop the operation of the user terminal 100 or the IoT device 200.
  • the general-purpose user interface screen 700 described in FIG. 9 is not limited to the screen described above, and can be changed as appropriate.
  • the selection input to each icon mentioned above may accept not only the selection input but also the voice input.
  • only a part of the icons described above may be displayed by the user setting in advance.
  • the display mode, display position, and the like of each icon to be displayed can be changed as appropriate, and may be anything corresponding to the type of the IoT device 200.
  • the input receiving module 172 determines whether or not an input to the displayed user interface has been received (step S22). In step S22, the input reception module 172 makes a determination based on whether or not the input of the transmission icons 560 and 760 or the stop icons 570 and 770 described above has been received. Note that the input reception module 172 may determine whether other input has been received.
  • step S22 when the input reception module 172 determines that the input is not received (NO in step S22), the process is repeated. In step S22, when the input reception module 172 receives an input for ending display of the user interface, the process ends.
  • step S22 when the input reception module 172 determines that the input has been received (step S22: YES), the data transmission / reception module 20 transmits an instruction to the user terminal 100 based on the input information (step S23).
  • step S23 the data transmission / reception module 20 may directly transmit an instruction to the IoT device 200.
  • the data transmission / reception module 20 transmits an instruction to the IoT device 200 via the public line network 5 or the like.
  • the data transmission / reception module 150 receives the instruction transmitted by the computer 10.
  • the data transmission / reception module 150 transmits this instruction to the IoT device 200 (step S24).
  • step S ⁇ b> 24 the data transmission / reception module 150 transmits this instruction to the IoT device 200 using the short-range wireless.
  • the data transmission / reception module 150 may transmit the instruction to the IoT device 200 by another communication method such as a wired connection.
  • the data transmission / reception module 250 receives the instruction.
  • the drive module 270 performs a behavior based on the received instruction (step S25).
  • the drive module 270 executes various behaviors such as, for example, setting the temperature of the air conditioner, adjusting the wind direction and the air volume, and stopping the operation of the air conditioner.
  • the drive module 270 is not limited to the example described above, and may execute other behaviors.
  • the above is the IoT device user interface display processing.
  • the means and functions described above are realized by a computer (including a CPU, an information processing apparatus, and various terminals) reading and executing a predetermined program.
  • the program is provided in a form recorded on a computer-readable recording medium such as a flexible disk, CD (CD-ROM, etc.), DVD (DVD-ROM, DVD-RAM, etc.).
  • the computer reads the program from the recording medium, transfers it to the internal storage device or the external storage device, stores it, and executes it.
  • the program may be recorded in advance in a storage device (recording medium) such as a magnetic disk, an optical disk, or a magneto-optical disk, and provided from the storage device to a computer via a communication line.
  • IoT device user interface display system 10 computers, 100 user terminals, 200 IoT devices

Abstract

[Problem] To provide an IoT device user interface display system capable of displaying the user interface of an IoT device on a user terminal, an IoT device user interface display method, and a program. [Solution] An IoT device user interface display system 1 for displaying the user interface of an IoT device 200 on a user terminal 100 obtains a captured image of the IoT device 200 which was captured by a camera, analyzes the obtained captured image, and on the basis of the image analysis results, identifies the IoT device 200, identifies the user interface of the identified IoT device 200, and displays the identified user interface on the user terminal 100.

Description

ＩｏＴ機器ユーザーインターフェース表示システム、ＩｏＴ機器ユーザーインターフェース表示方法及びプログラムIoT device user interface display system, IoT device user interface display method and program
　本発明は、ユーザ端末にＩｏＴ（Ｉｎｔｅｒｎｅｔ　ｏｆ　Ｔｈｉｎｇｓ）機器のユーザーインターフェースを表示するＩｏＴ機器ユーザーインターフェース表示システム、ＩｏＴ機器ユーザーインターフェース表示方法及びプログラムに関する。 The present invention relates to an IoT device user interface display system, an IoT device user interface display method, and a program for displaying a user interface of an IoT (Internet of Things) device on a user terminal.
　近年、インターネット等の公衆回線網に様々な機器を接続することにより、この機器を遠隔から操作することが行われている。このような機器は、ＩｏＴ機器と呼ばれる。このようなＩｏＴ機器において、ユーザは自身が所望する操作を、自身が所有するユーザ端末や専用の端末装置を介して実行する。 In recent years, by connecting various devices to a public network such as the Internet, it has been possible to remotely operate the devices. Such a device is called an IoT device. In such an IoT device, the user performs an operation desired by the user through a user terminal or a dedicated terminal device owned by the user.
　このようなＩｏＴ機器を操作する情報処理装置として、この情報処理装置に接続された複数のＩｏＴ機器の疑似ユーザーインターフェースを其々生成し、情報処理装置にこの生成した疑似ユーザーインターフェースを表示させる構成が開示されている（特許文献１参照）。 As an information processing apparatus for operating such an IoT device, there is a configuration in which pseudo user interfaces of a plurality of IoT devices connected to the information processing apparatus are generated, and the generated pseudo user interface is displayed on the information processing apparatus. It is disclosed (see Patent Document 1).
特開２０１６－１００８２８号公報Japanese Unexamined Patent Publication No. 2016-1000082
　しかしながら、特許文献１の構成では、情報処理装置に表示する疑似ユーザーインターフェースは、機能の必要性及び必要順序に応じて、順番に表示される構成であった。そのため、ユーザが所望するＩｏＴ機器のユーザーインターフェースのみを表示させることは困難であった。 However, in the configuration of Patent Document 1, the pseudo user interface displayed on the information processing apparatus is displayed in order according to the necessity of the function and the necessary order. For this reason, it is difficult to display only the user interface of the IoT device desired by the user.
　本発明の目的は、ユーザ端末にＩｏＴ機器のユーザーインターフェースを表示させることが可能なＩｏＴ機器ユーザーインターフェース表示システム、ＩｏＴ機器ユーザーインターフェース表示方法及びプログラムを提供することを目的とする。 An object of the present invention is to provide an IoT device user interface display system, an IoT device user interface display method, and a program capable of displaying a user interface of an IoT device on a user terminal.
　本発明では、以下のような解決手段を提供する。 The present invention provides the following solutions.
　第１の特徴に係る発明は、ユーザ端末にＩｏＴ機器のユーザーインターフェースを表示するＩｏＴ機器ユーザーインターフェース表示システムであって、
　カメラで撮像されたＩｏＴ機器の撮像画像を取得する撮像画像取得手段と、
　前記取得された撮像画像を画像解析する画像解析手段と、
　前記画像解析された結果に基づいて、前記ＩｏＴ機器を特定するＩｏＴ機器特定手段と、
　前記特定されたＩｏＴ機器のユーザーインターフェースを特定するユーザーインターフェース特定手段と、
　前記特定されたユーザーインターフェースを前記ユーザ端末に表示するユーザーインターフェース表示手段と、
　を備えることを特徴とするＩｏＴ機器ユーザーインターフェース表示システムを提供する。 The invention according to the first aspect is an IoT device user interface display system for displaying a user interface of an IoT device on a user terminal,
Captured image acquisition means for acquiring a captured image of an IoT device imaged by a camera;
Image analysis means for image analysis of the acquired captured image;
IoT device specifying means for specifying the IoT device based on the image analysis result;
User interface specifying means for specifying a user interface of the specified IoT device;
User interface display means for displaying the identified user interface on the user terminal;
An IoT device user interface display system is provided.
　第１の特徴に係る発明によれば、ユーザ端末にＩｏＴ機器のユーザーインターフェースを表示するＩｏＴ機器ユーザーインターフェース表示システムは、カメラで撮像されたＩｏＴ機器の撮像画像を取得し、前記取得された撮像画像を画像解析し、前記画像解析された結果に基づいて、前記ＩｏＴ機器を特定し、前記特定されたＩｏＴ機器のユーザーインターフェースを特定し、前記特定されたユーザーインターフェースを前記ユーザ端末に表示する。 According to the first aspect of the invention, an IoT device user interface display system that displays a user interface of an IoT device on a user terminal acquires a captured image of the IoT device captured by a camera, and the acquired captured image The IoT device is identified based on the result of the image analysis, the user interface of the identified IoT device is identified, and the identified user interface is displayed on the user terminal.
　ここで、第１の特徴に係る発明は、ＩｏＴ機器ユーザーインターフェース表示システムのカテゴリであるが、方法又はプログラム等の他のカテゴリにおいても、そのカテゴリに応じた同様の作用・効果を発揮する。 Here, the invention according to the first feature is a category of the IoT device user interface display system, but in other categories such as a method or a program, the same actions and effects according to the category are exhibited.
　第２の特徴に係る発明は、前記表示されたユーザーインターフェースに対する入力を受け付ける入力受付手段と、
　前記入力された情報を、前記特定されたＩｏＴ機器に送信する情報送信手段と、
　を備えることを特徴とする第１の特徴に係る発明であるＩｏＴ機器ユーザーインターフェース表示システムを提供する。 The invention according to the second feature is an input receiving means for receiving an input to the displayed user interface;
Information transmitting means for transmitting the input information to the specified IoT device;
An IoT device user interface display system, which is an invention according to a first feature, is provided.
　第２の特徴に係る発明によれば、第１の特徴に係る発明であるＩｏＴ機器ユーザーインターフェース表示システムは、前記表示されたユーザーインターフェースに対する入力を受け付け、前記入力された情報を、前記特定されたＩｏＴ機器に送信する。 According to the second aspect of the invention, the IoT device user interface display system according to the first aspect of the invention receives an input to the displayed user interface, and the input information is determined by the specified information. Send to IoT device.
　第３の特徴に係る発明は、前記情報送信手段が、前記ユーザ端末から前記特定されたＩｏＴ機器に対して近距離無線を用いて、前記入力された情報を送信する、
　ことを特徴とする第２の特徴に係る発明であるＩｏＴ機器ユーザーインターフェース表示システムを提供する。 In the invention according to a third aspect, the information transmission unit transmits the input information from the user terminal to the specified IoT device using short-range radio.
An IoT device user interface display system which is an invention according to the second feature is provided.
　第３の特徴に係る発明によれば、第２の特徴に係る発明であるＩｏＴ機器ユーザーインターフェース表示システムは、前記ユーザ端末から前記特定されたＩｏＴ機器に対して近距離無線を用いて、前記入力された情報を送信する。 According to the third aspect of the invention, the IoT device user interface display system according to the second feature of the present invention uses the short-range radio to the specified IoT device from the user terminal, and the input Sent information.
　第４の特徴に係る発明は、前記ユーザーインターフェース特定手段が、前記特定されたＩｏＴ機器のユーザーインターフェースを特定できなかった場合、当該ＩｏＴ機器の種別に応じた汎用的なユーザーインターフェースを特定し、
　前記ユーザーインターフェース表示手段が、前記特定された汎用的なユーザーインターフェースを前記ユーザ端末に表示する、
　ことを特徴とする第１の特徴に係る発明であるＩｏＴ機器ユーザーインターフェース表示システムを提供する。 In the invention according to the fourth feature, when the user interface specifying unit cannot specify the user interface of the specified IoT device, it specifies a general-purpose user interface according to the type of the IoT device,
The user interface display means displays the specified universal user interface on the user terminal;
An IoT device user interface display system which is an invention according to the first feature is provided.
　第４の特徴に係る発明によれば、第１の特徴に係る発明であるＩｏＴ機器ユーザーインターフェース表示システムは、前記特定されたＩｏＴ機器のユーザーインターフェースを特定できなかった場合、当該ＩｏＴ機器の種別に応じた汎用的なユーザーインターフェースを特定し、前記特定された汎用的なユーザーインターフェースを前記ユーザ端末に表示する。 According to the fourth aspect of the invention, when the IoT device user interface display system according to the first feature of the invention is unable to specify the user interface of the specified IoT device, the IoT device user interface display system sets the type of the IoT device. A corresponding general-purpose user interface is specified, and the specified general-purpose user interface is displayed on the user terminal.
　第５の特徴に係る発明は、ユーザ端末にＩｏＴ機器のユーザーインターフェースを表示するＩｏＴ機器ユーザーインターフェース表示方法であって、
　カメラで撮像されたＩｏＴ機器の撮像画像を取得するステップと、
　前記取得された撮像画像を画像解析するステップと、
　前記画像解析された結果に基づいて、前記ＩｏＴ機器を特定するステップと、
　前記特定されたＩｏＴ機器のユーザーインターフェースを特定するステップと、
　前記特定されたユーザーインターフェースを前記ユーザ端末に表示するステップと、
　を備えることを特徴とするＩｏＴ機器ユーザーインターフェース表示方法を提供する。 An invention according to a fifth aspect is a IoT device user interface display method for displaying a user interface of an IoT device on a user terminal,
Obtaining a captured image of the IoT device captured by the camera;
Analyzing the acquired captured image; and
Identifying the IoT device based on the image analysis result;
Identifying a user interface of the identified IoT device;
Displaying the identified user interface on the user terminal;
An IoT device user interface display method is provided.
　第６の特徴に係る発明は、ユーザ端末にＩｏＴ機器のユーザーインターフェースを表示するＩｏＴ機器ユーザーインターフェース表示システムに、
　カメラで撮像されたＩｏＴ機器の撮像画像を取得するステップ、
　前記取得された撮像画像を画像解析するステップ、
　前記画像解析された結果に基づいて、前記ＩｏＴ機器を特定するステップ、
　前記特定されたＩｏＴ機器のユーザーインターフェースを特定するステップ、
　前記特定されたユーザーインターフェースを前記ユーザ端末に表示するステップ、
　を実行させるためのプログラムを提供する。 The invention according to a sixth aspect provides an IoT device user interface display system for displaying a user interface of an IoT device on a user terminal.
Obtaining a captured image of an IoT device captured by a camera;
Image analysis of the acquired captured image;
Identifying the IoT device based on the image analysis result;
Identifying a user interface of the identified IoT device;
Displaying the identified user interface on the user terminal;
Provide a program to execute.
　本発明によれば、ユーザ端末にＩｏＴ機器のユーザーインターフェースを表示させることが可能なＩｏＴ機器ユーザーインターフェース表示システム、ＩｏＴ機器ユーザーインターフェース表示方法及びプログラムを提供することが可能となる。 According to the present invention, it is possible to provide an IoT device user interface display system, an IoT device user interface display method, and a program capable of displaying a user interface of an IoT device on a user terminal.
図１は、ＩｏＴ機器ユーザーインターフェース表示システム１の概要を示す図である。FIG. 1 is a diagram showing an overview of an IoT device user interface display system 1. 図２は、ＩｏＴ機器ユーザーインターフェース表示システム１の全体構成図である。FIG. 2 is an overall configuration diagram of the IoT device user interface display system 1. 図３は、コンピュータ１０、ユーザ端末１００、ＩｏＴ機器２００の機能ブロック図である。FIG. 3 is a functional block diagram of the computer 10, the user terminal 100, and the IoT device 200. 図４は、コンピュータ１０、ユーザ端末１００、ＩｏＴ機器２００が実行するＩｏＴ機器ユーザーインターフェース表示処理を示す図である。FIG. 4 is a diagram illustrating an IoT device user interface display process executed by the computer 10, the user terminal 100, and the IoT device 200. 図５は、コンピュータ１０、ユーザ端末１００、ＩｏＴ機器２００が実行するＩｏＴ機器ユーザーインターフェース表示処理を示す図である。FIG. 5 is a diagram illustrating an IoT device user interface display process executed by the computer 10, the user terminal 100, and the IoT device 200. 図６は、ユーザ端末１００が表示するＩｏＴ機器２００に対応するユーザーインターフェースの一例を示す図である。FIG. 6 is a diagram illustrating an example of a user interface corresponding to the IoT device 200 displayed on the user terminal 100. 図７は、ユーザ端末１００が表示するリモコン選択アイコン４５０をユーザが選択した状態を示すユーザーインターフェースの一例を示す図である。FIG. 7 is a diagram showing an example of a user interface showing a state where the user has selected the remote control selection icon 450 displayed on the user terminal 100. 図８は、ユーザ端末１００が表示するＩｏＴ機器２００の種別に対応する汎用ユーザーインターフェースの一例を示す図である。FIG. 8 is a diagram illustrating an example of a general-purpose user interface corresponding to the type of the IoT device 200 displayed on the user terminal 100. 図９は、ユーザ端末１００が表示するリモコン選択アイコン６４０をユーザが選択した状態を示す汎用ユーザーインターフェースの一例を示す図である。FIG. 9 is a diagram illustrating an example of a general-purpose user interface showing a state where the user has selected the remote control selection icon 640 displayed on the user terminal 100.
　以下、本発明を実施するための最良の形態について、図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。 Hereinafter, the best mode for carrying out the present invention will be described with reference to the drawings. This is merely an example, and the technical scope of the present invention is not limited to this.
　［ＩｏＴ機器ユーザーインターフェース表示システム１の概要］
　本発明の好適な実施形態の概要について、図１に基づいて説明する。図１は、本発明の好適な実施形態であるＩｏＴ機器ユーザーインターフェース表示システム１の概要を説明するための図である。ＩｏＴ機器ユーザーインターフェース表示システム１は、コンピュータ１０、ユーザ端末１００、ＩｏＴ機器２００から構成される。 [Overview of IoT device user interface display system 1]
An outline of a preferred embodiment of the present invention will be described with reference to FIG. FIG. 1 is a diagram for explaining an overview of an IoT device user interface display system 1 according to a preferred embodiment of the present invention. The IoT device user interface display system 1 includes a computer 10, a user terminal 100, and an IoT device 200.
　なお、図１において、コンピュータ１０、ユーザ端末１００及びＩｏＴ機器２００は、１つに限らず複数であってもよい。また、コンピュータ１０、ユーザ端末１００及びＩｏＴ機器２００は、実在する装置に限らず仮想的な装置であってもよい。また、後述する各処理は、コンピュータ１０、ユーザ端末１００又はＩｏＴ機器２００のいずれか又は複数の組合せにより実現されてもよい。 In FIG. 1, the computer 10, the user terminal 100, and the IoT device 200 are not limited to one and may be plural. In addition, the computer 10, the user terminal 100, and the IoT device 200 are not limited to real devices and may be virtual devices. Moreover, each process mentioned later may be implement | achieved by the computer 10, the user terminal 100, the IoT apparatus 200, or the combination of several.
　コンピュータ１０は、ユーザ端末１００及びＩｏＴ機器２００とデータ通信可能なコンピュータ装置である。 The computer 10 is a computer device capable of data communication with the user terminal 100 and the IoT device 200.
　ユーザ端末１００は、コンピュータ１０及びＩｏＴ機器２００とデータ通信可能なユーザが操作する端末装置である。ユーザ端末１００は、例えば、携帯電話、携帯情報端末、タブレット端末、パーソナルコンピュータに加え、ネットブック端末、スレート端末、電子書籍端末、携帯型音楽プレーヤ等の電化製品や、スマートグラス、ヘッドマウントディスプレイ等のウェアラブル端末や、その他の物品である。 The user terminal 100 is a terminal device operated by a user capable of data communication with the computer 10 and the IoT device 200. The user terminal 100 is, for example, a cellular phone, a portable information terminal, a tablet terminal, a personal computer, an electric appliance such as a netbook terminal, a slate terminal, an electronic book terminal, a portable music player, a smart glass, a head mounted display, or the like Wearable terminals and other items.
　ＩｏＴ機器２００は、コンピュータ１０及びユーザ端末１００とデータ通信可能な機器である。ＩｏＴ機器２００は、例えば、エアコン、テレビ、冷蔵庫等の電化製品や、モニター、タブレット、プリンタ、カメラ等の電子機器や、衣類、日用品等の様々な物品である。 The IoT device 200 is a device capable of data communication with the computer 10 and the user terminal 100. The IoT device 200 is, for example, an electric appliance such as an air conditioner, a television, and a refrigerator, an electronic device such as a monitor, a tablet, a printer, and a camera, and various items such as clothing and daily necessities.
　はじめに、ユーザ端末１００は、ＩｏＴ機器２００の撮像画像を取得する（ステップＳ０１）。ユーザ端末１００は、例えば、自身が有するカメラ等の撮像装置により、ＩｏＴ機器２００の全部又は一部を撮像することにより、ＩｏＴ機器２００の撮像画像を取得する。また、ユーザ端末１００は、カメラ等の撮像装置を有線又は無線により接続し、接続した撮像装置がＩｏＴ機器２００を撮像し、撮像されたＩｏＴ機器２００の撮像画像を取得する。 First, the user terminal 100 acquires a captured image of the IoT device 200 (step S01). The user terminal 100 acquires a captured image of the IoT device 200 by, for example, capturing all or a part of the IoT device 200 with an imaging device such as a camera that the user terminal 100 has. In addition, the user terminal 100 connects an imaging device such as a camera by wire or wirelessly, the connected imaging device images the IoT device 200, and acquires a captured image of the captured IoT device 200.
　ユーザ端末１００は、取得した撮像画像のデータである撮像画像データを、コンピュータ１０に送信する（ステップＳ０２）。なお、ユーザ端末１００の代わりに、公衆回線網等を介してコンピュータ１０に接続された撮像装置が、撮像画像データをコンピュータ１０に送信してもよい。 The user terminal 100 transmits captured image data that is acquired captured image data to the computer 10 (step S02). Note that instead of the user terminal 100, an imaging device connected to the computer 10 via a public network or the like may transmit the captured image data to the computer 10.
　コンピュータ１０は、撮像画像データを受信する。コンピュータ１０は、撮像画像データに基づいて、撮像画像を画像解析する（ステップＳ０３）。コンピュータ１０は、例えば、パターン認識やエッジ抽出を実行することにより、撮像画像に含まれるＩｏＴ機器２００の特徴量を抽出する。コンピュータ１０は、ＩｏＴ機器２００の特徴量として、例えば、形状、型式、構造物の位置等を抽出する。 The computer 10 receives captured image data. The computer 10 analyzes the captured image based on the captured image data (step S03). The computer 10 extracts feature quantities of the IoT device 200 included in the captured image, for example, by executing pattern recognition and edge extraction. The computer 10 extracts, for example, the shape, the model, the position of the structure, and the like as the feature amount of the IoT device 200.
　なお、ステップＳ０３の処理は、コンピュータ１０の代わりに、ユーザ端末１００が実行してもよい。この場合、ユーザ端末１００が、ＩｏＴ機器２００の特徴量を抽出すればよい。 Note that the process of step S03 may be executed by the user terminal 100 instead of the computer 10. In this case, the user terminal 100 may extract the feature amount of the IoT device 200.
　コンピュータ１０は、抽出した特徴量に基づいて、ＩｏＴ機器２００を特定する（ステップＳ０４）。コンピュータ１０は、抽出した特徴量に基づいて、自身が記憶する特徴量とＩｏＴ機器２００の名称、製造メーカ、型式等の機器データとを対応付けた機器データベースを参照することにより、撮像画像データに含まれるＩｏＴ機器２００の機器データを特定する。 The computer 10 identifies the IoT device 200 based on the extracted feature amount (step S04). Based on the extracted feature value, the computer 10 refers to the device database in which the feature value stored by itself and the device data such as the name, manufacturer, and model of the IoT device 200 are associated with each other. The device data of the included IoT device 200 is specified.
　なお、ステップＳ０４の処理は、コンピュータ１０の代わりに、ユーザ端末１００が実行してもよい。この場合、ユーザ端末１００が上述した機器データベース等を記憶しておき、機器データを特定すればよい。 Note that the process of step S04 may be executed by the user terminal 100 instead of the computer 10. In this case, the user terminal 100 may store the device database described above and specify device data.
　コンピュータ１０は、特定したＩｏＴ機器２００のユーザーインターフェースを特定する（ステップＳ０５）。ユーザーインターフェースとは、画面内のアイコンや文字等の位置への指示入力を受け付ける画面構成である。コンピュータ１０は、特定した機器データに基づいて、自身が記憶する機器データとユーザーインターフェースとを対応付けたユーザーインターフェースデータベースを参照することにより、このＩｏＴ機器２００のユーザーインターフェースを特定する。ユーザーインターフェースには、操作画面、設定画面、説明書、機器状態等が含まれる。なお、コンピュータ１０は、特定したＩｏＴ機器２００のユーザーインターフェースを特定することができなかった場合、このＩｏＴ機器２００の機器データに応じた汎用的なユーザーインターフェースを特定してもよい。 The computer 10 specifies the user interface of the specified IoT device 200 (step S05). The user interface is a screen configuration that accepts an instruction input to a position such as an icon or a character on the screen. The computer 10 specifies the user interface of the IoT device 200 by referring to a user interface database in which device data stored in the computer 10 is associated with the user interface based on the specified device data. The user interface includes an operation screen, a setting screen, a manual, a device state, and the like. When the computer 10 cannot identify the user interface of the identified IoT device 200, the computer 10 may identify a general-purpose user interface corresponding to the device data of the IoT device 200.
　また、ステップＳ０５の処理は、コンピュータ１０の代わりに、ユーザ端末１００が実行してもよい。この場合、ユーザ端末１００が上述したユーザーインターフェースデータベース等を記憶しておき、ユーザーインターフェースを特定する。 Further, the process of step S05 may be executed by the user terminal 100 instead of the computer 10. In this case, the user terminal 100 stores the above-described user interface database and the like, and specifies the user interface.
　コンピュータ１０は、特定したユーザーインターフェースへアクセスするためのＵＲＬ（Ｕｎｉｆｏｒｍ　Ｒｅｓｏｕｒｃｅ　Ｌｏｃａｔｏｒ）を作成する（ステップＳ０６）。コンピュータ１０は、ユーザーインターフェースをＷｅｂページとして、ユーザ端末１００に提供する。コンピュータ１０は、予め設定されたユーザーインターフェースの一部へアクセスするためのＵＲＬを作成してもよいし、全てのユーザーインターフェースへアクセスするためのＵＲＬを作成してもよい。なお、コンピュータ１０は、上述した汎用的なユーザーインターフェースを特定した場合であっても、同様にＵＲＬを作成してもよい。 The computer 10 creates a URL (Uniform Resource Locator) for accessing the specified user interface (step S06). The computer 10 provides a user interface to the user terminal 100 as a Web page. The computer 10 may create a URL for accessing a part of a preset user interface, or may create a URL for accessing all user interfaces. Note that the computer 10 may create a URL in the same manner even when the above-described general-purpose user interface is specified.
　コンピュータ１０は、作成したＵＲＬを、ユーザ端末１００に送信する（ステップＳ０７）。 The computer 10 transmits the created URL to the user terminal 100 (step S07).
　ユーザ端末１００は、ＵＲＬを受信し、このＵＲＬに基づいて、コンピュータ１０が特定したＩｏＴ機器２００のユーザーインターフェースを表示する（ステップＳ０８）。なお、ユーザ端末１００は、全てのユーザーインターフェースを表示してもよいし、予め設定された一部のユーザーインターフェースを表示してもよい。 The user terminal 100 receives the URL and displays the user interface of the IoT device 200 specified by the computer 10 based on the URL (step S08). Note that the user terminal 100 may display all user interfaces or may display some preset user interfaces.
　また、ユーザ端末１００は、表示したユーザーインターフェースに対する入力を受け付け、コンピュータ１０は、入力された情報を、公衆回線網等を介して、特定されたＩｏＴ機器２００に送信してもよい。また、ユーザ端末１００は、表示したユーザーインターフェースに対する入力を受け付け、コンピュータ１０は、入力された情報を、ユーザ端末１００に送信し、ユーザ端末１００は、近距離無線を用いて、この情報を、ＩｏＴ機器２００に送信してもよい。 Further, the user terminal 100 may receive an input to the displayed user interface, and the computer 10 may transmit the input information to the specified IoT device 200 via a public line network or the like. Further, the user terminal 100 receives an input to the displayed user interface, the computer 10 transmits the input information to the user terminal 100, and the user terminal 100 uses the short-range radio to transmit this information to the IoT. You may transmit to the apparatus 200. FIG.
　以上が、ＩｏＴ機器ユーザーインターフェース表示システムの概要である。 The above is the outline of the IoT device user interface display system.
　［ＩｏＴ機器ユーザーインターフェース表示システム１のシステム構成］
　図２に基づいて、本発明の好適な実施形態であるＩｏＴ機器ユーザーインターフェース表示システム１のシステム構成について説明する。図２は、本発明の好適な実施形態であるＩｏＴ機器ユーザーインターフェース表示システム１のシステム構成を示す図である。ＩｏＴ機器ユーザーインターフェース表示システムは、コンピュータ１０、ユーザ端末１００、ＩｏＴ機器２００、公衆回線網（インターネット網や、第３、第４世代通信網等）５から構成される。なお、コンピュータ１０、ユーザ端末１００、ＩｏＴ機器２００は、１つに限らず、複数であってもよい。また、コンピュータ１０、ユーザ端末１００、ＩｏＴ機器２００は、実在する装置に限らず、仮想的な装置であってもよい。また、後述する各処理は、コンピュータ１０、ユーザ端末１００又はＩｏＴ機器２００のいずれか又は複数の組合せにより実現されてもよい。 [System Configuration of IoT Device User Interface Display System 1]
A system configuration of the IoT device user interface display system 1 which is a preferred embodiment of the present invention will be described with reference to FIG. FIG. 2 is a diagram showing a system configuration of the IoT device user interface display system 1 which is a preferred embodiment of the present invention. The IoT device user interface display system includes a computer 10, a user terminal 100, an IoT device 200, and a public line network (such as the Internet network and third and fourth generation communication networks) 5. Note that the computer 10, the user terminal 100, and the IoT device 200 are not limited to one and may be a plurality. Further, the computer 10, the user terminal 100, and the IoT device 200 are not limited to real devices, and may be virtual devices. Moreover, each process mentioned later may be implement | achieved by the computer 10, the user terminal 100, the IoT apparatus 200, or the combination of several.
　コンピュータ１０は、後述の機能を備えた上述したコンピュータ装置である。 The computer 10 is the above-described computer device having the functions described below.
　ユーザ端末１００は、後述の機能を備えた上述した端末装置である。 The user terminal 100 is the above-described terminal device having the functions described later.
　ＩｏＴ機器２００は、後述の機能を備えた上述した機器である。 The IoT device 200 is the above-described device having the functions described later.
　［各機能の説明］
　図３に基づいて、本発明の好適な実施形態であるＩｏＴ機器ユーザーインターフェース表示システム１の機能について説明する。図３は、コンピュータ１０、ユーザ端末１００、ＩｏＴ機器２００の機能ブロック図を示す図である。 [Description of each function]
Based on FIG. 3, the function of the IoT device user interface display system 1 which is a preferred embodiment of the present invention will be described. FIG. 3 is a functional block diagram of the computer 10, the user terminal 100, and the IoT device 200.
　コンピュータ１０は、制御部１１として、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等を備え、通信部１２として、他の機器と通信可能にするためのデバイス、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉＦｉ（Ｗｉｒｅｌｅｓｓ　Ｆｉｄｅｌｉｔｙ）対応デバイスを備える。また、コンピュータ１０は、記憶部１３として、ハードディスクや半導体メモリ、記録媒体、メモリカード等によるデータのストレージ部を備える。記憶部１３には、後述する機器データベース及びユーザーインターフェースデータベースが格納される。また、コンピュータ１０は、解析部１４として、各種画像解析用デバイス等を備える。 The computer 10 includes a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory), etc. as the control unit 11, and a device for enabling communication with other devices as the communication unit 12. For example, a WiFi (Wireless Fidelity) compatible device compliant with IEEE 802.11 is provided. The computer 10 also includes a data storage unit such as a hard disk, a semiconductor memory, a recording medium, or a memory card as the storage unit 13. The storage unit 13 stores a device database and a user interface database, which will be described later. Further, the computer 10 includes various image analysis devices as the analysis unit 14.
　コンピュータ１０において、制御部１１が所定のプログラムを読み込むことにより、通信部１２と協働して、データ送受信モジュール２０を実現する。また、コンピュータ１０において、制御部１１が所定のプログラムを読み込むことにより、記憶部１３と協働して、データ記憶モジュール３０を実現する。また、コンピュータ１０において、制御部１１が所定のプログラムを読み込むことにより、解析部１４と協働して、解析モジュール４０、機器特定モジュール４１、ユーザーインターフェース特定モジュール４２、ＵＲＬ作成モジュール４３を実現する。 In the computer 10, the control unit 11 reads a predetermined program, thereby realizing the data transmission / reception module 20 in cooperation with the communication unit 12. In the computer 10, the control unit 11 reads a predetermined program, thereby realizing the data storage module 30 in cooperation with the storage unit 13. Further, in the computer 10, the control unit 11 reads a predetermined program, thereby realizing an analysis module 40, a device identification module 41, a user interface identification module 42, and a URL creation module 43 in cooperation with the analysis unit 14.
　ユーザ端末１００は、コンピュータ１０と同様に、制御部１１０として、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備え、通信部１２０として、他の機器と通信可能にするためのＷｉＦｉ対応デバイス等を備える。また、ユーザ端末１００は、入出力部１４０として、制御部１１０で制御したデータや画像を出力表示する表示部や、ユーザからの入力を受け付けるタッチパネルやキーボード、マウス等の入力部や、撮像素子、レンズ等の撮像デバイス等を備える。 As with the computer 10, the user terminal 100 includes a CPU, RAM, ROM, and the like as the control unit 110, and a WiFi compatible device and the like for enabling communication with other devices as the communication unit 120. In addition, the user terminal 100 includes, as the input / output unit 140, a display unit that outputs and displays data and images controlled by the control unit 110, an input unit such as a touch panel, a keyboard, and a mouse that receives input from the user, An imaging device such as a lens is provided.
　ユーザ端末１００において、制御部１１０が所定のプログラムを読み込むことにより、通信部１２０と協働して、データ送受信モジュール１５０を実現する。また、ユーザ端末１００において、制御部１１０が所定のプログラムを読み込むことにより、入出力部１４０と協働して、撮像モジュール１７０、表示モジュール１７１、入力受付モジュール１７２を実現する。 In the user terminal 100, when the control unit 110 reads a predetermined program, the data transmission / reception module 150 is realized in cooperation with the communication unit 120. In the user terminal 100, the control unit 110 reads a predetermined program, thereby realizing the imaging module 170, the display module 171, and the input receiving module 172 in cooperation with the input / output unit 140.
　ＩｏＴ機器２００は、ユーザ端末１００と同様に、制御部２１０として、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備え、通信部２２０として、他の機器と通信可能にするためのＷｉＦｉ対応デバイス等を備える。また、ＩｏＴ機器２００は、駆動部２４０として、自身が有する各種機能を実行する各種デバイス等を備える。 As with the user terminal 100, the IoT device 200 includes a CPU, RAM, ROM, and the like as the control unit 210, and a WiFi compatible device and the like for enabling communication with other devices as the communication unit 220. In addition, the IoT device 200 includes various devices that perform various functions included in the IoT device 200 as the driving unit 240.
　ＩｏＴ機器２００において、制御部２１０が所定のプログラムを読み込むことにより、通信部２２０と協働して、データ送受信モジュール２５０を実現する。また、ＩｏＴ機器２００において、制御部２１０が所定のプログラムを読み込むことにより、駆動部２４０と協働して、駆動モジュール２７０を実現する。 In the IoT device 200, when the control unit 210 reads a predetermined program, the data transmission / reception module 250 is realized in cooperation with the communication unit 220. In the IoT device 200, the control unit 210 reads a predetermined program, thereby realizing the drive module 270 in cooperation with the drive unit 240.
　［ＩｏＴ機器ユーザーインターフェース表示処理］
　図４及び図５に基づいて、ＩｏＴ機器ユーザーインターフェース表示システム１が実行するＩｏＴ機器ユーザーインターフェース表示処理について説明する。図４及び図５は、コンピュータ１０、ユーザ端末１００、ＩｏＴ機器２００が実行するＩｏＴ機器ユーザーインターフェース表示処理のフローチャートを示す図である。上述した各装置のモジュールが実行する処理について、本処理に併せて説明する。 [IoT device user interface display processing]
The IoT device user interface display process executed by the IoT device user interface display system 1 will be described with reference to FIGS. 4 and 5. 4 and 5 are flowcharts of IoT device user interface display processing executed by the computer 10, the user terminal 100, and the IoT device 200. FIG. The processing executed by the modules of each device described above will be described together with this processing.
　はじめに、撮像モジュール１７０は、ＩｏＴ機器２００を撮像する（ステップＳ１０）。ステップＳ１０において、例えば、撮像モジュール１７０は、ＩｏＴ機器２００の全部又は一部を撮像する。撮像モジュール１７０は、例えば、ＩｏＴ機器２００の形状、型式、種別等の機器データを特定可能な動画や静止画等の撮像画像を撮像する。撮像モジュール１７０がＩｏＴ機器２００を撮像することにより、ユーザ端末１００は、ＩｏＴ機器２００の撮像画像を取得する。 First, the imaging module 170 images the IoT device 200 (step S10). In step S10, for example, the imaging module 170 images all or a part of the IoT device 200. The imaging module 170 captures a captured image such as a moving image or a still image that can specify device data such as the shape, type, and type of the IoT device 200, for example. When the imaging module 170 images the IoT device 200, the user terminal 100 acquires a captured image of the IoT device 200.
　なお、ステップＳ１０において、撮像モジュール１７０の代わりに、近距離無線や有線によりユーザ端末１００に接続されたカメラ等の外部装置や、公衆回線網５等を介してコンピュータ１０に接続された外部装置が、ＩｏＴ機器２００を撮像してもよい。この場合、この外部装置が、撮像した撮像画像を、ユーザ端末１００又はコンピュータ１０に送信することにより、ユーザ端末１００又はコンピュータ１０は、ＩｏＴ機器２００の撮像画像を取得する。 In step S10, instead of the imaging module 170, an external device such as a camera connected to the user terminal 100 by short-range wireless or wired, or an external device connected to the computer 10 via the public network 5 or the like. The IoT device 200 may be imaged. In this case, the external device transmits the captured image to the user terminal 100 or the computer 10, whereby the user terminal 100 or the computer 10 acquires the captured image of the IoT device 200.
　データ送受信モジュール１５０は、取得した撮像画像のデータである撮像画像データを、コンピュータ１０に送信する（ステップＳ１１）。 The data transmission / reception module 150 transmits captured image data, which is acquired captured image data, to the computer 10 (step S11).
　データ送受信モジュール２０は、撮像画像データを受信する。解析モジュール４０は、撮像画像データに基づいて、撮像画像を画像解析する（ステップＳ１２）。ステップＳ１２において、解析モジュール４０は、例えば、パターン認識、色調認識、寸法測定、エッジ抽出等の各種解析、認識及び処理を実行することにより、撮像画像を画像解析する。解析モジュール４０は、例えば、ＩｏＴ機器２００の形状、型式、構造物の位置等を特徴量として抽出する。 The data transmission / reception module 20 receives captured image data. The analysis module 40 performs image analysis of the captured image based on the captured image data (step S12). In step S12, the analysis module 40 performs image analysis of the captured image by executing various types of analysis, recognition, and processing such as pattern recognition, color tone recognition, dimension measurement, and edge extraction, for example. The analysis module 40 extracts, for example, the shape, model, position of the structure, etc. of the IoT device 200 as the feature amount.
　なお、ステップＳ１２の処理は、コンピュータ１０の代わりに、ユーザ端末１００が実行してもよい。この場合、ユーザ端末１００が、撮像画像を画像解析し、上述した特徴量を抽出すればよい。 Note that the process of step S12 may be executed by the user terminal 100 instead of the computer 10. In this case, the user terminal 100 may analyze the captured image and extract the above-described feature amount.
　機器特定モジュール４１は、抽出された特徴量に基づいて、ＩｏＴ機器２００を特定する（ステップＳ１３）。ステップＳ１３において、機器特定モジュール４１は、抽出した特徴量に基づいて、データ記憶モジュール３０が記憶する機器データベースに格納されたＩｏＴ機器２００の特徴量と比較することにより、抽出された特徴量に対応するＩｏＴ機器２００を特定する。 The device identification module 41 identifies the IoT device 200 based on the extracted feature amount (step S13). In step S13, the device identification module 41 compares the extracted feature value with the feature value of the IoT device 200 stored in the device database stored in the data storage module 30 based on the extracted feature value. The IoT device 200 to be identified is specified.
　なお、ステップＳ１３の処理は、コンピュータ１０の代わりに、ユーザ端末１００が実行してもよい。この場合、ユーザ端末１００が、機器データベースを記憶又はコンピュータ１０等から機器データベースに該当する情報を取得することにより、抽出された特徴量に対応するＩｏＴ機器２００を特定すればよい。 Note that the process of step S13 may be executed by the user terminal 100 instead of the computer 10. In this case, the user terminal 100 may specify the IoT device 200 corresponding to the extracted feature amount by storing the device database or acquiring information corresponding to the device database from the computer 10 or the like.
　［機器データベース］
　機器データベースについて説明する。機器データベースは、ＩｏＴ機器２００の特徴量と、このＩｏＴ機器２００の名称、製造メーカ、型式等の機器データとを対応付けたデータベースである。機器データベースは、特徴量として、例えば、ＩｏＴ機器２００の形状、色、構造物の形状等を記憶する。機器特定モジュール４１は、抽出されたＩｏＴ機器２００の特徴量と、この機器データベースに格納された特徴量とを比較し、一致するＩｏＴ機器２００の特徴量に対応付けられた機器データを特定することにより、ＩｏＴ機器２００を特定する。 [Device database]
The device database will be described. The device database is a database in which the feature amount of the IoT device 200 is associated with device data such as the name, manufacturer, and model of the IoT device 200. The device database stores, for example, the shape, color, and shape of the structure of the IoT device 200 as feature amounts. The device specifying module 41 compares the extracted feature amount of the IoT device 200 with the feature amount stored in the device database, and specifies device data associated with the matching feature amount of the IoT device 200. Thus, the IoT device 200 is specified.
　ユーザーインターフェース特定モジュール４２は、特定したＩｏＴ機器２００のユーザーインターフェースを特定する（ステップＳ１４）。ユーザーインターフェースとは、画面内のアイコンや文字等の位置への指示入力を受け付ける画面構成である。ステップＳ１４において、ユーザーインターフェース特定モジュール４２は、特定されたＩｏＴ機器２００の機器データに基づいて、データ記憶モジュール３０が記憶するユーザーインターフェースデータベースに格納されたＩｏＴ機器２００の機器データと比較することにより、特定されたＩｏＴ機器２００の機器データに対応するユーザーインターフェースを特定する。このユーザーインターフェースとは、例えば、操作画面、設定画面、説明書、機器状態等である。 The user interface specifying module 42 specifies the user interface of the specified IoT device 200 (step S14). The user interface is a screen configuration that accepts an instruction input to a position such as an icon or a character on the screen. In step S14, the user interface specifying module 42 compares the device data of the IoT device 200 stored in the user interface database stored in the data storage module 30 based on the device data of the specified IoT device 200, A user interface corresponding to the device data of the specified IoT device 200 is specified. The user interface is, for example, an operation screen, a setting screen, a manual, a device state, or the like.
　［ユーザーインターフェースデータベース］
　ユーザーインターフェースデータベースについて説明する。ユーザーインターフェースデータベースは、ＩｏＴ機器２００の機器データと、このＩｏＴ機器２００のユーザーインターフェースとを対応付けたデータベースである。ユーザーインターフェースデータベースは、機器データとして、例えば、製造メーカ、型式等を記憶する。ユーザーインターフェース特定モジュール４２は、特定されたＩｏＴ機器２００の機器データと、このユーザーインターフェースデータベースに格納された機器データとを比較し、一致する機器データに対応付けられたユーザーインターフェースを特定することにより、ＩｏＴ機器２００のユーザーインターフェースを特定する。 [User interface database]
The user interface database will be described. The user interface database is a database in which device data of the IoT device 200 is associated with a user interface of the IoT device 200. The user interface database stores, for example, a manufacturer and model as device data. The user interface specifying module 42 compares the device data of the specified IoT device 200 with the device data stored in the user interface database, and specifies the user interface associated with the matching device data. The user interface of the IoT device 200 is specified.
　ユーザーインターフェース特定モジュール４２は、ユーザーインターフェースを特定できたか否かを判断する（ステップＳ１５）。ステップＳ１５において、ユーザーインターフェース特定モジュール４２は、上述したステップＳ１４の処理で、特定されたＩｏＴ機器２００のユーザーインターフェースを特定できたか否かを判断する。ユーザーインターフェース特定モジュール４２は、例えば、機器データの判別ができ、この機器データに対応するユーザーインターフェースが特定できたか否か、機器データの判別ができなかったか否か等に基づいて、ユーザーインターフェースを特定できたか否かを判断する。 The user interface specifying module 42 determines whether the user interface has been specified (step S15). In step S15, the user interface specifying module 42 determines whether or not the user interface of the specified IoT device 200 has been specified in the process of step S14 described above. The user interface identification module 42 can identify the device interface based on, for example, whether the device data can be identified, whether the user interface corresponding to the device data has been identified, whether the device data has not been identified, or the like. It is judged whether it was able to be done.
　ステップＳ１５において、ユーザーインターフェース特定モジュール４２は、ユーザーインターフェースを特定できなかったと判断した場合（ステップＳ１５　ＮＯ）、上述したステップＳ１３の処理で特定した機器データに基づいて、このＩｏＴ機器２００の種別に応じた汎用的なユーザーインターフェースである汎用ユーザーインターフェースを取得する（ステップＳ１６）。ステップＳ１６において、ユーザーインターフェース特定モジュール４２は、機器データのうち、ＩｏＴ機器２００の種別や機器名に基づいて、汎用ユーザーインターフェースを特定し、取得する。 In step S15, when the user interface specifying module 42 determines that the user interface could not be specified (NO in step S15), the user interface specifying module 42 responds to the type of the IoT device 200 based on the device data specified in step S13 described above. A general-purpose user interface that is a general-purpose user interface is acquired (step S16). In step S16, the user interface specifying module 42 specifies and acquires a general-purpose user interface based on the type and device name of the IoT device 200 in the device data.
　一方、ステップＳ１５において、ユーザーインターフェース特定モジュール４２は、ユーザーインターフェースを特定できたと判断した場合（ステップＳ１５　ＹＥＳ）、特定されたＩｏＴ機器２００に対応するユーザーインターフェースを取得する（ステップＳ１７）。 On the other hand, if it is determined in step S15 that the user interface identification module 42 has identified the user interface (YES in step S15), the user interface identification module 42 acquires a user interface corresponding to the identified IoT device 200 (step S17).
　なお、ステップＳ１４～ステップＳ１７の処理は、コンピュータ１０の代わりに、ユーザ端末１００が実行してもよい。この場合、ユーザ端末１００が、ユーザーインターフェースデータベースを記憶又はコンピュータ１０等からユーザーインターフェースデータベースに該当する情報を取得することにより、特定された機器データに対応するユーザーインターフェース又は汎用ユーザーインターフェースを特定し、取得すればよい。 Note that the processing of step S14 to step S17 may be executed by the user terminal 100 instead of the computer 10. In this case, the user terminal 100 stores the user interface database or acquires information corresponding to the user interface database from the computer 10 or the like, thereby specifying and acquiring the user interface or general-purpose user interface corresponding to the specified device data. do it.
　ＵＲＬ作成モジュール４３は、特定したユーザーインターフェースへユーザ端末１００がアクセスするためのＵＲＬを作成する（ステップＳ１８）。ＵＲＬ作成モジュール４３は、取得したユーザーインターフェースの一部又は全部へアクセスするためのＵＲＬを作成する。ＵＲＬ作成モジュール４３は、予め設定されたユーザーインターフェースの一部、ユーザ端末１００が指定するユーザーインターフェースの一部等に基づいて、取得したユーザーインターフェースの一部へアクセスするためのＵＲＬを作成してもよいし、取得したユーザーインターフェースの全部へアクセスするためのＵＲＬを作成してもよい。このようにすることにより、コンピュータ１０は、ユーザーインターフェースをＷｅｂページとして、ユーザ端末１００に提供することが可能となる。ＵＲＬは、ユーザーインターフェース又は汎用ユーザーインターフェースのいずれの場合であっても、ＵＲＬを作成する。 The URL creation module 43 creates a URL for the user terminal 100 to access the identified user interface (step S18). The URL creation module 43 creates a URL for accessing part or all of the acquired user interface. The URL creation module 43 may create a URL for accessing a part of the acquired user interface based on a part of the preset user interface, a part of the user interface specified by the user terminal 100, or the like. Alternatively, a URL for accessing the entire acquired user interface may be created. By doing so, the computer 10 can provide the user interface 100 to the user terminal 100 as a Web page. The URL is created regardless of whether it is a user interface or a general-purpose user interface.
　なお、コンピュータ１０は、ＵＲＬを作成するのではなく、取得したユーザーインターフェースのデータを、ユーザーインターフェースデータとして、ユーザ端末１００に送信してもよい。 Note that the computer 10 may transmit the acquired user interface data as user interface data to the user terminal 100 instead of creating a URL.
　データ送受信モジュール２０は、作成されたＵＲＬをＵＲＬデータとして、ユーザ端末１００に送信する（ステップＳ１９）。 The data transmission / reception module 20 transmits the created URL as URL data to the user terminal 100 (step S19).
　データ送受信モジュール１５０は、ＵＲＬデータを受信する。表示モジュール１７１は、ＵＲＬデータに基づいて、ＵＲＬを表示する（ステップＳ２０）。 The data transmission / reception module 150 receives URL data. The display module 171 displays the URL based on the URL data (step S20).
　入力受付モジュール１７２は、ユーザからのＵＲＬへの選択入力を受け付け、コンピュータ１０にアクセスし、Ｗｅｂページとしてユーザーインターフェースを表示する（ステップＳ２１）。 The input receiving module 172 receives a selection input to the URL from the user, accesses the computer 10, and displays the user interface as a Web page (step S21).
　図６は、表示モジュール１７１が表示するＩｏＴ機器２００に対応するユーザーインターフェースの一例を示す図である。図６において、ＩｏＴ機器２００は、エアコンであるものとして説明する。図６において、表示モジュール１７１は、ユーザーインターフェース画面４００として、機種名表示アイコン４１０、説明書選択アイコン４２０、設定選択アイコン４３０、運転状況選択アイコン４４０、リモコン選択アイコン４５０を表示する。 FIG. 6 is a diagram illustrating an example of a user interface corresponding to the IoT device 200 displayed by the display module 171. In FIG. 6, the IoT device 200 will be described as an air conditioner. In FIG. 6, the display module 171 displays a model name display icon 410, a manual selection icon 420, a setting selection icon 430, an operation status selection icon 440, and a remote control selection icon 450 as the user interface screen 400.
　図６において、機種名表示アイコン４１０は、ＩｏＴ機器２００の種別及び型式を表示する。説明書選択アイコン４２０は、ユーザからの選択入力を受け付け、ＩｏＴ機器２００の説明書を表示する。設定選択アイコン４３０は、ユーザからの選択入力を受け付け、ＩｏＴ機器２００の設定画面を表示する。運転状況選択アイコン４４０は音声入力アイコン４６０を表示するとともに、ユーザからの選択入力や音声入力を受け付け、ＩｏＴ機器２００の運転状況画面を表示する。ユーザは、音声入力アイコン４６０を選択することにより、運転状況選択アイコン４４０の操作を音声により実行することが可能となる。リモコン選択アイコン４５０は、音声入力アイコン４６０を表示するとともに、ユーザからの選択入力や音声入力を受け付け、ＩｏＴ機器２００のリモコン画面を表示する。ユーザは、音声入力アイコン４６０を選択することにより、リモコン選択アイコン４５０の操作を音声により実行することが可能となる。 6, the model name display icon 410 displays the type and model of the IoT device 200. The instruction selection icon 420 receives a selection input from the user and displays an instruction of the IoT device 200. The setting selection icon 430 receives a selection input from the user and displays a setting screen of the IoT device 200. The driving status selection icon 440 displays a voice input icon 460, accepts a selection input or voice input from the user, and displays a driving status screen of the IoT device 200. By selecting the voice input icon 460, the user can execute the operation of the driving situation selection icon 440 by voice. The remote control selection icon 450 displays a voice input icon 460, accepts a selection input or voice input from the user, and displays a remote control screen of the IoT device 200. By selecting the voice input icon 460, the user can perform an operation of the remote control selection icon 450 by voice.
　なお、上述した各アイコンへの選択入力は、其々に対して選択入力だけでなく音声入力を受け付けてもよい。また、上述した各アイコンは、予めユーザが設定することにより、一部のアイコンのみを表示してもよい。また、上述した各アイコン以外のアイコンや説明を表示してもよい。また、上述した各アイコンの表示態様、表示位置等は、適宜変更可能であり、ＩｏＴ機器２００の機器データに対応するものであればよい。 In addition, the selection input to each icon mentioned above may accept not only the selection input but also the voice input. In addition, only a part of the icons described above may be displayed by the user setting in advance. Moreover, you may display icons and description other than each icon mentioned above. Moreover, the display mode, display position, and the like of each icon described above can be changed as appropriate, and may be anything corresponding to the device data of the IoT device 200.
　図７は、表示モジュール１７１が表示するリモコン選択アイコン４５０をユーザが選択した状態を示すユーザーインターフェースの一例を示す図である。ユーザが上述した他のアイコンを選択した場合、同様に、選択されたアイコンに対応するユーザーインターフェースを表示する。図７において、表示モジュール１７１は、ユーザーインターフェース画面５００として、機種名表示アイコン５１０、運転内容表示アイコン５２０、冷房アイコン５３０、除湿アイコン５４０、暖房アイコン５５０、送信アイコン５６０、停止アイコン５７０を表示する。 FIG. 7 is a diagram showing an example of a user interface showing a state where the user has selected the remote control selection icon 450 displayed by the display module 171. When the user selects another icon described above, similarly, a user interface corresponding to the selected icon is displayed. In FIG. 7, the display module 171 displays a model name display icon 510, an operation content display icon 520, a cooling icon 530, a dehumidification icon 540, a heating icon 550, a transmission icon 560, and a stop icon 570 as the user interface screen 500.
　図７において、機種名表示アイコン５１０は、ＩｏＴ機器２００の種別、型式及び現在の画面内容を表示する。運転内容表示アイコン５２０は、運転の種類、設定温度、風向の上下、風向の作用、風量を其々表示する。運転内容表示アイコン５２０は、ユーザからの選択入力を受け付け、運転内容を変更する。例えば、設定温度の変更、風向の変更、風量の変更等に対する選択入力を受け付け、運転内容を変更する。冷房アイコン５３０、除湿アイコン５４０、暖房アイコン５５０は、ユーザからの選択入力を受け付け、運転内容を、選択されたアイコンに応じて変更する。送信アイコン５６０は、ユーザからの選択入力を受け付け、コンピュータ１０は、ユーザ端末１００又はＩｏＴ機器２００に入力された情報に基づいた指示を送信する。また、停止アイコン５７０は、ユーザからの選択入力を受け付け、コンピュータ１０は、ユーザ端末１００又はＩｏＴ機器２００の運転を停止する指示を送信する。 7, the model name display icon 510 displays the type, model, and current screen content of the IoT device 200. The operation content display icon 520 displays the type of operation, the set temperature, the up / down direction of the wind direction, the action of the wind direction, and the air volume. The operation content display icon 520 receives a selection input from the user and changes the operation content. For example, a selection input for a change in set temperature, a change in wind direction, a change in air volume, or the like is received, and the operation content is changed. The cooling icon 530, the dehumidification icon 540, and the heating icon 550 accept selection input from the user, and change the operation content according to the selected icon. The transmission icon 560 receives a selection input from the user, and the computer 10 transmits an instruction based on information input to the user terminal 100 or the IoT device 200. The stop icon 570 receives a selection input from the user, and the computer 10 transmits an instruction to stop the operation of the user terminal 100 or the IoT device 200.
　なお、図７において、説明したユーザーインターフェース画面５００は、上述した画面に限らず、適宜変更可能である。また、上述した各アイコンへの選択入力は、其々に対して、選択入力だけでなく音声入力を受け付けてもよい。また、上述した各アイコンは、予めユーザが設定することにより、一部のアイコンのみを表示してもよい。また、上述した各アイコン以外のアイコンや説明を表示してもよい。また、表示する各アイコンの表示態様、表示位置等は、適宜変更可能であり、ＩｏＴ機器２００に対応するものであればよい。 In addition, the user interface screen 500 demonstrated in FIG. 7 is not restricted to the screen mentioned above, It can change suitably. Moreover, the selection input to each icon mentioned above may accept not only the selection input but also the voice input. In addition, only a part of the icons described above may be displayed by the user setting in advance. Moreover, you may display icons and description other than each icon mentioned above. In addition, the display mode, display position, and the like of each icon to be displayed can be changed as appropriate, and any icon corresponding to the IoT device 200 may be used.
　図８は、表示モジュール１７１が表示するＩｏＴ機器２００の種別に対応する汎用ユーザーインターフェースの一例を示す図である。図８において、ＩｏＴ機器２００は、エアコンであるものとして説明する。図８において、表示モジュール１７１は、汎用ユーザーインターフェース画面６００として、種別表示アイコン６１０、設定選択アイコン６２０、運転状況選択アイコン６３０、リモコン選択アイコン６４０、機種指定アイコン６５０を表示する。 FIG. 8 is a diagram illustrating an example of a general-purpose user interface corresponding to the type of the IoT device 200 displayed by the display module 171. In FIG. 8, the IoT device 200 will be described as an air conditioner. In FIG. 8, the display module 171 displays a type display icon 610, a setting selection icon 620, an operation status selection icon 630, a remote control selection icon 640, and a model designation icon 650 as a general-purpose user interface screen 600.
　図８において、種別表示アイコン６１０は、ＩｏＴ機器２００の種別を表示するとともに、機種名が不明であることを表示する。設定選択アイコン６２０は、ユーザからの選択入力を受け付け、ＩｏＴ機器２００の種別に対応する汎用的な設定画面を表示する。運転状況選択アイコン６３０は、音声入力アイコン６６０を表示するとともに、ユーザからの選択入力や音声入力を受け付け、ＩｏＴ機器２００の種別に対応する汎用的な運転状況画面を表示する。リモコン選択アイコン６４０は、音声入力アイコン６６０を表示するとともに、ユーザからの選択入力や音声入力を受け付け、ＩｏＴ機器２００の種別に対応する汎用的なリモコン画面を表示する。機種指定アイコン６５０は、ユーザからの選択入力や音声入力を受け付け、ＩｏＴ機器２００の型式名等のＩｏＴ機器２００を一意に特定可能な特定情報の入力を受け付ける画面を機種指定画面として表示する。ユーザは、機種指定画面において、特定情報を入力し、コンピュータ１０は、この特定情報に基づいて、ＩｏＴ機器２００を特定するとともに、この特定したＩｏＴ機器２００のユーザーインターフェースを特定し、このユーザーインターフェースに基づいて、上述したステップＳ１７以降の処理を実行する。すなわち、汎用ユーザーインターフェース画面６００において、ユーザは、所望するＩｏＴ機器２００のユーザーインターフェースを取得することが可能となり、このＩｏＴ機器２００の操作が容易となる。 In FIG. 8, the type display icon 610 displays the type of the IoT device 200 and that the model name is unknown. The setting selection icon 620 receives a selection input from the user and displays a general-purpose setting screen corresponding to the type of the IoT device 200. The driving status selection icon 630 displays a voice input icon 660, accepts a selection input or voice input from the user, and displays a general-purpose driving status screen corresponding to the type of the IoT device 200. The remote control selection icon 640 displays a voice input icon 660, accepts a selection input or voice input from the user, and displays a general-purpose remote control screen corresponding to the type of the IoT device 200. The model designation icon 650 receives a selection input or voice input from the user, and displays a screen for accepting input of specific information that can uniquely identify the IoT device 200 such as a model name of the IoT device 200 as a model designation screen. The user inputs specific information on the model designation screen, and the computer 10 specifies the IoT device 200 based on the specific information, specifies the user interface of the specified IoT device 200, and uses this user interface. Based on this, the processing from step S17 onward is executed. That is, on the general-purpose user interface screen 600, the user can acquire a desired user interface of the IoT device 200, and the operation of the IoT device 200 becomes easy.
　なお、上述した各アイコンへの選択入力は、其々に対して選択入力だけでなく音声入力を受け付けてもよい。また、上述した各アイコンは、予めユーザが設定することにより、一部のアイコンのみを表示してもよい。また、上述した各アイコン以外のアイコンや説明を表示してもよい。また、上述した各アイコンの表示態様、表示位置等は、適宜変更可能であり、ＩｏＴ機器２００の種別に対応するものであればよい。 In addition, the selection input to each icon mentioned above may accept not only the selection input but also the voice input. In addition, only a part of the icons described above may be displayed by the user setting in advance. Moreover, you may display icons and description other than each icon mentioned above. Moreover, the display mode, display position, and the like of each icon described above can be changed as appropriate, and may be anything that corresponds to the type of the IoT device 200.
　図９は、表示モジュール１７１が表示するリモコン選択アイコン６４０をユーザが選択した状態を示す汎用ユーザーインターフェースの一例を示す図である。ユーザが上述した他のアイコンを選択した場合、同様に、選択されたアイコンに対応する汎用ユーザーインターフェースを表示する。図９において、表示モジュール１７１は、汎用ユーザーインターフェース画面７００として、種別表示アイコン７１０、運転内容表示アイコン７２０、冷房アイコン７３０、除湿アイコン７４０、暖房アイコン７５０、送信アイコン７６０、停止アイコン７７０を表示する。 FIG. 9 is a diagram showing an example of a general-purpose user interface showing a state where the user has selected the remote control selection icon 640 displayed by the display module 171. When the user selects another icon described above, similarly, a general-purpose user interface corresponding to the selected icon is displayed. In FIG. 9, the display module 171 displays a type display icon 710, an operation content display icon 720, a cooling icon 730, a dehumidification icon 740, a heating icon 750, a transmission icon 760, and a stop icon 770 as a general-purpose user interface screen 700.
　図９において、種別表示アイコン７１０は、ＩｏＴ機器２００の種別及び現在の画面内容を表示する。運転内容表示アイコン７２０は、現在の運転内容を表示する。運転内容表示アイコン７２０は、運転の種類、設定温度を其々表示する。運転内容表示アイコン７２０は、ユーザからの選択入力を受け付け、運転内容を変更する。例えば、設定温度の変更等に対する選択入力を受け付け、運転内容を変更する。冷房アイコン７３０、除湿アイコン７４０、暖房アイコン７５０は、ユーザからの選択入力を受け付け、運転内容を、選択されたアイコンに応じて変更する。送信アイコン７６０は、ユーザからの選択入力を受け付け、コンピュータ１０は、ユーザ端末１００又はＩｏＴ機器２００に入力された情報に基づいた指示を送信する。また、停止アイコン７７０は、ユーザからの選択入力を受け付け、コンピュータ１０は、ユーザ端末１００又はＩｏＴ機器２００の運転を停止する指示を送信する。 9, the type display icon 710 displays the type of the IoT device 200 and the current screen content. The operation content display icon 720 displays the current operation content. The operation content display icon 720 displays the type of operation and the set temperature. The operation content display icon 720 accepts a selection input from the user and changes the operation content. For example, a selection input for changing the set temperature or the like is received, and the operation content is changed. The cooling icon 730, the dehumidification icon 740, and the heating icon 750 receive selection input from the user, and change the operation content according to the selected icon. The transmission icon 760 receives a selection input from the user, and the computer 10 transmits an instruction based on information input to the user terminal 100 or the IoT device 200. The stop icon 770 receives a selection input from the user, and the computer 10 transmits an instruction to stop the operation of the user terminal 100 or the IoT device 200.
　なお、図９において、説明した汎用ユーザーインターフェース画面７００は、上述した画面に限らず、適宜変更可能である。また、上述した各アイコンへの選択入力は、其々に対して、選択入力だけでなく音声入力を受け付けてもよい。また、上述した各アイコンは、予めユーザが設定することにより、一部のアイコンのみを表示してもよい。また、上述した各アイコン以外のアイコンや説明を表示してもよい。また、表示する各アイコンの表示態様、表示位置等は、適宜変更可能であり、ＩｏＴ機器２００の種別に対応するものであればよい。 Note that the general-purpose user interface screen 700 described in FIG. 9 is not limited to the screen described above, and can be changed as appropriate. Moreover, the selection input to each icon mentioned above may accept not only the selection input but also the voice input. In addition, only a part of the icons described above may be displayed by the user setting in advance. Moreover, you may display icons and description other than each icon mentioned above. In addition, the display mode, display position, and the like of each icon to be displayed can be changed as appropriate, and may be anything corresponding to the type of the IoT device 200.
　入力受付モジュール１７２は、表示したユーザーインターフェースに対する入力を受け付けたか否かを判断する（ステップＳ２２）。ステップＳ２２において、入力受付モジュール１７２は、上述した送信アイコン５６０，７６０又は停止アイコン５７０，７７０の入力を受け付けたか否かに基づいて判断する。なお、入力受付モジュール１７２は、その他の入力を受け付けたか否かを判断してもよい。 The input receiving module 172 determines whether or not an input to the displayed user interface has been received (step S22). In step S22, the input reception module 172 makes a determination based on whether or not the input of the transmission icons 560 and 760 or the stop icons 570 and 770 described above has been received. Note that the input reception module 172 may determine whether other input has been received.
　ステップＳ２２において、入力受付モジュール１７２は、受け付けていないと判断した場合（ステップＳ２２　ＮＯ）、本処理を繰り返す。なお、ステップＳ２２において、入力受付モジュール１７２は、ユーザーインターフェースの表示を終了する入力を受け付けた場合、本処理を終了する。 In step S22, when the input reception module 172 determines that the input is not received (NO in step S22), the process is repeated. In step S22, when the input reception module 172 receives an input for ending display of the user interface, the process ends.
　ステップＳ２２において、入力受付モジュール１７２は、受け付けたと判断した場合（ステップＳ２２　ＹＥＳ）、データ送受信モジュール２０は、入力された情報に基づいて指示を、ユーザ端末１００に送信する（ステップＳ２３）。 In step S22, when the input reception module 172 determines that the input has been received (step S22: YES), the data transmission / reception module 20 transmits an instruction to the user terminal 100 based on the input information (step S23).
　なお、ステップＳ２３において、データ送受信モジュール２０は、指示を直接ＩｏＴ機器２００に送信してもよい。この場合、データ送受信モジュール２０は、公衆回線網５等を介して、ＩｏＴ機器２００に指示を送信する。 In step S23, the data transmission / reception module 20 may directly transmit an instruction to the IoT device 200. In this case, the data transmission / reception module 20 transmits an instruction to the IoT device 200 via the public line network 5 or the like.
　データ送受信モジュール１５０は、コンピュータ１０が送信した指示を受信する。データ送受信モジュール１５０は、この指示を、ＩｏＴ機器２００に送信する（ステップＳ２４）。ステップＳ２４において、データ送受信モジュール１５０は、近距離無線を用いて、この指示を、ＩｏＴ機器２００に送信する。 The data transmission / reception module 150 receives the instruction transmitted by the computer 10. The data transmission / reception module 150 transmits this instruction to the IoT device 200 (step S24). In step S <b> 24, the data transmission / reception module 150 transmits this instruction to the IoT device 200 using the short-range wireless.
　なお、データ送受信モジュール１５０は、指示を、有線接続等の他の通信方式によりＩｏＴ機器２００に送信してもよい。 Note that the data transmission / reception module 150 may transmit the instruction to the IoT device 200 by another communication method such as a wired connection.
　データ送受信モジュール２５０は、指示を受信する。駆動モジュール２７０は、受信した指示に基づいて、挙動を実行する（ステップＳ２５）。ステップＳ２５において、駆動モジュール２７０は、例えば、エアコンの温度設定、風向や風量等の調節、エアコンの動作停止等の各種挙動を実行する。なお、駆動モジュール２７０は、上述した例に限らずその他の挙動を実行してもよい。 The data transmission / reception module 250 receives the instruction. The drive module 270 performs a behavior based on the received instruction (step S25). In step S25, the drive module 270 executes various behaviors such as, for example, setting the temperature of the air conditioner, adjusting the wind direction and the air volume, and stopping the operation of the air conditioner. The drive module 270 is not limited to the example described above, and may execute other behaviors.
　以上が、ＩｏＴ機器ユーザーインターフェース表示処理である。 The above is the IoT device user interface display processing.
　上述した手段、機能は、コンピュータ（ＣＰＵ、情報処理装置、各種端末を含む）が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、フレキシブルディスク、ＣＤ（ＣＤ－ＲＯＭなど）、ＤＶＤ（ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭなど）等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置又は外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置（記録媒体）に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。 The means and functions described above are realized by a computer (including a CPU, an information processing apparatus, and various terminals) reading and executing a predetermined program. The program is provided in a form recorded on a computer-readable recording medium such as a flexible disk, CD (CD-ROM, etc.), DVD (DVD-ROM, DVD-RAM, etc.). In this case, the computer reads the program from the recording medium, transfers it to the internal storage device or the external storage device, stores it, and executes it. The program may be recorded in advance in a storage device (recording medium) such as a magnetic disk, an optical disk, or a magneto-optical disk, and provided from the storage device to a computer via a communication line.
　以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。 As mentioned above, although embodiment of this invention was described, this invention is not limited to these embodiment mentioned above. The effects described in the embodiments of the present invention are only the most preferable effects resulting from the present invention, and the effects of the present invention are limited to those described in the embodiments of the present invention. is not.
　１　ＩｏＴ機器ユーザーインターフェース表示システム、１０　コンピュータ、１００　ユーザ端末、２００　ＩｏＴ機器 1 IoT device user interface display system, 10 computers, 100 user terminals, 200 IoT devices

Claims (6)

  1. 　ユーザ端末にＩｏＴ機器のユーザーインターフェースを表示するＩｏＴ機器ユーザーインターフェース表示システムであって、
    　カメラで撮像されたＩｏＴ機器の撮像画像を取得する撮像画像取得手段と、
    　前記取得された撮像画像を画像解析する画像解析手段と、
    　前記画像解析された結果に基づいて、前記ＩｏＴ機器を特定するＩｏＴ機器特定手段と、
    　前記特定されたＩｏＴ機器のユーザーインターフェースを特定するユーザーインターフェース特定手段と、
    　前記特定されたユーザーインターフェースを前記ユーザ端末に表示するユーザーインターフェース表示手段と、
    　を備えることを特徴とするＩｏＴ機器ユーザーインターフェース表示システム。     An IoT device user interface display system for displaying a user interface of an IoT device on a user terminal,
    Captured image acquisition means for acquiring a captured image of an IoT device imaged by a camera;
    Image analysis means for image analysis of the acquired captured image;
    IoT device specifying means for specifying the IoT device based on the image analysis result;
    User interface specifying means for specifying a user interface of the specified IoT device;
    User interface display means for displaying the identified user interface on the user terminal;
    An IoT device user interface display system comprising:
  2. 　前記表示されたユーザーインターフェースに対する入力を受け付ける入力受付手段と、
    　前記入力された情報を、前記特定されたＩｏＴ機器に送信する情報送信手段と、
    　を備えることを特徴とする請求項１に記載のＩｏＴ機器ユーザーインターフェース表示システム。     An input receiving means for receiving an input to the displayed user interface;
    Information transmitting means for transmitting the input information to the specified IoT device;
    The IoT device user interface display system according to claim 1, further comprising:
  3. 　前記情報送信手段は、前記ユーザ端末から前記特定されたＩｏＴ機器に対して近距離無線を用いて、前記入力された情報を送信する、
    　ことを特徴とする請求項２に記載のＩｏＴ機器ユーザーインターフェース表示システム。     The information transmission means transmits the input information from the user terminal to the specified IoT device using short-range radio.
    The IoT device user interface display system according to claim 2, wherein:
  4. 　前記ユーザーインターフェース特定手段は、前記特定されたＩｏＴ機器のユーザーインターフェースを特定できなかった場合、当該ＩｏＴ機器の種別に応じた汎用的なユーザーインターフェースを特定し、
    　前記ユーザーインターフェース表示手段は、前記特定された汎用的なユーザーインターフェースを前記ユーザ端末に表示する、
    　ことを特徴とする請求項１に記載のＩｏＴ機器ユーザーインターフェース表示システム。     If the user interface identification unit cannot identify the user interface of the identified IoT device, it identifies a general-purpose user interface according to the type of the IoT device,
    The user interface display means displays the specified general-purpose user interface on the user terminal.
    The IoT device user interface display system according to claim 1.
  5. 　ユーザ端末にＩｏＴ機器のユーザーインターフェースを表示するＩｏＴ機器ユーザーインターフェース表示方法であって、
    　カメラで撮像されたＩｏＴ機器の撮像画像を取得するステップと、
    　前記取得された撮像画像を画像解析するステップと、
    　前記画像解析された結果に基づいて、前記ＩｏＴ機器を特定するステップと、
    　前記特定されたＩｏＴ機器のユーザーインターフェースを特定するステップと、
    　前記特定されたユーザーインターフェースを前記ユーザ端末に表示するステップと、
    　を備えることを特徴とするＩｏＴ機器ユーザーインターフェース表示方法。     An IoT device user interface display method for displaying a user interface of an IoT device on a user terminal,
    Obtaining a captured image of the IoT device captured by the camera;
    Analyzing the acquired captured image; and
    Identifying the IoT device based on the image analysis result;
    Identifying a user interface of the identified IoT device;
    Displaying the identified user interface on the user terminal;
    An IoT device user interface display method comprising:
  6. 　ユーザ端末にＩｏＴ機器のユーザーインターフェースを表示するＩｏＴ機器ユーザーインターフェース表示システムに、
    　カメラで撮像されたＩｏＴ機器の撮像画像を取得するステップ、
    　前記取得された撮像画像を画像解析するステップ、
    　前記画像解析された結果に基づいて、前記ＩｏＴ機器を特定するステップ、
    　前記特定されたＩｏＴ機器のユーザーインターフェースを特定するステップ、
    　前記特定されたユーザーインターフェースを前記ユーザ端末に表示するステップ、
    　を実行させるためのプログラム。     In the IoT device user interface display system that displays the user interface of the IoT device on the user terminal,
    Obtaining a captured image of an IoT device captured by a camera;
    Image analysis of the acquired captured image;
    Identifying the IoT device based on the image analysis result;
    Identifying a user interface of the identified IoT device;
    Displaying the identified user interface on the user terminal;
    A program for running
PCT/JP2016/073856 2016-08-15 2016-08-15 IoT DEVICE USER INTERFACE DISPLAY SYSTEM, IoT DEVICE USER INTERFACE DISPLAY METHOD, AND PROGRAM WO2018033953A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/073856 WO2018033953A1 (en) 2016-08-15 2016-08-15 IoT DEVICE USER INTERFACE DISPLAY SYSTEM, IoT DEVICE USER INTERFACE DISPLAY METHOD, AND PROGRAM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/073856 WO2018033953A1 (en) 2016-08-15 2016-08-15 IoT DEVICE USER INTERFACE DISPLAY SYSTEM, IoT DEVICE USER INTERFACE DISPLAY METHOD, AND PROGRAM

Publications (1)

Publication Number Publication Date
WO2018033953A1 true WO2018033953A1 (en) 2018-02-22

Family

ID=61197178

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/073856 WO2018033953A1 (en) 2016-08-15 2016-08-15 IoT DEVICE USER INTERFACE DISPLAY SYSTEM, IoT DEVICE USER INTERFACE DISPLAY METHOD, AND PROGRAM

Country Status (1)

Country Link
WO (1) WO2018033953A1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019184779A (en) * 2018-04-09 2019-10-24 シャープ株式会社 Terminal device, information processor, display system, information display method, information processing method, control program, and electrical apparatus
WO2020085078A1 (en) * 2018-10-24 2020-04-30 オムロン株式会社 Control device
US20220067669A1 (en) * 2020-09-01 2022-03-03 International Business Machines Corporation Predictive device maintenance

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005065118A (en) * 2003-08-19 2005-03-10 Hitachi Ltd Mobile terminal with remote control function and remote control server
JP2007318380A (en) * 2006-05-25 2007-12-06 Pioneer Electronic Corp Remote controller
WO2011086956A1 (en) * 2010-01-18 2011-07-21 日本電気株式会社 Information terminal device, control method using an information terminal device, and program
JP2016144065A (en) * 2015-02-03 2016-08-08 シャープ株式会社 Control terminal device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005065118A (en) * 2003-08-19 2005-03-10 Hitachi Ltd Mobile terminal with remote control function and remote control server
JP2007318380A (en) * 2006-05-25 2007-12-06 Pioneer Electronic Corp Remote controller
WO2011086956A1 (en) * 2010-01-18 2011-07-21 日本電気株式会社 Information terminal device, control method using an information terminal device, and program
JP2016144065A (en) * 2015-02-03 2016-08-08 シャープ株式会社 Control terminal device

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019184779A (en) * 2018-04-09 2019-10-24 シャープ株式会社 Terminal device, information processor, display system, information display method, information processing method, control program, and electrical apparatus
WO2020085078A1 (en) * 2018-10-24 2020-04-30 オムロン株式会社 Control device
US20220067669A1 (en) * 2020-09-01 2022-03-03 International Business Machines Corporation Predictive device maintenance

Similar Documents

Publication Publication Date Title
EP3345379B1 (en) Method for electronic device to control object and electronic device
WO2011086956A1 (en) Information terminal device, control method using an information terminal device, and program
JP6267838B1 (en) Computer system, edge device control method and program
KR20120019699A (en) Method and apparatus for connecting communication
JP6764151B2 (en) Computer system, remote control notification method and program
WO2018033953A1 (en) IoT DEVICE USER INTERFACE DISPLAY SYSTEM, IoT DEVICE USER INTERFACE DISPLAY METHOD, AND PROGRAM
US20210406304A1 (en) Electronic device for generating video comprising character and method thereof
CN106101990B (en) Bluetooth device searching method and device
WO2017026154A1 (en) Information processing device, information processing method, and program
CN104239842A (en) Visual sense identification realization method, device and system
CN105683959A (en) Information processing device, information processing method, and information processing system
JP5997824B1 (en) Remote terminal, remote instruction method, and program for remote terminal
WO2017208356A1 (en) Iot control system, iot control method, and program
JP6404526B2 (en) Captured image sharing system, captured image sharing method, and program
JP2017046324A (en) User terminal, object recognition server, notification method and user terminal program
JP6195960B2 (en) Remote instruction method and remote terminal program
JP6274742B2 (en) Electronic device setting system, electronic device setting method, program for electronic device setting system
JP6404536B1 (en) Computer system, setting method and program
JP6267840B1 (en) Computer system, edge device control method and program
KR102172588B1 (en) Moving picture album production method and system for exhibition hall spectator
US20220276822A1 (en) Information processing apparatus and information processing method
JP6668519B1 (en) Remote control function setting program, remote control server, remote control function setting method, mobile terminal
JP6310624B1 (en) Computer system, setting method and program
JP2017130079A (en) Photographed object information providing system, photographed object information providing method and photographed object information providing program
KR20150089658A (en) System and method for issuing electronic tag for vehicle

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16913483

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC ( EPO FORM 1205A DATED 27/05/2019 )

NENP Non-entry into the national phase

Ref country code: JP

122 Ep: pct application non-entry in european phase

Ref document number: 16913483

Country of ref document: EP

Kind code of ref document: A1