WO2020157857A1 - リモートコントローラ及び遠隔操作システム - Google Patents

リモートコントローラ及び遠隔操作システム Download PDF

Info

Publication number
WO2020157857A1
WO2020157857A1 PCT/JP2019/003144 JP2019003144W WO2020157857A1 WO 2020157857 A1 WO2020157857 A1 WO 2020157857A1 JP 2019003144 W JP2019003144 W JP 2019003144W WO 2020157857 A1 WO2020157857 A1 WO 2020157857A1
Authority
WO
WIPO (PCT)
Prior art keywords
control unit
remote controller
connection
unit
voice
Prior art date
Application number
PCT/JP2019/003144
Other languages
English (en)
French (fr)
Inventor
諒 吉田
大介 飯澤
彩花 田代
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2019/003144 priority Critical patent/WO2020157857A1/ja
Priority to JP2019524480A priority patent/JP6625271B1/ja
Publication of WO2020157857A1 publication Critical patent/WO2020157857A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04QSELECTING
    • H04Q9/00Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom

Definitions

  • the present invention relates to a remote controller and a remote control system.
  • connection target device one selected device of the plurality of devices
  • operation target device the operation input to the connected device (hereinafter, referred to as “connected device”) is accepted. Therefore, the method of selecting the connection target device is important.
  • the method of selecting the device to be connected in the remote controller described in Patent Document 1 is as follows. That is, a plurality of touch sensors are provided along the outer periphery of the dial type remote controller body.
  • the conventional remote controller determines the contact state of the user's finger with the main body of the remote controller based on the detection results of these touch sensors.
  • the conventional remote controller selects a connection target device based on the determined contact state.
  • the conventional method of selecting a connection target device in a remote controller requires an operation of bringing a user's finger into contact with the remote controller main body. There is a problem that the user feels troublesome with respect to the requested operation.
  • the present invention has been made to solve the above problems, and an object of the present invention is to provide a remote controller and a remote control system in which a device to be connected can be easily selected.
  • the remote controller of the present invention includes a voice input unit that receives a voice input by a user, a communication unit that can communicate with each of a plurality of operation target devices, and an instruction voice for an operation target device of the plurality of operation target devices. Is input to the voice input unit, a first selection control unit that selects a connection target device among a plurality of operation target devices based on the instruction voice, and an operation target device of the plurality of operation target devices When a first notification signal indicating that the user has directly operated is received by the communication unit, a selection control unit having a second selection control unit that selects a connection target device based on the first notification signal, And a connection processing unit that executes a connection process for the connection target device when the connection target device is selected by the selection control unit.
  • FIG. 3 is an explanatory diagram showing a system configuration of the remote control system according to the first embodiment.
  • FIG. 3 is a block diagram showing a main part of each operation target device in the remote control system according to the first embodiment.
  • FIG. 3 is a perspective view showing a main part of the remote controller according to the first embodiment.
  • 3 is a block diagram showing a main part of the remote controller according to the first embodiment.
  • FIG. 3 is an explanatory diagram showing a hardware configuration of an operation input unit of the remote controller according to the first embodiment.
  • FIG. 5 is an explanatory diagram showing another hardware configuration of the operation input unit of the remote controller according to the first embodiment.
  • FIG. 3 is an explanatory diagram showing a hardware configuration of a display unit of the remote controller according to the first embodiment.
  • FIG. 5 is an explanatory diagram showing another hardware configuration of the display unit of the remote controller according to the first embodiment.
  • FIG. 3 is an explanatory diagram showing a hardware configuration of a voice input unit of the remote controller according to the first embodiment.
  • FIG. 3 is an explanatory diagram showing a hardware configuration of a voice output unit of the remote controller according to the first embodiment.
  • FIG. 3 is an explanatory diagram showing a hardware configuration of a communication unit of the remote controller according to the first embodiment.
  • FIG. 3 is an explanatory diagram showing a hardware configuration of a control unit of the remote controller according to the first embodiment.
  • FIG. 5 is an explanatory diagram showing another hardware configuration of the control unit of the remote controller according to the first embodiment.
  • FIG. 3 is an explanatory diagram showing a hardware configuration of a voice input unit of the remote controller according to the first embodiment.
  • FIG. 3 is an explanatory diagram showing a hardware configuration of a voice output unit of the remote controller according to the first embodiment.
  • FIG. 3 is an ex
  • FIG. 5 is a flowchart showing the operation of the control unit of each operation target device in the remote control system according to the first embodiment.
  • 5 is a flowchart showing another operation of the control unit of each operation target device in the remote control system according to the first embodiment.
  • 5 is a flowchart showing another operation of the control unit of each operation target device in the remote control system according to the first embodiment.
  • 5 is a flowchart showing the operation of the control unit of the remote controller according to the first embodiment.
  • 3 is a flowchart showing the operation of the control unit of the connection target device in the remote control system according to the first embodiment.
  • FIG. 6 is an explanatory diagram showing another operation of the control unit of the remote controller according to the first embodiment and another operation of the control unit of the connection target device in the remote operation system according to the first embodiment.
  • FIG. 7 is a flowchart showing another operation of the control unit of the remote controller according to the first embodiment.
  • 5 is a block diagram showing a main part of another remote controller according to Embodiment 1.
  • FIG. 7 is an explanatory diagram showing a main part of a control unit of another remote controller according to the first embodiment.
  • FIG. FIG. 5 is an explanatory diagram showing a system configuration of another remote control system according to the first embodiment.
  • FIG. 6 is an explanatory diagram showing a system configuration of a remote control system according to a second embodiment.
  • FIG. 7 is a block diagram showing a main part of a remote controller according to a second embodiment.
  • FIG. 7 is an explanatory diagram showing a main part of a control unit of the remote controller according to the second embodiment.
  • 7 is a flowchart showing the operation of the control unit of the remote controller according to the second embodiment.
  • 9 is a flowchart showing detailed operations of the control unit of the remote controller according to the second embodiment.
  • FIG. 9 is an explanatory diagram showing a system configuration of a remote control system according to a third embodiment.
  • FIG. 9 is a block diagram showing a main part of a remote controller according to a third embodiment.
  • FIG. 11 is an explanatory diagram showing a main part of a control unit of the remote controller according to the third embodiment.
  • FIG. 11 is a block diagram showing a main part of a remote controller according to a fourth embodiment.
  • FIG. 11 is an explanatory diagram showing a main part of a control unit of the remote controller according to the fourth embodiment.
  • 9 is a flowchart showing the operation of the control unit of the remote controller according to the fourth embodiment and the operation of the control unit of the connected device in the remote control system according to the fourth embodiment. It is explanatory drawing which shows the system configuration of the remote control system which concerns on Embodiment 5.
  • FIG. 11 is a block diagram showing a main part of a remote controller according to a fourth embodiment.
  • FIG. 11 is an explanatory diagram showing a main part of a control unit of the remote controller according to the fourth embodiment.
  • 9 is a flowchart showing the operation of the control unit of the remote controller according to the fourth embodiment and the operation of the control unit of the connected device in the remote control system according to the fourth embodiment. It is explanatory drawing which shows the system configuration of the remote control system which concerns on Embodi
  • FIG. 16 is a block diagram showing a main part of a remote controller according to a fifth embodiment.
  • FIG. 17 is an explanatory diagram showing a main part of a control unit of the remote controller according to the fifth embodiment.
  • 16 is a flowchart showing the operation of the control unit of the remote controller according to the fifth embodiment.
  • 16 is a flowchart showing another operation of the control unit of the remote controller according to the fifth embodiment. It is explanatory drawing which shows the system configuration of the remote control system which concerns on Embodiment 6.
  • FIG. 16 is a block diagram showing a main part of a remote controller according to a sixth embodiment.
  • FIG. 17 is an explanatory diagram showing a main part of a control unit of the remote controller according to the sixth embodiment.
  • FIG. 17 is a flowchart showing the operation of the control unit of the remote controller according to the sixth embodiment.
  • 21 is a flowchart showing another operation of the control unit of the remote controller according to the sixth embodiment.
  • It is explanatory drawing which shows the system configuration of the remote control system which concerns on Embodiment 7.
  • It is a block diagram which shows the principal part of the remote controller which concerns on Embodiment 7.
  • FIG. 17 is an explanatory diagram showing a main part of a control unit of the remote controller according to the seventh embodiment.
  • 20 is a flowchart showing the operation of the control unit of the remote controller according to the seventh embodiment.
  • FIG. 1 is an explanatory diagram showing the system configuration of the remote control system according to the first embodiment.
  • FIG. 2 is a block diagram showing a main part of each operation target device in the remote control system according to the first embodiment.
  • FIG. 3 is a perspective view showing a main part of the remote controller according to the first embodiment.
  • FIG. 4 is a block diagram showing a main part of the remote controller according to the first embodiment.
  • FIG. 5 is an explanatory diagram showing the hardware configuration of the operation input unit of the remote controller according to the first embodiment.
  • FIG. 6 is an explanatory diagram showing the hardware configuration of the display unit of the remote controller according to the first embodiment.
  • FIG. 7 is an explanatory diagram showing the hardware configuration of the voice input unit of the remote controller according to the first embodiment.
  • FIG. 8 is an explanatory diagram showing the hardware configuration of the audio output unit of the remote controller according to the first embodiment.
  • FIG. 9 is an explanatory diagram showing the hardware configuration of the communication unit of the remote controller according to the first embodiment.
  • FIG. 10 is an explanatory diagram showing the hardware configuration of the control unit of the remote controller according to the first embodiment.
  • FIG. 11 is an explanatory diagram showing a main part of a control unit of the remote controller according to the first embodiment.
  • the remote control system 100 includes a remote controller 1. Further, the remote control system 100 includes a plurality of operation target devices 2. In the example shown in FIG. 1, the remote control system 100 includes N operation target devices 2_1 to 2_N. Here, N is an arbitrary integer of 2 or more.
  • the remote controller 1 can communicate with each of the plurality of operation target devices 2 via the computer network 3.
  • Each of the plurality of operation target devices 2 is configured by, for example, household electric appliances for cooking (hereinafter referred to as “home appliances”).
  • the plurality of operation target devices 2 include, for example, an IH (Induction Heating) cooker, a microwave oven, and an oven toaster.
  • IH Induction Heating
  • microwave oven a microwave oven
  • oven toaster an oven toaster.
  • home appliance function the original function of the corresponding home appliance
  • each home appliance has a plurality of functions, and at least one function selected from the plurality of functions (hereinafter referred to as “operation target function”) is assigned to the remote controller 1.
  • the remote controller 1 is assigned the function of adjusting the heating power in the IH cooker, the function of setting the heating time in the microwave oven, and the function of setting the heating time in the oven toaster.
  • the remote controller 1 is, for example, in a state of being carried by a user, in a state of being attached to an operation target device 2 of a plurality of operation target devices 2, or on a cooking table. It is used as it is.
  • the computer network 3 is a so-called “home network”. It may be constituted by.
  • the communication between the remote controller 1 and each of the plurality of operation target devices 2 may be via a router (not shown) in the home network.
  • the communication between the remote controller 1 and each of the plurality of operation target devices 2 may be direct communication without passing through the router.
  • the main part of the remote control system 100 is configured in this way.
  • each operation target device 2 will be described with reference to FIG.
  • the corresponding operation target device 2 may be referred to as “own device”.
  • each operation target device 2 has an operation input unit 11, a display unit 12, and a voice output unit 13.
  • the operation input unit 11 receives an operation input by the user.
  • the operation input unit 11 is composed of, for example, a dedicated operation panel.
  • the operation panel of the IH cooker is provided, for example, on the top surface of the IH cooker.
  • the operation panel of the microwave oven is provided, for example, on the front surface of the microwave oven.
  • the operation panel of the oven toaster is provided, for example, on the front surface of the oven toaster.
  • the display unit 12 includes, for example, a display or a light source.
  • the display unit 12 is provided, for example, integrally with the operation panel.
  • the audio output unit 13 is composed of, for example, a speaker.
  • each operation target device 2 has a communication unit 14 and a control unit 15.
  • the communication unit 14 includes, for example, a transmitter and a receiver for wireless communication. Thereby, each operation target device 2 can communicate with the remote controller 1.
  • the control unit 15 is composed of, for example, a processor and a memory, or a processing circuit. The control unit 15 controls the operation of the entire own device.
  • each operation-targeted device 2 has various constituent members for realizing the home appliance function. Illustration and description of these components are omitted.
  • the remote controller 1 is a dial type. As shown in FIGS. 3 and 4, the remote controller 1 has an operation input unit 21, a display unit 22, a voice input unit 23, and a voice output unit 24.
  • the operation input unit 21 is composed of, for example, a dial 31, that is, a dial type remote controller main body 32 (see FIGS. 3 and 5).
  • the operation input unit 21 receives an operation input by the user. More specifically, the operation input unit 21 receives an operation input by turning. In addition to this, the operation input unit 21 may receive an operation input by pressing.
  • the display unit 22 includes, for example, the display 33 or the light source 34 (see FIG. 6).
  • the display 33 is, for example, a liquid crystal display or an organic EL (Electro Luminescence) display.
  • the light source 34 uses, for example, a plurality of LEDs (Light Emitting Diodes) or a plurality of LDs (Laser Diodes).
  • the display unit 22 is provided, for example, on the top surface of the remote controller 1 (see FIG. 3).
  • the voice input unit 23 is composed of, for example, a microphone 35 (see FIG. 7).
  • the voice input unit 23 is provided, for example, on the top surface of the remote controller 1 (see FIG. 3). Alternatively, for example, the voice input unit 23 is provided on the side surface of the remote controller 1 (not shown).
  • the voice input unit 23 receives a voice input by the user.
  • the audio output unit 24 is composed of, for example, a speaker 36 (see FIG. 8).
  • the audio output unit 24 is provided, for example, on the top surface of the remote controller 1 (see FIG. 3). Alternatively, for example, the audio output unit 24 is provided on the side surface of the remote controller 1 (not shown).
  • the remote controller 1 has a communication unit 25 and a control unit 26.
  • the communication unit 25 and the control unit 26 are provided inside the remote controller 1.
  • the communication unit 25 is composed of, for example, a transmitter 37 and a receiver 38 for wireless communication (see FIG. 9). As a result, the remote controller 1 can communicate with each of the plurality of operation target devices 2.
  • the control unit 26 includes, for example, a processor 41 and a memory 42, or a processing circuit 43 (see FIG. 10).
  • the control unit 26 controls the operation of the entire remote controller 1.
  • the processor 41 uses, for example, at least one of a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), a microprocessor, a microcontroller, and a DSP (Digital Signal Processor).
  • a CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • microprocessor a microcontroller
  • DSP Digital Signal Processor
  • the memory 42 is composed of a volatile memory and a non-volatile memory.
  • the volatile memory of the memory 42 is, for example, a RAM (Random Access Memory).
  • the non-volatile memory in the memory 42 is, for example, a ROM (Read Only Memory), a flash memory, an EPROM (Erasable Programmable Read Only Memory), an EEPROM (Electrically DirtyErallyEmableEmryErableEmableEm eryErableEmableEmReady-OlymableEmReady-O-Ready-Omly-Read-Omly-Read-Ory-Read-Only- It uses at least one of (Hard Disk Drive).
  • the processing circuit 43 may be, for example, an ASIC (Application Specific Integrated Circuit), PLD (Programmable Logic Device), FPGA (Field-Integrated Gate Array), or FPGA (Field-Integrated Gate Array) or SoC-Soc (Soc) (Soc)-Soc (S) At least one of the above is used.
  • ASIC Application Specific Integrated Circuit
  • PLD Programmable Logic Device
  • FPGA Field-Integrated Gate Array
  • FPGA Field-Integrated Gate Array
  • SoC-Soc Soc
  • Soc Soc-Soc
  • the main parts of the remote controller 1 are configured in this way.
  • FIG. 11 is referred to in describing the main functions of the functions realized by the control unit 26 of the remote controller 1. That is, as shown in FIG. 11, the control unit 26 has a first selection control unit 51 and a second selection control unit 52. A selection control unit 53 is configured by the first selection control unit 51 and the second selection control unit 52. The control unit 26 also includes a connection processing unit 54, a display control unit 55, and a voice output control unit 56. The display controller 55 and the audio output controller 56 constitute an output controller 57.
  • the first selection control unit 51 has a database DB (not shown) indicating a plurality of words corresponding to each of the plurality of operation target devices 2.
  • the first selection control unit 51 receives a voice (hereinafter referred to as “instruction voice”) including a word corresponding to one of the plurality of operation target devices 2 corresponding to the operation target device 2 from the voice input unit 23. Then, based on the input instruction voice, the operation target device 2 to be connected, that is, the connection target device, is selected from among the plurality of operation target devices 2. More specifically, the first selection control unit 51 sets the operation target device 2 corresponding to the input instruction voice as the connection target device.
  • the instruction voice is, for example, a voice including a word indicating the name of each home appliance, a sentence indicating a behavior of each home appliance, a voice including a clause or a word, and a voice including a word indicating an object to be processed by the action of each home appliance.
  • the first selection control unit 51 sets the IH cooker as the connection target device.
  • the sentence corresponding to the IH cooker includes "boiling water".
  • the user utters a sentence including "boiling water” and the uttered voice (that is, the instruction voice) is input to the voice input unit 23.
  • the first selection control unit 51 sets the IH cooker as the connection target device.
  • the sentence corresponding to the IH cooker includes “curry”.
  • the user speaks including the word "curry” and the spoken voice (that is, the instruction voice) is input to the voice input unit 23.
  • the first selection control unit 51 sets the IH cooker as the connection target device.
  • the remote controller 1 may have an interactive voice UI (User Interface).
  • the first selection control unit 51 may select the connection target device by a voice dialogue between the user and the remote controller 1.
  • the sentence corresponding to the IH cooker includes “warm hot water”, and the sentence corresponding to the microwave oven includes “warm hot water”.
  • the word corresponding to the IH cooker includes "IH”.
  • the word corresponding to the microwave oven includes “range”.
  • the voice output control unit 56 causes the voice output unit 24 to output a voice for reading the question sentence "Which should IH or range?", that is, a voice for dialogue.
  • the user utters a word including the word “range”, and the uttered voice (that is, the instruction voice) is input to the voice input unit 23.
  • the first selection control unit 51 sets the microwave oven as the connection target device.
  • the control unit 15 of each operation-targeted device 2 instructs the communication unit 14 to transmit a signal (hereinafter, referred to as “first notification signal”) indicating that when the own device is directly operated by the user.
  • the communication unit 14 transmits the first notification signal to the remote controller 1 according to the instruction from the control unit 15.
  • the first notification signal in the IH cooker is when a device such as a pot is placed on the IH cooker, or when an operation input is made to the operation panel (that is, the operation input unit 11) of the IH cooker. Sent to.
  • the control unit 15 of each operation-targeted device 2 instructs the communication unit 14 to transmit a signal (hereinafter, referred to as “second notification signal”) indicating that when the operation of the own device is completed.
  • the communication unit 14 transmits the second notification signal to the remote controller 1 according to the instruction from the control unit 15. For example, the second notification signal in the microwave oven is transmitted when the heating operation by the microwave oven ends.
  • the control unit 15 of each operation target device 2 transmits a signal indicating that fact (hereinafter, referred to as “third notification signal”) to the communication unit 14. Give instructions.
  • the communication unit 14 transmits the third notification signal to the remote controller 1 according to the instruction from the control unit 15. For example, the third notification signal in the oven toaster is transmitted when the heating process by the oven toaster ends and the so-called “remaining heat” process starts.
  • the first notification signal, the second notification signal, and the third notification signal may be collectively referred to as a “notification signal”.
  • the notification signal is transmitted by each operation target device 2, the communication unit 25 of the remote controller 1 receives the transmitted notification signal.
  • the second selection control unit 52 When the communication unit 25 receives the notification signal, the second selection control unit 52, based on the received notification signal, the operation target device 2 to be connected among the plurality of operation target devices 2, that is, the connection target. Select the device. More specifically, the second selection control unit 52 sets the operation target device 2 corresponding to the received notification signal as the connection target device.
  • connection processing unit 54 when the connection target device is selected by the selection control unit 53, executes the connection process for the selected connection target device. More specifically, the connection processing unit 54 instructs the communication unit 25 to transmit a signal (hereinafter referred to as “connection request signal”) requesting a connection to the connection target device.
  • connection request signal a signal
  • the communication unit 25 transmits a connection request signal to the connection target device according to an instruction from the control unit 26.
  • connection response signal a signal for responding to the received connection request signal
  • connection response signal When the connection response signal is transmitted by the connection target device, the communication unit 25 of the remote controller 1 receives the transmitted connection response signal. Upon receiving the connection response signal, the connection processing for the connection target device in the remote controller 1 is completed.
  • the display control unit 55 displays a display indicating that the remote controller 1 is connected to the connection target device (hereinafter referred to as “first display”). .) is executed on the display unit 22.
  • the first display is, for example, one in which an image showing the connection target device is displayed on the display 33, or one in which the light source 34 is turned on in a lighting mode (for example, a lighting color, the number of lightings, or a lighting cycle) according to the connection target device. Is.
  • the control unit 15 of the connection target device displays a display (hereinafter, referred to as “second display”) interlocked with the first display when the connection process in the connection target device is completed, that is, when the connection response signal is transmitted.
  • Second display a display interlocked with the first display when the connection process in the connection target device is completed, that is, when the connection response signal is transmitted.
  • Make 12 execute execute.
  • the second display is executed at the timing corresponding to the execution timing of the first display, more specifically, at the substantially same timing as the execution timing of the first display.
  • the user can visually recognize that the remote controller 1 is connected to the connection target device.
  • the sound output control unit 56 makes a sound or sound indicating that (hereinafter, collectively referred to as “first sound”). Is output to the voice output unit 24.
  • the first voice is, for example, a voice reading a sentence including the name of the connection target device, or a sound having an output mode (for example, height, size, or length) according to the connection target device.
  • the control unit 15 of the connection target device when the connection processing in the connection target device is completed, that is, when the connection response signal is transmitted, a sound or a voice (hereinafter collectively referred to as "second voice") that is linked to the first voice. .) is output to the voice output unit 13.
  • the second voice is output at the timing corresponding to the output timing of the first voice, more specifically, at substantially the same timing as the output timing of the first voice.
  • the user can audibly recognize that the remote controller 1 is connected to the connection target device.
  • the remote controller 1 is connected to the connection target device. That is, the connection target device becomes the connected device. Therefore, the operation target function of the connected device is operated by the remote controller 1.
  • the rotation of the operation input unit 21 causes the heating power of the IH cooker to be adjusted.
  • the heating time in the microwave oven is set by the rotation of the operation input unit 21.
  • the heating time in the oven toaster is set by the rotation of the operation input unit 21.
  • the display control unit 55 displays according to the change of the state (hereinafter referred to as “third display”). Is executed on the display unit 22. This allows the user to visually recognize the result of the operation using the remote controller 1.
  • the third display when the heating power in the IH cooker changes is that the image showing the heating power is displayed on the display 33, or the lighting mode (for example, the lighting color or the number of lightings) according to the heating power is the light source. 34 lights up.
  • the sound output control unit 56 makes a sound or a sound according to the change of the state (hereinafter, collectively referred to as “sound or sound”)
  • the “third voice”) is output to the voice output unit 24.
  • the user can auditorily recognize the result of the operation using the remote controller 1.
  • the third voice when the heat power in the IH cooker changes is a voice that reads a sentence including a word indicating the heat power (for example, the words “high heat”, “medium heat”, or “low heat”), or according to the heat power. It is a sound having a different output mode (for example, height, size, or length).
  • the functions of the first selection control unit 51, the second selection control unit 52, the connection processing unit 54, the display control unit 55, and the audio output control unit 56 are realized as follows, for example.
  • the control unit 26 includes a processor 41 and a memory 42.
  • the memory 42 stores programs for realizing the functions of the first selection control unit 51, the second selection control unit 52, the connection processing unit 54, the display control unit 55, and the audio output control unit 56. Functions of the first selection control unit 51, the second selection control unit 52, the connection processing unit 54, the display control unit 55, and the audio output control unit 56 by the processor 41 reading and executing the program stored in the memory 42. Is realized.
  • control unit 26 includes a processing circuit 43.
  • the functions of the first selection control unit 51, the second selection control unit 52, the connection processing unit 54, the display control unit 55, and the audio output control unit 56 are realized by the dedicated processing circuit 43.
  • control unit 26 includes a processor 41, a memory 42, and a processing circuit 43 (not shown).
  • some of the functions of the first selection control unit 51, the second selection control unit 52, the connection processing unit 54, the display control unit 55, and the audio output control unit 56 are realized by the processor 41 and the memory 42.
  • the remaining function is realized by the dedicated processing circuit 43.
  • the control unit 15 of each operation target device 2 instructs the communication unit 14 to transmit the first notification signal when its own device is directly operated by the user (step ST1 “YES”) (step ST2).
  • the control unit 15 of each operation target device 2 instructs the communication unit 14 to transmit the second notification signal when the operation of the own device ends (step ST3 “YES”) (step ST4).
  • the control unit 15 of each operation-targeted device 2 instructs the communication unit 14 to transmit the third notification signal when the operation of the own device reaches a predetermined process (step ST5 “YES”) (step ST6). ).
  • control unit 26 of the remote controller 1 will be described with reference to the flowchart of FIG. 13, focusing on the operation of the selection control unit 53 and the connection processing unit 54.
  • the selection control unit 53 selects a connection target device based on the input instruction voice (step ST13).
  • the communication unit 25 receives the notification signal (step ST11 “NO” and step ST12 “YES”), the selection control unit 53 selects the connection target device based on the received notification signal (step ST11). ST13). Since the specific example of the method of selecting the connection target device is as described above, the repetitive description will be omitted.
  • connection processing unit 54 executes connection processing for the connection target device selected by the selection control unit 53, that is, the connection target device selected in step ST13. More specifically, the connection processing unit 54 instructs the communication unit 25 to transmit a connection request signal to the selected connection target device (step ST14).
  • control unit 15 of the connection target device will be described focusing on the operation when the connection response signal is transmitted.
  • the control unit 15 of the connection target device executes the connection process for the remote controller 1. More specifically, the control unit 15 of the connection target device instructs the communication unit 14 to transmit a connection response signal in response to the received connection request signal (step ST22).
  • the output control unit 57 causes the display unit 22 to execute the first display and also outputs the voice output unit 24. To output the first voice (step ST32).
  • the control unit 15 of the connection target device causes the display unit 12 to execute the second display when the connection process for the remote controller 1 is completed, that is, when the connection response signal is transmitted (step ST33 “YES”).
  • the audio output unit 13 is caused to output the second audio (step ST34). Since the specific example of the first display (that is, the specific example of the second display) and the specific example of the first sound (that is, the specific example of the second sound) are as described above, the repetitive description is omitted.
  • control unit 26 of the remote controller 1 will be described focusing on the operation when the third display is executed, that is, the operation when the third sound is output. ..
  • step ST41 “YES” When the state of the connected device is changed by the operation using the remote controller 1 (step ST41 “YES”), the output control unit 57 causes the display unit 22 to execute the third display and causes the voice output unit 24 to perform the third display.
  • a voice is output (step ST42). Since the specific example of the third display and the specific example of the third voice are as described above, the description thereof will be omitted.
  • the remote controller 1 may not have the display unit 22.
  • the control unit 26 may not have the display control unit 55. That is, the remote controller 1 may output the first sound and the third sound, but not execute the first display and the third display.
  • the remote controller 1 may not have the audio output unit 24.
  • the control unit 26 may not have the audio output control unit 56. That is, the first display and the third display may be executed by the remote controller 1, while the first sound and the third sound may not be output.
  • the remote controller 1 may not have the display unit 22 and the voice output unit 24 (see FIG. 17).
  • the control unit 26 may not have the display control unit 55 and the audio output control unit 56 (see FIG. 18). That is, the remote controller 1 may not perform the first display and the third display, and may not output the first voice and the third voice.
  • the remote controller 1 is not limited to the dial type, and may have any shape. Therefore, the operation input unit 21 is not limited to the dial 31 (that is, the dial type remote controller main body 32), and may be composed of any member.
  • the remote control system 100 may include the server device 4.
  • the server device 4 can communicate with the remote controller 1 via the computer network 3. Further, the server device 4 can communicate with each of the plurality of operation target devices 2 via the computer network 3. In this case, at least a part of the functions of the first selection control unit 51, the second selection control unit 52, the connection processing unit 54, the display control unit 55, and the audio output control unit 56 is the control unit of the remote controller 1. Instead of 26, it may be realized by the server device 4.
  • each operation-targeted device 2 may not have the function of transmitting the second notification signal. Further, each operation target device 2 may not have the function of transmitting the third notification signal.
  • two or more functions of the plurality of functions of each operation target device 2 may be assigned to the remote controller 1.
  • the function of setting the output and the function of setting the heating time may be assigned to the remote controller 1.
  • the rotation of the operation input unit 21 makes settings corresponding to each operation target function, and the operation input unit 21 is pressed to confirm the settings corresponding to each operation target function and switch the operation target functions. It may be one.
  • the remote controller 1 is connected to the microwave oven.
  • the output of the microwave oven is set by the rotation of the operation input unit 21.
  • the setting of the output is confirmed, and the operation target function is switched to the function of setting the heating time.
  • the heating time in the microwave oven is set.
  • the setting of the heating time is confirmed. In this way, the setting of the output and the setting of the heating time are completed.
  • the remote controller 1 includes the voice input unit 23 that receives a voice input by the user, the communication unit 25 that can communicate with each of the plurality of operation target devices 2, and the plurality of operation target devices 2
  • the voice input unit 23 receives a voice input by the user
  • the communication unit 25 that can communicate with each of the plurality of operation target devices 2, and the plurality of operation target devices 2
  • the first selection control unit 51 selects the connection target device among the plurality of operation target devices 2 based on the instruction voice.
  • a first notification signal indicating that any one of the plurality of operation target devices 2 is directly operated by the user is received by the communication unit 25, the connection is established based on the first notification signal.
  • a selection control unit 53 having a second selection control unit 52 that selects a target device; a connection processing unit 54 that executes a connection process for the connection target device when the connection target device is selected by the selection control unit 53; Equipped with.
  • the second selection control unit 52 receives the second notification signal when the communication unit 25 receives the second notification signal indicating that the operation of any one of the plurality of operation target devices 2 has ended.
  • the connection target device is selected based on the notification signal. Thereby, for example, when the user causes the device to perform the operation again after the specific operation by the specific operation target device 2 is completed (for example, after the heating operation by the microwave oven is completed), the operation for the device is performed. You can start typing smoothly.
  • the second selection control unit 52 receives, by the communication unit 25, a third notification signal indicating that the operation of any one of the operation target devices 2 of the plurality of operation target devices 2 has reached a predetermined process.
  • the connection target device is selected based on the third notification signal.
  • the remote controller 1 includes a display unit 22 that executes a first display indicating that the remote controller 1 is connected to the connection target device when the connection process is completed, and the connection target device displays the first display.
  • the linked second display is executed at a timing corresponding to the execution timing of the first display. This allows the user to visually recognize that the remote controller 1 has been connected to the connection target device.
  • the remote controller 1 includes a voice output unit 24 that outputs a first voice indicating that the remote controller 1 is connected to the connection target device when the connection process is completed.
  • the second voice interlocked with is output at the timing corresponding to the output timing of the first voice. This allows the user to auditorily recognize that the remote controller 1 has been connected to the connection target device.
  • the remote controller 1 displays the display unit 22 that executes the third display according to the change of the states. Prepare This allows the user to visually recognize the result of the operation using the remote controller 1.
  • the remote controller 1 outputs a third sound according to the change of the connected device when the connected device changes its state. Equipped with. As a result, the user can auditorily recognize the result of the operation using the remote controller 1.
  • the remote control system 100 is the remote control system 100 including the remote controller 1 and a plurality of operation target devices 2, and the remote controller 1 includes a voice input unit 23 that receives a voice input by a user.
  • the communication unit 25 that can communicate with each of the plurality of operation target devices 2 and the instruction voice for any one of the plurality of operation target devices 2 are input to the voice input unit 23, an instruction voice is output.
  • the first selection control unit 51 that selects a connection target device among the plurality of operation target devices 2 and that any one of the plurality of operation target devices 2 is directly operated by the user.
  • a selection control unit 53 having a second selection control unit 52 that selects a connection target device based on the first notification signal, and a connection by the selection control unit 53
  • a connection processing unit 54 that executes a connection process for the connection target device.
  • FIG. 20 is an explanatory diagram showing the system configuration of the remote control system according to the second embodiment.
  • FIG. 21 is a block diagram showing the main parts of the remote controller according to the second embodiment.
  • FIG. 22 is an explanatory diagram showing the main part of the control unit of the remote controller according to the second embodiment.
  • FIG. 20 the same blocks and the like as the blocks and the like shown in FIG.
  • FIG. 21 the same blocks as the blocks shown in FIG. 4 are denoted by the same reference numerals, and description thereof will be omitted.
  • FIG. 22 the same blocks as the blocks shown in FIG. 11 are denoted by the same reference numerals, and description thereof will be omitted.
  • each operation target device 2 is the same as that described in Embodiment 1 with reference to FIG.
  • the hardware configuration of the remote controller 1a is the same as that described in the first embodiment with reference to FIGS. 3 and 5 to 10, and therefore the illustration and description thereof are omitted.
  • control unit 26a of the remote controller 1a has a first selection control unit 51a and a second selection control unit 52a.
  • a selection control unit 53a is configured by the first selection control unit 51a and the second selection control unit 52a.
  • the first selection control unit 51a selects the connection target device based on the input instruction voice.
  • the second selection control unit 52a selects the connection target device based on the received notification signal.
  • connection candidate devices one or more operation target devices 2 corresponding to the instruction voice input to the voice input unit 23 among the plurality of operation target devices 2 are referred to as “connection candidate devices”. Further, in the second embodiment, one or more operation target devices 2 corresponding to the notification signal received by the communication unit 25 among the plurality of operation target devices 2 are referred to as “connection candidate devices”.
  • the word corresponding to the microwave oven includes “range” and the word corresponding to the remaining operation target device 2 does not include “range”.
  • the user speaks including the word “range” and that the spoken voice (that is, the instruction voice) is input to the voice input unit 23.
  • the instruction voice in this case corresponds to one connection candidate device (that is, a microwave oven).
  • the sentence corresponding to the IH cooker includes "warm the hot water”
  • the sentence corresponding to the microwave oven includes "warm the hot water”.
  • the user utters a sentence including "warm hot water” and that the uttered voice (that is, the instruction voice) is input to the voice input unit 23.
  • the instruction voice in this case corresponds to two or more connection candidate devices (that is, the IH cooker and the microwave oven).
  • the notification signal in this case corresponds to one connection candidate device (that is, IH cooker).
  • the first notification signal transmitted by the IH cooker and the second notification signal transmitted by the microwave oven are received by the communication unit 25 at substantially the same time.
  • the notification signal in this case corresponds to two or more connection candidate devices (that is, the IH cooker and the microwave oven).
  • the instruction voice is input to the voice input unit 23 when the input instruction voice corresponds to one connection candidate device, that is, one connection candidate device exists. When doing so, the one connection candidate device is set as the connection target device. Further, when the communication unit 25 receives the notification signal, the second selection control unit 52a determines that the received notification signal corresponds to one connection candidate device, that is, one connection candidate device is When it exists, the one connection candidate device is set as the connection target device.
  • connection priority a priority (hereinafter referred to as "connection priority") CP of connection to the remote controller 1a by each of the two or more connection candidate devices.
  • connection priority a priority (hereinafter referred to as "connection priority") CP of connection to the remote controller 1a by each of the two or more connection candidate devices.
  • the remote control system 100a has a function of detecting a distance D between the remote controller 1a and each of the plurality of operation target devices 2.
  • Various known hardware and software can be used to realize this function. Detailed description of these hardware and software is omitted.
  • the selection control unit 53a acquires information indicating the distance D between the remote controller 1a and each of the two or more connection candidate devices.
  • the selection control unit 53a uses the acquired information to set the connection priority CP of each of the two or more connection candidate devices to a higher value as the distance D to the remote controller 1a is smaller.
  • the remote control system 100a may include the server device 4.
  • the server device 4 has a function of collecting information indicating the usage history of each of the plurality of operation target devices 2 by the user (hereinafter referred to as “usage history information”).
  • the server device 4 also has a function of accumulating and storing the collected usage history information.
  • Various well-known hardware and software can be used to realize these functions. Detailed description of these hardware and software is omitted.
  • the selection control unit 53a acquires, from the usage history information stored in the server device 4, usage history information related to two or more connection candidate devices.
  • the selection control unit 53a calculates the probability P1 that each of two or more connection candidate devices will be used, using the acquired use history information. Specifically, for example, the selection control unit 53a is based on at least one of the time when each of the two or more connection candidate devices was used in the past or the order in which the two or more connection candidate devices were used in the past. , Probability P1 is calculated.
  • the selection control unit 53a uses the calculated probability P1 to set the connection priority CP of each of the two or more connection candidate devices to a higher value as the probability P1 is higher.
  • the selection control unit 53a uses the usage history information to calculate the number of times each of the two or more connection candidate devices has been used in the time zone including the current time. The selection control unit 53a calculates the probability P1 to a higher value as the connection candidate device has the larger number of times of calculation. Alternatively, for example, the selection control unit 53a uses the usage history information to calculate the number of times each of two or more connection candidate devices has been used next to the operation target device 2 connected immediately before. The selection control unit 53a calculates the probability P1 to a higher value as the connection candidate device has the larger number of times of calculation.
  • connection priority CP ⁇ Third specific example of setting method of connection priority CP>
  • a human sensor is provided in each of the plurality of operation target devices 2.
  • the selection control unit 53a acquires information indicating the detection result of the motion sensors provided in two or more connection candidate devices among these motion sensors.
  • the selection control unit 53a uses the acquired information to set the connection priority CP of the connection candidate device in which the person (that is, the user) is detected by the motion sensor among the two or more connection candidate devices to the remaining connection candidates. Set to a value higher than the connection priority CP of the device.
  • the selection control unit 53a sets the connection priority CP of each of two or more connection candidate devices according to the first concrete example, the second concrete example, or the third concrete example.
  • the selection control unit 53a selects one connection candidate device from the two or more connection candidate devices based on the set connection priority CP, and sets the selected connection candidate device as the connection target device. .. Specifically, for example, the selection control unit 53a selects one connection candidate device having the highest connection priority CP from the two or more connection candidate devices and selects the selected connection candidate device as a connection target. Set to the device.
  • the selection control unit 53a, the connection processing unit 54, and the output control unit 57 constitute a main part of the control unit 26a.
  • the operation input unit 21, the display unit 22, the voice input unit 23, the voice output unit 24, the communication unit 25, and the control unit 26a constitute a main part of the remote controller 1a.
  • the hardware configuration of the main part of the control unit 26a is the same as that described in Embodiment 1 with reference to FIG. 10, illustration and description thereof will be omitted. That is, the functions of the first selection control unit 51a, the second selection control unit 52a, the connection processing unit 54, the display control unit 55, and the audio output control unit 56 are realized by the processor 41 and the memory 42. Alternatively, it may be realized by the dedicated processing circuit 43.
  • control unit 26a of the remote controller 1a will be described with reference to the flowchart of FIG. 23, focusing on the operation of the selection control unit 53a and the connection processing unit 54. 23, the same steps as those shown in FIG. 13 are designated by the same reference numerals, and the description thereof will be omitted.
  • the selection control unit 53a selects a connection target device based on the input instruction voice (step ST13a).
  • the communication unit 25 receives the notification signal (step ST11 “NO” and step ST12 “YES”)
  • the selection control unit 53a selects the connection target device based on the received notification signal (step S11). ST13a).
  • step ST13a Next, the detailed processing content of step ST13a will be described with reference to the flowchart of FIG.
  • step ST11 “YES” When the instruction voice is input to the voice input unit 23 (step ST11 “YES”) or the notification signal is received by the communication unit 25 (step ST11 “NO” and step ST12 “YES”), two or more connections are made.
  • the selection control unit 53a sets the connection priority CP of each of the two or more connection candidate devices (step ST52). Since the specific example of the method of setting the connection priority CP is as described above, the description thereof will be omitted.
  • the selection control unit 53a selects one connection candidate device from the two or more connection candidate devices based on the set connection priority CP (step ST53). Since the specific example of the selection method at this time is as described above, the repetitive description will be omitted. Next, the selection control unit 53a sets the selected connection candidate device as a connection target device (step ST54).
  • step ST11 “YES” when the instruction voice is input to the voice input unit 23 (step ST11 “YES”) or the notification signal is received by the communication unit 25 (step ST11 “NO” and step ST12 “YES”), two or more. No connection candidate device exists, that is, when only one connection candidate device exists (step ST51 “NO”), the selection control unit 53a sets the one connection candidate device as a connection target device (step ST55). ).
  • the method of setting the connection priority CP by the selection control unit 53a is not limited to the above specific example, and any method may be used.
  • the server device 4 may have a function of executing machine learning for setting the connection priority CP.
  • the selection control unit 53a may set the connection priority CP based on the learning result of the machine learning.
  • the learning data in the machine learning is, for example, data indicating a history that the selection of the connection target device by the selection control unit 53a is corrected by the user, and each of the plurality of operation target devices 2 has been used by the user in the past.
  • the data indicating the time, the data indicating the order in which the plurality of operation target devices 2 were used by the user in the past, and the distance D to the remote controller 1a when each of the plurality of operation target devices 2 was used in the past by the user were calculated. It includes the data shown. That is, the server device 4 may have a function of collecting these learning data and a function of accumulating and storing the collected learning data.
  • the server device 4 creates the following neural network NN (not shown) by machine learning using these learning data. That is, the server device 4 has a value indicating the current time, a value indicating the operation target device 2 connected to the remote controller 1a immediately before, and the current distance between the remote controller 1a and each of the plurality of operation target devices 2.
  • the neural network NN is generated in which the value indicating the operation target device 2 having the highest probability P1 is output.
  • the selection control unit 53a acquires the created neural network NN.
  • the selection control unit 53a sets the connection target device using the acquired neural network NN.
  • remote controller 1a can employ various modifications similar to those described in the first embodiment.
  • the display unit 22 may not be provided in the remote controller 1a, and the display control unit 55 may not be provided in the control unit 26a.
  • the remote controller 1a may not be provided with the voice output unit 24, and the control unit 26a may not be provided with the voice output control unit 56.
  • the remote controller 1a may not be provided with the display unit 22 and the voice output unit 24, and the control unit 26a may not be provided with the display control unit 55 and the voice output control unit 56.
  • the sensor provided in each of the plurality of operation target devices 2 is not limited to the human sensor. ..
  • any sensor may be used as long as it can detect a person (that is, a user) when a person (that is, a user) is present within a predetermined range area in front of each operation target device 2. Is also good.
  • remote control system 100a can employ various modifications similar to those described in the first embodiment.
  • the control unit 26a of the remote controller 1a is the control unit 26a of the remote controller 1a.
  • the server device 4 may be realized by the server device 4.
  • the selection control unit 53a is set for each of the two or more connection candidate devices.
  • the connection target device is selected from the two or more connection candidate devices based on the connection priority CP. This makes it possible to select the connection target device not only when there is only one connection candidate device but also when there are two or more connection candidate devices.
  • the selection control unit 53a also sets the connection priority CP based on the distance D for each of the two or more connection candidate devices. According to the first specific example, it is possible to set the connection priority CP to an appropriate value when there are two or more connection candidate devices.
  • the selection control unit 53a uses the information indicating the usage history of each of the plurality of operation target devices 2 by the user to set the connection priority CP based on the probability P1 that each of the two or more connection candidate devices is used.
  • the connection priority CP can be set to an appropriate value when there are two or more connection candidate devices.
  • the selection control unit 53a also calculates the probability P1 based on the time when each of the two or more connection candidate devices was used in the past or the order in which the two or more connection candidate devices were used in the past. Thereby, the probability P1 can be calculated.
  • the selection control unit 53a also sets the connection priority CP using information indicating the detection result of the sensor provided in each of the two or more connection candidate devices. According to the third specific example, it is possible to set the connection priority CP to an appropriate value when there are two or more connection candidate devices.
  • the selection control unit 53a uses the learning result of machine learning for setting the connection priority CP.
  • the connection priority CP can be set to a more appropriate value.
  • FIG. 25 is an explanatory diagram showing the system configuration of the remote control system according to the third embodiment.
  • FIG. 26 is a block diagram showing the main parts of the remote controller according to the third embodiment.
  • FIG. 27 is an explanatory diagram showing a main part of a control unit of the remote controller according to the third embodiment.
  • a remote control system 100b of the third embodiment will be described focusing on the remote controller 1b.
  • FIG. 25 blocks and the like similar to the blocks and the like shown in FIG. Also, in FIG. 26, the same blocks as the blocks shown in FIG. Also, in FIG. 27, the same blocks as the blocks shown in FIG.
  • each operation target device 2 is the same as that described in Embodiment 1 with reference to FIG. Further, the hardware configuration of the remote controller 1b is the same as that described in the first embodiment with reference to FIGS. 3 and 5 to 10, and therefore illustration and description thereof will be omitted.
  • control unit 26b of the remote controller 1b has a first switching control unit 58.
  • switching operation When a predetermined operation (hereinafter referred to as “switching operation”) is input to the operation input unit 21 of the remote controller 1b in the presence of connected devices, the first switching control unit 58 operates the plurality of operation target devices 2.
  • the probability P2 that each of the one or more operation target devices 2 (hereinafter, referred to as “switching candidate device” in the third embodiment) of the above-mentioned connected devices is used by the user next to the connected device is calculated. To do.
  • the method of calculating the probability P2 is the same as the method of calculating the probability P1 by the selection control unit 53a, for example.
  • the first switching control unit 58 selects one switching candidate device having the highest probability P2 among the one or more switching candidate devices.
  • the first switching control unit 58 performs control (hereinafter, referred to as “first switching control”) for switching the connected device to the selected switching candidate device (hereinafter, referred to as “switching target device” in the third embodiment). Execute. That is, the first switching control unit 58 executes the process of releasing the connection to the connected device (hereinafter referred to as “connection release process”) and the connection process to the switching target device.
  • the first switching control unit 58 may instruct the connection processing unit 54 to execute the connection process for the switching target device, instead of executing the connection process for the switching target device.
  • the connected device executes the disconnection process for the remote controller 1b.
  • the connection between the remote controller 1b and the connected device is released.
  • the control unit 15 of the switching target device executes a connection process for the remote controller 1b.
  • the remote controller 1b is connected to the switching target device.
  • the switching operation is set to, for example, a double-click operation on the pressable dial 31 (that is, the dial type remote controller main body 32).
  • the switching operation is set to a long press operation on the pressable dial 31.
  • the selection control unit 53, the connection processing unit 54, the output control unit 57, and the first switching control unit 58 constitute a main part of the control unit 26b.
  • the operation input unit 21, the display unit 22, the voice input unit 23, the voice output unit 24, the communication unit 25, and the control unit 26b constitute a main part of the remote controller 1b.
  • the hardware configuration of the main part of the control unit 26b is the same as that described in Embodiment 1 with reference to FIG. 10, illustration and description thereof will be omitted. That is, the functions of the first selection control unit 51, the second selection control unit 52, the connection processing unit 54, the display control unit 55, the audio output control unit 56, and the first switching control unit 58 are controlled by the processor 41 and the memory 42. It may be realized or may be realized by a dedicated processing circuit 43.
  • control unit 26b of the remote controller 1b will be described with reference to the flowchart of FIG. 28, focusing on the operation when a switching operation is input.
  • the first switching control unit 58 selects the switching target device (step ST61). ST62). Since the specific example of the method of selecting the switching target device is as described above, the description thereof will be omitted. Next, the first switching control unit 58 executes the first switching control (step ST63). As a result, the remote controller 1b is connected to the switching target device.
  • control unit 26b of the remote controller 1b may execute the same processing as the processing of steps ST31 and ST32 shown in FIG.
  • the control unit 15 of the switching target device that is, the connected device after switching
  • the remote controller 1b may have a selection control unit 53a similar to that described in the second embodiment, instead of the selection control unit 53.
  • the switching operation may be a predetermined operation and is not limited to the above specific example.
  • remote controller 1b can employ various modifications similar to those described in the first embodiment.
  • the remote controller 1b may not be provided with the display unit 22 and the control unit 26b may not be provided with the display control unit 55. Further, the remote controller 1b may not be provided with the voice output unit 24, and the control unit 26b may not be provided with the voice output control unit 56. Further, the remote controller 1b may not be provided with the display unit 22 and the voice output unit 24, and the control unit 26b may not be provided with the display control unit 55 and the voice output control unit 56.
  • the remote control system 100b can employ various modifications similar to those described in the first embodiment.
  • the remote control system 100b may include the server device 4.
  • the first selection control unit 51 (or the first selection control unit 51a), the second selection control unit 52 (or the second selection control unit 52a), the connection processing unit 54, the display control unit 55, the voice output control unit 56.
  • the server device 4 instead of the control unit 26b of the remote controller 1b.
  • the remote controller 1b includes the operation input unit 21 that receives an operation input by the user, the device being connected to the plurality of operation target devices 2, and one or more other operation target devices 2 (switching candidates).
  • Device is included, when the switching operation is input to the operation input unit 21, the first switching control unit that switches the connected device to the switching target device of the one or more operation target devices 2 (switch candidate devices). And 58. This makes it easy to switch the connected device.
  • FIG. 29 is an explanatory diagram showing the system configuration of the remote control system according to the fourth embodiment.
  • FIG. 30 is a block diagram showing the main parts of the remote controller according to the fourth embodiment.
  • FIG. 31 is an explanatory diagram showing a main part of a control unit of the remote controller according to the fourth embodiment. With reference to FIGS. 29 to 31, a remote control system 100c of the fourth embodiment will be described focusing on the remote controller 1c.
  • FIG. 29 the same blocks and the like as the blocks and the like shown in FIG.
  • FIG. 30 the same blocks as the blocks shown in FIG. 4 are denoted by the same reference numerals, and description thereof will be omitted.
  • FIG. 31 the same blocks as the blocks shown in FIG. 11 are denoted by the same reference numerals, and description thereof will be omitted.
  • each operation target device 2 is the same as that described in Embodiment 1 with reference to FIG.
  • the hardware configuration of the remote controller 1c is the same as that described in the first embodiment with reference to FIGS. 3 and 5 to 10, and therefore the illustration and description thereof are omitted.
  • control unit 26c of the remote controller 1c has a disconnection processing unit 59.
  • the disconnection processing unit 59 counts the duration T1 of the state in which the operation input unit 21 does not perform the operation input to the connected device in the state where the connected device exists (hereinafter, referred to as “non-operation input state”). To do. When the duration T1 of the non-operation input state exceeds the predetermined reference time Tref1, the connection release processing unit 59 executes the connection release processing for the connected device.
  • control unit 15 of the connected device counts the duration T1 of the non-operation input state when the connected device is connected to the remote controller 1c.
  • the control unit 15 of the connected device executes the connection release process for the remote controller 1c.
  • the selection control unit 53, the connection processing unit 54, the output control unit 57, and the connection release processing unit 59 form a main part of the control unit 26c.
  • the operation input unit 21, the display unit 22, the voice input unit 23, the voice output unit 24, the communication unit 25, and the control unit 26c constitute a main part of the remote controller 1c.
  • the hardware configuration of the main part of the control unit 26c is the same as that described with reference to FIG. 10 in the first embodiment, so illustration and description thereof will be omitted. That is, the functions of the first selection control unit 51, the second selection control unit 52, the connection processing unit 54, the display control unit 55, the audio output control unit 56, and the connection release processing unit 59 are realized by the processor 41 and the memory 42. However, it may be realized by the dedicated processing circuit 43.
  • control unit 26c of the remote controller 1c will be described with reference to the flowchart of FIG. 32, focusing on the operation when the duration T1 of the non-operation input state exceeds the reference time Tref1. Also, with reference to the flowchart in FIG. 32, the operation of the control unit 15 of the connected device will be described focusing on the operation when the duration T1 in the non-operation input state exceeds a predetermined reference time Tref1.
  • the disconnection processing unit 59 counts the duration T1 of the non-operation input state for the connected device (step ST71). When the counted duration time T1 exceeds the reference time Tref1 (step ST72 “YES”), the connection release processing unit 59 executes connection release processing for the connected device (step ST73).
  • the control unit 15 of the connected device counts the duration T1 of the non-operation input state by the remote controller 1c (step ST74). When the counted duration time T1 exceeds the reference time Tref1 (step ST75 “YES”), the control unit 15 of the connected device executes a connection release process for the remote controller 1c (step ST76).
  • the remote controller 1c may have a selection control unit 53a similar to that described in the second embodiment, instead of the selection control unit 53.
  • the remote controller 1c may have the same first switching control unit 58 as that described in the third embodiment.
  • the first switching control unit 58 may instruct the connection release processing unit 59 to execute the connection release process for the connected device, instead of executing the connection release process for the connected device. good.
  • remote controller 1c can employ various modifications similar to those described in the first embodiment.
  • the display unit 22 may not be provided in the remote controller 1c, and the display control unit 55 may not be provided in the control unit 26c.
  • the remote controller 1c may not be provided with the voice output unit 24, and the control unit 26c may not be provided with the voice output control unit 56.
  • the remote controller 1c may not be provided with the display unit 22 and the voice output unit 24, and the control unit 26c may not be provided with the display control unit 55 and the voice output control unit 56.
  • the remote control system 100c can employ various modifications similar to those described in the first embodiment.
  • the remote control system 100c may include the server device 4.
  • the first selection control unit 51 (or the first selection control unit 51a), the second selection control unit 52 (or the second selection control unit 52a), the connection processing unit 54, the display control unit 55, the voice output control unit 56.
  • the disconnection processing unit 59 may be realized by the server device 4 instead of the control unit 26c of the remote controller 1c.
  • the remote controller 1c when the remote controller 1c according to the fourth embodiment includes the operation input unit 21 that receives the operation input by the user and the connected devices in the plurality of operation target devices 2, the operation input unit 21 is performing the connection.
  • a disconnection processing unit 59 that executes a disconnection process for the connected device when the duration T1 of the non-operation input state for the device exceeds the reference time Tref1.
  • FIG. 33 is an explanatory diagram showing the system configuration of the remote control system according to the fifth embodiment.
  • FIG. 34 is a block diagram showing the main parts of the remote controller according to the fifth embodiment.
  • FIG. 35 is an explanatory diagram showing a main part of a control unit of the remote controller according to the fifth embodiment. 33 to 35, a remote control system 100d according to the fifth embodiment will be described focusing on the remote controller 1d.
  • FIG. 33 blocks and the like similar to the blocks and the like shown in FIG.
  • FIG. 34 the same blocks as the blocks shown in FIG.
  • FIG. 35 the same blocks as the blocks shown in FIG.
  • each operation target device 2 is the same as that described in Embodiment 1 with reference to FIG.
  • the hardware configuration of the remote controller 1d is the same as that described in the first embodiment with reference to FIGS. 3 and 5 to 10, and therefore the illustration and description thereof are omitted.
  • control unit 26d of the remote controller 1d has a second switching control unit 60.
  • the second switching control unit 60 corresponds to any one of the operation target devices 2 of the one or more operation target devices 2 excluding the connected device of the plurality of operation target devices 2.
  • control for switching the connected device to the operation target device 2 hereinafter, referred to as “switch target device” in the fifth embodiment
  • switch target device control for switching the connected device to the operation target device 2
  • second switching control executes the connection release process for the connected device and the connection process for the switching target device.
  • the second switching control unit 60 may instruct the connection processing unit 54 to execute the connection process for the switching target device, instead of executing the connection process for the switching target device.
  • control unit 15 of the connected device executes a disconnection process for the remote controller 1d.
  • the connection between the remote controller 1d and the connected device is released.
  • control unit 15 of the switching target device executes a connection process for the remote controller 1d.
  • the remote controller 1d is connected to the switching target device.
  • the second switching control unit 60 when there is a connected device, the second switching control unit 60 is one of the operation target devices 2 of the plurality of operation target devices 2 excluding the connected device.
  • the notification signal corresponding to No. 2 is received by the communication unit 25, the connected device is not switched to the operation target device 2 corresponding to the received notification signal. That is, the second switching control unit 60 ignores the notification signal. As a result, the state where the remote controller 1d is connected to the connected device is maintained.
  • the selection control unit 53, the connection processing unit 54, the output control unit 57, and the second switching control unit 60 constitute a main part of the control unit 26d.
  • the operation input unit 21, the display unit 22, the voice input unit 23, the voice output unit 24, the communication unit 25, and the control unit 26d constitute a main part of the remote controller 1d.
  • the hardware configuration of the main part of the control unit 26d is the same as that described in Embodiment 1 with reference to FIG. 10, illustration and description thereof will be omitted. That is, the functions of the first selection control unit 51, the second selection control unit 52, the connection processing unit 54, the display control unit 55, the audio output control unit 56, and the second switching control unit 60 are controlled by the processor 41 and the memory 42. It may be realized or may be realized by a dedicated processing circuit 43.
  • control unit 26d of the remote controller 1d will be described focusing on the operation of the second switching control unit 60 with reference to the flowchart in FIG.
  • step ST81 When an instruction voice corresponding to one of the operation target devices 2 of the one or more operation target devices 2 excluding the connected device is input to the voice input unit 23 in the state where the connected device exists (step ST81). "YES"), the second switching control unit 60 executes the second switching control (step ST82). As a result, the remote controller 1d is connected to the operation target device 2 (that is, the switching target device) corresponding to the input instruction voice.
  • step ST83 “YES”) when the communication unit 25 receives the notification signal corresponding to any one of the operation target devices 2 of the one or more operation target devices 2 excluding the connected device in the state where the connected device exists (step (ST83 “YES”), the second switching control unit 60 does not switch the connected device to the operation target device 2 corresponding to the received notification signal (step ST84). As a result, the state where the remote controller 1d is connected to the connected device is maintained.
  • the remote controller 1d may have a selection control unit 53a similar to that described in the second embodiment, instead of the selection control unit 53.
  • the remote controller 1d may have the same first switching control unit 58 as that described in the third embodiment.
  • the remote controller 1d may have the same disconnection processing unit 59 as that described in the fourth embodiment.
  • the second switching control unit 60 may instruct the disconnection processing unit 59 to execute the disconnection process for the connected device, instead of executing the connection disconnection process for the connected device. good.
  • remote controller 1d can employ various modifications similar to those described in the first embodiment.
  • the display unit 22 may not be provided in the remote controller 1d, and the display control unit 55 may not be provided in the control unit 26d.
  • the remote controller 1d may not be provided with the voice output unit 24, and the control unit 26d may not be provided with the voice output control unit 56.
  • the remote controller 1d may not be provided with the display unit 22 and the voice output unit 24, and the control unit 26d may not be provided with the display control unit 55 and the voice output control unit 56.
  • the remote control system 100d can employ various modifications similar to those described in the first embodiment.
  • the remote control system 100d may include the server device 4.
  • the first selection control unit 51 (or the first selection control unit 51a), the second selection control unit 52 (or the second selection control unit 52a), the connection processing unit 54, the display control unit 55, the voice output control unit 56.
  • the second switching control unit 60 may be realized by the server device 4 instead of the control unit 26d of the remote controller 1d.
  • the remote controller 1d of the fifth embodiment when the plurality of operation target devices 2 include the connected device and one or more other operation target devices 2, among the one or more operation target devices 2.
  • the second switching control unit 60 that switches the connected device to the operation target device 2 (switch target device) corresponding to the instruction voice. Equipped with. This allows the user to switch the connected device by voice input.
  • the second switching control unit 60 determines the connected device to be the first device. Do not switch to the operation target device 2 corresponding to the notification signal. Accordingly, for example, when the user directly operates another operation target device 2 without the intention of switching the connected device, it is possible to prevent the connected device from switching.
  • FIG. 37 is an explanatory diagram showing the system configuration of the remote control system according to the sixth embodiment.
  • FIG. 38 is a block diagram showing the main parts of the remote controller according to the sixth embodiment.
  • FIG. 39 is an explanatory diagram showing a main part of a control unit of the remote controller according to the sixth embodiment.
  • a remote control system 100e of the sixth embodiment will be described focusing on the remote controller 1e.
  • FIG. 37 blocks and the like similar to the blocks and the like shown in FIG. Also, in FIG. 38, the same blocks as the blocks shown in FIG. Also, in FIG. 39, the same blocks as the blocks shown in FIG.
  • each operation target device 2 is the same as that described in Embodiment 1 with reference to FIG. Further, the hardware configuration of the remote controller 1e is the same as that described in the first embodiment with reference to FIGS. 3 and 5 to 10, and therefore illustration and description thereof will be omitted.
  • control unit 26e of the remote controller 1e has an invalidation control unit 61 and an activation control unit 62.
  • the remote operation system 100e has a function of detecting a distance D between the remote controller 1e and each of the plurality of operation target devices 2.
  • the invalidation control unit 61 acquires information (hereinafter referred to as “distance information”) indicating the distance D between the remote controller 1e and the connected device in the state where the connected device exists.
  • distance information information indicating the distance D between the remote controller 1e and the connected device in the state where the connected device exists.
  • the invalidation control unit 61 invalidates the operation input to the connected device by the operation input unit 21 (hereinafter referred to as “invalidation control”). ".) is executed. Specifically, for example, the invalidation control unit 61 instructs the communication unit 25 to stop the transmission of the signal corresponding to the operation input.
  • the activation control unit 62 acquires information indicating the distance D between the remote controller 1e and the connected device, that is, the distance information in a state where the operation input to the connected device by the operation input unit 21 is disabled.
  • the validation control unit 62 validates the operation input to the connected device by the operation input unit 21 (hereinafter, “validation control”). That is). Specifically, for example, the validation control unit 62 instructs the communication unit 25 to restart the transmission of the signal corresponding to the operation input.
  • the selection control unit 53, the connection processing unit 54, the output control unit 57, the invalidation control unit 61, and the validation control unit 62 constitute a main part of the control unit 26e.
  • the operation input unit 21, the display unit 22, the voice input unit 23, the voice output unit 24, the communication unit 25, and the control unit 26e constitute a main part of the remote controller 1e.
  • each of the functions of the first selection control unit 51, the second selection control unit 52, the connection processing unit 54, the display control unit 55, the voice output control unit 56, the invalidation control unit 61, and the validation control unit 62 is a processor. 41 and the memory 42, or may be realized by the dedicated processing circuit 43.
  • control unit 26e of the remote controller 1e will be described focusing on the operation of the invalidation control unit 61 and the validation control unit 62.
  • the invalidation control unit 61 acquires distance information indicating the distance D between the remote controller 1e and the connected device while the connected device is present (step ST91). When the distance D indicated by the acquired distance information is greater than the reference distance Dref (step ST92 “YES”), the invalidation control unit 61 executes the invalidation control (step ST93). As a result, the operation input to the connected device by the operation input unit 21 is disabled.
  • the activation control unit 62 acquires distance information indicating the distance D between the remote controller 1e and the connected device (step ST94).
  • the distance D indicated by the acquired distance information is equal to or less than the reference distance Dref (step ST95 “YES”)
  • the activation control unit 62 executes the activation control (step ST96).
  • the operation input to the connected device by the operation input unit 21 is enabled.
  • the control unit 26e may count the duration T2 in a state in which the operation input to the connected device by the operation input unit 21 is invalidated (hereinafter referred to as “invalidated state”).
  • the control unit 26e executes the disconnection process for the connected device. It may be one that does.
  • control unit 26e may not have the validation control unit 62.
  • the remote controller 1e may have a selection control unit 53a similar to that described in the second embodiment, instead of the selection control unit 53.
  • the remote controller 1e may have the same first switching control unit 58 as that described in the third embodiment.
  • the remote controller 1e may have the same disconnection processing unit 59 as that described in the fourth embodiment.
  • the remote controller 1e may have the second switching control unit 60 similar to that described in the fifth embodiment.
  • remote controller 1e can employ various modifications similar to those described in the first embodiment.
  • the remote controller 1e may not be provided with the display unit 22 and the control unit 26e may not be provided with the display control unit 55. Further, the remote controller 1e may not be provided with the voice output unit 24, and the control unit 26e may not be provided with the voice output control unit 56. Further, the remote controller 1e may not be provided with the display unit 22 and the voice output unit 24, and the control unit 26e may not be provided with the display control unit 55 and the voice output control unit 56.
  • the remote control system 100e can employ various modifications similar to those described in the first embodiment.
  • the remote control system 100e may include the server device 4.
  • the first selection control unit 51 (or the first selection control unit 51a), the second selection control unit 52 (or the second selection control unit 52a), the connection processing unit 54, the display control unit 55, the voice output control unit 56.
  • the server device 4 may be realized by the server device 4 instead of the control unit 26e of the remote controller 1e.
  • the distance D to the connected devices is An invalidation control unit 61 that invalidates the operation input to the connected device by the operation input unit 21 when the reference distance Dref is greater than the reference distance Dref.
  • the connected device is located far from the remote controller 1e, it is highly possible that the connected device is outside the recognition range of the user. In such a case, by invalidating the operation input by the remote controller 1e, it is possible to suppress the generation of an operation input against the user's intention.
  • FIG. 41 is an explanatory diagram showing the system configuration of the remote control system according to the seventh embodiment.
  • FIG. 42 is a block diagram showing the main parts of the remote controller according to the seventh embodiment.
  • FIG. 43 is an explanatory diagram showing a main part of a control unit of the remote controller according to the seventh embodiment.
  • a remote control system 100f of the seventh embodiment will be described focusing on the remote controller 1f.
  • FIG. 41 blocks and the like similar to the blocks and the like shown in FIG. Also, in FIG. 42, the same blocks as the blocks shown in FIG. Also, in FIG. 43, the same blocks as the blocks shown in FIG.
  • each operation target device 2 is the same as that described in Embodiment 1 with reference to FIG.
  • the hardware configuration of the remote controller 1f is the same as that described in the first embodiment with reference to FIGS. 3 and 5 to 10, and therefore the illustration and description thereof are omitted.
  • the remote control system 100f includes the information terminal device 5.
  • the information terminal device 5 is composed of, for example, a mobile information terminal such as a smartphone or a tablet PC (Personal Computer).
  • the information terminal device 5 is owned by the user, for example.
  • the information terminal device 5 can communicate with the remote controller 1f via the computer network 3. That is, the communication unit 25 of the remote controller 1 f can communicate with the information terminal device 5 via the computer network 3.
  • the control unit 26f of the remote controller 1f has a first setting control unit 63 and a second setting control unit 64.
  • the first setting control unit 63 and the second setting control unit 64 form a setting control unit 65.
  • the first setting control unit 63 receives the input setting voice. Based on the above, control for setting the operation target function by the remote controller 1f (hereinafter sometimes referred to as "first setting control”) is executed. For receiving the input of the setting voice and selecting the operation target function by the input setting voice, for example, an interactive voice UI included in the remote controller 1f is used.
  • the second setting control unit 64 controls the operation target function of the remote controller 1f based on the input setting operation.
  • the control for setting (hereinafter sometimes referred to as “second setting control”) is executed.
  • dedicated application software installed in the information terminal device 5 is used for receiving the input of the setting operation and selecting the operation target function by the input setting operation.
  • each of the plurality of operation target devices 2 usually has a plurality of functions.
  • the remote operation system 100f which of the plurality of functions is to be assigned to the remote controller 1f can be set by the user by voice input to the remote controller 1f or operation input to the information terminal device 5. ..
  • the selection control unit 53, the connection processing unit 54, the output control unit 57, and the setting control unit 65 constitute a main part of the control unit 26f.
  • the operation input unit 21, the display unit 22, the voice input unit 23, the voice output unit 24, the communication unit 25, and the control unit 26f constitute a main part of the remote controller 1f.
  • the hardware configuration of the main part of the control unit 26f is the same as that described in Embodiment 1 with reference to FIG. 10, illustration and description thereof will be omitted. That is, the functions of the first selection control unit 51, the second selection control unit 52, the connection processing unit 54, the display control unit 55, the audio output control unit 56, the first setting control unit 63, and the second setting control unit 64 are It may be realized by the processor 41 and the memory 42, or may be realized by a dedicated processing circuit 43.
  • control unit 26f of the remote controller 1f will be described focusing on the operation of the setting control unit 65 with reference to the flowchart in FIG.
  • step ST101 “YES” When the set voice is input to the voice input unit 23 (step ST101 “YES”), the setting control unit 65 sets the operation target function based on the input set voice (step ST103).
  • step ST101 “NO” and step ST102 “YES” When a setting operation is input to the information terminal device 5 (step ST101 “NO” and step ST102 “YES”), the setting control unit 65 sets the operation target function based on the input setting operation ( Step ST103).
  • the function of the second setting control unit 64 may be realized by the information terminal device 5 instead of the control unit 26f of the remote controller 1f. That is, the function of the second setting control unit 64 may be included in the application software for the information terminal device 5.
  • the remote controller 1f may have a selection control unit 53a similar to that described in the second embodiment, instead of the selection control unit 53.
  • the remote controller 1f may have the same first switching control unit 58 as that described in the third embodiment.
  • the remote controller 1f may have the same disconnection processing unit 59 as that described in the fourth embodiment.
  • the remote controller 1f may have the second switching control unit 60 similar to that described in the fifth embodiment.
  • the remote controller 1f may have an invalidation control unit 61 and an activation control unit 62 similar to those described in the sixth embodiment.
  • remote controller 1f can adopt various modifications similar to those described in the first embodiment.
  • the display unit 22 may not be provided in the remote controller 1f, and the display control unit 55 may not be provided in the control unit 26f.
  • the remote controller 1f may not be provided with the voice output unit 24, and the control unit 26f may not be provided with the voice output control unit 56.
  • the remote controller 1f may not be provided with the display unit 22 and the voice output unit 24, and the control unit 26f may not be provided with the display control unit 55 and the voice output control unit 56.
  • the remote control system 100f can employ various modifications similar to those described in the first embodiment.
  • the remote control system 100f may include the server device 4.
  • the first selection control unit 51 (or the first selection control unit 51a), the second selection control unit 52 (or the second selection control unit 52a), the connection processing unit 54, the display control unit 55, the voice output control unit 56.
  • the functions of the first setting control unit 63 and the second setting control unit 64 may be realized by the server device 4 instead of the control unit 26f of the remote controller 1f. ..
  • the communication unit 25 can communicate with the information terminal device 5, and the remote controller 1f includes the operation input unit 21 that receives an operation input by the user and the voice input unit.
  • the remote controller 1f includes the operation input unit 21 that receives an operation input by the user and the voice input unit.
  • a setting voice is input to 23
  • a first setting control unit 63 that sets the operation target function by the operation input unit 21 of the plurality of functions of each of the plurality of operation target devices 2 based on the setting voice
  • a setting control unit 65 having a second setting control unit 64 that sets the operation target function based on the setting operation when the setting operation is input to the information terminal device 5 is provided.
  • the user can assign any one or two or more functions of the plurality of functions of each of the plurality of operation target devices 2 to the remote controller 1f.
  • the invention of the present application is capable of freely combining the respective embodiments, modifying any constituent element of each embodiment, or omitting any constituent element in each embodiment. ..
  • the remote controller and remote control system of the present invention can be used, for example, for operation input to a plurality of home appliances.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Selective Calling Equipment (AREA)

Abstract

リモートコントローラ(1)は、ユーザによる音声入力を受け付ける音声入力部(23)と、複数の操作対象機器(2)の各々と通信自在な通信部(25)と、複数の操作対象機器(2)のうちのいずれかの操作対象機器(2)に対する指示音声が音声入力部(23)に入力されたとき、指示音声に基づき、複数の操作対象機器(2)のうちの接続対象機器を選択する第1選択制御部(51)と、複数の操作対象機器(2)のうちのいずれかの操作対象機器(2)がユーザにより直接操作されたことを示す第1通知信号が通信部(25)により受信されたとき、第1通知信号に基づき、接続対象機器を選択する第2選択制御部(52)と、を有する選択制御部(53)と、選択制御部(53)により接続対象機器が選択されたとき、接続対象機器に対する接続処理を実行する接続処理部(54)と、を備える。

Description

リモートコントローラ及び遠隔操作システム
 本発明は、リモートコントローラ及び遠隔操作システムに関する。
 従来、複数の機器に対する操作入力用のリモートコントローラが開発されている。特に、ダイヤル型のリモートコントローラが開発されている(例えば、特許文献1参照。)。
特開2010-268022号公報
 通常、複数の機器に対する操作入力用のリモートコントローラは、当該複数の機器(以下「操作対象機器」という。)のうちの選択された一の機器(以下「接続対象機器」という。)と接続されて、当該接続された機器(以下「接続中機器」という。)に対する操作入力を受け付けるものである。このため、接続対象機器の選択方法が重要である。
 特許文献1記載のリモートコントローラ(以下「従来のリモートコントローラ」という。)における接続対象機器の選択方法は、以下のとおりである。すなわち、ダイヤル型のリモートコントローラ本体の外周部に沿うようにして、複数のタッチセンサが設けられている。従来のリモートコントローラは、これらのタッチセンサによる検知結果に基づき、リモートコントローラ本体に対するユーザの指の接触状態を判定する。従来のリモートコントローラは、当該判定された接触状態に基づき、接続対象機器を選択する。
 すなわち、従来のリモートコントローラにおける接続対象機器の選択方法は、ユーザの指をリモートコントローラ本体に接触させる動作を要求するものである。当該要求される動作に対して、ユーザが煩わしさを感じる問題があった。
 本発明は、上記のような課題を解決するためになされたものであり、接続対象機器の選択が容易なリモートコントローラ及び遠隔操作システムを提供することを目的とする。
 本発明のリモートコントローラは、ユーザによる音声入力を受け付ける音声入力部と、複数の操作対象機器の各々と通信自在な通信部と、複数の操作対象機器のうちのいずれかの操作対象機器に対する指示音声が音声入力部に入力されたとき、指示音声に基づき、複数の操作対象機器のうちの接続対象機器を選択する第1選択制御部と、複数の操作対象機器のうちのいずれかの操作対象機器がユーザにより直接操作されたことを示す第1通知信号が通信部により受信されたとき、第1通知信号に基づき、接続対象機器を選択する第2選択制御部と、を有する選択制御部と、選択制御部により接続対象機器が選択されたとき、接続対象機器に対する接続処理を実行する接続処理部と、を備えるものである。
 本発明によれば、上記のように構成したので、接続対象機器の選択を容易にすることができる。
実施の形態1に係る遠隔操作システムのシステム構成を示す説明図である。 実施の形態1に係る遠隔操作システムにおける個々の操作対象機器の要部を示すブロック図である。 実施の形態1に係るリモートコントローラの要部を示す斜視図である。 実施の形態1に係るリモートコントローラの要部を示すブロック図である。 実施の形態1に係るリモートコントローラの操作入力部のハードウェア構成を示す説明図である。 実施の形態1に係るリモートコントローラの操作入力部の他のハードウェア構成を示す説明図である。 実施の形態1に係るリモートコントローラの表示部のハードウェア構成を示す説明図である。 実施の形態1に係るリモートコントローラの表示部の他のハードウェア構成を示す説明図である。 実施の形態1に係るリモートコントローラの音声入力部のハードウェア構成を示す説明図である。 実施の形態1に係るリモートコントローラの音声出力部のハードウェア構成を示す説明図である。 実施の形態1に係るリモートコントローラの通信部のハードウェア構成を示す説明図である。 実施の形態1に係るリモートコントローラの制御部のハードウェア構成を示す説明図である。 実施の形態1に係るリモートコントローラの制御部の他のハードウェア構成を示す説明図である。 実施の形態1に係るリモートコントローラの制御部の要部を示す説明図である。 実施の形態1に係る遠隔操作システムにおける個々の操作対象機器の制御部の動作を示すフローチャートである。 実施の形態1に係る遠隔操作システムにおける個々の操作対象機器の制御部の他の動作を示すフローチャートである。 実施の形態1に係る遠隔操作システムにおける個々の操作対象機器の制御部の他の動作を示すフローチャートである。 実施の形態1に係るリモートコントローラの制御部の動作を示すフローチャートである。 実施の形態1に係る遠隔操作システムにおける接続対象機器の制御部の動作を示すフローチャートである。 実施の形態1に係るリモートコントローラの制御部の他の動作、及び実施の形態1に係る遠隔操作システムにおける接続対象機器の制御部の他の動作を示す説明図である。 実施の形態1に係るリモートコントローラの制御部の他の動作を示すフローチャートである。 実施の形態1に係る他のリモートコントローラの要部を示すブロック図である。 実施の形態1に係る他のリモートコントローラの制御部の要部を示す説明図である。 実施の形態1に係る他の遠隔操作システムのシステム構成を示す説明図である。 実施の形態2に係る遠隔操作システムのシステム構成を示す説明図である。 実施の形態2に係るリモートコントローラの要部を示すブロック図である。 実施の形態2に係るリモートコントローラの制御部の要部を示す説明図である。 実施の形態2に係るリモートコントローラの制御部の動作を示すフローチャートである。 実施の形態2に係るリモートコントローラの制御部の詳細な動作を示すフローチャートである。 実施の形態3に係る遠隔操作システムのシステム構成を示す説明図である。 実施の形態3に係るリモートコントローラの要部を示すブロック図である。 実施の形態3に係るリモートコントローラの制御部の要部を示す説明図である。 実施の形態3に係るリモートコントローラの制御部の動作を示すフローチャートである。 実施の形態4に係る遠隔操作システムのシステム構成を示す説明図である。 実施の形態4に係るリモートコントローラの要部を示すブロック図である。 実施の形態4に係るリモートコントローラの制御部の要部を示す説明図である。 実施の形態4に係るリモートコントローラの制御部の動作、及び実施の形態4に係る遠隔操作システムにおける接続中機器の制御部の動作を示すフローチャートである。 実施の形態5に係る遠隔操作システムのシステム構成を示す説明図である。 実施の形態5に係るリモートコントローラの要部を示すブロック図である。 実施の形態5に係るリモートコントローラの制御部の要部を示す説明図である。 実施の形態5に係るリモートコントローラの制御部の動作を示すフローチャートである。 実施の形態5に係るリモートコントローラの制御部の他の動作を示すフローチャートである。 実施の形態6に係る遠隔操作システムのシステム構成を示す説明図である。 実施の形態6に係るリモートコントローラの要部を示すブロック図である。 実施の形態6に係るリモートコントローラの制御部の要部を示す説明図である。 実施の形態6に係るリモートコントローラの制御部の動作を示すフローチャートである。 実施の形態6に係るリモートコントローラの制御部の他の動作を示すフローチャートである。 実施の形態7に係る遠隔操作システムのシステム構成を示す説明図である。 実施の形態7に係るリモートコントローラの要部を示すブロック図である。 実施の形態7に係るリモートコントローラの制御部の要部を示す説明図である。 実施の形態7に係るリモートコントローラの制御部の動作を示すフローチャートである。
 以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態1.
 図1は、実施の形態1に係る遠隔操作システムのシステム構成を示す説明図である。図2は、実施の形態1に係る遠隔操作システムにおける個々の操作対象機器の要部を示すブロック図である。図3は、実施の形態1に係るリモートコントローラの要部を示す斜視図である。図4は、実施の形態1に係るリモートコントローラの要部を示すブロック図である。図5は、実施の形態1に係るリモートコントローラの操作入力部のハードウェア構成を示す説明図である。図6は、実施の形態1に係るリモートコントローラの表示部のハードウェア構成を示す説明図である。図7は、実施の形態1に係るリモートコントローラの音声入力部のハードウェア構成を示す説明図である。図8は、実施の形態1に係るリモートコントローラの音声出力部のハードウェア構成を示す説明図である。図9は、実施の形態1に係るリモートコントローラの通信部のハードウェア構成を示す説明図である。図10は、実施の形態1に係るリモートコントローラの制御部のハードウェア構成を示す説明図である。図11は、実施の形態1に係るリモートコントローラの制御部の要部を示す説明図である。
 まず、図1を参照して、実施の形態1の遠隔操作システム100について説明する。
 遠隔操作システム100は、リモートコントローラ1を含むものである。また、遠隔操作システム100は、複数の操作対象機器2を含むものである。図1に示す例において、遠隔操作システム100は、N個の操作対象機器2_1~2_Nを含むものである。ここで、Nは2以上の任意の整数である。リモートコントローラ1は、コンピュータネットワーク3により、複数の操作対象機器2の各々と通信自在である。
 複数の操作対象機器2の各々は、例えば、調理用の家庭用電気器具(以下「家電」という。)により構成されている。複数の操作対象機器2は、例えば、IH(Induction Heating)調理器、電子レンジ及びオーブントースターを含むものである。複数の操作対象機器2の各々は、ユーザにより直接操作されることにより、又はユーザによりリモートコントローラ1を用いて操作されることにより、対応する家電が有する本来の機能(以下「家電機能」ということがある。)を果たすものである。
 通常、個々の家電は複数の機能を有しており、当該複数の機能のうちの選択された少なくとも一の機能(以下「操作対象機能」という。)がリモートコントローラ1に割り当てられている。例えば、IH調理器における火力を調節する機能、電子レンジにおける加熱時間を設定する機能、及びオーブントースターにおける加熱時間を設定する機能がリモートコントローラ1に割り当てられている。リモートコントローラ1は、例えば、ユーザにより所持された状態にて、又は、複数の操作対象機器2のうちのいずれかの操作対象機器2に貼り付けられた状態にて、又は、調理台に載置された状態にて使用される。
 なお、複数の操作対象機器2の各々が家電により構成されており、かつ、これらの家電が設置されている家庭内にリモートコントローラ1が配置されている場合、コンピュータネットワーク3は、いわゆる「ホームネットワーク」により構成されているものであっても良い。この場合、リモートコントローラ1と複数の操作対象機器2の各々との通信は、ホームネットワーク内のルータ(不図示)を介するものであっても良い。または、この場合、リモートコントローラ1と複数の操作対象機器2の各々との通信は、当該ルータを介しない直接通信によるものであっても良い。
 このようにして、遠隔操作システム100の要部が構成されている。
 次に、図2を参照して、個々の操作対象機器2について説明する。以下、個々の操作対象機器2の説明において、対応する操作対象機器2を「自機」ということがある。
 図2に示す如く、個々の操作対象機器2は、操作入力部11、表示部12及び音声出力部13を有している。操作入力部11は、ユーザによる操作入力を受け付けるものである。操作入力部11は、例えば、専用の操作パネルにより構成されている。IH調理器の操作パネルは、例えば、当該IH調理器の天面部に設けられている。電子レンジの操作パネルは、例えば、当該電子レンジの前面部に設けられている。オーブントースターの操作パネルは、例えば、当該オーブントースターの前面部に設けられている。表示部12は、例えば、ディスプレイ又は光源により構成されている。表示部12は、例えば、操作パネルと一体に設けられている。音声出力部13は、例えば、スピーカにより構成されている。
 また、図2に示す如く、個々の操作対象機器2は、通信部14及び制御部15を有している。通信部14は、例えば、無線通信用の送信機及び受信機により構成されている。これにより、個々の操作対象機器2は、リモートコントローラ1と通信自在である。制御部15は、例えば、プロセッサ及びメモリ、又は処理回路により構成されている。制御部15は、自機全体の動作を制御するものである。
 そのほか、個々の操作対象機器2は、家電機能を実現するための種々の構成部材を有している。これらの構成部材については図示及び説明を省略する。
 このようにして、個々の操作対象機器2の要部が構成されている。
 次に、図3~図10を参照して、リモートコントローラ1について説明する。
 図3に示す如く、リモートコントローラ1はダイヤル型である。図3及び図4に示す如く、リモートコントローラ1は、操作入力部21、表示部22、音声入力部23及び音声出力部24を有している。
 操作入力部21は、例えば、ダイヤル31、すなわちダイヤル型のリモートコントローラ本体32により構成されている(図3及び図5参照)。操作入力部21は、ユーザによる操作入力を受け付けるものである。より具体低には、操作入力部21は、回動による操作入力を受け付けるものである。これに加えて、操作入力部21は、押下による操作入力を受け付けるものであっても良い。
 表示部22は、例えば、ディスプレイ33又は光源34により構成されている(図6参照)。ディスプレイ33は、例えば、液晶ディスプレイ又は有機EL(Electro Luminescence)ディスプレイを用いたものである。光源34は、例えば、複数のLED(Light Emitting Diode)又は複数のLD(Laser Diode)を用いたものである。表示部22は、例えば、リモートコントローラ1の天面部に設けられている(図3参照)。
 音声入力部23は、例えば、マイク35により構成されている(図7参照)。音声入力部23は、例えば、リモートコントローラ1の天面部に設けられている(図3参照)。または、例えば、音声入力部23は、リモートコントローラ1の側面部に設けられている(不図示)。音声入力部23は、ユーザによる音声入力を受け付けるものである。
 音声出力部24は、例えば、スピーカ36により構成されている(図8参照)。音声出力部24は、例えば、リモートコントローラ1の天面部に設けられている(図3参照)。または、例えば、音声出力部24は、リモートコントローラ1の側面部に設けられている(不図示)。
 また、図4に示す如く、リモートコントローラ1は、通信部25及び制御部26を有している。通信部25及び制御部26は、リモートコントローラ1の内部に設けられている。
 通信部25は、例えば、無線通信用の送信機37及び受信機38により構成されている(図9参照)。これにより、リモートコントローラ1は、複数の操作対象機器2の各々と通信自在である。
 制御部26は、例えば、プロセッサ41及びメモリ42、又は処理回路43により構成されている(図10参照)。制御部26は、リモートコントローラ1全体の動作を制御するものである。
 プロセッサ41は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、マイクロプロセッサ、マイクロコントローラ又はDSP(Digital Signal Processor)のうちの少なくとも一つを用いたものである。
 メモリ42は、揮発性メモリ及び不揮発性メモリにより構成されている。メモリ42のうちの揮発性メモリは、例えば、RAM(Random Access Memory)を用いたものである。メモリ42のうちの不揮発性メモリは、例えば、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read-Only Memory)、SSD(Solid State Drive)又はHDD(Hard Disk Drive)のうちの少なくとも一つを用いたものである。
 処理回路43は、例えば、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)、FPGA(Field-Programmable Gate Array)、SoC(System-on-a-Chip)又はシステムLSI(Large-Scale Integration)のうちの少なくとも一つを用いたものである。
 このようにして、リモートコントローラ1の要部が構成されている。
 次に、遠隔操作システム100にて実現される機能について説明する。
 なお、リモートコントローラ1の制御部26にて実現される機能のうちの主要な機能の説明においては、図11が参照される。すなわち、図11に示す如く、制御部26は、第1選択制御部51及び第2選択制御部52を有している。第1選択制御部51及び第2選択制御部52により、選択制御部53が構成されている。また、制御部26は、接続処理部54、表示制御部55及び音声出力制御部56を有している。表示制御部55及び音声出力制御部56により、出力制御部57が構成されている。
 第1選択制御部51は、複数の操作対象機器2の各々に対応する複数の言葉を示すデータベースDB(不図示)を有している。第1選択制御部51は、複数の操作対象機器2のうちのいずれかの操作対象機器2に対応する言葉を含む音声(以下「指示音声」という。)が音声入力部23に入力されたとき、当該入力された指示音声に基づき、複数の操作対象機器2のうちの接続対象となる操作対象機器2、すなわち接続対象機器を選択する。より具体的には、第1選択制御部51は、当該入力された指示音声に対応する操作対象機器2を接続対象機器に設定する。指示音声は、例えば、各家電の名称を示す単語を含む音声、各家電の動作を示す文、文節又は単語を含む音声、及び各家電の動作による被処理体を示す単語を含む音声である。
 例えば、データベースDBにおいて、IH調理器に対応する単語に「IH」が含まれているものとする。この場合において、ユーザが「IH」の単語を含む発話をして、当該発話された音声(すなわち指示音声)が音声入力部23に入力されたものとする。このとき、第1選択制御部51は、IH調理器を接続対象機器に設定する。
 また、例えば、データベースDBにおいて、IH調理器に対応する文に「お湯を沸かす」が含まれているものとする。この場合において、ユーザが「お湯を沸かす」の文を含む発話をして、当該発話された音声(すなわち指示音声)が音声入力部23に入力されたものとする。このとき、第1選択制御部51は、IH調理器を接続対象機器に設定する。
 また、例えば、データベースDBにおいて、IH調理器に対応する文に「カレー」が含まれているものとする。この場合において、ユーザが「カレー」の単語を含む発話をして、当該発話された音声(すなわち指示音声)が音声入力部23に入力されたものとする。このとき、第1選択制御部51は、IH調理器を接続対象機器に設定する。
 ここで、リモートコントローラ1は、対話型の音声UI(User Interface)を有するものであっても良い。この場合、第1選択制御部51は、ユーザとリモートコントローラ1間の音声対話により、接続対象機器を選択するものであっても良い。
 例えば、データベースDBにおいて、IH調理器に対応する文に「お湯を温める」が含まれており、かつ、電子レンジに対応する文に「お湯を温める」が含まれているものとする。また、データベースDBにおいて、IH調理器に対応する単語に「IH」が含まれているものとする。また、データベースDBにおいて、電子レンジに対応する単語に「レンジ」が含まれているものとする。
 この場合において、ユーザが「お湯を温める」の文を含む発話をして、当該発話された音声(すなわち指示音声)が音声入力部23に入力されたものとする。このとき、音声出力制御部56は、「IHとレンジ、どちらにしますか?」の質問文を読み上げる音声、すなわち対話用の音声を音声出力部24に出力させる。これに対して、ユーザが「レンジ」の単語を含む発話をして、当該発話された音声(すなわち指示音声)が音声入力部23に入力されたものとする。このとき、第1選択制御部51は、電子レンジを接続対象機器に設定する。
 個々の操作対象機器2の制御部15は、自機がユーザにより直接操作されたとき、その旨を示す信号(以下「第1通知信号」という。)の送信を通信部14に指示する。通信部14は、制御部15による指示に応じて、第1通知信号をリモートコントローラ1に送信する。例えば、IH調理器における第1通知信号は、当該IH調理器に鍋等の器具が載置されたとき、又は当該IH調理器の操作パネル(すなわち操作入力部11)に対する操作入力がなされたときに送信される。
 また、個々の操作対象機器2の制御部15は、自機の動作が終了したとき、その旨を示す信号(以下「第2通知信号」という。)の送信を通信部14に指示する。通信部14は、制御部15による指示に応じて、第2通知信号をリモートコントローラ1に送信する。例えば、電子レンジにおける第2通知信号は、当該電子レンジによる加熱の動作が終了したときに送信される。
 また、個々の操作対象機器2の制御部15は、自機の動作が所定の工程に到達したとき、その旨を示す信号(以下「第3通知信号」という。)の送信を通信部14に指示する。通信部14は、制御部15による指示に応じて、第3通知信号をリモートコントローラ1に送信する。例えば、オーブントースターにおける第3通知信号は、当該オーブントースターによる加熱の工程が終了して、いわゆる「余熱」の工程が開始されるときに送信される。
 以下、第1通知信号、第2通知信号及び第3通知信号を総称して「通知信号」ということがある。リモートコントローラ1の通信部25は、個々の操作対象機器2により通知信号が送信されたとき、当該送信された通知信号を受信する。
 第2選択制御部52は、通信部25により通知信号が受信されたとき、当該受信された通知信号に基づき、複数の操作対象機器2のうちの接続対象となる操作対象機器2、すなわち接続対象機器を選択する。より具体的には、第2選択制御部52は、当該受信された通知信号に対応する操作対象機器2を接続対象機器に設定する。
 接続処理部54は、選択制御部53により接続対象機器が選択されたとき、当該選択された接続対象機器に対する接続処理を実行する。より具体的には、接続処理部54は、接続対象機器に対する接続を要求する信号(以下「接続要求信号」という。)の送信を通信部25に指示する。通信部25は、制御部26による指示に応じて、接続要求信号を接続対象機器に送信する。
 接続対象機器の通信部14は、リモートコントローラ1により接続要求信号が送信されたとき、当該送信された接続要求信号を受信する。接続対象機器の制御部15は、通信部14により接続要求信号が受信されたとき、リモートコントローラ1に対する接続処理を実行する。より具体的には、接続対象機器の制御部15は、当該受信された接続要求信号に対する応答用の信号(以下「接続応答信号」という。)の送信を通信部14に指示する。接続対象機器の通信部14は、制御部15による指示に応じて、接続応答信号をリモートコントローラ1に送信する。接続応答信号の送信により、接続対象機器におけるリモートコントローラ1に対する接続処理が完了する。
 リモートコントローラ1の通信部25は、接続対象機器により接続応答信号が送信されたとき、当該送信された接続応答信号を受信する。接続応答信号の受信により、リモートコントローラ1における接続対象機器に対する接続処理が完了する。
 表示制御部55は、リモートコントローラ1における接続処理が完了したとき、すなわち接続応答信号が受信されたとき、リモートコントローラ1が接続対象機器と接続されたことを示す表示(以下「第1表示」という。)を表示部22に実行させる。第1表示は、例えば、接続対象機器を示す画像がディスプレイ33に表示されるもの、又は接続対象機器に応じた点灯態様(例えば点灯色、点灯回数又は点灯周期)にて光源34が点灯するものである。
 接続対象機器の制御部15は、接続対象機器における接続処理が完了したとき、すなわち接続応答信号が送信されたとき、第1表示に連動する表示(以下「第2表示」という。)を表示部12に実行させる。これにより、第1表示の実行タイミングに対応するタイミングにて、より具体的には第1表示の実行タイミングと略同一のタイミングにて、第2表示が実行される。この結果、ユーザは、リモートコントローラ1が接続対象機器と接続されたことを視覚的に認識することができる。
 また、音声出力制御部56は、リモートコントローラ1における接続処理が完了したとき、すなわち接続応答信号が受信されたとき、その旨を示す音又は音声(以下総称して「第1音声」という。)を音声出力部24に出力させる。第1音声は、例えば、接続対象機器の名称を含む文を読み上げる音声、又は接続対象機器に応じた出力態様(例えば高さ、大きさ若しくは長さ)を有する音である。
 接続対象機器の制御部15は、接続対象機器における接続処理が完了したとき、すなわち接続応答信号が送信されたとき、第1音声に連動する音又は音声(以下総称して「第2音声」という。)を音声出力部13に出力させる。これにより、第1音声の出力タイミングに対応するタイミングにて、より具体的には第1音声の出力タイミングと略同一のタイミングにて、第2音声が出力される。この結果、ユーザは、リモートコントローラ1が接続対象機器と接続されたことを聴覚的に認識することができる。
 これらの接続処理が完了することにより、リモートコントローラ1が接続対象機器と接続された状態となる。すなわち、接続対象機器が接続中機器となる。したがって、接続中機器における操作対象機能がリモートコントローラ1により操作される状態となる。例えば、接続中機器がIH調理器である場合、操作入力部21の回動により当該IH調理器における火力が調節される状態となる。また、例えば、接続中機器が電子レンジである場合、操作入力部21の回動により当該電子レンジにおける加熱時間が設定される状態となる。また、例えは、接続中機器がオーブントースターである場合、操作入力部21の回動により当該オーブントースターにおける加熱時間が設定される状態となる。
 表示制御部55は、リモートコントローラ1を用いた操作により接続中機器の状態(例えばIH調理器における火力)が変化したとき、当該状態の変化に応じた表示(以下「第3表示」という。)を表示部22に実行させる。これにより、ユーザは、リモートコントローラ1を用いた操作の結果を視覚的に認識することができる。例えば、IH調理器における火力が変化したときの第3表示は、当該火力を示す画像がディスプレイ33に表示されるもの、又は当該火力に応じた点灯態様(例えば点灯色又は点灯個数)にて光源34が点灯するものである。
 また、音声出力制御部56は、リモートコントローラ1を用いた操作により接続中機器の状態(例えばIH調理器における火力)が変化したとき、当該状態の変化に応じた音又は音声(以下総称して「第3音声」という。)を音声出力部24に出力させる。これにより、ユーザは、リモートコントローラ1を用いた操作の結果を聴覚的に認識することができる。例えば、IH調理器における火力が変化したときの第3音声は、当該火力を示す単語(例えば「強火」「中火」又は「弱火」の単語)を含む文を読み上げる音声、又は当該火力に応じた出力態様(例えば高さ、大きさ若しくは長さ)を有する音である。
 第1選択制御部51、第2選択制御部52、接続処理部54、表示制御部55及び音声出力制御部56の機能は、例えば、以下のようにして実現される。
 すなわち、図10Aに示す如く、制御部26はプロセッサ41及びメモリ42により構成されている。メモリ42には、第1選択制御部51、第2選択制御部52、接続処理部54、表示制御部55及び音声出力制御部56の機能を実現するためのプログラムが記憶されている。メモリ42に記憶されているプログラムをプロセッサ41が読み出して実行することにより、第1選択制御部51、第2選択制御部52、接続処理部54、表示制御部55及び音声出力制御部56の機能が実現される。
 または、図10Bに示す如く、制御部26は処理回路43により構成されている。この場合、第1選択制御部51、第2選択制御部52、接続処理部54、表示制御部55及び音声出力制御部56の機能が専用の処理回路43により実現される。
 または、制御部26はプロセッサ41、メモリ42及び処理回路43により構成されている(不図示)。この場合、第1選択制御部51、第2選択制御部52、接続処理部54、表示制御部55及び音声出力制御部56の機能のうちの一部の機能がプロセッサ41及びメモリ42により実現されて、残余の機能が専用の処理回路43により実現される。
 次に、図12のフローチャートを参照して、個々の操作対象機器2の制御部15の動作について、通知信号が送信されるときの動作を中心に説明する。
 個々の操作対象機器2の制御部15は、自機がユーザにより直接操作されたとき(ステップST1“YES”)、第1通知信号の送信を通信部14に指示する(ステップST2)。また、個々の操作対象機器2の制御部15は、自機の動作が終了したとき(ステップST3“YES”)、第2通知信号の送信を通信部14に指示する(ステップST4)。また、個々の操作対象機器2の制御部15は、自機の動作が所定の工程に到達したとき(ステップST5“YES”)、第3通知信号の送信を通信部14に指示する(ステップST6)。
 次に、図13のフローチャートを参照して、リモートコントローラ1の制御部26の動作について、選択制御部53及び接続処理部54の動作を中心に説明する。
 選択制御部53は、音声入力部23に指示音声が入力されたとき(ステップST11“YES”)、当該入力された指示音声に基づき、接続対象機器を選択する(ステップST13)。また、選択制御部53は、通信部25により通知信号が受信されたとき(ステップST11“NO”かつステップST12“YES”)、当該受信された通知信号に基づき、接続対象機器を選択する(ステップST13)。接続対象機器の選択方法の具体例は上記のとおりであるため、再度の説明は省略する。
 次いで、接続処理部54は、選択制御部53により選択された接続対象機器、すなわちステップST13にて選択された接続対象機器に対する接続処理を実行する。より具体的には、接続処理部54は、当該選択された接続対象機器に対する接続要求信号の送信を通信部25に指示する(ステップST14)。
 次に、図14のフローチャートを参照して、接続対象機器の制御部15の動作について、接続応答信号が送信されるときの動作を中心に説明する。
 接続対象機器の制御部15は、通信部14により接続要求信号が受信されたとき(ステップST21“YES”)、リモートコントローラ1に対する接続処理を実行する。より具体的には、接続対象機器の制御部15は、当該受信された接続要求信号に対する接続応答信号の送信を通信部14に指示する(ステップST22)。
 次に、図15のフローチャートを参照して、リモートコントローラ1の制御部26の動作及び接続対象機器の制御部15の動作について、接続処理が完了したときの動作を中心に説明する。
 出力制御部57は、接続対象機器に対する接続処理が完了したとき、すなわち接続応答信号が受信されたとき(ステップST31“YES”)、表示部22に第1表示を実行させるとともに、音声出力部24に第1音声を出力させる(ステップST32)。また、接続対象機器の制御部15は、リモートコントローラ1に対する接続処理が完了したとき、すなわち接続応答信号が送信されたとき(ステップST33“YES”)、表示部12に第2表示を実行させるとともに、音声出力部13に第2音声を出力させる(ステップST34)。第1表示の具体例(すなわち第2表示の具体例)及び第1音声の具体例(すなわち第2音声の具体例)は上記のとおりであるため、再度の説明は省略する。
 次に、図16のフローチャートを参照して、リモートコントローラ1の制御部26の動作について、第3表示が実行されるときの動作、すなわち第3音声が出力されるときの動作を中心に説明する。
 出力制御部57は、リモートコントローラ1を用いた操作により接続中機器の状態が変化したとき(ステップST41“YES”)、表示部22に第3表示を実行させるとともに、音声出力部24に第3音声を出力させる(ステップST42)。第3表示の具体例及び第3音声の具体例は上記のとおりであるため、再度の説明は省略する。
 次に、リモートコントローラ1の変形例について説明する。
 リモートコントローラ1は、表示部22を有しないものであっても良い。この場合、制御部26は、表示制御部55を有しないものであっても良い。すなわち、リモートコントローラ1にて、第1音声及び第3音声が出力される一方、第1表示及び第3表示は実行されないものであっても良い。
 また、リモートコントローラ1は、音声出力部24を有しないものであっても良い。この場合、制御部26は、音声出力制御部56を有しないものであっても良い。すなわち、リモートコントローラ1にて、第1表示及び第3表示が実行される一方、第1音声及び第3音声は出力されないものであっても良い。
 また、リモートコントローラ1は、表示部22及び音声出力部24を有しないものであっても良い(図17参照)。この場合、制御部26は、表示制御部55及び音声出力制御部56を有しないものであっても良い(図18参照)。すなわち、リモートコントローラ1にて、第1表示及び第3表示が実行されず、かつ、第1音声及び第3音声が出力されないものであっても良い。
 また、リモートコントローラ1は、ダイヤル型に限定されるものではなく、如何なる形状を有するものであっても良い。したがって、操作入力部21は、ダイヤル31(すなわちダイヤル型のリモートコントローラ本体32)に限定されるものではなく、如何なる部材により構成されているものであっても良い。
 次に、遠隔操作システム100の変形例について説明する。
 図19に示す如く、遠隔操作システム100は、サーバ装置4を含むものであっても良い。サーバ装置4は、コンピュータネットワーク3により、リモートコントローラ1と通信自在である。また、サーバ装置4は、コンピュータネットワーク3により、複数の操作対象機器2の各々と通信自在である。この場合、第1選択制御部51、第2選択制御部52、接続処理部54、表示制御部55及び音声出力制御部56の機能のうちの少なくとも一部の機能が、リモートコントローラ1の制御部26に代えてサーバ装置4にて実現されるものであっても良い。
 また、個々の操作対象機器2は、第2通知信号を送信する機能を有しないものであっても良い。また、個々の操作対象機器2は、第3通知信号を送信する機能を有しないものであっても良い。
 また、個々の操作対象機器2が有する複数の機能のうちの二以上の機能がリモートコントローラ1に割り当てられているものであっても良い。例えば、電子レンジにおいて、出力を設定する機能及び加熱時間を設定する機能がリモートコントローラ1に割り当てられているものであっても良い。この場合、操作入力部21の回動により各操作対象機能に対応する設定がなされるとともに、操作入力部21の押下により各操作対象機能に対応する設定の確定及び操作対象機能の切替えがなされるものであっても良い。
 すなわち、まず、リモートコントローラ1が電子レンジと接続される。次いで、操作入力部21の回動により、電子レンジの出力が設定される。次いで、操作入力部21の押下により、当該出力の設定が確定されるとともに、操作対象機能が加熱時間を設定する機能に切り替わる。次いで、操作入力部21の回動により、電子レンジにおける加熱時間が設定される。次いで、操作入力部21の押下により、当該加熱時間の設定が確定される。このようにして、当該出力の設定及び当該加熱時間の設定が完了する。
 以上のように、実施の形態1のリモートコントローラ1は、ユーザによる音声入力を受け付ける音声入力部23と、複数の操作対象機器2の各々と通信自在な通信部25と、複数の操作対象機器2のうちのいずれかの操作対象機器2に対する指示音声が音声入力部23に入力されたとき、指示音声に基づき、複数の操作対象機器2のうちの接続対象機器を選択する第1選択制御部51と、複数の操作対象機器2のうちのいずれかの操作対象機器2がユーザにより直接操作されたことを示す第1通知信号が通信部25により受信されたとき、第1通知信号に基づき、接続対象機器を選択する第2選択制御部52と、を有する選択制御部53と、選択制御部53により接続対象機器が選択されたとき、接続対象機器に対する接続処理を実行する接続処理部54と、を備える。これにより、接続対象機器を選択するとき、ユーザの指をリモートコントローラ1に接触される動作を不要とすることができる。この結果、接続対象機器の選択を容易にすることができる。
 また、第2選択制御部52は、複数の操作対象機器2のうちのいずれかの操作対象機器2の動作が終了したことを示す第2通知信号が通信部25により受信されたとき、第2通知信号に基づき、接続対象機器を選択する。これにより、例えば、特定の操作対象機器2による特定の動作が終了した後(例えば電子レンジによる加熱の動作が終了した後)、ユーザが当該機器に当該動作を再び実行させるとき、当該機器に対する操作入力をスムーズに開始することができる。
 また、第2選択制御部52は、複数の操作対象機器2のうちのいずれかの操作対象機器2の動作が所定の工程に到達したことを示す第3通知信号が通信部25により受信されたとき、第3通知信号に基づき、接続対象機器を選択する。これにより、例えば、特定の操作対象機器2の動作が特定の工程に到達した後(例えばオーブントースターの動作が余熱の工程に到達した後)、ユーザが当該機器の動作を次の工程に移行させるとき、当該機器に対する操作入力をスムーズに開始することができる。
 また、リモートコントローラ1は、接続処理が完了したとき、リモートコントローラ1が接続対象機器と接続されたことを示す第1表示を実行する表示部22を備え、接続対象機器にて、第1表示に連動する第2表示が第1表示の実行タイミングに対応するタイミングにて実行される。これにより、ユーザは、リモートコントローラ1が接続対象機器と接続されたことを視覚的に認識することができる。
 また、リモートコントローラ1は、接続処理が完了したとき、リモートコントローラ1が接続対象機器と接続されたことを示す第1音声を出力する音声出力部24を備え、接続対象機器にて、第1音声に連動する第2音声が第1音声の出力タイミングに対応するタイミングにて出力される。これにより、ユーザは、リモートコントローラ1が接続対象機器と接続されたことを聴覚的に認識することができる。
 また、リモートコントローラ1は、複数の操作対象機器2に接続中機器が含まれる場合において、接続中機器の状態が変化したとき、当該状態の変化に応じた第3表示を実行する表示部22を備える。これにより、ユーザは、リモートコントローラ1を用いた操作の結果を視覚的に認識することができる。
 また、リモートコントローラ1は、複数の操作対象機器2に接続中機器が含まれる場合において、接続中機器の状態が変化したとき、当該状態の変化に応じた第3音声を出力する音声出力部24を備える。これにより、ユーザは、リモートコントローラ1を用いた操作の結果を聴覚的に認識することができる。
 また、実施の形態1の遠隔操作システム100は、リモートコントローラ1及び複数の操作対象機器2を含む遠隔操作システム100であって、リモートコントローラ1は、ユーザによる音声入力を受け付ける音声入力部23と、複数の操作対象機器2の各々と通信自在な通信部25と、複数の操作対象機器2のうちのいずれかの操作対象機器2に対する指示音声が音声入力部23に入力されたとき、指示音声に基づき、複数の操作対象機器2のうちの接続対象機器を選択する第1選択制御部51と、複数の操作対象機器2のうちのいずれかの操作対象機器2がユーザにより直接操作されたことを示す第1通知信号が通信部25により受信されたとき、第1通知信号に基づき、接続対象機器を選択する第2選択制御部52と、を有する選択制御部53と、選択制御部53により接続対象機器が選択されたとき、接続対象機器に対する接続処理を実行する接続処理部54と、を備える。これにより、リモートコントローラ1による上記効果と同様の効果を得ることができる。
実施の形態2.
 図20は、実施の形態2に係る遠隔操作システムのシステム構成を示す説明図である。図21は、実施の形態2に係るリモートコントローラの要部を示すブロック図である。図22は、実施の形態2に係るリモートコントローラの制御部の要部を示す説明図である。図20~図22を参照して、実施の形態2の遠隔操作システム100aについて、リモートコントローラ1aを中心に説明する。
 なお、図20において、図19に示すブロック等と同様のブロック等には同一符号を付して説明を省略する。また、図21において、図4に示すブロックと同様のブロックには同一符号を付して説明を省略する。また、図22において、図11に示すブロックと同様のブロックには同一符号を付して説明を省略する。
 また、個々の操作対象機器2の構成は、実施の形態1にて図2を参照して説明したものと同様であるため、図示及び説明を省略する。また、リモートコントローラ1aのハードウェア構成は、実施の形態1にて図3及び図5~図10を参照して説明したものと同様であるため、図示及び説明を省略する。
 図22に示す如く、リモートコントローラ1aの制御部26aは、第1選択制御部51a及び第2選択制御部52aを有している。第1選択制御部51a及び第2選択制御部52aにより、選択制御部53aが構成されている。
 第1選択制御部51aは、音声入力部23に指示音声が入力されたとき、当該入力された指示音声に基づき、接続対象機器を選択する。また、第2選択制御部52aは、通信部25により通知信号が受信されたとき、当該受信された通知信号に基づき、接続対象機器を選択する。
 以下、実施の形態2において、複数の操作対象機器2のうちの音声入力部23に入力された指示音声に対応する一以上の操作対象機器2を「接続候補機器」という。また、実施の形態2において、複数の操作対象機器2のうちの通信部25により受信された通知信号に対応する一以上の操作対象機器2を「接続候補機器」という。
 例えば、データベースDBにおいて、電子レンジに対応する単語に「レンジ」が含まれており、かつ、残余の操作対象機器2に対応する単語に「レンジ」が含まれていないものとする。この場合において、ユーザが「レンジ」の単語を含む発話をして、当該発話された音声(すなわち指示音声)が音声入力部23に入力されたものとする。この場合における指示音声は、一の接続候補機器(すなわち電子レンジ)に対応するものである。他方、データベースDBにおいて、IH調理器に対応する文に「お湯を温める」が含まれており、かつ、電子レンジに対応する文に「お湯を温める」が含まれているものとする。この場合において、ユーザが「お湯を温める」の文を含む発話をして、当該発話された音声(すなわち指示音声)が音声入力部23に入力されたものとする。この場合における指示音声は、二以上の接続候補機器(すなわちIH調理器及び電子レンジ)に対応するものである。
 また、例えば、IH調理器により送信された第1通知信号のみが通信部25により受信されたものとする。この場合における通知信号は、一の接続候補機器(すなわちIH調理器)に対応するものである。他方、IH調理器により送信された第1通知信号と、電子レンジにより送信された第2通知信号とが略同時に通信部25により受信されたものとする。この場合における通知信号は、二以上の接続候補機器(すなわちIH調理器及び電子レンジ)に対応するものである。
 第1選択制御部51aは、音声入力部23に指示音声が入力された場合において、当該入力された指示音声が一の接続候補機器に対応するものであるとき、すなわち一の接続候補機器が存在するとき、当該一の接続候補機器を接続対象機器に設定する。また、第2選択制御部52aは、通信部25により通知信号が受信された場合において、当該受信された通知信号が一の接続候補機器に対応するものであるとき、すなわち一の接続候補機器が存在するとき、当該一の接続候補機器を接続対象機器に設定する。
 他方、音声入力部23に指示音声が入力された場合において、当該入力された指示音声が二以上の接続候補機器に対応するものであるとき、すなわち二以上の接続候補機器が存在するとき、第1選択制御部51aは、当該二以上の接続候補機器の各々によるリモートコントローラ1aに対する接続の優先度(以下「接続優先度」という。)CPを設定する。また、通信部25により通知信号が受信された場合において、当該受信された通知信号が二以上の接続候補機器に対応するものであるとき、すなわち二以上の接続候補機器が存在するとき、第1選択制御部51aは、当該二以上の接続候補機器の各々の接続優先度CPを設定する。接続優先度CPの設定方法の具体例は、以下のとおりである。
〈接続優先度CPの設定方法の第1具体例〉
 遠隔操作システム100aは、リモートコントローラ1aと複数の操作対象機器2の各々との距離Dを検知する機能を有している。この機能の実現には、公知の種々のハードウェア及びソフトウェアが使用可能なものである。これらのハードウェア及びソフトウェアについての詳細な説明は省略する。
 選択制御部53aは、リモートコントローラ1aと二以上の接続候補機器の各々との距離Dを示す情報を取得する。選択制御部53aは、当該取得された情報を用いて、二以上の接続候補機器の各々の接続優先度CPを、リモートコントローラ1aに対する距離Dが小さいほど高い値に設定する。
〈接続優先度CPの設定方法の第2具体例〉
 図20に示す如く、遠隔操作システム100aは、サーバ装置4を含むものであっても良い。サーバ装置4は、ユーザによる複数の操作対象機器2の各々の使用履歴を示す情報(以下「使用履歴情報」という。)を収集する機能を有している。また、サーバ装置4は、当該収集された使用履歴情報を蓄積して記憶する機能を有している。これらの機能の実現には、公知の種々のハードウェア及びソフトウェアが使用可能なものである。これらのハードウェア及びソフトウェアについての詳細な説明は省略する。
 選択制御部53aは、サーバ装置4に記憶されている使用履歴情報のうち、二以上の接続候補機器に係る使用履歴情報を取得する。選択制御部53aは、当該取得された使用履歴情報を用いて、二以上の接続候補機器の各々が使用される確率P1を算出する。具体的には、例えば、選択制御部53aは、二以上の接続候補機器の各々が過去に使用された時刻、又は二以上の接続候補機器が過去に使用された順序のうちの少なくとも一方に基づき、確率P1を算出する。選択制御部53aは、当該算出された確率P1を用いて、二以上の接続候補機器の各々の接続優先度CPを、確率P1が高いほど高い値に設定する。
 例えば、選択制御部53aは、使用履歴情報を用いて、現在の時刻を含む時間帯における、二以上の接続候補機器の各々が使用された回数を算出する。選択制御部53aは、当該算出された回数が多い接続候補機器ほど、確率P1を高い値に算出する。または、例えば、選択制御部53aは、使用履歴情報を用いて、直前に接続されていた操作対象機器2の次に、二以上の接続候補機器の各々が使用された回数を算出する。選択制御部53aは、当該算出された回数が多い接続候補機器ほど、確率P1を高い値に算出する。
〈接続優先度CPの設定方法の第3具体例〉
 複数の操作対象機器2の各々に人感センサが設けられている。選択制御部53aは、これらの人感センサのうち、二以上の接続候補機器に設けられた人感センサによる検知結果を示す情報を取得する。選択制御部53aは、当該取得された情報を用いて、二以上の接続候補機器のうち、人感センサにより人(すなわちユーザ)が検知された接続候補機器の接続優先度CPを残余の接続候補機器の接続優先度CPに比して高い値に設定する。
 選択制御部53aは、上記第1具体例、上記第2具体例又は上記第3具体例により、二以上の接続候補機器の各々の接続優先度CPを設定する。選択制御部53aは、当該設定された接続優先度CPに基づき、二以上の接続候補機器のうちの一の接続候補機器を選択して、当該選択された接続候補機器を接続対象機器に設定する。具体的には、例えば、選択制御部53aは、二以上の接続候補機器のうちの最も高い接続優先度CPを有する一の接続候補機器を選択して、当該選択された接続候補機器を接続対象機器に設定する。
 選択制御部53a、接続処理部54及び出力制御部57により、制御部26aの要部が構成されている。操作入力部21、表示部22、音声入力部23、音声出力部24、通信部25及び制御部26aにより、リモートコントローラ1aの要部が構成されている。
 制御部26aの要部のハードウェア構成は、実施の形態1にて図10を参照して説明したものと同様であるため、図示及び説明を省略する。すなわち、第1選択制御部51a、第2選択制御部52a、接続処理部54、表示制御部55及び音声出力制御部56の各々の機能は、プロセッサ41及びメモリ42により実現されるものであっても良く、又は専用の処理回路43により実現されるものであっても良い。
 次に、図23のフローチャートを参照して、リモートコントローラ1aの制御部26aの動作について、選択制御部53a及び接続処理部54の動作を中心に説明する。なお、図23において、図13に示すステップと同様のステップには同一符号を付して説明を省略する。
 選択制御部53aは、音声入力部23に指示音声が入力されたとき(ステップST11“YES”)、当該入力された指示音声に基づき、接続対象機器を選択する(ステップST13a)。また、選択制御部53aは、通信部25により通知信号が受信されたとき(ステップST11“NO”かつステップST12“YES”)、当該受信された通知信号に基づき、接続対象機器を選択する(ステップST13a)。
 次に、図24のフローチャートを参照して、ステップST13aの詳細な処理内容について説明する。
 音声入力部23に指示音声が入力された場合(ステップST11“YES”)又は通信部25により通知信号が受信された場合(ステップST11“NO”かつステップST12“YES”)において、二以上の接続候補機器が存在するとき(ステップST51“YES”)、選択制御部53aは、二以上の接続候補機器の各々の接続優先度CPを設定する(ステップST52)。接続優先度CPの設定方法の具体例は上記のとおりであるため、再度の説明は省略する。
 次いで、選択制御部53aは、当該設定された接続優先度CPに基づき、二以上の接続候補機器のうちの一の接続候補機器を選択する(ステップST53)。このときの選択方法の具体例は上記のとおりであるため、再度の説明は省略する。次いで、選択制御部53aは、当該選択された接続候補機器を接続対象機器に設定する(ステップST54)。
 他方、音声入力部23に指示音声が入力された場合(ステップST11“YES”)又は通信部25により通知信号が受信された場合(ステップST11“NO”かつステップST12“YES”)において、二以上の接続候補機器が存在しないとき、すなわち一の接続候補機器のみが存在するとき(ステップST51“NO”)、選択制御部53aは、当該一の接続候補機器を接続対象機器に設定する(ステップST55)。
 次に、リモートコントローラ1aの変形例について説明する。
 選択制御部53aによる接続優先度CPの設定方法は、上記の具体例に限定されるものではなく、如何なる方法によるものであっても良い。
 例えば、サーバ装置4は、接続優先度CPの設定用の機械学習を実行する機能を有するものであっても良い。選択制御部53aは、当該機械学習による学習結果に基づき、接続優先度CPを設定するものであっても良い。当該機械学習における学習用データは、例えば、選択制御部53aによる接続対象機器の選択がユーザにより訂正されたことの履歴を示すデータ、複数の操作対象機器2の各々がユーザにより過去に使用された時刻を示すデータ、複数の操作対象機器2がユーザにより過去に使用された順序を示すデータ、及び複数の操作対象機器2の各々がユーザにより過去に使用されたときのリモートコントローラ1aに対する距離Dを示すデータを含むものである。すなわち、サーバ装置4は、これらの学習用データを収集する機能、及び当該収集された学習用データを蓄積して記憶する機能を有するものであっても良い。
 より具体的には、例えば、サーバ装置4は、これらの学習用データを用いた機械学習により、以下のようなニューラルネットワークNN(不図示)を作成する。すなわち、サーバ装置4は、現在の時刻を示す値、直前にリモートコントローラ1aと接続されていた操作対象機器2を示す値、及び現在におけるリモートコントローラ1aと複数の操作対象機器2の各々との距離Dを示す値が入力されたとき、最も高い確率P1を有する操作対象機器2を示す値が出力されるニューラルネットワークNNを作成する。選択制御部53aは、当該作成されたニューラルネットワークNNを取得する。選択制御部53aは、当該取得されたニューラルネットワークNNを用いて、接続対象機器を設定する。
 また、リモートコントローラ1aは、実施の形態1にて説明したものと同様の種々の変形例を採用することができる。
 例えば、リモートコントローラ1aに表示部22が設けられておらず、かつ、制御部26aに表示制御部55が設けられていないものであっても良い。また、リモートコントローラ1aに音声出力部24が設けられておらず、かつ、制御部26aに音声出力制御部56が設けられていないものであっても良い。また、リモートコントローラ1aに表示部22及び音声出力部24が設けられておらず、かつ、制御部26aに表示制御部55及び音声出力制御部56が設けられていないものであっても良い。
 次に、遠隔操作システム100aの変形例について説明する。
 選択制御部53aが上記第3具体例により接続優先度CPを設定するものである場合において、複数の操作対象機器2の各々に設けられているセンサは、人感センサに限定されるものではない。当該センサは、個々の操作対象機器2に対する正面の所定範囲の領域内に人(すなわちユーザ)がいる場合に当該人を検知することができるものであれば、如何なるセンサを用いたものであっても良い。
 また、遠隔操作システム100aは、実施の形態1にて説明したものと同様の種々の変形例を採用することができる。
 例えば、第1選択制御部51a、第2選択制御部52a、接続処理部54、表示制御部55及び音声出力制御部56の機能のうちの少なくとも一部の機能が、リモートコントローラ1aの制御部26aに代えてサーバ装置4にて実現されるものであっても良い。
 以上のように、実施の形態2のリモートコントローラ1aにおいて、選択制御部53aは、複数の操作対象機器2に二以上の接続候補機器が含まれる場合、二以上の接続候補機器の各々に設定された接続優先度CPに基づき、二以上の接続候補機器のうちの接続対象機器を選択する。これにより、一の接続候補機器のみが存在する場合はもちろんのこと、二以上の接続候補機器が存在する場合も接続対象機器を選択することができる。
 また、選択制御部53aは、二以上の接続候補機器の各々に対する距離Dに基づき、接続優先度CPを設定する。上記第1具体例により、二以上の接続候補機器が存在する場合における接続優先度CPを適切な値に設定することができる。
 また、選択制御部53aは、ユーザによる複数の操作対象機器2の各々の使用履歴を示す情報を用いて、二以上の接続候補機器の各々が使用される確率P1に基づき、接続優先度CPを設定する。上記第2具体例により、二以上の接続候補機器が存在する場合における接続優先度CPを適切な値に設定することができる。
 また、選択制御部53aは、二以上の接続候補機器の各々が過去に使用された時刻、又は二以上の接続候補機器が過去に使用された順序に基づき、確率P1を算出する。これにより、確率P1を算出することができる。
 また、選択制御部53aは、二以上の接続候補機器の各々に設けられたセンサによる検知結果を示す情報を用いて、接続優先度CPを設定する。上記第3具体例により、二以上の接続候補機器が存在する場合における接続優先度CPを適切な値に設定することができる。
 また、選択制御部53aは、機械学習による学習結果を接続優先度CPの設定に用いる。機械学習により、接続優先度CPを更に適切な値に設定することができる。
実施の形態3.
 図25は、実施の形態3に係る遠隔操作システムのシステム構成を示す説明図である。図26は、実施の形態3に係るリモートコントローラの要部を示すブロック図である。図27は、実施の形態3に係るリモートコントローラの制御部の要部を示す説明図である。図25~図27を参照して、実施の形態3の遠隔操作システム100bについて、リモートコントローラ1bを中心に説明する。
 なお、図25において、図1に示すブロック等と同様のブロック等には同一符号を付して説明を省略する。また、図26において、図4に示すブロックと同様のブロックには同一符号を付して説明を省略する。また、図27において、図11に示すブロックと同様のブロックには同一符号を付して説明を省略する。
 また、個々の操作対象機器2の構成は、実施の形態1にて図2を参照して説明したものと同様であるため、図示及び説明を省略する。また、リモートコントローラ1bのハードウェア構成は、実施の形態1にて図3及び図5~図10を参照して説明したものと同様であるため、図示及び説明を省略する。
 図27に示す如く、リモートコントローラ1bの制御部26bは、第1切替制御部58を有している。
 第1切替制御部58は、接続中機器が存在する場合において、リモートコントローラ1bの操作入力部21に所定の操作(以下「切替操作」という。)が入力されたとき、複数の操作対象機器2のうちの接続中機器を除く一以上の操作対象機器2(以下、実施の形態3において「切替候補機器」という。)の各々が、ユーザにより接続中機器の次に使用される確率P2を算出する。確率P2の算出方法は、例えば、選択制御部53aによる確率P1の算出方法と同様である。
 第1切替制御部58は、一以上の切替候補機器のうちの最も高い確率P2を有する一の切替候補機器を選択する。第1切替制御部58は、接続中機器を当該選択された切替候補機器(以下、実施の形態3において「切替対象機器」という。)に切り替える制御(以下「第1切替制御」という。)を実行する。すなわち、第1切替制御部58は、接続中機器に対する接続を解除する処理(以下「接続解除処理」という。)を実行するとともに、切替対象機器に対する接続処理を実行する。なお、第1切替制御部58は、切替対象機器に対する接続処理を実行するのに代えて、切替対象機器に対する接続処理の実行を接続処理部54に指示するものであっても良い。
 これに対して、接続中機器は、リモートコントローラ1bに対する接続解除処理を実行する。これにより、リモートコントローラ1bと接続中機器間の接続が解除される。また、切替対象機器の制御部15は、リモートコントローラ1bに対する接続処理を実行する。これにより、リモートコントローラ1bが切替対象機器と接続された状態となる。
 切替操作は、例えば、押下自在なダイヤル31(すなわちダイヤル型のリモートコントローラ本体32)に対するダブルクリックの操作に設定されている。または、例えば、切替操作は、押下自在なダイヤル31に対する長押しの操作に設定されている。
 選択制御部53、接続処理部54、出力制御部57及び第1切替制御部58により、制御部26bの要部が構成されている。操作入力部21、表示部22、音声入力部23、音声出力部24、通信部25及び制御部26bにより、リモートコントローラ1bの要部が構成されている。
 制御部26bの要部のハードウェア構成は、実施の形態1にて図10を参照して説明したものと同様であるため、図示及び説明を省略する。すなわち、第1選択制御部51、第2選択制御部52、接続処理部54、表示制御部55、音声出力制御部56及び第1切替制御部58の各々の機能は、プロセッサ41及びメモリ42により実現されるものであっても良く、又は専用の処理回路43により実現されるものであっても良い。
 次に、図28のフローチャートを参照して、リモートコントローラ1bの制御部26bの動作ついて、切替操作が入力されたときの動作を中心に説明する。
 接続中機器が存在する状態にて、リモートコントローラ1bの操作入力部21に切替操作が入力されたとき(ステップST61“YES”)、第1切替制御部58は、切替対象機器を選択する(ステップST62)。切替対象機器の選択方法の具体例は上記のとおりであるため、再度の説明は省略する。次いで、第1切替制御部58は、第1切替制御を実行する(ステップST63)。これにより、リモートコントローラ1bが切替対象機器と接続された状態となる。
 ステップST63の処理が実行された後、リモートコントローラ1bの制御部26bにて、図15に示すステップST31,ST32の処理と同様の処理が実行されるものであっても良い。また、ステップST63の処理が実行された後、切替対象機器(すなわち切替え後の接続中機器)の制御部15にて、図14に示すステップST21,ST22の処理と同様の処理、及び図15に示すステップST33,ST34の処理と同様の処理が実行されるものであっても良い。
 次に、リモートコントローラ1bの変形例について説明する。
 リモートコントローラ1bは、選択制御部53に代えて、実施の形態2にて説明したものと同様の選択制御部53aを有するものであっても良い。
 また、切替操作は所定の操作であれば良く、上記の具体例に限定されるものではない。
 また、リモートコントローラ1bは、実施の形態1にて説明したものと同様の種々の変形例を採用することができる。
 例えば、リモートコントローラ1bに表示部22が設けられておらず、かつ、制御部26bに表示制御部55が設けられていないものであっても良い。また、リモートコントローラ1bに音声出力部24が設けられておらず、かつ、制御部26bに音声出力制御部56が設けられていないものであっても良い。また、リモートコントローラ1bに表示部22及び音声出力部24が設けられておらず、かつ、制御部26bに表示制御部55及び音声出力制御部56が設けられていないものであっても良い。
 次に、遠隔操作システム100bの変形例について説明する。
 遠隔操作システム100bは、実施の形態1にて説明したものと同様の種々の変形例を採用することができる。
 例えば、遠隔操作システム100bは、サーバ装置4を含むものであっても良い。この場合、第1選択制御部51(又は第1選択制御部51a)、第2選択制御部52(又は第2選択制御部52a)、接続処理部54、表示制御部55、音声出力制御部56及び第1切替制御部58の機能のうちの少なくとも一部の機能が、リモートコントローラ1bの制御部26bに代えてサーバ装置4にて実現されるものであっても良い。
 以上のように、実施の形態3のリモートコントローラ1bは、ユーザによる操作入力を受け付ける操作入力部21と、複数の操作対象機器2に接続中機器及び他の一以上の操作対象機器2(切替候補機器)が含まれる場合において、操作入力部21に切替操作が入力されたとき、接続中機器を一以上の操作対象機器2(切替候補機器)のうちの切替対象機器に切り替える第1切替制御部58と、を備える。これにより、接続中機器の切替えを容易にすることができる。
実施の形態4.
 図29は、実施の形態4に係る遠隔操作システムのシステム構成を示す説明図である。図30は、実施の形態4に係るリモートコントローラの要部を示すブロック図である。図31は、実施の形態4に係るリモートコントローラの制御部の要部を示す説明図である。図29~図31を参照して、実施の形態4の遠隔操作システム100cについて、リモートコントローラ1cを中心に説明する。
 なお、図29において、図1に示すブロック等と同様のブロック等には同一符号を付して説明を省略する。また、図30において、図4に示すブロックと同様のブロックには同一符号を付して説明を省略する。また、図31において、図11に示すブロックと同様のブロックには同一符号を付して説明を省略する。
 また、個々の操作対象機器2の構成は、実施の形態1にて図2を参照して説明したものと同様であるため、図示及び説明を省略する。また、リモートコントローラ1cのハードウェア構成は、実施の形態1にて図3及び図5~図10を参照して説明したものと同様であるため、図示及び説明を省略する。
 図31に示す如く、リモートコントローラ1cの制御部26cは、接続解除処理部59を有している。
 接続解除処理部59は、接続中機器が存在する状態にて、操作入力部21による接続中機器に対する操作入力がなされていない状態(以下「非操作入力状態」という。)の継続時間T1をカウントする。接続解除処理部59は、非操作入力状態の継続時間T1が所定の基準時間Tref1を超えたとき、接続中機器に対する接続解除処理を実行する。
 同様に、接続中機器の制御部15は、接続中機器がリモートコントローラ1cと接続された状態にて、非操作入力状態の継続時間T1をカウントする。接続中機器の制御部15は、非操作入力状態の継続時間T1が基準時間Tref1を超えたとき、リモートコントローラ1cに対する接続解除処理を実行する。
 これらの接続解除処理により、リモートコントローラ1cと接続中機器間の接続が解除される。
 選択制御部53、接続処理部54、出力制御部57及び接続解除処理部59により、制御部26cの要部が構成されている。操作入力部21、表示部22、音声入力部23、音声出力部24、通信部25及び制御部26cにより、リモートコントローラ1cの要部が構成されている。
 制御部26cの要部のハードウェア構成は、実施の形態1にて図10を参照して説明したものと同様であるため、図示及び説明を省略する。すなわち、第1選択制御部51、第2選択制御部52、接続処理部54、表示制御部55、音声出力制御部56及び接続解除処理部59の各々の機能は、プロセッサ41及びメモリ42により実現されるものであっても良く、又は専用の処理回路43により実現されるものであっても良い。
 次に、図32のフローチャートを参照して、リモートコントローラ1cの制御部26cの動作について、非操作入力状態の継続時間T1が基準時間Tref1を超えたときの動作を中心に説明する。また、図32のフローチャートを参照して、接続中機器の制御部15の動作について、非操作入力状態の継続時間T1が所定の基準時間Tref1を超えたときの動作を中心に説明する。
 接続中機器が存在する状態にて、接続解除処理部59は、接続中機器に対する非操作入力状態の継続時間T1をカウントする(ステップST71)。当該カウントされた継続時間T1が基準時間Tref1を超えたとき(ステップST72“YES”)、接続解除処理部59は、接続中機器に対する接続解除処理を実行する(ステップST73)。
 また、接続中機器の制御部15は、リモートコントローラ1cによる非操作入力状態の継続時間T1をカウントする(ステップST74)。当該カウントされた継続時間T1が基準時間Tref1を超えたとき(ステップST75“YES”)、接続中機器の制御部15は、リモートコントローラ1cに対する接続解除処理を実行する(ステップST76)。
 次に、リモートコントローラ1cの変形例について説明する。
 リモートコントローラ1cは、選択制御部53に代えて、実施の形態2にて説明したものと同様の選択制御部53aを有するものであっても良い。
 また、リモートコントローラ1cは、実施の形態3にて説明したものと同様の第1切替制御部58を有するものであっても良い。この場合において、第1切替制御部58は、接続中機器に対する接続解除処理を実行するのに代えて、接続中機器に対する接続解除処理の実行を接続解除処理部59に指示するものであっても良い。
 また、リモートコントローラ1cは、実施の形態1にて説明したものと同様の種々の変形例を採用することができる。
 例えば、リモートコントローラ1cに表示部22が設けられておらず、かつ、制御部26cに表示制御部55が設けられていないものであっても良い。また、リモートコントローラ1cに音声出力部24が設けられておらず、かつ、制御部26cに音声出力制御部56が設けられていないものであっても良い。また、リモートコントローラ1cに表示部22及び音声出力部24が設けられておらず、かつ、制御部26cに表示制御部55及び音声出力制御部56が設けられていないものであっても良い。
 次に、遠隔操作システム100cの変形例について説明する。
 遠隔操作システム100cは、実施の形態1にて説明したものと同様の種々の変形例を採用することができる。
 例えば、遠隔操作システム100cは、サーバ装置4を含むものであっても良い。この場合、第1選択制御部51(又は第1選択制御部51a)、第2選択制御部52(又は第2選択制御部52a)、接続処理部54、表示制御部55、音声出力制御部56及び接続解除処理部59の機能のうちの少なくとも一部の機能が、リモートコントローラ1cの制御部26cに代えてサーバ装置4にて実現されるものであっても良い。
 以上のように、実施の形態4のリモートコントローラ1cは、ユーザによる操作入力を受け付ける操作入力部21と、複数の操作対象機器2に接続中機器が含まれる場合において、操作入力部21による接続中機器に対する非操作入力状態の継続時間T1が基準時間Tref1を超えたとき、接続中機器に対する接続解除処理を実行する接続解除処理部59と、を備える。これにより、接続後に長時間に亘り操作入力がないとき(例えば、選択制御部53aによる接続対象機器の選択がユーザの意に反していたとき、又はユーザが接続中機器に対する操作入力を中止したとき、)、接続を自動的に解除することができる。
実施の形態5.
 図33は、実施の形態5に係る遠隔操作システムのシステム構成を示す説明図である。図34は、実施の形態5に係るリモートコントローラの要部を示すブロック図である。図35は、実施の形態5に係るリモートコントローラの制御部の要部を示す説明図である。図33~図35を参照して、実施の形態5の遠隔操作システム100dについて、リモートコントローラ1dを中心に説明する。
 なお、図33において、図1に示すブロック等と同様のブロック等には同一符号を付して説明を省略する。また、図34において、図4に示すブロックと同様のブロックには同一符号を付して説明を省略する。また、図35において、図11に示すブロックと同様のブロックには同一符号を付して説明を省略する。
 また、個々の操作対象機器2の構成は、実施の形態1にて図2を参照して説明したものと同様であるため、図示及び説明を省略する。また、リモートコントローラ1dのハードウェア構成は、実施の形態1にて図3及び図5~図10を参照して説明したものと同様であるため、図示及び説明を省略する。
 図35に示す如く、リモートコントローラ1dの制御部26dは、第2切替制御部60を有している。
 第2切替制御部60は、接続中機器が存在する場合において、複数の操作対象機器2のうちの接続中機器を除く一以上の操作対象機器2のうちのいずれかの操作対象機器2に対応する指示音声が音声入力部23に入力されたとき、接続中機器を当該入力された指示音声に対応する操作対象機器2(以下、実施の形態5において「切替対象機器」という。)に切り替える制御(以下「第2切替制御」という。)を実行する。すなわち、第2切替制御部60は、接続中機器に対する接続解除処理を実行するとともに、切替対象機器に対する接続処理を実行する。なお、第2切替制御部60は、切替対象機器に対する接続処理を実行するのに代えて、切替対象機器に対する接続処理の実行を接続処理部54に指示するものであっても良い。
 これに対して、接続中機器の制御部15は、リモートコントローラ1dに対する接続解除処理を実行する。これにより、リモートコントローラ1dと接続中機器間の接続が解除される。また、切替対象機器の制御部15は、リモートコントローラ1dに対する接続処理を実行する。これにより、リモートコントローラ1dが切替対象機器と接続された状態となる。
 ここで、第2切替制御部60は、接続中機器が存在する場合において、複数の操作対象機器2のうちの接続中機器を除く一以上の操作対象機器2のうちのいずれかの操作対象機器2に対応する通知信号が通信部25により受信されたとき、接続中機器を当該受信された通知信号に対応する操作対象機器2に切り替えないようになっている。すなわち、第2切替制御部60は、かかる通知信号を無視するようになっている。これにより、リモートコントローラ1dが接続中機器と接続された状態が維持される。
 選択制御部53、接続処理部54、出力制御部57及び第2切替制御部60により、制御部26dの要部が構成されている。操作入力部21、表示部22、音声入力部23、音声出力部24、通信部25及び制御部26dにより、リモートコントローラ1dの要部が構成されている。
 制御部26dの要部のハードウェア構成は、実施の形態1にて図10を参照して説明したものと同様であるため、図示及び説明を省略する。すなわち、第1選択制御部51、第2選択制御部52、接続処理部54、表示制御部55、音声出力制御部56及び第2切替制御部60の各々の機能は、プロセッサ41及びメモリ42により実現されるものであっても良く、又は専用の処理回路43により実現されるものであっても良い。
 次に、図36のフローチャートを参照して、リモートコントローラ1dの制御部26dの動作について、第2切替制御部60の動作を中心に説明する。
 接続中機器が存在する状態にて、接続中機器を除く一以上の操作対象機器2のうちのいずれかの操作対象機器2に対応する指示音声が音声入力部23に入力されたとき(ステップST81“YES”)、第2切替制御部60は、第2切替制御を実行する(ステップST82)。これにより、リモートコントローラ1dが当該入力された指示音声に対応する操作対象機器2(すなわち切替対象機器)と接続された状態となる。
 他方、接続中機器が存在する状態にて、接続中機器を除く一以上の操作対象機器2のうちのいずれかの操作対象機器2に対応する通知信号が通信部25により受信されたとき(ステップST83“YES”)、第2切替制御部60は、接続中機器を当該受信された通知信号に対応する操作対象機器2に切り替えない(ステップST84)。これにより、リモートコントローラ1dが接続中機器と接続された状態が維持される。
 次に、リモートコントローラ1dの変形例について説明する。
 リモートコントローラ1dは、選択制御部53に代えて、実施の形態2にて説明したものと同様の選択制御部53aを有するものであっても良い。
 また、リモートコントローラ1dは、実施の形態3にて説明したものと同様の第1切替制御部58を有するものであっても良い。
 また、リモートコントローラ1dは、実施の形態4にて説明したものと同様の接続解除処理部59を有するものであっても良い。この場合において、第2切替制御部60は、接続中機器に対する接続解除処理を実行するのに代えて、接続中機器に対する接続解除処理の実行を接続解除処理部59に指示するものであっても良い。
 また、リモートコントローラ1dは、実施の形態1にて説明したものと同様の種々の変形例を採用することができる。
 例えば、リモートコントローラ1dに表示部22が設けられておらず、かつ、制御部26dに表示制御部55が設けられていないものであっても良い。また、リモートコントローラ1dに音声出力部24が設けられておらず、かつ、制御部26dに音声出力制御部56が設けられていないものであっても良い。また、リモートコントローラ1dに表示部22及び音声出力部24が設けられておらず、かつ、制御部26dに表示制御部55及び音声出力制御部56が設けられていないものであっても良い。
 次に、遠隔操作システム100dの変形例について説明する。
 遠隔操作システム100dは、実施の形態1にて説明したものと同様の種々の変形例を採用することができる。
 例えば、遠隔操作システム100dは、サーバ装置4を含むものであっても良い。この場合、第1選択制御部51(又は第1選択制御部51a)、第2選択制御部52(又は第2選択制御部52a)、接続処理部54、表示制御部55、音声出力制御部56及び第2切替制御部60の機能のうちの少なくとも一部の機能が、リモートコントローラ1dの制御部26dに代えてサーバ装置4にて実現されるものであっても良い。
 以上のように、実施の形態5のリモートコントローラ1dは、複数の操作対象機器2に接続中機器及び他の一以上の操作対象機器2が含まれる場合において、一以上の操作対象機器2のうちのいずれかの操作対象機器2に対応する指示音声が音声入力部23に入力されたとき、接続中機器を指示音声に対応する操作対象機器2(切替対象機器)に切り替える第2切替制御部60を備える。これにより、ユーザは、音声入力により接続中機器を切り替えることができる。
 また、第2切替制御部60は、一以上の操作対象機器2のうちのいずれかの操作対象機器2に対応する第1通知信号が通信部25により受信されたとき、接続中機器を第1通知信号に対応する操作対象機器2に切り替えない。これにより、例えば、ユーザが接続中機器を切り替える意図を有さずに他の操作対象機器2を直接操作したとき、接続中機器が切り替わるのを抑制することができる。
実施の形態6.
 図37は、実施の形態6に係る遠隔操作システムのシステム構成を示す説明図である。図38は、実施の形態6に係るリモートコントローラの要部を示すブロック図である。図39は、実施の形態6に係るリモートコントローラの制御部の要部を示す説明図である。図37~図39を参照して、実施の形態6の遠隔操作システム100eについて、リモートコントローラ1eを中心に説明する。
 なお、図37において、図1に示すブロック等と同様のブロック等には同一符号を付して説明を省略する。また、図38において、図4に示すブロックと同様のブロックには同一符号を付して説明を省略する。また、図39において、図11に示すブロックと同様のブロックには同一符号を付して説明を省略する。
 また、個々の操作対象機器2の構成は、実施の形態1にて図2を参照して説明したものと同様であるため、図示及び説明を省略する。また、リモートコントローラ1eのハードウェア構成は、実施の形態1にて図3及び図5~図10を参照して説明したものと同様であるため、図示及び説明を省略する。
 図39に示す如く、リモートコントローラ1eの制御部26eは、無効化制御部61及び有効化制御部62を有している。
 遠隔操作システム100eは、リモートコントローラ1eと複数の操作対象機器2の各々との距離Dを検知する機能を有している。無効化制御部61は、接続中機器が存在する状態にて、リモートコントローラ1eと接続中機器間の距離Dを示す情報(以下「距離情報」という。)を取得する。無効化制御部61は、当該取得された距離情報の示す距離Dが所定の基準距離Drefよりも大きい場合、操作入力部21による接続中機器に対する操作入力を無効化する制御(以下「無効化制御」という。)を実行する。具体的には、例えば、無効化制御部61は、当該操作入力に対応する信号の送信を停止するように通信部25に指示する。
 有効化制御部62は、操作入力部21による接続中機器に対する操作入力が無効化された状態にて、リモートコントローラ1eと接続中機器間の距離Dを示す情報、すなわち距離情報を取得する。有効化制御部62は、当該取得された距離情報の示す距離Dが基準距離Dref以下になったとき、操作入力部21による接続中機器に対する操作入力を有効化する制御(以下「有効化制御」という。)を実行するものである。具体的には、例えば、有効化制御部62は、当該操作入力に対応する信号の送信を再開するように通信部25に指示する。
 選択制御部53、接続処理部54、出力制御部57、無効化制御部61及び有効化制御部62により、制御部26eの要部が構成されている。操作入力部21、表示部22、音声入力部23、音声出力部24、通信部25及び制御部26eにより、リモートコントローラ1eの要部が構成されている。
 制御部26eの要部のハードウェア構成は、実施の形態1にて図10を参照して説明したものと同様であるため、図示及び説明を省略する。すなわち、第1選択制御部51、第2選択制御部52、接続処理部54、表示制御部55、音声出力制御部56、無効化制御部61及び有効化制御部62の各々の機能は、プロセッサ41及びメモリ42により実現されるものであっても良く、又は専用の処理回路43により実現されるものであっても良い。
 次に、図40のフローチャートを参照して、リモートコントローラ1eの制御部26eの動作について、無効化制御部61及び有効化制御部62の動作を中心に説明する。
 接続中機器が存在する状態にて、無効化制御部61は、リモートコントローラ1eと接続中機器間の距離Dを示す距離情報を取得する(ステップST91)。当該取得された距離情報の示す距離Dが基準距離Drefよりも大きい場合(ステップST92“YES”)、無効化制御部61は、無効化制御を実行する(ステップST93)。これにより、操作入力部21による接続中機器に対する操作入力が無効化された状態となる。
 次いで、有効化制御部62は、リモートコントローラ1eと接続中機器間の距離Dを示す距離情報を取得する(ステップST94)。当該取得された距離情報の示す距離Dが基準距離Dref以下である場合(ステップST95“YES”)、有効化制御部62は、有効化制御を実行する(ステップST96)。これにより、操作入力部21による接続中機器に対する操作入力が有効化された状態となる。
 次に、リモートコントローラ1eの変形例について説明する。
 制御部26eは、操作入力部21による接続中機器に対する操作入力が無効化された状態(以下「無効化状態」という。)の継続時間T2をカウントするものであっても良い。制御部26eは、当該カウントされた継続時間T2が所定の基準時間Tref2を超えたとき、すなわち所定時間以内に距離Dが基準距離Dref以下にならなかったとき、接続中機器に対する接続解除処理を実行するものであっても良い。
 また、制御部26eは有効化制御部62を有しないものであっても良い。
 また、リモートコントローラ1eは、選択制御部53に代えて、実施の形態2にて説明したものと同様の選択制御部53aを有するものであっても良い。
 また、リモートコントローラ1eは、実施の形態3にて説明したものと同様の第1切替制御部58を有するものであっても良い。
 また、リモートコントローラ1eは、実施の形態4にて説明したものと同様の接続解除処理部59を有するものであっても良い。
 また、リモートコントローラ1eは、実施の形態5にて説明したものと同様の第2切替制御部60を有するものであっても良い。
 また、リモートコントローラ1eは、実施の形態1にて説明したものと同様の種々の変形例を採用することができる。
 例えば、リモートコントローラ1eに表示部22が設けられておらず、かつ、制御部26eに表示制御部55が設けられていないものであっても良い。また、リモートコントローラ1eに音声出力部24が設けられておらず、かつ、制御部26eに音声出力制御部56が設けられていないものであっても良い。また、リモートコントローラ1eに表示部22及び音声出力部24が設けられておらず、かつ、制御部26eに表示制御部55及び音声出力制御部56が設けられていないものであっても良い。
 次に、遠隔操作システム100eの変形例について説明する。
 遠隔操作システム100eは、実施の形態1にて説明したものと同様の種々の変形例を採用することができる。
 例えば、遠隔操作システム100eは、サーバ装置4を含むものであっても良い。この場合、第1選択制御部51(又は第1選択制御部51a)、第2選択制御部52(又は第2選択制御部52a)、接続処理部54、表示制御部55、音声出力制御部56、無効化制御部61及び有効化制御部62の機能のうちの少なくとも一部の機能が、リモートコントローラ1eの制御部26eに代えてサーバ装置4にて実現されるものであっても良い。
 以上のように、実施の形態6のリモートコントローラ1eは、ユーザによる操作入力を受け付ける操作入力部21と、複数の操作対象機器2に接続中機器が含まれる場合において、接続中機器に対する距離Dが基準距離Drefよりも大きいとき、操作入力部21による接続中機器に対する操作入力を無効化する無効化制御部61と、を備える。通常、接続中機器がリモートコントローラ1eに対して遠方に位置している場合、接続中機器がユーザによる認識圏外にある可能性が高い。このような場合にリモートコントローラ1eによる操作入力を無効化することにより、ユーザの意に反する操作入力が発生するのを抑制することができる。
実施の形態7.
 図41は、実施の形態7に係る遠隔操作システムのシステム構成を示す説明図である。図42は、実施の形態7に係るリモートコントローラの要部を示すブロック図である。図43は、実施の形態7に係るリモートコントローラの制御部の要部を示す説明図である。図41~図43を参照して、実施の形態7の遠隔操作システム100fについて、リモートコントローラ1fを中心に説明する。
 なお、図41において、図1に示すブロック等と同様のブロック等には同一符号を付して説明を省略する。また、図42において、図4に示すブロックと同様のブロックには同一符号を付して説明を省略する。また、図43において、図11に示すブロックと同様のブロックには同一符号を付して説明を省略する。
 また、個々の操作対象機器2の構成は、実施の形態1にて図2を参照して説明したものと同様であるため、図示及び説明を省略する。また、リモートコントローラ1fのハードウェア構成は、実施の形態1にて図3及び図5~図10を参照して説明したものと同様であるため、図示及び説明を省略する。
 図41に示す如く、遠隔操作システム100fは、情報端末装置5を含むものである。情報端末装置5は、例えば、スマートフォン又はタブレットPC(Personal Computer)などの携帯情報端末により構成されている。情報端末装置5は、例えば、ユーザが所有しているものである。情報端末装置5は、コンピュータネットワーク3により、リモートコントローラ1fと通信自在である。すなわち、リモートコントローラ1fの通信部25は、コンピュータネットワーク3により、情報端末装置5と通信自在である。
 図43に示す如く、リモートコントローラ1fの制御部26fは、第1設定制御部63及び第2設定制御部64を有している。第1設定制御部63及び第2設定制御部64により、設定制御部65が構成されている。
 第1設定制御部63は、所定の音声(以下「設定音声」という。)がユーザにより発話されて、当該発話された設定音声が音声入力部23に入力されたとき、当該入力された設定音声に基づき、リモートコントローラ1fによる操作対象機能を設定する制御(以下「第1設定制御」ということがある。)を実行する。設定音声の入力の受け付け及び当該入力された設定音声による操作対象機能の選択には、例えば、リモートコントローラ1fが有する対話型の音声UIが用いられる。
 第2設定制御部64は、所定の操作(以下「設定操作」という。)がユーザにより情報端末装置5に入力されたとき、当該入力された設定操作に基づき、リモートコントローラ1fによる操作対象機能を設定する制御(以下「第2設定制御」ということがある。)を実行する。設定操作の入力の受け付け及び当該入力された設定操作による操作対象機能の選択には、例えば、情報端末装置5にインストールされた専用のアプリケーションソフトウェアが用いられる。
 すなわち、実施の形態1にて説明したとおり、通常、複数の操作対象機器2の各々は複数の機能を有している。遠隔操作システム100fにおいては、当該複数の機能のうちのいずれの機能をリモートコントローラ1fに割り当てるのかを、リモートコントローラ1fに対する音声入力又は情報端末装置5に対する操作入力により、ユーザが設定自在なものである。
 選択制御部53、接続処理部54、出力制御部57及び設定制御部65により、制御部26fの要部が構成されている。操作入力部21、表示部22、音声入力部23、音声出力部24、通信部25及び制御部26fにより、リモートコントローラ1fの要部が構成されている。
 制御部26fの要部のハードウェア構成は、実施の形態1にて図10を参照して説明したものと同様であるため、図示及び説明を省略する。すなわち、第1選択制御部51、第2選択制御部52、接続処理部54、表示制御部55、音声出力制御部56、第1設定制御部63及び第2設定制御部64の各々の機能は、プロセッサ41及びメモリ42により実現されるものであっても良く、又は専用の処理回路43により実現されるものであっても良い。
 次に、図44のフローチャートを参照して、リモートコントローラ1fの制御部26fの動作について、設定制御部65の動作を中心に説明する。
 音声入力部23に設定音声が入力されたとき(ステップST101“YES”)、設定制御部65は、当該入力された設定音声に基づき、操作対象機能を設定する(ステップST103)。また、情報端末装置5に設定操作が入力されたとき(ステップST101“NO”かつステップST102“YES”)、設定制御部65は、当該入力された設定操作に基づき、操作対象機能を設定する(ステップST103)。
 次に、リモートコントローラ1fの変形例について説明する。
 第2設定制御部64の機能は、リモートコントローラ1fの制御部26fに代えて、情報端末装置5にて実現されるものであっても良い。すなわち、第2設定制御部64の機能は、情報端末装置5用のアプリケーションソフトウェアに含まれるものであっても良い。
 また、リモートコントローラ1fは、選択制御部53に代えて、実施の形態2にて説明したものと同様の選択制御部53aを有するものであっても良い。
 また、リモートコントローラ1fは、実施の形態3にて説明したものと同様の第1切替制御部58を有するものであっても良い。
 また、リモートコントローラ1fは、実施の形態4にて説明したものと同様の接続解除処理部59を有するものであっても良い。
 また、リモートコントローラ1fは、実施の形態5にて説明したものと同様の第2切替制御部60を有するものであっても良い。
 また、リモートコントローラ1fは、実施の形態6にて説明したものと同様の無効化制御部61及び有効化制御部62を有するものであっても良い。
 また、リモートコントローラ1fは、実施の形態1にて説明したものと同様の種々の変形例を採用することができる。
 例えば、リモートコントローラ1fに表示部22が設けられておらず、かつ、制御部26fに表示制御部55が設けられていないものであっても良い。また、リモートコントローラ1fに音声出力部24が設けられておらず、かつ、制御部26fに音声出力制御部56が設けられていないものであっても良い。また、リモートコントローラ1fに表示部22及び音声出力部24が設けられておらず、かつ、制御部26fに表示制御部55及び音声出力制御部56が設けられていないものであっても良い。
 次に、遠隔操作システム100fの変形例について説明する。
 遠隔操作システム100fは、実施の形態1にて説明したものと同様の種々の変形例を採用することができる。
 例えば、遠隔操作システム100fは、サーバ装置4を含むものであっても良い。この場合、第1選択制御部51(又は第1選択制御部51a)、第2選択制御部52(又は第2選択制御部52a)、接続処理部54、表示制御部55、音声出力制御部56、第1設定制御部63及び第2設定制御部64の機能のうちの少なくとも一部の機能が、リモートコントローラ1fの制御部26fに代えてサーバ装置4にて実現されるものであっても良い。
 以上のように、実施の形態7のリモートコントローラ1fにおいて、通信部25は、情報端末装置5と通信自在であり、リモートコントローラ1fは、ユーザによる操作入力を受け付ける操作入力部21と、音声入力部23に設定音声が入力されたとき、設定音声に基づき、複数の操作対象機器2の各々が有する複数の機能のうちの操作入力部21による操作対象機能を設定する第1設定制御部63と、情報端末装置5に設定操作が入力されたとき、設定操作に基づき、操作対象機能を設定する第2設定制御部64と、を有する設定制御部65と、を備える。これにより、ユーザは、複数の操作対象機器2の各々が有する複数の機能のうちの任意の一又は二以上の機能をリモートコントローラ1fに割り当てることができる。
 なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
 本発明のリモートコントローラ及び遠隔操作システムは、例えば、複数の家電に対する操作入力に用いることができる。
 1,1a,1b,1c,1d,1e,1f リモートコントローラ、2 操作対象機器、3 コンピュータネットワーク、4 サーバ装置、5 情報端末装置、11 操作入力部、12 表示部、13 音声出力部、14 通信部、15 制御部、21 操作入力部、22 表示部、23 音声入力部、24 音声出力部、25 通信部、26,26a,26b,26c,26d,26e,26f 制御部、31 ダイヤル、32 リモートコントローラ本体、33 ディスプレイ、34 光源、35 マイク、36 スピーカ、37 送信機、38 受信機、41 プロセッサ、42 メモリ、43 処理回路、51,51a 第1選択制御部、52,52a 第2選択制御部、53,53a 選択制御部、54 接続処理部、55 表示制御部、56 音声出力制御部、57 出力制御部、58 第1切替制御部、59 接続解除処理部、60 第2切替制御部、61 無効化制御部、62 有効化制御部、63 第1設定制御部、64 第2設定制御部、65 設定制御部、100,100a,100b,100c,100d,100e,100f 遠隔操作システム。

Claims (23)

  1.  ユーザによる音声入力を受け付ける音声入力部と、
     複数の操作対象機器の各々と通信自在な通信部と、
     前記複数の操作対象機器のうちのいずれかの操作対象機器に対する指示音声が前記音声入力部に入力されたとき、前記指示音声に基づき、前記複数の操作対象機器のうちの接続対象機器を選択する第1選択制御部と、前記複数の操作対象機器のうちのいずれかの操作対象機器が前記ユーザにより直接操作されたことを示す第1通知信号が前記通信部により受信されたとき、前記第1通知信号に基づき、前記接続対象機器を選択する第2選択制御部と、を有する選択制御部と、
     前記選択制御部により前記接続対象機器が選択されたとき、前記接続対象機器に対する接続処理を実行する接続処理部と、
     を備えるリモートコントローラ。
  2.  前記第2選択制御部は、前記複数の操作対象機器のうちのいずれかの操作対象機器の動作が終了したことを示す第2通知信号が前記通信部により受信されたとき、前記第2通知信号に基づき、前記接続対象機器を選択することを特徴とする請求項1記載のリモートコントローラ。
  3.  前記第2選択制御部は、前記複数の操作対象機器のうちのいずれかの操作対象機器の動作が所定の工程に到達したことを示す第3通知信号が前記通信部により受信されたとき、前記第3通知信号に基づき、前記接続対象機器を選択することを特徴とする請求項1又は請求項2記載のリモートコントローラ。
  4.  前記選択制御部は、前記複数の操作対象機器に二以上の接続候補機器が含まれる場合、前記二以上の接続候補機器の各々に設定された接続優先度に基づき、前記二以上の接続候補機器のうちの前記接続対象機器を選択することを特徴とする請求項1から請求項3のうちのいずれか1項記載のリモートコントローラ。
  5.  前記選択制御部は、前記二以上の接続候補機器の各々に対する距離に基づき、前記接続優先度を設定することを特徴とする請求項4記載のリモートコントローラ。
  6.  前記選択制御部は、前記ユーザによる前記複数の操作対象機器の各々の使用履歴を示す情報を用いて、前記二以上の接続候補機器の各々が使用される確率に基づき、前記接続優先度を設定することを特徴とする請求項4記載のリモートコントローラ。
  7.  前記選択制御部は、前記二以上の接続候補機器の各々が過去に使用された時刻、又は前記二以上の接続候補機器が過去に使用された順序に基づき、前記確率を算出することを特徴とする請求項6記載のリモートコントローラ。
  8.  前記選択制御部は、前記二以上の接続候補機器の各々に設けられたセンサによる検知結果を示す情報を用いて、前記接続優先度を設定することを特徴とする請求項4記載のリモートコントローラ。
  9.  前記選択制御部は、機械学習による学習結果を前記接続優先度の設定に用いることを特徴とする請求項4から請求項8のうちのいずれか1項記載のリモートコントローラ。
  10.  前記接続処理が完了したとき、当該リモートコントローラが前記接続対象機器と接続されたことを示す第1表示を実行する表示部を備え、
     前記接続対象機器にて、前記第1表示に連動する第2表示が前記第1表示の実行タイミングに対応するタイミングにて実行される
     ことを特徴とする請求項1から請求項9のうちのいずれか1項記載のリモートコントローラ。
  11.  前記接続処理が完了したとき、当該リモートコントローラが前記接続対象機器と接続されたことを示す第1音声を出力する音声出力部を備え、
     前記接続対象機器にて、前記第1音声に連動する第2音声が前記第1音声の出力タイミングに対応するタイミングにて出力される
     ことを特徴とする請求項1から請求項9のうちのいずれか1項記載のリモートコントローラ。
  12.  前記複数の操作対象機器に接続中機器が含まれる場合において、前記接続中機器の状態が変化したとき、当該状態の変化に応じた第3表示を実行する表示部を備えることを特徴とする請求項1から請求項9のうちのいずれか1項記載のリモートコントローラ。
  13.  前記複数の操作対象機器に接続中機器が含まれる場合において、前記接続中機器の状態が変化したとき、当該状態の変化に応じた第3音声を出力する音声出力部を備えることを特徴とする請求項1から請求項9のうちのいずれか1項記載のリモートコントローラ。
  14.  前記ユーザによる操作入力を受け付ける操作入力部と、
     前記複数の操作対象機器に接続中機器及び他の一以上の操作対象機器が含まれる場合において、前記操作入力部に切替操作が入力されたとき、前記接続中機器を前記一以上の操作対象機器のうちの切替対象機器に切り替える第1切替制御部と、
     を備えることを特徴とする請求項1から請求項9のうちのいずれか1項記載のリモートコントローラ。
  15.  前記ユーザによる操作入力を受け付ける操作入力部と、
     前記複数の操作対象機器に接続中機器が含まれる場合において、前記操作入力部による前記接続中機器に対する非操作入力状態の継続時間が基準時間を超えたとき、前記接続中機器に対する接続解除処理を実行する接続解除処理部と、
     を備えることを特徴とする請求項1から請求項9のうちのいずれか1項記載のリモートコントローラ。
  16.  前記複数の操作対象機器に接続中機器及び他の一以上の操作対象機器が含まれる場合において、前記一以上の操作対象機器のうちのいずれかの操作対象機器に対応する前記指示音声が前記音声入力部に入力されたとき、前記接続中機器を前記指示音声に対応する操作対象機器に切り替える第2切替制御部を備えることを特徴とする請求項1から請求項9のうちのいずれか1項記載のリモートコントローラ。
  17.  前記第2切替制御部は、前記一以上の操作対象機器のうちのいずれかの操作対象機器に対応する前記第1通知信号が前記通信部により受信されたとき、前記接続中機器を前記第1通知信号に対応する操作対象機器に切り替えないことを特徴とする請求項16記載のリモートコントローラ。
  18.  前記ユーザによる操作入力を受け付ける操作入力部と、
     前記複数の操作対象機器に接続中機器が含まれる場合において、前記接続中機器に対する距離が基準距離よりも大きいとき、前記操作入力部による前記接続中機器に対する操作入力を無効化する無効化制御部と、
     を備えることを特徴とする請求項1から請求項9のうちのいずれか1項記載のリモートコントローラ。
  19.  前記通信部は、情報端末装置と通信自在であり、
     前記ユーザによる操作入力を受け付ける操作入力部と、
     前記音声入力部に設定音声が入力されたとき、前記設定音声に基づき、前記複数の操作対象機器の各々が有する複数の機能のうちの前記操作入力部による操作対象機能を設定する第1設定制御部と、前記情報端末装置に設定操作が入力されたとき、前記設定操作に基づき、前記操作対象機能を設定する第2設定制御部と、を有する設定制御部と、を備える
     ことを特徴とする請求項1から請求項9のうちのいずれか1項記載のリモートコントローラ。
  20.  ダイヤル型であることを特徴とする請求項1から請求項19のうちのいずれか1項記載のリモートコントローラ。
  21.  リモートコントローラ及び複数の操作対象機器を含む遠隔操作システムであって、
     前記リモートコントローラは、
     ユーザによる音声入力を受け付ける音声入力部と、
     前記複数の操作対象機器の各々と通信自在な通信部と、
     前記複数の操作対象機器のうちのいずれかの操作対象機器に対する指示音声が前記音声入力部に入力されたとき、前記指示音声に基づき、前記複数の操作対象機器のうちの接続対象機器を選択する第1選択制御部と、前記複数の操作対象機器のうちのいずれかの操作対象機器が前記ユーザにより直接操作されたことを示す第1通知信号が前記通信部により受信されたとき、前記第1通知信号に基づき、前記接続対象機器を選択する第2選択制御部と、を有する選択制御部と、
     前記選択制御部により前記接続対象機器が選択されたとき、前記接続対象機器に対する接続処理を実行する接続処理部と、を備える
     ことを特徴とする遠隔操作システム。
  22.  前記リモートコントローラは、前記接続処理が完了したとき、前記リモートコントローラが前記接続対象機器と接続されたことを示す第1表示を実行する表示部を備え、
     前記接続対象機器にて、前記第1表示に連動する第2表示が前記第1表示の実行タイミングに対応するタイミングにて実行される
     ことを特徴とする請求項21記載の遠隔操作システム。
  23.  前記リモートコントローラは、前記接続処理が完了したとき、前記リモートコントローラが前記接続対象機器と接続されたことを示す第1音声を出力する音声出力部を備え、
     前記接続対象機器にて、前記第1音声に連動する第2音声が前記第1音声の出力タイミングに対応するタイミングにて出力される
     ことを特徴とする請求項21記載の遠隔操作システム。
PCT/JP2019/003144 2019-01-30 2019-01-30 リモートコントローラ及び遠隔操作システム WO2020157857A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2019/003144 WO2020157857A1 (ja) 2019-01-30 2019-01-30 リモートコントローラ及び遠隔操作システム
JP2019524480A JP6625271B1 (ja) 2019-01-30 2019-01-30 リモートコントローラ及び遠隔操作システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/003144 WO2020157857A1 (ja) 2019-01-30 2019-01-30 リモートコントローラ及び遠隔操作システム

Publications (1)

Publication Number Publication Date
WO2020157857A1 true WO2020157857A1 (ja) 2020-08-06

Family

ID=69100979

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/003144 WO2020157857A1 (ja) 2019-01-30 2019-01-30 リモートコントローラ及び遠隔操作システム

Country Status (2)

Country Link
JP (1) JP6625271B1 (ja)
WO (1) WO2020157857A1 (ja)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0229199A (ja) * 1988-07-19 1990-01-31 Sanyo Electric Co Ltd リモートアクセル装置
JP2005159990A (ja) * 2003-11-28 2005-06-16 Sharp Corp 機器システム、機器制御プログラム、および、プログラム記録媒体
JP2005303423A (ja) * 2004-04-07 2005-10-27 Sony Corp 制御システム、制御装置および方法、プログラム、並びに記録媒体
JP2006268461A (ja) * 2005-03-24 2006-10-05 Ntt Docomo Inc 通信装置、通信システム、通信方法
JP2007243602A (ja) * 2006-03-08 2007-09-20 Bandai Co Ltd 電子装置の制御装置および制御方法
US20080266085A1 (en) * 2007-04-25 2008-10-30 Robert Kagermeier Cableless operation of a medical device
US20140176316A1 (en) * 2012-12-24 2014-06-26 Samsung Electronics Co., Ltd. Display apparatus and method of displaying a message
JP2017082526A (ja) * 2015-10-29 2017-05-18 文化シヤッター株式会社 開閉制御システム及び開閉制御方法
US20180062691A1 (en) * 2016-08-24 2018-03-01 Centurylink Intellectual Property Llc Wearable Gesture Control Device & Method

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3753067B2 (ja) * 2001-12-25 2006-03-08 ソニー株式会社 通信装置および方法、記録媒体、並びにプログラム
US20040204151A1 (en) * 2002-12-30 2004-10-14 Sivakumar Muthuswamy Method and apparatus for advising a user of a wireless device as to a connection status thereof

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0229199A (ja) * 1988-07-19 1990-01-31 Sanyo Electric Co Ltd リモートアクセル装置
JP2005159990A (ja) * 2003-11-28 2005-06-16 Sharp Corp 機器システム、機器制御プログラム、および、プログラム記録媒体
JP2005303423A (ja) * 2004-04-07 2005-10-27 Sony Corp 制御システム、制御装置および方法、プログラム、並びに記録媒体
JP2006268461A (ja) * 2005-03-24 2006-10-05 Ntt Docomo Inc 通信装置、通信システム、通信方法
JP2007243602A (ja) * 2006-03-08 2007-09-20 Bandai Co Ltd 電子装置の制御装置および制御方法
US20080266085A1 (en) * 2007-04-25 2008-10-30 Robert Kagermeier Cableless operation of a medical device
US20140176316A1 (en) * 2012-12-24 2014-06-26 Samsung Electronics Co., Ltd. Display apparatus and method of displaying a message
JP2017082526A (ja) * 2015-10-29 2017-05-18 文化シヤッター株式会社 開閉制御システム及び開閉制御方法
US20180062691A1 (en) * 2016-08-24 2018-03-01 Centurylink Intellectual Property Llc Wearable Gesture Control Device & Method

Also Published As

Publication number Publication date
JP6625271B1 (ja) 2019-12-25
JPWO2020157857A1 (ja) 2021-02-18

Similar Documents

Publication Publication Date Title
JP5739002B2 (ja) 通信装置、及び通信システム
KR101224351B1 (ko) 제어될 디바이스에 연관된 객체를 찾아내는 방법 및 상기 디바이스를 제어하는 방법
CN113168304A (zh) 有条件地将各种自动助理功能分配给与外围助理控制设备的交互
JP5064980B2 (ja) 調理器システム及び調理器
RU2685976C2 (ru) Способы для инициирования конечных автоматов в ответ на события касания, обнаруженные в бытовых устройствах
KR102371752B1 (ko) 가전 기기 및 그의 제어방법
CN104762787A (zh) 一种洗衣机控制方法及洗衣机
WO2015045706A1 (ja) 調理支援装置、調理支援方法、および調理支援システム
JP2005065118A (ja) リモコン機能付き携帯端末及びリモコンサーバ
JP4470115B2 (ja) 表示部カスタマイズ機能を有する電気炊飯器
WO2020157857A1 (ja) リモートコントローラ及び遠隔操作システム
CN105959765B (zh) 一种基于红外遥控器的终端启动控制方法、装置和机顶盒
CN105224067A (zh) 一种控制闹铃的方法、装置及移动终端
KR102567454B1 (ko) 조리 과정에 대한 타임라인을 결정할 수 있는 전자 장치
JP2012175377A (ja) 機器制御装置、機器制御方法
EP4088552B1 (en) Disable control of a lighting device by a light control device in a query mode
US20210035584A1 (en) Apparatus control device, apparatus control system, apparatus control method, and apparatus control program
US11914570B2 (en) Dynamic multiple database management for learning and playing back electromagnetic signals
CN105261177B (zh) 一种触摸遥控方法及移动终端
JP5839728B2 (ja) 遠隔制御システムとその装置及び方法
CN117155728B (zh) 设备控制方法、装置、系统及计算机可读存储介质
JP2012178889A (ja) 機器制御装置、機器制御方法
TW201928899A (zh) 萬能遙控系統及裝置的全自動尋碼方法
US20240129155A1 (en) Home appliance, and method for outputting information about home appliance
WO2023179879A1 (en) Haptic profiles for electronic devices

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2019524480

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19912960

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19912960

Country of ref document: EP

Kind code of ref document: A1