WO2018155483A1 - 制御装置、制御方法、情報処理装置、情報処理方法及びプログラム - Google Patents
制御装置、制御方法、情報処理装置、情報処理方法及びプログラム Download PDFInfo
- Publication number
- WO2018155483A1 WO2018155483A1 PCT/JP2018/006178 JP2018006178W WO2018155483A1 WO 2018155483 A1 WO2018155483 A1 WO 2018155483A1 JP 2018006178 W JP2018006178 W JP 2018006178W WO 2018155483 A1 WO2018155483 A1 WO 2018155483A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- control
- function
- hardware
- pairing
- program
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 76
- 230000010365 information processing Effects 0.000 title claims description 46
- 238000003672 processing method Methods 0.000 title claims description 6
- 238000004891 communication Methods 0.000 claims abstract description 104
- 230000008569 process Effects 0.000 claims description 39
- 238000012545 processing Methods 0.000 claims description 18
- 230000001747 exhibiting effect Effects 0.000 claims description 14
- 238000004088 simulation Methods 0.000 claims description 10
- 239000000284 extract Substances 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 73
- 230000007704 transition Effects 0.000 description 30
- 238000010586 diagram Methods 0.000 description 29
- 238000012790 confirmation Methods 0.000 description 9
- 238000003860 storage Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 238000011084 recovery Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/4401—Bootstrapping
- G06F9/4411—Configuring for operating with peripheral devices; Loading of device drivers
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
- G09B19/0053—Computers, e.g. programming
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
- A63H30/00—Remote-control arrangements specially adapted for toys, e.g. for toy vehicles
- A63H30/02—Electrical arrangements
- A63H30/04—Electrical arrangements using wireless transmission
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
- A63H33/00—Other toys
- A63H33/04—Building blocks, strips, or similar building parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/30—Creation or generation of source code
- G06F8/34—Graphical or visual programming
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45504—Abstract machines for programme code execution, e.g. Java virtual machine [JVM], interpreters, emulators
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
- G09B19/0069—Engineering, e.g. mechanical, electrical design
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B5/00—Near-field transmission systems, e.g. inductive or capacitive transmission systems
- H04B5/40—Near-field transmission systems, e.g. inductive or capacitive transmission systems characterised by components specially adapted for near-field transmission
- H04B5/48—Transceivers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B5/00—Near-field transmission systems, e.g. inductive or capacitive transmission systems
- H04B5/70—Near-field transmission systems, e.g. inductive or capacitive transmission systems specially adapted for specific purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/445—Program loading or initiating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04Q—SELECTING
- H04Q2209/00—Arrangements in telecontrol or telemetry systems
- H04Q2209/40—Arrangements in telecontrol or telemetry systems using a wireless architecture
- H04Q2209/43—Arrangements in telecontrol or telemetry systems using a wireless architecture using wireless personal area networks [WPAN], e.g. 802.15, 802.15.1, 802.15.4, Bluetooth or ZigBee
Definitions
- the present invention relates to a control device, a control method, an information processing device, an information processing method, and a program.
- Patent Document 1 an assembly block capable of constructing an assembly-type toy by simple wiring or programming is provided. According to the technique described in Patent Document 1, even a user who is young can construct an assembly-type toy without performing complicated operations and operations.
- each assembly block is merely controlled by an existing program, and there is a limit to the degree of freedom of operation and control of the assembly type toy. That is, for example, only the technique disclosed in Patent Document 1 described above cannot execute a process for creating a program by combining the functions of the respective assembly blocks. In other words, with only the technique of the above-described Patent Document 1, it is necessary to separately create a complicated program in order to execute advanced processing such as combining the functions of the respective assembly blocks.
- the present invention has been made in view of such a situation, and provides a technique by which a user can easily create a complicated program by a visual operation.
- a control device includes: Communicate with the control device, one or more first hardware devices having a function of pairing with the control device by short-range wireless communication and a function of communicating with other hardware devices, and the first hardware device
- the information processing system including a function and one or more second hardware devices having a function of exhibiting a predetermined function
- Control execution means for executing control for executing a predetermined series of processing by combining a plurality of sets of the first hardware device and the second hardware device
- Pairing execution means for performing pairing between the first hardware device to be controlled by the control execution means and the control device by short-range wireless communication of a predetermined method
- Presenting means for presenting a pairing state between the first hardware device to be controlled by the control execution means and the control device; Is provided.
- control method, information processing apparatus, information processing method, and program of one embodiment of the present invention are also provided as the control method, information processing apparatus, information processing method, and program corresponding to the information processing system of one embodiment of the present invention.
- FIG. 5 is a functional block diagram illustrating a functional configuration example of a user terminal in FIG. 2, a basic core in FIG.
- FIG. 4 It is a state transition diagram which shows the state transition regarding the program preparation process using the information processing system which concerns on one Embodiment of this invention. It is a figure which shows an example of the screen actually displayed to a user in the case of the program preparation process using the information processing system which concerns on one Embodiment of this invention.
- FIG. 9 is a diagram illustrating an example of a screen actually displayed to a user and different from FIG. 8 in the program creation process using the information processing system according to the embodiment of the present invention. It is a figure which shows a specific example which concerns on one Embodiment of this invention. It is a figure which shows an example of the screen actually displayed on the user terminal of FIG.
- the present invention is a creation of a technical idea for a user to easily create a complicated program by visual operation.
- a user can create a program by operating various icons displayed on a user interface (hereinafter referred to as a “program creation screen”) displayed for program creation. Specifically, for example, the user displays an icon (hereinafter referred to as “hardware part” or “H part”) indicating the contents of a program that designates the operation of specific hardware displayed on the program creation screen and a specific An icon (hereinafter referred to as “software part” or “S part”) indicating the contents of a program that designates execution of software can be visually recognized. Then, the user arbitrarily moves these icons (for example, Drag And Drop) to create a program by combining various icons.
- the program created in this way can be used for, for example, an assembled toy. That is, the information processing system according to an embodiment of the present invention can create a program by an easy operation, and thus is extremely useful as a teaching material for allowing a child to learn the program mechanism and creation method.
- FIG. 1 is a block diagram showing a configuration of an information processing system according to an embodiment of the present invention.
- the information processing system shown in FIG. 1 includes a user terminal 1 used by a user, m basic cores 2-1 to 2-m (m is an arbitrary integer value of 1 or more), and m functional modules 3 -1 to 3-m. Further, the user terminal 1 communicates with each of the basic cores 2-1 to 2-m by various methods, for example, various methods such as NFC (Near Field Communication) and Bluetooth (registered trademark).
- NFC Near Field Communication
- Bluetooth registered trademark
- the above-described pairing between the user terminal 1 and the basic core 2-K will be described.
- the user terminal 1 and the basic core 2-K are paired using short-range wireless communication. There is a need to do.
- the pairing is to make the user terminal 1 recognize the type and connection state of the basic core 2-K and the functional module 3-K connected thereto using short-range wireless communication.
- the user terminal 1 recognizes the type of the functional module 3-K, the connection state, etc., the H parts corresponding to the connected functional module 3-K are displayed on the program creation screen.
- FIG. 2 is a block diagram showing a hardware configuration of the user terminal 1 according to the embodiment of the present invention.
- the user terminal 1 is composed of a tablet or the like.
- the user terminal 1 includes a CPU (Central Processing Unit) 21, a ROM (Read Only Memory) 22, a RAM (Random Access Memory) 23, a bus 24, an input / output interface 25, a touch operation input unit 26, a display Unit 27, input unit 28, storage unit 29, first short-range wireless communication unit 30, second short-range wireless communication unit 31, communication unit 32, drive 33, and removable media 34.
- CPU Central Processing Unit
- ROM Read Only Memory
- RAM Random Access Memory
- the CPU 21 executes various processes according to a program recorded in the ROM 22 or a program loaded from the storage unit 29 to the RAM 23.
- the RAM 23 appropriately stores information necessary for the CPU 21 to execute various processes.
- the CPU 21, ROM 22, and RAM 23 are connected to each other via a bus 24.
- An input / output interface 25 is also connected to the bus 24.
- a touch operation input unit 26, a display unit 27, an input unit 28, a storage unit 29, a first short-range wireless communication unit 30, a communication unit 32, and a drive 33 are connected to the input / output interface 25.
- a second short-range wireless communication unit 31 is also provided.
- the touch operation input unit 26 includes, for example, a capacitance type or resistance film type (pressure sensitive) position input sensor stacked on the display unit 27, and detects the coordinates of the position where the touch operation is performed.
- the display unit 27 includes a display such as a liquid crystal display, and displays various images such as an image related to program creation.
- the touch operation input unit 26 and the display unit 27 constitute a touch panel.
- the input unit 28 is configured by various hardware and the like, and inputs various information according to a user's instruction operation.
- the storage unit 29 is configured with a hard disk, a DRAM (Dynamic Random Access Memory), or the like, and stores various types of information.
- the first short-range wireless communication unit 30 executes control for performing short-range wireless communication by a method according to, for example, the NFC (registered trademark) standard.
- the user terminal 1 and the basic core 2 perform pairing by performing short-range wireless communication using a method according to the NFC (registered trademark) standard.
- the second short-range wireless communication unit 31 executes control for performing short-range wireless communication by a method in accordance with the Bluetooth (registered trademark) standard.
- an execution result (including a command or the like) of a program created by the user terminal 1 is transmitted by short-range wireless communication according to a method in accordance with the Bluetooth (registered trademark) standard.
- the communication unit 32 controls communication performed with other devices via the Internet or the like independently of the first short-range wireless communication unit 30 and the second short-range wireless communication unit 31.
- the drive 33 is provided as necessary.
- a removable medium 34 composed of a magnetic disk, an optical disk, a magneto-optical disk, a semiconductor memory, or the like is appropriately attached to the drive 33.
- the program read from the removable medium 34 by the drive 33 is installed in the storage unit 29 as necessary.
- the removable medium 34 can also store various information stored in the storage unit 29 in the same manner as the storage unit 29.
- FIG. 3 is a block diagram showing a hardware configuration of the basic core 2 according to an embodiment of the present invention.
- the basic core 2 is configured by a predetermined hardware device or the like.
- the basic core 2 includes a CPU 41, a ROM 42, a RAM 43, a bus 44, a first short-range wireless communication unit 45, a second short-range wireless communication unit 46, a connection unit 47, and a power supply unit 48. Yes.
- the CPU 41, the ROM 42, the RAM 43, the bus 44, the first short-range wireless communication unit 45, and the second short-range wireless communication unit 46 are basically the same as the configuration of the user terminal 1. These descriptions are omitted here.
- the connection unit 47 connects to another hardware device (for example, the functional module 3 in FIG. 1).
- the connection unit 47 includes an inter-module communication unit 51 and an inter-module power transmission unit 52.
- the inter-module communication unit 51 executes control for performing data communication, for example, according to a method in accordance with a LAN (Local Area Network) standard.
- the inter-module power transmission unit 52 receives power supplied from the power supply unit 48 to be described later, and transmits power to another hardware device (for example, the functional module 3 in FIG. 1).
- the power supply unit 48 is a battery such as a battery.
- the power supply unit 48 supplies power to the basic core 2 and appropriately supplies power to the functional module 3 via the inter-module power transmission unit 52.
- FIG. 4 is a block diagram showing a hardware configuration of the functional module 3 according to an embodiment of the present invention.
- the CPU 61, ROM 62, RAM 63, bus 64, and connection unit 67 are basically the same as the configuration of the user terminal 1 or the basic core 2, so description thereof is omitted here.
- the functional module 3 may also be provided with a first short-range wireless communication unit and a second short-range wireless communication unit, similar to the basic core 2.
- the functional hardware 68 is, for example, a temperature sensor or a buzzer, and is hardware for each functional module to exhibit a unique function. That is, the program created by the user is reflected on the actual hardware when the function hardware 68 appropriately exhibits its function.
- execution methods for program execution there are two types of execution methods for program execution. That is, a type in which a program created by the user terminal 1 is virtually executed only by the user terminal 1 is referred to as “execution by simulation”. On the other hand, the type in which the functional hardware 68 or the like is operated based on the execution result of the program created by the user terminal 1 is referred to as “execution by an actual machine”.
- the power supply unit 69 supplies the functional module 3 with the power acquired through the inter-module power transmission unit 72 or the power supplied from an external power source (for example, the battery unit BU in FIG. 5).
- FIG. 5 is a diagram showing an example of a configuration in a state where the basic core 2-E and the functional module 3-E according to the embodiment of the present invention are connected.
- FIG. 5 illustrates a basic core 2-E, a functional module 3-E, and a battery unit PP.
- the basic core 2-E includes a battery unit BU (for example, a power supply unit 48 in FIG. 6 to be described later), a serial port SP, and a short-range wireless communication unit BT (for example, a second short-range wireless communication unit 46 in FIG. 6 to be described later). ) Is provided.
- the battery unit BU is a battery such as a battery, for example, and supplies power to the basic core 2-E and the functional module 3-E.
- the serial port SP is a connection port (connector connector) for connecting the basic core 2-E and other hardware. In the example of FIG.
- the basic core 2-E is provided with a serial port SP
- the functional module 3-E is provided with a serial port PS.
- the basic core 2-E and the functional module 3-E are connected via the two serial ports SP and PS.
- the short-range wireless communication unit BT is mounted with an IC card or the like for performing short-range wireless communication with other hardware or the like according to a predetermined standard (for example, Bluetooth (registered trademark)).
- a predetermined standard for example, Bluetooth (registered trademark)
- the user terminal 1 not shown in FIG. 5
- the basic core 2-E provided with the short-range wireless communication unit BT are short-range in a manner according to Bluetooth (registered trademark). Perform wireless communication.
- the functional module 3-E includes a tire T (for example, the functional hardware 68 in FIG. 4). As described above, the functional module 3-E acquires the execution result (command or the like) of the above-described program transmitted from the basic core 2-E. The functional module 3-E in the example of FIG. 5 drives the tire T according to the execution result (command or the like) of the program created in the user terminal 1.
- a battery unit PP is connected to the functional module 3-E. The battery unit PP supplies power to the function module 3-E as an external power source. As described above, the battery unit PP is not an essential component as long as power can be supplied to the functional module 3-E from the power supply unit 48 (FIG. 3) of the basic core 2.
- the program preparation process can be executed by the cooperation of the various hardware and various software of the user terminal 1, the basic core 2, and the functional module 3.
- the program creation process refers to a process for creating a program for causing one or more functional modules 3 connected to the basic core 2 to function.
- the pairing unit 201, the terminal communication control unit 202, the functional module communication control unit 203, and the main control unit 204 function. Further, in the CPU 61 of the functional module 3, the main control unit 241 and the function exhibiting unit 242 function.
- the program creation unit 102 accepts a user's touch operation and actually creates a program.
- the program creation unit 102 is provided with an H parts supply unit 121, an S parts supply unit 122, a parts coupling unit 123, and a determination unit 124.
- the H parts supply unit 121 displays the H parts corresponding to the type of the functional module 3 connected to the basic core 2 paired by the pairing unit 101 on the program creation screen via the display control unit 104. To do.
- the S parts supply unit 122 appropriately extracts S parts from the S parts DB 600 and displays them on the program creation screen via the display control unit 104.
- the parts combining unit 123 combines various H parts and various S parts according to a user's touch operation. In the finally produced program, the contents of the program designated for the various H parts and S parts combined in this way are continuously executed.
- the determination unit 124 determines the contents of the program created by the user and stores the generated program in the program storage unit 500.
- the program execution unit 103 extracts and executes a program that the user desires to execute from the programs stored in the program storage unit 500.
- the program execution unit 103 is provided with a simulation unit 131 and an actual machine unit 132.
- the simulation unit 131 virtually executes the program extracted by the program execution unit 103 without aiming to operate the basic core 2 and the functional module 3 by a program created by the user. That is, the simulation unit 131 performs a simulation for checking whether or not the actually created program can be normally executed.
- the execution result of the program is displayed on the display unit 27 via the display control unit 104, as will be described later.
- the real machine unit 132 executes the program extracted by the program execution unit 103 for the purpose of operating the basic core 2 and the functional module 3 by the program created by the user.
- the program execution unit 103 transmits the execution result (command or the like) of the created program to the basic core 2 and the functional module 3 to cause the functional module 3 to perform its function.
- the program execution result is not only displayed on the display unit 27 via the display control unit 104 but also transmitted to the basic core 2 by the communication control unit 105 as described later.
- the display control unit 104 executes control for displaying the various information described above on the display unit 27.
- the communication control unit 105 performs control for transmitting the execution result of the program executed by the real machine unit 132 of the program execution unit 103 to the basic core 2 via the second short-range wireless communication unit 31.
- the second short-range wireless communication unit 31 performs short-range wireless communication by a method in accordance with the Bluetooth (registered trademark) standard.
- the terminal communication control unit 202 executes, for example, control for acquiring the execution result of the program transmitted from the user terminal 1 via the second short-range wireless communication unit 46.
- the functional module 3 that exerts the function in the program needs to be connected to the predetermined basic core 2. That is, at least when the program is executed, the basic core 2 and the functional module 3 are connected by the connection unit 47 and the connection unit 67.
- the connection between the basic core 2 and the functional module 3 can be performed independently of the pairing between the basic core 2 and the user terminal 1. That is, the basic core 2 and the functional module 3 may be connected before pairing, but the basic core 2 and the functional module 3 may be connected after pairing. In the latter case, the function module 3 transmits its own unique ID to the user terminal 1 so that the user terminal 1 recognizes what the function module 3 is (what function is to be exhibited). Can do.
- the functional module 3 can also be removed from the basic core 2 after pairing.
- the basic core 2 notifies the user terminal 1 that the functional module 3 has been removed.
- the user terminal 1 displays a message indicating that it has been removed from the UI (such as a user display screen in FIG. 8 described later). More precisely, in the present embodiment, when the predetermined functional module 3 is removed from the basic core 2, the user terminal 1 displays an icon indicating an H part corresponding to the predetermined functional module 3 in the non-display state in the UI. become. In this way, hot swapping of the functional module 3 after pairing is realized. That is, for the user, once pairing is performed, all that is required is to insert and remove the functional module 3 with respect to the basic core 2.
- This insertion / removal state is also followed by the UI on the user terminal 1.
- the functional module communication control unit 203 of the basic core 2 executes control of communication with the functional module 3 connected via the connection unit 47. To do.
- the functional module communication control unit 203 transmits an operation instruction or the like output from the main control unit 204 described later to the functional module 3.
- the main control unit 204 executes main control of various processes executed by the basic core 2. For example, the main control unit 204 outputs an operation instruction or the like for exhibiting the function of the functional module 3 based on the execution result of the program acquired by the terminal communication control unit 202.
- the main control unit 241 of the functional module 3 executes main control of various processes executed by the functional module 3. For example, the operation instruction transmitted from the basic core 2 is acquired via the connection unit 67.
- the function exhibiting unit 242 executes control for causing the functional hardware 68 to execute the operation instruction acquired by the main control unit 241. That is, the function exhibiting unit 242 causes the function hardware 68 to execute the operation instruction acquired by the main control unit 241 to exhibit the function of the function module 3.
- the power supply unit 69 only shows how the power acquired via the inter-module power transmission unit 72 is supplied to the functional module 3, but as described above, an external power source (for example, It is also possible to supply the power supplied from the battery unit BU) of FIG.
- FIG. 7 is a state transition diagram showing state transitions related to a program creation process using the information processing system according to the embodiment of the present invention.
- each state is indicated by one ellipse, and each state is determined by a code including SP.
- the state transition from one state to one state is executed when a predetermined condition (hereinafter referred to as “state transition condition”) is satisfied.
- state transition condition a predetermined condition
- Such a state transition condition is represented in FIG. 7 by adding a symbol including A to an arrow representing a transition from one state to one state.
- the program production state SP1 becomes the basic state.
- the user performs pairing by bringing the user terminal 1 and the basic core 2 close to each other.
- the term “close” here means an effective distance for performing short-range wireless communication by a method in accordance with the NFC (registered trademark) standard, and generally means close to a distance of about 10 cm. That is, when the user brings the user terminal 1 and the basic core 2 close to a distance of about 10 cm, the state transition condition A1 is satisfied. Then, the state transitions to the pairing state SP2.
- the H parts supply unit 121 displays the H parts display program creation screen via the display control unit 104.
- state transition condition A2 is satisfy
- the pairing state SP2 when the user presses a predetermined operator (such as a program execution button (not shown)), the state transition condition A3 is satisfied. Then, the state transitions to the program execution state SP3. And as before, in the program execution state SP3, the user brings the user terminal 1 and the basic core 2 close to each other so that the state transition condition A4 is satisfied. Then, the state transitions again to the pairing state SP2.
- a predetermined operator such as a program execution button (not shown)
- the state transition condition A12 is satisfied. Then, the state transitions to the program execution state SP3.
- the state transition condition A13 is satisfied when a predetermined operator (such as a program creation button (not shown)) is pressed. Then, the state transitions to the program execution state SP1.
- the program execution state SP3 includes two states, a simulation state and an actual machine state.
- these two states satisfy the state transition condition A10 or A11 in each state when the user presses a predetermined operation element (simulation button or the like not shown).
- the simulation state and the actual machine state can appropriately transition.
- the state transition condition A5 is satisfied.
- a predetermined operator such as a program execution button (not shown)
- the state transition condition A6 is satisfied.
- the sleep state SP4 when the user presses a predetermined operator (such as a start button of a program creation application (not shown)), the state transition condition A7 is satisfied. Then, the state transitions to the program creation state SP1. Then, in the program creation state SP1, when the user presses a predetermined operator (such as a program creation cancel button (not shown)), the transition condition A8 is satisfied. Then, the state transitions to a dormant state SP4. As shown in FIG. 7, the pairing state SP2 and the dormant state SP4 can be changed directly.
- a predetermined operator such as a start button of a program creation application (not shown)
- FIG. 8 is a diagram showing an example of a screen that is actually displayed to the user regarding the program creation process executed by the user terminal 1 of FIG.
- FIG. 8A shows a situation in which no basic core 2 is paired with the user terminal 1.
- the user terminal 1 includes a basic core 2-O, a functional module 3-O (O is an arbitrary integer value from 1 to m), and a basic. None of the core 2-P and the functional module 3-P (P is any integer value other than O among 1 to m) is paired.
- the function module 3-O can exhibit the function of a push button.
- the function module 3-P can exhibit a buzzer function.
- FIG. 8B shows a basic configuration in which the user terminal 1 is paired with the basic core 2-O to which the functional module 3-O is connected, and the user terminal 1 is connected to the functional module 3-P. This shows the situation where the pairing with the core 2-P has been made.
- the push button icon corresponding to the paired function module 3-O and the buzzer icon corresponding to the function module 3-P are displayed in the H parts display area DHB. Respectively.
- FIG. 8C shows a situation where a program created by the user is executed.
- a push button icon, a timer (2 s), and a buzzer icon are displayed in order from the right in the program creation display area DC, and each icon is displayed.
- each icon is displayed.
- the user can freely combine various H parts and various S parts while visually recognizing the icons displayed on the user display screen, thereby combining the contents designated by the respective icons into one program.
- the push button functional module 3-O
- the buzzer functional module 3-P
- FIG. 9 is a diagram showing an example of a screen actually displayed to the user regarding the program creation process executed by the user terminal 1 of FIG. 2 and an example different from the example of FIG.
- FIG. 9 shows only the program creation screen displayed to the user, that is, the user display screen.
- a button icon HB is displayed on the left and a full color LED icon HL is displayed on the right.
- a timer icon ST and slider icons SSR, SSG, and SSB are displayed as S parts.
- Each of the timer icon ST and the slider icons SSR, SSG, and SSB has an icon HB connected to the input side and an icon HL connected to the output side.
- the timer icon ST is an S part that outputs trigger information when a set time has elapsed.
- the timer icon ST is an S part that outputs a digital signal of 0 or 1.
- the slider icons SSR, SSG, and SSB are S parts that can output any numerical value between 0 and 255.
- the slider icons SSR, SSG, and SSB are S parts that output an analog signal.
- the S part can handle a wide variety of information such as analog signals as input / output information.
- the corresponding functional module 3 can input and output various types of information such as analog signals
- the H parts can also handle various types of information such as analog signals as input / output information. In the example of FIG.
- buttons and buzzers are employed as the function module 3-O and the function module 3-P.
- the functions exhibited by the function module 3 are particularly limited to the above-described embodiments. Not. Hereinafter, with reference to FIG. 10, some other embodiments in which a method different from the above-described embodiment is adopted will be described.
- FIG. 10 is a specific example according to an embodiment of the present invention, and is a diagram illustrating an example different from FIGS. 5 and 8.
- a rocket toy with a propeller is adopted as the function module M1.
- a program execution button is pressed by a predetermined user H1
- a program is generated and executed so that the propeller rotates after a countdown of 10 seconds.
- the basic core B1 connected to the functional module M1 and the functional module MC (for example, a speaker) that performs the countdown function are not illustrated, but are stored in the functional module M1, for example.
- a train toy is employed as the functional module M1.
- a program is created and executed in which a train starts in response to a human voice or the like when a program execution button is pressed by a predetermined user H2.
- the basic core B2 connected to the functional module M2 and the functional module MA for example, a voice sensor
- the functional module MA for example, a voice sensor
- it is stored inside the functional module M2.
- the program creation screen can be visually confirmed, even if the user is a child, the program can be created safely and easily, and depending on the program created by himself Because it can be operated by a real machine, children can enjoy making programs without getting bored. In this way, by having the child create a program while having fun, the child can become familiar with the program that is generally difficult to touch. Furthermore, if the basic core 2 (not shown in FIG. 10) and the user terminal 1 are paired, the functional modules 3 such as the functional modules M1 and M2 can be freely attached and detached, and the state of the attachment and detachment is also created by the program. Reflected on the screen. Therefore, the child can also enjoy the hardware design.
- the input / output information in this embodiment will be supplemented.
- the input / output information of each program can handle not only simple trigger information as shown in FIG. 8 but also various kinds of information such as analog signals as shown in FIG. 9 as input / output information. That is, for example, as the input / output information in the present embodiment, information acquired by the temperature sensor (for example, the temperature is 15 degrees) can be output as information such as an analog signal as it is and used to create a program. For this reason, even complex information processing that cannot be realized with only digital signal information can be realized.
- FIG. 11 is a diagram illustrating an example of a screen that is actually displayed on the user terminal 1 of FIG. 2 during the connection state recognition process executed by the information processing system according to the embodiment of the present invention.
- the user display screen program creation screen displayed to the user
- the hardware schematic diagram depending on the program actually created
- FIG.12 and FIG.13 mentioned later is also the same.
- FIG. 11A shows a situation where the user terminal 1 and the basic core 2 to which the function modules 3-1 and 3-2 are connected are paired according to the hardware schematic diagram.
- each of the function modules 3-1 and 3-2 can exhibit the function of a button.
- icons (buttons and icons) of the function modules 3-1 and 3-2 connected to the paired basic core 2 are displayed.
- nothing is displayed in the program creation display area of the user display screen.
- FIG. 11B according to the hardware schematic diagram, as in FIG. 11A, pairing between the user terminal 1 and the basic core 2 to which the functional modules 3-1 and 3-2 are connected is possible. Shows the situation made.
- the icons (buttons and icons) of the function modules 3-1 and 3-2 connected to the paired basic core 2 are displayed. Has been.
- a program is created by the user.
- “Sound” is displayed on the output side of the button icon corresponding to the function module 3-1.
- An icon “correct answer” is connected, and an icon “text reading aloud” is connected to the output side of the icon corresponding to the function module 3-2.
- FIG. 11C shows, according to the hardware schematic diagram, the basic core 2 paired with the user terminal 1 for some reason after the state of FIG. 11B, and the functional modules 3-1, 3-2. And shows a disconnected situation.
- the button icon corresponding to the function module 3-1 is erased and an icon indicating “disconnect” is displayed at the same position in the program creation display area of the user display screen.
- the icon of the button corresponding to the functional module 3-2 is deleted, and the icon indicating “cut” is displayed at the same position.
- the reconnection association processing means that the user terminal 1 recognizes the functional module 3 that is once disconnected and then reconnected to the basic core 2 paired with the user terminal 1, and each connection state of the functional module 3 Is a series of processes to be displayed on the user terminal 1.
- FIG. 12 is a diagram illustrating an example of a screen that is actually displayed on the user terminal in FIG. 2 during the reconnection association process executed by the information processing system according to the embodiment of the present invention.
- FIG. 13 shows an example of a screen that is actually displayed on the user terminal of FIG. 2 in the case of a process different from FIG. 12 of the reconnection association process executed by the information processing system according to the embodiment of the present invention.
- FIG. 13 shows an example of a screen that is actually displayed on the user terminal of FIG. 2 in the case of a process different from FIG. 12 of the reconnection association process executed by the information processing system according to the embodiment of the present invention.
- FIG. 13 shows an example of a screen that is actually displayed on the user terminal of FIG. 2 in the case of a process different from FIG. 12 of the reconnection association process executed by the information processing system according to the embodiment of the present invention.
- FIG. 13 shows an example of a screen that is actually displayed on the user terminal of FIG. 2 in the case of a process different from FIG. 12 of the reconnection association process executed by the information processing system according to the embodiment of the present invention.
- FIG. 13 shows an example of a screen that is actually displayed on the user terminal of FIG. 2
- the functional module 3 (the functional module 3-1 in the example of FIG. 13), which is a target for allowing the user to confirm the recovery, lights the LED. Thereby, the user can surely visually recognize the target.
- a confirmation dialog is displayed so as to be close to the button icon corresponding to the target functional module 3 (the functional module 3-1 in the example of FIG. 13).
- a message “A branch to which a plug is connected is a button whose LED is lit now? Yes No” is displayed. The user can select “Yes” or “No” on the user terminal 1.
- connection (association) of the icon “Sound Correct” to the output side of the button icon corresponding to the function module 3-1 is restored.
- the confirmation dialog is displayed so that the LED of the function module 3-2 is displayed and the button icon corresponding to the function module 3-2 is displayed. You may let them.
- the connection of the function module 3-2 may be automatically recovered simultaneously with the recovery of the connection of the function module 3-1.
- or FIG. 13 is only an illustration. That is, one or more first hardware devices having a control device (user terminal 1), a function of pairing with the control device (user terminal 1) by short-range wireless communication, and a function of communicating with other hardware devices. (Basic Core 2) and information including two or more second hardware devices (functional module 3) having a function of communicating with the first hardware device (Basic Core 2) and a function of exhibiting a predetermined function
- the control device (user terminal 1) and the first hardware device (basic core 2) in the processing system can execute control processing including the following steps.
- the information processing system A predetermined series of processing to be executed in combination with the two or more second hardware devices (functional module 3) communicating with the first hardware device (basic core 2) paired with the control device (user terminal 1)
- a communication state detection step for detecting that the connection has been disconnected;
- the two or more second hardware devices (functional module 3) detected that the communication state with the one or more first hardware devices (basic core 2) is disconnected in the communication state detecting step.
- the two or more second hardware devices (functional module 3) are associated with each associated process.
- the pairing between the user terminal 1 and the basic core 2 is performed by short-range wireless communication according to a method according to the NFC (registered trademark) standard, but is not limited thereto. Pairing is not limited to short-range wireless communication, and may be performed by any means.
- the execution result of the program created by the user terminal 1 is transmitted using short-range wireless communication in a method according to a standard such as Bluetooth (registered trademark). It is not limited to.
- the created program is not limited to short-range wireless communication, and may be transmitted using any means.
- the series of processes described above can be executed by hardware or can be executed by software.
- the functional configuration of FIG. 6 is merely an example, and is not particularly limited. That is, it is sufficient that the information processing system has a function capable of executing the above-described series of processes as a whole, and what functional block is used to realize this function is not particularly limited to the example of FIG. Further, the location of the functional block is not particularly limited to that shown in FIG. In addition, one functional block may be constituted by hardware alone, software alone, or a combination thereof.
- a program constituting the software is installed in a computer or the like from a network or a recording medium.
- the computer may be a computer incorporated in dedicated hardware.
- the computer may be a computer capable of executing various functions by installing various programs, for example, a general-purpose smartphone or personal computer other than a server.
- the recording medium including such a program is not only constituted by a removable medium (not shown) distributed separately from the apparatus main body in order to provide the program to the user, but is also incorporated in the apparatus main body in advance. And a recording medium provided to the user.
- an information processing apparatus to which the present invention is applied Communicate with the control device, one or more first hardware devices having a function of pairing with the control device by short-range wireless communication and a function of communicating with other hardware devices, and the first hardware device
- Control execution means for example, the program execution unit 103 in FIG. 6
- Pairing execution means for example, the pairing unit 101 in FIG.
- Presenting means for example, connection confirmation unit 111 in FIG. 6 for presenting a pairing state between the first hardware device to be controlled by the control execution means and the control device;
- a control device with As a result, the user can create a program by an easy operation (such as combining and connecting icons) while confirming the contents of the program to be visually created.
- Communication control unit 111 ... Connection confirmation unit, 121 ..H parts supply unit, 122... S parts supply unit, 123... Parts combination unit, 124... Confirmation unit, 131 .. simulation unit, 132. Ring unit 202 ... Terminal communication control unit 203 ... Functional module communication control unit 204 ... Main control unit 241 ... Main control unit 242 ... Function exhibiting unit 500 ... Program storage unit, 600 ... S parts DB
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Computer Hardware Design (AREA)
- Computer Networks & Wireless Communication (AREA)
- Educational Technology (AREA)
- Educational Administration (AREA)
- Entrepreneurship & Innovation (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Computer Security & Cryptography (AREA)
- Telephone Function (AREA)
- Stored Programmes (AREA)
- Toys (AREA)
- Computer And Data Communications (AREA)
- User Interface Of Digital Computer (AREA)
- Mobile Radio Communication Systems (AREA)
- Hardware Redundancy (AREA)
Abstract
Description
例えば、特許文献1に記載された技術によれば、簡単な配線やプログラミングによって組み立て式玩具を構築することができる組み立てブロックの提供がなされている。
この特許文献1に記載された技術によれば、年齢の低いユーザであっても、複雑な作業や操作を行うことなく、組み立て式玩具を構築することができる。
即ち、例えば、上述の特許文献1の技術のみでは、各組み立てブロックの夫々の機能を組み合わせて、プログラムを作製するような処理を実行することはできなかった。
換言すれば、上述の特許文献1の技術のみでは、各組み立てブロックの夫々の機能を組み合わせるといった高度な処理を実行させるためには、別途、複雑なプログラムを作成する必要があった。
制御装置と、前記制御装置と近距離無線通信でペアリングする機能と他のハードウェアデバイスと通信をする機能を有する1以上の第1ハードウェアデバイスと、前記第1ハードウェアデバイスと通信をする機能と所定の機能を発揮する機能を有する1以上の第2ハードウェアデバイスとを含む情報処理システムにおける、前記制御装置であって、
前記第1ハードウェアデバイスと前記第2ハードウェアデバイスとの組を複数組み合わせて所定の一連の処理を実行させる制御を実行する制御実行手段と、
所定方式の近距離無線通信により、前記制御実行手段の制御対象となる前記第1ハードウェアデバイスと前記制御装置とのペアリングを実行するペアリング実行手段と、
前記制御実行手段の制御対象となる前記第1ハードウェアデバイスと前記制御装置とのペアリングの状態を提示する提示手段と、
を備える。
ユーザは、プログラム作製用に表示されるユーザインタフェース(以下、「プログラム作製画面」と呼ぶ)に表示された各種アイコンを操作することで、プログラムを作製することができる。
具体的には例えば、ユーザは、プログラム作製画面に表示された特定のハードウェアの動作を指定するプログラムの内容を示すアイコン(以下、「ハードウェアパーツ」又は「Hパーツ」と呼ぶ)及び特定のソフトウェアの実行を指定するプログラムの内容を示すアイコン(以下、「ソフトウェアパーツ」又は「Sパーツ」と呼ぶ)を視認することができる。
そして、ユーザは、これらのアイコンを任意に移動(例えば、Drag And Drop等)させることで、各種アイコンを組み合わせてプログラムを作製する。
このようにして作製されたプログラムは、例えば、組み立て式の玩具等に利用することができる。
つまり、本発明の一実施形態に係る情報処理システムは、容易な操作によってプログラムを作製することができるため、プログラムの仕組みや作成方法を子供に学ばせるための教材として極めて有用である。
図1に示す情報処理システムは、ユーザにより使用されるユーザ端末1と、m個のベーシックコア2-1乃至2-m(mは1以上の任意の整数値)と、m個の機能モジュール3-1乃至3-mとを含むシステムである。
さらに、ユーザ端末1は、ベーシックコア2-1乃至2-mの夫々と、各種方式、例えばNFC(登録商標)(Near Field Communication)、Bluetooth(登録商標)等の各種方式で通信を行う。
なお、以下、ベーシックコア2-1乃至2-mの夫々を個々に区別する必要がない場合、これらをまとめて「ベーシックコア2」と、機能モジュール3-1乃至3-mを個々に区別する必要がない場合、これらをまとめて「機能モジュール3」と呼ぶ。
ベーシックコア2とは、後述する機能モジュール3と接続して使用するハードウェアデバイスであり、近距離無線通信(例えば、NFC(登録商標)の規格に準拠した通信)でユーザ端末1とのペアリングを行う。
ユーザ端末1は、所定のベーシックコア2-Kとペアリングを行うことで、ベーシックコア2-K(Kは、1乃至mのうち任意の整数値)と、ベーシックコア2-Kと接続された所定の機能モジュール3-Kとを認識する。
機能モジュール3-Kとは、例えば、温度センサ等の各種センサ、ブザー等の操作器具、モーターや扇風機等の駆動器具等により構成されるハードウェアデバイスである。
ペアリングとは、端的に言えば、近距離無線通信を用いて、ユーザ端末1に、ベーシックコア2-K及びそれに接続されている機能モジュール3-Kの種別や接続状態等を認識させることをいう。
なお、詳細については後述するが、ユーザ端末1では、機能モジュール3-Kの種別や接続の状態等を認識すると、接続された機能モジュール3-Kに対応するHパーツがプログラム作製画面に表示される。
ユーザ端末1は、CPU(Central Processing Unit)21と、ROM(Read Only Memory)22と、RAM(Random Access Memory)23と、バス24と、入出力インターフェース25と、タッチ操作入力部26と、表示部27と、入力部28と、記憶部29と、第一近距離無線通信部30と、第二近距離無線通信部31と、通信部32と、ドライブ33と、リムーバブルメディア34とを備えている。
RAM23には、CPU21が各種の処理を実行する上において必要な情報等も適宜記憶される。
表示部27は、液晶等のディスプレイにより構成され、プログラム作製に関する画像等、各種画像を表示する。
このように、本実施形態では、タッチ操作入力部26と表示部27とにより、タッチパネルが構成されている。
記憶部29は、ハードディスクやDRAM(Dynamic Random Access Memory)等で構成され、各種情報を記憶する。
第一近距離無線通信部30は、例えば、NFC(登録商標)の規格に従った方式で近距離無線通信を行う制御を実行する。具体的には例えば、上述の通り、ユーザ端末1とベーシックコア2は、NFC(登録商標)の規格に従った方式で近距離無線通信をして、ペアリングを行う。
第二近距離無線通信部31は、例えば、Bluetooth(登録商標)の規格に従った方式で近距離無線通信を行う制御を実行する。具体的には例えば、ユーザ端末1で作製したプログラムの実行結果(コマンド等を含む)を、Bluetooth(登録商標)の規格に従った方式の近距離無線通信で送信する。
通信部32は、第一近距離無線通信部30及び第二近距離無線通信部31とは別個独立して、インターネット等を介して他の装置との間で行う通信を制御する。
また、リムーバブルメディア34は、記憶部29に記憶されている各種情報も、記憶部29と同様に記憶することができる。
ベーシックコア2は、CPU41と、ROM42と、RAM43と、バス44と、第一近距離無線通信部45と、第二近距離無線通信部46と、接続部47と、電源部48とを備えている。
また、接続部47は、モジュール間通信部51と、モジュール間電力伝達部52とを備える。
モジュール間通信部51は、例えば、LAN(Local Area Network)の規格に従った方式により、データ通信を行う制御を実行する。
モジュール間電力伝達部52は、後述する電源部48からの電力の供給を受けて、他のハードウェアデバイス(例えば、図1の機能モジュール3)へと、電力を伝達する。
電源部48は、電池等のバッテリーである。電源部48は、ベーシックコア2に電力を供給するとともに、モジュール間電力伝達部52を介して、適宜、機能モジュール3へ電力を供給する。
機能モジュール3は、CPU61と、ROM62と、RAM63と、バス64と、接続部67と、機能ハードウェア68と、電力供給部69とを備えている。
なお、機能モジュール3にも、ベーシックコア2と同様に、第一近距離無線通信部と、第二近距離無線通信部とが設けられてもよい。
即ち、ユーザが作製したプログラムは、機能ハードウェア68が適切にその機能を発揮することで、実際のハードウェア上に反映されるのである。
ここで、本実施形態において、プログラムの実行には、2種類の実行方法が存在する。即ち、ユーザ端末1で作製したプログラムを、ユーザ端末1のみで仮想的に実行する種類を、「シミュレーションによる実行」と呼ぶ。他方、ユーザ端末1で作製したプログラムの実行結果に基づいて機能ハードウェア68等を動作させる種類を、「実機による実行」と呼ぶ。
図5は、本発明の一実施形態に係るベーシックコア2-E及び機能モジュール3-Eが接続された状態の構成の一例を示す図である。
ベーシックコア2-Eには、バッテリーユニットBU(例えば、後述する図6の電源部48)、シリアルポートSP及び近距離無線通信部BT(例えば、後述する図6の第2近距離無線通信部46)が備えられている。
バッテリーユニットBUは、例えば、電池等のバッテリーであり、ベーシックコア2-Eや機能モジュール3-Eに電力を供給する。
シリアルポートSPは、ベーシックコア2-Eと他のハードウェア等とを接続するための接続口(接続コネクタ)である。
図5の例では、ベーシックコア2-Eには、シリアルポートSPが備えられ、機能モジュール3-Eには、シリアルポートPSが備えられている。そして、ベーシックコア2-Eと機能モジュール3-Eは、この二つのシリアルポートSP、PSを介して接続されている。
近距離無線通信部BTは、他のハードウェア等と所定の規格(例えば、Bluetooth(登録商標))に従った方式で近距離無線通信を行うためのICカード等が搭載されている。
図5の例では、(図5においては、図示せぬ)ユーザ端末1と、近距離無線通信部BTを備えたベーシックコア2-Eとは、Bluetooth(登録商標)に従った方式で近距離無線通信を行う。
具体的に例えば、ユーザ端末1で作製されたプログラムの実行結果(コマンド等)は、ベーシックコア2-Eにも送信される。さらに言えば、ベーシックコア2-Eでは、ユーザ端末1から送信されてきた当該プログラムの実行結果(コマンド等)を取得し、さらに、その結果を、機能モジュール3-Eへと送信する。
ここで、図5の例では、機能モジュール3-Eには、バッテリーユニットPPが接続されている。このバッテリーユニットPPは、外部電源として機能モジュール3-Eに電力を供給する。なお、上述したように、ベーシックコア2の電源部48(図3)等から、機能モジュール3-Eに電力の供給が可能であるならば、バッテリーユニットPPは必須な構成要素ではない。
ここで、プログラム作製処理とは、ベーシックコア2に接続された機能モジュール3を1以上機能させるためのプログラムを作成するための処理をいう。
図6は、図1のユーザ端末1、ベーシックコア2及び機能モジュール3の機能的構成の一例を示す機能ブロック図である。
図6に示すように、ユーザ端末1のCPU21においては、ペアリング部101と、プログラム作製部102と、プログラム実行部103と、表示制御部104と、通信制御部105とが機能する。
また、ユーザ端末1の記憶部29の一領域には、プログラム作製部102で作製されたプログラムを格納するプログラム格納部500と、各種Sパーツが格納されているSパーツDB(Soft ware Parts Data Base)600とが設けられている。
そして、ベーシックコア2のCPU41においては、ペアリング部201と、端末通信制御部202と、機能モジュール通信制御部203と、主制御部204とが機能する。
さらに、機能モジュール3のCPU61においては、主制御部241と、機能発揮部242とが機能する。
また、ペアリング部101には、接続確認部111が設けられる。接続確認部111は、ユーザ端末1とペアリングしたベーシックコア2及びそれに接続された機能モジュール3の種別や接続の状況を確認する。
なお、接続確認部111に確認された機能モジュール3の種別や接続の状況は、表示制御部104を介して、プログラム作製画面に表示される。
ここで、プログラム作製部102には、Hパーツ供給部121と、Sパーツ供給部122と、パーツ結合部123と、確定部124とが設けられる。
Hパーツ供給部121は、ペアリング部101によりペアリングが行われたベーシックコア2に接続されている機能モジュール3の種別に対応するHパーツを、表示制御部104を介してプログラム作製画面へ表示する。
Sパーツ供給部122は、適宜、SパーツDB600からSパーツを抽出して、表示制御部104を介してプログラム作製画面へ表示する。
パーツ結合部123は、ユーザのタッチ操作に応じて、各種Hパーツ及び各種Sパーツを結合する。
最終的に作製されるプログラムにおいては、このように結合された各種Hパーツ及びSパーツに指定されたプログラムの内容が連続的に実行される。
確定部124は、ユーザに作製されたプログラムの内容を確定し、その作製されたプログラムをプログラム格納部500へ格納する。
ここで、プログラム実行部103には、シミュレーション部131と、実機部132とが設けられている。
シミュレーション部131は、ユーザに作製されたプログラムによって、ベーシックコア2及び機能モジュール3を動作させることを目的とせずに、プログラム実行部103によって抽出されたプログラムを仮想的に実行する。
即ち、シミュレーション部131は、実際に作製されたプログラムが正常に実行できるか等をチェックするためのシミュレーションを行う。なお、プログラムの実行結果は、後述するように、表示制御部104を介して表示部27に表示される。
実機部132は、ユーザに作製されたプログラムによって、ベーシックコア2及び機能モジュール3を動作させることを目的として、プログラム実行部103によって抽出されたプログラムを実行する。
即ち、プログラム実行部103は、作製されたプログラムの実行結果(コマンド等)を、ベーシックコア2及び機能モジュール3へと送信し、機能モジュール3に機能を発揮させる。
なお、プログラムの実行結果は、表示制御部104を介して表示部27に表示されるだけでなく、後述するように、通信制御部105によってベーシックコア2へと送信される。
なお、前述の通り、本実施形態では、第二近距離無線通信部31は、Bluetooth(登録商標)の規格に従った方式で近距離無線通信を行う。
ここで、第一近距離無線通信部45は、ベーシックコア2においてシステムと独立している。そこで、第一近距離無線通信部45には、第二近距離無線通信部46の接続情報(例えばMACアドレス)が予め書き込まれており、ペアリング部201は、そのMACアドレスを読み込んで、Bluetooth(登録商標)によるユーザ端末1とのペアリングを実現している。
即ち、少なくともプログラムの実行時において、ベーシックコア2と機能モジュール3は、接続部47と接続部67によって接続されている。
ここで、少なくともプログラムの実行時としたのは、ベーシックコア2と機能モジュール3との接続は、ベーシックコア2とユーザ端末1とのペアリングとは独立して行うことができるからである。つまり、ペアリング前にベーシックコア2と機能モジュール3との接続がなされていてもよいが、ペアリング後にベーシックコア2と機能モジュール3との接続がなされていてもよい。後者の場合、機能モジュール3から自身のユニークIDがユーザ端末1に送信されることで、ユーザ端末1はその機能モジュール3が何であるのか(どのような機能を発揮させるものか)を認識することができる。
また、ペアリング後に機能モジュール3をベーシックコア2から外すこともできる。その際は、ベーシックコア2は、機能モジュール3が外れたことをユーザ端末に1に通知する。ユーザ端末1は、UI(後述する図8のユーザ表示画面等)に外れた旨を表示させる。より正確には本実施形態では、ユーザ端末1は、所定の機能モジュール3がベーシックコア2から外された場合は、当該所定の機能モジュール3に対応するHパーツを示すアイコンがUIにおいて非表示状態になる。
このようにして、ペアリング後の機能モジュール3のホットスワップが実現されている。即ち、ユーザにとっては、ペアリングを一旦してしまえば、あとはベーシックコア2に対する機能モジュール3の抜き差しだけでよい。この抜き差しの状態は、ユーザー端末1上のUIでも追従される。
いずれにしても、ベーシックコア2と機能モジュール3が接続されている場合、ベーシックコア2の機能モジュール通信制御部203は、接続部47を介して接続された機能モジュール3との通信の制御を実行する。
例えば、機能モジュール通信制御部203は、後述する主制御部204で出力された動作指示等を機能モジュール3へ送信する。
例えば、主制御部204は、端末通信制御部202で取得したプログラムの実行結果に基づいて、機能モジュール3の機能を発揮させるための動作指示等を出力する。
例えば、ベーシックコア2から送信されてきた動作指示を、接続部67を介して、取得する。
即ち、機能発揮部242は、主制御部241で取得された動作指示を機能ハードウェア68に実行させることで、機能モジュール3の機能を発揮させる。
図7において、各状態は、1つの楕円形で示されており、夫々の状態は、SPを含む符号により判別される。
1つの状態から1つの状態への状態遷移は、所定の条件(以下、「状態遷移条件」と呼ぶ)が満たされると実行される。
このような状態遷移条件は、図7おいては、1つの状態から1つの状態への遷移を表す矢印に、Aを含む符号を付して表されている。
プログラム作製状態SP1において、ユーザは、ユーザ端末1とベーシックコア2を近接させることでペアリングを行う。
なお、ここでいう近接されるとは、NFC(登録商標)規格に従った方式で近距離無線通信を行うのに有効な距離であり、一般に10cm程度の距離まで近接させることを言う。
即ち、ユーザが、ユーザ端末1とベーシックコア2とを10cm程度の距離まで近接させることで、状態遷移条件A1が満たされる。
すると、状態は、ペアリング状態SP2へと遷移する。これにより、Hパーツ供給部121は、Hパーツを表示制御部104を介してプログラム作製画面を表示する。
そして、ペアリング後、ユーザが一定の時間、操作を行わなかった場合には、状態遷移条件A2が満たされる。
すると、状態は、プログラム作製状態SP1へと再び遷移する。
すると、状態は、プログラム実行状態SP3に遷移する。
そして、先ほどと同様に、プログラム実行状態SP3において、ユーザが、ユーザ端末1とベーシックコア2を近接させることで、状態遷移条件A4が満たされる。
すると、状態は、ペアリング状態SP2へと再び遷移する。
すると、状態は、プログラム実行状態SP3に遷移する。
なお、プログラム実行状態SP3において、ユーザが、プログラムの追加や変更を所望した場合、所定の操作子(図示せぬプログラム作製ボタン等)を押下すると、状態遷移条件A13が満たされる。
すると、状態は、プログラム実行状態SP1に遷移する。
プログラム実行状態SP3において、これらの2つの状態は、ユーザが所定の操作子(図示せぬシミュレーションボタン等)を押下することで、夫々の状態での、状態遷移条件A10又A11を満たす。
このように、プログラム実行状態SP3において、シミュレーション状態と実機状態は、適宜、遷移することができる。
すると、状態は、休止状態SP4へと遷移する。
そして、休止状態SP4において、ユーザが所定の操作子(図示せぬプログラム実行ボタン等)を押下すると、状態遷移条件A6が満たされる。
すると、状態は、プログラム実行状態SP3へと遷移する。
すると、状態は、プログラム作製状態SP1へと遷移する。
そして、プログラム作製状態SP1において、ユーザのが、所定の操作子(図示せぬプログラム作製キャンセルボタン等)を押下すると、遷移条件A8が満たされる。
すると、状態は、休止状態SP4へと遷移する。
なお、図7に示す通り、ペアリング状態SP2と休止状態SP4については、直接遷移することも可能である。
図8は、図2のユーザ端末1が実行するプログラム作製処理に関し、ユーザに実際に表示される画面の一例を示す図である。
まず、図8(A)は、ユーザ端末1に、いずれのベーシックコア2のペアリングもなされていない状況を示している。
即ち、図8(A)のハードウェア模式図を見ると、ユーザ端末1には、ベーシックコア2-O及び機能モジュール3-O(Oは、1乃至mのうち任意の整数値)と、ベーシックコア2-P及び機能モジュール3-P(Pは、1乃至mのうちO以外の任意の整数値)のいずれもペアリングされていない。
なお、機能モジュール3-Oは、押しボタンの機能を発揮することができる。機能モジュール3-Pは、ブザーの機能を発揮することができる。
そして、図8(A)のユーザ表示画面を見ると、プログラム作製時表示領域DAとHパーツ表示領域DHAにはアイコンは表示されていない。なお、Sパーツ表示領域DSAには、タイマーのアイコンが表示されている。
そして、図8(B)のユーザ表示画面を見ると、ペアリングがなされた機能モジュール3-Oに対応する押しボタンのアイコン及び機能モジュール3-Pに対応するブザーのアイコンがHパーツ表示領域DHBに夫々表示されている。
図8の(C)のユーザ表示画面を見ると、プログラム作製時表示領域DCには、右から順に押しボタンのアイコン、タイマー(2s)、ブザーのアイコンが順番に表示され、夫々のアイコンにより夫々結合されている。
ユーザは、このように、ユーザ表示画面に表示されたアイコンを視認しながら、各種Hパーツ及び各種Sパーツを自由に組み合わせて結合させることで、夫々のアイコンが指定する内容を組み合わせて1つのプログラムを製作し、そのプログラムを実行させることができる。
図8(C)のハードウェア模式図を見ると、同図のユーザ表示画面で示されるプログラムが実行された結果として、押しボタン(機能モジュール3-O)が押されると、その2秒後に、ブザー(機能モジュール3-P)が鳴るという動作が実現されることがわかる。
図9のユーザ表示画面を見ると、プログラム作製時表示領域DDには、Hパーツとして、左にはボタンのアイコンHBが表示され、右にはフルカラーLEDのアイコンHLが表示されている。それらの間には、Sパーツとして、タイマーのアイコンST、及びスライダーのアイコンSSR,SSG,SSBが表示されている。タイマーのアイコンST、及びスライダーのアイコンSSR,SSG,SSBの夫々は、入力側にはアイコンHBが接続され、出力側にはアイコンHLが接続されている。
ここで、タイマーのアイコンSTは、設定された時間が経過すると、トリガ情報を出力するSパーツである。換言すると、タイマーのアイコンSTは、0又は1のデジタル信号を出力するSパーツである。
これに対して、スライダーのアイコンSSR,SSG,SSBは、0ないし255の間の任意の数値を出力することが可能なSパーツである。換言すると、スライダーのアイコンSSR,SSG,SSBは、アナログ信号を出力するSパーツである。
このように、Sパーツは、アナログ信号等の多種多様な情報を入出力情報として取り扱うことができる。Hパーツも、対応する機能モジュール3がアナログ信号等の多種多様な情報を入出力できるならば、それに対応してアナログ信号等の多種多様な情報を入出力情報として取り扱うことができる。
図9の例では、ユーザ表示画面で示されるプログラムが実行されると、押しボタン(図示せぬ機能モジュール)が押されると、所定期間経過後に、スライダーのアイコンSSR,SSG,SSBの夫々の出力値がR値、G値、B値の夫々としてLED(図示せぬ機能モジュール)に伝達されるので、そのR値、G値、B値で特定されるカラーでLEDが点灯するという動作が実現されることになる。
以下、図10を参照しつつ、上述の実施形態とは異なる手法が採用された他の実施形態についていくつか説明する。
図10(a)を見ると、機能モジュールM1として、プロペラ付きロケットのおもちゃが採用されている。
例えば、図10(a)の例では、所定のユーザH1によって、プログラムの実行ボタンが押下されると、10秒間のカウントダウン後にプロペラが回転するというプログラムが作製されて実行されている。
なお、機能モジュールM1と接続されたベーシックコアB1やカウントダウンの機能を発揮する機能モジュールMC(例えば、スピーカー等)については、図示されていないが、例えば、機能モジュールM1の内部に格納されている。
例えば、図10(b)の例では、所定のユーザH2によって、プログラムの実行ボタンが押下されると、人の声等に反応して、電車が発車するというプログラムが作製されて実行されている。
なお、図10(b)では図10(a)と同様に、機能モジュールM2と接続されたベーシックコアB2や音を捉える機能を発揮する機能モジュールMA(例えば、音声センサ)については、図示されていないが、例えば、機能モジュールM2の内部に格納されている。
本発明は、このような様々な実施形態により実施することが可能であるが、多くの実施形態において、特に子供の教育用の組み立て式玩具に使用するプログラムを作製するのに極めて有用である。
プログラム作製画面に表示されたアイコンを視覚的に確認することができるため、ユーザが子供であっても、安全かつ容易にプログラムを作製することができるし、また、自身で作製したプログラムに応じて、実機によって動作させることができるため、子供は飽きることなく、プログラムの作製を楽しむことができる。
このように、子供に楽しみながらプログラムの作製を行わせることで、子供は、一般に触れることが困難であるプログラムについて、慣れ親しむことができるのである。
さらに、図10に図示せぬベーシックコア2とユーザ端末1とのペアリングをしておけば、機能モジュールM1,M2等機能モジュール3は自由に着脱が可能であり、その着脱の状態もプログラム作製画面に反映される。従って、子供は、ハードウェアの設計も楽しめることができる。
この夫々のプログラムの入出力情報は、図8に示したような単なるトリガ情報だけでなく、図9に示したようなアナログ信号等の多種多様な情報を入出力情報として取り扱うことができる。
即ち、例えば、本実施形態における入出力情報は、温度センサによって取得された情報(例えば、温度が15度)を、そのままアナログ信号等の情報として出力し、プログラムの作製に用いることができる。そのため、デジタル信号の情報だけでは、実現することのできない複雑な情報処理であっても実現することが可能となる。
図11は、本発明の一実施形態に係る情報処理システムにより実行される接続状態認識処理に際し、図2のユーザ端末1に実際に表示される画面の一例を示す図である。
図11において、図8と同様に、左半分には、ユーザ表示画面(ユーザに表示されているプログラム作製画面)が、右半分には、ハードウェア模式図(実際に作製されたプログラムに応じて、動作する各種ハードウェアの模式図)が示されている。なお、ユーザ表示画面とハードウェア模式図の図示については、後述する図12及び図13も同様である。
図11(A)のユーザ表示画面のHパーツ表示領域には、ペアリングがなされたベーシックコア2に接続された機能モジュール3-1,3-2のアイコン(ボタンと表示されたアイコン)が表示されている。なお、図11(A)の状態では、ユーザによるプログラム作成は未だ行われていないので、ユーザ表示画面のプログラム作製時表示領域には何も表示されていない。
図11(B)のユーザ表示画面のHパーツ表示領域には、ペアリングがなされたベーシックコア2に接続された機能モジュール3-1,3-2のアイコン(ボタンと表示されたアイコン)が表示されている。図11(B)の状態では、ユーザによるプログラム作成が行われており、ユーザ表示画面のプログラム作製時表示領域には、機能モジュール3-1に対応するボタンのアイコンの出力側には、「サウンド 正解」というアイコンが接続されており、機能モジュール3-2に対応するボタンのアイコンの出力側には、「テキスト読み上げ こんにちは」というアイコンが接続されている。
図11(B)の状態で、ユーザによって作製されたプログラムが実行されると、機能モジュール3-1のボタンが押下された場合には、サウンドとして「正解」が実際に出力され、また、機能モジュール3-2のボタンが押下された場合には、「こんにちは」というテキストが読み上げられることになる。
図11(C)の状態では、ユーザ表示画面のプログラム作製時表示領域には、機能モジュール3-1に対応するボタンのアイコンが消去され、同一位置に「切断」を示すアイコンが表示される。同様に、機能モジュール3-2に対応するボタンのアイコンが消去され、同一位置に「切断」を示すアイコンが表示される。
図12は、本発明の一実施形態に係る情報処理システムにより実行される再接続関連付け処理に際し、図2のユーザ端末に実際に表示される画面の一例を示す図である。
この点において、例えば、機能モジュール3(ハードウェア部品)とソフトウェア部品とがプログラムにおいて関連付けられていた場合に、ユーザ端末1は、その機能モジュール3(ハードウェア部品)に対して一意に識別可能な符号を記憶させておき、機能モジュール3の接続状態が回復した場合に、当該符号に基づいて、ソフトウェア部品との関連付けを自動で回復させても良い。
図13の例の再接続関連付け処理では、ユーザ端末1とペアリングされたベーシックコア2に対して、一旦切断された後に再度接続された機能モジュール3-1,3-2がユーザ端末1により認識され、当該機能モジュール3-1,3-2の各接続状態の回復の際に、その回復をユーザに確認させる。
即ち、図13のハードウェア模式図によれば、接続状態が回復された機能モジュール3が複数台存在する場合(図13の例では、機能モジュール3-1,3-2という2台が存在する場合)、その回復をユーザに確認させる対象の機能モジュール3(図13の例では機能モジュール3-1)は、LEDを点灯する。これにより、ユーザは、その対象を確実に視認することができる。
そして、ユーザ表示画面のプログラム作製時表示領域において、対象の機能モジュール3(図13の例では機能モジュール3-1)に対応するボタンのアイコンに近接するように確認ダイアログが表示される。この確認ダイアログには、例えば「プラグを接続したブランチは今LEDが点灯しているボタンですか? はい いいえ」というメッセージが表示される。
ユーザは、ユーザ端末1に対して、「はい」又は「いいえ」の選択操作をすることができる。
「はい」の選択操作がなされた場合は、機能モジュール3-1に対応するボタンのアイコンの出力側に対する、「サウンド 正解」というアイコンの接続(関係付け)が回復する。
なお、機能モジュール3-2側の接続の回復は、同様に、機能モジュール3-2のLEDを表示させつつ、当該機能モジュール3-2に対応するボタンのアイコンに近接するように確認ダイアログを表示させてもよい。或いは、機能モジュール3-1の接続の回復と同時に、機能モジュール3-2の接続を自動的に回復させてもよい。
即ち、前記情報処理システムは、
前記制御装置(ユーザ端末1)とペアリングした前記第1ハードウェアデバイス(ベーシックコア2)と通信する前記2以上の第2ハードウェアデバイス(機能モジュール3)を組み合わせて実行させる所定の一連の処理を前記第2ハードウェアデバイス(機能モジュール3)毎に関連付けする処理関連付けステップと、
前記処理関連付けステップで所定の一連の処理を関連付けされた前記2以上の第2ハードウェアデバイス(機能モジュール3)と前記1以上の第1ハードウェアデバイス(ベーシックコア2)との間での通信状態が切断されたことを検知する通信状態検知ステップと、
前記通信状態検知ステップで前記1以上の第1ハードウェアデバイス(ベーシックコア2)との間での通信状態が切断されたことを検知された前記2以上の第2ハードウェアデバイス(機能モジュール3)が、前記1以上の第1ハードウェアデバイス(ベーシックコア2)との間での通信状態が回復した場合に、関連付けられていた処理毎に、前記2以上の第2ハードウェアデバイス(機能モジュール3)のいずれと関連付けるかについて確認を行う関連付け確認ステップと、
を含む制御処理を実行することができる。
さらに言えば、上述の実施形態では、ユーザ端末1で作製したプログラムの実行結果をBluetooth(登録商標)等の規格に従った方式で近距離無線通信を利用して送信しているが、特にこれに限定されない。作製したプログラムは、近距離無線通信に限らず、いかなる手段を利用して送信してもよい。
つまり、1台のベーシックコア2に対して、s台(sは1以上の任意の整数値)の機能モジュール3を接続してもよい。
換言すると、図6の機能的構成は例示に過ぎず、特に限定されない。
即ち、上述した一連の処理を全体として実行できる機能が情報処理システムに備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図4の例に限定されない。また、機能ブロックの存在場所も、図6に特に限定されず、任意でよい。
また、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであっても良い。
また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えばサーバの他汎用のスマートフォンやパーソナルコンピュータであってもよい。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
即ち、本発明が適用される情報処理装置は、
制御装置と、前記制御装置と近距離無線通信でペアリングする機能と他のハードウェアデバイスと通信をする機能を有する1以上の第1ハードウェアデバイスと、前記第1ハードウェアデバイスと通信をする機能と所定の機能を発揮する機能を有する1以上の第2ハードウェアデバイスとを含む情報処理システムにおける、前記制御装置であって、
前記第1ハードウェアデバイスと前記第2ハードウェアデバイスとの組を複数組み合わせて所定の一連の処理を実行させる制御を実行する制御実行手段(例えば、図6のプログラム実行部103)と、
所定方式の近距離無線通信により、前記制御実行手段の制御対象となる前記第1ハードウェアデバイスと前記制御装置とのペアリングを実行するペアリング実行手段(例えば、図6のペアリング部101)と、
前記制御実行手段の制御対象となる前記第1ハードウェアデバイスと前記制御装置とのペアリングの状態を提示する提示手段(例えば、図6の接続確認部111)と、
を備える制御装置であれば足りる。
これにより、ユーザは、視覚的に作製するプログラムの内容を確認しつつ、容易な操作(アイコンを組み合わせて連結させる等)によってプログラムを作製することが出来る。
Claims (10)
- 制御装置と、前記制御装置と近距離無線通信でペアリングする機能と他のハードウェアデバイスと通信をする機能を有する1以上の第1ハードウェアデバイスと、前記第1ハードウェアデバイスと通信をする機能と所定の機能を発揮する機能を有する1以上の第2ハードウェアデバイスとを含む情報処理システムにおける、前記制御装置であって、
前記第1ハードウェアデバイスと前記第2ハードウェアデバイスとの組を複数組み合わせて所定の一連の処理を実行させる制御を実行する制御実行手段と、
所定方式の近距離無線通信により、前記制御実行手段の制御対象となる前記第1ハードウェアデバイスと前記制御装置とのペアリングを実行するペアリング実行手段と、
前記制御実行手段の制御対象となる前記第1ハードウェアデバイスと前記制御装置とのペアリングの状態を提示する提示手段と、
を備える制御装置。 - 前記制御実行手段は、
前記所定の一連の処理を前記制御装置内で仮想的に実行するシミュレーション手段と、
制御対象となる前記第1ハードウェアデバイスと通信しながら、前記所定の一連の処理を実際に実行する実行手段と、
を含む
請求項1に記載の制御装置。 - 前記実行手段は、前記近距離無線通信とは異なる通信方式で通信しながら、前記所定の一連の処理を実際に実行する
請求項2に記載の制御装置。 - 前記所定の一連の処理を実行させるため、前記第1ハードウェアデバイスと前記第2ハードウェアデバイスとの組を示すハードウェア部品と、所定の機能を前記制御装置内で発揮させるソフトウェア部品とを含む複数の部品の中から、2以上の部品を組み合わせる操作を受付ける操作受付部と、
前記2以上の部品の組み合わせを確定する確定部と、
をさらに備え、
前記制御実行手段は、前記確定部により確定された前記2以上の部品の組み合わせに基づいて、前記所定の一連の処理を実行させる制御を実行する、
請求項1乃至3のうち何れか1項に記載の制御装置。 - 前記複数の部品は、アナログ信号を入力又は出力する部品を1以上含む、
請求項4に記載の制御装置。 - 制御装置と、前記制御装置と近距離無線通信でペアリングする機能と他のハードウェアデバイスと通信をする機能を有する1以上の第1ハードウェアデバイスと、前記第1ハードウェアデバイスと通信をする機能と所定の機能を発揮する機能を有する1以上の第2ハードウェアデバイスとを含む情報処理システムにおける、前記制御装置が実行する制御方法であって、
前記第1ハードウェアデバイスと前記第2ハードウェアデバイスとの組を複数組み合わせて所定の一連の処理を実行させる制御を実行する制御実行ステップと、
所定方式の近距離無線通信により、前記制御実行ステップにおける制御対象となる前記第1ハードウェアデバイスと前記制御装置とのペアリングを実行するペアリング実行ステップと、
前記制御実行ステップにおける制御対象となる前記第1ハードウェアデバイスと前記制御装置とのペアリングの状態を提示する提示ステップと、
を含む制御方法。 - 制御装置と、前記制御装置と近距離無線通信でペアリングする機能と他のハードウェアデバイスと通信をする機能を有する1以上の第1ハードウェアデバイスと、前記第1ハードウェアデバイスと通信をする機能と所定の機能を発揮する機能を有する1以上の第2ハードウェアデバイスとを含む情報処理システムにおける、前記制御装置を制御するコンピュータに、
前記第1ハードウェアデバイスと前記第2ハードウェアデバイスとの組を複数組み合わせて所定の一連の処理を実行させる制御を実行する制御実行ステップと、
所定方式の近距離無線通信により、前記制御実行ステップにおける制御対象となる前記第1ハードウェアデバイスと前記制御装置とのペアリングを実行するペアリング実行ステップと、
前記制御実行ステップにおける制御対象となる前記第1ハードウェアデバイスと前記制御装置とのペアリングの状態を提示する提示ステップと、
を含む制御処理を実行させるプログラム。 - 制御装置と、前記制御装置と近距離無線通信でペアリングする機能と他のハードウェアデバイスと通信をする機能を有する1以上の第1ハードウェアデバイスと、前記第1ハードウェアデバイスと通信をする機能と所定の機能を発揮する機能を有する1以上の第2ハードウェアデバイスとを含む情報処理システムにおける、前記第1ハードウェアデバイスとして機能する情報処理装置であって、
前記1以上の第2ハードウェアデバイスのうち組をつくるものとの間での通信を制御する通信制御手段と、
前記制御装置において、前記第1ハードウェアデバイスと前記第2ハードウェアデバイスとの組を複数組み合わせて所定の一連の処理を実行させる制御が実行される場合に、当該情報処理装置が制御対象となるとき、所定方式の近距離無線通信により、当該情報処理装置と前記制御装置とのペアリングを実行するペアリング実行手段と、
を備える情報処理装置。 - 制御装置と、前記制御装置と近距離無線通信でペアリングする機能と他のハードウェアデバイスと通信をする機能を有する1以上の第1ハードウェアデバイスと、前記第1ハードウェアデバイスと通信をする機能と所定の機能を発揮する機能を有する1以上の第2ハードウェアデバイスとを含む情報処理システムにおける、前記第1ハードウェアデバイスが実行する情報処理方法であって、
前記1以上の第2ハードウェアデバイスのうち組をつくるものとの間での通信を制御する通信制御ステップと、
前記制御装置において、前記第1ハードウェアデバイスと前記第2ハードウェアデバイスとの組を複数組み合わせて所定の一連の処理を実行させる制御が実行される場合に、当該情報処理装置が制御対象となるとき、所定方式の近距離無線通信により、当該情報処理装置と前記制御装置とのペアリングを実行するペアリング実行ステップと、
を含む情報処理方法。 - 制御装置と、前記制御装置と近距離無線通信でペアリングする機能と他のハードウェアデバイスと通信をする機能を有する1以上の第1ハードウェアデバイスと、前記第1ハードウェアデバイスと通信をする機能と所定の機能を発揮する機能を有する1以上の第2ハードウェアデバイスとを含む情報処理システムにおける、前記第1ハードウェアデバイスを制御するコンピュータに、
前記1以上の第2ハードウェアデバイスのうち組をつくるものとの間での通信を制御する通信制御ステップと、
前記制御装置において、前記第1ハードウェアデバイスと前記第2ハードウェアデバイスとの組を複数組み合わせて所定の一連の処理を実行させる制御が実行される場合に、当該情報処理装置が制御対象となるとき、所定方式の近距離無線通信により、当該情報処理装置と前記制御装置とのペアリングを実行するペアリング実行ステップと、
を含む制御処理を実行させるプログラム。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201880013758.5A CN110462584B (zh) | 2017-02-24 | 2018-02-21 | 控制方法、信息处理系统及装置、和计算机可读储存介质 |
JP2019501370A JP6959976B2 (ja) | 2017-02-24 | 2018-02-21 | 制御装置、制御方法、情報処理装置、情報処理方法及びプログラム |
US16/488,312 US11024196B2 (en) | 2017-02-24 | 2018-02-21 | Control device, control method, information processing device, information processing method, and program |
KR1020197027612A KR102286283B1 (ko) | 2017-02-24 | 2018-02-21 | 제어 장치, 제어 방법, 정보 처리 장치, 정보 처리 방법 및 프로그램 |
EP18757573.3A EP3588270B1 (en) | 2017-02-24 | 2018-02-21 | Control device, control method, information processing device, information processing method, and program |
SG11201907828XA SG11201907828XA (en) | 2017-02-24 | 2018-02-21 | Control device, control method, information processing device, information processing method, and program |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017034019 | 2017-02-24 | ||
JP2017-034019 | 2017-02-24 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2018155483A1 true WO2018155483A1 (ja) | 2018-08-30 |
Family
ID=63253294
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2018/006178 WO2018155483A1 (ja) | 2017-02-24 | 2018-02-21 | 制御装置、制御方法、情報処理装置、情報処理方法及びプログラム |
Country Status (8)
Country | Link |
---|---|
US (1) | US11024196B2 (ja) |
EP (1) | EP3588270B1 (ja) |
JP (1) | JP6959976B2 (ja) |
KR (1) | KR102286283B1 (ja) |
CN (1) | CN110462584B (ja) |
SG (1) | SG11201907828XA (ja) |
TW (1) | TWI778023B (ja) |
WO (1) | WO2018155483A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019244722A1 (ja) * | 2018-06-20 | 2019-12-26 | Vivita株式会社 | 情報処理装置 |
WO2020122171A1 (ja) * | 2018-12-13 | 2020-06-18 | Vivita株式会社 | 情報処理システム |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111684414A (zh) * | 2019-04-29 | 2020-09-18 | 深圳市大疆创新科技有限公司 | 可视化编程控制装置、可编程控制的设备及其控制方法、计算机可读存储介质以及编程控制系统 |
CN113542852B (zh) * | 2021-07-13 | 2023-03-24 | 海信视像科技股份有限公司 | 一种显示设备、及与外部设备快速配对的控制方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10108985A (ja) | 1996-10-09 | 1998-04-28 | Syst Watt:Kk | 組立ブロック及び組立式玩具システム |
JP2002007299A (ja) * | 2000-06-21 | 2002-01-11 | Mitsubishi Electric Corp | デバイス制御プログラム開発手段及び実行手段 |
JP2011500116A (ja) * | 2007-10-11 | 2011-01-06 | レゴ エー/エス | 玩具構築システム |
WO2015174120A1 (ja) * | 2014-05-15 | 2015-11-19 | ソニー株式会社 | 情報処理装置、表示制御方法およびプログラム |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
ATE480950T1 (de) * | 2006-11-13 | 2010-09-15 | Research In Motion Ltd | System, verfahren und mobilvorrichtung zur anzeige von funkmodusindikatoren |
US20090005071A1 (en) * | 2007-06-28 | 2009-01-01 | Apple Inc. | Event Triggered Content Presentation |
US8874093B2 (en) * | 2007-12-13 | 2014-10-28 | Motorola Mobility Llc | Scenarios creation system for a mobile device |
JP4886063B2 (ja) * | 2009-12-04 | 2012-02-29 | 株式会社エヌ・ティ・ティ・ドコモ | 状態報知装置、状態報知方法及びプログラム |
US8676991B2 (en) * | 2010-01-13 | 2014-03-18 | Qualcomm Incorporated | Signaling mechanisms and systems for enabling, transmitting and maintaining interactivity features on mobile devices in a mobile broadcast communication system |
JP5873671B2 (ja) * | 2011-09-16 | 2016-03-01 | 大和ハウス工業株式会社 | エネルギー管理システム |
JP5930777B2 (ja) | 2012-03-05 | 2016-06-08 | キヤノン株式会社 | 印刷装置、携帯端末及びその制御方法、印刷システム、コンピュータプログラム |
KR20140090297A (ko) * | 2012-12-20 | 2014-07-17 | 삼성전자주식회사 | 근거리 무선 통신(nfc)을 이용하는 화상 형성 방법 및 장치 |
US9052891B2 (en) * | 2013-05-14 | 2015-06-09 | International Business Machines Corporation | Declarative configuration and execution of card content management operations for trusted service manager |
CN104219374A (zh) * | 2013-06-04 | 2014-12-17 | 李旭阳 | 基于下一代智能手机的人机交互系统 |
KR102147686B1 (ko) * | 2013-06-21 | 2020-08-26 | 삼성전자주식회사 | 오브젝트 실행 장치 및 방법 |
CA2881047A1 (en) * | 2014-02-05 | 2015-08-05 | Rollins, Inc. | Method and system for managing, evaluation and treatment of physical structures for pest control |
TWM489679U (en) * | 2014-05-23 | 2014-11-11 | Genius Toy Taiwan Co Ltd | Wireless remote-control toy |
CN204134197U (zh) * | 2014-08-07 | 2015-02-04 | 深圳市捷通语音电子有限公司 | 智能玩具系统 |
JP6149822B2 (ja) * | 2014-08-21 | 2017-06-21 | コニカミノルタ株式会社 | 情報処理システム、情報処理装置、携帯端末装置およびプログラム |
KR102288777B1 (ko) * | 2014-09-22 | 2021-08-11 | 엘지이노텍 주식회사 | 조명 제어 장치 및 이의 조명 제어 방법 |
JP6425600B2 (ja) * | 2015-03-30 | 2018-11-21 | キヤノン株式会社 | 情報処理装置及びその制御方法、プログラム |
US9854654B2 (en) * | 2016-02-03 | 2017-12-26 | Pqj Corp | System and method of control of a programmable lighting fixture with embedded memory |
-
2018
- 2018-02-21 CN CN201880013758.5A patent/CN110462584B/zh active Active
- 2018-02-21 EP EP18757573.3A patent/EP3588270B1/en active Active
- 2018-02-21 SG SG11201907828XA patent/SG11201907828XA/en unknown
- 2018-02-21 KR KR1020197027612A patent/KR102286283B1/ko active IP Right Grant
- 2018-02-21 US US16/488,312 patent/US11024196B2/en active Active
- 2018-02-21 WO PCT/JP2018/006178 patent/WO2018155483A1/ja unknown
- 2018-02-21 JP JP2019501370A patent/JP6959976B2/ja active Active
- 2018-02-22 TW TW107105933A patent/TWI778023B/zh active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10108985A (ja) | 1996-10-09 | 1998-04-28 | Syst Watt:Kk | 組立ブロック及び組立式玩具システム |
JP2002007299A (ja) * | 2000-06-21 | 2002-01-11 | Mitsubishi Electric Corp | デバイス制御プログラム開発手段及び実行手段 |
JP2011500116A (ja) * | 2007-10-11 | 2011-01-06 | レゴ エー/エス | 玩具構築システム |
WO2015174120A1 (ja) * | 2014-05-15 | 2015-11-19 | ソニー株式会社 | 情報処理装置、表示制御方法およびプログラム |
Non-Patent Citations (1)
Title |
---|
See also references of EP3588270A4 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019244722A1 (ja) * | 2018-06-20 | 2019-12-26 | Vivita株式会社 | 情報処理装置 |
WO2020122171A1 (ja) * | 2018-12-13 | 2020-06-18 | Vivita株式会社 | 情報処理システム |
Also Published As
Publication number | Publication date |
---|---|
EP3588270A1 (en) | 2020-01-01 |
EP3588270B1 (en) | 2022-06-01 |
KR20190131030A (ko) | 2019-11-25 |
CN110462584A (zh) | 2019-11-15 |
TW201835869A (zh) | 2018-10-01 |
CN110462584B (zh) | 2022-11-25 |
TWI778023B (zh) | 2022-09-21 |
JPWO2018155483A1 (ja) | 2020-01-16 |
EP3588270A4 (en) | 2020-04-22 |
US20190378433A1 (en) | 2019-12-12 |
SG11201907828XA (en) | 2019-09-27 |
KR102286283B1 (ko) | 2021-08-04 |
JP6959976B2 (ja) | 2021-11-05 |
US11024196B2 (en) | 2021-06-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2018155483A1 (ja) | 制御装置、制御方法、情報処理装置、情報処理方法及びプログラム | |
JP4617322B2 (ja) | 自律型ロボットとの相互作用の装置と方法 | |
US20160147404A1 (en) | New uses of smartphones and comparable mobile digital terminal devices | |
EP3338411A1 (en) | In-vehicle infotainment system interoperability testing device | |
EP3669957B1 (en) | Information processing device | |
KR101832742B1 (ko) | 스마트완구를 이용한 언어 프로그램 학습 시스템 | |
KR101234224B1 (ko) | 다수의 범용 포트들을 이용한 로봇 키트 컨트롤러 장치 | |
JP2023032976A (ja) | 情報処理システム | |
US20040072498A1 (en) | System and method for controlling toy using web | |
TW200848297A (en) | Car-use extended device and setting method for operation interface of car-use control system | |
JP2022084961A (ja) | 情報処理装置 | |
US10136242B2 (en) | Cloud computing system configured for a consumer to program a smart phone and touch pad | |
EP3895771A1 (en) | Information processing system | |
KR20210119709A (ko) | 모듈형 로봇 제어 시스템 | |
US20190073915A1 (en) | Interactive and instructional interface for learning | |
Elfving et al. | Joystick for Marine Maneuvering | |
TW201124906A (en) | Interactive system | |
CN102541717A (zh) | 网络状况显示系统及显示方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18757573 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2019501370 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
ENP | Entry into the national phase |
Ref document number: 20197027612 Country of ref document: KR Kind code of ref document: A |
|
ENP | Entry into the national phase |
Ref document number: 2018757573 Country of ref document: EP Effective date: 20190924 |