WO2018159579A1 - Display/operation terminal and display/operation separation system using same - Google Patents

Display/operation terminal and display/operation separation system using same Download PDF

Info

Publication number
WO2018159579A1
WO2018159579A1 PCT/JP2018/007129 JP2018007129W WO2018159579A1 WO 2018159579 A1 WO2018159579 A1 WO 2018159579A1 JP 2018007129 W JP2018007129 W JP 2018007129W WO 2018159579 A1 WO2018159579 A1 WO 2018159579A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
terminal
unit
electronic device
input
Prior art date
Application number
PCT/JP2018/007129
Other languages
French (fr)
Japanese (ja)
Inventor
晃 高嶋
史朗 菅原
薫 酒井
千登勢 中西
江藤　正幸
由紀子 大湊
Original Assignee
株式会社ｔｅａｍＳ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ｔｅａｍＳ filed Critical 株式会社ｔｅａｍＳ
Publication of WO2018159579A1 publication Critical patent/WO2018159579A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers

Definitions

  • electronic devices that provide the above-described computing environment are typically portable PCs such as smartphones, laptop personal computers (PCs), and tablet terminals.
  • PCs personal computers
  • tablet terminals the use of these electronic devices by users involves various restrictions.
  • a typical example is restrictions based on hardware specifications such as the weight of electronic devices, the power source duration of batteries, and the size.
  • a smartphone has a voice call function as a mobile station, and therefore has a strong restriction on a size suitable for being always carried. Due to this upper size limit, display devices on smartphones are still not always sufficient despite destroying the keyboard and occupying the largest surface of the plate-like housing. Elderly people are difficult to read small letters, and the content that can be enjoyed on a small screen is limited.
  • Electronic book terminals are mainly electronic paper and liquid crystal display devices.
  • Electronic paper ensures the fineness of character-based offset printing as long as it is limited to monochrome and still image display. Even if it is a monochrome still image display, if display with a certain quality is possible, restrictions such as securing a power source and charging, weight, and size related to batteries are less likely to be conscious.
  • the e-book system reduces the weight of publications, the time and effort of management, and the problem of distribution inventory, which greatly benefits users and publishers.
  • the display on the current electronic book terminal that employs electronic pavers is such that the display of text-based displays in publications can be viewed without stress.
  • a screen that is smaller than a traditional publication, although it is an electronic device can sometimes only be tolerated.
  • a liquid crystal display device is employed, the same problems as those of the PC and tablet terminal described above are encountered.
  • Patent Document 1 Utility Model Registration No. 3172006.
  • the present invention makes it a subject to solve at least any one of the various subject mentioned above.
  • the present invention provides a display operation terminal that can utilize a display function and a touch input function that are the same as or similar to those mounted on an electronic device, and a display operation separation system using the display operation terminal. , It makes the user feel as much as possible and draws out the capabilities of electronic devices without any hesitation. As a result, the present invention makes it possible to exert the original appeal even if the content has been halved by the fact that the electronic device has only a small screen. This will contribute to further expansion of the user base. In addition, the present invention feels difficult to use in conventional small electronic devices (for example, smartphones) for physical reasons, or difficult to use in heavy electronic devices (for example, conventional tablet terminals). It also contributes to the expansion of the user base to the people who come.
  • a terminal receiving unit that receives a display signal indicating display content from at least one electronic device, and the display content indicated by the display signal is at least one of a still image and a moving image, or those
  • a terminal display unit having a display area to be presented to the user by combination, a touch operation input unit that receives an input by a touch operation from the user and generates a touch operation signal, and an operation input signal including the touch operation signal
  • a terminal transmission unit that transmits to the electronic device; a communication control unit that controls establishment and release of connection with the electronic device by at least one of the terminal reception unit and the terminal transmission unit; and the terminal reception unit.
  • It can measure the intensity of receivable types of radio waves, and send a detection signal indicating the radio wave intensity received by the terminal receiver A wave intensity detector, and the communication controller controls at least one of the terminal receiver and the terminal transmitter based on the detection signal from the radio wave intensity detector, and the electronic device A display operation terminal for establishing the connection is provided.
  • the display operation terminal of the above aspect can be manufactured in a light weight with a wide display area in principle. This is because capabilities other than the minimum functions necessary for display and input and communication for them can be realized by utilizing the functions of the electronic device. From another viewpoint, for example, a display unit or touch input unit of a size that cannot be used in the past is used for the display operation terminal of the above aspect in comparison with a smartphone or the like that has a practical upper limit. Can do. For this reason, it is possible to provide the user with an easy-to-use operating environment having a larger size for utilizing various functions of the electronic device. In a specific embodiment, since a terminal having minimum necessary functions such as display and touch input is provided, realistic restrictions and obstacles when aiming to reduce the size while reducing the size are removed.
  • the display operation terminal can be thinned to a thickness of about several millimeters, and can be light and flexible, providing an extremely light feeling of use. Ultimately, it would also be possible to realize the appearance of resin boards that are used as “pencil boards” placed on the back of paper when writing on paper with a writing instrument.
  • an electronic device including a device transmission unit that transmits the display signal, and a device reception unit that receives the operation input signal, Display contents for the electronic device are transmitted to the display operation terminal, and a touch operation input for the display operation terminal is transmitted to the electronic device, thereby displaying the display contents of the electronic device and a touch operation for the display contents.
  • a display operation separation system that is executed in the display operation terminal.
  • the hardware of the electronic device included in the display operation separation system of the above aspect can be assumed to be a smartphone equipped with an appropriate communication module, a portable PC such as a laptop PC, and a tablet terminal.
  • a function unit for appropriately transmitting display contents and receiving a touch operation input from the display operation terminal is a display operation terminal.
  • a portable PC such as a smartphone, a laptop PC, and a tablet terminal into an electronic device included in the display operation separation system
  • an appropriate module for example, a communication module
  • these electronic devices can be used in cooperation with the display operation terminal of the above aspect. This enhances the convenience for the user, and also affects the request from the user for the electronic device itself.
  • the display function and input function required for the smartphone itself will not be as important as before, and for example, the user will begin to think that a minimum display size is sufficient. Even in that case, when viewed as a whole display operation separation system combining them, a lighter display operation terminal having an enlarged display unit is provided, which is much higher than conventional electronic devices. Convenience can be realized.
  • the electronic devices include, as representative examples, portable PCs such as smartphones and laptop PCs, and tablet terminals, but are not limited thereto.
  • each element for defining the invention can be realized by arbitrarily combining software and hardware.
  • an element described in the description of the present application by the expression “to part” such as a display unit may be one or more hardware units to realize a target function, and if necessary, In some cases, it is realized by combining one or more units of software components and one or more units of data or information used to realize the characteristics of the hardware as operations or procedures.
  • One unit of the software component at this time includes an application program, an execution library, an API (Application Programming Interface), a protocol stack, a device driver, and the like, and includes a combination of two or more thereof. Even elements defined by the same expression may be realized by different hardware of the same type, and different elements specified by different expressions may be realized by one hardware. In addition, an operation may be specified to define the characteristics of each element, and the order in the operation is not necessarily described in the execution order.
  • FIG. 1 It is a schematic diagram which shows the typical example of operation
  • FIG. 1 it is a schematic diagram showing a configuration of a display operation separation system in which the number of electronic devices is two or more and the number of display operation terminals is one.
  • FIG. 1 is a schematic diagram showing the overall configuration of a display operation separating system 10 of the present embodiment.
  • the display operation separation system 10 typically includes a display operation terminal 100 and an electronic device 200.
  • the display operation terminal 100 includes a terminal reception unit 130, a display unit 110, a touch operation input unit 120, and a terminal transmission unit 140.
  • the terminal receiving unit 130 receives a display signal 132 indicating display content from at least one electronic device 200.
  • the display unit 110 has a display area 110a that presents the display content indicated by the display signal 132 to the user by at least one of a still image and a moving image, or a combination thereof. At least one of a still image and a moving image or a combination thereof includes arbitrary display information such as an image, video, text data, and computer graphic display that can be viewed in the display area 110a.
  • the touch operation input unit 120 receives an input by a touch operation from a user and generates a touch operation signal.
  • the terminal transmission unit 140 transmits an operation input signal 142 including a touch operation signal to the electronic device 200.
  • a typical example of display contents displayed on the display unit 110 of the display operation terminal 100 is the same as the display contents to be displayed on the electronic device 200 and the display contents that should have been displayed.
  • the function of presenting such display contents on a display unit of another device and multiplexing or transferring the display contents is called mirroring in the prior art, and the term is used in this application.
  • the display unit 110 is an arbitrary display device such as an organic EL display (OLED), for example, and the detailed specifications of the display area 110a of the display unit 110 in the display operation terminal 100 are determined in consideration of various viewpoints. .
  • OLED organic EL display
  • the size of the electronic device 200 is generally in a range that does not interfere with carrying at all times.
  • a display area 110a having a larger display capacity (total number of pixels) than that when the electronic device 200 is used alone is provided. Since the display unit 110 having the display unit 110 can be mounted, it is possible to provide a user with a wide area display that is not limited by the size of the display unit 210. Thus, the size of the display area 110a is important in that it is an incentive for the user to add the display operation terminal 100 in addition to the electronic device 200.
  • the display unit 110 of the same size as that of A4 or letter-size paper is also useful for applications that refer to paper-oriented materials.
  • the viewpoint of the balance between the convenience and the manufacturing efficiency described here is appropriately determined according to the intended use including whether the user picks it up, the user group, or the allowable cost.
  • the touch operation input unit 120 can be any touch type input device that allows a user to specify a position limited to at least some extent in order to reflect his / her intention and input with a fingertip.
  • an arbitrary touch input method such as a capacitance method or a resistance film method is employed.
  • the object for specifying the position includes not only the fingertip of the user but also a finger pad, a pen tip subjected to electrical conduction, a pen that operates by electromagnetic induction, and the like, and one or more positions may be specified simultaneously.
  • the touch position detection range of the touch operation input unit 120 typically matches the display area 110a of the display unit 110 or in order to detect an input in a peripheral part outside the outer frame of the display area 110a.
  • the size is slightly larger than the display area 110a.
  • the external appearance of the touch operation input unit 120 and the display unit 110 combined in this way is like an integrated device of a display device and a position input device, which is also called a touch panel.
  • a touch panel For example, ipad (registered trademark) product group of US Apple Inc. Components similar to those of such tablet terminals are lined up.
  • the touch operation input unit 120 that coincides with the display area 110a is made of a material that is transparent to light so that the presence of the touch operation input unit 120 cannot be visually recognized by the user, or is integrated with the display unit 110. It is preferable to do.
  • a touch operation signal is output from the touch operation input unit 120.
  • the display operation terminal 100 performs bidirectional communication with the electronic device 200.
  • the display operation terminal 100 and the electronic device 200 are connected to each other by wireless communication.
  • the electronic device 200 includes a device transmission unit 240 and a device reception unit 230.
  • the terminal receiver 130 communicates with the device transmitter 240, and the terminal transmitter 140 communicates with the device receiver 230.
  • the display content (display content) displayed on the display unit 110 when the user is using the display operation terminal 100 is obtained from the electronic device 200. For this reason, in a situation where the display content from the electronic device 200 is displayed on the display operation terminal 100 and some operation is performed on the display operation terminal 100, the electronic device 200 transmits to the display operation terminal 100 in the bidirectional communication.
  • the terminal reception unit 130 and the device transmission unit 240 are responsible for transferring the display signal 132 indicating the display content, and the terminal transmission unit 140 and the device transmission unit 142 are configured to transfer the operation input signal 142 that conveys the operation input from the display operation terminal 100 to the electronic device 200.
  • the device receiving unit 230 takes charge.
  • the communication connection protocol (communication protocol) that can be adopted for these communications is, for example, Miracast (or WiDi), LTE Direct, Bluetooth (registered trademark) (hereinafter referred to as “BT”), BLE (Bluetooth (registered trademark) Low Energy) and WiFi Direct (both are registered trademarks) can be employed.
  • BT Bluetooth
  • BLE Bluetooth (registered trademark) Low Energy)
  • WiFi Direct both are registered trademarks
  • Two-way communication In the display operation separation system 10 of the present embodiment, communication for the display signal 132 between the terminal receiver 130 and the device transmitter 240 and an operation input signal between the terminal transmitter 140 and the device receiver 230
  • the protocol may be the same or different in both the communication for 142.
  • the display content of the display content included in the communication for the display signal 132 includes an image and a video, and the amount of data is large.
  • the communication for the operation input signal 142 is input data by the touch operation input unit 120, and the data amount is small.
  • an appropriate protocol may be selected and combined separately for each of the communication for the display signal 132 and the communication for the operation input signal 142.
  • the authentication procedure for pairing in the present embodiment It is not essential to carry out as specified.
  • a protocol for communication for the display signal 132 from the electronic device 200 to the display operation terminal 100 it is assumed that bidirectional communication is defined in the protocol and mutual authentication is possible.
  • the display operation separation system 10 according to the present embodiment uses a different protocol used for communication for the operation input signal 142 from the display operation terminal 100 to the electronic device 200 instead of mutual authentication.
  • Mutual authentication is also possible.
  • the display operation separation system 10 according to the present embodiment can be used for various applications and purposes of use. For this reason, as an option, an additional structure and the characteristic can be provided to the structure mentioned above.
  • the display operation terminal 100 after the connection with the electronic device 200 is released does not hold information (data) that can reproduce the display content.
  • the display operation terminal 100 is manufactured by a normal mounting method, the display operation terminal 100 is manufactured as a computing device that operates a microprocessor (not shown) using software (program) and an operating system (OS) for functioning itself. .
  • the display operation terminal 100 also includes a nonvolatile recording medium in accordance with the mounting form.
  • a configuration in which communication contents are temporarily stored in such a nonvolatile recording medium can be considered.
  • the display operation terminal 100 reproduces information that should be concealed at a timing not intended by the user by itself, there is a security risk. For this reason, it is useful to erase the display contents from the above-described nonvolatile storage medium.
  • the display operation terminal 100 further includes an additional finger operation input unit such as a button.
  • the finger operation input unit typically receives an operation input by a finger from the user and is disposed at a position outside the display area 110a. It is useful that such a signal by the finger operation input unit is included in a part of the operation input signal sent by the terminal transmission unit 140 and transmitted to the electronic device.
  • the electronic device 200 to be combined is one in which some kind of finger operation input unit is mounted, it is advantageous that the finger operation input unit in the display operation terminal 100 also performs the same function.
  • the display operation terminal 100 It is also preferable to equip the display operation terminal 100 with an additional input unit other than the finger operation input unit.
  • a sensor for detecting the entire direction and its change can be incorporated in the display operation terminal 100, and the inclination of the entire display operation terminal 100 can be included in a part of the operation input signal. If the whole is tilted and programmed to mean "go forward", the user displays the display content (such as an electronic book) displayed on a page basis and holds the display operation terminal 100 with one hand. The page turning operation can be easily performed while browsing.
  • the entire display operation terminal 100 is made to be at least partially flexible, it is also preferable that the display operation terminal 100 is equipped with a sensor that detects that the user bends.
  • the display operation terminal 100 employed in the display operation separation system 10 of this embodiment is also typically operated by a battery.
  • Wireless power connection has been put into practical use by a non-contact power transmission technology such as Qi (US Wireless Power Consortium). Further, this power connection can be used for charging the internal battery of the display operation terminal 100.
  • the external battery described above is installed in the operation terminal 100 and used for the display operation terminal 100 and the electronic device 200 in close proximity to each other, and in addition to the power of the display operation terminal 100, all of the electric power of the electronic device 200 or It may be something that covers a part.
  • a battery installed in the electronic device 200 can be used as an external battery for the display operation terminal 100.
  • the display operation terminal 100 uses wireless power connection, the connectors can be reduced or eliminated from the display operation terminal 100, so that it is easy to design to improve convenience such as drip-proofing and waterproofing. Therefore, there are fewer obstacles in how to use alcohol sterilization when brought into a sterile room.
  • the display operation terminal 100 as a whole has a certain degree of flexibility and elasticity. Can be granted. Since the display operation terminal 100 having flexibility and elasticity can be used very easily, it is possible to provide the user with maximized convenience.
  • an electronic device 200 used in combination with the display operation terminal 100 in the display operation separation system 10 will be described. If what can become the electronic device 200 is illustrated, a smart phone, portable PC, and a tablet terminal will be typical. These are given a certain degree of portability by themselves, and are expected to be directly operated by the user, and have a display unit (device display unit). Other than these, what can be the electronic device 200 is a desktop PC, a server computer, or the like. It can be said that the requirement for the electronic device 200 is a computing device, which itself provides a display function to a user, accepts input from the user, and implements a necessary communication function.
  • the electronic device 200 of the present embodiment is not limited to this.
  • the necessary hardware requirements are not special.
  • wireless communication with a necessary communication protocol is possible if wireless communication is performed.
  • the electronic device 200 employed in the display / operation separation system 10 has a surface with fewer restrictions than a smartphone that has been used so far.
  • the electronic device 200 may be extremely small. This is because if the display and input can be left to the display operation terminal 100, it is not necessary to increase the size of the display unit in terms of convenience. For this reason, in the case of adopting an existing smartphone for the electronic device 200, if the display operation terminal 100 is of a sufficient size, the request for increasing the size of the electronic device 200 for the purpose of usability is eased. There is practical significance. However, this embodiment does not particularly limit the size of either the display operation terminal 100 or the electronic device 200.
  • the display operation separation system 10 is typically used in a one-to-one connection in which the display operation terminal 100 and the electronic device 200 are combined one by one.
  • the display operation terminal 100 When used in a one-to-one connection, the display operation terminal 100 is typically used in a state where a combination with the electronic device 200 is assumed to some extent.
  • processing for mutual authentication is required.
  • FIG. 2 is a schematic diagram showing a configuration when such a function is implemented in the display operation terminal 100 using this wireless communication.
  • the display operation terminal 100 includes a communication control unit 162, a pairing information recording unit 164, and a radio wave intensity detection unit 166 for the automatic start function.
  • the communication control unit 162 controls establishment and release of connection with the electronic device 200 by the terminal receiving unit 130 and the terminal transmitting unit 140.
  • the pairing information recording unit 164 stores pairing information 164a for registering the electronic device 200 as one of the connection authenticated devices.
  • the pairing information 164a is implemented, for example, in a file format managed on an operating system for causing the display operation terminal 100 to function.
  • the radio wave intensity detection unit 166 is connected to the terminal receiving unit 130 and can determine the intensity of the type of radio waves that can be received, and sends a detection signal 166a that can indicate the received radio wave intensity by the terminal receiving unit 130.
  • the radio wave intensity detection unit 166 detects the radio wave intensity indicating whether or not there is a problem in maintaining the connection after the electronic device 200 and the display operation terminal 100 establish the communication connection.
  • the display operation terminal 100 may employ a technique of, for example, issuing a signal for searching for the electronic device 200 through the terminal transmission unit 140 and detecting a radio wave emitted by the electronic device 200 as a reception confirmation corresponding thereto. it can.
  • the display operation terminal 100 and the electronic device 200 have already been paired in advance, and the electronic device 200 has already been registered as a connection authenticated device in the pairing information 164a of the display operation terminal 100.
  • Registered in the pairing information 164a is general pairing information for wireless communication. For example, Miracast, BT, NFC, etc.
  • the mutual authentication information is first set for pairing. It is of any communication protocol as required.
  • the communication control unit 162 determines whether the received radio wave intensity is stronger than a predetermined intensity reference value based on the detection signal 166a from the radio wave intensity detection unit 166.
  • the communication control unit 162 controls the terminal receiving unit 130 and the terminal transmitting unit 140 to establish a connection with the electronic device 200.
  • the display operation terminal 100 connects to the electronic device 200 with a few steps. It can be established and can provide high convenience to the user.
  • the display operation terminal 100 detects that the electronic device 200 is very close by NFC. At that time, the display content cannot be received by the terminal receiver 130 yet.
  • pairing information for NFC stored in pairing information 164a is used. Since the devices need to be close to each other in order to establish the NFC connection, the detection of the electronic device 200 by the display operation terminal 100 itself becomes the operation of the radio wave intensity detection unit 166.
  • the Miracast connection is established in response to the NFC connection establishment. For this purpose, the pairing information for Miracast stored in the pairing information 164a is used.
  • the display operation terminal 100 can receive the display signal 132 indicating the display content through the terminal receiving unit 130. Further, as a third stage, communication at the BT is established. Also in this case, the pairing information for BT stored in the pairing information 164a is used. Thereby, the display operation terminal 100 can transmit the operation input signal 142 including the touch operation signal to the electronic device 200 by the terminal transmission unit 140.
  • the automatic start function shown in FIG. 2 is also executed when the power is turned on, for example, when the display operation terminal 100 is turned off. If the pairing information recording unit 164 is mounted by a nonvolatile memory or the like, the information is retained even when the power is turned off.
  • the wired communication is set to a higher priority than the wireless communication in the same level of mirroring. Is advantageous.
  • either or both of the terminal receiver 130 and the terminal transmitter 140 further communicate with the electronic device 200 by wired communication.
  • the pairing information by protocol 174a registers an electronic device as one of connection-authenticated devices for wired communication.
  • the trial sequence information 176a stored in the trial sequence setting unit 176 sets the trial order higher than the wireless communication for the wired communication.
  • wired communication unlike wireless communication, it is not always necessary to set a trial time, so the trial time does not necessarily have to be set.
  • the function management control unit 204 It is controlled by the function management control unit 204 so that the screen is returned to a screen that does not include the voice call screen or the home screen that is the default screen for operation. Since this display content is also mirrored on the display operation terminal 100, the display content is presented on the terminal display unit 110.
  • the operation input signal output from the touch operation input unit 120 when the user of the display operation terminal 100 inputs to the touch operation input unit 120 is transmitted to the remote input reception unit 282 via the terminal transmission unit 140 and the device reception unit 230. Accepted. Since this operation is a screen that does not include the voice call screen before the start of the call or is a user input to the home screen, the user does not need to see the voice call screen, and the size of the display operation terminal 100 is reduced.
  • FIG. 8 is a schematic diagram showing a configuration when a touch-type keyboard is displayed on the display operation terminal 100 in the display operation separation system 10 of the present embodiment.
  • the electronic device 200 includes a device display unit 210, a cursor control unit 212, an input control unit 222, and a remote input reception unit 282.
  • the device display unit 210 presents display contents to the user.
  • the cursor control unit 212 displays an input cursor indicating the input position in the input enabled column 210b included in the display content of the device display unit 210.
  • the input control unit 222 controls input display contents at the input position in the device display unit 210.
  • the wireless communication is stopped by releasing the connection from one or both of the electronic device 200 and the display operation terminal 100 after the transmission / reception of the entire unit content is completed.
  • the display operation terminal 100 can display the content related to the display of the unit content stored in the terminal content recording unit 192 on the terminal display unit 110 after the connection with the electronic device 200 is released.
  • the cancellation of the wireless connection described above means that the connection is at least temporarily canceled, and there is a possibility that the connection is established again thereafter.
  • the display operation separation system 10 of the present embodiment can be further devised when the content to be handled is mainly a still image.
  • content mainly composed of still images include, for example, a browsing document file having a plurality of pages, an electronic book file, a web page, a Twitter (registered trademark) screen, a text message application program screen, a mail message screen, Can be mentioned.
  • FIG. 9 also shows the configuration of the display operation separation system 10 used for image content.
  • the device receiving unit 230 of the electronic device 200 receives operation input signals from the first display operation terminal 100A and the second display operation terminal 100B in a distinguished manner from each other.
  • the display contents for the electronic device 200 can be confirmed on both the first display operation terminal 100A and the second display operation terminal 100B, and an input operation to the electronic device 200 is performed from both sides. be able to.
  • the device receiving unit 230 can perform the receiving operation by distinguishing between the first and second display operation terminals 100A and 100B.
  • the device display control unit 288 superimposes a selection prompt 288a on the display content as additional display content for selecting which of the first display operation terminal 100A and the second display operation terminal 100B should accept the operation input signal.
  • the device input receiving unit 286 is configured to receive an input of a selection result from a user of the electronic device.
  • the device input receiving unit 286 receives a signal by touch input from the touch operation input unit 220, for example. Thereafter, the remote input receiving unit 282 operates to selectively receive an operation input signal from either the first display operation terminal 100A or the second display operation terminal 100B according to the selection result.
  • table-type mirroring terminal The versatility of this embodiment is extremely high, and the use of the display operation separation systems 10, 12, and 14 is not limited to the above-described handheld devices. For example, due to the recent generalization of large-sized and high-definition display devices, a sufficiently high-quality display can be realized even if the display of a plurality of electronic devices is simultaneously displayed on one display device. For example, it is realistic to display the respective smartphones brought by a plurality of users on one display device. For example, for a user who is seated facing each side in a table type and shares a table top, a table-integrated terminal in which a display device is arranged on a part or all of the table top ( Also called “table type mirroring terminal”.
  • the same number of mirror image data transmission paths as the number of people who use the table at the same time are mounted on the display operation terminal of this embodiment.
  • This image data transmission path is paired one-to-one with each smartphone.
  • a connection port of a USB terminal is mounted.
  • a screen is mounted on the upper surface of the table top of the table-type mirroring terminal, and a plurality of people can use it in a posture that looks down on the same screen at the same time.
  • An arbitrary number of mirroring screens are displayed in a designated area on the table-type mirroring terminal.
  • the mirroring transmission line can be realized by using Miracast (or WiFi Direct) wirelessly.
  • This connection may be wired.
  • it can be realized by a USB cable connection.
  • the touch input operations of the table-type mirroring terminal are distinguished from each other and transmitted to the respective smartphones by BT connection, cable connection, or the like between each smartphone and the table-type mirroring terminal.
  • the table-type mirroring terminal is equipped with a speaker, it is also useful to synthesize and output all the sound from the connected smartphone from the connected smartphone.
  • the communication control unit it is possible to control to perform bidirectional communication only with a specific communication carrier or a specific electronic device, for example, control of a display operation terminal and display of an image from the electronic device. Furthermore, it is also possible to set the communication carrier or electronic device other than the specific one so that only one direction, for example, an image from the electronic device can be displayed.
  • the present embodiment can be modified in various ways.
  • the electronic device 200 or the display operation terminal 100 according to the present embodiment can be implemented even if configured to be configured by combining functional blocks.
  • a functional block is a functional block that allows users to function independently by preparing parts that should be constituent elements of an electronic device or display / operation terminal in advance so that they have some degree of freedom in combination with each other. This refers to a method that allows users to configure a single terminal by selecting them. The user can realize a necessary function by selecting a function block and connecting the function blocks to each other. Therefore, the function of the electronic device or the display operation terminal can be realized at a cost burden of only the minimum necessary function.
  • Main functional blocks for an electronic device or a display operation terminal that is, a display unit, a battery unit, a WiFi and BT wireless unit, a camera unit, and a television receiving unit are realized as follows.
  • the battery unit is composed of one or more serial signal terminals mainly composed of battery cells and a power management IC.
  • a power supply device or a charging power source is connected to a serial terminal such as a USB
  • the battery cell is charged with the power supplied from the outside by sensing it.
  • a device or a functional block that requires power supply is connected to the serial terminal, the power charged in the battery cell is supplied.
  • the power management IC performs these controls.
  • the WiFi and BT radio units are mainly composed of WiFi signal processing, BT signal processing and RF radio units, and one or more serial terminals. When power is supplied from the serial terminal, the WiFi and BT wireless units start to operate, perform data communication, and output a video signal to the connected display unit.
  • the cellular radio unit is mainly composed of a cellular signal processing unit, an RF radio unit, an antenna unit, and one or more serial terminals.
  • the application CPU unit When the application CPU unit is connected, data to be transmitted / received is exchanged with the application CPU unit, and control itself is operated by a command transmitted from the application CPU unit.
  • the camera unit is mainly composed of a camera body, buttons, and an image processor, and takes an image by pressing a button or an external command.
  • image data is output to the application CPU unit.
  • image data is output to the display unit.
  • the TV receiving unit mainly includes a TV receiving tuner, a TV antenna, a signal processor, and one or more serial terminals.
  • a TV receiving tuner When power is supplied from the outside, the operation starts, and the TV radio wave received by the antenna is demodulated to receive a video signal.
  • the received video signal is output to the application signal processing unit when the application CPU unit is connected, and is output to the display unit when the display unit is connected without being connected.
  • Step 1 Each functional block detects that a new functional block has been added while the terminal type A is realized. This can be realized by periodically inquiring about the connected functional block via the serial terminal. It is determined that each functional block is independently changed to the terminal type B.
  • Step 2 When the application CPU unit is connected, this functional block detects what all the connected functional blocks are, and determines that the terminal type B is changed.
  • Step 3 Software for realizing the terminal type B is activated in each functional block.
  • the display operation terminal of the present invention and the display operation separation system using the same can be used for any computing device.
  • Display operation separation system 100 Display operation terminal 100a One surface 100b The other surface 110 Display unit, terminal display unit 110a Display area 110b Keyboard image 112 Setting prompt 114 Display control unit 116 Cursor search unit 120 Touch operation input unit 122 touch keyboard control unit 130 terminal reception unit 132 display signal 140 terminal transmission unit 142 operation input signal 150 terminal connection terminal group 162 communication control unit, terminal communication control unit 164 pairing information recording unit, terminal pairing information recording unit 164a pairing Information, terminal pairing information 166 radio wave intensity detection unit 166a detection signal 172 reception control unit 174 pairing information recording unit by protocol 174a pairing information by protocol 176 trial sequence setting unit 176a trial Kens information 192 Terminal content recording unit 194 Terminal image content recording unit 200 Electronic device 200A First electronic device 200B Second electronic device 200c Connection surface 202 Voice call processing unit 204 Function management control unit 210 Display unit, device display unit 210a Display area 210b Inputable field 212 Cursor control unit 220 Touch operation input unit 222 Input control unit 230 Device reception unit 240 Device transmission unit 250 Device connection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

In order to improve the ease of use of display and input with an electronic apparatus, an embodiment of the present invention provides a display/operation terminal provided with a terminal receiving unit 130, a terminal display unit 110, a touch operation input unit 120, and a terminal transmission unit 140. The terminal receiving unit receives, from another electronic apparatus 200, a display signal 132 indicating display content, and the terminal display unit presents, to the user and on a display area 110a, a still image and/or video, or a combination thereof, forming the display content indicated by the display signal. The touch operation input unit receives an input from a touch operation by the user, and generates a touch operation signal, and the terminal transmission unit transmits an operation input signal 142 containing the touch operation signal to the electronic apparatus. The user can check the display content or perform a touch operation input as if using the electronic apparatus, while using the display/operation terminal. The present invention also provides a display/operation separation system including the display/operation terminal and the electronic apparatus.

Description

表示操作端末およびそれを用いる表示操作分離システムDisplay operation terminal and display operation separation system using the same
　本発明は表示操作端末およびそれを用いる表示操作分離システムに関する。さらに詳細には、本発明は、電子機器の表示および入力における利便性を高める表示操作端末およびそれを用いる表示操作分離システムに関する。 The present invention relates to a display operation terminal and a display operation separation system using the same. More specifically, the present invention relates to a display operation terminal that improves convenience in display and input of an electronic device, and a display operation separation system using the display operation terminal.
　近年、ＩＴ機器の高性能化やポータブル化を背景に、様々な情報内容（コンテンツ）をユーザーに提供したり、さらにユーザーの行動を支援したりすることができるコンピュータ機器（本出願において「電子機器」と呼ぶ）が広く普及している。なかでもＬＴＥ（Long Term Evolution）や４Ｇ（4th Generation）等のワイドバンドな移動体通信網や、公衆またはプライベートな無線ＬＡＮが提供されている環境でそれらの通信能力を備えた電子機器を用いれば、場所、時間の制約を殆ど受けることのないインターネット接続が実現し、ユーザーに高い利便性を提供することができる。インターネットと並びその利便性を支えているのが、各電子機器の高品質なインターフェース（Human Computer Interaction）である。高精細で美しい表示、そのような表示に対応した入力や操作を可能にするタッチ入力操作、そしてこれらを緊密に連携させる制御ソフトウェアは、ごく自然な使用感をユーザーにもたらすよう注意深くチューニングされており、コンピューティング機器の操作であることを使用者に忘れさせるほどに直観的で洗練された使用感を実現している。結果、旧来のキャラクタベースやキーボード主体のコンピューティング環境では普及が難しかった幅広いユーザー層もＩＴ機器の発展の恩恵に浴している。 In recent years, against the backdrop of high performance and portability of IT equipment, computer equipment that can provide various information contents (contents) to users and further support user actions (in this application, “electronic equipment” ") Is widely used. In particular, if you use a wideband mobile communication network such as LTE (Long Term Evolution) or 4G (4th Generation), or an electronic device with such communication capability in an environment where a public or private wireless LAN is provided In addition, an Internet connection almost free of restrictions on place and time can be realized, and high convenience can be provided to the user. The high-quality interface (Human Computer Interaction) of each electronic device supports the convenience as well as the Internet. High-definition and beautiful display, touch input operation that enables input and operation corresponding to such display, and control software that closely links them are carefully tuned to give the user a natural feeling of use. Intuitive and sophisticated usability is realized so that the user forgets to operate the computing device. As a result, a wide range of users who have been difficult to spread in traditional character-based and keyboard-based computing environments are also benefiting from the development of IT equipment.
　現時点で上述したコンピューティング環境を提供する電子機器は、スマートフォン、ラップトップパーソナルコンピューター（ＰＣ）などのポータブルＰＣ、そしてタブレット端末が典型的なものである。しかし、これら電子機器のユーザーによる使用には種々の制約を伴う。その代表が電子機器の重量・電池等の電源持続時間・サイズといったハードウェア仕様に基づく制約である。スマートフォンは、移動局としての音声通話機能を備えるが故に常時携行するのに適するサイズへの制約が強い。このサイズ上限のため、スマートフォンでのディスプレイ装置は、キーボードを駆逐し板状の筐体の最大面をほぼ占有しているにもかかわらず、なお必ずしも十分ではない。高齢者には小さな字は読みにくく、また、小さい画面で楽しめるコンテンツは限られている。またその強い制約の下で動作時間を確保できる電力は、音声通話やその待受けの動作時間とのトレードオフとなってその一部のみが表示やコンピューティングに振り分けられる。ポータブルＰＣは高いコンピューティング能力と引き替えに、実用的な持続時間でその電力消費をまかなう電池が大型となり、１ｋｇを下回るものが市販されているとはいえ、長時間手に持ち続けるには重い。そしてタブレット端末は、ＰＣからキーボードを取り除いたもの、またはスマートフォンから音声通話機能を除いて大型化したものと考えてよく、例えば対角３２８ｍｍ＝１２．９インチ程度までのディスプレイ装置を持ち薄型ではあるが、いまだハードウェアのもつ重量や電源の制約をユーザーに強く意識させる。タブレット端末のうち十分な大きさの表示が得られるものは、長時間持ち続けるには重すぎる。 At present, electronic devices that provide the above-described computing environment are typically portable PCs such as smartphones, laptop personal computers (PCs), and tablet terminals. However, the use of these electronic devices by users involves various restrictions. A typical example is restrictions based on hardware specifications such as the weight of electronic devices, the power source duration of batteries, and the size. A smartphone has a voice call function as a mobile station, and therefore has a strong restriction on a size suitable for being always carried. Due to this upper size limit, display devices on smartphones are still not always sufficient despite destroying the keyboard and occupying the largest surface of the plate-like housing. Elderly people are difficult to read small letters, and the content that can be enjoyed on a small screen is limited. In addition, the power that can secure the operation time under the strong restrictions is a trade-off with the operation time of voice call and its standby, and only a part thereof is distributed to display and computing. In exchange for high computing capacity, portable PCs are large in size and have a battery that can consume power with a practical duration, and those weighing less than 1 kg are commercially available, but they are heavy to hold in hand for a long time. The tablet terminal may be considered to be a large-sized one obtained by removing the keyboard from the PC, or from the smartphone excluding the voice call function. For example, the tablet terminal is thin with a display device having a diagonal length of about 328 mm = 12.9 inches. However, users are still strongly aware of the hardware weight and power supply constraints. Any tablet device that provides a sufficiently large display is too heavy to hold for a long time.
　やや異なる視点からのアプローチとして、適用用途の専用性への限定と引き替えに上記制約下のトレードオフ要素間のバランスをシフトさせて成立しているシステムも存在する。例えば旧来は出版物として頒布されていた書籍や雑誌がインターネットを経由して電子データとしてダウンロード販売される電子書籍がある程度の普及を見ている。電子書籍システムで使用される端末（「電子書籍端末」）に採用されているディスプレイ装置は、主に電子ペーパーや液晶表示装置である。電子ペーパーはモノクロや静止画表示に限れば文字主体のオフセット印刷程度の精細度を確保している。モノクロ静止画表示であってもある程度の品位での表示が可能であれば、電子機器につきものの電源の確保や電池に関する充電、重量、サイズといった制約は意識されにくくなる。同時に、電子書籍システムでは出版物の重量の制約や管理の手間、流通在庫の問題が少なくなり、ユーザーおよび出版物提供事業者のメリットは大きい。しかし、電子ペーバーを採用する現状の電子書籍端末における表示は、出版物のうち文字主体の表示をストレス無く閲覧できる程度、というのが実情である。カラー動画表示のようなリッチコンテンツに頻繁に接している現代の一般的消費者には、電子機器であるのに旧来の出版物より小さな画面は時として我慢を強いるものでしかない。かといって液晶表示装置を採用すれば、上述したＰＣやタブレット端末と同様の問題に直面する。 As a slightly different approach, there is also a system that is established by shifting the balance between the trade-off elements under the above constraints in exchange for the limitation to the exclusiveness of the application. For example, electronic books, which have been distributed as publications in the past, are now being downloaded and sold as electronic data via the Internet. Display devices employed in terminals used in electronic book systems (“electronic book terminals”) are mainly electronic paper and liquid crystal display devices. Electronic paper ensures the fineness of character-based offset printing as long as it is limited to monochrome and still image display. Even if it is a monochrome still image display, if display with a certain quality is possible, restrictions such as securing a power source and charging, weight, and size related to batteries are less likely to be conscious. At the same time, the e-book system reduces the weight of publications, the time and effort of management, and the problem of distribution inventory, which greatly benefits users and publishers. However, in reality, the display on the current electronic book terminal that employs electronic pavers is such that the display of text-based displays in publications can be viewed without stress. For today's general consumers who are often exposed to rich content, such as color video displays, a screen that is smaller than a traditional publication, although it is an electronic device, can sometimes only be tolerated. However, if a liquid crystal display device is employed, the same problems as those of the PC and tablet terminal described above are encountered.
　現状の電子機器の制約を取り払うべく、一部機能を分離することも試みられている。例えばスマートフォンと連携することを前提としたウォッチ型端末（スマートウォッチ）や、眼鏡型のウエアラブル表示装置なども構想され一部は量産もされている。しかし現状では十分な普及には至っていない。身体への装着による「理想的な常時携行」が抵抗なくユーザーに受け入れられているわけではない。また、旧来のリストウォッチに類似のサイズやスタイルが採用されている現状では、スマートフォンと連携してその呼出装置として使われたり、身体から心拍ログやＧＰＳログを容易に取れることなどの新たな用途を広げはするものの、これまでの電子機器の課題を解決するものとはなっていない。 Some attempts have been made to separate some functions in order to remove the limitations of current electronic devices. For example, a watch-type terminal (smart watch) premised on cooperation with a smartphone and a glasses-type wearable display device are conceived and some of them are mass-produced. However, at the present time, it has not reached widespread use. “Ideal always-on-carrying” by wearing on the body is not accepted by users without resistance. In addition, in the current situation where similar sizes and styles are adopted to the old wristwatch, it can be used as a calling device in cooperation with a smartphone, and heartbeat logs and GPS logs can be easily taken from the body However, it does not solve the problems of conventional electronic devices.
　スマートフォン・ディスプレイの画面転送コントロール装置の例が特許文献１（実用新案登録第３１７２００６号公報）に開示されている。 An example of a screen transfer control device for a smartphone display is disclosed in Patent Document 1 (Utility Model Registration No. 3172006).
実用新案登録第３１７２００６号公報Utility Model Registration No. 3172006
　本発明は、上述した種々の課題の少なくともいずれかを解決することを課題とする。本発明は、電子機器に搭載されているものと同じまたは類似する表示機能およびタッチ入力機能を活用できる表示操作端末や、それを用いた表示操作分離システムを提供することにより、電子機器の大きさ、重さをユーザーに可能な限り意識させず、電子機器の持つ能力をあますことなく引き出すものである。これにより本発明は、電子機器が小さな画面しか持たないことにより魅力が半減してしまっていたようなコンテンツであっても、それが本来持っている魅力を発揮させることを可能にすることにより、さらなるユーザー層の拡大に貢献するものである。また、本発明は、身体的な理由のために従来の小型の電子機器（例えばスマートフォン）に使いづらさを感じていたり、重量のある電子機器（例えば従来のタブレット端末）に使いづらさを感じていたりする人々へのユーザー層のさらなる拡大にも貢献するものである。 This invention makes it a subject to solve at least any one of the various subject mentioned above. The present invention provides a display operation terminal that can utilize a display function and a touch input function that are the same as or similar to those mounted on an electronic device, and a display operation separation system using the display operation terminal. , It makes the user feel as much as possible and draws out the capabilities of electronic devices without any hesitation. As a result, the present invention makes it possible to exert the original appeal even if the content has been halved by the fact that the electronic device has only a small screen. This will contribute to further expansion of the user base. In addition, the present invention feels difficult to use in conventional small electronic devices (for example, smartphones) for physical reasons, or difficult to use in heavy electronic devices (for example, conventional tablet terminals). It also contributes to the expansion of the user base to the people who come.
　本発明者は、適切に設計された表示と操作のための装置を実現できれば、電子機器の能力を活用してユーザーに高い利便性を提供しうることに気付いた。例えばスマートフォンを所有しているユーザーにとっては、スマートフォンをタブレット端末のように活用することができたり、さらにタブレット端末でも実現し得ない軽快な使用感が実現できれば、そのユーザーに高い利便性が提供される。スマートフォンユーザであれば、機能が重複するタブレット端末を買い増しする必然性は乏しいものの、既に所有するスマートフォンの利便性を一層高めたり拡張できたりする表示操作装置を追加してスマートフォンの能力を一層引き出すことができるなら、有用なものと感じるだろう。そして、本発明者は、音楽を楽しむための装置にとってイヤホンやヘッドセットに相当するような、ユーザーへの情報の提示およびユーザーからの入力の受付のための専用の端末装置を、表示とタッチ入力を想定した電子機器に対しても想定できることに気づき、本発明を完成させた。 The present inventor has realized that if an appropriately designed display and operation device can be realized, the ability of the electronic device can be utilized to provide high convenience to the user. For example, for users who own smartphones, if they can use smartphones like tablet devices, and if they can realize a light user experience that cannot be achieved with tablet devices, they will be provided with high convenience. The If you are a smartphone user, there is little necessity to buy more tablet terminals with overlapping functions, but you can further enhance the convenience of existing smartphones by adding a display operation device that can further expand the convenience of smartphones If you can, you will find it useful. The present inventor then displays and touch-inputs a dedicated terminal device for presenting information to the user and accepting input from the user, which is equivalent to an earphone or headset for a device for enjoying music. As a result, the present invention has been completed.
　すなわち、本発明のある態様においては、表示内容を示す表示信号を少なくとも一つの電子機器から受信する端末受信部と、該表示信号が示す前記表示内容を静止画および動画の少なくともいずれかまたはそれらの組み合わせによって使用者に呈示する表示エリアをもつ端末表示部と、該使用者からのタッチ操作による入力を受け付け、タッチ操作信号を生成するタッチ操作入力部と、前記タッチ操作信号を含む操作入力信号を前記電子機器に送信する端末送信部と、前記端末受信部および前記端末送信部の少なくともいずれかによる前記電子機器との接続の確立および解除を制御する通信制御部と、前記端末受信部に接続され、受信可能な種類の電波の強度を測定でき、前記端末受信部による受信電波強度を示しうる検知信号を送出する電波強度検知部とを備えており、前記通信制御部は、前記電波強度検知部からの前記検知信号に基づいて前記端末受信部および前記端末送信部の少なくともいずれかを制御して前記電子機器との接続を確立させるものである表示操作端末が提供される。 That is, in an aspect of the present invention, a terminal receiving unit that receives a display signal indicating display content from at least one electronic device, and the display content indicated by the display signal is at least one of a still image and a moving image, or those A terminal display unit having a display area to be presented to the user by combination, a touch operation input unit that receives an input by a touch operation from the user and generates a touch operation signal, and an operation input signal including the touch operation signal A terminal transmission unit that transmits to the electronic device; a communication control unit that controls establishment and release of connection with the electronic device by at least one of the terminal reception unit and the terminal transmission unit; and the terminal reception unit. , It can measure the intensity of receivable types of radio waves, and send a detection signal indicating the radio wave intensity received by the terminal receiver A wave intensity detector, and the communication controller controls at least one of the terminal receiver and the terminal transmitter based on the detection signal from the radio wave intensity detector, and the electronic device A display operation terminal for establishing the connection is provided.
　上記態様の表示操作端末は、原理的に広い表示面積で軽量に作製することができる。というのは、表示および入力と、それらのための通信に必要な最低限の機能以外の能力を電子機器の機能を活用して実現しうるからである。別の視点から説明すれば、例えばスマートフォンなどのサイズに事実上の上限のあるものとの比較において、従来採用し得ないサイズの表示部やタッチ入力部を上記態様の表示操作端末に採用することができる。このため、電子機器の持つ様々な機能を活用するためのより大きなサイズをもち使いやすい使用環境をユーザーに提供することができる。具体的な実施態様においては、表示とタッチ入力といった必要最小限の機能を持つ端末が提供されることから、大型化しつつ軽量化すること目指す際の現実的制約や障害が取り除かれる。そしてその表示操作端末を数ｍｍ程度の厚みに薄型化したり、さらには軽さと可撓性も持たせることができ、極めて軽快な使用感を提供することも視野に入る。究極的には、筆記用具にて紙に筆記する際に紙背面に配置される「下敷き（pencil boards）」として採用される樹脂板のような姿も実現できるであろう。 The display operation terminal of the above aspect can be manufactured in a light weight with a wide display area in principle. This is because capabilities other than the minimum functions necessary for display and input and communication for them can be realized by utilizing the functions of the electronic device. From another viewpoint, for example, a display unit or touch input unit of a size that cannot be used in the past is used for the display operation terminal of the above aspect in comparison with a smartphone or the like that has a practical upper limit. Can do. For this reason, it is possible to provide the user with an easy-to-use operating environment having a larger size for utilizing various functions of the electronic device. In a specific embodiment, since a terminal having minimum necessary functions such as display and touch input is provided, realistic restrictions and obstacles when aiming to reduce the size while reducing the size are removed. The display operation terminal can be thinned to a thickness of about several millimeters, and can be light and flexible, providing an extremely light feeling of use. Ultimately, it would also be possible to realize the appearance of resin boards that are used as “pencil boards” placed on the back of paper when writing on paper with a writing instrument.
　本発明の別の態様においては、上記態様の表示操作端末と、前記表示信号を送信する機器送信部と前記操作入力信号を受信する機器受信部とを備えた電子機器とを備えており、前記電子機器のための表示内容が前記表示操作端末に送信され、前記表示操作端末のためのタッチ操作入力が前記電子機器に送信されることにより、該電子機器の表示内容の表示とそれに対するタッチ操作が前記表示操作端末において実行される表示操作分離システムも提供される。 In another aspect of the present invention, there is provided the display operation terminal according to the above aspect, an electronic device including a device transmission unit that transmits the display signal, and a device reception unit that receives the operation input signal, Display contents for the electronic device are transmitted to the display operation terminal, and a touch operation input for the display operation terminal is transmitted to the electronic device, thereby displaying the display contents of the electronic device and a touch operation for the display contents. There is also provided a display operation separation system that is executed in the display operation terminal.
　上記態様の表示操作分離システムに含まれる電子機器のハードウェアは、適切な通信モジュールなどを搭載したスマートフォン、ラップトップＰＣなどのポータブルＰＣ、そしてタブレット端末などを想定するとすることができる。これら電子機器を上記態様の表示操作分離システムの電子機器として機能させるためには、適切に表示内容を送信し、また、表示操作端末からのタッチ操作の入力を受け付けるための機能手段が表示操作端末に必要となる。例えばスマートフォン、ラップトップＰＣなどのポータブルＰＣ、そしてタブレット端末を表示操作分離システムに含まれる電子機器とするためには、ハードウェアとしての適切なモジュール（例えば通信モジュール）が装備されていることに加え、それらモジュールを表示操作端末と連携させるためのソフトウェアが当該電子機器に実装される。その結果、上記態様の表示操作端末を連携させてこれら電子機器を使用することができる。このことは、ユーザーの利便性を高めるものであると同時に、電子機器それ自体に対するユーザーからの要求にも影響を与える。スマートフォンを例に挙げれば、そのスマートフォン自体に要求される表示機能や入力機能は従前ほどには重視されなくなり、例えば表示部は最小限のサイズのもので十分、とユーザーが思い始めるであろう。その場合であっても、それらを組合せた表示操作分離システム全体としてみると、大型化した表示部をもつ軽量化した表示操作端末が提供されることから、従来の電子機器から比べ遙かに高い利便性を実現することができる。 The hardware of the electronic device included in the display operation separation system of the above aspect can be assumed to be a smartphone equipped with an appropriate communication module, a portable PC such as a laptop PC, and a tablet terminal. In order for these electronic devices to function as the electronic devices of the display operation separation system according to the above aspect, a function unit for appropriately transmitting display contents and receiving a touch operation input from the display operation terminal is a display operation terminal. Is required. For example, in order to make a portable PC such as a smartphone, a laptop PC, and a tablet terminal into an electronic device included in the display operation separation system, in addition to being equipped with an appropriate module (for example, a communication module) as hardware. Software for making these modules cooperate with the display operation terminal is installed in the electronic device. As a result, these electronic devices can be used in cooperation with the display operation terminal of the above aspect. This enhances the convenience for the user, and also affects the request from the user for the electronic device itself. Taking a smartphone as an example, the display function and input function required for the smartphone itself will not be as important as before, and for example, the user will begin to think that a minimum display size is sufficient. Even in that case, when viewed as a whole display operation separation system combining them, a lighter display operation terminal having an enlarged display unit is provided, which is much higher than conventional electronic devices. Convenience can be realized.
　本出願の説明全般において、電子機器のうちには、スマートフォン、ラップトップＰＣなどのポータブルＰＣ、そしてタブレット端末を代表例として含んでおり、これらに限定されるものではない。さらに、発明を規定するための各要素は、ソフトウェアとハードウェアを任意に組合せることにより実現することができる。例えば表示部などの「～部」との表現によって本出願の記載中にて説明される要素は、目的の機能を実現するために、１以上のハードウェアであることがあり、また必要に応じ、当該ハードウェアの特性を動作や手順として実現するために使用される１単位以上のソフトウェア・コンポーネントや１単位以上のデータや情報と組合せることにより実現されることがある。この際のソフトウェア・コンポーネントの１単位は、アプリケーションプログラム、実行ライブラリ、ＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ　Ｐｒｏｇｒａｍｍｉｎｇ　Ｉｎｔｅｒｆａｃｅ）、プロトコルスタック、デバイスドライバなどを含み、それらを２以上の組合せたものも含む。同一の表現で規定される要素であっても、同種の別のハードウェアによって実現されることがあり、別々の表現で規定される別々の要素が一のハードウェアにより実現されることもある。また、各要素の特性を規定するために動作が明示される場合があり、その動作における順序は必ずしも実行順に説明されているわけではない。 In the entire description of the present application, the electronic devices include, as representative examples, portable PCs such as smartphones and laptop PCs, and tablet terminals, but are not limited thereto. Furthermore, each element for defining the invention can be realized by arbitrarily combining software and hardware. For example, an element described in the description of the present application by the expression “to part” such as a display unit may be one or more hardware units to realize a target function, and if necessary, In some cases, it is realized by combining one or more units of software components and one or more units of data or information used to realize the characteristics of the hardware as operations or procedures. One unit of the software component at this time includes an application program, an execution library, an API (Application Programming Interface), a protocol stack, a device driver, and the like, and includes a combination of two or more thereof. Even elements defined by the same expression may be realized by different hardware of the same type, and different elements specified by different expressions may be realized by one hardware. In addition, an operation may be specified to define the characteristics of each element, and the order in the operation is not necessarily described in the execution order.
　本発明のいずれかの態様では、電子機器の制約を取り払いつつユーザーにとっての利便性を最大化する実用性の高い手法が提供される。 In any aspect of the present invention, a highly practical technique for maximizing convenience for the user while removing restrictions on electronic devices is provided.
本発明の実施形態における表示操作分離システムの全体構成を示す模式図である。It is a schematic diagram which shows the whole structure of the display operation separation system in embodiment of this invention. 本発明の実施形態における無線通信を利用する表示操作端末に自動スタートの機能を実装する場合の構成を示す模式図である。It is a schematic diagram which shows the structure in the case of mounting the function of an automatic start in the display operation terminal using radio | wireless communication in embodiment of this invention. 本発明の実施形態において表示操作端末に複数の通信プロトコルを実装し、あらかじめ指定した試行順位に合わせてレベル分けしてミラーリングを行う場合の構成を示す模式図である。It is a schematic diagram which shows the structure in the case of mounting a some communication protocol in the display operation terminal in embodiment of this invention, and performing leveling according to the trial order designated beforehand, and performing mirroring. 本発明の実施形態において有線通信でペアリングの動作を行う表示操作分離システムの構成を示す模式図である。It is a schematic diagram which shows the structure of the display operation separation system which performs pairing operation | movement by wired communication in embodiment of this invention. 本発明の実施形態において直接接続を行う表示操作端末と電子機器の構造を示す模式図である。It is a schematic diagram which shows the structure of the display operation terminal and electronic device which directly connect in embodiment of this invention. 本発明の実施形態におけるミラーリングのために電子機器にて電子機器の表示部（機器表示部）の動作を制御する様子を示す模式図である。It is a schematic diagram which shows a mode that operation | movement of the display part (apparatus display part) of an electronic device is controlled in an electronic device for the mirroring in embodiment of this invention. 本発明の実施形態における電子機器が音声通話機能を提供するものである場合に、音声通話中に表示操作端末を活用するための構成を示す模式図である。It is a schematic diagram which shows the structure for utilizing a display operation terminal during a voice call, when the electronic device in embodiment of this invention provides a voice call function. 本発明の実施形態における表示操作分離システムにおいてタッチ式キーボードを表示操作端末で表示する場合の構成を示す模式図である。It is a schematic diagram which shows the structure in the case of displaying a touch-type keyboard with a display operation terminal in the display operation separation system in embodiment of this invention. 本発明の実施形態において単位コンテンツのために用いられる表示操作分離システムの構成を示す模式図である。It is a schematic diagram which shows the structure of the display operation separation system used for unit content in embodiment of this invention. 本発明の実施形態において電子機器の数を１台、表示操作端末の数を２台以上とする場合の動作の典型例を示す模式図である。It is a schematic diagram which shows the typical example of operation | movement when the number of electronic devices is 1 unit and the number of display operation terminals is 2 or more in the embodiment of the present invention. 本発明の実施形態において、電子機器の数を２台以上、表示操作端末の数を１台とする表示操作分離システムの構成を示す模式図である。In the embodiment of the present invention, it is a schematic diagram showing a configuration of a display operation separation system in which the number of electronic devices is two or more and the number of display operation terminals is one.
　以下、図面を参照して本発明に係る表示操作端末を含む表示操作分離システムに関する実施形態を説明する。当該説明に際し特に言及がない限り、共通する部分または要素には共通する参照符号が付されている。また、図中、各実施形態の要素のそれぞれは、必ずしも互いの縮尺比を保って示されてはいない。 Hereinafter, an embodiment relating to a display operation separating system including a display operation terminal according to the present invention will be described with reference to the drawings. Unless otherwise stated in the description, common portions or elements are denoted by common reference symbols. In the drawings, each element of each embodiment is not necessarily shown in a scale ratio.
１．全体構成
　本実施形態の基本となるシステムとして、表示操作分離システム１０が提供される。図１は本実施形態の表示操作分離システム１０の全体構成を示す模式図である。表示操作分離システム１０は、典型的には表示操作端末１００と電子機器２００を備えている。 1. Overall Configuration A display operation separation system 10 is provided as a system that is the basis of the present embodiment. FIG. 1 is a schematic diagram showing the overall configuration of a display operation separating system 10 of the present embodiment. The display operation separation system 10 typically includes a display operation terminal 100 and an electronic device 200.
２．端末の構成
　表示操作端末１００は、端末受信部１３０、表示部１１０、タッチ操作入力部１２０、および端末送信部１４０を備えている。端末受信部１３０は、表示内容を示す表示信号１３２を少なくとも一つの電子機器２００から受信する。表示部１１０は、表示信号１３２が示す表示内容を静止画および動画の少なくともいずれかまたはそれらの組み合わせによって使用者に呈示する表示エリア１１０ａをもつ。静止画および動画の少なくともいずれかまたはそれらの組み合わせは、表示エリア１１０ａにおいて視認されることが可能な画像、映像、テキストデータ、コンピュータグラフィック表示などの任意の表示情報を含む。タッチ操作入力部１２０は、使用者からのタッチ操作による入力を受け付け、タッチ操作信号を生成する。端末送信部１４０は、タッチ操作信号を含む操作入力信号１４２を電子機器２００に送信する。なお、表示操作端末１００の表示部１１０に表示される表示内容の典型例は、電子機器２００にて表示されるべき表示内容や、表示されるべきであった表示内容と同一のものである。このような表示内容を別の機器の表示部にも呈示して多重化したり転送したりする機能は、従来の技術においてミラーリングと呼ばれるため、本出願でもその用語を用いる。 2. Configuration of Terminal The display operation terminal 100 includes a terminal reception unit 130, a display unit 110, a touch operation input unit 120, and a terminal transmission unit 140. The terminal receiving unit 130 receives a display signal 132 indicating display content from at least one electronic device 200. The display unit 110 has a display area 110a that presents the display content indicated by the display signal 132 to the user by at least one of a still image and a moving image, or a combination thereof. At least one of a still image and a moving image or a combination thereof includes arbitrary display information such as an image, video, text data, and computer graphic display that can be viewed in the display area 110a. The touch operation input unit 120 receives an input by a touch operation from a user and generates a touch operation signal. The terminal transmission unit 140 transmits an operation input signal 142 including a touch operation signal to the electronic device 200. A typical example of display contents displayed on the display unit 110 of the display operation terminal 100 is the same as the display contents to be displayed on the electronic device 200 and the display contents that should have been displayed. The function of presenting such display contents on a display unit of another device and multiplexing or transferring the display contents is called mirroring in the prior art, and the term is used in this application.
２－１．表示部
　表示部１１０は、例えば有機ＥＬディスプレイ（ＯＬＥＤ）など、任意の表示デバイスであり、表示操作端末１００における表示部１１０の表示エリア１１０ａの詳細な仕様は種々の観点を加味して決定される。例えば、電子機器２００が従来のものと同様のハードウェア仕様をもつスマートフォンである場合、そのサイズは常時携行に支障の無い範囲のものが一般的である。必然的に表示部２１０の表示エリア２１０ａは小さくなり、例えば、対角１５２ｍｍ＝６インチ程度が上限の目安となる。そのような電子機器２００と組み合わせる場合に、表示操作端末１００が十分なサイズをもつものであれば、電子機器２００を単独で使用するよりも広く大きな表示容量（総画素数）の表示エリア１１０ａをもつ表示部１１０を搭載できることとなって、表示部２１０のサイズに制約されることのない広い面積の表示をユーザーに提供することができる。このように、表示エリア１１０ａのサイズは、ユーザーにとって電子機器２００に加えて表示操作端末１００を追加しようとすることについてのインセンティブとなる点で重要である。表示操作端末１００の具体的サイズは、例えば２５７ｍｍ×１８２ｍｍの矩形（日本におけるＢ５サイズであり、日本における単行本のサイズに近しい）であれば手にとって用いる機器における使いやすさをユーザーにもたらす。また、表示操作端末１００を実施して製造する際には部品として採用される表示部の製造効率の観点も加味される。例えば、上記２５７ｍｍ×１８２ｍｍに相当する面積を持ちディスプレイデバイスを効率的に生産できるサイズの一つが２７０ｍｍ×１５２ｍｍの矩形（対角３１０ｍｍ＝１２．２インチ）である。このサイズは映画向けコンテンツの視聴に最適なものの一つである１６：９の画面比率になっている。また、手にとって使用する際の保持の容易さよりも表示サイズお大きさを優先することも可能である。例えばＡ４またはレターサイズの紙面と同程度の表示部１１０を提供することも、紙面向け資料を参照する用途では有用である。ここに述べた利便性と製造効率のバランスの観点は、ユーザーが手に取るかを含めた想定する用途やユーザー層、または許容されるコストに応じ適宜に決定される。 2-1. Display Unit The display unit 110 is an arbitrary display device such as an organic EL display (OLED), for example, and the detailed specifications of the display area 110a of the display unit 110 in the display operation terminal 100 are determined in consideration of various viewpoints. . For example, when the electronic device 200 is a smartphone having the same hardware specifications as that of a conventional device, the size of the electronic device 200 is generally in a range that does not interfere with carrying at all times. Inevitably, the display area 210a of the display unit 210 becomes smaller, and for example, a diagonal of about 152 mm = 6 inches is an upper limit guideline. When combined with such an electronic device 200, if the display operation terminal 100 has a sufficient size, a display area 110a having a larger display capacity (total number of pixels) than that when the electronic device 200 is used alone is provided. Since the display unit 110 having the display unit 110 can be mounted, it is possible to provide a user with a wide area display that is not limited by the size of the display unit 210. Thus, the size of the display area 110a is important in that it is an incentive for the user to add the display operation terminal 100 in addition to the electronic device 200. If the specific size of the display operation terminal 100 is, for example, a rectangle of 257 mm × 182 mm (B5 size in Japan, which is close to the size of a book in Japan), it brings the user ease of use in the device used by the hand. Further, when the display operation terminal 100 is implemented and manufactured, the viewpoint of manufacturing efficiency of the display unit employed as a component is also taken into consideration. For example, one of the sizes having an area equivalent to 257 mm × 182 mm and capable of efficiently producing a display device is a rectangle of 270 mm × 152 mm (diagonal 310 mm = 12.2 inches). This size has a screen ratio of 16: 9, which is one of the best for viewing movie content. It is also possible to prioritize the display size over the ease of holding for the hand. For example, providing the display unit 110 of the same size as that of A4 or letter-size paper is also useful for applications that refer to paper-oriented materials. The viewpoint of the balance between the convenience and the manufacturing efficiency described here is appropriately determined according to the intended use including whether the user picks it up, the user group, or the allowable cost.
　なお、表示部１１０は、有機ＥＬディスプレイには限られず、液晶表示装置や、他の任意のディスプレイ部品を採用することができる。表示操作端末１００では表示と入力、そしてそれらに関する通信以外に電力を消費する要素は少ない。このため、表示装置のために割り当てられる電力の比率は比較的高く、その点で表示部１１０の選択における制約は弱い。また、消費電力の小さい表示装置を選択すれば、電池など電源に割り当てる重量が小さくできたり、電池持続時間を延ばしたりすることができ、利便性が高まる。なお、本出願において、表示操作端末１００の表示部１１０と電子機器２００の表示部２１０のように互いに類似した機能の要素を機能上の違いに着目した名称で説明する場合に、互いに他から区別するために、それぞれに表示操作端末１００を示す「端末」および電子機器２００を示す「機器」との表現を明示して端末表示部１１０および機器表示部２１０と呼ぶことがある。他の要素についても同様である。 Note that the display unit 110 is not limited to an organic EL display, and a liquid crystal display device or any other display component can be employed. The display operation terminal 100 has few elements that consume power other than display, input, and communication related thereto. For this reason, the ratio of the electric power allocated for a display apparatus is comparatively high, and the restrictions in selection of the display part 110 are weak at that point. Further, if a display device with low power consumption is selected, the weight allocated to the power source such as a battery can be reduced, and the battery duration can be extended, so that convenience is enhanced. In addition, in this application, when the element of a function similar to each other like the display unit 110 of the display operation terminal 100 and the display unit 210 of the electronic device 200 is described by a name focusing on the difference in function, the elements are distinguished from each other. In order to do this, the expressions “terminal” indicating the display operation terminal 100 and “device” indicating the electronic device 200 may be clearly referred to as the terminal display unit 110 and the device display unit 210, respectively. The same applies to other elements.
２－２．タッチ操作入力部
　タッチ操作入力部１２０は、ユーザーが自らの意図を反映するために少なくともある程度限定した位置を特定して指先で入力することが可能な任意のタッチ式入力装置とすることができる。典型的には、静電容量方式、抵抗膜方式等の任意のタッチ入力方式を採用する。位置を特定する物体は、使用者の指先に加え、指の腹、導電処理したペン先、電磁誘導により動作するペンなどを含み、一以上の位置を同時に特定できるものであってもよい。タッチ操作入力部１２０のタッチ位置検知範囲は、典型的には、表示部１１０の表示エリア１１０ａと一致しているか、表示エリア１１０ａの外枠を外れた周辺部での入力を検知するために、表示エリア１１０ａよりやや大きいサイズとされる。このように組合わされたタッチ操作入力部１２０と表示部１１０の外観は、タッチパネルとも呼ばれる表示装置と位置入力装置の統合デバイスのようなものとなり、例えば米国Ａｐｐｌｅ社ｉＰａｄ（登録商標）製品群等のようなタブレット端末とも近しい構成要素が並ぶものとなる。表示エリア１１０ａと一致しているタッチ操作入力部１２０は、ユーザーには存在が視認できないように光に対して透明な材質で作製されていたり、また、表示部１１０と一体化しているものを採用することが好ましい。タッチ操作入力部１２０からはタッチ操作信号が出力される。 2-2. Touch Operation Input Unit The touch operation input unit 120 can be any touch type input device that allows a user to specify a position limited to at least some extent in order to reflect his / her intention and input with a fingertip. Typically, an arbitrary touch input method such as a capacitance method or a resistance film method is employed. The object for specifying the position includes not only the fingertip of the user but also a finger pad, a pen tip subjected to electrical conduction, a pen that operates by electromagnetic induction, and the like, and one or more positions may be specified simultaneously. The touch position detection range of the touch operation input unit 120 typically matches the display area 110a of the display unit 110 or in order to detect an input in a peripheral part outside the outer frame of the display area 110a. The size is slightly larger than the display area 110a. The external appearance of the touch operation input unit 120 and the display unit 110 combined in this way is like an integrated device of a display device and a position input device, which is also called a touch panel. For example, ipad (registered trademark) product group of US Apple Inc. Components similar to those of such tablet terminals are lined up. The touch operation input unit 120 that coincides with the display area 110a is made of a material that is transparent to light so that the presence of the touch operation input unit 120 cannot be visually recognized by the user, or is integrated with the display unit 110. It is preferable to do. A touch operation signal is output from the touch operation input unit 120.
２－３．通信
　表示操作分離システム１０において表示操作端末１００は、電子機器２００と双方向の通信を行う。典型的には、表示操作端末１００と電子機器２００が無線通信により相互に接続される。このために電子機器２００には、機器送信部２４０と機器受信部２３０が備わっている。端末受信部１３０は機器送信部２４０と、また端末送信部１４０は機器受信部２３０とそれぞれ通信を行う。ユーザーが表示操作端末１００を使用している場合に表示部１１０に示される表示内容（表示コンテンツ）は、電子機器２００から得られるものである。このため、表示操作端末１００にて電子機器２００からの表示コンテンツを表示し、表示操作端末１００で何らかの操作を行う状況では、上記双方向の通信のうち、電子機器２００から表示操作端末１００への表示内容を示す表示信号１３２の転送を端末受信部１３０および機器送信部２４０が担い、その逆の表示操作端末１００から電子機器２００へ操作入力を伝える操作入力信号１４２の転送を端末送信部１４０および機器受信部２３０が担う。 2-3. Communication In the display operation separation system 10, the display operation terminal 100 performs bidirectional communication with the electronic device 200. Typically, the display operation terminal 100 and the electronic device 200 are connected to each other by wireless communication. For this purpose, the electronic device 200 includes a device transmission unit 240 and a device reception unit 230. The terminal receiver 130 communicates with the device transmitter 240, and the terminal transmitter 140 communicates with the device receiver 230. The display content (display content) displayed on the display unit 110 when the user is using the display operation terminal 100 is obtained from the electronic device 200. For this reason, in a situation where the display content from the electronic device 200 is displayed on the display operation terminal 100 and some operation is performed on the display operation terminal 100, the electronic device 200 transmits to the display operation terminal 100 in the bidirectional communication. The terminal reception unit 130 and the device transmission unit 240 are responsible for transferring the display signal 132 indicating the display content, and the terminal transmission unit 140 and the device transmission unit 142 are configured to transfer the operation input signal 142 that conveys the operation input from the display operation terminal 100 to the electronic device 200. The device receiving unit 230 takes charge.
　これらの通信のために採用できる通信接続規約（通信プロトコル）は、例えばＭｉｒａｃａｓｔ（またはＷｉＤｉ）や、ＬＴＥ　Ｄｉｒｅｃｔ、Ｂｌｕｅｔｏｏｔｈ（登録商標）（以下「ＢＴ」と記す）、ＢＬＥ（Ｂｌｕｅｔｏｏｔｈ（登録商標）　Ｌｏｗ　Ｅｎｅｒｇｙ）、ＷｉＦｉ　Ｄｉｒｅｃｔ（いずれも登録商標）を採用することができる。典型的には本実施形態におけるいずれの通信でもサーバーを利用しないＰ２Ｐ（Ｐｅｅｒ　ｔｏ　Ｐｅｅｒ）通信を行う。ここに例示したものもＰ２Ｐ通信を行うためのものである。 The communication connection protocol (communication protocol) that can be adopted for these communications is, for example, Miracast (or WiDi), LTE Direct, Bluetooth (registered trademark) (hereinafter referred to as “BT”), BLE (Bluetooth (registered trademark) Low Energy) and WiFi Direct (both are registered trademarks) can be employed. Typically, P2P (Peer to Peer) communication that does not use a server in any communication in the present embodiment is performed. The example illustrated here is also for performing P2P communication.
２－４．双方向通信
　本実施形態の表示操作分離システム１０において、端末受信部１３０および機器送信部２４０間での表示信号１３２のための通信と、端末送信部１４０および機器受信部２３０間での操作入力信号１４２のための通信との両者においてプロトコルは互いに同一であってもよく、また異なっていてもよい。一般に、表示信号１３２のための通信に含まれる表示コンテンツの表示内容は画像や映像を含んでおり、データ量が多い。これに対し操作入力信号１４２のための通信はタッチ操作入力部１２０による入力データなどであり、データ量は少ない。このようなデータ量の違いを反映させるべく、表示信号１３２のための通信との操作入力信号１４２のための通信とのそれぞれために適切なプロトコルが別々に選択され組合わされるものでもよい。その結果、採用される各プロトコルが機器の相互の認証（ペアリング）の手続についての規定を含んでいるようなものであったとしても、本実施形態でのペアリングのためにその認証の手続を当該規定通りに実行することは必須ではない。例えば、電子機器２００から表示操作端末１００への表示信号１３２のための通信にあるプロトコルを採用する場合に、当該プロトコルでは双方向の通信が規定され相互認証ができるものであったとする。そのような場合であっても、本実施形態の表示操作分離システム１０では、その相互認証ではなく、表示操作端末１００から電子機器２００への操作入力信号１４２のための通信に用いる別のプロトコルにおいて相互認証することもできる。 2-4. Two-way communication In the display operation separation system 10 of the present embodiment, communication for the display signal 132 between the terminal receiver 130 and the device transmitter 240 and an operation input signal between the terminal transmitter 140 and the device receiver 230 The protocol may be the same or different in both the communication for 142. In general, the display content of the display content included in the communication for the display signal 132 includes an image and a video, and the amount of data is large. On the other hand, the communication for the operation input signal 142 is input data by the touch operation input unit 120, and the data amount is small. In order to reflect such a difference in data amount, an appropriate protocol may be selected and combined separately for each of the communication for the display signal 132 and the communication for the operation input signal 142. As a result, even if each protocol adopted includes provisions for the mutual authentication (pairing) procedure of the devices, the authentication procedure for pairing in the present embodiment It is not essential to carry out as specified. For example, when a protocol for communication for the display signal 132 from the electronic device 200 to the display operation terminal 100 is adopted, it is assumed that bidirectional communication is defined in the protocol and mutual authentication is possible. Even in such a case, the display operation separation system 10 according to the present embodiment uses a different protocol used for communication for the operation input signal 142 from the display operation terminal 100 to the electronic device 200 instead of mutual authentication. Mutual authentication is also possible.
２－５．さらなる改良
　本実施形態の表示操作分離システム１０は様々な適用用途や使用目的に対応することができる。このため、任意選択として、上述した構成に追加の構成や特徴を付与することができる。 2-5. Further Improvements The display operation separation system 10 according to the present embodiment can be used for various applications and purposes of use. For this reason, as an option, an additional structure and the characteristic can be provided to the structure mentioned above.
　その一例が、データセキュリティの観点から採用される、いわゆるシンクライアントに近い構成である。すなわち電子機器２００との接続が解除された後の表示操作端末１００には、表示内容を再現できるような情報（データ）を保持しないという構成である。表示操作端末１００は、通常の実装方法で作製する場合、それ自体を機能させるためのソフトウェア（プログラム）、オペレーティングシステム（ＯＳ）を用い、マイクロプロセッサ（図示しない）を動作させるコンピューティング機器として作製する。そのような場合、表示操作端末１００も実装形態に合わせ不揮発性記録媒体を備えている可能性が高い。上述した表示信号１３２のための通信の無線通信が断続するリスクなども考えた場合には、そのような不揮発性記録媒体に通信内容を一時的に蓄積したりする構成が考えられる。しかし、表示操作端末１００がユーザーの意図しないタイミングで秘匿すべき情報をそれ自体のみで再生するとセキュリティ上のリスクを伴う。このため、上述した不揮発性記憶媒体からは、表示内容が消去することが有用である。 One example is a configuration close to what is called a thin client, which is adopted from the viewpoint of data security. That is, the display operation terminal 100 after the connection with the electronic device 200 is released does not hold information (data) that can reproduce the display content. When the display operation terminal 100 is manufactured by a normal mounting method, the display operation terminal 100 is manufactured as a computing device that operates a microprocessor (not shown) using software (program) and an operating system (OS) for functioning itself. . In such a case, it is highly likely that the display operation terminal 100 also includes a nonvolatile recording medium in accordance with the mounting form. In consideration of the risk of intermittent wireless communication for the display signal 132 described above, a configuration in which communication contents are temporarily stored in such a nonvolatile recording medium can be considered. However, if the display operation terminal 100 reproduces information that should be concealed at a timing not intended by the user by itself, there is a security risk. For this reason, it is useful to erase the display contents from the above-described nonvolatile storage medium.
　本実施形態の表示操作分離システム１０において、表示操作端末１００には、例えばボタンなどの追加の指操作入力部をさらに備えていることが好ましい。この指操作入力部は、典型的には、使用者からの指による操作入力を受け付け、表示エリア１１０ａから外れた位置に配置されている。このような指操作入力部による信号は、端末送信部１４０が送る操作入力信号の一部に含めて電子機器に送信されると有用である。特に組合わされる電子機器２００が何らかの指操作入力部を実装したものである場合には、表示操作端末１００における指操作入力部も同様の機能を果たすと有利である。さらに、表示エリア１１０aの一部にボタン要素を表示させ、同様の機能を持たせることも可能である。その場合にボタン要素に対する操作をユーザーが行うと、ボタン要素に対する操作であることを示す情報を伴うタッチ操作信号が生成され、操作入力信号の一部となって伝達される。 In the display operation separation system 10 of the present embodiment, it is preferable that the display operation terminal 100 further includes an additional finger operation input unit such as a button. The finger operation input unit typically receives an operation input by a finger from the user and is disposed at a position outside the display area 110a. It is useful that such a signal by the finger operation input unit is included in a part of the operation input signal sent by the terminal transmission unit 140 and transmitted to the electronic device. In particular, when the electronic device 200 to be combined is one in which some kind of finger operation input unit is mounted, it is advantageous that the finger operation input unit in the display operation terminal 100 also performs the same function. Further, it is possible to display a button element in a part of the display area 110a and to have a similar function. In this case, when the user performs an operation on the button element, a touch operation signal including information indicating that the operation is performed on the button element is generated and transmitted as a part of the operation input signal.
　指操作入力部以外の追加の入力部も表示操作端末１００に装備することも好ましい。例えば全体の向きやその変化を検知するセンサーを表示操作端末１００に内蔵し、表示操作端末１００全体の傾きを操作入力信号の一部に含めることもできる。全体を傾ければ、「進む」ことを意味するようにプログラムしておけば、ユーザーは頁単位で表示される表示コンテンツ（電子書籍など）を表示して表示操作端末１００を片手で保持して閲覧している時にも頁送り操作を容易に行うことができる。さらには、表示操作端末１００の全体が少なくとも部分的に可撓性を示すように作られている場合には、ユーザーが撓ませることを検知するセンサーを表示操作端末１００に装備することも好ましい。ユーザーが操作端末１００を撓ませることは、例えば頁送りに利用することもできる。また、好ましくは表示操作端末１００には傾きまたは加速度を検知するセンサーを設けることができる。表示操作端末１００がユーザーを傾けたことを検知して頁送りを行うことも、ユーザビリティーを一層向上させる点で有用である。 It is also preferable to equip the display operation terminal 100 with an additional input unit other than the finger operation input unit. For example, a sensor for detecting the entire direction and its change can be incorporated in the display operation terminal 100, and the inclination of the entire display operation terminal 100 can be included in a part of the operation input signal. If the whole is tilted and programmed to mean "go forward", the user displays the display content (such as an electronic book) displayed on a page basis and holds the display operation terminal 100 with one hand. The page turning operation can be easily performed while browsing. Furthermore, when the entire display operation terminal 100 is made to be at least partially flexible, it is also preferable that the display operation terminal 100 is equipped with a sensor that detects that the user bends. The bending of the operation terminal 100 by the user can be used for page turning, for example. Preferably, the display operation terminal 100 can be provided with a sensor for detecting tilt or acceleration. It is also useful in terms of further improving usability to detect that the display operation terminal 100 tilts the user and perform page turning.
　表示操作端末１００の利便性を極大化するべく究極的な薄型の形状を実現する場合、多くの電子機器同様に電池の問題がつきまとう。本実施形態の表示操作分離システム１０で採用される表示操作端末１００も、ごく典型的には電池により動作させる。それ以外にも、使用される電力の一部または全部を、無線で電力接続される外部電源または外部電池によりまかなうことが有用である。無線での電力接続は、Ｑｉ（米国Wireless Power Consortium）などの非接触電力伝送技術により実用化されている。また、この電力接続を表示操作端末１００の内蔵電池の充電のために利用することもできる。上述した外部電池は、表示操作端末１００と電子機器２００と互いに近接させて同時使用する用途では、操作端末１００に装備されていて表示操作端末１００の電力に加え、電子機器２００の電力の全部または一部をまかなうようなものであってもよい。また、電子機器２００に装備される電池を表示操作端末１００にとっての外部電池として利用することもできる。さらに、表示操作端末１００が無線での電力接続を利用するものであれば、表示操作端末１００からコネクター類を削減したり排除したりできるため、防滴・防水といった利便性を高める設計が容易になり、無菌室に持込む際にアルコール消毒を受けるような使い方にも障害が少なくなる。 When realizing the ultimate thin shape in order to maximize the convenience of the display operation terminal 100, there will be a battery problem as in many electronic devices. The display operation terminal 100 employed in the display operation separation system 10 of this embodiment is also typically operated by a battery. In addition, it is useful to cover part or all of the power used by an external power source or an external battery that is wirelessly connected. Wireless power connection has been put into practical use by a non-contact power transmission technology such as Qi (US Wireless Power Consortium). Further, this power connection can be used for charging the internal battery of the display operation terminal 100. The external battery described above is installed in the operation terminal 100 and used for the display operation terminal 100 and the electronic device 200 in close proximity to each other, and in addition to the power of the display operation terminal 100, all of the electric power of the electronic device 200 or It may be something that covers a part. In addition, a battery installed in the electronic device 200 can be used as an external battery for the display operation terminal 100. Furthermore, if the display operation terminal 100 uses wireless power connection, the connectors can be reduced or eliminated from the display operation terminal 100, so that it is easy to design to improve convenience such as drip-proofing and waterproofing. Therefore, there are fewer obstacles in how to use alcohol sterilization when brought into a sterile room.
　本実施形態の表示操作端末１００では、端末表示部１１０が可撓性を示すものであると好ましい。可撓性がある表示部１１０は、例えばプラスティックフィルム基板を利用して作製される有機ＥＬ表示装置や液晶表示装置で実現できる。可撓性を持つ表示部１１０は、例えばガラス基板を利用したものに比べ一般に衝撃に強い。そのため、表示操作端末１００の筐体に付与すべき表示部１１０の衝撃保護機能を簡略化でき、表示操作端末１００の軽量化が可能となる。さらに、表示操作端末１００の筐体自体も可撓性を付与し、例えば搭載される回路基板や電池などもそれに対応できるようなものとすることも有用である。可撓性をもつ表示操作端末１００の筐体や表示部１１０に併せて例えばフレキシブル基板や可撓性を示すリチウムポリマー電池を採用すれば、表示操作端末１００全体にある程度の可撓性や弾性を付与することができる。可撓性や弾性をもつ表示操作端末１００は極めて手軽に利用できるものとなるため、ユーザーに極大化された利便性を提供することができる。 In the display operation terminal 100 of this embodiment, it is preferable that the terminal display unit 110 exhibits flexibility. The flexible display unit 110 can be realized by, for example, an organic EL display device or a liquid crystal display device manufactured using a plastic film substrate. The display unit 110 having flexibility is generally more resistant to impact than a display unit using a glass substrate, for example. Therefore, the impact protection function of the display unit 110 to be provided to the housing of the display operation terminal 100 can be simplified, and the display operation terminal 100 can be reduced in weight. Furthermore, it is also useful that the casing of the display operation terminal 100 is flexible so that, for example, a mounted circuit board, a battery, and the like can cope with it. If, for example, a flexible substrate or a flexible lithium polymer battery is used in addition to the housing or display unit 110 of the display operation terminal 100 having flexibility, the display operation terminal 100 as a whole has a certain degree of flexibility and elasticity. Can be granted. Since the display operation terminal 100 having flexibility and elasticity can be used very easily, it is possible to provide the user with maximized convenience.
３．電子機器の構成
　次に表示操作分離システム１０において表示操作端末１００と組み合わせて使用される電子機器２００について説明する。電子機器２００となりうるものを例示すれば、スマートフォン、ポータブルＰＣ、タブレット端末、が典型である。これらは、単独である程度の可搬性が付与され、ユーザーによる直接の操作が予定され、それ自体が表示部（機器表示部）を持っている。これら以外に電子機器２００となりうるものは、デスクトップＰＣ、サーバーコンピュータなどである。電子機器２００といいうるための要件は、コンピューティング機器であり、それ自体でユーザーに表示機能を提供し、ユーザーからの入力を受け付け、必要な通信機能を実装しているもの、といえる。以下、主に電子機器２００としてスマートフォンを想定した説明を行うが、本実施形態の電子機器２００はこれに限定されるものではない。 3. Configuration of Electronic Device Next, an electronic device 200 used in combination with the display operation terminal 100 in the display operation separation system 10 will be described. If what can become the electronic device 200 is illustrated, a smart phone, portable PC, and a tablet terminal will be typical. These are given a certain degree of portability by themselves, and are expected to be directly operated by the user, and have a display unit (device display unit). Other than these, what can be the electronic device 200 is a desktop PC, a server computer, or the like. It can be said that the requirement for the electronic device 200 is a computing device, which itself provides a display function to a user, accepts input from the user, and implements a necessary communication function. Hereinafter, although description will be given mainly assuming a smartphone as the electronic device 200, the electronic device 200 of the present embodiment is not limited to this.
　電子機器２００のために既存のスマートフォンを用いる場合に、必要なハードウェア要件は、特別なものではない。上述した要件に加え、無線通信をするなら必要な通信プロトコルでの無線通信が可能であることといった要件が存在する程度である。表示操作分離システム１０に採用される電子機器２００はそれまで使用されているスマートフォンに比べむしろ制約が少ない面もある。例えば、電子機器２００は極めて小型でもかまわない。表示や入力を表示操作端末１００に任せることができれば表示部のサイズを利便性の点から拡大する必要はないからである。このため、電子機器２００のために既存のスマートフォンを採用する場合には、表示操作端末１００が十分なサイズであるなら、電子機器２００のサイズをユーザビリティーの目的で大きくする要請が緩和されるという実用上の意義がある。ただし、本実施形態は、表示操作端末１００と電子機器２００のいずれかのサイズを特段限定するものでない。 When using an existing smartphone for the electronic device 200, the necessary hardware requirements are not special. In addition to the requirements described above, there is a requirement that wireless communication with a necessary communication protocol is possible if wireless communication is performed. The electronic device 200 employed in the display / operation separation system 10 has a surface with fewer restrictions than a smartphone that has been used so far. For example, the electronic device 200 may be extremely small. This is because if the display and input can be left to the display operation terminal 100, it is not necessary to increase the size of the display unit in terms of convenience. For this reason, in the case of adopting an existing smartphone for the electronic device 200, if the display operation terminal 100 is of a sufficient size, the request for increasing the size of the electronic device 200 for the purpose of usability is eased. There is practical significance. However, this embodiment does not particularly limit the size of either the display operation terminal 100 or the electronic device 200.
　なお、既存のスマートフォンやタブレット端末類に実装される機能のうちには、製造者が他者による拡張機能の実装を制限するためにプロテクトを設けているものがある（例：米国Ａｐｐｌｅ社ｉＯＳ搭載製品群）。そのようなプロテクトは本実施形態の実施上の本質的障害とはならない。当該製造者にとってプロテクトは解除可能無関係であり、またプロテクトはポリシーの変更により解除できるからである。このため、本実施形態の電子機器２００のためにそのようなもプロテクトを実装しているものを採用することもできる。 Note that some of the functions implemented in existing smartphones and tablet terminals are protected by manufacturers in order to limit the implementation of extended functions by others (for example, installed by Apple Inc. in the United States). Product family). Such protection is not an essential obstacle to the implementation of this embodiment. This is because the protection is unrelated to the manufacturer, and the protection can be canceled by changing the policy. For this reason, it is also possible to employ a device in which such protection is mounted for the electronic device 200 of the present embodiment.
４．システムの動作（概要）
　次に本実施形態の表示操作分離システム１０全体の構成および動作について動作について追加して説明する。表示操作分離システム１０は、典型的には図１に示したように、表示操作端末１００と電子機器２００とを一台ずつ組み合せる１対１接続にて利用される。 4). System operation (overview)
Next, the configuration and operation of the entire display / operation separation system 10 according to the present embodiment will be described with additional operations. As shown in FIG. 1, the display operation separation system 10 is typically used in a one-to-one connection in which the display operation terminal 100 and the electronic device 200 are combined one by one.
４－１．１対１接続
　１対１の接続において利用される場合、典型的には表示操作端末１００は、電子機器２００との組合せを、ある程度想定した状態で使用される。表示操作端末１００と電子機器２００を互いに接続する際に無線接続を行う場合、相互認証のための処理（ペアリングの処理）が必要となる。 4-1.1 One-to-One Connection When used in a one-to-one connection, the display operation terminal 100 is typically used in a state where a combination with the electronic device 200 is assumed to some extent. When wireless connection is performed when the display operation terminal 100 and the electronic device 200 are connected to each other, processing for mutual authentication (pairing processing) is required.
　表示操作分離システム１０では、このペアリングの処理におけるユーザーの介入を最小化する自動スタートの機能を実装することが好ましい。図２は、こ無線通信を利用する表示操作端末１００にこのような機能を実装する場合の構成を示す模式図である。表示操作端末１００は上述した構成に追加して、自動スタートの機能のために、通信制御部１６２、ペアリング情報記録部１６４、電波強度検知部１６６を備えている。通信制御部１６２は、端末受信部１３０および端末送信部１４０による電子機器２００との接続の確立および解除を制御する。ペアリング情報記録部１６４は、電子機器２００を接続認証済み機器の一つとして登録するためのペアリング情報１６４ａを格納する。ペアリング情報１６４ａは、例えば、表示操作端末１００を機能させるためのオペレーティングシステム上で管理されるファイルの形式に実装される。そして、電波強度検知部１６６は、端末受信部１３０に接続されて受信可能な種類の電波の強度を決定でき、端末受信部１３０による受信電波強度を示しうる検知信号１６６ａを送出する。電波強度検知部１６６が検出するのは、電子機器２００と表示操作端末１００が通信接続を確立した後に接続を維持するのに支障があるかないかを示す電波強度である。この検出動作のため表示操作端末１００は、例えば端末送信部１４０を通じて電子機器２００を探索する信号を発し、それに応じた受信確認として電子機器２００が発する電波を検出するなどの手法を採用することができる。 In the display / operation separation system 10, it is preferable to implement an automatic start function that minimizes user intervention in the pairing process. FIG. 2 is a schematic diagram showing a configuration when such a function is implemented in the display operation terminal 100 using this wireless communication. In addition to the above-described configuration, the display operation terminal 100 includes a communication control unit 162, a pairing information recording unit 164, and a radio wave intensity detection unit 166 for the automatic start function. The communication control unit 162 controls establishment and release of connection with the electronic device 200 by the terminal receiving unit 130 and the terminal transmitting unit 140. The pairing information recording unit 164 stores pairing information 164a for registering the electronic device 200 as one of the connection authenticated devices. The pairing information 164a is implemented, for example, in a file format managed on an operating system for causing the display operation terminal 100 to function. The radio wave intensity detection unit 166 is connected to the terminal receiving unit 130 and can determine the intensity of the type of radio waves that can be received, and sends a detection signal 166a that can indicate the received radio wave intensity by the terminal receiving unit 130. The radio wave intensity detection unit 166 detects the radio wave intensity indicating whether or not there is a problem in maintaining the connection after the electronic device 200 and the display operation terminal 100 establish the communication connection. For this detection operation, the display operation terminal 100 may employ a technique of, for example, issuing a signal for searching for the electronic device 200 through the terminal transmission unit 140 and detecting a radio wave emitted by the electronic device 200 as a reception confirmation corresponding thereto. it can.
　典型的には、表示操作端末１００と電子機器２００は、あらかじめペアリングを完了しており、表示操作端末１００のペアリング情報１６４ａには、電子機器２００が接続認証済み機器として登録を済ませてある。ペアリング情報１６４ａに登録されているのは、無線通信のためのペアリング情報一般であり、例えばＭｉｒａｃａｓｔ、ＢＴ、ＮＦＣなど、通常それらのみの通信では最初にペアリングのために互いの認証情報を必要とするような任意の通信プロトコルのものである。そのような場合には通信制御部１６２は、電波強度検知部１６６からの検知信号１６６ａに基づいて受信電波強度が所定の強度基準値より強いかどうかを判定する。十分な受信電波強度が得られている場合、通信制御部１６２は、端末受信部１３０および端末送信部１４０を制御して電子機器２００との接続を確立させる。このような動作によって少なくとも一度ペアリングの処理を完了し登録を済ませている電子機器２００が表示操作端末１００にとって通信可能な状態になると、表示操作端末１００は少ない手順で電子機器２００との接続を確立することができ、ユーザーに高い利便性を提供することができる。 Typically, the display operation terminal 100 and the electronic device 200 have already been paired in advance, and the electronic device 200 has already been registered as a connection authenticated device in the pairing information 164a of the display operation terminal 100. . Registered in the pairing information 164a is general pairing information for wireless communication. For example, Miracast, BT, NFC, etc. Usually, only in those communication, the mutual authentication information is first set for pairing. It is of any communication protocol as required. In such a case, the communication control unit 162 determines whether the received radio wave intensity is stronger than a predetermined intensity reference value based on the detection signal 166a from the radio wave intensity detection unit 166. When sufficient received radio wave intensity is obtained, the communication control unit 162 controls the terminal receiving unit 130 and the terminal transmitting unit 140 to establish a connection with the electronic device 200. When the electronic device 200 that has completed the pairing process and has been registered at least once by such an operation becomes communicable to the display operation terminal 100, the display operation terminal 100 connects to the electronic device 200 with a few steps. It can be established and can provide high convenience to the user.
　より詳細には、通信の接続確立を３段階で行う例が考えられる。最初の第１段階として、ＮＦＣにより電子機器２００がごく接近していることを表示操作端末１００が検出する。その時点では、端末受信部１３０による表示内容の受信はまだできない。ＮＦＣによる通信のためにはペアリング情報１６４ａに格納されているＮＦＣのためのペアリング情報が利用される。ＮＦＣでの接続が確立するためには機器が互いに接近している必要があるため、表示操作端末１００による電子機器２００の検出自体が電波強度検知部１６６の動作となる。次に第２段階として、ＮＦＣの接続確立を契機にしてＭｉｒａｃａｓｔでの接続を確立する。そのためにも、ペアリング情報１６４ａに格納されているＭｉｒａｃａｓｔのためのペアリング情報が利用される。これにより、表示操作端末１００は端末受信部１３０を通じて表示内容を示す表示信号１３２を受信できるようになる。さらに第３段階として、ＢＴでの通信が確立される。その際にも、ペアリング情報１６４ａに格納されているＢＴのためのペアリング情報が利用される。これにより、表示操作端末１００はタッチ操作信号を含む操作入力信号１４２を端末送信部１４０により電子機器２００に送信できるようになる。 More specifically, an example in which communication connection establishment is performed in three stages can be considered. As the first first stage, the display operation terminal 100 detects that the electronic device 200 is very close by NFC. At that time, the display content cannot be received by the terminal receiver 130 yet. For communication by NFC, pairing information for NFC stored in pairing information 164a is used. Since the devices need to be close to each other in order to establish the NFC connection, the detection of the electronic device 200 by the display operation terminal 100 itself becomes the operation of the radio wave intensity detection unit 166. Next, as a second stage, the Miracast connection is established in response to the NFC connection establishment. For this purpose, the pairing information for Miracast stored in the pairing information 164a is used. As a result, the display operation terminal 100 can receive the display signal 132 indicating the display content through the terminal receiving unit 130. Further, as a third stage, communication at the BT is established. Also in this case, the pairing information for BT stored in the pairing information 164a is used. Thereby, the display operation terminal 100 can transmit the operation input signal 142 including the touch operation signal to the electronic device 200 by the terminal transmission unit 140.
　図２に示した自動スタートの機能は、例えば表示操作端末１００の電源が切られている状態から電源が投入される際にも実行される。ペアリング情報記録部１６４を不揮発性メモリーなどにより実装すれば、電源を切ってもその情報は保持される。 The automatic start function shown in FIG. 2 is also executed when the power is turned on, for example, when the display operation terminal 100 is turned off. If the pairing information recording unit 164 is mounted by a nonvolatile memory or the like, the information is retained even when the power is turned off.
　表示操作分離システム１０では、複数の通信プロトコルをミラーリングのために使用することが好ましい。通信プロトコルには、伝送速度と、表示帯域によって定まる表示品質等と、到達距離と、消費電力との関係にトレードオフがみられることが多い。このため例えば、通信状態が良いときには表示品質を優先した通信プロトコルを採用し、逆に悪くなると、表示品質よりも到達距離を優先し通信確立が容易な通信プロトコルを採用することが有利である。そのような場合には、複数の通信プロトコルに接続を試行する順位を与えておくと実用性が高い。本実施形態では特に問題となるのが表示内容を伝送してミラーリングを行う通信チャネルであるため、表示操作端末１００からみた場合の受信を主に対象にすることが好ましい。図３は、表示操作端末１００に複数の通信プロトコルを実装してミラーリングをあらかじめ指定した試行順位に合わせてレベル分けして行う場合の構成を示す模式図である。そのような好適な構成の表示操作端末１００は上述した構成に加えて、複数プロトコルによるレベル分けしたミラーリングの機能のために、受信制御部１７２、プロトコル別ペアリング情報記録部１７４、試行シーケンス設定部１７６を備えている。 In the display operation separation system 10, it is preferable to use a plurality of communication protocols for mirroring. In communication protocols, there are often trade-offs in the relationship between transmission speed, display quality determined by the display band, etc., reachable distance, and power consumption. For this reason, for example, when the communication state is good, it is advantageous to adopt a communication protocol that prioritizes display quality, and when it becomes worse, it is advantageous to adopt a communication protocol that prioritizes reachability over display quality and facilitates communication establishment. In such a case, it is highly practical to give the order of connection attempts to a plurality of communication protocols. In this embodiment, a communication channel that transmits display contents and performs mirroring is particularly problematic. Therefore, it is preferable to mainly receive data when viewed from the display operation terminal 100. FIG. 3 is a schematic diagram showing a configuration in the case where a plurality of communication protocols are mounted on the display operation terminal 100 and mirroring is performed in levels according to trial orders designated in advance. In addition to the above-described configuration, the display operation terminal 100 having such a preferable configuration includes a reception control unit 172, a pairing information recording unit 174 for each protocol, a trial sequence setting unit for a mirroring function divided into levels by a plurality of protocols. 176.
　受信制御部１７２は端末受信部１３０による電子機器２００との受信接続の確立および解除を制御するように動作する。プロトコル別ペアリング情報記録部１７４は、複数の通信プロトコルそれぞれと対応させて電子機器２００を接続認証済み機器の一つとして登録するためのプロトコル別ペアリング情報１７４ａを格納している。そして、試行シーケンス設定部１７６は、表示信号の受信のための複数の通信プロトコルについて、各通信プロトコルの接続確立を試行する試行順位および試行時間を設定する試行シーケンス情報１７６ａを格納している。ここで、端末受信部１３０は、電子機器２００からの表示信号を複数の通信プロトコルにより受信しうるものである。さらに、受信制御部１７２は、プロトコル別ペアリング情報１７４ａに接続認証済みと登録されている機器からの受信接続を確立しようとする試行処理を、通信プロトコルを切り替えながら実行する。その際、試行シーケンス設定部１７６の試行順位および試行時間に対応するような複数の通信プロトコルの順序および各通信プロトコルの待機時間が用いられる。典型的な場合、試行順位は、先に表示品質を優先したもの、後ろに通信確立が容易なもの、という順序で並べられる。 The reception control unit 172 operates so as to control establishment and release of a reception connection with the electronic device 200 by the terminal reception unit 130. The protocol-specific pairing information recording unit 174 stores protocol-specific pairing information 174a for registering the electronic device 200 as one of the connection-authenticated devices in association with each of a plurality of communication protocols. The trial sequence setting unit 176 stores trial sequence information 176a for setting trial ranks and trial times for trying to establish a connection of each communication protocol for a plurality of communication protocols for receiving the display signal. Here, the terminal receiving unit 130 can receive a display signal from the electronic device 200 using a plurality of communication protocols. Furthermore, the reception control unit 172 executes trial processing for establishing a reception connection from a device registered as connection-authenticated in the protocol-specific pairing information 174a while switching the communication protocol. At that time, the order of a plurality of communication protocols and the waiting time of each communication protocol corresponding to the trial rank and trial time of the trial sequence setting unit 176 are used. In a typical case, the trial order is arranged in the order of the display quality prioritized first and the communication establishment easy thereafter.
　さらに、表示操作端末１００と電子機器２００とが無線通信に加え有線通信が可能なものである場合には、同様のミラーリングのレベル分けにおいて無線通信よりも優先される上位に有線通信を設定することが有利である。その場合、端末受信部１３０および端末送信部１４０のいずれかまたは双方がさらに有線通信により電子機器２００と通信する。プロトコル別ペアリング情報１７４ａは有線通信について電子機器を接続認証済み機器の一つとして登録している。そして、試行シーケンス設定部１７６が格納している試行シーケンス情報１７６ａは、有線通信について試行順位を無線通信よりも上位の試行順位に定めている。有線通信では無線通信と異なり試行時間を定める必要は必ずしも無いため、必ずしも試行時間は設定されていなくてもよい。 Further, when the display operation terminal 100 and the electronic device 200 are capable of wired communication in addition to wireless communication, the wired communication is set to a higher priority than the wireless communication in the same level of mirroring. Is advantageous. In that case, either or both of the terminal receiver 130 and the terminal transmitter 140 further communicate with the electronic device 200 by wired communication. The pairing information by protocol 174a registers an electronic device as one of connection-authenticated devices for wired communication. The trial sequence information 176a stored in the trial sequence setting unit 176 sets the trial order higher than the wireless communication for the wired communication. In wired communication, unlike wireless communication, it is not always necessary to set a trial time, so the trial time does not necessarily have to be set.
　加えて表示操作分離システム１０では、有線通信を無線通信のために更に活用することも好ましい。無線通信のプロトコルにおいてペアリングのための手続はユーザーにとって比較的手間のかかる処理である。有線接続ではユーザーがその接続の行為をもって表示操作端末１００と電子機器２００の間での接続の意思を示すことができる。この有線通信の接続を契機に表示操作端末１００と電子機器２００とを無線通信でもペアリングされる組み合せとして登録してしまうことはユーザーの手間を省き高い利便性をもたらすものといえる。 In addition, in the display / operation separation system 10, it is also preferable to further utilize wired communication for wireless communication. The procedure for pairing in the wireless communication protocol is a relatively troublesome process for the user. In the wired connection, the user can indicate the intention of connection between the display operation terminal 100 and the electronic device 200 with the connection action. It can be said that registering the display operation terminal 100 and the electronic device 200 as a combination that can be paired even by wireless communication with the connection of the wired communication saves the user's trouble and brings about high convenience.
　図４は有線通信でペアリングの動作を行う表示操作分離システム１０の構成を示す模式図である。図中の白抜き両矢印は有線通信による接続を確立した状態を示している。すなわち有線通信でペアリングの動作を行う表示操作分離システム１０は、端末受信部１３０および機器送信部２４０が互いに有線通信により通信するものであるか、または、端末送信部１４０および機器受信部２３０が互いに有線通信により通信するものとされる。表示操作端末１００は、端末受信部１３０および端末送信部１４０のいずれかによる電子機器２００との接続の確立および解除を制御する端末通信制御部１６２を備える。また、端末ペアリング情報記録部１６４は、電子機器２００を接続認証済み機器の一つとして登録するためのペアリング情報１６４ａを格納する。そして、端末通信制御部１６２は、端末ペアリング情報記録部１６４に接続認証済み機器とは記録されていない電子機器２００が端末送信部１４０または端末受信部１３０を通じて表示操作端末１００に有線通信で接続された場合に、端末送信部１４０または端末受信部１３０を制御して表示操作端末１００と電子機器２００とを互いに認証する手順を実行させる。そして、電子機器２００との接続が確立した後に電子機器２００が接続認証済み機器であると端末ペアリング情報１６４ａに登録される。 FIG. 4 is a schematic diagram showing the configuration of the display operation separating system 10 that performs the pairing operation by wired communication. White double arrows in the figure indicate a state where connection by wired communication is established. That is, in the display operation separation system 10 that performs the pairing operation by wired communication, the terminal reception unit 130 and the device transmission unit 240 communicate with each other by wired communication, or the terminal transmission unit 140 and the device reception unit 230 have It is assumed that they communicate with each other by wired communication. The display operation terminal 100 includes a terminal communication control unit 162 that controls establishment and release of the connection with the electronic device 200 by either the terminal reception unit 130 or the terminal transmission unit 140. In addition, the terminal pairing information recording unit 164 stores pairing information 164a for registering the electronic device 200 as one of the connection authenticated devices. Then, the terminal communication control unit 162 connects the electronic device 200 that is not recorded as a connection-authenticated device in the terminal pairing information recording unit 164 to the display operation terminal 100 through the terminal transmission unit 140 or the terminal reception unit 130 by wired communication. If it is, the terminal transmission unit 140 or the terminal reception unit 130 is controlled to execute a procedure for mutually authenticating the display operation terminal 100 and the electronic device 200. Then, after the connection with the electronic device 200 is established, the electronic device 200 is registered in the terminal pairing information 164a as a connection authenticated device.
　このような動作により、表示操作端末１００は、一度電子機器２００と有線接続された後にはペアリング済みの装置として電子機器２００を認識し、無線通信の際に省略された手順で電子機器２００との接続を確立することができる。 By such an operation, the display operation terminal 100 recognizes the electronic device 200 as a paired device after being wired to the electronic device 200 once, and performs the procedure omitted with the electronic device 200 in the procedure omitted during wireless communication. Connection can be established.
　上述した有線通信のための機能や処理は、表示操作端末１００に加えて、または表示操作端末１００に代えて電子機器２００側に実装することもできる。その場合の構成も図４に示すように、電子機器２００が機器通信制御部２６２と機器ペアリング情報記録部２６４を備えている。機器通信制御部２６２は、機器受信部２３０および機器送信部２４０の双方による表示操作端末１００との接続の確立および解除を制御する。機器ペアリング情報記録部２６４は、表示操作端末１００を接続認証済み機器の一つとして登録するためのペアリング情報２６４ａを格納する。機器通信制御部２６２は、機器ペアリング情報記録部２６４に接続認証済み機器とは記録されていない表示操作端末１００が機器送信部２４０または機器受信部２３０を通じて電子機器に有線通信で接続された場合に機器送信部２４０または機器受信部２３０を制御して、電子機器２００と表示操作端末１００とを互いに認証する手順を実行させ、表示操作端末１００との接続が確立した後に表示操作端末１００が接続認証済み機器であると機器ペアリング情報２６４ａに登録する。 The functions and processing for wired communication described above can be implemented on the electronic device 200 side in addition to the display operation terminal 100 or in place of the display operation terminal 100. In this case, as shown in FIG. 4, the electronic device 200 includes a device communication control unit 262 and a device pairing information recording unit 264. The device communication control unit 262 controls the establishment and release of the connection with the display operation terminal 100 by both the device reception unit 230 and the device transmission unit 240. The device pairing information recording unit 264 stores pairing information 264a for registering the display operation terminal 100 as one of connection-authenticated devices. When the display operation terminal 100 that is not recorded as a connection-authenticated device in the device pairing information recording unit 264 is connected to the electronic device via the device transmission unit 240 or the device reception unit 230 by wired communication, the device communication control unit 262 The device control unit 240 controls the device transmission unit 240 or the device reception unit 230 to execute a procedure for mutually authenticating the electronic device 200 and the display operation terminal 100, and the display operation terminal 100 is connected after the connection with the display operation terminal 100 is established. The device pairing information 264a is registered as an authenticated device.
　これらの動作におけるソフトウェアによる動作は次のようになる。あらかじめ電子機器２００に表示操作端末１００との初期化設定を行うためのプログラム（初期化用アプリケーションプログラム）をインストールしておく。同様に表示操作端末１００にも、電子機器２００との初期化用アプリケーションプログラムをインストールしておく。そして、電子機器２００と表示操作端末１００が、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）等の有線により接続される。この接続確立をきっかけに、表示操作端末１００と電子機器２００のそれぞれで初期化用アプリケーションプログラムを起動させる。両初期化用アプリケーションプログラムは互いに通信することによりペアリング用の初期化設定を完了させる。 The operation by software in these operations is as follows. A program (initialization application program) for performing initialization settings with the display operation terminal 100 is installed in the electronic device 200 in advance. Similarly, an application program for initialization with the electronic device 200 is also installed in the display operation terminal 100. And the electronic device 200 and the display operation terminal 100 are connected by wire, such as USB (Universal Serial Bus), for example. As a result of this connection establishment, the initialization application program is started on each of the display operation terminal 100 and the electronic device 200. Both initialization application programs communicate with each other to complete the initialization setting for pairing.
　表示操作分離システム１０を使用する最も典型的な場面は、電子機器２００があるユーザーの所有するスマートフォンであり、そのユーザーが自ら表示操作端末１００を使用するという状況である。そのユーザーは、スマートフォンの表示部を拡大して得られる高い利便性を期待して表示操作端末１００を利用するのである。電子機器２００が特定のユーザーによる使用を前提としたものであれば、このような使用形態での表示操作端末１００もそのユーザーのものである可能性が高い。そのような場合には、表示操作端末１００と電子機器２００は、同一の所在地で実質的に一人のユーザーにより使用される可能性が高く、結果、表示操作端末１００と電子機器２００を無線接続するのに加え、ケーブル類を用いることなく直接接続したいとも考えるであろう。図５は、このような直接接続を行う表示操作端末１００と電子機器２００の構造を示す模式図である。典型的な表示操作端末１００の形状は、表示操作端末１００が使用時において平板をなす形状をもち、表示操作端末１００の端末表示部１１０は平板の厚みをなす両面の一方の面１００ａに沿って配置されている。そのような場合、表示操作端末１００の両面のうちの他方の面１００ｂに端末接続端子群１５０が設けられていると、その端末接続端子群１５０を利用した直接接続（有線接続）が可能となる。電子機器２００では、端末接続端子群１５０と接続可能な機器接続端子群２５０がいずれかの面である接続面２００ｃに設けられている。電子機器２００は、端末接続端子群１５０と機器接続端子群２５０とが互いに接続された状態で表示操作端末１００の他方の面１００ｂに取り付けられる。こうして直接接続された場合には、有線接続の利点、すなわち、狭い空間で多数のユーザーが各人の表示操作端末１００を同時に使用しても無線接続特有の混雑は問題にならず、高い転送レートも実現する。また、無線接続のためのペアリング用の初期化設定を有線接続を利用して実行するという処理（上述）を端末接続端子群１５０と機器接続端子群２５０の直接接続により行うことも可能となる。 The most typical scene in which the display operation separation system 10 is used is a situation in which the electronic device 200 is a smartphone owned by a user, and the user uses the display operation terminal 100 himself. The user uses the display operation terminal 100 in expectation of high convenience obtained by enlarging the display unit of the smartphone. If the electronic device 200 is assumed to be used by a specific user, there is a high possibility that the display operation terminal 100 in such a usage pattern belongs to that user. In such a case, the display operation terminal 100 and the electronic device 200 are highly likely to be used by a single user at the same location, and as a result, the display operation terminal 100 and the electronic device 200 are wirelessly connected. In addition to the above, you may want to connect directly without using cables. FIG. 5 is a schematic diagram illustrating the structure of the display operation terminal 100 and the electronic device 200 that perform such direct connection. A typical shape of the display operation terminal 100 has a shape that forms a flat plate when the display operation terminal 100 is used, and the terminal display unit 110 of the display operation terminal 100 extends along one surface 100a of both surfaces forming the thickness of the flat plate. Has been placed. In such a case, if the terminal connection terminal group 150 is provided on the other surface 100b of the both sides of the display operation terminal 100, direct connection (wired connection) using the terminal connection terminal group 150 becomes possible. . In the electronic device 200, a device connection terminal group 250 that can be connected to the terminal connection terminal group 150 is provided on one of the connection surfaces 200c. The electronic device 200 is attached to the other surface 100b of the display operation terminal 100 in a state where the terminal connection terminal group 150 and the device connection terminal group 250 are connected to each other. When directly connected in this way, the advantage of wired connection, that is, congestion that is unique to wireless connection does not become a problem even when a large number of users simultaneously use the display operation terminals 100 in a narrow space, and a high transfer rate. Also realized. In addition, it is possible to perform the process (described above) of executing initialization setting for pairing for wireless connection using wired connection by direct connection between the terminal connection terminal group 150 and the device connection terminal group 250. .
４－２．画面
　本実施形態の表示操作分離システム１０では、ミラーリング動作の際の画面の表示を工夫することが好ましい。これは、表示操作端末１００にミラーリングすることによって生じかねない種々の問題や無駄を軽減することができるためである。このような問題や無駄が生じるのは、典型的には電子機器２００の表示内容が元来は電子機器２００自体の機器表示部２１０に表示されることを予定しているにもかかわらず、基本的にそのまま表示操作端末１００にて表示するためである。これに対処するための工夫の一つは、主に消費電力の観点からのものであり、もう一つは、電子機器２００が音声通話機能を持つ場合に、表示操作端末１００を活用するためのものである。 4-2. Screen In the display operation separation system 10 of the present embodiment, it is preferable to devise a screen display during the mirroring operation. This is because various problems and waste that may be caused by mirroring the display operation terminal 100 can be reduced. Such problems and wastes typically occur even though the display content of the electronic device 200 is originally scheduled to be displayed on the device display unit 210 of the electronic device 200 itself. This is because it is displayed on the display operation terminal 100 as it is. One of the measures for dealing with this is mainly from the viewpoint of power consumption, and the other is for using the display operation terminal 100 when the electronic device 200 has a voice call function. Is.
　図６は、ミラーリング時に電子機器２００にて電子機器２００の機器表示部２１０の動作を制御する様子を示す模式図である。電子機器２００は、機器表示部２１０を備えており、その機器表示部２１０は表示内容を使用者に呈示しうるものである。電子機器２００は、上述した構成に加え、リモート入力受付部２８２と、動作制御部２８４とを備えている。リモート入力受付部２８２は、表示操作端末１００の端末送信部１４０から送信され機器受信部２３０にて受信した操作入力信号を受け付ける。動作制御部２８４は、リモート入力受付部２８２からの信号に基づいて機器表示部２１０の省電力動作または停止動作への移行、またはいずれかの動作からの復帰を制御する。表示操作端末１００は、電子機器２００の機器表示部２１０の表示動作を省電力動作または停止動作させるべきことについての判断を促す設定プロンプト１１２を追加表示内容として表示内容に重ねて端末表示部１１０に表示させる。そして、設定プロンプト１１２に対し使用者からタッチ操作入力部１２０が受け付けた省電力動作または停止動作させるべきことを示す設定結果の入力を含む操作入力信号を、端末送信部１４０を通じて送信するように表示操作端末１００が動作する。電子機器２００の動作制御部２８４は、機器受信部２３０を通じリモート入力受付部２８２が操作入力信号を受信すると、設定結果を含む操作入力信号に基づいて機器表示部２１０を省電力動作または停止動作に移行させるように動作する。 FIG. 6 is a schematic diagram illustrating a state in which the operation of the device display unit 210 of the electronic device 200 is controlled by the electronic device 200 during mirroring. The electronic device 200 includes a device display unit 210, and the device display unit 210 can present display contents to the user. The electronic device 200 includes a remote input reception unit 282 and an operation control unit 284 in addition to the configuration described above. The remote input reception unit 282 receives an operation input signal transmitted from the terminal transmission unit 140 of the display operation terminal 100 and received by the device reception unit 230. The operation control unit 284 controls the transition of the device display unit 210 to the power saving operation or the stop operation, or the return from any operation based on the signal from the remote input reception unit 282. The display operation terminal 100 superimposes a setting prompt 112 that prompts a determination on whether the display operation of the device display unit 210 of the electronic device 200 should be a power saving operation or a stop operation on the display content as an additional display content on the terminal display unit 110. Display. Then, an operation input signal including an input of a setting result indicating that a power saving operation or a stop operation received by the touch operation input unit 120 from the user should be transmitted to the setting prompt 112 through the terminal transmission unit 140 is displayed. The operation terminal 100 operates. When the remote input reception unit 282 receives an operation input signal through the device reception unit 230, the operation control unit 284 of the electronic device 200 causes the device display unit 210 to perform a power saving operation or a stop operation based on the operation input signal including the setting result. Operates to make transition.
　図７は、電子機器２００がスマートフォン等であり音声通話機能を提供するものである場合に、音声通話中にも表示操作端末１００を活用するための構成を示す模式図である。電子機器２００は、上述した構成に追加して、機器表示部２１０、音声通話処理部２０２、機能管理制御部２０４、およびリモート入力受付部２８２を備えている。機器表示部２１０の表示内容を電子機器２００の使用者に呈示することができる。機能管理制御部２０４は、使用者が音声通話するための音声通話機能を提供する話中の期間に動作される。この機能管理制御部２０４は、音声通話処理部を含む電子機器自体の機能処理部を選択的に起動、休止、または停止させるために使用される。機能管理制御部２０４は、機器表示部２１０の表示内容の制御も実行する。電子機器２００を単独のスマートフォンの音声通話に使うためには、通常は、機器表示部２１０には、電子機器２００をユーザーが直接口と耳にあてがう前またはその途中に、ダイヤラー画面（音声通話用画面）を表示して音声通信のための動作をおこなう。例えばコール動作のための相手先選択画面を表示し、呼び出しボタンからコール動作への遷移を受け付けたり、相手方からコールされた場合には、アドレス帳データの相手方の情報を提示したり、単に通知された番号を表示する。そして例えば近接センサー（図示しない）でユーザーの顔に近付けられたことを検知すると、画面が暗転されたりする。ユーザーがマイクロフォンつきイヤホンセットで通話をする場合には、ダイヤラー画面をそのまま表示しつづけることも行われる。いずれにしても、電子機器２００を単独で使用すると、通常、音声通話のみに適した表示がなされる。これに対し、図７に示す表示操作分離システム１０では、電子機器２００に端末送信部１４０から送信され機器受信部２３０にて受信した操作入力信号を受け付けるリモート入力受付部２８２が備わっている。この場合、音声通話処理部２０２を動作させる話中の状態において、機器表示部２１０の表示内容は、典型的には、音声通話処理部２０２の起動時に呈示される音声通話用画面を表示する直前の音声通話用画面を含まない画面のものに戻すか、または操作の既定画面であるホーム画面のものにするか、のいずれかとなるように機能管理制御部２０４によって制御される。この表示内容は、表示操作端末１００にもミラーリングされているので、端末表示部１１０にて当該表示内容が呈示される。表示操作端末１００の使用者がタッチ操作入力部１２０に入力することによりタッチ操作入力部１２０が出力した操作入力信号は、端末送信部１４０、機器受信部２３０を経由してリモート入力受付部２８２で受け付けられる。この操作は、通話開始前の音声通話用画面を含まない画面であるか、ホーム画面に対するユーザーの入力であるので、ユーザーは、音声通話用画面を見る必要はなくなり、表示操作端末１００のサイズを生かした利便性を音声通話中にも享受することができる。この用途での電子機器２００の使用者は、典型的には表示操作端末１００の使用者と同一人物であるため、その人物は、通話中に、例えば電子機器２００に保存されている通話内容に関係する情報や関係しない情報の資料データを、表示操作端末１００の大きな表示部１１０で閲覧することができる。 FIG. 7 is a schematic diagram showing a configuration for utilizing the display operation terminal 100 during a voice call when the electronic device 200 is a smartphone or the like and provides a voice call function. The electronic device 200 includes a device display unit 210, a voice call processing unit 202, a function management control unit 204, and a remote input reception unit 282 in addition to the configuration described above. The display content of the device display unit 210 can be presented to the user of the electronic device 200. The function management control unit 204 is operated during a busy period in which a user provides a voice call function for making a voice call. This function management control unit 204 is used to selectively start, pause, or stop the function processing unit of the electronic device itself including the voice call processing unit. The function management control unit 204 also executes control of display contents of the device display unit 210. In order to use the electronic device 200 for a voice call of a single smartphone, a dialer screen (for a voice call) is usually displayed on the device display unit 210 before or while the user places the electronic device 200 directly on the mouth and ear. Screen) and perform operations for voice communication. For example, a caller selection screen for call operation is displayed, and transition from call button to call operation is accepted. When called from the other party, information on the other party in the address book data is presented or simply notified. Display the number. For example, when the proximity sensor (not shown) detects that the user is approaching the user's face, the screen is darkened. When a user makes a call using an earphone set with a microphone, the dialer screen is continuously displayed as it is. In any case, when the electronic device 200 is used alone, a display suitable for only a voice call is usually made. In contrast, the display operation separation system 10 shown in FIG. 7 includes a remote input reception unit 282 that receives an operation input signal transmitted from the terminal transmission unit 140 to the electronic device 200 and received by the device reception unit 230. In this case, in a state where the voice call processing unit 202 is in operation, the display content of the device display unit 210 is typically just before displaying the voice call screen presented when the voice call processing unit 202 is activated. It is controlled by the function management control unit 204 so that the screen is returned to a screen that does not include the voice call screen or the home screen that is the default screen for operation. Since this display content is also mirrored on the display operation terminal 100, the display content is presented on the terminal display unit 110. The operation input signal output from the touch operation input unit 120 when the user of the display operation terminal 100 inputs to the touch operation input unit 120 is transmitted to the remote input reception unit 282 via the terminal transmission unit 140 and the device reception unit 230. Accepted. Since this operation is a screen that does not include the voice call screen before the start of the call or is a user input to the home screen, the user does not need to see the voice call screen, and the size of the display operation terminal 100 is reduced. You can enjoy the convenience of the voice call during a voice call. Since the user of the electronic device 200 in this application is typically the same person as the user of the display operation terminal 100, the person can use the content of the call stored in the electronic device 200 during the call, for example. Material data of related information and unrelated information can be viewed on the large display unit 110 of the display operation terminal 100.
４－３．入力
　本実施形態の表示操作分離システム１０では、たとえ電子機器２００が小型のものであったとしても、表示操作端末１００のサイズを生かした利便性をユーザーが享受することができる。その一例が表示操作端末１００の表示部１１０およびタッチ操作入力部１２０のサイズを生かしたタッチ式キーボードである。正確な数値の入力といったキーボード操作を行うためには、表示画面にソフトウェアによってキーボードのキー配列を表示し、タッチ操作による入力をキー入力に見立てるタッチ式キーボードは有用である。 4-3. Input In the display operation separation system 10 according to the present embodiment, even if the electronic device 200 is small, the user can enjoy the convenience of taking advantage of the size of the display operation terminal 100. One example thereof is a touch keyboard that takes advantage of the sizes of the display unit 110 and the touch operation input unit 120 of the display operation terminal 100. In order to perform a keyboard operation such as inputting an accurate numerical value, a touch-type keyboard that displays a keyboard key arrangement by software on a display screen and makes an input by a touch operation as a key input is useful.
　図８は、本実施形態の表示操作分離システム１０においてタッチ式キーボードを表示操作端末１００に表示する場合の構成を示す模式図である。電子機器２００は、上述した構成に加え、機器表示部２１０、カーソル制御部２１２、入力制御部２２２、そしてリモート入力受付部２８２を備えている。機器表示部２１０は、表示内容を使用者に呈示する。カーソル制御部２１２は、入力位置を示す入力カーソルを機器表示部２１０の表示内容に含まれる入力可能欄２１０ｂに表示させる。入力制御部２２２は、機器表示部２１０にて入力位置への入力表示内容を制御する。リモート入力受付部２８２は表示操作端末１００の端末送信部１４０から送信され機器受信部２３０にて受信した操作入力信号を受け付ける。表示操作端末１００はタッチキーボード制御部１２２を備えている。タッチキーボード制御部１２２は、タッチ操作入力部１２０からのタッチ操作信号からキーコードを含む入力キー信号を生成する。さらにタッチキーボード制御部１２２は、端末表示部１１０において使用者に呈示されたキーボード画像に含まれるキーのうち、キーの入力に対応するタッチ入力操作がされたキーに対する位置をタッチ操作信号が示す場合に、少なくともそのキーのキーコードを示す入力キー信号を出力する。端末送信部１４０は、タッチキーボード制御部１２２からの入力キー信号またはその入力キー信号に対応する入力キーデータを操作入力信号に含めて送信する。機器受信部２３０が端末送信部１４０からの操作入力信号を受信し、リモート入力受付部２８２は、入力キー信号または対応する入力キーデータを含む操作入力信号を受け付ける。カーソル制御部２１２および入力制御部２２２は、リモート入力受付部２８２からの入力キー信号または入力キー信号に対応する入力キーデータが示すキーコードに基づいて、当キーコードが示すキーが押下された場合に生じるべき表示上の変化を入力カーソルに対応する入力可能欄２１０ｂでの表示内容に反映させる。この表示上の変化は、典型的には、文字入力されたキーの表示、バックスペースキー、エンターキー、ＥＳＣキーによる操作表示内容の消去、入力の確定や肯定入力、キャンセルや、その結果としての画面の遷移などを含む。また、ここでのキーコードが生成される操作は、いわゆるＱＷＥＲＴＹキーなどのアルファベットや記号の入力に加え、数値キーのみを表示しての数値入力、いわゆる携帯キー入力やフリック入力等のような、キー押下に相当するタッチ回数やキータッチ後の指のアクションを検知するものも含む。 FIG. 8 is a schematic diagram showing a configuration when a touch-type keyboard is displayed on the display operation terminal 100 in the display operation separation system 10 of the present embodiment. In addition to the above-described configuration, the electronic device 200 includes a device display unit 210, a cursor control unit 212, an input control unit 222, and a remote input reception unit 282. The device display unit 210 presents display contents to the user. The cursor control unit 212 displays an input cursor indicating the input position in the input enabled column 210b included in the display content of the device display unit 210. The input control unit 222 controls input display contents at the input position in the device display unit 210. The remote input reception unit 282 receives an operation input signal transmitted from the terminal transmission unit 140 of the display operation terminal 100 and received by the device reception unit 230. The display operation terminal 100 includes a touch keyboard control unit 122. The touch keyboard control unit 122 generates an input key signal including a key code from the touch operation signal from the touch operation input unit 120. Furthermore, the touch keyboard control unit 122 has a touch operation signal indicating a position of a key on which a touch input operation corresponding to the key input is performed among keys included in the keyboard image presented to the user in the terminal display unit 110. In addition, an input key signal indicating at least the key code of the key is output. The terminal transmission unit 140 transmits the input key signal from the touch keyboard control unit 122 or the input key data corresponding to the input key signal included in the operation input signal. The device receiving unit 230 receives an operation input signal from the terminal transmission unit 140, and the remote input reception unit 282 receives an operation input signal including an input key signal or corresponding input key data. When the key indicated by the key code is pressed based on the input key signal from the remote input accepting unit 282 or the key code indicated by the input key data corresponding to the input key signal, the cursor control unit 212 and the input control unit 222 The display change that should occur is reflected in the display content in the input enable field 210b corresponding to the input cursor. This change in display typically includes display of a key input by characters, deletion of operation display contents by backspace key, enter key, and ESC key, confirmation of input, affirmative input, cancellation, and as a result. Includes screen transitions. In addition to the input of alphabets and symbols such as the so-called QWERTY key, the operation for generating the key code here is a numerical input with only the numerical keys displayed, such as a so-called portable key input or flick input. This includes detecting the number of touches corresponding to key presses and finger actions after key touches.
　特に電子機器２００における入力可能欄２１０ｂがタッチキーボードによる入力を想定していない場合において、表示操作端末１００にはさらに工夫がなされると好ましい。具体的には、カーソルを手がかりに表示を拡大する処理を表示操作端末１００が行えば、利便性の向上が図れる。このような構成の表示操作端末１００は、上述した構成に加え、表示制御部１１４およびカーソル探索部１１６を備えている。表示制御部１１４は表示内容を端末表示部１１０にて使用者に呈示する際の表示位置および拡大率を制御する。カーソル探索部１１６は、表示内容に含まれる入力カーソルを探索し、入力カーソルの位置を示すカーソル位置信号を出力する。表示制御部１１４は、カーソル探索部１１６からのカーソル位置信号が示す入力カーソルの表示内容における位置が、キーボード画像１１０ｂと重ならない位置になるよう相対的表示位置を制御する。例えば、表示エリア１１０ａ上において、キーボード画像１１０ｂのすぐ上方１１０ｃに入力カーソルが位置するように画面の全体をシフトする。このシフトは、画像データを一時的に蓄積するフレームメモリー（図示しない）の読み出しアドレスをシフトすることにより容易に実行することができる。さらに、必要に応じ、表示制御部１１４は、入力カーソルを含む近傍の表示内容を拡大して表示する。このようなタッチ式キーボードによる入力を補助する機能を用いることにより、たとえ電子機器２００における表示内容が機器表示部２１０による表示を前提としているものであっても、表示操作端末１００のサイズを生かした入力を行うことができ利便性が高い。 In particular, it is preferable that the display operation terminal 100 is further devised when the input enable field 210b in the electronic device 200 does not assume input by a touch keyboard. Specifically, if the display operation terminal 100 performs a process of enlarging the display using the cursor as a clue, the convenience can be improved. The display operation terminal 100 having such a configuration includes a display control unit 114 and a cursor search unit 116 in addition to the configuration described above. The display control unit 114 controls the display position and the enlargement ratio when the display content is presented to the user on the terminal display unit 110. The cursor search unit 116 searches for an input cursor included in the display content and outputs a cursor position signal indicating the position of the input cursor. The display control unit 114 controls the relative display position so that the position in the display content of the input cursor indicated by the cursor position signal from the cursor search unit 116 does not overlap the keyboard image 110b. For example, the entire screen is shifted so that the input cursor is positioned 110c just above the keyboard image 110b on the display area 110a. This shift can be easily performed by shifting the read address of a frame memory (not shown) that temporarily stores image data. Further, as necessary, the display control unit 114 enlarges and displays the display content in the vicinity including the input cursor. By using such a function for assisting input by the touch-type keyboard, even if the display content on the electronic device 200 is premised on the display by the device display unit 210, the size of the display operation terminal 100 is utilized. It is possible to input and is convenient.
４－４．コンテンツ
　本実施形態の表示操作分離システム１０は、電子機器２００から表示操作端末１００への表示コンテンツの送信の機能の利便性をさらに高めることもできる。これまでの説明においては電子機器２００の表示内容を基本的にそのまま表示操作端末１００にミラーリングする構成を説明してきた。しかし、実際の使用場面となると、電子機器２００の電源持続時間に問題が生じたり、無線通信自体が何らかの障害を受けたり、制限されたりする事態が生じうる。このような場合には、閲覧または視聴のための表示コンテンツを、ユーザーがひとまとまりにあつかうサイズのコンテンツ（単位コンテンツと呼ぶ）を単位として、表示操作端末１００の使用のタイミングより前に電子機器２００からその単位分だけ転送することが好ましい。この単位コンテンツは、典型的にはコンピュータファイル１つである。図９は単位コンテンツのために用いられる表示操作分離システム１０の構成を示す模式図である。そのような工夫のために表示操作分離システム１０では、電子機器２００が機器コンテンツ記録部２９２をさらに備え、表示操作端末１００が、端末コンテンツ記録部１９２をさらに備えていると好ましい。機器コンテンツ記録部２９２、端末コンテンツ記録部１９２は、ともに閲覧または視聴の単位となる単位コンテンツの全体を格納可能なものである。電子機器２００は、機器コンテンツ記録部２９２に格納しているある単位コンテンツ全体を、接続を確立した表示操作端末１００に機器送信部２４０を通じ送信する。表示操作端末１００は、送信された単位コンテンツの全体を端末受信部１３０を通じて受信し、端末コンテンツ記録部１９２に格納する。無線通信は、単位コンテンツ全体の送受信が完了した後に、電子機器２００および表示操作端末１００のいずれかまたは両方の側から互いの接続を解除することによって停止される。これにより表示操作端末１００は、電子機器２００との接続が解除された後に、端末コンテンツ記録部１９２に格納された単位コンテンツのうちの表示に関する内容を端末表示部１１０に表示することができる。なお上述した無線接続の解除は、少なくとも一時的に解除することを意味しており、その後再度接続が確立される可能性が残されている。 4-4. Content The display operation separation system 10 of the present embodiment can further enhance the convenience of the function of transmitting display content from the electronic device 200 to the display operation terminal 100. In the description so far, the configuration in which the display content of the electronic device 200 is basically mirrored on the display operation terminal 100 as it is has been described. However, in an actual usage situation, there may be a problem in the power supply duration of the electronic device 200, or a situation in which the wireless communication itself is affected or restricted. In such a case, the display device for browsing or viewing the electronic device 200 before the timing of use of the display operation terminal 100, in units of content (referred to as unit content) of a size that the user can use together. It is preferable to transfer only that unit. This unit content is typically one computer file. FIG. 9 is a schematic diagram showing the configuration of the display / operation separation system 10 used for unit content. For such a device, in the display operation separation system 10, it is preferable that the electronic device 200 further includes a device content recording unit 292, and the display operation terminal 100 further includes a terminal content recording unit 192. Both the device content recording unit 292 and the terminal content recording unit 192 can store the entire unit content serving as a unit of browsing or viewing. The electronic device 200 transmits the entire unit content stored in the device content recording unit 292 to the display operation terminal 100 that has established the connection through the device transmission unit 240. The display operation terminal 100 receives the entire transmitted unit content through the terminal receiving unit 130 and stores it in the terminal content recording unit 192. The wireless communication is stopped by releasing the connection from one or both of the electronic device 200 and the display operation terminal 100 after the transmission / reception of the entire unit content is completed. As a result, the display operation terminal 100 can display the content related to the display of the unit content stored in the terminal content recording unit 192 on the terminal display unit 110 after the connection with the electronic device 200 is released. Note that the cancellation of the wireless connection described above means that the connection is at least temporarily canceled, and there is a possibility that the connection is established again thereafter.
　本実施形態の表示操作分離システム１０は、扱うコンテンツが静止画を主体とするものである場合には、さらに工夫をすることができる。なおこの静止画を主体とするコンテンツの例としては、例えば複数頁をもつ閲覧用文書ファイルや電子書籍のファイル、ウエブページ、ツイッター（登録商標）画面、テキストメッセージアプリケーションプログラム画面、メールメッセージの画面、を挙げることができる。この場合にも電子機器２００の電源持続時間の問題や、無線通信自体の障害や制限、に対応しつつ画像コンテンツを快適に閲覧することができれば、利便性が高まる。図９は画像コンテンツのために用いられる表示操作分離システム１０の構成も示す。そのような構成において、電子機器が機器画像コンテンツ記録部２９４を、表示操作端末が端末画像コンテンツ記録部１９４を、それぞれ備えている。機器画像コンテンツ記録部２９４および端末画像コンテンツ記録部１９４は、複数の画像を含む画像コンテンツの少なくとも一の画像を格納可能なものである。 The display operation separation system 10 of the present embodiment can be further devised when the content to be handled is mainly a still image. Examples of content mainly composed of still images include, for example, a browsing document file having a plurality of pages, an electronic book file, a web page, a Twitter (registered trademark) screen, a text message application program screen, a mail message screen, Can be mentioned. Also in this case, if the image content can be comfortably browsed while dealing with the problem of the power supply duration of the electronic device 200 and the failure or limitation of the wireless communication itself, the convenience is enhanced. FIG. 9 also shows the configuration of the display operation separation system 10 used for image content. In such a configuration, the electronic device includes the device image content recording unit 294, and the display operation terminal includes the terminal image content recording unit 194. The device image content recording unit 294 and the terminal image content recording unit 194 can store at least one image of image content including a plurality of images.
　電子機器２００は、機器画像コンテンツ記録部２９４に格納している画像コンテンツの複数の画像のうちの一以上の画像を、接続を確立した表示操作端末１００に対し機器送信部２４０を通じて送信する。表示操作端末１００は、送信された画像コンテンツの複数の画像のうち接続が解除されるまでに送信された一以上の画像を、端末受信部１３０を通じて受信し端末画像コンテンツ記録部１９４に格納する。そして電子機器２００および表示操作端末１００は、一以上の画像の送受信が完了した後に、いずれかまたは両方の側から互いの接続を解除する。表示操作端末１００は、電子機器２００との接続が解除された後に、端末コンテンツ記録部１９２に格納された最新の画像を端末表示部１１０に表示することができる。 The electronic device 200 transmits one or more images among the plurality of images of the image content stored in the device image content recording unit 294 to the display operation terminal 100 that has established the connection through the device transmission unit 240. The display operation terminal 100 receives one or more images transmitted until the connection is released from among the plurality of images of the transmitted image content, and stores them in the terminal image content recording unit 194. The electronic device 200 and the display operation terminal 100 cancel the mutual connection from one or both sides after the transmission / reception of one or more images is completed. The display operation terminal 100 can display the latest image stored in the terminal content recording unit 192 on the terminal display unit 110 after the connection with the electronic device 200 is released.
４－５．多様な接続形態
　本実施形態の表示操作分離システム１０は、個人ユーザーが所有する電子機器２００を同一の個人ユーザーが所有する表示操作端末１００を通じて使用する場合には上述した電子機器の数と表示操作端末の数がともに１台である場合が典型である。しかし本実施形態は必ずしも各１台の電子機器と表示操作端末という組合せに限定されず、多様な接続形態により高い利便性を提供することができる。その一つは、電子機器の数を１台、表示操作端末の数を２台以上、とするものであり、他の一つは電子機器の数を２台以上、表示操作端末の数を１台とするものである。なお、本出願を通じ表示操作分離システム１０に関する記載は、明示のない限り、以下に説明する表示操作分離システム１２、１４（図１０および図１１）も同時に説明する記載の一部をなすものとする。 4-5. Various Connection Modes The display operation separation system 10 according to this embodiment uses the above-described number of electronic devices and display operations when the electronic device 200 owned by an individual user is used through the display operation terminal 100 owned by the same individual user. Typically, the number of terminals is one. However, the present embodiment is not necessarily limited to the combination of each one electronic device and display operation terminal, and high convenience can be provided by various connection forms. One of them is one electronic device and two or more display operation terminals, and the other is two or more electronic devices and one display operation terminal. It is intended to be a stand. Note that the description related to the display operation separation system 10 throughout the present application is part of the description that simultaneously describes the display operation separation systems 12 and 14 (FIGS. 10 and 11) described below unless otherwise specified. .
　図１０は、本実施形態において電子機器の数を１台、表示操作端末の数を２台以上とする場合の動作の典型例を示す模式図である。この動作は、図１０に示すように、電子機器の数を１台とし表示操作端末を２台とした表示操作分離システム１２で説明される。この二つの表示操作端末（第１表示操作端末１００Ａ、第２表示操作端末１００Ｂ）は、ともにこれまで説明してきた表示操作端末１００と同様の特徴を備えることができる。電子機器２００の機器送信部２４０は、第１表示操作端末１００Ａと第２表示操作端末１００Ｂとの双方に共通した表示内容を示す共通表示信号を、第１表示操作端末１００Ａに対する表示信号と第２表示操作端末１００Ｂに対する表示信号とのそれぞれに含めて送信する。電子機器２００の機器受信部２３０は、第１表示操作端末１００Ａおよび第２表示操作端末１００Ｂそれぞれからの操作入力信号を互いに区別して受信するものである。このような構成を取ることにより、第１表示操作端末１００Ａ、第２表示操作端末１００Ｂの双方において電子機器２００ための表示内容を確認することができ、さらに双方から電子機器２００に対する入力操作を行うことができる。 FIG. 10 is a schematic diagram illustrating a typical example of the operation when the number of electronic devices is one and the number of display operation terminals is two or more in the present embodiment. As shown in FIG. 10, this operation is explained by a display / operation separation system 12 having one electronic device and two display / operation terminals. Both of these two display operation terminals (first display operation terminal 100A and second display operation terminal 100B) can have the same features as the display operation terminal 100 described so far. The device transmission unit 240 of the electronic device 200 generates a common display signal indicating display contents common to both the first display operation terminal 100A and the second display operation terminal 100B, a display signal for the first display operation terminal 100A, and a second display signal. It is included in each of the display signals for the display operation terminal 100B and transmitted. The device receiving unit 230 of the electronic device 200 receives operation input signals from the first display operation terminal 100A and the second display operation terminal 100B in a distinguished manner from each other. By adopting such a configuration, the display contents for the electronic device 200 can be confirmed on both the first display operation terminal 100A and the second display operation terminal 100B, and an input operation to the electronic device 200 is performed from both sides. be able to.
　この際、電子機器２００にとっての入力を、第１表示操作端末１００Ａ、第２表示操作端末１００Ｂのどちらから入力される内容とするかを設定することも有用である。すなわち、電子機器２００は、上述した構成に加え、機器入力受付部２８６、リモート入力受付部２８２、および機器表示制御部２８８を備えている。機器入力受付部２８６は、使用者からの操作入力を受け付ける。リモート入力受付部２８２は、第１および第２表示操作端末１００Ａ、１００Ｂから機器受信部２３０を経由し受信した操作入力信号を受け付ける。そして、機器表示制御部２８８は機器入力受付部２８６およびリモート入力受付部２８２からの信号に基づいて機器表示部にて呈示する追加表示内容を制御する。機器受信部２３０は、第１および第２表示操作端末１００Ａおよび１００Ｂを区別して受信動作を行えるようになっている。機器表示制御部２８８は、第１表示操作端末１００Ａと第２表示操作端末１００Ｂのとのいずれからの操作入力信号を受け付けるべきかを選択するための選択プロンプト２８８ａを追加表示内容として表示内容に重ねて機器表示部２１０に表示させるものであり、機器入力受付部２８６は、電子機器の使用者からの選択結果の入力を受け付けるようになっている。機器入力受付部２８６は、例えばタッチ操作入力部２２０からのタッチ入力による信号を受け付ける。それ以降、リモート入力受付部２８２は、選択結果に応じ、第１表示操作端末１００Ａと第２表示操作端末１００Ｂとのいずれかからの操作入力信号を選択的に受け付けるように動作する。 At this time, it is also useful to set which of the first display operation terminal 100A and the second display operation terminal 100B is the input to the electronic device 200. That is, the electronic device 200 includes a device input receiving unit 286, a remote input receiving unit 282, and a device display control unit 288 in addition to the above-described configuration. The device input receiving unit 286 receives an operation input from the user. The remote input receiving unit 282 receives an operation input signal received from the first and second display operation terminals 100A and 100B via the device receiving unit 230. Then, the device display control unit 288 controls additional display contents to be presented on the device display unit based on signals from the device input receiving unit 286 and the remote input receiving unit 282. The device receiving unit 230 can perform the receiving operation by distinguishing between the first and second display operation terminals 100A and 100B. The device display control unit 288 superimposes a selection prompt 288a on the display content as additional display content for selecting which of the first display operation terminal 100A and the second display operation terminal 100B should accept the operation input signal. The device input receiving unit 286 is configured to receive an input of a selection result from a user of the electronic device. The device input receiving unit 286 receives a signal by touch input from the touch operation input unit 220, for example. Thereafter, the remote input receiving unit 282 operates to selectively receive an operation input signal from either the first display operation terminal 100A or the second display operation terminal 100B according to the selection result.
　次に他の一つの接続形態である電子機器の数を２台以上、表示操作端末の数を１台とするものについて説明する。図１１は、電子機器の数を２台以上、表示操作端末の数を１台とする表示操作分離システム１４の構成を示す模式図である。第１電子機器２００Ａと第２電子機器２００Ｂは、ともに上述した電子機器２００の各特徴を備えている。表示操作端末１００の端末受信部１３０は、第１電子機器２００Ａの表示内容である第１表示内容と第２電子機器２００Ｂの表示内容である第２表示内容とを互いに区別して受信するようになっており、端末表示部１１０は第１表示内容と第２表示内容とを表示する。タッチ操作入力部１２０は、第１表示内容と第２表示内容とのいずれに対する入力であるかがタッチ位置から判別可能であり、それに応じたタッチ操作信号を生成する。端末送信部１４０は、タッチ操作信号を含む操作入力信号を、端末表示部１１０にて表示されている第１表示内容に対応している第１操作入力信号と、端末表示部にて表示されている第２表示内容に対応している第２操作入力信号とを互いに区別可能なようにして、第１電子機器２００Ａおよび第２電子機器２００Ｂそれぞれに向けて送信するようになっている。 Next, a description will be given of another connection configuration in which the number of electronic devices is two or more and the number of display operation terminals is one. FIG. 11 is a schematic diagram showing a configuration of the display operation separation system 14 in which the number of electronic devices is two or more and the number of display operation terminals is one. Both the first electronic device 200A and the second electronic device 200B have the characteristics of the electronic device 200 described above. The terminal receiving unit 130 of the display operation terminal 100 receives the first display content that is the display content of the first electronic device 200A and the second display content that is the display content of the second electronic device 200B in a distinguished manner from each other. The terminal display unit 110 displays the first display content and the second display content. The touch operation input unit 120 can determine from the touch position whether the input is the first display content or the second display content, and generates a touch operation signal corresponding to the input. The terminal transmission unit 140 displays the operation input signal including the touch operation signal on the terminal display unit and the first operation input signal corresponding to the first display content displayed on the terminal display unit 110. The second operation input signal corresponding to the second display content is transmitted to each of the first electronic device 200A and the second electronic device 200B so as to be distinguishable from each other.
５．用途
５－１．発展性
　本実施形態にて説明した表示操作分離システム１０、１２、１４は、極めて汎用性が高く、既存のコンピューティング機器との連携も容易である。その結果表示操作分離システム１０は極めて多様な用途に適用することができる。その用途を想定するために考慮されるのは表示操作分離システム１０にて提案される構成が今後も引き続き改良され進化しうる点である。具体的には本発明者らは、表示操作分離システム１０は概ね三段階の進歩によりシステムが進化し続けるものと考えている。第１は、表示操作端末１００のハードウェアそのものの進歩、第２は、表示操作端末１００のコンセプトを生かしたハードウェアの素材による進歩である。第３は、表示操作分離システム１０、１２、１４のコンセプトを実現するソフトウェアの進歩である。 5). Application 5-1. Expandability The display operation separation systems 10, 12, and 14 described in the present embodiment are extremely versatile and can be easily linked with existing computing devices. As a result, the display operation separation system 10 can be applied to a wide variety of uses. In order to assume the application, the configuration proposed in the display operation separation system 10 can be improved and evolved in the future. Specifically, the present inventors consider that the display / operation separation system 10 will continue to evolve in almost three stages. The first is the advancement of the hardware itself of the display operation terminal 100, and the second is the advancement of hardware materials utilizing the concept of the display operation terminal 100. The third is the advancement of software that realizes the concept of the display / operation separation system 10, 12, 14.
　第１のハードウェアそのものの進歩は、薄型・軽量化、大画面化、省電力化といった、一般的に指向されるハードウェアの発展の方向性に沿ったものをいう。これらは従来のコンピューティング機器においても現実的な制約の中で一般的に指向されている。しかし本実施形態の表示操作分離システム１０では、表示操作端末１００の電力消費をみた場合、表示およびタッチ入力機能と、それらを通信するための機能のためのもの以外は無視できる程度である。したがって、薄型にしたり軽量にしたりするための電池まで含めた構成は従来に比してはるかに対処しやすい。つまり同じ技術レベルであっても、薄型化や軽量化といった目的が容易に達成されるのが表示操作分離システム１０の大きな利点である。 The advancement of the first hardware itself is in line with the direction of development of generally oriented hardware such as thin and light weight, large screen, and power saving. These are generally oriented even in conventional computing devices within realistic constraints. However, in the display / operation separation system 10 of the present embodiment, when the power consumption of the display / operation terminal 100 is viewed, it is negligible except for the display and touch input functions and the functions for communicating them. Therefore, the configuration including the battery for making it thin or light is much easier to deal with than in the past. That is, it is a great advantage of the display operation separation system 10 that the objects such as reduction in thickness and weight are easily achieved even at the same technical level.
　第２は、表示操作端末１００のコンセプトを生かしつつ、例えば柔らかい素材や防水機能と入った素材の進化を取り入れることができる点である。表示とタッチ入力そしてそれらの通信と限定された要素によって構成される表示操作端末１００では、素材の進化の際に制約となったり要求される技術項目が少ない。結果、素材の進化の恩恵をいち早く受けることができる表示操作端末１００は、具体的な実施時の製品の魅力を高めやすいものとなる。 Secondly, while utilizing the concept of the display operation terminal 100, for example, it is possible to incorporate the evolution of materials including soft materials and waterproof functions. In the display operation terminal 100 configured by display, touch input, and their communication and limited elements, there are few technical items that are restricted or required in the evolution of materials. As a result, the display operation terminal 100 that can quickly receive the benefits of the evolution of the material can easily enhance the attractiveness of the product at the time of concrete implementation.
　第３のソフトウェアの進化は、表示操作分離システム１０の使用場面にこれまでに無い用途を加えることになる。例えば、表示操作端末１００は単一の表示部１１０を備える構成により説明したが、例えば２画面などの複数の画面を利用することも有用である。さらにスマートフォンのために提供されているゲームなどエンタテイメントの分野では、ユーザー体験に画面サイズの違いによる決定的な差が生じる。 The evolution of the third software adds an unprecedented application to the scene where the display operation separation system 10 is used. For example, although the display operation terminal 100 has been described as having a single display unit 110, it is also useful to use a plurality of screens such as two screens. Furthermore, in the entertainment field such as games provided for smartphones, the user experience has a decisive difference due to the difference in screen size.
５－２．用途例：学習ツール／高齢者向け／病院向け
　上記第１～第３の進化を組み合わせることにより、従来は対象とならなかった新たな、ユーザーのニーズに応える用途も開拓することができる。たとえば家庭では親子が一緒に操作する端末として、または学校まで含めれば子どもの学習ツールが開発できるであろう。例えば小型の表示装置では、従来は文字を大きく表示した場合に表示内容を削減せざるをえなかったのに対し、本実施形態を利用したものでは、直観的な操作を可能としたままでより大きな画面を採用することができ、表示内容の削減を最小化することができる。この特徴は子どもばかりでなく高齢者向けにも有用であろう。さらに、ＩＴ機器の使いこなしや重いタブレットやＰＣに障壁を感じることがある方々も、本実施形態を利用する機器を利用すれば、容易に情報コンテンツにアクセスすることができる。また、筐体表面や表示部１１０表面がアルコール消毒可能な材料で製造されていれば、ポータブルＰＣを持ち込めない環境（無菌室など）に医学的理由で隔離される患者なども情報コンテンツを利用することができるようになる。 5-2. Application example: Learning tools / for elderly people / for hospitals By combining the first to third evolutions described above, it is possible to pioneer new applications that have not been targeted in the past and that meet the needs of users. For example, a learning tool for children could be developed if it is included at home as a terminal that parents and children operate together or even at school. For example, in the case of a small display device, it has been necessary to reduce the display content in the case where a character is displayed in a large size, whereas in the case of using this embodiment, an intuitive operation can be performed while being possible. A large screen can be adopted, and the reduction of display contents can be minimized. This feature will be useful not only for children but also for the elderly. In addition, people who may use the IT device or feel a barrier to a heavy tablet or PC can easily access the information content by using the device using this embodiment. In addition, if the surface of the housing or the display unit 110 is made of a material that can be sterilized with alcohol, a patient who is isolated for medical reasons in an environment (such as a sterile room) where portable PCs cannot be used also uses information content. Will be able to.
５－３．用途例：ビジュアルガイド
　さらに、表示操作分離システム１２および１４（図１０および図１１）のような表示操作端末１００と電子機器２００の少なくともいずれかが複数であるシステムにおいては、その利点を生かした新たな用途も視野に入ってくる。その一つが美術館・博物館等におけるビジュアルガイドである。現在多くの美術館・博物館等では音声ガイドが用いられている。これは個別の観覧者にイヤホンを通して各展示物の解説音声が提供するものである。同様の用途での解説コンテンツを静止画のみならず動画を含めたビジュアルな画像・映像によって提供することができれば、目の前の展示物に対する知識を補足するためのより印象深い情報を提供することができる。画像や映像を使う表示ならではの情報の例としては、拡大して視認できる微細な構造の顕微鏡像や展示状態では確認できない内部構造を示す画像などを挙げることができる。さらに、インタラクティブなアンケートを実施することや学習プログラムを動作させる、といった極めて多様な体験も提供することができる。その場合、多数展示されている展示物の前を次々に回遊する観覧者が、自らの興味に従い各自のタイミングでコンテンツを起動する。このための電子機器２００は、個別の第１表示操作端末１００Ａ、第２表示操作端末１００Ｂ等に適切なタイミングで表示内容を配信する、ストリーミング配信のような様な動作が好ましい。その場合には、図９に示した、単位コンテンツを第１表示操作端末１００Ａに一時保存する等の技術を適用することにより、より多数の表示操作端末を利用することができるであろう。 5-3. Application example: visual guide Furthermore, in a system in which at least one of the display operation terminal 100 and the electronic device 200 is plural, such as the display operation separation systems 12 and 14 (FIGS. 10 and 11), a new one that takes advantage of the advantages Various applications are also in the horizon. One of them is visual guides at art museums. At present, voice guides are used in many museums. This is to provide individual viewers with explanation audio of each exhibit through earphones. If commentary content for similar purposes can be provided not only as a still image but also as a visual image / video including moving images, it is possible to provide more impressive information to supplement knowledge about the exhibits in front of you. it can. Examples of information unique to display using images and videos include a microscopic image of a fine structure that can be enlarged and visually recognized, and an image that shows an internal structure that cannot be confirmed in the display state. Furthermore, it can provide a wide variety of experiences such as conducting interactive questionnaires and running learning programs. In that case, a viewer who goes around in front of a large number of exhibits exhibits content at their own timing according to their own interests. For this purpose, the electronic device 200 preferably performs an operation such as streaming distribution that distributes display contents to the individual first display operation terminal 100A, the second display operation terminal 100B, and the like at an appropriate timing. In that case, it will be possible to use a larger number of display operation terminals by applying the technique shown in FIG. 9 such as temporarily storing the unit content in the first display operation terminal 100A.
５－４．用途例：会議用端末
　本実施形態が有効に実施される別の用途が会議用端末である。従来ビジネスの様々な場面における会議のために印刷物により資料が配付されることが行われている。しかし現在においてはほとんどの資料が電子的に作成されており、それを一度限りの会議のために印刷物にて配布することは無駄が多い。他方で作成した電子的な資料がそのまま電子媒体により配布されないのは秘密管理が難しく情報漏洩のリスクなどが問題になることが多いためである。図１０に関連し説明した本実施形態の電子機器の数を１台とし表示操作端末を２台以上とした表示操作分離システム１２を採用すれば、電子的な資料をそのまま用いる利点と、情報の秘密管理の容易さとを両立することができる。 5-4. Application Example: Conference Terminal Another application in which the present embodiment is effectively implemented is a conference terminal. Conventionally, materials are distributed by printed matter for meetings in various scenes of business. However, at present, most materials are created electronically, and it is wasteful to distribute them in print for a one-time meeting. On the other hand, electronic materials created on the other hand are not distributed as they are by electronic media because secret management is difficult and the risk of information leakage often becomes a problem. If the display operation separation system 12 having one electronic device and two or more display operation terminals according to the present embodiment described with reference to FIG. 10 is employed, the advantage of using electronic materials as they are, It is possible to achieve both easy secret management.
　その際には、例えば電子機器２００が比較的高機能なコンピュータ機器であり、電子機器２００の資料ファイルを同時に２台以上の表示操作端末１００Ａ、１００Ｂに閲覧させることができる。各ユーザーが同時に表示操作端末１００Ａ、１００Ｂで一つのファイルの別々の頁を閲覧することも、マルチユーザーを前提とするサーバー用オペレーティングシステムを電子機器２００が採用していれば特段支障は無い。さらに、同様に電子機器２００と２台以上の表示操作端末１００Ａ、１００Ｂを採用していても、表示操作端末１００Ａ、１００Ｂの表示を完全に同一とすることもできる。そのような場合、表示操作端末１００Ａ、１００Ｂの間で閲覧している対象ファイルに入力すれば、情報を共有することが可能となり、互いが書き込める白板を模した用途を各ユーザーが各自着席したまま利用することができる。 In this case, for example, the electronic device 200 is a relatively high-functional computer device, and the document file of the electronic device 200 can be browsed simultaneously by two or more display operation terminals 100A and 100B. Each user can browse different pages of one file at the display operation terminals 100A and 100B at the same time, as long as the electronic device 200 employs a server operating system that assumes multi-users. Further, similarly, even when the electronic device 200 and two or more display operation terminals 100A and 100B are employed, the display of the display operation terminals 100A and 100B can be made completely the same. In such a case, it is possible to share information by inputting the target file being browsed between the display operation terminals 100A and 100B, and each user is seated in a use imitating a white board that can be written on each other. Can be used.
　さらに、情報管理の観点で特に好ましくは、表示内容のデータを再現可能な形では保持しないシンクライアントの構成によって情報漏洩のリスクを極小化することができる。加えて、会議用端末においても、例えば採決を取る作業の補助にも使用することができるであろう。 Furthermore, particularly preferably from the viewpoint of information management, the risk of information leakage can be minimized by the configuration of a thin client that does not hold display content data in a reproducible form. In addition, the conference terminal could be used to assist, for example, in taking a vote.
５－５．用途例：テーブル形ミラーリング端末
　本実施形態の汎用性は極めて高く、表示操作分離システム１０、１２、１４の用途は上述した手持ち機器のみに限定されるものではない。例えば近時の大型・高精細表示装置の一般化により、複数の電子機器の表示を一つの表示装置に同時に表示しても十分に高品質な表示を実現できる。例えば複数のユーザーが持ち寄る各自のスマートフォンを一つの表示装置に表示することも現実的である。例えばテーブル型で各自が各辺に対向して着席し、テーブルトップを共有するような使用者に対して、そのテーブルトップの一部または全部に表示装置を配置するようなテーブル一体型の端末（「テーブル形ミラーリング端末」と呼ぶ）も考えられる。その場合、各自の座る位置へ、自分のまたは他人の画面を移動したり、また互いに内容を見せ合うために、画面を自在に１８０度反転したりすることができる。このようにテーブル形ミラーリング端末で使用者の操作で画像の表示位置や向き、順序や組合せを設定することができれば、ユーザーは、単に表示を共有するだけでなく、各自のスマートフォンの画面を好みの着席位置から参照したり他者に見せたりでき、議論などが容易になる。さちに、複数人数でパーティやイベントに参加した後、各自が撮影した動画や写真を動画面で閲覧したり、スマートフォンの操作を通じて動画や写真ファイルを送りあったり、といった体験の振り返りや周知が、集合したその場所で可能となる。また、ユーザーが自分のスマートフォンに収められている、画像データや文章データなどを、他のユーザーに提示することで、自らの体験を通常のスマートフォン操作の中で可能となる。各自のスマートフォンにて、同じゲームアプリケーションを動作させることで、複数のユーザーで一緒にゲームをおこなうころが可能となる。テーブル形ミラーリング端末の用途でも、シンクライアントの構成は有用である。例えばデータをストアする機能を持たなければ、使用が終了して各ユーザーのスマートフォンと切断した後には、一切のデータが残らない。結果、テーブル形ミラーリング端末を通じたセキュリティの確保が容易となる。これにより、本テーブル形ミラーリング端末を公共の場所に設置して、所有者でない人々が一時的に使用することも可能となる。 5-5. Application example: table-type mirroring terminal The versatility of this embodiment is extremely high, and the use of the display operation separation systems 10, 12, and 14 is not limited to the above-described handheld devices. For example, due to the recent generalization of large-sized and high-definition display devices, a sufficiently high-quality display can be realized even if the display of a plurality of electronic devices is simultaneously displayed on one display device. For example, it is realistic to display the respective smartphones brought by a plurality of users on one display device. For example, for a user who is seated facing each side in a table type and shares a table top, a table-integrated terminal in which a display device is arranged on a part or all of the table top ( Also called “table type mirroring terminal”. In that case, the screen of his or another person can be moved to the position where he / she sits, or the screen can be freely flipped 180 degrees in order to show the contents of each other. In this way, if the display position, orientation, order, and combination of images can be set by the user's operation on the table-type mirroring terminal, the user can not only share the display but also select the screen of his / her smartphone. You can refer to it from the seating position or show it to others, making discussions easier. Now, after participating in a party or event with multiple people, reviewing and publicizing experiences such as viewing videos and photos taken by each person on the video screen, sending videos and photo files through smartphone operation, It is possible at the gathered place. In addition, when the user presents image data, text data, and the like stored in his / her smartphone to other users, his / her experience can be performed during normal smartphone operation. By running the same game application on each smartphone, it becomes possible for multiple users to play a game together. The thin client configuration is also useful for the use of a table type mirroring terminal. For example, if there is no function for storing data, no data will remain after the use is completed and the user's smartphone is disconnected. As a result, it is easy to ensure security through the table-type mirroring terminal. As a result, the table-type mirroring terminal can be installed in a public place and temporarily used by non-owners.
　このようなテーブル形ミラーリング端末は、例えば、テーブルを同時に使用する人数と同数の、ミラーリング用の画像データ伝送路を本実施形態の表示操作端末であるに実装する。この画像データ伝送路は、各自のスマートフォンと１対１でペアリングされる。典型例として、ＷｉＦｉ　ＤｉｒｅｃｔおよびＢＴを使用する場合は、複数のＷｉＦｉおよびＢＴ送受信機が該テーブルに実装される。また、有線接続による伝送を行う場合は、ＵＳＢ端子の接続口が実装される。テーブル形ミラーリング端末のテーブルトップ上面には画面が実装され、複数の人が同時に同一画面を見下ろすような姿勢で使用することができる。任意の数のミラーリング画面はテーブル形ミラーリング端末上の指定された領域に表示される。ミラーリング伝送路としては、無線ではＭｉｒａｃａｓｔ（またはＷｉＦｉ　Ｄｉｒｅｃｔ）を使用することで実現できる。この接続は有線でも構わない。例えばＵＳＢケーブル接続によって実現できる。また、それぞれのスマートフォンとテーブル形ミラーリング端末の間で、ＢＴ接続、ケーブル接続などでテーブル形ミラーリング端末のタッチ入力の操作を、互いに区別してそれぞれのスマートフォンへ伝送路する。また、テーブル形ミラーリング端末がスピーカーを装備している場合に、そこから発する音声は、接続されたスマートフォンからの音声を全て合成して出力することも有用である。 In such a table-type mirroring terminal, for example, the same number of mirror image data transmission paths as the number of people who use the table at the same time are mounted on the display operation terminal of this embodiment. This image data transmission path is paired one-to-one with each smartphone. As a typical example, when using WiFi Direct and BT, a plurality of WiFi and BT transceivers are mounted on the table. In addition, when performing transmission by wired connection, a connection port of a USB terminal is mounted. A screen is mounted on the upper surface of the table top of the table-type mirroring terminal, and a plurality of people can use it in a posture that looks down on the same screen at the same time. An arbitrary number of mirroring screens are displayed in a designated area on the table-type mirroring terminal. The mirroring transmission line can be realized by using Miracast (or WiFi Direct) wirelessly. This connection may be wired. For example, it can be realized by a USB cable connection. In addition, the touch input operations of the table-type mirroring terminal are distinguished from each other and transmitted to the respective smartphones by BT connection, cable connection, or the like between each smartphone and the table-type mirroring terminal. In addition, when the table-type mirroring terminal is equipped with a speaker, it is also useful to synthesize and output all the sound from the connected smartphone from the connected smartphone.
　本発明における通信制御部では特定の通信キャリア、もしくは特定の電子機器とのみ双方向通信を行う制御をすること、例えば、表示操作端末の制御と電子機器からの画像を表示させることができる。さらに、特定以外の通信キャリア、もしくは電子機器とは、片方向、例えば、電子機器からの画像を表示することのみできるように設定することも可能である。　 In the communication control unit according to the present invention, it is possible to control to perform bidirectional communication only with a specific communication carrier or a specific electronic device, for example, control of a display operation terminal and display of an image from the electronic device. Furthermore, it is also possible to set the communication carrier or electronic device other than the specific one so that only one direction, for example, an image from the electronic device can be displayed. *
６．変形例
　本実施形態は様々な変形を行うことが可能である。
　本実施形態の電子機器２００または表示操作端末１００は、機能ブロックを組合わせて構成されるように構成しても実施することもできる。なお、機能ブロックとは、電子機器または表示操作端末の構成要素となるべきパーツを、互いの組合せの自由度をある程度持たせるようにあらかじめ準備し、ユーザーが単体で機能することが可能な機能ブロックを取捨選択して一つの端末を構成できるようにする手法をさす。ユーザーは機能ブロックを選択し、機能ブロック同士を接続することで必要な機能を実現することができ、したがって、必要最小限の機能のみのコスト負担で電子機器または表示操作端末の機能を実現できる。 6). Variations The present embodiment can be modified in various ways.
The electronic device 200 or the display operation terminal 100 according to the present embodiment can be implemented even if configured to be configured by combining functional blocks. A functional block is a functional block that allows users to function independently by preparing parts that should be constituent elements of an electronic device or display / operation terminal in advance so that they have some degree of freedom in combination with each other. This refers to a method that allows users to configure a single terminal by selecting them. The user can realize a necessary function by selecting a function block and connecting the function blocks to each other. Therefore, the function of the electronic device or the display operation terminal can be realized at a cost burden of only the minimum necessary function.
　電子機器または表示操作端末で使用している最小限の構成ブロック以外の特定の機能ブロックが故障したりもしくは性能を向上させるために交換が必要であれば該機能ブロック単体のみを交換することで対応することができ、電子機器または表示操作端末全体を交換する必要はない。電子機器または表示操作端末のための各機能ブロックには、制御するためのＣＰＵが実装され、機能部品を制御する。機能ブロックは共通のシリアル伝送端子が実装され、任意の機能ブロックが機械的、電気的、情報伝送路として接続されることが可能となるように構成される。各機能ブロックは、シリアル伝送端子を通じて、自らが何の機能ブロックであるかを通知する機能を持ち、同時に何の機能ブロックが自らに接続されているかを知る機能を有する。各機能ブロックのＣＰＵは、シリアル伝送端子に何の機能ブロックが接続されているかを認識し、その組み合わせによって実現する全体機能を決定し、それに対応したソフトウェアが動作する。 If a specific functional block other than the minimum component block used in the electronic device or display / operation terminal is broken or needs to be replaced in order to improve its performance, it can be replaced by replacing only that functional block. There is no need to replace the electronic device or the entire display operation terminal. Each functional block for the electronic device or the display / operation terminal is mounted with a CPU for controlling and controls functional components. The functional blocks are mounted with a common serial transmission terminal, and any functional block can be connected as a mechanical, electrical, or information transmission path. Each functional block has a function of notifying which functional block it is through a serial transmission terminal, and at the same time has a function of knowing what functional block is connected to itself. The CPU of each functional block recognizes what functional block is connected to the serial transmission terminal, determines an overall function to be realized by the combination, and software corresponding to the function operates.
　電子機器または表示操作端末のための主要な機能ブロック、すなわち、ディスプレイ部、電池部、ＷｉＦｉおよびＢＴ無線部、およびカメラ部、テレビ受信部は以下のように実現される。 Main functional blocks for an electronic device or a display operation terminal, that is, a display unit, a battery unit, a WiFi and BT wireless unit, a camera unit, and a television receiving unit are realized as follows.
　ディスプレイ部は、主にパネル、パネルドライバ、単数もしくは複数のシリアル信号端子から構成される。ＵＳＢなどのシリアル端子より映像情報を受信し、パネルドライバにて該情報をデコード処理し、画像情報からパネルへ表示するための制御処理をおこなう。電源は同シリアル端子を通じて外部から供給される。これによって、外部から入力された映像信号をパネルに表示する。 The display unit is mainly composed of a panel, panel driver, and one or more serial signal terminals. Video information is received from a serial terminal such as a USB, the information is decoded by a panel driver, and control processing for displaying the image information on the panel is performed. Power is supplied from the outside through the serial terminal. As a result, an externally input video signal is displayed on the panel.
　電池部は、主に電池セルと電源管理ＩＣから構成される、単数もしくは複数のシリアル信号端子から構成される。ＵＳＢなどのシリアル端子に、給電装置もしくは充電用電源が接続された際には、それを感知して外部から給電される電力を電池セルへ充電する。また、該シリアル端子に電力供給を必要とする機器もしくは機能ブロックが接続された場合、電池セルに充電されている電力を供給する。電源管理ＩＣはこれらの制御をおこなう。 The battery unit is composed of one or more serial signal terminals mainly composed of battery cells and a power management IC. When a power supply device or a charging power source is connected to a serial terminal such as a USB, the battery cell is charged with the power supplied from the outside by sensing it. In addition, when a device or a functional block that requires power supply is connected to the serial terminal, the power charged in the battery cell is supplied. The power management IC performs these controls.
　アプリＣＰＵ部は、主に、アプリケーションプログラムを動作させるＣＰＵ、ストレージ、単数もしくは複数のシリアル信号端子、モーションセンサー、ホームボタン、電源ボタンから構成される。アプリＣＰＵ部の動作は次のようなものである。まず、ＵＳＢなどのシリアル端子に、何が接続されたかを認識し、接続された機能ブロックに応じて適切な入力および出力動作をＣＰＵにて判断して実施する。ディスプレイ部が接続された際には入力されている映像情報を出力する。無線部、テレビ受信部もしくは携帯電話やパーソナルコンピュータが接続されている場合は、データ通信をおこない、映像信号を受信した場合は、それを感知して接続されているディスプレイ部に該映像信号を出力する。本ＣＰＵ部においては、不揮発性記憶領域にアプリケーションソフトが収められ、ユーザーの操作によって本アプリケーションが実行される。電源は同シリアル端子を通じて外部から供給される。 The application CPU section is mainly composed of a CPU for operating an application program, a storage, one or more serial signal terminals, a motion sensor, a home button, and a power button. The operation of the application CPU unit is as follows. First, what is connected to a serial terminal such as a USB is recognized, and appropriate input and output operations are determined by the CPU in accordance with the connected functional block. When the display unit is connected, the input video information is output. When a wireless unit, TV receiver, or mobile phone or personal computer is connected, data communication is performed, and when a video signal is received, the video signal is detected and output to the connected display unit To do. In the CPU unit, application software is stored in a nonvolatile storage area, and the application is executed by a user operation. Power is supplied from the outside through the serial terminal.
　ＷｉＦｉおよびＢＴ無線部は、主にＷｉＦｉ信号処理、ＢＴ信号処理およびＲＦ無線部、単数もしくは複数のシリアル端子から構成される。シリアル端子から電源が供給されると、ＷｉＦｉおよびＢＴ無線部は動作を開始し、データ通信をおこない、映像信号を受信した場合は、接続されているディスプレイ部へ出力する。 The WiFi and BT radio units are mainly composed of WiFi signal processing, BT signal processing and RF radio units, and one or more serial terminals. When power is supplied from the serial terminal, the WiFi and BT wireless units start to operate, perform data communication, and output a video signal to the connected display unit.
　セルラー無線部は、主にセルラー信号処理部、ＲＦ無線部、アンテナ部、単数もしくは複数のシリアル端子から構成される。アプリＣＰＵ部が接続されている場合は、受送信するデータはアプリＣＰＵ部とやりとりし、また制御自体もアプリＣＰＵ部から送信されるコマンドによって動作する。 The cellular radio unit is mainly composed of a cellular signal processing unit, an RF radio unit, an antenna unit, and one or more serial terminals. When the application CPU unit is connected, data to be transmitted / received is exchanged with the application CPU unit, and control itself is operated by a command transmitted from the application CPU unit.
　カメラ部は、主にカメラ本体、ボタン、画像処理プロセッサから構成され、ボタンの押下もしくは外部からのコマンドによって、画像を撮影する。アプリＣＰＵ部が接続されている場合は、該アプリＣＰＵ部へ画像データを出力する。アプリＣＰＵ部が接続されずにディスプレイ部のみが接続されている場合は、該ディスプレイ部へ画像データを出力する。 The camera unit is mainly composed of a camera body, buttons, and an image processor, and takes an image by pressing a button or an external command. When the application CPU unit is connected, image data is output to the application CPU unit. When only the display unit is connected without the application CPU unit being connected, image data is output to the display unit.
　テレビ受信部は、主に、テレビ受信チューナー、テレビアンテナ、信号処理プロセッサ、単数もしくは複数のシリアル端子から構成される。外部から電源が供給されると動作を開始し、アンテナで受信したテレビ電波を復調して映像信号を受信する。該受信映像信号は、アプリＣＰＵ部が接続されている場合は、該アプリ信号処理部へ出力し、これが接続されずにディスプレイ部が接続されている場合は、ディスプレイ部へ出力する。 The TV receiving unit mainly includes a TV receiving tuner, a TV antenna, a signal processor, and one or more serial terminals. When power is supplied from the outside, the operation starts, and the TV radio wave received by the antenna is demodulated to receive a video signal. The received video signal is output to the application signal processing unit when the application CPU unit is connected, and is output to the display unit when the display unit is connected without being connected.
　これらの機能ブロックを組み合わせて動作させるスタイルには次のようなものがあり得る。
（１）ディスプレイ部単体
　ディスプレイ部単体それ自体を動作させる場合、ＵＳＢなどシリアル通信ケーブルでパーソナルコンピュータや携帯電話および電源と接続することで、表示画面が本ディスプレイ部にミラーリング表示される。
（２）電池部単体
　電池部単体それ自体を動作させることとは、ＵＳＢなどシリアル通信用ケーブルで接続することで、電子機器への充電すること、など電源として使用することに他ならない。
（３）ディスプレイ部＋ＷｉＦｉ、ＢＴ無線部部＋電池部：
　これらを動作させる一例は、電子機器からペアリングしたＭｉｒａｃａｓｔなどのＰ２Ｐ無線部通信によって、電子機器本体の表示画面をミラーリング表示するものである。電子機器から、ペアリングしたＭｉｒａｃａｓｔなどのＰ２Ｐ無線部通信によって、電子機器の表示画面をミラーリング表示することができる。
（４）ディスプレイ部＋アプリＣＰＵ部＋ＷｉＦｉ、ＢＴ無線部＋電池部
　この組合わせを動作させるには、電子機器からペアリングしたＭｉｒａｃａｓｔなどのＰ２Ｐ無線部通信を行い、電子機器の表示画面をミラーリング表示することができる。あわせて、アプリＣＰＵ部でアプリケーションソフトを動作させ、ＷｉＦｉ無線部にてネット接続をおこなうことで、従来のタブレットと同様の機能を実現することができる。使用時に、電源供給のＵＳＢ接続は必ずしも必要ないので、屋外で携帯して使用することが可能となる。
（５）ディスプレイ部＋アプリＣＰＵ部＋セルラー無線部＋電池部
　この組合せは、従来の電子機器（携帯電話など）と同様の使用が可能となる。
（６）ディスプレイ部＋カメラ部＋電池部
　この組合せにより、従来のカメラ撮影機と同様の使用が可能となる。
（７）ディスプレイ部＋テレビ受信部
　この組合せにより、従来のテレビ受信機と同様の機能を実現する。 There are the following styles for operating these function blocks in combination.
(1) Display unit alone When the display unit itself is operated, a display screen is mirrored and displayed on the display unit by connecting to a personal computer, a mobile phone, and a power source with a serial communication cable such as USB.
(2) Single battery unit The operation of the single battery unit is nothing but to use it as a power source such as charging an electronic device by connecting with a serial communication cable such as USB.
(3) Display unit + WiFi, BT wireless unit + battery unit:
One example of operating these is to mirror the display screen of the electronic device main body by P2P wireless communication such as Miracast paired from the electronic device. From the electronic device, the display screen of the electronic device can be mirrored and displayed by P2P wireless communication such as paired Miracast.
(4) Display unit + application CPU unit + WiFi, BT wireless unit + battery unit To operate this combination, P2P wireless unit communication such as Miracast paired from the electronic device is performed, and the display screen of the electronic device is mirrored and displayed. can do. In addition, the same function as that of a conventional tablet can be realized by operating application software in the application CPU unit and performing a network connection in the WiFi wireless unit. At the time of use, a USB connection for supplying power is not always necessary, so that it can be carried and used outdoors.
(5) Display unit + application CPU unit + cellular radio unit + battery unit This combination can be used in the same manner as a conventional electronic device (such as a mobile phone).
(6) Display unit + camera unit + battery unit This combination enables the same use as a conventional camera photographing machine.
(7) Display unit + TV receiver This combination realizes the same function as a conventional TV receiver.
　特定の機能ブロックが接続されて、ある組合せ（端末種類Ａという）が実現されている場合に、新たな機能ブロックを接続するなど、別の組合せ（端末種類Ｂ）へと遷移するシーケンスは以下のような手順となる。
　ステップ１：端末種類Ａが実現されている状態で新たな機能ブロックが追加されたことを、各機能ブロックが検知する。これは、シリアル端子を経由して、接続された機能ブロックが何かを周期的に問い合わせることで実現することが可能である。各機能ブロックが独自に端末種類Ｂに変更されることを判断する。
　ステップ２：アプリＣＰＵ部が接続されている場合、本機能ブロックが全ての接続機能ブロックが何かを検知し、端末種類Ｂに変更されることを判断する。
　ステップ３：各機能ブロックにおいて、端末種類Ｂを実現するためのソフトウェアを起動する。 When a specific function block is connected and a certain combination (terminal type A) is realized, a sequence for transitioning to another combination (terminal type B), such as connecting a new function block, is as follows. The procedure is as follows.
Step 1: Each functional block detects that a new functional block has been added while the terminal type A is realized. This can be realized by periodically inquiring about the connected functional block via the serial terminal. It is determined that each functional block is independently changed to the terminal type B.
Step 2: When the application CPU unit is connected, this functional block detects what all the connected functional blocks are, and determines that the terminal type B is changed.
Step 3: Software for realizing the terminal type B is activated in each functional block.
　以上本発明の実施形態について具体的に説明した。上述の各実施形態および構成例は、発明を説明するために記載されたものであり、本出願の発明の範囲は、請求の範囲の記載に基づいて定められるべきものである。また、各実施形態の他の組合せを含む本発明の範囲内に存在する変形例もまた請求の範囲に含まれるものである。 The embodiment of the present invention has been specifically described above. Each of the above-described embodiments and configuration examples are described for explaining the invention, and the scope of the invention of the present application should be determined based on the description of the claims. In addition, modifications that exist within the scope of the present invention including other combinations of the embodiments are also included in the scope of the claims.
　本発明の表示操作用端末およびそれを用いる表示操作分離システムは、任意のコンピューティング機器に利用可能である。 The display operation terminal of the present invention and the display operation separation system using the same can be used for any computing device.
　１０、１２、１４　表示操作分離システム
　１００　表示操作端末
　１００ａ　一方の面
　１００ｂ　他方の面
　１１０　表示部、端末表示部
　１１０ａ　表示エリア
　１１０ｂ　キーボード画像
　１１２　設定プロンプト
　１１４　表示制御部
　１１６　カーソル探索部
　１２０　タッチ操作入力部
　１２２　タッチキーボード制御部
　１３０　端末受信部
　１３２　表示信号
　１４０　端末送信部
　１４２　操作入力信号
　１５０　端末接続端子群
　１６２　通信制御部、端末通信制御部
　１６４　ペアリング情報記録部、端末ペアリング情報記録部
　１６４ａ　ペアリング情報、端末ペアリング情報
　１６６　電波強度検知部
　１６６ａ　検知信号
　１７２　受信制御部
　１７４　プロトコル別ペアリング情報記録部
　１７４ａ　プロトコル別ペアリング情報
　１７６　試行シーケンス設定部
　１７６ａ　試行シーケンス情報
　１９２　端末コンテンツ記録部
　１９４　端末画像コンテンツ記録部
　２００　電子機器
　２００Ａ　第１電子機器
　２００Ｂ　第２電子機器
　２００ｃ　接続面
　２０２　音声通話処理部
　２０４　機能管理制御部
　２１０　表示部、機器表示部
　２１０ａ　表示エリア
　２１０ｂ　入力可能欄
　２１２　カーソル制御部
　２２０　タッチ操作入力部
　２２２　入力制御部
　２３０　機器受信部
　２４０　機器送信部
　２５０　機器接続端子群
　２６２　機器通信制御部
　２６４　機器ペアリング情報記録部
　２６４ａ　ペアリング情報、機器ペアリング情報
　２８２　リモート入力受付部
　２８４　動作制御部
　２８６　機器入力受付部
　２８８　機器表示制御部
　２８８ａ　選択プロンプト
　２９２　機器コンテンツ記録部
　２９４　機器画像コンテンツ記録部 10, 12, 14 Display operation separation system 100 Display operation terminal 100a One surface 100b The other surface 110 Display unit, terminal display unit 110a Display area 110b Keyboard image 112 Setting prompt 114 Display control unit 116 Cursor search unit 120 Touch operation input unit 122 touch keyboard control unit 130 terminal reception unit 132 display signal 140 terminal transmission unit 142 operation input signal 150 terminal connection terminal group 162 communication control unit, terminal communication control unit 164 pairing information recording unit, terminal pairing information recording unit 164a pairing Information, terminal pairing information 166 radio wave intensity detection unit 166a detection signal 172 reception control unit 174 pairing information recording unit by protocol 174a pairing information by protocol 176 trial sequence setting unit 176a trial Kens information 192 Terminal content recording unit 194 Terminal image content recording unit 200 Electronic device 200A First electronic device 200B Second electronic device 200c Connection surface 202 Voice call processing unit 204 Function management control unit 210 Display unit, device display unit 210a Display area 210b Inputable field 212 Cursor control unit 220 Touch operation input unit 222 Input control unit 230 Device reception unit 240 Device transmission unit 250 Device connection terminal group 262 Device communication control unit 264 Device pairing information recording unit 264a Pairing information, device pairing information 282 Remote input reception unit 284 Operation control unit 286 Device input reception unit 288 Device display control unit 288a Selection prompt 292 Device content recording unit 294 Device image content recording unit

Claims (26)

  1. 　表示内容を示す表示信号を少なくとも一つの電子機器から受信する端末受信部と、
    　該表示信号が示す前記表示内容を静止画および動画の少なくともいずれかまたはそれらの組み合わせによって使用者に呈示する表示エリアをもつ端末表示部と、
    　該使用者からのタッチ操作による入力を受け付け、タッチ操作信号を生成するタッチ操作入力部と、
    　前記タッチ操作信号を含む操作入力信号を前記電子機器に送信する端末送信部と、
    　前記端末受信部および前記端末送信部の少なくともいずれかによる前記電子機器との接続の確立および解除を制御する通信制御部と、
    　前記端末受信部に接続され、受信可能な種類の電波の強度を測定でき、前記端末受信部による受信電波強度を示しうる検知信号を送出する電波強度検知部と
    　を備えており、
    　前記通信制御部は、前記電波強度検知部からの前記検知信号に基づいて前記端末受信部および前記端末送信部の少なくともいずれかを制御して前記電子機器との接続を確立させるものである
    　表示操作端末。     A terminal receiver that receives a display signal indicating display content from at least one electronic device;
    A terminal display unit having a display area for presenting the display content indicated by the display signal to the user by at least one of a still image and a moving image or a combination thereof;
    A touch operation input unit that receives an input by a touch operation from the user and generates a touch operation signal;
    A terminal transmission unit that transmits an operation input signal including the touch operation signal to the electronic device;
    A communication control unit that controls establishment and release of connection with the electronic device by at least one of the terminal reception unit and the terminal transmission unit;
    A radio wave intensity detecting unit connected to the terminal receiving unit, capable of measuring the intensity of receivable types of radio waves, and sending a detection signal indicating the received radio wave intensity by the terminal receiving unit;
    The communication control unit controls at least one of the terminal reception unit and the terminal transmission unit based on the detection signal from the radio wave intensity detection unit to establish a connection with the electronic device. Display operation Terminal.
  2. 　前記電子機器を接続認証済み機器の一つとして登録するためのペアリング情報を格納するペアリング情報記録部をさらに備えており、
    　前記通信制御部は、前記ペアリング情報に登録されている接続認証済み機器を対象に、前記電波強度検知部からの前記検知信号に基づいて前記受信電波強度が所定の強度基準値より強い場合に、前記端末受信部および前記端末送信部の少なくともいずれかを制御して前記電子機器との接続を確立させるものである、
    　請求項１に記載の表示操作端末。     It further includes a pairing information recording unit for storing pairing information for registering the electronic device as one of connection-authenticated devices,
    The communication control unit targets a connection-authenticated device registered in the pairing information when the received radio wave intensity is higher than a predetermined intensity reference value based on the detection signal from the radio wave intensity detection unit. The terminal is configured to control at least one of the terminal receiver and the terminal transmitter to establish a connection with the electronic device.
    The display operation terminal according to claim 1.
  3. 　前記端末受信部による前記電子機器との受信接続の確立および解除を制御する受信制御部と、
    　複数の通信プロトコルそれぞれと対応させて前記電子機器を接続認証済み機器の一つとして登録するためのプロトコル別ペアリング情報を格納するプロトコル別ペアリング情報記録部と、
    　前記表示信号の受信のための複数の通信プロトコルについて、各通信プロトコルの接続確立を試行する試行順位および試行時間を設定する試行シーケンス情報を格納する試行シーケンス設定部と
    　をさらに備えており、
    　前記端末受信部が、前記電子機器からの前記表示信号を前記複数の通信プロトコルにより受信しうるものであり、
    　前記受信制御部は、前記プロトコル別ペアリング情報に接続認証済みと登録されている前記電子機器からの受信接続を確立しようとする試行処理を、前記試行シーケンス設定部の試行順位および試行時間に対応する前記複数の通信プロトコルの順序および各通信プロトコルの待機時間で、通信プロトコルを切り替えながら実行するものである、
    　請求項１に記載の表示操作端末。     A reception control unit that controls establishment and release of a reception connection with the electronic device by the terminal reception unit;
    Protocol-specific pairing information recording unit for storing protocol-specific pairing information for registering the electronic device as one of connection-authenticated devices in correspondence with each of a plurality of communication protocols;
    A trial sequence setting unit for storing trial sequence information for setting trial order and trial time for trying to establish connection of each communication protocol for a plurality of communication protocols for receiving the display signal; and
    The terminal reception unit can receive the display signal from the electronic device by the plurality of communication protocols;
    The reception control unit corresponds to the trial sequence and the trial time of the trial sequence setting unit for a trial process to establish a reception connection from the electronic device registered as connection authenticated in the pairing information by protocol. In the order of the plurality of communication protocols to be performed and the waiting time of each communication protocol, it is executed while switching the communication protocol,
    The display operation terminal according to claim 1.
  4. 　前記端末受信部および前記端末送信部のいずれかまたは双方がさらに有線通信により前記電子機器と通信するものであり、
    　前記プロトコル別ペアリング情報が、前記有線通信について前記電子機器を接続認証済み機器の一つとして登録しており、
    　前記試行シーケンス設定部が格納している前記試行シーケンス情報は、前記有線通信についての試行順位を無線通信よりも上位となるように試行順位を定めているものである、
    　請求項３に記載の表示操作端末。     Either or both of the terminal reception unit and the terminal transmission unit further communicate with the electronic device by wired communication,
    The pairing information by protocol registers the electronic device as one of connection-authenticated devices for the wired communication,
    The trial sequence information stored in the trial sequence setting unit defines the trial order so that the trial order for the wired communication is higher than the wireless communication.
    The display operation terminal according to claim 3.
  5. 　前記端末送信部は、前記電子機器との受信接続を確立させようとする通信プロトコルのための識別情報の送信を、当該通信プロトコルとは別の通信プロトコルで行いうるものである、
    　請求項３または請求項４に記載の表示操作端末。     The terminal transmission unit can transmit identification information for a communication protocol for establishing a reception connection with the electronic device using a communication protocol different from the communication protocol.
    The display operation terminal according to claim 3 or 4.
  6. 　前記使用者からの指による操作入力を受け付けるための、前記表示エリアから外れた位置に配置された指操作入力部をさらに備えており、
    　前記端末送信部は、該指操作入力部からの信号を前記操作入力信号の一部に含めて前記電子機器に送信するものである、
    　請求項１に記載の表示操作端末。     A finger operation input unit disposed at a position outside the display area for receiving an operation input by a finger from the user;
    The terminal transmission unit includes a signal from the finger operation input unit as a part of the operation input signal and transmits the signal to the electronic device.
    The display operation terminal according to claim 1.
  7. 　前記電子機器との接続を解除した後に前記表示内容を再現しうる情報を保持しない
    　請求項１に記載の表示操作端末。     The display operation terminal according to claim 1, wherein information that can reproduce the display content is not retained after the connection with the electronic device is released.
  8. 　使用される電力の一部または全部を無線で電力接続される外部電源または外部電池により賄う
    　請求項１に記載の表示操作端末。     The display operation terminal according to claim 1, wherein part or all of the power used is covered by an external power source or an external battery that is wirelessly connected to power.
  9. 　前記端末表示部が可撓性を示すものである
    　請求項１に記載の表示操作端末。     The display operation terminal according to claim 1, wherein the terminal display unit exhibits flexibility.
  10. 　請求項１～請求項９のいずれか１項に記載の表示操作端末と、
    　前記表示信号を送信する機器送信部と前記操作入力信号を受信する機器受信部とを備えた電子機器と
    　を備えており、
    　前記電子機器のための表示内容が前記表示操作端末に送信され、前記表示操作端末のためのタッチ操作入力が前記電子機器に送信されることにより、該電子機器の表示内容の表示とそれに対するタッチ操作が前記表示操作端末において実行される
    　表示操作分離システム。     A display operation terminal according to any one of claims 1 to 9,
    An electronic device including a device transmission unit that transmits the display signal and a device reception unit that receives the operation input signal;
    The display content for the electronic device is transmitted to the display operation terminal, and the touch operation input for the display operation terminal is transmitted to the electronic device, thereby displaying the display content of the electronic device and touching it. A display operation separation system in which an operation is executed in the display operation terminal.
  11. 　前記端末受信部および前記機器送信部が互いに有線通信により通信するものであるか、または、前記端末送信部および前記機器受信部が互いに有線通信により通信するものであり、
    　前記表示操作端末は、
    　　前記端末受信部および前記端末送信部の双方による前記電子機器との接続の確立および解除を制御する端末通信制御部と、
    　　前記電子機器を接続認証済み機器の一つとして登録するためのペアリング情報を格納する端末ペアリング情報記録部と
    　をさらに備えており、
    　前記端末通信制御部は、前記端末ペアリング情報記録部に接続認証済み機器とは記録されていない前記電子機器が前記端末送信部または前記端末受信部を通じて前記表示操作端末に前記有線通信で接続された場合に前記端末送信部および前記端末受信部の少なくともいずれかを制御して前記表示操作端末と前記電子機器とを互いに認証する手順を実行させ、前記電子機器との接続が確立した後に前記電子機器が接続認証済み機器であると前記端末ペアリング情報に登録するものである、
    　請求項１０に記載の表示操作分離システム。     The terminal reception unit and the device transmission unit communicate with each other by wired communication, or the terminal transmission unit and the device reception unit communicate with each other by wired communication,
    The display operation terminal is
    A terminal communication control unit that controls establishment and release of connection with the electronic device by both the terminal reception unit and the terminal transmission unit;
    A terminal pairing information recording unit that stores pairing information for registering the electronic device as one of the connection-authenticated devices, and
    The terminal communication control unit is configured such that the electronic device that is not recorded as a connection authenticated device in the terminal pairing information recording unit is connected to the display operation terminal through the terminal transmission unit or the terminal reception unit through the wired communication. In the case where the terminal transmitting unit and the terminal receiving unit are controlled to execute a procedure for mutually authenticating the display operation terminal and the electronic device, and after the connection with the electronic device is established, the electronic device The device is registered in the terminal pairing information as a connection-authenticated device.
    The display operation separation system according to claim 10.
  12. 　前記端末受信部および前記機器送信部が互いに有線通信により通信するものであるか、または、前記端末送信部および前記機器受信部が互いに有線通信により通信するものであり、
    　前記電子機器は、
    　　前記機器受信部および前記機器送信部の双方による前記表示操作端末との接続の確立および解除を制御する機器通信制御部と、
    　　前記表示制御端末を接続認証済み機器の一つとして登録するためのペアリング情報を格納する機器ペアリング情報記録部と
    　をさらに備えており、
    　前記機器通信制御部は、前記機器ペアリング情報記録部に接続認証済み機器とは記録されていない前記表示操作端末が前記機器送信部または前記機器受信部を通じて前記電子機器に前記有線通信で接続された場合に前記機器送信部および前記機器受信部の少なくともいずれかを制御して前記電子機器と前記表示操作端末とを互いに認証する手順を実行させ、前記表示操作端末との接続が確立した後に前記表示操作端末が接続認証済み機器であると前記機器ペアリング情報に登録するものである
    　請求項１０に記載の表示操作分離システム。     The terminal reception unit and the device transmission unit communicate with each other by wired communication, or the terminal transmission unit and the device reception unit communicate with each other by wired communication,
    The electronic device is
    A device communication control unit that controls establishment and release of the connection with the display operation terminal by both the device reception unit and the device transmission unit;
    A device pairing information recording unit for storing pairing information for registering the display control terminal as one of the connection-authenticated devices, and
    In the device communication control unit, the display operation terminal that is not recorded as a connection authenticated device in the device pairing information recording unit is connected to the electronic device through the device transmission unit or the device reception unit through the wired communication. The electronic device and the display operation terminal are mutually authenticated by controlling at least one of the device transmission unit and the device reception unit when the connection with the display operation terminal is established. The display operation separation system according to claim 10, wherein the display operation terminal is registered in the device pairing information as a connection authenticated device.
  13. 　前記電子機器は、
    　　前記表示内容を使用者に呈示しうる機器表示部と、
    　　前記端末送信部から送信され前記機器受信部にて受信した操作入力信号を受け付けるリモート入力受付部と、
    　　該リモート入力受付部からの信号に基づいて前記機器表示部の省電力動作または停止動作への移行またはいずれかの動作からの復帰を制御する動作制御部と
    　を備えるものであり、
    　前記表示操作端末は、前記電子機器の前記機器表示部の表示動作を省電力動作または停止動作させるべきことについての設定プロンプトを追加表示内容として前記表示内容に重ねて前記端末表示部に表示させ、該設定プロンプトに対し使用者から前記タッチ操作入力部が受け付けた省電力動作または停止動作させるべきことを示す設定結果の入力を含む前記操作入力信号を前記端末送信部を通じて送信するように動作し、
    　前記動作制御部は、前記機器受信部を通じ前記リモート入力受付部が前記操作入力信号を受信すると、前記設定結果を含む前記操作入力信号に基づいて前記機器表示部を省電力動作または停止動作に移行させるように動作するものである、
    　請求項１０に記載の表示操作分離システム。     The electronic device is
    A device display unit capable of presenting the display content to a user;
    A remote input reception unit that receives an operation input signal transmitted from the terminal transmission unit and received by the device reception unit;
    An operation control unit that controls a shift to a power saving operation or a stop operation of the device display unit based on a signal from the remote input reception unit or a return from any operation, and
    The display operation terminal causes the terminal display unit to display a setting prompt on the display operation of the device display unit of the electronic device as an additional display content on the terminal display unit as an additional display content, The operation input signal including an input of a setting result indicating that the touch operation input unit should accept the power saving operation or the stop operation received from the user in response to the setting prompt is transmitted through the terminal transmission unit,
    When the remote input receiving unit receives the operation input signal through the device receiving unit, the operation control unit shifts the device display unit to a power saving operation or a stop operation based on the operation input signal including the setting result. Is something that works to let you
    The display operation separation system according to claim 10.
  14. 　前記電子機器は、
    　　前記表示内容を該電子機器の使用者に呈示しうる機器表示部と、
    　　該使用者が音声通話するための音声通話機能を提供する、当該電子機器自体の機能処理部が動作していても話中の動作を継続できる音声通話処理部と、
    　　該音声通話処理部を含む電子機器自体の機能処理部を選択的に起動、休止、または停止させうる機能管理制御部と、
    　　前記端末送信部から送信され前記機器受信部にて受信した操作入力信号を受け付けるリモート入力受付部と
    　を備えており、
    　前記機能管理制御部は、前記音声通話処理部を動作させる話中の状態において、
    　　前記機器表示部の表示内容を、前記音声通話処理部の起動時に呈示される音声通話用画面を表示する直前の該音声通話用画面を含まない画面のものに戻すか、または操作の既定画面であるホーム画面のものにするか、のいずれかとなるように制御し、
    　　前記端末表示部にて制御後の当該表示内容が呈示された前記表示操作端末の使用者からの前記タッチ操作入力部の入力を受け付け該タッチ操作入力部が出力した操作入力信号を前記リモート入力受付部で受け付ける
    　ものである、
    　請求項１０に記載の表示操作分離システム。     The electronic device is
    A device display unit capable of presenting the display content to a user of the electronic device;
    A voice call processing unit that provides a voice call function for the user to make a voice call, and can continue a busy operation even if the function processing unit of the electronic device itself is operating;
    A function management control unit capable of selectively starting, pausing, or stopping the function processing unit of the electronic device itself including the voice call processing unit;
    A remote input reception unit that receives an operation input signal transmitted from the terminal transmission unit and received by the device reception unit, and
    The function management control unit is in a busy state in which the voice call processing unit is operated.
    The display content of the device display unit is returned to a screen that does not include the voice call screen immediately before displaying the voice call screen presented when the voice call processing unit is activated, or the default screen of the operation is displayed. Control it to be one of the home screens,
    Accepting an input of the touch operation input unit from a user of the display operation terminal presented with the display content after control by the terminal display unit, accepting an operation input signal output by the touch operation input unit as the remote input That is accepted by the department,
    The display operation separation system according to claim 10.
  15. 　前記電子機器は、
    　　前記表示内容を使用者に呈示しうる機器表示部と、
    　　入力位置を示す入力カーソルを前記機器表示部の表示内容に含まれる入力可能欄に表示させるカーソル制御部と、
    　　前記機器表示部にて前記入力位置への入力表示内容を制御する入力制御部と、
    　　前記表示送信部から送信され前記機器受信部にて受信した操作入力信号を受け付けるリモート入力受付部と
    　を備えるものであり、
    　前記表示操作端末は前記タッチ操作入力部からの前記タッチ操作信号からキーコードを含む入力キー信号を生成するタッチキーボード制御部を備えており、
    　該タッチキーボード制御部は、前記端末表示部において使用者に呈示されたキーボード画像に含まれるキーのうち、キーの入力に対応するタッチ入力操作がされたキーに対する位置を前記タッチ操作信号が示す場合に、少なくとも当該キーのキーコードを示す前記入力キー信号を出力するものであり、
    　前記端末送信部は、該タッチキーボード制御部からの該入力キー信号または対応する入力キーデータを前記操作入力信号に含めて送信し、
    　前記機器受信部が前記端末送信部からの前記操作入力信号を受信し、
    　前記リモート入力受付部は、前記入力キー信号または対応する前記入力キーデータを含む前記操作入力信号を受け付けるものであり、
    　前記カーソル制御部および前記入力制御部は、前記リモート入力受付部からの前記入力キー信号または対応する前記入力キーデータが示す前記キーコードに基づいて、当該キーコードが示すキーが押下された場合に生じるべき表示上の変化を前記入力カーソルに対応する前記入力位置での前記表示内容に反映させるものである、
    　請求項１０に記載の表示操作分離システム。     The electronic device is
    A device display unit capable of presenting the display content to a user;
    A cursor control unit for displaying an input cursor indicating an input position in an input enabled column included in the display content of the device display unit;
    An input control unit for controlling input display contents to the input position in the device display unit;
    A remote input reception unit that receives an operation input signal transmitted from the display transmission unit and received by the device reception unit, and
    The display operation terminal includes a touch keyboard control unit that generates an input key signal including a key code from the touch operation signal from the touch operation input unit,
    When the touch operation signal indicates a position with respect to a key on which a touch input operation corresponding to the key input is performed among keys included in a keyboard image presented to the user in the terminal display unit And at least outputting the input key signal indicating the key code of the key,
    The terminal transmission unit transmits the operation key signal including the input key signal or the corresponding input key data from the touch keyboard control unit,
    The device reception unit receives the operation input signal from the terminal transmission unit,
    The remote input receiving unit is configured to receive the operation input signal including the input key signal or the corresponding input key data.
    When the key indicated by the key code is pressed based on the key code indicated by the input key signal from the remote input receiving unit or the corresponding input key data, the cursor control unit and the input control unit A change in display to occur is reflected in the display content at the input position corresponding to the input cursor,
    The display operation separation system according to claim 10.
  16. 　前記表示操作端末は、
    　　表示内容を前記端末表示部にて前記使用者に呈示する際の表示位置および拡大率を制御する表示制御部と、
    　　前記表示内容に含まれる入力カーソルを探索し、該入力カーソルの位置を示すカーソル位置信号を出力するカーソル探索部と
    　をさらに備えており、
    　前記表示制御部は、該カーソル探索部からの前記カーソル位置信号が示す前記入力カーソルの前記表示内容における位置が、前記キーボード画像と重ならない位置になるよう表示位置を制御し、該入力カーソルを含む近傍の表示内容を拡大して表示するものである、
    　請求項１５に記載の表示操作分離システム     The display operation terminal is
    A display control unit that controls a display position and an enlargement ratio when presenting display contents to the user at the terminal display unit;
    A cursor search unit that searches for an input cursor included in the display content and outputs a cursor position signal indicating the position of the input cursor;
    The display control unit controls a display position so that a position in the display content of the input cursor indicated by the cursor position signal from the cursor search unit does not overlap the keyboard image, and includes the input cursor The display contents in the vicinity are enlarged and displayed.
    The display operation separation system according to claim 15.
  17. 　前記電子機器が、閲覧または視聴の単位となる単位コンテンツの全体を格納可能な機器コンテンツ記録部をさらに備え、
    　前記表示操作端末が、閲覧または視聴の単位となる単位コンテンツの全体を格納可能な端末コンテンツ記録部をさらに備え、
    　前記電子機器は、接続を確立した前記表示操作端末に対して前記機器コンテンツ記録部に格納しているある単位コンテンツ全体を前記機器送信部を通じて送信するものであり、
    　前記表示操作端末は、送信された前記単位コンテンツの全体を前記端末受信部を通じて受信して前記端末コンテンツ記録部に格納するものであり、
    　前記電子機器および前記表示操作端末は、前記単位コンテンツ全体の送受信が完了した後に、いずれかまたは両方の側から互いの接続を解除するものであり、
    　前記表示操作端末は、前記電子機器との接続が解除された後に、前記端末コンテンツ記録部に格納された前記単位コンテンツの表示に関する内容を前記端末表示部に表示しうるものである、
    　請求項１０に記載の表示操作分離システム。     The electronic device further includes a device content recording unit capable of storing the entire unit content as a unit of browsing or viewing,
    The display operation terminal further includes a terminal content recording unit capable of storing the entire unit content as a unit of browsing or viewing;
    The electronic device transmits the entire unit content stored in the device content recording unit to the display operation terminal that has established a connection through the device transmission unit,
    The display operation terminal receives the whole transmitted unit content through the terminal reception unit and stores it in the terminal content recording unit,
    The electronic device and the display / operation terminal release the mutual connection from either or both sides after the transmission / reception of the entire unit content is completed,
    The display operation terminal is capable of displaying, on the terminal display unit, contents related to the display of the unit content stored in the terminal content recording unit after the connection with the electronic device is released.
    The display operation separation system according to claim 10.
  18. 　前記電子機器が、複数の画像を含む画像コンテンツの少なくとも一の画像を格納可能な機器画像コンテンツ記録部をさらに備え、
    　前記表示操作端末が、複数の画像を含む画像コンテンツの少なくとも一の画像を格納可能な端末画像コンテンツ記録部をさらに備え、
    　前記電子機器は、接続を確立した前記表示操作端末に対して前記機器画像コンテンツ記録部に格納しているある画像コンテンツの複数の画像のうちの一以上の画像を前記機器送信部を通じて送信するものであり、
    　前記表示操作端末は、送信された前記画像コンテンツの前記複数の画像のうち接続が解除されるまでに送信された前記一以上の画像を前記端末受信部を通じて受信し前記端末画像コンテンツ記録部に格納するものであり、
    　前記電子機器および前記表示操作端末は、前記前記一以上の画像の送受信が完了した後に、いずれかまたは両方の側から互いの接続を解除するものであり、
    　前記表示操作端末は、前記電子機器との接続が解除された後に、前記端末コンテンツ記録部に格納された前記最後に送信された画像を前記端末表示部に表示することができるものである、
    　請求項１０に記載の表示操作分離システム。     The electronic device further includes a device image content recording unit capable of storing at least one image of image content including a plurality of images;
    The display operation terminal further includes a terminal image content recording unit capable of storing at least one image of image content including a plurality of images;
    The electronic device transmits one or more images among a plurality of images of a certain image content stored in the device image content recording unit to the display operation terminal having established a connection through the device transmission unit. And
    The display operation terminal receives the one or more images transmitted until the connection is released among the plurality of images of the transmitted image content through the terminal reception unit and stores them in the terminal image content recording unit Is what
    The electronic device and the display / operation terminal release the mutual connection from either or both sides after the transmission / reception of the one or more images is completed.
    The display operation terminal is capable of displaying the last transmitted image stored in the terminal content recording unit on the terminal display unit after the connection with the electronic device is released.
    The display operation separation system according to claim 10.
  19. 　ともに前記表示操作端末である第１表示操作端末と第２表示操作端末とを備えており、
    　前記電子機器の前記機器送信部は、該第１表示操作端末と該第２表示操作端末との双方に共通した表示内容を示す共通表示信号を、前記第１表示操作端末に対する表示信号と前記第２表示操作端末に対する表示信号とのそれぞれに含めて送信するものであり、
    　前記電子機器の前記機器受信部は、該第１表示操作端末と該第２表示操作端末とからのそれぞれの操作入力信号を互いに区別して受信するものである、
    　請求項１０に記載の表示操作分離システム。     Both have a first display operation terminal and a second display operation terminal, which are the display operation terminals,
    The device transmission unit of the electronic device generates a common display signal indicating display content common to both the first display operation terminal and the second display operation terminal, a display signal for the first display operation terminal, and the first display operation terminal. 2 It is included in each display signal for the display operation terminal and transmitted.
    The device receiving unit of the electronic device receives the operation input signals from the first display operation terminal and the second display operation terminal separately from each other.
    The display operation separation system according to claim 10.
  20. 　前記電子機器は、
    　　前記表示内容を使用者に呈示しうる機器表示部と、
    　　該使用者からの操作入力を受け付ける機器入力受付部と、
    　　前記前記第１表示操作端末および前記第２表示操作端末から前記機器受信部を経由し受信した操作入力信号を受け付けるリモート入力受付部と、
    　　前記機器入力受付部および該リモート入力受付部からの信号に基づいて前記機器表示部にて呈示する追加表示内容を制御する機器表示制御部と
    　を備えるものであり、
    　該機器表示制御部は、前記第１表示操作端末と前記第２表示操作端末とのいずれからの操作入力信号を受け付けるべきかを選択するための選択プロンプトを前記追加表示内容として前記表示内容に重ねて前記機器表示部に表示させるものであり、
    　前記機器入力受付部は、前記電子機器の前記使用者からの選択結果の入力を受け付けるようになっており、
    　前記リモート入力受付部は、該選択結果に応じ、前記第１表示操作端末と前記第２表示操作端末とのいずれかからの操作入力信号を選択的に受け付けるようになっている
    　請求項１９に記載の表示操作分離システム。     The electronic device is
    A device display unit capable of presenting the display content to a user;
    A device input receiving unit that receives an operation input from the user;
    A remote input reception unit that receives an operation input signal received from the first display operation terminal and the second display operation terminal via the device reception unit;
    A device display control unit that controls the additional display content presented in the device display unit based on signals from the device input reception unit and the remote input reception unit,
    The device display control unit superimposes a selection prompt on the display content as the additional display content for selecting which of the first display operation terminal and the second display operation terminal should accept the operation input signal. Is displayed on the device display unit,
    The device input receiving unit is configured to receive an input of a selection result from the user of the electronic device,
    The remote input reception unit is configured to selectively receive an operation input signal from either the first display operation terminal or the second display operation terminal according to the selection result. Display operation separation system.
  21. 　ともに前記電子機器である第１電子機器と第２電子機器とを備えており、
    　前記表示操作端末の前記端末受信部は、該第１電子機器の表示内容である第１表示内容と該第２電子機器の表示内容である第２表示内容とを互いに区別して受信するようになっており、
    　前記端末表示部は前記第１表示内容と前記第２表示内容とを表示するものであり、
    　前記タッチ操作入力部は、前記第１表示内容と前記第２表示内容とのいずれに対する入力であるかがタッチ位置から判別可能となりうる前記タッチ操作信号を生成し、
    　前記端末送信部は、前記タッチ操作信号を含む前記操作入力信号を、前記端末表示部にて表示されている前記第１表示内容に対応している第１操作入力信号と前記端末表示部にて表示されている前記第２表示内容に対応している第２操作入力信号とを互いに区別可能なようにして、前記第１電子機器および前記第２電子機器それぞれに向けて送信するようになっている、
    　請求項１０に記載の表示操作分離システム。     Both of the electronic devices include a first electronic device and a second electronic device,
    The terminal receiving unit of the display operation terminal receives the first display content that is the display content of the first electronic device and the second display content that is the display content of the second electronic device separately from each other. And
    The terminal display unit displays the first display content and the second display content,
    The touch operation input unit generates the touch operation signal that can be determined from a touch position as to which of the first display content and the second display content is input,
    The terminal transmission unit transmits the operation input signal including the touch operation signal to the first operation input signal corresponding to the first display content displayed on the terminal display unit and the terminal display unit. The second operation input signal corresponding to the displayed second display content can be distinguished from each other and transmitted to each of the first electronic device and the second electronic device. Yes,
    The display operation separation system according to claim 10.
  22. 　前記表示操作端末は使用時において平板をなす形状をもち、
    　前記表示操作端末の前記端末表示部は該平板の厚みをなす両面の一方の面に沿って配置されているものであり、
    　前記表示操作端末は、前記両面の他方の面に端末接続端子群が設けられており、
    　前記電子機器は、前記端末接続端子群と接続可能な機器接続端子群がいずれかの面である接続面に設けられており、
    　前記電子機器は、前記端末接続端子群と前記機器接続端子群とが互いに接続された状態で前記表示操作端末の前記他方の面に取り付けられるものである、
    　請求項１０に記載の表示操作分離システム。     The display operation terminal has a flat plate shape in use,
    The terminal display unit of the display operation terminal is arranged along one of both surfaces forming the thickness of the flat plate,
    The display operation terminal is provided with a terminal connection terminal group on the other surface of the both surfaces,
    The electronic device is provided on a connection surface, which is a device connection terminal group connectable with the terminal connection terminal group,
    The electronic device is attached to the other surface of the display operation terminal in a state where the terminal connection terminal group and the device connection terminal group are connected to each other.
    The display operation separation system according to claim 10.
  23. 　前記機器送信部と前記端末受信部とが無線通信により通信を行うものである、
    　請求項１０に記載の表示操作分離システム。     The device transmitter and the terminal receiver communicate by wireless communication.
    The display operation separation system according to claim 10.
  24. 　前記機器受信部と前記端末送信部とが無線通信により通信を行うものである、
    　請求項１０に記載の表示操作分離システム。     The device reception unit and the terminal transmission unit communicate by wireless communication.
    The display operation separation system according to claim 10.
  25. 　前記表示操作端末が、前記電子機器との接続を解除した後に前記表示内容を再現しうる情報を保持しないものである、
    　請求項１０に記載の表示操作分離システム。     The display operation terminal does not hold information that can reproduce the display content after releasing the connection with the electronic device.
    The display operation separation system according to claim 10.
  26. 　前記端末送信部は、前記電子機器との受信接続を確立させようとする通信プロトコルのための識別情報の送信を、当該通信プロトコルとは別の通信プロトコルで行いうるものである、
    　請求項１０に記載の表示操作分離システム。     The terminal transmission unit can transmit identification information for a communication protocol for establishing a reception connection with the electronic device using a communication protocol different from the communication protocol.
    The display operation separation system according to claim 10.
PCT/JP2018/007129 2017-02-28 2018-02-27 Display/operation terminal and display/operation separation system using same WO2018159579A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-035891 2017-02-28
JP2017035891 2017-02-28

Publications (1)

Publication Number Publication Date
WO2018159579A1 true WO2018159579A1 (en) 2018-09-07

Family

ID=63370696

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/007129 WO2018159579A1 (en) 2017-02-28 2018-02-27 Display/operation terminal and display/operation separation system using same

Country Status (1)

Country Link
WO (1) WO2018159579A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7377108B2 (en) 2019-04-22 2023-11-09 北京小米移動軟件有限公司 Wireless charging system, wireless charging device and wireless power receiving device

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002198887A (en) * 2000-12-25 2002-07-12 Shin Caterpillar Mitsubishi Ltd Communication control method for machinery and device therefor
JP2002202941A (en) * 2000-08-25 2002-07-19 4C Soft Inc Multimedia electronic learning system and learning method
JP2003244343A (en) * 2002-02-21 2003-08-29 Toyota Motor Corp Display device, portable terminal and information display system
JP2006512794A (en) * 2002-07-12 2006-04-13 ソニー・エリクソン・モバイルコミュニケーションズ， エービー Wireless communication terminal with detachable active housing and associated connector
JP2010530110A (en) * 2007-06-29 2010-09-02 ノキア コーポレイション System, method, apparatus and computer program product for downloading content for offline browsing
JP2011176591A (en) * 2010-02-24 2011-09-08 Nec Corp Radio communication system using mobile terminal
JP2012019413A (en) * 2010-07-08 2012-01-26 Toshiba Corp Display system, terminal device, display device, and program
US20120242687A1 (en) * 2011-03-25 2012-09-27 Choi Sungha Image processing apparatus and image processing method
US20130113717A1 (en) * 2011-11-09 2013-05-09 Peter Anthony VAN EERD Touch-sensitive display method and apparatus
JP2013536613A (en) * 2010-07-10 2013-09-19 アイシーイー コンピューター、インコーポレイテッド Intelligent platform
JP2013219420A (en) * 2012-04-04 2013-10-24 Denso Corp Communication device, program, and communication establishing method
JP2013228562A (en) * 2012-04-25 2013-11-07 Sharp Corp Display device, transmission device, display system, control method of display device, control method of transmission device, control program, and recording medium
JP2014525065A (en) * 2011-05-31 2014-09-25 アップル インコーポレイテッド Device, method and graphical user interface for document manipulation
JP2014236351A (en) * 2013-05-31 2014-12-15 株式会社アイ・オー・データ機器 Communication connection system and program therefor
JP2015133577A (en) * 2014-01-10 2015-07-23 株式会社Ｎｔｔドコモ communication device, communication method and program
JP2015191487A (en) * 2014-03-28 2015-11-02 株式会社日立ソリューションズ presentation server and mobile terminal
JP2016046797A (en) * 2014-08-25 2016-04-04 現代自動車株式会社Ｈｙｕｎｄａｉｍｏｔｏｒ Ｃｏｍｐａｎｙ Bluetooth pairing method using wired connection
WO2016084485A1 (en) * 2014-11-27 2016-06-02 ソニー株式会社 Information processing device and information processing method
JP2016219416A (en) * 2015-05-18 2016-12-22 株式会社半導体エネルギー研究所 Power storage device and electronic apparatus

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002202941A (en) * 2000-08-25 2002-07-19 4C Soft Inc Multimedia electronic learning system and learning method
JP2002198887A (en) * 2000-12-25 2002-07-12 Shin Caterpillar Mitsubishi Ltd Communication control method for machinery and device therefor
JP2003244343A (en) * 2002-02-21 2003-08-29 Toyota Motor Corp Display device, portable terminal and information display system
JP2006512794A (en) * 2002-07-12 2006-04-13 ソニー・エリクソン・モバイルコミュニケーションズ， エービー Wireless communication terminal with detachable active housing and associated connector
JP2010530110A (en) * 2007-06-29 2010-09-02 ノキア コーポレイション System, method, apparatus and computer program product for downloading content for offline browsing
JP2011176591A (en) * 2010-02-24 2011-09-08 Nec Corp Radio communication system using mobile terminal
JP2012019413A (en) * 2010-07-08 2012-01-26 Toshiba Corp Display system, terminal device, display device, and program
JP2013536613A (en) * 2010-07-10 2013-09-19 アイシーイー コンピューター、インコーポレイテッド Intelligent platform
US20120242687A1 (en) * 2011-03-25 2012-09-27 Choi Sungha Image processing apparatus and image processing method
JP2014525065A (en) * 2011-05-31 2014-09-25 アップル インコーポレイテッド Device, method and graphical user interface for document manipulation
US20130113717A1 (en) * 2011-11-09 2013-05-09 Peter Anthony VAN EERD Touch-sensitive display method and apparatus
JP2013219420A (en) * 2012-04-04 2013-10-24 Denso Corp Communication device, program, and communication establishing method
JP2013228562A (en) * 2012-04-25 2013-11-07 Sharp Corp Display device, transmission device, display system, control method of display device, control method of transmission device, control program, and recording medium
JP2014236351A (en) * 2013-05-31 2014-12-15 株式会社アイ・オー・データ機器 Communication connection system and program therefor
JP2015133577A (en) * 2014-01-10 2015-07-23 株式会社Ｎｔｔドコモ communication device, communication method and program
JP2015191487A (en) * 2014-03-28 2015-11-02 株式会社日立ソリューションズ presentation server and mobile terminal
JP2016046797A (en) * 2014-08-25 2016-04-04 現代自動車株式会社Ｈｙｕｎｄａｉｍｏｔｏｒ Ｃｏｍｐａｎｙ Bluetooth pairing method using wired connection
WO2016084485A1 (en) * 2014-11-27 2016-06-02 ソニー株式会社 Information processing device and information processing method
JP2016219416A (en) * 2015-05-18 2016-12-22 株式会社半導体エネルギー研究所 Power storage device and electronic apparatus

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7377108B2 (en) 2019-04-22 2023-11-09 北京小米移動軟件有限公司 Wireless charging system, wireless charging device and wireless power receiving device

Similar Documents

Publication Publication Date Title
CN105988666B (en) Mobile terminal and control method thereof
CN103577066B (en) Electronic installation and the electronic note system using electronic installation
US20220197581A1 (en) Mobile terminal and electronic device having mobile terminal
JP6509695B2 (en) Mobile terminal and control method thereof
KR102626633B1 (en) Terminal and method for controlling the same
KR102605470B1 (en) Mobile terminal and method for controlling the same
US20130109371A1 (en) Computing device operable to work in conjunction with a companion electronic device
KR101917696B1 (en) Mobile terminal and control method thereof
KR101642808B1 (en) Mobile terminal and method for controlling the same
JP7146951B2 (en) Mobile terminals and electronic devices equipped with mobile terminals
KR20180037844A (en) Mobile terminal
US20210278942A1 (en) Mobile terminal, an electronic device having a mobile terminal, and control method of the electronic device
KR102247893B1 (en) Mobile terminal and communication system thereof
JP2016201090A (en) Mobile terminal and method for controlling the same
KR102674753B1 (en) Mobile terminal and electronic device comprising the mobile terminal
KR20160031305A (en) Mobile terminal and method for controlling the same
KR20180028211A (en) Head mounted display and method for controlling the same
KR20170099088A (en) Electronic device and method for controlling the same
KR20210119590A (en) Mobile terminal and electronic device with mobile terminal
US20220334715A1 (en) Mobile terminal, electronic device comprising mobile terminal, and method for controlling electronic device
KR20170001219A (en) Mobile terminal and method for unlocking thereof
KR101595398B1 (en) Band type terminal
WO2018159579A1 (en) Display/operation terminal and display/operation separation system using same
KR20170055296A (en) Tethering type head mounted display and method for controlling the same
CN111418197A (en) Mobile terminal and control method thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18761014

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18761014

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP