WO2023032287A1 - 表示装置、表示システム、及び表示方法 - Google Patents
表示装置、表示システム、及び表示方法 Download PDFInfo
- Publication number
- WO2023032287A1 WO2023032287A1 PCT/JP2022/010576 JP2022010576W WO2023032287A1 WO 2023032287 A1 WO2023032287 A1 WO 2023032287A1 JP 2022010576 W JP2022010576 W JP 2022010576W WO 2023032287 A1 WO2023032287 A1 WO 2023032287A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- display device
- display
- unit
- information
- virtual
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 69
- 230000005540 biological transmission Effects 0.000 claims abstract description 38
- 230000008569 process Effects 0.000 claims description 43
- 230000004044 response Effects 0.000 claims description 26
- 238000001514 detection method Methods 0.000 claims description 8
- 238000005516 engineering process Methods 0.000 abstract description 30
- 238000012545 processing Methods 0.000 description 66
- 238000004891 communication Methods 0.000 description 51
- 238000000926 separation method Methods 0.000 description 24
- 238000010586 diagram Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 13
- 230000008859 change Effects 0.000 description 6
- 230000010365 information processing Effects 0.000 description 4
- 238000009434 installation Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2356/00—Detection of the display position w.r.t. other display screens
Definitions
- the present technology relates to a display device, a display system, and a display method for displaying images.
- Patent Document 1 discloses an information processing device that can be applied to devices that handle electronic books.
- This information processing apparatus has two screens, one of which displays text and images as content.
- the user magnifies a portion of the displayed content, the magnified content is displayed on the other screen.
- the user can refer to the content displayed in the normal size on one screen while viewing the desired content enlarged on the other screen. Therefore, the user can enjoy the layout intended by the creator of the content on one screen, and at the same time, can check the desired content on the other screen (paragraph [0120] of the specification of Patent Document 1). [0129] FIG. 21, etc.).
- an object of the present technology is to provide a display device, a display system, and a display method that can improve user convenience.
- a display device includes a first display unit, a determination unit, a virtual display area setting unit, a transmission unit, and a reception unit.
- the first display section is capable of displaying an image.
- the determination unit determines connection with another display device having a second display capable of displaying an image.
- the virtual display area setting unit associates each position of the first display unit with the associated first virtual display area when the determination unit determines that the display device is connected to the other display device. , setting a second virtual display area associated with each position of the second display unit.
- the transmission unit transmits information on a first touch position generated in response to a first touch on the first display unit to the other display device determined to be connected by the determination unit.
- the receiving unit receives information on a second touch position generated in response to a second touch on the second display unit from the other display device determined to be connected by the determination unit.
- a first virtual display area corresponding to the first display section of the display device and a second display section of the other display device correspond to each other.
- a second virtual display area is set.
- the display device further performs processing in response to the first contact based on a position on the first virtual display area corresponding to the first contact position, and An execution unit may be provided that executes a process corresponding to the second contact based on the position on the second virtual display area corresponding to the position information.
- the first display unit executes a cooperative display mode for displaying the image in cooperation with the second display unit when the determination unit determines that the first display unit is connected to the other display device.
- the display device may further include a proximity detection unit that detects proximity of an object.
- the determination unit may determine connection with the other display device based on the proximity of the other display device.
- the determination unit determines whether the object whose proximity is detected by the proximity detection unit is the other display device, and determines connection with the other display device based on the determination result.
- the transmission unit may transmit first state information, which is state information regarding the cooperative display mode of the display device, to the other display device determined to be connected by the determination unit.
- the receiving unit receives second state information, which is state information regarding the cooperative display mode of the other display device, from the other display device determined to be connected by the determination unit. good too.
- the determination unit may determine that the other display device is connected when transmission of the first state information and reception of the second state information are completed.
- the display device further includes a state setting for setting a state of the display device related to the cooperative display mode such that the first state information and the second state information received by the receiving unit match. You may have a part.
- the state setting unit may set one of the display device and the other display device determined to be connected by the determination unit as a master device, and the other as a slave device.
- the state setting unit when the display device is set as a child device, sets the first state information to the second state information received from the other display device set as the parent device.
- a state for the cooperative display mode of the display device may be set to match.
- the state setting unit may set the state of the cooperative display mode of the display device to an initial state.
- the determining unit may determine a difference between the first state information and the second state information received by the receiving unit when it is determined that the other display device is connected.
- the state setting unit adjusts the first state information and the second state information received by the reception unit when the determination unit determines that there is the difference.
- a state for the cooperative display mode of the display device may be set.
- the determination unit may determine the difference between the first state information and the second state information received by the reception unit at predetermined intervals.
- the determination unit may determine the difference between the first state information and the second state information received by the reception unit according to an instruction from the user.
- the transmission unit detects the first display unit when a boundary between the first display unit and the second display unit is touched. contact position information may not be transmitted to the other display device.
- the determination unit determines that the display device is not connected to the other display device, the information on the first contact position is generated in a first cycle, and the determination unit determines that the display device is connected to the other display device. If it is determined that the first contact position information has been generated, the first contact position information may be generated in a second period longer than the first period.
- the state setting unit stores the first state information and the first state immediately before being connected to the other display device when the determination unit determines that the display device is newly separated from the other display device.
- a state for the cooperative display mode of the display device may be set to match the state information.
- a display system includes a first display device and a second display device.
- the first display device has a first display section, a first determination section, a first virtual display area setting section, a first transmission section, and a first reception section.
- the second display device has a second display section, a second determination section, a second virtual display area setting section, a second transmission section, and a second reception section.
- the first display section is capable of displaying an image.
- the first determination unit determines connection with the second display device. When the first determination unit determines that the first display device is connected to the second display device, the first virtual display area setting unit performs a first display associated with each position of the first display unit.
- a second virtual display area associated with each position of the second display unit is set in association with the virtual display area of .
- the first transmission unit transmits information about a first touch position generated in response to a first touch on the first display unit to the second display unit determined to be connected by the first determination unit. display device.
- the first receiving unit receives information about a second touch position generated in response to a second touch on the second display unit, and receives the second touch position determined to be connected by the first determination unit.
- display device The second display section is capable of displaying an image.
- the second determination unit determines connection with the first display device. When the second determination unit determines that the second display device is connected to the first display device, the second virtual display area setting unit performs a third virtual virtual display area setting unit associated with each position of the second display unit.
- a fourth virtual display area associated with each position of the first display unit is set in association with the virtual display area of .
- a said 2nd transmission part transmits the information of a said 2nd contact position to the said 1st display determined to have been connected by the said 2nd determination part.
- the second receiving unit receives information on the first contact position from the first display device determined to be connected by the second determination unit.
- a display method determines connection with another display device having a second display unit capable of displaying an image by a display device having a first display unit capable of displaying an image. including.
- each position of the second display unit is associated with a first virtual display area to which each position of the first display unit is associated.
- a second virtual display area is set.
- Information on a first contact position generated in response to the first contact on the first display is transmitted to the other display device determined to be connected.
- Second touch position information generated in response to a second touch on the second display is received from the other display determined to be connected.
- a display method connects a first display device having a first display unit capable of displaying an image to a second display device having a second display unit capable of displaying an image. including determining When it is determined that the second display device is connected, each position of the second display unit is associated with a first virtual display area to which each position of the first display unit is associated. An associated second virtual display area is set. Information on a first touch position generated in response to a first touch on the first display is transmitted to the second display determined to be connected. Second touch position information generated in response to a second touch on the second display is received from the second display determined to be connected. Connection with the first display device is determined by the second display device.
- each position of the first display unit When determined to be connected to the first display device, each position of the first display unit is associated with a third virtual display area to which each position of the second display unit is associated. An associated fourth virtual display area is set.
- Information on the second contact position is transmitted to the first display device determined to be connected.
- Information of the first contact position is received from the first display device determined to be connected.
- FIG. 1 is a schematic diagram for explaining an outline of a display system
- FIG. 1 is a schematic diagram for explaining an outline of a display system
- FIG. 3 is a block diagram showing a functional configuration example of a first display device and a second display device
- FIG. 8 is a flowchart illustrating an example of connection determination processing
- 4 is a flow chart showing an example of processing according to contact
- FIG. 4 is a schematic diagram for explaining a virtual display area
- FIG. 10 is a diagram showing an example of a message prompting separation; It is a figure which shows an example of the icon of a setting application. It is a figure which shows an example of the setting screen by a setting application.
- FIG. 10 is a diagram showing an example of a message prompting separation;
- FIG. 10 is a diagram showing an example of a message prompting separation
- FIG. 2 is a schematic diagram of a display system for explaining connectors; 8 is a flowchart illustrating an example of connection determination processing; 2 is a block diagram showing a hardware configuration example of a computer capable of implementing the first display device and the second display device; FIG.
- FIG. 1 and 2 are schematic diagrams for explaining the outline of the display system.
- FIG. 1 illustrates a state in which the first display device and the second display device are separated.
- FIG. 2 shows a state in which the first display device and the second display device are connected.
- the display system 1 includes a first display device 2 and a second display device 3 .
- the number of display devices that configure the display system 1 is not limited, and the display system 1 may be configured with three or more display devices.
- the first display device 2 and the second display device 3 can be realized by devices such as smartphones and tablets. Of course, the present invention is not limited to these, and any computer device may be used.
- the first display device 2 has a touch panel 4 and a proximity sensor 5 .
- the touch panel 4 has a rectangular shape.
- the touch panel 4 can display images.
- the character "A" is displayed on the touch panel 4, but it is also possible to display, for example, a picture, an icon, an arbitrary GUI (Graphical User Interface), or the like.
- the user can operate the first display device 2 by touching the touch panel 4 .
- a user can input arbitrary operations such as a touch operation, a drag operation, and a click operation to the touch panel 4 . That is, the touch panel 4 becomes a device having both functions of a display unit and an operation unit.
- a specific configuration of the touch panel 4 is not limited, and any configuration may be adopted.
- An outer frame 6 is arranged on a part of the periphery of the touch panel 4 .
- the outer frame 6 is arranged along three sides of the peripheral portion of the touch panel 4 .
- the outer frame 6 is arranged along the upper, right and left sides of the touch panel 4 .
- a specific configuration such as the material of the outer frame 6 is not limited. Also, the outer frame 6 may not be arranged on the touch panel 4 .
- a proximity sensor 5 detects the proximity of an object.
- any device capable of detecting the proximity of an object may be used, such as a ranging sensor.
- the proximity sensor 5 is arranged on the lower side of the touch panel 4 where the outer frame 6 is not arranged (hereinafter, the lower side of the first display device 2 is referred to as the first connection side 10).
- the proximity sensor 5 corresponds to an embodiment of a proximity detection unit that detects proximity of an object according to the present technology.
- the second display device 3 has a touch panel 7 and a proximity sensor 8 .
- Outer frames 9 are arranged on the right side, the left side, and the bottom side of the touch panel 7 .
- a proximity sensor 8 is arranged on the upper side of the touch panel 7 (hereinafter, the upper side of the second display device 3 is referred to as a second connection side 11).
- a specific configuration of the touch panel 7 and the proximity sensor 8 is not limited, and any configuration may be adopted.
- the proximity sensor 8 corresponds to an embodiment of a proximity detection unit that detects proximity of an object according to the present technology.
- the first display device 2 and the second display device 3 have the same configuration except for the positions where the outer frames 6 and 9 and the proximity sensors 5 and 8 are arranged.
- application of the present technology is not limited to the case where such two display devices are used.
- the first display device 2 and the second display device 3 are connectable.
- the first display is arranged such that the first connection side 10, which is the lower side of the first display device 2, and the second connection side 11, which is the upper side of the second display device 3, are in contact with each other.
- a device 2 and a second display device 3 are connected.
- a large touch panel (hereinafter referred to as an integrated touch panel 12) made up of the touch panels 4 and 7 is surrounded by the outer frames 6 and 9 all around the periphery.
- the configuration, method, etc. for connecting the first display device 2 and the second display device 3 are not limited, and the connection may be realized by any configuration or method.
- the touch panels 4 and 7 can work together to display an image. That is, the integrated touch panel 12 enables image display on a large screen.
- the upper half of the character "A" is displayed by the touch panel 4, and the lower half is displayed by the touch panel 7.
- the touch panels 4 and 7 can operate as one screen and display one image.
- each of the touch panels 4 and 7 operates as a separate screen and can display images individually. This makes it possible to switch the UI (User Interface) or the like, for example, when connecting and disconnecting two devices. Details of display control by the touch panels 4 and 7 when connecting and disconnecting the first display device 2 and the second display device 3 will be described later.
- FIG. 3 is a block diagram showing a functional configuration example of the first display device 2 and the second display device 3. As shown in FIG. In this embodiment, the functional configurations of each of the first display device 2 and the second display device 3 are equal to each other. Therefore, using the same FIG. 3, functional configuration examples of the first display device 2 and the second display device 3 will be described.
- the symbols in parentheses in FIG. 3 are the symbols of the blocks that the second display device 3 has. Of course, application of the present technology is not limited to the case where such two display devices are used.
- the first display device 2 further has a camera 13, a communication section 14, a controller 15, a storage section 22, a microphone 23, a speaker 24, and a connector 25.
- the camera 13 captures images of objects, etc. around the first display device 2 .
- a digital camera such as a CCD (Charge Coupled Device) camera is used. Any other imaging device may be used.
- CCD Charge Coupled Device
- the communication unit 14 is a module for performing network communication, short-range wireless communication, etc. with other devices.
- a wireless LAN module such as WiFi
- a communication module such as Bluetooth (registered trademark) are provided.
- communication with the second display device 3 is realized via the communication unit 14 .
- the microphone 23 detects sound information around the first display device 2 .
- the voice uttered by the user is appropriately detected.
- the user can make a call using the first display device 2 or perform an operation input using voice input.
- the speaker 24 outputs sound.
- the speaker 24 provides voice notification to the user.
- the configuration of the speaker 24 is not limited, and for example, a speaker 24 capable of outputting stereo sound, monaural sound, or the like may be used as appropriate.
- the connector 25 is a terminal for connection with other devices.
- terminals such as USB (Universal Serial Bus) and HDMI (registered trademark) (High-Definition Multimedia Interface) are provided.
- USB Universal Serial Bus
- HDMI registered trademark
- the controller 15 controls the operation of each block of the first display device 2 .
- the controller 15 has hardware necessary for configuring a computer, such as a CPU, ROM, RAM, and HDD (Hard Disk Drive).
- a computer such as a CPU, ROM, RAM, and HDD (Hard Disk Drive).
- the CPU loads a program according to the present technology pre-recorded in a ROM or the like into the RAM and executes the program, thereby executing the processing related to the display method according to the present technology.
- a PLD such as FPGA or a device such as ASIC may be used.
- Any computer such as a PC (Personal Computer) may function as the controller 15 .
- the program is installed in the first display device 2 via various recording media, for example. Alternatively, program installation may be performed via the Internet or the like.
- the type of recording medium on which the program is recorded is not limited, and any computer-readable recording medium may be used. For example, any computer-readable non-transitory storage medium
- the CPU executes a predetermined program, so that the display control unit 16, the determination unit 17, the virtual display area setting unit 18, the communication control unit 19, and the execution unit as functional blocks 20 and a state setting unit 21 are configured.
- dedicated hardware such as an IC (integrated circuit) may be used to implement the functional blocks.
- the display control unit 16 controls image display by the touch panel 4 . It is also possible to display various notifications to the user on the touch panel 4 by the display control unit 16 . In addition, the specific content of display control by the display control unit 16 is not limited. In this embodiment, the touch panel 4 and the display control section 16 function as an embodiment of a first display section capable of displaying an image.
- the touch panel 4 and the display control unit 16 can execute each of the cooperative display mode and the separate display mode.
- the cooperative display mode is a display mode using the integrated touch panel 12 and is executed when the second display device 3 is connected.
- the separated display mode is a display mode using the touch panel 4 and is executed when the second display device 3 is not connected.
- the determination unit 17 determines connection with another display device having a touch panel. In this embodiment, the determination unit 17 determines connection with the second display device 3 . A specific connection determination method by the determination unit 17 will be described later. In this embodiment, the determination unit 17 functions as an embodiment of a first determination unit that determines connection with the second display device 3 .
- the virtual display area setting unit 18 sets a first virtual display area associated with each position of the touch panel 4 . Also, a second virtual display area is set in which each position of the touch panel 4 of the second display device 3 is associated. The first virtual display area and the second virtual display area will be described later. In this embodiment, the virtual display area setting section 18 functions as an embodiment of the first virtual display area setting section.
- the communication control section 19 controls the operation of the communication section 14 .
- the communication control unit 19 controls transmission and reception of various information by the communication unit 14 .
- the communication section 14 and the communication control section 19 function as an embodiment of a transmission section, a reception section, a first transmission section, and a first reception section.
- the execution unit 20 executes various processes according to touch on the touch panel 4 .
- the execution unit 20 starts an application and executes processing according to the application.
- an instruction regarding display control may be output to the display control unit 16 by the execution unit 20, and the operation of the touch panel 4 may be controlled by the display control unit 16 based on the instruction.
- the specific contents of the processing executed by the execution unit 20 will be described later.
- the state setting section 21 sets the state of the first display device 2 .
- the state setting unit 21 can change the brightness of the image displayed by the touch panel 4, the volume of the sound output by the speaker 24, the applications installed in the first display device 2, and the like.
- the state setting unit 21 can set state information regarding the cooperative display mode.
- the storage unit 22 is a storage device such as a non-volatile memory, and uses, for example, an HDD or an SSD (Solid State Drive). In addition, any computer-readable non-transitory storage medium may be used.
- a control program for controlling the overall operation of the first display device 2 is stored in the storage unit 22 .
- the second display device 3 further has a camera 28, a communication section 29, a controller 30, a storage section 37, a microphone 38, a speaker 39, and a connector 40.
- the controller 30 also configures a display control unit 31, a determination unit 32, a virtual display area setting unit 33, a communication control unit 34, an execution unit 35, and a state setting unit 36 as functional blocks.
- Each block of the second display device 3 operates in the same manner as each block of the first display device 2 .
- the description of the relationship with the "second display device” can be read as "the first display device" when viewed from the second display device 3. It is possible.
- the second display device 3 corresponds to an embodiment of another display device having a second display section capable of displaying an image, according to the present technology.
- the touch panel 7 and the display control section 31 function as an embodiment of a second display section capable of displaying images.
- the determination unit 32 functions as an embodiment of a second determination unit that determines connection with the first display device 2 .
- the virtual display area setting section 33 functions as an embodiment of the second virtual display area setting section.
- the communication section 29 and the communication control section 34 function as an embodiment of a transmission section, a reception section, a second transmission section, and a second reception section.
- first display device 2 and the second display device 3 are not limited, and any configuration may be adopted.
- FIG. 4 is a flowchart illustrating an example of connection determination processing.
- each of the first display device 2 and the second display device 3 executes the same determination processing. Therefore, the determination processing by the first display device 2 will be mainly described below.
- a series of processes shown in FIG. 4 are executed at a predetermined frame rate.
- the processes executed by each of the first display device 2 and the second display device 3 may be started at the same timing as each other, or may be started at different timings.
- step 101 The operation of the proximity sensor 5 included in the first display device 2 is started (step 101). For example, if the process shown in FIG. 4 has been performed in the past and the proximity sensor 5 is already operating, the process of step 101 may be omitted.
- the proximity sensor 5 determines whether or not the proximity of an object is detected (step 102). For example, when the proximity sensor 5 is a distance measuring sensor, proximity is detected when the distance between the proximity sensor 5 and the object is smaller than a predetermined threshold. Proximity may also be detected when an object contacts the proximity sensor 5 . In addition, how proximity is detected by the proximity sensor 5 is not limited. If the proximity of an object is not detected (No in step 102), the determination unit 17 determines that the second display device 3 is not connected (step 103).
- a signal is transmitted by the communication unit 14 to the detected object (step 104).
- a device search signal and an inquiry signal are transmitted in broadband by the communication unit 14 configured as a wireless LAN module such as WiFi or a communication module such as Bluetooth (registered trademark).
- a beacon signal or the like may be transmitted.
- the specific content of the signal transmitted by the communication unit 14 is not limited.
- the determination unit 17 determines whether or not a signal has been received from the second display device 3 (step 105). In this embodiment, it is determined whether or not a response signal to the device search signal or the like transmitted in step 104 has been received.
- a device search signal is transmitted to the first display device 2 by the communication unit 29 of the second display device 3 (step 204).
- a device search signal or the like transmitted by the second display device 3 may be used for determination in step 105 . That is, it may be determined that a signal has been received from the second display device 3 when a device search signal or the like is received from the second display device 3 .
- the determination unit 17 determines that no signal is received from the second display device 3 (No in step 105), it determines that the second display device 3 is not connected (step 103). ).
- the communication unit 14 transmits the first state information to the second display device 3. sent.
- the first state information is state information regarding the cooperative display mode of the first display device 2 . The first state information will be explained later.
- the determination unit 17 determines whether or not the second status information has been received from the second display device 3 (step 107).
- the second state information is state information regarding the cooperative display mode of the second display device 3 .
- the second state information will be explained later.
- the second state information is transmitted by the communication unit 29 of the second display device 3 (step 206).
- the determination unit 17 receives the second state information from the second display device 3. It is determined that
- step 103 When the determination unit 17 determines that the second state information has not been received from the second display device 3 (No in step 107), it is determined that the second display device 3 is not connected. (step 103).
- step 107 When the determination unit 17 determines that the second state information has been received from the second display device 3 (Yes in step 107), it is determined that the second display device 3 is connected (step 108). ).
- the determination unit 17 determines connection with the second display device 3 based on the proximity of the second display device 3 . Particularly in this embodiment, the determination unit 17 determines whether or not the object whose proximity is detected by the proximity sensor 5 is the second display device 3, and based on the determination result, the second display device 3 determine the connection with
- the proximity sensor 5 first detects the proximity of an object. It is then determined whether a signal has been received from the second display device 3 .
- the determination unit 17 determines that the object whose proximity is detected is the second display device 3 when it is determined that the signal has been received from the second display device 3 .
- the determination unit 17 determines whether or not the object whose proximity is detected by the proximity sensor 5 is the second display device 3 .
- the determination unit 17 determines connection with the second display device 3 based on the determination result. Specifically, when the determination unit 17 determines that a signal has been received from the second display device 3, the process of transmitting the first status information and receiving the second status information is performed thereafter. and is determined to be connected to the second display device 3 . On the other hand, when the determination unit 17 determines that no signal has been received from the second display device 3 , it is determined that the second display device 3 is not connected.
- connection can be determined more accurately than in this method.
- how the determining unit 17 determines the connection with the second display device 3 based on the proximity of the second display device 3 is not limited. A process other than the process shown in the flowchart of FIG. 4 may be executed to determine the connection with the second display device 3 .
- FIG. 5 is a flowchart showing an example of processing according to contact. For example, a series of processes shown in FIG. 5 are executed at a predetermined frame rate. In this embodiment, each of the first display device 2 and the second display device 3 executes the same processing. Therefore, the processing performed by the first display device 2 will be mainly described below.
- the determination unit 17 determines whether or not the second display device 3 is connected (step 301). In this embodiment, connection is determined by the process shown in FIG. If it is determined that the second display device 3 is not connected (No in step 301), determination of connection is performed again (step 301).
- the first virtual display area and the second virtual display area are set (step 302).
- the virtual display area setting unit 18 establishes a second virtual display area associated with each position of the touch panel 7 in association with the first virtual display area associated with each position of the touch panel 4. set.
- FIG. 6 is a schematic diagram for explaining the virtual display area.
- the touch panel 4 is illustrated in the upper left of FIG.
- a portion corresponding to the touch panel 4 is also a schematic illustration of the first virtual display area 43 .
- a second virtual display area 44 is schematically illustrated below the touch panel 4 .
- a contact position 45 on the touch panel 4 is schematically illustrated by a black circle.
- coordinates are set on the touch panel 4 .
- the X coordinate of the touch panel 4 is set so as to correspond to the horizontal direction.
- the touch panel 4 has coordinate values of 1 to 100 as X coordinates, and the position corresponding to the right end is set as "X coordinate: 100" and the position corresponding to the left end is set as "X coordinate: 1".
- the Y coordinate is set to correspond to the vertical direction.
- the position corresponding to the upper end of the touch panel 4 is set as "Y coordinate: 100", and the position corresponding to the lower end is set as "Y coordinate: 1". Note that these coordinate values are merely examples, and the coordinate values may have any numerical width.
- the location of the touch is represented by coordinate values. For example, the contact position 45 of the contact near the center of the touch panel 4 shown in FIG.
- the first virtual display area 43 is set as an immaterial virtual display area (virtual display) having the same coordinate values as the touch panel. That is, the first virtual display area 43 becomes information having coordinate values of 1 to 100 as the X coordinate and the Y coordinate.
- the same position “X coordinate: 49” and “Y coordinate: 51” on the first virtual display area 43 is displayed. , a process corresponding to the contact is executed.
- each position of the touch panel 4 is associated with the first virtual display area 43 .
- the first virtual display area 43 is set by the state setting unit 21 and stored in the storage unit 22 or the like, for example.
- the second virtual display area 44 is set by the state setting unit 21 .
- each position of the touch panel 7 of the second display device 3 is associated with the second virtual display area 44 .
- the second virtual display area 44 will be information having coordinate values of 1 to 100 as the X and Y coordinates.
- Information about the coordinate values of the touch panel 7 may be received by the communication unit 14 in order to set the second virtual display area 44 .
- the virtual display area setting unit 18 sets the second virtual display area 44 in association with the first virtual display area 43 . Specifically, a second A virtual display area 44 is set.
- the specific method for setting the second virtual display area 44 in association with the first virtual display area 43 by the virtual display area setting unit 18 is not limited.
- the value of the coordinate next to "X coordinate: 1" of the first virtual display area 43 is the value of "X coordinate: 100" of the second virtual display area 44 ”, the second virtual display area 44 may be set.
- step 303 It is determined whether there has been a first contact.
- the first contact is contact with the touch panel 4 of the first display device 2 . That is, the contact position 45 shown in FIG. 6 corresponds to the first contact position.
- the position of the first contact will be referred to as the first first contact position 45 using the same reference numerals. Determination is performed by the determination unit 17, for example. Of course, the determination is not limited to this, and the determination may be performed by any functional block. If it is determined that there is no first contact (No in step 303), determination of first contact is performed again (step 303).
- step 304 processing corresponding to the first contact is executed (step 304).
- information on the first contact position is generated according to the first contact. Specifically, the coordinate values on the touch panel 4 at which the first contact was made are generated as information of the first contact position. That is, the information of the first contact position is "X coordinate: 49" and "Y coordinate: 51".
- the first touch position information is generated by the execution unit 20, for example, but is of course not limited to this.
- the execution unit 20 executes processing according to the first touch based on the position on the first virtual display area 43 corresponding to the first touch position 45 .
- the position on the first virtual display area 43 corresponding to the first touch position 45 is the same coordinate value on the first virtual display area 43 as the coordinate value of the first touch position 45 on the touch panel 4. . That is, the process is executed based on the position “X coordinate: 49” and “Y coordinate: 51” on the first virtual display area 43 .
- an application icon is displayed at "X coordinate: 49" and "Y coordinate: 51” on the touch panel 4, and the user touches the corresponding coordinates on the touch panel 4 to execute the application.
- the execution unit 20 outputs an instruction regarding display control to the display control unit 16, and the touch panel 4 displays the upper half of the screen of the application.
- processing may be executed according to the type of contact by the user (touch, swipe, pinch, etc.). Execution of an application is generally called a "key event" or the like.
- the details of specific processing by the execution unit 20 are not limited, and arbitrary processing may be executed.
- the communication unit 14 transmits the first contact position information generated in response to the first contact on the touch panel 4 to the second display device 3 determined by the determination unit 17 to be connected. be done. After that, the determination of the first contact is performed again (step 303).
- step 306 it is determined whether or not the information of the second contact position has been received. Specifically, the communication unit 14 receives the second touch position information generated in response to the second contact on the touch panel 7 from the second display device 3 determined to be connected by the determination unit 17. be done. The processing of step 306 may be started at the same timing as the processing of step 303, or may be started at a different timing.
- a series of processes shown in FIG. 5 are also executed in the second display device 3, and in the process corresponding to step 304, information on the second contact position is generated.
- information on the second contact position information on coordinate values such as "X coordinate: 49" and "Y coordinate: 51" is generated in the same manner as the information on the first contact position.
- the generated second contact position information is transmitted to the first display device in the process corresponding to step 305 . Then, it is received by the first display device 2 in step 306 .
- step 306 If the information on the second contact position has not been received (No in step 306), it is determined again whether or not the information on the second contact position has been received (step 306).
- step 306 If information on the second contact position has been received (Yes in step 306), a process corresponding to the second contact is executed (step 307). Specifically, based on the position on the second virtual display area 44 corresponding to the received information on the second contact position, the execution unit 20 executes the process corresponding to the second contact.
- an application icon is displayed at "X coordinate: 10" and "Y coordinate: 10" on the touch panel 7 of the second display device 3, and the user touches the corresponding coordinates on the touch panel 7 to execute the application.
- the information "X coordinate: 10" and "Y coordinate: 10" is received by the first display device 2 as information on the second contact position.
- the coordinates of the application icons displayed on the touch panel 7 are shared with the first display device 2 in advance.
- the execution unit 20 determines whether the user has It is determined that the coordinates of the application icon have been touched on the touch panel 7 side. Then, the execution unit 20 outputs an instruction regarding display control to the display control unit 16, and the touch panel 4 displays the upper half of the screen of the application.
- the processing shown in FIG. 5 is similarly executed in the second display device 3 as well.
- the determination unit 32 determines that the virtual display area setting unit 33 is connected to the first display device 2
- the virtual display area setting unit 33 sets each position of the touch panel 7 to the associated third virtual display area.
- a fourth virtual display area associated with each position of the touch panel 4 is set.
- the third virtual display area and the fourth virtual display area are set similarly to the first virtual display area 43 and the second virtual display area 44 .
- the touch panel 7 is illustrated in the lower right of FIG.
- a portion corresponding to the touch panel 7 is also a schematic illustration of the third virtual display area 46 .
- a fourth virtual display area 47 is schematically illustrated above the touch panel 7 .
- a position 48 which is a position on the fourth virtual display area 47 corresponding to the first contact position, is schematically illustrated by a hatched circle.
- a first contact position 45 on the touch panel 4 and a position 48 on the fourth virtual display area 47 corresponding to the first contact position 45 are the same position.
- the setting of the first virtual display area 43, the second virtual display area 44, the third virtual display area 46, and the fourth virtual display area 47, the first contact and the second contact is executed.
- the first contact and the second contact are sometimes commonly referred to as "touch events" or the like. It should be noted that the specific processing according to contact at the time of connection is not limited to the example shown in FIG. 5, and arbitrary processing may be executed.
- the touch panel 4 executes a cooperative display mode in which images are displayed in cooperation with the touch panel 7 when the determination unit 17 determines that the touch panel 4 is connected to the second display device 3 .
- Display modes executed by the touch panel 4 of the first display device 2 and the touch panel 7 of the second display device 3 will be described.
- Touch panels 4 and 7 are capable of performing similar operations with respect to display modes. Therefore, execution of the display mode by the touch panel 4 of the first display device 2 will be mainly described.
- a display mode is a method of displaying an image on the touch panel 4 .
- two display modes a "cooperative display mode” and a “separate display mode”, are executed as display modes.
- the cooperative display mode is a display mode in which the touch panels 4 and 7 operate as one screen (integrated touch panel 12) to display one image.
- the cooperative display mode is executed when connecting with the second display device 3 .
- touch panels 4 and 7 work together such that integrated touch panel 12 displays a single letter "A".
- the content displayed by the integrated touch panel 12 is not limited to characters, and for example, a UI or the like may be drawn at the time of connection.
- the separate display mode is a display mode in which the touch panel 4 does not cooperate with the touch panel 7 and displays images independently.
- the separate display mode is executed when the second display device 3 is not connected. For example, as shown in FIG. 1, only the touch panel 4 displays the character "A".
- the display mode of the touch panel 4 is switched from the separate display mode to the cooperative display mode. Also, when the first display device 2 and the second display device 3 are newly separated, the display mode of the touch panel 4 is switched from the cooperative display mode to the separate display mode. Thus, the display mode is switched according to the connection between the first display device 2 and the second display device 3 .
- the character "A” is displayed in both the separate display mode and the cooperative display mode. good.
- the touch panel 4 displays a picture of "tool A”
- the touch panel 7 displays a picture of "tool B”.
- the integrated touch panel 12 newly displays a picture of "tool C” related to the tool A and the tool B.
- FIG. Such display content may be controlled.
- the display of the UI may be switched according to switching between the separate display mode and the cooperative display mode.
- the specific control method of the display content according to the display mode is not limited.
- the cooperative display mode By executing the cooperative display mode, it is possible to display images on a large screen. This makes it possible to improve convenience for the user, for example, making it easier to visually recognize an image.
- the first state information is state information regarding the cooperative display mode of the first display device 2 .
- the first state information is state information that needs to be properly set in order to execute the cooperative display mode.
- the value of the setting item of the terminal is transmitted to the second display device 3 as the first state information.
- information such as the brightness and image quality of the image displayed on the touch panel 4 and the volume of the sound output from the speaker 24 correspond to the values of the setting items of the terminal.
- the brightness of the image displayed by each of the touch panels 4 and 7 is extremely different, execution of the cooperative display mode will be hindered.
- it is necessary to appropriately set the brightness of the image displayed on the touch panel 4 and match the settings of the two display devices when connecting. It should be noted that, at the time of separation, settings such as values of setting items of the terminal may be freely changed on each display device.
- the drawing content of the first virtual display area may be transmitted as the first state information.
- the drawing content of the first virtual display area is generated corresponding to the drawing content (display content) of the touch panel 4 .
- the first As a set of coordinate values and RGB values on the virtual display area 43, a set of information "'X coordinate: 50', 'Y coordinate: 50', 'R: 255', 'G: 0', 'B: 0'” is generated.
- Generating such information of a set of coordinate value and RGB value for each coordinate value becomes the drawing content of the first virtual display area.
- the content of such information is merely an example, and the specific content of drawing in the first virtual display area is not limited.
- the contents of the memory other than the information related to drawing on the touch panel 4 may be transmitted.
- Information stored in memory is transmitted, for example, the internal processing state of the application.
- information stored in the HDD may be transmitted as the first status information. Specifically, for example, information such as applications installed in the first display device 2 is transmitted.
- the remaining battery power of the first display device 2 is relatively unimportant for executing the cooperative display mode.
- Such state information may not be included in the first state information.
- each remaining battery level may be displayed side by side on the upper right of the integrated touch panel 12 (corresponding to the upper right portion of FIG. 2), for example, "20%" and "80%".
- the user is notified that the remaining battery capacity of the first display device 2 is 20% and the remaining battery capacity of the second display device 3 is 80%. Therefore, the user can determine that the remaining battery level of the first display device is low and charging is required.
- the specific contents of the first state information are not limited.
- the communication unit 14 transmits first state information, which is state information regarding the cooperative display mode of the first display device 2 , to the second display device 3 determined to be connected by the determination unit 17 .
- the communication unit 14 also receives second state information, which is state information regarding the cooperative display mode of the second display device 3 , from the second display device 3 determined to be connected by the determination unit 17 .
- the transmission of the first state information and the reception of the second state information are executed in the connection determination processing shown in FIG. . Furthermore, in this embodiment, even when the first display device 2 and the second display device 3 are connected, the transmission of the first state information and the reception of the second state information are executed at a predetermined frame rate, for example. be done.
- synchronization processing is performed so that the states regarding the cooperative display mode of each of the first display device 2 and the second display device 3 match.
- the state of the cooperative display mode of the first display device 2 is set by the state setting unit 21 so that the first state information and the second state information received by the communication unit 14 match. set.
- reception of the second state information is executed at a predetermined frame rate.
- the second status information is information indicating that the brightness of the image displayed is 50. is received.
- the first status information becomes information that "the brightness of the image display is 30". . That is, there is a difference between the first state information and the second state information. In this case, the brightness of the image display is changed to 50 by the state setting unit 21 . After the change, the first state information becomes the information that "image display brightness is 50", which matches the second state information. In addition to the brightness, it is necessary to match the image quality of the images displayed by the touch panels 4 and 7, the volume of the sound output by the speakers 24 and 39, and the like.
- the state setting unit 21 may function to match such information.
- an application installed on the second display device 3 may be installed on the first display device 2 in the same way.
- Such an operation can be realized by a method such as copying the difference in the HDD or memory. This makes it possible to match the first state information with the second state information such as "the installed applications are A, B, and C.”
- the synchronization process the process of matching the states related to the cooperative display mode
- the cooperative display mode can be executed without any trouble.
- synchronization processing is executed immediately after the connection.
- the determining unit 17 determines that the second display device 3 is connected when the transmission of the first status information and the reception of the second status information are completed. That is, in the connection determination process shown in FIG. 4, the transmission of the first state information and the reception of the second state information are executed immediately before the connection. After the transmission and reception are completed, it is determined that the second display device 3 is connected. In this way, since the second state information is received in advance immediately before connection, it is possible to execute synchronization processing immediately after connection. By executing synchronization processing immediately after connection, it is possible to stably execute the cooperative display mode immediately after connection.
- synchronization processing may be performed immediately before connection. For example, in connection determination processing, transmission of the first state information and reception of the second state information are executed. Furthermore, the first state information is set by the state setting unit 21 so that the first state information and the second state information match. Then, when the determination unit 17 determines that the first state information and the second state information match, it is determined that the first display device 2 and the second display device 3 are connected. .
- synchronization processing may be executed when synchronization deviation (difference in state information) is detected.
- the determination unit 17 determines the difference between the first state information and the second state information received by the communication unit 14 when determining that the second display device 3 is connected. Further, when the determination unit 17 determines that there is a difference, the state setting unit 21 sets the first state information so that the first state information and the second state information received by the communication unit 14 match. Sets the state for the cooperative display mode of the display device 2 .
- the determination unit 17 determines whether or not there is a difference between the first state information and the second state information, and the state setting unit 21 sets the state of the first display device 2 only when there is a difference. set. State setting is performed so that the first state information and the second state information match.
- the determination of the difference by the determination unit 17 may be performed at any timing.
- the determination unit 17 determines the difference between the first state information and the second state information received by the communication unit 14 at predetermined intervals.
- the difference determination may be performed almost continuously at a very high frame rate (short period).
- the difference determination may be performed at a low frame rate (long cycle), such as once every 10 seconds.
- the synchronization deviation is immediately corrected, so that the cooperative display mode can be stably executed.
- the determination unit 17 may determine the difference between the first state information and the second state information received by the communication unit 14 in accordance with an instruction from the user.
- a sync button is configured on the first display device 2 as a physical button.
- an application for synchronization is installed on the first display device 2 . When the user presses the synchronization button or the application is activated, the determination unit 17 determines the difference.
- the user makes it possible for the user to determine the difference at a desired timing. For example, when the user perceives that the two screens are not consistent due to a difference in screen brightness or the like, it is possible to cause the user to determine the difference. In addition, the processing load on the CPU or the like is reduced because the difference determination is not always performed.
- the specific content of the instruction from the user is not limited to pressing the synchronization button, etc., and may be arbitrary content.
- the synchronization process may be executed by initializing the state of each of the first display device 2 and the second display device 3 .
- the state of the cooperative display mode of the first display device 2 is set to the initial state by the state setting unit 21 .
- the storage unit 22 stores predetermined initial state information such as “the home screen is displayed on the touch panel 4 ”.
- the same initial state information as in the first display device 2 is stored in the storage unit 37 . That is, the information "display home screen on touch panel 7" is stored.
- the state of the first display device 2 is set to the initial state by the state setting section 21 based on the initial state information stored in the storage section 22 . That is, the touch panel 4 displays the home screen.
- the state is set to the initial state by the state setting section 36 based on the initial state information stored in the storage section 37 . That is, the touch panel 7 displays the home screen.
- the states of the first display device 2 and the second display device 3 match. Moreover, the first state information and the second state information also match. Synchronization processing is executed by setting the states of the first display device 2 and the second display device 3 to the same initial state in this manner. As a result, for example, the first display device 2 can process synchronization without needing to receive the second state information. Therefore, the processing load on the CPU or the like is reduced. Further, for example, such synchronization processing may be executed immediately after connection, and the home screen may be displayed by the integrated touch panel 12 at the moment of connection. In addition, the specific method of synchronization processing is not limited.
- the state setting unit 21 sets one of the first display device 2 and the second display device 3 determined to be connected by the determination unit 17 as a master device, and sets the other as a slave device.
- the state setting unit 21 sets one of the first display device 2 and the second display device 3 determined to be connected by the determination unit 17 as a master device, and sets the other as a slave device.
- the user opens a setting screen by operating the touch panel 4, and selects either the first display device 2 or the second display device 3. Choose which one to set as the master or slave.
- a dedicated configuration application may be run.
- the content of the selection made by the user is acquired by the state setting unit 21, one of the first display device 2 and the second display device 3 is set as the parent device, and the other is set as the child device.
- the first display device 2 and the second display device 3 are shared by parents and children or friends.
- the first display device 2 and the second display device 3 are sold as a set of two devices (smartphones, etc.) and purchased by parents and children.
- the parent uses the two devices in a combined state, and if necessary, one of the two devices can be detached and passed to the child for use.
- the devices may be sold individually rather than as a set, and users having devices according to the present technology may connect and use the devices.
- the name of the display mode "collaborative display mode” is only an example, and arbitrary names such as “parent-child mode” and “friend mode” may be used according to the expected user class. This also applies to the "separate display mode”.
- the device used by the parent can control the operation of the device used by the child to some extent. Therefore, the device used by the parent is set as the parent device, and the device used by the child is set as the child device. Furthermore, in this embodiment, the child device operates so as to follow the parent device, for example, the state of the child device is set so as to match the state of the parent device. By setting the parent device and the child device, each device can perform operations in accordance with the relationship between the users who use the devices.
- the user may be able to set the parent device and the child device by operating the second display device 3 instead of the first display device 2 . That is, the state setting unit 36 of the second display device 3 may set the parent device and the child device.
- the first display device 2 and the second display device 3 are manufactured, one of them may be designed as a master device and the other as a slave device.
- a specific setting method for the parent device and the child device is not limited.
- synchronization processing is executed by setting the status of the child device to match the status of the parent device.
- the state setting unit 21 responds to the second state information received from the second display device 3 set as the parent device.
- the state of the cooperative display mode of the first display device 2 is set so that the first state information is consistent with each other.
- the parent device second display device 3 may only transmit the second state information to the child device (first display device 2) without setting the state.
- the first display device 2 may be set as the parent device
- the second display device 3 may be set as the child device.
- the state of the second display device 3 is set to match the state of the first display device 2 .
- the first display device 2 and the second display device 3 may operate without distinguishing between the parent device and the child device.
- the state immediately before being connected may be reproduced.
- the determination unit 17 determines that the second display device 3 is newly separated
- the state setting unit 21 is connected to the second display device 3 according to the first state information.
- the state of the cooperative display mode of the first display device 2 is set so as to match the previous first state information.
- the storage unit 22 stores first state information immediately before the first display device 2 and the second display device 3 are connected.
- the determination unit 17 determines that the first display device 2 and the second display device 3 are newly separated
- the first state information stored in the storage unit 22 immediately before connection is used as the state setting. It is acquired by the unit 21 and the state of the first display device 2 is set. Note that when the state in which the determination unit 17 determines that the first display device 2 and the second display device 3 are connected is switched to the state in which it is determined that they are not connected, "newly 2 is separated from the display device 3".
- the state of the child device is changed to match the state of the parent device. Therefore, the contents of settings such as the brightness of the display of the screen, which were set in the child device before connection, are lost.
- the state of the child device before connection is reproduced, thereby eliminating the need for the user to reset the state of the child device each time the device is separated. This makes it possible to improve user convenience.
- the reproduction of the state may be performed on the second display device 3 . That is, the storage unit 37 of the second display device 3 may store the second state information immediately before the two display devices are connected. Then, when the two display devices are newly separated, the second state information immediately before being connected stored in the storage unit 37 is acquired by the state setting unit 36, and the state of the second display device 3 is changed. may be set.
- the state immediately before the separation may be reproduced. Also in this case, the same processing as that for reproducing the state immediately before connection is performed.
- Changes in settings may be restricted when the first display device 2 and the second display device 3 are separated.
- the state setting unit 21 restricts the state change related to the cooperative display mode. That is, changes in settings such as screen display brightness and volume are restricted.
- installation and uninstallation of applications may be restricted. This limits the modification of the information stored in the HDD. For example, the display of the application setting application icon is grayed out, and the user cannot select it. Further, when the user attempts to perform installation or the like, a dialog may be displayed to the effect that the process cannot be performed. In this case, installation or the like of all applications may be restricted, or installation or the like of only some applications may be restricted.
- processing that may change the state of the cooperative display mode may be restricted.
- the content of processing restricted at the time of separation is not limited.
- state changes related to some cooperative display modes may be restricted at the time of separation, and synchronization processing may be performed at the time of connection only for the unrestricted states.
- a process such as a hybrid of "restriction of setting change upon disconnection” and “synchronization process upon connection” may be executed.
- a predetermined operation by the first display device 2 may be possible only when the first display device 2 and the second display device 3 are separated.
- the execution unit 20 can perform a predetermined operation.
- the execution unit 20 does not perform the predetermined operation.
- a predetermined operation for example, the execution of an application is possible only during separation.
- the application can be executed only when the parent device and the child device are separated. In other words, although the application cannot be executed when connected, the application can be executed by the parent disconnecting the child device and giving it to the child. As a result, for example, an application that is supposed to be executed while the parent and child devices are separated from each other will not be executed when they are connected.
- the predetermined operation by the first display device 2 may be possible only at the time of connection.
- the child device is separated and the child is using the child device out of sight of the parent, it is possible to prevent inappropriate applications from being executed.
- a message prompting disconnection may be displayed when an operation that can only be performed during disconnection is attempted during connection.
- FIG. 7 is a diagram showing an example of a message prompting separation. For example, when an icon of an application executable only during disconnection is pressed during connection, a message is displayed on the integrated touch panel 12 as shown in FIG.
- a message is displayed that prompts the user to separate the parent device and the child device, saying, "Please separate the device and give it to your child.”
- the specific content of the message is not limited.
- a notification prompting separation may be given by voice or the like.
- the user may be allowed to select an operation executable by the first display device 2 at the time of connection. For example, when a parent separates a child device and gives it to a child, an application that the child wants to use is selected. Specifically, an application that can be executed at the time of separation is selected by a post-separation behavior setting application or the like.
- FIGS. 8 to 10 are diagrams showing an example of display contents when setting an application that can be executed during separation.
- FIG. 8 is a diagram showing an example of an icon of a setting application.
- FIG. 9 is a diagram showing an example of a setting screen by the setting application.
- FIG. 10 is a diagram showing an example of a message prompting separation.
- a setting application icon 51 is arranged on the home screen or the like.
- a setting screen as shown in FIG. 9 is displayed.
- This setting screen allows, for example, a parent to select an application that the child wants to use.
- a message prompting separation of the parent device and the child device is displayed, as shown in FIG. 10, for example. This notifies the parent that the child device must be separated and handed over to the child.
- the application selected in FIG. 9 is automatically started on the child device immediately after the separation, and the child can use the application.
- the operation that can be performed at the time of separation is not limited to execution of an application, and any operation can be selected.
- the first display device 2 may operate such that when the first display device 2 and the second display device 3 are connected, the generation cycle of information on the first contact position is longer than when the first display device 2 and the second display device 3 are separated. Specifically, when the determination unit 17 determines that the second display device 3 is not connected, the first contact position information is generated in the first period, and the determination unit 17 is determined to be connected to the display device 3, the first contact position information is generated in a second cycle longer than the first cycle.
- information on the first contact position is generated once every 0.01 seconds as the first cycle. Further, at the time of separation, information on the first contact position is generated once every 0.02 seconds as the second cycle. That is, information on the first contact position is generated in a period longer than the first period. In other words, it can be said that the first contact position information is generated at a lower FPS (Frames Per Second) during separation than during connection.
- FPS Fres Per Second
- the generation of the information on the first contact position, the transmission of the information on the first contact position, and the like are executed within the same processing frame. For example, generation of first contact position information A, transmission of first contact position information A, generation of first contact position information B, transmission of first contact position information B, and so on. Thus, it is preferable that the generated first contact position information is transmitted, and after the transmission, the next first contact position information is generated.
- the cycle of generating the information on the first contact position is short, the information B on the first contact position is generated before the information A on the first contact position is transmitted. can happen. Since such an event causes synchronization deviation between the first display device 2 and the second display device 3, it is desirable to suppress it as much as possible.
- the information on the first contact position is generated in a long cycle at the time of connection, the generation and transmission of the information on the first contact position are performed in order. Therefore, it is possible to prevent synchronization deviation.
- the values of the first cycle and the second cycle used in the description are merely examples, and may be set to arbitrary values according to device performance, for example. Also, similar processing may be performed with respect to the generation of the first state information.
- the contact may be processed as "one contact”. Specifically, when the determination unit 17 determines that the connection with the second display device 3 is established, the communication unit 14 detects that the boundary between the touch panel 4 and the touch panel 7 is touched. is not transmitted to the second display device 3.
- a contact near the boundary between the touch panel 4 and the touch panel 7 is a contact (first contact and second contact) with both the touch panel 4 and the touch panel 7 in which the user's finger or the like straddles the touch panel 4 and the touch panel 7 across the boundary.
- the contact is processed by both the first display device 2 and the second display device 3 . Therefore, it is not necessary to mutually transmit and receive the information on the first contact position and the information on the second contact position. Therefore, in such a case, the communication unit 14 performs an exceptional process of not transmitting information on the first contact position.
- the amount of information transmitted and received by the communication unit 14 is reduced, and the processing load on the CPU and the like is suppressed.
- the first display device 2 has a connector (terminal) 25 and the second display device 3 has a connector 40, as shown in FIG.
- a connection between the first display device 2 and the second display device 3 may be realized by connectors 25 and 40 .
- FIG. 11 is a schematic diagram of the display system 1 for explaining the connectors 25 and 40. As shown in FIG. 11, illustration of the proximity sensors 5 and 8 is omitted.
- the connector 25 is arranged on the first connection side 10 .
- a connector 40 is arranged on the second connection side 11 .
- the connector 25 is fitted into a receptacle (not shown) formed in the second connection side 11 of the second display device 3 .
- the connector 40 is fitted into a receptacle formed in the first connection side 10 of the first display device 2 .
- FIG. 12 is a flowchart illustrating an example of connection determination processing.
- FIG. 12 shows an example of connection determination processing when connection is realized by the connectors 25 and 40 .
- step 401 The operation of the connector 25 of the first display device 2 is started (step 401). For example, if the process shown in FIG. 12 has been performed in the past and the connector 25 is already operating, the process of step 401 may be omitted.
- processing after step 402 is the same as the processing after step 101 shown in FIG. 4, the description thereof is omitted. In this way, even when the connection is realized by the connectors 25 and 40, for example, the connection is determined by the same processing as the processing shown in FIG.
- connection may be determined by the determination unit 17 when each of the connectors 25 and 40 is fitted into the receptacle.
- connectors 25 and 40 function as one embodiment of a proximity detector according to the present technology. For example, when the connector 25 is fitted into the receptacle, the proximity of the second display device 3 is detected by the connector 25 and the determination unit 17 determines that the second display device 3 is connected.
- connection using the connectors 25 and 40 makes it possible to stably connect the first display device 2 and the second display device 3 .
- the first display device corresponding to the touch panel 4 of the first display device 2 is displayed. and a second virtual display area corresponding to the touch panel 7 of the second display device 3 are set.
- touch panel 4 information on the first touch position is transmitted to second display device 3 .
- touch panel 7 information on the second touch position is received from second display device 3 .
- the third virtual display region corresponding to the touch panel 7 of the second display device 3 and the first display A fourth virtual display area corresponding to the touch panel 4 of the device 2 is set.
- the touch panel 7 is touched, the information of the second contact position is transmitted to the first display device 2 .
- touch panel 4 is touched, information on the first touch position is received from first display device 2 .
- the second virtual display area 44 is not set in the first display device 2
- the first display device 2 does not have coordinate information corresponding to the touch. Therefore, the contact position cannot be managed as coordinates.
- the second virtual display area 44 it becomes possible to manage the contact position on the touch panel 7, which the first display device 2 does not actually have, as coordinates. Therefore, it is possible to operate the first display device 2 based on the touch on the touch panel 7 .
- the first display device 2 and the second display device 3 only information with a small amount of information such as the information on the first contact position and the first state information is transmitted and received. Therefore, video data with a large amount of information, for example, is not exchanged. As a result, the amount of information transmitted and received by the communication unit 14 is reduced, and the processing load on the CPU and the like can be suppressed.
- FIG. 13 is a block diagram showing a hardware configuration example of a computer 500 capable of realizing the first display device 2 and the second display device 3.
- the computer 500 comprises a CPU 501, a ROM 502, a RAM 503, an input/output interface 505, and a bus 504 connecting them together.
- a display unit 506, an input unit 507, a storage unit 508, a communication unit 509, a drive unit 510, and the like are connected to the input/output interface 505.
- the display unit 506 is a display device using liquid crystal, EL, or the like, for example.
- the input unit 507 is, for example, a keyboard, pointing device, touch panel, or other operating device.
- a storage unit 508 is a non-volatile storage device, such as an HDD, flash memory, or other solid-state memory.
- the drive unit 98 is a device capable of driving a removable recording medium 511 such as an optical recording medium or a magnetic recording tape.
- a communication unit 509 is a modem, router, or other communication equipment connectable to a LAN, WAN, or the like, for communicating with other devices. The communication unit 509 may use either wired or wireless communication. The communication unit 509 is often used separately from the computer 500 .
- Information processing by the computer 500 having the hardware configuration as described above is realized by cooperation of software stored in the storage unit 508 or the ROM 502 or the like and the hardware resources of the computer 500 .
- the information processing method according to the present technology is realized by loading a program constituting software stored in the ROM 502 or the like into the RAM 503 and executing the program.
- the program is installed in the computer 500 via the removable recording medium 511, for example.
- the program may be installed on computer 500 via a global network or the like.
- any non-transitory storage medium readable by computer 500 may be used.
- a display method according to the present technology may be executed by cooperation of a plurality of computers communicably connected via a network or the like, and a display system and a display device according to the present technology may be constructed. That is, the display method according to the present technology can be executed not only in a computer system configured by a single computer, but also in a computer system in which a plurality of computers operate in conjunction with each other.
- a system means a set of multiple components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a single device housing a plurality of modules within a single housing, are both systems.
- Execution of the display method according to the present technology by a computer system includes, for example, determination of connection, setting of a virtual display area, transmission and reception of contact position information, etc., when performed by a single computer, and when each process is performed by a different computer including both when executed by Execution of each process by a predetermined computer includes causing another computer to execute part or all of the process and obtaining the result. That is, the display method according to the present technology can also be applied to a configuration of cloud computing in which a single function is shared and processed jointly by a plurality of devices via a network.
- expressions using "more than” such as “greater than A” and “less than A” encompass both the concept including the case of being equivalent to A and the concept not including the case of being equivalent to A. is an expression contained in For example, “greater than A” is not limited to not including equal to A, but also includes “greater than or equal to A.” Also, “less than A” is not limited to “less than A”, but also includes “less than A”. When implementing the present technology, specific settings and the like may be appropriately adopted from concepts included in “greater than A” and “less than A” so that the effects described above are exhibited.
- the present technology can also adopt the following configuration. (1) a first display unit capable of displaying an image; a determination unit that determines connection with another display device having a second display unit capable of displaying an image; When the determination unit determines that the display device is connected to the other display device, each position of the first display unit is associated with the associated first virtual display area, and the display of the second display unit is performed.
- a virtual display area setting unit that sets a second virtual display area associated with each position; a transmission unit configured to transmit information of a first contact position generated in response to a first contact on the first display unit to the other display device determined to be connected by the determination unit; a receiving unit configured to receive, from the other display device determined to be connected by the determination unit, information of a second touch position generated in response to a second touch on the second display unit; display device.
- the display device performs a cooperative display mode for displaying the image in cooperation with the second display unit when the determination unit determines that the first display unit is connected to the other display device.
- display device (4)
- the display device according to any one of (1) to (3), further comprising: Equipped with a proximity detection unit that detects the proximity of an object, The display device, wherein the determination unit determines connection with the other display device based on the proximity of the other display device.
- the display device according to (4), The determination unit determines whether the object whose proximity is detected by the proximity detection unit is the other display device, and determines connection with the other display device based on the determination result. display device.
- the display device transmits first state information, which is state information regarding the cooperative display mode of the display device, to the other display device determined to be connected by the determination unit;
- the receiving unit receives, from the other display device determined to be connected by the determination unit, second state information that is state information regarding the cooperative display mode of the other display device.
- Display device Display device.
- the determination unit determines that the display device is connected to the other display device when each of the transmission of the first state information and the reception of the second state information is completed.
- the display device further comprising: A display device comprising a state setting section that sets a state of the cooperative display mode of the display device such that the first state information and the second state information received by the receiving section match.
- a display device comprising a state setting section that sets a state of the cooperative display mode of the display device such that the first state information and the second state information received by the receiving section match.
- the display device sets one of the display device and the other display device determined to be connected by the determination unit as a master device, and sets the other as a slave device.
- the display device according to (9), The state setting unit, when the display device is set as a child device, sets the first state information to the second state information received from the other display device set as the parent device. setting a state for the cooperative display mode of the display device to match; a display device.
- the display device according to any one of (8) to (10), The display device, wherein the state setting unit sets a state of the display device related to the cooperative display mode to an initial state.
- the display device according to any one of (8) to (11), The determining unit determines a difference between the first state information and the second state information received by the receiving unit when it is determined that the other display device is connected, When the determination unit determines that there is the difference, the state setting unit performs the display so that the first state information and the second state information received by the reception unit match.
- the display device (13) The display device according to (12), The display device, wherein the determination unit determines a difference between the first state information and the second state information received by the reception unit at a predetermined cycle. (14) The display device according to (12) or (13), A display device, wherein the determination unit determines a difference between the first state information and the second state information received by the reception unit according to an instruction from a user. (15) The display device according to any one of (1) to (14), When the determination unit determines that the connection with the other display device is connected, the transmission unit detects the first display unit when a boundary between the first display unit and the second display unit is touched. display device that does not transmit information on the contact position of the display device to the other display device.
- the display device according to any one of (1) to (15), When the determination unit determines that the display device is not connected to the other display device, the information on the first contact position is generated in a first cycle, and the determination unit determines that the display device is connected to the other display device. display device, the information on the first contact position is generated in a second cycle longer than the first cycle when it is determined that the contact position has been detected.
- the display device according to any one of (8) to (14), The state setting unit stores the first state information and the first state immediately before being connected to the other display device when the determination unit determines that the display device is newly separated from the other display device.
- a display system comprising a first display device and a second display device,
- the first display device is a first display unit capable of displaying an image; a first determination unit that determines connection with the second display device;
- the second display device is a second display unit capable of displaying an image; a second determination unit that determines connection with the first display device;
- the first display device further When the first determination unit determines that the second display device is connected, each position of the first display unit is associated with the associated first virtual display area, and the second a first virtual display area setting unit that sets a second virtual display area associated with each position of the display unit of 1st transmitting the information of the 1st contact position produced
- the second display device further comprises: When the second determination unit determines that the first display device is connected, each position of the second display unit is associated with the associated third virtual display area, and the first a second virtual display area setting unit that sets a fourth virtual display area associated with each position of the display unit of a second transmission unit that transmits the information on the second contact position to the first display device determined to be connected by the second determination unit;
- a display system comprising: a second receiving unit that receives data from the first display device determined to be connected by the determination unit of No.
- each position of the second display unit is associated with a first virtual display area to which each position of the first display unit is associated. setting a second virtual display area attached to transmitting information of a first contact position generated in response to a first contact on the first display unit to the other display device determined to be connected;
- a display method comprising: receiving, from the other display device determined to be connected, information on a second contact position generated in response to a second contact on the second display unit.
- a display method comprising: receiving information on the first contact position from the first display device determined to be connected.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
前記第1の表示部は、画像を表示可能である。
前記判定部は、画像を表示可能な第2の表示部を有する他の表示装置との接続を判定する。
前記仮想表示領域設定部は、前記判定部により前記他の表示装置と接続されたと判定された場合に、前記第1の表示部の各位置が対応付けられた第1の仮想表示領域に関連付けて、前記第2の表示部の各位置が対応付けられた第2の仮想表示領域を設定する。
前記送信部は、前記第1の表示部に対する第1の接触に応じて生成される第1の接触位置の情報を、前記判定部により接続されたと判定された前記他の表示装置に送信する。
前記受信部は、前記第2の表示部に対する第2の接触に応じて生成される第2の接触位置の情報を、前記判定部により接続されたと判定された前記他の表示装置から受信する。
前記第1の表示装置は、第1の表示部と、第1の判定部と、第1の仮想表示領域設定部と、第1の送信部と、第1の受信部とを有する。
前記第2の表示装置は、第2の表示部と、第2の判定部と、第2の仮想表示領域設定部と、第2の送信部と、第2の受信部とを有する。
前記第1の表示部は、画像を表示可能である。
前記第1の判定部は、前記第2の表示装置との接続を判定する。
前記第1の仮想表示領域設定部は、前記第1の判定部により前記第2の表示装置と接続されたと判定された場合に、前記第1の表示部の各位置が対応付けられた第1の仮想表示領域に関連付けて、前記第2の表示部の各位置が対応付けられた第2の仮想表示領域を設定する。
前記第1の送信部は、前記第1の表示部に対する第1の接触に応じて生成される第1の接触位置の情報を、前記第1の判定部により接続されたと判定された前記第2の表示装置に送信する。
前記第1の受信部は、前記第2の表示部に対する第2の接触に応じて生成される第2の接触位置の情報を、前記第1の判定部により接続されたと判定された前記第2の表示装置から受信する。
前記第2の表示部は、画像を表示可能である。
前記第2の判定部は、前記第1の表示装置との接続を判定する。
前記第2の仮想表示領域設定部は、前記第2の判定部により前記第1の表示装置と接続されたと判定された場合に、前記第2の表示部の各位置が対応付けられた第3の仮想表示領域に関連付けて、前記第1の表示部の各位置が対応付けられた第4の仮想表示領域を設定する。
前記第2の送信部は、前記第2の接触位置の情報を、前記第2の判定部により接続されたと判定された前記第1の表示装置に送信する。
前記第2の受信部は、前記第1の接触位置の情報を、前記第2の判定部により接続されたと判定された前記第1の表示装置から受信する。
前記他の表示装置と接続されたと判定された場合に、前記第1の表示部の各位置が対応付けられた第1の仮想表示領域に関連付けて、前記第2の表示部の各位置が対応付けられた第2の仮想表示領域が設定される。
前記第1の表示部に対する第1の接触に応じて生成される第1の接触位置の情報が、接続されたと判定された前記他の表示装置に送信される。
前記第2の表示部に対する第2の接触に応じて生成される第2の接触位置の情報が、接続されたと判定された前記他の表示装置から受信される。
前記第2の表示装置と接続されたと判定された場合に、前記第1の表示部の各位置が対応付けられた第1の仮想表示領域に関連付けて、前記第2の表示部の各位置が対応付けられた第2の仮想表示領域が設定される。
前記第1の表示部に対する第1の接触に応じて生成される第1の接触位置の情報が、接続されたと判定された前記第2の表示装置に送信される。
前記第2の表示部に対する第2の接触に応じて生成される第2の接触位置の情報が、接続されたと判定された前記第2の表示装置から受信される。
前記第2の表示装置により、前記第1の表示装置との接続が判定される。
前記第1の表示装置と接続されたと判定された場合に、前記第2の表示部の各位置が対応付けられた第3の仮想表示領域に関連付けて、前記第1の表示部の各位置が対応付けられた第4の仮想表示領域が設定される。
前記第2の接触位置の情報が、接続されたと判定された前記第1の表示装置に送信される。
前記第1の接触位置の情報が、接続されたと判定された前記第1の表示装置から受信される。
図1及び図2は、表示システムの概要を説明するための模式図である。
図1には、第1の表示装置及び第2の表示装置が分離された状態が図示されている。
図2には、第1の表示装置及び第2の表示装置が接続された状態が図示されている。
表示システム1を構成する表示装置の数は限定されず、3つ以上の表示装置により表示システム1が構成されてもよい。
本実施形態では、タッチパネル4は長方形状を有する。
タッチパネル4は、画像を表示可能である。図1に示す例では、タッチパネル4に文字「A」が表示されているが、例えば絵、アイコン、任意のGUI(Graphical User Interface)等を表示することも可能である。
また、ユーザがタッチパネル4に接触することで、第1の表示装置2を操作することが可能である。ユーザはタッチパネル4に対して、タッチ操作、ドラッグ操作、クリック操作等の、任意の操作を入力することが可能である。
すなわち、タッチパネル4は、表示部及び操作部の両方の機能を有するデバイスとなる。
タッチパネル4の具体的な構成は限定されず、任意の構成が採用されてよい。
外枠6は、タッチパネル4の周縁部のうち、3辺に沿うように配置される。図1に示す例では、タッチパネル4の上辺、右辺、及び左辺に沿うように、外枠6が配置されている。
外枠6の材料等の具体的な構成は限定されない。また、タッチパネル4に外枠6が配置されなくてもよい。
近接センサ5として、例えば測距センサ等の、物体の近接を検出可能な任意のデバイスが用いられてよい。
本実施形態では、近接センサ5は、タッチパネル4の外枠6が配置されない下辺に配置される(以下、第1の表示装置2の下辺を、第1の接続辺10とする)。
近接センサ5は、本技術に係る、物体の近接を検出する近接検出部の一実施形態に相当する。
タッチパネル7の右辺、左辺及び下辺には、外枠9が配置される。
また、タッチパネル7の上辺には、近接センサ8が配置される(以下、第2の表示装置3の上辺を、第2の接続辺11とする)。
タッチパネル7及び近接センサ8の具体的な構成は限定されず、任意の構成が採用されてよい。
近接センサ8は、本技術に係る、物体の近接を検出する近接検出部の一実施形態に相当する。
本実施形態では、第1の表示装置2及び第2の表示装置3は、外枠6及び9、及び近接センサ5及び8が配置される位置を除く構成は、互いに等しい。もちろん、本技術の適用が、そのような2つの表示装置が用いられる場合に限定される訳ではない。
具体的には、第1の表示装置2の下辺である第1の接続辺10と、第2の表示装置3の上辺である第2の接続辺11とが当接するように、第1の表示装置2及び第2の表示装置3が接続される。
接続後には、タッチパネル4及び7からなる大きなタッチパネル(以下、統合タッチパネル12とする)の周縁部全てが、外枠6及び9により囲まれた状態となる。
第1の表示装置2及び第2の表示装置3を接続するための構成や方法等は限定されず、任意の構成や方法により接続が実現されてよい。
図2に示す例では、「A」という文字の上半分がタッチパネル4により表示され、下半分がタッチパネル7により表示されている。
このように、第1の表示装置2及び第2の表示装置3が接続された場合に、タッチパネル4及び7が1枚の画面として動作し、1枚の画像を表示することが可能である。一方で、図1に示すように、分離時にはタッチパネル4及び7の各々が別の画面として動作し、個別に画像を表示することが可能である。これにより、例えば2つの機器の接続時と分離時に、UI(User Interface)等を切り替えることが可能となる。
第1の表示装置2及び第2の表示装置3の接続時及び分離時の、タッチパネル4及び7による具体的な表示制御の内容については、後に説明する。
本実施形態では、第1の表示装置2及び第2の表示装置3の各々の機能的な構成は、互いに等しい。従って、同じ図3を使って、第1の表示装置2及び第2の表示装置3の機能的な構成例を説明する。図3中の括弧内の符号が、第2の表示装置3が有するブロックの符号となる。
もちろん、本技術の適用が、このような2つの表示装置が用いられる場合に限定される訳ではない。
本実施形態では、通信部14を介して、第2の表示装置3との通信が実現される。
スピーカー24の構成は限定されず、例えばステレオ音声やモノラル音声等を出力可能なスピーカー24が適宜用いられてよい。
コントローラ15は、例えばCPU、ROM、RAM、及びHDD(Hard Disk Drive)等のコンピュータの構成に必要なハードウェアを有する。例えばCPUがROM等に予め記録されている本技術に係るプログラムをRAMにロードして実行することにより、本技術に係る表示方法に関する処理が実行される。
コントローラ15として、例えばFPGA等のPLD、その他ASIC等のデバイスが用いられてもよい。またPC(Personal Computer)等の任意のコンピュータが、コントローラ15として機能してもよい。
プログラムは、例えば種々の記録媒体を介して第1の表示装置2にインストールされる。あるいは、インターネット等を介してプログラムのインストールが実行されてもよい。
プログラムが記録される記録媒体の種類等は限定されず、コンピュータが読み取り可能な任意の記録媒体が用いられてよい。例えば、コンピュータが読み取り可能な非一過性の任意の記憶媒体が用いられてよい。
表示制御部16により、タッチパネル4にユーザに対する種々の通知を表示することも可能である。
その他、表示制御部16による具体的な表示制御の内容は限定されない。
本実施形態において、タッチパネル4及び表示制御部16は、画像を表示可能な第1の表示部の一実施形態として機能する。
協働表示モードは、統合タッチパネル12を用いた表示モードであり、第2の表示装置3との接続時に実行される。
分離表示モードは、タッチパネル4を用いた表示モードであり、第2の表示装置3と接続されない分離時に実行される。
本実施形態では、判定部17により第2の表示装置3との接続が判定される。
判定部17による具体的な接続の判定方法については、後に説明する。
本実施形態において、判定部17は、第2の表示装置3との接続を判定する第1の判定部の一実施形態として機能する。
第1の仮想表示領域及び第2の仮想表示領域については、後に説明する。
本実施形態において、仮想表示領域設定部18は、第1の仮想表示領域設定部の一実施形態として機能する。
本実施形態において、通信部14及び通信制御部19は、送信部、受信部、第1の送信部、及び第1の受信部の一実施形態として機能する。
例えば実行部20により、アプリケーションの起動やアプリケーションに従った処理が実行される。また、実行部20により表示制御部16に対して表示制御に関する指示が出力され、当該指示に基づいて、表示制御部16によりタッチパネル4の動作が制御されてもよい。
実行部20により実行される具体的な処理の内容については、後に説明する。
例えば状態設定部21は、タッチパネル4により表示される画像の明るさ、スピーカー24により出力される音声の音量、及び第1の表示装置2にインストールされているアプリケーション等を変更することが可能である。
本実施形態では、状態設定部21により、協働表示モードに関する状態情報を設定することが可能である。
記憶部22には、第1の表示装置2の全体の動作を制御するための制御プログラムが記憶される。
また、コントローラ30により、機能ブロックとしての表示制御部31、判定部32、仮想表示領域設定部33、通信制御部34、実行部35、及び状態設定部36が構成される。
第2の表示装置3が有する各ブロックは、第1の表示装置2が有する各ブロックと同様に動作する。第1の表示装置2の各ブロックの説明内において「第2の表示装置」との関係について述べた内容は、第2の表示装置3から見れば「第1の表示装置」と読みかえることが可能である。
タッチパネル7及び表示制御部31は、画像を表示可能な第2の表示部の一実施形態として機能する。
判定部32は、第1の表示装置2との接続を判定する第2の判定部の一実施形態として機能する。
仮想表示領域設定部33は、第2の仮想表示領域設定部の一実施形態として機能する。
通信部29及び通信制御部34は、送信部、受信部、第2の送信部、及び第2の受信部の一実施形態として機能する。
第1の表示装置2及び第2の表示装置3の接続の判定処理について説明する。
図4は、接続の判定処理の一例を示すフローチャートである。
本実施形態では、第1の表示装置2及び第2の表示装置3の各々により、互いに等しい判定処理が実行される。従って、以下では、第1の表示装置2による判定処理を中心に説明する。その説明の中で「第1の状態情報」及び「第2の状態情報」に関する内容がある。当該内容について、第2の表示装置3の判定処理として理解する場合には、「第1の状態情報」を「第2の状態情報」として読み替え、「第2の状態情報」を「第1の状態情報」として読み替えられたい。
第1の表示装置2及び第2の表示装置3の各々により実行される処理は、互いに同じタイミングで開始されてもよいし、異なるタイミングで開始されてもよい。
なお、例えば図4に示す処理が過去に実行されており、既に近接センサ5が動作しているような場合には、ステップ101の処理が省略されてもよい。
例えば近接センサ5が測距センサである場合には、近接センサ5と物体との距離が所定の閾値よりも小さい場合に、近接が検出される。また、物体が近接センサ5に接触した場合に、近接が検出されてもよい。その他、近接センサ5によりどのように近接が検出されるかは、限定されない。
物体の近接が検出されなかった場合には(ステップ102のNo)、判定部17により、第2の表示装置3と接続されていないと判定される(ステップ103)。
例えばWiFi等の無線LANモジュールや、Bluetooth(登録商標)等の通信モジュールとして構成された通信部14により、デバイス探索信号や問い合わせ信号が、ブロードバンドで送信される。また、ビーコン信号等が送信されてもよい。その他、通信部14により送信される具体的な信号の内容は限定されない。
第2の表示装置3により送信されたデバイス探索信号等が、ステップ105における判定に用いられてもよい。すなわち、第2の表示装置3からデバイス探索信号等が受信された場合に、第2の表示装置3から信号が受信されたと判定されてもよい。
第1の状態情報は、第1の表示装置2の協働表示モードに関する状態情報である。第1の状態情報については、後に説明する。
第2の状態情報は、第2の表示装置3の協働表示モードに関する状態情報である。第2の状態情報については、後に説明する。
本実施形態では、第2の表示装置3の通信部29により、第2の状態情報が送信される(ステップ206)。
通信部29により送信された第2の状態情報が、第1の表示装置2の通信部14により受信された場合に、判定部17により、第2の表示装置3から第2の状態情報が受信されたと判定される。
本実施形態では特に、判定部17は、近接センサ5により近接が検出された物体が第2の表示装置3であるか否かを判定し、その判定結果に基づいて、第2の表示装置3との接続を判定する。
判定部17は、第2の表示装置3から信号が受信されたと判定された場合に、近接が検出された物体が第2の表示装置3であると判定している。
一方で、第2の表示装置3から信号が受信されなかったと判定された場合には、近接が検出された物体が第2の表示装置3はないと判定している。
このように、判定部17は、近接センサ5により近接が検出された物体が第2の表示装置3であるか否かを判定している。
具体的には、判定部17により、第2の表示装置3から信号が受信されたと判定された場合には、その後に第1の状態情報の送信、及び第2の状態情報の受信の処理がされ、第2の表示装置3と接続されたと判定される。
一方で、判定部17により、第2の表示装置3から信号が受信されなかったと判定された場合には、第2の表示装置3と接続されていないと判定される。
例えば物体が近接した場合に、無条件で第2の表示装置3との接続がされたと判定する方法が考えられる。本実施形態では、第2の表示装置3から信号が受信されたか否かを判定する過程が含まれるため、このような方法よりも接続が精度よく判定される。
もちろん、判定部17により、第2の表示装置3の近接に基づいて、第2の表示装置3との接続がどのように判定されるかは、限定されない。図4のフローチャートに示す処理以外の処理が実行され、第2の表示装置3との接続が判定されてもよい。
第1の表示装置2及び第2の表示装置3が接続されている場合における、タッチパネル4及び7に対する接触に応じた処理について説明する。
図5は、接触に応じた処理の一例を示すフローチャートである。例えば図5に示す一連の処理が、所定のフレームレートで実行される。
本実施形態では、第1の表示装置2及び第2の表示装置3の各々により、互いに等しい処理が実行される。従って、以下では、第1の表示装置2による処理を中心に説明する。第2の表示装置3の処理として理解する場合には、「第1の接触」を「第2の接触」、「第2の接触」を「第1の接触」、「第1の接触位置の情報」を「第2の接触位置の情報」、「第2の接触位置の情報」を「第1の接触位置の情報」、「第1の仮想表示領域」を「第3の仮想表示領域」、「第2の仮想表示領域」を「第4の仮想表示領域」として読み替えられたい。
図5に示す第1の表示装置2により実行される処理、及び第2の表示装置3により実行される処理は、各々が本技術に係る表示方法の一実施形態に相当する。
本実施形態では、図4に示す処理にて接続が判定される。
第2の表示装置3と接続されていないと判定された場合には(ステップ301のNo)、再び接続の判定が実行される(ステップ301)。
本実施形態では、仮想表示領域設定部18により、タッチパネル4の各位置が対応付けられた第1の仮想表示領域に関連付けて、タッチパネル7の各位置が対応付けられた第2の仮想表示領域が設定される。
図6の左上には、タッチパネル4が図示されている。また、タッチパネル4に相当する部分は、第1の仮想表示領域43の模式的な図示でもある。
タッチパネル4の下部には、第2の仮想表示領域44が模式的に図示されている。
また、タッチパネル4に対する接触位置45が、黒丸で模式的に図示されている。
具体的には、タッチパネル4のX座標が、左右方向に対応するように設定される。タッチパネル4はX座標として1~100の座標値を持ち、右端に対応する位置が「X座標:100」、左端に対応する位置が「X座標:1」として設定される。
同様に、Y座標が上下方向に対応するように設定される。タッチパネル4の上端に対応する位置が「Y座標:100」、下端に対応する位置が「Y座標:1」として設定される。
なお、これらの座標値はあくまで一例であり、座標値は任意の数値幅であってよい。
すなわち、第1の仮想表示領域43は、X座標及びY座標として各々が1~100の座標値を持つ情報となる。
タッチパネル4の「X座標:49」「Y座標:51」に対する接触があった場合には、第1の仮想表示領域43上の同じ位置「X座標:49」「Y座標:51」に基づいて、接触に応じた処理が実行される。このように、第1の仮想表示領域43には、タッチパネル4の各位置が対応付けられる。
第1の仮想表示領域43は、状態設定部21により設定され、例えば記憶部22等に記憶される。
例えばタッチパネル7がX座標及びY座標として1~100の座標値を持つ場合には、第2の仮想表示領域44は、X座標及びY座標として1~100の座標値を持つ情報となる。
第2の仮想表示領域44の設定のために、タッチパネル7の座標値に関する情報が、通信部14により受信されてもよい。
具体的には、第1の仮想表示領域43の「Y座標:1」の「次の座標」の値が第2の仮想表示領域44の「Y座標:100」となるように、第2の仮想表示領域44が設定される。
このような接触及び接触位置の移動があった場合にも、第1の仮想表示領域43の「Y座標:1」の次の座標の値が第2の仮想表示領域44の「Y座標:100」となるように(つまりY座標が連続するように)設定されているため、例えば第1の仮想表示領域43の「Y座標:2」の座標3つ分下の座標は第2の仮想表示領域44の「Y座標:99」である、といった座標の演算が可能となる。
これにより、タッチパネル4及び7が実際に接続されている状態に即した処理が可能となる。
例えばタッチパネル4及び7が左右方向に連結される場合には、第1の仮想表示領域43の「X座標:1」の次の座標の値が第2の仮想表示領域44の「X座標:100」となるように、第2の仮想表示領域44が設定されてもよい。
第1の接触とは、第1の表示装置2のタッチパネル4に対する接触である。
すなわち、図6に示す接触位置45が、第1の接触の位置に相当する。以下、同じ符号を用いて、第1の接触の位置を第1の第1の接触位置45と記載する。
判定は、例えば判定部17により実行される。もちろんこれに限定されず、任意の機能ブロックにより判定が実行されてよい。
第1の接触がないと判定された場合には(ステップ303のNo)、再び第1の接触の判定が実行される(ステップ303)。
本実施形態では、まず第1の接触に応じて第1の接触位置の情報が生成される。
具体的には、第1の接触があったタッチパネル4上の座標値が、第1の接触位置の情報として生成される。すなわち、第1の接触位置の情報は「X座標:49」「Y座標:51」という情報となる。
第1の接触位置の情報は、例えば実行部20により生成されるが、もちろんこれに限定されない。
第1の接触位置45に対応する第1の仮想表示領域43上の位置とは、タッチパネル4に対する第1の接触位置45の座標値と同じ、第1の仮想表示領域43上の座標値である。すなわち、第1の仮想表示領域43上の位置「X座標:49」「Y座標:51」に基づいて、処理が実行される。
この場合に、実行部20により表示制御部16に対して表示制御に関する指示が出力され、タッチパネル4に、アプリケーションの画面の上半分が表示される。
また、ユーザによる接触の種類(タッチ、スワイプ、ピンチ等)に応じた処理が実行されてもよい。
アプリケーションの実行等は、一般的には「キーイベント」等と呼称されることがある。
その他、実行部20による具体的な処理の内容は限定されず、任意の処理が実行されてよい。
具体的には、通信部14により、タッチパネル4に対する第1の接触に応じて生成される第1の接触位置の情報が、判定部17により接続されたと判定された第2の表示装置3に送信される。
その後、再び第1の接触の判定が実行される(ステップ303)。
具体的には、通信部14により、タッチパネル7に対する第2の接触に応じて生成される第2の接触位置の情報が、判定部17により接続されたと判定された第2の表示装置3から受信される。
なお、ステップ306の処理は、ステップ303の処理と同じタイミングで開始されてもよいし、異なるタイミングで開始されてもよい。
例えば第2の接触位置の情報として、第1の接触位置の情報と同様に、「X座標:49」「Y座標:51」等の座標値の情報が生成される。
生成された第2の接触位置の情報は、ステップ305に相当する処理において第1の表示装置に送信される。そして、ステップ306にて第1の表示装置2により受信される。
具体的には、受信された第2の接触位置の情報に対応する第2の仮想表示領域44上の位置に基づいて、実行部20により、第2の接触に応じた処理が実行される。
この場合に、第2の接触位置の情報として、「X座標:10」「Y座標:10」という情報が第1の表示装置2により受信される。
タッチパネル7に表示されたアプリケーションのアイコンの座標は、あらかじめ第1の表示装置2に共有されている。そして、実行部20は、受信された第2の接触位置の情報に対応する第2の仮想表示領域44上の位置(「X座標:10」「Y座標:10」)に基づいて、ユーザがタッチパネル7側でアプリケーションのアイコンの座標に接触したと判定する。
そして、実行部20により表示制御部16に対して表示制御に関する指示が出力され、タッチパネル4に、アプリケーションの画面の上半分が表示される。
本実施形態では、仮想表示領域設定部33は、判定部32により第1の表示装置2と接続されたと判定された場合に、タッチパネル7の各位置が対応付けられた第3の仮想表示領域に関連付けて、タッチパネル4の各位置が対応付けられた第4の仮想表示領域を設定する。
第3の仮想表示領域及び第4の仮想表示領域は、第1の仮想表示領域43及び第2の仮想表示領域44と同様に設定される。
タッチパネル7の上部には、第4の仮想表示領域47が模式的に図示されている。
また、第1の接触位置に対応する第4の仮想表示領域47上の位置である位置48が、斜線模様の丸で模式的に図示されている。
図6に示すように、タッチパネル4における第1の接触位置45、及び第1の接触位置45に対応する第4の仮想表示領域47上の位置48は、同一の位置となる。
第1の接触及び第2の接触は、一般的には「タッチイベント」等と呼称されることがある。
なお、接続時の接触に応じた具体的な処理は、図5に示す例に限定されず、任意の処理が実行されてよい。
本実施形態では、タッチパネル4は、判定部17により第2の表示装置3と接続されたと判定された場合に、タッチパネル7と協働して画像を表示する協働表示モードを実行する。
第1の表示装置2のタッチパネル4及び第2の表示装置3のタッチパネル7により実行される、表示モードについて説明する。
タッチパネル4及び7は、表示モードに関して同様の動作を実行可能である。従って、主に第1の表示装置2のタッチパネル4による表示モードの実行について説明する。
本実施形態では、表示モードとして「協働表示モード」及び「分離表示モード」の2つの表示モードが実行される。
協働表示モードは、第2の表示装置3との接続時に実行される。
例えば図2に示すように、統合タッチパネル12により1つの「A」という文字が表示されるように、タッチパネル4及び7が協働して動作する。
なお、統合タッチパネル12による表示の内容は文字に限定されず、例えば接続時にUI等が描画されてもよい。
分離表示モードは、第2の表示装置3と接続されない分離時に実行される。
例えば図1に示すように、タッチパネル4のみにより「A」という文字が表示される。
このように、第1の表示装置2及び第2の表示装置3の接続に応じて、表示モードが切り替えられる。
例えば分離時にタッチパネル4により「道具A」の絵が表示され、タッチパネル7により「道具B」の絵が表示される。第1の表示装置2及び第2の表示装置3が新たに接続された場合には、統合タッチパネル12により道具A及び道具Bに関連する「道具C」の絵が新たに表示される。このような表示内容の制御がされてもよい。
また、分離表示モード及び協働表示モードの切り替えに応じて、UIの表示が切り替えられてもよい。
その他、表示モードに応じた表示内容の具体的な制御方法は限定されない。
以下、第1の状態情報及び第2の状態情報の具体的な内容について説明する。
なお、第2の状態情報の具体的な内容は第1の状態情報の内容と同様であるため、主に第1の状態情報について説明する。
例えばタッチパネル4及び7の各々による画像の表示の明るさが極端に異なっていると、協働表示モードの実行に支障がきたされる。このようなことを防ぐために、タッチパネル4による画像の表示の明るさを適切に設定し、接続時には2つの表示装置の設定を合わせる必要がある。
なお、分離時には、それぞれの表示装置において、端末の設定項目の値等の設定を自由に変更できてもよい。
例えば、タッチパネル4の描画内容(表示内容)に対応して、第1の仮想表示領域の描画内容が生成される。具体的には、タッチパネル4の「X座標:50」「Y座標:50」における表示色が「R:255」「G:0」「B:0」(赤色)である場合には、第1の仮想表示領域43上の座標値及びRGB値の組として、『「X座標:50」「Y座標:50」「R:255」「G:0」「B:0」』という1組の情報が生成される。
このような座標値とRGB値の組の情報が座標値ごとに生成されることで、第1の仮想表示領域の描画内容となる。
もちろん、このような情報の内容はあくまで一例であり、第1の仮想表示領域の描画内容が具体的にどのようなものであるかは限定されない。
例えばアプリケーションの内部的な処理状態等の、メモリに記憶されている情報が送信される。
具体的には、例えば第1の表示装置2にインストールされているアプリケーション等の情報が送信される。
このような状態の情報が、第1の状態情報に含まれなくてもよい。
なお、接続時に、統合タッチパネル12の右上(図2の右上部分に相当)に、例えば「20%」「80%」というように、各々の電池残量が並んで表示されてもよい。これにより、第1の表示装置2の電池残量が20%で第2の表示装置3の電池残量が80%である旨がユーザに対して通知される。従って、ユーザは、第1の表示装置の電池残量が残り少なく、充電が必要であると判断することが可能となる。
その他、第1の状態情報の具体的な内容は限定されない。
通信部14は、第1の表示装置2の協働表示モードに関する状態情報である第1の状態情報を、判定部17により接続されたと判定された第2の表示装置3に送信する。
また、通信部14は、判定部17により接続されたと判定された第2の表示装置3から、第2の表示装置3の協働表示モードに関する状態情報である第2の状態情報を受信する。
さらに、本実施形態では、第1の表示装置2及び第2の表示装置3の接続時においても、例えば所定のフレームレートで、第1の状態情報の送信及び第2の状態情報の受信が実行される。
本実施形態では、第1の表示装置2及び第2の表示装置3の各々の、協働表示モードに関する状態が一致するように、同期の処理が実行される。
具体的には、状態設定部21により、第1の状態情報と通信部14により受信された第2の状態情報とが一致するように、第1の表示装置2の協働表示モードに関する状態が設定される。
具体的には、タッチパネル4及び7による画像の表示の明るさが0~100の値で表されるような場合に、第2の状態情報として、「画像の表示の明るさが50」という情報が受信される。
この場合、状態設定部21により画像の表示の明るさが50に変更される。変更後には、第1の状態情報は「画像の表示の明るさが50」という情報となり、第2の状態情報と一致する。
なお、明るさ以外にも、タッチパネル4及び7により表示される画像の画質、又はスピーカー24及び39により出力される音声の音量等を一致させる必要がある。このような情報を一致させるように、状態設定部21が機能してもよい。
これにより、「インストールされているアプリケーションはA、B、及びC」といった第2の状態情報に対して、第1の状態情報を一致させることが可能となる。
このようにして同期の処理(協働表示モードに関する状態を一致させる処理)が実行されることにより、協働表示モードを支障なく実行することが可能となる。
例えば第1の表示装置2及び第2の表示装置3が新たに接続された場合に、接続直後に同期の処理が実行される。
すなわち、図4に示す接続の判定処理において、接続の直前に第1の状態情報の送信及び第2の状態情報の受信が実行される。そして、送信及び受信が完了した後に、第2の表示装置3と接続されたと判定される。
このように、接続の直前にあらかじめ第2の状態情報が受信されるため、接続直後に同期の処理を実行することが可能となる。接続直後に同期の処理が実行されることで、接続後すぐに協働表示モードを安定して実行させることが可能となる。
例えば、接続の判定処理において、第1の状態情報の送信及び第2の状態情報の受信が実行される。さらに、第1の状態情報及び第2の状態情報が一致するように、状態設定部21により、第1の状態情報が設定される。
そして、判定部17により、第1の状態情報及び第2の状態情報が一致していると判定された場合に、第1の表示装置2及び第2の表示装置3が接続されたと判定される。
具体的には、判定部17は、第2の表示装置3と接続されたと判定した場合に、第1の状態情報と通信部14により受信された第2の状態情報との差異を判定する。また、状態設定部21は、判定部17により差異があると判定された場合に、第1の状態情報と通信部14により受信された第2の状態情報とが一致するように、第1の表示装置2の協働表示モードに関する状態を設定する。
状態の設定は、第1の状態情報及び第2の状態情報が一致するように行われる。
例えば、判定部17は、第1の状態情報と通信部14により受信された第2の状態情報との差異を、所定の周期で判定する。
非常に高いフレームレート(短い周期)で、ほぼ連続的に差異の判定が実行されてもよい。あるいは、10秒に1回等、低いフレームレート(長い周期)で差異の判定が実行されてもよい。
これにより、同期ズレがすぐに修正されるため、協働表示モードを安定して実行することが可能となる。
例えば、同期ボタンが、物理ボタンとして第1の表示装置2に構成される。あるいは、同期用のアプリケーションが第1の表示装置2にインストールされる。
ユーザにより同期ボタンが押下されたり、アプリケーションが起動された場合に、判定部17により、差異の判定が実行される。
また、常に差異の判定がされている状態とはならないため、CPU等の処理負荷が軽減される。
なお、ユーザからの指示の具体的な内容は、同期ボタンの押下等に限定されず、任意の内容であってよい。
具体的には、状態設定部21により、第1の表示装置2の協働表示モードに関する状態が初期状態に設定される。
また、第2の表示装置3において、第1の表示装置2と同一の初期状態の情報が、記憶部37により記憶される。すなわち、「タッチパネル7によりホーム画面を表示」という情報が記憶される。
一方で、第2の表示装置3においても、記憶部37により記憶された初期状態の情報に基づいて、状態設定部36により、状態が初期状態に設定される。すなわち、タッチパネル7によりホーム画面が表示される。
このようにして、第1の表示装置2及び第2の表示装置3の各々の状態が同一の初期状態に設定されることで、同期の処理が実行される。
これにより、例えば第1の表示装置2は、第2の状態情報の受信を必要とせずに同期の処理が可能となる。従って、CPU等の処理負荷が軽減される。
また例えば、接続直後にこのような同期の処理が実行され、接続された瞬間に統合タッチパネル12によりホーム画面が表示されるようにされてもよい。その他、同期の処理の具体的な方法は限定されない。
本実施形態では、状態設定部21は、第1の表示装置2及び判定部17により接続されたと判定された第2の表示装置3の一方を親機として設定し、他方を子機として設定する。
以下、親機及び子機の設定の概要について説明する。
状態設定部21により、ユーザによりされた選択の内容が取得され、第1の表示装置2及び第2の表示装置3の一方が親機として設定され、他方が子機として設定される。
例えば、第1の表示装置2及び第2の表示装置3が2つのデバイス(スマートフォン等)のセットとして販売され、親子により購入される。普段は2つのデバイスを合体させた状態で親が使用し、必要に応じて2つのデバイスの一方を取り外し、子に渡して使用させる、といった使い方が可能である。
あるいは、デバイスがセットではなく個別に販売され、本技術に係るデバイスを持つユーザ同士により、デバイスを接続して使用するといった使い方がされてもよい。
そのために、親が使用するデバイスが親機、子が使用するデバイスが子機として設定される。さらに、本実施形態では、親機の状態に合わせるように子機の状態が設定される等、子機が親機に従うように動作する。
親機及び子機の設定がされることにより、各々のデバイスは、デバイスを使用するユーザの関係に即した動作を実行することが可能となる。
あるいは、第1の表示装置2及び第2の表示装置3が製造される段階で、一方が親機として設計され、他方が子機として設計されていてもよい。
その他、親機及び子機の具体的な設定方法は限定されない。
具体的には、状態設定部21は、第1の表示装置2が子機として設定されている場合に、親機として設定された第2の表示装置3から受信した第2の状態情報に対して第1の状態情報が一致するように、第1の表示装置2の協働表示モードに関する状態を設定する。
一方で、親機(第2の表示装置3)は、子機(第1の表示装置2)に第2の状態情報の送信のみを実行し、状態の設定は実行しなくてもよい。
なお、逆に第1の表示装置2が親機として設定され、第2の表示装置3が子機として設定されてもよい。この場合には、第2の表示装置3の状態が、第1の表示装置2の状態に合わせるように設定される。
また、親機及び子機の区別がされずに、第1の表示装置2及び第2の表示装置3が動作してもよい。
第1の表示装置2及び第2の表示装置3の分離時に、接続される直前における状態が再現されてもよい。
具体的には、状態設定部21は、判定部17により新たに第2の表示装置3と分離されたと判定された場合に、第1の状態情報と、第2の表示装置3と接続される直前の第1の状態情報とが一致するように、第1の表示装置2の協働表示モードに関する状態を設定する。
判定部17により新たに第1の表示装置2及び第2の表示装置3が分離されたと判定された場合に、記憶部22により記憶された、接続される直前における第1の状態情報が状態設定部21により取得され、第1の表示装置2の状態が設定される。
なお、判定部17により第1の表示装置2及び第2の表示装置3が接続されていると判定された状態から、接続されていないと判定された状態に切り替わった場合に、「新たに第2の表示装置3と分離された」と判定される。
子機及び親機の分離時に、接続前の子機の状態が再現されることにより、ユーザが分離の度に子機の状態を設定し直す必要がなくなる。これにより、ユーザの利便性を向上させることが可能となる。
なお、状態の再現が第2の表示装置3において実行されてもよい。すなわち、第2の表示装置3の記憶部37により、2つの表示装置が接続される直前における第2の状態情報が記憶されてもよい。そして、2つの表示装置が新たに分離した場合に、記憶部37により記憶された接続される直前における第2の状態情報が、状態設定部36により取得され、第2の表示装置3の状態が設定されてもよい。
この場合も、接続される直前の状態の再現と同様の処理が実行される。
第1の表示装置2及び第2の表示装置3の分離時に、設定の変更が制限されてもよい。
例えば判定部17により第2の表示装置3と接続されていないと判定された場合に、状態設定部21による、協働表示モードに関する状態の変更が制限される。すなわち、画面の表示の明るさ、音量等の設定の変更が制限される。
例えばアプリケーションの設定用アプリのアイコンの表示がグレーアウトし、ユーザにより選択できない状態となる。また、ユーザがインストール等を実行しようとした場合に、当該処理が実行できない旨がダイアログにより通知されてもよい。
この場合、全てのアプリケーションのインストール等が制限されてもよいし、一部のアプリケーションのみのインストール等が制限されてもよい。
また、例えば第1の表示装置2及び第2の表示装置3を親子で使用する場合に、子供が誤ってアプリケーションをアンインストールしてしまう、といった意図しない動作の実行を防止することが可能となる。
すなわち、「分離時の設定変更の制限」及び「接続時の同期の処理」のハイブリッドのような処理が実行されてもよい。
これにより、分離時に変更される(差異が生じる)可能性がない状態については、接続時に同期の処理が不要となるため、例えばCPU等の処理負荷が軽減される。
第1の表示装置2及び第2の表示装置3の分離時にのみ、第1の表示装置2による所定の動作が可能であってもよい。
例えば判定部17により第2の表示装置3と接続されていないと判定された場合に、実行部20による所定の動作の実行が可能となる。一方で、判定部17により第2の表示装置3と接続されたと判定された場合には、実行部20により所定の動作は実行されない。
所定の動作として、例えばアプリケーションの実行等が、分離時にのみ可能となる。
この場合に、親機及び子機の分離時にのみアプリケーションの実行が可能となる。すなわち、接続時にはアプリケーションの実行ができないが、親が子機を切り離して子供に与えることで、アプリケーションの実行が可能となる。
これにより、例えば親機及び子機が分離された状態で実行されることが想定されているアプリケーションが、接続時に実行されることがなくなる。
これにより、例えば子機が分離されており、親の目の届かない場所で子供が子機を使用している場合に、不適切なアプリ等が実行されることを防ぐことが可能となる。
接続時において、分離時にのみ可能な動作が実行されようとした場合に、分離を促すメッセージが表示されてもよい。
図7は、分離を促すメッセージの一例を示す図である。
例えば接続時において、分離時にのみ実行可能なアプリケーションのアイコンが押下された場合に、図7に示すように、統合タッチパネル12にメッセージが表示される。
もちろんメッセージの具体的な内容は限定されない。また、音声等により分離を促す通知がされてもよい。
分離時において、第1の表示装置2により実行可能な動作を接続時にユーザに選択させるようにしてもよい。
例えば親子の親が、子機を分離して子供に与える場合に、子供に使用させたいアプリケーションが選択される。具体的には、分離後挙動の設定アプリ等により、分離時に実行可能なアプリケーションが選択される。
図8は、設定アプリのアイコンの一例を示す図である。
図9は、設定アプリによる設定画面の一例を示す図である。
図10は、分離を促すメッセージの一例を示す図である。
アイコン51が押下されると、図9に示すような設定画面が表示される。
この設定画面により、例えば親は、子供に使用させたいアプリケーションを選択することが可能である。
親により子機が分離されると、例えば分離された直後に、子機では図9で選択されたアプリが自動的に起動され、子供はアプリを使用可能になる。
なお、分離時に可能な動作として、アプリの実行に限定されず任意の動作が選択可能であってよい。
第1の表示装置2及び第2の表示装置3の接続時に、分離時よりも第1の接触位置の情報の生成周期が長くなるように、第1の表示装置2が動作してもよい。
具体的には、判定部17により第2の表示装置3と接続されていないと判定された場合には、第1の接触位置の情報が第1の周期で生成され、判定部17により第2の表示装置3と接続されたと判定された場合には、第1の接触位置の情報が第1の周期よりも長い第2の周期で生成される。
また、分離時には、第2の周期として0.02秒に1回、第1の接触位置の情報が生成される。すなわち、第1の周期よりも長い周期で、第1の接触位置の情報が生成される。
言い換えれば、分離時には、接続時よりも低いFPS(Frames Per Second)で、第1の接触位置の情報が生成されるとも言える。
例えば、第1の接触位置の情報Aの生成、第1の接触位置の情報Aの送信、第1の接触位置の情報Bの生成、第1の接触位置の情報Bの送信、・・・というように、生成された第1の接触位置の情報が送信され、送信の後に次の第1の接触位置の情報が生成される、といった処理が順番に実行されることが望ましい。
このようなことは、第1の表示装置2及び第2の表示装置3の同期ズレの原因となるため、可能な限り抑制されることが望ましい。
また、第1の状態情報の生成に関して、同様の処理が実行されてもよい。
タッチパネル4及びタッチパネル7の境界付近に対する接触があった場合に、接触が「1つの接触」として処理されてもよい。
具体的には、通信部14は、判定部17により第2の表示装置3と接続されたと判定された場合に、タッチパネル4とタッチパネル7との境界が接触された場合は、第1の接触位置の情報を、第2の表示装置3に送信しない。
すなわち、当該接触は第1の表示装置2及び第2の表示装置3の両方で処理される。そのため、第1の接触位置の情報や第2の接触位置の情報を互いに送受信し合う必要はない。
従ってこのような場合に、通信部14は、第1の接触位置の情報を送信しないという、例外的な処理を実行する。
本実施形態では、図3に示すように、第1の表示装置2はコネクタ(端子)25を有し、第2の表示装置3はコネクタ40を有する。コネクタ25及び40により、第1の表示装置2及び第2の表示装置3の接続が実現されてもよい。
なお、図11においては、近接センサ5及び8の図示は省略されている。
また、コネクタ40が第2の接続辺11に配置される。
例えば、コネクタ25が、第2の表示装置3の第2の接続辺11に構成された差込口(図示は両略)に嵌め込まれる。さらに、コネクタ40が、第1の表示装置2の第1の接続辺10に構成された差込口に嵌め込まれる。
図12には、コネクタ25及び40により接続が実現される場合の、接続の判定処理の一例が示されている。
なお、例えば図12に示す処理が過去に実行されており、既にコネクタ25が動作しているような場合には、ステップ401の処理が省略されてもよい。
このように、例えばコネクタ25及び40により接続が実現される場合においても、図4に示す処理と同様の処理により、接続が判定される。
この場合、コネクタ25及び40は、本技術に係る近接検出部の一実施形態として機能する。例えばコネクタ25が差込口に嵌め込まれた場合に、コネクタ25により第2の表示装置3の近接が検出され、判定部17により、第2の表示装置3と接続されたと判定される。
また、第2の表示装置3において、第1の表示装置2と接続されたと判定された場合に、第2の表示装置3のタッチパネル7に対応する第3の仮想表示領域と、第1の表示装置2のタッチパネル4に対応する第4の仮想表示領域とが設定される。タッチパネル7に接触があった場合は、第2の接触位置の情報が第1の表示装置2に送信される。タッチパネル4に接触があった場合は、第1の接触位置の情報が第1の表示装置2から受信される。
これにより、ユーザの利便性を向上させることが可能となる。
第2の仮想表示領域44が設定されることにより、第1の表示装置2が実際に有していないタッチパネル7に対する接触の位置を、座標として管理することが可能となる。従って、タッチパネル7に対する接触に基づいた、第1の表示装置2の動作が可能となる。
従って、例えば情報量の大きい映像データ等がやり取りされることはない。
これにより、通信部14により送信される情報及び受信される情報の情報量が低減され、CPU等の処理負荷を抑制することが可能となる。
コンピュータ500は、CPU501、ROM502、RAM503、入出力インタフェース505、及びこれらを互いに接続するバス504を備える。入出力インタフェース505には、表示部506、入力部507、記憶部508、通信部509、及びドライブ部510等が接続される。
表示部506は、例えば液晶、EL等を用いた表示デバイスである。入力部507は、例えばキーボード、ポインティングデバイス、タッチパネル、その他の操作装置である。入力部507がタッチパネルを含む場合、そのタッチパネルは表示部506と一体となり得る。
記憶部508は、不揮発性の記憶デバイスであり、例えばHDD、フラッシュメモリ、その他の固体メモリである。ドライブ部98は、例えば光学記録媒体、磁気記録テープ等、リムーバブル記録媒体511を駆動することが可能なデバイスである。
通信部509は、LAN、WAN等に接続可能な、他のデバイスと通信するためのモデム、ルータ、その他の通信機器である。通信部509は、有線及び無線のどちらを利用して通信するものであってもよい。通信部509は、コンピュータ500とは別体で使用される場合が多い。
上記のようなハードウェア構成を有するコンピュータ500による情報処理は、記憶部508またはROM502等に記憶されたソフトウェアと、コンピュータ500のハードウェア資源との協働により実現される。具体的には、ROM502等に記憶された、ソフトウェアを構成するプログラムをRAM503にロードして実行することにより、本技術に係る情報処理方法が実現される。
プログラムは、例えばリムーバブル記録媒体511を介してコンピュータ500にインストールされる。あるいは、グローバルネットワーク等を介してプログラムがコンピュータ500にインストールされてもよい。その他、コンピュータ500が読み取り可能な非一過性の任意の記憶媒体が用いられてよい。
すなわち本技術に係る表示方法は、単体のコンピュータにより構成されたコンピュータシステムのみならず、複数のコンピュータが連動して動作するコンピュータシステムにおいても実行可能である。
なお本開示において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれもシステムである。
コンピュータシステムによる本技術に係る表示方法の実行は、例えば接続の判定、仮想表示領域の設定、接触位置の情報の送信及び受信等が、単体のコンピュータにより実行される場合、及び各処理が異なるコンピュータにより実行される場合の両方を含む。また所定のコンピュータによる各処理の実行は、当該処理の一部または全部を他のコンピュータに実行させその結果を取得することを含む。
すなわち本技術に係る表示方法は、1つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成にも適用することが可能である。
すなわち、本開示において、「中心」「中央」「均一」「等しい」「同じ」「直交」「平行」「対称」「延在」「軸方向」「円柱形状」「円筒形状」「リング形状」「円環形状」「長方形状」等の、形状、サイズ、位置関係、状態等を規定する概念は、「実質的に中心」「実質的に中央」「実質的に均一」「実質的に等しい」「実質的に同じ」「実質的に直交」「実質的に平行」「実質的に対称」「実質的に延在」「実質的に軸方向」「実質的に円柱形状」「実質的に円筒形状」「実質的にリング形状」「実質的に円環形状」「実質的に長方形状」等を含む概念とする。
例えば「完全に中心」「完全に中央」「完全に均一」「完全に等しい」「完全に同じ」「完全に直交」「完全に平行」「完全に対称」「完全に延在」「完全に軸方向」「完全に円柱形状」「完全に円筒形状」「完全にリング形状」「完全に円環形状」「完全に長方形状」等を基準とした所定の範囲(例えば±10%の範囲)に含まれる状態も含まれる。
従って、「略」の文言が付加されていない場合でも、いわゆる「略」を付加して表現される概念が含まれ得る。反対に、「略」を付加して表現された状態について、完全な状態が排除される訳ではない。
本技術を実施する際には、上記で説明した効果が発揮されるように、「Aより大きい」及び「Aより小さい」に含まれる概念から、具体的な設定等を適宜採用すればよい。
(1)
画像を表示可能な第1の表示部と、
画像を表示可能な第2の表示部を有する他の表示装置との接続を判定する判定部と、
前記判定部により前記他の表示装置と接続されたと判定された場合に、前記第1の表示部の各位置が対応付けられた第1の仮想表示領域に関連付けて、前記第2の表示部の各位置が対応付けられた第2の仮想表示領域を設定する仮想表示領域設定部と、
前記第1の表示部に対する第1の接触に応じて生成される第1の接触位置の情報を、前記判定部により接続されたと判定された前記他の表示装置に送信する送信部と、
前記第2の表示部に対する第2の接触に応じて生成される第2の接触位置の情報を、前記判定部により接続されたと判定された前記他の表示装置から受信する受信部と
を具備する表示装置。
(2)(1)に記載の表示装置であって、さらに、
前記第1の接触位置に対応する前記第1の仮想表示領域上の位置に基づいて前記第1の接触に応じた処理を実行し、受信された前記第2の接触位置の情報に対応する前記第2の仮想表示領域上の位置に基づいて前記第2の接触に応じた処理を実行する実行部を具備する
表示装置。
(3)(1)又は(2)に記載の表示装置であって、
前記第1の表示部は、前記判定部により前記他の表示装置と接続されたと判定された場合に、前記第2の表示部と協働して前記画像を表示する協働表示モードを実行する
表示装置。
(4)(1)から(3)のうちいずれか1つに記載の表示装置であって、さらに、
物体の近接を検出する近接検出部を具備し、
前記判定部は、前記他の表示装置の近接に基づいて、前記他の表示装置との接続を判定する
表示装置。
(5)(4)に記載の表示装置であって、
前記判定部は、前記近接検出部により近接が検出された前記物体が前記他の表示装置であるか否かを判定し、その判定結果に基づいて、前記他の表示装置との接続を判定する
表示装置。
(6)(3)に記載の表示装置であって、
前記送信部は、前記表示装置の前記協働表示モードに関する状態情報である第1の状態情報を、前記判定部により接続されたと判定された前記他の表示装置に送信し、
前記受信部は、前記判定部により接続されたと判定された前記他の表示装置から、前記他の表示装置の前記協働表示モードに関する状態情報である第2の状態情報を受信する
表示装置。
(7)(6)に記載の表示装置であって、
前記判定部は、前記第1の状態情報の送信、及び前記第2の状態情報の受信の各々が完了した場合に、前記他の表示装置と接続されたと判定する
表示装置。
(8)(6)又は(7)に記載の表示装置であって、さらに、
前記第1の状態情報と前記受信部により受信された前記第2の状態情報とが一致するように、前記表示装置の前記協働表示モードに関する状態を設定する状態設定部を具備する
表示装置。
(9)(8)に記載の表示装置であって、
前記状態設定部は、前記表示装置及び前記判定部により接続されたと判定された前記他の表示装置の一方を親機として設定し、他方を子機として設定する
表示装置。
(10)(9)に記載の表示装置であって、
前記状態設定部は、前記表示装置が子機として設定されている場合に、親機として設定された前記他の表示装置から受信した前記第2の状態情報に対して前記第1の状態情報が一致するように、前記表示装置の前記協働表示モードに関する状態を設定する
表示装置。
(11)(8)から(10)のうちいずれか1つに記載の表示装置であって、
前記状態設定部は、前記表示装置の前記協働表示モードに関する状態を初期状態に設定する
表示装置。
(12)(8)から(11)のうちいずれか1つに記載の表示装置であって、
前記判定部は、前記他の表示装置と接続されたと判定した場合に、前記第1の状態情報と前記受信部により受信された前記第2の状態情報との差異を判定し、
前記状態設定部は、前記判定部により前記差異があると判定された場合に、前記第1の状態情報と前記受信部により受信された前記第2の状態情報とが一致するように、前記表示装置の前記協働表示モードに関する状態を設定する
表示装置。
(13)(12)に記載の表示装置であって、
前記判定部は、前記第1の状態情報と前記受信部により受信された前記第2の状態情報との差異を、所定の周期で判定する
表示装置。
(14)(12)又は(13)に記載の表示装置であって、
前記判定部は、前記第1の状態情報と前記受信部により受信された前記第2の状態情報との差異を、ユーザからの指示に応じて判定する
表示装置。
(15)(1)から(14)のうちいずれか1つに記載の表示装置であって、
前記送信部は、前記判定部により前記他の表示装置と接続されたと判定された場合に、前記第1の表示部と前記第2の表示部との境界が接触された場合は、前記第1の接触位置の情報を、前記他の表示装置に送信しない
表示装置。
(16)(1)から(15)のうちいずれか1つに記載の表示装置であって、
前記判定部により前記他の表示装置と接続されていないと判定された場合には、前記第1の接触位置の情報が第1の周期で生成され、前記判定部により前記他の表示装置と接続されたと判定された場合には、前記第1の接触位置の情報が前記第1の周期よりも長い第2の周期で生成される
表示装置。
(17)(8)から(14)のうちいずれか1つに記載の表示装置であって、
前記状態設定部は、前記判定部により新たに前記他の表示装置と分離されたと判定された場合に、前記第1の状態情報と、前記他の表示装置と接続される直前の前記第1の状態情報とが一致するように、前記表示装置の前記協働表示モードに関する状態を設定する
表示装置
(18)
第1の表示装置と第2の表示装置とを具備する表示システムであって、
前記第1の表示装置は、
画像を表示可能な第1の表示部と、
前記第2の表示装置との接続を判定する第1の判定部と
を有し、
前記第2の表示装置は、
画像を表示可能な第2の表示部と、
前記第1の表示装置との接続を判定する第2の判定部と
を有し、
前記第1の表示装置は、さらに、
前記第1の判定部により前記第2の表示装置と接続されたと判定された場合に、前記第1の表示部の各位置が対応付けられた第1の仮想表示領域に関連付けて、前記第2の表示部の各位置が対応付けられた第2の仮想表示領域を設定する第1の仮想表示領域設定部と、
前記第1の表示部に対する第1の接触に応じて生成される第1の接触位置の情報を、前記第1の判定部により接続されたと判定された前記第2の表示装置に送信する第1の送信部と
前記第2の表示部に対する第2の接触に応じて生成される第2の接触位置の情報を、前記第1の判定部により接続されたと判定された前記第2の表示装置から受信する第1の受信部と
を有し、
前記第2の表示装置は、さらに、
前記第2の判定部により前記第1の表示装置と接続されたと判定された場合に、前記第2の表示部の各位置が対応付けられた第3の仮想表示領域に関連付けて、前記第1の表示部の各位置が対応付けられた第4の仮想表示領域を設定する第2の仮想表示領域設定部と、
前記第2の接触位置の情報を、前記第2の判定部により接続されたと判定された前記第1の表示装置に送信する第2の送信部と
前記第1の接触位置の情報を、前記第2の判定部により接続されたと判定された前記第1の表示装置から受信する第2の受信部と
を有する
表示システム。
(19)
画像を表示可能な第1の表示部を有する表示装置により、
画像を表示可能な第2の表示部を有する他の表示装置との接続を判定し、
前記他の表示装置と接続されたと判定された場合に、前記第1の表示部の各位置が対応付けられた第1の仮想表示領域に関連付けて、前記第2の表示部の各位置が対応付けられた第2の仮想表示領域を設定し、
前記第1の表示部に対する第1の接触に応じて生成される第1の接触位置の情報を、接続されたと判定された前記他の表示装置に送信し、
前記第2の表示部に対する第2の接触に応じて生成される第2の接触位置の情報を、接続されたと判定された前記他の表示装置から受信する
表示方法。
(20)
画像を表示可能な第1の表示部を有する第1の表示装置により、
画像を表示可能な第2の表示部を有する第2の表示装置との接続を判定し、
前記第2の表示装置と接続されたと判定された場合に、前記第1の表示部の各位置が対応付けられた第1の仮想表示領域に関連付けて、前記第2の表示部の各位置が対応付けられた第2の仮想表示領域を設定し、
前記第1の表示部に対する第1の接触に応じて生成される第1の接触位置の情報を、接続されたと判定された前記第2の表示装置に送信し、
前記第2の表示部に対する第2の接触に応じて生成される第2の接触位置の情報を、接続されたと判定された前記第2の表示装置から受信し、
前記第2の表示装置により、
前記第1の表示装置との接続を判定し、
前記第1の表示装置と接続されたと判定された場合に、前記第2の表示部の各位置が対応付けられた第3の仮想表示領域に関連付けて、前記第1の表示部の各位置が対応付けられた第4の仮想表示領域を設定し、
前記第2の接触位置の情報を、接続されたと判定された前記第1の表示装置に送信し、
前記第1の接触位置の情報を、接続されたと判定された前記第1の表示装置から受信する
表示方法。
2…第1の表示装置
3…第2の表示装置
4…ディスプレイ
5…近接センサ
7…ディスプレイ
8…近接センサ
14…通信部
15…コントローラ
16…表示制御部
17…判定部
18…仮想表示領域設定部
19…通信制御部
20…実行部
21…状態設定部
29…通信部
30…コントローラ
31…表示制御部
32…判定部
33…仮想表示領域設定部
34…通信制御部
35…実行部
36…状態設定部
43…第1の仮想表示領域
44…第2の仮想表示領域
45…接触位置
46…第3の仮想表示領域
47…第4の仮想表示領域
48…位置
Claims (20)
- 画像を表示可能な第1の表示部と、
画像を表示可能な第2の表示部を有する他の表示装置との接続を判定する判定部と、
前記判定部により前記他の表示装置と接続されたと判定された場合に、前記第1の表示部の各位置が対応付けられた第1の仮想表示領域に関連付けて、前記第2の表示部の各位置が対応付けられた第2の仮想表示領域を設定する仮想表示領域設定部と、
前記第1の表示部に対する第1の接触に応じて生成される第1の接触位置の情報を、前記判定部により接続されたと判定された前記他の表示装置に送信する送信部と、
前記第2の表示部に対する第2の接触に応じて生成される第2の接触位置の情報を、前記判定部により接続されたと判定された前記他の表示装置から受信する受信部と
を具備する表示装置。 - 請求項1に記載の表示装置であって、さらに、
前記第1の接触位置に対応する前記第1の仮想表示領域上の位置に基づいて前記第1の接触に応じた処理を実行し、受信された前記第2の接触位置の情報に対応する前記第2の仮想表示領域上の位置に基づいて前記第2の接触に応じた処理を実行する実行部を具備する
表示装置。 - 請求項1に記載の表示装置であって、
前記第1の表示部は、前記判定部により前記他の表示装置と接続されたと判定された場合に、前記第2の表示部と協働して前記画像を表示する協働表示モードを実行する
表示装置。 - 請求項1に記載の表示装置であって、さらに、
物体の近接を検出する近接検出部を具備し、
前記判定部は、前記他の表示装置の近接に基づいて、前記他の表示装置との接続を判定する
表示装置。 - 請求項4に記載の表示装置であって、
前記判定部は、前記近接検出部により近接が検出された前記物体が前記他の表示装置であるか否かを判定し、その判定結果に基づいて、前記他の表示装置との接続を判定する
表示装置。 - 請求項3に記載の表示装置であって、
前記送信部は、前記表示装置の前記協働表示モードに関する状態情報である第1の状態情報を、前記判定部により接続されたと判定された前記他の表示装置に送信し、
前記受信部は、前記判定部により接続されたと判定された前記他の表示装置から、前記他の表示装置の前記協働表示モードに関する状態情報である第2の状態情報を受信する
表示装置。 - 請求項6に記載の表示装置であって、
前記判定部は、前記第1の状態情報の送信、及び前記第2の状態情報の受信の各々が完了した場合に、前記他の表示装置と接続されたと判定する
表示装置。 - 請求項6に記載の表示装置であって、さらに、
前記第1の状態情報と前記受信部により受信された前記第2の状態情報とが一致するように、前記表示装置の前記協働表示モードに関する状態を設定する状態設定部を具備する
表示装置。 - 請求項8に記載の表示装置であって、
前記状態設定部は、前記表示装置及び前記判定部により接続されたと判定された前記他の表示装置の一方を親機として設定し、他方を子機として設定する
表示装置。 - 請求項9に記載の表示装置であって、
前記状態設定部は、前記表示装置が子機として設定されている場合に、親機として設定された前記他の表示装置から受信した前記第2の状態情報に対して前記第1の状態情報が一致するように、前記表示装置の前記協働表示モードに関する状態を設定する
表示装置。 - 請求項8に記載の表示装置であって、
前記状態設定部は、前記表示装置の前記協働表示モードに関する状態を初期状態に設定する
表示装置。 - 請求項8に記載の表示装置であって、
前記判定部は、前記他の表示装置と接続されたと判定した場合に、前記第1の状態情報と前記受信部により受信された前記第2の状態情報との差異を判定し、
前記状態設定部は、前記判定部により前記差異があると判定された場合に、前記第1の状態情報と前記受信部により受信された前記第2の状態情報とが一致するように、前記表示装置の前記協働表示モードに関する状態を設定する
表示装置。 - 請求項12に記載の表示装置であって、
前記判定部は、前記第1の状態情報と前記受信部により受信された前記第2の状態情報との差異を、所定の周期で判定する
表示装置。 - 請求項12に記載の表示装置であって、
前記判定部は、前記第1の状態情報と前記受信部により受信された前記第2の状態情報との差異を、ユーザからの指示に応じて判定する
表示装置。 - 請求項1に記載の表示装置であって、
前記送信部は、前記判定部により前記他の表示装置と接続されたと判定された場合に、前記第1の表示部と前記第2の表示部との境界が接触された場合は、前記第1の接触位置の情報を、前記他の表示装置に送信しない
表示装置。 - 請求項1に記載の表示装置であって、
前記判定部により前記他の表示装置と接続されていないと判定された場合には、前記第1の接触位置の情報が第1の周期で生成され、前記判定部により前記他の表示装置と接続されたと判定された場合には、前記第1の接触位置の情報が前記第1の周期よりも長い第2の周期で生成される
表示装置。 - 請求項8に記載の表示装置であって、
前記状態設定部は、前記判定部により新たに前記他の表示装置と分離されたと判定された場合に、前記第1の状態情報と、前記他の表示装置と接続される直前の前記第1の状態情報とが一致するように、前記表示装置の前記協働表示モードに関する状態を設定する
表示装置。 - 第1の表示装置と第2の表示装置とを具備する表示システムであって、
前記第1の表示装置は、
画像を表示可能な第1の表示部と、
前記第2の表示装置との接続を判定する第1の判定部と
を有し、
前記第2の表示装置は、
画像を表示可能な第2の表示部と、
前記第1の表示装置との接続を判定する第2の判定部と
を有し、
前記第1の表示装置は、さらに、
前記第1の判定部により前記第2の表示装置と接続されたと判定された場合に、前記第1の表示部の各位置が対応付けられた第1の仮想表示領域に関連付けて、前記第2の表示部の各位置が対応付けられた第2の仮想表示領域を設定する第1の仮想表示領域設定部と、
前記第1の表示部に対する第1の接触に応じて生成される第1の接触位置の情報を、前記第1の判定部により接続されたと判定された前記第2の表示装置に送信する第1の送信部と
前記第2の表示部に対する第2の接触に応じて生成される第2の接触位置の情報を、前記第1の判定部により接続されたと判定された前記第2の表示装置から受信する第1の受信部と
を有し、
前記第2の表示装置は、さらに、
前記第2の判定部により前記第1の表示装置と接続されたと判定された場合に、前記第2の表示部の各位置が対応付けられた第3の仮想表示領域に関連付けて、前記第1の表示部の各位置が対応付けられた第4の仮想表示領域を設定する第2の仮想表示領域設定部と、
前記第2の接触位置の情報を、前記第2の判定部により接続されたと判定された前記第1の表示装置に送信する第2の送信部と
前記第1の接触位置の情報を、前記第2の判定部により接続されたと判定された前記第1の表示装置から受信する第2の受信部と
を有する
表示システム。 - 画像を表示可能な第1の表示部を有する表示装置により、
画像を表示可能な第2の表示部を有する他の表示装置との接続を判定し、
前記他の表示装置と接続されたと判定された場合に、前記第1の表示部の各位置が対応付けられた第1の仮想表示領域に関連付けて、前記第2の表示部の各位置が対応付けられた第2の仮想表示領域を設定し、
前記第1の表示部に対する第1の接触に応じて生成される第1の接触位置の情報を、接続されたと判定された前記他の表示装置に送信し、
前記第2の表示部に対する第2の接触に応じて生成される第2の接触位置の情報を、接続されたと判定された前記他の表示装置から受信する
表示方法。 - 画像を表示可能な第1の表示部を有する第1の表示装置により、
画像を表示可能な第2の表示部を有する第2の表示装置との接続を判定し、
前記第2の表示装置と接続されたと判定された場合に、前記第1の表示部の各位置が対応付けられた第1の仮想表示領域に関連付けて、前記第2の表示部の各位置が対応付けられた第2の仮想表示領域を設定し、
前記第1の表示部に対する第1の接触に応じて生成される第1の接触位置の情報を、接続されたと判定された前記第2の表示装置に送信し、
前記第2の表示部に対する第2の接触に応じて生成される第2の接触位置の情報を、接続されたと判定された前記第2の表示装置から受信し、
前記第2の表示装置により、
前記第1の表示装置との接続を判定し、
前記第1の表示装置と接続されたと判定された場合に、前記第2の表示部の各位置が対応付けられた第3の仮想表示領域に関連付けて、前記第1の表示部の各位置が対応付けられた第4の仮想表示領域を設定し、
前記第2の接触位置の情報を、接続されたと判定された前記第1の表示装置に送信し、
前記第1の接触位置の情報を、接続されたと判定された前記第1の表示装置から受信する
表示方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US18/681,156 US20240281137A1 (en) | 2021-09-02 | 2022-03-10 | Display device, display system, and display method |
EP22863877.1A EP4386736A1 (en) | 2021-09-02 | 2022-03-10 | Display device, display system, and display method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021143467 | 2021-09-02 | ||
JP2021-143467 | 2021-09-02 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2023032287A1 true WO2023032287A1 (ja) | 2023-03-09 |
Family
ID=85411778
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2022/010576 WO2023032287A1 (ja) | 2021-09-02 | 2022-03-10 | 表示装置、表示システム、及び表示方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20240281137A1 (ja) |
EP (1) | EP4386736A1 (ja) |
WO (1) | WO2023032287A1 (ja) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004118477A (ja) | 2002-09-26 | 2004-04-15 | Sony Corp | 情報処理装置および方法、記録媒体、並びにプログラム |
JP2014149699A (ja) * | 2013-02-01 | 2014-08-21 | Nec Casio Mobile Communications Ltd | 携帯情報端末、制御方法、及びプログラム |
JP2014178659A (ja) * | 2012-07-09 | 2014-09-25 | Ricoh Co Ltd | 画面制御システム、画面制御装置、情報処理端末、プログラム及び記録媒体 |
JP2015079291A (ja) * | 2013-10-15 | 2015-04-23 | 富士ゼロックス株式会社 | 情報処理装置、情報処理システム及びプログラム |
JP2015153016A (ja) * | 2014-02-12 | 2015-08-24 | Sky株式会社 | 表示システム |
US20160283181A1 (en) * | 2014-02-11 | 2016-09-29 | Lg Electronics Inc. | Electronic device and method for controlling the same |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7782274B2 (en) * | 2006-06-09 | 2010-08-24 | Cfph, Llc | Folding multimedia display device |
US8866840B2 (en) * | 2008-09-08 | 2014-10-21 | Qualcomm Incorporated | Sending a parameter based on screen size or screen resolution of a multi-panel electronic device to a server |
US8933874B2 (en) * | 2008-09-08 | 2015-01-13 | Patrik N. Lundqvist | Multi-panel electronic device |
US8947320B2 (en) * | 2008-09-08 | 2015-02-03 | Qualcomm Incorporated | Method for indicating location and direction of a graphical user interface element |
AU2013202944B2 (en) * | 2012-04-26 | 2015-11-12 | Samsung Electronics Co., Ltd. | Method and terminal for displaying a plurality of pages, method and terminal for displaying a plurality of applications being executed on terminal, and method of executing a plurality of applications |
US20140232617A1 (en) * | 2013-02-20 | 2014-08-21 | Doris Nkiruka Anite | Computerized device with a plurality of variably configured display screens |
KR20160076227A (ko) * | 2014-12-22 | 2016-06-30 | 삼성전자주식회사 | 디스플레이 장치, 이를 포함하는 디스플레이 시스템 및 디스플레이 방법 |
US10409542B2 (en) * | 2016-01-04 | 2019-09-10 | Rex HUANG | Forming a larger display using multiple smaller displays |
US9660380B1 (en) * | 2016-01-22 | 2017-05-23 | Microsoft Technology Licensing, Llc | Alignment tolerant electronic connector |
DE102017210938A1 (de) * | 2017-06-28 | 2019-01-03 | Volkswagen Aktiengesellschaft | Anzeigevorrichtung für ein Kraftfahrzeug, Verfahren zur Herstellung einer Anzeigevorrichtung für ein Kraftfahrzeug |
US10845980B2 (en) * | 2018-03-28 | 2020-11-24 | Micosoft Technology Licensing, LLC | Facilitating movement of graphical objects across separate screens |
KR102578423B1 (ko) * | 2018-07-03 | 2023-09-13 | 엘지디스플레이 주식회사 | 다중패널 유기발광 표시장치 |
US11029906B2 (en) * | 2018-12-21 | 2021-06-08 | Intel Corporation | Content management across overlapping displays |
US20210041915A1 (en) * | 2019-08-05 | 2021-02-11 | MLY Technix Corp. | Smart Multi-Display Laptop |
CN112701521B (zh) * | 2019-10-23 | 2023-10-20 | 北京小米移动软件有限公司 | 电子设备 |
US11385734B2 (en) * | 2020-06-23 | 2022-07-12 | Microsoft Technology Licensing, Llc | Multi-panel display device |
US11455015B2 (en) * | 2020-11-08 | 2022-09-27 | Lenovo (Singapore) Pte. Ltd. | Computing system |
US20220391158A1 (en) * | 2021-06-04 | 2022-12-08 | Apple Inc. | Systems and Methods for Interacting with Multiple Display Devices |
-
2022
- 2022-03-10 WO PCT/JP2022/010576 patent/WO2023032287A1/ja active Application Filing
- 2022-03-10 EP EP22863877.1A patent/EP4386736A1/en active Pending
- 2022-03-10 US US18/681,156 patent/US20240281137A1/en active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004118477A (ja) | 2002-09-26 | 2004-04-15 | Sony Corp | 情報処理装置および方法、記録媒体、並びにプログラム |
JP2014178659A (ja) * | 2012-07-09 | 2014-09-25 | Ricoh Co Ltd | 画面制御システム、画面制御装置、情報処理端末、プログラム及び記録媒体 |
JP2014149699A (ja) * | 2013-02-01 | 2014-08-21 | Nec Casio Mobile Communications Ltd | 携帯情報端末、制御方法、及びプログラム |
JP2015079291A (ja) * | 2013-10-15 | 2015-04-23 | 富士ゼロックス株式会社 | 情報処理装置、情報処理システム及びプログラム |
US20160283181A1 (en) * | 2014-02-11 | 2016-09-29 | Lg Electronics Inc. | Electronic device and method for controlling the same |
JP2015153016A (ja) * | 2014-02-12 | 2015-08-24 | Sky株式会社 | 表示システム |
Also Published As
Publication number | Publication date |
---|---|
US20240281137A1 (en) | 2024-08-22 |
EP4386736A1 (en) | 2024-06-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9843618B2 (en) | Method and apparatus for displaying user interface through sub device that is connectable with portable electronic device | |
JP5259772B2 (ja) | 電子機器、操作支援方法及びプログラム | |
KR101522399B1 (ko) | 휴대 단말에서 외부 디스플레이 기기로의 화면 표출 방법 및 그 휴대 단말 | |
US10228728B2 (en) | Apparatus including multiple touch screens and method of changing screens therein | |
JP6210975B2 (ja) | ネットワーク電子機器間のデータ共有方法および装置 | |
US9715339B2 (en) | Display apparatus displaying user interface and method of providing the user interface | |
CN102830906B (zh) | 基于用户界面进行文件处理的方法及终端设备 | |
US11849170B2 (en) | Soft universal remote controller | |
US20170285813A1 (en) | Touch-Input Support for an External Touch-Capable Display Device | |
US20220134226A1 (en) | Information processing apparatus, information processing method, and program | |
WO2020248924A1 (zh) | 显示设备及扫描外部蓝牙设备的方法 | |
WO2020248681A1 (zh) | 显示设备及蓝牙开关状态的显示方法 | |
KR20160035396A (ko) | 컴퓨터 시스템 | |
US12125456B2 (en) | Automatic input style selection or augmentation for an external display device | |
WO2018096849A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
US10142576B2 (en) | Control device, sound switching method of control device, and program | |
US20180062868A1 (en) | Information processing apparatus, information processing method, program, and information processing system | |
WO2023032287A1 (ja) | 表示装置、表示システム、及び表示方法 | |
JP2012212441A (ja) | 電子機器、表示制御方法及びプログラム | |
KR101514044B1 (ko) | 외부 디바이스와 도킹 연결되는 휴대 단말, 및 홈 스크린 설정 및 전환 방법 | |
JP5801282B2 (ja) | 電子機器、操作支援方法及びプログラム | |
US20240264734A1 (en) | Controller graphical user interface based on interaction data | |
US20220365785A1 (en) | Electronic device and control method thereof, and remote control system | |
JP2024050041A (ja) | 表示装置、表示制御方法、プログラム、表示システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 22863877 Country of ref document: EP Kind code of ref document: A1 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 18681156 Country of ref document: US |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2022863877 Country of ref document: EP |
|
ENP | Entry into the national phase |
Ref document number: 2022863877 Country of ref document: EP Effective date: 20240315 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |